CN102246503A - 图像编码解码装置 - Google Patents

图像编码解码装置 Download PDF

Info

Publication number
CN102246503A
CN102246503A CN2009801489756A CN200980148975A CN102246503A CN 102246503 A CN102246503 A CN 102246503A CN 2009801489756 A CN2009801489756 A CN 2009801489756A CN 200980148975 A CN200980148975 A CN 200980148975A CN 102246503 A CN102246503 A CN 102246503A
Authority
CN
China
Prior art keywords
value
pixel
predicted
bias
quantization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801489756A
Other languages
English (en)
Inventor
小川真由
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN102246503A publication Critical patent/CN102246503A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

在分别设N以及M为自然数(N>M)时,将具有N比特的动态范围的像素数据作为输入,由差分生成部(103)计算与根据位于编码对象像素的周边的至少一个像素由预测像素生成部(102)生成的预测值的差分,由量化处理部(106)对从预测差分值减去第1偏置值得到的值进行量化,再由加法器(110)与第2偏置值相加。另一方面,由编码预测值决定部(104)根据所述预测值的信号电平提前预测编码后的预测值的信号电平即编码预测值,再由加法器(111)进行量化值和所述第2偏置值的相加结果与所述编码预测值的加减运算,由此获得M比特的编码数据。

Description

图像编码解码装置
技术领域
本发明涉及在如数码照相机(digital still camera)、网络照相机(networkcamera)、打印机等那样处理图像的装置中以基于图像压缩的数据传输的高速化、存储器的使用量削减为目的的图像编码解码装置。
背景技术
近年来,伴随数码照相机、数码摄像机(digital video camera)等图像拍摄装置中所使用的摄像元件的高像素化,装置中所搭载的集成电路处理的图像数据量增大。在处理大量的图像数据时,为了确保集成电路内数据传输的总线宽度,可以考虑动作频率的高速化、存储器的大容量化等,但是这些直接导致了成本提高。
此外,一般在数码照相机、数码摄像机等图像拍摄装置中,在结束在集成电路内的全部图像处理后,在向SD卡等外部记录装置记录时进行压缩处理,与非压缩相比,在相同容量的外部记录装置中存储更大的图像尺寸、更多枚数的图像数据,对于该压缩处理,采用了称为JPEG、MPEG的编码方式。
在专利文献1中,不仅对图像处理后的数据实施图像数据的压缩处理,而且对从摄像元件输入的像素信号(RAW数据)也实施压缩处理,由此在相同的存储器容量下,以增加相同图像尺寸的连拍枚数为目的。对于该实现方法,根据与邻近像素的差分值决定量化宽度,并且从压缩对象的像素值减去由该量化宽度唯一求出的偏置值,由此决定被量化处理值,所以提供了一种不需要存储器而在确保了低的编码运算处理负荷的状态下实现压缩处理的数字信号压缩编码以及解码装置。
此外,在专利文献2中,目的在于通过图像编码对TV信号等图像数据进行压缩之后记录到记录介质中,并且对记录介质中所记录的压缩数据进行解压之后进行再现,在该实现方法中,不使用ROM表格(table)等,而通过简单的加减法器和比较器来高速地进行预测编码,进而使各量化值本身保存绝对的电平(level)信息,由此使预测值发生了错误时的错误传送降低。
专利文献1:日本特开2007-036566号公报
专利文献2:日本特开平10-056638号公报
但是,在专利文献1的数字信号压缩编码装置中,在区域量化宽度决定部中,在表示由邻近的多个像素构成的组的“区域(zone)”中所包括的全部像素中,用一样的量化宽度(区域量化宽度)进行量化。该区域量化宽度等于将对应于最大像素值差的量化范围加1得到的值与“压缩编码像素值数据比特数(s)”之差,该最大像素值差是区域中所包括的各像素值与附近同色像素值之间的差分值的最大值,该“压缩编码像素值数据比特数(s)”是对像素值数据进行压缩编码得到的数据的比特数s。也就是说,即使在区域内存在陡峭的边缘、仅某1像素的差分值变大的情况下,同一区域内的像素也是全部受到其影响从而量化宽度变大。因此,存在如下问题:在差分值较小、不大需要量化的情况下,也发生多余的量化误差。为了解决该问题,可以考虑减少区域内的像素数,但是因为对每个区域所附加的区域量化宽度信息的比特数增加,所以编码中的压缩率降低。
与此相对,专利文献2中所记载的图像编码装置,通过线性量化值生成部,进行基于2的K次方(K是预先设定的线性量化宽度)的除法运算,求出线性量化值。接着通过非线性量化值生成部,求出预测值与输入像素值的差分值,根据该结果,求出数模式(pattern)的补正值。通过先前求出的差分值,判断是否采用任意补正值,获得量化值以及再现值。根据以上,进行从输入像素值向量化值的变换,但是量化值以及成为下一预测值的再现值,从根据预测值与输入像素值的差分值而数模式计算出的结果中选择。因此,在输入信号与编码后的输出信号的动态范围的差较大、需要高压缩的情况下,补正值的模式数增加。也就是说,具有如下问题:因为增加补正值的计算式的模式数,所以计算量(电路规模)增加。
而另一方面,一般在搭载于数码照相机等中的集成电路内的图像处理中,使从摄像元件输入的数字像素信号临时存储在SDRAM(SynchronousDynamic Random Access Memory,同步动态随机存取存储器)等存储器中,对于临时存储的数据进行预定的图像处理、YC信号生成、放大/缩小等缩放处理等,再次将处理后的数据临时存储在SDRAM中。此时,在切取图像的任意区域时、进行需要像素的上下间参考、相关的图像处理时等,大多需要从存储器读出任意区域的像素数据。此时,对于可变长编码数据,不能从编码数据的中途读出任意区域,导致损害随机存取性。
发明内容
本发明鉴于上述问题,其目的在于,通过进行固定长度编码从而维持随机存取性的状态下,不附加量化信息等像素数据以外的信息,对每个像素进行量化,由此抑制画质恶化并且实现高压缩。
为了解决上述课题,在本发明中,着眼于集成电路的数据传输单位,数据传输的总线宽度保证固定长度,实现传输单位内的压缩率的提高。
例如,本发明的一个方式,在图像编码装置中,在分别设N以及M为自然数(N>M)时,将具有N比特的动态范围的像素数据作为输入,用M比特来表达包含对编码对象像素与预测值的差分进行非线性量化而得到的量化值的编码数据,由此压缩为固定长度码,其中,所述图像编码装置具备:预测像素生成部,其根据位于编码对象像素的周边的至少一个像素,生成预测值;编码预测值决定部,其根据所述预测值的信号电平,提前预测编码预测值,该编码预测值是编码后的预测值的信号电平;差分生成部,其求出预测差分值,该预测差分值是所述编码对象像素与所述预测值的差分;量化宽度决定部,其根据所述预测差分值的无符号整数二进制值的位数,决定量化宽度;被量化处理值生成部,其从所述预测差分值减去第1偏置值来生成被量化处理值;量化处理部,其根据由所述量化宽度决定部所决定的量化宽度,对所述被量化处理值进行量化;和偏置值生成部,其生成第2偏置值,其中,通过根据所述预测差分值的符号,来将由所述量化处理部得到的量化值和所述第2偏置值的相加结果与所述编码预测值进行加减法运算,从而得到所述编码数据。
(发明效果)
根据本发明,以像素单位决定量化宽度,并且能够不附加量化宽度信息比特,通过固定长度编码来进行编码,所以在将所生成的多个固定长度的编码数据存储在例如存储器等中时,能够容易地指定与图像内特定地方的像素相对应的编码数据。其结果,能够维持对编码数据的随机存取性。
即,根据本发明,能够在维持向存储器的随机存取性的情况下,与以往相比,抑制画质恶化。
附图说明
图1是表示实施方式1中的图像编码装置的结构的框图。
图2是表示图1的图像编码装置中的处理的流程图。
图3是说明图1中的预测像素生成部中的预测式的图。
图4是表示编码处理例和各运算结果的图。
图5是表示编码处理例中的各运算结果间的关系的图。
图6是表示编码预测值的计算例的图。
图7是表示预测差分绝对值和量化宽度的关系的图。
图8是表示输入像素数据与由其预测值得到的编码像素数据的特性的图。
图9是表示图1中的输出部输出的编码数据的例的图。
图10是表示实施方式1中的图像解码装置的结构的框图。
图11是表示图10的图像解码装置中的处理的流程图。
图12是表示解码处理例和各运算结果的图。
图13是表示实施方式2中的数码照相机的结构的框图。
图14是表示实施方式3中的数码照相机的结构的框图。
图15是表示实施方式4中的个人计算机和打印机的结构的框图。
图16是表示实施方式5中的监控摄像机的结构的框图。
图17是表示实施方式5中的监控摄像机的其他结构的框图。
具体实施方式
以下,参照附图说明本发明的实施方式。另外,在以下的各实施方式、各变形例的说明中,对于与曾说明过的构成要素具有同样的功能的构成要素,标注同一符号从而省略说明。
《实施方式1》
<图像编码装置100中的编码处理>
图1是表示本发明的实施方式1的图像编码装置100的结构的框图。图2是图像编码处理的流程图。参照图1以及图2,说明图像编码装置100进行的用于对图像进行编码的处理。
成为编码对象的像素数据被输入至处理对象像素值输入部101。在本实施方式中,设各像素数据为N比特长度的数字数据,编码数据为M比特长度。输入到处理对象像素值输入部101的像素数据,以适当的定时输出给预测像素生成部102和差分生成部103。但是,在所关注的编码对象像素作为初始像素值数据而被输入时,省略量化处理,直接输入到输出部109。
在所关注的编码对象像素不是初始像素值数据时(在图2:步骤S101为“否”),转移到预测像素生成处理(图2:步骤S102)。输入给预测像素生成部102的像素数据,是在所关注的编码对象像素值之前所输入的初始像素值数据或者以前的编码对象像素值或者之前被编码并发送给图像解码装置进而被解码后的像素数据中的任一个,利用所输入的像素数据来生成所关注的像素数据的预测值(图2:步骤S102)。
且说,作为对像素数据的编码方法,已知有预测编码。所谓预测编码,是生成对编码对象像素的预测值,并将编码对象像素与预测值之间的差分值进行量化的方式。对于预测值,在是像素数据的情况下,基于邻近的像素的值相同或者很可能相近的事实,通过根据附近的像素数据,预测所关注的编码对象像素的值,从而尽量使差分值变小来抑制量化宽度。图3是表示计算预测值所利用的邻近的像素的配置的说明图,图中“x”表示关注像素的像素值。此外,“a”“b”“c”是用于计算关注像素的预测值“y”的邻近像素的像素值。一般所采用的预测式(1)~(7)为:
y=a            …(1)
y=b            …(2)
y=c            …(3)
y=a+b-c        …(4)
y=a+(b-c)/2    …(5)
y=b+(a-c)/2        …(6)
y=(a+b)/2          …(7)。
如此,利用关注像素的邻近像素的像素值“a”“b”“c”来求出关注像素的预测值“y”,计算该预测值“y”与编码对象像素“x”的预测误差Δ(=y-x),对该预测误差Δ进行编码。
在预测像素生成部102中,根据所输入的像素数据,采用所述预测式(1)~(7)的任一个预测式来计算预测值,将所计算的预测值输出给差分生成部103。另外,不限定于所述预测式,在能够确保压缩处理中的内部存储缓冲器的情况下,还可以预先在存储缓冲器中还保存与关注像素相邻的像素以外的周边像素,以用于预测由此提高预测精度。
差分生成部103生成从处理对象像素值输入部101接收的编码对象像素与从预测像素生成部102接收的预测值之间的差分(以下称为预测差分值)。所生成的预测差分值被发送给量化宽度决定部105和被量化处理值生成部108(图2:步骤S104)。
编码预测值决定部104根据用N比特表达的预测值的信号电平,提前预测编码预测值L,该编码预测值L是用编码后的编码数据的比特长度即M比特表达的预测值的信号电平。因此,编码预测值L表示在将用N比特表达的预测值编码为M比特时,具有哪个程度的信号电平(图2:步骤S103)。
量化宽度决定部105根据从差分生成部103送来的与各编码对象像素对应的预测差分值,决定量化宽度Q,输出给量化处理部106和偏置值生成部107。量化宽度Q指的是从用二进制表达的预测差分值的绝对值(以下称为预测差分绝对值)所得的数的位数减去预先决定的非量化范围NQ(单位:比特)后所得的值(NQ是自然数)。也就是说,表示从预测差分值的无符号整数二进制表达所需要的位数(比特数)减去NQ所得的值(图2:步骤S105)。例如,在预测差分值的无符号整数二进制位数为d时,例如量化宽度Q由下式求出:
Q=d-NQ    …(8)。
这里,所谓非量化范围NQ,是指用2的NQ次方、即2^NQ表示不进行量化的预测差分值的范围,被预先决定,并且存储在图像编码装置100的内部的存储缓冲器中。量化宽度决定部105,假设编码对象像素具有预测值的信号电平附近的信号电平,通过式(8),设定量化宽度Q,使得越远离预测值,量化宽度Q为越大的值。另外,在式(8)的情况下,成为预测差分值的无符号整数二进制位数d增加时量化宽度Q也增加的关系。此外,设量化宽度Q没有负值。
被量化处理值生成部108根据从差分生成部103送来的与各编码对象像素对应的预测差分值,计算量化的像素数据的信号电平。例如,在预测差分值的无符号整数二进制位数为d时,被量化处理值生成部108通过2^(d-1)求出第1偏置值,生成从差分绝对值减去该第1偏置值而得到的值,作为量化的像素数据的信号电平、即被量化处理值,发送给量化处理部106(图2:步骤S106,S107)。
偏置值生成部107根据从量化宽度决定部105接收到的量化宽度Q求出第2偏置值F。第2偏置值F例如通过下式求出:
F=(2^(NQ-1))×(Q-1)+2^NQ    …(9)。
此时,因为NQ为预先决定的非量化范围,所以通过编码对象像素和与编码对象像素对应的预测值的差分值,量化宽度Q变化,由此,第2偏置值F也变化。也就是说,伴随量化宽度Q增加,第2偏置值F也按照式(9)而变大(图2:步骤S106)。
量化处理部106根据由量化宽度决定部105计算的量化宽度Q,进行将从被量化处理值生成部108接收的被量化处理值进行量化的量化处理。另外,基于量化宽度Q的量化处理,是与编码对象像素对应的被量化处理值除以2的Q次方的处理。但是,量化处理部106在量化宽度Q为“0”时,不进行量化(图2:步骤S108)。
从量化处理部106输出的量化结果,通过加法器110与从偏置值生成部107输出的第2偏置值F相加。而且,通过加法器111将从加法器110输出的像素数据(以下称为量化像素数据)和从编码预测值决定部104接收的编码预测值L相加,由此生成用M比特表达的像素数据(以下称为编码像素数据)(图2:步骤S109)。从输出部109发送通过加法器111而生成的编码像素数据(图2:步骤S110)。
图4以及图5是用于说明本实施方式中的图像编码处理的图。这里,处理对象像素值输入部101依次接收固定比特宽度(N比特)的像素数据。此外,设处理对象像素值输入部101接收的像素数据的数据量为8比特(N=8)。即,设像素数据的动态范围为8比特。此外,设编码数据的比特宽度M为5比特。
在图4中,作为一例,示出输入到处理对象像素值输入部101的11个像素数据。在处理对象像素值输入部101中,设按照像素P1、P2、……、P11的顺序,输入与各像素对应的8比特的像素数据。像素P1~P11内所表示的数值是对应的像素数据表示的信号电平。另外,设与像素P1对应的像素数据是初始像素值数据。
在本实施方式中,作为一例,设编码对象像素的预测值通过预测式(1)来计算。在该情况下,所计算的编码对象像素的预测值,成为编码对象像素的左邻近的像素的值。即,预测为编码对象像素的像素值成为与前一个输入的像素相同的像素值(电平)的可能性高。
在图5中示出向处理对象像素值输入部101输入像素P2时的预测值(P1)与编码预测值、第1偏置值、第2偏置值、被量化处理值的各计算结果与向输出部109发送的编码像素数据的信号电平的关系。
在图1的图像编码装置100中,首先,进行步骤S101的处理。在步骤S101中,处理对象像素值输入部101判断所输入的像素数据是否是初始像素值数据。在步骤S101中,若为“是”,则处理对象像素值输入部101将所接收的像素数据存储在内部缓冲器中,并且向输出部109发送该像素数据。然后,处理转移到后述的步骤S110。另一方面,在步骤S101中,若为“否”,则处理转移到步骤S102。
这里,设处理对象像素值输入部101接收与像素P1对应的作为初始像素值数据的像素数据。在该情况下,处理对象像素值输入部101将所输入的像素数据存储到内部缓冲器中,并且向输出部109发送该像素数据。另外,在缓冲器中已经存储了像素数据的情况下,处理对象像素值输入部101使内部缓冲器重写存储所接收的像素数据。
这里,设像素P2是编码对象像素。在该情况下,设处理对象像素值输入部101接收到了与像素P2对应的像素数据(编码对象像素数据)。设编码对象像素数据表示的像素值是“228”。在该情况下,因为所接收的像素数据不是初始像素值数据(在S101为“否”),所以处理对象像素值输入部101将所接收的像素数据发送给差分生成部103。
此外,在步骤S101判断为“否”时,处理对象像素值输入部101将内部缓冲器中所存储的像素数据发送给预测像素生成部102。这里,设被发送的像素数据表示像素P1的像素值“180”。
此外,处理对象像素值输入部101使内部缓冲器重写存储所接收的像素数据。此外,处理对象像素值输入部101将所接收的像素数据(编码对象像素数据)发送给差分生成部103。然后,处理转移到步骤S102。
在步骤S102中,预测像素生成部102计算编码对象像素的预测值。具体而言,预测像素生成部102使用预测式(1)来计算预测值。在该情况下,预测像素生成部102从处理对象像素值输入部101接收的像素数据表示的像素值(“180”)被计算为预测值。预测像素生成部102将所计算的预测值“180”发送给差分生成部103。
另外,在计算第h个编码对象像素的预测值时,可以在第(h-1)个像素数据是初始像素值数据时,如前所述,将从处理对象像素值输入部101接收的第(h-1)个像素数据表示的值作为预测值,在第(h-1)个像素数据不是初始像素值数据时,将由图像编码装置100编码后的第(h-1)个数据输入到图像解码装置中,将通过解码而得到的像素数据表示的像素值作为编码对象像素的预测值。据此,即使在通过量化处理部106中的量化处理产生误差那样的情况下,也能够在图像编码装置100和图像解码装置中使预测值一致,抑制画质的恶化。
在步骤S103中,计算编码预测值。这里,如前所述在编码预测值决定部104中,根据从预测像素生成部102接收的用N比特表达的预测值的信号电平,计算用M比特表达的编码预测值L。例如,通过利用具有图6那样的特性的以下的式(10)来求出,即,
L=(预测值/(2^(N-M+1))+2^M/4…(10)。
式(10)用于在用N比特表达的预测值被编码为M比特时,求出具有哪个程度的信号电平,对于该计算方法,没必要限定于式(10),也可以在内部的存储器存储将用N比特表达的信号变换为M比特那样的表格,并利用该表格。
这里,从预测像素生成部102接收的预测值是“180”,所以通过式(10),编码预测值L成为“19”。
在步骤S104中,进行预测差分值生成处理。具体而言,差分生成部103从所接收的编码对象像素数据表示的像素值(“228”)减去所接收的预测值“180”,从而计算预测差分值“48”。此外,差分生成部103将所计算的预测差分值“48”发送给量化宽度决定部105以及被量化处理值生成部108。此外,将在进行了减法处理时的正负的符号信息s发送给被量化处理值生成部108。
在步骤S105中,进行量化宽度决定处理。在量化宽度决定处理中,在量化宽度决定部105中,计算预测差分值的绝对值(预测差分绝对值),决定量化宽度Q。这里,设预测差分绝对值为“48”。在该情况下,在计算用二进制表达预测差分绝对值的二进制数据的位数(无符号预测差分二进制位数)d时,所计算的无符号预测差分二进制位数d是“6”。然后,量化宽度决定部105使用内部的存储器中所存储的非量化范围NQ和无符号预测差分二进制位数d,来设定量化宽度Q(Q=d-NQ:其中,Q是非负)。设预先决定的非量化范围NQ是“2”时,通过式(8),Q=6-2,量化宽度Q被设定为“4”。
在量化宽度决定部105中,如前所述设定量化宽度Q,使得编码对象像素的信号电平越远离预测值,量化宽度Q越成为大的值。因此,用式(8)计算的量化宽度Q具有图7中所表示的特性,预测差分绝对值越小,量化宽度Q成为越小的值,每当无符号预测差分二进制位数d增加时,量化宽度Q也增加。
此外,在量化宽度决定部105中,通过预先决定最大量化宽度Q_MAX,进行控制使得用式(8)计算的量化宽度Q不超过Q_MAX,能够抑制量化所产生的误差(以下称为量化误差)的发生。在图4中,通过预先将Q_MAX设定为“4”,像素P6以及像素P9的量化宽度Q成为Q_MAX的“4”,即使预测差分绝对值变大,也能够将量化误差抑制在最大15。
在步骤S106中,计算第1偏置值和第2偏置值。对于第1偏置值的计算处理,被量化处理值生成部108在从差分生成部103送来的预测差分值的无符号预测差分二进制位数为d时,能够通过2^(d-1)来计算。这里,设从差分生成部103接收的预测差分值的无符号预测差分二进制位数为“6”。在被量化处理值生成部108中,计算2^(d-1)时,第1偏置值为“32”。
在第2偏置值计算处理中,偏置值生成部107根据从量化宽度决定部105接收的量化宽度Q利用式(9)来计算第2偏置值F。这里,设从量化宽度决定部105接收的量化宽度Q是“4”。在偏置值生成部107中,通过式(9)计算第2偏置值F时,成为“10”。
在该情况下,如图5所示,对用N比特表达的编码对象像素进行编码,生成用M比特表达的编码像素数据时,第2偏置值F表示第1偏置值的电平。因此,伴随由差分生成部103计算的预测差分值的无符号预测差分二进制位数d增加,第1偏置值和第2偏置值都增加。
另外,在从量化宽度决定部105接收的量化宽度Q为“0”时,被量化处理值生成部108对第1偏置值设定“0”,偏置值生成部107对第2偏置值设定“0”,由此能够将预测差分值原样发送到加法器111。
在步骤S107中,进行被量化处理值生成处理。在被量化处理值生成处理中,通过被量化处理值生成部108,从由差分生成部103接收的预测差分绝对值减去第1偏置值来生成被量化处理值。这里,设从差分生成部103接收的预测差分绝对值为“48”,并且设由被量化处理值生成部108计算的第1偏置值为“32”。在该情况下,在步骤S107中被量化处理值生成部108从预测差分绝对值减去第1偏置值,计算“16”作为被量化处理值,与从差分生成部103接收的预测差分值的符号信息s一起发送给量化处理部106。
在步骤S108中,进行量化处理。在量化处理中,量化处理部106接收由量化宽度决定部105计算的量化宽度Q,通过从被量化处理值生成部108接收的被量化处理值除以2的Q次方来进行量化。这里,设量化处理部106从量化宽度决定部105接收的量化宽度Q为“4”,并且设从被量化处理值生成部108接收的被量化处理值为“16”。在该情况下,量化处理部106通过“16”除以2的4次方来进行量化处理从而计算“1”,与从被量化处理值生成部108接收的符号信息s一起发送给加法器110。
在步骤S109中,进行编码处理。在编码处理中,首先,在加法器110中,将从量化处理部106接收的量化结果和从偏置值生成部107接收的第2偏置值F相加,并且附加从量化处理部106接收的符号信息s。这里,设从量化处理部106接收的量化结果为“1”、符号信息s为“正”,并且设从偏置值生成部107接收的第2偏置值F为“10”。在该情况下,将在加法器110中相加得到的量化像素数据“11”发送给加法器111。
这里,在从量化处理部106接收的符号信息s为“负”时,附加符号信息s而作为负数发送给加法器111。
加法器111将从加法器110接收的量化像素数据和从编码预测值决定部104接收的编码预测值L相加,计算图5所示的5比特的编码像素数据,并发送给输出部109。这里,设从编码预测值决定部104接收的编码预测值L为“19”。在该情况下,在加法器111中,通过与量化像素数据(“11”)相加,生成用M比特表达的编码像素数据即“30”。
在从加法器110接收的量化像素数据为负数时,即在预测差分值为负数时,从编码预测值L减去量化像素数据的绝对值。通过该处理,在预测差分值为负数的情况下,编码像素数据成为比编码预测值L小的值,因此,编码对象像素,在编码像素数据中包含具有比预测值小的值这样的信息之后加以发送。
然后,在步骤S110中,从输出部109发送加法器111生成的编码像素数据。
在步骤S111中,利用从输出部109发送的编码像素数据,判断针对1图像的编码处理是否全部结束,若为“是”则结束编码处理,若为“否”则转移到步骤S101,执行从步骤S101到S111的至少一个处理。
执行了以上的处理以及运算的结果,在图4中示出所计算的编码对象像素P2~P11的预测差分值、预测差分绝对值、量化宽度、第1偏置值、第2偏置值、以及从输出部109输出的用5比特表示的对应于各像素的编码像素数据。
通过以上的图像编码装置100中的编码处理,输入到处理对象像素值输入部101的N比特的像素数据与预测像素生成部102由该值计算的预测值与输出部109输出的M比特的编码像素数据的关系成为如图8所示。
在本实施方式中,图8中用N比特表达的预测值具有Y1的值时,用非线性曲线T1表示处理对象像素值输入部101接收的编码对象像素的值与对其进行编码时从输出部109输出的用M比特表达的编码像素数据的关系。同样地,在预测值具有Y2的值时,用非线性曲线T2表示,在预测值具有Y3的值时,用非线性曲线T3表示。
在本实施方式中,利用式(10)来计算与预测值的信号电平相应的编码预测值L的电平,并且通过使其具有图7所示那样的量化宽度Q的特性,从而编码对象像素的值与对其进行编码时的编码像素数据的关系,如图8所示,在预测值附近基本没有被压缩,越远离预测值,压缩率变得越大,并且通过预测值的信号电平,表示编码对象像素的值与编码像素数据的关系的非线性曲线的特性被相应地改变。
另外,在本实施方式中,如图5所示,通过第1偏置值和第2偏置值这两个参数的计算以及量化处理部106中的量化处理来实现从N比特向M比特的压缩处理。但是,也可以预先创建表示用N比特表达的预测差分绝对值和用M比特表达的量化像素数据的关系的表格,并将该表格存储在内部存储器中,对于预测差分绝对值的压缩处理,通过参照表格的值,从而省略前面所述的处理。在该情况下,表示编码对象像素的比特长度的N的值越大,越需要用于存储表格的大容量的存储器,但是能够不需要量化宽度决定部105、量化处理部106、偏置值生成部107、被量化处理值生成部108、加法器110,此外,能够省略编码处理的步骤S105、S106、S107、S108。
此外,在本实施方式中,如图9所示,从输出部109向外部的存储器连续存储多个用固定比特宽度表达的编码像素数据。图9是表示在进行了图4中所说明的处理以及运算时,从图像编码装置100输出的初始像素值数据以及编码像素数据的图。在图9中,像素P1~P11中所示出的数值,表示对应的像素数据的比特数。如图9所示,与初始像素值数据对应的像素P1的像素值用8比特数据来表达,其他像素P2~P11的编码像素数据用5比特来表达。即,所存储的像素数据限定于8比特的初始像素值数据或者5比特的编码数据,不存在包含量化信息等的像素数据以外的比特。
此外,通过将包含至少一个初始像素值数据和至少一个编码像素数据的打包(packing)数据的比特长度设定为所使用的集成电路的数据传输的总线宽度,总线宽度能够保证固定长度。因此,在请求对某编码像素数据进行数据访问时,只要访问包含按总线宽度而打包的编码像素数据的打包数据即可。此时,在总线宽度和打包数据的比特长度不一致、存在未使用比特的情况下,可以将未使用比特置换为空数据(dummy data)。此外,因为总线宽度内的数据仅包含初始像素值数据以及编码像素数据,不包含量化信息等的比特,所以压缩效率良好,打包处理/解包(unpacking)处理也能够容易地实现。
如上所述,根据本实施方式,因为在维持随机存取性的情况下,按每个像素决定量化宽度,所以能够降低图像画质的恶化程度。
另外,本实施方式中的图像编码处理还可以利用LSI(Large ScaleIntegration,大规模集成电路)等的硬件来实现。此外,图像编码装置100中所包含的多个部位的全部或一部分还可以是由CPU(Central ProcessingUnit,中央处理器)等来执行的程序模块。
此外,还可以根据存储编码数据的存储器的容量,来改变该编码数据的动态范围(M比特)。
<图像解码装置200中的解码处理>
图10是表示本发明的实施方式1的图像解码装置200的结构的框图。图11是图像解码处理的流程图。参照图10以及图11,说明图像解码装置200进行的用于对编码数据进行解码的处理。
例如,输入到编码数据输入部201的第1~11个像素数据是分别与图9所示的像素P1~P11对应的11个像素数据。11个像素数据是N比特长度的初始像素值数据或者M比特长度的成为解码对象的像素(以下称为解码对象像素)。
输入到编码数据输入部201的编码数据,以适当的定时发送给差分生成部202。其中,在所关注的编码数据作为初始像素值而被输入时(在图11:步骤S201为“是”),省略逆量化处理,直接发送给预测像素生成部204和输出部209。在所关注的编码数据不是初始像素值时(在图11:步骤S201为“否”),转移到预测像素生成处理(图11:步骤S202)。
输入到预测像素生成部204的像素数据,是比所关注的解码对象像素先输入的初始像素值数据、或者先被解码并从输出部209输出的像素数据(以下称为解码像素数据)的任一个,利用所输入的像素数据来生成用N比特表达的预测值。预测值的生成方法是前面所述的预测式(1)~(7)的任一个,采用与由图像编码装置100的预测像素生成部102利用的式相同的预测式来计算预测值。所计算的预测值输出给编码预测值决定部203(图11:步骤S202)。
编码预测值决定部203根据从预测像素生成部204接收的用N比特表达的预测值的信号电平,来计算编码预测值L,该编码预测值L是用编码后的编码数据的比特长度、即M比特来表达的预测值的信号电平。因此,编码预测值L表示在将用N比特表达的预测值编码为M比特时,具有哪个程度的信号电平,与预测像素生成部204同样地采用与图像编码装置100的编码预测值决定部104相同的数式(图11:步骤S203)。
差分生成部202生成从编码数据输入部201接收的解码对象像素与从编码预测值决定部203接收的编码预测值L的差分(以下称为预测差分值)。所生成的预测差分值发送给量化宽度决定部206(图11:步骤S204)。
量化宽度决定部206根据从差分生成部202接收的与各解码对象像素对应的预测差分值,决定逆量化处理中的量化宽度Q′,并将所决定的量化宽度Q′输出给逆量化处理部208、被量化处理值生成部205、偏置值生成部207。
逆量化处理中的量化宽度Q′能够用如下的值来表示:从预测差分值的绝对值(以下称为预测差分绝对值)减去不进行采用由图像编码装置100使用的非量化范围NQ来表示的量化的预测差分值的范围“2的NQ次方”所得的值,除以非量化范围“2的NQ次方/2”的范围,然后加1而得到的值(图11:步骤S205)。即,逆量化处理中的量化宽度Q′通过下式来求出:
Q′=(预测差分绝对值-2^NQ)/(2^(NQ-1))+1…(11)。
这里,非量化范围NQ,使用与由图像编码装置100使用的值相同的值,被存储在图像解码装置200的内部的存储缓冲器中。
被量化处理值生成部205根据从量化宽度决定部206接收的量化宽度Q′,计算逆量化的编码数据的信号电平,即被量化处理值。被量化处理值,通过从预测差分绝对值减去由被量化处理值生成部205计算的第1偏置值来求出。第1偏置值例如通过前述的式(9)来求出。也就是说,在被量化处理值生成部205中所计算的第1偏置值,具有与图像编码装置100中的图像编码处理的步骤S106中所计算的第2偏置值相同的意义,因为NQ是预先决定的与由图像编码装置100使用的值相同的非量化范围,所以根据从量化宽度决定部206接收的量化宽度Q′,第1偏置值也发生变化。被量化处理值生成部205将所计算的被量化处理值发送给逆量化处理部208(图11:步骤S206,S207)。
偏置值生成部207通过从量化宽度决定部206接收的量化宽度Q′,来求出第2偏置值F′(图11:步骤S206)。第2偏置值F′例如通过下式来求出:
F′=2^(Q′+NQ-1)…(12)。
用式(12)求出的第2偏置值F′具有与图像编码装置100中的图像编码处理的步骤S106中所计算的第1偏置值相同的意义。
逆量化处理部208根据由量化宽度决定部206计算的逆量化中的量化宽度Q′,进行对从被量化处理值生成部205接收的被量化处理值进行逆量化的逆量化处理。另外,基于量化宽度Q′的逆量化处理,是将与解码对象像素对应的被量化处理值与2的Q′次方相乘的处理。另外,逆量化处理部208在量化宽度Q′为“0”时,不进行逆量化(图11:步骤S208)。
通过加法器210,从逆量化处理部208输出的逆量化结果与从偏置值生成部207输出的第2偏置值F′相加。然后,通过加法器211将从加法器210输出的像素数据(以下称为逆量化像素数据)和从预测像素生成部204接收的预测值相加,由此生成用N比特表达的像素数据(以下称为解码像素数据)(图11:步骤S209)。从输出部209发送通过加法器211所生成的解码像素数据(图11:步骤S210)。
图12是用于说明本实施方式中的图像解码处理的图。这里,设编码数据输入部201依次接收8比特的初始值像素数据(N=8)、或者5比特的解码对象像素数据(M=5)。图12是作为一例示出将图4所示出的11个像素数据的图像编码处理结果输入到图像解码装置200的图。在编码数据输入部201中,如图9所示,设外部存储器中所存储的多个编码数据连续地按照像素P1、P2、……、P11的顺序被输入。在图12中像素P1~P11内所示的数值,是对应的像素数据表示的信号电平,设与像素P1对应的像素数据是初始像素值数据,所以用8比特来表达,设P2~P11是解码对象像素数据,所以用5比特来表达。
在图像解码处理中,首先,进行步骤S201的处理。在步骤S201中,判断编码数据输入部201所输入的像素数据是否是初始像素值数据。在步骤S201中,若为“是”,则编码数据输入部201将所接收的像素数据存储到内部缓冲器中,并且将该像素数据发送给输出部209。然后,处理转移到后述的步骤S210。另一方面,在步骤S201中,若为“否”,则处理转移到步骤S202。
这里,设编码数据输入部201接收了与像素P1对应的作为初始像素值数据的像素数据。在该情况下,编码数据输入部201将所输入的像素数据存储到内部缓冲器中,并且将该像素数据发送给输出部209。另外,在缓冲器中存储有像素数据时,编码数据输入部201使内部缓冲器重写存储所接收的像素数据。
这里,设像素P2是解码对象像素数据。设解码对象像素数据表示的像素值是“30”。在该情况下,因为所接收的像素数据不是初始像素值数据(在S201为“否”),所以编码数据输入部201将所接收的像素数据发送给差分生成部202。
此外,在计算第h个(h是2以上的整数)编码对象像素的预测值时,在步骤S201判断为“否”时,并且第(h-1)个像素数据是初始像素值数据的情况下,编码数据输入部201将内部缓冲器中所存储的像素数据发送给预测像素生成部204。这里,设所发送的像素数据表示像素P1的像素值“180”。在第(h-1)个像素数据不是初始像素值数据的情况下的处理,后面叙述。此外,编码数据输入部201将所接收的解码对象像素数据发送给差分生成部202。然后,处理转移到步骤S202。
在步骤S202中,预测像素生成部204计算解码对象像素的预测值。具体而言,预测像素生成部204采取与图像编码装置100中的图像编码处理的预测像素生成处理步骤S102相同的预测方式,所以使用预测式(1)来计算预测值。在该情况下,预测像素生成部204将从编码数据输入部201接收的像素数据表示的像素值(“180”)计算为预测值。预测像素生成部204将所计算的预测值“180”发送给编码预测值决定部203。
在步骤S203中,计算编码预测值。这里,如前所述在编码预测值决定部203中,根据从预测像素生成部204接收的用N比特表达的预测值的信号电平,来计算用M比特表达的编码预测值L。在该情况下,预测像素生成部204采取与图像编码装置100中的图像编码处理的编码预测值计算处理步骤S103相同的编码预测值,所以通过利用式(10)来求出。这里,根据用N比特表达的预测值的信号电平,计算与步骤S103中求出的值相同的M比特所表达的值为目的,不需要限定于式(10),也可以预先在图像解码装置200的内部存储器中存储用于将用N比特表达的信号变换为M比特的表格,利用该表格。
这里,因为从预测像素生成部204接收的预测值为“180”,所以通过式(10),编码预测值成为“19”。
在步骤S204中,进行预测差分值生成处理。具体而言,差分生成部202通过从所接收的解码对象像素数据表示的像素值(“30”)减去所接收的编码预测值“19”,来计算预测差分值“11”。此外,差分生成部202将所计算的预测差分值“11”和进行了减法处理时的符号信息s发送给量化宽度决定部206。
在步骤S205中,进行量化宽度决定处理。在量化宽度决定处理中,在量化宽度决定部206中,计算预测差分绝对值,决定逆量化处理中的量化宽度Q′。这里,设预测差分绝对值为“11”。在该情况下,设预先决定的非量化范围NQ为“2”时,通过式(11),Q′=(11-2^2)/2+1,逆量化处理中的量化宽度Q′被设定为“4”,发送给被量化处理值生成部205、偏置值生成部207和逆量化处理部208。此外,向被量化处理值生成部205发送从差分生成部202接收的预测差分值的符号信息s。
在图像编码装置100的量化宽度决定部105中利用式(8)所计算的量化宽度Q,具有每次将从预测差分绝对值减去“2的NQ次方”所得到的值增加“2的NQ次方/2”,则增加一个的特性,所以在图像解码装置200中利用式(11)来计算了逆量化处理中的量化宽度Q′。但是,可以根据步骤S105的量化宽度决定处理的方式,来改变步骤S205的量化宽度决定处理中的逆量化处理中的量化宽度Q′的计算式。
在步骤S206中,计算第1偏置值和第2偏置值。根据被量化处理值生成部205从量化宽度决定部206接收的量化宽度Q′,通过将Q′的值代入前述的式(9)中的“Q”,来求出第1偏置值。这里,设从量化宽度决定部206接收的量化宽度Q′为“4”。在被量化处理值生成部205中,计算第1偏置值时,成为“10”。
偏置值生成部207根据从量化宽度决定部206接收的量化宽度Q′,利用式(12)来计算第2偏置值F′。这里,设从量化宽度决定部206接收的量化宽度Q′为“4”。在偏置值生成部207中,通过式(12)计算第2偏置值F′时,成为“32”。
在该情况下,在对用M比特表达的解码对象像素进行解码、生成用N比特表达的解码像素数据时,第2偏置值F′表示第1偏置值的电平。因此,伴随由量化宽度决定部206计算的量化宽度Q′增加,第1偏置值和第2偏置值都增加。
另外,在从量化宽度决定部206接收的量化宽度Q′为“0”时,被量化处理值生成部205将第1偏置值设定为“0”,偏置值生成部207将第2偏置值设定为“0”,由此能够将预测差分值原样发送到加法器211。
在步骤S207中,进行被量化处理值生成处理。在被量化处理值生成处理中,通过被量化处理值生成部205,从由差分生成部202接收的预测差分值中减去第1偏置值来生成被量化处理值。这里,设从差分生成部202接收的预测差分值为“11”,并且设由被量化处理值生成部205计算的第1偏置值为“10”。在该情况下,在步骤S207中被量化处理值生成部205从预测差分值减去第1偏置值,从而将“1”计算为被量化处理值,并且与从量化宽度决定部206接收的差分值的符号信息s一起发送给逆量化处理部208。
在步骤S208中,进行逆量化处理。在逆量化处理中,逆量化处理部208接收由量化宽度决定部206计算的逆量化中的量化宽度Q′,通过将从被量化处理值生成部205接收的被量化处理值与2的Q′次方相乘来进行逆量化。这里,设逆量化处理部208从量化宽度决定部206接收的量化宽度Q′为“4”,并且设从被量化处理值生成部205接收的被量化处理值为“1”。在该情况下,逆量化处理部208通过将“1”与2的4次方相乘来进行逆量化处理,计算“16”,与从被量化处理值生成部205接收的差分值的符号信息s一起发送给加法器210。
在步骤S209中,进行解码处理。在解码处理中,首先,在加法器210中,将从逆量化处理部208接收的逆量化结果与从偏置值生成部207接收的第2偏置值F′相加,并附加从逆量化处理部208接收的符号信息s。这里,设从逆量化处理部208接收的量化结果为“16”、符号信息s为“正”,并且设从偏置值生成部207接收的第2偏置值F′为“32”。在该情况下,在加法器210中进行加法运算,将逆量化像素数据“48”发送给加法器211。这里,在从逆量化处理部208接收的符号信息s为“负”时,附加符号信息s之后作为负数发送给加法器211。
加法器211将从加法器210接收的逆量化像素数据和从预测像素生成部204接收的预测值相加,计算解码像素数据。这里,设从预测像素生成部204接收的预测值为“180”。在该情况下,在加法器211中,通过与逆量化像素数据(“48”)相加,生成用N比特表达的解码像素数据即“228”。在从加法器210接收的逆量化像素数据为负数时,即在预测差分值为负数时,成为从预测值减去逆量化像素数据。通过该处理,利用比预测值小的值对解码像素数据进行解码。因此,图像编码处理前的处理对象像素值输入部101接收的像素数据与其预测值的大小关系,能够通过解码对象像素和编码预测值的比较来保持。
然后,在步骤S210中,输出部209发送加法器211生成的解码像素数据。输出部209使外部存储器以及预测像素生成部204存储从加法器211接收的解码像素数据。另外,输出部209还可以将其输出给外部的处理图像的电路等,而不是使其存储在外部存储器中。
最后,在步骤S211中,利用从输出部209发送的解码像素数据,判断针对1图像的解码处理是否全部结束,若为“是”则结束解码处理,若为“否”则转移到步骤S201,执行从步骤S201到S211的至少一个处理。
这里,设图12中的像素P3是解码对象像素数据。设解码对象像素数据表示的像素值是“29”。在该情况下,所接收的像素数据不是初始像素值数据(在S201为“否”),所以,编码数据输入部201将所接收的像素数据发送给差分生成部202。然后,处理转移到步骤S202。
在步骤S202中,在计算第h个编码对象像素的预测值时,在第(h-1)个像素数据不是初始像素值数据的情况下,不能使用预测式(1)来计算预测值。因此,在步骤S201中判断为“否”、且第(h-1)个像素数据不是初始像素值数据的情况下,预测像素生成部204将从输出部209接收的第(h-1)个解码像素数据作为预测值。
在该情况下,第(h-1)个解码像素数据、即像素P2的解码像素数据“228”作为预测值被计算,并发送给编码预测值决定部203。然后,处理转移到步骤S203。
以后,对于像素P3也实施与前述的像素P2相同的处理,生成解码像素数据。
执行以上的处理以及运算的结果,图12中示出所计算的解码对象像素P2~P11的编码预测值、预测差分值、预测差分绝对值、量化宽度、第1偏置值、第2偏置值、以及从输出部209输出的用8比特表示的各像素所对应的解码像素数据。但是,这里将量化宽度Q′的最大值也设为“4”。
另外,比较图4所示的输入给处理对象像素值输入部101的11个像素数据与图12所示的11个解码像素数据时,产生若干误差。这是因为包括在量化处理部106中除以2的Q次方时被舍去的误差即量化误差、和预测值本身的误差。所谓预测值本身的误差,是指如图4所示在图像编码处理的预测像素生成处理(图2:步骤S102)中利用编码对象像素的左邻近的像素数据来进行计算的情况、与如图12所示在图像解码处理的预测像素生成处理(图11:步骤S202)中利用比所关注的解码对象像素先解码的解码像素数据来进行计算的情况下,由于计算结果不同而产生的误差。这与量化误差同样地牵涉到画质的恶化。因此,如前所述,在计算第h个编码对象像素的预测值时,可以在第(h-1)个像素数据是初始像素值数据的情况下,将从处理对象像素值输入部101接收的第(h-1)个像素数据表示的值本身作为预测值,在第(h-1)个像素数据不是初始像素值数据的情况下,将通过图像编码装置100进行了编码的第(h-1)个数据输入到图像解码装置200通过解码而得到的像素数据表示的像素值作为编码对象像素的预测值。据此,即使在量化处理部106中产生量化误差的情况下,也能够在图像编码装置100和图像解码装置200中使预测值一致,抑制画质恶化。
另外,在本实施方式中,通过第1偏置值和第2偏置值这两个参数的计算、和逆量化处理部208中的逆量化处理,来实现从M比特向N比特的解码处理。但是,也可以预先创建表示用M比特表达的预测差分绝对值与用N比特表达的解码像素数据的关系的表格,并存储在图像解码装置200的内部存储器中,对于预测差分绝对值的解码处理,通过参照表格的值,能够省略前述的处理。在该情况下,不需要量化宽度决定部206、逆量化处理部208、偏置值生成部207、被量化处理值生成部205、加法器210,此外,能够省略解码处理的步骤S205、S206、S207、S208。
此外,在本实施方式中的图像编码处理以及图像解码处理中,根据预测差分值的无符号整数二进制位数和量化宽度来计算全部参数,并且在图像编码装置100和图像解码装置200中采用同等的计算式,所以不需要发送量化信息等像素数据以外的比特,能够实现高压缩。
另外,本实施方式中的图像解码处理还可以利用LSI等的硬件来实现。此外,图像解码装置200中所包括的多个部位的全部或一部分还可以是由CPU等执行的程序模块。
《实施方式2》
在实施方式2中,说明具备实施方式1中所说明的图像编码装置100以及图像解码装置200的数码照相机的例。
图13是表示实施方式2的数码照相机1300的结构的框图。如图13所示,数码照相机1300具备图像编码装置100和图像解码装置200。图像编码装置100以及图像解码装置200的结构以及功能,在实施方式1中进行了说明,所以不再重复详细的说明。
数码照相机1300还具备摄像部1310、图像处理部1320、显示部1330、压缩变换部1340、记录保存部1350和SDRAM1360。
摄像部1310拍摄被摄体,从而输出与其像对应的数字图像数据。在该例中,摄像部1310包括光学系统1311、摄像元件1312、模拟前端(analogfront-end)(图中简记为AFE)1313和定时发生器(在图中简记为TG)1314。光学系统1311由透镜等构成,构成为使被摄体在摄像元件1312上成像。摄像元件1312将从光学系统1311射入的光变换为电信号。作为摄像元件1312,能够采用各种摄像元件,例如利用了CCD(Charge Coupled Device)的摄像元件、或利用了CMOS的摄像元件等。模拟前端1313构成为对摄像元件1312输出的模拟信号进行噪声去除、信号放大、A/D变换等信号处理,作为图像数据而输出。定时发生器1314将时钟信号提供给摄像元件1312、模拟前端1313,作为它们的动作定时的基准。
图像处理部1320对从摄像部1310输入的像素数据(RAW数据)实施预定的图像处理,输出给图像编码装置100。一般,如图13所示,具备白平衡电路(在图中简记为WB)1321、亮度信号生成电路1322、色分离电路1323、光圈补正处理电路(在图中简记为AP)1324、矩阵处理电路1325、以及进行图像的放大/缩小的缩放电路(在图中简记为ZOM)1326等。白平衡电路1321是用正确的比例来补正摄像元件1312的滤色镜的色成分,使得在任何光源下都可以将白色的被摄体拍摄为白色的电路。亮度信号生成电路1322根据RAW数据生成亮度信号(Y信号)。色分离电路1323根据RAW数据生成色差信号(Cr/Cb信号)。光圈补正处理电路1324进行对亮度信号生成电路1322生成的亮度信号加上高频率成分从而使分辨率看起来较高的处理。矩阵处理电路1325对色分离电路1323的输出进行由于摄像元件1312的分光特性、图像处理而损坏的色相平衡的调整。
一般,图像处理部1320大多使SDRAM1360等存储器临时存储处理对象的像素数据,对临时存储的数据进行预定的图像处理、YC信号生成、缩放处理等,再将处理后的数据临时存储在SDRAM1360中。因此,可以考虑图像处理部1320,向图像编码装置100的输出和来自图像解码装置200的输入都发生。
显示部1330显示图像解码装置200的输出(图像解码后的图像数据)。
压缩变换部1340将利用JPEG等预定的规格对图像解码装置200的输出进行了压缩变换后的图像数据输出给记录保存部1350。此外,压缩变换部1340对从记录保存部1350读出的图像数据进行解压缩变换之后输入到图像编码装置100。即,压缩变换部1340能够处理基于JPEG规格的数据。这样的压缩变换部1340一般搭载在数码照相机1300中。
记录保存部1350接收被压缩过的图像数据,记录到记录介质(例如非易失性存储器等)中。此外,记录保存部1350读出记录介质中所记录的被压缩过的图像数据,输出给压缩变换部1340。
本实施方式中的图像编码装置100以及图像解码装置200不将输入信号限定为RAW数据。例如,作为图像编码装置100以及图像解码装置200的处理对象的数据,也可以是通过图像处理部1320而从RAW数据所生成的YC信号(亮度信号或者色差信号)的数据、对暂时压缩变换为JPEG等的JPEG图像的数据进行解压缩而得到的数据(亮度信号或者色差信号的数据)等。
如此,本实施方式中的数码照相机1300,除了具备一般搭载在数码照相机中的压缩变换部1340以外,还具备将RAW数据或YC信号作为处理对象的图像编码装置100以及图像解码装置200。据此,本实施方式中的数码照相机1300能够利用相同的存储器容量,进行增加相同分辨率的连拍枚数的高速摄像动作。此外,该数码照相机1300能够提高使相同容量的存储器存储的运动图像的分辨率。
此外,实施方式2中所示的数码照相机1300的结构,还能够应用于与该数码照相机1300同样具备摄像部、图像处理部、显示部、压缩变换部、记录保存部、以及SDRAM的数码摄像机的结构中。
《实施方式3》
在本实施方式中,说明设置于数码照相机的摄像元件是包含图像编码装置时的数码照相机的结构例。
图14是表示实施方式3中的数码照相机2000的结构的框图。如图14所示,数码照相机2000与图13的数码照相机1300相比,有以下不同:具备摄像部1310A来代替摄像部1310,以及具备图像处理部1320A来代替图像处理部1320。这以外的结构与数码照相机1300相同,所以不重复详细的说明。
摄像部1310A与图13的摄像部1310相比,具有如下不同:包括摄像元件1312A来代替摄像元件1312。除此之外,与摄像部1310相同,所以不反复详细的说明。摄像元件1312A包括图1的图像编码装置100。
此外,图像处理部1320A与图13的图像处理部1320相比,还包括图10的图像解码装置200。这以外的结构与图像处理部1320相同,所以不重复详细的说明。
摄像元件1312A中所包括的图像编码装置100,对由摄像元件1312A所拍摄的像素信号进行编码,并将由编码所得到的数据发送给图像处理部1320A内的图像解码装置200。
图像处理部1320A内的图像解码装置200对从图像编码装置100接收的数据进行解码。通过该处理,能够提高摄像元件1312A与集成电路内的图像处理部1320A之间的数据传输效率。
因此,本实施方式的数码照相机2000与实施方式2的数码照相机1300相比,利用相同的存储器容量,能够增加相同分辨率的连拍枚数,或者能够实现提高运动图像的分辨率等这样的高速摄像动作。
《实施方式4》
一般,在打印机装置中,追求如何高精度且高速地印刷印刷物。因此,通常进行以下处理。
首先,个人计算机(personal computer)对作为印刷对象的数字图像数据进行压缩编码,将由编码得到的编码数据发送给打印机。然后,打印机对接收的编码数据进行解码。
最近,在成为印刷对象的图像中,如海报、广告等那样,文字、图形、自然图像混合存在。在这样的图像中,在文字或者图形与自然图像的边界,发生陡峭的浓度变化。在该情况下,若计算与组内的多个差分值的最大值相对应的量化宽度,则同一组内的像素全部受其影响而量化宽度变大。因此,即使在如表示用单色表达的文字或者图形的图像数据那样不大需要量化的情况下,也有可能发生多余的量化误差。因此,在本实施方式中,将用实施方式1说明的图像编码装置100搭载在个人计算机中,将图像解码装置200搭载在打印机中,由此实现抑制印刷物的画质恶化。
图15是表示实施方式4中的个人计算机3000以及打印机4000的图。如图15所示,个人计算机3000具备图像编码装置100,打印机4000具备图像解码装置200。
通过将实施方式1中所说明的图像编码装置100搭载在个人计算机3000中,将图像解码装置200搭载在打印机4000中,能够以像素单位来决定量化宽度,所以能够抑制量化误差从而实现抑制印刷物的画质恶化。
《实施方式5》
在本实施方式中,说明监控摄像机接收的图像数据作为来自图像编码装置100的输出的情况下的监控摄像机的结构的例。
通常,在监控摄像机中,为了确保传送路径上的安全性,使得从该监控摄像机发送的图像数据不被第三者在传送路径上盗取,而对图像数据进行加密。因此,如图16的监控摄像机1700那样,通过压缩变换部1702,以JPEG或MPEG4、H.264等预定规格,对通过监控摄像机用信号处理部1710内的图像处理部1701实施了预定图像处理后的图像数据进行压缩变换,进而通过加密部1703进行加密,之后从通信部1704发送到因特网上,由此进行个人的隐私保护。
而且,如图16所示,将来自包含前述的图像编码装置100的摄像部1310A的输出,输入到监控摄像机用信号处理部1710中,通过搭载在监控摄像机用信号处理部1710内的图像解码装置200对编码数据进行解码,由此能够对由摄像部1310A拍摄的图像数据进行疑似加密,所以确保摄像部1310A与监控摄像机用信号处理部1710之间的传送路径上的安全性,能够与以往相比进一步提高安全性。
此外,作为监控摄像机的实现方法,如图17的监控摄像机1800所示,有通过各别的LSI来实现以下部件的形态:对来自摄像部1310的输入图像进行预定的照相机图像处理的图像处理部1801;搭载信号输入部1802,从而接收图像处理部1801发送的图像数据之后进行压缩变换、加密之后,从通信部1704向因特网上发送图像数据的监控摄像机用信号处理部1810。
在该形态中,图像处理部1801中搭载图像编码装置100,将图像解码装置200搭载到监控摄像机用信号处理部1810,由此能够疑似地对图像处理部1801发送的图像数据进行加密,所以确保图像处理部1801与监控摄像机用信号处理部1810之间的传送路径上的安全性,与以往相比,能够进一步提高安全性。
因此,根据本实施方式,能够实现提高监控摄像机的数据传输效率、提高运动图像的分辨率等这样的高速摄像动作,进而,通过疑似地对图像数据进行加密,能够实现进行图像数据的泄漏防止、隐私保护等这样的安全性提高。
产业上的利用可能性
本发明的图像编码装置以及图像解码装置以像素单位决定量化宽度,并且不附加量化宽度信息等的比特就可以通过固定长度编码来进行编码,所以集成电路的数据传输的总线宽度能够保证固定长度来进行图像压缩处理。
因此,在如数码照相机、网络照相机、打印机等那样处理图像的装置中,能够在维持随机存取性的情况下,防止画质恶化并且进行图像数据的编码以及解码。因此,对于跟上近年来的图像数据处理量的增大是有用的。
符号说明
100  图像编码装置
101  处理对象像素值输入部
102  预测像素生成部
103  差分生成部
104  编码预测值决定部
105  量化宽度决定部
106  量化处理部
107  偏置值生成部
108  被量化处理值生成部
109  输出部
110、111  加法器
200  图像解码装置
201  编码数据输入部
202  差分生成部
203  编码预测值决定部
204  预测像素生成部
205  被量化处理值生成部
206  量化宽度决定部
207  偏置值生成部
208  逆量化处理部
209  输出部
210、211  加法器
1300  数码照相机
1310,1310A  摄像部
1311  光学系统
1312、1312A  摄像元件
1313  模拟前端(AFE)
1314  定时发生器(TG)
1320、1320A  图像处理部
1321  白平衡电路(WB)
1322  亮度信号生成电路
1323  色分离电路
1324  光圈补正处理电路(AP)
1325  矩阵处理电路
1326  缩放电路(ZOM)
1330  显示部
1340  压缩变换部
1350  记录保存部
1360  SDRAM
1700  监控摄像机
1701  图像处理部
1702  压缩变换部
1703  加密部
1704  通信部
1710  监控摄像机用信号处理部
1800  监控摄像机
1801  图像处理部
1802  信号输入部
1810  监控摄像机用信号处理部
2000  数码照相机
3000  个人计算机
4000  打印机
Q,Q′量化宽度

Claims (23)

1.一种图像编码装置,在分别设N以及M为自然数,其中N>M时,将具有N比特的动态范围的像素数据作为输入,用M比特来表达包含对编码对象像素与预测值的差分进行非线性量化而得到的量化值的编码数据,由此压缩为固定长度码,其中,所述图像编码装置具备:
预测像素生成部,其根据位于编码对象像素的周边的至少一个像素,生成预测值;
编码预测值决定部,其根据所述预测值的信号电平,提前预测编码预测值,该编码预测值是编码后的预测值的信号电平;
差分生成部,其求出预测差分值,该预测差分值是所述编码对象像素与所述预测值的差分;
量化宽度决定部,其根据所述预测差分值的无符号整数二进制值的位数,决定量化宽度;
被量化处理值生成部,其从所述预测差分值中减去第1偏置值来生成被量化处理值;
量化处理部,其根据由所述量化宽度决定部所决定的量化宽度,对所述被量化处理值进行量化;和
偏置值生成部,其生成第2偏置值,
所述图像编码装置根据所述预测差分值的符号,进行由所述量化处理部得到的量化值和所述第2偏置值的相加结果、与所述编码预测值的加减运算,由此得到所述编码数据。
2.根据权利要求1所述的图像编码装置,其特征在于,
所述编码预测值具有M比特的动态范围。
3.根据权利要求1所述的图像编码装置,其特征在于,
在所述预测差分值的无符号整数二进制值的位数为d时,所述第1偏置值成为2^(d-1)。
4.根据权利要求1所述的图像编码装置,其特征在于,
伴随由所述量化宽度决定部所决定的量化宽度增加,所述第2偏置值也按照预定的公式变大。
5.根据权利要求1所述的图像编码装置,其特征在于,
在由所述量化宽度决定部所决定的量化宽度为0时,所述第1偏置值和所述第2偏置值都为0。
6.根据权利要求1所述的图像编码装置,其特征在于,
在所述预测差分值的符号为正时,将所述量化值和所述第2偏置值的相加结果与所述编码预测值相加,在所述预测差分值的符号为负时,从所述编码预测值中减去所述量化值和所述第2偏置值的相加结果,由此得到所述编码数据。
7.根据权利要求1所述的图像编码装置,其特征在于,
根据存储所述编码数据的存储器的容量,来改变所述编码数据的动态范围,其中所述编码数据的动态范围是M比特。
8.根据权利要求1所述的图像编码装置,其特征在于,
所述像素数据是从摄像元件输入的RAW数据。
9.根据权利要求1所述的图像编码装置,其特征在于,
所述像素数据是根据从摄像元件输入的RAW数据来生成的YC信号。
10.根据权利要求1所述的图像编码装置,其特征在于,
所述像素数据是从JPEG图像解压缩得到的YC信号。
11.一种图像解码装置,在分别设N以及M为自然数,其中N>M时,将M比特的编码数据作为输入,对所述编码数据进行逆量化由此解码为具有N比特的动态范围的像素数据,其中,所述图像解码装置具备:
预测像素生成部,其根据位于周边的至少一个像素的已解码像素,生成预测值;
编码预测值决定部,其根据所述预测值的信号电平,预测编码预测值,该编码预测值是解码前的预测值的信号电平;
差分生成部,其求出预测差分值,该预测差分值是所述编码数据与所述编码预测值的差分;
被量化处理值生成部,其从所述预测差分值中减去第1偏置值来生成被量化处理值;
量化宽度决定部,其根据所述预测差分值来决定逆量化中的量化宽度;
偏置值生成部,其根据所述量化宽度来决定第2偏置值;和
逆量化处理部,其根据所述量化宽度,对所述被量化处理值进行逆量化,
所述图像解码装置根据所述预测差分值的符号,进行由所述逆量化处理部得到的逆量化值和所述第2偏置值的相加结果、与所述预测值的加减运算,由此得到解码后的所述像素数据。
12.根据权利要求11所述的图像解码装置,其特征在于,
所述编码预测值具有M比特的动态范围。
13.根据权利要求11所述的图像解码装置,其特征在于,
伴随由所述差分生成部求出的预测差分值增加,所述第1偏置值也按照预定的公式变大。
14.根据权利要求11所述的图像解码装置,其特征在于,
在根据所述量化宽度而得到的逆量化后的预测差分值的无符号整数二进制值的位数为d时,所述第2偏置值成为2^(d-1)。
15.根据权利要求11所述的图像解码装置,其特征在于,
在由所述量化宽度决定部决定的量化宽度为0时,所述第1偏置值和所述第2偏置值都为0。
16.根据权利要求11所述的图像解码装置,其特征在于,
在所述预测差分值的符号为正时,将所述逆量化值和所述第2偏置值的相加结果与所述预测值相加,在所述预测差分值的符号为负时,从所述预测值中减去所述逆量化值和所述第2偏置值的相加结果,由此得到解码后的所述像素数据。
17.一种图像编码方法,在分别设N以及M为自然数,其中N>M时,将具有N比特的动态范围的像素数据作为输入,用M比特来表达包含对编码对象像素与预测值的差分进行非线性量化而得到的量化值的编码数据,由此压缩为固定长度码,其中,所述图像编码方法具备:
预测像素生成步骤,根据位于编码对象像素的周边的至少一个像素,生成预测值;
编码预测值计算步骤,根据所述预测值的信号电平,提前预测编码预测值,该编码预测值是编码后的预测值的信号电平;
差分生成步骤,求出预测差分值,该预测差分值是所述编码对象像素与所述预测值的差分;
量化宽度决定步骤,根据所述预测差分值的无符号整数二进制值的位数,决定量化宽度;
偏置值计算步骤,生成第1偏置值以及第2偏置值;
被量化处理值生成步骤,从所述预测差分值中减去所述第1偏置值来生成被量化处理值;和
量化处理步骤,根据由所述量化宽度决定步骤决定的量化宽度,对所述被量化处理值进行量化,
根据所述预测差分值的符号,进行由所述量化处理步骤得到的量化值和所述第2偏置值的相加结果、与所述编码预测值的加减运算,由此得到所述编码数据。
18.一种图像解码方法,在分别设N以及M为自然数,其中N>M时,将M比特的编码数据作为输入,对所述编码数据进行逆量化由此解码为具有N比特的动态范围的像素数据,其中,所述图像解码方法具备:
预测像素生成步骤,根据位于周边的至少一个像素的已解码像素,生成预测值;
编码预测值计算步骤,根据所述预测值的信号电平,预测编码预测值,该编码预测值是解码前的预测值的信号电平;
差分生成步骤,求出预测差分值,该预测差分值是所述编码数据与所述编码预测值的差分;
量化宽度决定步骤,根据所述预测差分值来决定逆量化中的量化宽度;
偏置值计算步骤,生成第1偏置值以及第2偏置值;
被量化处理值生成步骤,从所述预测差分值中减去所述第1偏置值来生成被量化处理值;和
逆量化处理步骤,根据由所述量化宽度决定步骤决定的量化宽度,对所述被量化处理值进行逆量化,
根据所述预测差分值的符号,进行由所述逆量化处理步骤得到的逆量化值和所述第2偏置值的相加结果、与所述预测值的加减运算,由此得到解码后的所述像素数据。
19.一种数码照相机,其中,具备权利要求1所述的图像编码装置和权利要求11所述的图像解码装置。
20.一种数码摄像机,其中,具备权利要求1所述的图像编码装置和权利要求11所述的图像解码装置。
21.一种摄像元件,其中,具备权利要求1所述的图像编码装置。
22.一种打印机,其中,具备权利要求11所述的图像解码装置。
23.一种监控摄像机,其中,具备权利要求11所述的图像解码装置。
CN2009801489756A 2009-01-19 2009-11-12 图像编码解码装置 Pending CN102246503A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009-009180 2009-01-19
JP2009009180A JP2010166520A (ja) 2009-01-19 2009-01-19 画像符号化・復号化装置
PCT/JP2009/006058 WO2010082252A1 (ja) 2009-01-19 2009-11-12 画像符号化・復号化装置

Publications (1)

Publication Number Publication Date
CN102246503A true CN102246503A (zh) 2011-11-16

Family

ID=42339522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801489756A Pending CN102246503A (zh) 2009-01-19 2009-11-12 图像编码解码装置

Country Status (4)

Country Link
US (1) US20110200263A1 (zh)
JP (1) JP2010166520A (zh)
CN (1) CN102246503A (zh)
WO (1) WO2010082252A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300304A (zh) * 2019-06-28 2019-10-01 广东中星微电子有限公司 压缩图像集的方法和装置
CN113904900A (zh) * 2021-08-26 2022-01-07 北京空间飞行器总体设计部 一种实时遥测信源分阶相对编码方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5529685B2 (ja) * 2010-09-03 2014-06-25 パナソニック株式会社 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
JP6125215B2 (ja) 2012-09-21 2017-05-10 株式会社東芝 復号装置、及び符号化装置
JP2014143655A (ja) 2013-01-25 2014-08-07 Fuji Xerox Co Ltd 画像符号化装置及び画像復号化装置並びにプログラム
CN110099279B (zh) * 2018-01-31 2022-01-07 新岸线(北京)科技集团有限公司 一种基于硬件的可调节有损压缩的方法
CN114501029B (zh) * 2022-01-12 2023-06-06 深圳市洲明科技股份有限公司 图像编码、图像解码方法、装置、计算机设备和存储介质
CN116527903B (zh) * 2023-06-30 2023-09-12 鹏城实验室 图像浅压缩方法及解码方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2841362B2 (ja) * 1987-12-25 1998-12-24 松下電器産業株式会社 高能率符号化装置
EP1711015A3 (en) * 1996-02-05 2006-11-08 Matsushita Electric Industrial Co., Ltd. Video signal recording apparatus, video signal regenerating apparatus, image coding apparatus and image decoding apparatus
JP2933563B2 (ja) * 1996-04-02 1999-08-16 松下電器産業株式会社 画像符号化装置、画像復号化装置および画像符号化・復号化装置
JPH1056639A (ja) * 1996-06-03 1998-02-24 Matsushita Electric Ind Co Ltd 画像符号化装置と画像復号化装置
US6486888B1 (en) * 1999-08-24 2002-11-26 Microsoft Corporation Alpha regions
KR100355829B1 (ko) * 2000-12-13 2002-10-19 엘지전자 주식회사 영상의 공간적 유사성을 이용한 dpcm 영상 부호화 장치
JP4769039B2 (ja) * 2005-07-26 2011-09-07 パナソニック株式会社 デジタル信号符号化および復号化装置ならびにその方法
EP2183922A4 (en) * 2007-08-16 2011-04-27 Nokia Corp METHOD AND APPARATUSES FOR ENCODING AND DECODING AN IMAGE

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110300304A (zh) * 2019-06-28 2019-10-01 广东中星微电子有限公司 压缩图像集的方法和装置
CN110300304B (zh) * 2019-06-28 2022-04-12 广东中星微电子有限公司 压缩图像集的方法和装置
CN113904900A (zh) * 2021-08-26 2022-01-07 北京空间飞行器总体设计部 一种实时遥测信源分阶相对编码方法
CN113904900B (zh) * 2021-08-26 2024-05-14 北京空间飞行器总体设计部 一种实时遥测信源分阶相对编码方法

Also Published As

Publication number Publication date
JP2010166520A (ja) 2010-07-29
US20110200263A1 (en) 2011-08-18
WO2010082252A1 (ja) 2010-07-22

Similar Documents

Publication Publication Date Title
CN102246503A (zh) 图像编码解码装置
CN103081469B (zh) 图像编码方法、图像解码方法、图像编码装置以及图像解码装置
JP4769039B2 (ja) デジタル信号符号化および復号化装置ならびにその方法
US8600183B2 (en) Optimized method and system for entropy coding
CN102754441B (zh) 图像编码方法、解码方法、装置、摄像机、元件
JP2009273035A (ja) 画像圧縮装置、画像伸張装置及び画像処理装置
JP5208218B2 (ja) 画像符号化装置、デジタルスチルカメラ、デジタルビデオカメラ、撮像素子、および画像符号化方法
JP2014525183A (ja) 2dマトリクスにエンコーディングパラメータを保存する画像圧縮のための方法および装置
JP2009017505A (ja) 画像圧縮装置、画像伸張装置及び画像処理装置
JP6512916B2 (ja) 撮像装置およびその制御方法ならびにプログラム
US8559741B2 (en) Lossless image compression method
USRE45300E1 (en) Context-adaptive variable length coder with simultaneous storage of incoming data and generation of syntax elements
US20110299790A1 (en) Image compression method with variable quantization parameter
JP3434088B2 (ja) 画像データ変換装置およびその逆変換装置
Chen et al. Recursive code construction for reversible data hiding in DCT domain
JP4241517B2 (ja) 画像符号化装置及び画像復号装置
JP2000244744A (ja) 画像データ圧縮方法及び画像データ管理方法
US20230289588A1 (en) Deep Neural Network Processing Device with Decompressing Module, Decompressing Method and Compressing Method
JP2009038740A (ja) 画像符号化装置
JP2006502673A6 (ja) ディジタルイメージセンサデータのインストリームロスレス圧縮
JP2006502673A (ja) ディジタルイメージセンサデータのインストリームロスレス圧縮
Kumar et al. DeepQuantizedCS: Quantized Compressive Video Recovery using Deep Convolutional Networks
CN115412727A (zh) 编码方法、解码方法及其装置
CN115022628A (zh) 基于jpeg-ls的高吞吐率无损图像压缩方法
JP2006345320A (ja) データ符号化装置、データ復号化装置、データ符号化方法、データ復号化方法、プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20111116