CN116074538A - 图像编码设备及其控制方法和计算机可读存储介质 - Google Patents

图像编码设备及其控制方法和计算机可读存储介质 Download PDF

Info

Publication number
CN116074538A
CN116074538A CN202211375088.6A CN202211375088A CN116074538A CN 116074538 A CN116074538 A CN 116074538A CN 202211375088 A CN202211375088 A CN 202211375088A CN 116074538 A CN116074538 A CN 116074538A
Authority
CN
China
Prior art keywords
image
unit
quantization parameter
subband
operable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211375088.6A
Other languages
English (en)
Inventor
村田贵史
望月成记
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022134421A external-priority patent/JP2023070055A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN116074538A publication Critical patent/CN116074538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4015Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/007Transform coding, e.g. discrete cosine transform
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162User input
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了图像编码设备及其控制方法和计算机可读存储介质。本发明提供的设备包括:获取单元,其获取表示摄像单元摄像时的水平方向和垂直方向上的光学压缩比率的信息;变换单元,其对图像数据进行小波变换以生成多个子带数据;确定单元,其确定针对变换单元所获得的多个子带中的变换系数的量化参数;以及编码单元,其根据确定单元所确定的量化参数来对变换单元所获得的子带数据中的变换系数进行量化,并且对经量化的变换系数进行编码,其中,确定单元基于获取单元所获取的表示压缩比率的信息对各个子带进行加权,来确定量化参数。

Description

图像编码设备及其控制方法和计算机可读存储介质
技术领域
本发明涉及图像编码设备及其控制方法以及非暂时性计算机可读存储介质。
背景技术
当前,诸如数字摄像机等的用于记录运动图像的数字摄像设备已经变得流行。近年来,记录RAW(原始)图像的方案不仅已经应用于静止图像,而且已经应用于运动图像。这被认为是因为,尽管RAW图像需要大量数据以供记录,但是初始图像的校正和劣化可以保持最小限度,并且即使在记录之后图像编辑的自由度也很高。
当在记录介质上记录RAW运动图像时,期望可以记录足够长度的运动图像。因此,期望在记录之前压缩和编码RAW运动图像。通常,RAW图像是拜耳(Bayer)模式的图像,在拜耳模式中,(各自为R、G或B颜色的)像素以马赛克模式排列。拜耳模式中的相邻像素具有不同的颜色分量,因此相邻像素之间的相关性低。因此,如果按原样对像素进行编码,则难以获得高压缩效率。因此,从RAW图像中提取具有相似颜色分量的像素以生成各自具有单个分量的多个平面。然后,对各个平面进行编码,这增加了平面中的像素之间的相关性,从而提高了压缩效率;该平面转换技术通常用作压缩编码的技术之一。
此外,作为传统的典型压缩编码方案,H.264(H.264/MPEG-4第10部分:高级视频编码)是已知的。在该压缩编码方案中,对于在一帧中由预定数量的像素组成的每个块,利用运动图像具有的时间冗余和空间冗余来压缩数据量。在H.264中,压缩编码是通过组合诸如针对时间冗余的运动检测和运动补偿、作为针对空间冗余的频率变换的离散余弦变换(DCT)、量化和熵编码等的技术来实现的。然而,如果压缩比率增加到超过一定程度,则DCT变换特有的块失真变得显著,并且主观上图像劣化变得明显。
因此,在JPEG2000方案等中已经采用了使用离散小波变换(DWT)的子带编码技术,其中在水平和垂直方向上各自应用低通滤波和高通滤波,从而进行向被称为子带的频带的分解。子带编码比使用DCT的编码技术产生更少的块失真,并且其特征在于具有更好的高压缩时的压缩特性。
例如,在专利文献1(日本特开2019-4428)中描述的技术通过对RAW图像进行平面转换、使用DWT变换分离频率分量生成多个子带、然后对各个子带进行量化和编码,来高效地压缩RAW数据。在专利文献1中,考虑到人类视觉的特性,关于针对各个子带所要设置的量化参数的大小关系,子带在低频分量侧越远,量化参数越小,并且子带在高频分量侧越远,量化参数越大。因此,由于相同分解级别的HL(高-低)子带和LH(低-高)子带是相同频率级别的带,因此量化参数的大小关系将被设置为相同,从而导致相同级别的水平和垂直量化失真。
然而,当使用上述文献的技术对光学压缩比率在水平和垂直方向上不同的RAW图像进行编码、随后进行显示时,由于针对光学压缩的方向进行拉伸(stretch),因此针对这些方向的量化失真增加。此时,如果光学压缩的方向在一个方向(水平或垂直)上,则与其相关联的拉伸的方向将在一个方向上,这增加了该方向上的量化失真,从而导致在显示时该失真将在视觉上被识别为图像质量劣化的问题。
发明内容
考虑到上述问题,本发明提供一种图像编码设备,用于抑制与显示光学压缩比率在水平和垂直方向上不同的图像相关联的在水平或垂直方向上的量化失真的增加。
本发明在其第一方面中提供一种图像编码设备,其能够操作以对摄像单元所获得的图像数据进行编码,所述图像编码设备包括:获取单元,其被配置为获取表示摄像时的水平方向和垂直方向上的光学压缩比率的信息;变换单元,其被配置为对所述图像数据进行小波变换以生成多个子带数据;确定单元,其被配置为确定针对所述变换单元所获得的多个子带中的变换系数的量化参数;以及编码单元,其被配置为根据所述确定单元所确定的量化参数来对所述变换单元所获得的子带数据中的变换系数进行量化,并且对经量化的变换系数进行编码,其中,所述确定单元能够操作以基于所述获取单元所获取的表示压缩比率的信息对各个子带进行加权,来确定所述量化参数。
本发明在其第二方面中提供一种图像编码设备的控制方法,所述图像编码设备能够操作以对摄像单元所获得的图像数据进行编码,所述控制方法包括以下步骤:(a)获取表示摄像时的水平方向和垂直方向上的光学压缩比率的信息;(b)对所述图像数据进行小波变换以生成多个子带数据;(c)确定针对步骤(b)中获得的多个子带中的变换系数的量化参数;以及(d)根据步骤(c)中确定的量化参数来对步骤(b)中获得的子带数据中的变换系数进行量化,并且对经量化的变换系数进行编码,其中,在步骤(c)中,通过基于步骤(a)中获取的表示压缩比率的信息对各个子带进行加权,来确定所述量化参数。
本发明在其第三方面中提供一种存储有程序的非暂时性计算机可读存储介质,所述程序在由计算机读取并执行时,使所述计算机执行图像编码设备的控制方法的各步骤,所述图像编码设备能够操作以对摄像单元所获得的图像数据进行编码,所述控制方法包括以下步骤:(a)获取表示摄像时的水平方向和垂直方向上的光学压缩比率的信息;(b)对所述图像数据进行小波变换以生成多个子带数据;(c)确定针对步骤(b)中获得的多个子带中的变换系数的量化参数;以及(d)根据步骤(c)中确定的量化参数来对步骤(b)中获得的子带数据中的变换系数进行量化,并且对经量化的变换系数进行编码,其中,在步骤(c)中,通过基于步骤(a)中获取的表示压缩比率的信息对各个子带进行加权,来确定所述量化参数。
根据本发明,可以生成适合于水平和垂直方向上的光学压缩比率不同的图像的编码数据。
从(参考附图)对示例性实施例的以下描述,本发明的其他特征将变得明显。
附图说明
图1是根据第一实施例的图像编码设备的框配置图。
图2是用于说明第一实施例中的平面转换的图。
图3是在离散小波变换(DWT)的垂直滤波和水平滤波各自进行了三次的情况下的子带形成图。
图4是示出第一实施例中的子块和块行之间的关系的图。
图5A至图5C是示出根据第一实施例的具有水平和垂直光学压缩比率α的镜头以及镜头与该镜头所拍摄的图像之间的关系的图。
图6A至图6D是示出根据第二实施例的平面数据的信号分量的方向的图。
图7A至图7C是示出根据第二实施例的U、V和GH平面数据中的对角线信号分量在水平和垂直方向上的分解的图。
图8是根据第一实施例的图像解码设备的框配置图。
图9是根据第一实施例的变形例的信息处理设备的程序配置图。
图10是用于说明图像编码的处理过程的流程图。
图11是用于说明图像解码的处理过程的流程图。
具体实施方式
在下文中,将参考附图详细描述实施例。在实施例中描述了多个特征,但是不限于需要所有这样的特征的发明,而是可以适当地组合多个这样的特征。此外,在附图中,相同的附图标记表示相同或相似的配置,并且省略了其冗余的描述。
[第一实施例]
图1是根据第一实施例的摄像设备100的与编码有关的主要部分的框配置图。
摄像设备100包括用于控制图1所示的各个处理单元的控制单元150。控制单元150由CPU、用于保持CPU所要执行的程序的ROM和要用作工作区的RAM配置而成。
摄像设备100可以实现为例如数字照相机或数字摄像机。另外,例如,摄像设备100可以实现为诸如个人计算机、蜂窝电话、智能电话、PDA、平板终端或便携式媒体播放器等的任意信息处理终端或图像处理设备。图1示出考虑到摄像单元101用作作为摄像设备的数字照相机等的情况而包括摄像单元101的配置。然而,要编码的图像的供应源不限于摄像单元,并且可以是用于存储要编码的图像的存储介质。应当理解,适用于摄像设备的实施例仅仅是用作实施例和易于理解。
[摄像单元]
摄像单元101包括:光学镜头;光圈;镜头光学系统,其能够光学变焦并且包括焦点控制和镜头驱动单元;以及摄像元件,诸如用于将来自镜头光学系统的光学信息转换为电信号的CCD图像传感器或CMOS图像传感器等。摄像单元101向平面转换单元102输出通过将摄像元件所获得的电信号转换为数字信号而获得的RAW图像数据。此外,摄像单元101包括用于保持与水平和垂直方向上的光学压缩比率有关的信息作为元信息的非易失性存储器(未示出),并且将该元信息供应至量化参数权重设置单元112。例如,假设摄像单元101能够以每秒30帧的速率进行摄像。对于光学镜头,镜头单元可以附接到摄像设备和从摄像设备拆卸,并且可以以使得能够安装不同类型的镜头的方式进行配置。如果可以安装和拆卸光学镜头,则将以如下方式进行配置:不仅可以安装在水平和垂直方向上的光学压缩比率为1的典型镜头单元,而且可以安装在水平和垂直方向上的光学压缩比率不同的变形镜头等。
[平面转换单元]
平面转换单元102取得摄像单元101所拍摄的拜耳模式的关注帧的RAW图像数据的输入。然后,平面转换单元102将一个RAW图像数据分离成各自由单个分量配置而成的多个平面。图2是当作为输入图像数据的拜耳模式的RAW图像数据被分离成四个平面时的平面形成图。拜耳模式中的相邻2×2像素由一个红色分量(R)、一个蓝色分量(B)和两个绿色分量(G1、G2)配置而成。平面转换单元102将RAW图像数据分离为仅由R分量配置而成的R平面、仅由G1分量配置而成的G1平面、仅由G2分量配置而成的G2平面和仅由B分量配置成的B平面。当RAW图像数据的水平像素的数量由W表示并且RAW图像数据的垂直像素的数量由H表示时,这四个平面在水平上的大小是W/2个像素,并且在垂直上的大小是H/2个像素。作为上述的结果,当一个颜色分量的平面是关注对象时,相邻像素之间的相关性高,这使得更容易提高压缩效率。
[离散小波变换(DWT)单元]
DWT单元103对从平面转换单元102顺次输出的平面进行频率变换,并且生成变换系数。DWT变换是对整个图像进行滤波的变换。当缓冲存储器中累积了与要使用的滤波器的抽头(tap)的数量相对应的像素数据时,可以进行垂直和水平滤波。因此,通过以平面数据的行为单位进行DWT并将DWT递归地应用于所生成的低频子带LL,可以并行地处理各个子带。
图3是当执行了三次垂直和水平滤波处理是一组的DWT时所获得的子带形成图。在图中,“L”和“H”分别指示低频和高频,并且关于它们的顺序,第一部分指示进行水平滤波的结果的频带,并且第二部分指示进行垂直滤波的结果的频带。“Lv”之后的数字指示DWT的分解级别。当进行DWT两次或多于两次时,变换对象是通过紧挨着的前一次变换所获得的作为低频带的子带LL。因此,每次执行DWT时,大小将是紧挨着的前一次变换的子带的水平和垂直方向上的一半。此外,由于这个原因,子带LL在最后的DWT之后保留;因此,如图所示,没有给出表示分解级别的标记。本实施例中的DWT单元103对从要编码的关注帧(RAW图像)生成的四个平面顺次执行DWT;然而,为了缩短处理时间,可以设置多个DWT单元103。例如,当并行设置两个DWT单元103时,与DWT相关联的负担变为当存在一个DWT单元103时的负担的1/2,并且进行变换所花费的时间也可以减半。此外,当并行设置四个DWT单元103时,可以使进行DWT所花费的时间是当存在一个DWT单元103时的时间的1/4。
在本实施例中,将进行如下假设而给出描述:每次在各个子带中生成一行的变换系数时,DWT单元103将各个子带的一行的变换系数顺次输出到量化单元104。
[量化单元]
量化单元104使用由量化控制单元106生成的量化参数Qp,以系数为单位来量化从DWT单元103输入的变换系数。量化参数Qp是具有这样的值的参数,值越大则量化值越小,这使得可以减少编码数据量,但使图像质量劣化显著。此外,四个平面的变换系数的量化可以逐平面地进行或者针对所有平面并行地进行。然而,假设本实施例中的量化单元104用公共量化参数Qp量化各个平面中的相同子带和相同位置的变换系数,并且将该量化结果供应至编码器105。
[编码器]
编码器105通过对在量化单元104的量化之后的各个平面的变换系数进行熵编码来生成并输出编码数据。
[记录处理单元]
记录处理单元107将从编码器105输出的编码数据格式化为预定的记录格式,并将其作为在头部中包括解码所需信息的文件记录在记录介质108中。记录处理单元107将从摄像单元101获得的元信息(压缩比率)存储在该头部中。这是为了使图像解码设备通过对已通过解码所获得的图像进行水平或垂直插值来产生正常图像。记录处理单元107在该头部中存储与由初始目标编码数据量设置单元114和初始量化值设置单元115设置的初始值有关的信息。然而,如果在编码设备和解码设备之间预先统一了由初始目标编码数据量设置单元114和初始量化值设置单元115设置的初始值,则不需要将这些信息包括在文件头部中。
[记录介质]
记录介质108例如是由非易失性存储器配置而成的记录介质,并且被配置为能够附接到摄像设备100和从摄像设备100拆卸。
[初始设置]
初始目标编码数据量设置单元114设置关注帧(关注的RAW图像)的编码开始时的目标编码数据量。初始量化值设置单元115设置关注帧的编码开始时的量化参数Qp。通常,通过基于前一平面的编码信息的反馈控制来计算编码开始时的各种设置值。
[量化控制单元]
接着,将描述量化控制单元106。量化控制单元106控制量化参数Qp,使得所生成的关注帧的编码数据量收敛到关注帧的目标编码数据量。在该实施例中,关注帧的RAW图像被分离成四个平面,各个平面经过离散小波变换、量化和编码。如果子带的类型相同,并且更新量化参数Qp的位置也相同,则在量化四个平面时所使用的量化参数Qp是共通的。这是因为基于关注帧(4个平面)的编码数据量来更新共通量化参数Qp。
图4是示出量化控制的单位的图。将参考图4描述量化参数Qp的控制单位。如上所述,要编码的输入图像是拜耳模式的RAW图像,并且由平面转换单元102分离成四个平面。另外,将DWT应用于各个平面。如上所述,编码的单位是相应子带的行;然而,量化控制的单位是在相同像素位置处的各个子带的编码结果的集合。也就是说,如图4所示,分解级别3的子带{Lv3HL,Lv3LH,Lv3HH}和子带{LL}的一行、分解级别2的子带{Lv2HL,Lv2LH,Lv2HH}的两行以及分解级别1的子带{Lv1HL,Lv1LH,Lv1HH}的四行是一个Qp的控制单位。也就是说,该量化控制的单位与通过拍摄真实空间所获得的RAW图像的一行中的一个颜色分量的数据相对应。此后,作为该控制的单位的各个子带中的相应变换系数的集合被称为“块行”。
生成编码数据量保持单元109将从编码器105通知的各个块行的编码时的编码数据量作为输入并保持。目标编码数据量计算单元113基于关注帧的目标编码数据量和块行的总数来计算一个块行的目标编码数据量。
差计算单元110针对各个块行计算生成编码数据量和目标编码数据量之间的差,并且进一步计算作为该差的积分值的积分差量。
量化值计算单元111基于从差计算单元110通知的积分差量D(i-1)来计算(更新)关注的第i个块行的量化参数Qp。稍后将描述细节。
[量化值计算]
量化参数计算方法之一是MPEG2测试模型5中描述的已知技术。根据测试模型5,当初始量化参数是Qini并且关注像素块是第i个像素块时,关注像素块的量化参数Qp[i]从ΣE(i-1)使用以下等式(1)来计算,其中ΣE(i-1)表示从开头像素块起到紧挨在前的第i-1个像素块为止的各个像素块中的编码数据量与每个像素块的目标编码数据量之间的差的积分。
Qp[i]=Qini+r×ΣE[i-1]...(1)
这里,r指示量化参数的控制灵敏度。控制灵敏度r越大,Qp[i]根据∑E[i-1]而波动得越大,这提高了编码数据量的可控性,但也增加了图像质量的变化。另一方面,控制灵敏度r越小,Qp[i]对∑E[i-1]的依赖就越小,这减小了Qp[i]的波动并可以减小图像质量的变化;然而,编码数据量的可控性降低。
在实施例中,拜耳模式的RAW图像的一帧被分离成R、G1、G2和B平面。用于识别相应平面的值0、1、2和3被分配给各个平面,并且这些值被表示为变量pl。另外,相应平面pl的第i个块行被表示为BL(pl,i)。然后,当块行BL(pl,i)被编码时所生成的编码数据量被定义为C(BL(pl,i)),并且一个块行的目标编码数据量被表示为TC。
此时,差计算单元110根据下面的等式(2)计算从第一个块行起到紧挨在关注的第i个块行之前的第i-1个块行为止的生成编码数据量与目标编码数据量之间的差的积分值ΣE[i-1]。
ΣE[i-1]=ΣΣ{TC-C(BL(pl,k))}...(2)
这里,ΣΣ表示pl=0、1、2、3且k=0、1、2、...、i-1的合计值。
量化值计算单元111通过将利用以上等式(2)所获得的积分值ΣE[i-1]应用于先前描述的等式(1)来计算关注的第i个块行的量化参数Qp。然后,量化值计算单元111在将量化参数Qp转换为实际的各个子带的量化参数Qp[pl][sb]之后,向量化单元104通知该量化参数Qp。pl和sb分别指示相应的平面以及相应子带的类型和分解级别。
下面将描述用于供量化值计算单元111计算各个平面和子带的量化参数的方法。如等式(3)所示,量化值计算单元111通过将针对各个平面和子带所保持的矩阵mtx以及量化参数权重设置单元112所要设置的水平和垂直方向上的光学压缩比率α乘以由等式(1)计算出的量化参数Qp,来计算Qp[pl][sb]。使用由摄像单元101记录的元信息来设置量化参数权重设置单元112所要设置的水平和垂直方向上的光学压缩比率α。
Qp[pl][sb]=Qp[i]×mtx[pl][sb]×α...(3)
可以采用这样的配置,以预先提供Qp[pl][sb]作为预设值来代替使用等式(3)计算,并根据水平和垂直方向上的光学压缩比率来切换预设值。通常,设置mtx以进行编码数据量的控制,使得子带的频率区域越高,Qp被设置得越大,并且子带的频率区域越低,Qp被设置得越小,这使得由于人类视觉的特性而更难以在视觉上感知的图像数据的频率分量越高,生成编码数据量将被压缩得越多,从而提高编码效率。因此,矩阵mtx被设置为使得子带的频率越高,量化参数Qp越大,并且子带的频率越低,量化参数Qp越小。此外,矩阵mtx被设置为使得量化参数在相同分解级别的HL子带和LH子带中是相同的。在该实施例中,假设矩阵mtx被设置为使得3LL:3HL:3LH:3HH:2HL:2LH:2HH:1HL:1LH:1HH=1:2:2:4:4:4:8:8:8:16。
这里,将参考图5A至图5C描述水平和垂直方向上的光学压缩比率α。
图5A示出当在摄像单元101中使用水平和垂直压缩比率相等的1:1镜头拍摄被摄体时的拍摄图像。当被摄体是圆形时,被摄体的水平长度和垂直长度具有1比1的关系,并且类似地,拍摄图像中的被摄体的水平长度和垂直长度也具有1比1的关系。因此,在图5A的示例中,水平和垂直光学压缩比率α为1。
接着,将描述图5B。图5B示出当在摄像单元101中使用2:1镜头拍摄被摄体时的拍摄图像。
尽管与图5A类似,被摄体的水平长度和垂直长度之间的关系是1比1,但是由于使用在水平方向上光学压缩了1/2倍的镜头来拍摄图像,因此拍摄图像中的水平长度和垂直长度之间的关系是1/2比1。因此,由于当垂直长度为1(基准)时的水平长度为1/2,所以水平光学压缩比率α变为1/2,并且垂直光学压缩比率α变为1。
最后,将描述图5C。图5C示出当在摄像单元101中使用1:2镜头拍摄被摄体时的拍摄图像。尽管与图5A和5B类似,被摄体的水平长度和垂直长度之间的关系是1比1,但是由于使用在垂直方向上光学压缩图像的镜头来拍摄图像,因此拍摄图像中的水平长度和垂直长度之间的关系是1比1/2。因此,由于当水平长度为1(基准)时的垂直长度为1/2,所以垂直光学压缩比率α变为1/2,并且水平光学压缩比率α变为1。
这里,在本实施例中,作为获取α的方法,假设量化参数权重设置单元112从通过与安装在摄像单元101上的镜头单元通信而获取的元信息获取α;然而,可以根据用户设置获取α。例如,可以采用这样的配置,使得用户经由操作单元和显示单元(未示出)选择与镜头的水平和垂直压缩比率有关的信息,并且控制单元150获取由用户选择的镜头的压缩比率。此外,可以从诸如是安装了水平和垂直方向上的光学压缩比率相等的镜头还是安装了水平和垂直方向上的光学压缩比率不同的镜头等的信息中获取。
接着,将再次参考图5A至图5C来描述基于由量化参数权重设置单元112针对各个子带所设置的水平和垂直方向上的光学压缩比率α在等式(3)中计算由量化值计算单元111计算出的量化参数的处理的具体示例。
首先,将描述图5A所示的水平和垂直光学压缩比率相等的情况。当对图5A中所拍摄的图像进行编码并显示编码图像时,图像不在水平或垂直方向上拉伸,因此不会发生与显示相关联的一个方向上的量化失真的增加。因此,当使用等式(3)计算各个子带的量化参数Qp时,量化值计算单元111进行在包括HL和LH子带的所有子带中α=1的计算(即,在不改变各个子带的权重的设置的情况下进行计算)。因此,作为当计算HL和LH子带中的量化参数Qp时的α的值,应用以下等式(4)的关系。
HL:LH=1:1....(4)
因此,各个子带的量化参数的比是3LL:3HL:3LH:3HH:2HL:2LH:2HH:1HL:1LH:1HH=1:2:2:4:4:4:8:8:8:16。
接着,将描述使用图5B所示的2:1镜头的情况。在图5B中,相对于垂直方向,图像在水平方向上被压缩到1/2。因此,如果利用与图5A中相同的子带的量化参数权重设置来进行编码,则在编码时量化失真将在水平和垂直方向上是相同的。然而,由于在显示时仅水平方向被拉伸了2倍,因此水平方向上的量化失真增加,从而导致失真在视觉上被识别为图像质量的劣化。因此,期望通过使与水平方向上的图像质量相关的HL子带的量化参数Qp小于其他子带的量化参数Qp来抑制水平方向上的量化失真的增加。因此,在使用等式(3)计算各个子带的量化参数Qp时,当sb是HL子带时,量化值计算单元111在水平光学压缩比率α=1/2的情况下计算量化参数。当sb是LH子带时,量化值计算单元111在垂直光学压缩比率α=1的情况下计算量化参数Qp。因此,作为当计算HL和LH子带中的量化参数Qp时的α的值,应用以下等式(5)的关系。
HL:LH=1/2:1...(5)
如上所述,在用于在水平方向上而不是在垂直方向上压缩图像的镜头的情况下,假设水平方向上相对于垂直方向的压缩比率是A(A<1),则各个子带的量化参数的比是3LL:3HL:3LH:3HH:2HL:2LH:2HH:1HL:1LH:1HH=1:2×A:2:4:4×A:4:8:8×A:8:16。在图5B的2:1镜头的情况下,由于图像相对于垂直方向在水平方向上被压缩到1/2,因此水平方向相对于垂直方向的压缩比率A=1/2。因此,各个子带的量化参数的比为3LL:3HL:3LH:3HH:2HL:2LH:2HH:1HL:1LH:1HH=1:2×1/2:2:4:4×1/2:4:8:8×1/2:8:16。尽管描述了2:1镜头,但是在1.33:1镜头(相对于垂直方向在水平方向上将图像压缩为1/1.33的镜头)的情况下,A=1/1.33,并且使用A的权重系数确定量化参数。可以采用如下配置:代替从镜头获取镜头的压缩比率的信息,用户选择镜头(所拍摄的图像)的水平和垂直压缩比率,并且从用户所选择的压缩比率中确定作为水平方向相对于垂直方向的压缩比率的A。
最后,将描述使用图5C所示的1:2镜头的情况。在图5C的情况下,如果利用与图5A中相同的子带的量化参数权重设置来进行编码,则在编码时量化失真将在水平和垂直方向上是相同的。然而,由于在显示时仅垂直方向被拉伸了2倍,因此垂直方向上的量化失真增加,从而导致失真在视觉上被识别为图像质量的劣化。因此,期望通过使与垂直方向上的图像质量相关的LH子带的量化参数Qp小于其他子带的量化参数Qp来抑制垂直方向上的量化失真的增加。因此,在使用等式(3)计算各个子带的量化参数Qp时,当sb指示LH子带时,量化值计算单元111在垂直光学压缩比率α=1/2的情况下计算量化参数Qp。当sb是HL子带时,量化值计算单元111在水平光学压缩比率α=1的情况下计算量化参数Qp。因此,作为当计算HL和LH子带中的量化参数Qp时的α的值,应用以下等式(6)的关系。
HL:LH=1:1/2...(6)
在用于在垂直方向上而不是在水平方向上压缩图像的镜头的情况下,假设垂直方向相对于水平方向的压缩比率是B(B<1),则各个子带的量化参数的比是3LL:3HL:3LH:3HH:2HL:2LH:2HH:1HL:1LH:1HH=1:2:2×B:4:4:4×B:8:8:8×B:16。在图5C的1:2镜头的情况下,由于图像形成为相对于水平方向在垂直方向上压缩到1/2,因此垂直方向相对于水平方向的比率B=1/2。因此,各个子带的量化参数的比为3LL:3HL:3LH:3HH:2HL:2LH:2HH:1HL:1LH:1HH=1:2:2×1/2:4:4:4×1/2:8:8:8×1/2:16。已经描述了1:2镜头;然而,在1:1.5镜头(形成相对于水平方向在垂直方向上被压缩到1/1.5的图像的镜头)的情况下,利用垂直方向相对于水平方向的压缩比率B=1/1.5来确定量化参数。可以采取这样的配置:代替从镜头获取压缩比率的信息,用户选择镜头(所拍摄的图像)的水平压缩比率和垂直压缩比率,并且从用户所选择的压缩比率中确定作为垂直方向相对于水平方向的压缩比率的B。
因此,根据压缩是水平的(图5B)还是垂直的(图5C)来切换各个子带的量化参数中所要加权的子带。然后,如果压缩是水平的(图5B),则将用水平方向相对于垂直方向的压缩比率A对HL子带进行加权,使得HL子带的量化参数变得更小。然后,如果压缩是垂直的(图5C),则将用垂直方向相对于水平方向的压缩比率B对LH子带进行加权,使得LH子带的量化参数变得更小。
如上所述,通过根据水平和垂直方向上的光学压缩比率改变量化参数权重设置单元112针对各个子带所要设置的α的值,变得可以抑制伴随着显示的一个方向上的量化失真的增加。如果sb是HH子带,则与HL和LH子带不同,在不根据水平和垂直方向上的光学压缩比率改变量化参数的权重的情况下(α=1)计算量化参数Qp。到目前为止,已经利用使用2:1镜头和1:2镜头的示例描述了设置各个子带的量化参数的权重的方法;然而,水平和垂直光学压缩比率不限于此。此外,可以将接近水平和垂直光学比率的数值应用于光学压缩比率α来代替水平和垂直比率。
[图像解码设备]
接着,将描述根据实施例的图像解码设备。
图8是与用于对上述图像编码设备(图1)所生成的编码图像数据进行解码的图像解码设备800的解码有关的主要部分的框配置图。由于编码和解码密切相关,因此将参考附图简要描述与图像解码设备的解码有关的配置和处理细节。
图像解码设备800包括用于控制整个设备的控制单元850。控制单元850由CPU、用于保持CPU所要执行的程序的ROM和要用作工作区域的RAM配置而成。
头部分析单元801分析要解码的编码图像数据的文件头部,并且获取解码所需的信息。该信息包括解码所需的信息,诸如表示初始量化值(与图1中的初始量化值设置单元115相对应)、初始目标编码数据量(与图1中的初始目标编码数据量设置单元114相对应)以及水平和垂直光学压缩比率的信息等。如果在编码设备和解码设备之间预先统一了初始量化值和初始目标编码数据量,则不需要将该信息包括在文件头部中。
应当理解,构成量化控制单元810的量化参数权重设置单元811、目标编码数据量计算单元812、量化值计算单元813、编码数据量保持单元814和差计算单元815包括与图1中相同名称的组件基本相同的功能。
头部分析单元801将通过分析所获得的初始量化值供应至量化控制单元的量化值计算单元813,将初始目标编码数据量供应至目标编码数据量计算单元812,并且将表示水平和垂直光学压缩比率的信息供应至量化参数权重设置单元811和输出单元807。
解码器802通过进行对头部之后的编码数据进行解码的处理来获得各个平面的子带中的块行的量化系数。解码器802向逆量化单元803供应在解码处理中获得的所有平面的量化系数。另外,由于解码器802在解码处理中求出各个平面的各个块行的编码数据量,因此解码器802在每次求出块行的编码数据量时向编码数据量保持单元814供应指示编码数据量的信息。
结果,在进行块行的解码的处理中,量化值计算单元813可以根据上述编码侧所使用的等式(1)至(3)来确定下一块行的量化参数。
逆量化单元803根据由量化控制单元810设置的量化参数,对各个平面以块行为单位进行逆量化,并获得DWT变换系数。自然地,逆量化单元803中所要设置的量化参数与在图像编码设备中使用的量化参数相同。逆量化单元803将逆量化之后的变换系数供应至逆DWT单元804。
逆DWT单元804根据从逆量化单元803输入的变换系数进行逆DWT(逆小波变换),并将其结果输出到存储器805。结果,响应于解码处理的进展,将在存储器805中构造四个平面。
平面整合单元806进行整合四个平面的处理,生成拜耳模式的RAW图像,并且将该RAW图像供应至输出单元807。
例如,输出单元807进行对输入的RAW图像显像的处理,并且生成由三个分量RGB来配置一个像素的正常彩色图像。然后,输出单元807根据从头部分析单元801供应的指示水平和垂直压缩比率的信息,对所生成的彩色图像进行在水平和垂直方向上对所生成的彩色图像进行插值的处理,并且将其输出到外部显示设备。然而,当水平和垂直压缩比率是1:1时,输出单元807不进行插值处理。当输出单元807的输出目的地是打印设备时,生成具有诸如YMCK等的颜色分量的图像,然后水平和垂直地进行插值处理。
在上述解码处理中,在正以块行为单位进行解码处理期间,量化控制单元810的量化值计算单元813更新用于对各个平面的块行进行逆量化的量化参数。由于更新量化参数的处理与图1的摄像设备100中的量化值计算单元111相同,因此将省略其详细描述。
[第一实施例的变形例]
将描述通过例如由以个人计算机为代表的信息处理设备执行的应用来实现与上述第一实施例相对应的处理的示例,作为第一实施例的变形例。
图9是信息处理设备的框配置图。当设备的电源接通时,CPU 901执行存储在ROM902中的引导程序,进行用于初始化硬件的处理,将存储在硬盘(HDD)904中的操作系统(OS)加载到RAM 903中,并且将控制转移到OS(将控制在OS上执行),使得设备用作信息处理设备。也就是说,显示单元906、键盘907和鼠标908用作与用户的接口。I/F 905是用于与外部设备通信的接口(通常是网络接口或通用串行总线(USB)等)。本实施例中要编码的RAW图像数据也通过该I/F 905从外部单元输入。在上述配置中,当用户通过操作键盘907或鼠标908输入预定指令时,CPU 901将编码应用或解码应用从HDD 904加载到RAM 903中并执行,使得设备用作图像编码设备或图像解码设备。
在下文中,将参考图10的流程图描述在该设备用作图像编码设备的情况下的处理。基本上,当CPU 901通过执行程序而用作图像编码设备时,CPU 901进行与图1中的各个处理单元相对应的处理;关于细节,参考第一实施例。
另外,在下面的描述中,假设要编码的拜耳模式的RAW图像数据已经作为文件存储在HDD 904中。另外,假设指示摄像时的水平和垂直光学压缩比率的信息被存储在文件的头部中。
在步骤S101中,CPU 901从要编码的RAW图像文件获取指示水平和垂直光学压缩比率的信息。该信息可以由用户从操作单元输入。
然后,在步骤S102中,CPU 901输入来自该文件的RAW图像数据,并且将该RAW图像数据在RAM 903中扩展。
在步骤S103中,CPU 901根据在RAM 903中扩展的RAW图像数据生成四个平面R、G1、G2和B,并将它们存储在RAM 903中。
在步骤S104中,CPU 901在编码之前初始化各种参数。该初始化处理包括设置初始量化值和初始目标编码数据量等。该初始化处理还包括将用于存储块行的编码数据量和块行的目标编码数据量的累积和的区域清零的处理。
在步骤S105中,CPU 901对四个平面各自进行DWT。CPU 901将通过该处理所获得的子带存储在RAM 903中。在图10的流程图中的步骤S105中示出了四个框,以指示对四个平面进行DWT。
在步骤S106中,CPU 901将定义块行顺序的变量i设置为初始值“1”。然后,在步骤S107中,CPU 901从通过DWT获得并存储在RAM 903中的子带中读取并量化要在各个平面中编码的第i个块行的DWT系数。
在步骤S108中,CPU 901对各个平面的第i个块行的量化系数进行编码,并将所生成的编码数据临时存储在RAM 903中。此时,CPU 901获得各个平面的第i个块行的编码数据量和目标编码数据量之间的差,并且累加该差(与等式(2)相对应的处理)。
在步骤S109中,CPU 901更新接下来要编码的块行的量化参数(与等式(3)相对应的处理)。
然后,在步骤S110中,CPU 901基于变量i的值来判断是否已编码所有块行。然后,如果存在未编码的块行,则CPU 901使处理前进到步骤S111并使变量i递增1。然后,CPU 901将处理返回到步骤S107,以对下一块行进行编码。
另一方面,当已编码所有块行时,CPU 901将处理从步骤S110前进到步骤S112。在步骤S112中,CPU 901在HDD 904中创建包括解码所需的各种信息(包括指示水平和垂直压缩比率的信息)的文件头部。CPU 901将文件头部之后的存储在RAM 903中的编码数据格式化为预设格式结构并将其输出,从而创建编码图像数据文件。
接着,将参考图11的流程图描述在该设备用作图像解码设备的情况下的处理。基本上,当CPU 901通过执行程序而用作图像解码设备时,CPU 901进行与图8中的各个处理单元相对应的处理;关于细节,参考第一实施例。
此外,在下面的描述中,编码图像文件已经存储在HDD 904中,并且将给出从进行解码处理起直到在显示单元906上显示图像为止的描述。
在步骤S201中,CPU 901通过分析要解码的编码图像文件的文件头部来获取指示水平和垂直方向上的光学压缩比率的信息。该信息可以由用户从操作单元输入。
在步骤S202中,CPU 901在解码之前初始化各种参数。该初始化处理包括设置初始量化值和初始目标编码数据量等。该初始化处理还包括将RAM 903中的用于存储块行的编码数据量和块行的目标编码数据量的累积和的区域清零的处理。接着,在步骤S203中,CPU901将定义块行顺序的变量i设置为初始值“1”。
在步骤S204中,CPU 901解码各个平面的第i个块行,并且获得经量化的变换系数。此时,由于求出第i个块行的编码数据量,因此CPU 901获得该块行的编码数据量和目标编码数据量之间的差,并且通过将该差与上述区域的值相加来进行更新(与等式(2)相对应的处理)。
在步骤S205中,CPU 901对各个平面的第i个块行的量化系数进行逆量化。当变量i为“1”时,根据通过初始化处理所获得的量化参数进行量化。此外,当变量i不是“1”时,使用在通过解码处理的更新之后的量化参数对紧挨在前的块行进行逆量化。
在步骤S206中,CPU 901对通过逆量化所获得的变换系数进行逆DWT,并获得块行的图像。CPU 901将所获得的块行的图像数据存储在RAM 903中。当进行逆DWT时,由于必须获得要使用的滤波器的抽头数量的变换系数;因此除非满足该变换系数,否则不进行逆DWT。
在步骤S207中,在准备解码下一块行时,CPU 901基于该块行的编码数据量和该块行的目标编码数据量之间的差的累加和来更新量化参数(与等式(3)相对应的处理)。也就是说,根据水平和垂直光学压缩比率来确定与各个子带相对应的量化参数。
在步骤S208中,CPU 901判断是否已解码所有块行。如果存在未解码的块行,则CPU901使处理前进到步骤S209,并且仅使变量i递增“1”。然后,CPU 901将处理返回到步骤S204,以解码下一块行。
另一方面,当已解码所有块行时,CPU 901将处理从步骤S208前进到步骤S211。在步骤S210中,CPU 901进行对在RAM 903上再现的四个平面进行整合的处理,并且生成拜耳模式的RAW图像。然后,CPU 901使处理前进到步骤S211。
在步骤S211中,CPU 901对所生成的RAW图像进行显像处理,并且生成由R、G和B分量来配置一个像素的彩色图像。然后,CPU 901通过进行根据在步骤S201中获取的水平和垂直压缩比率在水平或垂直方向上放大所生成的彩色图像的处理来生成水平和垂直比例为1:1的图像,并且将该图像输出到显示单元906。
如上所述,与上述第一实施例相同的处理也可以通过计算机程序来实现。
[第二实施例]
接着,现在将描述第二实施例。第二实施例中的设备的配置与第一实施例的图1相同。
然而,根据第二实施例的平面转换单元102将RAW图像数据转换为一个亮度平面(Y平面)和三个非亮度平面。在第一实施例中,仅使用水平和垂直方向上的光学压缩比率来确定各个平面中的各个子带的量化参数权重,而在第二实施例中,将描述在确定量化参数时考虑光学压缩比率以及各个平面的信号分量方向的特征的示例。
根据第二实施例的平面转换单元102根据下面的等式(7)至(9)将RAW图像数据转换为三个非亮度平面(U、V、GH平面)和如等式(10)所示的亮度平面(Y平面)。
U=B-(G1+G2)/2...(7)
V=R-(G1+G2)/2...(8)
GH=G1-G2...(9)
Y=(R+B+G1+G2)/4...(10)
在第二实施例中,如上所述转换各个平面作为平面转换的示例;然而,转换方法不限于此。
图6A至图6D示出各个平面中的信号分量的方向的表示。图6A至图6D是关注于图2所示的拜耳模式的相邻2×2像素(R、G1、G2、B)的图。
首先,根据等式(7),U平面成为G1分量和G2分量的算术平均与B分量之间的差。因此,由信号分量U表示的方向是通过如图6A所示的实线连接点P’和点Q’的对角线方向,点P’是B分量的重心位置,点Q’是通过对G1分量和G2分量求平均而获得的信号的重心位置。
根据等式(8),V平面成为G1分量和G2分量的算术平均与R分量之间的差。由信号分量V表示的方向是通过如图6B所示的实线连接点S’和点T’的对角线方向,点S’是R分量的重心位置,点T’是通过对G1分量和G2分量求平均而获得的信号的重心位置。
根据等式(9),GH平面是G1分量和G2分量之间的差。因此,由信号分量GH表示的方向是如图6C所示的通过实线连接G1分量的重心位置V’和G2分量的重心位置W’的对角线方向。
最后,根据等式(10),Y平面是R、G1、G2和B分量的算术平均。因此,信号分量Y的重心位置是点Z’,该点Z’如图6D所示是各个分量的中心位置,并且由于不存在信号分量Y的方向,因此被表示为点。
作为第二实施例中的用于设置量化参数权重设置单元112所要设置的权重的方法,可以根据如第一实施例中所述的水平和垂直方向上的光学压缩比率α来进行计算。然而,考虑到平面转换之后的一些信号分量在对角线方向上这一事实,在将这些信号分量分解成水平和垂直方向之后设置权重,这使得可以进行进一步考虑了伴随着显示时的拉伸的水平和垂直方向上的量化失真的影响程度的编码。
如图7A至图7C所示,U、V和GH平面中的对角线信号分量被分解为水平和垂直方向。在图7A中,当针对图6A从点P’起在水平轴方向上绘制垂线时的水平轴的交点是点R’。连接两个点p1和p2的线段表示为“L(p1,p2)”。此外,角度∠P’Q’R’被设置为θ,并且长度L(P’Q’)被设置为作为基准的1。在这种情况下,线段L(Q’R’)、L(R’P’)和L(P’Q’)的长度比如下面的等式(11)所示。
L(Q’R’):L(R’P’):L(P’Q’)=cosθ:sinθ:1....(11)
接着,图7B对应于图6B。当从点S’起在水平轴方向上绘制垂线时的水平轴的交点是点U’。当角度∠S’T’U’被设置为θ,并且线段L(S’T’)的长度被设置为作为基准的1时,线段L(T’U’)、L(U’S’)和L(S’T’)的长度比如下面的等式(12)所示。
L(T’U’):L(U’S’):L(S’T’)=cosθ:sinθ:1...(12)
最后,图7C对应于图6C。当从点V’起在水平轴方向上绘制垂线并且从点W’起在垂直轴方向上绘制垂线时的交点是点X’。当角度∠V’W’X’被设置为θ,并且线段L(V’W’)的长度被设置为作为基准的1时,线段L(W’X’)、L(X’V’)和L(V’W’)的长度比如下面的等式(13)所示。
L(W’X’):L(X’V’):L(V’W’)=cosθ:sinθ:1...(13)
这里,将参考图5A至图5C描述各个平面和子带的量化参数权重设置单元112所要设置的α的设置方法。首先,在图5A中,由于要编码的图像的水平长度和垂直长度之间的关系是1比1的关系,因此cosθ和sinθ分别是
Figure BDA0003926269340000211
Figure BDA0003926269340000221
并且等式(11)至(13)由以下等式(14)中的关系表示。
L(Q’R’):L(R’P’):L(P’Q’)=L(T’U’):L(U’S’):L(S’T’)=L(W’X’):
Figure BDA0003926269340000222
由于等式(14)的线段的长度比与各个子带中要设置的α同义,因此应用以下等式(15)作为U、V和GH平面中的HL、LH和HH子带的α的值。
Figure BDA0003926269340000223
由于Y平面针对信号分量不具有特定方向,因此应用以下等式(16)的关系,作为HL、LH和HH子带的α的值。
HL:LH:HH=1:1:1...(16)
接着,将针对图5B的情况给出描述;在这种情况下,由于水平长度和垂直长度之间的关系是1/2比1的关系,因此cosθ和sinθ分别为
Figure BDA0003926269340000224
Figure BDA0003926269340000225
因此,等式(12)将成为以下等式(17)的关系。
L(Q’R’):L(R’P’):L(P’Q’)=L(T’U’):L(U’S’):L(S’T’)=L(W’X’):
Figure BDA0003926269340000226
因此,应用以下等式(18)的关系,作为U、V和GH平面中的HL、LH和HH子带的α的值。
Figure BDA0003926269340000227
应用以下等式(19)的关系,作为Y平面中的HL、LH和HH子带的α的值。
HL:LH:HH=1/2:1:1...(19)
最后,将描述图5C的情况。在这种情况下,由于水平长度和垂直长度之间的关系是1比1/2的关系,因此cosθ和sinθ分别是
Figure BDA0003926269340000228
Figure BDA0003926269340000229
因此,等式(13)将成为以下等式(20)的关系。
L(Q’R’):L(R’P’):L(P’Q’)=L(T’U’):L(U’S’):L(S’T’)=L(W’X’):
Figure BDA00039262693400002210
因此,应用以下等式(21)的关系,作为U、V和GH平面中的HL、LH和HH子带的α的值。
Figure BDA0003926269340000231
应用以下等式(22)的关系,作为Y平面中的HL、LH和HH子带的α的值。
HL:LH:HH=1:1/2:1...(22)
如上所述,根据第二实施例,通过不仅考虑水平和垂直光学压缩比率而且考虑各个平面的信号分量的方向来设置各个平面和子带的权重,变得可以进行进一步考虑了伴随着显示时的拉伸的水平或垂直方向上的量化失真的影响程度的编码。
在第一实施例中,关于量化参数的值,如果子带具有相同类型并且块行具有相同位置,则假设量化参数在平面之间相同。这是因为第一实施例中的四个平面之间的唯一差异是颜色分量,并且这些平面具有相同的权重。与之相对,第二实施例对亮度Y平面和三个色差平面进行编码,并且对于亮度平面,将量化参数设置为足够小于其他色差平面的量化参数。
此外,如第一实施例的变形例中那样,与上述第二实施例相对应的处理可以通过计算机执行程序来实现。
此外,在上述实施例中,描述了水平和垂直方向上的压缩比率为2:1或1:2的示例;然而,该比率可以是其他比率。在这种情况下,根据比率设置针对相同分解级别的HL和LH子带所要设置的量化参数就足够了。
在上述第一实施例、变形例和第二实施例中,编码对象是拜耳模式的RAW图像;然而,图像可以是其他格式。例如,当对单色图像进行编码时,由于图像是最初仅由单个亮度分量配置而成的图像,因此不需要平面转换单元102。此外,本发明可以适用于诸如YCbCr等的亮度和色度分量所表示的彩色图像。在这种情况下,对Y平面、Cb平面和Cr平面进行与上述相同的处理就足够了。
在上述实施例中,给出了R、G1、G2和B像素按照光栅扫描的顺序以2×2像素排列的拜耳模式作为示例;然而,在其他拜耳模式的情况下,量化参数可以根据其排列来确定。
其他实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考示例性实施例描述了本发明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释,以涵盖所有这样的修改以及等效的结构和功能。

Claims (20)

1.一种图像编码设备,其能够操作以对摄像单元所获得的图像数据进行编码,所述图像编码设备包括:
获取单元,其被配置为获取表示摄像时的水平方向和垂直方向上的光学压缩比率的信息;
变换单元,其被配置为对所述图像数据进行小波变换以生成多个子带数据;
确定单元,其被配置为确定针对所述变换单元所获得的多个子带中的变换系数的量化参数;以及
编码单元,其被配置为根据所述确定单元所确定的量化参数来对所述变换单元所获得的子带数据中的变换系数进行量化,并且对经量化的变换系数进行编码,
其中,所述确定单元能够操作以基于所述获取单元所获取的表示压缩比率的信息对各个子带进行加权,来确定所述量化参数。
2.根据权利要求1所述的图像编码设备,其中,所述确定单元能够操作以使用与所述获取单元所获取的表示压缩比率的信息相对应的加权系数进行加权,来确定所述量化参数。
3.根据权利要求2所述的图像编码设备,其中,所述确定单元能够操作以基于所述获取单元所获取的表示压缩比率的信息,来确定所述多个子带中的要加权的子带。
4.根据权利要求1所述的图像编码设备,其中,所述确定单元能够操作以根据所述获取单元所获取的压缩比率,在加权LH子带和加权HL子带之间切换。
5.根据权利要求1所述的图像编码设备,其中,在关于水平方向和垂直方向上的光学压缩比率而言、水平方向相对于垂直方向的压缩比率是第一比率的情况下,所述确定单元能够操作以确定量化参数,使得要应用于HL子带的量化参数相对于要应用于相同分解级别的LH子带的量化参数的比率是所述第一比率,其中,所述第一比率小于1。
6.根据权利要求1所述的图像编码设备,其中,
在水平方向和垂直方向上的光学压缩比率为1的情况下,所述确定单元能够操作以针对相同分解级别的HL子带和LH子带将量化参数确定为相同的量化参数,以及
在关于水平方向和垂直方向上的光学压缩比率而言、水平方向相对于垂直方向的压缩比率是第一比率的情况下,所述确定单元能够操作以通过使用所述第一比率对HL子带进行加权来确定量化参数,使得将要应用于HL子带的量化参数设置为小于要应用于相同分解级别的LH子带的量化参数,其中所述第一比率小于1。
7.根据权利要求1所述的图像编码设备,其中,在关于水平方向和垂直方向上的光学压缩比率而言、垂直方向相对于水平方向的压缩比率是第二比率的情况下,所述确定单元能够操作以确定量化参数,使得要应用于LH子带的量化参数相对于要应用于相同分解级别的HL子带的量化参数的比率是所述第二比率,其中所述第二比率小于1。
8.根据权利要求1所述的图像编码设备,其中,
在水平方向和垂直方向上的光学压缩比率为1的情况下,所述确定单元能够操作以针对相同分解级别的HL子带和LH子带将量化参数确定为相同的量化参数,以及
在关于水平方向和垂直方向上的光学压缩比率而言、垂直方向相对于水平方向的压缩比率是第二比率的情况下,所述确定单元能够操作以通过使用所述第二比率对LH子带进行加权来确定量化参数,使得将要应用于LH子带的量化参数设置为小于要应用于相同分解级别的HL子带的量化参数,其中所述第二比率小于1。
9.根据权利要求1所述的图像编码设备,其中,光学镜头单元能够附接到所述图像编码设备或从所述图像编码设备拆卸,
所述获取单元能够操作以通过与所述镜头单元通信来获取表示水平方向和垂直方向上的光学压缩比率的信息,以及
所述确定单元能够操作以基于从所述镜头单元获取的表示水平方向和垂直方向上的光学压缩比率的信息,来确定所述量化参数。
10.根据权利要求1所述的图像编码设备,其中,所述获取单元能够操作以获取表示用户经由所述图像编码设备的操作单元所选择的压缩比率的信息,以及
所述确定单元能够操作以基于所述获取单元所获取的表示用户所选择的压缩比率的信息,来确定所述量化参数。
11.根据权利要求10所述的图像编码设备,其中,在表示用户所选择的压缩比率的信息指示在水平方向上比在垂直方向上进行了更多压缩的压缩比率的情况下,所述确定单元能够操作以将要应用于HL子带的量化参数确定为小于要应用于相同分解级别的LH子带的量化参数。
12.根据权利要求1所述的图像编码设备,还包括平面转换单元,所述平面转换单元被配置为将所述摄像单元所获得的图像转换为各自由单个分量配置而成的多个平面,其中,所述变换单元能够操作以对所述平面转换单元所获得的各个平面进行小波变换。
13.根据权利要求12所述的图像编码设备,其中,所述摄像单元能够操作以输出拜耳模式的RAW图像,以及
所述平面转换单元能够操作以将所述RAW图像转换为R平面、G1平面、G2平面和B平面。
14.根据权利要求13所述的图像编码设备,其中,在水平方向和垂直方向上的光学压缩比率指示在所述摄像单元所获得的图像中水平方向相对于垂直方向的图像是1/2倍的压缩比率的情况下,所述确定单元能够操作以将要应用于HL子带的量化参数确定为要应用于相同分解级别的LH子带的量化参数的1/2。
15.根据权利要求13所述的图像编码设备,其中,在水平方向和垂直方向上的光学压缩比率指示在所述摄像单元所获得的图像中垂直方向相对于水平方向的图像是1/2倍的压缩比率的情况下,所述确定单元能够操作以将要应用于LH子带的量化参数确定为要应用于相同分解级别的HL子带的量化参数的1/2。
16.根据权利要求12所述的图像编码设备,其中,所述摄像单元能够操作以输出拜耳模式的RAW图像,在所述拜耳模式中,R、G1、G2和B像素按照光栅扫描的顺序以2×2像素排列,
所述平面转换单元能够操作以将所述RAW图像转换为以下的色差的U、V和GH平面以及亮度的Y平面,
U=B-(G1+G2)/2
V=R-(G1+G2)/2
GH=G1-G2
Y=(R+B+G1+G2)/4。
17.根据权利要求16所述的图像编码设备,其中,在水平方向和垂直方向上的光学压缩比率指示在所述摄像单元所获得的图像中水平方向相对于垂直方向的图像是1/2倍的压缩比率的情况下,所述确定单元:
能够操作以将针对Y平面的相同分解级别的HL、LH和HH子带所要设置的量化参数的值的比设置为1/2:1:1,以及
能够操作以将针对U、V和GH平面的相同分解级别的HL、LH和HH子带所要设置的量化参数的值的比设置为
Figure FDA0003926269330000041
18.根据权利要求16所述的图像编码设备,其中,在水平方向和垂直方向上的光学压缩比率指示在所述摄像单元所获得的图像中垂直方向相对于水平方向的图像是1/2倍的压缩比率的情况下,所述确定单元:
能够操作以将针对Y平面的相同分解级别的HL、LH和HH子带所要设置的量化参数的值的比设置为1:1/2:1,以及
能够操作以将针对U、V和GH平面的相同分解级别的HL、LH和HH子带所要设置的量化参数的值的比设置为
Figure FDA0003926269330000042
19.一种图像编码设备的控制方法,所述图像编码设备能够操作以对摄像单元所获得的图像数据进行编码,所述控制方法包括以下步骤:
(a)获取表示摄像时的水平方向和垂直方向上的光学压缩比率的信息;
(b)对所述图像数据进行小波变换以生成多个子带数据;
(c)确定针对步骤(b)中获得的多个子带中的变换系数的量化参数;以及
(d)根据步骤(c)中确定的量化参数来对步骤(b)中获得的子带数据中的变换系数进行量化,并且对经量化的变换系数进行编码,
其中,在步骤(c)中,通过基于步骤(a)中获取的表示压缩比率的信息对各个子带进行加权,来确定所述量化参数。
20.一种存储有程序的非暂时性计算机可读存储介质,所述程序在由计算机读取并执行时,使所述计算机执行图像编码设备的控制方法的各步骤,所述图像编码设备能够操作以对摄像单元所获得的图像数据进行编码,所述控制方法包括以下步骤:
(a)获取表示摄像时的水平方向和垂直方向上的光学压缩比率的信息;
(b)对所述图像数据进行小波变换以生成多个子带数据;
(c)确定针对步骤(b)中获得的多个子带中的变换系数的量化参数;以及
(d)根据步骤(c)中确定的量化参数来对步骤(b)中获得的子带数据中的变换系数进行量化,并且对经量化的变换系数进行编码,
其中,在步骤(c)中,通过基于步骤(a)中获取的表示压缩比率的信息对各个子带进行加权,来确定所述量化参数。
CN202211375088.6A 2021-11-04 2022-11-04 图像编码设备及其控制方法和计算机可读存储介质 Pending CN116074538A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-180509 2021-11-04
JP2021180509 2021-11-04
JP2022134421A JP2023070055A (ja) 2021-11-04 2022-08-25 画像符号化装置及びその制御方法及びプログラム
JP2022-134421 2022-08-25

Publications (1)

Publication Number Publication Date
CN116074538A true CN116074538A (zh) 2023-05-05

Family

ID=84818475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211375088.6A Pending CN116074538A (zh) 2021-11-04 2022-11-04 图像编码设备及其控制方法和计算机可读存储介质

Country Status (3)

Country Link
US (1) US20230133895A1 (zh)
CN (1) CN116074538A (zh)
GB (1) GB2614381A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116708788B (zh) * 2023-08-02 2023-11-21 深圳市冠群电子有限公司 手机文件压缩系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3302091B2 (ja) * 1993-03-31 2002-07-15 キヤノン株式会社 符号化装置及び符号化方法

Also Published As

Publication number Publication date
GB202215702D0 (en) 2022-12-07
US20230133895A1 (en) 2023-05-04
GB2614381A (en) 2023-07-05

Similar Documents

Publication Publication Date Title
US10638162B2 (en) Coding method and decoding processing method
KR100971833B1 (ko) 화상 부호화 방법 및 장치
US9516197B2 (en) Apparatus and method for lossless compression of raw color sensor data from a color array filtered image sensor
JP4084826B2 (ja) イメージ圧縮デバイス及びその方法
US8009924B2 (en) Method and apparatus for recording image data
JP2004128583A (ja) 撮像装置、画像処理方法、プログラム及び記録媒体
US10735724B2 (en) Method and device for compressing image on basis of photography information
US9800875B2 (en) Video camera with rate control video compression
US10602145B2 (en) Image encoding apparatus and control method thereof
JP2019106572A (ja) 画像符号化装置及びその制御方法、並びにプログラム
JP2003199019A (ja) 撮像装置および方法、記録媒体、並びにプログラム
CN116074538A (zh) 图像编码设备及其控制方法和计算机可读存储介质
WO2019237659A1 (en) Blind compressive sampling method, apparatus and imaging system
JP2017216630A (ja) 画像符号化装置及びその制御方法
JP2006074114A (ja) 画像処理装置及び撮像装置
JP6775339B2 (ja) 画像符号化装置及びその制御方法
JP2009017233A (ja) 映像信号処理装置、映像信号処理方法、および映像信号処理プログラム
JP2023070055A (ja) 画像符号化装置及びその制御方法及びプログラム
JP4375662B2 (ja) 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置
JP7016660B2 (ja) 符号化装置、その制御方法、および制御プログラム、並びに撮像装置
JP6907004B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP4749508B2 (ja) 画像復号方法
JPH0420190A (ja) 電子カメラ装置および画像データの符号化装置
JP5924262B2 (ja) 画像処理装置および画像処理プログラム
JP2002064790A (ja) 画像処理装置及びその方法プログラムコード、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination