CN114982235A - 图像处理装置和方法 - Google Patents
图像处理装置和方法 Download PDFInfo
- Publication number
- CN114982235A CN114982235A CN202180009380.3A CN202180009380A CN114982235A CN 114982235 A CN114982235 A CN 114982235A CN 202180009380 A CN202180009380 A CN 202180009380A CN 114982235 A CN114982235 A CN 114982235A
- Authority
- CN
- China
- Prior art keywords
- inverse
- transform
- coefficient data
- unit
- clipping
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 416
- 238000012545 processing Methods 0.000 title claims abstract description 306
- 230000003044 adaptive effect Effects 0.000 claims abstract description 388
- 238000003672 processing method Methods 0.000 claims abstract description 6
- 238000013139 quantization Methods 0.000 claims description 244
- 239000000872 buffer Substances 0.000 claims description 148
- 238000004364 calculation method Methods 0.000 claims description 39
- 238000005520 cutting process Methods 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 abstract description 183
- 230000010365 information processing Effects 0.000 abstract description 6
- 230000002441 reversible effect Effects 0.000 abstract 2
- 230000008569 process Effects 0.000 description 210
- 238000005516 engineering process Methods 0.000 description 65
- 230000015654 memory Effects 0.000 description 33
- 238000001914 filtration Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 19
- 230000008707 rearrangement Effects 0.000 description 19
- 230000009466 transformation Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 12
- 239000012536 storage buffer Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000001131 transforming effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- VBRBNWWNRIMAII-WYMLVPIESA-N 3-[(e)-5-(4-ethylphenoxy)-3-methylpent-3-enyl]-2,2-dimethyloxirane Chemical compound C1=CC(CC)=CC=C1OC\C=C(/C)CCC1C(C)(C)O1 VBRBNWWNRIMAII-WYMLVPIESA-N 0.000 description 4
- 241000023320 Luma <angiosperm> Species 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 4
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本公开内容涉及使得可以在抑制逆自适应颜色变换后的系数数据的失真增加的同时抑制逆自适应颜色变换处理的负荷增加的图像处理装置和方法。以基于通过可逆自适应颜色变换得到的系数数据的位深度的水平对该系数数据进行裁剪,并且将以该水平裁剪的系数数据经受可逆逆自适应颜色变换。本公开内容适用于例如图像处理装置、图像编码装置、图像解码装置、发送装置、接收装置、发送/接收装置、信息处理装置、图像捕获装置、回放装置、电子器件、图像处理方法、信息处理方法等。
Description
技术领域
公开内容涉及图像处理装置和方法,并且更具体地,涉及能够在抑制在逆自适应颜色变换后的系数数据失真增加的同时抑制逆自适应颜色变换处理的负荷增加的图像处理装置和方法。
背景技术
传统上,已经提出了用于得出运动图像的预测残差、执行系数变换、量化和编码的编码方法(例如,参见非专利文献1和非专利文献2)。此外,作为用于提高RGB 444中的编码效率的编码工具,已经提出了用于将RGB域中的系数数据变换为YCgCo域中的系数数据的自适应颜色变换(ACT)。此外,已经提出了无损方法作为自适应颜色变换(参见例如非专利文献3)
同时,在有损逆自适应颜色变换(逆ACT)中,为了抑制逆自适应颜色变换处理的负荷增加,已经提出了利用[-2^bitDepth,2^bitDepth-1]对用作输入信号的YCgCo域中的系数数据进行裁剪(例如,参见非专利文献4)。
引用列表
非专利文献
非专利文献1:Benjamin Bross,Jianle Chen,Shan Liu,Ye-Kui Wang,“Versatile Video Coding(Draft 7)”,JVET-P2001-vE,ITU-T SG 16WP 3和ISO/IEC JTC1/SC 29/WG 11的联合视频专家组(JVET)第十六次会议:日内瓦,瑞士,2019年10月1日-11日
非专利文献2:Jianle Chen,Yan Ye,Seung Hwan Kim,“Algorithm descriptionfor Versatile Video Coding and Test Model 7(VTM 7)”,JVET-P2002-v1,ITU-T SG16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第十六次会议:日内瓦,瑞士,2019年10月1日-11日
非专利文献3:Xiaoyu Xiu,Yi-Wen Chen,Tsung-Chuan Ma,Hong-Jheng Jhu,Xianglin Wang,Jie Zhao,Hendry,Seethal Paluri,Seung Hwan Kim,Weijia Zhu,Jizheng Xu,Li Zhang,“ACT colour conversion for both lossless and lossycoding”,JVET-Q0510_r2,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第十七次会议:布鲁塞尔,比利时,2020年1月1-17日
非专利文献4:Xiaoyu Xiu,Yi-Wen Chen,Tsung-Chuan Ma,Hong-Jheng Jhu,Xianglin Wang“AHG16:Clipping residual samples for ACT”,JVET-Q0513_r2,ITU-T SG16WP 3和ISO/IEC JTC 1/SC 29/WG 11联合视频专家组(JVET)第十七次会议:布鲁塞尔,比利时,2020年1月1-17日
发明内容
本发明要解决的问题
然而,经受无损自适应颜色变换的YCgCo域中的系数数据的值域比经受有损方法的自适应颜色变换的YCgCo域中的系数数据的值域宽。因此,当将非专利文献4中描述的方法应用于非专利文献3中公开的无损逆自适应颜色变换时,YCgCo域的系数数据通过裁剪处理而改变,并且存在逆自适应颜色变换后RGB域中的系数数据失真增加的可能性。
鉴于这样的情况提出了公开内容,并且本公开内容的目的是在抑制逆自适应颜色变换后的系数数据失真增加的同时抑制逆自适应颜色变换处理的负荷增加。
问题的解决方案
根据本技术的一方面,图像处理装置包括:裁剪处理单元,其被配置成以基于经受无损自适应颜色变换的系数数据的位深度的水平对该系数数据进行裁剪;以及逆自适应颜色变换单元,其被配置成通过无损方法对由裁剪处理单元以该水平裁剪的系数数据执行逆自适应颜色变换。
根据本技术的一方面,图像处理方法包括:以基于经受无损自适应颜色变换的系数数据的位深度的水平对该系数数据进行裁剪;以及通过无损方法对以该水平裁剪的系数数据执行逆自适应颜色变换。
根据本发明的一方面,在图像处理装置和方法中,以基于经受无损自适应颜色变换的系数数据的位深度的水平对该系数数据进行裁剪,以及将以该水平裁剪的系数数据经受无损逆自适应颜色变换。
附图说明
图1是用于描述YCgCo转换与YCgCo-R转换之间的值域的差的示例的图。
图2是示出逆自适应颜色变换装置的主要配置示例的框图。
图3是示出逆自适应颜色变换处理的流程的示例的流程图。
图4是示出逆量化逆变换装置的主要配置示例的框图。
图5是示出逆量化逆变换处理的流程的示例的流程图。
图6是示出图像解码装置的主要配置示例的框图。
图7是示出图像解码处理的流程的示例的流程图。
图8是示出图像编码装置的主要配置示例的框图。
图9是示出变换量化单元的主要配置示例的框图。
图10是示出自适应颜色变换单元的主要配置示例的框图。
图11是示出图像编码处理的流程的示例的流程图。
图12是用于描述变换量化处理的流程的示例的流程图。
图13是用于描述自适应颜色变换处理的流程的示例的流程图。
图14是示出计算机的主要配置示例的框图。
具体实施方式
在下文中,将描述用于执行本公开内容的方式(下文中称为实施方式)。另外,将按照以下顺序描述实施方式。
1.无损逆自适应颜色变换的裁剪处理
2.第一实施方式(逆自适应颜色变换装置)
3.第二实施方式(逆量化逆转换装置)
4.第三实施方式(图像解码装置)
5.第四实施方式(图像编码装置)
6.附录
<1.用于无损逆自适应颜色变换的裁剪处理>
<支持技术内容或技术术语的文献等>
在本技术中公开的范围不仅包括在实施方式中描述的内容,还包括在提交时已知的以下非专利文献等中描述的内容或在以下非专利文献等中引用的其他文献的内容等。
非专利文献1:(上述)
非专利文献2:(上述)
非专利文献3:(上述)
非专利文献4:(上述)
非专利文献5:建议书ITU-T H.264(04/2017)“Advanced video coding forgeneric audiovisual services”,2017年4月
非专利文献6:建议书ITU-T H.265(02/18)“High efficiency video coding”,2018年2月
换言之,上述非专利文献中描述的内容也是用于确定支持条件的基础。例如,即使在示例中没有直接描述上述非专利文献中描述的四叉树块结构以及四叉树加二叉树(QTBT)块结构,四叉树块结构以及四叉树加二叉树(QTBT)块结构也在本技术的公开范围内并且满足权利要求的支持条件。此外,类似地,即使在示例中没有直接描述诸如解析、语法和语义的技术术语的情况下,它们也在本技术的公开范围内并且满足权利要求的范围的支持条件。
另外,在本说明书中,除非另有指定,否则用作图像(图片)的部分区域或处理单位的“块”(不是指示处理单元的块)指示图片中的任意部分区域,并且块的大小、形状、特性等不受限制。例如,“块”包括在上述非专利文献中描述的任何部分区域(处理单元),例如变换块(TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元(SCU)、编码单元(CU)、最大编码单元(LCU)、编码树块(CTB)、编码树单元(CTU)、子块、宏块、图块或片。
此外,当指定这种块的大小时,不仅可以直接指定块大小,而且还可以间接指定块大小。例如,可以使用用于标识大小的大小信息来指定块大小。此外,例如,可以通过与参考块(例如,LCU、SCU等)的大小的比率或差来指定块大小。例如,当发送用于将块大小指定为语法元素等的信息时,可以使用用于如上所述间接指定大小的信息作为该信息。如此,可以减少信息的量,并且可以提高编码效率。另外,块大小的指定还包括块大小的范围的指定(例如,可允许的块大小的范围的指定等)。
此外,在本说明书中,编码不仅包括将图像转换成比特流的所有处理,而且还包括处理的一部分。例如,编码不仅包括包含预测处理、正交变换、量化、算术编码等的处理,而且包括被统称为量化和算术编码的处理,包含预测处理、量化和算术编码等的处理。类似地,解码不仅包括将比特流转换成图像的所有处理,而且还包括处理的一部分。例如,解码不仅包括包含逆算术解码、逆量化、逆正交变换、预测处理等处理,还包括包含逆算术解码和逆量化的处理,包括逆算术解码、逆量化和预测处理等的处理。
<自适应颜色变换>
作为用于提高RGB 444中的编码效率的编码工具,已经提出了用于将RGB域中的系数数据变换为YCgCo域中的系数数据的自适应颜色变换(ACT)。自适应颜色变换也称为YCgCo变换。注意,自适应颜色变换的逆处理也被称为逆自适应颜色变换(逆ACT)。YCgCo变换的逆处理也被称为逆YCgCo变换。YCgCo变换(逆YCgCo变换)是有损方法。因此,在YCgCo变换(逆YCgCo变换)中,RGB域中的系数数据与YCgCo域中的系数数据之间的变换可能是有损的。换言之,通过将RGB域中的系数数据变换为YCgCo并且然后执行逆YCgCo变换,存在难以生成(恢复)与YCgCo变换之前的RGB域中的系数数据相同的RGB域中的系数数据的可能性。
另一方面,在非专利文献3中,已经提出了无损方法作为自适应颜色变换。无损自适应颜色变换也称为YCgCo-R变换。YCgCo-R变换的逆处理也被称为逆YCgCo-R变换。即,YCgCo-R变换(逆YCgCo-R变换)是无损方法。因此,在YCgCo-R变换(逆YCgCo-R变换)中,可以实现RGB域中的系数数据与YCgCo域中的系数数据之间的无损变换。换言之,通过将RGB域中的系数数据变换为YCgCo-R,并且然后执行逆YCgCo-R变换,存在有可能生成(恢复)与YCgCo-R变换之前的RGB域中的系数数据相同的RGB域的系数数据的可能性。
因此,在应用自适应颜色变换和逆自适应颜色变换的编码中,当应用有损YCgCo变换和逆YCgCo变换时,存在难以实现无损编码的可能性。另一方面,可以通过应用YCgCo-R变换和逆YCgCo-R变换来实现无损编码。
<CgCo-R变换和逆YCgCo-R变换>
YCgCo-R变换将RGB分量转换成YCgCo分量,如下面的等式(1)至等式(4)所示。
Co=R-B
…(1)
t=B+(Co>>1)
…(2)
Cg=G-t
…(3)
Y=t+(Cg>>1)
…(4)
通过如等式(1)至等式(4)所示的YCgCo-R变换,类似于YCgCo变换的情况,仅通过简单的移位操作和加法/减法,可以将RGB域中的系数数据转换为与YCbCr域对应的YCgCo域中的系数数据。如下面的等式(5)至等式(8)中那样执行逆YCgCo-R变换。
t=Y-(Cg>>1)
…(5)
G=Cg+t
…(6)
B=t-(Co>>1)
…(7)
R=Co+B
…(8)
<裁剪处理>
同时,非专利文献4提出用[-2^bitDepth,2^bitDepth-1]对作为输入信号的YCgCo域中的系数数据进行裁剪,以抑制有损逆自适应颜色变换(逆ACT)中的逆自适应颜色变换处理的负荷增加。[A,B]表示值域,其中A为下界并且B为上界。另外,‘用[A,B]进行裁剪’表示等于或小于输入信号的下界A的值是A,并且等于或大于上界B的值是B。bitDepth表示在执行自适应颜色变换之前RGB域中的系数数据的位深度。
例如,位深度bitDepth的系数数据的值域是[-2^bitDepth,2^bitDepth-1]。当对在这样的值域中的RGB域的系数数据进行YCgCo变换时,YCgCo域的每个分量的系数数据的值域理论上在[-2^bitDepth,2^bitDepth-1]的范围内。然而,实际上,由于一些外部因素等的影响,YCgCo域的每个分量的系数数据可能取该值域之外的值。在逆自适应颜色变换处理中,当如上所述扩展输入信号的值域时,逆自适应颜色变换处理的负荷可能增加。特别地,在安装硬件的情况下,存在成本增加的可能性。
因此,通过[-2^bitDepth,2^bitDepth-1]裁剪作为逆YCgCo变换的输入信号的YCgCo域中的每个分量的系数数据。即,作为逆YCgCo变换的输入信号的系数数据rY[x][y]、rCb[x][y]和rCr[x][y]按照下面的等式(9)至等式(11)中那样进行处理。
rY[x][y]=Clip3(-(1<<BitDepth),(1<<BitDepth)-1,rY[x][y])
…(9)
rCb[x][y]=Clip3(-(1<<BitDepth),(1<<BitDepth)-1,rCb[x][y])
…(10)
rCr[x][y]=Clip3(-(1<<BitDepth),(1<<BitDepth)-1,rCr[x][y])
…(11)
rY[x][y]表示Y分量的系数数据。rCb[x][y]表示Cg分量的系数数据。rCr[x][y]表示CO分量的系数数据。Clip3(A,B,C)表示用下界A和上界B来裁剪C的裁剪函数。<<表示位移位(即2的幂)。
如此,在逆YCgCo变换中,不需要考虑以该值域之外的不必要水平进行的处理。因此,可以抑制逆自适应颜色变换处理的负荷增加。特别地,在实现硬件的情况下,可以抑制成本的增加。
假设以这种方式裁剪的系数数据是通过如在非专利文献3中描述的无损方法进行逆YCgCo-变换的。在这种情况下,如等式(9)至等式(11)中那样处理的系数数据rY[x][y]、rCb[x][y]和rCr[x][y]被如下面的等式(12)至等式(15)中那样进行处理。
tmp=rY[x][y]-(rCb[x][y]>>1)
…(12)
rY[x][y]=tmp+rCb[x][y]
…(13)
rCb[x][y]=tmp-(rCr[x][y]>>1)
…(14)
rCr[x][y]+=rCb[x][y]
…(15)
注意,等式(12)至等式(15)等同于上述等式(5)至等式(8)。
<无损方法的自适应颜色变换中的裁剪处理>
然而,在上述无损YCgCo-R变换的情况下,变换的系数数据的值域比YCgCo变换情况下的值域宽。例如,当RGB域中的位深度bitDepth的系数数据经受YCgCo-R变换时,作为亮度分量的Y分量的系数数据的值域是[-2^bitDepth,2^bitDepth-1]。作为色差分量的Cg分量和Co分量的系数数据的值域是[-2^(bitDepth+1),2^(bitDepth+1)-1]。即,Y分量的系数数据的动态范围是bitDepth+1,并且Cg分量和Co分量的系数数据的动态范围是bitDepth+2。
因此,当将在非专利文献4中描述的方法应用于在非专利文献3中公开的无损自适应颜色变换时,YCgCo域中的系数数据通过裁剪处理而改变,并且存在逆自适应颜色变换后RGB域中的系数数据失真增加的可能性。注意,该“失真”表示与逆自适应颜色变换之前的RGB域中的系数数据的不一致性,即,逆自适应颜色变换前后RGB域中的系数数据之间的差异。即,在这样的方法中,可能难以实现RGB域中的系数数据与YCgCo域中的系数数据之间的无损变换。
图1是示出在RGB域中的残差信号经受YCgCo变换或YCgCo-R变换的情况下输入值与输出值之间的关系的示例的图。假设作为YCgCo变换和YCgCo-R变换的输入的RGB域中的系数数据的位深度是10位(bitDepth=10)。假设RGB域中的系数数据的值域是[-2^bitDepth,2^bitDepth-1]。
图1的A示出了G分量(输入值)与Y分量(输出值)之间的关系的示例。图1的B示出B分量(输入值)与Cg分量(输出值)之间的关系的示例。图1的C示出了R分量(输入值)与Co分量(输出值)之间的关系的示例。
在图1中,灰色圆圈表示在YCgCo变换的情况下输入值与输出值之间的关系的示例。白色圆圈表示在YCgCo-R变换的情况下输入值与输出值之间的关系的示例。实粗线表示裁剪的上界的示例。点粗线表示裁剪的下界的示例。此处,示出在非专利文献4中描述的裁剪处理的上界和下界。
如图1的B和图1的C所示,可以看出,在YCgCo-R变换之后,Cg分量的系数数据和Co分量的系数数据可以超过裁剪的上界和下界。在这种情况下,通过裁剪处理,等于或大于上界的值被裁剪为上界,并且等于或小于下界的值被裁剪为下界。即,一些系数数据的值改变。因此,在逆YCgCo-R变换后的系数数据中,存在失真(与YCgCo-R变换前的系数数据不一致)增加的可能性。
因为如上所述逆自适应颜色变换是有损的,所以存在在应用逆自适应颜色变换的编码中难以实现无损编码的可能性。另外,随着逆自适应颜色变换后的RGB域中的系数数据的失真增加,存在解码图像与编码之前的图像之间的差异增加并且解码图像的质量降低的可能性。
<无损自适应颜色变换的裁剪处理的范围的设置>
因此,以基于作为通过无损方法进行的逆自适应颜色变换的输入的通过无损方法经受自适应颜色变换的系数数据的位深度的水平对该系数数据进行裁剪。
例如,在信息处理方法中,以基于通过无损方法经受自适应颜色变换的系数数据的位深度的水平对系数数据进行裁剪,并且以该水平裁剪的系数数据通过无损方法经受逆自适应颜色变换。
例如,信息处理装置包括:裁剪处理单元,其以基于通过无损方法经受自适应颜色变换的系数数据的位深度的水平对该系数数据进行裁剪;以及逆自适应颜色变换单元,其通过无损方法对由裁剪处理单元以该水平裁剪的系数数据执行逆自适应颜色变换。
如此,可以以逆自适应颜色变换后的系数数据失真不增加的水平通过对无损方法的逆自适应颜色变换的输入执行裁剪。因此,可以在抑制逆自适应颜色变换后的系数数据失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。
特别地,通过设置上界和下界使得在裁剪处理的上界与下界之间的值域包括可以经由通过无损方法经受自适应颜色变换的系数数据在理论上获得的值域(即,使得系数数据比理论上可能的值域宽),可以抑制逆自适应颜色变换后的系数数据失真的发生。即,可以在实现RGB域中的系数数据与YCgCo域中的系数数据之间的无损变换的同时,抑制逆自适应颜色变换处理的负荷的增加。
<方法1>
在裁剪处理中,可以以相同的水平对通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量)进行裁剪。通过无损方法经受的自适应颜色变换的系数数据包括作为亮度分量的Y分量、作为颜色分量(色差分量)的Cg分量、以及作为颜色分量(色差分量)的Co分量。即,可以以相同的水平裁剪所有这些分量。这样,与对每个分量以不同的水平执行裁剪的情况相比,可以容易地执行裁剪处理,并且可以抑制负荷的增加。
<方法1-1>
例如,可以用一个值作为上界来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量),该值是通过从以系数数据的位深度加1所获得的值作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量),该值是通过将-1乘上以系数数据的位深度加1所获得的值作为幂指数的2的幂而获得的。此外,可以执行上界的裁剪和下界的裁剪两者。
例如,对通过无损方法经受自适应颜色变换的系数数据执行的裁剪处理的上界actResMax如以下等式(16)中那样使用通过系数数据的位深度加1获得的值进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据执行的裁剪处理的下界actResMin如以下等式(17)中那样使用通过系数数据的位深度加1获得的值进行设置。
actResMax=1<<(BitDepth+1)-1
…(16)
actResMin=-1<<(BitDepth+1)
…(17)
即,上界actResMax是通过从以位深度加1所获得的值作为幂指数的2的幂减去1而获得的值。此外,下界actResMin是通过将-1乘上以位深度加1所获得的值作为幂指数的2的幂而获得的值。然后,如下面的等式(18)至等式(20)所示,使用上界actResMax和下界actResMin来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量)。
rY[x][y]=Clip3(actResMin,actResMax,rY[x][y])
…(18)
rCb[x][y]=Clip3(actResMin,actResMax,rCb[x][y])
…(19)
rCr[x][y]=Clip3(actResMin,actResMax,rCr[x][y])
…(20)
然后,以这种方式裁剪的系数数据如上述等式(12)至等式(15)中那样经受逆YCgCo-R变换,以得出RGB域中的系数数据。
如此,可以使裁剪处理的上界与下界之间的值域比通过无损方法经受自适应颜色变换的系数数据的理论上可能的值域宽。因此,通过用这样的上界和下界进行裁剪,可以抑制逆自适应颜色变换后的系数数据失真的发生。即,可以在实现RGB域中的系数数据与YCgCo域中的系数数据之间的无损变换的同时,抑制逆自适应颜色变换处理的负荷的增加。
<方法1-2>
此外,可以在考虑缓冲器的动态范围的情况下执行裁剪处理。例如,在裁剪处理时,可以以基于位深度和在逆自适应颜色变换时保持系数数据的缓冲器的动态范围的水平来裁剪通过无损方法经受自适应颜色变换的系数数据。通过以这种方式考虑缓冲器的动态范围(硬件限制)来裁剪系数数据,可以抑制缓冲器溢出的发生。换言之,由于可以在不考虑要保持的系数数据的位深度的情况下设置缓冲器的动态范围,所以可以抑制缓冲器的动态范围的增加,并且可以抑制成本的增加。
例如,要裁剪的水平可以是使用以下值中的较小值而得出的值:基于通过无损方法经受自适应颜色变换的系数数据的位深度而不是基于保持系数数据的缓冲器的动态范围的值以及基于缓冲器的动态范围而不是基于位深度的值。如上所述,通过使用较小值来设置上界和下界(即,裁剪处理使系数数据具有较窄的值域),可以在满足缓冲器的硬件限制并抑制逆自适应颜色变换后的系数数据失真增加的同时,抑制逆自适应颜色变换处理的负荷的增加。
例如,可以用一个值作为上界来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量),该值是通过从以系数数据的位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量),该值是通过将-1乘上以系数数据的位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。此外,可以执行上界的裁剪和下界的裁剪两者。
例如,对通过无损方法经受自适应颜色变换的系数数据执行的裁剪处理的上界actResMax如下面的等式(21)中那样使用通过系数数据的位深度加1获得的值和通过从保持系数数据的缓冲器的动态范围减去1获得的值进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据执行的裁剪处理的下界actResMin如下面的等式(22)中那样使用通过系数数据的位深度加1获得的值和通过从保持系数数据的缓冲器的动态范围减去1获得的值进行设置。
actResMax=1<<(min(log2MaxDR-1,BitDepth+1))-1
…(21)
actResMin=-1<<(min(log2MaxDR-1,BitDepth+1))
…(22)
即,上界actResMax是通过从以位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的值。此外,下界actResMin是通过将-1乘上以位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小者作为幂指数的2的幂而获得的值。然后,用如上述等式(18)至(20)中所示的上界actResMax和下界actResMin对通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量)进行裁剪。
然后,以这种方式裁剪的系数数据经受如上述所述等式(12)至(15)的逆YCgCo-R变换以得出RGB域的系数数据。
以这种方式,可以在满足缓冲器的硬件限制并抑制逆自适应颜色变换后的系数数据失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。
<方法2>
如以上在<无损方法的自适应颜色变换中的裁剪处理>中描述的,作为颜色分量(色差分量)的Cg分量和Co分量的系数数据的值域比作为亮度分量的Y分量的系数数据的值域宽。
因此,可以以各自的水平裁剪系数数据的亮度分量和色差分量。例如,可以以第一水平裁剪系数数据的亮度分量,并且可以以第二水平裁剪系数数据的颜色分量(色差分量)。这样,由于每个分量的系数数据可以在对应于该分量的值域中裁剪,所以可以在抑制逆自适应颜色变换后的系数数据失真增加的同时进一步抑制逆自适应颜色变换处理的负荷增加。
例如,当根据具有宽值域的分量执行裁剪时,在具有较窄区域的分量中,裁剪的宽度(在上界与下界之间)变得不必要地宽,并且抑制逆自适应颜色变换处理的负荷降低。如上所述,通过用对应于该分量的宽度来裁剪每个分量,可以进一步抑制逆自适应颜色变换处理的负荷增加。
<方法2-1>
第二水平的上界与下界之间的差可以比第一水平的上界与下界之间的差宽。如上所述,作为色差分量的Cg分量和Co分量的系数数据的值域比作为亮度分量的Y分量的系数数据的值域宽。因此,通过使对作为色差分量的Cg分量和Co分量的系数数据的裁剪的上界与下界之间的差比对作为亮度分量的Y分量的系数数据的裁剪的上界与下界之间的差宽,可以在抑制逆自适应颜色变换后的系数数据失真增加的同时进一步抑制逆自适应颜色变换处理的负荷增加。
例如,可以用一个值作为上界来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量,该值是通过从以系数数据的位深度作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量,该值是通过将-1乘上以系数数据的位深度作为幂指数的2的幂而获得的。此外,可以执行亮度分量的上界和下界的这样裁剪两者。此外,可以用一个值作为上界来裁剪通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量),该值是通过从以系数数据的位深度加1所获得的值作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量),该值是通过将-1乘上以系数数据的位深度加1所获得的值作为幂指数的2的幂而获得的。另外,可以对颜色分量(色差分量)执行上界的裁剪和下界的裁剪。此外,如上所述,可以对亮度分量和颜色分量(色差分量)中的每一个执行上界的裁剪和下界的裁剪。
例如,对通过无损方法经受自适应颜色变换的系数数据的亮度分量执行的裁剪处理的上界actResMaxY如下面的等式(23)中那样使用系数数据的位深度进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据的亮度分量执行的裁剪处理的下界actResMinY如下面的等式(24)中那样使用系数数据的位深度进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量)执行的裁剪处理的上界actResMaxC如下面的等式(25)中那样使用系数数据的位深度进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量)执行的裁剪处理的下界actResMinC如下面的等式(26)中那样使用系数数据的位深度进行设置。
actResMaxY=1<<BitDepth-1
…(23)
actResMinY=-1<<BitDepth
…(24)
actResMaXC=1<<(BitDepth+1)-1
…(25)
actResMinC=-1<<(BitDepth+1)
…(26)
即,亮度分量的上界actResMaxY是通过从以位深度作为幂指数的2的幂减去1而获得的值。另外,亮度分量的下界actResMinY是通过将-1乘上以位深度作为幂指数的2的幂而获得的值。然后,如以下等式(27)所表示的,用上界actResMaxY和下界actResMinY来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量。
rY[x][y]=Clip3(actResMinY,actResMaxY,rY[x][y])
…(27)
另外,将颜色分量(色差分量)的上界actResMaxC设置成通过从以位深度加1所获得的值作为幂指数的2的幂减去1而获得的值。另外,将颜色分量(色差分量)的下界actResMinC设置成通过将-1乘上以位深度加1所获得的值作为幂指数的2的幂而获得的值。然后,如下面的等式(28)和(29)所示,用上界actResMaxC和下界actResMinC来裁剪经受通过无损方法的自适应颜色变换的系数数据的颜色分量(色差分量)。
rCb[x][y]=Clip3(actResMinC,actResMaxC,rCb[x][y])
…(28)
rCr[x][y]=Clip3(actResMinC,actResMaxC,rCr[x][y])
…(29)
然后,对以这种方式裁剪的系数数据进行如上所述的等式(12)至(15)中的逆YCgCo-R变换,以得出RGB域中的系数数据。
这样,由于可以在与各分量相对应的值域中裁剪每个分量的系数数据,因此可以在抑制自适应颜色逆变换后的系数数据失真增加的同时,进一步抑制自适应颜色逆变换处理的负荷增加。
<方法2-2>
此外,可以在考虑缓冲器的动态范围的情况下执行裁剪处理。例如,在裁剪处理时,可以以基于位深度和保持系数数据的缓冲器在逆自适应颜色变换时的动态范围的水平对通过无损方法经受自适应颜色变换的系数数据进行裁剪。即,第一水平和第二水平可以分别是基于经受通过无损方法的自适应颜色变换的系数数据的位深度和存储系数数据的缓冲器的动态范围的值。通过以这种方式考虑缓冲器的动态范围(硬件限制)来对系数数据进行裁剪,可以抑制缓冲器溢出的发生。即,由于能够在不考虑所保持的系数数据的位深度的情况下设置缓冲器的动态范围,因此能够抑制缓冲器的动态范围的增加,并且能够抑制成本的增加。
例如,裁剪亮度分量的水平可以是使用以下值中的较小值得出的值:基于通过无损方法经受自适应颜色变换的系数数据的位深度而不是基于保持系数数据的缓冲器的动态范围的值和基于缓冲器的动态范围而不是基于位深度的值。此外,裁剪颜色分量(色差分量)的水平可以是使用以下值中的较小值得出的值:基于通过将通过无损方法经受自适应颜色变换的系数数据的位深度加1获得的值而不是基于保持系数数据的缓冲器的动态范围的值以及基于缓冲器的动态范围而不是基于通过将位深度加1获得的值的值。如上所述,通过使用较小值来设置上界和下界(即,裁剪处理使系数数据具有较窄的值域),可以在满足缓冲器的硬件限制并且抑制逆自适应颜色变换后的系数数据的每个分量的失真增加的同时,进一步抑制逆自适应颜色变换处理的负荷增加。
例如,可以用一个值作为上界来裁剪系数数据的亮度分量,该值是通过从以通过无损方法经受自适应颜色变换的系数数据的位深度和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪系数数据的亮度分量,该值是通过将-1乘上以通过无损方法经受自适应颜色变换的系数数据的位深度和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。此外,可以执行亮度分量的上界和下界的这样裁剪两者。
此外,可以用一个值作为上界来裁剪通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量),该值是通过从以系数数据的位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量),该值是通过将-1乘上以系数数据的位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。另外,可以对颜色分量(色差分量)执行上界的裁剪和下界的裁剪两者。此外,如上所述,可以对亮度分量和颜色分量(色差分量)中的每一个执行上界的裁剪和下界的裁剪。
例如,对通过无损方法经受自适应颜色变换的系数数据的亮度分量执行的裁剪处理的上界actResMaxY如以下等式(30)中那样使用系数数据的位深度和通过从保持系数数据的缓冲器的动态范围中减去1获得的值进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据的亮度分量执行的裁剪处理的下界actResMinY如以下等式(31)中那样使用系数数据的位深度和通过从保持系数数据的缓冲器的动态范围中减去1获得的值进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量)执行的裁剪处理的上界actResMaxC如以下等式(32)那样使用通过将系数数据的位深度加1获得的值和通过从保持系数数据的缓冲器的动态范围减去1获得的值进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量)执行的裁剪处理的下界actResMinC如以下等式(33)中那样使用通过将系数数据的位深度加1获得的值和通过从保持系数数据的缓冲器的动态范围减去1获得的值进行设置。
actResMaxY=1<<(min(log2MaxDR-1,BitDepth))-1
…(30)
actResMinY=-1<<(min(log2MaxDR-1,BitDepth))
…(31)
actResMaxC=1<<(min(log2MaxDR-1,BitDepth+1))-1
…(32)
actResMinC=-1<<(min(log2MaxDR-1,BitDepth+1))
…(33)
即,亮度分量的上界actResMaxY是通过从以位深度和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的值。此外,亮度分量的下界actResMinY是通过将-1乘上以位深度和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的值。然后,如上述等式(27)所示,用上界actResMaxY和下界actResMinY对通过无损方法经受自适应颜色变换的系数数据的亮度分量进行裁剪。
另外,颜色分量(色差分量)的上界actResMaxC是通过从以位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的值。此外,颜色分量(色差分量)的下界actResMinC被设置成通过将-1乘上以位深度加1所获得的值和从保持系数数据的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的值。然后,如上述等式(28)和(29)所示,用上界actResMaxC和下界actResMinC对通过无损方法经受自适应颜色变换的系数数据的颜色分量(色差分量)进行裁剪。
然后,使以这种方式裁剪的系数数据经受如上述等式(12)至(15)中的逆YCgCo-R变换,以得出RGB域中的系数数据。
如此,可以在满足缓冲器的硬件限制并抑制逆自适应颜色变换后的系数数据的每个分量的失真增加的同时,进一步抑制逆自适应颜色变换处理的负荷增加。
<方法3>
可以以基于在逆自适应颜色变换时保持系数数据的缓冲器的动态范围的水平对系数数据进行裁剪。通过以这种方式在考虑缓冲器的动态范围(硬件限制)的情况下裁剪系数数据,可以抑制缓冲器溢出的发生。换言之,由于可以在不考虑要保持的系数数据的位深度的情况下设置缓冲器的动态范围,所以可以抑制缓冲器的动态范围的增加,并且可以抑制成本的增加。
例如,可以用一个值作为上界来裁剪系数数据的亮度分量和颜色分量(色差分量),该值是通过将以从逆自适应颜色变换时保持系数数据的缓冲器的动态范围减去1所获得的值作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪系数数据的亮度分量和颜色分量(色差分量),该值是通过将-1乘上以从缓冲器的动态范围减去1所获得的值作为幂指数的2的幂而获得的。
例如,对通过受无损方法经受自适应颜色变换的系数数据执行的裁剪处理的上界actResMax如以下等式(34)中那样使用通过从缓冲器的动态范围减去1获得的值进行设置。此外,对通过无损方法经受自适应颜色变换的系数数据执行的裁剪处理的下界actResMin如以下等式(35)中那样使用通过从缓冲器的动态范围减去1获得的值进行设置。
actResMax=1<<(log2MaxDR-1)-1
…(34)
actResMin=-1<<(log2MaxDR-1)
…(35)
即,上界actResMax是通过从以从缓冲器的动态范围减去1所获得的值作为幂指数的2的幂减去1而获得的值。另外,下界actResMin是通过将-1乘上以从缓冲器的动态范围减去1所获得的值作为幂指数的2的幂而获得的值。然后,如上述等式(18)至(20)所示,用上界actResMax和下界actResMin来裁剪通过无损方法经受自适应颜色变换的系数数据的亮度分量和颜色分量(色差分量)。
然后,对以这种方式裁剪的系数数据进行如上述等式(12)至(15)中的逆YCgCo-R变换,以得出RGB域中的系数数据。
如此,可以满足缓冲器的硬件限制,并且可以抑制缓冲器溢出的发生。另外,可以抑制成本的增加。此外,由于系数数据的值域受到裁剪处理的限制,所以可以抑制逆自适应颜色变换处理的负荷增加。此外,在系数数据的值域比缓冲器的动态范围窄的情况下,以这种方式,可以抑制逆自适应颜色变换之后的系数数据的失真增加。
<应用示例>
另外,可以选择性地应用上述的“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”。例如,可以根据基于诸如输入系数数据、硬件规范和负荷条件的某种信息的预定应用条件来应用最佳方法。例如,在缓冲器的动态范围比系数数据的值域宽的情况下,可以应用“方法1-1”或“方法2-1”。当系数数据的亮度分量的值域和颜色分量(色差分量)的值域彼此相等时,可以应用“方法1”、“方法1-1”或“方法1-2”。
另外,在每种方法中,可以选择性地应用上界的裁剪和下界的裁剪中的任一个或两者。例如,当裁剪的下界等于或小于系数数据的值域的下界时,可以省略(跳过)下界的裁剪。另外,当裁剪的上界等于或大于系数数据的值域的上界时,可以省略(跳过)上界的裁剪。
当然,这些是示例,并且应用于每个条件的应用条件或方法不限于这些示例。
<2.第一实施方式>
<逆自适应颜色变换装置>
上述本技术可以应用于任何装置。图2是示出作为应用本技术的图像处理装置的一方面的逆自适应颜色变换装置的配置的示例的框图。图2所示的逆自适应颜色变换装置100是对YCgCo域中的系数数据执行无损方法的逆自适应颜色变换(逆YCgCo-R变换)的装置,其中与图像相关的RGB域中的系数数据已经通过无损方法经受了自适应颜色变换(YCgCo-R变换)。
注意,在图2中,示出了主要的处理单元、数据流等,并且图2中示出的这些不一定是全部。也就是说,在逆自适应颜色变换装置100中,可以存在未在图2中作为框示出的处理单元,或者可以存在未在图2中作为箭头等示出的处理或数据流。
如图2所示,逆自适应颜色变换装置100包括选择单元101、裁剪处理单元102和逆YCgCo-R变换单元103。
选择单元101获取输入到逆自适应颜色变换装置100的系数数据res_x’。此外,选择单元101获取输入到逆自适应颜色变换装置100的cu_act_enabled_flag。cu_act_enabled_flag是指示是否可以应用自适应颜色变换(逆自适应颜色变换)的标志信息。当cu_act_enabled_flag为真(例如,“1”)时,其表示可以应用自适应颜色变换(逆自适应颜色变换)。当cu_act_enabled_flag为假(例如,“0”)时,其表示自适应颜色变换(逆自适应颜色变换)的应用被禁止(即,不适用)。
选择单元101基于cu_act_enabled_flag来选择是否对系数数据res_x’执行逆自适应颜色变换。例如,当cu_act_enabled_flag为真(例如,“1”)时,选择单元101确定系数数据res_x’是已经使RGB域中的系数数据经受YCgCo-R变换的YCgCo域中的系数数据。然后,选择单元101将系数数据res_x’提供给裁剪处理单元102,以对系数数据res_x’执行逆YCgCo-R变换。
例如,当cu_act_enabled_flag为假(例如,“0”)时,选择单元101确定系数数据res_x’是RGB域中的系数数据。然后,选择单元101将系数数据res_x’作为逆自适应颜色变换之后的系数数据res_x输出到逆自适应颜色变换装置100的外部。即,将RGB域中的系数数据输出到逆自适应颜色变换装置100的外部。
裁剪处理单元102获取从选择单元101提供的系数数据res_x’。此外,裁剪处理单元102获取输入到逆自适应颜色变换装置100的变量,例如log2MaxDR和BitDepth。log2MaxDR表示在逆自适应颜色变换处理期间保持系数数据res_x’的缓冲器的动态范围。BitDepth表示系数数据res_x’的位深度。
裁剪处理单元102通过使用基于诸如log2MaxDR和BitDepth的变量得出的上界和下界来对系数数据res_x’执行裁剪处理。裁剪处理单元102将裁剪后的系数数据res_x’提供给逆YCgCo-R变换单元103。
逆YCgCo-R变换单元103获取从裁剪处理单元102提供的经受裁剪处理的系数数据res_x’。逆YCgCo-R变换单元103对所获取的系数数据res_x’执行逆YCgCo-R变换,以生成经受逆YCgCo-R变换的系数数据res_x。逆YCgCo-R变换单元103将生成的系数数据res_x输出到逆自适应颜色变换装置100的外部。即,将RGB域的系数数据输出到逆自适应颜色变换装置100的外部。
<本技术对逆自适应颜色变换装置的应用>
在这样的逆自适应颜色变换装置100中,可以应用以上在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。
例如,裁剪处理单元102以基于系数数据的位深度的水平对系数数据res_x’进行裁剪。然后,逆YCgCo-R变换单元103通过无损方法对由裁剪处理单元102以该水平裁剪的系数数据res_x’执行逆自适应颜色变换。
如此,裁剪处理单元102可以以逆自适应颜色变换后的系数数据res_x失真不增加的水平来裁剪系数数据res_x’。因此,逆自适应颜色变换装置100可以在抑制逆自适应颜色变换后的系数数据res_x的失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。
注意,逆自适应颜色变换装置100可以应用在以上<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”)。
例如,如以上<方法1>中描述的,裁剪处理单元102可以以相同水平裁剪系数数据res_x’的亮度分量和颜色分量(色差分量)。
然后,逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换以得出系数数据res_x。如此,与针对每个分量以不同水平执行裁剪的情况相比,裁剪处理单元102可以容易地执行裁剪处理,并且可以抑制负荷增加。
例如,如以上在<方法1-1>中描述的,裁剪处理单元102可以用一个值作为上界来裁剪系数数据res_x’的亮度分量和颜色分量(色差分量),该值是通过从以系数数据res_x’的位深度加1所获得的值作为幂指数的2的幂减去1而获得的。此外,裁剪处理单元102可以用一个值作为下界来裁剪系数数据res_x’的亮度分量和颜色分量(色差分量),该值是通过将-1乘上以系数数据的res_x’的位深度加1所获得的值作为幂指数的2的幂而获得的。此外,裁剪处理单元102可以执行这样的上界的裁剪和下界的裁剪两者。
然后,逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。如此,裁剪处理单元102可以使裁剪处理的上界与下界之间的值域比系数数据res_x’的理论上可能的值域宽。因此,逆自适应颜色变换装置100可以抑制逆自适应颜色变换之后的系数数据res_x的失真的发生。即,逆自适应颜色变换装置100可以在实现RGB域的系数数据与YCgCo域的系数数据之间的无损变换的同时,抑制逆自适应颜色变换处理的负荷增加。
此外,例如,如以上在<方法1-2>中描述的,裁剪处理单元102可以以基于位深度和在逆自适应颜色变换期间保持系数数据res_x’的缓冲器的动态范围的水平来裁剪系数数据res_x’。
然后,逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。通过以这种方式在考虑缓冲器的动态范围(硬件限制)的情况下裁剪系数数据res_x’,逆自适应颜色变换装置100可以抑制缓冲器溢出的发生。换言之,由于可以在不考虑要保持的系数数据res_x’的位深度的情况下设置缓冲器的动态范围,所以可以抑制缓冲器的动态范围的增加,并且可以抑制逆自适应颜色变换装置100的成本增加。
例如,裁剪处理单元102可以以使用以下值中的较小值得出的水平执行裁剪处理:基于系数数据res_x’的位深度而非基于保持系数数据res_x’的缓冲器的动态范围的值和基于缓冲器的动态范围而非基于位深度的值。
然后,逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。如上所述,通过使用较小值来设置上界和下界(即,裁剪处理使系数数据res_x’具有较窄的值域),逆自适应颜色变换装置100可以在满足缓冲器的硬件限制并抑制逆自适应颜色变换后的系数数据res_x的失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。
例如,裁剪处理单元102可以用一个值作为上界来裁剪系数数据res_x’的亮度分量和颜色分量(色差分量),该值是通过从将系数数据res_x’的位深度加1所获得的值和从保持系数数据res_x’的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的。此外,裁剪处理单元102可以用一个值作为下界来裁剪系数数据res_x’的亮度分量和颜色分量(色差分量),该值是通过将-1乘上以系数数据res_x’的位深度加1所获得的值和从保持系数数据res_x’的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。此外,裁剪处理单元102可以执行这样的上界的裁剪和下界的裁剪两者。
然后,逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。如此,逆自适应颜色变换装置100可以在满足缓冲器的硬件限制并抑制逆自适应颜色变换后的系数数据res_x的失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。
例如,如以上在<方法2>中描述的,裁剪处理单元102可以以各自的水平(第一水平和第二水平)裁剪系数数据res_x’的亮度分量和色差分量。如此,裁剪处理单元102可以在对应于该分量的值域中裁剪每个分量的系数数据。逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,并且得出系数数据res_x。因此,逆自适应颜色变换装置100可以在抑制逆自适应颜色变换后的系数数据res_x的失真增加的同时,进一步抑制逆自适应颜色变换处理的负荷增加。
例如,如以上在<方法2-1>中描述的,第二水平的上界与下界之间的差可以比第一水平的上界与下界之间的差宽。逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,并且得出系数数据res_x。通过使作为色差分量的Cg分量和Co分量的系数数据res_x’的裁剪的上界与下界之间的差比作为亮度分量的Y分量的系数数据res_x’的裁剪的上界与下界之间的差宽,逆自适应颜色变换装置100可以在抑制逆自适应颜色变换后的系数数据res_x的失真增加的同时,进一步抑制逆自适应颜色变换处理的负荷增加。
例如,裁剪处理单元102可以用一个值作为上界来裁剪系数数据res_x’的亮度分量,该值是通过从以系数数据res_x’的位深度作为幂指数的2的幂减去1而获得的。此外,系数数据res_x’的亮度分量可以用一个值作为下界来裁剪系数数据res_x’的亮度分量,该值是通过将-1乘上以系数数据res_x’的位深度作为幂指数的2的幂而获得的。此外,裁剪处理单元102可以对亮度分量执行这样的上界的裁剪和下界的裁剪两者。
此外,裁剪处理单元102可以用一个值作为上界来裁剪系数数据res_x’的颜色分量(色差分量),该值是通过从以系数数据res_x’的位深度加1所获得的值作为幂指数的2的幂减去1而获得的。此外,可以用一个值作为下界来裁剪系数数据res_x’的颜色分量(色差分量),该值是通过将-1乘上以系数数据res_x’的位深度加1所获得的值作为幂指数的2的幂而获得的。此外,裁剪处理单元102可以对颜色分量(色差分量)执行这样的上界的裁剪和下界的裁剪两者。此外,如上所述,裁剪处理单元102可以对亮度分量和颜色分量(色差分量)中的每一个执行上界的裁剪和下界的裁剪。
逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’的亮度分量和颜色分量(色差分量)执行逆YCgCo-R变换,以得出系数数据res_x。如此,裁剪处理单元102可以在对应于该分量的值域中裁剪每个分量的系数数据res_x’。因此,逆自适应颜色变换装置100可以在抑制逆自适应颜色变换之后的系数数据res_x的失真增加的同时,进一步抑制逆自适应颜色变换处理的负荷增加。
此外,例如,如以上在<方法2-2>中描述的,裁剪处理单元102可以以基于位深度和在逆自适应颜色变换期间保持系数数据res_x’的缓冲器的动态范围的水平(第一水平和第二水平)来裁剪系数数据res_x’。
逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’的亮度分量和颜色分量(色差分量)执行逆YCgCo-R变换,以得出系数数据res_x。如此,逆自适应颜色变换装置100可以抑制缓冲器溢出的发生。换言之,由于可以在不考虑要保持的系数数据res_x’的位深度的情况下设置缓冲器的动态范围,所以可以抑制缓冲器的动态范围的增加,并且可以抑制逆自适应颜色变换装置100的成本增加。
例如,裁剪处理单元102可以以使用以下值中的较小值得出的水平对系数数据res_x’的亮度分量执行裁剪处理:基于系数数据res_x’的位深度而非基于保持系数数据res_x’的缓冲器的动态范围的值和基于缓冲器的动态范围而非基于位深度的值。此外,裁剪处理单元102可以使用以下值中的较小值得出的水平对系数数据res_x’的颜色分量(色差分量)执行裁剪处理:基于通过将系数数据res_x’的位深度加1获得的值而不是基于保持系数数据res_x’的缓冲器的动态范围的值、以及基于缓冲器的动态范围而不是基于通过将位深度加1获得的值的值。
然后,逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。如上所述,通过使用较小值来设置上界和下界(即,裁剪处理使系数数据具有较窄的值域),逆自适应颜色变换装置100可以在满足缓冲器的硬件限制并抑制逆自适应颜色变换后的系数数据res_x的每个分量的失真增加的同时,进一步抑制逆自适应颜色变换处理的负荷增加。
例如,裁剪处理单元102可以用一个值作为上界来裁剪系数数据res_x’的亮度分量,该值是通过从以系数数据res_x’位深度和从保持系数数据res_x’的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的。此外,裁剪处理单元102可以用一个值作为下界来裁剪系数数据res_x’的亮度分量,该值是通过将-1乘上以系数数据res_x’的位深度和从保持系数数据res_x’的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。此外,裁剪处理单元102可以对亮度分量执行这样的上界的裁剪和下界的裁剪两者。
此外,裁剪处理单元102可以用一个值作为上界来裁剪系数数据res_x’的颜色分量(色差分量),该值是通过从以系数数据res_x’的位深度加1所获得的值和从保持系数数据res_x’的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的。此外,裁剪处理单元102可以用一个值作为下界来裁剪系数数据res_x’的颜色分量(色差分量),该值是通过将-1乘上以系数数据res_x’的位深度加1所获得的值和从保持系数数据res_x’的缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。此外,裁剪处理单元102可以对颜色分量(色差分量)执行这样的上界的裁剪和下界的裁剪两者。此外,如上所述,裁剪处理单元102可以对亮度分量和颜色分量(色差分量)中的每一个执行上界的裁剪和下界的裁剪。
然后,逆YCgCo-R变换单元103对以这样方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。如此,逆自适应颜色变换装置100可以在满足缓冲器的硬件限制并抑制逆自适应颜色变换后的系数数据res_x的每个分量的失真增加的同时,进一步抑制逆自适应颜色变换处理的负荷增加。
例如,如以上在<方法3>中描述的,裁剪处理单元102可以以基于在逆自适应颜色变换期间保持系数数据res_x’的缓冲器的动态范围的水平来裁剪系数数据res_x’。
逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。如此,逆自适应颜色变换装置100可以抑制缓冲器溢出的发生。换言之,由于可以在不考虑要保持的系数数据的位深度的情况下设置缓冲器的动态范围,所以可以抑制缓冲器的动态范围的增加,并且可以抑制逆自适应颜色变换装置100的成本增加。
例如,裁剪处理单元102可以用一个值作为上界来裁剪系数数据res_x’的亮度分量和颜色分量(色差分量),该值是通过从以通过从逆自适应颜色变换时保持系数数据res_x’的缓冲器的动态范围减去1所获得的值作为幂指数的2的幂减去1而获得的。此外,裁剪处理单元102可以用一个值作为下界来裁剪系数数据res_x’的亮度分量和颜色分量(色差分量),该值是通过将-1乘上以从缓冲器的动态范围减去1所获得的值作为幂指数的2的幂而获得的。
然后,逆YCgCo-R变换单元103对以这种方式裁剪的系数数据res_x’执行逆YCgCo-R变换,以得出系数数据res_x。如此,逆自适应颜色变换装置100可以满足缓冲器的硬件限制,并且可以抑制缓冲器溢出的发生。此外,可以抑制逆自适应颜色变换装置100的成本增加。此外,由于系数数据的值域受到裁剪处理的限制,所以逆自适应颜色变换装置100可以抑制逆自适应颜色变换处理的负荷增加。此外,在系数数据的值域比缓冲器的动态范围窄的情况下,如此,逆自适应颜色变换装置100可以抑制逆自适应颜色变换之后的系数数据的失真的增加。
注意,逆自适应颜色变换装置100可以应用以上在<应用示例>中描述的各种应用示例。
<逆自适应颜色变换处理的流程>
接下来,将参照图3的流程图描述由逆自适应颜色变换装置100执行的逆自适应颜色变换处理的流程的示例。
当开始逆自适应颜色变换处理时,在步骤S101中,逆自适应颜色变换装置100的选择单元101确定cu_act_enabled_flag是否为真。在确定cu_act_enabled_flag为真的情况下,处理进行到步骤S102。
在步骤S102中,裁剪处理单元102使用预定上限和预定下限来裁剪系数数据res_x'。
在步骤S103中,逆YCgCo-R变换单元103对在步骤S102中裁剪的系数数据res_x'执行逆YCgCo-R变换,以得出逆自适应颜色变换后的系数数据res_x。
在步骤S104中,逆YCgCo-R变换单元103将得出的系数数据res_x输出至逆自适应颜色变换装置100的外部。当步骤S104的处理结束时,逆自适应颜色变换处理结束。
此外,在步骤S101中。确定cu_act_enabled_flag为假的情况下,处理进行到步骤S105。
在步骤S105中,选择单元101将系数数据res_x'输出至逆自适应颜色变换装置100的外部作为逆自适应颜色变换之后的系数数据res_x。当步骤S105的处理结束时,逆自适应颜色变换处理结束。
<本技术在逆自适应颜色变换处理中的应用>
在这样的逆自适应颜色变换处理中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。
例如,在步骤S102中,裁剪处理单元102以基于系数数据的位深度的水平裁剪系数数据res_x'。然后,在步骤S103中,逆YCgCo-R变换单元103通过无损方法对由裁剪处理单元102以该水平裁剪的系数数据res_x'执行逆自适应颜色变换。
如此,裁剪处理单元102可以以逆自适应颜色变换后的系数数据res_x失真不增加的水平来'裁剪系数数据res_x'。因此,逆自适应颜色变换装置100可以抑制逆自适应颜色变换后的系数数据res_x的失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。
注意,在这样的逆自适应颜色变换处理中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2”)。通过应用这些方法中的任何一个,可以获得与<本技术在逆自适应颜色变换装置中的应用>中描述的效果类似的效果。
<3.第二实施方式>
<逆量化逆变换装置>
可以将上述逆自适应颜色变换装置100(逆自适应颜色变换处理)应用于执行逆量化逆变换处理的逆量化逆变换装置。图4是示出作为应用本技术的图像处理装置的一方面的逆量化逆变换装置的配置的示例的框图。图4示出的逆量化逆变换装置200是以下装置:该装置通过无损方法对与图像相关的RGB域中的系数数据执行自适应颜色变换((YCgCo-R变换)、执行正交变换、对通过与量化对应的方法量化的量化系数进行逆量化、通过与正交变换对应的方法执行逆正交变换、以及通过无损方法执行逆自适应颜色变换(逆YCgCo-R变换)。这样的处理(由逆量化逆变换装置200执行的处理)也被称为逆量化逆变换处理。
注意,在图4中,示出了主要的处理单元、数据流等,并且图4中示出的这些不一定是全部。也就是说,在逆量化逆变换装置200中,可以存在未在图4中作为框示出的处理单元,或者可以存在未在图4中作为箭头等示出的处理或数据流。
如图4所示,逆量化逆变换装置200包括逆量化单元201、逆正交变换单元202和逆自适应颜色变换单元203。
逆量化单元201获取量化系数qcoef_x。量化系数qcoef_x是通过用预定方法量化正交变换系数coef_x而得出的。此外,逆量化单元201获取逆量化所需的参数,例如量化参数qP、cu_act_enabled_flag和transform_skip_flag等。transform_skip_flag是指示是否跳过(省略)逆正交变换处理的标志信息。例如,当transform_skip_flag为真时,跳过逆正交变换处理。此外,在transform_skip_flag为假的情况下,执行逆正交变换处理。
使用这些参数,逆量化单元201通过与上述量化对应的预定方法对量化系数qcoef_x进行逆量化,以得出正交变换系数coef_x。逆量化单元201将得出的正交变换系数coef_x提供给逆正交变换单元202。
逆正交变换单元202获取从逆量化单元201提供的正交变换系数coef_x。正交变换系数coef_x是通过用预定方法对系数数据res_x'进行正交变换而得出的。此外,逆正交变换单元202获取逆量化所需的参数,例如变换信息Tinfo、transform_skip_flag、mts_idx和lfnst_idx。mts_idx是多重变换选择(MTS)的标识符。lfnst_idx是与低频二次变换相关的模式信息。使用这些参数,逆正交变换单元202通过与上述正交变换对应的预定方法对正交变换系数coef_x进行逆正交变换,并且得出通过无损方法进行了自适应颜色变换的系数数据res_x'。逆正交变换单元202将得出的系数数据res_x'提供给逆自适应颜色变换单元203。
逆自适应颜色变换单元203获取从逆正交变换单元202提供的系数数据res_x'。系数数据res_x'如第一实施方式中所述。此外,逆自适应颜色变换单元203获取cu_act_enabled_flag。逆自适应颜色变换单元203基于cu_act_enabled_flag通过无损方法对系数数据res_x'适当地执行逆自适应颜色变换(逆YCgCo-R变换),以得出逆自适应颜色变换处理之后的系数数据res_x。系数数据res_x如在第一实施方式中所述并且是RGB域中的系数数据。
逆自适应颜色变换单元203将得出的系数数据res_x输出至逆量化逆变换装置200的外部。
<本技术在逆量化逆变换装置中的应用>
在这样的逆量化逆变换装置200中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。也就是说,逆量化逆变换装置200可以应用在第一实施方式中描述的逆自适应颜色变换装置100作为逆自适应颜色变换单元203。在该情况下,逆自适应颜色变换单元203具有与逆自适应颜色变换装置100的配置类似的配置,并且执行类似的处理。
例如,在逆自适应颜色变换单元203中,裁剪处理单元102以基于从逆正交变换单元202提供的系数数据res_x'的位深度的水平裁剪该系数数据。然后,逆YCgCo-R变换单元103对由裁剪处理单元102以该水平裁剪的系数数据res_x'执行逆YCgCo-R变换,以得出逆自适应颜色变换处理后的系数数据res_x。然后,逆YCgCo-R变换单元103将得出的系数数据res_x输出至逆量化逆变换装置200的外部。
如此,逆自适应颜色变换单元203可以以逆自适应颜色变换后的系数数据res_x失真不增加的水平来对系数数据res_x'执行裁剪。因此,如逆自适应颜色变换装置100的情况,逆自适应颜色变换单元203可以抑制逆自适应颜色变换后的系数数据res_x失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。因此,逆量化逆变换装置200可以抑制待输出的系数数据res_x的失真增加的同时,抑制逆量化逆变换处理的负荷增加。
然后,如逆自适应颜色变换装置100的情况,逆自适应颜色变换单元203可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”)。也就是说,逆量化逆变换装置200可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法。通过应用这些方法中的任何一个,逆量化逆变换装置200可以获得与<本技术在逆自适应颜色变换装置中的应用>中描述的效果类似的效果。
<逆量化逆变换处理的流程>
接下来,将参照图5的流程图描述由逆量化逆变换装置200执行的逆量化逆变换处理的流程的示例。
当开始逆量化逆变换处理时,在步骤S201中,逆量化逆变换装置200的逆量化单元201对与处理目标TU中包括的每个分量标识符cIdx=0、1和2对应的量化系数qcoef_x进行逆量化,以得出正交变换系数coef_x。
在步骤S202中,逆正交变换单元202参考与每个分量识别符对应的变换信息Tinfo,并且对正交变换系数coef_x进行逆正交变换,以得出系数数据res_x'。
在步骤S203中,逆自适应颜色变换单元203执行逆自适应颜色变换处理,对系数数据res_x'执行逆YCgCo-R变换,并且得出逆自适应颜色变换处理后的系数数据res_x。
当步骤S203的处理结束时,逆量化逆变换处理结束。
<本技术在逆量化逆变换处理中的应用>
在这样的逆量化逆变换处理中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。也就是说,可以将参照图3的流程图描述的逆自适应颜色变换处理应用为步骤S203的逆自适应颜色变换处理。
如此,逆自适应颜色变换单元203可以以逆自适应颜色变换后的系数数据res_x失真不增加的水平对系数数据res_x'执行裁剪。因此,逆自适应颜色变换单元203可以在抑制逆自适应颜色变换后的系数数据res_x失真增加的同时,抑制逆自适应颜色变换处理的负荷增加。
也就是说,通过执行如上所述的逆量化逆变换处理,逆量化逆变换装置200可以在抑制待输出的系数数据res_x的失真增加的同时,抑制逆量化逆变换处理的负荷增加。
注意,在逆量化逆变换处理(逆自适应颜色变换处理(步骤S203)的逆量化逆变换处理)中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”)。通过应用这些方法中的任何一个,可以获得与<本技术在逆量化逆变换装置中的应用>中描述的效果类似的效果(也就是说,效果与<本技术在逆自适应颜色变换装置中的应用>中描述的效果类似)。
<4.第三实施方式>
<图像解码装置>
可以将上述的逆量化逆变换装置200(逆量化逆变换处理)应用于图像解码装置。图6是示出作为应用本技术的图像处理装置的一个方面的图像解码装置的配置的示例的框图。图6示出的图像解码装置400是解码运动图像的编码数据的装置。例如,图像解码装置400对通过上述非专利文献中描述的诸如VVC、AVC或HEVC的编码方法编码的运动图像的编码数据进行解码。例如,图像解码装置400可以解码由稍后描述的图像编码装置500(图8)生成的编码数据(比特流)。
注意,在图6中,示出了主要的处理单元、数据流等,并且图6中示出的这些不一定是全部。也就是说,在图像解码装置400中,可以存在未在图6中作为框示出的处理单元,或者可以存在未在图6中作为箭头等示出的处理或数据流。这同样适用于描述图像解码装置400中的处理单元等的其他附图。
如图6所示,图像解码装置400包括控制单元401、存储缓冲器411、解码单元412、逆量化逆变换单元413、计算单元414、环路滤波器单元415、重排缓冲器416、帧存储器417和预测单元418。注意,预测单元418包括帧内预测单元和帧间预测单元(未示出)。
<控制单元>
控制单元401执行与解码控制有关的处理。例如,控制单元401经由解码单元412获取比特流中包括的编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo、滤波器信息Finfo等)。此外,控制单元401可以估计没有包括在比特流中的编码参数。此外,控制单元401基于所获取的(或所估计的)编码参数来控制图像解码装置400的每个处理单元(存储缓冲器411至预测单元418)以控制解码。
例如,控制单元401将头信息Hinfo提供给逆量化逆变换单元413、预测单元418和环路滤波器单元415。此外,控制单元401将预测模式信息Pinfo提供给逆量化逆变换单元413和预测单元418。此外,控制单元401将变换信息Tinfo提供给逆量化逆变换单元413。此外,控制单元401将残差信息Rinfo提供给解码单元412。此外,控制单元401将滤波器信息Finfo提供给环路滤波器单元415。
当然,上述示例是示例,并且本发明不限于该示例。例如,可以将每个编码参数提供给任意处理单元。此外,可以将其他信息提供给任意处理单元。
<头信息Hinfo>
例如,头信息Hinfo可以包括诸如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片头(PH)和切片头(SH)的信息
例如,头信息Hinfo可以包括限定图像大小的信息(例如,诸如指示图像的水平宽度的PicWidth以及指示图像的竖直宽度的PicHeight的参数)。此外,头信息Hinfo可以包括限定位深度的信息(例如,诸如指示亮度分量的位深度的bitDepthY以及指示色差分量的位深度的bitDepthC的参数)。此外,头信息Hinfo可以包括作为指示色度阵列类型的参数的ChromaArrayType。此外,头信息Hinfo可以包括诸如指示CU大小的最大值的MaxCUSize以及指示CU大小的最小值的MinCUSize的参数。此外,头信息Hinfo可以包括诸如指示四叉树划分(也称为四叉树划分)的最大深度的MaxQTDepth以及指示四叉树划分的最小深度的MinQTDepth的参数。此外,头信息Hinfo可以包括诸如指示二叉树划分的最大深度的MaxBTDepth以及指示二叉树划分的最小深度的MinBTDepth的参数。此外,头信息Hinfo可以包括诸如指示变换跳过块的最大值(也称为最大变换跳过块大小)的MaxTSSize的参数。
此外,头信息Hinfo可以包括限定每个编码工具的开/关标志(也称为有效标志)等的信息。例如,头信息Hinfo可以包括与正交变换处理或量化处理有关的开/关标志。注意,也可以将编码工具的开/关标志解释为指示与编码工具相关的语法是否存在于编码数据中的标志。此外,在开/关标志的值为1(真)的情况下,其可能指示编码工具是可用的,并且在开/关标志的值为0(假)的情况下,其可能指示编码工具不可用。标志值的解释(真或假)可能被反转。
<预测模式信息Pinfo>
预测模式信息Pinfo例如可以包括诸如指示处理目标预测块(PB)的大小(预测块大小)的PBSize的参数,以及诸如帧内预测模式信息IPinfo和移动预测信息MVinfo的信息。
帧内预测模式信息IPinfo例如可以包括诸如JCTVC-W 1005,7.3.8.5编码单元语法中的prev_intra_luma_pred_flag、mpm_idx和rem_intra_pred_mode的信息,以及指示从语法得出的亮度帧内预测模式的IntraPredModeY。
此外,帧内预测模式信息IPinfo例如可以包括诸如ccp_flag(cclmp_flag)、mclm_flag、chroma_sample_loc_type_idx、chroma_mpm_idx以及指示从这些语法得出的亮度帧内预测模式的IntraPredModeC的信息。
ccp_flag(cclmp_flag)是分量间预测标志,并且是指示是否应用分量间线性预测的标志信息。例如,当ccp_flag==1时,其表示应用了分量间预测,而当ccp_flag==0时,其表示不应用分量间预测。
mclm_flag是多类线性预测模式标志,并且是关于线性预测的模式的信息(线性预测模式信息)。更具体地,mclm_flag是指示是否设置多类线性预测模式的标志信息。例如,当mclm_flag==0时,其表示一类模式(单类模式)(例如,CCLMP),而当mclm_flag==1时,其表示二类模式(多类模式)(例如,MCLMP)。
chroma_sample_loc_type_idx是色度样本位置类型标识符,并且是用于标识色差分量的像素位置的类型(也称为色度样本位置类型)的标识符。注意,该色度样本位置类型标识符(chroma_sample_loc_type_idx)被作为chroma_sample_loc_info()发送(也就是说,色度样本位置类型标识符被存储在chroma_sample_loc_info()中)。该chroma_sample_loc_info()是关于色差分量的像素位置的信息。
chroma_mpm_idx是色度MPM标识符,并且是指示色度帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选被指定为色度帧内预测模式的标识符。
运动预测信息MVinfo例如可以包括诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0,1}和mvd的信息(参见例如JCTVC-W 1005,7.3.8.6预测单元语法)。
当然,预测模式信息Pinfo中包括的信息是任意的,并且除了这些信息之外的信息可以被包括在预测模式信息Pinfo中。
<变换信息Tinfo>
变换信息Tinfo例如可以包括诸如TBWSize、TBHSize、ts_flag、scanIdx、量化参数qP和量化矩阵scaling_matrix的信息(参见例如JCTVC-W 1005,7.3.4缩放列表数据语法)。
TBWSize是指示待处理的变换块的水平宽度大小的参数。注意,变换信息Tinfo可以包括具有以2为底(而不是以TBWSize为底)的TBWSize的对数值log2TBWSize。TBHSize是指示待处理的变换块的竖直宽度大小的参数。注意,变换信息Tinfo可以包括具有以2为底(而不是以TBHSize为底)的TBHSize的对数值log2TBHSize。
ts_flag是变换跳过标志,并且是指示是否跳过(逆)一次变换和(逆)二次变换的标志信息。scanIdx是扫描标识符。
当然,变换信息Tinfo中包括的信息是任意的,并且除了这些信息之外的信息可以被包括在变换信息Tinfo中。
<残差信息Rinfo>
残差信息Rinfo(参见例如JCTVC-W 1005的7.3.8.11残差编码语法)可以包括例如以下信息。
cbf(coded_block_flag):残差数据存在/不存在标志
last_sig_coeff_x_pos:最后一个非零系数X坐标
last_sig_coeff_y_pos:最后一个非零系数Y坐标
coded_sub_block_flag:子块非零系数存在/不存在标志
sig_coeff_flag:非零系数存在/不存在标志
gr1_flag:指示非零系数的水平是否大于1的标志(也称为GR1标志)gr2_flag:指示非零系数的水平是否大于2的标志(也称为GR2标志)sign_flag:指示非零系数的正负的符号(也称为符号码)
coeff_abs_level_remaining:非零系数的残差水平(也称为非零系数残差水平)
当然,残差信息Rinfo中包括的信息是任意的,并且可以包括除了这些信息之外的信息。
<滤波器信息Finfo>
滤波器信息Finfo可以包括例如与以下描述的每个滤波器处理有关的控制信息。
关于去块滤波器(DBF)的控制信息
关于像素自适应偏移(SAO)的控制信息
关于自适应环路滤波器(ALF)的控制信息
关于其他线性/非线性滤波器的控制信息
此外,例如,可以包括应用了每个滤波器的图片、指定图片中的区域的信息、以CU为单位的滤波器的开/关控制信息、与切片与图块之间的边界相关的滤波器的开/关控制信息等。当然,滤波器信息Finfo中包括的信息是任意的,并且可以包括除了这些信息之外的信息。
<存储缓冲器>
存储缓冲器411获取并且保持(存储)输入至图像解码装置400的比特流。存储缓冲器411以预定定时或在满足预定条件时提取在累积的比特流中包括的编码数据,并且将编码数据提供给解码单元412。
<解码单元>
解码单元412获取从存储缓冲器411提供的编码数据,根据语法表的定义对来自比特串的每个语法元素的语法值执行熵解码(无损解码),并且得出编码参数。
编码参数例如可以包括诸如头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo和滤波器信息Finfo的信息。也就是说,解码单元412从比特流中解码并且解析(分析并且获取)这些信息。
解码单元412在控制单元401的控制下执行这样的处理(解码、解析等),并且将获得的信息提供给控制单元401。
此外,解码单元412参考残差信息Rinfo来对编码数据进行解码。此时,例如,解码单元412应用诸如CABAC或CAVLC的熵解码(无损解码)。也就是说,解码单元412通过与图像编码装置500的编码单元514执行的编码处理的编码方法对应的解码方法来对编码数据进行解码。
例如,假设应用CABAC。解码单元412使用上下文模型对编码数据执行算术解码,并且得出每个变换块中的每个系数位置处的量化系数水平。解码单元412将得出的量化系数水平提供给逆量化逆变换单元413。
<逆量化逆变换单元>
逆量化逆变换单元413获取从解码单元412提供的量化系数水平。逆量化逆变换单元413获取从控制单元401提供的诸如预测模式信息Pinfo和变换信息Tinfo的编码参数。
逆量化逆变换单元413基于诸如预测模式信息Pinfo和变换信息Tinfo的编码参数,对量化系数水平执行逆量化逆变换处理,以得出残差数据D'。逆量化逆变换处理是在稍后描述的变换量化单元513(图8)中执行的变换量化处理的逆处理。也就是说,例如,在逆量化逆变换处理中,执行诸如逆量化、逆正交变换和逆自适应颜色变换的处理。逆量化是在变换量化单元513中执行的量化的逆处理。逆正交变换是在变换量化单元513中执行的正交变换的逆处理。逆自适应颜色变换是在变换量化单元513中执行的自适应颜色变换的逆处理。当然,逆量化逆变换处理中包括的处理是任意的,可以省略上述处理的一部分,或者可以包括除了上述处理之外的处理。逆量化逆变换单元413将得出的残差数据D'提供给计算单元414。
<计算单元>
计算单元414获取从逆量化逆变换单元413提供的残差数据D'以及从预测单元418提供的预测图像。计算单元414将残差数据D'以及与残差数据D'对应的预测图像P相加以得出局部解码图像。计算单元414将得出的局部解码图像提供给环路滤波器单元415和帧存储器417。
<环路滤波器单元>
环路滤波器单元415获取从计算单元414提供的局部解码图像。环路滤波器单元415获取从控制单元401提供的滤波器信息Finfo。注意,输入至环路滤波器单元415的信息是任意的,并且可以输入除了这些信息之外的信息。
环路滤波器单元415基于滤波器信息Finfo对局部解码图像适当地执行滤波处理。例如,环路滤波器单元415可以应用双边滤波器作为滤波处理。例如,环路滤波器单元415可以应用去块滤波器(DBF)作为滤波处理。例如,环路滤波器单元415可以应用自适应偏移滤波器(样本自适应偏移(SAO))作为滤波处理。例如,环路滤波器单元415可以应用自适应环路滤波器(ALF)作为滤波处理。另外,环路滤波器单元415可以组合地应用多个滤波器作为滤波处理。注意,应用哪个滤波器以及以何种顺序应用滤波器是任意的,并且可以适当地选择。例如,环路滤波器单元415以以下顺序应用以下四个环路滤波器作为滤波处理:双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器。
环路滤波器单元415执行与编码侧装置执行的滤波处理对应的滤波处理。例如,环路滤波器单元415执行与由稍后描述的图像编码装置500的环路滤波器单元518(图8)执行的滤波处理对应的滤波处理。当然,环路滤波器单元415执行的滤波处理是任意的,并且不限于以上示例。例如,环路滤波器单元415可以应用维纳滤波器等。
环路滤波器单元415将经受滤波处理的局部解码图像提供给重排缓冲器416和帧存储器417。
<重排缓冲器>
重排缓冲器416接收从环路滤波器单元415提供的局部解码图像作为输入,并且保持(存储)局部解码图像。重排缓冲器416使用局部解码图像针对每个图片单元重建解码图像,并且保持(存储在缓冲器中)解码图像。重排缓冲器416从解码顺序以再现顺序重排所获得的解码图像。重排缓冲器416将以再现顺序重排的解码图像组作为运动图像数据输出至图像解码装置400的外部。
<帧存储器>
帧存储器417获取从计算单元414提供的局部解码图像,针对每个图片单元重建解码图像,并且将解码图像存储在帧存储器417的缓冲器中。此外,帧存储器417获取从环路滤波器单元415提供的经受环路滤波处理的局部解码图像,针对每个图片单元重建解码图像,并且将解码图像存储在帧存储器417的缓冲器中。
帧存储器417将所存储的解码图像(或其一部分)适当地提供给预测单元418作为参考图像。注意,帧存储器417可以存储与解码图像的生成有关的头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等。
<预测单元>
预测单元418获取从控制单元401提供的预测模式信息Pinfo。此外,预测单元418获取从帧存储器417读取的解码图像(或其一部分)。预测单元418基于预测模式信息Pinfo以编码时采用的预测模式执行预测处理,并且通过参考作为参考图像的解码图像来生成预测图像P。预测单元418将所生成的预测图像P提供给计算单元414。
<本技术在图像解码装置中的应用>
在这样的图像解码装置400中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。也就是说,图像解码装置400可以应用在第二实施方式中描述的逆量化逆变换装置200作为逆量化逆变换单元413。在该情况下,逆量化逆变换单元413具有与逆量化逆变换装置200(图4)的配置类似的配置。并且执行类似的处理。
例如,在逆量化逆变换单元413中,逆量化单元201获取从解码单元412提供的量化系数水平作为量化系数qcoef_x。然后,逆量化单元201通过使用诸如量化参数qP、cu_act_enabled_flag和transform_skip_flag的信息对量化系数qcoef_x进行逆量化,以得出正交变换系数coef_x。
逆正交变换单元202使用诸如变换信息Tinfo、transform_skip_flag、mts_idx和lfnst_idx的信息,对由逆量化单元201得出的正交变换系数coef_x进行逆正交变换,并且得出系数数据res_x'。
逆自适应颜色变换单元203基于cu_act_enabled_flag通过无损方法对由逆正交变换单元202得出的系数数据res_x'适当地执行逆自适应颜色变换(逆YCgCo-R变换)以得出逆自适应颜色变换处理之后的系数数据res_x。逆自适应颜色变换单元203将得出的系数数据res_x作为残差数据D'提供给计算单元414。
如第一实施方式中所述,逆自适应颜色变换单元203具有与逆自适应颜色变换装置100的配置类似的配置,并且执行类似的处理。例如,在逆自适应颜色变换单元203中,裁剪处理单元102以基于从逆正交变换单元202提供的系数数据res_x'的位深度的水平裁剪该系数数据。然后,逆YCgCo-R变换单元103对由裁剪处理单元102以该水平裁剪的系数数据res_x'执行逆YCgCo-R变换,以得出逆自适应颜色变换处理之后的系数数据res_x。然后,逆YCgCo-R变换单元103将得出的系数数据res_x作为残差数据D'提供给计算单元414。
如此,逆量化逆变换单元413可以以逆自适应颜色变换后的系数数据res_x的失真不增加的水平对系数数据res_x'执行裁剪。因此,与逆量化逆变换装置200的情况类似,逆量化逆变换单元413可以在抑制待输出的系数数据res_x(残差数据D')的失真增加的同时,抑制逆量化逆变换处理的负荷增加。也就是说,图像解码装置400可以在抑制解码图像的质量下降的同时,抑制图像解码处理的负荷增加。
然后,如逆量化逆变换装置200的情况,逆量化逆变换单元413可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”)。也就是说,图像解码装置400可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法。通过应用这些方法中的任何一个,图像解码装置400可以获得与在<本技术在逆量化逆变换装置中的应用>中描述的效果类似的效果(也就是说,效果与<本技术在逆自适应颜色变换装置中的应用>中描述的效果类似)。
<图像解码处理的流程>
接下来,将描述如上所述由图像解码装置400执行的每个处理的流程。首先,将参照图7的流程图描述图像解码处理的流程的示例。
当图像解码处理开始时,在步骤S401中,存储缓冲器411获取并且保持(存储)从图像解码装置400的外部提供的比特流(编码数据)。
在步骤S402中,解码单元412执行解码处理。例如,解码单元412从比特流中解析(分析并且获取)各种编码参数(例如,头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo等)。控制单元401将获取的各种编码参数提供给各种处理单元以设置各种编码参数。
此外,控制单元401基于获得的编码参数来设置处理单元。此外,解码单元412根据控制单元401的控制来解码比特流并且得出量化系数水平。
在步骤S403中,逆量化逆变换单元413执行逆量化逆变换处理以得出残差数据D'。
在步骤S404中,预测单元418生成预测图像P。例如,预测单元418基于在步骤S402中设置的编码参数等,通过编码侧指定的预测方法执行预测处理,并且通过参考存储在帧存储器417中的参考图像来生成预测图像P。
在步骤S405中,计算单元414将在步骤S403中获得的残差数据D'与在步骤S404中获得的预测图像P相加,以得出局部解码图像。
在步骤S406中,环路滤波器单元415对通过步骤S405中的处理获得的局部解码图像执行环路滤波处理。
在步骤S407中,重排缓冲器416使用通过步骤S406中的处理滤波后的局部解码图像来得出解码图像,并且将解码图像组的顺序从解码顺序重排成再现顺序。以再现顺序重排的解码图像组作为运动图像输出至图像解码装置400的外部。
另外,在步骤S408中,帧存储器417存储通过步骤S405中的处理获得的局部解码图像或者通过步骤S406中的处理滤波后的局部解码图像中的至少一个。
当步骤S408的处理结束时,图像解码处理结束。
<本技术在图像解码处理中的应用>
在这样的图像解码处理中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。也就是说,可以将参照图5的流程图描述的逆量化逆变换处理应用为步骤S403的逆量化逆变换处理。
如此,逆量化逆变换单元413可以以逆自适应颜色变换后的系数数据res_x(残差数据D')的失真不增加的水平来裁剪系数数据res_x'。因此,逆量化逆变换单元413可以在抑制逆自适应颜色变换之后的系数数据res_x(残差数据D')的失真增加的同时,抑制逆量化逆变换处理的负荷增加。
也就是说,通过执行如上所述的图像解码处理,图像解码装置400可以在抑制解码图像的质量下降的同时,抑制图像解码处理的负荷增加。
注意,在图像解码处理(逆量化逆变换处理(步骤S403))中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”)。通过应用这些方法中的任何一个,可以获得与<本技术在图像解码装置中的应用>中描述的效果类似的效果(也就是说,效果与<本技术在逆自适应颜色变换装置中的应用>中描述的效果类似)。
<5.第四实施方式>
<图像编码装置>
可以将上述逆量化逆变换装置200(逆量化逆变换处理)应用于图像编码装置。图8是示出作为应用本技术的图像处理装置的一方面的图像编码装置的配置的示例的框图。图8所示的图像编码装置500是编码运动图像的图像数据的装置。例如,图像编码装置500通过上述非专利文献中描述的诸如通用视频编码(VVC)、高级视频编码(AVC)或高效视频编码(HEVC)的编码方法来编码运动图像的图像数据。例如,图像编码装置500可以生成可以由上述图像解码装置400(图6)解码的编码数据(比特流)。
注意,在图8中,示出了主要的处理单元、数据流等,并且图8中示出的这些不一定是全部。也就是说,在图像编码装置500中,可以存在未在图8中作为框示出的处理单元,或者可以存在未在图8中作为箭头等示出的处理或数据流。这同样适用于描述图像编码装置500中的处理单元等的其他附图。
如图8所示,图像编码装置500包括控制单元501、重排缓冲器511、计算单元512、变换量化单元513、编码单元514和存储缓冲器515。此外,图像编码装置500包括逆量化逆变换单元516、计算单元517、环路滤波器单元518、帧存储器519、预测单元520和速率控制单元521。
<控制单元>
控制单元501基于外部指定或预先指定的处理单元的块大小,将由重排缓冲器511保持的运动图像数据划分为处理单元的块(CU、PU、TU等)。此外,控制单元501基于例如率失真优化(RDO)来确定要提供给每个块的编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。例如,控制单元501可以设置变换跳过标志等。
当确定如上所述的编码参数时,控制单元501将编码参数提供给每个块。例如,将头信息Hinfo提供给每个块。将预测模式信息Pinfo提供给编码单元514和预测单元520。将变换信息Tinfo提供给编码单元514、变换量化单元513和逆量化逆变换单元516。将滤波器信息Finfo提供给编码单元514和环路滤波器单元518。当然,每个编码参数的提供目的地是任意的并且不限于该示例。
<重排缓冲器>
运动图像数据的每个字段(输入图像)以再现顺序(显示顺序)被输入至图像编码装置500。重排缓冲器511以其再现顺序(显示顺序)获取并且保持(存储)每个输入图像。重排缓冲器511在控制单元501的控制下以编码顺序(解码顺序)重排输入图像或者将输入图像划分为处理单元中的块。重排缓冲器511将每个经处理的输入图像提供给计算单元512。
<计算单元>
计算单元512从与从重排缓冲器511提供的处理单元中的块对应的图像中减去从预测单元520提供的预测图像P,以得出残差数据D,并且将残差数据D提供给变换量化单元513。
<变换量化单元>
变换量化单元513获取从计算单元512提供的残差数据D。此外,变换量化单元513获取从控制单元501提供的预测模式信息Pinfo和变换信息Tinfo。变换量化单元513基于预测模式信息Pinfo和变换信息Tinfo对残差数据D执行变换量化处理,以得出量化系数水平。在变换量化处理中,例如执行诸如自适应颜色变换、正交变换和量化的处理。当然,变换量化处理中包括的处理是任意的,并且可以省略上述处理中的一些,或者可以包括除了上述处理之外的处理。变换量化单元513将得出的量化系数水平提供给编码单元514和逆量化逆变换单元516。
<编码单元>
编码单元514获取从变换量化单元513提供的量化系数水平。此外,编码单元514获取从控制单元501提供的各个编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。此外,编码单元514获取从环路滤波器单元518提供的关于滤波器的信息(例如滤波器系数)。此外,编码单元514获取从预测单元520提供的关于最佳预测模式的信息。
编码单元514对量化系数水平进行熵编码(无损编码)以生成比特串(编码数据)。编码单元514可以应用例如基于上下文的自适应二进制算术码(CABAC)作为熵编码。编码单元514可以应用例如基于上下文的自适应可变长度码(CAVLC)作为熵编码。当然,该熵编码的内容是任意的,并且不限于这些示例。
此外,编码单元514从量化系数水平得出残差信息Rinfo,编码残差信息Rinfo,并且生成比特串。
此外,编码单元514将从环路滤波器单元518提供的关于滤波器的信息包括在滤波器信息Finfo中,并且将从预测单元520提供的关于最佳预测模式的信息包括在预测模式信息Pinfo中。然后,编码单元514编码上述各个编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)以生成比特串。
此外,编码单元514对如上所述生成的各种类型的信息的比特串进行复用以生成编码数据。编码单元514将编码数据提供给存储缓冲器515。
<存储缓冲器>
存储缓冲器515临时保持在编码单元514中获得的编码数据。存储缓冲器515在预定定时将所保持的编码数据作为例如比特流等输出至图像编码装置500的外部。例如,编码数据经由任意记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。也就是说,存储缓冲器515也是发送编码数据(比特流)的发送单元。
<逆量化逆变换单元>
逆量化逆变换单元516获取从变换量化单元513提供的量化系数水平。此外,逆量化逆变换单元516获取从控制单元501提供的变换信息Tinfo。
逆量化逆变换单元516基于变换信息Tinfo对量化系数水平执行逆量化逆变换处理,以得出残差数据D'。该逆量化逆变换处理是在变换量化单元513中执行的变换量化处理的逆处理,并且是与在上述图像解码装置400的逆量化逆变换单元413中执行的逆量化逆变换处理类似的处理。
也就是说,在逆量化逆变换处理中,例如执行诸如逆量化、逆正交变换和逆自适应颜色变换的处理。该逆量化是在变换量化单元513中执行的量化的逆处理,并且是与在逆量化逆变换单元413中执行的逆量化类似的处理。此外,逆正交变换是在变换量化单元513中执行的正交变换的逆处理,并且是与在变换量化单元513中执行的逆正交变换类似的处理。此外,逆自适应颜色变换是在变换量化单元513中执行的自适应颜色变换的逆处理,并且是与在变换量化单元513中执行的逆自适应颜色变换类似的处理。
当然,逆量化逆变换处理中包括的处理是任意的,并且可以省略上述处理中的一些,或者可以包括除了上述处理之外的处理。逆量化逆变换单元516将得出的残差数据D'提供给计算单元517。
<计算单元>
计算单元517获取从逆量化逆变换单元516提供的残差数据D'以及从预测单元520提供的预测图像P。计算单元517将残差数据D'和与残差数据D'对应的预测图像P相加,以得出局部解码图像。计算单元517将得出的局部解码图像提供给环路滤波器单元518和帧存储器519。
<环路滤波器单元>
环路滤波器单元518获取从计算单元517提供的局部解码图像。另外,环路滤波器单元518获取从控制单元501提供的滤波器信息Finfo。此外,环路滤波器单元518获取从重排缓冲器511提供的输入图像(原始图像)。注意,输入至环路滤波器单元518的信息是任意的,并且可以输入除了这些信息之外的信息。例如,可以根据需要将预测模式、运动信息、码量目标值、量化参数qP、图片类型、块(CU、CTU等)的信息等输入至环路滤波器单元518。
环路滤波器单元518基于滤波器信息Finfo对本地解码图像适当地执行滤波处理。环路滤波器单元518还根据需要使用输入图像(原始图像)和用于滤波处理的其他输入信息。
例如,环路滤波器单元518可以应用双边滤波器作为滤波处理。例如,环路滤波器单元518可以应用去块滤波器(DBF)作为滤波处理。例如,环路滤波器单元518可以应用自适应偏移滤波器(样本自适应偏移(SAO))作为滤波处理。例如,环路滤波器单元518可以应用自适应环路滤波器(ALF)作为滤波处理。另外,环路滤波器单元518可以组合地应用多个滤波器作为滤波处理。注意,应用哪个滤波器以及以何种顺序应用滤波器是任意的,并且可以适当地选择。例如,环路滤波器单元518以以下顺序应用以下四个环路滤波器作为滤波处理:双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器。
当然,由环路滤波器单元518执行的滤波处理是任意的并且不限于上述示例。例如,环路滤波器单元518可以应用维纳滤波器等。
环路滤波器单元518将经滤波的局部解码图像提供给帧存储器519。注意,例如,在将诸如滤波器系数的关于滤波器的信息发送至解码侧的情况下,环路滤波器单元518将关于滤波器的信息提供给编码单元514。
<帧存储器>
帧存储器519执行关于与图像有关的数据的存储的处理。例如,帧存储器519获取从计算单元517提供的局部解码图像以及从环路滤波器单元518提供的经受滤波处理的局部解码图像,并且保持(存储)局部解码图像。此外,帧存储器519使用局部解码图像,针对每个图片单元重建并且保持解码图像(将解码图像存储在帧存储器519的缓冲器中)。帧存储器519响应于来自预测单元520的请求将解码图像(或其一部分)提供给预测单元520。
<预测单元>
预测单元520执行与预测图像的生成有关的处理。例如,预测单元520获取从控制单元501提供的预测模式信息Pinfo。例如,预测单元520获取从重排缓冲器511提供的输入图像(原始图像)。例如,预测单元520获取从帧存储器519读取的解码图像(或其一部分)。
预测单元520使用预测模式信息Pinfo和输入图像(原始图像)来执行诸如帧间预测或帧内预测的预测处理。也就是说,预测单元520通过参考作为参考图像的解码图像执行预测和运动补偿来生成预测图像P。预测单元520将生成的预测图像P提供给计算单元512和计算单元517。此外,预测单元520根据需要将关于通过以上处理选择的预测模式(即,最佳预测模式)的信息提供给编码单元514。
<速率控制单元>
速率控制单元521执行与速率控制有关的处理。例如,速率控制单元521基于存储缓冲器515中累积的编码数据的码量来控制变换量化单元513的量化操作的速率,使得不会发生上溢或下溢。
<变换量化单元>
图9是示出图8的变换量化单元513的主要配置示例的框图。如图9所示,变换量化单元513包括自适应颜色变换单元541、正交变换单元542、和量化单元543。
自适应颜色变换单元541获取从计算单元512提供的残差数据D(图8)作为系数数据res_x。此外,自适应颜色变换单元541获取从控制单元501提供的cu_act_enabled_flag。自适应颜色变换单元541基于cu_act_enabled_flag的值对系数数据res_x执行自适应颜色变换。例如,当cu_act_enabled_flag为真(例如,“1”)时,自适应颜色变换单元541执行无损自适应颜色变换(YCgCo-R变换),并且将RGB域中的系数数据res_x变换为YCgCo域中的系数数据res_x'。自适应颜色变换是在逆量化逆变换单元413或逆量化逆变换单元516中执行的逆自适应颜色变换的逆处理。自适应颜色变换单元541将得出的系数数据res_x'提供给正交变换单元542。
正交变换单元542获取从自适应颜色变换单元541提供的系数数据res_x'。正交变换单元542获取从控制单元501提供的诸如变换信息Tinfo、transform_skip_flag、mts_idx和lfnst_idx的信息。正交变换单元542使用获取的信息来正交变换系数数据res_x'以得出正交变换系数coef_x。该正交变换是在逆量化逆变换单元413或逆量化逆变换单元516中执行的逆正交变换的逆处理。正交变换单元542将得出的正交变换系数coef_x提供给量化单元543。
量化单元543获取从正交变换单元542提供的正交变换系数coeff_x。此外,量化单元543获取从控制单元501提供的诸如量化参数qP、cu_act_enabled_flag和transform_skip_flag的信息。量化单元543使用获取的信息来量化正交变换系数coef_x并且得出量化系数qcoef_x。量化是在逆量化逆变换单元413或逆量化逆变换单元516中执行的逆量化的逆处理。量化单元543将得出的量化系数qcoef_x提供给编码单元514和逆量化逆变换单元516(图8)作为量化系数水平。
<自适应颜色变换单元>
图10是示出图9中的自适应颜色变换单元541的主要配置示例的框图。如图10所示,自适应颜色变换单元541包括选择单元571和YCgCo-R变换单元572.
选择单元571获取从计算单元512提供的残差数据D(图8)作为系数数据res_x。此外,选择单元571获取从控制单元501提供的cu_act_enabled_flag。选择单元571基于cu_act_enabled_flag的值来选择是否对获取的系数数据res_x执行自适应颜色变换。例如,当cu_act_enabled_flag为真(例如,“1”)时,选择单元571确定自适应颜色变换是可应用的,并且将系数数据res_x提供给YCgCo-R变换单元572。
例如,当cu_act_enabled_flag为假(例如,“0”)时,选择单元571确定自适应颜色变换(逆自适应颜色变换)的应用被禁止(也就是说,不适用),并且将系数数据res_x作为应用颜色变换之后的系数数据res_x'提供给正交变换单元542(图9)。
YCgCo-R变换单元572获取从选择单元101提供的系数数据res_x。YCgCo-R变换单元572对获取的系数数据res_x执行YCgCo-R变换以得出经受YCgCo-R变换的系数数据res_x'。该YCgCo-R变换是在逆量化逆变换单元413或逆量化逆变换单元516中执行的逆YCgCo-R变换的逆处理。YCgCo-R变换单元572将得出的系数数据res_x'提供给正交变换单元542(图9)。
<本技术在图像编码装置中的应用>
在这样的图像编码装置500(图8)中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。也就是说,图像编码装置500可以应用在第二实施方式中描述的逆量化逆变换装置200作为逆量化逆变换单元516。在该情况下,逆量化逆变换单元516具有与逆量化逆变换装置200(图4)的配置类似的配置,并且执行类似的处理。
例如,在逆量化逆变换单元516中,逆量化单元201获取从变换量化单元513提供的量化系数水平作为量化系数qcoef_x。然后,逆量化单元201通过使用从控制单元501提供的诸如量化参数qP、cu_act_enabled_flag和transform_skip_flag的信息来逆量化量化系数qcoef_x,并且得出正交变换系数coef_x。
逆正交变换单元202使用从控制单元501提供的诸如变换信息Tinfo、transform_skip_flag、mts_idx和lfnst_idx的信息,来逆正交变换由逆量化单元201得出的正交变换系数coef_x,并且得出系数数据res_x'。
基于从控制单元501提供的cu_act_enabled_flag,逆自适应颜色变换单元203通过无损方法对由逆正交变换单元202得出的系数数据res_x'适当地执行逆自适应颜色变换(逆YCgCo-R变换),以得出逆自适应颜色变换处理之后的系数数据res_x。逆自适应颜色变换单元203将得出的系数数据res_x作为残差数据D'提供给计算单元517。
如第一实施方式中所述,逆自适应颜色变换单元203具有与逆自适应颜色变换装置100的配置类似的配置,并且执行类似的处理。例如,在逆自适应颜色变换单元203中,裁剪处理单元102以基于从逆正交变换单元202提供的系数数据res_x'的位深度的水平裁剪该系数数据。然后,逆YCgCo-R变换单元103对由裁剪处理单元102以该水平裁剪的系数数据res_x'执行逆YCgCo-R变换,以得出逆自适应颜色变换处理之后的系数数据res_x。然后,逆YCgCo-R变换单元103将得出的系数数据res_x作为残差数据D'提供给计算单元517。
如此,逆量化逆变换单元516可以以逆自适应颜色变换后的系数数据res_x的失真不增加的水平对系数数据res_x'执行裁剪。因此,与逆量化逆变换装置200的情况类似,逆量化逆变换单元516可以在抑制待输出的系数数据res_x(残差数据D')的失真增加的同时,抑制逆量化逆变换处理的负荷增加。也就是说,图像编码装置500可以在抑制解码图像的质量下降的同时,抑制图像编码处理的负荷增加。
然后,如逆量化逆变换装置200的情况,逆量化逆变换单元516可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”)。也就是说,图像编码装置500可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法。通过应用这些方法中的任何一个,图像编码装置500可以获得与在<本技术在逆量化逆变换装置中的应用>中描述的效果类似的效果(也就是说,效果与<本技术在逆自适应颜色变换装置>中描述的效果类似).
<图像编码处理的流程>
接下来,将参照图11中的流程图来描述由如上所述的图像编码装置500执行的图像编码处理的流程的示例。
当图像编码处理开始时,在步骤S501中,重排缓冲器511由控制单元501控制以将输入的运动图像数据的帧的顺序从显示顺序重排为编码顺序。
在步骤S502中,控制单元501针对重排缓冲器511所保持的输入图像设置处理单位(对块进行划分)。
在步骤S503中,控制单元501针对重排缓冲器511所保持的输入图像设置编码参数(例如,头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo等)。
在步骤S504中,预测单元520以最佳预测模式执行预测处理并且生成预测图像等。例如,在该预测处理中,预测单元520以最佳帧内预测模式执行帧内预测以生成预测图像等,以最佳帧间预测模式执行帧间预测以生成预测图像等,并且基于成本函数值等从预测图像中选择最佳预测模式。
在步骤S505中,计算单元512计算输入图像与通过步骤S504中的预测处理选择的最佳模式的预测图像之间的差。也就是说,计算单元512得出输入图像与预测图像之间的残差数据D。以该方式得出的残差数据D与原始图像数据相比具有较少的数据量。因此,与图像按原样编码的情况相比,可以压缩数据量。
在步骤S506中,变换量化单元513通过使用在步骤S503中设置的诸如变换信息Tinfo的编码参数,对通过步骤S505中的处理得出的残差数据D执行变换量化处理,并且得出量化系数水平。
在步骤S507中,逆量化逆变换单元516通过使用在步骤S503中设置的诸如变换信息Tinfo的编码参数,对在步骤S506中得出的量化系数水平执行逆量化逆变换处理,并且得出残差数据D’。该逆量化逆变换处理是步骤S506的变换量化处理的逆处理,并且是与图7的图像解码处理的步骤S403的逆量化逆变换处理类似的处理。
在步骤S508中,计算单元517将通过步骤S504中的预测处理生成的预测图像与通过步骤S507中的逆量化逆变换处理得出的残差数据D'相加,从而生成局部解码图像。
在步骤S509中,环路滤波器单元518对通过步骤S508中的处理得出的局部解码图像执行环路滤波处理。
在步骤S510中,帧存储器519存储通过步骤S508中的处理得出的局部解码图像以及在步骤S509中滤波的局部解码图像。
在步骤S511中,编码单元514对通过步骤S506中的变换量化处理得出的量化系数水平进行编码,以得出编码数据。此外,此时,编码单元514对各种编码参数(头信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。此外,编码单元514从量化系数水平得出残差信息RInfo并且对残差信息RInfo进行编码。
在步骤S512中,存储缓冲器515存储以该方式得出的编码数据,并且将编码数据作为例如比特流输出至图像编码装置500的外部。该比特流例如经由传输路径或记录介质被发送至解码侧装置(例如,图像解码装置400)。另外,速率控制单元521根据需要控制速率。当步骤S512的处理结束时,图像编码处理结束。
<变换量化处理的流程>
接下来,将参照图12的流程图描述在图11的步骤S506中执行的变换量化处理的流程的示例。
当变换量化处理开始时,在步骤S541中,自适应颜色变换单元541基于在步骤S503(图11)中设置的cu_act_enabled_flag对通过步骤S505的处理得出的系数数据res_x执行自适应颜色变换,以得出系数数据res_x'。
在步骤S542中,正交变换单元542通过使用在步骤S503(图11)中设置的变换信息Tinfo、预测模式信息Pinfo等对在步骤S541中得出的系数数据res_x'进行正交变换,并且得出正交变换系数coef_x。
在步骤S543中,量化单元543通过使用在步骤S503(图11)中设置的变换信息Tinfo等,对在步骤S542中得出的正交变换系数coef_x进行量化,并且得出量化系数qcoef_x。
当步骤S543的处理结束时,处理返回图11。
<自适应颜色变换处理的流程>
接下来,将参照图13的流程图描述在图12的步骤S541中执行的自适应颜色变换处理的流程的示例。
当自适应颜色变换处理开始时,在步骤S571中,自适应颜色变换单元541的选择单元571确定cu_act_enabled_flag是否为真。在确定cu_act_enabled_flag为真的情况下,处理进行到步骤S572。
在步骤S572中,YCgCo-R变换单元572对三个分量的系数数据res_x执行YCgCo-R变换以得出自适应颜色变换后的系数数据res_x'。
在步骤S573中,YCgCo-R变换单元572将得出的系数数据res_x'提供给正交变换单元542。当步骤S573的处理结束时,自适应颜色变换处理结束。
此外,在步骤S571中确定cu_act_enabled_flag为假的情况下,处理进行到步骤S574。
在步骤S574中,选择单元571将系数数据res_x作为自适应颜色变换后的系数数据res_x'提供给正交变换单元542。当步骤S574的处理结束时,自适应颜色变换处理结束。
<本技术在图像编码处理中的应用>
在这样的图像编码处理中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术。也就是说,可以将参照图5的流程图描述的逆量化逆变换处理应用为步骤S507的逆量化逆变换处理。
如此,逆量化逆变换单元516可以以逆自适应颜色变换后的系数数据res_x(残差数据D')的失真不增加的水平来裁剪系数数据res_x'。因此,逆量化逆变换单元516可以在抑制逆自适应颜色变换后的系数数据res_x(残差数据D')的失真增加的同时,抑制逆量化逆变换处理的负荷增加。
也就是说,通过执行如上所述的图像编码处理,图像编码装置500可以在抑制解码图像的质量下降的同时,抑制图像编码处理的负荷增加。
注意,在图像编码处理(逆量化逆变换处理(步骤S507))中,可以应用上面在<1.无损逆自适应颜色变换的裁剪处理>中描述的本技术的各种方法(包括“方法1”、“方法1-1”、“方法1-2”、“方法2”、“方法2-1”、“方法2-2”和“方法3”)。通过应用这些方法中的任何一个,可以获得与<本技术在图像编码装置中的应用>中描述的效果类似的效果(也就是说,效果与<本技术在逆自适应颜色变换装置中的应用>中描述的效果类似)。
<6.附录>
<计算机>
可以通过硬件或软件来执行上述一系列处理。在通过软件执行一系列处理的情况下,将构成软件的程序安装在计算机中。此处,计算机包括例如结合在专用硬件中的计算机、能够通过安装各种程序来执行各种功能的通用个人计算机等。
图14是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图14所示的计算机800中,中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804相互连接。
输入/输出接口810也被连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动815被连接至输入/输出接口810。
输入单元811包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元812包括例如显示器、扬声器、输出端子等。存储单元813包括例如硬盘、RAM盘、非易失性存储器等。通信单元814包括例如网络接口。驱动815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质821。
在如上所述配置的计算机中,例如,CPU 801经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803中并且执行该程序,因此执行上述一系列处理。RAM 803还适当地存储CPU 801执行各种处理所需的数据等。
例如,由计算机执行的程序可以通过被记录在作为封装介质等的可移动介质821中来应用。在该情况下,通过将可移动介质821附接至驱动815,可以经由输入/输出接口810将程序安装在存储单元813中。
此外,也可以经由诸如局域网、互联网或数字卫星广播的有线或无线传输介质来提供该程序。在该情况下,程序可以被通信单元814接收并且安装在存储单元813中。
另外,该程序可以被预先安装在ROM 802或存储单元813中。
<应用本技术的对象>
可以将本技术应用于任何图像编码系统或解码系统。也就是说,只要与上述本技术不矛盾,诸如变换(逆变换)、量化(逆量化)、编码(解码)和预测的与图像编码/解码有关的各种处理的规范是任意的,并且不限于上述示例。另外,只要与上述本技术不矛盾,可以省略这些处理中的一些。
此外,可以将本技术应用于对包括多个视点(视图)的图像的多视图图像进行编码的多视图图像编码系统。此外,可以将本技术应用于对包括多个视点(视图)的图像的多视图图像的编码数据进行解码的多视图图像解码系统。在该情况下,仅需要将本技术应用于每个视点(视图)的编码和解码。
此外,可以将本技术应用于分级图像编码(可缩放编码)系统,分级图像编码(可缩放编码)系统对分层(分级)的分级图像进行编码,以具有针对预定参数的可缩放性功能。此外,可以将本技术应用于分级图像解码(可缩放解码)系统,分级图像解码(可缩放解码)系统对分层(分级)的分级图像的编码数据进行解码,以具有针对预定参数的可缩放性功能。在该情况下,仅需要将本技术应用于每个层(层)的编码和解码。
此外,上面已经描述了逆自适应颜色变换装置100、逆量化逆变换装置200、图像解码装置400和图像编码装置500作为本技术的应用示例,但是可以将本技术应用于任意配置。
例如,可以将本技术应用于各种电子装置,例如,卫星广播、诸如有线电视的有线广播、因特网上的分发以及通过蜂窝通信到终端的分发中的发射机或接收机(例如,电视接收机或移动电话),或者在诸如光盘、磁盘和闪存存储器的介质上记录图像并且从存储介质再现图像的装置(例如,硬盘记录器和摄像装置)。
此外,例如,还可以将本技术实现为装置的部分配置,例如作为系统大规模集成(LSI)等的处理器(例如,视频处理器)、使用多个处理器等的模块(例如视频模块)、使用多个模块等的单元(例如,视频单元)、或者通过进一步添加其他功能至单元而获得的集(例如,视频集)。
此外,例如,还可以将本技术应用于包括多个装置的网络系统。例如,可以将本技术实现为通过多个装置经由网络协作共享和处理的云计算。例如,本技术可以在将与图像(运动图像)相关的服务提供给诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任意终端的云服务中实现。。
注意,在本说明书中,系统意指多个部件(装置、模块(部分)等)的集合,并且所有部件是否都在同一壳体中并不重要。因此,容纳在单独的壳体中并且经由网络连接的多个装置以及其中多个模块被容纳在一个壳体中的一个装置都是系统。
<本技术适用的领域和应用>
应用本技术的系统、装置、处理单元等可以用于诸如交通、医疗、犯罪预防、农业、畜牧业、采矿、美容、工厂、家电、天气和自然监测的任意领域。另外,其应用也是任意的。
例如,可以将本技术应用于提供用于提供供鉴赏的内容等的系统或装置。此外,例如,还可以将本技术应用于为交通提供的系统和装置,例如交通状况监视和自动驾驶控制。此外,例如,还可以将本技术应用于为安全而提供的系统或装置。此外,例如,可以将本技术应用于为机器等的自动控制提供的系统或装置。此外,例如,还可以将本技术应用于用于农业和畜牧业的系统和装置。此外,还可以将本技术应用于监视诸如火山、森林和海洋、野生生物等自然状态的系统和装置。此外,例如,还可以将本技术应用于为体育运动提供的系统和装置。
<其他>
注意,在本说明书中,“标志”是用于标识多个状态的信息,并且不仅包括用于标识真(1)和假(0)的两个状态的信息,还包括能够标识三个或更多状态的信息。因此,“标志”可以采用的值可以是例如二进制1/0或三进制或更多。也就是说,构成该“标志”的位的数目是任意的,并且可以是一个位或多个位。另外,由于假定标识信息(包括标志)不仅包括比特流中的标识信息,而且包括比特流中的标识信息相对于特定参考信息的差异信息,因此在本说明书中,“标志”和“标识信息”不仅包括信息,而且包括相对于参考信息的差异信息。
此外,可以以任何形式发送或记录与编码数据(比特流)有关的各种类型的信息(元数据等),只要该信息与编码数据相关联。此处,术语“关联”意指例如当处理一个数据时可以使用(链接)另一数据。也就是说,相互关联的数据可以作为一个数据收集,或者可以是单独的数据。例如,与编码数据(图像)相关联的信息可以在与编码数据(图像)的传输路径不同的传输路径上传输。此外,例如,与编码数据(图像)相关联的信息可以记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一个记录区域)中。请注意,该“关联”可能是数据的一部分而不是整个数据。例如,图像和与图像对应的信息可以以诸如多个帧、一帧或帧中的一部分的任意单位相互关联。
注意,在本说明书中,诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”、“插入”和“插入”的术语意指将多个项目组合为一个,例如将编码数据和元数据组合为一个数据,并且意指上述“关联”的一种方法。
此外,本技术的实施方式不限于上述实施方式,并且在不背离本技术的主旨的情况下可以进行各种修改。
例如,被描述为一个装置(或处理单元)的配置可以被划分并且配置为多个装置(或处理单元)。相反,以上描述为多个装置(或处理单元)的配置可以被共同配置为一个装置(或处理单元)。此外,可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置。此外,只要整个系统的配置和操作基本上相同,特定装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中。
此外,例如,上述程序可以在任意装置中执行。在该情况下,装置具有必要的功能(功能块等)并且可以获得必要的信息就足够了。
此外,例如,一个流程图的每个步骤可以由一个装置执行,或者可以由多个装置共享和执行。此外,在一个步骤中包括多个处理的情况下,多个处理可以由一个装置执行,或者可以由多个装置共享和执行。换言之,包括在一个步骤中的多个处理也可以作为多个步骤的处理来执行。相反,被描述为多个步骤的处理可以被共同地执行为一个步骤。
另外,由计算机执行的程序可以具有以下特征。例如,描述程序的步骤的处理可以按照本说明书中描述的顺序按时间序列执行。另外,可以并行执行描述程序的步骤的处理。此外,描述程序的步骤的处理可以在必要的定时(例如在调用时)单独执行。也就是说,只要没有矛盾,每个步骤的处理可以以不同于上述顺序的顺序执行。另外,描述该程序的步骤的处理可以与另一程序的处理并行地执行。此外,描述该程序的步骤的处理可以与另一程序的处理组合执行。
此外,例如,只要不存在矛盾,可以将与本技术相关的多个技术独立地实现为单个主体。当然,可以组合实现多个任意的本技术。例如,在实施方式中的任何一个中描述的本技术中的一些或全部可以与在其他实施方式中描述的本技术中的一些或全部组合来实现。此外,上述任意本技术中的一些或全部可以与以上未描述的其他技术组合实现。
注意,本技术还可以按照以下进行配置。
(1)一种图像处理装置,包括:
裁剪处理单元,所述裁剪处理单元被配置成以基于经受无损自适应颜色变换的系数数据的位深度的水平对所述系数数据进行裁剪;以及
逆自适应颜色变换单元,所述逆自适应颜色变换单元被配置成通过无损方法对由所述裁剪处理单元以所述水平裁剪的所述系数数据执行逆自适应颜色变换。
(2)根据(1)所述的图像处理装置,其中,
所述裁剪处理单元以彼此相同的水平裁剪所述系数数据的亮度分量和颜色分量。
(3)根据(2)所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过从以所述位深度加1所获得的值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将-1乘上以所述位深度加1所获得的值作为幂指数的2的幂而获得的。
(4)根据(2)所述的图像处理装置,其中,
所述水平是基于所述位深度和存储系数数据的缓冲器的动态范围的值。
(5)根据(4)所述的图像处理装置,其中,
所述水平是使用以下值中的较小值得出的值:基于所述位深度而不是基于所述缓冲器的动态范围的值和不基于所述位深度而基于所述缓冲器的动态范围的值。
(6)根据(5)所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过从以所述位深度加1所获得的值和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将-1乘上以所述位深度加1所获得的值和从所述缓存器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。
(7)根据(1)所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
以第一水平裁剪所述系数数据的亮度分量,以及
以第二水平裁剪所述系数数据的颜色分量。
(8)根据(7)所述的图像处理装置,其中,
与所述第一水平的在上界与下界之间的差相比,所述第二水平具有更宽的在上界与下界之间的差。
(9)根据(8)所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用通过从以所述位深度作为幂指数的2的幂减去1获得的值作为上界来裁剪所述系数数据的亮度分量,
用通过将-1乘上以所述位深度作为幂指数的2的幂获得的值作为下界来裁剪所述系数数据的亮度分量,其中,将,
用通过从以所述位深度加1所获得的值作为幂指数的2的幂减去1获得的值作为上界来裁剪所述系数数据的颜色分量,以及
用通过将-1乘上以位深度加1所获得的值作为幂指数的2的幂获得的值作为下界来裁剪所述系数数据的颜色分量。
(10)根据(7)所述的图像处理装置,其中,
所述第一水平和所述第二水平是基于所述位深度和存储所述系数数据的缓冲器的动态范围的值。
(11)根据(10)所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量,该值是通过从所述位深度和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的,
用一个值作为下界来裁剪所述系数数据的亮度分量,该值是通过将-1乘上以所述位深度和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的,
用一个值作为上界来裁剪所述系数数据的颜色分量,该值是通过从以所述位深度和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的颜色分量,该值是通过将-1乘上以所述位深度加1所获得的值和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。
(12)根据(1)所述的图像处理装置,其中,
所述水平是基于存储系数数据的缓冲器的动态范围的值。
(13)根据(12)所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将以从所述缓冲器的动态范围减去1所获得的值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将-1乘上以从所述缓冲器的动态范围减去1所获得的值作为幂指数的2的幂而获得的。
(14)根据(1)所述的图像处理装置,还包括:
逆正交变换单元,所述逆正交变换单元被配置成对正交变换系数进行逆正交变换以生成经受所述无损自适应颜色变换的所述系数数据,
其中,所述裁剪处理单元被配置成以所述水平对由所述逆正交变换单元生成的所述系数数据进行裁剪。
(15)根据(14)所述的图像处理装置,还包括:
逆量化单元,所述逆量化单元被配置成对量化系数进行逆量化并且生成所述正交变换系数,
其中,所述逆正交变换单元被配置成对由所述逆量化单元生成的所述正交变换系数进行逆正交变换。
(16)根据(15)所述的图像处理装置,还包括:
解码单元,所述解码单元被配置成对编码数据进行解码并且生成所述量化系数,
其中,所述逆量化单元被配置成对由所述解码单元生成的所述量化系数进行逆量化。
(17)根据(16)所述的图像处理装置,其中,
所述逆自适应颜色变换单元被配置成通过所述无损方法对由所述裁剪处理单元以所述水平裁剪的所述系数数据执行逆自适应颜色变换,以生成图像数据的预测残差数据,并且
所述图像处理装置还包括计算单元,所述计算单元被配置成将所述图像数据的预测数据加到由所述逆自适应颜色变换单元生成的所述预测残差数据上以生成所述图像数据。
(18)根据(15)所述的图像处理装置,还包括:
变换量化单元,所述变换量化单元被配置成:通过无损方法对图像数据执行自适应颜色变换以生成所述系数数据,对所述系数数据执行正交变换以生成所述正交变换系数,并且对所述正交变换系数进行量化以生成所述量化系数;以及
编码单元,所述编码单元被配置成对由所述变换量化单元生成的所述量化系数进行编码以生成编码数据,
其中,所述逆量化单元被配置成对由所述变换量化单元生成的所述量化系数进行逆量化。
(19)根据(18)所述的图像处理装置,还包括:
计算单元,所述计算单元被配置成从所述图像数据减去所述图像数据的预测数据以生成预测残差数据,
其中,所述变换量化单元被配置成:通过无损方法对由所述计算单元生成的所述预测残差数据执行自适应颜色变换以生成所述系数数据,对所述系数数据进行逆变换以生成所述正交变换系数,并且对所述正交变换系数进行量化以生成所述量化系数。
(20)一种图像处理方法,包括:
以基于经受无损自适应颜色变换的系数数据的位深度的水平对所述系数数据进行裁剪;以及
通过无损方法对以所述水平裁剪的所述系数数据执行逆自适应颜色变换。
附图标记列表
100 逆自适应颜色变换装置
101 选择单元
102 裁剪处理单元
103 逆YCgCo-R变换单元
200 逆量化逆变换装置
201 逆量化单元
202 逆正交变换单元
203 逆自适应颜色变换单元
400 图像解码装置
401 控制单元
412 解码单元
413 逆量化逆变换单元
414 计算单元
415 环内滤波器单元
416 重排缓冲器
417 帧存储器
418 预测单元
500 图像编码装置
501 控制单元
511 重排缓冲器
512 计算单元
313 变换量化单元
514 编码单元
515 存储缓冲器
516 逆量化逆变换单元
517 计算单元
518 环内滤波器单元
519 帧存储器
520 预测单元
521 速率控制单元
Claims (20)
1.一种图像处理装置,包括:
裁剪处理单元,所述裁剪处理单元被配置成以基于经受无损自适应颜色变换的系数数据的位深度的水平对所述系数数据进行裁剪;以及
逆自适应颜色变换单元,所述逆自适应颜色变换单元被配置成通过无损方法对由所述裁剪处理单元以所述水平裁剪的所述系数数据执行逆自适应颜色变换。
2.根据权利要求1所述的图像处理装置,其中,
所述裁剪处理单元以彼此相同的水平裁剪所述系数数据的亮度分量和颜色分量。
3.根据权利要求2所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过从以所述位深度加1所获得的值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将-1乘上以所述位深度加1所获得的值作为幂指数的2的幂而获得的。
4.根据权利要求2所述的图像处理装置,其中,
所述水平是基于所述位深度和存储所述系数数据的缓冲器的动态范围的值。
5.根据权利要求4所述的图像处理装置,其中,
所述水平是使用以下值中的较小值得出的值:基于所述位深度而不是基于所述缓冲器的动态范围的值和不基于所述位深度而基于所述缓冲器的动态范围的值。
6.根据权利要求5所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过从以所述位深度加1所获得的值和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将-1乘上以所述位深度加1所获得的值和从所述缓存器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。
7.根据权利要求1所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
以第一水平裁剪所述系数数据的亮度分量,以及
以第二水平裁剪所述系数数据的颜色分量。
8.根据权利要求7所述的图像处理装置,其中,
与所述第一水平的在上界与下界之间的差相比,所述第二水平具有更宽的在上界与下界之间的差。
9.根据权利要求8所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用通过从以所述位深度作为幂指数的2的幂减去1获得的值作为上界来裁剪所述系数数据的亮度分量,
用通过将-1乘上以所述位深度作为幂指数的2的幂获得的值作为下界来裁剪所述系数数据的亮度分量,
用通过从以所述位深度加1所获得的值作为幂指数的2的幂减去1获得的值作为上界来裁剪所述系数数据的颜色分量,以及
用通过将-1乘上以所述位深度加1所获得的值作为幂指数的2的幂获得的值作为下界来裁剪所述系数数据的颜色分量。
10.根据权利要求7所述的图像处理装置,其中,
所述第一水平和所述第二水平是基于所述位深度和存储所述系数数据的缓冲器的动态范围的值。
11.根据权利要求10所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量,该值是通过从以所述位深度和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的,
用一个值作为下界来裁剪所述系数数据的亮度分量,该值是通过将-1乘上以所述位深度和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的,
用一个值作为上界来裁剪所述系数数据的颜色分量,该值是通过从以所述位深度和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的颜色分量,该值是通过将-1乘上以所述位深度加1所获得的值和从所述缓冲器的动态范围减去1所获得的值中的较小值作为幂指数的2的幂而获得的。
12.根据权利要求1所述的图像处理装置,其中,
所述水平是基于存储所述系数数据的缓冲器的动态范围的值。
13.根据权利要求12所述的图像处理装置,其中,
所述裁剪处理单元进行如下操作:
用一个值作为上界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将以从所述缓冲器的动态范围减去1所获得的值作为幂指数的2的幂减去1而获得的,以及
用一个值作为下界来裁剪所述系数数据的亮度分量和颜色分量,该值是通过将-1乘上以从所述缓冲器的动态范围减去1所获得的值作为幂指数的2的幂而获得的。
14.根据权利要求1所述的图像处理装置,还包括:
逆正交变换单元,所述逆正交变换单元被配置成对正交变换系数进行逆正交变换以生成经受所述无损自适应颜色变换的所述系数数据,
其中,所述裁剪处理单元被配置成以所述水平对由所述逆正交变换单元生成的所述系数数据进行裁剪。
15.根据权利要求14所述的图像处理装置,还包括:
逆量化单元,所述逆量化单元被配置成对量化系数进行逆量化并且生成所述正交变换系数,
其中,所述逆正交变换单元被配置成对由所述逆量化单元生成的所述正交变换系数进行逆正交变换。
16.根据权利要求15所述的图像处理装置,还包括:
解码单元,所述解码单元被配置成对编码数据进行解码并且生成所述量化系数,
其中,所述逆量化单元被配置成对由所述解码单元生成的所述量化系数进行逆量化。
17.根据权利要求16所述的图像处理装置,其中,
所述逆自适应颜色变换单元被配置成通过所述无损方法对由所述裁剪处理单元以所述水平裁剪的所述系数数据执行逆自适应颜色变换,以生成图像数据的预测残差数据,并且
所述图像处理装置还包括计算单元,所述计算单元被配置成将所述图像数据的预测数据加到由所述逆自适应颜色变换单元生成的所述预测残差数据上以生成所述图像数据。
18.根据权利要求15所述的图像处理装置,还包括:
变换量化单元,所述变换量化单元被配置成:通过无损方法对图像数据执行自适应颜色变换以生成所述系数数据,对所述系数数据执行正交变换以生成所述正交变换系数,并且对所述正交变换系数进行量化以生成所述量化系数;以及
编码单元,所述编码单元被配置成对由所述变换量化单元生成的所述量化系数进行编码以生成编码数据,
其中,所述逆量化单元被配置成对由所述变换量化单元生成的所述量化系数进行逆量化。
19.根据权利要求18所述的图像处理装置,还包括:
计算单元,所述计算单元被配置成从所述图像数据减去所述图像数据的预测数据以生成预测残差数据,
其中,所述变换量化单元被配置成:通过无损方法对由所述计算单元生成的所述预测残差数据执行自适应颜色变换以生成所述系数数据,对所述系数数据进行逆变换以生成所述正交变换系数,以及对所述正交变换系数进行量化以生成所述量化系数。
20.一种图像处理方法,包括:
以基于经受无损自适应颜色变换的系数数据的位深度的水平对所述系数数据进行裁剪;以及
通过无损方法对以所述水平裁剪的所述系数数据执行逆自适应颜色变换。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202062965767P | 2020-01-24 | 2020-01-24 | |
US62/965,767 | 2020-01-24 | ||
PCT/JP2021/002296 WO2021149812A1 (ja) | 2020-01-24 | 2021-01-22 | 画像処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114982235A true CN114982235A (zh) | 2022-08-30 |
Family
ID=76992967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180009380.3A Pending CN114982235A (zh) | 2020-01-24 | 2021-01-22 | 图像处理装置和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230045106A1 (zh) |
EP (1) | EP4087242A4 (zh) |
JP (1) | JPWO2021149812A1 (zh) |
KR (1) | KR20220128338A (zh) |
CN (1) | CN114982235A (zh) |
WO (1) | WO2021149812A1 (zh) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10158836B2 (en) * | 2015-01-30 | 2018-12-18 | Qualcomm Incorporated | Clipping for cross-component prediction and adaptive color transform for video coding |
RU2020129092A (ru) * | 2016-05-13 | 2020-10-05 | Сони Корпорейшн | Устройство и способ обработки изображения |
-
2021
- 2021-01-22 KR KR1020227020349A patent/KR20220128338A/ko unknown
- 2021-01-22 EP EP21744921.4A patent/EP4087242A4/en active Pending
- 2021-01-22 JP JP2021572823A patent/JPWO2021149812A1/ja active Pending
- 2021-01-22 WO PCT/JP2021/002296 patent/WO2021149812A1/ja unknown
- 2021-01-22 US US17/782,173 patent/US20230045106A1/en active Pending
- 2021-01-22 CN CN202180009380.3A patent/CN114982235A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2021149812A1 (ja) | 2021-07-29 |
KR20220128338A (ko) | 2022-09-20 |
EP4087242A1 (en) | 2022-11-09 |
JPWO2021149812A1 (zh) | 2021-07-29 |
EP4087242A4 (en) | 2023-05-03 |
US20230045106A1 (en) | 2023-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7517350B2 (ja) | 画像処理装置および方法 | |
US20210144376A1 (en) | Image processing apparatus and method | |
CN114342396B (zh) | 图像处理装置和方法 | |
CN111713104B (zh) | 图像处理装置和方法 | |
US20220256151A1 (en) | Image processing device and method | |
US20240121438A1 (en) | Image processing device and method | |
US20210006836A1 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
WO2021100588A1 (ja) | 画像処理装置および方法 | |
CN111699685A (zh) | 图像处理设备和方法 | |
WO2020066641A1 (ja) | 画像処理装置および方法 | |
US20210037248A1 (en) | Image encoding device, image encoding method, image decoding device, and image decoding method | |
WO2022255395A1 (ja) | 画像処理装置および方法 | |
US20230319306A1 (en) | Image processing apparatus and method | |
WO2021117500A1 (ja) | 画像処理装置、ビットストリーム生成方法、係数データ生成方法、および量子化係数生成方法 | |
US20220201305A1 (en) | Image processing device and method | |
CN114982235A (zh) | 图像处理装置和方法 | |
WO2021106612A1 (ja) | 画像処理装置および方法 | |
US20240163437A1 (en) | Image processing device and method | |
US20220021899A1 (en) | Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method | |
US20240275970A1 (en) | Image processing device and method | |
CN114762327A (zh) | 图像处理装置和方法 | |
TW202121898A (zh) | 影像處理裝置及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |