CN114616828A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN114616828A
CN114616828A CN202080075250.5A CN202080075250A CN114616828A CN 114616828 A CN114616828 A CN 114616828A CN 202080075250 A CN202080075250 A CN 202080075250A CN 114616828 A CN114616828 A CN 114616828A
Authority
CN
China
Prior art keywords
quantization parameter
transform
quantization
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080075250.5A
Other languages
English (en)
Inventor
筑波健史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114616828A publication Critical patent/CN114616828A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开内容涉及图像处理装置和方法,利用该图像处理装置和方法可以控制量化参数的值以落入期望的范围内。基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数,并且然后使用作为已经被校正的量化参数的校正量化参数来对要被编码的图像的系数数据进行量化。本公开内容适用于例如图像处理装置、图像编码装置、图像解码装置、发送装置、接收装置、发送/接收装置、信息处理装置、成像装置、再现装置、电子装置、图像处理方法、信息处理方法等。

Description

图像处理装置和方法
技术领域
本公开内容涉及图像处理装置和方法,并且特别地,涉及用于使得能够将量化参数的值控制在期望范围内的图像处理装置和方法。
背景技术
过去,已经提出了用于得出运动图像的预测残差、执行系数变换、进行量化和编码的编码方法(例如,参见非专利文献1和非专利文献2)。此外,作为用于提高RGB444中的编码效率的编码工具,已经提出了用于在残差域上执行RGB-YCgCo变换的自适应颜色变换(ACT)(例如,参见非专利文献3)。
此外,非专利文献3提出了:考虑到变换之前的残差(C0,C1,C2)和变换之后的残差(C0’,C1’,C2’)之间的信号的动态范围的变换,通过(dqPY,dqPCg,dqPCo)=(-5,-5,-3)来校正要应用于每个分量的残差的量化参数qP的处理。非专利文献1公开了基于变换跳过和自适应颜色变换的应用来校正量化参数的方法。
引用列表
非专利文献
非专利文献1:Benjamin Bross,Jianle Chen,Shan Liu,Ye-Kui Wang,"Versatile Video Coding(Draft 7)",JVET-P2001-vE,Joint Video Experts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting:Feneva,CH,1-11Oct 2019
非专利文献2:Jianle Chen,Yan Ye,Seung Hwan Kim,"Algorithm descriptionfor Versatile Video Coding and Test Model 7(VTM 7)",JVET-P2002-v1,Joint VideoExperts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16thMeeting:Geneva,CH,1-11 Oct.2019
非专利文献3:Xiaoyu Xiu,Yi-Wen Chen,Tsung-Chuan Ma,Hong-Jheng Jhu,Xianglin Wang,"Support of adaptive color transform for 444video coding inVVC",JVET-P0517_r1,Joint Video Experts Team(JVET)of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting:Geneva,CH,1-11 October 2019
发明内容
本发明要解决的问题
然而,在非专利文献1中公开的方法的情况下,在执行基于关于变换跳过的参数的量化参数的校正之后,执行基于关于自适应颜色变换的参数的量化参数的校正。在基于关于变换跳过的参数的量化参数的校正中,量化参数的值被限制在期望的范围内。此外,在基于关于自适应颜色变换的参数的量化参数的校正中,添加了预定校正量。因此,在该方法中,不能对校正量化参数的值可以采用的范围进行控制。
鉴于这样的情况做出了本公开内容,并且本公开内容使得能够将量化参数的值控制在期望的范围内。
问题的解决方案
根据本技术的一个方面的图像处理装置是如下的图像处理装置,该图像处理装置包括:量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数;以及量化单元,其被配置成通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经由量化参数校正单元校正的量化参数。
根据本技术的一个方面的图像处理方法是如下的图像处理方法,该图像处理方法包括:基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数;以及通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经被校正的量化参数。
根据本技术的另一方面的图像处理装置是如下的图像处理装置,该图像处理装置包括:量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数;以及逆量化单元,其被配置成通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经由量化参数校正单元校正的量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
根据本技术的另一方面的图像处理方法是如下的图像处理方法,该图像处理方法包括:基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数;以及通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经被校正的量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
在根据本技术的一个方面的图像处理装置和方法中,基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数,以及通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经被校正的量化参数。
在根据本技术的另一方面的图像处理装置和方法中,基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数,以及通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经被校正的量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
附图说明
图1是用于描述校正量化参数的方法的示例的图。
图2是示出量化参数校正装置的主要配置示例的框图。
图3是示出量化参数校正处理的流程的示例的流程图。
图4是示出量化参数校正装置的主要配置示例的框图。
图5是示出量化参数校正处理的流程的示例的流程图。
图6是示出量化参数校正装置的主要配置示例的框图。
图7是示出量化参数校正处理的流程的示例的流程图。
图8是示出量化参数校正装置的主要配置示例的框图。
图9是示出量化参数校正处理的流程的示例的流程图。
图10是示出图像编码装置的主要配置示例的框图。
图11是示出变换量化单元的主要配置示例的框图。
图12是示出量化单元的主要配置示例的框图。
图13是示出图像编码处理的流程的示例的流程图。
图14是用于描述变换量化处理的流程的示例的流程图。
图15是用于描述量化处理的流程的示例的流程图。
图16是示出图像解码装置的主要配置示例的框图。
图17是示出逆量化逆变换单元的主要配置示例的框图。
图18是示出逆量化单元的主要配置示例的框图。
图19是示出图像解码处理的流程的示例的流程图。
图20是示出逆量化逆变换处理的流程的示例的流程图。
图21是示出逆量化处理的流程的示例的流程图。
图22是示出计算机的主要配置示例的框图。
具体实施方式
在下文中,将描述用于实现本公开内容的模式(在下文中被称为“实施方式”)。注意,将按以下顺序给出描述。
1.量化参数的校正
2.第一实施方式(量化参数校正装置)
3.第二实施方式(量化参数校正装置)
4.第三实施方式(量化参数校正装置)
5.第四实施方式(量化参数校正装置)
6.第五实施方式(图像编码装置)
7.第六实施方式(图像解码装置)
8.补充说明
<1.量化参数的校正>
<支持技术内容和技术术语的文献等>
本技术中公开的范围不仅包括实施方式中描述的内容,而且还包括在提交申请时已知的以下非专利文献等中描述的内容以及以下非专利文献中参考的其他文献的内容。
非专利文献1:(上述)
非专利文献2:(上述)
非专利文献3:(上述)
非专利文献4:Recommendation ITU-T H.264(04/2017)"Advanced video codingfor generic audiovisual services",April 2017
非专利文献5:Recommendation ITU-T H.265(02/18)"High efficiency videocoding",February 2018
即,以上非专利文献中描述的内容也用作用于确定支持要求的基础。例如,以上非专利文献中描述的四叉树块结构和四叉树加二叉树(QTBT)块结构落入本技术的公开范围内,并且满足权利要求的支持要求,即使在示例中未直接描述这些内容的情况下也是如此。此外,例如,诸如解析、语法和语义的技术术语类似地落入本技术的公开范围内,并且满足权利要求的支持要求,即使在示例中未直接描述这些技术术语的情况下也是如此。
此外,在本说明书中,除非另有指定,否则用于作为图像(图片)的部分区域或处理单元的描述的“块”(不是表示处理单元的块)指示图片中的任意部分区域,并且块的大小、形状、特性等不受限制。例如,“块”包括诸如在以上非专利文献中描述的变换块(TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元(SCU)、编码单元(CU)、最大编码单元(LCU)、编码树块(CTB)、编码树单元(CTU)、变换块、子块、宏块、图块、或切片的任意部分区域(处理单元)。
此外,在指定这样的块的大小时,不仅直接指定块大小,而且还可以间接指定块大小。例如,可以使用用于标识大小的标识信息来指定块大小。此外,例如,可以通过与参考块(例如,LCU、SCU等)的大小的比率或差来指定块大小。例如,在将用于指定块大小的信息作为语法元素等进行发送的情况下,可以使用如上所述的用于间接指定大小的信息作为该信息。通过该配置,可以减少信息量,并且在一些情况下可以提高编码效率。此外,块大小的指定还包括块大小的范围的指定(例如,可允许的块大小的范围的指定等)。
此外,在本说明书中,编码不仅包括将图像变换为比特流的整个处理,而且还包括该处理的一部分。例如,编码不仅包括包含预测处理、正交变换、量化、算术编码等的处理,而且还包括被统称为量化和算术编码的处理、包含预测处理、量化和算术编码的处理等。类似地,解码不仅包括将比特流变换为图像的整个处理,而且还包括该处理的一部分。例如,解码不仅包括包含逆算术解码、逆量化、逆正交变换、预测处理等的处理,而且还包括包含逆算术解码和逆量化的处理、包含逆算术解码、逆量化和预测处理的处理等。
<自适应颜色变换>
作为用于提高RGB444中的编码效率的编码工具,非专利文献3已经提出了用于在残差域上执行RGB-YCgCo变换的自适应颜色变换(ACT)。下面的表达式(1)表示RGB-YCgCo变换。此外,表达式(2)表示逆变换(YCgCo-RGB变换)。在表达式(1)和(2)中,系数C0、C1和C2分别对应于R、G和B。C0’、C1’和C2’分别对应于Y、Cg和Co。
Figure BDA0003618773730000061
Figure BDA0003618773730000062
如表达式(1)和(2)所示,通过自适应颜色变换,仅通过简单的移位操作和加法/减法就可以将RGB信号变换成与YCbCr信号等效的YCgCo信号。同样类似地适用于逆变换。因此,通过应用这样的自适应颜色变换,可以容易地减少分量之间的冗余,并且可以抑制编码效率的降低。
此外,在应用该自适应颜色变换的情况下,通过RGB-YCgCo变换已经执行了以下处理:通过每个分量的量化参数的校正量(dqPY,dqPCg,dqPCo)=(-5,-5,-3)来校正变换前的残差(C0,C1,C2)和要应用于每个分量的残差的量化参数qP。该处理考虑了具有变换后的残差(C0’,C1’,C2’)的信号的动态范围的变换。
<变换跳过>
顺便提及,非专利文献1公开了变换跳过,其是用于跳过(省略)正交变换处理的模式。在本公开内容中,不应用变换跳过的情况也被称为非变换跳过。
<通过变换跳过和自适应颜色变换校正量化参数>
非专利文献1公开了基于应用变换跳过和自适应颜色变换来校正量化参数的方法。在该方法中,根据是否应用变换跳过以及是否应用自适应颜色变换来控制量化参数的校正。例如,在可应用自适应颜色变换并且应用变换跳过的情况下,如以下表达式(3)那样执行量化参数的校正。相比之下,在可应用自适应颜色变换并且应用非变换跳过(即,不应用变换跳过)的情况下,如以下表达式(4)那样执行量化参数的校正。
qP=Max(QpPrimeTsMin,qP)-(cu_act-enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0)...(3)
qP=qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0)...(4)
如表达式(3)所示,在应用变换跳过的情况下,首先用变换跳过的情况下的量化参数的最小值(QpPrimeTsMin)来裁剪量化参数的下限。此后,根据cu_act_enabled_flag的值将与要处理的分量对应的校正量添加至裁剪的结果。cu_act_enabled_flag是以CU为单元的标志信息,其指示是否应用自适应颜色变换。cu_act_enabled_flag为真(例如,“1”)的情况指示应用自适应颜色变换。cu_act_enabled_flag为假(例如,“0”)的情况指示不应用自适应颜色变换。即,在执行基于关于变换跳过的参数的校正之后,执行基于关于自适应颜色变换的参数的校正。
在如表达式(4)所示应用非变换跳过的情况下,类似于表达式(3)的情况,执行基于关于变换跳过的参数的校正,并且然后执行基于关于自适应颜色变换的参数的校正。注意,在这种情况下,在基于关于变换跳过的参数的校正中跳过(省略)了上述裁剪处理。换言之,用基于硬件、软件等的规格可以采用的最小值来裁剪量化参数的下限。
如上所述,在非专利文献1中描述的校正方法中,由于在裁剪处理之后添加校正量,因此不能控制校正量化参数的值可以采用的范围。
<通过自适应颜色变换校正量化参数的优先级>
因此,如图1所示的表的顶行所示,在通过自适应颜色变换校正量化参数之后,通过变换跳过来校正量化参数。
例如,在图像处理方法中,基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数,以及通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经被校正的量化参数。
此外,例如,图像处理装置包括:量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数;以及量化单元,其被配置成通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经由量化参数校正单元校正的量化参数。
例如,在图像处理方法中,基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数,以及通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经被校正的量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
此外,例如,图像处理装置包括:量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数;以及逆量化单元,其被配置成通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经由量化参数校正单元校正的量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
通过这样做,由于可以在添加校正量之后执行裁剪处理,因此可以控制校正量化参数的值可以采用的范围。
注意,在应用自适应颜色变换的情况下,可以用与要处理的分量对应的校正量来校正量化参数,作为基于关于自适应颜色变换的参数的校正。例如,在图像处理装置中,在应用自适应颜色变换的情况下,量化参数校正单元可以用与要处理的分量对应的校正量来校正量化参数。
此外,在不应用自适应颜色变换的情况下,可以用设置为“0”的校正量来校正量化参数,作为基于关于自适应颜色变换的参数的校正。换言之,可以跳过(省略)基于关于自适应颜色变换的参数的校正。例如,在图像处理装置中,在应用自适应颜色变换的情况下,量化参数校正单元可以用设置为“0”的校正量来校正量化参数。
<2.第一实施方式>
<变换跳过期间的下限控制>
如上所述,在非专利文献1中描述的校正方法中,在应用变换跳过的情况下,如表达式(3)所示校正量化参数qP。即,首先用变换跳过时的量化参数的最小值QpPrimeTsMin来裁剪量化参数qP的下限,并且获得第一校正量化参数qP’。预先设置变换跳过时的量化参数的最小值QpPrimeTsMin。
接下来,在cu_act_enabled_flag为真(例如,“1”)的情况下,将与指示要处理的分量的分量标识符cIdx对应的校正量dqP添加至第一校正量化参数qP’,以得出第二校正量化参数qP”。注意,在cu_act_enabled_flag为假(例如,“0”)的情况下,用设置为“0”的校正量dqP来执行类似的计算,并且得出第二校正量化参数qP”。以这种方式得出的第二校正量化参数qP”作为校正量化参数qP(即,校正结果)用于量化处理和逆量化处理。
即,在应用自适应颜色变换和变换跳过的情况下,用QpPrimeTsMin来裁剪量化参数qP的下限,并且然后添加与分量标识符cIdx对应的校正量dqP。
注意,用QpPrimeTsMin裁剪量化参数qP的下限,以避免在变换跳过中当量化步长Δ<1时峰值信噪比(PSNR)降低的现象(因为可能发生量化步长Δ<1)。
然而,如上所述,通过在用QpPrimeTsMin裁剪下限之后添加与分量标识符cIdx对应的校正量dqP,第二校正量化参数qP”(即,校正量化参数qP)可以是小于QpPrimeTsMin的值。即,在应用自适应颜色变换和变换跳过的情况下,存在将比变换跳过时的量化参数的最小值小的量化参数用于量化和逆量化的可能性(可能发生量化步长Δ<1)。因此,存在PSNR降低的可能性。即,存在编码效率降低的可能性。
因此,如上所述,如图1所示的表的顶行所示,在通过自适应颜色变换校正量化参数之后,通过变换跳过校正量化参数。此外,如图1所示的表的从顶部开始的第二行中所示,在通过变换跳过的量化参数校正处理中,在变换跳过的情况下,可以用变换跳过时的量化参数的最小值QpPrimeTsMin来裁剪下限(方法1)。
例如,在图像处理装置中,在应用变换跳过的情况下,量化参数校正单元可以用变换跳过的情况下的量化参数的预设的最小值QpPrimeTsMin对已经基于关于自适应颜色变换的参数校正的量化参数的下限进行裁剪。
通过这样做,在应用自适应颜色变换和变换跳过的情况下,可以避免量化步长Δ<1,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
此外,如图1所示的表的从顶部开始的第二行中所示,在通过变换跳过的量化参数校正处理中,在非变换跳过的情况下,可以省略下限的裁剪。例如,在图像处理装置中,在不应用变换跳过的情况下,量化参数校正单元可以省略对已经基于关于自适应颜色变换的参数校正的量化参数的下限的裁剪。换言之,在这种情况下,可以用基于硬件、软件等的规格可以采用的最小值来裁剪量化参数的下限。
<量化参数校正装置>
上述本技术可以应用于任何装置。图2是示出作为应用本技术的图像处理装置的一个方面的量化参数校正装置的配置的示例的框图。图2所示的量化参数校正装置100是对要用于与图像有关的系数数据的量化处理和逆量化处理的量化参数进行校正的装置。例如,量化参数校正装置100根据在图像编码或解码中自适应颜色变换和变换跳过的应用来校正量化参数。此时,量化参数校正装置100通过应用上述“方法1”来校正量化参数。
注意,图2示出了主要处理单元、数据流等,并且图2中示出的那些不一定是全部。即,在量化参数校正装置100中,可以存在未在图2中示出为块的处理单元,或者可以存在未在图2中示出为箭头等的处理或数据流。
如图2所示,量化参数校正装置100包括第一校正单元101和第二校正单元102。
第一校正单元101执行关于基于关于自适应颜色变换的参数的校正的处理。例如,第一校正单元101获取与指示要处理的分量的分量标识符cIdx对应的CU级别的量化参数qPx。此外,第一校正单元101获取cu_act_enabled_flag作为关于自适应颜色变换的参数。此外,第一校正单元101获取与分量标识符cIdx对应的校正量dqPx。
注意,分量标识符cIdx是指示要处理的分量的标识符。此外,量化参数qPx指示与分量对应的量化参数。例如,量化参数qPx包括与亮度Y对应的量化参数qPy、与色度Cb对应的量化参数qPcb、与色度Cr对应的量化参数qPcr以及与色度CbCr对应的量化参数qPcbcr。此外,当应用自适应颜色变换时,与每个分量(Y,Cg,Co)对应的校正量dqPx是(-5,-5,-3)。除非另外指定,否则这些参数在其他实施方式中类似。
在cu_act_enabled_flag为真(例如,“1”)的情况下,第一校正单元101将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。此外,在cu_act_enabled_flag为假(例如,“0”)的情况下,第一校正单元101将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。即,第一校正单元101执行以下语法的处理。
if cu_act_enabled_flag
qP’=qPx+dqPx
else
qP’=qPx
第一校正单元101将得出的第一校正量化参数qP’提供给第二校正单元102。
第二校正单元102执行关于基于关于变换跳过的参数的校正的处理。例如,第二校正单元102获取从第一校正单元101提供的第一校正量化参数qP’。此外,第二校正单元102获取与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。此外,第二校正单元102获取变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。
注意,transform_skip_flag是指示是否应用变换跳过的标志信息。transform_skip_flag为真(例如,“1”)的情况指示应用变换跳过。此外,transform_skip_flag为假(例如,“0”)的情况指示应用非变换跳过(即,不应用变换跳过)。此外,预先设置变换跳过时的量化参数的最小值QpPrimeTsMin。注意,在从编码侧装置向解码侧装置用信号通知(发送)QpPrimeTsMin的情况下,使用例如参数集来用信号通知QpPrimeTsMin。除非另外指定,否则这些参数在其他实施方式中类似。
在transform_skip_flag为真(例如,“1”)的情况下,第二校正单元102使用QpPrimeTsMin来裁剪第一校正量化参数qP’的下限,以得出第二校正量化参数qP”。换言之,在transform_skip_flag为真的情况下,第二校正单元102将QpPrimeTsMin或第一校正量化参数qP’(取较大者)设置为第二校正量化参数qP”。此外,在transform_skip_flag为假(例如,“0”)的情况下,第二校正单元102跳过(省略)该裁剪处理,并且将第一校正量化参数qP’设置为第二校正量化参数qP”。换言之,在transform_skip_flag为假的情况下,第二校正单元102用基于硬件、软件等的规格可以采用的最小值对第一校正量化参数qP’的下限进行裁剪,并且得出第二校正量化参数qP”。即,第二校正单元102执行以下语法的处理。
if transform_skip_flag[cIdx]==‘IS_SKIP’
qP”=Max(qP’,QpPrimeTsMin)
else
qP”=qP’
第二校正单元102将得出的第二校正量化参数qP”作为输入的量化参数qP的校正结果(校正量化参数)输出至量化参数校正装置100的外部。
换言之,在变换跳过的情况下,量化参数校正装置100执行如以下表达式(5)中所示的处理以校正量化参数。此外,在非变换跳过的情况下,量化参数校正装置100执行如以下表达式(6)中所示的处理以校正量化参数。
qP″=Max(QpPrimeTsMin,qP-(cu_act_enbbled_flag[xTbY][yTbY]?(cIdx<2?5:3):0))...(5)
qP″=qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0)...(6)
换言之,量化参数校正装置100通过参考自适应颜色变换标志(cu_act_enabled_flag)、与ACT对应的校正量dqP、与分量标识符cIdx对应的变换跳过标志(transform_skip_flag)、与分量标识符cIdx对应的CU级别的量化参数(qPx)以及变换跳过时的量化参数的最小值QpPrimeTsMin来得出要应用于与分量标识符cIdx对应的要处理的变换块的量化参数qP。
通过这样做,量化参数校正装置100可以校正量化参数,使得在应用自适应颜色变换和变换跳过的情况下,在量化或逆量化中避免量化步长Δ<1。因此,例如,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
注意,可以应用mts_idx而不是transform_skip_flag,并且作为mts_idx的一种模式,可以提供是否应用变换跳过的通知。即,量化参数校正装置100(第二校正单元102)可以获取mts_idx而不是transform_skip_flag,并且基于该值确定是否应用变换跳过。此外,可以为每个分量(Y、Cb、Cr或CbCr)提供QpPrimeTsMin的通知。即,量化参数校正装置100(第二校正单元102)可以获取与分量标识符cIdx对应的QpPrimeTsMin,并且使用与分量标识符cIdx对应的QpPrimeTsMin来裁剪第一校正量化参数qP’的下限。
<量化参数校正处理的流程>
接着,将参照图3的流程图描述由量化参数校正装置100执行的量化参数校正处理的流程的示例。
当开始量化参数校正处理时,在步骤S101中,量化参数校正装置100的第一校正单元101通过确定是否满足条件1来确定是否应用自适应颜色变换。例如,条件1可以是cu_act_enabled_flag=1。在确定满足条件1(即,应用自适应颜色变换)的情况下,处理进行至步骤S102。
在步骤S102中,第一校正单元101将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。即,第一校正单元101执行以下表达式(7)的计算。
qP′=qPx+dqPx...(7)
此时,校正量dqPx可以如以下表达式(8)中那样设置,或者可以如以下表达式(9)中那样设置。
dqPx=cIdx<2?-5:-3...(8)
dqPx=codedCIdx<2?-5:3...(9)
当步骤S102中的处理完成时,处理进行至步骤S104。此外,在步骤S101中确定不满足条件1(即,不应用自适应颜色变换)的情况下,处理进行至步骤S103。
在步骤S103中,第一校正单元101将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。即,第一校正单元101执行以下表达式(10)的计算。
qP′=qP...(10)
当步骤S103中的处理完成时,处理进行至步骤S104。
在步骤S104中,第二校正单元102通过确定是否满足条件2来确定是否应用变换跳过。例如,条件2可以是transform_skip_flag[cIdx]==‘IS_SKIP’。替选地,条件2可以是mts_idx[cIdx]==‘IS_SKIP’。当确定满足条件2(即,执行变换跳过)时,处理进行至步骤S105。
在步骤S105中,第二校正单元102使用QpPrimeTsMin来裁剪第一校正量化参数qP’的下限,以得出第二校正量化参数qP”。即,第二校正单元102执行以下表达式(11)的计算。
qP″=Max(QpPrimeTsMin,qP′)...(11)
当步骤S105的处理结束时,量化参数校正处理结束。此外,在步骤S104中确定不满足条件2(即,应用非变换跳过)的情况下,处理进行至步骤S106。
在步骤S106中,第二校正单元102跳过(省略)该裁剪处理,并且将第一校正量化参数qP’设置为第二校正量化参数qP”。即,第二校正单元102执行以下表达式(12)的计算。
qP″=qP′...(12)
当步骤S106的处理结束时,量化参数校正处理结束。
通过执行如上所述的量化参数校正处理,量化参数校正装置100可以校正量化参数,使得当应用自适应颜色变换和变换跳过时,在量化或逆量化中避免量化步长Δ<1。因此,例如,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
<3.第二实施方式>
<非变换跳过期间的下限控制>
如上所述,在非专利文献1中描述的校正方法中,在应用非变换跳过的情况下,如表达式(4)中所示省略裁剪。然后,在cu_act_enabled_flag为真(例如,“1”)的情况下,将与分量标识符cIdx对应的校正量dqP添加至第一校正量化参数qP’,以得出第二校正量化参数qP”。注意,在cu_act_enabled_flag为假(例如,“0”)的情况下,用设置为“0”的校正量dqP来执行类似的计算,并且得出第二校正量化参数qP”。以这种方式得出的第二校正量化参数qP”作为校正量化参数qP(即,校正结果)用于量化处理和逆量化处理。
因此,在非变换跳过的情况下,第二校正量化参数qP”(即,校正量化参数qP)可以是比量化参数的最小值“0”小的值。即,在应用自适应颜色变换和非变换跳过的情况下,存在将比非变换跳过时的量化参数的最小值“0”小的量化参数用于量化和逆量化的可能性(可能出现量化步长Δ<1)。因此,存在PSNR降低的可能性。即,存在编码效率降低的可能性。
因此,如上所述,如图1所示的表的顶行所示,在通过自适应颜色变换校正量化参数之后,通过变换跳过校正量化参数。此外,如图1所示的表的从顶部开始的第三行中所示,在通过变换跳过的量化参数校正处理中,在变换跳过的情况下,可以用变换跳过时的量化参数的最小值QpPrimeTsMin来裁剪量化参数的下限,并且在非变换跳过的情况下,可以用非变换跳过时的量化参数的最小值“0”来裁剪量化参数的下限(方法2)。
例如,在图像处理装置中,在不应用变换跳过的情况下,量化参数校正单元可以用量化参数的预设的最小值对已经基于关于自适应颜色变换的参数校正的量化参数的下限进行裁剪。
例如,量化参数的最小值可以是“0”。即,在不应用变换跳过的情况下,量化参数校正单元可以用值“0”对已经基于关于自适应颜色变换的参数校正的量化参数的下限进行裁剪。
这样做时,在应用自适应颜色变换和非变换跳过的情况下,可以避免量化步长Δ<1,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
<量化参数校正装置>
上述本技术可以应用于任何装置。图4是示出作为应用本技术的图像处理装置的一个方面的量化参数校正装置的配置的示例的框图。图4所示的量化参数校正装置120是类似于量化参数校正装置100的装置,并且对用于与图像有关的系数数据的量化处理和逆量化处理的量化参数进行校正。此时,量化参数校正装置120通过应用上述“方法2”来校正量化参数。
注意,图4示出了主要处理单元、数据流等,并且图4中示出的那些不一定是全部。即,在量化参数校正装置120中,可以存在未在图4中示出为块的处理单元,或者可以存在未在图4中示出为箭头等的处理或数据流。
如图4所示,量化参数校正装置120包括第一校正单元121和第二校正单元122。
第一校正单元121是与量化参数校正装置100的第一校正单元101类似的处理单元,并且执行类似的处理。即,第一校正单元121执行关于基于关于自适应颜色变换的参数的校正的处理。例如,第一校正单元121获取与指示要处理的分量的分量标识符cIdx对应的CU级别的量化参数qPx。此外,第一校正单元121获取cu_act_enabled_flag作为关于自适应颜色变换的参数。此外,第一校正单元121获取与分量标识符cIdx对应的校正量dqPx。
在cu_act_enabled_flag为真(例如,“1”)的情况下,第一校正单元121将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。此外,在cu_act_enabled_flag为假(例如,“0”)的情况下,第一校正单元121将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。即,第一校正单元121执行以下语法的处理。
if cu_act_enabled_flag
qP’=qPx+dqPx
else
qP’=qPx
第一校正单元121将得出的第一校正量化参数qP’提供给第二校正单元122。
类似于量化参数校正装置100的第二校正单元102,第二校正单元122执行关于基于关于变换跳过的参数的校正的处理。例如,第二校正单元122获取从第一校正单元121提供的第一校正量化参数qP’。此外,第二校正单元122获取与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。此外,第二校正单元122获取变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。此外,第二校正单元122获取非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数。
在transform_skip_flag为真(例如,“1”)的情况下,第二校正单元122使用QpPrimeTsMin来裁剪第一校正量化参数qP’的下限,以得出第二校正量化参数qP”。换言之,在transform_skip_flag为真的情况下,第二校正单元122将QpPrimeTsMin或第一校正量化参数qP’(取较大者)设置为第二校正量化参数qP”。
相比之下,在transform_skip_flag为假(例如,“0”)的情况下,第二校正单元122用非变换跳过时的量化参数的最小值“0”来裁剪量化参数的下限,并且得出第二校正量化参数qP”。换言之,在transform_skip_flag为假的情况下,第二校正单元122将值“0”或第一校正量化参数qP’(取较大者)设置为第二校正量化参数qP”。即,第二校正单元122执行以下语法的处理。
if transform_skip_flag[cIdx]==‘IS_SKIP’
qP”=Max(qP’,QpPrimeTsMin)
else
qP”=Max(qP’,0)
第二校正单元122将得出的第二校正量化参数qP”作为输入的量化参数qP的校正结果(校正量化参数)输出至量化参数校正装置120的外部。
换言之,在变换跳过的情况下,量化参数校正装置120执行如以上表达式(5)中所示的处理以校正量化参数。此外,在非变换跳过的情况下,量化参数校正装置120执行如以下表达式(13)中所示的处理以校正量化参数。
qP″=Max(QpPrmeTsMin,qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0))
(5)(再次描述)
qP″=Max(0,qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0))...(13)
换言之,量化参数校正装置120通过参考自适应颜色变换标志(cu_act_enabled_flag)、与ACT对应的校正量dqP、与分量标识符cIdx对应的变换跳过标志(transform_skip_flag)、与分量标识符cIdx对应的CU级别的量化参数(qPx)、非变换跳过时的量化参数的最小值“0”以及变换跳过时的量化参数的最小值QpPrimeTsMin来得出要应用于与分量标识符cIdx对应的要处理的变换块的量化参数qP。
通过这样做,量化参数校正装置120可以校正量化参数,使得当应用自适应颜色变换和非变换跳过时,在量化或逆量化中避免量化步长Δ<1。即,在应用自适应颜色变换的情况下,无论是否应用变换跳过,量化参数校正装置120可以校正量化参数,使得在量化或逆量化中避免量化步长Δ<1。因此,例如,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
注意,可以应用mts_idx而不是transform_skip_flag,并且作为mts_idx的一种模式,可以提供是否应用变换跳过的通知。即,量化参数校正装置120(第二校正单元122)可以获取mts_idx而不是transform_skip_flag,并且基于该值确定是否应用变换跳过。此外,可以为每个分量(Y、Cb、Cr或CbCr)提供QpPrimeTsMin的通知。即,量化参数校正装置120(第二校正单元122)可以获取与分量标识符cIdx对应的QpPrimeTsMin,并且使用与分量标识符cIdx对应的QpPrimeTsMin来裁剪第一校正量化参数qP’的下限。
<量化参数校正处理的流程>
接下来,将参照图5的流程图描述由量化参数校正装置120执行的量化参数校正处理的流程的示例。
当开始量化参数校正处理时,在步骤S121中,量化参数校正装置120的第一校正单元121通过确定是否满足条件1来确定是否应用自适应颜色变换。该条件1与第一实施方式(图3)的情况类似。在确定满足条件1(即,应用自适应颜色变换)的情况下,处理进行至步骤S122。
在步骤S122中,第一校正单元121将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。该处理与图3的步骤S102中的处理类似地执行。
当步骤S122中的处理完成时,处理进行至步骤S124。此外,在步骤S121中确定不满足条件1(即,不应用自适应颜色变换)的情况下,处理进行至步骤S123。
在步骤S123中,第一校正单元121将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。该处理与图3的步骤S103中的处理类似地执行。
当步骤S123中的处理完成时,处理进行至步骤S124。
在步骤S124中,第二校正单元122通过确定是否满足条件2来确定是否应用变换跳过。该条件2与第一实施方式(图3)的情况类似。当确定满足条件2(即,执行变换跳过)时,处理进行至步骤S125。
在步骤S125中,第二校正单元122使用QpPrimeTsMin来裁剪第一校正量化参数qP’的下限,以得出第二校正量化参数qP”。该处理与图3的步骤S105中的处理类似地执行。
当步骤S125的处理结束时,量化参数校正处理结束。此外,在步骤S124中确定不满足条件2(即,应用非变换跳过)的情况下,处理进行至步骤S126。
在步骤S126中,第二校正单元122使用非变换跳过时的量化参数的最小值“0”来裁剪第一校正量化参数qP’的下限,以得出第二校正量化参数qP”。即,第二校正单元122执行以下表达式(14)的计算。
qP″=Max(0,qP′)...(14)
当步骤S126的处理结束时,量化参数校正处理结束。
通过执行如上所述的量化参数校正处理,量化参数校正装置100可以校正量化参数,使得当应用自适应颜色变换和非变换跳过时,在量化或逆量化中避免量化步长Δ<1。因此,例如,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
<4.第三实施方式>
<量化参数的上限控制>
此外,可以裁剪量化参数的上限。例如,如从图1所示的表的从顶部开始的第四行中所示,执行通过自适应颜色变换的量化参数的校正。然后,可以用量化参数的最小值和最大值来裁剪校正量化参数(方法3)。
假设量化参数被设置在从0到63的范围内,量化参数的最小值是“0”,并且量化参数的最大值是“63+QpBdOffset”。注意,QpBdOffset是与量化参数的位深度对应的校正量。
例如,在图像处理装置中,量化参数校正单元可以用量化参数的最大值(63+QpBdOffset)对已经基于关于自适应颜色变换的参数校正的量化参数的上限进行裁剪,并且用量化参数的最小值(值“0”)对下限进行裁剪。
即,在通过自适应颜色变换校正量化参数之后,可以基于量化参数的最小值和最大值对量化参数进行校正以落入有效值内。通过这样做,校正量化参数的值落入从量化参数的最小值到最大值的范围内。因此,可以抑制PSNR的降低,并且可以抑制编码效率的降低。
注意,可以基于关于变换跳过的参数来校正经裁剪的量化参数。可以与方法1的情况类似地执行基于关于变换跳过的参数的校正。此外,在变换跳过的情况下,可以用变换跳过时的量化参数的最小值QpPrimeTsMin来对经裁剪的量化参数的下限进一步进行裁剪。此外,在非变换跳过的情况下,可以跳过(省略)下限裁剪处理。
通过这样做,校正量化参数不会变成小于QpPrimeTsMin的值。因此,无论应用变换跳过还是非变换跳过,都可以抑制PSNR的降低,并且可以抑制编码效率的降低。
注意,在非变换跳过的情况下,可以用非变换跳过时的量化参数的最小值(值“0”)来裁剪量化参数的下限。由于通过上述用于已经基于关于自适应颜色变换的参数校正的量化参数的裁剪用值“0”来裁剪要经历裁剪处理的量化参数的下限,所以在这种情况下也获得与跳过裁剪下限的情况基本上等同的校正结果。
<量化参数校正装置>
上述本技术可以应用于任何装置。图6是示出作为应用本技术的图像处理装置的一个方面的量化参数校正装置的配置的示例的框图。图6所示的量化参数校正装置140是类似于量化参数校正装置100的装置,并且对用于与图像有关的系数数据的量化处理和逆量化处理的量化参数进行校正。此时,量化参数校正装置140通过应用上述“方法3”来校正量化参数。
注意,图6示出了主要处理单元、数据流等,并且图6中示出的那些不一定是全部。即,在量化参数校正装置140中,可以存在未在图6中示出为块的处理单元,或者可以存在未在图6中示出为箭头等的处理或数据流。
如图6所示,量化参数校正装置140包括第一校正单元141、第二校正单元142和第三校正单元143。
第一校正单元141是与量化参数校正装置100的第一校正单元101类似的处理单元,并且执行类似的处理。即,第一校正单元141执行关于基于关于自适应颜色变换的参数的校正的处理。例如,第一校正单元141获取与指示要处理的分量的分量标识符cIdx对应的CU级别的量化参数qPx。此外,第一校正单元141获取cu_act_enabled_flag作为关于自适应颜色变换的参数。此外,第一校正单元141获取与分量标识符cIdx对应的校正量dqPx。
在cu_act_enabled_flag为真(例如,“1”)的情况下,第一校正单元141将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。此外,在cu_act_enabled_flag为假(例如,“0”)的情况下,第一校正单元141将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。即,第一校正单元141执行以下语法的处理。
if cu_act_enabled_flag
qP’=qPx+dqPx
else
qP’=qPx
第一校正单元141将得出的第一校正量化参数qP’提供给第二校正单元142。
第二校正单元142对第一校正量化参数qP’执行裁剪处理。例如,第二校正单元142获取从第一校正单元141提供的第一校正量化参数qP’。第二校正单元142获取与位深度对应的校正量QpBdOffset。
第二校正单元142用量化参数的最大值(63+QpBdOffset)裁剪第一校正量化参数qP’的上限,并且用量化参数的最小值(值“0”)裁剪第一校正量化参数qP’的下限。通过该处理,第二校正单元142得出第二校正量化参数qP”。
换言之,第二校正单元142对第一校正量化参数qP’执行如下面的表达式(15)中的处理,以得出第二校正量化参数qP”。
qP″=Clip3(0,63+QpBdOffset,qP′)...(15)
第二校正单元142将得出的第二校正量化参数qP”提供给第三校正单元143。
类似于量化参数校正装置100的第二校正单元102,第三校正单元143执行关于基于关于变换跳过的参数的校正的处理。例如,第三校正单元143获取从第二校正单元142提供的第二校正量化参数qP”。此外,第三校正单元143获取与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。此外,第三校正单元143获取变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。
在transform_skip_flag为真(例如,“1”)的情况下,第三校正单元143使用QpPrimeTsMin来裁剪第二校正量化参数qP”的下限,以得出第三校正量化参数qP”’。换言之,在transform_skip_flag为真的情况下,第三校正单元143将QpPrimeTsMin或第二校正量化参数qP”(取较大者)设置为第三校正量化参数qP”’。
相比之下,在transform_skip_flag为假(例如,“0”)的情况下,第三校正单元143跳过(省略)该裁剪处理,并且将第二校正量化参数qP”设置为第三校正量化参数qP”’。换言之,在transform_skip_flag为假的情况下,第三校正单元143用基于硬件、软件等的规格可以采用的最小值对第一校正量化参数qP’的下限值进行裁剪,并且得出第三校正量化参数qP”’。即,第三校正单元143执行以下语法的处理。
if transform_skip_flag[cIdx]==‘IS_SKIP’
qP”’=Max(qP”,QpPrimeTsMin)
else
qP”’=qP”
第三校正单元143将得出的第三校正量化参数qP”’作为输入的量化参数qP的校正结果(校正量化参数)输出至量化参数校正装置140的外部。
换言之,在变换跳过的情况下,量化参数校正装置140执行如以下表达式(16)中所示的处理以校正量化参数。此外,在非变换跳过的情况下,量化参数校正装置140执行如以下表达式(17)中所示的处理以校正量化参数。
qP″=Max(QpPrimeTsMin,Clip3(0,63+QpBdOffset,qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0)))...(16)
qP″=Clip3(0,63+QpBdOffset,qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0))...(17)
换言之,量化参数校正装置120通过参考自适应颜色变换标志(cu_act_enabled_flag)、与ACT对应的校正量dqP、与分量标识符cIdx对应的变换跳过标志(transform_skip_flag)、与分量标识符cIdx对应的CU级别的量化参数(qPx)、与位深度对应的校正量QpBdOffset、量化参数的最小值“0”、在用与位深度对应的校正量QpBdOffset校正之前的量化参数的最大值“63”以及变换跳过时的量化参数的最小值QpPrimeTsMin,来得出要应用于与分量标识符cIdx对应的要处理的变换块的量化参数qP。
以这种方式,量化参数校正装置140在通过自适应颜色变换校正量化参数之后,基于量化参数的最小值和最大值对量化参数进行校正以落入有效值内。即,通过以这种方式校正量化参数,校正量化参数的值落入从量化参数的最小值到最大值的范围内。因此,例如,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
此外,在变换跳过的情况下,由于用变换跳过时的量化参数的最小值QpPrimeTsMin对量化参数的下限进一步进行裁剪,因此校正量化参数不会变成小于QpPrimeTsMin的值。因此,例如,不管是执行变换跳过还是非变换跳过,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低,并且可以抑制编码效率的降低。
注意,可以应用mts_idx而不是transform_skip_flag,并且作为mts_idx的一种模式,可以提供是否应用变换跳过的通知。即,量化参数校正装置140(第二校正单元143)可以获取mts_idx而不是transform_skip_flag,并且基于该值确定是否应用变换跳过。此外,可以为每个分量(Y、Cb、Cr或CbCr)提供QpPrimeTsMin的通知。即,量化参数校正装置140(第三校正单元143)可以获取与分量标识符cIdx对应的QpPrimeTsMin,并且使用与分量标识符cIdx对应的QpPrimeTsMin来剪裁第二校正量化参数qP”的下限。
<量化参数校正处理的流程>
接下来,将参照图7的流程图描述由量化参数校正装置140执行的量化参数校正处理的流程的示例。
当开始量化参数校正处理时,在步骤S141中,量化参数校正装置140的第一校正单元141通过确定是否满足条件1来确定是否应用自适应颜色变换。该条件1与第一实施方式(图3)的情况类似。在确定满足条件1(即,应用自适应颜色变换)的情况下,处理进行至步骤S142。
在步骤S142中,第一校正单元141将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。该处理与图3的步骤S102中的处理类似地执行。
当步骤S142中的处理完成时,处理进行至步骤S144。此外,在步骤S141中确定不满足条件1(即,不应用自适应颜色变换)的情况下,处理进行至步骤S143。
在步骤S143中,第一校正单元141将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。该处理与图3的步骤S103中的处理类似地执行。
当步骤S143中的处理完成时,处理进行至步骤S144。
在步骤S144中,第二校正单元142用量化参数的最大值(63+QpBdOffset)来裁剪第一校正量化参数qP’的上限,并且用量化参数的最小值(值“0”)来裁剪第一校正量化参数qP’的下限。通过该处理,第二校正单元142得出第二校正量化参数qP”。
即,第二校正单元142对第一校正量化参数qP’执行如上述表达式(15)中的处理,以得出第二校正量化参数qP”。当步骤S144中的处理完成时,处理进行至步骤S145。
在步骤S145中,第三校正单元143通过确定是否满足条件2来确定是否应用变换跳过。该条件2与第一实施方式(图3)的情况类似。当确定满足条件2(即,执行变换跳过)时,处理进行至步骤S146。
在步骤S146中,第三校正单元143使用QpPrimeTsMin来裁剪第二校正量化参数qP”的下限,以得出第三校正量化参数qP”’。该处理与图3的步骤S105中的处理类似地执行。
当步骤S146的处理结束时,量化参数校正处理结束。此外,在步骤S145中确定不满足条件2(即,应用非变换跳过)的情况下,处理进行至步骤S147。
在步骤S147中,第三校正单元143跳过(省略)步骤S146中的裁剪处理,并且将第二校正量化参数qP”设置为第三校正量化参数qP”’。该处理与图3的步骤S106中的处理类似地执行。
当步骤S147的处理结束时,量化参数校正处理结束。
通过执行如上所述的量化参数校正处理,量化参数校正装置140可以将校正量化参数的值保持在从量化参数的最小值到最大值的范围内。因此,例如,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
此外,即使在变换跳过的情况下,由于用QpPrimeTsMin对量化参数的下限进行裁剪,因此校正量化参数不会变成小于QpPrimeTsMin的值。因此,例如,不管是执行变换跳过还是非变换跳过,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低,并且可以抑制编码效率的降低。
<5.第四实施方式>
<量化参数的上限控制>
在第三实施方式中描述的方法3中用于第一校正量化参数qP’的裁剪处理可以与用于基于关于变换跳过的参数的校正的裁剪处理结合。
即,如图1所示的表的底部所示,可以如下执行通过变换跳过的量化参数校正处理。即,在变换跳过的情况下,可以用变换跳过时的量化参数的最小值QpPrimeTsMin来裁剪第一校正量化参数qP’的下限,并且可以用量化参数的最大值(63+QpBdOffset)来裁剪其上限。此外,在非变换跳过的情况下,可以用非变换跳过时的量化参数的最小值“0”来裁剪第一校正量化参数qP’的下限,并且可以用量化参数的最大值(63+QpBdOffset)来裁剪其上限(方法4)。
例如,在图像处理装置中,在应用变换跳过的情况下,量化参数校正单元用应用变换跳过的情况下的量化参数的预设的最小值来对已经基于关于自适应颜色变换的参数校正的量化参数的下限进行裁剪,并且用量化参数的预设的最大值对已经基于关于自适应颜色变换的参数校正的量化参数的上限进行裁剪。量化参数的最大值可以是用基于位深度的校正量校正的值。例如,量化参数的最大值可以是在用基于位深度的校正量进行校正之前的量化参数的最大值与基于位深度的校正量之和。
此外,例如,在图像处理装置中,在不应用变换跳过的情况下,量化参数校正单元用量化参数的预设的最小值对已经基于关于自适应颜色变换的参数校正的量化参数的下限进行裁剪,并且用量化参数的预设的最大值对已经基于关于自适应颜色变换的参数校正的量化参数的上限进行裁剪。量化参数的最大值可以是用基于位深度的校正量校正的值。例如,量化参数的最大值可以是在用基于位深度的校正量进行校正之前的量化参数的最大值与基于位深度的校正量之和。
通过这样做,获得与方法3的情况类似的校正量化参数的值。即,校正量化参数的值落入从量化参数的最小值到最大值的范围内。因此,可以抑制PSNR的降低,并且可以抑制编码效率的降低。
此外,在变换跳过的情况下,由于用变换跳过时的量化参数的最小值QpPrimeTsMin对量化参数的下限进行裁剪,因此校正量化参数不会变成小于QpPrimeTsMin的值。因此,无论应用变换跳过还是非变换跳过,都可以抑制PSNR的降低,并且可以抑制编码效率的降低。
<量化参数校正装置>
上述本技术可以应用于任何装置。图8是示出作为应用本技术的图像处理装置的一个方面的量化参数校正装置的配置的示例的框图。图8所示的量化参数校正装置160是类似于量化参数校正装置100的装置,并且对用于与图像有关的系数数据的量化处理和逆量化处理的量化参数进行校正。此时,量化参数校正装置160通过应用上述“方法4”来校正量化参数。
注意,图8示出了主要处理单元、数据流等,并且图8中示出的那些不一定是全部。即,在量化参数校正装置160中,可以存在未在图8中示出为块的处理单元,或者可以存在未在图8中示出为箭头等的处理或数据流。
如图8所示,量化参数校正装置160包括第一校正单元161和第二校正单元162。
第一校正单元161是与量化参数校正装置100的第一校正单元101类似的处理单元,并且执行类似的处理。即,第一校正单元161执行关于基于关于自适应颜色变换的参数的校正的处理。例如,第一校正单元161获取与指示要处理的分量的分量标识符cIdx对应的CU级别的量化参数qPx。此外,第一校正单元161获取cu_act_enabled_flag作为关于自适应颜色变换的参数。此外,第一校正单元161获取与分量标识符cIdx对应的校正量dqPx。
在cu_act_enabled_flag为真(例如,“1”)的情况下,第一校正单元161将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。此外,在cu_act_enabled_flag为假(例如,“0”)的情况下,第一校正单元161将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。即,第一校正单元161执行以下语法的处理。
if cu_act_enabled_flag
qP’=qPx+dqPx
else
qP’=qPx
第一校正单元161将得出的第一校正量化参数qP’提供给第二校正单元162。
类似于量化参数校正装置100的第二校正单元102,第二校正单元162执行关于基于关于变换跳过的参数的校正的处理。例如,第二校正单元162获取从第一校正单元161提供的第一校正量化参数qP’。此外,第二校正单元162获取与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。此外,第二校正单元162获取变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。
此外,第二校正单元162获取与位深度对应的校正量QpBdOffset。
在transform_skip_flag为真(例如,“1”)的情况下,第二校正单元162使用QpPrimeTsMin来裁剪第一校正量化参数qP’的下限,并且使用(63+QpBdOffset)来裁剪第一校正量化参数qP’的上限。第二校正单元162通过这样的裁剪处理从第一校正量化参数qP’得出第二校正量化参数qP”。即,第二校正量化参数qP”的值被限制在从QpPrimeTsMin到(63+QpBdOffset)的范围内(第二校正量化参数qP”的值被控制为落入从QpPrimeTsMin到(63+QpBdOffset)的范围内)。
相比之下,在transform_skip_flag为假(例如,“0”)的情况下,第二校正单元162使用值“0”来裁剪量化参数的下限,并且使用(63+QpBdOffset)来裁剪第一校正量化参数qP’的上限。即,第二校正单元162用非变换跳过时的量化参数的最小值和最大值来裁剪第一校正量化参数qP’的上限和下限。第二校正单元162通过这样的裁剪处理从第一校正量化参数qP’得出第二校正量化参数qP”。即,第二校正量化参数qP”的值被限制在从0到(63+QpBdOffset)的范围内(第二校正量化参数qP”的值被控制为落入从0到(63+QpBdOffset)的范围内)。
即,第二校正单元162执行以下语法的处理。
if transform_skip_flag[cIdx]==‘IS_SKIP’
qP”=Clip3(QpPrimeTsMin,63+QpBdOffset,qP’)
else
qP”=Clip3(0,63+QpBdOffset,qP’)
第二校正单元162将得出的第二校正量化参数qP”作为输入的量化参数qP的校正结果(校正量化参数)输出至量化参数校正装置160的外部。
换言之,在变换跳过的情况下,量化参数校正装置160执行如以下表达式(16)中所示的处理以校正量化参数。此外,在非变换跳过的情况下,量化参数校正装置120执行如以上表达式(17)中所示的处理以校正量化参数。
qP″=Clip3(QpPrimeTsMin,63+QpBdOffset,qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0))...(18)
qP″=Clip3(0,63+QpBdOffset,qP-(cu_act_enabled_flag[xTbY][yTbY]?(cIdx<2?5:3):0))
(17)(再次描述)
即,在方法4的情况下,执行与方法3的情况基本上类似的计算,并且获得类似的校正结果。
换言之,与方法3的情况类似,量化参数校正装置120通过参考自适应颜色变换标志(cu_act_enabled_flag)、与ACT对应的校正量dqP、与分量标识符cIdx对应的变换跳过标志(transform_skip_flag)、与分量标识符cIdx对应的CU级别的量化参数(qPx)、与位深度对应的校正量QpBdOffset、量化参数的最小值“0”、用与位深度对应的校正量QpBdOffset校正之前的量化参数的最大值“63”以及变换跳过时的量化参数的最小值QpPrimeTsMin,来得出要应用于与分量标识符cIdx对应的要处理的变换块的量化参数qP。
以这种方式,在非变换跳过的情况下,量化参数校正装置160在通过自适应颜色变换校正量化参数之后,基于量化参数的最小值和最大值对量化参数进行校正以落入有效值内。此外,在变换跳过的情况下,量化参数校正装置160在通过自适应颜色变换校正量化参数之后,基于变换跳过的情况下的量化参数的最小值和最大值,对量化参数进行校正以落入有效值内。通过这样做,量化参数校正装置100可以校正量化参数,使得在应用自适应颜色变换和变换跳过的情况下,在量化或逆量化中避免量化步长Δ<1。因此,例如,不管是执行变换跳过还是非变换跳过,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低,并且可以抑制编码效率的降低。
注意,可以应用mts_idx而不是transform_skip_flag,并且作为mts_idx的一种模式,可以提供是否应用变换跳过的通知。即,量化参数校正装置160(第二校正单元162)可以获取mts_idx而不是transform_skip_flag,并且基于该值确定是否应用变换跳过。此外,可以为每个分量(Y、Cb、Cr或CbCr)提供QpPrimeTsMin的通知。即,量化参数校正装置160(第二校正单元162)可以获取与分量标识符cIdx对应的QpPrimeTsMin,并且使用与分量标识符cIdx对应的QpPrimeTsMin来裁剪第一校正量化参数qP’的下限。
<量化参数校正处理的流程>
接下来,将参照图9的流程图描述由量化参数校正装置160执行的量化参数校正处理的流程的示例。
当开始量化参数校正处理时,在步骤S161中,量化参数校正装置160的第一校正单元161通过确定是否满足条件1来确定是否应用自适应颜色变换。该条件1与第一实施方式(图3)的情况类似。在确定满足条件1(即,应用自适应颜色变换)的情况下,处理进行至步骤S162。
在步骤S162中,第一校正单元161将与分量标识符cIdx对应的校正量dqPx添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。该处理与图3的步骤S102中的处理类似地执行。
当步骤S162中的处理完成时,处理进行至步骤S164。此外,在步骤S161中确定不满足条件1(即,不应用自适应颜色变换)的情况下,处理进行至步骤S163。
在步骤S163中,第一校正单元161将校正量“0”添加至与分量标识符cIdx对应的CU级别的量化参数qPx,以得出第一校正量化参数qP’。该处理与图3的步骤S103中的处理类似地执行。
当步骤S163中的处理完成时,处理进行至步骤S164。
在步骤S164中,第二校正单元162通过确定是否满足条件2来确定是否应用变换跳过。该条件2与第一实施方式(图3)的情况类似。当确定满足条件2(即,执行变换跳过)时,处理进行至步骤S165。
在步骤S165中,第二校正单元162使用(63+QpBdOffset)和QpPrimeTsMin来裁剪第一校正量化参数qP’的上限和下限,以得出第二校正量化参数qP”。即,第二校正单元162执行以下表达式(19)的计算。
qP″=Clip3(QpPrimeTsMin,63+QpBdQffset,qP′)...(19)
当步骤S165的处理结束时,量化参数校正处理结束。此外,在步骤S164中确定不满足条件2(即,应用非变换跳过)的情况下,处理进行至步骤S166。
在步骤S166中,第二校正单元162使用(63+QpBdOffset)和值“0”来裁剪第一校正量化参数qP’的上限和下限,以得出第二校正量化参数qP”。即,第二校正单元162执行上述表达式(15)的计算。
qP″=Clip3(0,63+QpBdOffset,qP′)
(15)(再次描述)
当步骤S166的处理结束时,量化参数校正处理结束。
通过执行如上所述的量化参数校正处理,量化参数校正装置100可以校正量化参数,使得当应用自适应颜色变换和变换跳过时,在量化或逆量化中避免量化步长Δ<1。因此,例如,编码器或解码器使用以这种方式校正的量化参数对图像的系数数据执行量化或逆量化,使得可以抑制PSNR的降低并且可以抑制编码效率的降低。
<6.第五实施方式>
<图像编码装置>
上述本技术(各种方法)可以应用于任意设备、装置、系统等。例如,本技术可以应用于对图像数据进行编码的图像编码装置。
图10是示出作为应用本技术的图像处理装置的一个方面的图像编码装置的配置的示例的框图。图10中示出的图像编码装置300是对运动图像的图像数据进行编码的装置。例如,图像编码装置300通过诸如上述非专利文献中描述的通用视频编码(VVC)、高级视频编码(AVC)或高效率视频编码(HEVC)的编码方法来对运动图像的图像数据进行编码。
注意,图10示出了主要处理单元、数据流等,并且图10中示出的那些不一定是全部。即,在图像编码装置300中,可以存在未在图10中示出为块的处理单元或者未在图10中示出为箭头等的处理或数据流。这在用于描述图像编码装置300中的处理单元等的其他附图中是类似的。
如图10所示,图像编码装置300包括控制单元301、重排缓冲器311、计算单元312、变换量化单元313、编码单元314和累积缓冲器315。此外,图像编码装置300包括逆量化逆变换单元316、计算单元317、环路滤波器单元318、帧存储器319、预测单元320和速率控制单元321。
<控制单元>
控制单元301基于外部或预先指定的处理单元的块大小,将由重排缓冲器311保持的运动图像数据划分成处理单元的块(CU、PU、TU等)。此外,控制单元301基于例如速率失真优化(RDO)来确定要提供给每个块的编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。例如,控制单元301可以设置变换跳过标志等。
下面将描述这些编码参数的细节。在确定上述编码参数之后,控制单元301将编码参数提供给每个块。具体地,编码参数如下。
头部信息Hinfo被提供给每个块。预测模式信息Pinfo被提供给编码单元314和预测单元320。变换信息Tinfo被提供给编码单元314、变换量化单元313和逆量化逆变换单元316。滤波器信息Finfo被提供给编码单元314和环路滤波器单元318。
<重排缓冲器>
运动图像数据的每个字段(输入图像)按再现顺序(显示顺序)被输入至图像编码装置300。重排缓冲器311以其再现顺序(显示顺序)获取并且保持(存储)每个输入图像。重排缓冲器311基于控制单元301的控制,以编码顺序(解码顺序)对输入图像进行重排,或者将输入图像划分为处理单元的块。重排缓冲器311将经处理的输入图像提供给计算单元312。
<计算单元>
计算单元312从与从重排缓冲器311提供的处理单元的块对应的图像减去从预测单元320提供的预测图像P,以得出残差数据D,并且将残差数据D提供给变换量化单元313。
<变换量化单元>
变换量化单元313执行关于变换量化的处理。例如,变换量化单元313获取从计算单元312提供的残差数据D。此外,变换量化单元313获取从控制单元301提供的预测模式信息Pinfo和变换信息Tinfo。变换量化单元313基于预测模式信息Pinfo和变换信息Tinfo对残差数据D执行变换量化处理,以得出量化系数数据level。在变换量化处理中,例如,执行诸如自适应颜色变换、正交变换和量化的处理。当然,包括在变换量化处理中的处理是任意的,并且可以省略上述处理中的一些,或者可以包括除了上述处理之外的处理。变换量化单元313将得出的量化系数数据level提供给编码单元314和逆量化逆变换单元316。
<编码单元>
编码单元314获取从变换量化单元313提供的量化系数数据level(或残差数据D)。此外,编码单元314获取从控制单元301提供的各种编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。此外,编码单元314获取从环路滤波器单元318提供的关于滤波器的信息(例如,滤波器系数)。此外,编码单元314获取从预测单元320提供的关于最佳预测模式的信息。
编码单元314对量化系数数据level或残差数据D执行熵编码(无损编码)以生成位串(编码数据)。编码单元314可以应用例如基于上下文的自适应二进制算术编码(CABAC)作为熵编码。编码单元314可以应用例如基于上下文的自适应可变长度编码(CAVLC)作为熵编码。当然,该熵编码的内容是任意的,并且不限于这些示例。
此外,编码单元314从量化系数数据level得出残差信息Rinfo,并且对残差信息Rinfo进行编码以生成位串。
此外,编码单元314将从环路滤波器单元318提供的关于滤波器的信息包括到滤波器信息Finfo中,并且将从预测单元320提供的关于最佳预测模式的信息包括到预测模式信息Pinfo中。然后,编码单元314对上述各种编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)进行编码以生成位串。
此外,编码单元314对如上所述生成的各种类型的信息的位串进行复用,以生成编码数据。编码单元314将编码数据提供给累积缓冲器315。
<累积缓冲器>
累积缓冲器315暂时存储由编码单元314获得的编码数据。累积缓冲器315在预定定时将存储的编码数据作为比特流等输出至图像编码装置300的外部。例如,编码数据经由任意记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。即,累积缓冲器315也是发送编码数据(比特流)的传输单元。
<逆量化逆变换单元>
逆量化逆变换单元316执行关于逆量化逆变换的处理。例如,逆量化逆变换单元316获取从变换量化单元313提供的量化系数数据level。例如,逆量化逆变换单元316获取从控制单元301提供的变换信息Tinfo。
逆量化逆变换单元316基于变换信息Tinfo对量化系数数据level执行逆量化逆变换处理,以得出残差数据D’。该逆量化逆变换处理是在变换量化单元313中执行的变换量化处理的逆处理。即,在逆量化逆变换处理中,例如,执行诸如逆量化、逆正交变换和逆自适应颜色变换的处理。逆量化是在变换量化单元313中执行的量化的逆处理。逆正交变换是在变换量化单元313中执行的正交变换的逆处理。逆自适应颜色变换是在变换量化单元313中执行的自适应颜色变换的逆处理。当然,包括在逆量化逆变换处理中的处理是任意的,并且可以省略上述处理中的一些,或者可以包括除上述处理之外的处理。逆量化逆变换单元316将得出的残差数据D’提供给计算单元317。
注意,由于逆量化逆变换单元316类似于解码侧的逆量化逆变换单元(将在下面描述),所以解码侧的描述(将在下面描述)可以应用于逆量化逆变换单元316。
<计算单元>
计算单元317获取从逆量化逆变换单元316提供的残差数据D’和从预测单元320提供的预测图像P。计算单元317将残差数据D’与和残差数据D’对应的预测图像相加,以得出局部解码图像。计算单元317将得出的局部解码图像提供给环路滤波器单元318和帧存储器319。
<环路滤波器单元>
环路滤波器单元318执行关于环路滤波处理的处理。例如,环路滤波器单元318获取从计算单元317提供的局部解码图像。例如,环路滤波器单元318获取从控制单元301提供的滤波器信息Finfo。例如,环路滤波器单元318获取从重排缓冲器311提供的输入图像(原始图像)。注意,输入至环路滤波单元318的信息是任意的,并且可以包括除了以上提及的信息之外的信息。例如,可以根据需要将诸如预测模式、运动信息、代码量目标值、量化参数QP、图片类型、块(CU、CTU等)的信息输入至环路滤波单元318。
环路滤波器单元318基于滤波器信息Finfo适当地对局部解码图像执行滤波处理。环路滤波器单元318还根据需要使用输入图像(原始图像)和用于滤波处理的其他输入信息。
例如,环路滤波器单元318可以应用双边滤波器作为滤波处理。例如,环路滤波器单元318可以应用去块滤波器(DBF)作为滤波处理。例如,环路滤波器单元318可以应用自适应偏移滤波器(样本自适应偏移(SAO))作为滤波处理。例如,环路滤波器单元318可以应用自适应环路滤波器(ALF)作为滤波处理。此外,环路滤波器单元318可以组合地应用多个滤波器作为滤波处理。注意,应用哪个滤波器以及以何种顺序应用滤波器是任意的,并且可以适当地选择。例如,环路滤波器单元318依次应用双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器这四个环路滤波器作为滤波处理。
当然,由环路滤波器单元318执行的滤波处理是任意的,并且不限于上述示例。例如,环路滤波器单元318可以应用维纳滤波器等。
环路滤波器单元318将经滤波的局部解码图像提供给帧存储器319。注意,在将关于滤波器的信息(例如,滤波器系数)发送至解码侧的情况下,环路滤波单元318将关于滤波器的信息提供给编码单元314。
<帧存储器>
帧存储器319执行关于与图像有关的数据的存储的处理。例如,帧存储器319获取从计算单元317提供的局部解码图像和从环路滤波器单元318提供的经滤波的局部解码图像,并且保留(存储)局部解码图像。此外,帧存储器319使用局部解码图像针对每个图片重构并保留解码图像(将解码图像存储在帧存储器319中的缓冲器中)。帧存储器319响应于来自预测单元320的请求将解码图像R(或其部分)提供给预测单元320。
<预测单元>
预测单元320执行关于预测图像的生成的处理。例如,预测单元320获取从控制单元301提供的预测模式信息Pinfo。例如,预测单元320获取从重排缓冲器311提供的输入图像(原始图像)。例如,预测单元320获取从帧存储器319读取的解码图像(或其部分)。
预测单元320使用预测模式信息Pinfo和输入图像(原始图像)执行诸如帧间预测或帧内预测的预测处理。即,预测单元320通过参考作为参考的解码图像来执行预测和运动补偿,以生成预测图像P。预测单元320将生成的预测图像P提供给计算单元312和317。此外,预测单元320根据需要将通过上述处理而选择的预测模式(即,关于最佳预测模式的信息)提供给编码单元314。
<速率控制单元>
速率控制单元321执行关于速率控制的处理。例如,速率控制单元321基于累积在累积缓冲器315中的编码数据的代码量来控制变换量化单元313的量化操作的速率,使得不会发生上溢或下溢。
<本技术的应用>
<1.量化参数的校正>、<2.第一实施方式>、<3.第二实施方式>、<4.第三实施方式>和<5.第四实施方式>中描述的本技术可以应用于具有上述配置的图像编码装置300。
<控制单元>
例如,在应用上述“方法1”的情况下,控制单元301得出与分量标识符cIdx对应的CU级别的量化参数qPx,并且将量化参数qPx提供给变换量化单元313和逆量化逆变换单元316。控制单元301得出cu_act_enabled_flag作为关于自适应颜色变换的参数,并且将cu_act_enabled_flag提供给变换量化单元313和逆量化逆变换单元316。控制单元301得出与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数,并且将校正量dqPx提供给变换量化单元313和逆量化逆变换单元316。控制单元301得出与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数,并且将transform_skip_flag[xTbY][yTbY][cIdx]提供给变换量化单元313和逆量化逆变换单元316。控制单元301得出变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数,并且将最小值QpPrimeTsMin提供给变换量化单元313和逆量化逆变换单元316。此外,控制单元301还将这些参数提供给编码单元314。
例如,在应用上述“方法2”的情况下,控制单元301将在应用“方法1”的情况下要提供的参数提供给变换量化单元313、逆量化逆变换单元316和编码单元314。除了这些参数之外,控制单元301将非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数提供给逆量化逆变换单元316和编码单元314。
例如,在应用上述“方法3”的情况下,控制单元301将在应用“方法1”的情况下要提供的参数提供给变换量化单元313、逆量化逆变换单元316和编码单元314。除了这些参数之外,控制单元301还将与位深度对应的校正量QpBdOffset提供给变换量化单元313、逆量化逆变换单元316和编码单元314。
例如,在应用上述“方法4”的情况下,控制单元301将在应用“方法3”的情况下要提供的参数提供给变换量化单元313、逆量化逆变换单元316和编码单元314。
<变换量化单元>
例如,在应用上述“方法1”的情况下,变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,变换量化单元313获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。变换量化单元313获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。变换量化单元313使用所获取的参数执行变换量化处理。
例如,在应用上述“方法2”的情况下,变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,变换量化单元313获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。变换量化单元313获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。变换量化单元313获取从控制单元301提供的非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数。变换量化单元313使用所获取的参数执行变换量化处理。
例如,在应用上述“方法3”的情况下,变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,变换量化单元313获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,变换量化单元313获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。变换量化单元313获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。变换量化单元313获取从控制单元301提供的与位深度对应的校正量QpBdOffset作为关于变换跳过的参数。变换量化单元313使用所获取的参数执行变换量化处理。
例如,在应用上述“方法4”的情况下,变换量化单元313获取与在应用“方法3”的情况下所获取的参数相同的参数。变换量化单元313使用所获取的参数执行变换量化处理。
<变换量化单元的配置示例>
图11是示出图10中的变换量化单元313的主要配置示例的框图。如图11所示,变换量化单元313包括自适应颜色变换单元341、正交变换单元342和量化单元343。
自适应颜色变换单元341执行关于自适应颜色变换(ALT)的处理。例如,自适应颜色变换单元341获取从计算单元312提供的残差数据res_x(即,图10中的残差数据D)。自适应颜色变换单元341获取从控制单元301提供的cu_act_enabled_flag。自适应颜色变换单元341基于cu_act_enabled_flag的值对残差数据res_x执行自适应颜色变换。例如,在cu_act_enabled_flag为真(例如,“1”)的情况下,自适应颜色变换单元341执行如表达式(1)中所描述的计算,并且对包括R分量、G分量和B分量的残差数据res_x执行RGB-YCgCo变换。通过该处理,生成包括Y、Cg和C0的分量的自适应颜色变换系数数据res_x'。自适应颜色变换单元341将生成的自适应颜色变换系数数据res_x'提供给正交变换单元342。
正交变换单元342执行关于正交变换的处理。例如,正交变换单元342获取从自适应颜色变换单元341提供的自适应颜色变换系数数据res_x'。正交变换单元342获取从控制单元301提供的变换信息Tinfo和预测模式信息Pinfo。例如,正交变换单元342可以获取诸如transform_skip_flag、mts_idx和lfnst_idx的信息作为变换信息Tinfo。正交变换单元342使用所获取的信息对自适应颜色变换系数数据res_x'进行正交变换,以生成正交变换系数数据coef_x。正交变换单元342将生成的正交变换系数数据coef_x提供给量化单元343。
量化单元343执行关于量化的处理。例如,量化单元343获取从正交变换单元342提供的正交变换系数数据coeff_x。量化单元343对正交变换系数数据coeff_x进行量化以生成量化系数数据qcoef_x。量化单元343将生成的量化系数数据qcoef_x(即,图10中的量化系数数据level)提供给编码单元314和逆量化逆变换单元316。
例如,在应用上述“方法1”的情况下,量化单元343获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化单元343获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化单元343获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,量化单元343获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化单元343获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。
量化单元343使用所获取的参数对正交变换系数数据coeff_x进行量化,以生成量化系数数据qcoef_x。
例如,在应用上述“方法2”的情况下,量化单元343获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化单元343获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化单元343获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,量化单元343获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化单元343获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。量化单元343获取从控制单元301提供的非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数。
量化单元343使用所获取的参数对正交变换系数数据coeff_x进行量化,以生成量化系数数据qcoef_x。
例如,在应用上述“方法3”的情况下,量化单元343获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化单元343获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化单元343获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,量化单元343获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化单元343获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。量化单元343获取从控制单元301提供的与位深度对应的校正量QpBdOffset作为关于变换跳过的参数。
量化单元343使用所获取的参数对正交变换系数数据coeff_x进行量化,以生成量化系数数据qcoef_x。
例如,在应用上述“方法4”的情况下,量化单元343获取与在应用“方法3”的情况下获取的参数相同的参数。量化单元343使用所获取的参数对正交变换系数数据coeff_x进行量化,以生成量化系数数据qcoef_x。
<量化单元的配置示例>
图12是示出图11中的量化单元343的主要配置示例的框图。如图12所示,量化单元343包括量化参数校正单元351和量化处理单元352。
量化参数校正单元351执行关于量化参数的校正的处理。例如,量化参数校正单元351获取与分量标识符cIdx对应的CU级别的量化参数qPx。量化参数校正单元351校正与分量标识符cIdx对应的CU级别的量化参数qPx,并且将作为校正后的量化参数的校正量化参数提供给量化处理单元352。
量化处理单元352执行关于量化的处理。例如,量化处理单元352获取从正交变换单元342提供的正交变换系数数据coef_x。量化处理单元352获取从量化参数校正单元351提供的校正量化参数。量化处理单元352使用校正量化参数对正交变换系数数据coef_x进行量化,以生成量化系数数据qcoef_x。量化处理单元352将所生成的量化系数数据qcoef_x(即,图10中的量化系数数据level)提供给编码单元314和逆量化逆变换单元316。
在本技术应用于具有上述配置的量化单元343的情况下,量化参数校正单元351基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数。量化处理单元352通过使用校正量化参数来量化要被编码的图像的系数数据,校正量化参数是已经由量化参数校正单元351校正的量化参数。
例如,在应用上述“方法1”的情况下,量化参数校正装置100(图2)被应用为量化参数校正单元351。即,量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化参数校正单元351获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化参数校正单元351获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。
量化参数校正单元351使用所获取的cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]和QpPrimeTsMin,通过如第一实施方式中描述的方法来校正qPx。即,量化参数校正单元351执行如表达式(5)或表达式(6)中的计算以生成第二校正量化参数qP”。量化参数校正单元351将所生成的第二校正量化参数qP”提供给量化处理单元352。
通过这样做,量化参数校正单元351可以校正量化参数,使得当应用自适应颜色变换和变换跳过时,在量化中避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
例如,在应用上述“方法2”的情况下,量化参数校正装置120(图4)被应用为量化参数校正单元351。即,量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化参数校正单元351获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化参数校正单元351获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。量化参数校正单元351获取从控制单元301提供的非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数。
量化参数校正单元351使用所获取的cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin和值“0”,通过如第二实施方式中描述的方法来校正qPx。即,量化参数校正单元351执行如表达式(5)或表达式(13)中的计算以生成第二校正量化参数qP”。量化参数校正单元351将所生成的第二校正量化参数qP”提供给量化处理单元352。
通过这样做,量化参数校正单元351可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在量化中都避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
例如,在应用上述“方法3”的情况下,量化参数校正装置140(图6)被应用为量化参数校正单元351。即,量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化参数校正单元351获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,量化参数校正单元351获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化参数校正单元351获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。量化参数校正单元351获取从控制单元301提供的与位深度对应的校正量QpBdOffset作为关于变换跳过的参数。
量化参数校正单元351使用所获取的cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin和QpBdOffset,通过如第三实施方式中描述的方法来校正qPx。即,量化参数校正单元351执行如表达式(16)或表达式(17)中的计算,以生成第三校正量化参数qP”’。量化参数校正单元351将所生成的第三校正量化参数qP”’提供给量化处理单元352。
通过这样做,无论是否应用变换跳过,校正量化参数的值落入量化参数的最小值到最大值的范围内。此外,在变换跳过的情况下,进一步用变换跳过时的量化参数的最小值QpPrimeTsMin对量化参数的下限进行裁剪。即,量化参数校正单元351可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在量化中避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
例如,在应用上述“方法4”的情况下,量化参数校正装置160(图8)被应用为量化参数校正单元351。即,量化参数校正单元351获取与“方法3”的情况下的参数类似的参数。
量化参数校正单元351使用所获取的参数(cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin和QpBdOffset),通过如第四实施方式中描述的方法来校正qPx。即,量化参数校正单元351执行如表达式(18)或表达式(17)中的计算以生成第二校正量化参数qP”。量化参数校正单元351将所生成的第二校正量化参数qP”提供给量化处理单元352。
即,在方法4的情况下,执行与方法3的情况基本类似的计算,并且获得类似的校正结果。因此,即使在这种情况下,与方法3的情况类似,量化参数校正单元351可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在量化中避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
<编码单元>
例如,在应用上述“方法1”的情况下,编码单元314获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,编码单元314获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。编码单元314获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,编码单元314获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。编码单元314获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。编码单元314编码所获取的参数、生成位串、并且将位串包括在编码数据中。
通过这样做,这些信息被用信号通知。即,将这些信息提供给解码侧装置(解码器等)。因此,解码侧装置可以校正量化参数,使得在解码处理中应用自适应颜色变换和变换跳过的情况下,避免量化步长Δ<1。因此,解码侧装置可以在解码处理中使用以这种方式校正的量化参数来执行逆量化。因此,解码侧装置可以抑制PSNR的降低。因此,解码侧装置可以实现抑制编码效率的降低。
例如,在应用上述“方法2”的情况下,编码单元314获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,编码单元314获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。编码单元314获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,编码单元314获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。编码单元314获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。编码单元314获取从控制单元301提供的非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数。编码单元314编码所获取的参数、生成位串、并且将位串包括在编码数据中。
通过这样做,这些信息被用信号通知。即,将这些信息提供给解码侧装置(解码器等)。因此,解码侧装置可以校正量化参数,使得无论在解码处理中是否应用变换跳过,在应用自适应颜色变换的情况下避免量化步长Δ<1。因此,解码侧装置可以在解码处理中使用以这种方式校正的量化参数来执行逆量化。因此,解码侧装置可以抑制PSNR的降低。因此,解码侧装置可以实现抑制编码效率的降低。
例如,在应用上述“方法3”的情况下,编码单元314获取从控制单元301提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,编码单元314获取从控制单元301提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。编码单元314获取从控制单元301提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,编码单元314获取从控制单元301提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。编码单元314获取从控制单元301提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。编码单元314获取从控制单元301提供的与位深度对应的校正量QpBdOffset作为关于变换跳过的参数。编码单元314编码所获取的参数、生成位串、并且将位串包括在编码数据中。
通过这样做,这些信息被用信号通知。即,将这些信息提供给解码侧装置(解码器等)。因此,无论在解码处理中解码侧装置是否应用变换跳过,校正量化参数的值都落入量化参数的最小值到最大值的范围内。此外,在变换跳过的情况下,进一步用变换跳过时的量化参数的最小值QpPrimeTsMin对量化参数的下限进行裁剪。即,解码侧装置可以校正量化参数,使得无论在解码处理中是否应用变换跳过,在应用自适应颜色变换的情况下避免量化步长Δ<1。因此,解码侧装置可以在解码处理中使用以这种方式校正的量化参数来执行逆量化。因此,解码侧装置可以抑制PSNR的降低。因此,解码侧装置可以实现抑制编码效率的降低。
例如,在应用上述“方法4”的情况下,编码单元314获取与“方法3”的情况下的参数类似的参数。编码单元314编码所获取的参数(cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin和QpBdOffset)、生成位串、并且将位串包括在编码数据中。
通过这样做,这些信息被用信号通知。即,将这些信息提供给解码侧装置(解码器等)。因此,即使在这种情况下,解码侧装置可以校正量化参数,使得无论在解码处理中是否应用变换跳过,在应用自适应颜色变换的情况下避免量化步长Δ<1。因此,解码侧装置可以在解码处理中使用以这种方式校正的量化参数来执行逆量化。因此,解码侧装置可以抑制PSNR的降低。因此,解码侧装置可以实现抑制编码效率的降低。
<图像编码处理的流程>
接下来,将描述由上述图像编码装置300执行的每个处理的流程。首先,将参照图13中的流程图描述图像编码处理的流程的示例。
当图像编码处理开始时,在步骤S301中,重排缓冲器311由控制单元301控制,并且将输入的运动图像数据的帧从显示顺序重排为编码顺序。
在步骤S302中,控制单元301对由重排缓冲器311保持的输入图像设置处理单元(执行块划分)。
在步骤S303中,控制单元301对重排缓冲器311保持的输入图像设置编码参数(例如,头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo等)。
在步骤S304中,预测单元320执行预测处理并且以最佳预测模式生成预测图像等。例如,在预测处理中,预测单元320以最佳帧内预测模式执行帧内预测以生成预测图像,以最佳帧间预测模式执行帧间预测以生成预测图像,并且基于成本函数值等从预测图像中选择最佳预测模式。
在步骤S305中,计算单元312计算输入图像与通过步骤S304中的预测处理选择的最佳模式的预测图像之间的差。即,计算单元312生成输入图像与预测图像之间的残差数据D。以这种方式获得的残差数据D具有比原始图像数据小的数据量。因此,与按原样对图像进行编码的情况相比,可以压缩数据量。
在步骤S306中,变换量化单元313使用在步骤S303中生成的诸如变换信息Tinfo的编码参数,对通过步骤S305的处理生成的残差数据D执行变换量化处理,并且生成量化系数数据level。
在步骤S307中,逆量化逆变换单元316使用在步骤S303中生成的诸如变换信息Tinfo的编码参数,对在步骤S306中生成的量化系数数据level执行逆量化逆变换处理,并且生成残差数据D’。
该逆量化逆变换处理是步骤S306的变换量化处理的逆处理。下面将描述的解码侧装置(图像解码装置400)也执行类似的处理。因此,将逆量化逆变换处理描述为解码侧装置(图像解码装置400)的处理。然后,可以将描述应用于该逆量化逆变换处理(步骤S307)。
在步骤S308中,计算单元317将通过步骤S304中的预测处理获得的预测图像与通过步骤S307中的逆量化逆变换处理获得的残差数据D’相加,从而生成局部解码图像。
在步骤S309中,环路滤波器单元318对通过步骤S308中的处理得出的局部解码图像执行环路滤波处理。
在步骤S310中,帧存储器319存储通过步骤S308中的处理得出的局部解码图像以及在步骤S309中被滤波的局部解码图像。
在步骤S311中,编码单元314对通过步骤S306中的变换量化处理获得的量化系数数据level进行编码,以生成编码数据。此外,此时,编码单元314对各种编码参数(头部信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。此外,编码单元314从量化系数数据level得出残差信息RInfo,并且对残差信息RInfo进行编码。
在步骤S312中,累积缓冲器315累积由此获得的编码数据,并且将编码数据例如作为比特流输出至图像编码装置300的外部。例如,比特流经由传输路径或记录介质被发送至解码侧装置。此外,速率控制单元321根据需要控制速率。当步骤S312中的处理结束时,图像编码处理结束。
<变换量化处理的流程>
接下来,将参照图14的流程图来描述在图13的步骤S306中执行的变换量化处理的流程的示例。
当变换量化处理开始时,在步骤S341中,自适应颜色变换单元341基于在步骤S303(图13)中生成的cu_act_enabled_flag对通过步骤S305的处理生成的残差数据res_x执行自适应颜色变换以生成自适应颜色变换系数数据res_x’。
在步骤S342中,正交变换单元342通过使用在步骤S303(图13)中生成的变换信息Tinfo、预测模式信息Pinfo等对在步骤S341中生成的自适应颜色变换系数数据res_x’进行正交变换,以生成正交变换系数数据coef_x。
在步骤S343中,量化单元343通过使用在步骤S303(图13)中生成的变换信息Tinfo等对在步骤S342中生成的正交变换系数数据coef_x进行量化,以生成量化系数数据qcoef_x。
当步骤S343的处理结束时,处理返回到图13。
<量化处理的流程>
接下来,将参照图15的流程图描述在图14的步骤S343中执行的量化处理的流程的示例。
当量化处理开始时,在步骤S351中,量化参数校正单元351执行量化参数校正处理,对量化参数进行校正,并且生成校正量化参数。
在步骤S352中,量化处理单元352使用在步骤S351中生成的校正量化参数对在步骤S342(图14)中生成的正交变换系数数据coef_x进行量化,以生成量化系数数据qcoef_x。
当步骤S352的处理结束时,量化处理结束,并且处理返回到图14。
可以将在<1.量化参数的校正>、<2.第一实施方式>、<3.第二实施方式>、<4.第三实施方式>和<5.第四实施方式>中描述的本技术应用于这样的量化处理。
即,在本技术应用于上述量化处理的情况下,在步骤S351中,量化参数校正单元351基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数。在步骤S352中,量化处理单元352通过使用作为已经被校正的量化参数的校正量化参数来量化要被编码的图像的系数数据。
例如,在应用上述“方法1”的情况下,量化参数校正单元351应用参照图3中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元351执行如表达式(5)或表达式(6)中的计算以生成第二校正量化参数qP”。
通过这样做,量化参数校正单元351可以校正量化参数,使得在应用自适应颜色变换和变换跳过时在量化中避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
例如,在应用上述“方法2”的情况下,量化参数校正单元351应用参照图5中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元351执行如表达式(5)或表达式(13)中的计算以生成第二校正量化参数qP”。
通过这样做,量化参数校正单元351可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在量化中避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
例如,在应用上述“方法3”的情况下,量化参数校正单元351应用参照图7中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元351执行如表达式(16)或表达式(17)中的计算,以生成第三校正量化参数qP”’。
通过这样做,无论是否应用变换跳过,校正量化参数的值落入量化参数的最小值到最大值的范围内。在变换跳过的情况下,进一步用变换跳过时的量化参数的最小值QpPrimeTsMin对量化参数的下限进行裁剪。即,量化参数校正单元351可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在量化中避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
例如,在应用上述“方法4”的情况下,量化参数校正单元351应用参照图9中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元351执行如表达式(18)或表达式(17)中的计算以生成第二校正量化参数qP”。
即,在方法4的情况下,执行与方法3的情况基本类似的计算,并且获得类似的校正结果。因此,即使在这种情况下,与方法3的情况类似,可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在量化中避免量化步长Δ<1。因此,量化处理单元352使用以这种方式校正的量化参数对图像的系数数据进行量化,使得量化单元343(变换量化单元313)可以抑制PSNR的降低。因此,图像编码装置300可以抑制编码效率的降低。
<编码>
注意,在图13的步骤S311中,编码单元314对各种编码参数(头部信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。在应用本技术的情况下,编码单元314对作为编码参数的要应用于量化参数的校正的上述各种参数进行编码。例如,在应用“方法1”的情况下,编码单元314对诸如与分量标识符cIdx对应的CU级别的量化参数qPx、cu_act_enabled_flag、与分量标识符cIdx对应的校正量dqPx、与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]、以及变换跳过时的量化参数的最小值QpPrimeTsMin的参数进行编码。此外,在应用“方法2”的情况下,除了在应用“方法1”的情况下要编码的参数之外,编码单元314还对非变换跳过时的量化参数的最小值“0”进行编码。此外,在应用“方法3”或“方法4”的情况下,除了在应用“方法1”的情况下要编码的参数之外,编码单元314还对与位深度对应的校正量QpBdOffset进行编码。
通过这样做,这些信息被用信号通知,使得解码侧装置可以抑制PSNR的降低。因此,解码侧装置可以实现抑制编码效率的降低。
<7.第六实施方式>
<图像解码装置>
也可以将上述的本技术(各种方法)应用于对图像数据的编码数据进行解码的图像解码装置。
图16是示出作为应用本技术的图像处理装置的一个方面的图像解码装置的配置的示例的框图。图16中示出的图像解码装置400是对运动图像的编码数据进行解码的装置。例如,图像解码装置400对通过诸如上述非专利文献中描述的VVC、AVC或HEVC的编码方法编码的运动图像的编码数据进行解码。例如,图像解码装置400可以对由上述图像编码装置300(图10)生成的编码数据(比特流)进行解码。
注意,图16示出了主处理单元、数据流等,并且图16中示出的这些不一定是全部。即,在图像解码装置400中,可以存在未在图16中示出为块的处理单元,或者存在未在图16中示出为箭头等的处理或数据流。这在用于描述图像解码装置400中的处理单元等的其他附图中是类似的。
如图16所示,图像解码装置400包括控制单元401、累积缓冲器411、解码单元412、逆量化逆变换单元413、计算单元414、环路滤波器单元415、重排缓冲器416、帧存储器417和预测单元418。注意,预测单元418包括帧内预测单元和帧间预测单元(未示出)。
<控制单元>
控制单元401执行关于解码控制的处理。例如,控制单元401经由解码单元412获取比特流中包括的编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo、滤波器信息Finfo等)。此外,控制单元401可以估计未包括在比特流中的编码参数。此外,控制单元401基于所获取的(或所估计的)编码参数控制图像解码装置400的处理单元(累积缓冲器411至预测单元418)以控制解码。
例如,控制单元401将头部信息Hinfo提供给逆量化逆变换单元413、预测单元418和环路滤波器单元415。此外,控制单元401将预测模式信息Pinfo提供给逆量化逆变换单元413和预测单元418。此外,控制单元401将变换信息Tinfo提供给逆量化逆变换单元413。此外,控制单元401将残差信息Rinfo提供给解码单元412。此外,控制单元401将滤波器信息Finfo提供给环路滤波器单元415。
当然,以上示例是示例,并且本实施方式不限于该示例。例如,可以将每个编码参数提供给任意处理单元。此外,可以将其他信息提供给任意处理单元。
<头部信息Hinfo>
例如,头部信息Hinfo包括诸如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、图片头部(PH)和切片头部(SH)的头部信息。头部信息Hinfo包括例如限定以下各项的信息:图像大小(宽度PicWidth和高度PicHeight)、位深度(亮度bitDepthY和色度bitDepthC)、色度阵列类型ChromaArrayType、CU大小最大值MaxCUSize和最小值MinCUSize、四叉树划分的最大深度MaxQTDepth和最小深度MinQTDepth、二叉树划分的最大深度MaxBTDepth和最小深度MinBTDepth、变换跳过块的最大值MaxTSSize(也被称为最大变换跳过块大小)、每个编码工具的开/关标志(也被称为使能标志)等。
例如,头部信息Hinfo中包括的编码工具的开/关标志的示例包括与下面的变换和量化处理有关的开/关标志。注意,也可以将编码工具的开/关标志解释为指示与编码工具有关的语法是否存在于编码数据中的标志。此外,开/关标志的值为1(真)的情况指示编码工具可用。开/关标志的值为0(假)的情况指示编码工具不可用。注意,可以调换标志值的解释。
<预测模式信息Pinfo>
预测模式信息Pinfo例如包括诸如以下的信息:要处理的预测块(PB)的大小信息PBSize(预测块大小)、帧内预测模式信息IPinfo和运动预测信息MVinfo。
帧内预测模式信息IPinfo包括例如在JCTVC-W1005,7.3.8.5Coding Unit syntax中的prev_intra_luma_pred_flag、mpm_idx和rem_intra_pred_mode、从语法得出的亮度帧内预测模式IntraPredMode等。
此外,帧内预测模式信息IPinfo可以包括例如分量间预测标志(ccp_flag(cclmp_flag))、多类线性预测模式标志(mclm_flag)、色度样本位置类型标识符(chroma_sample_loc_type_idx)、色度MPM标识符(chroma_mpm_idx)、从这些语法得出的亮度帧内预测模式(IntraPredModeC)等。
分量间预测标志(ccp_flag(cclmp_flag))是指示是否应用分量间线性预测的标志信息。例如,ccp_flag==1指示应用分量间预测,而ccp_flag==0指示不应用分量间预测。
多类线性预测模式标志(mclm_flag)是关于线性预测模式的信息(线性预测模式信息)。更具体地,多类线性预测模式标志(mclm_flag)是指示是否设置多类线性预测模式的标志信息。例如,“0”指示一类模式(单类模式)(例如,CCLMP),并且“1”指示二类模式(多类模式)(例如,MCLMP)。
色度样本位置类型标识符(chroma_sample_loc_type_idx)是用于识别色度分量的像素位置的类型(也被称为色度样本位置类型)的标识符。
注意,色度样本位置类型标识符(chroma_sample_loc_type_idx)作为关于色度分量的像素位置的信息(chroma_sample_loc_info())被发送(通过存储在该信息中被发送)。
色度MPM标识符(chroma_mpm_idx)是指示色度帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选将被指定为色度帧内预测模式的标识符。
运动预测信息MVinfo可以包括例如诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X={0,1}、mvd等的信息(例如,参见JCTVC-W1005,7.3.8.6Prediction Unit Syntax)。
当然,预测模式信息Pinfo中包括的信息是任意的,并且可以包括除了以上信息之外的信息。
<变换信息Tinfo>
变换信息Tinfo可以包括例如以下信息:
要处理的变换块的宽度TBWSize和高度TBHSize:TBWSize和TBHSize的以2为底的对数值log2TBWSize和log2TBHSize;
变换跳过标志(ts_flag):指示是否跳过(逆)一次变换和(逆)二次变换的标志;
扫描标识符(scanIdx);
量化参数(qp);以及
量化矩阵(scaling_matrix):例如,JCTVC-W1005,7.3.4Scaling list datasyntax。
当然,变换信息Tinfo中包括的信息是任意的,并且可以包括除了以上信息之外的信息:
<残差信息Rinfo>
残差信息Rinfo(例如,参见JCTVC-W1005的7.3.8.11Residual Coding syntax)可以包括例如以下信息:
cbf(coded_block_flag):残差数据存在/不存在标志;
last_sig_coeff_x_pos:最后一个非零系数X坐标;
last_sig_coeff_y_pos:最后一个非零系数Y坐标;
coded_sub_block_flag:子块非零系数存在/不存在标志;
sig_coeff_flag:非零系数存在/不存在标志;
gr1_flag:指示非零系数的级别是否大于1的标志(也称为GR1标志);gr2_flag:指示非零系数的级别是否大于2的标志(也称为GR2标志);sign_flag:指示非零系数的正或负的符号(也称为符号码);以及
coeff_abs_level_remaining:非零系数的残差级别(也称为非零系数残差级别)。
当然,残差信息Rinfo中包括的信息是任意的,并且可以包括除了以上信息之外的信息。
<滤波器信息Finfo>
滤波器信息Finfo可以包括例如关于以下滤波处理的控制信息:
关于去块滤波器(DBF)的控制信息;
关于像素自适应偏移(SAO)的控制信息;
关于自适应环路滤波器(ALF)的控制信息;以及
关于其他线性和非线性滤波器的控制信息。
此外,例如,滤波器信息Finfo可以包括:应用每个滤波器的图片、用于指定图片中的区域的信息、用于每个CU的滤波器开/关控制信息、用于切片和图块边界的滤波器开/关控制信息等。当然,滤波器信息Finfo中包括的信息是任意的,并且可以包括除了以上信息之外的信息。
<累积缓冲器>
累积缓冲器411获取输入至图像解码装置400的比特流,并且保持(存储)该比特流。累积缓冲器411在预定定时或在满足预定条件的情况下提取包括在累积的比特流中的编码数据,并且将编码数据提供给解码单元412。
<解码单元>
解码单元412执行关于图像解码的处理。例如,解码单元412获取从累积缓冲器411提供的编码数据,根据语法表的定义对来自位串的每个语法元素的语法值执行熵解码(无损解码),并且得出编码参数.
编码参数例如可以包括诸如头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo和滤波器信息Finfo的信息。即,解码单元412从比特流解码和解析(分析和获取)这样的信息。
解码单元412在控制单元401的控制下执行这样的处理(解码、解析等),并且将所获得的信息提供给控制单元401。
此外,解码单元412通过参考残差信息Rinfo对编码数据进行解码。此时,例如,解码单元412应用诸如CABAC或CAVLC的熵解码(无损解码)。即,解码单元412通过与由图像编码装置300的编码单元314执行的编码处理的编码方法对应的解码方法对编码数据进行解码。
例如,假定应用CABAC。解码单元412对编码数据执行使用上下文模型的算术解码,并且得出每个变换块中的每个系数位置处的量化系数数据level。解码单元412将所得出的量化系数数据level提供给逆量化逆变换单元413。
<逆量化逆变换单元>
逆量化逆变换单元413执行关于逆量化和逆系数变换的处理。例如,逆量化逆变换单元413获取从解码单元412提供的量化系数数据level。逆量化逆变换单元413获取从控制单元401提供的诸如预测模式信息Pinfo和变换信息Tinfo的编码参数。
逆量化逆变换单元413基于诸如预测模式信息Pinfo和变换信息Tinfo的编码参数,对量化系数数据level执行逆量化逆变换处理,以得出残差数据D’。该逆量化逆变换处理是在变换量化单元313中执行的变换量化处理的逆处理。即,在逆量化逆变换处理中,例如,执行诸如逆量化、逆正交变换和逆自适应颜色变化的处理。逆量化是在变换量化单元313中执行的量化的逆处理。逆正交变换是在变换量化单元313中执行的正交变换的逆处理。逆自适应颜色变换是在变换量化单元313中执行的自适应颜色变换的逆处理。当然,包括在逆量化逆变换处理中的处理是任意的,并且可以省略上述处理中的一些,或者可以包括除了上述处理之外的处理。逆量化逆变换单元413将所得出的残差数据D’提供给计算单元414
<计算单元>
计算单元414执行关于添加关于图像的信息的处理。例如,计算单元414获取从逆量化逆变换单元413提供的残差数据D’以及从预测单元418提供的预测图像。计算单元414将残差数据和与残差数据对应的预测图像(预测信号)相加以得出局部解码图像。计算单元414将所得出的局部解码图像提供给环路滤波器单元415和帧存储器417。
<环路滤波器单元>
环路滤波器单元415执行关于环路滤波处理的处理。例如,环路滤波器单元415获取从计算单元414提供的局部解码图像。环路滤波器单元415获取从控制单元401提供的滤波器信息Finfo。注意,输入至环路滤波器单元415的信息是任意的,并且可以输入除了以上提及的信息之外的信息。
环路滤波器单元415基于滤波器信息Finfo对局部解码图像适当地执行滤波处理。例如,环路滤波器单元415可以应用双边滤波器作为滤波处理。例如,环路滤波器单元415可以应用去块滤波器(DBF)作为滤波处理。例如,环路滤波器单元415可以应用自适应偏移滤波器(样本自适应偏移(SAO))作为滤波处理。例如,环路滤波器单元415可以应用自适应环路滤波器(ALF)作为滤波处理。此外,环路滤波器单元415可以组合地应用多个滤波器作为滤波处理。注意,应用哪个滤波器以及以何种顺序应用滤波器是任意的,并且可以适当地选择。例如,环路滤波器单元415依次应用双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器这四个环路滤波器作为滤波处理。
环路滤波器单元415执行与由编码侧装置(例如,图像编码装置300的环路滤波器单元318)执行的滤波处理对应的滤波处理。当然,由环路滤波器单元415执行的滤波处理是任意的,并且不限于上述示例。例如,环路滤波器单元415可以应用维纳滤波器等。
环路滤波器单元415将经滤波的局部解码图像提供给重排缓冲器416和帧存储器417。
<重排缓冲器>
重排缓冲器416接收从环路滤波器单元415提供的局部解码图像作为输入,并且保持(存储)局部解码图像。重排缓冲器416使用局部解码图像针对每个图片重构解码图像,并且保持解码图像(存储在缓冲器中)。重排缓冲器416将获得的解码图像从解码顺序重排为再现顺序。重排缓冲器416将重排的解码图像组作为运动图像数据输出至图像解码装置400的外部。
<帧存储器>
帧存储器417执行关于与图像有关的数据的存储的处理。例如,帧存储器417获取从计算单元414提供的局部解码图像,针对每个图片重构解码图像,并且将解码图像存储在帧存储器417中的缓冲器中。
此外,帧存储器417获取从环路滤波器单元415提供的已经经历环路滤波处理的局部解码图像,针对每个图片重构解码图像,并且将解码图像存储在帧存储器417中的缓冲器中。帧存储器417将所存储的解码图像(或其部分)作为参考图像适当地提供给预测单元418。
注意,帧存储器417可以存储与解码图像的生成有关的头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等。
<预测单元>
预测单元418执行关于预测图像的生成的处理。例如,预测单元418获取从控制单元401提供的预测模式信息Pinfo。此外,预测单元418获取从帧存储器417读取的解码图像(或其部分)。预测单元418基于预测模式信息Pinfo以在编码时采用的预测模式执行预测处理,并且通过参考解码图像作为参考图像来生成预测图像。预测单元418将生成的预测图像提供给计算单元414。
<本技术的应用>
可以将在<1.量化参数的校正>、<2.第一实施方式>、<3.第二实施方式>、<4.第三实施方式>和<5.第四实施方式>中描述的本技术应用于具有上述配置的图像解码装置400。
<解码单元>
如上所述,解码单元412从比特流中解析诸如头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo和滤波器信息Finfo的编码参数。
因此,在应用本技术的情况下,解码单元412对比特流进行解码,并且解析要用于校正从编码侧装置(例如,图像编码装置300)提供的量化参数的参数。
例如,在应用“方法1”的情况下,解码单元412解析诸如以下的参数:与分量标识符cIdx对应的CU级别的量化参数qPx、cu_act_enabled_flag、与分量标识符cIdx对应的校正量dqPx、与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]、以及变换跳过时的量化参数的最小值QpPrimeTsMin。此外,在应用“方法2”的情况下,除了在应用“方法1”的情况下要编码的参数之外,解码单元412解析非变换跳过时的量化参数的最小值“0”。此外,在应用“方法3”或“方法4”的情况下,除了在应用“方法1”的情况下要编码的参数之外,解码单元412解析与位深度对应的校正量QpBdOffset。
<控制单元>
例如,在应用“方法1”的情况下,控制单元401从解码单元412获取与分量标识符cIdx对应的CU级别的量化参数qPx,并且将量化参数qPx提供给逆量化逆变换单元413。控制单元401从解码单元412获取cu_act_enabled_flag作为关于自适应颜色变换的参数,并且将cu_act_enabled_flag提供给逆量化逆变换单元413。控制单元401从解码单元412获取与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数,并且将校正量dqPx提供给逆量化逆变换单元413。控制单元401从解码单元412获取与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数,并且将transform_skip_flag[xTbY][yTbY][cIdx]提供给逆量化逆变换单元413。控制单元401从解码单元412获取变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数,并且将最小值QpPrimeTsMin提供给逆量化逆变换单元413。
例如,在应用“方法2”的情况下,控制单元401将在应用“方法1”的情况下要提供的参数提供给逆量化逆变换单元413。除了这些参数之外,控制单元401将非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数提供给逆量化逆变换单元413。
例如,在应用“方法3”的情况下,控制单元401将在应用“方法1”的情况下要提供的参数提供给逆量化逆变换单元413。除了这些参数之外,控制单元401将与位深度对应的校正量QpBdOffset提供给逆量化逆变换单元413。
例如,在应用“方法4”的情况下,控制单元401将在应用“方法3”的情况下要提供的参数提供给逆量化逆变换单元413。
<逆量化逆变换单元>
例如,在应用上述“方法1”的情况下,逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,逆量化逆变换单元413获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。逆量化逆变换单元413获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。逆量化逆变换单元413使用所获取的参数来执行逆量化逆变换处理。
例如,在应用上述“方法2”的情况下,逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,逆量化逆变换单元413获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。逆量化逆变换单元413获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。逆量化逆变换单元413获取从控制单元401提供的非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数。逆量化逆变换单元413使用所获取的参数来执行逆量化逆变换处理。
例如,在应用上述“方法3”的情况下,逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,逆量化逆变换单元413获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,逆量化逆变换单元413获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。逆量化逆变换单元413获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。逆量化逆变换单元413获取从控制单元401提供的与位深度对应的校正量QpBdOffset作为关于变换跳过的参数。逆量化逆变换单元413使用所获取的参数来执行逆量化逆变换处理。
例如,在应用上述“方法4”的情况下,逆量化逆变换单元413获取与在应用“方法3”的情况下获取的参数相同的参数。逆量化逆变换单元413使用所获取的参数来执行逆量化逆变换处理。
<逆量化逆变换单元的配置示例>
图17是示出图16中的逆量化逆变换单元413的主要配置示例的框图。如图17所示,逆量化逆变换单元413包括逆量化单元441、逆正交变换单元442和逆自适应颜色变换单元443。
逆量化单元441执行关于逆量化的处理。例如,逆量化单元441获取从解码单元412提供的量化系数数据qcoeff_x(即,图16中的量化系数数据level)。逆量化单元441对量化系数数据qcoeff_x进行逆量化以生成正交变换系数数据coef_x。逆量化单元441将所生成的正交变换系数数据coef_x提供给逆正交变换单元442。
逆正交变换单元442执行关于逆正交变换的处理。例如,逆正交变换单元442获取从逆量化单元441提供的正交变换系数数据coeff_x。逆正交变换单元442获取从控制单元401提供的变换信息Tinfo和预测模式信息Pinfo。例如,逆正交变换单元442可以获取诸如transform_skip_flag、mts_idx和lfnst_idx的信息作为变换信息Tinfo。逆正交变换单元442使用所获取的信息对正交变换系数数据coeff_x执行逆正交变换,以生成自适应颜色变换系数数据res_x’。逆正交变换单元442将所生成的自适应颜色变换系数数据res_x’提供给逆自适应颜色变换单元443。
逆自适应颜色变换单元443执行关于逆自适应颜色变换的处理。例如,逆自适应颜色变换单元443获取从逆正交变换单元442提供的自适应颜色变换系数数据res_x’。逆自适应颜色变换单元443获取从控制单元401提供的cu_act_enabled_flag。逆自适应颜色变换单元443基于cu_act_enabled_flag的值对残差数据res_x执行自适应颜色变换。例如,在cu_act_enabled_flag为真(例如,“1”)的情况下,逆自适应颜色变换单元443执行如上述表达式(2)中的计算,并且对包括Y、Cg和Co的分量的自适应颜色变换系数数据res_x’执行YCgCo-RGB变换。通过该处理,生成包括R、G和B的分量的残差数据res_x(即,图10中的残差数据D)。逆自适应颜色变换单元443将所生成的残差数据res_x提供给计算单元414。
例如,在应用上述“方法1”的情况下,逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,逆量化单元441获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。逆量化单元441获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。
逆量化单元441使用所获取的参数对量化系数数据qcoef_x进行逆量化,以生成正交变换系数数据coeff_x。
例如,在应用上述“方法2”的情况下,逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,逆量化单元441获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。逆量化单元441获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。逆量化单元441获取从控制单元401提供的非变换跳过时量化参数的最小值“0”作为关于变换跳过的参数。
逆量化单元441使用所获取的参数对量化系数数据qcoef_x进行逆量化,以生成正交变换系数数据coeff_x。
例如,在应用上述“方法3”的情况下,逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,逆量化单元441获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。此外,逆量化单元441获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。逆量化单元441获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。逆量化单元441获取从控制单元401提供的与位深度对应的校正量QpBdOffset作为关于变换跳过的参数。
逆量化单元441使用所获取的参数对量化系数数据qcoef_x进行逆量化,以生成正交变换系数数据coeff_x。
例如,在应用上述“方法4”的情况下,逆量化单元441获取与在应用“方法3”的情况下获取的参数相同的参数。逆量化单元441使用所获取的参数对量化系数数据qcoef_x进行逆量化,以生成正交变换系数数据coeff_x。
<逆量化单元的配置示例>
图18是示出图17的逆量化单元441的主要配置示例的框图。如图18所示,逆量化单元441包括量化参数校正单元451和逆量化处理单元452。
量化参数校正单元451执行关于量化参数的校正的处理。例如,量化参数校正单元451获取与分量标识符cIdx对应的CU级别的量化参数qPx。量化参数校正单元451校正与分量标识符cIdx对应的CU级别的量化参数qPx,并且将作为校正后的量化参数的校正量化参数提供给逆量化处理单元452。
逆量化处理单元452执行关于逆量化的处理。例如,逆量化处理单元452获取从解码单元412提供的量化系数数据qcoef_x。逆量化处理单元452获取从量化参数校正单元451提供的校正量化参数。逆量化处理单元452使用校正量化参数对量化系数数据qcoef_x进行逆量化,以生成正交变换系数数据coef_x。逆量化处理单元452将所生成的正交变换系数数据coef_x提供给逆正交变换单元442。
在本技术应用于具有上述配置的逆量化单元441的情况下,量化参数校正单元451基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数。逆量化处理单元452使用校正量化参数对通过对图像的系数数据进行量化而获得的量化系数数据进行逆量化,校正量化参数是已经由量化参数校正单元451校正的量化参数。
例如,在应用上述“方法1”的情况下,量化参数校正装置100(图2)被应用为量化参数校正单元451。即,量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化参数校正单元451获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化参数校正单元451获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。
量化参数校正单元451使用所获取的cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]和QpPrimeTsMin,通过如第一实施方式中描述的方法来校正qPx。即,量化参数校正单元451执行如表达式(5)或表达式(6)中的计算以生成第二校正量化参数qP”。量化参数校正单元451将所生成的第二校正量化参数qP”提供给逆量化处理单元452。
通过这样做,量化参数校正单元451可以校正量化参数,使得在应用自适应颜色变换和变换跳过时在逆量化中避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
例如,在应用上述“方法2”的情况下,量化参数校正装置100(图2)被应用为量化参数校正单元451。即,量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化参数校正单元451获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化参数校正单元451获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。量化参数校正单元451获取从控制单元401提供的非变换跳过时的量化参数的最小值“0”作为关于变换跳过的参数。
量化参数校正单元451使用cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin和值“0”,通过如第二实施方式中描述的方法来校正qPx。即,量化参数校正单元451执行如表达式(5)或表达式(13)中的计算以生成第二校正量化参数qP”。量化参数校正单元451将所生成的第二校正量化参数qP”提供给逆量化处理单元452。
通过这样做,量化参数校正单元451可以校正量化参数,使得在应用自适应颜色变换的情况下,无论在逆量化中是否应用变换跳过,在逆量化中避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
例如,在应用上述“方法3”的情况下,量化参数校正装置100(图2)被应用为量化参数校正单元451。即,量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的CU级别的量化参数qPx。此外,量化参数校正单元451获取从控制单元401提供的cu_act_enabled_flag作为关于自适应颜色变换的参数。量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的校正量dqPx作为关于自适应颜色变换的参数。量化参数校正单元451获取从控制单元401提供的与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]作为关于变换跳过的参数。量化参数校正单元451获取从控制单元401提供的变换跳过时的量化参数的最小值QpPrimeTsMin作为关于变换跳过的参数。量化参数校正单元451获取从控制单元401提供的与位深度对应的校正量QpBdOffset作为关于变换跳过的参数。
量化参数校正单元451使用cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin和QpBdOffset,通过如第二实施方式中描述的方法来校正qPx。即,量化参数校正单元451执行如表达式(16)或表达式(17)中的计算,以生成第三校正量化参数qP”’。量化参数校正单元451将所生成的第三校正量化参数qP”’提供给逆量化处理单元452。
通过这样做,无论是否应用变换跳过,校正量化参数的值落入量化参数的最小值到最大值的范围内。此外,在变换跳过的情况下,进一步用变换跳过时的量化参数的最小值QpPrimeTsMin对量化参数的下限进行裁剪。即,量化参数校正单元451可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在逆量化中避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
例如,在应用上述“方法4”的情况下,量化参数校正装置160(图8)被应用为量化参数校正单元451。即,量化参数校正单元451获取与“方法3”的情况下的参数类似的参数。
量化参数校正单元451使用所获取的参数(cu_act_enabled_flag、dqPx、transform_skip_flag[xTbY][yTbY][cIdx]、QpPrimeTsMin和QpBdOffset),通过如第四实施方式中描述的方法来校正qPx。即,量化参数校正单元451执行如表达式(18)或表达式(17)中的计算以生成第二校正量化参数qP”。量化参数校正单元451将所生成的第二校正量化参数qP”提供给逆量化处理单元452。
即,在方法4的情况下,执行与方法3的情况基本类似的计算,并且获得类似的校正结果。因此,即使在这种情况下,与方法3的情况类似,量化参数校正单元451可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在逆量化中避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
在本实施方式中描述的逆量化逆变换单元413的描述也可以适用于图像编码装置300的逆量化逆变换单元316。注意,在这种情况下,编码参数的提供源是控制单元301。此外,量化系数数据的提供源是变换量化单元313。此外,残差数据D’的提供目的地是计算单元317。
<图像解码处理的流程>
接下来,将描述由上述图像解码装置400执行的每个处理的流程。首先,将参照图19中的流程图描述图像解码处理的流程的示例。
当图像解码处理开始时,在步骤S401中,累积缓冲器411获取并且保持(累积)从图像解码装置400的外部提供的比特流(编码数据)。
在步骤S402中,解码单元412执行解码处理。例如,解码单元412从比特流中解析(分析和获取)各种编码参数(例如,头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo等)。控制单元401将所获取的各种编码参数提供给各种处理单元以设置各种编码参数。
此外,控制单元401基于所获得的编码参数设置处理单元。此外,解码单元412根据控制单元401的控制对比特流进行解码以获得量化系数数据level。
在步骤S403中,逆量化逆变换单元413执行逆量化逆变换处理以生成残差数据D’。下面将描述逆量化逆变换处理。
在步骤S404中,预测单元418生成预测图像。例如,预测单元418基于在步骤S402中设置的编码参数等,通过由编码侧指定的预测方法来执行预测处理,并且参考存储在帧存储器417中的参考图像,生成预测图像P。
在步骤S405中,计算单元414将在步骤S403中获得的残差数据D’与在步骤S404中获得的预测图像P相加,以得出局部解码图像Rlocal。
在步骤S406中,环路滤波器单元415对通过步骤S405中的处理而获得的局部解码图像Rlocal执行环路滤波处理。
在步骤S407中,重排缓冲器416使用通过步骤S406中的处理而被滤波的局部解码图像Rlocal来得出解码图像R,并且将解码图像R组从解码顺序重排为再现顺序。将以再现顺序重排的解码图像R组作为运动图像输出至图像解码装置400的外部。
此外,在步骤S408中,帧存储器417存储以下中的至少之一个:通过步骤S405中的处理而获得的局部解码图像Rlocal或者通过步骤S406中的处理而被滤波的局部解码图像Rlocal。
当步骤S408中的处理结束时,图像解码处理结束。
<逆量化逆变换处理的流程>
接下来,将参照图20的流程图描述在图19的步骤S403中执行的逆量化逆变换处理的流程的示例。
当开始逆量化逆变换处理时,在步骤S441中,逆量化单元441使用在步骤S402(图19)中设置的变换信息Tinfo等对量化系数数据qcoef_x进行逆量化,以生成正交变换系数数据coef_x。量化系数数据qcoef_x对应于在图19的步骤S402的处理中生成的量化系数数据level。
在步骤S442中,逆正交变换单元442使用在步骤S402(图19)中设置的变换信息Tinfo等对在步骤S441中生成的正交变换系数数据coef_x进行逆正交变换,以生成自适应颜色变换系数数据res_x’。
在步骤S443中,逆自适应颜色变换单元443基于在步骤S402(图19)中设置的cu_act_enabled_flag对在步骤S442中生成的自适应颜色变换系数数据res_x’执行逆自适应颜色变换,以生成残差数据res_x(残差数据D’)。
当步骤S443的处理结束时,逆量化逆变换处理结束,并且处理返回到图19。
<量化处理的流程>
接下来,将参照图21的流程图来描述在图20的步骤S441中执行的逆量化处理的流程的示例。
当逆量化处理开始时,在步骤S451中,量化参数校正单元451执行量化参数校正处理,对量化参数进行校正,并且生成校正量化参数。
在步骤S452中,逆量化处理单元452使用在步骤S451中生成的校正量化参数对量化系数数据qcoef_x进行逆量化,以生成正交变换系数数据coef_x。
当步骤S452的处理结束时,逆量化处理结束,并且处理返回到图20。
可以将在<1.量化参数的校正>、<2.第一实施方式>、<3.第二实施方式>、<4.第三实施方式>和<5.第四实施方式>中描述的本技术应用于这样的逆量化处理。
即,在将本技术应用于上述逆量化处理的情况下,在步骤S451中,量化参数校正单元451基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正量化参数。在步骤S452中,逆量化处理单元452使用作为已经被校正的量化参数的校正量化参数来对通过对图像的系数数据进行量化而获得的量化系数数据进行逆量化。
例如,在应用上述“方法1”的情况下,量化参数校正单元451应用参照图3中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元451执行如表达式(5)或表达式(6)中的计算以生成第二校正量化参数qP”。
通过这样做,量化参数校正单元451可以校正量化参数,使得在应用自适应颜色变换和变换跳过时在逆量化中避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
例如,在应用上述“方法2”的情况下,量化参数校正单元451应用参照图5中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元451执行如表达式(5)或表达式(13)中的计算以生成第二校正量化参数qP”。
通过这样做,量化参数校正单元451可以校正量化参数,使得在应用自适应颜色变换的情况下,无论在逆量化中是否应用变换跳过,在逆量化中避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
例如,在应用上述“方法3”的情况下,量化参数校正单元451应用参照图7中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元451执行如表达式(16)或表达式(17)中的计算,以生成第三校正量化参数qP”’。
通过这样做,无论是否应用变换跳过,校正量化参数的值落入量化参数的最小值到最大值的范围内。此外,在变换跳过的情况下,进一步用变换跳过时的量化参数的最小值QpPrimeTsMin对量化参数的下限进行裁剪。即,量化参数校正单元451可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,在逆量化中避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
例如,在应用上述“方法4”的情况下,量化参数校正单元451应用参照图9中的流程图描述的量化参数校正处理作为步骤S351中的量化参数校正处理。即,量化参数校正单元451执行如表达式(18)或表达式(17)中的计算以生成第二校正量化参数qP”。
即,在方法4的情况下,执行与方法3的情况基本类似的计算,并且获得类似的校正结果。因此,即使在这种情况下,与方法3的情况类似,可以校正量化参数,使得在应用自适应颜色变换的情况下,无论是否应用变换跳过,避免量化步长Δ<1。因此,逆量化处理单元452使用以这种方式校正的量化参数对量化系数数据进行逆量化,使得逆量化单元441(逆量化逆变换单元413)可以抑制PSNR的降低。因此,图像解码装置400可以抑制编码效率的降低。
<解码单元>
注意,在图19的步骤S402中,解码单元412对各种编码参数(头部信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行解码。因此,在应用本技术的情况下,解码单元412对将被应用于量化参数的校正的上述各种参数进行解码。例如,在应用“方法1”的情况下,解码单元412对诸如以下的参数进行解码:与分量标识符cIdx对应的CU级别的量化参数qPx、cu_act_enabled_flag、与分量标识符cIdx对应的校正量dqPx、与分量标识符cIdx对应的transform_skip_flag[xTbY][yTbY][cIdx]、以及变换跳过时的量化参数的最小值QpPrimeTsMin。此外,在应用“方法2”的情况下,除了在应用“方法1”的情况下要编码的参数之外,编码单元314还对非变换跳过时的量化参数的最小值“0”进行解码。此外,在应用“方法3”或“方法4”的情况下,除了在应用“方法1”的情况下要编码的参数之外,编码单元314还对与位深度对应的校正量QpBdOffset进行解码。
通过这样做,图像解码装置400可以获得用信号通知的信息。因此,图像解码装置400可以抑制PSNR的降低。因此,图像解码装置400可以实现抑制编码效率的降低。
在本实施方式中描述的逆量化逆变换处理(图19、图20中的步骤S403)的描述也可以应用于在图像编码处理(图13)中执行的逆量化逆变换处理(步骤S307)。
<8.补充说明>
<计算机>
可以由硬件或由软件执行上述一系列处理。在由软件执行一系列处理的情况下,在计算机中安装配置软件的程序。此处,计算机包括并入专用硬件中的计算机、能够通过安装各种程序来执行各种功能的计算机(例如通用个人计算机)等。
图22是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在图22中示出的计算机800中,中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804相互连接。
输入/输出接口810也被连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815被连接至输入/输出接口810。
输入单元811包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元812包括例如显示器、扬声器、输出终端等。存储单元813包括例如硬盘、RAM盘、非易失性存储器等。通信单元814包括例如网络接口。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质821。
在如上所述配置的计算机中,CPU 801例如经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803中,并且执行该程序,使得上述一系列处理被执行。此外,RAM 803适当地存储CPU 801执行各种类型的处理所需的数据等。
例如,要由计算机执行的程序可以被记录和应用在作为封装介质的可移除介质821等上,并且可以被提供。在该情况下,通过将可移除介质821附接至驱动器815,可以经由输入/输出接口810将程序安装至存储单元813。
此外,可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在该情况下,程序可以由通信单元814接收并且被安装在存储单元813中。
除了上述方法之外,可以预先将程序安装在ROM 802或存储单元813中。
<本技术的适用对象>
本技术可以应用于任何图像编码方法和解码方法。即,关于图像编码/解码的各种类型的处理诸如变换(逆变换)、量化(逆量化)、编码(解码)和预测的规格是任意的,并且不限于上述示例,只要与上述本技术不发生矛盾即可。此外,只要与上述本技术不发生矛盾,则可以省略处理的一部分。
此外,可以将本技术应用于对包括多个视点(视图)的图像的多视图图像进行编码的多视图图像编码系统。此外,可以将本技术应用于对包括多个视点(视图)的图像的多视图图像的编码数据进行解码的多视图图像解码系统。在该情况下,本技术被简单地应用于每个视点(视图)的编码和解码。
此外,可以将本技术应用于分层图像编码(可缩放编码)系统,该系统对多层(分层)的分层图像进行编码,以具有针对预定参数的可缩放性功能。此外,可以将本技术应用于分层图像解码(可缩放解码)系统,该系统对多层(分层)的分层图像的编码数据进行解码,以具有针对预定参数的可缩放性功能。在该情况下,本技术被简单地应用于每个层(分层)的编码/解码。
此外,尽管量化参数校正装置100、量化参数校正装置120、量化参数校正装置140、量化参数校正装置160、图像编码装置300和图像解码装置400已经被描述为本技术的应用示例,但可以将本技术应用于任意配置。
可以将本技术应用于例如各种电子装置,例如卫星广播、诸如有线电视的有线广播、互联网上的分发以及通过蜂窝通信向终端的分发中的发射器和接收器(例如电视接收器和移动电话),或者将图像记录在诸如光盘、磁盘和闪存的介质上并且从这些存储介质再现图像的装置(例如,硬盘记录器和摄像装置)。
此外,可以将本技术实现为装置的一部分的配置,例如,作为系统大规模集成(LSI)等的处理器(例如,视频处理器)、使用多个处理器等的模块(例如,视频模块)、使用多个模块等的单元(例如,视频单元)、或者其中向单元添加了其他功能的设备(例如,视频设备)(即,装置的一部分的配置)。
此外,例如,还可以将本技术应用于包括多个装置的网络系统。例如,可以将本技术实现为由多个装置经由网络共享和协作处理的云计算。例如,可以在向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任意终端提供关于图像(运动图像)的服务的云服务中实现本技术。
注意,在本说明书中,术语“系统”意指多个配置元件(装置、模块(部件)等)的集合,并且所有配置元件是否在同一壳体中是无关紧要的。因此,容纳在单独的壳体中并且经由网络连接的多个装置以及在一个壳体中容纳多个模块的一个装置两者均是系统。
<本技术适用的领域和应用>
例如,应用本技术的系统、装置、处理单元等可以在诸如交通、医疗护理、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气和自然监控的任意领域中使用。此外,在任意领域中的使用也是任意的。
例如,可以将本技术应用于被提供用于提供供欣赏的内容等的系统和装置。此外,例如,还可以将本技术应用于用于诸如交通状况监视和自动驾驶控制的交通的系统和装置。此外,例如,还可以将本技术应用于为安全而提供的系统和装置。此外,例如,可以将本技术应用于为机器等的自动控制而提供的系统和装置。此外,例如,还可以将本技术应用于为农业或畜牧业而提供的系统和装置。此外,还可以将本技术应用于监视诸如火山、森林和海洋的自然状态、野生动物等的系统和装置。此外,例如,还可以将本技术应用于为运动而提供的系统和装置。
<其他>
注意,本说明书中的“标志”是用于标识多种状态的信息,并且不仅包括用于标识真(1)和假(0)这两种状态的信息,而且包括能够标识三种或更多种状态的信息。因此,“标志”可以采用的值可以是例如二元值1/0或者可以是三元值或更多。即,构成“标志”的位数是任意的,并且可以是1位或多位。此外,假设标识信息(包括标志)不仅呈在比特流中包括标识信息的形式,而且呈在比特流中包括标识信息与特定参考信息的差异信息的形式。因此,在本说明书中,“标志”和“标识信息”不仅包括信息本身,还包括相对于参考信息的差异信息。
此外,可以以任何形式发送或记录关于编码数据(比特流)的各种类型的信息(元数据等),只要各种类型的信息与编码数据相关联即可。此处,术语“关联”意指例如当处理一个数据时可以使用(链接)其他数据。即,彼此相关联的数据可以被收集为一个数据或者可以是单独的数据。例如,可以在与编码数据(图像)的传输路径不同的传输路径上发送与编码数据(图像)相关联的信息。此外,例如,可以将与编码数据(图像)相关联的信息记录在与编码数据(图像)不同的记录介质(或同一记录介质的另一记录区域)上。注意,该“关联”可以是数据的一部分,而不是整个数据。例如,图像和与图像对应的信息可以以诸如多个帧、一个帧或帧中的一部分的任意单位彼此相关联。
注意,在本说明书中,诸如“组合”、“复用”、“添加”、“集成”、“包括”、“存储”和“插入”的术语意指将多个事物放入一个事物中,例如将编码数据和元数据放入一个数据中,并且意指上述“关联”的一种方法。
此外,本技术的实施方式不限于上述实施方式,并且可以在不脱离本技术的主旨的情况下进行各种修改。
例如,被描述为一个装置(或处理单元)的配置可以被划分且被配置为多个装置(或处理单元)。反之,可以将描述为多个装置(或处理单元)的配置共同配置为一个装置(或处理单元)。此外,可以将除了上述配置之外的配置添加到每个装置(或每个处理单元)的配置中。此外,某个装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中,只要系统的配置和操作作为整体基本相同即可。
此外,例如,可以在任意装置中执行上述程序。在该情况下,装置仅需要具有必要的功能(功能块等)并且获得必要的信息。
此外,例如,一个流程图的每个步骤可以由一个装置执行,或者可以由多个装置共享并且执行。此外,在一个步骤中包括多个处理的情况下,多个处理可以由一个装置执行,或者可以由多个装置共享并且执行。换言之,一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反,被描述为多个步骤的处理可以作为一个步骤来共同执行。
此外,由计算机执行的程序可以具有以下特征。例如,描述程序的步骤的处理可以按照本说明书中描述的顺序按时间序列执行。此外,描述程序的步骤的处理可以并行执行。此外,描述程序的步骤的处理可以在诸如调用时的必要定时单独执行。即,只要不发生矛盾,则可以以与上述顺序不同的顺序执行每个步骤的处理。此外,描述程序的步骤的处理可以与另一程序的处理并行执行。此外,描述程序的步骤的处理可以与另一程序的处理组合执行。
此外,例如,只要不存在矛盾,可以将与本技术有关的多个技术独立地实现为单个本体。当然,可以一起实现任意数目的本技术。例如,在实施方式中的任何一个中描述的本技术的部分或全部可以与在另一实施方式中描述的本技术的部分或全部组合实现。此外,上述任意本技术的部分或全部可以与上面未描述的另一技术组合实现。
注意,本技术也可以具有以下配置。
(1)一种图像处理装置,包括:
量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
量化单元,其被配置成通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经由所述量化参数校正单元校正的所述量化参数。
(2)根据(1)所述的图像处理装置,其中,
在应用所述自适应颜色变换的情况下,所述量化参数校正单元用与要处理的分量对应的校正量来校正所述量化参数。
(3)根据(2)所述的图像处理装置,其中,
在不应用所述自适应颜色变换的情况下,所述校正量为“0”。
(4)根据(1)至(3)中任一项所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
(5)根据(4)所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元省略对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限的裁剪。
(6)根据(1)至(5)中任一项所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
(7)根据(6)所述的图像处理装置,其中,
所述量化参数的最小值为“0”。
(8)根据(1)至(7)中任一项所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
(9)根据(8)所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
(10)一种图像处理方法,包括:
基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经被校正的所述量化参数。
(11)一种图像处理装置,包括:
量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
逆量化单元,其被配置成通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经由所述量化参数校正单元校正的所述量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
(12)根据(11)所述的图像处理装置,其中,
在应用所述自适应颜色变换的情况下,所述量化参数校正单元用与要处理的分量对应的校正量来校正所述量化参数。
(13)根据(12)所述的图像处理装置,其中,
在不应用所述自适应颜色变换的情况下,所述校正量为“0”。
(14)根据(11)至(13)中任一项所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
(15)根据(14)所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元省略对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限的裁剪。
(16)根据(11)至(15)中任一项所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
(17)根据(16)所述的图像处理装置,其中,
所述量化参数的最小值为“0”。
(18)根据(11)至(17)中任一项所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
(19)根据(18)所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
(20)一种图像处理方法,包括:
基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经被校正的量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
附图标记列表
100 量化参数校正装置
101 第一校正单元
102 第二校正单元
120 量化参数校正装置
121 第一校正单元
122 第二校正单元
140 量化参数校正装置
141 第一校正单元
142 第二校正单元
143 第三校正单元
160 量化参数校正装置
161 第一校正单元
162 第二校正单元
300 图像编码装置
301 控制单元
313 变换量化单元
314 编码单元
341 自适应颜色变换单元
342 正交变换单元
343 量化单元
351 量化参数校正单元
352 量化处理单元
400 图像解码装置
401 控制单元
412 解码单元
413 逆量化逆变换单元
441 逆量化单元
442 逆正交变换单元
443 逆自适应颜色变换单元
451 量化参数校正单元
452 逆量化处理单元

Claims (20)

1.一种图像处理装置,包括:
量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
量化单元,其被配置成通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经由所述量化参数校正单元校正的所述量化参数。
2.根据权利要求1所述的图像处理装置,其中,
在应用所述自适应颜色变换的情况下,所述量化参数校正单元用与要处理的分量对应的校正量来校正所述量化参数。
3.根据权利要求2所述的图像处理装置,其中,
在不应用所述自适应颜色变换的情况下,所述校正量为“0”。
4.根据权利要求1所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
5.根据权利要求4所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元省略对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限的裁剪。
6.根据权利要求1所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
7.根据权利要求6所述的图像处理装置,其中,
所述量化参数的最小值为“0”。
8.根据权利要求1所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
9.根据权利要求8所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
10.一种图像处理方法,包括:
基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
通过使用校正量化参数来对要被编码的图像的系数数据进行量化,所述校正量化参数是已经被校正的所述量化参数。
11.一种图像处理装置,包括:
量化参数校正单元,其被配置成基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
逆量化单元,其被配置成通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经由所述量化参数校正单元校正的所述量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
12.根据权利要求11所述的图像处理装置,其中,
在应用所述自适应颜色变换的情况下,所述量化参数校正单元用与要处理的分量对应的校正量来校正所述量化参数。
13.根据权利要求12所述的图像处理装置,其中,
在不应用所述自适应颜色变换的情况下,所述校正量为“0”。
14.根据权利要求11所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
15.根据权利要求14所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元省略对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限的裁剪。
16.根据权利要求11所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪。
17.根据权利要求16所述的图像处理装置,其中,
所述量化参数的最小值为“0”。
18.根据权利要求11所述的图像处理装置,其中,
在应用所述变换跳过的情况下,所述量化参数校正单元用在应用所述变换跳过的情况下的所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
19.根据权利要求18所述的图像处理装置,其中,
在不应用所述变换跳过的情况下,所述量化参数校正单元用所述量化参数的预设的最小值对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的下限进行裁剪,并且用所述量化参数的最大值与基于位深度的校正量的预设的和对已经基于所述关于自适应颜色变换的参数校正的所述量化参数的上限进行裁剪。
20.一种图像处理方法,包括:
基于关于自适应颜色变换的参数来校正量化参数,并且进一步基于关于变换跳过的参数来校正所述量化参数;以及
通过使用校正量化参数来对量化系数数据进行逆量化,所述校正量化参数是已经被校正的量化参数,所述量化系数数据是通过对图像的系数数据进行量化而获得的。
CN202080075250.5A 2019-12-18 2020-12-18 图像处理装置和方法 Pending CN114616828A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962950055P 2019-12-18 2019-12-18
US62/950,055 2019-12-18
PCT/JP2020/047338 WO2021125309A1 (ja) 2019-12-18 2020-12-18 画像処理装置および方法

Publications (1)

Publication Number Publication Date
CN114616828A true CN114616828A (zh) 2022-06-10

Family

ID=76478790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080075250.5A Pending CN114616828A (zh) 2019-12-18 2020-12-18 图像处理装置和方法

Country Status (7)

Country Link
US (1) US20230007255A1 (zh)
EP (1) EP4068778A4 (zh)
JP (1) JPWO2021125309A1 (zh)
KR (1) KR20220116152A (zh)
CN (1) CN114616828A (zh)
TW (1) TW202139698A (zh)
WO (1) WO2021125309A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021121418A1 (en) * 2019-12-19 2021-06-24 Beijing Bytedance Network Technology Co., Ltd. Joint use of adaptive colour transform and differential coding of video
JP7001668B2 (ja) * 2019-12-26 2022-01-19 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7026287B1 (ja) 2019-12-26 2022-02-25 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
CN115176470A (zh) 2020-01-18 2022-10-11 抖音视界有限公司 图像/视频编解码中的自适应颜色变换
JP7054765B1 (ja) 2021-12-24 2022-04-14 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7146129B2 (ja) * 2022-02-14 2022-10-03 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
JP7317194B2 (ja) * 2022-02-14 2023-07-28 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Also Published As

Publication number Publication date
KR20220116152A (ko) 2022-08-22
US20230007255A1 (en) 2023-01-05
EP4068778A4 (en) 2023-01-11
WO2021125309A1 (ja) 2021-06-24
JPWO2021125309A1 (zh) 2021-06-24
EP4068778A1 (en) 2022-10-05
TW202139698A (zh) 2021-10-16

Similar Documents

Publication Publication Date Title
WO2021125309A1 (ja) 画像処理装置および方法
US20220224903A1 (en) Image processing device and method
CN111713104B (zh) 图像处理装置和方法
US20220256151A1 (en) Image processing device and method
US20210006836A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
WO2022255395A1 (ja) 画像処理装置および方法
WO2022044845A1 (ja) 画像処理装置および方法
CN111699685A (zh) 图像处理设备和方法
WO2021100588A1 (ja) 画像処理装置および方法
US20230007265A1 (en) Image processing device, bit stream generation method, coefficient data generation method, and quantization coefficient generation method
US11973948B2 (en) Image processing device and method
JP7494858B2 (ja) 画像処理装置および方法
US20230045106A1 (en) Image processing apparatus and method
US20220394256A1 (en) Image processing device and method
US20240163437A1 (en) Image processing device and method
JP7484923B2 (ja) 画像処理装置および方法
US20220021899A1 (en) Image encoding apparatus, image encoding method, image decoding apparatus, and image decoding method
KR20240024808A (ko) 화상 처리 장치 및 방법
US20220086489A1 (en) Image processing apparatus and method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination