CN114342396A - 图像处理装置和方法 - Google Patents

Abstract

本公开涉及能够抑制由于编码和解码导致的信息丢失的图像处理装置和方法。使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化。如果不应用变换跳过，则对通过逆量化生成的变换系数执行逆系数变换，并且生成作为图像与该图像的预测图像之间的残差的预测残差。如果应用变换跳过，则跳过逆系数变换。本公开可以应用于例如图像处理装置、图像编码装置、图像解码装置、发送装置、接收装置、发送/接收装置、信息处理装置、成像装置、再现装置、电子装置、图像处理方法或者信息处理方法。

Description

图像处理装置和方法

技术领域

本公开涉及图像处理装置和方法，具体涉及能够抑制因编码和解码造成的信息丢失的图像处理装置和方法。

背景技术

常规地，提出了导出运动图像的预测残差并且对预测残差进行变换、量化和编码的编码方法(例如，非专利文献1)。此外，提出了在图像编码中使用变换量化旁路来跳过(省略)系数变换、量化等并且对预测残差进行可逆编码的无损编码(例如，非专利文献2)。

顺便提及，存在如下方法：在QP＝4处对量化系数Qcoef进行逆量化，其中量化步长为1，并且跳过变换，以在不使用变换量化旁路的情况下以可逆编码(无损编码)为目标。为方便起见，这种方法称为“变换跳过+QP4”方法。

[引用列表]

[非专利文献]

[非专利文献1]

VTM-5.0in https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM

[非专利文献2]

Tsung-Chuan Ma,Yi-Wen Chen,Xiaoyu Xiu,Xianglin Wang,Tangi Poirier,Fabrice Le Leannec,Karam Naser,Edouard Francois,Hyeongmun Jang,Junghak Nam,Naeri Park,Jungah Choi,Seunghwan Kim,Jaehyun Lim,“Lossless coding for VVC”，JVET-O1061,m49678,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11第15次会议的联合视频专家组(JVET)：瑞典哥德堡，2019年7月3日至12日

发明内容

[技术问题]

然而，在这种“变换跳过+QP4”方法的情况下，参数设置并不对应于无损编码，并且在常规方法中存在由于编码和解码而丢失信息的风险。

本公开是鉴于这种情况而作出的，并且本公开使得可以抑制由于编码和解码而导致的信息丢失。

[问题的解决方案]

本技术的一个方面的图像处理装置是如下的图像处理装置，该图像处理装置包括：逆量化单元，其使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化；以及逆变换单元，其在不应用变换跳过时，对通过逆量化单元的逆量化生成的变换系数执行逆系数变换，以生成作为图像与该图像的预测图像的残差的预测残差，并且在应用变换跳过时，跳过逆系数变换。

本技术的一个方面的图像处理方法是如下的图像处理方法，该图像处理方法包括：使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化；以及当不应用变换跳过时，对通过逆量化生成的变换系数执行逆系数变换以生成作为图像与该图像的预测图像之间的残差的预测残差，并且当应用变换跳过时，跳过逆系数变换。

本技术的另一方面的图像处理装置是如下的图像处理装置，该图像处理装置包括：变换单元，其在不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用变换跳过时，跳过系数变换；以及量化单元，其使用取决于是否应用变换跳过的量化参数对变换系数执行量化。

本技术的另一方面的图像处理方法是如下的图像处理方法，该图像处理方法包括：当不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且当应用变换跳过时，跳过系数变换；以及使用取决于是否应用变换跳过的量化参数对变换系数执行量化。

本技术的又一方面的图像处理装置是如下的图像处理装置，该图像处理装置包括：逆量化单元，其对量化系数进行逆量化；逆量化归一化单元，其使用取决于是否应用变换跳过的缩放参数对由逆量化单元的逆量化生成的变换系数进行归一化，以及逆变换单元，其在不应用变换跳过时，对由逆量化归一化单元归一化的变换系数执行逆系数变换以生成作为图像与该图像的预测图像之间的残差的预测残差，并且在应用变换跳过时，跳过逆系数变换。

本技术的又一方面的图像处理方法是如下的图像处理方法，该图像处理方法包括：对量化系数执行逆量化；使用取决于是否应用变换跳过的缩放参数对通过逆量化生成的变换系数进行归一化；以及当不应用变换跳过时，对经归一化的变换系数执行逆系数变换以生成作为图像与该图像的预测图像之间的残差的预测残差，并且在应用变换跳过时，跳过逆系数变换。

本技术的又一方面的图像处理装置是如下的图像处理装置，该图像处理装置包括：变换单元，其在不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用变换跳过时，跳过系数变换；量化单元，其在不应用变换跳过时，对变换系数执行量化，并且在应用变换跳过时，对预测残差执行量化；以及量化归一化单元，其使用取决于是否应用变换跳过的缩放参数对由量化单元的量化生成的量化系数进行归一化。

本技术的又一方面的图像处理方法是如下的图像处理方法，该图像处理方法包括：在不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用变换跳过时，跳过系数变换；当不应用变换跳过时，对变换系数执行量化，并且当应用变换跳过时，对预测残差执行量化；以及使用取决于是否应用变换跳过的缩放参数对通过量化生成的量化系数进行归一化。

在本技术的一个方面的图像处理装置和方法中，使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化；以及当不应用变换跳过时，对通过逆量化生成的变换系数执行逆系数变换以生成作为图像与该图像的预测图像之间的残差的预测残差，并且当应用变换跳过时，跳过逆系数变换。

在本技术的另一方面的图像处理装置和方法中，当不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且当应用变换跳过时，跳过系数变换；以及使用取决于是否应用变换跳过的量化参数对变换系数执行量化。

在本技术的又一方面的图像处理装置和方法中，对量化系数执行逆量化；使用取决于是否应用变换跳过的缩放参数对通过逆量化生成的变换系数进行归一化；以及当不应用变换跳过时，对经归一化的变换系数执行逆系数变换以生成作为图像与该图像的预测图像之间的残差的预测残差，并且在应用变换跳过时，跳过逆系数变换。

在本技术的又一方面的图像处理装置和方法中，在不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用变换跳过时，跳过系数变换；当不应用变换跳过时，对变换系数执行量化，并且当应用变换跳过时，对预测残差执行量化；以及使用取决于是否应用变换跳过的缩放参数对通过量化生成的量化系数进行归一化。

附图说明

[图1]图1是示出控制逆量化逆变换和基于变换跳过的变换量化的方法的示例的图。

[图2]图2是示出逆量化逆变换装置的主要配置示例的框图。

[图3]图3是示出逆量化逆变换处理的流程的示例的流程图。

[图4]图4是示出基于变换跳过的量化参数控制的示例的图。

[图5]图5是示出基于变换跳过的舍入偏移控制的示例的图。

[图6]图6是示出基于变换跳过的舍入偏移控制的示例的图。

[图7]图7是示出变换量化装置的主要配置示例的框图。

[图8]图8是示出变换量化处理的流程的示例的流程图。

[图9]图9是示出逆量化逆变换装置的主要配置示例的框图。

[图10]图10是示出逆量化逆变换处理的流程的示例的流程图。

[图11]图11是示出基于变换跳过的缩放参数控制的示例的图。

[图12]图12是示出基于变换跳过的缩放参数控制的示例的图。

[图13]图13是示出基于变换跳过的缩放参数控制的示例的图。

[图14]图14是示出变换量化装置的主要配置示例的框图。

[图15]图15是示出变换量化处理的流程的示例的流程图。

[图16]图16是示出逆量化逆变换装置的主要配置示例的框图。

[图17]图17是示出逆量化逆变换处理的流程的示例的流程图。

[图18]图18是示出基于变换跳过的缩放参数控制的示例的图。

[图19]图19是示出基于变换跳过的缩放参数控制的示例的图。

[图20]图20是示出变换量化装置的主要配置示例的框图。

[图21]图21是示出变换量化处理的流程的示例的流程图。

[图22]图22是示出图像编码装置的主要配置示例的框图。

[图23]图23是示出图像编码处理的流程的示例的流程图。

[图24]图24是示出图像解码装置的主要配置示例的框图。

[图25]图25是示出图像解码处理的流程的示例的流程图。

[图26]图26是示出计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于实施本公开内容的模式(在下文中称为实施方式)。将按照下面的顺序进行描述。

1.根据变换跳过的近无损编码

2.第一实施方式(参数控制)

3.第二实施方式(变换跳过期间的解压缩处理的合并)

4.第三实施方式(变换跳过期间归一化处理的合并)

5.第四实施方式(图像解码装置)

6.第五实施方式(图像编码装置)

7.补充

<1.根据变换跳过的近无损编码>

<支持技术内容和技术术语的文献>

本技术中公开的范围不限于实施方式中描述的内容，并且还包括申请时已知的以下非专利文献等中描述的内容、以下非专利文献中引用的其他文献的内容等。

非专利文献1：(如上所述)

非专利文献2：(如上所述)

非专利文献3：Benjamin Bross,Jianle Chen,Shan Liu,“Versatile VideoCoding(Draft 5)”，N1001-v10,m48053,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第14次会议：瑞士日内瓦，2019年3月19日至27日

非专利文献4：Jianle Chen,Yan Ye,Seung Hwan Kim,“Algorithm descriptionfor Versatile Video Coding and Test Model 5(VTM 5)”,JVET-N1002-v2,m48054,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第14次会议：瑞士日内瓦，2019年3月19日至27日

非专利文献5：Benjamin Bross,Jianle Chen,Shan Liu,“Versatile VideoCoding(Draft 6)”,JVET-O2001-vE,m49908,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第15次会议：瑞典哥德堡，2019年7月3日至12日

非专利文献6：Jianle Chen,Yan Ye,Seung Hwan Kim,“Algorithm descriptionfor Versatile Video Coding and Test Model 6(VTM 6)”,JVET-O2002-v2,m49914,,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG11的联合视频专家组(JVET)第15次会议：瑞典哥德堡，2019年7月3日至12日

非专利文献7：Tsung-Chuan Ma,Yi-Wen Chen,Xiaoyu Xiu,Xianglin Wang,“Modifications to support the lossless coding”,JVET-O0591,m48730,ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组第15次会议：瑞典哥德堡，2019年7月3日至12日

非专利文献8：Hyeongmun Jang,Junghak Nam,Naeri Park,Jungah ChoiSeunghwan Kim,Jaehyun Lim,“Comments on transform quantization bypassed mode”,JVET-O0584,m48723,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第15次会议：瑞典哥德堡，2019年7月3日至12日

非专利文献9：Tangi Poirier,Fabrice Le Leannec,Karam Naser,EdouardFrancois,“On lossless coding for VVC”,JVET-O0460,m48583,ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第15次会议：瑞典哥德堡，2019年7月3日至12日

非专利文献10：ITU-T H.264建议书(04/2017)“Advanced video coding forgeneric audiovisual services”，2017年4月

非专利文献11：ITU-T H.265建议书(02/18)“High efficiency video coding”，2018年2月

即，上述非专利文献中描述的内容也是确定支持条件的依据。例如，即使当上述非专利文献中描述的四叉树块结构和四叉树加二叉树(QTBT)块结构没有在示例中直接描述，也假定它们满足本技术的公开范围内的权利要求的支持要求。另外，例如，对于诸如“解析”、“语法”和“语义”的技术术语，假设它们满足本技术的公开范围内的权利要求的支持要求，即使它们没有以相同的方式在示例中被直接描述。

此外，在本说明书中，除非另有说明，否则用于描述图像(图片)的局部区域或处理单位的“块”(不是指示处理单元的块)指示图片中的任意局部区域，并且其尺寸、形状、特性等不受限制。例如，假设“块”包括上述非专利文献中描述的任何局部区域(处理单位)，例如变换块(TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元(SCU)、编码单元(CU)、最大编码单元(LSC)、编码树块(CTB)、编码树单元(CTU)、子块、图块或切片。

此外，在指定这种块的尺寸时，不仅可以直接指定块尺寸，而且可以间接指定块尺寸。例如，可以使用用于识别尺寸的识别信息来指定块尺寸。此外，例如可以通过相对于参考块(例如，LCU、SCU等)的尺寸的比率或差来指定块尺寸。例如，当发送用于将块尺寸指定为语法元素等的信息时，可以使用如上所述的用于间接指定尺寸的信息作为信息。通过这样做，可以减少信息量，从而可以提高编码效率。此外，块尺寸的指定还包括块尺寸的范围的指定(例如，可允许的块尺寸范围的指定等)。

此外，在本说明书中，编码不仅包括将图像变换成比特流的整个处理，而且包括处理的一部分。例如，编码不仅可以包括包括预测处理、正交变换、量化、算术编码等的处理，而且可以包括统称为量化和算术编码的处理，包括预测处理、量化、算术编码等的处理。类似地，解码不仅包括将比特流变换成图像的整个处理，而且包括处理的一部分。例如，解码不仅可以包括包括逆算术解码、逆量化、逆正交变换、预测处理等的处理，而且可以包括包括逆算术解码和逆量化的处理、包括逆算术解码、逆量化、预测处理等的处理。

<“变换跳过+QP4”方法>

非专利文献2公开了无损编码，无损编码是在非专利文献1的图像编码中使用变换量化旁路来跳过(省略)系数变换、量化等并且对预测残差进行可逆编码的编码方法。

顺便提及，存在如下方法：在QP＝4处对量化系数Qcoef进行逆量化，其中量化步长为1，并且跳过变换，以在不使用变换量化旁路的情况下实现可逆编码(无损编码)。为方便起见，这种方法被称为“变换跳过+QP4”方法。

然而，在这种“变换跳过+QP4”方式的情况下，参数设置并不对应于无损编码，并且在常规方法中存在由于编码和解码而丢失信息的风险。

<2.第一实施方式>

<逆量化逆变换的参数控制>

因此，在逆量化逆变换处理中，关于逆量化逆变换的参数被设置为使得丢失的信息量减少，如从图1的表格顶部起第一行(最上方的行)(方法1-1)所示。

逆量化逆变换处理是对量化系数进行逆量化以生成变换系数并且对该变换系数进行逆变换以生成预测残差的处理。预测残差是图像与该图像的预测图像之间的残差。基于图像的时间周边信息、图像的空间周边信息或两者生成预测图像。时间周边信息是关于与图像不同的帧的信息。空间周边信息是关于与图像相同的帧的信息。逆系数变换是系数变换的逆处理，所述系数变换是将预测残差变换为系数以生成变换系数的处理。逆量化是量化的逆处理，所述量化是对通过系数变换生成的变换系数进行量化以生成量化系数的处理。即，逆量化逆变换处理是变换量化的逆处理，所述变换量化执行系数变换和量化。因此，逆量化逆变换处理可以通过对通过对预测残差进行变换和量化而生成的量化系数进行逆量化和逆变换来生成预测残差。

在这样的逆量化逆变换处理中，通过控制参数可以抑制由于应用该逆量化逆变换处理的解码而导致的信息丢失，以使得信息的丢失被抑制。即，可以根据“变换跳过+QP4”的方法进行解码来接近可逆解码(无损编码)。

<1-1：逆量化逆变换装置>

图2是示出作为应用了本技术的图像处理装置的一个方面的逆量化逆变换装置的配置的示例的框图。图2所示的逆量化逆变换装置100是对量化系数进行逆量化和逆变换以生成预测残差的装置。

图2示出了诸如处理单元和数据流的主要部件，并且图2未示出所有部件。即，在逆量化逆变换装置100中，可以存在图2中未示出为块的处理单元，或者可以存在图2中未示出为箭头等的处理或数据流。

如图2所示，逆量化逆变换装置100包括逆量化单元101和逆变换单元102。逆量化单元101执行与逆量化相关的处理。逆变换单元102执行与逆系数变换相关的处理。

逆量化单元101包括逆量化处理单元111和归一化单元112。逆量化处理单元111获取输入到逆量化逆变换装置100的量化系数。逆量化处理单元11对获取的量化系数执行逆量化以生成变换系数。逆量化处理单元111将生成的变换系数提供给归一化单元112。归一化单元112获取从逆量化处理单元111提供的变换系数。归一化单元112对获取的变换系数进行归一化。归一化单元112将经归一化的变换系数提供给逆变换单元102。

逆变换单元102包括选择单元121、逆变换处理单元122、选择单元123、归一化单元124和解压缩处理单元125。

选择单元121和选择单元123选择是否应用作为跳过逆系数变换的模式的变换跳过。变换跳过是在系数变换处理中跳过系数变换处理的模式，并且是在逆系数变换处理中跳过逆系数变换处理的模式。

选择单元121获取从逆量化单元101提供的变换系数。当不应用变换跳过时，即执行逆系数变换处理时，选择单元121将获取的变换系数提供给逆变换处理单元122。此外，选择单元123获取从逆变换处理单元122提供的预测残差并且将预测残差提供给归一化单元124。

当应用变换跳过时，即跳过逆系数变换处理时，选择单元121将获取的变换系数提供给解压缩处理单元125。在这种情况下，由于系数变换处理被跳过，因此该变换系数是预测残差。此外，选择单元123获取从解压缩处理单元125提供的变换系数(即，预测残差)并且将变换系数提供给归一化单元124。

逆变换处理单元122经由选择单元121获取从逆量化单元101提供的变换系数。该变换系数已经由归一化单元112归一化。逆变换处理单元122对获取的变换系数执行逆系数变换以生成预测残差。逆变换处理单元122经由选择单元123将生成的预测残差提供给归一化单元124。

解压缩处理单元125经由选择单元121获取从逆量化单元101提供的变换系数。该变换系数已经由归一化单元112归一化。此外，该变换系数是预测残差。解压缩处理单元125对获取的变换系数(即，预测残差)进行解压缩。解压缩处理单元125经由选择单元123将经解压缩的变换系数(即，预测残差)提供给归一化单元124。

当不应用变换跳过时，即执行逆系数变换处理时，归一化单元124经由选择单元123获取从逆变换处理单元122提供的预测残差。此外，当应用变换跳过时，即跳过逆系数变换处理时，归一化单元124经由选择单元123获取从解压缩处理单元125提供的变换系数(即，预测残差)。归一化单元124对获取的预测残差进行归一化。归一化单元124将经归一化的预测残差输出到逆量化逆变换装置100的外部。

在该逆量化逆变换装置100中，应用上述(方法1-1)。即，逆量化逆变换装置100设置关于逆量化逆变换的参数，从而抑制信息丢失。逆量化处理单元111可以使用以这种方式设置的参数来执行逆量化。归一化单元112可以使用以这种方式设置的参数来执行归一化。归一化单元124可以使用以这种方式设置的参数来执行归一化。

通过这样做，逆量化逆变换装置100可以抑制由于应用逆量化逆变换处理的解码而造成的信息丢失。即，逆量化逆变换装置100可以根据“变换跳过+QP4”的方法进行解码来接近可逆解码(无损编码)。

<逆量化逆变换处理的流程>

接下来，将参照图3的流程图描述由逆量化逆变换装置100执行的逆量化逆变换处理的流程的示例。

当逆量化逆变换处理开始时，逆量化单元101在步骤S101中设置关于逆量化的参数。

在步骤S102中，逆量化处理单元111使用在步骤S101中设置的参数对量化系数执行逆量化以生成变换系数。

在步骤S103中，归一化单元112使用在步骤S101中设置的参数对在步骤S102中生成的变换系数进行归一化。

在步骤S104中，选择单元121和选择单元123确定是否应用变换跳过。如果确定不应用变换跳过，则处理进行到步骤S105。

在步骤S105中，逆变换单元102设置关于逆系数变换的参数。

在步骤S106中，逆变换处理单元122使用在步骤S105中设置的参数对在步骤S103中归一化的变换系数执行逆系数变换以生成预测残差。当步骤S106的处理结束时，处理进行到步骤S108。

如果在步骤S104中确定应用变换跳过，则处理进行到步骤S107。在步骤S107中，解压缩处理单元125对在步骤S103中归一化的变换系数(即，预测残差)进行解压缩。当步骤S107的处理结束时，处理进行到步骤S108。

在步骤S108中，归一化单元124使用在步骤S105中设置的参数对在步骤S106中生成的预测残差或者在步骤S107中解压缩的变换系数(即，预测残差)进行归一化。

当步骤S108的处理结束时，逆量化逆变换处理结束。

在该逆量化逆变换处理中，应用上述(方法1-1)。即，逆量化单元101在步骤S101中设置关于逆量化的参数，使得抑制信息丢失。逆量化处理单元111可以在步骤S102中使用以这种方式设置的参数来执行逆量化。归一化单元112可以在步骤S103中使用以这种方式设置的参数来执行归一化。此外，逆变换单元102在步骤S105中设置关于逆系数变换的参数，从而抑制信息丢失。归一化单元124可以在步骤S108中使用以这种方式设置的参数来执行归一化。

通过这样做，逆量化逆变换装置100可以抑制由于应用逆量化逆变换处理的解码而造成的信息丢失。即，逆量化逆变换装置100可以根据“变换跳过+QP4”的方法进行解码来接近可逆解码(无损编码)。

<1-1-1：量化参数的控制>

如上所述，可以控制关于逆量化的参数。例如，在图像处理中，可以使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化。

例如，图像处理装置可以包括逆量化单元，该逆量化单元使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化。

通过这样做，图像处理装置可以抑制由于应用由逆量化单元执行的逆量化的解码而导致的信息丢失。即，图像处理装置可以根据“变换跳过+QP4”的方法进行解码来接近可逆解码(无损编码)。

此时，当在逆量化中应用逆相关量化并且不应用变换跳过时，逆量化单元可以校正量化参数并且使用经校正的量化参数执行逆量化。即，如从图1的表格顶部起第二行所示，可以基于变换跳过来控制相关量化的量化参数(QP)的校正(方法1-1-1)。

例如，在非专利文献5中描述的编码方法中，准备了相关量化(DQ)作为量化模式。在相关量化中，基于变换系数和过去处理目标的奇偶校验标志来执行将与应用于当前处理目标的系数的量化参数(QP)对应的量化步长乘以奇数还是乘以偶数的选择。即，根据先前状态对特定量化参数的量化步长进行变换(分支)。通过这样做，可以抑制编码效率的降低。

图4的A是关于非专利文献5中描述的这种相关量化的语义。如语义所示，当应用相关量化时，量化参数(QP)被校正。即，当不应用相关量化时，使用由公式(8-960)表示的量化参数(qP)导出缩放参数(ls)。另一方面，当应用相关量化时，使用由公式(8-959)表示的经校正的量化参数(qP’＝qP+1)导出缩放参数ls。

可以以相同的方式将相关量化应用于逆量化。实际上，在逆量化中应用相关量化的逆处理(也称为逆相关量化)。因此，当应用相关量化时，在逆量化中以相同方式校正量化参数。

然而，当应用变换跳过时，量化参数的最小值为4，因此不能通过根据相关量化(QP+1)校正量化参数来将量化步长设置为1。因此，存在由于逆量化而丢失信息的风险。

因此，如图4的B所示的语义，例如，将“并且变换跳过标志(transform_skip_flag)不等于指示应用变换跳过的值(IS_SKIP)”添加到上述公式(8-959)的条件中。变换跳过标志(transform_skip_flag)是指示是否应用变换跳过的标志信息。例如，如果变换跳过标志为真(例如，1)，则指示应用变换跳过。如果变换跳过标志为假(例如，0)，则指示不应用变换跳过。另外，将“或者变换跳过标志(transform_skip_flag)为真(IS_SKIP)”添加到上述公式(8-960)的条件中。

逆量化处理单元111根据这样的语义导出缩放参数ls。通过这样做，当应用变换跳过时，应用公式(8-960)并且省略根据相关量化(逆相关量化)的量化参数的校正。因此，当应用变换跳过时，逆量化处理单元111可以抑制由于逆相关量化而造成的信息丢失。

<1-1-2：舍入偏移的符号控制>

作为控制目标的关于逆量化的参数可以不是量化参数。例如，如从图1的表格顶部起第三行所示，逆量化中的归一化处理的舍入偏移的符号可以例如基于作为输入值的变换系数的符号来设置(方法1-1-2)。

例如，图像处理装置还可以包括逆量化归一化单元，该逆量化归一化单元基于变换系数的符号来设置舍入偏移的符号，并且使用舍入偏移对变换系数进行归一化。然后，当不应用变换跳过时，逆变换单元可以对由逆量化归一化单元归一化的变换系数执行逆系数变换。

图5的A是关于非专利文献5中描述的逆量化中的归一化处理(由归一化单元112执行的归一化处理)的语义。如语义所示，在逆量化中的归一化处理中，根据逻辑位移的归一化是使用舍入偏移bdOffset1和缩放参数bdShift1(公式(8-963))执行的。舍入偏移bdOffset1是使用缩放参数bdShift1通过以下公式(A)导出的。

bdOffset1＝(1<<(bdShift1-1))···(A)

由于归一化处理是以这种方式进行的逻辑位移，因此舍入误差(也称为死区)的符号(正或负)是有偏差的。因此，存在逆量化将变成不可逆处理的风险。即，存在逆量化中信息丢失的风险。

因此，例如在图5的B所示的语义中，基于作为输入值的变换系数的符号来设置逆量化中的归一化处理的舍入偏移的符号。即，如以下式(B)所示，还乘以变换系数水平TransCoefLevel[xTbY][yTbY][cIdx](＝dz[x][y])的符号sign(dz[x][y])。

bdOffset1＝sign(dz[x][y])*(1<<(bdShift1-1))···(B)

例如，在逆量化逆变换装置100中，逆量化单元101如公式(B)所示导出舍入偏移bdOffset1，并且归一化单元112使用舍入偏移bdOffset1和缩放参数bdShift1执行归一化。

换言之，逆量化单元101通过乘以变换系数水平TransCoefLevel[xTbY][yTbY][cIdx](＝dz[x][y])的符号sign(dz[x][y])来校正由公式(A)导出的舍入偏移bdOffset1。然后，归一化单元112使用经校正的舍入偏移bdOffset1’和缩放参数bdShift1执行归一化。

通过这样做，归一化单元112可以根据算术位移执行归一化处理，从而可以减少舍入误差的符号(正或负)的偏差，并且可以抑制逆量化中的信息丢失。

<1-1-3：舍入偏移的符号控制>

关于逆变换的参数可以是控制目标。例如，如从图1的表格顶部起第四行所示，例如可以基于作为输入值的预测残差的符号来设置逆系数变换中的归一化处理的舍入偏移的符号(方法1-1-3)。

例如，图像处理装置还可以包括逆变换归一化单元，该逆变换归一化单元在不应用变换跳过时，基于预测残差的符号来设置舍入偏移的符号，并且使用舍入偏移对预测残差进行归一化，并且在应用变换跳过时，基于变换系数(即预测残差)的符号设置舍入偏移的符号，并且使用舍入偏移对变换系数(即预测残差)进行归一化。

图6的A是关于非专利文献5中描述的逆系数变换中的归一化处理(由归一化单元124执行的归一化处理)的语义。如语义所示，在逆系数变换的归一化处理中，根据逻辑位移的归一化使用舍入偏移bdOffset2和缩放参数bdShift2(公式(8-946))来执行。舍入偏移bdOffset2是使用缩放参数bdShift2通过以下公式(C)导出的。

bdOffset2＝(1<<(bdShift2-1))···(C)

由于归一化处理是以这种方式进行的逻辑位移，因此舍入误差(也称为死区)的符号(正或负)是有偏差的。因此，存在逆系数变换将变成不可逆处理的风险。即，存在逆系数变换中的信息丢失的风险。

因此，例如在图6的B所示的语义中，逆系数变换中的归一化处理的舍入偏移的符号是基于作为输入值的预测残差的符号来设置的。即，如以下公式(D)所示，还乘以预测残差r[x][y]的符号sign(r[x][y])。

bdOffset2＝sign(r[x][y])*(1<<(bdShift2-1))···(D)

例如，在逆量化逆变换装置100中，逆变换单元102如公式(D)所示导出舍入偏移bdOffset2，并且归一化单元124使用舍入偏移bdOffset2和缩放参数bdShift2执行归一化。

换言之，逆变换单元102通过乘以预测残差r[x][y]的符号sign(r[x][y])来校正由公式(C)导出的舍入偏移bdOffset2。然后，归一化单元124使用经校正的舍入偏移bdOffset2’和缩放参数bdShift2来执行归一化。

通过这样做，归一化单元124可以根据算术位移执行归一化处理，从而可以减少舍入误差的符号(正或负)的偏差，并且可以抑制逆系数变换中的信息丢失。

<1-1-4：组合>

<1-1-1：量化参数的控制>、<1-1-2：舍入偏移的符号控制>和<1-1-3：舍入偏移的符号控制>中描述的方法可以根据需要来组合应用。逆量化逆变换装置100可以通过组合更多的方法，进一步抑制逆量化逆变换处理中的信息丢失。即，逆量化逆变换装置100可以通过组合更多的上述方法来进一步根据“变换跳过+QP4”的方法进行解码来接近可逆解码(无损编码)。

<变换量化的参数控制>

在变换量化处理中，与逆量化逆变换处理的情况下一样，如从图1的表格顶部起第五行所示，可以设置与变换量化相关的参数，以使得减少丢失的信息量(方法1-2)。

在变换量化处理中，通过控制参数以抑制信息丢失，可以抑制由于应用该变换量化处理的编码而导致的信息丢失。即，可以根据“变换跳过+QP4”的方法进行编码来接近可逆编码(无损编码)。

<1-2：变换量化装置>

图7是示出作为应用了本技术的图像处理装置的一个方面的变换量化装置的配置的示例的框图。图7所示的变换量化装置200是对预测残差进行变换和量化以生成量化系数的装置。

图7示出了诸如处理单元和数据流的主要部件，并且图7未示出所有部件。即，在变换量化装置200中，可以存在图7中未示出为块的处理单元，或者可以存在图7中未示出为箭头等的处理或数据流。

如图7所示，变换量化装置200包括变换单元201和量化单元202。变换单元201执行与系数变换相关的处理。量化单元202执行与量化相关的处理。

变换单元201包括选择单元211、变换处理单元212、选择单元213、归一化单元214和解压缩处理单元215。

选择单元211和选择单元213选择是否应用变换跳过。选择单元211获取输入到变换量化装置200的预测残差。当不应用变换跳过时，即，当执行系数变换处理时，选择单元211将获取的预测残差提供给变换处理单元212。此外，选择单元213获取从变换处理单元212提供的变换系数并且将变换系数提供给归一化单元214。

当应用变换跳过时，即跳过系数变换处理时，选择单元211将获取的预测残差提供给解压缩处理单元215。选择单元213获取从解压缩处理单元215提供的预测残差(经解压的预测残差)并且将预测残差提供给归一化单元214。

变换处理单元212经由选择单元211获取输入到变换量化装置200的预测残差。变换处理单元212对获取的预测残差执行系数变换以生成变换系数。变换处理单元212经由选择单元213将生成的变换系数提供给归一化单元214。

解压缩处理单元215经由选择单元211获取输入到变换量化装置200的预测残差。解压缩处理单元215对获取的预测残差进行解压缩。解压缩处理单元215经由选择单元213将经解压缩的预测残差提供给归一化单元214。

当不应用变换跳过时，即执行系数变换处理时，归一化单元214经由选择单元213获取从变换处理单元212提供的变换系数。此外，当应用变换跳过时，即当跳过系数变换处理时，归一化单元214经由选择单元213获取从解压缩处理单元215提供的预测残差(解压缩预测残差)。即，当应用变换跳过时，系数变换被跳过，因此预测残差残差被提供给归一化单元214。归一化单元214之后的处理单元将该预测残差作为变换系数进行处理。即，以与由变换处理单元212生成的变换系数的情况相同的方式处理该预测残差。因此，从解压缩处理单元提供的预测残差在下面也将被描述为变换系数。归一化单元214对获取的变换系数进行归一化。归一化单元214将经归一化的变换系数提供给量化单元202。

量化单元202包括量化处理单元221和归一化单元222。量化处理单元221获取从变换单元201提供的变换系数。量化处理单元221对获取的变换系数执行量化以生成量化系数。量化处理单元221将生成的量化系数提供给归一化单元222。归一化单元222获取从量化处理单元221提供的量化系数。归一化单元222对获取的量化系数进行归一化。归一化单元222将经归一化的量化系数输出到变换量化装置200的外部。

在变换量化装置200中，应用上述(方法1-2)。即，变换量化装置200设置关于变换量化的参数，从而抑制信息丢失。归一化单元214可以使用以这种方式设置的参数来执行归一化。量化处理单元221可以使用以这种方式设置的参数来执行量化。归一化单元222可以使用以这种方式设置的参数来执行归一化。

通过这样做，变换量化装置200可以抑制由于应用该变换量化处理的编码而导致的信息丢失。即，变换量化装置200可以根据“变换跳过+QP4”的方法进行编码来接近可逆编码(无损编码)。

<变换量化处理的流程>

接下来，将参照图8的流程图描述由变换量化装置200执行的变换量化处理的流程的示例。

当变换量化处理开始时，选择单元211和选择单元213在步骤S201中确定是否应用变换跳过。如果确定不应用变换跳过，则处理进行到步骤S202。

在步骤S202中，变换单元201设置关于系数变换的参数。

在步骤S203中，变换处理单元212使用在步骤S202中设置的参数对预测残差执行系数变换以生成变换系数。当步骤S203的处理结束时，处理进行到步骤S205。

如果在步骤S201中确定应用变换跳过，则处理进行到步骤S204。在步骤S204中，解压缩处理单元215对预测残差进行解压缩。当步骤S204的处理结束时，处理进行到步骤S205。

在步骤S205中，归一化单元214使用在步骤S202中设置的参数对在步骤S203中生成的变换系数或者在步骤S204中解压缩的预测残差(即，变换系数)进行归一化。

在步骤S206中，量化单元202设置关于量化的参数。

在步骤S207中，量化处理单元221使用在步骤S206中设置的参数对在步骤S205中归一化的变换系数执行量化以生成量化系数。

在步骤S208中，归一化单元222使用在步骤S206中设置的参数对在步骤S207中生成的量化系数进行归一化。

当步骤S208的处理结束时，变换量化处理结束。

在这种变换量化处理中，应用上述(方法1-2)。即，变换单元201设置关于系数变换的参数，使得在步骤S202中抑制信息丢失。归一化单元214可以在步骤S205中使用以这种方式设置的参数来执行归一化。此外，量化单元202设置关于量化的参数，使得在步骤S206中抑制信息的丢失。在步骤S207中，量化处理单元221可以使用以这种方式设置的参数来执行量化。归一化单元222可以在步骤S208中使用以这种方式设置的参数来执行归一化。

通过这样做，变换量化装置200可以抑制由于应用该变换量化处理的编码而导致的信息丢失。即，变换量化装置200可以根据“变换跳过+QP4”的方法进行编码来接近可逆编码(无损编码)。

<1-2-1：量化参数的控制>

如上所述，可以控制关于量化的参数。例如，在图像处理中，可以使用取决于是否应用变换跳过的量化参数对变换系数执行量化。

例如，图像处理装置可以包括量化单元，该量化单元使用取决于是否应用变换跳过的量化参数对变换系数执行量化。

通过这样做，图像处理装置可以抑制由于应用由量化单元执行的量化的编码而导致的信息丢失。即，图像处理装置可以根据“变换跳过+QP4”的方法进行编码来接近可逆编码(无损编码)。

此时，当在量化中应用相关量化并且不应用变换跳过时，量化单元可以校正量化参数并且使用经校正的量化参数执行量化。即，如从图1的表格顶部起第六行所示，可以基于变换跳过来控制相关量化的量化参数(QP)的校正(方法1-2-1)。

如上所述，在非专利文献5中描述的编码方法中，如图4的A的示例中那样根据相关量化的应用来校正量化参数。即，在量化的情况下，与逆量化的情况一样，当应用变换跳过时，不能通过根据相关量化(QP+1)校正量化参数来将量化步长设置为1。因此，存在由于量化而丢失信息的风险。

因此，在量化的情况下，与逆量化的情况一样，“并且变换跳过标志(transform_skip_flag)不等于指示应用变换跳过的值(IS_SKIP)”被添加到上述公式(8-959)的条件中(图4中的B)。另外，“或者变换跳过标志(transform_skip_flag)为真(IS_SKIP)”被添加到上述公式(8-960)的条件中(图4中的B)。

量化处理单元221根据这样的语义导出缩放参数ls。通过这样做，当应用变换跳过时，应用公式(8-960)并且省略根据相关量化的量化参数的校正。因此，当应用变换跳过时，量化处理单元221可以抑制由于相关量化而造成的信息丢失。

<1-2-2：舍入偏移的符号控制>

作为控制目标的关于量化的参数可以不是量化参数。例如，如从图1的表格顶部起第七行所示，量化中的归一化处理的舍入偏移的符号可以例如基于作为输入值的量化系数的符号来设置(方法1-2-2)。

例如，图像处理装置还可以包括量化归一化单元，该量化归一化单元基于量化系数的符号来设置舍入偏移的符号，并且使用舍入偏移对量化系数进行归一化。

在量化中的归一化处理的情况下，与逆量化中的归一化处理的情况(图5的A的公式(8-963))一样，使用舍入偏移fwdbdOffset2和缩放参数fwdbdShift2执行根据逻辑位移的归一化。

即，在量化中的归一化处理的情况下，与逆量化中的归一化处理的情况一样，舍入误差的符号(正或负)有偏差。因此，存在量化将变成不可逆处理的风险。即，在量化中存在信息丢失的风险。

因此，在量化中的归一化处理的情况下，与逆量化中的归一化处理的情况一样，基于作为输入值的量化系数的符号来设置量化中的归一化处理中的舍入偏移的符号(图5中的B)。

例如，在变换量化装置200中，量化单元202使用如公式(B)中的缩放参数fwdbdShift2导出舍入偏移fwdbdOffset2，并且归一化单元222使用舍入偏移fwdbdOffset2和缩放参数fwdbdShift2执行归一化。

换言之，量化单元202通过乘以量化系数水平的符号来校正使用缩放参数fwdbdShift2导出的舍入偏移fwdbdOffset2。然后，归一化单元222使用经校正的舍入偏移fwdbdOffset2’和缩放参数fwdbdShift2执行归一化。

通过这样做，归一化单元222可以根据算术位移执行归一化处理，从而可以减少舍入误差的符号(正或负)的偏差并且抑制量化中的信息丢失。

<1-2-3：舍入偏移的符号控制>

关于系数变换的参数可以是控制目标。例如，如从图1的表格顶部起第八行所示，例如可以基于作为输入值的变换系数的符号来设置系数变换中的归一化处理的舍入偏移的符号(方法1-2-3)。

例如，图像处理装置还可以包括变换归一化单元，该变换归一化单元在不应用变换跳过时，基于变换系数的符号来设置舍入偏移的符号，并且使用舍入偏移对变换系数进行归一化，并且在应用变换跳过时，基于变换系数(即预测残差)的符号来设置舍入偏移的符号，并且使用舍入偏移对变换系数(即预测残差)进行归一化。

在系数变换中的归一化处理的情况下，与逆系数变换中的归一化处理的情况一样，使用舍入偏移fwdbdOffset1和缩放参数fwdbdShift1执行根据逻辑位移的归一化(图6的公式(8-946)))。

即，在系数变换中的归一化处理的情况下，与逆系数变换中的归一化处理的情况一样，舍入误差的符号(正或负)有偏差。因此，存在系数变换将变为不可逆处理的风险。即，在系数变换中存在信息丢失的风险。

因此，在系数变换中的归一化处理的情况下，与逆系数变换中的归一化处理的情况一样，基于作为输入值的变换系数的符号来设置系数变换中的归一化处理的舍入偏移的符号(图6中的B)。

例如，在变换量化装置200中，变换单元201使用如公式(D)中的缩放参数fwdbdShift1导出舍入偏移fwdbdOffset1，并且归一化单元214使用舍入偏移fwdbdOffset1和缩放参数fwdbdShift1执行归一化。

换言之，变换单元201通过乘以变换系数的符号来校正使用缩放参数fwdbdShift1导出的舍入偏移fwdbdOffset1。然后，归一化单元214使用经校正的舍入偏移fwdbdOffset1’和缩放参数fwdbdShift1执行归一化。

通过这样做，归一化单元214可以根据算术位移执行归一化处理，从而可以减少舍入误差的符号(正或负)的偏差并且抑制系数变换中的信息丢失。

<1-2-4：组合>

<1-2-1：量化参数的控制>、<1-2-2：舍入偏移的符号控制>和<1-2-3：舍入偏移的符号控制>中描述的方法可以根据需要来组合应用。变换量化装置200可以通过组合更多的方法来进一步抑制变换量化处理中的信息丢失。即，变换量化装置200可以通过组合上述方法中的多个来进一步根据“变换跳过+QP4”的方法进行编码来接近可逆编码(无损编码)。

同时，<1-2-1：量化参数的控制>、<1-2-2：舍入偏移的符号控制>和<1-2-3：舍入偏移的符号控制>中描述的方法可以与<1-1-1：量化参数的控制>、<1-1-2：舍入偏移的符号控制>和<1-1-3：舍入偏移的符号控制>中描述的方法适当组合地应用。即，逆量化逆变换装置100可以根据“变换跳过+QP4”的方法进行解码来接近可逆解码(无损编码)，而变换量化装置200可以进一步根据“变换跳过+QP4”的方法进行编码来接近可逆编码(无损编码)。

<3.第二实施方式>

<变换跳过期间解压缩处理的合并>

当应用变换跳过时，存在冗余处理的风险，这增加了逆量化逆变换处理的负荷。例如，在变换跳过时的数据路径中，为了匹配逆正交变换后的预测残差的动态范围和跳过逆正交变换时的预测残差的动态范围，提供变换跳过特有的TS系数解压缩处理(<<tsShift)。然而，这种TS系数解压缩处理是与逆量化处理中的归一化处理(>>bdShift1)相反方向的位移。因此，将这些种类的处理作为不同种类的处理来执行是冗余的。

因此，在逆量化逆变换处理中，如从图1的表格顶部起第九行所示，变换跳过中的解压缩处理(<<tsShift)被逆量化中的归一化处理所替代(方法2-1)。

例如，在图像处理方法中，使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化，当不应用变换跳过时，对通过逆量化生成的变换系数执行逆系数变换，以生成作为图像与该图像的预测图像之间的残差的预测残差，并且当应用变换跳过时，跳过逆系数变换。

例如，图像处理装置可以包括：逆量化单元，其对量化系数执行逆量化；逆量化归一化单元，其使用取决于是否应用变换跳过的缩放参数对通过由逆量化单元执行的逆量化生成的变换系数进行归一化；以及逆变换单元，其在不应用变换跳过时，对由逆量化归一化单元归一化的变换系数执行逆系数变换，以生成作为图像与该图像的预测图像之间的残差的预测残差，并且在应用变换跳过时，跳过逆系数变换。

通过这样做，可以减少冗余处理，并且可以抑制逆量化逆变换处理的负荷的增加。即，可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

<2-1：逆量化逆变换装置>

图9是示出在这种情况下的逆量化逆变换装置100的配置的示例的框图。图9示出了诸如处理单元和数据流的主要部件，并且图9未示出所有部件。即，在逆量化逆变换装置100中，可以存在图9中未示出为块的处理单元，或者可以存在图9中未示出为箭头等的处理或数据流。

如图9所示，这种情况下的逆量化逆变换装置100包括逆量化单元101和逆变换单元102，与图2的情况相同。逆量化单元101包括逆量化处理单元111和归一化单元112，与图2的情况相同。逆变换单元102包括选择单元121至归一化单元124。即，与图2的情况相比，省略了解压缩处理单元125。

在该逆量化逆变换装置100中，应用上述(方法2-1)。即，逆量化逆变换装置100将变换跳过中的解压缩处理替换为逆量化中的归一化处理。即，归一化单元112使用取决于是否应用变换跳过的缩放参数对由逆量化处理单元111执行的逆量化生成的变换系数进行归一化。此外，当应用变换跳过时，图2中的解压缩处理单元125的解压缩处理与图9中的归一化单元112的逆量化中的归一化处理合并。

通过这样做，逆量化逆变换装置100可以抑制逆量化逆变换处理的负荷的增加。即，逆量化逆变换装置100可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

<逆量化逆变换处理的流程>

接下来，将参照图10的流程图描述这种情况下的逆量化逆变换处理的流程的示例。

当这种情况下的逆量化逆变换处理开始时，步骤S301至S306的每个种类的处理基本上以与图3的步骤S101至S106的每个种类的处理相同的方式执行。

然而，如果在步骤S304中确定应用变换跳过，则处理进行到步骤S307。当步骤S306的处理结束时，处理进行到步骤S307。

以与图3的步骤S108的处理相同的方式执行步骤S307的处理。当步骤S307的处理结束时，逆量化逆变换处理结束。

在该逆量化逆变换处理中，应用上述(方法2-1)。即，归一化单元112对变换系数执行归一化处理以替换步骤S303中变换跳过中的解压缩处理。即，归一化单元112使用取决于是否应用变换跳过的缩放参数来对由逆量化处理单元111执行的逆量化生成的变换系数进行归一化。当应用变换跳过时，在图3的步骤S107中执行的解压缩处理与在步骤S303中的逆量化中的归一化处理合并。

通过这样做，逆量化逆变换装置100可以抑制逆量化逆变换处理的负荷的增加。即，逆量化逆变换装置100可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

<2-1-1：取决于变换跳过的缩放参数的设置>

当逆量化中的归一化处理和变换跳过中的解压缩处理作为不同种类的处理来执行时，例如，归一化处理中使用的缩放参数bdShift1和解压缩处理中使用的缩放参数tsShift可以如图11的A中所示的语义导出。

即，缩放参数bdShift1由基于位深度的分量(bitDepth)、基于变换块尺寸和变换跳过标志(transform_skip_flag)的分量((rectNonTsFlag？1:0))、基于变换块尺寸的分量((log2(nTbW)+log2(nTbH)/2)-5)以及基于相关量化的分量(dep_quant_enabled_flag)之和导出。此外，缩放参数tsShift由基于变换块尺寸的分量(5+(log2(nTbW)+log2(nTbH)/2))导出。

即，缩放参数bdShift1包括与缩放参数tsShift的正或负符号相反的分量。因此，当应用变换跳过时，在变换跳过中解压缩处理的位移在逆量化中被反映在归一化处理的位移中，以合并解压缩处理和归一化处理。

即，当不应用变换跳过时，归一化单元112使用不反映变换跳过中的解压缩处理的缩放参数对变换系数进行归一化，并且当应用变换跳过时，归一化单元112使用反映变换跳过中的解压缩处理的缩放参数对变换系数进行归一化。

例如，当用于逆量化中的归一化处理的缩放参数bdShift1如图11的B所示的语义导出时，如果变换跳过标志指示应用变换跳过(transform_skip_flag＝＝IS_SKIP)，则将基于变换块尺寸的分量设置为“0”。如果变换跳过标志指示不应用变换跳过(transform_skip_flag！＝IS_SKIP)，则将基于变换块尺寸的分量设置为((log2(nTbW)+log2(nTbH)/2)-5)。

通过这样做，逆量化逆变换装置100可以减少冗余处理，从而可以抑制逆量化逆变换处理的负荷的增加。即，逆量化逆变换装置100可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

同时，这种情况下表示语义的方法是任意的，并且不限于图11的B的示例。例如，如图12的A的语义，可以取决于是否应用变换跳过来设置变量tsShift，并且可以使用变量tsShift作为基于变换块尺寸的分量来导出缩放参数bdShift1。

此外，如在图12的B的语义的示例中，还可以取决于是否应用变换跳过来设置基于相关量化的分量。在这种情况下，仅当不应用变换跳过时，才将基于相关量化的分量(dep_quant_enabled_flag)相加到缩放参数bdShift1。

在这些情况下(图12的A和图12的B)，与图11的B的情况一样，也可以减少冗余处理。

<2-1-2：与量化矩阵对应的缩放参数的设置>

当变换跳过标志指示应用变换跳过时(transform_skip_flag＝＝IS_SKIP)，可以将基于缩放参数bdShift1的变换块尺寸的分量设置为取决于量化矩阵的值。

例如，当用于逆量化中的归一化处理的缩放参数bdShift1以图13的A所示的语义导出时，如果变换跳过标志指示应用变换跳过(transform_skip_flag＝＝IS_SKIP)，则将基于变换块尺寸的分量设置为“-4”。如果变换跳过标志指示不应用变换跳过(transform_skip_flag！＝IS_SKIP)，则将基于变换块尺寸的分量设置为((log2(nTbW)+log2(nTbH)/2)-5)。

通过这样做，逆量化逆变换装置100可以抑制处理的溢出。

在这种情况下表示语义的方法是任意的，并且不限于图12中的A的示例。例如，如图13的B的语义，可以取决于是否应用变换跳过来设置变量tsShift，并且可以使用变量tsShift作为基于变换块尺寸的分量来导出缩放参数bdShift1。

此外，如在图13的C的语义的示例中，还可以取决于是否应用变换跳过来设置基于相关量化的分量。在这种情况下，仅当不应用变换跳过时，才将基于相关量化的分量(dep_quant_enabled_flag)相加到缩放参数bdShift1。

在这些情况下(图13的B和图13的C)，也可以如图13的A的情况一样抑制处理的溢出。

<变换跳过期间解压缩处理的合并>

变换量化处理与上述逆量化逆变换处理的情况相同。即，当应用变换跳过时，有存在冗余处理的风险，这增加了变换量化处理的负荷。例如，在变换跳过时的数据路径中，为了匹配正交变换后的变换系数的动态范围和跳过正交变换时的预测残差的动态范围，提供变换跳过特有的TS系数解压缩处理(<<fwdtsShift)。然而，这种TS系数解压缩处理是与量化处理中的归一化处理(>>fwdbdShift2)相反方向的位移。因此，将这些种类的处理作为不同种类的处理来执行是冗余的。

因此，在变换量化处理中，如从图1的表格顶部起第十行所示，变换跳过中的解压缩处理(<<fwdtsShift)被量化中的归一化处理所替代(方法2-2)。

例如，在图像处理方法中，当不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，当应用变换跳过时跳过系数变换，当不应用变换跳过时对变换系数执行量化，并且当应用变换跳过时，对预测残差执行量化，并且使用取决于是否应用变换跳过的缩放参数对通过量化生成的量化系数进行归一化。

例如，图像处理装置可以包括：变换单元，其在不应用变换跳过时，对作为图像与该图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且当应用变换跳过时，跳过系数变换；量化单元，其在不应用变换跳过时，对变换系数执行量化，并且在应用变换跳过时，对预测残差执行量化；以及量化归一化单元，其使用取决于是否应用变换跳过的缩放参数对由量化单元执行的量化生成的量化系数进行归一化。

通过这样做，可以减少冗余处理并且可以抑制变换量化处理负荷的增加。即，可以抑制由于“变换跳过+QP4”方法导致的编码负荷的增加。

<2-2：变换量化装置>

图14是示出该情况下的变换量化装置200的配置的示例的框图。图14示出了诸如处理单元和数据流的主要部件，并且图14未示出所有部件。即，在变换量化装置200中，可以存在图14中未示出为块的处理单元，或者可以存在图14中未示出为箭头等的处理或数据流。

如图14所示，这种情况下的变换量化装置200与图7的情况一样包括变换单元201和量化单元202。变换单元201包括选择单元211至归一化单元214。即，与图7的情况相比，省略了解压缩处理单元215。量化单元202与图7的情况一样包括量化处理单元221和归一化单元222。

在变换量化装置200中，应用上述(方法2-2)。即，变换量化装置200用量化中的归一化处理来替代变换跳过中的解压缩处理。即，归一化单元222使用取决于是否应用变换跳过的缩放参数对由量化处理单元221执行的量化生成的量化系数进行归一化。然后，当应用变换跳过时，图7的解压缩处理单元215执行的解压缩处理与图14的归一化单元222执行的量化中的归一化处理合并。

通过这样做，变换量化装置200可以抑制该变换量化处理的负荷的增加。即，变换量化装置200可以抑制由于“变换跳过+QP4”方法引起的编码负荷的增加。

<变换量化处理的流程>

接下来，将参照图15的流程图描述这种情况下的变换量化处理的流程的示例。

当这种情况下的变换量化处理开始时，步骤S321至S327的处理以与图8的步骤S201至S203和步骤S205至S208的处理基本上相同的方式执行。

然而，如果在步骤S321中确定应用变换跳过，则处理进行到步骤S324。当步骤S323的处理结束时，处理进行到步骤S324。

当步骤S327的处理结束时，变换量化处理结束。

在这种变换量化处理中，应用上述(方法2-2)。即，归一化单元222对量化系数执行归一化处理以替代步骤S327中变换跳过中的解压缩处理。即，归一化单元222使用取决于是否应用变换跳过的缩放参数对由量化处理单元221执行的量化生成的量化系数进行归一化。然后，当应用变换跳过时，在图8的步骤S204中执行的解压缩处理与在步骤S327中的量化中的归一化处理合并。

通过这样做，变换量化装置200可以抑制该变换量化处理的负荷的增加。即，变换量化装置200可以抑制由于“变换跳过+QP4”方法引起的编码负荷的增加。

<2-2-1：取决于变换跳过的缩放参数的设置>

当量化中的归一化处理和变换跳过中的解压缩处理作为不同种类的处理来执行时，归一化处理中使用的缩放参数fwdbdShift2和解压缩处理中使用的缩放参数fwdtsShift以与图11中的A的示例相同的方式导出。

即，缩放参数fwdbdShift2包括具有与缩放参数fwdtsShift的正或负相反的符号的分量。因此，将量化中的归一化处理与变换跳过中的解压缩处理作为不同种类的处理来执行是冗余的。因此，当应用变换跳过时，在变换跳过中的解压缩处理的位移被反映在量化中的归一化处理的位移中，以合并解压缩处理和归一化处理。

即，变换处理单元212在不应用变换跳过时对预测残差执行系数变换，并且在应用变换跳过时跳过系数变换而不执行解压缩处理，并且归一化单元222在不应用变换跳过时使用不反映变换跳过中的解压缩处理的缩放参数对量化系数进行归一化，并且在应用变换跳过时使用反映解压缩处理的缩放参数对量化系数进行归一化。

例如，与在图11的B所示的语义的情况下一样，如果在导出用于量化中的归一化处理的缩放参数fwdbdShift2时变换跳过标志指示应用变换跳过(transform_skip_flag＝＝IS_SKIP)，则将基于变换块尺寸的分量设置为“0”。如果变换跳过标志指示不应用变换跳过(transform_skip_flag！＝IS_SKIP)，则将基于变换块尺寸的分量设置为((log2(nTbW)+log2(nTbH)/2)-5)。

通过这样做，变换量化装置200可以减少冗余处理，从而可以抑制变换量化处理的负荷的增加。即，变换量化装置200可以抑制由于“变换跳过+QP4”方法引起的编码负荷的增加。

同时，这种情况下表示语义的方法是任意的。例如，与在图12的A的语义的情况下一样，可以取决于是否应用变换跳过来设置变量fwdtsShift，并且可以使用变量fwdtsShift作为基于变换块尺寸的分量来导出缩放参数fwdbdShift1。

此外，与在图12的B的语义的情况下一样，还可以取决于是否应用变换跳过来设置基于相关量化的分量。在这种情况下，仅当不应用变换跳过时，才将基于相关量化的分量(dep_quant_enabled_flag)相加到缩放参数fwdbdShift2。

在这些情况下，还可以减少冗余处理。

<2-2-2：与量化矩阵对应的缩放参数的设置>

另外，在这种变换量化处理的情况下，与上述逆量化逆变换处理的情况一样，当变换跳过标志指示应用变换跳过(transform_skip_flag＝＝IS_SKIP)时，可以将基于缩放参数fwdbdShift2的变换块尺寸的分量设置为取决于量化矩阵的值。

例如，与图13的A所示的语义的情况一样，如果在导出用于量化中的归一化处理的缩放参数fwdbdShift2时变换跳过标志指示应用变换跳过(transform_skip_flag＝＝IS_SKIP)，则将基于变换块尺寸的分量设置为“-4”。如果变换跳过标志指示不应用变换跳过(transform_skip_flag！＝IS_SKIP)，则将基于变换块尺寸的分量设置为((log2(nTbW)+log2(nTbH)/2)-5)。

通过这样做，变换量化装置200可以抑制处理的溢出。

同时，这种情况下表示语义的方法是任意的。例如，与图13的B的语义的情况一样，可以取决于是否应用变换跳过来设置变量fwdtsShift，并且可以使用变量fwdtsShift作为基于变换块尺寸的分量来导出缩放参数fwdbdShift2。

此外，与在图13的C的语义的情况下一样，还可以取决于是否应用变换跳过来设置基于相关量化的分量。在这种情况下，仅当不应用变换跳过时，才将基于相关量化的分量(dep_quant_enabled_flag)相加到缩放参数fwdbdShift2。

在这些情况下，也可以与图13的A的情况一样抑制处理的溢出。

同时，本实施方式中描述的每种方法可以与第一实施方式中描述的每种方法结合适当地应用。

<4.第三实施方式>

<变换跳过期间归一化处理的合并>

例如，在变换跳过时的数据路径中，为了匹配逆系数变换后的预测残差的动态范围和跳过逆系数变换时的变换系数(即预测残差)的动态范围，提供变换跳过特有的TS系数解压缩处理(<<tsShift)和根据“bdShift2”的归一化处理。然而，该TS系数解压缩处理和归一化处理中的位移可以与逆量化处理中的归一化处理(>>bdShift1)中的位移合并。即，执行这些位移中的每一个都是冗余的。

因此，在逆量化逆变换处理中，在变换跳过的情况下，变换跳过中的解压缩处理(<<tsShift)和逆系数变换中的归一化处理被逆量化中的归一化处理所替代，如从图1的表格顶部起第十一行所示(方法3-1)。

通过这样做，可以减少冗余处理并且可以抑制逆量化逆变换处理的负荷的增加。即，可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

<3-1：逆量化逆变换装置>

图16是示出该情况下的逆量化逆变换装置100的配置的示例的框图。图16示出了诸如处理单元和数据流的主要部件，并且图16未示出所有部件。即，在逆量化逆变换装置100中，可以存在图16中未示出为块的处理单元，或者可以存在图16中未示出为箭头等的处理或数据流。

如图16所示，这种情况下的逆量化逆变换装置100包括逆量化单元101和逆变换单元102，与图2的情况相同。逆量化单元101包括逆量化处理单元111和归一化单元112，与图2的情况相同。逆变换单元102包括选择单元121至归一化单元124。即，与图2的情况相比，省略了解压缩处理单元125。

此外，归一化单元124被设置在逆变换处理单元122与选择单元123之间。因此，在这种情况下，当不应用变换跳过时，归一化单元124获取从逆变换处理单元122提供的预测残差，对预测残差执行归一化处理，并且将归一化的预测残差提供给选择单元123。当不应用变换跳过时，选择单元123获取从归一化单元124提供的预测残差(经归一化的预测残差)，并且将预测残差输出到逆量化逆变换装置100的外部。

在该逆量化逆变换装置100中，应用上述(方法3-1)。即，在变换跳过的情况下，逆量化逆变换装置100将变换跳过中的解压缩处理和逆系数变换中的归一化处理替换为逆量化中的归一化处理。即，归一化单元112使用取决于是否应用变换跳过的缩放参数对由逆量化处理单元111执行的逆量化生成的变换系数进行归一化。当应用变换跳过时，由图2中的解压缩处理单元125执行的解压缩处理和由图2中的归一化单元124执行的逆系数变换中的归一化处理与图16中的归一化单元112执行的逆量化中的归一化处理合并。

通过这样做，逆量化逆变换装置100可以抑制逆量化逆变换处理的负荷的增加。即，逆量化逆变换装置100可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

<逆量化逆变换处理的流程>

接下来，将参照图17的流程图描述这种情况下的逆量化逆变换处理的流程的示例。

当这种情况下的逆量化逆变换处理开始时，步骤S341至S347的每个种类的处理以与图10的步骤S301至S307的每个种类的处理基本上相同的方式执行。

然而，如果在步骤S344中确定应用变换跳过，则跳过步骤S345至S347的每个类型的处理并且逆量化逆变换处理结束。

在该逆量化逆变换处理中，应用上述(方法3-1)。即，当应用变换跳过时，归一化单元112对变换系数执行归一化处理以替换步骤S343中变换跳过中的解压缩处理和逆系数变换中的归一化处理。即，归一化单元112使用取决于是否应用变换跳过的缩放参数对由逆量化处理单元111执行的逆量化生成的变换系数进行归一化。当应用变换跳过时，在图3的步骤S107中执行的解压缩处理和在图3的步骤S108中执行的归一化处理与步骤S343中的逆量化中的归一化处理合并。

通过这样做，逆量化逆变换装置100可以抑制逆量化逆变换处理的负荷的增加。即，逆量化逆变换装置100可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

<3-1-1：取决于变换跳过的缩放参数的设置>

当逆量化中的归一化处理、变换跳过中的解压缩处理和逆系数变换中的归一化处理作为不同种类的处理来执行时，可以导出用于逆量化中的归一化处理的缩放参数bdShift1、用于解压缩处理的缩放参数tsShift以及用于逆系数变换中的归一化处理的缩放参数bdShift2，例如，如图18的A中所示的语义。

即，缩放参数bdShift1和缩放参数tsShift是如第二实施方式中描述的那样导出的。缩放参数bdShift2被设置为“20”与位深度(bitDepth)之差与“0”之间的较大值。合并使用这些缩放参数的位移。

即，当不应用变换跳过时，归一化单元124对预测残差进行归一化，并且当应用变换跳过时，归一化单元112使用反映由归一化单元124对预测残差执行的归一化处理的缩放参数对变换系数进行归一化。

例如，当变换跳过标志指示应用变换跳过(transform_skip_flag＝＝IS_SKIP)时，与图18的B所示的语义一样，用于逆量化中的归一化的缩放参数bdShift1由变量trBdShift与基于相关量化的分量(dep_quant_enabled_flag)之和导出。

该变量trBdShift是作为根据逆量化的值(INV_QUANT)与根据缩放列表的值(SCALING_LIST_BITS)之和导出的，如图18的B中所示的语义。

例如，根据逆量化的值(INV_QUANT)可以被设置为“6”，并且根据缩放列表的值(SCALING_LIST_BITS)可以被设置为“4”。即，变量trBdShift被设置为“10”。

通过这样做，逆量化逆变换装置100可以减少冗余处理，从而可以抑制逆量化逆变换处理的负荷的增加。即，逆量化逆变换装置100可以抑制由于“变换跳过+QP4”方法导致的解码负荷的增加。

同时，这种情况下表示语义的方法是任意的。例如，如图19的A的语义，可以取决于是否应用变换跳过来设置变量trBdShift，并且可以使用变量trBdShift作为基于变换块尺寸的分量来导出缩放参数bdShift1。

此外，如在图19的B的语义的示例中，还可以取决于是否应用变换跳过来设置基于相关量化的分量。在这种情况下，仅当不应用变换跳过时，才将基于相关量化的分量(dep_quant_enabled_flag)相加到缩放参数bdShift1。

在这些情况下(图19的A和图19的B)，与像图18的B的情况一样，也可以减少冗余处理。

<变换跳过期间归一化处理的合并>

变换量化处理与上述逆量化逆变换处理的情况相同。即，当应用变换跳过时，有存在冗余处理的风险，这增加了变换量化处理的负荷。例如，在变换跳过时的数据路径中，为了匹配正交变换后的变换系数的动态范围和跳过正交变换时预测残差的动态范围，提供变换跳过特有的TS系数解压缩处理(<<fwdtsShift)和根据“fwdbdShift1”的归一化处理。然而，TS系数解压缩处理和归一化处理中的位移可以与量化处理中的归一化处理(>>fwdbdShift2)中的位移合并。即，执行这些位移中的每一个都是冗余的。

因此，在变换量化处理中，如从图1的表格顶部起第十二行(最低行)所示，在变换跳过的情况下，变换跳过中的解压缩处理(<<fwdtsShift)和系数变换中的归一化处理被量化中的归一化处理所替代(方法3-2)。

通过这样做，可以减少冗余处理并且可以抑制变换量化处理的负荷的增加。即，可以抑制由于“变换跳过+QP4”方法导致的编码负荷的增加。

<3-2：变换量化装置>

图20是示出该情况下的变换量化装置200的配置的示例的框图。图20示出了诸如处理单元和数据流的主要部件，并且图20未示出所有部件。即，在变换量化装置200中，可以存在图20中未示出为块的处理单元，或者可以存在图20中未示出为箭头等的处理或数据流。

如图20所示，这种情况下的变换量化装置200与图7的情况一样包括变换单元201和量化单元202。变换单元201包括选择单元211至归一化单元214。即，与图7的情况相比，省略了解压缩处理单元215。

此外，归一化单元214被设置在变换处理单元212与选择单元213之间。因此，在这种情况下，当不应用变换跳过时，归一化单元214获取从变换处理单元212提供的变换系数，对变换系数执行归一化处理，并且将归一化的变换系数提供给选择单元213。当不应用变换跳过时，选择单元213获取从归一化单元214提供的变换系数(经归一化的变换系数)并且将该变换系数输出到变换量化装置200的外部。

量化单元202与图7的情况一样包括量化处理单元221和归一化单元222。

在变换量化装置200中，应用上述(方法3-2)。即，变换量化装置200将变换跳过中的解压缩处理和系数变换中的归一化处理替换为量化中的归一化处理。即，归一化单元222使用取决于是否应用变换跳过的缩放参数对由量化处理单元221执行的量化生成的量化系数进行归一化。当应用变换跳过时，图7的解压缩处理单元215执行的解压缩处理和图7的归一化单元214执行的归一化处理与图20的归一化单元222执行的量化中的归一化处理合并。

通过这样做，变换量化装置200可以抑制该变换量化处理的负荷的增加。即，变换量化装置200可以抑制由于“变换跳过+QP4”方法引起的编码负荷的增加。

[变换量化处理的流程]

接下来，将参照图21的流程图描述这种情况下的变换量化处理的流程的示例。

当这种情况下的变换量化处理开始时，步骤S361至S367的每个种类的处理以与图15的步骤S321至S327的每个种类的处理基本上相同的方式执行。

然而，如果在步骤S361中确定应用变换跳过，则跳过步骤S362至S364的每个种类的处理并且处理进行到步骤S365。

在这种变换量化处理中，应用上述(方法3-2)。即，当应用变换跳过时，归一化单元222对变换系数执行归一化处理以替换步骤S367中变换跳过中的解压缩处理和系数变换中的归一化处理。即，归一化单元222使用取决于是否应用变换跳过的缩放参数对由量化处理单元221执行的量化所生成的量化系数进行归一化。当应用变换跳过时，将图8的步骤S204中执行的解压缩处理和图8的步骤S205中执行的归一化处理与步骤S367中的量化中的归一化处理合并。

通过这样做，变换量化装置200可以抑制该变换量化处理的负荷的增加。即，变换量化装置200可以抑制由于“变换跳过+QP4”方法引起的编码负荷的增加。

<3-2-1：取决于变换跳过的缩放参数的设置>

当不应用变换跳过时，归一化单元214对变换系数进行归一化，并且当应用变换跳过时，归一化单元222使用反映由归一化单元214对预测残差执行的归一化处理的缩放参数对量化系数进行归一化。

例如，在图18的B的情况下，当变换跳过标志指示应用变换跳过(transform_skip_flag＝＝IS_SKIP)时，用于量化中的归一化处理的缩放参数fwdbdShift2由变量fwdtrBdShift与基于相关量化的分量(dep_quant_enabled_flag)之和导出。

导出该变量fwdtrBdShift作为根据量化的值(QUANT)与根据缩放列表的值(SCALING_LIST_BITS)之和，如图18的B中所示的语义的情况。

例如，根据量化的值(QUANT)可以被设置为“6”，并且根据缩放列表的值(SCALING_LIST_BITS)可以被设置为“4”。即，变量fwdtrBdShift被设置为“10”。

通过这样做，变换量化装置200可以减少冗余处理，从而可以抑制变换量化处理的负荷的增加。即，变换量化装置200可以抑制由于“变换跳过+QP4”方法引起的编码负荷的增加。

同时，这种情况下表示语义的方法是任意的。例如，与在图19的A的语义的情况下一样，可以取决于是否应用变换跳过来设置变量fwdtrBdShift，并且可以使用变量fwdtrBdShift导出缩放参数fwdbdShift2。

此外，与在图19的B的语义的示例的情况下一样，还可以取决于是否应用变换跳过来设置基于相关量化的分量。在这种情况下，仅当不应用变换跳过时，才将基于相关量化的分量(dep_quant_enabled_flag)相加到缩放参数fwdbdShift2。

在这些情况下(图19的A和图19的B)，也可以如图18的B的情况一样减少冗余处理。

<5.第四实施方式>

<图像解码装置>

以上在第一至第三实施方式等中描述的本技术可以应用于任何设备、装置、系统等。例如，本技术可以应用于对图像数据的编码数据进行解码的图像解码装置。本技术还可以应用于对图像数据进行编码的图像编码装置。

图22是示出作为应用了本技术的图像处理装置的一个方面的图像解码装置的配置的示例的框图。图22所示的图像解码装置500是对运动图像的编码数据进行解码的装置。例如，图像解码装置500可以对诸如通过上述非专利文献中描述的VVC、AVC或HEVC的编码方法编码的运动图像的编码数据进行解码。例如，图像解码装置500可以对由后述的图像编码装置600生成的编码数据(比特流)进行解码。

图22示出了诸如处理单元和数据流的主要部件，并且图22未示出所有部件。即，在图像解码装置500中，可以存在图22中未示出为块的处理单元，或者可以存在图22中未示出为箭头等的处理或数据流。这也适用于示出图像解码装置500中的处理单元等的其他图。

在图22中，图像解码装置500包括控制单元501、累积缓冲器511、解码单元512、逆量化逆变换单元513、计算单元514、环路内滤波器单元515、重排缓冲器516、帧存储器517和预测单元518。预测单元518包括未示出的帧内预测单元和帧间预测单元。

<控制单元>

控制单元501执行与解码控制相关的处理。例如，控制单元501经由解码单元512获取包括在比特流中的编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo、滤波器信息Finfo等)。另外，控制单元501估计未包括在比特流中的编码参数。此外，控制单元501通过基于获取的(或估计的)编码参数控制图像解码装置500的处理单元(累积缓冲器511至预测单元518)来控制解码。

例如，控制单元501可以将头信息Hinfo提供给逆量化逆变换单元513、预测单元518和环路内滤波器单元515。另外，控制单元501可以将预测模式信息Pinfo提供给逆量化逆变换单元513和预测单元518。此外，控制单元501可以将变换信息Tinfo提供给逆量化逆变换单元513。另外，控制单元501可以将残差信息Rinfo提供给解码单元512。此外，控制单元501可以将滤波器信息Finfo提供给环路内滤波器单元515。

当然，上述示例只是示例，并且不限于该示例。例如，可以将每个编码参数提供给任意处理单元。此外，可以将其他信息提供给任意处理单元。

<头信息Hinfo>

头信息Hinfo例如可以包括诸如视频参数集(VPS)/序列参数集(SPS)/图片参数集(PPS)/图片头(PH)/切片头(SH)的头信息。头信息Hinfo例如可以包括定义图像尺寸(宽度PicWidth、高度PicHeight)、位深度(亮度bitDepthY、色差bitDepthC)、色差阵列类型ChromaArrayType、CU尺寸的最大值MaxCUSize/最小值MinCUSize、四叉树划分的最大深度MaxQTDepth/最小深度MinQTDepth、二叉树划分的最大深度MaxBTDepth/最小深度MinBTDepth、变换跳过块的最大值MaxTSSize(也称为最大变换跳过块尺寸)、每个编码工具的开/关标志(也称为有效标志)等的信息。

例如，包括在头信息Hinfo中的编码工具的开/关标志包括与下面描述的变换和量化处理相关的开/关标志。编码工具的开/关标志也可以被解释为指示编码数据中是否存在与编码工具相关的语法的标志。此外，开/关标志在其值为1(真)时指示可以使用该编码工具，并且在其值为0(假)时指示不能使用该编码工具。标志值的构造可以互换。

<预测模式信息Pinfo>

例如，预测模式信息Pinfo可以包括诸如处理目标PB(预测块)的尺寸信息PBSize(预测块尺寸)、帧内预测模式信息IPinfo和运动预测信息MVinfo的信息。

帧内预测模式信息IPinfo可以包括例如JCTVC-W1005中的prev_intra_luma_pred_flag、mpm_idx和rem_intra_pred_mode、7.3.8.5Coding Unit语法、从其语法导出的亮度帧内预测模式IntraPredModeY等。

另外，帧内预测模式信息IPinfo可以包括例如分量间预测标志(ccp_flag(cclmp_flag))、多类线性预测模式标志(mclm_flag)、色差样本位置类型标识符(chroma_sample_loc_type_idx)、色差MPM标识符(chroma_mpm_idx)、从这些语法导出的亮度帧内预测模式(IntraPredModeC)等。

分量间预测标志(ccp_flag(cclmp_flag))是指示是否应用分量间线性预测的标志信息。例如，当ccp_flag＝＝1时，指示应用分量间预测，当ccp_flag＝＝0时，指示不应用分量间预测。

多类线性预测模式标志(mclm_flag)是关于线性预测模式的信息(线性预测模式信息)。更具体地，多类线性预测模式标志(mclm_flag)是指示是否设置多类线性预测模式的标志信息。例如，“0”指示1类模式(单类模式)(例如CCLMP)，“1”指示2类模式(多类模式)(例如MCLMP)。

色差样本位置类型标识符(chroma_sample_loc_type_idx)是用于标识色差分量的像素位置的类型(也称为色差样本位置类型)的标识符。

该色差样本位置类型标识符(chroma_sample_loc_type_idx)作为关于色差分量的像素位置的信息(chroma_sample_loc_info())而被传输(存储)。

色差MPM标识符(chroma_mpm_idx)是指示色差帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选被指定为色差帧内预测模式的标识符。

例如，运动预测信息MVinfo可以包括诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X＝{0,1}和mvd的信息(参见例如JCTVC-W1005，7.3.8.6Prediction Unit Syntax)。

当然，预测模式信息Pinfo中包括的信息是任意的，并且可以包括该信息以外的信息。

<变换信息Tinfo>

变换信息Tinfo例如可以包括以下信息。当然，变换信息Tinfo中包括的信息是任意的，并且可以包括该信息以外的信息。

处理目标变换块的宽度尺寸TBWSize和高度TBHSize：以2为底的每个TBWSize、TBHSize的对数值log2TBWSize和log2TBHSize也是可用的。

Transform skip flag(ts_flag)：指示是否跳过(逆)一次变换和(逆)二次变换的标志

扫描标识符(scanIdx)

量化参数(qp)

量化矩阵(scaling_matrix)：例如JCTVC-W1005，7.3.4缩放列表数据语法

<残差信息Rinfo>

残差信息Rinfo(例如，参见JCTVC-W1005的7.3.8.11Residual Coding syntax)可以包括例如以下语法。

cbf(coded_block_flag)：指示存在或不存在残差数据的标志

last_sig_coeff_x_pos：最后一个非零系数X坐标

last_sig_coeff_y_pos：最后一个非零系数Y坐标

coded_sub_block_flag：指示存在或不存在子块非零系数的标志

sig_coeff_flag：指示存在或不存在非零系数的标志

gr1_flag：指示非零系数的水平是否大于1的标志(也称为GR1标志)

gr2_flag：指示非零系数的水平是否大于2的标志(也称为GR2标志)

sign_flag：指示非零系数的正或负的符号(也称为符号码)

coeff_abs_level_remaining：非零系数的残差水平(也称为非零系数残差水平)，

等等。

当然，残差信息Rinfo中包括的信息是任意的，并且可以包括除该信息以外的信息。

<滤波器信息Finfo>

例如，滤波器信息Finfo可以包括关于以下滤波器处理的控制信息。

关于去块滤波器(DBF)的控制信息

关于像素自适应偏移(SAO)的控制信息

关于自适应环路滤波器(ALF)的控制信息

其他线性/非线性滤波器的控制信息

更具体地，滤波器信息Finfo可以包括例如应用了每个滤波器的图片、用于指定图片中的区域的信息、以CU为单位的滤波器开/关控制信息、关于切片和图块等的边界的滤波器开/关控制信息。当然，滤波器信息Finfo中包括的信息是任意的，并且可以包括除该信息以外的信息。

<累积缓冲器>

累积缓冲器511获取并且保存(存储)输入到图像解码装置500的比特流。累积缓冲器511在预定定时处或者在满足预定条件等时提取包括在累积的比特流中的编码数据，并且将编码数据提供给解码单元512。

<解码单元>

解码单元512执行与图像解码相关的处理。例如，解码单元512可以接收从累积缓冲器511提供的编码数据作为输入并且根据语法表的定义对来自比特串的每个语法元素的语法值进行熵解码(可逆解码)以导出参数。

例如，从语法元素导出的参数以及语法元素的语法值可以包括诸如头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo、滤波器信息Finfo的信息。即，解码单元512从比特流解析(分析和获取)这样的信息。

此外，解码单元512根据控制单元501的控制执行这种解析。然后，解码单元512将通过解析获得的信息提供给控制单元501。

此外，解码单元512参考残差信息Rinfo对编码数据进行解码。此时，解码单元512应用诸如CABAC或CAVLC的熵解码(可逆解码)。即，解码单元512通过与图像编码装置600的编码单元614执行的编码方法对应的解码方法对编码数据进行解码。

例如，假设应用CABAC。在非无损编码模式的情况下，解码单元512使用上下文模型对编码数据执行算术解码以导出每个变换块中的每个系数位置的量化系数水平。解码单元512将导出的量化系数水平提供给逆量化逆变换单元513。

此外，在无损编码模式的情况下，解码单元512以旁路模式对编码数据执行算术解码以导出残差数据D。解码单元512将导出的残差数据D提供给逆量化逆变换单元513。

<逆量化逆变换单元>

逆量化逆变换单元513执行与逆量化和逆系数变换相关的处理。例如，在非无损编码模式的情况下，逆量化逆变换单元513获取从解码单元512提供的量化系数水平。逆量化逆变换单元513对获取的量化系数水平进行缩放(逆量化)以导出变换系数Coeff。逆量化逆变换单元513例如对变换系数Coeff执行诸如逆正交变换的逆系数变换以导出残差数据D'。逆量化逆变换单元513将残差数据D'提供给计算单元514。

逆量化逆变换单元513可以跳过(省略)逆量化和逆系数变换。例如，在无损编码模式的情况下，逆量化逆变换单元513获取从解码单元512提供的残差数据D。逆量化逆变换单元513跳过(省略)逆量化和逆系数变换并且将残差数据D提供给计算单元514作为残差数据D'。

逆量化逆变换单元513根据控制单元501的控制来执行这样的处理。例如，逆量化逆变换单元513可以基于从控制单元501提供的预测模式信息Pinfo和变换信息Tinfo来执行这样的处理。

<计算单元>

计算单元514执行与添加关于图像的信息相关的处理。例如，计算单元514接收从逆量化逆变换单元513提供的残差数据D'以及从预测单元518提供的预测图像作为输入。计算单元514将残差数据与和残差数据对应的预测图像(预测信号)相加，以导出局部解码图像。计算单元514将导出的局部解码图像提供给环路内滤波器单元515和帧存储器517。

<环路内滤波器单元>

环路内滤波器单元515执行与环路滤内滤波处理相关的处理。例如，环路内滤波器单元515接收从计算单元514提供的局部解码图像以及从控制单元501提供的滤波器信息Finfo作为输入。输入到环路内滤波器单元515的信息是任意的，并且可以输入除该信息之外的信息。

环路内滤波器单元515基于滤波器信息Finfo适当地对局部解码图像进行滤波。例如，环路内滤波器单元515以如下顺序应用四个环路内滤波器：双边滤波器、去块滤波器(DBF)、自适应偏移滤波器(样本自适应偏移(SAO))和自适应环路滤波器(ALF)。应用哪个滤波器以及应用哪个顺序是任意的并且可以适当地选择。

环路内滤波器单元515执行与由编码侧(例如，图像编码装置600的环路内滤波器单元618)执行的滤波处理对应的滤波处理。当然，由环路内滤波器单元515执行的滤波处理是任意的，并且不限于上述示例。例如，环路内滤波器单元515可以应用维纳(Wiener)滤波器等。

环路内滤波器单元515将经滤波的局部解码图像提供给重排缓冲器516和帧存储器517。

<重排缓冲器>

重排缓冲器516接收从环路内滤波器单元515提供的局部解码图像作为输入并且保存(存储)该局部解码图像。重排缓冲器516使用局部解码图像针对每个图片单元重建解码图像并且保存该解码图像(将解码图像存储在缓冲器中)。重排缓冲器516将获得的解码图像从解码顺序重新排列为再现顺序。重排缓冲器516将重新排列的解码图像组作为运动图像数据输出到图像解码装置500的外部。

<帧存储器>

帧存储器517执行与关于图像的数据的存储相关的处理。例如，帧存储器517接收从计算单元514提供的局部解码图像作为输入，针对每个图片单元重建解码图像，并且将解码图像存储在帧存储器517中的缓冲器中。

此外，帧存储器517接收从环路内滤波器单元515提供的经环路内滤波的局部解码图像作为输入，针对每个图片单元重建解码图像，并且将解码图像存储在帧存储器517中的缓冲器中。帧存储器517将存储的解码图像(或其一部分)适当地提供给预测单元518作为参考图像。

帧存储器517可以存储与解码图像的生成相关的头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等。

<预测单元>

预测单元518执行与预测图像的生成相关的处理。例如，预测单元518接收从控制单元501提供的预测模式信息Pinfo以及从帧存储器517读取的解码图像(或其一部分)作为输入。预测单元518基于预测模式信息Pinfo，以编码时采用的预测模式进行预测处理，并且参考解码图像作为参考图像来生成预测图像。预测单元518将生成的预测图像提供给计算单元514。

<逆量化逆变换装置的应用>

作为如上所述的图像解码装置500的逆量化逆变换单元513，可以应用上述第一至第三实施方式中描述的逆量化逆变换装置100。即，逆量化逆变换单元513可以具有如图2、图9或图16所示的配置。通过这样做，逆量化逆变换单元513可以在第一至第三实施方式中获得上述效果。即，图像解码装置500可以在其解码处理中在第一至第三实施方式中获得上述效果。

<图像解码处理的流程>

接下来，将参照图23的流程图描述如上所述由图像解码装置500执行的图像解码处理的流程的示例。

当图像解码处理开始时，累积缓冲器511在步骤S501中获取并且保存(累积)从图像解码装置500的外部提供的比特流(编码数据)。

在步骤S502中，解码单元512从比特流中解析(分析并且获取)各种编码参数。控制单元501通过将获取的各种编码参数提供给各种类型的处理单元来设置各种编码参数。

在步骤S503中，控制单元501基于获得的编码参数来设置处理单元。

在步骤S504中，解码单元512根据控制单元501的控制对比特流进行解码以获得系数数据(量化系数水平或残差数据r)。例如，当应用CABAC时，解码单元512在非无损编码模式的情况下使用上下文模型执行算术解码以导出每个变换块中的每个系数位置的量化系数水平。此外，在无损编码模式的情况下，解码单元512以旁路模式对编码数据执行算术解码以导出残差数据D。

在步骤S505中，逆量化逆变换单元513执行逆量化逆变换处理以生成残差数据r(D')。稍后将描述逆量化逆变换处理。

在步骤S506中，预测单元518基于在步骤S502中设定的编码参数等，通过编码侧指定的预测方法进行预测处理，并且参考帧存储器517中存储的参考图像等生成预测图像P。

在步骤S507中，计算单元514将在步骤S505中获得的残差数据D'与在步骤S506中获得的预测图像P相加以导出局部解码图像Rlocal。

在步骤S508中，环路内滤波器单元515对通过步骤S507的处理获得的局部解码图像Rlocal进行环路内滤波处理。

在步骤S509中，重排缓冲器516使用通过步骤S508的处理滤波的局部解码图像Rlocal来导出解码图像R，并且将一组解码图像R从解码顺序重新排列为再现顺序。按再现顺序重新排列的一组解码图像R作为运动图像输出到图像解码装置500的外部。

此外，在步骤S510中，帧存储器517存储通过步骤S507的处理获得的局部解码图像Rlocal以及通过步骤S508的处理滤波的局部解码图像Rlocal中的至少一个。

当步骤S510的处理结束时，图像解码处理结束。

<逆量化逆变换处理的应用>

作为上述图像解码装置500的逆量化逆变换处理(步骤S505)，可以应用上述第一至第三实施方式中描述的逆量化逆变换处理。即，该逆量化逆变换处理可以按照图3、图10或图17所示的流程图所示的流程执行。通过这样做，逆量化逆变换单元513可以获得上述第一至第三实施方式中的效果。即，图像解码装置500能够在图像解码处理中在第一至第三实施方式中获得上述效果。

<6.第五实施方式>

<图像编码装置>

图24是示出作为应用了本技术的图像处理装置的一个方面的图像编码装置的配置示例的框图。图24所示的图像编码装置600是对运动图像的图像数据进行编码的装置。例如，图像编码装置600可以通过诸如上述非专利文献中描述的通用视频编码(VVC)、高级视频编码(AVC)或高效视频编码(HEVC)的编码方法对运动图像的图像数据进行编码。

图24示出了诸如处理单元和数据流的主要部件，并且图24未示出所有部件。即，在图像编码装置600中，可以存在图24中未示出为块的处理单元，或者可以存在图24中未示出为箭头等的处理或数据流。这也适用于示出图像编码装置600中的处理单元等的其他图。

如图24所示，图像编码装置600包括控制单元601、重排缓冲器611、计算单元612、变换量化单元613、编码单元614和累积缓冲器615。此外，图像编码装置600包括逆量化逆变换单元616、计算单元617、环路内滤波器单元618、帧存储器619、预测单元620和速率控制单元621。

<控制单元>

基于外部或预定处理单元的块尺寸，控制单元601将由重排缓冲器611保存的运动图像数据划分为处理单元中的块(CU、PU、TU等)。此外，控制单元601例如基于率失真优化(RDO)来确定要提供给每个块的编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。例如，控制单元601可以设置变换跳过标志等。

稍后将描述这些编码参数的细节。当控制单元601确定了如上所述的编码参数时，控制单元601将这些编码参数提供给每个块。具体如下。

头信息Hinfo被提供给每个块。预测模式信息Pinfo被提供给编码单元614和预测单元620。变换信息Tinfo被提供给编码单元614、变换量化单元613和逆量化逆变换单元616。滤波器信息Finfo被提供给环路内滤波器单元618。

<重排缓冲器>

运动图像数据的每个字段(输入图像)按照其再现(显示)的顺序被输入到图像编码装置600。重排缓冲器611按照其再现(显示)的顺序获取并且保存(存储)每个输入图像。重排缓冲器611基于控制单元601的控制按编码顺序(解码顺序)重新排列输入图像或者将输入图像划分为块。重排缓冲器611将每个处理过的输入图像提供给计算单元612。

<计算单元>

计算单元612从与从重排缓冲器611提供的处理单元中的块对应的图像中减去从预测单元620提供的预测图像P，以导出残差数据D，并且将残差数据D提供给变换量化单元613。

<变换量化单元>

变换量化单元613执行与系数变换和量化相关的处理。例如，变换量化单元613获取从计算单元612提供的残差数据D。在非无损编码模式的情况下，变换量化单元613对残差数据D执行诸如正交变换的系数变换以导出变换系数Coeff。变换量化单元613对变换系数Coeff进行缩放(量化)以导出量化系数水平。变换量化单元613将量化系数水平提供给编码单元614和逆量化逆变换单元616。

变换量化单元613可以跳过(省略)系数变换和量化。在无损编码模式的情况下，变换量化单元613跳过系数变换和量化并且将获取的残差数据D提供给编码单元614和逆量化逆变换单元616。

变换量化单元613根据控制单元601的控制来执行这样的处理。例如，变换量化单元613可以基于从控制单元601提供的预测模式信息Pinfo和变换信息Tinfo来执行这样的处理。此外，由变换量化单元613执行的量化速率由速率控制单元621控制。

<编码单元>

编码单元614接收从变换量化单元613提供的量化系数水平(或残差数据D)、从控制单元601提供的各种编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)、关于滤波器的信息(例如从环路内滤波器单元618提供的滤波器系数)以及从预测单元620提供的关于最佳预测模式的信息作为输入。

例如，编码单元614对量化系数水平或残差数据D执行熵编码(无损编码)，例如基于上下文的自适应二进制算术码(CABAC)或者基于上下文的自适应变长码(CAVLC)，以生成比特串(编码数据)。例如，当应用CABAC时，编码单元614在非无损编码模式下使用上下文模型对量化系数水平执行算术编码以生成编码数据。此外，在无损编码模式下，编码单元614以旁路模式对残差数据D执行算术编码以生成编码数据。

此外，编码单元614根据量化系数水平和残差数据导出残差信息Rinfo，并且对残差信息Rinfo进行编码以生成比特串。

此外，编码单元614在滤波器信息Finfo中包括从环路内滤波器单元618提供的关于滤波器的信息，并且在预测模式信息Pinfo中包括从预测单元620提供的关于最佳预测模式的信息。然后，编码单元614对上述的各种编码参数(头信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)进行编码以生成比特串。

此外，编码单元614复用如上所述生成的各种类型的信息的比特串以生成编码数据。编码单元614将编码数据提供给累积缓冲器615。

<累积缓冲器>

累积缓冲器615临时保存在编码单元614中获得的编码数据。累积缓冲器615在预定定时处将保存的编码数据作为例如比特流等输出到图像编码装置600的外部。例如，该编码数据经由任意记录介质、任意传输介质、任意信息处理装置等被发送到解码侧。即，累积缓冲器615也是传输编码数据(比特流)的传输单元。

<逆量化逆变换单元>

逆量化逆变换单元616执行与逆量化和逆系数变换相关的处理。例如，在非无损编码模式中，逆量化逆变换单元616接收从变换量化单元613提供的量化系数水平以及从控制单元601提供的变换信息Tinfo作为输入。逆量化逆变换单元616基于变换信息Tinfo对量化系数水平的值进行缩放(逆量化)以导出变换系数Coeff。该逆量化是在变换量化单元613中执行的量化的逆处理。此外，逆量化逆变换单元616基于变换信息Tinfo对变换系数Coeff执行逆系数变换(例如逆正交变换)以导出残差数据D'。该逆系数变换是在变换量化单元613中执行的系数变换的逆处理。逆量化逆变换单元616将导出的残差数据D'提供给计算单元617。

逆量化逆变换单元616可以跳过(省略)逆量化和逆系数变换。例如，当应用无损编码模式时，逆量化逆变换单元616接收从变换量化单元613提供的残差数据D以及从控制单元601提供的变换信息Tinfo作为输入。逆量化逆变换单元616跳过逆量化和逆系数变换并且将残差数据D(作为残差数据D')提供给计算单元617。

由于逆量化逆变换单元616与解码侧的逆量化逆变换单元(将在后面描述)相同，所以关于解码侧(将在后面描述)的描述可以应用于逆量化逆变换单元616。

<计算单元>

计算单元617接收从逆量化逆变换单元616提供的残差数据D'以及从预测单元620提供的预测图像P作为输入。计算单元617将残差数据D'与和残差数据D'对应的预测图像相加以导出局部解码图像。计算单元617将导出的局部解码图像提供给环路内滤波器单元618和帧存储器619。

<环路内滤波器单元>

环路内滤波器单元618执行与环路内滤波处理相关的处理。例如，环路内滤波器单元618接收从计算单元617提供的局部解码图像、从控制单元601提供的滤波器信息Finfo以及从重排缓冲器611提供的输入图像(原始图像)作为输入。输入到环路内滤波器单元618的信息是任意的，并且可以输入除该信息之外的信息。例如，可以根据需要将预测模式、运动信息、代码量目标值、量化参数QP、图片类型、块(CU、CTU等)信息等输入到环路内滤波器单元618。

环路内滤波器单元618基于滤波器信息Finfo适当地对局部解码图像进行滤波。环路内滤波器单元618还根据需要使用输入图像(原始图像)和其他输入信息进行滤波处理。

例如，环路内滤波器单元618可以以如下顺序应用四个环路内滤波器：双边滤波器、去块滤波器(DBF)、自适应偏移滤波器(样本自适应偏移(SAO))和自适应环路滤波器(ALF)。应用哪个滤波器以及应用哪个顺序是任意的并且可以适当地选择。

当然，由环路内滤波器单元618执行的滤波处理是任意的，并且不限于上述示例。例如，环路内滤波器单元618可以应用维纳滤波器等。

环路内滤波器单元618将经滤波的局部解码图像提供给帧存储器619。当关于滤波器的信息例如滤波器系数被发送到解码侧时，环路内滤波器单元618将关于滤波器的信息提供给编码单元614。

<帧存储器>

帧存储器619执行与关于图像的数据的存储相关的处理。例如，帧存储器619接收从计算单元617提供的局部解码图像以及从环路内滤波器单元618提供的经滤波的局部解码图像作为输入并且保存(存储)它们。此外，帧存储器619使用局部解码图像针对每个图片单元重建解码图像并且保存解码图像(将解码图像存储在帧存储器619中的缓冲器中)。响应于预测单元620的请求，帧存储器619将解码图像(或其一部分)提供给预测单元620。

<预测单元>

预测单元620执行与预测图像的生成相关的处理。例如，预测单元620接收从控制单元601提供的预测模式信息Pinfo、从重排缓冲器611提供的输入图像(原始图像)以及从帧存储器619读取的解码图像(或其一部分)作为输入。预测单元620使用预测模式信息Pinfo和输入图像(原始图像)执行诸如帧间预测或帧内预测的预测处理，通过参考解码图像作为参考图像来执行预测，并且基于预测结果执行运动补偿处理以生成预测图像。预测单元620将生成的预测图像提供给计算单元612和计算单元617。此外，预测单元620根据需要将关于通过上述处理选择的预测模式即最佳预测模式的信息提供给编码单元614。

<速率控制单元>

速率控制单元621执行与速率控制相关的处理。例如，速率控制单元621基于存储在累积缓冲器615中的编码数据的代码量来控制变换量化单元613的量化操作的速率，使得不发生上溢或下溢。

<变换量化装置的应用>

作为如上所述的图像编码装置600的变换量化单元613，可以应用在第一至第三实施方式中描述的变换量化装置200。即，变换量化单元613可以具有如图7、图14或图20所示的配置。通过这样做，变换量化单元613可以在第一至第三实施方式中获得上述效果。即，图像编码装置600可以在解码处理中在第一至第三实施方式中获得上述效果。

<图像编码处理的流程>

将参照图25的流程图描述由图像编码装置600执行的图像编码处理的流程的示例。

当图像编码处理开始时，在步骤S601中，重排缓冲器611由控制单元601控制以将输入运动图像数据的帧的顺序从显示顺序重新排列为编码顺序。

在步骤S602中，控制单元601针对重排缓冲器611中保存的输入图像确定(设置)编码参数。

在步骤S603中，控制单元601针对重排缓冲器611中保存的输入图像设置处理单元(执行块分割)。

在步骤S604中，预测单元620执行预测处理以在最佳预测模式下生成预测图像等。例如，在该预测处理中，预测单元620可以执行帧内预测以在最佳帧内预测模式下生成预测图像等，执行帧间预测以在最佳帧间预测模式下生成预测图像等，并且根据成本函数值等在最佳帧内预测模式与最佳帧间预测模式之间选择最佳预测模式。

在步骤S605中，计算单元612计算输入图像与通过步骤S604中的预测处理选择的最佳模式下的预测图像之间的差。即，计算单元612生成输入图像与预测图像之间的残差数据D。以这种方式获得的残差数据D的量小于原始图像数据的量。因此，与对图像原样编码的情况相比，可以压缩数据量。

在步骤S606中，变换量化单元613根据在步骤S601中生成的变换模式信息，对通过步骤S605的处理生成的残差数据D执行变换量化处理。

在步骤S607中，逆量化逆变换单元616执行逆量化逆变换处理。该逆量化逆变换处理是步骤S606的变换量化处理的逆处理，并且在上述图像解码装置500中也执行同样的处理。因此，当描述解码侧(图像解码装置500)时给出该逆量化逆变换处理的描述。此外，该描述可以应用于该逆量化逆变换处理(步骤S607)。通过该处理，逆量化逆变换单元616对输入系数数据(量化系数水平或残差数据r(D))适当地执行逆量化和逆系数变换以生成残差数据D'。

在步骤S608中，计算单元617通过将通过步骤S604的预测处理获得的预测图像与通过步骤S607的逆量化逆变换处理获得的残差数据D'相加来生成局部解码图像。

在步骤S609中，环路内滤波器单元618对通过步骤S608的处理导出的局部解码图像执行环路内滤波处理。

在步骤S610中，帧存储器619存储通过步骤S608的处理而导出的局部解码图像以及在步骤S609中滤波的局部解码图像。

在步骤S611中，编码单元614对通过步骤S606的变换量化处理获得的量化系数水平或残差数据D进行编码以生成编码数据。此时，编码单元614对各种编码参数(头信息Hinfo、预测模式信息Pinfo、和变换信息Tinfo)进行编码。此外，编码单元614根据量化系数水平和残差数据D导出残差信息RInfo，并且对残差信息RInfo进行编码。

在步骤S612中，累积缓冲器615累积以这种方式获得的编码数据，并且将该编码数据作为例如比特流输出到图像编码装置600的外部。该比特流经由例如传输路径或记录介质传输到解码侧。此外，速率控制单元621根据需要执行速率控制。当步骤S612的处理结束时，图像编码处理结束。

<变换量化处理的应用>

作为如上所述的图像编码装置600的变换量化处理(步骤S606)，可以应用第一至第三实施方式中的上述逆量化逆变换处理。即，该逆量化逆变换处理可以按照图8、图15或图21所示的流程图所示的流程执行。通过这样做，变换量化单元613可以在第一至第三实施方式中获得上述效果。即，图像编码装置600可以在图像编码处理中在第一至第三实施方式中获得上述效果。

<7.补充>

<计算机>

上述一系列处理可以通过硬件或软件来执行。在一系列处理通过软件执行的情况下，配置软件的程序被安装在计算机上。这里，计算机可以包括例如内置于专用硬件中的计算机、安装了各种程序以执行各种功能的通用个人计算机等。

图26是示出根据程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在图26所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803经由总线804相互连接。

输入/输出接口810也连接到总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接到输入/输出接口810。

输入单元811可以包括例如键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元812可以包括例如显示器、扬声器、输出端子等。存储单元813可以包括例如硬盘、RAM盘、非易失性存储器等。通信单元814可以包括例如网络接口。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质821。

在具有上述配置的计算机中，例如，CPU 801通过经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803并且执行程序来执行上述一系列处理。在RAM 803中，还适当地存储了CPU801执行各种类型的处理等所需的数据。

由计算机执行的程序可以通过记录在例如作为封装介质等的可移动介质821上来应用。在这种情况下，可以通过将可移动介质821插入驱动器815中，经由输入/输出接口810将程序安装在存储单元813中。

此外，还可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供该程序。在这种情况下，程序可以由通信单元814接收并且安装在存储单元813中。

此外，该程序可以被预先安装在ROM 802或存储单元813中。

<现有技术的应用对象>

本技术可以应用于任何图像编码/解码方法。即，与图像编码/解码相关的各种类型的处理例如变换(逆变换)、量化(逆量化)、编码(解码)和预测的规范是任意的，只要它不与上述本技术相矛盾即可，并且不限于上述示例。此外，可以省略一些处理，只要它们不与上述本技术相矛盾即可。

此外，本技术可以应用于对包括多个视点(视图)的图像的多视点图像进行编码/解码的多视点图像编码/解码系统。在这种情况下，本技术可以应用于每个视点(视图)的编码/解码。

此外，本技术可以应用于对多层(分层)的分层图像进行编码/解码以具有针对预定参数的可伸缩性功能的分层图像编码(可伸缩编码)/解码系统。在这种情况下，本技术可以应用于每一层的编码/解码。

尽管已经将逆量化逆变换装置100、变换量化装置200、图像解码装置500和图像编码装置600作为本技术的应用示例在上面进行了描述，但是本技术可以应用于任意配置。

例如，本技术可以应用于各种电子装置，例如用于卫星广播的发射器或接收器(例如，电视接收器或移动电话)、诸如有线电视的有线广播、互联网上的分发、通过蜂窝通信向终端的分发等、在诸如光盘、磁盘和闪存之类的介质上记录图像并且从这些存储介质等再现图像的装置(例如，硬盘记录器和摄像装置)。

此外，例如，本技术可以被实现为下述装置的配置的一部分，例如作为系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者其他功能被添加到单元的集合(例如，视频集合)。

此外，本技术可以应用于例如由多个装置组成的网络系统。例如，本技术可以被实现为用于经由网络在多个装置中以共享或联合方式执行处理的云计算。例如，本技术可以在用于向任意终端例如计算机、视听(AV)装置、便携式信息处理终端和IoT(物联网)装置提供与图像(运动图像)相关的服务的云服务中实现.

在本说明书中，系统是指多个部件(装置、模块(部件)等)的集合，并且所有部件是否都在同一外壳中无关紧要。因此，容纳在不同外壳中并且经由网络连接的多个装置以及其中多个模块被容纳在一个外壳中的一个装置都是系统。

<本技术适用的领域和应用>

应用本技术的系统、装置、处理单元等可以用于任何领域，例如运输、医疗、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气和自然监测。此外，其用途是任意的。

例如，本技术可以应用于用于提供供欣赏的内容等的系统和装置。此外，本技术还可以应用于例如交通状况监视和自动驾驶控制等用于交通的系统和装置。此外，本技术还可以应用于例如用于安全的系统和装置。此外，本技术可以应用于例如用于机器等的自动控制的系统和装置。此外，本技术还可以应用于例如用于农业和畜牧业的系统和装置。此外，本技术还可以应用于例如用于监测诸如火山、森林、海洋和野生动物的自然条件的系统和装置。此外，本技术还可以应用于例如用于运动的系统和装置。

<其他>

在本说明书中，“标志”是用于识别多个状态的信息，不仅包括用于识别真(1)或假(0)这两个状态的信息，还包括能够识别三个或更多个状态的信息。因此，“标志”可以取的值可以是例如1和0的2个值，或者是3个或更多个值。即，构成“标志”的位数是任意的，可以是1位或者可以是多位。此外，假设识别信息(包括标志)不仅具有该识别信息被包括在比特流中的形式，而且具有该识别信息相对于特定参考信息的差异信息被包括在比特流中的形式。因此，在本说明书中，“标志”和“识别信息”不仅包括该信息，还包括相对于参考信息的差异信息。

此外，与编码数据(比特流)相关的各种类型的信息(元数据等)可以以任何形式传输或记录，只要它们与编码数据相关联即可。这里，术语“关联”意味着，例如，当处理一条信息时使其他信息可用(可链接)。即，彼此相关联的多条数据可以组合为一条数据，或者可以是单独的数据。例如，与编码数据(图像)相关联的信息可以通过与该编码数据(图像)的传输路径不同的传输路径传输。此外，例如，与编码数据(图像)相关联的信息可以被记录在与该编码数据(图像)不同的记录介质(或同一记录介质的另一记录区域)上。这种“关联”可以不仅是整个数据，也可以是数据的一部分。例如，图像和与该图像对应的信息可以以任意单位例如多帧、一帧或帧内的一部分彼此相关联。

同时，在本说明书中，诸如“合成”、“复用”、“添加”、“整合”、“包含”、“存储”、“放入”、“封闭”和“插入”之类的术语可以意味着例如将多个对象合二为一，例如将编码数据与元数据组合为一条数据，并且表示上述“关联”的一种方法。

此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。

例如，描述为一个装置(或一个处理单元)的配置可以被划分以被配置为多个装置(或处理单元)。相反，在以上说明书中被描述为多个装置(或处理单元)的配置可以被共同配置为一个装置(或一个处理单元)。此外，除了上述配置之外的配置可以被添加到每个装置(或每个处理单元)的配置中。此外，某个装置(或处理单元)的一部分配置可以被包含在另一装置(或另一处理单元)的配置中，只要该配置或操作与整个系统基本相同即可。

此外，例如可以在任意装置中执行上述程序。在这种情况下，装置可以具有能够获得必要信息的必要功能(功能块等)。

此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置以共享方式执行。此外，当一个步骤中包括多个处理时，多个处理可以由一个装置执行，或者可以由多个装置以共享方式执行。换言之，可以将一个步骤中包括的多个类型的处理作为多个步骤的处理来执行。相反，被描述为多个步骤的处理可以作为单个步骤共同执行。

另外，对于由计算机执行的程序，例如，描述该程序的步骤的各种类型的处理可以根据本说明书中描述的顺序按时间顺序执行，或者可以在必要的定时处，例如响应于调用来并行或单独执行。即，只要不产生矛盾，可以按照与上述顺序不同的顺序执行各步骤的处理。此外，描述程序的步骤的处理可以与另一个程序的处理并行执行或者可以与另一个程序的处理结合执行。

此外，例如，只要不出现矛盾，与本技术相关的多个技术可以独立实现。当然，可以组合实现任意数目的本技术。例如，任一实施方式中描述的本技术的部分或全部可以与另一实施方式中描述的本技术的部分或全部结合实现。此外，上述本技术中的任何一个的部分或全部可以与以上未描述的其他技术相结合来实现。

同时，本技术还可以采用以下配置。

(1)一种图像处理装置，包括：

逆量化单元，其使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化；以及

逆变换单元，其在不应用所述变换跳过时，对通过所述逆量化单元的逆量化生成的变换系数执行逆系数变换，以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且在应用所述变换跳过时，跳过所述逆系数变换。

(2)根据(1)所述的图像处理装置，其中，所述逆量化单元在所述逆量化中应用逆相关量化，并且当不应用所述变换跳过时，校正所述量化参数，并且使用经校正的量化参数执行所述逆量化。

(3)根据(1)所述的图像处理装置，还包括逆量化归一化单元，其基于所述变换系数的符号来设置舍入偏移的符号，并且使用所述舍入偏移对所述变换系数进行归一化，

其中，当不应用所述变换跳过时，所述逆变换单元对由所述逆量化归一化单元归一化的变换系数执行所述逆系数变换。

(4)根据(1)所述的图像处理装置，还包括逆变换归一化单元，其在不应用所述变换跳过时，基于所述预测残差的符号来设置舍入偏移的符号，并且使用所述舍入偏移对所述预测残差进行归一化，并且在应用所述变换跳过时，基于所述变换系数的符号来设置所述舍入偏移的符号，并且使用所述舍入偏移对所述变换系数进行归一化。

(5)一种图像处理方法，包括：

使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化；以及

当不应用所述变换跳过时，对通过所述逆量化生成的变换系数执行逆系数变换，以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且当应用所述变换跳过时，跳过所述逆系数变换。

(6)一种图像处理装置，包括：

变换单元，其在不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用所述变换跳过时，跳过所述系数变换；以及

量化单元，其使用取决于是否应用所述变换跳过的量化参数对所述变换系数执行量化。

(7)一种图像处理方法，包括：

当不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且当应用所述变换跳过时，跳过所述系数变换；以及

使用取决于是否应用所述变换跳过的量化参数对所述变换系数执行量化。

(8)一种图像处理装置，包括：

逆量化单元，其对量化系数执行逆量化；

逆量化归一化单元，其使用取决于是否应用变换跳过的缩放参数对由所述逆量化单元的逆量化生成的变换系数进行归一化；以及

逆变换单元，其在不应用所述变换跳过时，对由所述逆量化归一化单元归一化的变换系数执行逆系数变换以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且在应用所述变换跳过时，跳过所述逆系数变换。

(9)根据(8)所述的图像处理装置，其中，所述逆量化归一化单元当不应用所述变换跳过时，使用不反映所述变换跳过中的解压缩处理的缩放参数对所述变换系数进行归一化，并且在应用所述变换跳过时，使用反映所述解压缩处理的缩放参数对所述变换系数进行归一化，并且

其中，所述逆变换单元在不应用所述变换跳过时，对由所述逆量化归一化单元使用不反映所述解压缩处理的缩放参数进行归一化的变换系数执行所述逆系数变换，并且在应用所述变换跳过时，在不执行所述解压缩处理的情况下跳过所述逆系数变换。

(10)根据(9)所述的图像处理装置，其中，当应用所述变换跳过时，所述逆量化归一化单元将基于所述缩放参数的变换块尺寸确定的分量设置为“0”。

(11)根据(9)所述的图像处理装置，其中，当应用所述变换跳过时，所述逆量化归一化单元将基于所述缩放参数的变换块尺寸确定的分量设置为根据量化矩阵的值。

(12)根据(11)所述的图像处理装置，其中，根据所述量化矩阵的值是“-4”。

(13)根据(8)所述的图像处理装置，还包括逆变换归一化单元，其在不应用所述变换跳过时，对所述预测残差进行归一化，

其中，当应用所述变换跳过时，所述逆量化归一化单元使用反映由所述逆变换归一化单元执行的对所述预测残差的归一化处理的缩放参数对所述变换系数进行归一化。

(14)根据(13)所述的图像处理装置，其中，当应用所述变换跳过时，所述逆量化归一化单元使用包括根据逆量化和缩放列表的值以及根据逆相关量化的应用的值的缩放参数对所述变换系数进行归一化。

(15)根据(14)的图像处理装置，其中，根据逆量化和所述缩放列表的值是“10”。

(16)一种图像处理方法，包括：

对量化系数执行逆量化；

使用取决于是否应用变换跳过的缩放参数对通过所述逆量化生成的变换系数进行归一化；以及

当不应用所述变换跳过时，对经归一化的变换系数执行逆系数变换以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且在应用所述变换跳过时，跳过所述逆系数变换。

(17)一种图像处理装置，包括：

变换单元，其在不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用所述变换跳过时，跳过所述系数变换；

量化单元，其在不应用所述变换跳过时，对所述变换系数执行量化，并且在应用所述变换跳过时，对所述预测残差执行量化；以及

量化归一化单元，其使用取决于是否应用所述变换跳过的缩放参数对由所述量化单元的量化生成的量化系数进行归一化。

(18)根据(17)所述的图像处理装置，其中，所述变换单元在不应用所述变换跳过时，对所述预测残差执行所述系数变换，并且在应用所述变换跳过时，跳过所述系数变换而不执行解压缩处理，并且

其中，所述量化归一化单元在不应用所述变换跳过时，使用不反映所述变换跳过中的解压缩处理的缩放参数对所述量化系数进行归一化，并且在应用所述变换跳过时，使用反映所述解压缩处理的缩放参数对所述量化系数进行归一化。

(19)根据(17)所述的图像处理装置，还包括变换归一化单元，其在不应用所述变换跳过时，对所述变换系数进行归一化，

其中，当应用所述变换跳过时，所述量化归一化单元使用反映由所述变换归一化单元执行的对所述变换系数的归一化处理的缩放参数对所述量化系数进行归一化。

(20)一种图像处理方法，包括：

在不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用所述变换跳过时，跳过所述系数变换；

当不应用所述变换跳过时，对所述变换系数执行量化，并且当应用所述变换跳过时，对所述预测残差执行量化；以及

使用取决于是否应用所述变换跳过的缩放参数对通过所述所述量化生成的量化系数进行归一化。

[附图标记列表]

100 逆量化逆变换装置

101 逆量化单元

102 逆变换单元

111 逆量化处理单元

112 归一化单元

121 选择单元

122 逆变换处理单元

123 选择单元

124 归一化单元

125 解压缩处理单元

200 变换量化装置

201 变换单元

202 量化单元

211 选择单元

212 变换处理单元

213 选择单元

214 归一化单元

215 解压缩处理单元

221 量化处理单元

222 归一化单元

500 图像解码装置

513 逆量化逆变换单元

600 图像编码装置

613 变换量化单元

616 逆量化逆变换单元。

Claims (20)

1.一种图像处理装置，包括：

逆量化单元，其使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化；以及

逆变换单元，其在不应用所述变换跳过时，对通过所述逆量化单元的逆量化生成的变换系数执行逆系数变换，以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且在应用所述变换跳过时，跳过所述逆系数变换。

2.根据权利要求1所述的图像处理装置，其中，所述逆量化单元在所述逆量化中应用逆相关量化，并且当不应用所述变换跳过时，校正所述量化参数，并且使用经校正的量化参数执行所述逆量化。

3.根据权利要求1所述的图像处理装置，还包括逆量化归一化单元，其基于所述变换系数的符号来设置舍入偏移的符号，并且使用所述舍入偏移对所述变换系数进行归一化，

其中，当不应用所述变换跳过时，所述逆变换单元对由所述逆量化归一化单元归一化的变换系数执行所述逆系数变换。

4.根据权利要求1所述的图像处理装置，还包括逆变换归一化单元，其在不应用所述变换跳过时，基于所述预测残差的符号来设置舍入偏移的符号，并且使用所述舍入偏移对所述预测残差进行归一化，并且在应用所述变换跳过时，基于所述变换系数的符号来设置所述舍入偏移的符号，并且使用所述舍入偏移对所述变换系数进行归一化。

5.一种图像处理方法，包括：

使用取决于是否应用变换跳过的量化参数对量化系数执行逆量化；以及

当不应用所述变换跳过时，对通过所述逆量化生成的变换系数执行逆系数变换，以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且当应用所述变换跳过时，跳过所述逆系数变换。

6.一种图像处理装置，包括：

变换单元，其在不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用所述变换跳过时，跳过所述系数变换；以及

量化单元，其使用取决于是否应用所述变换跳过的量化参数对所述变换系数执行量化。

7.一种图像处理方法，包括：

当不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且当应用所述变换跳过时，跳过所述系数变换；以及

使用取决于是否应用所述变换跳过的量化参数对所述变换系数执行量化。

8.一种图像处理装置，包括：

逆量化单元，其对量化系数执行逆量化；

逆量化归一化单元，其使用取决于是否应用变换跳过的缩放参数对由所述逆量化单元的逆量化生成的变换系数进行归一化；以及

逆变换单元，其在不应用所述变换跳过时，对由所述逆量化归一化单元归一化的变换系数执行逆系数变换以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且在应用所述变换跳过时，跳过所述逆系数变换。

9.根据权利要求8所述的图像处理装置，其中，所述逆量化归一化单元当不应用所述变换跳过时，使用不反映所述变换跳过中的解压缩处理的缩放参数对所述变换系数进行归一化，并且在应用所述变换跳过时，使用反映所述解压缩处理的缩放参数对所述变换系数进行归一化，并且

其中，所述逆变换单元在不应用所述变换跳过时，对由所述逆量化归一化单元使用不反映所述解压缩处理的缩放参数进行归一化的变换系数执行所述逆系数变换，并且在应用所述变换跳过时，在不执行所述解压缩处理的情况下跳过所述逆系数变换。

10.根据权利要求9所述的图像处理装置，其中，当应用所述变换跳过时，所述逆量化归一化单元将基于所述缩放参数的变换块尺寸确定的分量设置为“0”。

11.根据权利要求9所述的图像处理装置，其中，当应用所述变换跳过时，所述逆量化归一化单元将基于所述缩放参数的变换块尺寸确定的分量设置为根据量化矩阵的值。

12.根据权利要求11所述的图像处理装置，其中，根据所述量化矩阵的值是“-4”。

13.根据权利要求8所述的图像处理装置，还包括逆变换归一化单元，其在不应用所述变换跳过时，对所述预测残差进行归一化，

其中，当应用所述变换跳过时，所述逆量化归一化单元使用反映由所述逆变换归一化单元执行的对所述预测残差的归一化处理的缩放参数对所述变换系数进行归一化。

14.根据权利要求13所述的图像处理装置，其中，当应用所述变换跳过时，所述逆量化归一化单元使用包括根据逆量化和缩放列表的值以及根据逆相关量化的应用的值的缩放参数对所述变换系数进行归一化。

15.根据权利要求14所述的图像处理装置，其中，根据逆量化和所述缩放列表的值是“10”。

16.一种图像处理方法，包括：

对量化系数执行逆量化；

使用取决于是否应用变换跳过的缩放参数对通过所述逆量化生成的变换系数进行归一化；以及

当不应用所述变换跳过时，对经归一化的变换系数执行逆系数变换以生成作为图像与所述图像的预测图像之间的残差的预测残差，并且在应用所述变换跳过时，跳过所述逆系数变换。

17.一种图像处理装置，包括：

变换单元，其在不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用所述变换跳过时，跳过所述系数变换；

量化单元，其在不应用所述变换跳过时，对所述变换系数执行量化，并且在应用所述变换跳过时，对所述预测残差执行量化；以及

量化归一化单元，其使用取决于是否应用所述变换跳过的缩放参数对由所述量化单元的量化生成的量化系数进行归一化。

18.根据权利要求17所述的图像处理装置，其中，所述变换单元在不应用所述变换跳过时，对所述预测残差执行所述系数变换，并且在应用所述变换跳过时，跳过所述系数变换而不执行解压缩处理，并且

其中，所述量化归一化单元在不应用所述变换跳过时，使用不反映所述变换跳过中的解压缩处理的缩放参数对所述量化系数进行归一化，并且在应用所述变换跳过时，使用反映所述解压缩处理的缩放参数对所述量化系数进行归一化。

19.根据权利要求17所述的图像处理装置，还包括变换归一化单元，其在不应用所述变换跳过时，对所述变换系数进行归一化，

其中，当应用所述变换跳过时，所述量化归一化单元使用反映由所述变换归一化单元执行的对所述变换系数的归一化处理的缩放参数对所述量化系数进行归一化。

20.一种图像处理方法，包括：

在不应用变换跳过时，对作为图像与所述图像的预测图像之间的残差的预测残差执行系数变换以生成变换系数，并且在应用所述变换跳过时，跳过所述系数变换；

当不应用所述变换跳过时，对所述变换系数执行量化，并且当应用所述变换跳过时，对所述预测残差执行量化；以及

使用取决于是否应用所述变换跳过的缩放参数对通过所述所述量化生成的量化系数进行归一化。

Images