CN114762327A - 图像处理装置和方法 - Google Patents

Abstract

本公开涉及一种使得可以限制编码负荷增加的图像处理装置和方法。通过将引起非联合色差编码模式中的最小编码成本的转换类型设置为联合色差编码模式中的转换类型，得出联合色差编码模式中的编码成本，来设置用于对图像进行编码的编码模式。本公开内容可以应用于例如图像处理装置、图像编码装置、信息处理装置、电子设备、图像处理方法、信息处理方法等。

Description

图像处理装置和方法

技术领域

本公开内容涉及图像处理装置和方法，并且具体地，涉及能够抑制编码负荷增加的图像处理装置和方法。

背景技术

过去，已经提出了用于得出运动图像的预测残差、执行系数变换、进行量化和编码的编码方法(例如，参见非专利文献1和非专利文献2)。在非专利文献1中描述的通用视频编码(VVC)工作草案中，可以应用色差变换跳过，而不管联合色差编码模式(联合CbCr模式)。同时，在非专利文献2中描述的VVC VTM软件的实现方式中，色差变换跳过的应用在联合色差编码模式中受到限制。

在如非专利文献2中描述的在联合色差编码模式中限制色差变换跳过的应用的情况下，在联合色差编码模式中用信号通知变换跳过标志是不必要的。即，由于在联合色差编码模式中用信号通知变换跳过标志，编码量可能不必要地增加，并且编码效率可能降低。即，存在编码效率降低的可能性。相比之下，在非专利文献1中描述的方法的情况下，色差变换跳过的应用在联合色差编码模式中不受到限制，并且因此抑制了由于变换跳过标志的冗余而引起的编码效率的降低。

引用列表

非专利文献

非专利文献1：Benjamin Bross，Jianle Chen，Shan Liu,Ye-Kui Wang，“通用视频编码(草案7)(Versatile Video Coding(Draft 7))”，JVET-P2001-vE，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第十六次会议：日内瓦，瑞士，2019年10月1日-11日。

非专利文献2：Jianle Chen，Yan Ye，Seung Hwan Kim，“通用视频编码的算法描述和测试模型7(VTM 7)(Algorithm description for Versatile Video Coding and TestModel 7(VTM 7))”，JVET-P2002-v1，ITU-T SG 16WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频专家组(JVET)第十六次会议：日内瓦，瑞士，2019年10月1日-11日。

发明内容

发明要解决的问题

然而，在非专利文献1中描述的方法的情况下，有必要评估对联合色差编码模式应用变换跳过的情况和不应用变换跳过的两种情况。因此，编码复杂度可能增加，并且编码负荷可能增加。

本公开内容鉴于前述内容做出，并且旨在使得能够抑制编码负荷的增加。

问题的解决方案

根据本技术的一个方面的图像处理装置是如下的图像处理装置，该图像处理装置包括：编码模式设置单元，被配置成：通过将非联合色差编码模式中的具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出联合色差编码模式中的编码成本，来设置对图像进行编码的编码模式。

根据本技术的一个方面的图像处理方法是如下的图像处理方法，该图像处理方法包括：通过将非联合色差编码模式中的具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出联合色差编码模式中的编码成本，来设置对图像进行编码的编码模式。

在根据本技术的一个方面的图像处理装置和图像处理方法中，通过将非联合色差编码模式中的具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出联合色差编码模式中的编码成本，来设置对图像进行编码的编码模式。

附图说明

图1是用于描述变换跳过标志的设置的图。

图2是示出设置变换跳过标志以得出编码成本的示例的图。

图3是示出图像编码装置的主要配置示例的框图。

图4是示出图像编码处理的流程的示例的流程图。

图5是示出编码模式设置处理的流程的示例的流程图。

图6是图5之后的流程图，示出了编码模式设置处理的流程的示例。

图7是示出图像解码装置的主要配置示例的框图。

图8是示出图像解码处理的流程的示例的流程图。

图9是示出计算机的主要配置示例的框图。

具体实施方式

在下文中，将描述用于实现本公开内容的模式(在下文中被称为“实施方式”)。注意，将按以下顺序给出描述。

1.编码模式的设置

2.第一实施方式(图像编码装置)

3.第二实施方式(图像解码装置)

4.补充

<1.编码模式的设置>

<支持技术内容和技术术语等的文献>

本技术中公开的范围不仅包括实施方式中描述的内容，而且还包括在提交申请时已知的以下非专利文献等中描述的内容以及以下非专利文献中参考的其他文献的内容。

非专利文献1：(以上所述)

非专利文献2：(以上所述)

非专利文献3：ITU-T H.264建议书(04/2017)“用于通用视听服务的先进视频编码(Advanced video coding for generic audiovisual services)”，2017年4月

非专利文献4：ITU-T H.265建议书(02/18)“高效视频编码(High efficiencyvideo coding)”，2018年2月

即，以上非专利文献中描述的内容可以用作用于确定支持要求的基础。例如，即使在示例中未直接描述以上非专利文献中描述的四叉树块结构和四叉树加二叉树(QTBT)块结构，这些内容也落入本技术的公开内容范围内，并且满足权利要求的支持要求。此外，例如，即使在示例中未直接描述诸如解析、语法和语义的技术术语的情况下，这些技术术语也类似地落入本技术的公开内容范围内，并且满足权利要求的支持要求。

此外，在本说明书中，除非另有指定，否则用于描述为图像(图片)的部分区域或处理单元的“块”(不是指示处理单元的块)指示图片中的任意部分区域，并且块的大小、形状、特性等不受限制。例如，“块”包括诸如在以上非专利文献中描述的变换块(TB)、变换单元(TU)、预测块(PB)、预测单元(PU)、最小编码单元(SCU)、编码单元(CU)、最大编码单元(LCU)、编码树块(CTB)、编码树单元(CTU)、子块、宏块、图块、或切片的任意部分区域(处理单元)。

此外，在指定这样的块的大小时，不仅直接指定块大小，而且还可以间接指定块大小。例如，可以使用用于标识大小的标识信息来指定块大小。此外，例如，可以通过与参考块(例如，LCU、SCU等)的大小的比率或差来指定块大小。例如，在将用于指定块大小的信息作为语法元素等进行发送的情况下，可以使用如上所述的用于间接指定大小的信息作为该信息。通过该配置，可以减少信息量，并且在一些情况下可以提高编码效率。此外，块大小的指定还包括块大小的范围的指定(例如，可允许的块大小的范围的指定等)。

此外，在本说明书中，编码不仅包括将图像变换为比特流的整个处理，而且还包括该处理的一部分。例如，编码不仅包括包含预测处理、正交变换、量化、算术编码等的处理，而且还包括被统称为量化和算术编码的处理，包含预测处理、量化和算术编码的处理等。类似地，解码不仅包括将比特流变换为图像的整个处理，而且还包括该处理的一部分。例如，解码不仅包括包含逆算术解码、逆量化、逆正交变换、预测处理等的处理，而且还包括包含逆算术解码和逆量化的处理，包含逆算术解码、逆量化和预测处理的处理等。

<联合色差编码模式和变换跳过>

在非专利文献1或非专利文献2中描述的通用视频编码(VVC)中，定义了变换跳过标志(transform_skip_flag)，该变换跳过标志是指示是否应用变换跳过的标志信息，该变换跳过是用于跳过(省略)正交变换的模式。图1的A示出了与色差分量Cb相关的变换跳过标志的语法的示例。图1的B示出了与色差分量Cr相关的变换跳过标志的语法的示例。

此外，在非专利文献1或非专利文献2中描述的VVC中，准备了联合色差编码模式(联合CbCr模式)，该联合色差编码模式是用于将Cb和Cr两者的残差样本编码为单个变换块的模式。换言之，联合色差编码模式是用于对正交变换系数进行编码的模式，从该正交变换系数可以得出Cb和Cr两者的残差。例如，在联合色差编码模式中，对Cb的系数编码。然后，在解码时，使用Cb的解码系数得出Cr的系数。通过这样做，可以期望编码效率的改进。

<编码模式的设置中的负荷增加>

顺便提及，在非专利文献2中描述的VVC VTM软件的实现方式中，应用于色差的变换类型在联合色差编码模式中受到限制。其示例在图1的C中示出。tu_joint_cbcr_residual_flag是指示是否应用联合色差编码模式的标志信息。tu_joint_cbcr_residual_flag＝1的情况指示应用联合色差编码模式。tu_joint_cbcr_residual_flag＝0的情况指示不应用联合色差编码模式(也称为非联合色差编码模式)。

如图1的C所示，在非联合色差编码模式的情况下，可应用的变换类型是离散余弦变换2(DCT2)和变换跳过(TS)。相比之下，在联合色差编码模式的情况下，可应用的变换类型仅是DCT2。当以这种方式限制变换跳过的应用时，在联合色差编码模式中用信号通知变换跳过标志是不必要的。即，由于在联合色差编码模式中用信号通知变换跳过标志，编码量可能不必要地增加，并且编码效率可能降低。

相比之下，在非专利文献1中描述的通用视频编码(VVC)工作草案中，可以应用色差变换跳过而不管联合色差编码模式(联合CbCr模式)。其示例在图1的D中示出。如图1的D所示，在这种情况下，可以应用DCT2和变换跳过，而不管联合色差编码模式。因此，与非专利文献2中描述的方法相比，可以抑制由于变换跳过标志的冗余而引起的编码效率的降低。

然而，在非专利文献1或非专利文献2中描述的VVC中，准备了多个编码模式，并且从编码模式中选择并应用具有最低编码成本的编码模式。即，在非专利文献1中描述的方法的情况下，有必要评估在编码时针对联合色差编码模式和非联合色差编码模式中的每一个应用变换跳过的情况和不应用变换跳过的情况两者的编码成本。因此，编码复杂度可能增加，并且编码负荷可能增加。

<变换类型设置的转移>

因此，当设置编码模式时，将非联合色差编码模式中具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且获得联合色差编码模式中的编码成本。此处，如上所述，变换类型可以是DCT2或变换跳过。在这种情况下，仅需要将非联合色差编码模式中具有最小编码成本的色差变换跳过标志的值设置为联合色差编码模式中的色差变换跳过标志。图2中示出了语法的示例。在图2中，“bestTsFlag[codedCIdx]in non-JointCbCr mode”指示在非联合色差编码模式中具有最小编码成本的色差变换跳过标志。此外，“transform_skip_flag[codedCIdx]in JointCbCr mode”指示联合色差编码模式中的色差变换跳过标志。

例如，在图像处理方法中，通过将非联合色差编码模式中具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出联合色差编码模式中的编码成本，来设置图像编码的编码模式。

例如，图像处理装置包括编码模式设置单元，编码模式设置单元通过设置色差编码模式中的变换类型并且得出联合色差编码模式中的编码成本来设置图像编码的编码模式。

通过这样做，在联合色差模式中，可以在不搜索DCT2和变换跳过两种模式的情况下设置联合色差编码模式的变换类型。因此，与针对联合色差编码模式和非联合色差编码模式中的每一个得出应用变换跳过的情况和不应用变换跳过的情况两者的编码成本的情况相比，可以抑制编码复杂度的增加并且可以抑制编码负荷的增加。因此，例如，可以以高速度设置变换类型。此外，可以抑制编码器的成本的增加。

另外，与如在非专利文献2中描述的在联合色差编码模式中限制变换跳过的应用的情况相比，可以抑制编码效率的降低。

<2.第一实施方式>

<图像编码装置>

图3是示出作为应用了本技术的图像处理装置的一种模式的图像编码装置的配置的示例的框图。图3中示出的图像编码装置300是对运动图像的图像数据进行编码的装置。例如，图像编码装置300可以通过在非专利文献的任何一个中描述的编码方法来对运动图像的图像数据进行编码。

注意，图3示出了主要处理单元(块)、数据流等，并且图3中示出的这些不一定是全部。即，在图像编码装置300中，可以存在未在图3中被示出为块的处理单元，或者可以存在未在图3中被示出为箭头等的处理或数据流。

如图3所示，图像编码装置300包括控制单元301、重排缓冲器311、计算单元312、正交变换单元313、量化单元314、编码单元315、累积缓冲器316、逆量化单元317、逆正交变换单元318、计算单元319、环路内滤波器单元320、帧存储器321、预测单元322和速率控制单元323。

<控制单元>

控制单元301基于外部处理单元或预先指定的块大小，将由重排缓冲器311保存的运动图像数据按处理单元划分为块(CU、PU、变换块等)。此外，控制单元301基于例如率失真优化(RDO)来确定要提供给每个块的编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。

下面将描述这些编码参数的细节。在确定上述编码参数之后，控制单元301将编码参数提供给每个块。例如，头部信息Hinfo被提供给每个块。预测模式信息Pinfo被提供给编码单元315和预测单元322。变换信息Tinfo被提供给编码单元315、正交变换单元313、量化单元314、逆量化单元317和逆正交变换单元318。滤波器信息Finfo被提供给环路内滤波器单元320。

<重排缓冲器>

运动图像数据的每个字段(输入图像)按再现顺序(显示顺序)被输入至图像编码装置300。重排缓冲器311以其再现顺序(显示顺序)获取并且保存(存储)每个输入图像。重排缓冲器311基于控制单元301的控制，以编码顺序(解码顺序)对输入图像进行重排，或者将输入图像按处理单元划分为块。重排缓冲器311将经处理的输入图像提供给计算单元312。此外，重排缓冲器311还将输入图像(原始图像)提供给预测单元322和环路内滤波器单元320。

<计算单元>

计算单元312接收与按处理单元的块对应的图像I以及从预测单元322提供的预测图像P作为输入，如以下表达式所示，从图像I中减去预测图像P以得出预测残差D，并且将预测残差D提供给正交变换单元313。

D＝I-P

<正交变换单元>

正交变换单元313执行关于系数变换的处理。例如，正交变换单元313获取从计算单元312提供的预测残差D。此外，正交变换单元313获取从控制单元301提供的变换信息Tinfo。

正交变换单元313基于变换信息Tinfo对预测残差D执行正交变换以得出变换系数Coeff。例如，正交变换单元313对预测残差D执行初级变换以生成初级变换系数。然后，正交变换单元313对初级变换系数执行次级变换以生成次级变换系数。正交变换单元313将获得的次级变换系数作为变换系数Coeff提供给量化单元314。

注意，正交变换是系数变换的示例，并且不限于该示例。即，正交变换单元313可以对预测残差D执行任意系数变换。另外，正交变换单元313可以执行任意系数变换作为初级变换和次级变换。

<量化单元>

量化单元314执行关于量化的处理。例如，量化单元314获取从正交变换单元313提供的变换系数Coeff。此外，量化单元314获取从控制单元301提供的变换信息Tinfo。此外，量化单元314基于变换信息Tinfo来缩放(量化)变换系数Coeff。注意，该量化方法是任意的。此外，该量化的速率由速率控制单元323控制。量化单元314将通过量化而获得的量化变换系数(即，量化变换系数水平level)提供给编码单元315和逆量化单元317。

<编码单元>

编码单元315执行关于编码的处理。例如，编码单元315获取从量化单元314提供的量化变换系数水平level。此外，编码单元315获取从控制单元301提供的各种编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)。此外，编码单元315获取从环路内滤波器单元320提供的关于滤波器的信息(例如，滤波器系数)。此外，编码单元315获取从预测单元322提供的关于最佳预测模式的信息。

编码单元315对量化变换系数水平level执行可变长度编码(例如，算术编码)，以生成比特串(编码数据)。此外，编码单元315从量化变换系数水平level得出残差信息Rinfo。然后，编码单元315对得出的残差信息Rinfo进行编码以生成比特串。

编码单元315将从环路内滤波器单元320提供的关于滤波器的信息包括在滤波器信息Finfo中。此外，编码单元315将从预测单元322提供的关于最佳预测模式的信息包括在预测模式信息Pinfo中。然后，编码单元315对上述各种编码参数(头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等)进行编码以生成比特串。

编码单元315对如上所述生成的各种类型的信息的比特串进行复用，以生成编码数据。编码单元315将编码数据提供给累积缓冲器316。

<累积缓冲器>

累积缓冲器316临时存储由编码单元315获得的编码数据。累积缓冲器316以预定定时将存储的编码数据作为比特流等输出至图像编码装置300的外部。例如，编码数据经由任意记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。即，累积缓冲器316也是发送编码数据(比特流)的传输单元。

<逆量化单元>

逆量化单元317执行关于逆量化的处理。例如，逆量化单元317获取从量化单元314提供的量化变换系数水平level。此外，逆量化单元317获取从控制单元301提供的变换信息Tinfo。

逆量化单元317基于变换信息Tinfo对量化变换系数水平level的值进行缩放(逆量化)。注意，逆量化是在量化单元314中执行的量化的逆处理。逆量化单元317将通过逆量化而获得的变换系数Coeff_IQ提供给逆正交变换单元318。

<逆正交变换单元>

逆正交变换单元318执行关于逆系数变换的处理。例如，逆正交变换单元318获取从逆量化单元317提供的变换系数Coeff_IQ。此外，逆正交变换单元318获取从控制单元301提供的变换信息Tinfo。

逆正交变换单元318基于变换信息Tinfo对变换系数Coeff_IQ执行逆正交变换，以得出预测残差D'。注意，逆正交变换是在正交变换单元313中执行的正交变换的逆处理。例如，逆正交变换单元318对变换系数Coeff_IQ(次级变换系数)执行逆次级变换以生成初级变换系数。此外，逆正交变换单元318对初级变换系数执行逆初级变换，以生成预测残差D'。注意，逆次级变换是在正交变换单元313中执行的次级变换的逆处理。此外，逆初级变换是在正交变换单元313中执行的初级变换的逆处理。

逆正交变换单元318将通过逆正交变换而获得的预测残差D'提供给计算单元319。注意，由于逆正交变换单元318类似于解码侧的逆正交变换单元(将在下面描述)，因此可以将针对解码侧给出的描述(将在下面描述)应用于逆正交变换单元318。

<计算单元>

计算单元319使用从逆正交变换单元318提供的预测残差D'以及从预测单元322提供的预测图像P作为输入。计算单元319将预测残差D'和与预测残差D'对应的预测图像P相加，以得出局部解码图像Rlocal。计算单元319将得出的局部解码图像Rlocal提供给环路内滤波器单元320和帧存储器321。

<环路内滤波器单元>

环路内滤波器单元320执行关于环路内滤波处理的处理。例如，环路内滤波器单元320使用从计算单元319提供的局部解码图像Rlocal、从控制单元301提供的滤波器信息Finfo、以及从重排缓冲器311提供的输入图像(原始图像)作为输入。注意，输入至环路内滤波器单元320的信息是任意的，并且可以输入除了上述信息之外的信息。例如，根据需要，可以将诸如预测模式、运动信息、代码量目标值、量化参数QP、图片类型和块(CU、CTU等)等的信息输入至环路内滤波器单元320。

环路内滤波器单元320基于滤波器信息Finfo适当地对局部解码图像Rlocal执行滤波处理。环路内滤波器单元320还根据需要使用输入图像(原始图像)和用于滤波处理的其他输入信息。

例如，环路内滤波器单元320可以应用双边滤波器作为滤波处理。此外，环路内滤波器单元320可以应用去块滤波器(DBF)作为滤波处理。此外，环路内滤波器单元320可以应用自适应偏移滤波器(样本自适应偏移(SAO))作为滤波处理。此外，环路内滤波器单元320可以应用自适应环路滤波器(ALF)作为滤波处理。此外，环路内滤波器单元320可以组合地应用上述滤波器中的多个滤波器作为滤波处理。注意，应用哪个滤波器以及以何种顺序应用滤波器是任意的，并且可以适当地选择。例如，环路内滤波器单元320依次应用双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器这四个环路内滤波器作为滤波处理。

当然，由环路内滤波器单元320执行的滤波处理是任意的，并且不限于上述示例。例如，环路内滤波器单元320可以应用维纳滤波器等。

环路内滤波器单元320将经滤波的局部解码图像Rlocal提供给帧存储器321。注意，在将关于滤波器的信息(例如，滤波器系数)发送至解码侧的情况下，环路内滤波器单元320将关于滤波器的信息提供给编码单元315。

<帧存储器>

帧存储器321执行关于与图像有关的数据的存储的处理。例如，帧存储器321使用从计算单元319提供的局部解码图像Rlocal以及从环路内滤波器单元320提供的经滤波的局部解码图像Rlocal作为输入，并且保存(存储)输入。此外，帧存储器321使用局部解码图像Rlocal针对每个图片单元重建并且保存解码图像R(将解码图像R存储在帧存储器321中的缓冲器中)。帧存储器321响应于来自预测单元322的请求将解码图像R(或其部分)提供给预测单元322。

<预测单元>

预测单元322执行关于预测图像的生成的处理。例如，预测单元322获取从控制单元301提供的预测模式信息Pinfo。此外，预测单元322获取从重排缓冲器311提供的输入图像(原始图像)。此外，预测单元322获取从帧存储器321读取的解码图像R(或其一部分)。

预测单元322使用预测模式信息Pinfo和输入图像(原始图像)执行诸如帧间预测或帧内预测的预测处理。即，预测单元322通过参考作为参考图像的解码图像R执行预测和运动补偿来生成预测图像P。

预测单元322将生成的预测图像P提供给计算单元312和计算单元319。此外，预测单元322根据需要将通过上述处理而选择的预测模式(即，关于最佳预测模式的信息)提供给编码单元315。

<速率控制单元>

速率控制单元323执行关于速率控制的处理。例如，速率控制单元323基于在累积缓冲器316中累积的编码数据的代码量来控制量化单元314的量化操作的速率，使得不会发生上溢或下溢。

<编码模式的控制>

<1.编码模式的设置>中描述的本技术应用于具有上述配置的图像编码装置300。即，如上所述，在<变换类型设置的转移>中，假设当设置编码模式时，可以应用色差变换跳过而不管联合色差编码模式。然后，将非联合色差编码模式中具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出联合色差编码模式中的编码成本。

例如，控制单元301用作设置图像编码的编码模式的编码模式设置单元。然后，在编码模式的设置中，控制单元301可以应用色差变换跳过而不管联合色差编码模式。此外，控制单元301通过将非联合色差编码模式中具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型并且得出联合色差编码模式中的编码成本，来设置图像编码的编码模式。

通过这样做，在联合色差模式中，控制单元301可以在不搜索DCT2和变换跳过两种模式的情况下设置联合色差编码模式的变换类型。因此，与如在非专利文献1中描述的在联合色差编码模式中不限制色差变换跳过的应用的情况相比，图像编码装置300可以抑制编码复杂度的增加并且可以抑制编码负荷的增加。因此，例如，图像编码装置300可以以高速度设置变换类型。此外，可以抑制图像编码装置300的成本的增加。

另外，与如在非专利文献2中描述的在联合色差编码模式中限制变换跳过的应用的情况相比，图像编码装置300可以抑制编码效率的降低。

注意，在图1的D所示的示例中，关于联合色差编码模式的设置和变换类型的设置被执行为编码模式的设置。类似于该示例，控制单元301可以执行关于联合色差编码模式的设置和变换类型的设置作为编码模式的设置。

例如，控制单元301可以设置是否应用联合色差编码模式(即，是否应用联合色差编码模式或是否应用非联合色差编码模式)。此外，在应用联合色差编码模式的情况下，控制单元301还可以设置应用多个候选模式中的哪一个(联合色差编码的内容)。例如，可以提供多个模式例如用于将与Cb相同的系数应用于Cr的模式、用于将具有Cb的系数的反转符号的系数应用于Cr的模式、以及用于将通过将Cb的系数乘以1/2而获得的值应用于Cr的模式，作为联合色差编码模式的候选。此外，控制单元301可以设置变换类型将是什么。

此外，在图1的D所示的示例中，变换跳过也可以应用于联合色差编码模式。类似于该示例，控制单元301可以设置是否将变换跳过应用为联合色差编码模式中的变换类型。即，在应用联合色差编码模式的情况下，控制单元301可以设置变换跳过标志的值，该值是指示是否应用变换跳过的标志信息。

在这种情况下，如图2所示，控制单元301可以将非联合色差编码模式中具有最小编码成本的变换跳过标志的值(bestTsFlag)设置到联合色差编码模式中的变换跳过标志(transform_skip_flag)。

此外，在图1的D中示出的示例的情况下，在应用联合色差编码模式并且不应用变换跳过的情况下(在非变换跳过的情况下)，应用DCT2作为变换类型。类似于该示例，控制单元301可以在联合色差编码模式中不应用变换跳过的情况下应用DCT2作为变换类型。

关于如上所述由控制单元301设置的编码模式的信息例如作为Tinfo等被提供给正交变换单元313和编码单元315。例如，控制单元301将诸如tu_joint_residual_flag(其是指示是否应用联合色差编码模式的标志信息)、TuCResMode(其是指示联合色差编码模式的内容的参数)、变换跳过标志(transform_skip_flag(也称为tsFlag))等的信息作为Tinfo提供给正交变换单元313和编码单元315。

正交变换单元313基于该信息(即，根据所设置的编码模式)对由计算单元312得出的预测残差D进行正交变换。量化单元314对由正交变换单元313得出的变换系数Coeff进行量化。此外，编码单元315基于该信息(即，根据所设置的编码模式)对由量化单元314得出的量化变换系数水平level进行编码以生成编码数据。此外，编码单元315对信息(例如，变换跳过标志等)进行编码，并且将编码信息包括在量化变换系数水平level的编码数据中。

<配置示例>

注意，这些处理单元(诸如图3所示的控制单元301的处理单元)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置。此外，每个处理单元可以包括例如CPU、ROM、RAM等，并且通过使用以上资源执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且通过逻辑电路实现上述处理的一部分，以及通过执行程序实现处理的另一部分。处理单元的配置可以彼此独立。例如，处理单元中的一些可以通过逻辑电路实现上述处理的一部分，处理单元中的另一些可以通过执行程序实现上述处理，并且处理单元中的又一些可以通过逻辑电路和程序的执行两者实现上述处理。

<图像编码处理的流程>

接下来，将参照图4的流程图描述由具有以上配置的图像编码装置300执行的图像编码处理的流程的示例。

当图像编码处理开始时，在步骤S301中，重排缓冲器311由控制单元301控制，并且将输入的运动图像数据的帧从显示顺序重排成编码顺序。

在步骤S302中，控制单元301对由重排缓冲器311保存的输入图像设置处理单元(执行块划分)。

在步骤S303中，控制单元301确定(设置)由重排缓冲器311保存的输入图像的编码参数。

在步骤S304中，预测单元322执行预测处理并且生成最佳预测模式下的预测图像等。例如，在该预测处理中，预测单元322执行帧内预测以生成最佳帧内预测模式下的预测图像等。此外，预测单元322执行帧间预测以生成最佳帧间预测模式下的预测图像等。此外，预测单元322基于成本函数值等从上述模式中选择最佳预测模式。

在步骤S305中，计算单元312计算输入图像与在步骤S304中通过预测处理选择的最佳模式下的预测图像之间的差。即，计算单元312生成输入图像与预测图像之间的预测残差D。以这种方式获得的预测残差D与原始图像数据相比减少了数据量。因此，与按原样对图像进行编码的情况相比，可以压缩数据量。

在步骤S306中，正交变换单元313对通过步骤S305中的处理生成的预测残差D执行正交变换处理，以得出变换系数Coeff。例如，正交变换单元313对预测残差D执行初级变换以生成初级变换系数。此外，正交变换单元313对初级变换系数执行次级变换以生成次级变换系数(变换系数Coeff)。

在步骤S307中，量化单元314通过使用由控制单元301计算的量化参数等来对通过步骤S306中的处理而获得的变换系数Coeff进行量化，以得出量化变换系数水平level。

在步骤S308中，逆量化单元317利用与步骤S307中的量化的特性对应的特性，对通过步骤S307中的处理而生成的量化变换系数水平level进行逆量化，以得出变换系数Coeff_IQ。

在步骤S309中，逆正交变换单元318通过与步骤S306中的正交变换处理对应的方法，对通过步骤S308中的处理获得的变换系数Coeff_IQ进行逆正交变换，以得出预测残差D'。例如，逆正交变换单元318对变换系数Coeff_IQ(次级变换系数)执行逆次级变换以生成初级变换系数。此外，逆正交变换单元318对初级变换系数执行逆初级变换以生成预测残差D'。

注意，该逆正交变换处理类似于在解码侧执行的逆正交变换处理。因此，可以将下面要描述的解码侧的描述应用于步骤S309的逆正交变换处理。

在步骤S310中，计算单元319将通过步骤S304中的预测处理而获得的预测图像与通过步骤S309中的处理得出的预测残差D'相加，以生成局部解码图像。

在步骤S311中，环路内滤波器单元320对通过步骤S310中的处理得出的局部解码图像执行环路内滤波处理。

在步骤S312中，帧存储器321存储通过步骤S310中的处理得出的局部解码图像以及在步骤S311中被滤波的局部解码图像。

在步骤S313中，编码单元315对通过步骤S307中的处理而获得的量化变换系数水平level进行编码。例如，编码单元315通过算术编码等对作为关于图像的信息的量化变换系数水平level进行编码，以生成编码数据。此外，此时，编码单元315对各种编码参数(头部信息Hinfo、预测模式信息Pinfo和变换信息Tinfo)进行编码。此外，编码单元315从量化变换系数水平level得出残差信息RInfo，并且对残差信息RInfo进行编码。

在步骤S314中，累积缓冲器316累积由此获得的编码数据，并且将编码数据例如作为比特流输出至图像编码装置300的外部。例如，比特流经由传输路径或记录介质被发送至解码侧。此外，速率控制单元323根据需要执行速率控制。

当步骤S314中的处理结束时，图像编码处理结束。

<编码模式的控制>

<1.编码模式的设置>中描述的本技术应用于上述流程的图像编码处理。即，如上所述，在<变换类型设置的转移>中，假设当设置编码模式时，可以应用色差变换跳过而不管联合色差编码模式。然后，将非联合色差编码模式中具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出联合色差编码模式中的编码成本。

例如，在步骤S303中，控制单元301执行编码模式设置处理，并且设置用于对图像进行编码的编码模式。在编码模式的设置中，可以应用色差变换跳过而不管联合色差编码模式。此外，控制单元301通过将非联合色差编码模式中具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出联合色差编码模式中的编码成本，来设置编码模式。

在步骤S306中，正交变换单元313根据所设置的编码模式对预测残差D进行正交变换。此外，在步骤S313中，编码单元315根据所设置的编码模式对量化变换系数水平level进行编码，以生成编码数据。此外，编码单元315对与编码模式有关的信息(例如，变换跳过标志等)进行编码，并且将编码的信息包括在量化变换系数水平level的编码数据中。

通过这样做，在联合色差模式中，控制单元301可以在不搜索DCT2和变换跳过两种模式的情况下设置联合色差编码模式的变换类型。因此，与如在非专利文献1中描述的在联合色差编码模式中不限制色差变换跳过的应用的情况相比，图像编码装置300可以抑制编码复杂度的增加并且可以抑制编码负荷的增加。因此，例如，图像编码装置300可以以高速度设置变换类型。此外，可以抑制图像编码装置300的成本的增加。

另外，与如在非专利文献2中描述的在联合色差编码模式中限制变换跳过的应用的情况相比，图像编码装置300可以抑制编码效率的降低。

<编码模式设置处理的流程>

将参照图5和图6的流程图描述在图4的步骤S303中执行的编码模式设置处理的流程的示例。

当编码模式设置处理开始时，控制单元301在步骤S351中设置非联合色差编码模式。例如，控制单元301将tu_joint_cbcr_residual_flag设置为假(例如，“0”)，并且将TuCResMode[xTbY][yTbY]设置为“0”。

在步骤S352中，控制单元301得出对于非联合色差编码模式的每个变换类型的编码成本。例如，在非联合色差编码模式中，控制单元301得出对于变换类型是DCT2的情况和变换类型是变换跳过(TS)的情况的编码成本。控制单元301对色差分量Cb和Cr中的每一个执行该处理。

在步骤S353中，控制单元301设置在步骤S352的处理中得出的编码成本中具有最小编码成本的变换类型。例如，控制单元301将与在步骤S352的处理中得出的具有最小编码成本的变换类型对应的变换跳过标志的值设置到bestFlag[cIdx]。控制单元301对色差分量Cb和Cr中的每一个执行该处理。

在步骤S354中，控制单元301基于非联合色差编码模式中的色差cbf(编码块标志)来设置联合色差编码模式。色差cbf是指示是否对块的变换系数进行编码的标志信息。换言之，色差cbf是指示块是否包括不为0的变换系数的标志信息。

例如，控制单元301将tu_joint_cbcr_residual_flag设置为真(例如，“1”)。然后，控制单元301基于tu_cbf_cb(其是色差分量Cb的待处理的TU的cbf)和tu_cbf_cr(其是色差分量Cr的待处理的TU的cbf)来设置TuCResMode[xTbY][yTbY]。

例如，在tu_cbf_cb＝＝1并且tu_cbf_cr＝＝0的情况下，控制单元301将TuCResMode[xTbY][yTbY]设置为“1”。此外，在tu_cbf_cb＝＝1并且tu_cbf_cr＝＝1的情况下，控制单元301将TuCResMode[xTbY][yTbY]设置为“2”。此外，在tu_cbf_cb＝＝0并且tu_cbf_cr＝＝1的情况下，控制单元301将TuCResMode[xTbY][yTbY]设置为“3”。

当步骤S354的处理结束时，处理进行至图6。在图6的步骤S361中，控制单元301基于在步骤S354中设置的联合色差编码模式来设置编码分量标识符codedCIdx。例如，控制单元301在TuCResMode[xTbY][yTbY]为“1”或“2”的情况下将codedCIdx设置为“1”(即，Cb)，并且在其他情况下将codedCIdx设置为“2”(即，Cr)。

在步骤S362中，控制单元301将在步骤S353中设置的bestTsFlag[cIdx]设置为联合色差编码模式中的变换跳过标志tsFlag[codedCIdx](tsFlag[codedCIdx]＝bestTsFlag[cIdx])。

在步骤S363中，控制单元301得出联合色差编码模式的编码成本。如上所述，在步骤S362中，将非联合色差编码模式中与具有最小编码成本的变换类型对应的变换跳过标志的值设置到联合色差编码模式中的变换跳过标志。因此，对于联合色差编码模式，控制单元301仅需要得出与变换跳过标志的值对应的模式的编码成本。即，在这种情况下，控制单元301不需要得出对于应用变换跳过的情况和不应用变换跳过的情况两者的编码成本。因此，控制单元301可以更容易地得出联合色差模式的编码成本。

在步骤S364中，控制单元301将非联合色差编码模式的最小编码成本与联合色差编码模式的编码成本进行比较，并且选择具有最小编码成本的模式。

当步骤S364的处理结束时，编码模式设置处理结束，并且处理返回至图4。

通过这样做，与如在非专利文献1中描述的在联合色差编码模式中不限制色差变换跳过的应用的情况相比，图像编码装置300可以抑制编码复杂度的增加并且可以抑制编码负荷的增加。因此，例如，图像编码装置300可以以高速度设置变换类型。此外，可以抑制图像编码装置300的成本的增加。

另外，与如在非专利文献2中描述的在联合色差编码模式中限制变换跳过的应用的情况相比，图像编码装置300可以抑制编码效率的降低。

<3.第二实施方式>

<图像解码装置>

图7是示出作为应用了本技术的图像处理装置的一种模式的图像解码装置的配置的示例的框图。图7中示出的图像解码装置400是对运动图像的编码数据进行解码的装置。例如，图像解码装置400可以通过在上述非专利文献的任何一个中描述的解码方法来对编码数据进行解码。例如，图像解码装置400对由上述图像编码装置300生成的编码数据(比特流)进行解码。

注意，图7示出了主要处理单元(块)、数据流等，并且图7中示出的这些不一定是全部。即，在图像解码装置400中，可以存在未在图7中被示出为块的处理单元，或者存在未在图7中被示出为箭头等的处理或数据流。

在图7中，图像解码装置400包括累积缓冲器411、解码单元412、逆量化单元413、逆正交变换单元414、计算单元415、环路内滤波器单元416、重排缓冲器417、帧存储器418和预测单元419。注意，预测单元419包括帧内预测单元和帧间预测单元(未示出)。图像解码装置400是通过对编码数据(比特流)进行解码来生成运动图像数据的装置。

<累积缓冲器>

累积缓冲器411获取输入至图像解码装置400的比特流，并且保存(存储)比特流。例如，累积缓冲器411以预定定时或者在满足预定条件的情况下将累积的比特流提供给解码单元412。

<解码单元>

解码单元412执行用于对图像解码的处理。例如，解码单元412获取从累积缓冲器411提供的比特流。例如，解码单元412根据语法表的定义对来自比特串的每个语法元素的语法值执行可变长度解码以得出参数。

从语法元素和语法元素的语法值得出的参数例如包括诸如头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、残差信息Rinfo和滤波器信息Finfo的信息。即，解码单元412从比特流解析(分析和获取)这样的信息。这些信息将在下面描述。

<头部信息Hinfo>

头部信息Hinfo例如包括诸如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)和切片头部(SH)的头部信息。例如，头部信息Hinfo包括定义以下的信息：图像大小(宽度PicWidth和高度PicHeight)、位深度(亮度bitDepthY和色差bitDepthC)、色差阵列类型ChromaArrayType、CU大小的最大值MaxCUSize和最小值MinCUSize、四叉树划分的最大深度MaxQTDepth和最小深度MinQTDepth、二进制树划分的最大深度MaxBTDepth和最小深度MinBTDepth、变换跳过块的最大值MaxTSSize(也称为最大变换跳过块大小)、每个编码工具的开/关标志(也称为使能标志)等。

例如，包括在头部信息Hinfo中的编码工具的开/关标志的示例包括与下面的变换处理和量化处理有关的开/关标志。注意，编码工具的开/关标志也可以被解释为指示编码数据中是否存在与编码工具有关的语法的标志。开/关标志的值为1(真)的情况指示可以使用编码工具。开/关标志的值为0(假)的情况指示不能使用编码工具。注意，可以反转对标志值的解释。

例如，头部信息Hinfo可以包括分量间预测使能标志(ccp_enabled_flag)。分量间预测使能标志是指示分量间预测(交叉分量预测(CCP)，也称为CC预测)是否可用的标志信息。例如，在标志信息为“1”(真)的情况下，标志信息指示分量间预测可用。在标志信息为“0”(假)的情况下，标志信息指示分量间预测不可用。

注意，该CCP也被称为分量间线性预测(CCLM或CCLMP)。

<预测模式信息Pinfo>

预测模式信息Pinfo例如包括诸如要处理的预测块(PB)的大小信息PBSize(预测块大小)、帧内预测模式信息IPinfo和运动预测信息MVinfo的信息。

帧内预测模式信息IPinfo包括例如JCTVC-W1005，7.3.8.5编码单元语法中的prev_intra_luma_pred_flag、mpm_idx和rem_intra_pred_mode、从语法得出的亮度帧内预测模式IntraPredModeY等。

此外，帧内预测模式信息IPinfo可以包括例如分量间预测标志(ccp_flag(cclmp_flag))。分量间预测标志(ccp_flag(cclm_flag))是指示是否应用分量间线性预测的标志信息。例如，ccp_flag＝＝1指示应用分量间预测，而ccp_flag＝＝0指示没有应用分量间预测。

此外，帧内预测模式信息IPinfo可以包括多类线性预测模式标志(mclm_flag)。多类线性预测模式标志(mclm_flag)是关于线性预测模式的信息(线性预测模式信息)。更具体地，多类线性预测模式标志(mclm_flag)是指示是否设置多类线性预测模式的标志信息。例如，“0”指示一类模式(单类模式)(例如，CCLMP)，并且“1”指示二类模式(多类模式)(例如，MCLMP)。

此外，帧内预测模式信息IPinfo可以包括色差样本位置类型标识符(chroma_sample_loc_type_idx)。色差样本位置类型标识符(chroma_sample_loc_type_idx)是用于标识色差分量的像素位置的类型(也被称为色差样本位置类型)的标识符。例如，在作为关于颜色格式的信息的色差阵列类型(ChromaArrayType)指示420格式的情况下，按以下表达式中那样分配色差样本位置类型标识符。

chroma_sample_loc_type_idx＝＝0：类型2

chroma_sample_loc_type_idx＝＝1：类型3

chroma_sample_loc_type_idx＝＝2：类型0

chroma_sample_loc_type_idx＝＝3：类型1

注意，色差样本位置类型标识符(chroma_sample_loc_type_idx)作为(通过存储在)关于色差分量的像素位置的信息(chroma_sample_loc_info())(即，存储在关于色差分量的像素位置的信息中)来发送。

此外，帧内预测模式信息IPinfo可以包括色差MPM标识符(chroma_mpm_idx)。色差MPM标识符(chroma_mpm_idx)是指示色差帧内预测模式候选列表(intraPredModeCandListC)中的哪个预测模式候选将被指定为色差帧内预测模式的标识符。

此外，帧内预测模式信息IPinfo可以包括从这些语法得出的亮度帧内预测模式(IntraPredModeC)。

运动预测信息MVinfo包括例如诸如merge_idx、merge_flag、inter_pred_idc、ref_idx_LX、mvp_lX_flag、X＝{0，1}、mvd等的信息(例如，参见JCTVC-W1005,7.3.8.6预测单元语法)。

当然，包括在预测模式信息Pinfo中的信息是任意的，并且也可以包括除以上信息之外的信息。

<变换信息Tinfo>

变换信息Tinfo可以包括例如待处理的变换块的宽度大小TBWSize和高度TBHSize。注意，可以应用以2为底数的对数值log2TBWSize来代替待处理的变换块的宽度大小TBWSize。此外，可以应用以2为底的对数值log2TBHSize来代替待处理的变换块的高度TBHSSize。

此外，变换信息Tinfo可以包括变换跳过标志(transform_skip_flag(或ts_flag))。变换跳过标志是指示是否跳过系数变换(或逆系数变换)的标志。注意，可以针对Y、Cb和Cr的每个分量用信号通知该变换跳过标志(transform_skip_flag[0]、transform_skip_flag[1]和transform_skip_flag[2])。

此外，变换信息Tinfo可以包括诸如扫描标识符(scanIdx)、量化参数(qp)和量化矩阵(scaling_matrix(例如，JCTVC-W1005，7.3.4缩放列表数据语法))的参数。

当然，包括在变换信息Tinfo中的信息是任意的，并且可以包括除了以上信息之外的信息。

<残差信息Rinfo>

残差信息Rinfo(例如，参见JCTVC-W1005的7.3.8.11残差编码语法)可以包括例如残差数据存在/不存在标志(cbf(coded_block_flag))。此外，残差信息Rinfo可以包括最后非零系数X坐标(last_sig_coeff_x_pos)和最后非零系数Y坐标(last_sig_coeff_y_pos)。此外，残差信息Rinfo可以包括子块非零系数存在/不存在标志(coded_sub_block_flag)和非零系数存在/不存在标志(sig_coeff_flag)。

此外，残差信息Rinfo可以包括GR1标志(gr1_flag)和GR2标志(gr2_flag)，GR1标志是指示非零系数的水平是否大于1的标志，GR2标志是指示非零系数的水平是否大于2的标志。此外，残差信息Rinfo可以包括符号码(sign_flag)，该符号码是指示非零系数的正或负的符号。此外，残差信息Rinfo可以包括作为非零系数的残差水平的非零系数残差水平(coeff_abs_level_remaining)。

当然，包括在残差信息Rinfo中的信息是任意的，并且可以包括除以上信息之外的信息。

<滤波器信息Finfo>

滤波器信息Finfo包括关于滤波器处理的控制信息。例如，滤波器信息Finfo可以包括关于去块滤波器(DBF)的控制信息。此外，滤波器信息Finfo可以包括关于像素自适应偏移(SAO)的控制信息。此外，滤波器信息Finfo可以包括关于自适应环路滤波器(ALF)的控制信息。此外，滤波器信息Finfo可以包括关于其他线性滤波器和非线性滤波器的控制信息。

例如，滤波器信息Finfo可以包括应用了每个滤波器的图片和指定图片中的区域的信息。此外，滤波器信息Finfo可以包括以CU为单位的滤波器开启控制信息或关闭控制信息。此外，滤波器信息Finfo可以包括关于切片或图块的边界的滤波器开启控制信息或关闭控制信息。

当然，包括在滤波器信息Finfo中的信息是任意的，并且可以包括除了以上信息之外的信息。

返回至解码单元412的描述。解码单元412参考残差信息Rinfo，并且得出每个变换块中的每个系数位置处的量化变换系数水平level。解码单元412将量化变换系数水平level提供给逆量化单元413。

此外，解码单元412将经解析的头部信息Hinfo、预测模式信息Pinfo、量化变换系数水平level、变换信息Tinfo和滤波器信息Finfo提供给每个块。如下面给出具体描述。

头部信息Hinfo被提供给逆量化单元413、逆正交变换单元414、预测单元419和环路内滤波器单元416。预测模式信息Pinfo被提供给逆量化单元413和预测单元419。变换信息Tinfo被提供给逆量化单元413和逆正交变换单元414。滤波器信息Finfo被提供给环路内滤波器单元416。

当然，以上示例是示例，并且本实施方式不限于该示例。例如，可以将每个编码参数提供给任意处理单元。此外，可以将其他信息提供给任意处理单元。

<逆量化单元>

逆量化单元413执行关于逆量化的处理。例如，逆量化单元413获取从解码单元412提供的变换信息Tinfo和量化变换系数水平level。此外，逆量化单元413基于变换信息Tinfo对量化变换系数水平level的值进行缩放(逆量化)，以得出逆量化之后的变换系数Coeff_IQ。

注意，该逆量化作为由图像编码装置300的量化单元314进行的量化的逆处理而被执行。此外，逆量化是与由图像编码装置300的逆量化单元317执行的逆量化类似的处理。换言之，逆量化单元317执行与逆量化单元413类似的处理(逆量化)。

逆量化单元413将得出的变换系数Coeff_IQ提供给逆正交变换单元414。

<逆正交变换单元>

逆正交变换单元414执行关于逆正交变换的处理。例如，逆正交变换单元414获取从逆量化单元413提供的变换系数Coeff_IQ。此外，逆正交变换单元414获取从解码单元412提供的变换信息Tinfo。

逆正交变换单元414基于变换信息Tinfo对变换系数Coeff_IQ执行逆正交变换处理，以得出预测残差D'。例如，逆正交变换单元414对变换系数Coeff_IQ执行逆次级变换以生成初级变换系数。此外，逆正交变换单元414对初级变换系数执行逆初级变换，以生成预测残差D'。

注意，该逆正交变换作为由图像编码装置300的正交变换单元313进行的正交变换的逆处理而被执行。此外，逆正交变换是与由图像编码装置300的逆正交变换单元318进行的逆正交变换类似的处理。即，逆正交变换单元318执行与逆正交变换单元414类似的处理(逆正交变换)。

逆正交变换单元414将得出的预测残差D'提供给计算单元415。

<计算单元>

计算单元415执行关于添加关于图像的信息的处理。例如，计算单元415获取从逆正交变换单元414提供的预测残差D'。此外，计算单元415获取从预测单元419提供的预测图像P。计算单元415将预测残差D'和与预测残差D'对应的预测图像P(预测信号)相加，以得出局部解码图像Rlocal，如以下表达式所示。

Rlocal＝D'+P

计算单元415将得出的局部解码图像Rlocal提供给环路内滤波器单元416和帧存储器418。

<环路内滤波器单元>

环路内滤波器单元416执行关于环路滤波处理的处理。例如，环路内滤波器单元416获取从计算单元415提供的局部解码图像Rlocal。此外，环路内滤波器单元416获取从解码单元412提供的滤波器信息Finfo。注意，输入至环路内滤波器单元416的信息是任意的，并且可以输入除了上述信息之外的信息。

环路内滤波器单元416基于滤波器信息Finfo适当地对局部解码图像Rlocal执行滤波处理。例如，环路内滤波器单元416可以应用双边滤波器作为滤波处理。此外，环路内滤波器单元416可以应用去块滤波器作为滤波处理。此外，环路内滤波器单元416可以应用自适应偏移滤波器作为滤波处理。此外，环路内滤波器单元416可以应用自适应环路滤波器作为滤波处理。此外，环路内滤波器单元416可以组合地应用上述滤波器中的多个滤波器作为滤波处理。注意，应用哪个滤波器以及以何种顺序应用滤波器是任意的，并且可以适当地选择。例如，环路内滤波器单元416依次应用双边滤波器、去块滤波器、自适应偏移滤波器和自适应环路滤波器这四个环路滤波器作为滤波处理。

环路内滤波器单元416执行与在编码侧(例如，由图像编码装置300的环路内滤波器单元320)执行的滤波处理对应的滤波处理。当然，由环路内滤波器单元416执行的滤波处理是任意的，并且不限于上述示例。例如，环路内滤波器单元416可以应用维纳滤波器等。

环路内滤波器单元416将经滤波的局部解码图像Rlocal提供给重排缓冲器417和帧存储器418。

<重排缓冲器>

重排缓冲器417接收从环路内滤波器单元416提供的局部解码图像Rlocal作为输入，并且保存(存储)局部解码图像Rlocal。重排缓冲器417使用局部解码图像Rlocal，重建针对每个图片单元的解码图像R，并且将解码图像R保存(存储)(在缓冲器中)。重排缓冲器417将获得的解码图像R从解码顺序重排为再现顺序。重排缓冲器417将经重排的解码图像R组作为运动图像数据输出至图像解码装置400的外部。

<帧存储器>

帧存储器418执行关于与图像有关的数据的存储的处理。例如，帧存储器418获取从计算单元415提供的局部解码图像Rlocal。然后，帧存储器418使用局部解码图像Rlocal，重建针对每个图片单元的解码图像R。帧存储器418将重建的解码图像R存储在帧存储器418的缓冲器中。

此外，帧存储器418获取从环路内滤波器单元416提供的经环路内滤波的局部解码图像Rlocal。然后，帧存储器418使用经环路内滤波的局部解码图像Rlocal，重建针对每个图片单元的解码图像R。帧存储器418将重建的解码图像R存储在帧存储器418的缓冲器中。

此外，帧存储器418将存储的解码图像R(或其一部分)作为参考图像适当地提供给预测单元419。

注意，帧存储器418可以存储与解码图像的生成有关的头部信息Hinfo、预测模式信息Pinfo、变换信息Tinfo、滤波器信息Finfo等。

<预测单元>

预测单元419执行关于预测图像的生成的处理。例如，预测单元419获取从解码单元412提供的预测模式信息Pinfo。此外，预测单元419通过由预测模式信息Pinfo指定的预测方法执行预测处理，以得出预测图像P。在得出时，预测单元419使用存储在帧存储器418中的解码图像R(或其一部分)作为参考图像，解码图像R由预测模式信息Pinfo指定。解码图像R可以是滤波之前或滤波之后的图像。预测单元419将得出的预测图像P提供给计算单元415。

<配置示例>

注意，这些处理单元(累积缓冲器411至预测单元419)具有任意配置。例如，每个处理单元可以由实现上述处理的逻辑电路配置。此外，每个处理单元可以包括例如CPU、ROM、RAM等，并且通过使用以上资源执行程序来实现上述处理。当然，每个处理单元可以具有这两种配置，并且通过逻辑电路实现上述处理的一部分，并且通过执行程序实现处理的另一部分。处理单元的配置可以彼此独立。例如，处理单元中的一些可以通过逻辑电路实现上述处理的一部分，处理单元中的另一些可以通过执行程序实现上述处理，并且处理单元中的又一些可以通过逻辑电路和程序的执行两者实现上述处理。

<图像解码处理的流程>

接下来，将参照图8的流程图描述由具有以上配置的图像解码装置400执行的图像解码处理的流程的示例。

当图像解码处理开始时，在步骤S401中，累积缓冲器411获取并保存(累积)从图像解码装置400的外部提供的编码数据(比特流)。

在步骤S402中，解码单元412对编码数据(比特流)进行解码，以获得量化变换系数水平level。此外，解码单元412通过该解码从编码数据(比特流)解析(分析和获取)各种编码参数。

在步骤S403中，逆量化单元413执行逆量化以获得变换系数Coeff_IQ，该逆量化是对通过步骤S402中的处理获得的量化变换系数水平level在编码侧执行的量化的逆处理。

在步骤S404中，逆正交变换单元414执行逆正交变换处理以获得预测残差D'，该逆正交变换处理是在步骤S403中获得的变换系数Coeff_IQ在编码侧上执行的正交变换处理的逆处理。例如，逆正交变换单元414对变换系数Coeff_IQ(次级变换系数)执行逆次级变换以生成初级变换系数。此外，逆正交变换单元414对初级变换系数执行逆初级变换，以生成预测残差D'。

在步骤S405中，预测单元419基于在步骤S402中解析的信息，通过在编码侧指定的预测方法执行预测处理，并且例如通过参考存储在帧存储器418中的参考图像来生成预测图像P。

在步骤S406中，计算单元415将在步骤S404中获得的预测残差D'与在步骤S405中获得的预测图像P相加，以得出局部解码图像Rlocal。

在步骤S407中，环路内滤波器单元416对通过步骤S406中的处理而获得的局部解码图像Rlocal执行环路内滤波处理。

在步骤S408中，重排缓冲器417使用通过步骤S407中的处理而获得的“经滤波的局部解码图像Rlocal”来得出解码图像R，并且将解码图像R组从解码顺序重排为再现顺序。将按再现顺序重排的解码图像R组作为运动图像输出至图像解码装置400的外部。

此外，在步骤S409中，帧存储器418存储通过步骤S406中的处理而获得的局部解码图像Rlocal，以及通过步骤S407中的处理而获得的滤波处理之后的局部解码图像Rlocal中的至少之一。

当步骤S409中的处理结束时，图像解码处理结束。

<4.补充>

<计算机>

上述一系列处理可以由硬件或由软件执行。在通过软件执行一系列处理的情况下，在计算机中安装配置软件的程序。此处，计算机包括并入专用硬件中的计算机、能够通过安装各种程序来执行各种功能的计算机例如通用个人计算机等。

图9是示出通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在图9中示出的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804相互连接。

输入/输出接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814以及驱动器815连接至输入/输出接口810。

输入单元811包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元812包括例如显示器、扬声器、输出端子等。存储单元813包括例如硬盘、RAM盘、非易失性存储器等。通信单元814包括例如网络接口。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质821。

在如上所述配置的计算机中，CPU 801例如经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803中，并且执行该程序，使得上述一系列处理被执行。此外，RAM 803适当地存储CPU 801执行各种类型的处理所需的数据等。

例如，要由计算机执行的程序可以被记录和应用在作为封装介质等的可移除介质821上，并且可以被提供。在该情况下，通过将可移除介质821附接至驱动器815，可以经由输入/输出接口810将程序安装至存储单元813。

此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供该程序。在该情况下，程序可以由通信单元814接收并且被安装在存储单元813中。

除了上述方法之外，程序可以被预先安装在ROM 802或存储单元813中。

<本技术的可应用对象>

本技术可以应用于任何图像编码方法。即，关于图像编码的各种类型的处理诸如变换(逆变换)、量化(逆量化)、编码和预测的规范是任意的，并且不限于上述示例，只要与上述本技术不发生矛盾即可。此外，只要与上述本技术不发生矛盾，则可以省去部分处理。

此外，本技术可以应用于执行包括多个视点(视图)的图像的多视点图像的编码或解码的多视点图像编码系统(或多视点图像解码系统)。在这种情况下，本技术仅需要简单地应用于每个视点(视图)的编码和解码。

此外，本技术可以应用于分层图像编码(可缩放编码)系统(或分层图像解码系统)，该系统对多层(分层)的分层图像进行编码或解码，以具有针对预定参数的可缩放功能。在这种情况下，本技术仅需要简单地应用于每一层(层)的编码/解码。

此外，在以上描述中，图像编码装置300和图像解码装置400已经被描述为本技术的应用示例，但是本技术可以应用于任意配置。

本技术可以应用于例如各种电子装置，例如卫星广播中的发射机和接收机(例如电视接收机和移动电话)、诸如有线电视的有线广播、互联网上的分发以及通过蜂窝通信向终端的分发或者将图像记录在诸如光盘、磁盘和闪存等介质上并且从这些存储介质再现图像的装置(例如，硬盘记录器和摄像装置)。

此外，例如，本技术可以实现为装置的一部分的配置，诸如作为系统大规模集成(LSI)等的处理器(例如，视频处理器)、使用多个处理器等的模块(例如，视频模块)、使用多个模块等的单元(例如，视频单元)、或者其中向单元添加了其他功能的套机(例如，视频套机)(即，装置的一部分的配置)。

此外，例如，本技术还可以应用于包括多个装置的网络系统。例如，本技术可以实现为由多个装置经由网络共享和协作处理的云计算。例如，本技术可以被实现为向诸如计算机、视听(AV)装置、便携式信息处理终端或物联网(IoT)装置的任意终端提供关于图像(运动图像)的服务的云服务。

注意，在本说明书中，术语“系统”意指多个配置元件(装置、模块(部件)等)的集合，并且所有配置元件是否在同一壳体中是无关紧要的。因此，容纳在单独的壳体中并且经由网络连接的多个装置以及在一个壳体中容纳多个模块的一个装置两者均是系统。

<本技术可适用的领域和应用>

应用本技术的系统、装置、处理单元等可以在诸如交通、医疗护理、犯罪预防、农业、畜牧业、采矿、美容、工厂、家用电器、天气和自然监测的任意领域中使用。此外，本技术的用途也是任意的。

例如，本技术可以应用于被提供用于提供供欣赏的内容等的系统和装置。此外，例如，本技术还可以应用于用于诸如交通状况检测和自动驾驶控制的交通的系统和装置。此外，例如，本技术还可以应用于为安全而提供的系统和装置。此外，例如，本技术可以应用于为机器的自动控制等而提供的系统和装置。此外，例如，本技术还可以应用于为农业或畜牧业而提供的系统和装置。此外，本技术还可以应用于监测诸如火山、森林和海洋的自然状态、野生动物等的系统和装置。此外，例如，本技术还可以应用于为运动而提供的系统和装置。

<其他>

注意，本说明书中的“标志”是用于标识多种状态的信息，并且不仅包括用于标识真(1)和假(0)这两种状态的信息，而且包括能够标识三种或更多种状态的信息。因此，“标志”可以采用的值可以是例如二进制值1/0或者可以是三进制值或更多进制。即，构成“标志”的位数是任意的，并且可以是1位或多位。此外，假设标识信息(包括标志)不仅呈在比特流中包括标识信息的形式，而且呈在比特流中包括标识信息与特定参考信息的差异信息的形式。因此，在本说明书中，“标志”和“标识信息”不仅包括信息本身，还包括相对于参考信息的差异信息。

此外，可以以任何形式发送或记录关于编码数据(比特流)的各种类型的信息(元数据等)，只要各种类型的信息与编码数据相关联即可。这里，术语“关联”意味着例如当处理一个数据时可以使用(链接)其他数据。即，彼此相关联的数据可以被收集为一个数据或者可以是单独的数据。例如，可以在与编码数据(图像)的传输路径不同的传输路径上发送与编码数据(图像)相关联的信息。此外，例如，可以将与编码数据(图像)相关联的信息记录在与编码数据(图像)不同的记录介质(或同一记录介质的另外的记录区域)上。注意，该“关联”可以是数据的一部分，而不是整个数据。例如，图像和与图像对应的信息可以以诸如多个帧、一个帧或帧中的一部分的任意单元彼此相关联。

注意，在本说明书中，诸如“组合”、“复用”、“相加”、“集成”、“包括”、“存储”和“插入”的术语是指将多个事物放入一个中，例如将编码数据和元数据放入一个数据中，并且是指上述“关联”的一种方法。

此外，本技术的实施方式不限于上述实施方式，并且可以在不脱离本技术的主旨的情况下进行各种修改。

例如，被描述为一个装置(或处理单元)的配置可以被划分并且被配置成多个装置(或处理单元)。反之，可以将描述为多个装置(或处理单元)的配置共同配置为一个装置(或处理单元)。此外，可以将除了以上配置之外的配置添加到每个装置(或每个处理单元)的配置。此外，特定装置(或处理单元)的配置的一部分可以被包括在另一装置(或另一处理单元)的配置中，只要系统的配置和操作作为整体基本相同即可。

此外，例如，上述程序可以由任意装置来执行。在该情况下，装置仅需要具有必要的功能(功能块等)并且获得必要的信息。

此外，例如，一个流程图的每个步骤可以由一个装置执行，或者可以由多个装置共享并执行。此外，在一个步骤中包括多个处理的情况下，多个处理可以由一个装置执行，或者可以由多个装置共享并执行。换言之，一个步骤中包括的多个处理可以作为多个步骤的处理来执行。相反，被描述为多个步骤的处理可以作为一个步骤来共同执行。

例如，由计算机执行的程序可以被配置成使得按照本说明书中描述的顺序以时间序列执行描述该程序的步骤的处理。此外，由计算机执行的程序可以被配置成使得并行执行描述该程序的步骤的处理。此外，由计算机执行的程序可以被配置成使得在必要的定时(例如在被调用时)单独执行描述该程序的步骤的处理。即，只要不发生矛盾，则可以以与以上顺序不同的顺序执行每个步骤的处理。此外，描述程序的步骤的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理组合执行。

此外，例如，只要不存在矛盾，与本技术相关的多个技术可以作为一个整体独立实施。当然，可以一起实现任意数目的本技术。例如，在任何实施方式中描述的本技术的部分或全部可以与在其他实施方式中描述的本技术的部分或全部组合实现。此外，上述任意本技术的部分或全部可以与上面未描述的其他技术组合实现。

注意，本技术也可以具有以下配置。

(1)一种图像处理装置，包括：

编码模式设置单元，被配置成：通过将非联合色差编码模式中的具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出所述联合色差编码模式中的编码成本，来设置对图像进行编码的编码模式。

(2)根据(1)所述的图像处理装置，其中，

所述编码模式设置单元执行关于所述联合色差编码模式的设置和所述变换类型的设置作为所述编码模式的设置。

(3)根据(2)所述的图像处理装置，其中，

所述编码模式设置单元设置是否应用变换跳过作为所述联合色差编码模式中的所述变换类型。

(4)根据(3)所述的图像处理装置，其中，

在不应用所述变换跳过的情况下，所述编码模式设置单元应用DCT2作为所述变换类型。

(5)根据(3)或(4)所述的图像处理装置，其中，

所述编码模式设置单元将所述非联合色差编码模式中的具有最小编码成本的变换跳过标志的值设置到所述联合色差编码模式中的变换跳过标志。

(6)根据(2)至(5)中任一项所述的图像处理装置，其中，

所述编码模式设置单元基于所述非联合色差编码模式中的色差编码块标志来设置所述联合色差编码模式。

(7)根据(6)所述的图像处理装置，其中，

所述编码模式设置单元基于所设置的所述联合色差编码模式来设置编码分量标识符。

(8)根据(1)至(7)中任一项所述的图像处理装置，其中，

在所述非联合色差编码模式中，所述编码模式设置单元得出每个变换类型的编码成本，设置具有在所得出的编码成本中的最小编码成本的变换类型，并且将所设置的变换类型设置为所述联合色差编码模式中的所述变换类型。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，

所述编码模式设置单元将所述非联合色差编码模式的最小编码成本与所述联合色差编码模式的编码成本进行比较，并且选择具有所述最小编码成本的模式。

(10)根据(1)至(9)中任一项所述的图像处理装置，还包括：

正交变换单元，被配置成根据由所述编码模式设置单元设置的所述编码模式对所述图像的系数数据进行正交变换。

(11)根据(10)所述的图像处理装置，还包括：

编码单元，被配置成根据由所述编码模式设置单元设置的所述编码模式对由所述正交变换单元进行了正交变换的所述系数数据进行编码。

(12)根据(11)所述的图像处理装置，其中，

所述编码模式设置单元设置指示是否应用变换跳过的变换跳过标志作为所述编码模式，以及

所述编码单元对由所述编码模式设置单元设置的所述变换跳过标志进行编码。

(13)根据(11)或(12)所述的图像处理装置，还包括：

量化单元，被配置成对由所述正交变换单元进行了正交变换的所述系数数据进行量化，其中，

所述编码单元对由所述量化单元量化了的所述系数数据进行编码。

(14)根据(10)至(13)中任一项所述的图像处理装置，还包括：

计算单元，被配置成生成所述图像与预测图像之间的残差，其中，

所述正交变换单元对所述残差的系数数据进行正交变换。

(15)一种图像处理方法，包括：

通过将非联合色差编码模式中的具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出所述联合色差编码模式中的编码成本，来设置对图像进行编码的编码模式。

参考标记列表

300 图像编码装置

301 控制单元

312 计算单元

313 正交变换单元

314 量化单元

315 编码单元

Claims (15)

1.一种图像处理装置，包括：

编码模式设置单元，被配置成：通过将非联合色差编码模式中的具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出所述联合色差编码模式中的编码成本，来设置对图像进行编码的编码模式。

2.根据权利要求1所述的图像处理装置，其中，

所述编码模式设置单元执行关于所述联合色差编码模式的设置和所述变换类型的设置作为所述编码模式的设置。

3.根据权利要求2所述的图像处理装置，其中，

所述编码模式设置单元设置是否应用变换跳过作为所述联合色差编码模式中的所述变换类型。

4.根据权利要求3所述的图像处理装置，其中，

在不应用所述变换跳过的情况下，所述编码模式设置单元应用DCT2作为所述变换类型。

5.根据权利要求3所述的图像处理装置，其中，

所述编码模式设置单元将所述非联合色差编码模式中的具有最小编码成本的变换跳过标志的值设置到所述联合色差编码模式中的变换跳过标志。

6.根据权利要求2所述的图像处理装置，其中，

所述编码模式设置单元基于所述非联合色差编码模式中的色差编码块标志来设置所述联合色差编码模式。

7.根据权利要求6所述的图像处理装置，其中，

所述编码模式设置单元基于所设置的所述联合色差编码模式来设置编码分量标识符。

8.根据权利要求1所述的图像处理装置，其中，

在所述非联合色差编码模式中，所述编码模式设置单元得出每个变换类型的编码成本，设置具有在所得出的编码成本中的最小编码成本的变换类型，并且将所设置的变换类型设置为所述联合色差编码模式中的所述变换类型。

9.根据权利要求1所述的图像处理装置，其中，

所述编码模式设置单元将所述非联合色差编码模式的最小编码成本与所述联合色差编码模式的编码成本进行比较，并且选择具有所述最小编码成本的模式。

10.根据权利要求1所述的图像处理装置，还包括：

正交变换单元，被配置成根据由所述编码模式设置单元设置的所述编码模式对所述图像的系数数据进行正交变换。

11.根据权利要求10所述的图像处理装置，还包括：

编码单元，被配置成根据由所述编码模式设置单元设置的所述编码模式对由所述正交变换单元进行了正交变换的所述系数数据进行编码。

12.根据权利要求11所述的图像处理装置，其中，

所述编码模式设置单元设置指示是否应用变换跳过的变换跳过标志作为所述编码模式，以及

所述编码单元对由所述编码模式设置单元设置的所述变换跳过标志进行编码。

13.根据权利要求11所述的图像处理装置，还包括：

量化单元，被配置成对由所述正交变换单元进行了正交变换的所述系数数据进行量化，其中，

所述编码单元对由所述量化单元量化了的所述系数数据进行编码。

14.根据权利要求10所述的图像处理装置，还包括：

计算单元，被配置成生成所述图像与预测图像之间的残差，其中，

所述正交变换单元对所述残差的系数数据进行正交变换。

15.一种图像处理方法，包括：

通过将非联合色差编码模式中的具有最小编码成本的变换类型设置为联合色差编码模式中的变换类型，并且得出所述联合色差编码模式中的编码成本，来设置对图像进行编码的编码模式。

Images