CN104662901B - 图像处理装置及方法 - Google Patents

Abstract

本公开内容涉及可以抑制编码效率降低的图像处理装置及方法。该图像处理装置包括：设置单元，在对图像数据被编码的编码数据进行解码中，在当前块是跳过其正交变换处理的块的情况下，将用于跳过其正交变换处理的块的定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表；以及解码单元，其使用由设置单元设置的缩放列表执行包括逆量化处理的解码处理以对编码数据进行解码。本公开内容可应用于例如图像处理装置。

Description

图像处理装置及方法

技术领域

本公开内容涉及图像处理装置及方法，具体地，涉及能够抑制量化误差增大的图像处理装置及方法。

背景技术

最近，以下装置已经普及：该装置将图像信息处理为数字，并且为了高效的信息传输或累积的目的通过使用图像信息特有的冗余以及通过利用其中通过正交变换(如离散余弦变换和运动补偿)执行压缩的编码方案来对图像进行压缩和编码。作为该编码方案，例如，存在MPEG(运动图片专家组)等。

具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码方案，并且是覆盖隔行扫描(interlaced scanning)图像和逐行扫描(progressive scanning)图像两者、标准分辨率图像和高清晰度图像的标准。例如，目前，MPEG2已广泛用于出于专业目的和消费者目的的各种应用中。通过使用MPEG2压缩方案，在具有例如720×480像素的标准分辨率隔行扫描图像的情况下，可以分配4至8Mbps的编码量(比特率)。另外，通过使用MPEG2压缩方案，在具有例如1920×1088像素的高分辨率隔行扫描图像的情况下，可以分配18至22Mbps的编码量(比特率)。因此，可以实现高的压缩率和良好的图像质量。

MPEG2主要意在适合于广播的高图像质量编码，但是其不能应对比MPEG1的编码量更高的编码量(比特率)，即，较高的压缩率的编码方案。随着移动终端的普及，认为未来对于这样的编码方案的要求将增加，从而，MPEG4编码方案用于应对这而被标准化。对于图像编码方案，该标准在1998年12月被批准为国际标准ISO/IEC 14496-2。

另外，近年来，本来出于电视会议的图像编码的目的，H.26L(ITU-T(国际电信联盟电信标准化部))Q6/16VCEG(视频编码专家组)的标准已经着手。已知的是，与现有技术中的编码方案如MPEG2或MPEG4相比，H.26L通过编码和解码要求大的计算量，但是实现较高的编码效率。另外，目前，作为MPEG4的活动的一部分，基于H.26L并且合并H.26L不支持的功能以便实现较高的编码效率的标准化已经着手作为高级压缩视频编码的联合模型。

作为标准化的进程，在2003年3月，基于此以H.264和MPEG-4部分10(高级视频编码，在下文中，被称作AVC)的名义制定了国际标准。

此外，作为H.264/AVC的扩展，在2005年2月完成了如RGB、4:2:2或4:4:4的包括商业需要的编码工具、由MPEG-2定义的8×8 DCT或量化矩阵的FRExt(保真度范围扩展)的标准化。因此，通过使用H.264/AVC，甚至能够良好地表示包括在电影中的胶卷噪声的编码方案，使得其用于发展中的各种应用如蓝光光盘(注册商标)中。

然而，近年来，期望压缩其是高清晰度图像的分辨率的四倍的约4000×2000像素的图像或期望在有限的传输能力的环境如因特网中递送高清晰度图像的更高压缩比编码的要求增加了。因此，在ITU-T的上面提到的VCEG中，继续进行对提高编码效率的研究。

因此，目前，出于比AVC进一步提高编码效率的目的，为ITU-T和ISO/IEC的联合标准组织的JCTVC(联合合作组-视频编码)已经着手称作HEVC(高效视频编码)的编码方案的标准化。关于HEVC标准，在2012年2月发布了委员会草案作为规范的第一草案(例如，参考非专利文献1)。

在非专利文献1中公开的HEVC标准中，利用了被称作“帧内变换跳过”的方案(例如，参考非专利文献2)。

即，首先，发送关于是否对图片应用变换跳过(有时，被称作正交变换跳过)的PPS(图片参数集合)中的标志。正交变换跳过表示跳过(省略)正交变换处理/逆正交变换处理。

当该值为1时，可以对4×4正交变换块(TU)应用正交变换跳过。对于每个块，发送关于正交变换跳过的跳过/不跳过的标志。对于应用了正交变换跳过的块，在处理如熵编码、量化和环路滤波方面没有变化。

换言之，对于应用了正交变换跳过的块，不执行正交变换/逆正交变换，但是执行编码或解码。例如，正交变换之前的差分值被量化和无损编码。在对以这种方式获得的编码数据进行解码的情况下，理所当然，不要求逆正交变换处理。

在提高CG图像或画面内容如字幕的图像质量方面，正交变换跳过尤其有效。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC)textspecification draft 6",JCTVC-H1003ver21,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG117th Meeting:Geneva,CH,2011年11月21至30日

非专利文献2：Cuiling Lan,Jizheng Xu,Gary J.Sullivan,Feng Wu,"Intratransform skipping",JCTVC-I0408,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG119th Meeting:Geneva,CH,2012年4月27日至5月7日

发明内容

本发明要解决的问题

跳过正交变换处理的情况与执行正交变换处理的情况在量化系数方面不同。然而，在现有技术的方法中，不考虑正交变换跳过对量化的影响。因此，存在风险在于：用于量化处理的缩放列表不适当，并且不必要地增大了量化误差。

本公开内容通过考虑上述情况被作出，并且用于抑制量化误差增大。

问题的解决方案

根据本技术的一个方面，提供了一种图像处理装置，包括：设置单元，在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表；以及解码单元，使用由设置单元设置的缩放列表执行包括逆量化处理的解码处理，并且对编码数据进行解码。

定制缩放列表可以被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长。

定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长被设置成小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长被设置成大于默认定制缩放列表情况下的值。

定制缩放列表中的与具有要帧内预测中被参考的可能性的像素对应的部分的每个量化步长可具有根据对应的像素在帧内预测中被参考的可能性的等级的值。

在当前块是不跳过正交变换处理的块的情况下，设置单元可设置如下默认缩放列表作为用于对当前块进行逆量化处理的缩放列表：在默认缩放列表中，量化步长的所有值都相同，或者与高频分量对应的像素的量化步长具有大值。

图像处理装置还可以包括端部检测单元，该端部检测单元检测帧内预测中的参考可变范围的端部，并且在当前块是由端部检测单元检测到的参考可变范围的端部中的块的情况下，设置单元可以将根据参考可变范围的端部的位置的定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表。

图像处理装置还可以包括接收单元和确定单元，接收单元接收关于正交变换处理的跳过的信息，确定单元基于由接收单元接收的关于正交变换处理的跳过的信息确定当前块是否是跳过正交变换处理的块，并且在由确定单元确定当前块是跳过正交变换处理的块的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表。

在被包括在关于正交变换处理的跳过的信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，确定单元可以禁止图片中的正交变换处理的跳过。

确定单元还还可以确定当前块的切片类型，并且在由确定单元确定当前块是跳过正交变换处理的块并且当前切片是对其仅执行帧内预测的切片的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表。

根据本技术的一个方面，提供了一种图像处理装置的图像处理方法，包括图像处理装置进行：在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行逆量化处理的缩放列表；以及使用所设置的缩放列表执行包括逆量化处理的解码处理，并且对编码数据进行解码。

根据本技术的另一方面，提供了一种图像处理装置，包括：设置单元，在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行量化处理的缩放列表；以及编码单元，其使用由设置单元设置的缩放列表执行包括量化处理的编码处理，并且对图像数据进行编码。

定制缩放列表可以被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长。

定制缩放列表可以被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长大于默认定制缩放列表情况下的值。

定制缩放列表中的与具有要在帧内预测中被参考的可能性的像素对应的部分的每个量化步长可以具有根据对应的像素在帧内预测中被参考的可能性的等级的值。

在当前块是不跳过正交变换处理的块的情况下，设置单元可以设置如下默认缩放列表作为用于对当前块进行量化处理的缩放列表：在默认缩放列表中，量化步长的所有值都相同，或者与高频分量对应的像素的量化步长具有大值。

图像处理装置还可以包括端部检测单元，该端部检测单元检测帧内预测中的参考可变范围的端部，并且在当前块是由端部检测单元检测到的参考可变范围的端部中的块时，设置单元可以将根据参考可变范围的端部的位置的定制缩放列表设置为用于对当前块进行量化处理的缩放列表。

图像处理装置还可以包括确定单元，该确定单元基于关于正交变换处理的跳过的信息确定对当前块是否跳过正交变换处理，并且在由确定单元确定对当前块跳过正交变换处理的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行量化处理的缩放列表。

在被包括在关于正交变换处理的跳过的信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，确定单元可以禁止图片中的正交变换处理的跳过。

确定单元还可以确定当前块的切片类型，并且在由确定单元确定当前块是跳过正交变换处理的块并且当前切片是对其仅执行帧内预测的切片的情况下，设置单元可以将定制缩放列表设置为用于对当前块进行量化处理的缩放列表。

根据本技术的另一方面，提供了一种图像处理装置的图像处理方法，包括图像处理器装置进行：在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对当前块进行量化处理的缩放列表；以及使用所设置的缩放列表执行包括量化处理的编码处理，并且对图像数据进行编码。

根据本技术的一个方面，在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，用于跳过正交变换处理的块的定制缩放列表被设置为用于对当前块进行逆量化处理的缩放列表，使用该缩放列表执行包括逆量化处理的解码处理，并且对编码数据进行解码。

根据本技术的一个方面，在对图像数据进行编码中，在跳过当前块的正交变换处理的情况下，用于跳过正交变换处理的块的定制缩放列表被设置为用于对当前块进行量化处理的缩放列表，使用所设置的缩放列表执行包括量化处理的编码处理，并且图像数据被编码。

发明效果

根据本公开内容，可以对图像进行编码/解码。具体地，可以抑制量化误差增大。

附图说明

图1是示出了编码单位的配置示例的图。

图2是示出了帧内预测的参考像素的示例的图。

图3是示出了默认缩放列表的示例的图。

图4是示出了默认缩放列表的另一示例的图。

图5是示出了定制缩放列表的示例的图。

图6是示出了定制缩放列表的另一示例的图。

图7是示出了定制缩放列表的又一示例的图。

图8是示出了图像编码装置的主要配置的示例的框图。

图9是示出了量化控制器的主要配置的示例的框图。

图10是示出了编码处理流的示例的流程图。

图11是示出了量化控制处理流的示例的流程图。

图12是示出了图像解码装置的主要配置的示例的框图。

图13是示出了逆量化控制器的主要配置的示例的框图。

图14是示出了解码处理流的示例的流程图。

图15是示出了逆量化控制处理流的流程图。

图16是示出了定制缩放列表的又一示例的图。

图17是示出了定制缩放列表的又一示例的图。

图18是示出了量化控制器的主要配置的示例的框图。

图19是示出了量化控制处理流的示例的流程图。

图20是示出了逆量化控制器的主要配置的示例的框图。

图21是示出了逆量化控制处理流的示例的流程图。

图22是示出了多视图图像编码方案的示例的图。

图23是示出了应用本技术的多视图图像编码装置的主要配置的示例的图。

图24是示出了应用本技术的多视图图像解码装置和分层图像编码装置的主要配置的示例的图。

图25是示出了分层图像编码方案的示例的图。

图26是示出了应用本技术的分层图像编码装置的主要配置的示例的图。

图27是示出了应用本技术的分层图像解码装置的主要配置的示例的图。

图28是示出了计算机的主要配置的示例的框图。

图29是示出了电视设备的示意性配置的示例的框图。

图30是示出了移动电话的示意性配置的示例的框图。

图31是示出了记录/再现装置的示意性配置的示例的框图。

图32是示出了成像装置的示意性配置的示例的框图。

图33是示出了可伸缩编码的使用的示例的框图。

图34是示出了可伸缩编码的另一使用的示例的框图。

图35是示出了可伸缩编码的又一使用的示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的模式(在下文中，被称作实施方式)。将按照下面的顺序进行描述。

0.概述

1.第一实施方式(图像编码装置)

2.第二实施方式(图像解码装置)

3.第三实施方式(图像编码装置)

4.第四实施方式(图像解码装置)

5.第五实施方式(多视图图像编码/多视图图像解码装置)

6.第六实施方式(分层图像编码/分层图像解码装置)

7.第七实施方式(计算机)

8.应用示例

9.可伸缩编码的应用示例

<0.概述>

[编码方案]

在下文中，本公开内容将被描述为应用于HEVC(高效视频编码)方案的图像编码/解码的示例。

[编码单位]

在AVC(高级视频编码)方案中，定义了根据宏块和子宏块的分层结构。然而，对于为下一代编码方案的目标的称作UHD(超高清晰度；4000像素×2000像素)的大图像帧而言，16像素×16像素的宏块不是最佳的。

另一方面，在HEVC方案中，如图1中所示，定义了编码单位(CU)。

CU是以图片为单位的图像的部分区域，其被称作编码树块(CTB)，并且具有与AVC方案中的宏块相同的功能。在下文中，尺寸被固定成16×16像素。然而，在上文中，尺寸不固定，但是在每个序列中，在图像压缩信息中指定尺寸。

例如，在被包括在要被输出的编码数据中的序列参数集合(SPS)中定义CU的最大尺寸(LCU(最大编码单位))和最小尺寸(SCU(最小编码单位))。

在每个LCU中，在不小于SCU的尺寸的范围内，通过设置split_flag＝1，CU可以被分割成(split into)具有较小尺寸的CU。在图1的示例中，LCU的尺寸为128，并且最大分层深度为5。当split_flag的值为1时，具有2N×2N尺寸的CU被分割成具有N×N尺寸的CU，具有N×N尺寸的CU是位于下一个等级的层。

另外，CU被分割成预测单位(PU)，预测单位(PU)是作为帧内预测或帧间预测的处理单位的区域(以图片为单位的图像的部分区域)，或者CU被分割成变换单位(TU)，变换单位(TU)是作为正交变换的处理单位的区域(以图片为单位的图像的部分区域)。目前，在HEVC方案中，除了4×4变换和8×8正交变换以外，16×16和32×32正交变换也可用。

类似于上述HEVC方案，在其中定义CU并且以CU为单位执行各种处理的编码方案的情况下，可以考虑，AVC方案中的宏块与LCU对应，并且块(子块)与CU对应。另外，可以考虑，AVC方案中的运动补偿块与PU对应。然而，由于CU具有分层结构，所以最高层的LCU的尺寸通常被设置成大于AVC方案的宏块例如128×128像素。

因此，在下文中，假定LCU包括AVC方案的宏块并且CU包括AVC方案的块(子块)。换言之，在下文用于描述中的术语“块”表示图片中的任何部分区域，但是其尺寸、形状、特性等不受限制。即，“块”包括任何区域(处理单位)例如TU、PU、SCU、CU、LCU、子块、宏块、切片等。当然，还包括其他部分区域(处理单位)。在需要限制尺寸、处理单位等的情况下，将适当给出其描述。

[模式选择]

在AVC和HEVC编码方案中，为了实现更高的编码效率，选择适当的预测模式是重要的。

作为这样的选择方案的示例，存在安装在称作H.264/MPEG-4AVC的JM(联合模式)的参考软件(在http://iphome.hhi.de/suehring/tml/index.htm中公布)上的方法。

在JM中，可以选择下文描述的高复杂度模式和低复杂度模式的两种模式确定方法。在该方法的任一种方法中，计算关于每种预测模式的成本函数值，并且将使成本函数值最小化的预测模式选择为用于关联块或宏块的最佳模式。

高复杂度模式下的成本函数由下面的等式(1)来表达。

Cost(Mode∈Ω)＝D+λ*R…(1)

在本文中，Ω表示用于对关联块或宏块进行编码的候选模式的全部集合，以及D表示在相关联预测模式下进行编码的情况下解码图像和输入图像的差分能量。λ表示作为量化参数的函数给出的拉格朗日未定乘子。R表示在相关联模式下进行编码的情况下包括正交变换系数的总编码量。

即，在高复杂度模式下进行编码的情况下，为了计算上述参数D和R，需要通过所有候选模式执行临时编码处理一次，并且因此要求较大的计算量。

低复杂度模式下的成本函数由下面的等式(2)来表达。

Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit…(2)

在本文中，不同于高复杂度模式的情况，D表示预测图像和输入图像的差分能量。QP2Quant(QP)作为量化参数QP的函数被给出，并且HeaderBit表示关于被包括在不包括正交变换系数的称作运动矢量或模式的报头中的信息的编码量。

即，在低复杂度模式下，需要对每种候选模式执行预测处理，但是由于未获取解码图像，所以不需要执行编码处理。因此，可以以比高复杂度模式更低的计算量实现低复杂度模式。

[帧内预测]

在现有技术中，作为在编码或解码中生成预测图像的方法，存在通过使用画面中的其他像素执行预测的帧内预测。

在帧内预测中，多个模式被准备为帧内预测模式，参考作为处理目标的当前块的附近的根据模式的位置处的像素，并且通过使用像素值执行当前块的预测。用于帧内预测中的像素被称为参考像素。另外，作为参考像素，利用先前被处理的编码完成像素。

在图2中示出了参考像素的位置的示例。在图2中，白色正方形表示当前块的像素(预测目标像素)，而白色正方形附近的具有斜线的正方形表示作为编码完成像素的参考像素。换言之，通过使用具有斜线的正方形表示的像素中的与帧内预测模式对应的像素的像素值来执行当前块的预测。

[量化]

在编码方案如AVC或HEVC的情况下，为了提高编码效率，对正交变换系数进行量化。接下来，对所获得的经量化的系数进行无损编码。因此，在解码处理中，对通过无损解码从编码数据获得的经量化的系数进行逆量化。

通过使用用于例如正交变换处理的每个单位块(例如，TU)的预定缩放列表来执行量化/逆量化。缩放列表是采集与关联块的相应像素对应的量化步长的信息。在量化/逆量化中，例如，使用预先准备的默认缩放列表。

在图3和图4中示出了具有4像素×4像素大小的默认缩放列表的示例。在图3的示例的情况下，所有4×4量化步长的值彼此相等。另外，在图4的示例的情况下，在4×4量化步长中，右下量化步长的值相对大。在编码如HEVC或AVC中，像素值被正交变换以被量化。换言之，对正交变换系数执行量化。因此，在图4的示例的默认缩放列表的情况下，对较大的量化步长执行量化，以便与当前块的编码量相比减少高频分量(正交变换系数)的编码量。

[正交变换跳过]

在HEVC标准中，利用非专利文献2中提出的方案“帧内变换跳过”。正交变换跳过(变换跳过)是省略(跳过)正交变换处理或逆正交变换处理的方案。

通常，对于图像数据(差分图像数据)的每个块执行正交变换处理，以将关于块中的空间域的信息转换成关于频域的信息，使得块中的系数被配置成被集中在低频区域上，并且从而可以增大偏倾。因此，提高了编码效率。

然而，可以考虑，存在依赖于块中的图案很难出现这样的偏倾的情况。例如，在人工图像如CG图像或字幕的情况下，与自然图像相比，容易出现渐变或强烈边缘。因此，容易出现高频分量，并且即使执行正交变换处理，也很难出现偏倾。因此，相对于这样的块，正交变换处理的跳过被配置成被允许，使得可以进一步提高编码效率。

[定制缩放列表]

如果上述正交变换跳过被应用，代替正交变换系数，对正交变换之前的像素值进行量化。然而，在现有技术的量化/逆量化中，不考虑对正交变换跳过的测量。因此，甚至通过使用与正交变换系数的情况下的缩放列表相同的缩放列表对正交变换之前的像素值进行量化/逆量化。

然而，由于缩放列表用于正交变换系数，所以对于正交变换之前的像素值而言缩放列表未被优化。因此，存在风险在于：不必要地增大了量化误差。

因此，在对图像数据进行编码中跳过对当前块进行正交变换处理/逆正交变换处理的情况下，更适合于正交变换之前的像素值的量化/逆量化的定制缩放列表被设置为用于对当前块进行量化处理的缩放列表。

在正交变换之前的像素值的量化/逆量化中，代替现有技术中适合于正交变换系数的量化/逆量化的默认缩放列表，使用定制缩放列表，使得可以抑制量化误差增大。

具体地，在帧内预测中，当前块附近的参考像素被用于生成预测图像的多个像素。因此，存在风险在于：包括在参考像素的像素值中的量化误差通过帧内预测被扩展到比预测图像的像素更大数量的像素。因此，存在风险在于：极大地降低了帧内预测的预测精确度，降低了编码效率，并且增加了由编码或解码导致的图像质量的退化。

因此，在定制缩放列表中，量化步长的值可以被设置，使得帧内预测的预测精确度不被量化误差降低，即，使得减小包括在可能要在帧内预测中被参考的块中的像素的像素值中的量化误差。

此外，如果缩放列表的所有量化误差的值被设置成小，则不必要地增加了编码量；存在风险在于：降低了编码效率。因此，在定制缩放列表中，与具有在帧内预测中要被参考的可能性的像素对应的量化步长的值被设置成小于与不具有在帧内预测中要被参考的像素对应的量化步长的值。

通过以这种方式进行，在跳过正交变换处理和逆正交变换处理的块中，与通过使用默认缩放列表执行量化/逆量化的情况相比，在通过使用定制缩放列表执行量化/逆量化的情况下，可以减少包括在预测图像中的量化误差，以提高编码效率并且以减少由编码或解码导致的图像质量的退化。

在图5中示出了定制缩放列表的示例。假定图5中示出的缩放列表与图3中示出的默认缩放列表的示例的对应。即，在图5的示例的定制缩放列表中，与由具有斜线的图案示出的、具有在帧内预测中要被参考的可能性的像素对应的量化步长(块的右端和下端的量化步长)被设置成小于默认缩放列表的情况下的量化步长。另外，由白色正方形表示的其他量化步长(与不具有在帧内预测中要被参考的可能性的像素对应的量化步长)在默认缩放列表中保持相同。

以这种方式，仅与具有在帧内预测中要被参考的可能性的像素对应的量化步长的值被配置成被减小，使得可以减小包括在预测图像中的量化误差。另外，可以抑制编码量的不必要的增加，并且可以进一步抑制编码效率的降低。

另外，代替图4的示例的默认缩放列表，可以使用图5的定制缩放列表。即，在定制缩放列表中，类似于图5的示例，与不具有在帧内预测中要被参考的可能性的像素对应的量化步长的值可能不均匀。

类似地，在定制缩放列表中，类似于图5的示例，与具有在帧内预测中要被参考的可能性的像素对应的量化步长的值可能不均匀。

例如，与具有在帧内预测中要被参考的可能性的像素对应的部分的每个量化步长可以被配置成具有根据对应的像素在帧内预测中要被参考的可能性的等级的值。

在图6中示出了定制缩放列表的示例。图6中示出的定制缩放列表被设置，使得右下角处的量化步长的值小很多。与量化步长对应的像素在很多块如关联块左侧或下方的块的帧内预测中具有要被参考的可能性。换言之，可以陈述，关联量化步长比其他量化步长具有被参考的较高可能性。

与具有被参考的高可能性的像素对应的量化步长被配置成较小(根据可能性的等级)，使得可以更有效地减小包括在预测图像中的量化误差。因此，在抑制编码量的不必要的增大的同时，可以进一步抑制编码效率降低。

另外，在这样的定制缩放列表中，重要的是，与具有在帧内预测中要被参考的可能性的像素对应的量化步长的值小于与不具有在帧内预测中要被参考的可能性的像素对应的量化步长的值，以及具体值是任意的，并且可以根据实际的编码量等被设置成适当的值。

换言之，替代将与具有在帧内预测中要被参考的可能性的像素对应的量化步长的值设置成小，可以将与不具有在帧内预测中要被参考的可能性的像素对应的量化步长的值设置成大。

例如，类似于图7中示出的定制缩放列表的示例，与不具有在帧内预测中要被参考的可能性的像素对应的部分的量化步长可以被设置成大于默认定制缩放列表的情况下的值。

例如，在不存在用于增加编码量的空间的情况下，图7的示例的这样的定制缩放列表被配置成要被应用，使得与使用默认缩放列表的情况相比，在降低编码量的同时，可以抑制包括在预测图像中的量化误差的增大。

[定制缩放列表的生成]

此外，这样的定制缩放列表可以被预先准备或可以被配置成适当地被生成。在预先准备的情况下，可以准备任意数量的定制缩放列表。

另外，所使用的定制缩放列表可以被配置成被从编码侧发送至解码侧。例如，在序列参数集合、图片参数集合等中，定制缩放列表可以被配置成被发送。另外，定制缩放列表可以被配置成作为除了编码数据以外的数据被发送。

另外，在解码侧，所使用的定制缩放列表可以被配置成通过与编码侧的处理相同的处理被设置(选择或生成)。在这种情况下，定制缩放列表的发送是不必要的。

此外，可以基于关于当前块的正交变换跳过的信息确定对为处理目标的当前块的量化/逆量化应用定制缩放列表还是应用默认缩放列表。

[关于正交变换跳过的信息]

关于正交变换跳过的信息包括例如表示相对于预定范围允许还是禁止正交变换跳过(变换跳过)的跳过许可信息(transform_skip_enable_flag)以及表示对当前块是否应用正交变换跳过的跳过识别信息(transform_skip_flag)。

跳过许可信息(transform_skip_enable_flag)是表示相对于大于正交变换处理的单位的每个范围允许还是禁止正交变换跳过(变换跳过)的信息。例如，在跳过许可信息(transform_skip_enable_flag)的值为假(例如，“0”)的情况下，相对于与关联值对应的范围的块，禁止正交变换跳过(变换跳过)(必须执行正交变换处理/逆正交变换处理)。

另外，例如，在跳过许可信息(transform_skip_enable_flag)的值为真(例如，“1”)的情况下，相对于与关联值对应的范围的块，允许正交变换跳过(变换跳过)(跳过正交变换处理/逆正交变换处理)。

跳过许可信息(transform_skip_enable_flag)由例如用户等设置。跳过许可信息(transform_skip_enable_flag)对于例如每个图片被设置，并且以图片参数集合(PPS)等被发送。

在跳过许可信息(transform_skip_enable_flag)的值为真(例如，“1”)的情况下，正交变换跳过(变换跳过)可以被应用于具有预定尺寸(例如，4×4尺寸)的块(TU)。在这种情况下，在具有预定尺寸(例如，4×4尺寸)的每个块(TU)中，跳过识别信息(transform_skip_flag)被发送。

跳过识别信息(transform_skip_flag)是表示在编码期间对为处理目标的当前块(TU)是否执行正交变换跳过的信息。在该值为假(例如，“0”)的情况下，不对当前块执行正交变换跳过(变换跳过)(执行正交变换处理)。即，在解码侧，在跳过识别信息(transform_skip_flag)的值为假(例如，“0”)的情况下，对当前块执行逆正交变换处理。

相反，该值为真(例如，“1”)，对当前块执行正交变换跳过(变换跳过)(不执行正交变换处理)。即，在解码侧，在跳过识别信息(transform_skip_flag)的值为真(例如，“1”)的情况下，跳过(省略)对当前块进行逆正交变换处理。

如上所述，可以基于跳过许可信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag)确定是否跳过对当前块进行正交变换处理。因此，还可以基于上述值确定是否应用定制缩放列表。即，在基于跳过许可信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag)确定跳过对当前块进行正交变换处理/逆正交变换处理的情况下，定制缩放列表可以被配置成被应用，而在其他情况下，默认缩放列表可以被配置成被应用。

此外，可以仅基于跳过许可信息(transform_skip_enable_flag)确定是否应用定制缩放列表。例如，在跳过许可信息(transform_skip_enable_flag)的值为真(例如，“1”)的情况下，对当前块进行的正交变换处理/逆正交变换处理被配置成被跳过，使得定制缩放列表被应用。在该值为假(例如，“0”)的情况下，对当前块进行的正交变换处理/逆正交变换处理不被配置成被跳过，使得默认缩放列表被应用。

换言之，跳过许可信息(transform_skip_enable_flag)的值被配置成为假(例如，0)，使得定制缩放列表的应用可以被配置成被禁止。

此外，作为另外的标记，定制缩放列表可以被应用于的块的尺寸被限于正交变换跳过可用的预定尺寸(例如，4×4尺寸)。在不参考跳过识别信息(transform_skip_flag)的情况下，还优选地考虑该限制。

此外，在包括当前块的切片(当前切片)为对其仅执行帧内预测的I切片的情况下，定制缩放列表可以被配置成被应用，而在其他类型的切片的情况下，定制缩放列表的应用可以被配置成被禁止。

如果执行帧内预测，则参考像素的像素值被扩展至当前块。因此，量化步长的值被设置成小，并且从而参考像素的量化误差被减小。根据量化误差的减小的优势尤其大。因此，仅在对其安全地执行帧内预测的I切片的情况下，定制缩放列表的应用可以被配置成被允许。

在这种情况下，除了关于正交变换跳过的上述信息以外，通过参考当前切片的切片类型，也可以实现这样的控制。

接下来，在上述本技术中，将描述对具体装置的应用的示例。

<1.第一实施方式>

[图像编码装置]

图8是示出了作为图像处理装置的实施方式的图像编码装置的主要配置的示例框图。图8中示出的图像编码装置100通过使用例如HEVC(高效视频编码)的预测处理或根据HEVC方案的预测处理对图像数据进行编码。如图8中所示，图像编码装置100被配置成包括A/D转换器111、画面重排缓冲器112、计算单元113、正交变换单元114、量化单元115、无损编码单元116、累积缓冲器117、逆量化单元118和逆正交变换单元119。另外，图像编码装置100被配置成包括计算单元120、环路滤波器121、帧存储器122、选择单元123、帧内预测单元124、运动预测/补偿单元125、预测图像选择单元126和速率控制器127。

图像编码装置100被配置成还包括正交变换跳过单元131和量化控制器132。

A/D转换器111对输入图像数据进行A/D转换，并且将经转换的图像数据(数字数据)提供给画面重排缓冲器112以将图像数据存储其中。画面重排缓冲器112根据GOP(图片组)将存储的帧显示顺序的图像重排成帧编码顺序，并且将其帧顺序被重排的图像提供给计算单元113。另外，画面重排缓冲器112还将其帧顺序被重排的图像提供给帧内预测单元124和运动预测/补偿单元125。

计算单元113将从画面重排缓冲器112读取的图像中减去通过预测图像选择单元126从帧内预测单元124或运动预测/补偿单元125提供的预测图像，并且将差分信息输出至正交变换单元114。例如，在对图像进行帧内编码的情况下，计算单元113将从画面重排缓冲器112读取的图像中减去从帧内预测单元124提供的预测图像。另外，例如，在对图像进行帧间编码的情况下，计算单元113将从画面重排缓冲器112读取的图像中减去从运动预测/补偿单元125提供的预测图像。

正交变换单元114对从计算单元113提供的差分信息执行正交变换如离散余弦变换或卡洛变换。正交变换单元114将变换系数提供给量化单元115。

量化单元115对从正交变换单元114提供的变换系数进行量化。量化单元115基于关于从速率控制器127应用的编码量的目标值的信息设置量化参数，并且执行量化。量化单元115将经量化的变换系数提供给无损编码单元116。

无损编码单元116以任意编码方案对由量化单元115量化的变换系数进行编码。由于在速率控制器127的控制下对系数数据进行量化，所以编码量变成由速率控制器127设置的目标值(或近似于目标值)。

另外，无损编码单元116从帧内预测单元124获取表示帧内预测的模式的信息，并且从运动预测/补偿单元125获取帧间预测的模式的信息、差分运动矢量信息等。另外，无损编码单元116适当地生成包括视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)等的NAL单位。

无损编码单元116以任意编码方案对这样各种类型的信息进行编码，并且将编码信息合并(复用)为编码数据(有时，被称作编码流)的一部分。无损编码单元116将通过编码所获得的编码数据提供给累积缓冲器117以在其中提供编码数据。

作为无损编码单元116的编码方案，存在可变长度编码、算术编码等。作为可变长度编码，例如，存在在H.264/AVC方案中定义的CAVLC(上下文自适应可变长度编码)等。作为算术编码，例如，存在CABAC(上下文自适应二进制算术编码)等。

累积缓冲器117临时存储从无损编码单元116提供的编码数据。在预定编码定时，累积缓冲器117将所存储的编码数据输出至后级处的记录装置或传输线等(未示出)。即，累积缓冲器117还是发送编码数据的传输单元。

另外，由量化单元115量化的变换系数还被提供给逆量化单元118。逆量化单元118通过与量化单元115的量化对应的方法对经量化的变换系数进行逆量化。逆量化单元118将所获得的变换系数提供给逆正交变换单元119。

逆正交变换单元119通过与正交变换单元114的正交变换处理对应的方法对从逆量化单元118提供的变换系数执行逆正交变换处理。逆正交变换输出(恢复的差分信息)被提供给计算单元120。

计算单元120将通过预测图像选择单元126从帧内预测单元124或运动预测/补偿单元125提供的预测图像与从逆正交变换单元119提供的逆正交变换的结果的经恢复的差分信息相加以获得本地解码图像(解码图像)。解码图像被提供给环路滤波器121或帧存储器122。

环路滤波器121包括去块滤波器、自适应环路滤波器等，并且对从计算单元120提供的重建图像执行适当的滤波处理。例如，环路滤波器121对重建图像执行去块滤波处理以去除重建图像的块失真。另外，例如，环路滤波器121通过使用维纳滤波器对去块滤波处理的结果(块失真被去除的重建图像)执行环路滤波处理来提高图像质量。环路滤波器121将滤波处理的结果(在下文中，被称为解码图像)提供给帧存储器122。

此外，环路滤波器121还可以被配置成还对重建图像执行其他任意滤波处理。另外，如果需要，环路滤波器121可以将信息如用于滤波处理的滤波器系数等提供给无损编码单元116以便对信息进行编码。

帧存储器122存储从计算单元120提供的重建图像和从环路滤波器121提供的解码图像。在预定定时或者根据帧内预测单元124的外部请求等，帧存储器122通过选择单元123将所存储的重建图像提供给帧内预测单元124。另外，在预定定时或者根据运动预测/补偿单元125的外部请求等，帧存储器122通过选择单元123将所存储的解码图像提供给运动预测/补偿单元125。

帧存储器122存储所提供的解码图像，并且在预定定时将所存储的解码图像作为参考图像提供给选择单元123。

选择单元123选择从帧存储器122提供的参考图像的提供目的地。例如，在帧内预测的情况下，选择单元123将从帧存储器122提供的参考图像(当前图片中的像素值)提供给运动预测/补偿单元125。另外，例如，在帧间预测的情况下，选择单元123将从帧存储器122提供的参考图像提供给运动预测/补偿单元125。

帧内预测单元124通过使用为通过选择单元123从帧存储器122提供的参考图像的当前图片中的像素值执行生成预测图像的帧内预测(画面内部预测)。帧内预测单元124在预先准备的多种帧内预测模式下执行帧内预测。

帧内预测单元124在所有候选帧内预测模式下生成预测图像，通过使用从画面重排缓冲器112提供的输入图像对预测图像的成本函数值进行评估，并且选择最佳模式。如果帧内预测单元选择最佳帧内预测模式，则帧内预测单元124将在最佳模式下生成的预测图像提供给预测图像选择单元126。

另外，如上所述，帧内预测单元124适当地将表示所利用的帧内预测模式的帧内预测模式信息等提供给无损编码单元116，并且编码允许被执行。

运动预测/补偿单元125通过使用从画面重排单元112提供的输入图像和通过选择单元123从帧存储器122提供的参考图像来执行运动预测(帧间预测)。运动预测/补偿单元125根据所检测的运动矢量执行运动补偿处理，并且生成预测图像(帧间预测图像信息)。运动预测/补偿单元125在预先准备的多种帧间预测模式下执行帧间预测。

运动预测/补偿单元125在所有候选帧间预测模式下生成预测图像。运动预测/补偿单元125通过使用从画面重排缓冲器112提供的输入图像、所生成的差分运动矢量的信息等对预测图像的成本函数值进行评估，并且选择最佳模式。如果运动预测/补偿单元125选择最佳帧间预测模式，运动预测/补偿单元125将在最佳模式下生成的预测图像提供给预测图像选择单元126。

当运动预测/补偿单元125对表示所利用的帧间预测模式的信息或编码数据进行解码时，运动预测/补偿单元125将为了在帧间预测模式下执行处理所需要的信息等提供给无损编码单元116，并且编码允许被执行。作为所需要的信息，例如，存在所生成的差分运动矢量的信息、作为预测/运动矢量信息的表示预测/运动矢量的索引的标志等。

预测图像选择单元126选择被提供给计算单元113或计算单元120的预测图像的提供源。例如，在帧内编码的情况下，预测图像选择单元126选择帧内预测单元124作为预测图像的提供源，并且将来自帧内预测单元124的预测图像提供给计算单元113或计算单元120。另外，例如，在帧间编码的情况下，预测图像选择单元126选择运动预测/补偿单元125作为预测图像的提供源，并且将从运动预测/补偿单元125提供的预测图像提供给计算单元113或计算单元120。

速率控制器127基于累积在累积缓冲器117中的编码数据的编码量控制量化单元115的量化操作的速率，使得不出现上溢或下溢。

正交变换跳过单元131控制正交变换处理在正交变换单元114中的执行以及逆正交变换处理在逆正交变换单元119中的执行。例如，正交变换跳过单元131从正交变换单元114获取正交变换系数和正交变换之前的差值。另外，例如，正交变换跳过单元131从无损编码单元116获取跳过许可信息(transform_skip_enable_flag)。正交变换跳过单元131基于这样的信息确定是否跳过(省略)正交变换处理或逆正交变换处理。

正交变换跳过单元131基于该确定来控制正交变换单元114或逆正交变换单元119。换言之，正交变换单元114在正交变换跳过单元131的控制下执行或跳过正交变换处理。类似地，逆正交变换单元119在正交变换跳过单元131的控制下执行或跳过逆正交变换处理。

另外，正交变换跳过单元131生成所确定的内容，即，表示关于是否跳过正交变换处理或逆正交变换处理的跳过识别信息(transform_skip_flag)，并且将该信息提供给无损编码单元116。无损编码单元116将跳过识别信息(transform_skip_flag)合并到例如编码数据中，并且将编码数据发送至解码侧。此外，跳过识别信息可以被配置成作为与编码数据不同的数据被发送至解码侧。

此外，正交变换跳过单元131将包括跳过许可信息(transform_skip_enable_flag)或跳过识别信息(transform_skip_flag)的关于正交变换跳过的信息提供给量化控制器132。

量化控制器132获取关于从正交变换跳过单元131提供的正交变换跳过的信息。另外，量化控制器132从画面重排缓冲器112获取表示为处理目标的当前切片(包括在当前块中的切片)的切片类型的信息。量化控制器132确定对当前块的量化/逆量化应用定制缩放列表还是应用默认缩放列表的信息。如果量化控制器132确定要被应用的缩放列表，则量化控制器132将该缩放列表提供给量化单元115和逆量化单元118。

量化单元115通过使用从量化控制器132提供的缩放列表对当前块执行量化。另外，逆量化单元118通过使用从量化控制器132提供的缩放列表对当前块执行逆量化。

[量化控制器]

图9是示出了图8的量化控制器132的主要配置的示例的框图。如图9中所示，量化控制器132被配置成包括确定单元151和缩放列表设置单元152。

如图9中所示，正交变换跳过单元131将关于正交变换跳过的信息提供给确定单元151。另外，画面重排缓冲器112将表示当前切片的切片类型的信息提供给确定单元151。

确定单元151对该信息执行确定。例如，确定单元151确定跳过许可信息或跳过识别信息的值。另外，例如，确定单元151确定当前切片是否是I切片。确定单元151将确定结果提供给缩放列表设置单元152。

缩放列表设置单元152基于从确定单元151提供的确定结果来设置用于对当前块进行量化/逆量化的缩放列表。例如，在跳过许可信息和跳过识别信息的两个值均为真且当前切片是I切片的情况下，缩放列表设置单元152应用定制缩放列表。另外，在跳过许可信息和跳过识别信息的至少任一信息的值为假或当前切片不是I切片的情况下，缩放列表设置单元152应用默认缩放列表。

缩放列表设置单元152将所设置的缩放列表提供给量化单元115和逆量化单元118。量化单元115和逆量化单元118分别通过使用缩放列表执行量化处理和逆量化处理。

通过以这种方式进行，图像编码装置100可以抑制量化误差增大，并且提高编码效率。换言之，图像编码装置100可以抑制由编码/解码导致的图像质量的退化。

[编码处理流]

接下来，将描述由上述图像编码装置100执行的处理流。首先，将参照图10的流程图描述编码处理流的示例。

如果开始编码处理，则在步骤S101中，图像编码装置100的无损编码单元116例如基于用户指令等生成关于为处理目标的当前图片的跳过许可信息(transform_skip_enable_flag)。

在步骤S102中，A/D转换器111对输入图像数据进行A/D转换。在步骤S103中，画面重排缓冲器112存储经A/D转换的图像信息(数字数据)，并且将图片从显示顺序重排至编码顺序。

在步骤S104中，帧内预测单元124在帧内预测模式下执行帧内预测处理。在步骤S105中，运动预测/补偿单元125在帧间预测模式下执行进行运动预测或运动补偿的帧间运动预测处理。在步骤S106中，预测图像选择单元126基于从帧内预测单元124和运动预测/补偿单元125输出的成本函数值来确定最佳模式。即，预测图像选择单元126选择由帧内预测单元124生成的预测图像和由运动预测/补偿单元125生成的预测图像中的任一个。

在步骤S107中，计算单元113计算通过步骤S103的处理重排的图像与通过步骤S106的处理选择的预测图像之间的差分。与原始图像数据相比，差分数据的数据量减小。因此，与不变地对图像进行编码的情况相比，可以压缩数据量。

在步骤S108中，正交变换跳过单元131确定是否执行为处理目标的当前块的正交变换跳过。在步骤S109中，正交变换单元114根据步骤S108的处理结果对通过步骤S107的处理生成的差分信息执行正交变换处理。例如，在步骤S108中确定对当前块执行正交变换的情况下，在步骤S109中，正交变换单元114执行正交变换。另外，例如，在步骤S108中确定不对当前块执行正交变换的情况下，在步骤S109中，正交变换单元114跳过正交变换。

在步骤S110中，量化控制器132根据步骤S108的处理结果执行量化控制处理。在步骤S111中，量化单元115通过使用由速率控制器127计算的量化参数和在步骤S110中设置的缩放列表，对通过步骤S109的处理所获得的正交变换系数或正交变换之前的差分值进行量化。

通过步骤S110的处理量化的差分信息如下被局部解码。即，在步骤S112中，逆量化单元118通过使用在步骤S110中设置的缩放列表对通过步骤S111的处理生成的经量化的系数(有时，被称为量化系数)进行逆量化。在步骤S113中，逆正交变换单元119根据步骤S108的处理结果对通过步骤S112的处理所获得的正交变换系数或正交变换之前的差分值执行逆正交变换处理。

在步骤S114中，计算单元120通过将预测图像与局部解码差分信息相加来生成局部解码图像(与至计算单元113的输入对应的图像)。

在步骤S115中，环路滤波器121对通过步骤S114的处理生成的图像进行滤波。因此，去除块失真等。

在步骤S116中，帧存储器122存储通过步骤S115的处理去除块失真等的图像。此外，未由环路滤波器121滤波的图像还被从计算单元120提供至帧存储器122以被存储其中。存储在帧存储器122中的图像用于步骤S104的处理或步骤S105的处理。

在步骤S117中，无损编码单元116对通过步骤S111的处理量化的系数进行编码。即，无损编码单元116对与差分图像对应的数据执行无损编码如可变长度编码或算术编码。

另外，此时，无损编码单元116对关于通过步骤S106的处理选择的预测图像的预测模式的信息进行编码，并且将编码信息与通过对差分图像进行编码所获得的编码数据相加。即，无损编码单元116对从帧内预测单元124提供的最佳帧内预测模式信息或根据从运动预测/补偿单元125提供的最佳帧间预测模式的信息进行编码，并且将编码信息与编码数据相加。

此外，无损编码单元116适当地进一步对例如关于正交变换跳过的信息等如跳过识别信息(transform_skip_flag)进行编码，并且将编码信息与编码数据相加。

在步骤S118中，累积缓冲器117累积通过步骤S117的处理所获得的基本层编码数据。由累积缓冲器117累积的基本层编码数据经由传输线或记录介质适当地被读取和发送至解码侧。

在步骤S119中，速率控制器127基于通过步骤S118的处理累积在累积缓冲器117中的编码数据的编码量(生成的编码量)来控制量化单元115的量化操作的速率，使得不出现上溢或下溢。另外，速率控制器127将关于量化参数的信息提供给量化单元115。

如果步骤S119的处理结束，则编码处理结束。例如以图片为单位执行编码处理。即，对于每个图片执行编码处理。在本文中，对于每个处理单元执行编码处理中的每个处理。

[量化控制处理流]

接下来，将参照图11的流程图来描述在图10的步骤S110中执行的量化控制处理流的示例。

如果开始量化控制处理，则在步骤S131中，确定单元151从正交变换跳过单元131获取关于正交变换跳过的信息。

在步骤S132中，确定单元151确定包括在关于在步骤S131中获取的正交变换跳过的信息中的跳过许可信息(transform_skip_enable_flag)的值是否为真(例如，“1”)。在确定跳过许可信息(transform_skip_enable_flag)的值为真(例如，“1”)的情况下，该处理进行至步骤S133。

在步骤S133中，确定单元151确定包括在关于在步骤S131中获取的正交变换跳过的信息中的跳过识别信息(transform_skip_flag)的值是否为真(例如，“1”)。在确定跳过识别信息(transform_skip_flag)的值为真(例如，“1”)的情况下，该处理进行至步骤S134。

在步骤S134中，确定单元151从画面重排缓冲器112获取切片类型的信息。在步骤S135中，确定单元151基于在步骤S134中获取的关于切片类型的信息来确定当前切片是否是I切片。在确定当前切片是I切片的情况下，该处理进行至步骤S136。

在步骤S136中，缩放列表设置单元152应用定制缩放列表作为用于当前块的量化的缩放列表。当步骤S136的处理结束时，该处理进行至步骤S138。

另外，在步骤S132中确定跳过许可信息(transform_skip_enable_flag)的值为假的情况下，在步骤S133中确定跳过识别信息(transform_skip_flag)的值为假的情况下，或者在步骤S135中确定当前切片不是I切片的情况下，该处理进行至步骤S137。

在步骤S137中，缩放列表设置单元152应用默认缩放列表作为用于当前块的量化的缩放列表。当步骤S137的处理结束时，该处理进行至步骤S138。

在步骤S138中，确定单元151确定是否对所有块(TU)进行处理。在确定存在未处理块的情况下，该处理返回至步骤S131，并且重复后续处理。重复执行步骤S131至步骤S138的处理，使得对于每个块执行处理。在步骤S138中确定所有块(TU)被处理的情况下，量化控制处理结束，该处理返回至图10。

通过执行上述每个处理，图像编码装置100可以抑制量化误差增大，抑制编码效率减小，并且抑制由编码/解码导致的图像质量的退化。

<2.第二实施方式>

[图像解码装置]

接下来，将描述如上所述被编码的编码数据(比特流)的解码。图12是示出了作为图像处理装置的实施方式的图像解码装置的主要配置的示例的框图。图12中示出的图像解码装置200是以与图8的图像编码装置100的编码方案对应的解码方案对编码数据进行解码的解码装置。例如，图像解码装置200对由图像编码装置100对图像数据进行编码所获得的编码数据进行解码。

如图12中所示，图像解码装置200被配置成包括累积缓冲器211、无损解码单元212、逆量化单元213、逆正交变换单元214、计算单元215、环路滤波器216、画面重排缓冲器217和D/A转换器218。另外，图像解码装置200被配置成包括帧存储器219、选择单元220、帧内预测单元221、运动预测/补偿单元222和选择单元223。

此外，图像解码装置200被配置成包括逆正交变换跳过单元231和逆量化控制器232。

累积缓冲器211也是接收所发送的编码数据的接收单元。累积缓冲器211接收和累积所发送的编码数据，并且在预定定时将编码数据提供给无损解码单元212。对于解码所需要的信息如预测模式信息、关于正交变换跳过的信息(包括例如跳过许可信息或跳过识别信息)、关于切片的信息如切片类型等被与编码数据相加。

无损解码单元212以与无损编码单元116的编码方案对应的方案对从累积缓冲器211提供且由无损编码单元116编码的信息进行解码。无损解码单元212将通过解码获得的差分图像的经量化的系数数据提供给逆量化单元213。

另外，无损解码单元212适当地提取和获取包括在编码数据中的包括视频参数集合(VPS)、序列参数集合(SPS)、图片参数集合(PPS)等的NAL单位。无损解码单元212从上述信息提取关于最佳预测模式的信息，基于该信息确定帧内预测模式被选择为最佳预测模式还是帧间预测模式被选择，并且将关于最佳预测模式的信息提供给帧内预测单元221和运动预测/补偿单元222之一，该信息与确定被选择的模式对应。即，例如，在帧内预测模式被选择为图像编码装置100中的最佳预测模式的情况下，关于最佳预测模式的信息被提供给帧内预测单元221。另外，例如，在帧间预测模式被选择为图像编码装置100中的最佳预测模式的情况下，关于最佳预测模式的信息被提供给运动预测/补偿单元222。

此外，无损解码单元212从NAL单位等提取逆量化所需要的信息如量化参数，并且将该信息提供给逆量化单元213。另外，无损解码单元212从NAL单位等提取逆量化的控制所需要的信息如切片类型，并且将该信息提供给逆量化控制器232。

此外，无损解码单元212从NAL单位等提取关于正交变换跳过的信息包括例如跳过许可信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag)等，并且将关于正交变换跳过的信息提供给逆正交变换跳过单元231。

逆量化单元213以与量化单元115的量化方案对应的方案对通过无损解码单元212的解码所获得的经量化的系数数据(量化系数)进行逆量化。逆量化单元213通过使用从逆量化控制器232提供的缩放列表来执行逆量化。逆量化单元213将所获取的系数数据(正交变换系数或正交变换之前的差分值)提供给逆正交变换单元214。

此外，逆量化单元213是与逆量化单元118相同的处理单元。即，逆量化单元213的描述还可以用于逆量化单元118。然而，数据输入和输出目的地等需要根据装置在读取时被适当地改变。

如果需要，逆正交变换单元214以与正交变换单元114的正交变换方案对应的方案在逆正交变换跳过单元231的控制下对从逆量化单元213提供的系数数据(正交变换系数或正交变换之前的差分值)执行逆正交变换处理。即，在正交变换系数从逆量化单元213被提供的情况下，逆正交变换单元214对正交变换系数执行逆正交变换处理。另外，在正交变换之前的差分值从逆量化单元213被提供的情况下，逆正交变换单元214跳过逆正交变换。

通过逆正交变换处理，逆正交变换单元214获得与正交变换单元114中的正交变换之前的剩余数据(正交变换之前的差分数据)对应的解码剩余数据。逆正交变换单元214将解码剩余数据提供给计算单元215。

此外，逆正交变换单元214是与逆正交变换单元119相同的处理单元。即，逆正交变换单元214的描述还可以用于逆正交变换单元119。然而，数据输入和输出目的地等需要根据装置在读取时被适当地改变。

此外，预测图像通过选择单元223被从帧内预测单元221或运动预测/补偿单元222提供给计算单元215。

计算单元215通过将解码剩余数据与预测图像相加来获取与通过计算单元113减去预测图像之前的图像数据对应的解码图像数据。计算单元215将该解码图像数据提供给环路滤波器216。

环路滤波器216对所提供的解码图像适当地执行滤波处理包括去块滤波器、自适应环路滤波器等，并且将经滤波的解码图像提供给画面重排缓冲器217和帧存储器219。例如，环路滤波器216通过对解码图像执行去块滤波处理来去除解码图像的块失真。另外，例如，环路滤波器216通过使用维纳滤波器对去块滤波处理的结果(去除了块失真的解码图像)执行环路滤波器处理来提高图像质量。此外，环路滤波器216是与环路滤波器121相同的处理单元。

另外，从计算单元215输出的解码图像可以在不通过环路滤波器216的情况下被施加至画面重排缓冲器217或帧存储器219。即，可以省略环路滤波器216的滤波处理的某部分或全部。

画面重排缓冲器217执行解码图像重排。即，由画面重排缓冲器112关于编码顺序重排的帧顺序可以被重排成原始显示顺序。D/A转换器218对从画面重排缓冲器217提供的图像进行D/A转换，并且将经D/A转换的图像输出至显示器(未示出)以显示该图像。

帧存储器219存储所提供的解码图像，并且在预定定时或根据帧内预测单元221、运动预测/补偿单元222等的外部请求，帧存储器将所存储的解码图像作为参考图像提供给选择单元220。

选择单元220选择从帧存储器219提供的参考图像的提供目的地。在对帧内编码图像进行解码的情况下，选择单元220将从帧存储器219提供的参考图像提供给帧内预测单元221。另外，在对帧间编码图像进行解码的情况下，选择单元220将从帧存储器219提供的参考图像提供给运动预测/补偿单元222。

通过解码报头信息获得的表示帧内预测模式的信息等适当地被从无损解码单元212提供给帧内预测单元221。帧内预测单元221通过使用从帧存储器219获取的参考图像在帧内预测单元124中使用的帧内预测模式下执行帧内预测以生成预测图像。帧内预测单元221将所生成的预测图像提供给选择单元223。

运动预测/补偿单元222从无损解码单元212获取通过对报头信息进行解码所获得的信息(最佳预测模式信息、参考图像信息等)。

运动预测/补偿单元222通过使用从帧存储器219获取的参考图像在由从无损解码单元212获取的最佳预测模式信息表示的帧间预测模式执行帧间预测以生成预测图像。

选择单元223将从帧内预测单元221提供的预测图像或从运动预测/补偿单元222提供的预测图像提供给计算单元215。接下来，在计算单元215中，通过使用运动矢量所生成的预测图像被与从逆正交变换单元214提供的解码剩余数据(差分图像信息)相加，使得原始图像被恢复。

逆正交变换跳过单元231以与正交变换跳过单元131的方式相同的方式控制逆正交变换单元214执行逆正交变换处理。即，逆正交变换跳过单元231通过无损解码单元212获取从编码侧提供的关于正交变换跳过的信息(例如，跳过许可信息或跳过识别信息)。逆正交变换跳过单元231基于该信息确定是否跳过(省略)逆正交变换处理，并且根据该确定控制逆正交变换单元214执行逆正交变换处理。

该确定方法与正交变换跳过单元131的确定方法相同。逆正交变换跳过单元231控制逆正交变换单元214以便对执行正交变换的块执行逆正交变换处理和以便对跳过正交变换的块跳过逆正交变换处理。

逆正交变换单元214在逆正交变换跳过单元231的控制下执行或跳过逆正交变换处理。

另外，逆正交变换跳过单元231将关于正交变换跳过的信息包括所获得的跳过许可信息或所获得的跳过识别信息提供给逆量化控制器232。

逆量化控制器232以与量化控制器132的方法相同的方法控制逆量化后单元213执行逆量化处理。即，逆量化控制器232获取被从逆正交变换跳过单元231提供且被从编码侧发送的关于正交变换跳过的信息。另外，逆量化控制器232获取由无损解码单元212从编码数据提取的表示当前切片的切片类型的信息。逆量化控制器232基于该信息确定要被施加至对当前块进行的逆量化的缩放列表，并且将该缩放列表提供给逆量化单元213。

缩放列表的确定方法与量化控制器132的确定方法相同。逆量化控制器232对执行正交变换的块应用默认缩放列表，而对跳过正交变换的块应用定制缩放列表。逆量化单元213通过使用从逆量化控制器232提供的缩放列表对当前块执行逆量化。

[逆量化控制器]

图13是示出了图12的逆量化控制器232的主要配置的示例的框图。如图13中所示，逆量化控制器232基本上与量化控制器132相同，并且被配置成包括确定单元251和缩放列表设置单元252。

如图13中所示，逆正交变换跳过单元231将关于正交变换跳过的信息提供给确定单元251。另外，无损解码单元212将表示当前切片的切片类型的信息提供给确定单元251。

确定单元251对该信息执行确定。例如，确定单元251确定跳过许可信息或跳过识别信息的值。另外，例如，确定单元251确定当前切片是否是I切片。确定单元251将该确定结果提供给缩放列表设置单元252。

缩放列表设置单元252基于从确定单元251提供的确定结果设置要用于当前块的逆量化的缩放列表。例如，在跳过许可信息和跳过识别信息的两个值均为真并且当前块是I切片的情况下，缩放列表设置单元252应用定制缩放列表。另外，在跳过许可信息和跳过识别信息中的至少任一个的值为假或当前块不是I切片的情况下，缩放列表设置单元252应用默认缩放列表。

缩放列表设置单元252将所设置的缩放列表提供给逆量化单元213。逆量化单元213通过使用该缩放列表来执行逆量化处理。

通过以这种方式进行，图像解码装置200可以抑制量化误差增大并且提高编码效率。换言之，图像解码装置200可以抑制由编码/解码导致的图像质量的退化。

[解码处理流]

接下来，将描述由上述图像解码装置200执行的处理流。首先，将参照图14的流程图描述解码处理流的示例。

如果开始解码处理，则在步骤S201中，累积缓冲器211累积从编码侧发送的比特流。在步骤S202中，无损解码单元212对从累积缓冲器211提供的比特流(编码差分图像信息)进行解码。即，由无损编码单元116编码的I-图片、P-图片和B-图片被解码。此时，除了差分图像信息以外，包括在比特流中的各种类型的信息如报头信息被解码。

在步骤S203中，逆量化控制器232执行逆量化控制处理，并且设置要被应用的缩放列表。

在步骤S204中，逆量化单元213通过使用在步骤S203中设置的缩放列表对通过步骤S202的处理获得的经量化的系数执行帧内预测。

在步骤S205中，逆正交变换单元214在逆正交变换跳过单元231的控制下对当前块(当前TU)执行适当地执行逆正交变换的逆正交变换处理。

在步骤S206中，帧内预测单元221或运动预测/补偿单元222执行预测处理以生成预测图像。即，预测处理在编码期间应用的预测模式下被执行，并且在无损解码单元212中被确定。更具体地，例如，在编码期间应用帧内预测的情况下，帧内预测单元221在编码期间被视为最佳的帧内预测模式下生成预测图像。另外，例如，在编码期间应用帧间预测的情况下，运动预测/补偿单元222在编码期间被视为最佳的帧间预测模式下生成预测图像。

在步骤S207中，计算单元215将在步骤S207中生成的预测图像与通过步骤S205的逆正交变换处理所获得的差分图像信息相加。因此，原始图像被解码(获得解码图像)。

在步骤S208中，环路滤波器216对在步骤S207中获得的解码图像执行适当地执行滤波处理的环路滤波处理。

在步骤S209中，画面重排缓冲器217执行在步骤S208中被环路滤波的图像的重排。即，画面重排缓冲器112可以将关于编码被重排的帧顺序重排成原始显示顺序。

在步骤S210中，D/A转换器218对其帧顺序在步骤S209中被重排的图像进行D/A转换。该图像被输出至显示器(未示出)，使得该图像被显示。

在步骤S211中，帧存储器219存储在步骤S208中被环路滤波的图像。

如果步骤S211的处理结束，则解码处理结束。例如以图片为单位执行解码处理。即，对于每个图片执行解码处理。在本文中，对于每个处理单位执行解码处理中的每个处理。

[量化控制处理流]

接下来，将参照图15的流程图描述在图14的步骤S203中执行的逆量化控制处理流的示例。

如果开始逆量化控制处理，则在步骤S231中，确定单元251获取关于正交变换跳过的信息。

在步骤S232中，确定单元251确定包括在步骤S231中获取的关于正交变换跳过的信息中的跳过许可信息(transform_skip_enable_flag)的值是否为真(例如，“1”)。在确定该值为真(例如，“1”)的情况下，该处理进行至步骤S233。

在步骤S233中，确定单元251确定包括在步骤S231中获取的关于正交变换跳过的信息中的跳过识别信息(transform_skip_flag)的值是否为真(例如，“1”)。在确定该值为真(例如，“1”)的情况下，该处理进行至步骤S234。

在步骤S234中，确定单元251获取关于切片类型的信息。在步骤S235中，确定单元251基于在步骤S234中获取的关于切片类型的信息来确定当前切片是否为I切片。在确定当前切片为I切片的情况下，该处理进行至步骤S236。

在步骤S236中，缩放列表设置单元252应用定制缩放列表作为用于当前块的量化的缩放列表。当步骤S236的处理结束时，该处理进行至步骤S238。

另外，在步骤S232中确定跳过许可信息(transform_skip_enable_flag)的值为假的情况下，在在步骤S233中确定跳过识别信息(transform_skip_flag)的值为假的情况下，或者在步骤S235中确定当前切片不是I切片的情况下，该处理进行至步骤S237。

在步骤S237中，缩放列表设置单元252应用默认缩放列表作为用于当前块的量化的缩放列表。当步骤S236的处理结束时，该处理进行至步骤S238。

在步骤S238中，确定单元251确定是否对所有块(TU)进行处理。在确定存在未处理块的情况下，该处理返回至步骤S231，并且重复后续处理。重复执行步骤S231至步骤S238的处理，使得对于每个块执行处理。在步骤S238中确定对所有块(TU)执行处理的情况下，逆量化控制处理结束，该处理返回至图14。

通过执行上述每个处理，图像解码装置200可以抑制量化误差增大，抑制编码效率减小，并且抑制由编码/解码导致的图像质量的退化。

<3.第三实施方式>

[切片边缘的检测]

关于上述量化/逆量化的控制(缩放列表的设置)，可以进一步执行切片端部(切片边界)的检测，并且该检测结果可以被反映到控制上。

切片是图片(图像)中独立被编码的处理单位。在图片中形成任意数量的(单个或多个)片。对于每个切片独立地执行帧内预测。即，在帧内预测中要被参考的参考像素还限于包括当前块的切片的内部。即，在与切片端部(切片边界)相邻的块中，存在参考方向受限制的可能性。

因此，该限制可以被反映到定制缩放列表上。

例如，与切片的下端相邻的块(包括画面的下端的块)不被关联块下方的其他块参考。即，在关联块中，具有被参考的可能性的像素仅位于右端列中。因此，类似于图16中示出的示例的定制缩放列表可以被应用于关联块。

如图16中所示，定制缩放列表被设置，使得仅与具有在帧内预测中被参考的可能性的像素对应的右端列中的量化步长的值小。

另外，例如，与切片的右端相邻的块(包括画面的右端的块)不被位于关联块的右侧的其他块参考。即，在关联块中，具有被参考的可能性的像素仅位于下端行中。因此，类似于图17中示出的示例的定制缩放列表可以被应用于关联块。

如图17中所示，定制缩放列表被设置，使得仅与具有在帧内预测中要被参考的可能性的像素对应的下端行中的量化步长的值小。

如图16和图17中所示，在定制缩放列表中，其值被设置成小的量化步长的数量小于图5至图7的示例的数量。即，在关联的定制缩放列表中，与不具有实际上被参考的可能性的像素对应的量化步长不被设置成小。因此，检测切片端部(切片边界)，反映检测结果的定制缩放列表被应用于量化/逆量化，使得可以抑制由于将量化步长不必要地设置成小而导致的编码量的不必要的增大。因此，可以抑制由编码/解码导致的图像质量的退化。

另外，在这种情况下，类似于在这之前描述的情况，与不具有在帧内预测中要被参考的可能性的像素对应的量化步长的值可能不均匀，并且与具有在帧内预测中要被参考的可能性的像素对应的量化步长的值可能不均匀。例如，与具有在帧内预测中要被参考的可能性的像素对应的部分的每个量化步长可以被配置成具有根据相应的像素在帧内预测中要被参考的可能性的等级的值。代替将与具有在帧内预测中要被参考的可能性的像素对应的量化步长的值设置成小，可以将与不具有在帧内预测中要被参考的可能性的像素对应的量化步长的值设置成大。

[量化控制器]

图18是示出了这种情况下的量化控制器132的主要配置的示例的框图。如图18中所示，在这种情况下，量化控制器132被配置成除了包括确定单元151和缩放列表设置单元152以外还包括切片端部检测单元301。

画面重排缓冲器112将表示切片端部(切片边界)的信息提供给切片端部检测单元301。切片端部检测单元301基于该信息确定当前块是否与切片端部相邻。切片端部检测单元301将该检测结果提供给缩放列表设置单元152。

如在第一实施方式中所述，缩放列表设置单元152选择应用定制缩放列表还是应用默认缩放列表。在应用定制缩放列表的情况下，根据从切片端部检测单元301提供的切片端部的检测结果应用定制缩放列表。

缩放列表设置单元152将所设置的定制缩放列表提供给量化单元15和逆量化单元118。

通过以这种方式进行，图像编码装置100可以抑制由于将量化步长不必要地设置成小而导致的量化误差不必要的增大，可以抑制编码量的不必要的增加，并且可以抑制由编码/解码导致的图像质量的退化。

[量化控制处理流]

接下来，将参照图19的流程图对由这种情况下的量化控制器132执行的量化控制处理流的示例进行描述。

在这种情况下，基本上类似于第一实施方式的情况，还执行量化控制处理。即，类似于图11的步骤S131至S135的每个处理，执行步骤S301至S305中的每个处理。

在步骤S306中，切片端部检测单元301执行切片端部的检测。在步骤S307中，缩放列表设置单元152根据该切片端部的检测结果提供定制缩放列表。当步骤S307的处理结束时，该处理进行至步骤S309。

另外，在步骤S302中确定跳过许可信息(transform_skip_enable_flag)的值为假的情况下，在步骤S303中确定跳过识别信息(transform_skip_flag)的值为假的情况下，或在步骤S305中确定当前切片不是I切片的情况下，该处理进行至步骤S308。

在步骤S308中，缩放列表设置单元152应用默认缩放列表作为用于当前块的量化的缩放列表。当步骤S308的处理结束时，该处理进行至步骤S309。

在步骤S309中，确定单元151确定是否对所有块(TU)进行处理。在确定存在未处理块的情况下，该处理返回至步骤S301，并且重复后续处理。重复执行步骤S301至步骤S309的处理，使得对于每个块执行处理。在步骤S309中确定对所有块(TU)执行处理的情况下，量化控制处理结束，该处理返回至图10。

通过执行上述每个处理，图像编码装置100可以抑制量化误差增大，抑制编码效率减小，并且抑制由编码/解码导致的图像质量的退化。

<4.第四实施方式>

[逆量化控制器]

图20是示出了这种情况下的逆量化控制器232的主要配置的示例的框图。如图20中所示，在这种情况下，逆量化控制器232被配置成除了包括确定单元251和缩放列表设置单元252以外还包括切片端部检测单元401。切片端部检测单元401基本上是与切片端部检测单元301的处理单元相同的处理单元。

无损解码单元212将表示从编码数据提取的切片端部(切片边界)的信息提供给切片端部检测单元401。切片端部检测单元401基于该信息确定当前块是否与切片端部相邻。切片端部检测单元401将该检测结果提供给缩放列表设置单元252。

如第二实施方式中所述，缩放列表设置单元252选择应用定制缩放列表还是应用默认缩放列表。在应用定制缩放列表的情况下，根据从切片端部检测单元401提供的切片端部的检测结果应用定制缩放列表。

缩放列表设置单元252将所设置的定制缩放列表提供给逆量化单元213。

通过以这种方式进行，图像解码装置200可以抑制由于将量化步长不必要地设置成小而导致的量化误差的不必要的增大，可以抑制编码量的不必要的增大，并且可以抑制由编码/解码导致的图像质量的退化。

[逆量化控制处理流]

接下来，将参照图21的流程图对由这种情况下的逆量化控制器232执行的逆量化控制处理流的示例进行描述。

在这种情况下，基本上类似于第二实施方式的情况，还执行逆量化控制处理。即，类似于图11的步骤S231至S235中的每个处理，执行步骤S401至S405中的每个处理。

在步骤S406中，切片端部检测单元401执行切片端部的检测。在步骤S407中，缩放列表设置单元252根据该切片端部的检测结果应用定制缩放列表。当步骤S407的处理结束时，该处理进行至步骤S409。

另外，在步骤S402中确定跳过许可信息(transform_skip_enable_flag)的值为假的情况下，在步骤S403中确定跳过识别信息(transform_skip_flag)的值为假的情况下，或在步骤S405中确定当前切片不是I切片的情况下，该处理进行至步骤S408。

在步骤S408中，缩放列表设置单元252应用默认缩放列表作为用于当前块的量化的缩放列表。当步骤S408的处理结束时，该处理进行至步骤S309。

在步骤S409中，确定单元251确定是否对所有块(TU)进行处理。在确定存在未处理块的情况下，该处理返回至步骤S401，并且重复后续处理。重复执行步骤S401至步骤S409的处理，使得对于每个块执行处理。在步骤S409中确定对所有块(TU)执行处理的情况下，逆量化控制处理结束，该处理返回至图14。

通过执行上述每个处理，图像解码装置200可以抑制量化误差增大，抑制编码效率减小，并且抑制由编码/解码导致的图像质量的退化。

<5.第五实施方式>

[对多视图图像编码/多视图图像解码的应用]

上述一系列处理可以应用于多视图图像编码/多视图图像解码。图22示出了多视图图像编码方案的示例。

如图22中所示，多视图图像包括多个视点的图像，并且多个视点中的预定的一个视点的图像被指定为基本视图图像。除了基本视图图像以外的每个视点的图像被看作非基本视图图像。

在如图22中所示对多视图图像进行编码/解码的情况下，对每个视图的图像进行编码/解码，并且上述实施方式中的任一实施方式可以应用于每个视图的编码/解码。通过以这种方式进行，可以实现减小量化误差，并且可以抑制由编码/解码导致的图像质量的退化。

此外，在每个视图的编码/解码中，用于根据上述实施方式的方法中的标志或参数可以被配置成被共享。

更具体地，例如，在每个视图的编码/解码中，包括诸如跳过许可信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag)等的信息的、关于正交变换处理的跳过的信息可以被配置成被共享。另外，例如，在每个视图的编码/解码中，关于切片类型或切片边界的信息可以被配置成被共享。

当然，在每个视图的编码/解码中，除了上述信息以外的必要信息还可以被配置成被共享。

[多视图图像编码装置]

图23是示出了执行上述多视图图像编码的多视图图像编码装置的图。如图23中所示，多视图图像编码装置600被配置成具有编码单元601、编码单元602和复用器603。

编码单元601对基本视图图像进行编码以生成基本视图图像编码流。编码单元602对非基本视图图像进行编码以生成非基本视图图像编码流。复用器603对由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流进行复用以生成多视图图像编码流。

图像编码装置100可以应用于该多视图图像编码装置600的编码单元601和编码单元602。另外，如上所述，编码单元601和编码单元602可以通过使用相同的标志或参数(即，标志或参数可以被共享)执行缩放列表等的设置。

[多视图图像解码装置]

图24是执行上述多视图图像解码的多视图图像解码装置的图。如图24中所示，多视图图像解码装置610被配置成包括解复用器611、解码单元612和解码单元613。

解复用器611对基本视图图像编码流和非基本视图图像编码流被复用的多视图图像编码流进行解复用，以提取基本视图图像编码流和非基本视图图像编码流。解码单元612对由解复用器611提取的基本视图图像编码流进行解码以获取基本视图图像。解码单元613对由解复用器611提取的非基本视图图像编码流进行解码以获取非基本视图图像。

图像解码装置200可以应用于该多视图图像解码装置610的解码单元612和解码单元613。另外，如上所述，解码单元612和解码单元613可以通过使用相同的标志或参数(即，标志或参数可以被共享)执行缩放列表等的设置。

<6.第六实施方式>

[对分层图像编码/分层图像解码的应用]

上述一系列处理可以应用于分层图像编码/分层图像解码。图25示出了多视图图像编码方案的示例。

如图25中所示，分层图像包括多个层(分辨率)的图像，并且多个分辨率中的预定的一个层的图像被指定为基本层图像。除了基本层图像以外的每个层的图像被看作非基本层图像。

在如图25中所示对分层图像进行编码/解码的情况下，可以对每个层的图像进行编码/解码，并且上述实施方式中的任意实施方式可以应用于每个层的编码/解码。通过以这种方式进行，可以抑制图像的退化，以及可以实现减少存储器存取量并且减少计算量。

此外，在每个层的编码/解码中，用于根据上述实施方式的方法中的标志或参数可以被配置成被共享。

更具体地，例如，在每个层的编码/解码中，包括诸如跳过许可信息(transform_skip_enable_flag)和跳过识别信息(transform_skip_flag)等的信息的、关于正交变换处理的跳过的信息可以被配置成被共享。另外，例如，在每个层的编码/解码中，关于切片类型或切片边界的信息可以被配置成被共享。

当然，在每个层的编码/解码中，除了上述信息以外的必要信息还可以被配置成被共享。

[分层图像编码装置]

图26是示出了执行上述分层图像编码的分层图像编码装置的图。如图26中所示，分层图像编码装置620被配置成包括编码单元621、编码单元622和复用器623。

编码单元621对基本层图像进行编码以生成基本层图像编码流。编码单元622对非基本层图像进行编码以生成非基本层图像编码流。复用器623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流进行复用以生成分层图像编码流。

图像编码装置100可以应用于该分层图像解码装置620的编码单元621和编码单元622。另外，如上所述，编码单元621和编码单元622可以通过使用相同的标志或参数(即，标志或参数可以被共享)执行缩放列表等的设置。

[分层图像解码装置]

图27是示出了执行上述分层图像解码的分层图像解码装置的图。如图27中所示，分层图像解码装置630被配置成包括解复用器631、解码单元632和解码单元633。

解复用器631对基本层图像编码流和非基本层图像编码流被复用的分层图像编码流进行解复用以提取基本层图像编码流和非基本层图像编码流。解码单元632对由解复用器631提取的基本层图像编码流进行解码以获取基本层图像。解码单元633对由解复用器631提取的非基本层图像编码流进行解码以获取非基本层图像。

图像解码装置200可以应用于该分层图像解码装置630的解码单元632和解码单元633。另外，如上所述，解码单元632和解码单元633可以通过使用相同的标志或参数(即，标志或参数可以被共享)执行缩放列表等的设置。

此外，本技术可以应用于HTTP流送如选择性地以片段为单位使用预先准备的具有不同分辨率的多个编码数据中的适当的一个编码数据的MPEG DASH。

如上所述，相对于本技术的应用范围，本技术可以应用于基于量化/逆量化处理和使用量化/逆量化处理和正交变换/逆正交变换的跳过(变换跳过)的编码/解码方案的所有图像编码装置和图像解码装置。

另外，本技术可以应用于当通过卫星广播、有线电视、网络介质如因特网或移动电话接收例如以MPEG、H.26x等通过正交变换如离散余弦变换和运动补偿压缩的图像信息(比特流)时使用的图像编码装置和图像解码装置。另外，本技术可以应用于当对存储介质如光盘、磁盘或闪速存储器进行处理所使用的图像编码装置和图像解码装置。此外，本技术还可以应用于被包括在图像编码装置、图像解码装置等中的正交变换装置或逆正交变换装置。

<7.第七实施方式>

[计算机]

上述一系列处理可以由硬件执行，或者可以由软件执行。在一系列处理由软件执行的情况下，形成该软件的程序被安装在计算机中。在此，计算机包括合并到专用硬件的计算机或者其中安装各种程序以执行各种功能的通用个人计算等。

图28是示出了通过程序执行上述一系列处理的计算机的硬件的配置示例的框图。

在图28中示出的计算机800中，CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803经由总线804相互连接。

另外，输入/输出接口810还连接至总线804。输入单元821、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。

输入单元821被配置成包括例如键盘、鼠标、麦克风、触摸板、输入终端等。输出单元812被配置成包括例如显示器、扬声器、输出终端等。存储单元813被配置成包括例如硬盘、RAM盘、非易失性存储器等。通信单元814被配置成包括例如网络接口。驱动器815驱动可移除介质821，如磁盘、光盘、磁光盘、半导体存储器等。

在具有上述配置的计算机中，CPU 801通过输入/输出接口810和总线804将存储在例如存储单元813中的程序加载到RAM 803中并且执行该程序，使得执行上述一系列处理。RAM 803还适当地包括由执行各种处理的CPU 801需要的数据等。

由计算机(CPU 801)执行的程序可以被记录在例如作为要应用的封装介质的可移除介质821中。另外，可以通过有线或无线传输介质包括局域网、因特网或数字卫星广播等来提供程序。

在该计算机中，程序可以通过将可移除介质821安装在驱动器815上而通过输入/输出接口810被安装在存储单元813中。此外，程序可以通过使用通信单元814通过有线或无线传输介质接收，并且被安装在存储单元813中。另外，程序可以被预先安装在ROM 802或存储单元813中。

此外，由计算机执行的程序可以是根据在该说明书中所描述的次序按时间顺序执行处理的程序，或者是并行或如有必要时如进行调用时来执行处理的程序。

另外，在该说明书中，在记录在记录介质中的程序中描述的步骤包括：根据所书写的次序按时间顺序被执行的处理以及如不必须按时间顺序而并行或彼此独立地被执行的处理。

另外，在该说明书中，术语“系统”表示多个部件(装置、模块(部分)等)的集合，而不管是否所有部件都被封闭在同一壳体中。因此，被容纳在不同的壳体中并且经由网络相互连接的多个装置和被配置成使得多个模块被容纳在一个壳体中的一个装置为一个系统。

另外，在上述描述中，被描述为一个装置(或处理单元)的配置可以被划分以便被配置为多个装置(或处理单元)。相对地，在上述描述中，被描述为多个装置(或处理单元)的配置可以整体地被配置为一个装置(或处理单元)。另外，可以给每个装置(或每个处理单元)的配置添加上述其他配置。此外，如果整体系统的结构或操作基本上相同，则任何一个装置(或处理单元)的配置的一部分可以被包括在另一装置(另外的装置)的配置中。

在这之前，虽然参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于示例。明显的是，本公开内容属于的技术领域中的普通技术人员可以在权利要求中公开的技术精神的范围内设计各种修改或变化，并且应当理解的是，这些修改或变化包括在本公开内容的技术范围内。

例如，本公开内容可以具有其中一个功能通过网络由多个装置共享以合作地被处理的云计算的配置。

另外，除了由一个装置执行以外，上述流程图中所描述的每个步骤可以由多个装置共享以被执行。

此外，在多个处理被包括在一个步骤中的情况下，除了被一个装置执行以外，包括在一个步骤中的多个处理可以由多个装置共享以被执行。

根据上述实施方式的图像编码装置和图像解码装置可以被应用于各种电子装置如用于卫星广播、诸如有线电视的有线广播、因特网上的分发或者通过蜂窝通信到终端的分发的发送器或接收器；在介质如光盘、磁盘和闪存中记录图像的记录装置或从上述存储介质再现图像的再现装置。在下文中，将描述四个应用示例。

<8.应用示例>

[第一应用示例：电视接收器]

图29示出了应用上述实施方式的电视设备的示意性配置的示例。电视设备900被配置成包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制器910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号提取期望的信道信号并且对所提取的信号进行解调。接下来，调谐器902将通过解调而获得的编码比特流输出至解复用器903。即，调谐器902具有接收编码图像的编码流的、电视设备900中的传输单元的作用。

解复用器903从编码流中分离当前观看的节目的视频流和音频流，并且将每个分离流输出至解码器904。另外，解复用器903还从编码比特流提取辅助数据如EPG(电子节目指南)并且将所提取的数据提供给控制器910。此外，在编码比特流被扰乱的情况下，解复用器903可以执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。接下来，解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。另外，解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并且将视频显示在显示单元906上。另外，视频信号处理单元905还可以在显示单元906上显示通过网络提供的应用画面。另外，视频信号处理单元905还可以根据设置对视频数据执行另外的处理如去噪。此外，视频信号处理单元905可以生成GUI(图形用户界面)的图像如菜单、按钮或光标，并且将所生成的图像叠加在输出图像上。

显示单元906根据从视频信号处理单元905提供的驱动信号被驱动，并且在显示装置(例如，液晶显示器、等离子体显示器或OELD(有机电致发光显示器)(有机EL显示器)等)的视频面上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行再现处理如D/A转换、放大等，并且从扬声器908输出音频。另外，音频信号处理单元907还可以对音频数据执行另外的处理如去噪。

外部接口909是将电视设备900与外部装置或网络连接的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。也就是说，外部接口909还具有接收编码图像的编码流的、电视设备900的传输单元的作用。

控制器910被配置成包括例如CPU的处理器以及例如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据以及通过网络所获取的数据等。存储在存储器中的程序例如在电视设备900启动时由CPU读取以执行。CPU响应于例如从用户接口911输入的操作信号执行该程序以控制电视设备900的操作。

用户接口911连接至控制器910。用户接口911被配置成包括例如用户用于操作电视设备900的按钮和开关以及远程控制信号的接收单元等。用户接口911通过这些部件来检测用户操作以生成操作信号并且将所生成的操作信号输出至控制器910。

经由总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制器910相互连接。

在具有上述配置的电视设备900中，解码器904具有根据上述实施方式的图像解码装置200的功能。因此，在电视设备900中的图像的解码期间，可以实现减小量化误差，从而可以抑制由编码/解码导致的图像质量的退化。

[第二应用示例：移动电话]

图30示出了应用上述实施方式的移动电话的示意性配置的示例。移动电话920被配置成包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制器931。经由总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制器931相互连接。

移动电话920执行各种操作，诸如例如语音呼叫模式、数据通信模式、成像模式和电视电话模式的各种模式下的发送和接收音频信号、发送和接收电子邮件和图像数据、成像和记录数据。

在语音呼叫模式下，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据并且对转换后的音频数据执行A/D转换以压缩音频数据。接下来，音频编解码器923将压缩后的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。接下来，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922对通过天线921接收的无线电信号进行放大和执行频率转换以获取接收信号。接下来，通信单元922对接收信号进行解调和解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923将音频数据扩展和对其执行D/A转换以生成模拟音频信号。接下来，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。

另外，在数据通信模式下，例如，控制器931响应于通过操作单元932的用户操作来生成构成电子邮件的文本数据。另外，控制器931还将文本显示在显示单元930上。另外，控制器931响应于通过操作单元932来自用户的传输指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。接下来，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922还对通过天线921接收的无线电信号进行放大和执行频率转换以获取接收信号。接下来，通信单元922对接收信号进行解调和解码以恢复电子邮件数据并且将已恢复的电子邮件数据输出至控制器931。控制器931将电子邮件的内容显示在显示单元930上，并且将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929被配置成包括任意可读/可写的存储介质。例如，存储介质可以是内置存储介质如RAM或闪存，或者可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡。

另外，在成像模式下，例如，摄像装置单元926通过对对象进行成像来生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码流存储在记录/再现单元929的存储介质中。

另外，在电视电话模式下，例如，复用/分离单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信单元922。通信单元922对该流进行编码和调制以生成传输信号。接下来，通信单元922通过天线921将所生成的传输信号发送至基站(未示出)。另外，通信单元922对通过天线921接收的无线电信号进行放大和执行频率转换以获取接收信号。这些传输信号和接收信号可以包括编码比特流。接下来，通信单元922对接收信号进行解调和解码以对流进行恢复，并且将已恢复的流输出至复用/分离单元928。复用/分离单元928从输入流分离视频流和音频流，并且将视频流输出至图像处理单元927和将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，使得显示单元930显示一系列图像。音频编解码器923对音频流进行扩展和执行D/A转换以生成模拟音频信号。接下来，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。

在具有上述配置的移动电话920中，图像处理单元927具有根据上述实施方式的图像编码装置100和图像解码装置200的功能。因此，在移动电话920中的图像的编码和解码期间，可以实现减小量化误差，以及可以抑制由编码/解码导致的图像质量的退化。

[第三应用示例：记录/再现装置]

图31示出了应用上述实施方式的记录/再现装置的示意性配置的示例。记录/再现装置940对例如接收的广播节目的音频数据和视频数据进行编码并且将音频数据和视频数据记录在记录介质中。另外，记录/再现装置940对例如从其他装置获得的音频数据和视频数据进行编码，并且将音频数据和视频数据记录在记录介质中。另外，记录/再现装置940例如响应于用户指令在监视器和扬声器上再现存储在记录介质中的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940被配置成包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)单元944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示)948、控制器949和用户接口950。

调谐器941从通过天线(未示出)接收的广播信号提取期望的信道信号，并且对所提取的信号进行解调。接下来，调谐器941将通过解调所获得的编码比特流输出至选择器946。即，调谐器941在记录/再现装置940中具有传输单元的作用。

外部接口942是将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口单元、USB接口或闪存接口等。例如，通过外部接口942接收的视频数据和音频数据被输入至编码器943。即，外部接口942在记录/再现装置940中具有传输单元的作用。

在从外部接口942输入的视频数据和音频数据处于未编码状态的情况下时，编码器943对视频数据和音频数据进行编码。接下来，编码器943将编码比特流输出至选择器946。

HDD 944将其中内容数据如视频图像和音频被压缩的编码比特流、各种程序和其他数据记录在内部硬盘中。另外，在再现视频和音频期间，HDD 944从硬盘读取数据。

盘驱动器945执行将数据记录在安装的记录介质中以及执行从安装的记录介质读取数据。安装在盘驱动器945上的记录介质可以是例如DVD光盘(如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW等)或蓝光(注册商标)光盘等。

在记录视频和音频期间，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出至HDD 944或盘驱动器945。另外，在再现视频和音频期间，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码以生成视频数据和音频数据。此外，解码器947将所生成的视频数据输出至OSD 948。此外，解码器904将所生成的音频数据输出至外部扬声器。

OSD 948再现从解码器947输入的视频数据并且显示视频。另外，OSD 948可以将GUI图像如菜单、按钮或光标叠加在显示的视频上。

控制器949被配置成包括例如CPU的处理器以及例如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。例如，在记录/再现装置940启动时，存储在存储器中的程序由CPU读取以被执行。CPU响应于例如从用户接口950输入的操作信号执行该程序来控制记录/再现装置940的操作。

用户接口950连接至控制器949。用户接口950被配置成包括例如用户用于操作记录/再现装置940的按钮和开关以及远程控制信号的接收单元等。用户接口950通过这些部件来检测用户操作以生成操作信号并且将所生成的操作信号输出至控制器949。

在具有上述配置的记录/再现装置940中，编码器943具有根据上述实施方式的图像编码装置100的功能。另外，解码器947具有根据上述实施方式的图像解码装置200的功能。因此，在记录/再现装置940中的图像的编码和解码期间，可以实现减小量化误差，以及可以抑制由编码/解码导致的图像质量的退化。

[第四应用示例：成像装置]

图32示出了应用上述实施方式的成像装置的示意性配置的示例。成像装置960通过对对象进行成像来生成图像，以及对图像数据进行编码并且将编码数据记录在记录介质中。

成像装置960被配置成包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制器970、用户接口971和总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制器970。经由总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制器970相互连接。

光学块961被配置成包括聚焦透镜、光圈机制等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962被配置成包括图像传感器如CCD(电荷藕合器件)或CMOS(互补金属氧化物半导体)，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。接下来，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理如拐点校正、伽马校正和色彩校正。信号处理单元963将摄像装置信号处理之后的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且生成编码数据。接下来，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。另外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。接下来，图像处理单元964将所生成的图像数据输出至显示单元965。另外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。另外，图像处理单元964可以将从OSD 969获取的用于显示的数据叠加在输出至显示单元965的图像上。

OSD 969生成GUI图像如菜单、按钮或光标，并且将所生成的图像输出至图像处理单元964。

外部接口966被配置为例如USB输入/输出终端。例如，当打印图像期间，外部接口966将成像装置960与打印机连接。另外，如果需要，将驱动器连接至外部接口966。将可移除介质如磁盘或光盘安装在驱动器中，并且从可移除介质读取的程序可以被安装在成像装置960中。此外，外部接口966可以被配置为连接至网络如LAN或因特网的网络接口。即，外部接口966在成像装置960中具有传输单元的作用。

安装在介质驱动器968上的记录介质可以是任意可读/可写的可移除介质如磁盘、磁光盘、光盘或半导体存储器。另外，记录介质可以被固定安装在介质驱动器968上，并且可以被配置为非便携式存储单元如内置硬盘驱动器或SSD(固态驱动器)。

控制器970被配置成包括例如CPU的处理器以及例如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。在例如成像装置960启动时，存储在存储器中的程序由CPU读取以被执行。CPU响应于例如从用户接口971输入的操作信号执行该程序以控制成像装置960的操作。

用户接口971连接至控制器970。用户接口971被配置成包括例如用户用于操作成像装置960的按钮和开关。用户接口971通过这些部件检测用户操作以生成操作信号，并且将所生成的操作信号输出至控制器970。

在具有上述配置的成像装置960中，图像处理单元964具有根据上述实施方式的图像编码装置100和图像解码装置200的功能。因此，在成像装置960中的图像的编码和解码期间，可以实现减小量化误差，以及可以抑制由编码/解码导致的图像质量的退化。

<9.可伸缩编码的应用示例>

[第一系统]

接下来，描述可伸缩编码(分层编码)的可伸缩编码数据的使用的具体示例。可伸缩编码用于选择传输数据，例如类似于图33中示出的示例。

在图33中示出的数据传输系统1000中，递送服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，并且通过网络1003将该可伸缩编码数据递送至个人计算机1004、AV装置1005、平板装置1006和移动电话1007。

在这种情况下，递送服务器1002根据终端装置的性能、通信环境等选择性地发送具有适当质量的编码数据。尽管递送服务器1002不必要地发送高质量数据，但是也存在如下风险：具有高图像质量的图像不一定在终端装置中被获得，并且这变成出现延迟或上溢的原因。另外，存在如下风险：通信带不必要地被占据或终端装置的负载不必要地增大。相反，即使递送服务器1002不必要地发送低质量数据，但是也存在如下风险：在终端装置中可能未获得充分的图像质量的图像。因此，递送服务器1002适当地读取和发送存储在可伸缩编码数据存储单元101中的可伸缩编码数据作为具有适合于终端装置的性能、通信环境等的质量的编码数据。

例如，可伸缩编码数据存储单元1001存储可伸缩编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011为包括基本层和增强层两者的编码数据的编码数据，并且通过对该数据进行解码，可以获得基本层的图像和增强层的图像两者。

递送服务器1002根据发送数据的终端装置的性能、通信环境等来选择适当的层，并且读取该层的数据。例如，对于具有高处理能力的个人计算机1004或平板装置1006，递送服务器1002从可伸缩编码数据存储单元1001读取具有高质量的可伸缩编码数据(BL+EL)1011，并且不变化地发送该可伸缩编码数据。相反，例如，对于具有低处理能力的AV装置1005或移动电话1007，递送服务器1002从可伸缩编码数据(BL+EL)1011提取基本层的数据，并且发送具有与可伸缩编码数据(BL+EL)1011相同的内容但具有比可伸缩编码数据(BL+EL)1011较低的质量的可伸缩编码数据(BL)1012。

由于通过以这种方式使用可伸缩编码数据可以容易地调整数据量，所以可以抑制出现延时或上溢，从而可以抑制不必要地增大终端装置或通信介质的负载。另外，由于可伸缩编码数据(BL+EL)1011中的层之间的冗余降低，所以与将每个层的编码数据处理为单独数据的情况相比，可以减小数据量。因此，可以更有效地使用可伸缩编码数据存储单元1001的存储区域。

此外，由于各种装置如个人计算机1004和移动电话1007被应用为终端装置，所以终端装置的硬件的性能在这些装置之间不同。另外，由于由终端装置执行的应用程序也是多种多样的，所以软件的性能也是多种多样的。此外，所有类型的通信网络包括有线或无线网络如因特网或LAN(局域网)或有线网络和无线网络两者可以被应用于为通信介质的网络1003，从而数据传输能力也是多种多样的。此外，存在风险在于：可以通过其他通信等来改变数据传输能力。

因此，在递送服务器开始数据传输之前，递送服务器1002可以与为数据传输目的地的终端装置通信以获得关于该终端装置的能力的信息如终端装置的硬件性能、由终端装置执行的应用程序(软件)的性能等以及关于通信环境的信息如网络1003的可用带宽。另外，递送服务器1002可以基于所获得的信息来选择适当的层。

此外，可以在终端装置中执行层的提取。例如，个人计算机1004可以对所发送的可伸缩编码数据(BL+EL)1011进行解码以显示基本层的图像或者显示增强层的图像。另外，例如，个人计算机1004可以从所发送的可伸缩编码数据(BL+EL)1011提取基本层的可伸缩编码数据(BL)1012以存储、发送至其他装置，或者解码以显示基本层的图像。

当然，可伸缩编码数据存储单元1001的数量、递送服务器1002的数量、网络1003的数量以及终端装置的数量是任意的。另外，在这之前，描述了递送服务器1002将数据发送至终端装置的示例，但是使用示例不限于此。数据传输系统1000可以被应用于根据在将可伸缩编码的编码数据发送至终端装置时终端装置的性能、通信环境等选择适当的层并且发送该编码数据的任意系统。

[第二系统]

另外，可伸缩编码用于通过多个通信介质来传输，例如类似于图34中示出的示例。

在图34中示出的数据传输系统1100中，广播站1101通过地面广播1111来发送基本层的可伸缩编码数据(BL)1121。另外，广播站1101通过为包括有线网络或无线网络或有线网络和无线网络两者的通信网络的任意网络1112来发送(例如，分包和发送)增强层的可伸缩编码数据(EL)1122。

终端装置1102具有用于通过广播站1101广播的地面广播1111的接收功能以接收通过地面广播1111发送的基本层的可伸缩编码数据(BL)1121。另外，终端装置1102具有通过网络1112执行通信的通信功能以接收通信网络1112发送的增强层的可伸缩编码数据(EL)1122。

终端装置1102例如响应于用户指令，对通过地面广播1111所获取的基本层的可伸缩编码数据(BL)1121进行解码以获得基本层的图像以存储或发送至其他装置。

另外，终端装置1102例如响应于用户指令，将通过地面广播1111所获取的基本层的可伸缩编码数据(BL)1121和通过网络1122所获取的增强层的可伸缩编码数据(EL)1112组合以获得可伸缩编码数据(BL+EL)，以解码来获得增强层的图像，以存储或发送至其他装置。

如上所述，可以例如通过用于每个层的不同的通信介质来发送可伸缩编码数据。因此，可以共享负载，从而可以抑制出现延迟或上溢。

另外，可以根据情况对于每个层来选择用于传输的通信介质。例如，数据量相对大的基本层的可伸缩编码数据(BL)1121可以通过具有宽的带宽的通信介质被发送，而数据量相对小的增强层的可伸缩编码数据(EL)1122可以通过具有窄的带宽的通信介质被发送。另外，例如，可以根据网络1112的可用带宽，在增强层的可伸缩编码数据(EL)1122通过其被发送的通信网络是否被设置成网络1112或地面广播1111之间进行切换。当然，对于任意层的数据，应用相同的配置。

通过以这种方式进行控制，可以进一步抑制数据传输中负载的增大。

当然，层的数量是任意的，并且要用于传输的通信介质的数量也是任意的。另外，为数据传输目的地的终端装置1102的数量也是任意的。此外，在这之前，描述了来自广播站1101的广播的示例，但是使用示例不限于此。数据传输系统1100可以应用于将可伸缩编码的编码数据划分成多个单元并且通过多个传输线发送编码数据的任意系统。

[第三系统]

另外，可伸缩编码用于存储编码数，例如类似于图35中示出的示例。

在图35中示出的成像系统1200中，成像装置1201对通过对对象1211进行成像所获得的图像数据执行可伸缩编码，并且将可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202以根据情况的质量存储从成像装置1201提供的可伸缩编码数据(BL+EL)1221。例如，在普通时段中，可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221提取基本层的数据，并且以低质量存储为具有小数据量的基本层的可伸缩编码数据(BL)。相反，例如，在关注时段中，可伸缩编码数据存储装置1202以高质量而不变化地存储具有大数据量的可伸缩编码输数据(BL+EL)1221。

通过以这种方式进行，由于可伸缩编码数据存储装置1202仅需要时以高质量存储图像，所以可以抑制由图像质量的退化导致的图像的值的减小，抑制数据量的增大，并且提高存储区域的利用效率。

例如，成像装置1201被假定为监视摄像装置。在监视对象(例如，入侵者)未被反映在捕获的图像上的情况下(在普通时段的情况下)，捕获的图像的内容很可能不重要，从而，给予数据量的减小以优先级。因此，低质量地存储图像数据(可伸缩编码数据)。相反，在监视对象被反映为捕获的图像上的对象1211的情况下(在关注时段的情况下)，捕获的图像的内容很可能是重要的，给予图像质量以优先级。高质量地存储图像数据(可伸缩编码数据)。

此外，可以例如通过可伸缩编码数据存储装置1202分析图像来确定时段是普通时段还是关注时段。另外，成像装置1201可以执行确定并且将确定结果发送至可伸缩编码数据存储装置1202。

此外，关于时段是普通时段还是关注时段的确定标准是任意的，从而用作确定标准的图像的内容也是任意的。当然，除了图像的内容以外的条件也可以用作确定标准。例如，可以根据记录的音频的大小、波形等进行切换，可以在每个预定时间间隔进行切换，或可以响应于外部指令如用户指令进行切换。

另外，在这之前，描述了切换普通时段和关注时段的两个状态的示例，但是状态的数量是任意的。例如，可以切换普通时段、少关注时段、关注时段、多关注时段等的三个或更多个状态。在本文中，状态的数量的上限依赖于可伸缩编码数据的层的数量。

另外，成像装置1201可以根据状态确定可伸缩编码中的层的数量。例如，在普通时段的情况下，成像装置1201以低质量生成具有小数据量的基本层的可伸缩编码数据(EL)1222，并且将该可伸缩编码数据(BL)提供给可伸缩编码数据存储装置1202。另外，例如，在关注时段的情况下，成像装置1201以高质量生成具有大数据量的基本层的可伸缩编码数据(BL+EL)1221，并且将该可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。

在这之前，描述了监视摄像装置的示例，但成像系统1200的使用是任意的而不限于监视摄像装置。

此外，在该说明书中，对各种信息如跳过许可信息或跳过识别信息被复用成编码流并且经复用的编码流被从编码侧发送至解码侧的示例进行了描述。然而，信息的传输方法不限于示例。例如，信息可以在不被复用成编码比特流的情况下被传输或记录为与编码比特流相关的分离数据。在本文中，短语“与…相关联”表示包括在比特流中的图像(包括图像的一部分例如切片、块等)以及与该图像对应的信息能够在解码期间互相被链接。即，信息可以在与图像(或比特流)的传输线不同的传输线中被发送。另外，信息可以被存储在与图像(比特流)的记录介质不同的记录介质中(或同一记录介质的不同的记录区域中)。此外，信息和图像(或比特流)可以例如以多个帧、一个帧或帧内部的一部分为单位，即，以任意单位相互关联。

在这之前，尽管参照附图描述了本公开内容的优选实施方式，但是本公开内容不限于示例。明显的是，在权利要求中公开的技术精神的范围内，可以由本公开内容属于的技术领域中的普通技术人员设想各种修改或变化，并且应当理解的是，这些修改和变化被包括在本公开内容的技术范围内。

此外，本技术可以具有下面的配置。

(1)一种图像处理装置，包括：

设置单元，在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的所述块的定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表；以及

解码单元，使用由所述设置单元设置的缩放列表执行包括逆量化处理的解码处理，并且对所述编码数据进行解码。

(2)根据(1)至(9)中任一项所述的图像处理装置，其中，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长。

(3)根据(1)至(9)中任一项所述的图像处理装置，其中，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成大于所述默认定制缩放列表情况下的所述值。

(4)根据(1)至(9)中任一项所述的图像处理装置，其中，所述定制缩放列表中的与具有要帧内预测中被参考的可能性的所述像素对应的所述部分的每个量化步长具有根据对应的像素在帧内预测中被参考的可能性的等级的值。

(5)根据(1)至(9)中任一项所述的图像处理装置，其中，在所述当前块是不跳过正交变换处理的块的情况下，所述设置单元设置如下默认缩放列表作为用于对所述当前块进行逆量化处理的缩放列表：在所述默认缩放列表中，量化步长的所有值都相同，或者与高频分量对应的像素的量化步长具有大值。

(6)根据(1)至(9)中任一项所述的图像处理装置，还包括端部检测单元，所述端部检测单元检测帧内预测中的参考可变范围的端部，

其中，在所述当前块是由所述端部检测单元检测到的所述参考可变范围的端部中的块的情况下，所述设置单元将根据所述参考可变范围的端部的位置的所述定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表。

(7)根据(1)至(9)中任一项所述的图像处理装置，还包括：

接收单元，接收关于正交变换处理的跳过的信息；以及

确定单元，基于由所述接收单元接收的关于正交变换处理的跳过的所述信息确定所述当前块是否是跳过正交变换处理的所述块，

其中，在由所述确定单元确定所述当前块是跳过正交变换处理的所述块的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表。

(8)根据(1)至(9)中任一项所述的图像处理装置，其中，在被包括在关于正交变换处理的跳过的所述信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，所述确定单元禁止所述图片中的正交变换处理的跳过。

(9)根据(1)至(9)中任一项所述的图像处理装置，其中，所述确定单元还确定所述当前块的切片类型，以及

其中，在由所述确定单元确定所述当前块是跳过正交变换处理的所述块并且所述当前切片是对其仅执行帧内预测的切片的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表。

(10)一种图像处理装置的图像处理方法，包括：

通过所述图像处理装置进行：

在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的所述块的定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表；以及

使用所设置的缩放列表执行包括逆量化处理的解码处理，并且对所述编码数据进行解码。

(11)一种图像处理装置，包括：

设置单元，在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表；以及

编码单元，使用由所述设置单元设置的缩放列表执行包括量化处理的编码处理，并且对所述图像数据进行编码。

(12)根据(11)至(19)中任一项所述的图像处理装置，其中，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长。

(13)根据(11)至(19)中任一项所述的图像处理装置，其中，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成大于所述默认定制缩放列表情况下的所述值。

(14)根据(11)至(19)中任一项所述的图像处理装置，其中，所述定制缩放列表中的与具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的每个量化步长具有根据对应的像素在帧内预测中被参考的可能性的等级的值。

(15)根据(11)至(19)中任一项所述的图像处理装置，其中，在所述当前块是不跳过正交变换处理的块的情况下，所述设置单元设置如下默认缩放列表作为用于对所述当前块进行量化处理的缩放列表：在所述默认缩放列表中，量化步长的所有值都相同，或者与高频分量对应的像素的量化步长具有大值。

(16)根据(11)至(19)中任一项所述的图像处理装置，还包括端部检测单元，所述端部检测单元检测帧内预测中的参考可变范围的端部，

其中，在所述当前块是由所述端部检测单元检测到的所述参考可变范围的端部中的块时，所述设置单元将根据所述参考可变范围的端部的位置的所述定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表。

(17)根据(11)至(19)中任一项所述的图像处理装置，还包括确定单元，所述确定单元基于关于正交变换处理的跳过的所述信息确定对所述当前块是否跳过正交变换处理，

其中，在由所述确定单元确定对所述当前块跳过正交变换处理的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表。

(18)根据(11)至(19)中任一项所述的图像处理装置，其中，在被包括在关于正交变换处理的跳过的所述信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，所述确定单元禁止所述图片中的正交变换处理的跳过。

(19)根据(11)至(19)中任一项所述的图像处理装置，

其中，所述确定单元还确定所述当前块的切片类型，以及

在由所述确定单元确定所述当前块是跳过正交变换处理的所述块并且所述当前切片是对其仅执行帧内预测的切片的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表。

(20)一种图像处理装置的图像处理方法，包括：

通过所述图像处理装置进行：

在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表；以及

使用所设置的缩放列表执行包括量化处理的编码处理，并且对所述图像数据进行编码。

附图标记列表

100 图像编码装置

114 正交变换单元

115 量化单元

116 无损编码单元

118 逆量化单元

119 逆正交变换单元

131 正交变换跳过单元

132 量化控制器

151 确定单元

152 缩放列表设置单元

200 图像解码装置

212 无损解码单元

213 逆量化单元

214 逆正交变换单元

231 逆正交变换跳过单元

232 逆量化控制器

251 确定单元

252 缩放列表设置单元

301 切片端部检测单元

401 切片端部检测单元

Claims (18)

1.一种图像处理装置，包括：

设置单元，在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的所述块的定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表，其中，所述缩放列表是采集与所述当前块的相应像素对应的量化步长的信息，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长；以及

解码单元，使用由所述设置单元设置的缩放列表执行包括逆量化处理的解码处理，并且对所述编码数据进行解码。

2.根据权利要求1所述的图像处理装置，其中，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成大于所述默认定制缩放列表情况下的所述值。

3.根据权利要求1所述的图像处理装置，其中，所述定制缩放列表中的与具有要帧内预测中被参考的可能性的所述像素对应的所述部分的每个量化步长具有根据对应的像素在帧内预测中被参考的可能性的等级的值。

4.根据权利要求1所述的图像处理装置，其中，在所述当前块是不跳过正交变换处理的块的情况下，所述设置单元设置如下默认缩放列表作为用于对所述当前块进行逆量化处理的缩放列表：在所述默认缩放列表中，量化步长的所有值都相同，或者，与高频分量对应的像素的量化步长大于与低频分量对应的像素的量化步长。

5.根据权利要求1所述的图像处理装置，还包括端部检测单元，所述端部检测单元检测帧内预测中的参考可变范围的端部，

其中，在所述当前块是由所述端部检测单元检测到的所述参考可变范围的端部中的块的情况下，所述设置单元将根据所述参考可变范围的端部的位置的所述定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表。

6.根据权利要求1所述的图像处理装置，还包括：

接收单元，接收关于正交变换处理的跳过的信息；以及

确定单元，基于由所述接收单元接收的关于正交变换处理的跳过的所述信息确定所述当前块是否是跳过正交变换处理的所述块，

其中，在由所述确定单元确定所述当前块是跳过正交变换处理的所述块的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表。

7.根据权利要求6所述的图像处理装置，其中，在被包括在关于正交变换处理的跳过的所述信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，所述确定单元禁止所述图片中的正交变换处理的跳过。

8.根据权利要求6所述的图像处理装置，

其中，所述确定单元还确定所述当前块的切片类型，以及

其中，在由所述确定单元确定所述当前块是跳过正交变换处理的所述块并且所述当前切片是对其仅执行帧内预测的切片的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表。

9.一种图像处理装置的图像处理方法，包括：

通过所述图像处理装置进行：

在对图像数据被编码的编码数据进行解码中，在当前块是跳过正交变换处理的块的情况下，将用于跳过正交变换处理的所述块的定制缩放列表设置为用于对所述当前块进行逆量化处理的缩放列表，其中，所述缩放列表是采集与所述当前块的相应像素对应的量化步长的信息，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长；以及

使用所设置的缩放列表执行包括逆量化处理的解码处理，并且对所述编码数据进行解码。

10.一种图像处理装置，包括：

设置单元，在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表，其中，所述缩放列表是采集与所述当前块的相应像素对应的量化步长的信息，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长；以及

编码单元，使用由所述设置单元设置的缩放列表执行包括量化处理的编码处理，并且对所述图像数据进行编码。

11.根据权利要求10所述的图像处理装置，其中，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成小于默认定制缩放列表情况下的值，或者使得与不具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的量化步长被设置成大于所述默认定制缩放列表情况下的所述值。

12.根据权利要求10所述的图像处理装置，其中，所述定制缩放列表中的与具有要在帧内预测中被参考的可能性的所述像素对应的所述部分的每个量化步长具有根据对应的像素在帧内预测中被参考的可能性的等级的值。

13.根据权利要求10所述的图像处理装置，其中，在所述当前块是不跳过正交变换处理的块的情况下，所述设置单元设置如下默认缩放列表作为用于对所述当前块进行量化处理的缩放列表：在所述默认缩放列表中，量化步长的所有值都相同，或者，与高频分量对应的像素的量化步长大于与低频分量对应的像素的量化步长。

14.根据权利要求10所述的图像处理装置，还包括端部检测单元，所述端部检测单元检测帧内预测中的参考可变范围的端部，

其中，在所述当前块是由所述端部检测单元检测到的所述参考可变范围的端部中的块时，所述设置单元将根据所述参考可变范围的端部的位置的所述定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表。

15.根据权利要求10所述的图像处理装置，还包括确定单元，所述确定单元基于关于正交变换处理的跳过的所述信息确定对所述当前块是否跳过正交变换处理，

其中，在由所述确定单元确定对所述当前块跳过正交变换处理的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表。

16.根据权利要求15所述的图像处理装置，其中，在被包括在关于正交变换处理的跳过的所述信息中并且指示关于是否允许图片中的正交变换处理的跳过的跳过许可信息的值为假的情况下，所述确定单元禁止所述图片中的正交变换处理的跳过。

17.根据权利要求15所述的图像处理装置，

其中，所述确定单元还确定所述当前块的切片类型，以及

其中，在由所述确定单元确定所述当前块是跳过正交变换处理的所述块并且所述当前切片是对其仅执行帧内预测的切片的情况下，所述设置单元将所述定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表。

18.一种图像处理装置的图像处理方法，包括：

通过所述图像处理装置进行：

在对图像数据进行编码中，在对当前块跳过正交变换处理的情况下，将用于跳过正交变换处理的块的定制缩放列表设置为用于对所述当前块进行量化处理的缩放列表，其中，所述缩放列表是采集与所述当前块的相应像素对应的量化步长的信息，所述定制缩放列表被配置成：使得与具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长小于不具有要在帧内预测中被参考的可能性的像素对应的部分的量化步长；以及

使用所设置的缩放列表执行包括量化处理的编码处理，并且对所述图像数据进行编码。