CN109803149A

CN109803149A - 图像处理装置和方法

Info

Publication number: CN109803149A
Application number: CN201811490557.2A
Authority: CN
Inventors: 田中润一; 森上义崇
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2012-02-29
Filing date: 2013-02-28
Publication date: 2019-05-24
Anticipated expiration: 2033-02-28
Also published as: US20170214919A1; US9967566B2; US10264258B2; JP5904266B2; KR20200013789A; EP3432583A1; US9955164B2; CN110913224A; EP3709652A1; CN110913224B; KR102153271B1; CN109803149B; KR20200008018A; MX2021015792A; BR112014020801B1; JP6075487B2; AU2013227608A1; JP5904267B2; EP3432582A1; CA2862282C

Abstract

本公开涉及一种能够抑制编码效率减小的图像处理装置和方法。这种图像处理装置编码图像并产生编码数据，并且当使用量化矩阵被复制的复制模式时，并且当识别量化矩阵的参考物的量化矩阵参考数据与识别量化矩阵的量化矩阵识别数据匹配时，该图像处理装置将其语义被设置为参考与作为量化的处理单位的块尺寸相同的尺寸对应的默认量化矩阵的语法，设置为所产生的编码数据的语法。

Description

图像处理装置和方法

本申请是申请号为201380010485.6、申请日为2013年2月28日、名称为“图像处理装置和方法”的发明专利申请的分案申请。

技术领域

本公开涉及一种图像处理装置和方法。

背景技术

在作为视频编码方案的标准规范之一的H.264/AVC(高级视频编码)中，高规格(Profile)或更高规格中的各规格允许利用针对正交变换系数的每个分量而不同的量化步长量化图像数据。可基于参考步长值和由与正交变换的单位相同的尺寸定义的量化矩阵(也被称为缩放列表)设置针对正交变换系数的每个分量的量化步长。

针对每个预测模式(帧内预测模式、帧间预测模式)并且针对每个变换单位尺寸(4×4、8×8)准备量化矩阵的指定值。另外，允许用户指定不同于序列参数集或图像参数集中的指定值的独一无二的量化矩阵。在未使用量化矩阵的情况下，量化步长针对所有分量具有相同的值。

在正被标准化为下一代视频编码方案并且作为H.264/AVC的后继方案的HEVC(高效率视频编码)中，已引入与传统宏块对应的编码单位(CU)的概念(参见例如NPL 1)。编码单位的尺寸的范围由序列参数集中的一组值指定，所述一组值是2的幂，称为最大编码单位(LCU)和最小编码单位(SCU)。另外，使用split_flag指定由LCU和SCU指定的范围中的特定编码单位尺寸。

在HEVC中，一个编码单位可被划分为一个或多个正交变换单位或一个或多个变换单位(TU)。可用变换单位尺寸是4×4、8×8、16×16和32×32中的任何一个。

同时，为了诸如在发送期间减少编码的量的目的，量化矩阵(缩放列表)的DC分量(也被称为直流分量)被发送作为不同于其AC分量(也被称为交流分量)的数据。具体地讲，缩放列表的DC分量被发送作为不同于AC系数(也被称为交流系数)的DC系数(也被称为直流系数)，AC系数是缩放列表的AC分量。

为了在发送期间减少DC系数的编码的量，已提出从DC系数的值减去常数(例如，8)并且使用有符号指数Golomb编码对所获得的值(scaling_list_dc_coef_minus8)进行编码(参见例如NPL 1)。

引用列表

非专利文献

NPL 1：Benjamin Bross,Fraunhofer HHI,Woo-Jin Han,Gachon University,Jens-Rainer Ohm,RWTH Aachen,Gary J.Sullivan,Microsoft,Thomas Wiegand,Fraunhofer HHI/TU Berlin,JCTVC-H1003,"High Efficiency Video Coding(HEVC)textspecification draft 6",Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11 7th Meeting:Geneva,CH,21-30November,2011

发明内容

技术问题

然而，在现有技术中，发送指示使用默认矩阵的信息，从而导致编码效率可能显著降低的风险。

考虑到上述情况而提出本公开，并且本公开的目的在于能够抑制编码效率的降低。

问题的解决方案

本公开的一个方面提供了一种图像处理装置，包括：

编码单元，其被配置为对图像编码以产生编码数据；以及

设置单元，其被配置为将以下语法设置为由编码单元所产生的编码数据的语法：该语法的语义被设置为使得在当使用量化矩阵被复制的复制模式时，识别量化矩阵的参考目的地的量化矩阵参考数据与识别量化矩阵的量化矩阵识别数据匹配的情况下，参考具有与作为执行量化时的处理单位的块尺寸相同的尺寸的默认量化矩阵。

设置单元可以将以下语法设置为由编码单元所产生的编码数据的语法：该语法的语义被设置为使得当量化矩阵参考数据与量化矩阵识别数据之间的差等于0时，参考默认量化矩阵。

作为执行编码处理时的处理单位的编码单位以及作为执行变换处理时的处理单位的变换单位可以具有分层结构，并且编码单元可以使用具有分层结构的单位来执行编码。

该图像处理装置还可以包括：发送单元，其被配置为发送量化矩阵，该量化矩阵被用来将尺寸被限制为不大于作为发送中允许的最大尺寸的发送尺寸的量化矩阵上转换到作为执行去量化时的处理单位的变换单位的尺寸。

发送尺寸可以是8×8，并且变换单位的尺寸可以是16×16尺寸。

发送尺寸可以是8×8，并且变换单位的尺寸可以是32×32尺寸。

本公开的方面还提供了一种图像处理方法，包括：编码图像以产生编码数据；以及将以下语法设置为所产生的编码数据的语法：该语法的语义被设置为使得当在量化矩阵被复制的复制模式中，识别量化矩阵的参考目的地的量化矩阵参考数据与识别量化矩阵的量化矩阵识别数据匹配时，参考具有与作为执行量化时的处理单位的块尺寸相同的尺寸的默认量化矩阵。

在本发明的方面中，图像被编码以产生编码数据；并且以下语法被设置为所产生的编码数据的语法：该语法的语义被设置为使得当在量化矩阵被复制的复制模式中，识别量化矩阵的参考目的地的量化矩阵参考数据与识别量化矩阵的量化矩阵识别数据匹配时，参考具有与作为执行量化时的处理单位的块尺寸相同的尺寸的默认量化矩阵。

发明的有益效果

根据本公开，可处理图像。特别地，可抑制编码效率的降低。

附图说明

图1是表示缩放列表的例子的示图。

图2是表示上转换的例子的示图。

图3是表示如何在解码器中使用缩放列表的例子的示图。

图4是表示缩放列表的编码的例子的示图。

图5是表示使用本技术的缩放列表的编码的例子的示图。

图6是表示指数Golomb码的例子的示图。

图7包括表示缩放列表的语法的例子的示图。

图8是表示默认矩阵的语法的例子的示图。

图9包括表示默认矩阵的语义的例子的示图。

图10是表示缩放列表的语法的例子的示图。

图11是表示使用本技术的缩放列表的语法的例子的示图。

图12包括表示相关技术中的缩放列表的语法的例子的示图。

图13是表示缩放列表的语法的例子的示图。

图14是表示图像编码装置的主要结构的例子的方框图。

图15是表示正交变换/量化单元的主要结构的例子的方框图。

图16是表示矩阵处理单元的主要结构的例子的方框图。

图17是表示下采样的例子的示图。

图18是表示交叠部分的去除的例子的示图。

图19是表示DPCM单元的主要结构的例子的方框图。

图20是表示量化矩阵编码处理的流程的例子的流程图。

图21是表示DPCM处理的流程的例子的流程图。

图22是表示图像解码装置的主要结构的例子的方框图。

图23是表示去量化/逆正交变换单元的主要结构的例子的方框图。

图24是表示矩阵产生单元的主要结构的例子的方框图。

图25是表示最近邻居内插处理的例子的示图。

图26是表示逆DPCM单元的主要结构的例子的方框图。

图27是表示矩阵产生处理的流程的例子的流程图。

图28是表示残余信号解码处理的流程的例子的流程图。

图29是表示逆DPCM处理的流程的例子的流程图。

图30是表示缩放列表的语法的另一例子的示图。

图31是表示DPCM单元的另一示例性结构的方框图。

图32是表示DPCM处理的流程的另一例子的流程图。

图33是表示逆DPCM单元的另一示例性结构的方框图。

图34是表示逆DPCM处理的流程的另一例子的流程图。

图35是表示缩放列表的语法的另一例子的示图。

图36是表示逆DPCM处理的流程的另一例子的流程图。

图37是表示缩放列表的语法的另一例子的示图。

图38是表示DPCM单元的另一示例性结构的方框图。

图39是表示DPCM处理的另一例子的流程图。

图40是表示逆DPCM单元的另一示例性结构的方框图。

图41是表示逆DPCM处理的流程的另一例子的流程图。

图42是表示逆DPCM处理的流程的另一例子的从图41继续的流程图。

图43包括表示缩放列表的语法的另一例子的示图。

图44包括表示缩放列表的语法的另一例子的示图。

图45包括表示缩放列表的语法的另一例子的示图。

图46是表示多视图图像编码方案的例子的示图。

图47是表示应用本技术的多视图图像编码装置的主要结构的例子的示图。

图48是表示应用本技术的多视图图像解码装置的主要结构的例子的示图。

图49是表示分层图像编码方案的例子的示图。

图50是表示应用本技术的分层图像编码装置的主要结构的例子的示图。

图51是表示应用本技术的分层图像解码装置的主要结构的例子的示图。

图52是表示计算机的主要结构的例子的方框图。

图53是表示电视设备的主要结构的例子的方框图。

图54是表示移动终端装置的主要结构的例子的方框图。

图55是表示记录/再现设备的主要结构的例子的方框图。

图56是表示成像设备的主要结构的例子的方框图。

图57是表示可缩放编码的使用的例子的方框图。

图58是表示可缩放编码的使用的另一例子的方框图。

图59是表示可缩放编码的使用的另一例子的方框图。

具体实施方式

将在以下描述用于执行本公开的实施方式(以下，称为实施例)。在这个方面，将按照下面的次序进行描述。

1.第一实施例(本技术的示例性应用)

2.第二实施例(图像编码装置、图像解码装置：第一方法)

3.第三实施例(图像编码装置、图像解码装置：第二方法)

4.第四实施例(图像编码装置、图像解码装置：第三方法)

5.第五实施例(图像编码装置、图像解码装置：第四方法)

6.第六实施例(图像编码装置、图像解码装置：其它方法)

7.第七实施例(多视图图像编码装置、多视图图像解码装置)

8.第八实施例(分层图像编码装置、分层图像解码装置)

9.第九实施例(计算机)

10.示例性应用

11.可缩放编码的示例性应用

<1.第一实施例>

在这个实施例中，将给出将在本技术的第二实施例和后面的实施例中详细描述的本技术的示例性应用的描述。

<1-1.本技术的示例性应用>

首先，将描述本技术适用的示例性例子。本技术是与在当图像数据被编码和解码时执行的量化和去量化处理中使用的缩放列表的编码和解码相关的技术。

图像数据的编码和解码可包括系数数据的量化和去量化。以具有预定尺寸的块为单位执行这种量化和去量化，并且使用具有与块尺寸对应的尺寸的缩放列表(或量化矩阵)。例如，在HEVC(高效率视频编码)中，以诸如4×4、8×8、16×16和32×32的尺寸执行量化(或去量化)。在HEVC中，可准备具有4×4和8×8尺寸的量化矩阵。

图1表示8×8缩放列表的例子。如图1中所示，缩放列表包括DC系数和AC系数。包括一个值的DC系数是量化矩阵的(0,0)系数，并且对应于离散余弦转换(DCT)的DC系数。AC系数是除(0,0)系数之外的量化矩阵的系数，并且对应于除DC系数之外的DCT的系数。需要注意的是，如图1中所示，AC系数由矩阵表示。也就是说，AC系数也包括(0,0)系数(以下也被称为AC系数(0,0))，并且当被用于量化/去量化时，位于量化矩阵的开头处的(0,0)系数被DC系数替换。因此，DC系数也被称为替换系数。在图1中示出的例子中，AC系数形成8×8矩阵。

此外，在HEVC中，8×8量化矩阵的上转换的版本(向上转换)被用于16×16或32×32量化(或去量化)。

图2表示8×8缩放列表到16×16缩放列表的上转换的例子。如图2中所示，使用例如最近邻居内插处理对缩放列表进行上转换。将在以下参照例如图25描述最近邻居内插处理的细节。如图2中所示，对缩放列表的AC系数执行上转换。然后，上转换的AC系数之中的(0,0)系数被DC系数替换。

准备两个类型的8×8缩放列表，即用于上转换为16×16的8×8缩放列表(“用于16×16的8×8”)和用于上转换为32×32的8×8缩放列表(“用于32×32的8×8”)。

在编码(使用编码器)期间被用于量化的缩放列表也在解码(使用解码器)期间被用于去量化。也就是说，缩放列表被从编码侧(编码器)发送给解码侧(解码器)。图3表示缩放列表的发送的例子。

在图3中示出的例子中，发送如上所述的两个类型的8×8缩放列表，即用于上转换为16×16尺寸的8×8缩放列表和用于上转换为32×32尺寸的8×8缩放列表。虽然在附图中未示出，但还发送4×4缩放列表。

已经以上述方式发送的用于上转换为16×16尺寸的8×8缩放列表的AC系数在解码侧(解码器)使用上述最近邻居内插处理被上转换为16×16尺寸，并且在(0,0)系数被DC系数替换之后被用于具有16×16尺寸的块的去量化。

类似地，已经以上述方式发送的用于上转换为32×32尺寸的8×8缩放列表的AC系数也在解码侧(解码器)使用上述最近邻居内插处理被上转换为32×32尺寸，并且在(0,0)系数被DC系数替换之后被用于具有32×32尺寸的块的去量化。

<1-2.缩放列表的编码>

以上述方式执行的缩放列表的发送将会相应地增加编码的量。因此，为了抑制编码效率的降低，使用一定的方法对缩放列表进行编码以减少缩放列表的编码的量。图4表示缩放列表的编码的例子。具体地讲，如下发送8×8缩放列表。

在8×8矩阵至16×16矩阵的上转换的情况下：

(1)获取8×8矩阵的(0,0)系数(也就是说，AC系数(0,0))和预定初始值“8”之差。

(2)获取8×8矩阵的系数(也就是说，AC系数)(以扫描次序按照一维方式排列的系数的序列中的相邻系数)之间的差。

(3)获取16×16矩阵的(0,0)系数(也就是说，DC系数)和预定初始值“8”之差。

(4)在(1)和(2)中获得的差以及在(3)中获得的差被分开地发送。

在8×8矩阵至32×32矩阵的上转换的情况下：

(3)获取32×32矩阵的(0,0)系数(也就是说，DC系数)和预定初始值“8”之差。

(4)在(1)和(2)中获得的差以及在(3)中获得的差被分开地发送。

然而，在上述方法中，这些差被使用有符号指数Golomb编码进行编码并且被在(4)中发送。如上所述，在(1)中获得的差是AC系数(0,0)和初始值“8”之差。因此，存在这样的担心：如果AC系数(0,0)的值不是接近于初始值“8”的值，则编码的量可能增加。

例如，在图4中，AC系数(0,0)的值是“12”，并且值“4”被使用有符号指数Golomb编码进行编码并且被作为在(1)中获得的差而发送。也就是说，为了发送在(1)中获得的差而需要7位，并且编码效率可能相应地降低。如果在(1)中获得的差的值增加，则编码效率可能进一步降低。对于用于上转换为16×16尺寸的8×8缩放列表和用于上转换为32×32尺寸的8×8缩放列表的情况而言，同样如此。

同时，DCT系数的能量通常集中在DC系数和邻近的低阶系数中。因此，通常，量化矩阵还具有用于DC系数和邻近系数的小的值。另外，如果显著不同的值被用于各频率，则可能在主观上察觉到量化误差。为了抑制这种视觉的图像质量的降低，连续的值被用于DC系数和邻近系数。

在上转换之后获得的(0,1)系数、(1.0)系数和(1.1)系数对应于在上转换之前的AC系数(0,0)。另外，在上转换之后获得的(0,0)系数对应于DC系数。

因此，在缩放列表中，AC系数(0,0)的值和DC系数的值通常彼此接近。例如，MPEG2、AVC和HEVC默认矩阵采用具有这种关系的值。此外，在图4中示出的例子中，DC系数的值与AC系数(0,0)的值相同，也就是说，“12”。因此，在(3)中获得的差(也就是说，DC系数和初始值“8”之差)的值也是“4”。

也就是说，获取其值彼此接近的DC系数和AC系数(0,0)中的每一个和初始值之差可能增加它们之间的差值，并且还可能引起冗余。可以说，将会存在进一步降低编码效率的风险。

为了解决这个问题，替代于使用图4中示出的方法，使用下面的方法发送缩放列表。图5表示这个方法的例子。

在8×8矩阵至16×16矩阵的上转换的情况下：

(1)获取8×8矩阵的(0,0)系数(也就是说，AC系数(0,0))和16×16矩阵的(0,0)系数(也就是说，DC系数)之差。

(4)在(1)至(3)中获得的差被共同发送。

在8×8矩阵至32×32矩阵的上转换的情况下：

(1)获取8×8矩阵的(0,0)系数(也就是说，AC系数(0,0))和32×32矩阵的(0,0)系数(也就是说，DC系数)之差。

(4)在(1)至(3)中获得的差被共同发送。

类似于图4中示出的方法，在(4)中，这些差被使用指数Golomb编码进行编码并且作为指数Golomb码发送。

在将这些差作为指数Golomb码发送到的目的地处，当接收到指数Golomb码时，接收到的指数Golomb码被解码以获得各个差，并且对获得的差执行与上述(1)至(3)中的处理相反的处理以确定各个系数(DC系数和AC系数)。

<1-3.本技术的示例性特征>

现在将描述与上述发送方法相关的本技术的示例性特征。

<1-3-1.AC系数(0,0)和DC系数之间的DPCM>

使用差分脉冲编码调制(DPCM)对缩放列表进行编码并且发送缩放列表。在图4中示出的例子中，分别对AC系数和DC系数进行DPCM编码，而根据本技术的特征之一，在图5中示出的例子中，确定并且发送AC系数(0,0)和DC系数之差(也被称为替换差系数)。

如上所述，AC系数(0,0)和DC系数通常采用彼此接近的值。因此，AC系数(0,0)和DC系数之差可能小于AC系数(0,0)和初始值“8”之差。也就是说，使用本技术的作为AC系数(0,0)和DC系数之差的替换差系数的发送可能更有可能减少编码的量。

例如，在图5中示出的例子中，在(1)中获得的差的值是“0”。

图6是表示有符号指数Golomb编码的例子的表。如图6中示出的表中所指示，用于值“4”的指数Golomb码具有7位的码长，而用于值“0”的指数Golomb码具有1位的码长。也就是说，与图4中示出的方法相比较，图5中示出的方法能够减少6位的编码的量。

通常，具有8×8尺寸的量化矩阵的发送需要大约100位至200位的编码量。因此，6位占据总量的大约6％。在高级语法中将编码的量减少6％能够说是非常大的效果。

<1-3-2.DC系数和AC系数的共同发送>

图7表示缩放列表的语法的例子。在图7的部分A中示出的例子中表示图4中示出的例子的语法。具体地讲，在发送AC系数(0,0)和初始值“8”之差以及AC系数之间的差(scaling_list_delta_coef)之后，DC系数和初始值“8”之差(scaling_list_dc_coef_minus8)被分开地发送。

相比之下，本技术的特征之一在于：DC系数和AC系数(0,0)之差以及AC系数之间的差按照这个次序排列并且被共同发送。具体地讲，如图5中所示，在按照预定扫描次序排列的DC系数和AC系数按照一维方式排列并且DC系数和初始值“8”之差被确定之后，系数的序列中的相邻系数之差被确定。另外，所获得的差(系数之差)按照被获得的次序按照一维方式排列并且被共同发送。

在图7的部分B中的例子中表示在这种情况下的语法。具体地讲，最初，DC系数和初始值“8”之差(scaling_list_dc_coef_minus8)被发送，然后，发送DC系数和AC系数(0,0)之差以及AC系数之间的差(scaling_list_delta_coef)。也就是说，DC系数和AC系数被共同编码并且发送。

以这种方式，按照获得的次序排列的差的共同发送允许差被发送到的解码侧(解码器)按照发送的次序对这些差进行解码并且获得各个系数。也就是说，DPCM编码的缩放列表能够被容易地解码。更具体地讲，能够减少处理负载。另外，不再需要差的重新排列，导致缓冲容量的减少。另外，各个差能够按照提供的次序被解码，导致抑制处理时间的增加。

<1-3-3.默认矩阵的发送>

图8是表示用于默认矩阵的发送的语法的例子的示图。在相关技术中，如图8中所示，作为“0”发送初始系数(也就是说，DC系数)以发送指示默认矩阵的使用的信息。也就是说，DC系数和初始值“8”之差(scaling_list_dc_coef_minus8)的值是“-8”。然而，如图6中所示，用于值“-8”的指数Golomb码具有9位的码长。也就是说，存在这样的担心：编码效率可能显著降低。通常，希望高级语法的位数尽可能少。另外，如图8中所示，由于语法的增加的复杂性，处理负载可能增加。

为了解决这些问题，初始系数不被设置为“0”，而是修改scaling_list_pred_matrix_id_delta的语义。更具体地讲，scaling_list_pred_matrix_id_delta的语义被从图9的部分A中示出的语义修改为图9的部分B中示出的语义。也就是说，在相关技术中，如图9的部分A中所示，等于“0”的值指示参照紧接在前的矩阵(MatrixID-1)。替代于这个描述，如图9的部分B中所示，scaling_list_pred_matrix_id_delta的等于“0”的值意味着参照默认矩阵。

因此，用于指示默认矩阵的使用的信息的发送的指数Golomb码的码长能够等于1位，并且能够抑制编码效率的降低。另外，在相关技术中，缩放列表需要如图10的部分A和B中所示的语法。能够如图11中示出的例子中所示简化这个语法。也就是说，能够减少缩放列表的编码和解码中所包括的处理负载。

<1-4.使用本技术的语法的特征>

将更具体地描述语法。

在图10的部分A和B中示出的相关技术的例子中，默认的确定需要执行两次，也就是，scaling_list_dc_coef_minus8和scaling_list_delta_coef。另外，对于scaling_list_delta_coef，在“for”循环中进行确定，并且当useDefaultScalingMatrixFlag＝1时，离开该循环。另外，需要称为“stopNow”的中间标记，并且因为这个条件，还存在诸如将nextCoef代入到scalingList的值中的分支。以这种方式，相关技术的语法包括复杂的处理。

在本技术中，相应地，如图11中示出的例子中所示，从scaling_list_dc_coef_minus8计算的DC系数被代入到nextCoef中以将scaling_list_delta_coef的初始值设置为DC系数。

另外，在语义中，在相关技术中由“+1”代表的scaling_list_pred_matrix_id_delta的值保持不变，并且值“0”被用作特殊值。

也就是说，在相关技术中，当ScalingList[0][2]将要被解码(matrixId＝2)时，如果scaling_list_pred_matrix_id_delta＝0，则从refMatrixId＝matrixId-(1+scaling_list_pred_matrix_id_delta)获得matrixId＝2。因此，获得refMatrixId＝1，并且复制ScalingList[0][1]的值。

相比之下，在本技术中，设置refMatrixId＝matrixId-scaling_list_pred_matrix_id_delta。当ScalingList[0][2]将要被解码(matrixId＝2)时，如果将要复制ScalingList[0][1](或者如果将要获得refMatrixId＝1)，则可设置scaling_list_pred_matrix_id_delta＝1。

因此，如图11中所示，缩放列表的语法的行数能够显著减少。另外，将要作为中间数据而包括的两个变量，即UseDefaultScalingMatrix和stopNow，能够被省略。另外，能够不再需要如图10中所示在“for”循环中形成的分支。因此，能够减少缩放列表的编码和解码中所包括的处理负载。

<1-5.实现本技术的处理单元>

在本技术被应用于缩放列表的发送的情况下，以上述方式对缩放列表进行编码和解码。具体地讲，以下参照图14描述的图像编码装置10对缩放列表进行编码并且发送编码的缩放列表，并且以下参照图22描述的图像解码装置300接收编码的缩放列表并且对编码的缩放列表进行解码。

缩放列表由图像编码装置10的正交变换/量化单元14(图14)中的矩阵处理单元150(图15)编码。更具体地讲，缩放列表由矩阵处理单元150中的熵编码单元164(图16)中的DPCM单元192和exp-G单元193(DPCM单元192和exp-G单元193都被示出在图16中)编码。也就是说，DPCM单元192确定缩放列表的系数(DC系数和AC系数)之间的差，并且exp-G单元193使用指数Golomb编码对各个差进行编码。

为了如上所述使用本技术对缩放列表进行编码，DPCM单元192可具有如例如图19中所示的示例性结构，并且可执行如图21中示出的例子中所示的DPCM处理。另外，可使用如图44的部分C或图45的部分C中示出的例子中所示的语义。

换句话说，可仅需要DPCM单元192和exp-G单元193来使用本技术实现缩放列表的编码，并且可根据需要使用具有任何结构的其它部件。可根据实施例提供需要的结构，诸如用于上转换缩放列表的处理单元和用于使用缩放列表执行量化的处理单元。

另外，缩放列表由图像解码装置300的去量化/逆正交变换单元313(图22)中的矩阵产生单元410(图23)解码。更具体地讲，缩放列表由矩阵产生单元410中的熵解码单元533(图24)中的exp-G单元551和逆DPCM单元552(图24)解码。也就是说，exp-G单元551对Golomb码进行解码以获得差，并且逆DPCM单元552从各个差确定缩放列表的各系数(DC系数和AC系数)。

为了如上所述使用本技术对编码的缩放列表进行解码，逆DPCM单元552可具有如例如图26中所示的示例性结构，并且可执行如图29中示出的例子中所示的逆DPCM处理。另外，可使用如图44的部分C或图45的部分C中示出的例子中所示的语义。

换句话说，可仅需要exp-G单元551和逆DPCM单元552来使用本技术实现缩放列表的解码，并且可根据需要使用具有任何结构的其它部件。可根据实施例提供需要的结构，诸如用于上转换缩放列表的处理单元和用于使用缩放列表执行去量化的处理单元。

将在以下描述应用本技术的各实施例以用于对本技术的更详细的描述。

<2.第二实施例>

<2-1.语法：第一方法>

(1)相关技术的语法

首先，图12表示相关技术中的量化矩阵(或缩放列表)的语法的例子。在实际使用中，通常发送缩放列表和它的预测矩阵之间的差矩阵，而非发送缩放列表。因此，在下面对语法等的描述中，假设对缩放列表的描述也能够应用于差矩阵。

图12的部分A表示缩放列表数据的语法(缩放列表数据语法)，并且图12的部分B表示缩放列表的语法(缩放列表语法)。

(1-1)缩放列表数据语法

如图12的部分A中所示，缩放列表数据的语法规定：读取指示是否提供缩放列表的标记(scaling_list_present_flag)、指示当前模式是否是复制模式的标记(scaling_list_pred_mode_flag)、指示在复制模式下参照哪个缩放列表的信息(scaling_list_pred_matrix_id_delta)等。

(1-2)缩放列表语法

如图12的部分B中所示，缩放列表的语法规定：读取从其减去常数(例如，8)的DC系数(scaling_list_dc_coef_minus8)、AC系数之间的差值(scaling_list_delta_coef)等并且恢复DC系数和AC系数。

然而，存在这样的担心：虽然上述各条语法方便处理，但它将不会提供DC系数的足够的压缩效率。

因此，为了获得作为DC分量(直流分量)的系数的DC系数(也被称为直流系数)的足够的压缩效率，确定DC系数和另一系数之差，并且替代于DC系数而发送该差值。也就是说，该差值是用于计算DC系数的信息，并且换句话说，基本上等同于DC系数。然而，该差值通常小于DC系数。因此，替代于DC系数的该差值的发送可导致编码的量的减少。

在下面的描述中，为了描述的方便，缩放列表(量化矩阵)具有8×8尺寸。将在以下描述上述替代于DC系数发送DC系数和另一系数之差的方法的特定例子。

(2)第一方法的语法

例如，可使用DPCM(差分脉冲编码调制)发送65个系数，其中DC系数被视为位于8×8矩阵(AC系数)的开头处的元素(第一方法)。

也就是说，首先，计算预定常数和DC系数之差，并且该差值被用作DPCM数据的初始系数。然后，计算DC系数和初始AC系数之差，并且该差值被用作DPCM数据的第二系数。然后，计算初始AC系数和第二AC系数之差，并且该差值被用作DPCM数据的第三系数。随后，计算与紧接在前的AC系数的差，并且该差值被用作DPCM数据的第四系数，并且以与上述方式类似的方式确定DPCM数据的随后的系数。从初始系数开始顺序地发送以上述方式产生的DPCM数据的系数。

因此，当8×8矩阵的(0,0)系数(AC系数)和DC系数的值彼此接近时，能够提高压缩比。通过实现上述第一方法，图像编码装置能够以与AC系数(交流系数)的方式类似的方式处理DC系数，AC系数是AC分量(也被称为交流分量)的系数。需要注意的是，为了实现上述第一方法，上述系数被发送到的图像解码装置需要仅特殊处理初始系数。具体地讲，图像解码装置需要从AC系数之中提取DC系数。

图13表示在上述情况下的缩放列表的语法。在图13中示出的例子中，读取系数之间的65个差值(scaling_list_delta_coef)，并且在从差值确定的系数(nextcoef)之中，位于开头处的系数(nextcoef)被用作DC系数(scaling_list_dc_coef)，而其它系数被用作AC系数(ScalingList[i])。

将在以下描述实现上述第一方法的语法的图像编码装置。

<2-2.图像编码装置>

图14是表示根据本公开的实施例的图像编码装置10的示例性结构的方框图。图14中示出的图像编码装置10是应用本技术的图像处理装置，并且该图像处理装置被构造为对输入图像数据进行编码并且输出编码的图像数据。参照图14，图像编码装置10包括A/D(模数)转换单元11(A/D)、重新排列缓冲器12、减法单元13、正交变换/量化单元14、无损编码单元16、积累缓冲器17、速率控制单元18、去量化单元21、逆正交变换单元22、加法器单元23、解块滤波器24、帧存储器25、选择器26、帧内预测单元30、运动搜索单元40和模式选择单元50。

A/D转换单元11将以模拟形式输入的图像信号转换成数字形式的图像数据，并且将数字图像数据序列输出到重新排列缓冲器12。

重新排列缓冲器12重新排列从A/D转换单元11输入的图像数据序列中所包括的图像。在根据用于编码处理的GOP(图像组)结构重新排列图像之后，重新排列缓冲器12将图像已被重新排列的图像数据输出到减法单元13、帧内预测单元30和运动搜索单元40。

减法单元13被提供从重新排列缓冲器12输入的图像数据和由模式选择单元50选择的预测图像数据，将在以下对此进行描述。减法单元13计算代表从重新排列缓冲器12输入的图像数据和从模式选择单元50输入的预测图像数据之差的预测误差数据，并且将计算的预测误差数据输出到正交变换/量化单元14。

正交变换/量化单元14对从减法单元13输入的预测误差数据执行正交变换和量化，并且将量化的变换系数数据(以下，被称为量化的数据)输出到无损编码单元16和去量化单元21。根据从速率控制单元18提供的速率控制信号控制从正交变换/量化单元14输出的量化的数据的比特率。将在以下进一步描述正交变换/量化单元14的详细结构。

无损编码单元16被提供从正交变换/量化单元14输入的量化的数据、用于在解码侧产生缩放列表(或量化矩阵)的信息和关于由模式选择单元50选择的帧内预测或帧间预测的信息。关于帧内预测的信息可包括例如指示每个块的最佳帧内预测模式的预测模式信息。另外，关于帧间预测的信息可包括例如运动向量的逐块预测的预测模式信息、差分运动向量信息、参考图像信息等。此外，用于在解码侧产生缩放列表的信息可包括指示将要被发送的缩放列表的最大尺寸(或缩放列表(量化矩阵)和它的预测矩阵之间的差矩阵)的识别信息。

无损编码单元16对量化的数据执行无损编码处理以产生编码流。由无损编码单元16执行的无损编码可以是例如可变长度编码、算术编码等。另外，无损编码单元16将用于产生缩放列表的信息复用到编码流的头部(例如，序列参数集和图像参数集)中。无损编码单元16还将上述关于帧内预测或帧间预测的信息复用到编码流的头中。其后，无损编码单元16将产生的编码流输出到积累缓冲器17。

积累缓冲器17使用存储介质(诸如，半导体存储器)暂时地积累从无损编码单元16输入的编码流。其后，积累缓冲器17以与传输路径(或图像编码装置10的输出线路)的带宽对应的速率输出积累的编码流。

速率控制单元18监测积累缓冲器17以检查容量的可用性。速率控制单元18根据积累缓冲器17的可用容量产生速率控制信号，并且将产生的速率控制信号输出到正交变换/量化单元14。例如，当积累缓冲器17的可用容量低时，速率控制单元18产生用于减小量化的数据的比特率的速率控制信号。替代地，例如，当积累缓冲器17的可用容量足够高时，速率控制单元18产生用于增加量化的数据的比特率的速率控制信号。

去量化单元21对从正交变换/量化单元14输入的量化的数据执行去量化处理。其后，去量化单元21将通过去量化处理获取的变换系数数据输出到逆正交变换单元22。

逆正交变换单元22对从去量化单元21输入的变换系数数据执行逆正交变换处理以恢复预测误差数据。其后，逆正交变换单元22将恢复的预测误差数据输出到加法器单元23。

加法器单元23将从逆正交变换单元22输入的恢复的预测误差数据和从模式选择单元50输入的预测图像数据相加在一起以产生解码图像数据。其后，加法器单元23将产生的解码图像数据输出到解块滤波器24和帧存储器25。

解块滤波器24执行用于减少由图像的编码引起的块伪像的滤波处理。解块滤波器24对从加法器单元23输入的解码图像数据进行滤波以去除(或至少减少)块伪像，并且将滤波的解码图像数据输出到帧存储器25。

帧存储器25使用存储介质存储从加法器单元23输入的解码图像数据和从解块滤波器24输入的滤波的解码图像数据。

选择器26从帧存储器25读取用于帧内预测的待滤波的解码图像数据，并且将读取的解码图像数据提供给帧内预测单元30作为参考图像数据。选择器26还从帧存储器25读取用于帧间预测的滤波的解码图像数据，并且将读取的解码图像数据提供给运动搜索单元40作为参考图像数据。

帧内预测单元30基于从重新排列缓冲器12输入的待编码的图像数据和经选择器26提供的解码图像数据在每个帧内预测模式下执行帧内预测处理。例如，帧内预测单元30使用预定成本函数评估在每个帧内预测模式下获得的预测结果。然后，帧内预测单元30选择使成本函数值最小化的帧内预测模式(也就是说，提供最高压缩比的帧内预测模式)作为最佳帧内预测模式。另外，帧内预测单元30将指示最佳帧内预测模式的预测模式信息、预测图像数据和关于帧内预测的信息(诸如，成本函数值)输出到模式选择单元50。

运动搜索单元40基于从重新排列缓冲器12输入的待编码的图像数据和经选择器26提供的解码图像数据执行帧间预测处理(或帧间预测过程)。例如，运动搜索单元40使用预定成本函数评估在每个预测模式下获得的预测结果。然后，运动搜索单元40选择使成本函数值最小化的预测模式(也就是说，提供最高压缩比的预测模式)作为最佳预测模式。另外，运动搜索单元40根据最佳预测模式产生预测图像数据。运动搜索单元40将包括指示选择的最佳预测模式的预测模式信息的关于帧间预测的信息、预测图像数据和诸如成本函数值的关于帧间预测的信息输出到模式选择单元50。

模式选择单元50将从帧内预测单元30输入的用于帧内预测的成本函数值与从运动搜索单元40输入的用于帧间预测的成本函数值进行比较。然后，模式选择单元50选择具有用于帧内预测和帧间预测的成本函数值中的较小的成本函数值的预测技术。如果选择了帧内预测，则模式选择单元50将关于帧内预测的信息输出到无损编码单元16，并且还将预测图像数据输出到减法单元13和加法器单元23。替代地，如果选择了帧间预测，则模式选择单元50将上述关于帧间预测的信息输出到无损编码单元16，并且还将预测图像数据输出到减法单元13和加法器单元23。

<2-3.正交变换/量化单元的示例性结构>

图15是表示图14中示出的图像编码装置10的正交变换/量化单元14的详细结构的例子的方框图。参照图15，正交变换/量化单元14包括选择单元110、正交变换单元120、量化单元130、缩放列表缓冲器140和矩阵处理单元150。

(1)选择单元

选择单元110从具有不同尺寸的多个变换单位之中选择用于待编码的图像数据的正交变换的变换单位(TU)。可由选择单元110选择的变换单位的可能的尺寸的例子包括用于H.264/AVC(高级视频编码)的4×4和8×8，并且包括用于HEVC(高效率视频编码)的4×4、8×8、16×16和32×32。选择单元110可根据例如待编码的图像的尺寸或质量、图像编码装置10的性能等选择变换单位。由选择单元110对变换单位的选择可由使用图像编码装置10的用户手工调整。其后，选择单元110将指定选择的变换单位的尺寸的信息输出到正交变换单元120、量化单元130、无损编码单元16和去量化单元21。

(2)正交变换单元

正交变换单元120以由选择单元110选择的变换单位为单位对从减法单元13提供的图像数据(也就是说，预测误差数据)执行正交变换。由正交变换单元120执行的正交变换可以是例如离散余弦转换(DCT)、Karhunen-Loève转换等。其后，正交变换单元120将通过正交变换处理获得的变换系数数据输出到量化单元130。

(3)量化单元

量化单元130通过使用与由选择单元110选择的变换单位对应的缩放列表来量化由正交变换单元120产生的变换系数数据。另外，量化单元130根据从速率控制单元18提供的速率控制信号切换量化步长以改变将要输出的量化的数据的比特率。

另外，量化单元130使分别与可由选择单元110选择的多个变换单位对应的各组缩放列表被存储在缩放列表缓冲器140中。例如，在HEVC中，如果存在变换单位的四种可能的尺寸，即4×4、8×8、16×16和32×32，则分别与这四种尺寸对应的四组缩放列表可被存储在缩放列表缓冲器140中。需要注意的是，如果指定的缩放列表被用于给定尺寸，则仅指示使用指定的缩放列表(不使用由用户定义的缩放列表)的标记可被与给定尺寸关联地存储在缩放列表缓冲器140中。

可通常针对编码流的每个序列设置可由量化单元130使用的一组缩放列表。另外，量化单元130可在逐图像基础上更新针对每个序列设置的一组缩放列表。用于控制一组缩放列表的设置和更新的信息可被插入在例如序列参数集和图像参数集中。

(4)缩放列表缓冲器

缩放列表缓冲器140使用存储介质(诸如，半导体存储器)暂时地存储分别与可由选择单元110选择的多个变换单位对应的一组缩放列表。当矩阵处理单元150执行以下描述的处理时，参照存储在缩放列表缓冲器140中的所述一组缩放列表。

(5)矩阵处理单元

矩阵处理单元150对将要被用于编码(量化)的缩放列表进行编码。其后，由矩阵处理单元150产生的缩放列表的编码数据(以下，被称为编码缩放列表数据)被输出到无损编码单元16，并且可被插入到编码流的头中。

<2-4.矩阵处理单元的详细示例性结构>

图16是表示矩阵处理单元150的更详细的结构的例子的方框图。参照图16，矩阵处理单元150包括预测单元161、差矩阵产生单元162、差矩阵尺寸变换单元163、熵编码单元164、解码单元165和输出单元166。

(1)预测单元

预测单元161产生预测矩阵。如图16中所示，预测单元161包括复制单元171和预测矩阵产生单元172。

在复制模式下，复制单元171复制以前发送的缩放列表，并且使用复制的量化矩阵作为预测矩阵(或预测待处理的正交变换单位的缩放列表)。更具体地讲，复制单元171从解码单元165中的存储单元202获取以前发送的缩放列表的尺寸和列表ID(ListID)。尺寸是指示缩放列表的尺寸的信息(从例如4×4到32×32)。列表ID是指示待量化的预测误差数据的类型的信息。

例如，列表ID包括识别信息，该识别信息指示待量化的预测误差数据是使用经受帧内预测的预测图像产生的亮度分量的预测误差数据(Intra Luma)、使用经受帧内预测的预测图像产生的色差分量(Cr)的预测误差数据(Intra Cr)、使用经受帧内预测的预测图像产生的色差分量(Cb)的预测误差数据(Intra Cb)或使用经受帧间预测的预测图像产生的亮度分量的预测误差数据(Inter Luma)。

复制单元171选择与输入到矩阵处理单元150的缩放列表(待处理的正交变换单位的缩放列表)相同尺寸的以前发送的缩放列表作为待复制的缩放列表，并且将待复制的缩放列表的列表ID提供给输出单元166以将列表ID输出到在矩阵处理单元150外面的装置(无损编码单元16和去量化单元21)。也就是说，在这种情况下，仅列表ID被发送给解码侧(或被包括在编码数据中)作为指示通过复制以前发送的缩放列表产生的预测矩阵的信息。因此，图像编码装置10能够抑制缩放列表的编码的量的增加。

另外，在正常模式下，预测矩阵产生单元172从解码单元165中的存储单元202获取以前发送的缩放列表，并且使用该缩放列表产生预测矩阵(或预测待处理的正交变换单位的缩放列表)。预测矩阵产生单元172将产生的预测矩阵提供给差矩阵产生单元162。

(2)差矩阵产生单元

差矩阵产生单元162产生差矩阵(残余矩阵)，所述差矩阵(残余矩阵)是从预测单元161(预测矩阵产生单元172)提供的预测矩阵和输入到矩阵处理单元150的缩放列表之差。如图16中所示，差矩阵产生单元162包括预测矩阵尺寸变换单元181、计算单元182和量化单元183。

预测矩阵尺寸变换单元181变换(以下，也被称为转换)从预测矩阵产生单元172提供的预测矩阵的尺寸，以使得预测矩阵的尺寸与输入到矩阵处理单元150的缩放列表的尺寸匹配。

例如，如果预测矩阵的尺寸大于缩放列表的尺寸，则预测矩阵尺寸变换单元181向下转换(以下，也被称为下转换)预测矩阵。更具体地讲，例如，当预测矩阵具有16×16尺寸并且缩放列表具有8×8尺寸时，预测矩阵尺寸变换单元181将预测矩阵下转换为8×8预测矩阵。需要注意的是，可使用用于下转换的任何方法。例如，预测矩阵尺寸变换单元181可通过使用滤波器(通过计算)来减少预测矩阵中的元素的数量(以下，也被称为下采样)。替代地，预测矩阵尺寸变换单元181也可通过例如如图17中所示去除一些元素(例如，二维元素之中的仅偶数编号的元素(在图17中，实心黑色的元素))来减少预测矩阵中的元素的数量而不使用滤波器(以下，也被称为子采样)。

另外，例如，如果预测矩阵的尺寸小于缩放列表的尺寸，则预测矩阵尺寸变换单元181向上转换(以下，也被称为上转换)预测矩阵。更具体地讲，例如，当预测矩阵具有8×8尺寸并且缩放列表具有16×16尺寸时，预测矩阵尺寸变换单元181将预测矩阵上转换为16×16预测矩阵。需要注意的是，可使用用于上转换的任何方法。例如，预测矩阵尺寸变换单元181可通过使用滤波器(通过计算)来增加预测矩阵中的元素的数量(以下，也被称为上采样)。替代地，预测矩阵尺寸变换单元181也可通过例如复制预测矩阵中的各元素来增加预测矩阵中的元素的数量而不使用滤波器(以下，也被称为逆子采样)。

预测矩阵尺寸变换单元181将其尺寸已与缩放列表的尺寸匹配的预测矩阵提供给计算单元182。

计算单元182从预测矩阵尺寸变换单元181提供的预测矩阵减去输入到矩阵处理单元150的缩放列表，并且产生差矩阵(残余矩阵)。计算单元182将计算的差矩阵提供给量化单元183。

量化单元183对从计算单元182提供的差矩阵进行量化。量化单元183将量化的差矩阵提供给差矩阵尺寸变换单元163。量化单元183还将用于量化的信息(诸如，量化参数)提供给输出单元166以将该信息输出到在矩阵处理单元150外面的装置(无损编码单元16和去量化单元21)。需要注意的是，量化单元183可被省略(也就是说，可不必执行差矩阵的量化)。

(3)差矩阵尺寸变换单元

如果必要，则差矩阵尺寸变换单元163将从差矩阵产生单元162(量化单元183)提供的差矩阵(量化的数据)的尺寸转换成小于或等于在发送中允许的最大尺寸(以下，也被称为发送尺寸)的尺寸。该最大尺寸可具有任何可选的值，并且是例如8×8。

从图像编码装置10输出的编码数据经例如传输路径或存储介质被发送给与图像编码装置10对应的图像解码装置，并且由该图像解码装置解码。在图像编码装置10中设置在这种传输期间或在从图像编码装置10输出的编码数据中的差矩阵(量化的数据)的尺寸的上限(最大尺寸)。

如果差矩阵的尺寸大于最大尺寸，则差矩阵尺寸变换单元163下转换差矩阵，以使得差矩阵的尺寸变为小于或等于最大尺寸。

需要注意的是，类似于上述预测矩阵的下转换，可使用任何方法对差矩阵进行下转换。例如，可使用滤波器等执行下采样，或者可执行包括去除元素的子采样。

另外，下转换的差矩阵可具有小于最大尺寸的任何尺寸。然而，通常，在转换之前和在转换之后的尺寸的差越大，误差变得越大。因此，希望差矩阵被下转换为最大尺寸。

差矩阵尺寸变换单元163将下转换的差矩阵提供给熵编码单元164。需要注意的是，如果差矩阵的尺寸小于最大尺寸，则不需要上述下转换，并且因此，差矩阵尺寸变换单元163将输入到它的差矩阵按原样提供给熵编码单元164(也就是说，差矩阵的下转换被省略)。

(4)熵编码单元

熵编码单元164使用预定方法对从差矩阵尺寸变换单元163提供的差矩阵(量化的数据)进行编码。如图16中所示，熵编码单元164包括交叠确定单元(135度单元)191、DPCM(差分脉冲编码调制单元192和exp-G单元193。

交叠确定单元191确定从差矩阵尺寸变换单元163提供的差矩阵的对称性。如果例如如图18中所示残余(差矩阵)代表135度对称矩阵，则交叠确定单元191去除作为交叠数据的对称部分的数据(矩阵元素)。如果残余矩阵不代表135度对称矩阵，则交叠确定单元191省略数据(矩阵元素)的去除。交叠确定单元191将已从其去除对称部分(如果必要的话)的差矩阵的数据提供给DPCM单元192。

DPCM单元192执行从交叠确定单元191提供的已从其去除对称部分(如果必要的话)的差矩阵的数据的DPCM编码，并且产生DPCM数据。DPCM单元192将产生的DPCM数据提供给exp-G单元193。

exp-G单元193使用有符号或无符号指数Golomb码(以下，也被称为指数Golomb码)对从DPCM单元192提供的DPCM数据进行编码。exp-G单元193将编码结果提供给解码单元165和输出单元166。

(5)解码单元

解码单元165从由exp-G单元193提供的数据恢复缩放列表。解码单元165将关于恢复的缩放列表的信息提供给预测单元161作为以前发送的缩放列表。

如图16中所示，解码单元165包括缩放列表恢复单元201和存储单元202。

缩放列表恢复单元201对从熵编码单元164(exp-G单元193)提供的指数Golomb码进行解码以恢复将要被输入到矩阵处理单元150的缩放列表。例如，缩放列表恢复单元201使用与熵编码单元164的编码方法对应的方法对指数Golomb码进行解码，并且通过执行与由差矩阵尺寸变换单元163执行的尺寸变换相反的变换并且执行与由量化单元183执行的量化对应的去量化来获得差矩阵。缩放列表恢复单元201还从预测矩阵减去获得的差矩阵以恢复缩放列表。

缩放列表恢复单元201将恢复的缩放列表提供给存储单元202以便与缩放列表的尺寸和列表ID关联地存储。

存储单元202存储关于从缩放列表恢复单元201提供的缩放列表的信息。存储在存储单元202中的关于缩放列表的信息被用于产生在稍后时间处理的其它正交变换单位的预测矩阵。也就是说，存储单元202将存储的关于缩放列表的信息提供给预测单元161作为关于以前发送的缩放列表的信息。

需要注意的是，替代于存储关于以上述方式恢复的缩放列表的信息，存储单元202可与输入缩放列表的尺寸和列表ID关联地存储输入到矩阵处理单元150的缩放列表。在这种情况下，缩放列表恢复单元201能够被省略。

(6)输出单元

输出单元166将提供的各种类型的信息输出到在矩阵处理单元150外面的装置。例如，在复制模式下，输出单元166将从复制单元171提供的预测矩阵的列表ID提供给无损编码单元16和去量化单元21。另外，例如，在正常模式下，输出单元166将从exp-G单元193提供的指数Golomb码和从量化单元183提供的量化参数提供给无损编码单元16和去量化单元21。

输出单元166还将指示在缩放列表(或缩放列表和它的预测矩阵之间的差矩阵)的发送中允许的最大尺寸(发送尺寸)的识别信息提供给无损编码单元16作为用于在解码侧产生缩放列表的信息。如上所述，无损编码单元16创建包括用于产生缩放列表的信息的编码流，并且将编码流提供给解码侧。可由级别、规格等预先指定指示发送尺寸的识别信息。在这种情况下，预先在位于编码侧的设备和位于解码侧的设备之间共享关于发送尺寸的信息。因此，上述识别信息的发送能够被省略。

<2-5.DPCM单元的详细示例性结构>

图19是表示DPCM单元192的更详细的结构的例子的方框图。参照图19，DPCM单元192包括DC系数编码单元211和AC系数DPCM单元212。

DC系数编码单元211从由交叠确定单元191提供的系数之中获取DC系数，用预定初始值(例如，8)减去DC系数的值以确定差值，并且使用该差值作为初始(i＝0)差值(scaling_list_delta_coef)。DC系数编码单元211将计算的差值(scaling_list_delta_coef(i＝0))提供给exp-G单元193作为与正被处理的关注区域对应的缩放列表的初始系数。

AC系数DPCM单元212从由交叠确定单元191提供的系数之中获取AC系数，并且用前一个处理的系数减去AC系数的值以确定差值(scaling_list_delta_coef(i>0))。AC系数DPCM单元212将确定的差值(scaling_list_delta_coef(i>0))提供给exp-G单元193作为与正被处理的关注区域对应的缩放列表的系数。需要注意的是，当i＝1时，紧接在前的系数由i＝0代表。因此，“DC系数”是前一个处理的系数。

以这种方式，DPCM单元192能够发送DC系数作为位于缩放列表(AC系数)的开头处的元素。因此，缩放列表的编码效率能够提高。

<2-6.量化矩阵编码处理的流程>

接下来，将参照图20中示出的流程图描述由图16中示出的矩阵处理单元150执行的量化矩阵编码处理的流程的例子。

当量化矩阵编码处理开始时，在步骤S101中，预测单元161获取用于作为待处理的正交变换单位的当前区域(也被称为关注区域)的缩放列表(或量化矩阵)。

在步骤S102中，预测单元161确定当前模式是否是复制模式。如果确定当前模式不是复制模式，则预测单元161使处理前进至步骤S103。

在步骤S103中，预测矩阵产生单元172从存储单元202获取以前发送的缩放列表，并且使用该缩放列表产生预测矩阵。

在步骤S104中，预测矩阵尺寸变换单元181确定在步骤S103中产生的预测矩阵的尺寸是否不同于在步骤S101中获取的用于当前区域(关注区域)的缩放列表的尺寸。如果确定二者尺寸不同，则预测矩阵尺寸变换单元181使处理前进至步骤S105。

在步骤S105中，预测矩阵尺寸变换单元181将在步骤S103中产生的预测矩阵的尺寸转换为在步骤S101中获取的用于当前区域的缩放列表的尺寸。

当步骤S105的处理完成时，预测矩阵尺寸变换单元181使处理前进至步骤S106。如果在步骤S104中确定预测矩阵的尺寸与缩放列表的尺寸相同，则预测矩阵尺寸变换单元181使处理前进至步骤S106，同时跳过步骤S105的处理(或不执行步骤S105的处理)。

在步骤S106中，计算单元182用预测矩阵减去缩放列表以计算预测矩阵和缩放列表之间的差矩阵。

在步骤S107中，量化单元183量化在步骤S106中产生的差矩阵。需要注意的是，这个处理可被省略。

在步骤S108中，差矩阵尺寸变换单元163确定量化的差矩阵的尺寸是否大于发送尺寸(在发送中允许的最大尺寸)。如果确定量化的差矩阵的尺寸大于发送尺寸，则差矩阵尺寸变换单元163使处理前进至步骤S109，并且将差矩阵下转换为发送尺寸或更小。

当步骤S109的处理完成时，差矩阵尺寸变换单元163使处理前进至步骤S110。另外，如果在步骤S108中确定量化的差矩阵的尺寸小于或等于发送尺寸，则差矩阵尺寸变换单元163使处理前进至步骤S110，同时跳过步骤S109的处理(或不执行步骤S109的处理)。

在步骤S110中，交叠确定单元191确定量化的差矩阵是否具有135度对称。如果确定量化的差矩阵具有135度对称，则交叠确定单元191使处理前进至步骤S111。

在步骤S111中，交叠确定单元191去除量化的差矩阵中的交叠部分(交叠数据)。在交叠数据被去除之后，交叠确定单元191使处理前进至步骤S112。

另外，如果在步骤S110中确定量化的差矩阵不具有135度对称，则交叠确定单元191使处理前进至步骤S112，同时跳过步骤S111的处理(或不执行步骤S111的处理)。

在步骤S112中，DPCM单元192执行已从其去除交叠部分(如果必要的话)的差矩阵的DPCM编码。

在步骤S113中，exp-G单元193确定在步骤S112中产生的DPCM数据是否具有正号或负号。如果确定包括符号，则exp-G单元193使处理前进至步骤S114。

在步骤S114中，exp-G单元193使用有符号指数Golomb编码对DPCM数据进行编码。输出单元166将产生的指数Golomb码输出到无损编码单元16和去量化单元21。当步骤S114的处理完成时，exp-G单元193使处理前进至步骤S116。

另外，如果在步骤S113中确定未包括符号，则exp-G单元193使处理前进至步骤S115。

在步骤S115中，exp-G单元193使用无符号指数Golomb编码对DPCM数据进行编码。输出单元166将产生的指数Golomb码输出到无损编码单元16和去量化单元21。当步骤S115的处理完成时，exp-G单元193使处理前进至步骤S116。

另外，如果在步骤S102中确定当前模式是复制模式，则复制单元171复制以前发送的缩放列表，并且使用复制的缩放列表作为预测矩阵。输出单元166将与预测矩阵对应的列表ID输出到无损编码单元16和去量化单元21作为指示预测矩阵的信息。然后，复制单元171使处理前进至步骤S116。

在步骤S116中，缩放列表恢复单元201恢复缩放列表。在步骤S117中，存储单元202存储在步骤S116中恢复的缩放列表。

当步骤S117的处理完成时，矩阵处理单元150结束量化矩阵编码处理。

<2-7.DPCM处理的流程>

接下来，将参照图21中示出的流程图描述在图20中的步骤S112中执行的DPCM处理的流程的例子。

当DPCM处理开始时，在步骤S131中，DC系数编码单元211确定DC系数和常数之差。在步骤S132中，AC系数DPCM单元212确定DC系数和初始AC系数之差。

在步骤S133中，AC系数DPCM单元212确定是否所有的AC系数已被处理。如果确定存在未处理的AC系数，则AC系数DPCM单元212使处理前进至步骤S134。

在步骤S134中，AC系数DPCM单元212使处理目标改变为随后的AC系数。在步骤S135中，AC系数DPCM单元212确定之前处理的AC系数和正被处理的当前AC系数之差。当步骤S135的处理完成时，AC系数DPCM单元212使处理返回到步骤S133。

以这种方式，只要在步骤S133中确定存在未处理的AC系数，AC系数DPCM单元212就反复地执行步骤S133至S135的处理。如果在步骤S133中确定不存在未处理的AC系数，则AC系数DPCM单元212结束DPCM处理，并且使处理返回到图20。

如上所述，确定DC系数和AC系数之中的位于开头处的AC系数之差，并且替代于DC系数，该差值被发送给图像解码装置。因此，图像编码装置10能够抑制缩放列表的编码的量的增加。

接下来，将描述根据本公开的实施例的图像解码装置的示例性结构。

<2-8.图像解码装置>

图22是表示根据本公开的实施例的图像解码装置300的示例性结构的方框图。图22中示出的图像解码装置300是应用本技术的图像处理装置，并且该图像处理装置被构造为对由图像编码装置10产生的编码数据进行解码。参照图22，图像解码装置300包括积累缓冲器311、无损解码单元312、去量化/逆正交变换单元313、加法器单元315、解块滤波器316、重新排列缓冲器317、D/A(数模)转换单元318、帧存储器319、选择器320和321、帧内预测单元330和运动补偿单元340。

积累缓冲器311使用存储介质暂时地积累经传输路径输入的编码流。

无损解码单元312根据用于编码的编码方案对从积累缓冲器311输入的编码流进行解码。无损解码单元312还对编码流的头区域中复用的信息进行解码。编码流的头区域中复用的信息可包括例如用于产生上述缩放列表的信息以及块头中所包含的关于帧内预测的信息和关于帧间预测的信息。无损解码单元312将解码的量化的数据和用于产生缩放列表的信息输出到去量化/逆正交变换单元313。无损解码单元312还将关于帧内预测的信息输出到帧内预测单元330。无损解码单元312还将关于帧间预测的信息输出到运动补偿单元340。

去量化/逆正交变换单元313对从无损解码单元312输入的量化的数据执行去量化和逆正交变换以产生预测误差数据。其后，去量化/逆正交变换单元313将产生的预测误差数据输出到加法器单元315。

加法器单元315将从去量化/逆正交变换单元313输入的预测误差数据和从选择器321输入的预测图像数据相加在一起以产生解码图像数据。其后，加法器单元315将产生的解码图像数据输出到解块滤波器316和帧存储器319。

解块滤波器316对从加法器单元315输入的解码图像数据进行滤波以去除块伪像，并且将滤波的解码图像数据输出到重新排列缓冲器317和帧存储器319。

重新排列缓冲器317重新排列从解块滤波器316输入的图像以产生时间系列图像数据序列。其后，重新排列缓冲器317将产生的图像数据输出到D/A转换单元318。

D/A转换单元318将从重新排列缓冲器317输入的数字形式的图像数据转换成模拟形式的图像信号。其后，D/A转换单元318将模拟图像信号输出到例如连接到图像解码装置300的显示器(未示出)以显示图像。

帧存储器319使用存储介质存储从加法器单元31输入的待滤波的解码图像数据和从解块滤波器316输入的滤波的解码图像数据。

选择器320根据由无损解码单元312获取的模式信息，针对图像中的每个块在帧内预测单元330和运动补偿单元340之间切换从帧存储器319提供的图像数据将要被输出到的目的地。例如，如果指定了帧内预测模式，则选择器320将从帧存储器319提供的待滤波的解码图像数据输出到帧内预测单元330作为为参考图像数据。另外，如果指定了帧间预测模式，则选择器320将从帧存储器319提供的滤波的解码图像数据输出到运动补偿单元340作为参考图像数据。

选择器321根据由无损解码单元312获取的模式信息，针对图像中的每个块在帧内预测单元330和运动补偿单元340之间切换将要从其输出将要被提供给加法器单元315的预测图像数据的源。例如，如果指定了帧内预测模式，则选择器321将从帧内预测单元330输出的预测图像数据提供给加法器单元315。如果指定了帧间预测模式，则选择器321将从运动补偿单元340输出的预测图像数据提供给加法器单元315。

帧内预测单元330基于从无损解码单元312输入的关于帧内预测的信息和从帧存储器319提供的参考图像数据执行像素值的屏幕内预测，并且产生预测图像数据。其后，帧内预测单元330将产生的预测图像数据输出到选择器321。

运动补偿单元340基于从无损解码单元312输入的关于帧间预测的信息和从帧存储器319提供的参考图像数据执行运动补偿处理，并且产生预测图像数据。其后，运动补偿单元340将产生的预测图像数据输出到选择器321。

<2-9.去量化/逆正交变换单元的示例性结构>

图23是表示图22中示出的图像解码装置300的去量化/逆正交变换单元313的主要结构的例子的方框图。参照图23，去量化/逆正交变换单元313包括矩阵产生单元410、选择单元430、去量化单元440和逆正交变换单元450。

(1)矩阵产生单元

矩阵产生单元410对从比特流提取并且由无损解码单元312提供的编码缩放列表数据进行解码，并且产生缩放列表。矩阵产生单元410将产生的缩放列表提供给去量化单元440。

(2)选择单元

选择单元430从具有不同尺寸的多个变换单位之中选择用于待解码的图像数据的逆正交变换的变换单位(TU)。可由选择单元430选择的变换单位的可能的尺寸的例子包括用于H.264/AVC的4×4和8×8，并且包括用于HEVC的4×4、8×8、16×16和32×32。选择单元430可根据例如编码流的头部中所包含的LCU、SCU和split_flag选择变换单位。其后，选择单元430将指定选择的变换单位的尺寸的信息输出到去量化单元440和逆正交变换单元450。

(3)去量化单元

去量化单元440通过使用由选择单元430选择的变换单位的缩放列表来对当对图像进行编码时量化的变换系数数据进行去量化。其后，去量化单元440将去量化的变换系数数据输出到逆正交变换单元450。

(4)逆正交变换单元

逆正交变换单元450根据用于编码的正交变换方案，以选择的变换单位为单位对由去量化单元440去量化的变换系数数据执行逆正交变换，以产生预测误差数据。其后，逆正交变换单元450将产生的预测误差数据输出到加法器单元315。

<2-10.矩阵产生单元的详细示例性结构>

图24是表示图23中示出的矩阵产生单元410的详细结构的例子的方框图。参照图24，矩阵产生单元410包括参数分析单元531、预测单元532、熵解码单元533、缩放列表恢复单元534、输出单元535和存储单元536。

(1)参数分析单元

参数分析单元531分析从无损解码单元312提供的关于缩放列表的各种标记和参数。另外，根据分析结果，参数分析单元531将从无损解码单元312提供的各种信息(诸如，差矩阵的编码数据)提供给预测单元532或熵解码单元533。

例如，如果pred_mode等于0，则参数分析单元531确定当前模式是复制模式，并且将pred_matrix_id_delta提供给复制单元541。另外，例如，如果pred_mode等于1，则参数分析单元531确定当前模式是全扫描模式(正常模式)，并且将pred_matrix_id_delta和pred_size_id_delta提供给预测矩阵产生单元542。

另外，例如，如果residual_flag为真，则参数分析单元531将从无损解码单元312提供的缩放列表的编码数据(指数Golomb码)提供给熵解码单元533的exp-G单元551。参数分析单元531还将residual_symmetry_flag提供给exp-G单元551。

另外，参数分析单元531将residual_down_sampling_flag提供给缩放列表恢复单元534的差矩阵尺寸变换单元562。

(2)预测单元

预测单元532根据参数分析单元531的控制产生预测矩阵。如图24中所示，预测单元532包括复制单元541和预测矩阵产生单元542。

在复制模式下，复制单元541复制以前发送的缩放列表，并且使用复制的缩放列表作为预测矩阵。更具体地讲，复制单元541从存储单元536读取与pred_matrix_id_delta对应并且具有与用于当前区域的缩放列表相同的尺寸的以前发送的缩放列表，使用读取的缩放列表作为预测图像，并且将预测图像提供给输出单元535。

在正常模式下，预测矩阵产生单元542使用以前发送的缩放列表产生(或预测)预测矩阵。更具体地讲，预测矩阵产生单元542从存储单元536读取与pred_matrix_id_delta和pred_size_id_delta对应的以前发送的缩放列表，并且使用读取的缩放列表产生预测矩阵。换句话说，预测矩阵产生单元542产生与由图像编码装置10的预测矩阵产生单元172(图16)产生的预测矩阵类似的预测矩阵。预测矩阵产生单元542将产生的预测矩阵提供给缩放列表恢复单元534的预测矩阵尺寸变换单元561。

(3)熵解码单元

熵解码单元533从由参数分析单元531提供的指数Golomb码恢复差矩阵。如图24中所示，熵解码单元533包括exp-G单元551、逆DPCM单元552和逆交叠确定单元553。

exp-G单元551对有符号或无符号指数Golomb码进行解码(以下，也被称为指数Golomb解码)以恢复DPCM数据。exp-G单元551将恢复的DPCM数据与residual_symmetry_flag一起提供给逆DPCM单元552。

逆DPCM单元552执行已从其去除交叠部分的数据的DPCM解码以从DPCM数据产生残余数据。逆DPCM单元552将产生的残余数据与residual_symmetry_flag一起提供给逆交叠确定单元553。

如果residual_symmetry_flag为真，也就是说，如果残余数据是已从其去除交叠对称部分的数据(矩阵元素)的135度对称矩阵的剩余部分，则逆交叠确定单元553恢复对称部分的数据。换句话说，恢复135度对称矩阵的差矩阵。注意，如果residual_symmetry_flag不为真，也就是说，如果残余数据代表不是135度对称矩阵的矩阵，则逆交叠确定单元553使用残余数据作为差矩阵，而不恢复对称部分的数据。逆交叠确定单元553将以上述方式恢复的差矩阵提供给缩放列表恢复单元534(差矩阵尺寸变换单元562)。

(4)缩放列表恢复单元

缩放列表恢复单元534恢复缩放列表。如图24中所示，缩放列表恢复单元534包括预测矩阵尺寸变换单元561、差矩阵尺寸变换单元562、去量化单元563和计算单元564。

如果从预测单元532(预测矩阵产生单元542)提供的预测矩阵的尺寸不同于待恢复的用于当前区域的缩放列表的尺寸，则预测矩阵尺寸变换单元561转换预测矩阵的尺寸。

例如，如果预测矩阵的尺寸大于缩放列表的尺寸，则预测矩阵尺寸变换单元561对预测矩阵进行下转换。另外，例如，如果预测矩阵的尺寸小于缩放列表的尺寸，则预测矩阵尺寸变换单元561对预测矩阵进行上转换。与用于图像编码装置10的预测矩阵尺寸变换单元181(图16)的方法相同的方法被选择为转换方法。

预测矩阵尺寸变换单元561将其尺寸已与缩放列表的尺寸匹配的预测矩阵提供给计算单元564。

如果residual_down_sampling_flag为真，也就是说，如果发送的差矩阵的尺寸小于待量化的当前区域的尺寸，则差矩阵尺寸变换单元562对差矩阵进行上转换以将差矩阵的尺寸增加至与将要被去量化的当前区域对应的尺寸。可使用用于上转换的任何方法。例如，可使用与由图像编码装置10的差矩阵尺寸变换单元163(图16)执行的下转换方法对应的方法。

例如，如果差矩阵尺寸变换单元163已对差矩阵进行下采样，则差矩阵尺寸变换单元562可对差矩阵进行上采样。替代地，如果差矩阵尺寸变换单元163已对差矩阵进行子采样，则差矩阵尺寸变换单元562可对差矩阵执行逆子采样。

例如，差矩阵尺寸变换单元562可执行如图25中所示的最近邻居内插处理(最近邻居)，而非通常的线性内插。最近邻居内插处理能够减少存储容量。

因此，即使未发送具有大尺寸的缩放列表，也不需要为了从具有小尺寸的缩放列表进行上采样而存储在上采样之后获得的数据。另外，当在上采样期间的计算中涉及的数据被存储时，不需要中间缓冲器等。

需要注意的是，如果residual_down_sampling_flag不为真，也就是说，如果以与当用于量化处理时的尺寸相同的尺寸发送差矩阵时，差矩阵尺寸变换单元562省略差矩阵的上转换(或可按照因数1对差矩阵进行上转换)。

差矩阵尺寸变换单元562根据需要将以上述方式上转换的差矩阵提供给去量化单元563。

去量化单元563使用与由图像编码装置10的量化单元183(图16)执行的量化的方法对应的方法对提供的差矩阵(量化的数据)进行去量化，并且将去量化的差矩阵提供给计算单元564。需要注意的是，如果量化单元183被省略，也就是说，如果从差矩阵尺寸变换单元562提供的差矩阵不是量化的数据，则去量化单元563能够被省略。

计算单元564将从预测矩阵尺寸变换单元561提供的预测矩阵和从去量化单元563提供的差矩阵相加在一起，并且恢复用于当前区域的缩放列表。计算单元564将恢复的缩放列表提供给输出单元535和存储单元536。

(5)输出单元

输出单元535将提供的信息输出到在矩阵产生单元410外面的装置。例如，在复制模式下，输出单元535将从复制单元541提供的预测矩阵提供给去量化单元440，作为用于当前区域的缩放列表。另外，例如，在正常模式下，输出单元535将从缩放列表恢复单元534(计算单元564)提供的用于当前区域的缩放列表提供给去量化单元440。

(6)存储单元

存储单元536存储从缩放列表恢复单元534(计算单元564)提供的缩放列表以及缩放列表的尺寸和列表ID。存储在存储单元536中的关于缩放列表的信息被用于产生在稍后时间处理的其它正交变换单位的预测矩阵。换句话说，存储单元536将存储的关于缩放列表的信息提供给预测单元532作为关于以前发送的缩放列表的信息。

<2-11.逆DPCM单元的详细示例性结构>

图26是表示图24中示出的逆DPCM单元552的详细结构的例子的方框图。参照图26，逆DPCM单元552包括初始设置单元571、DPCM解码单元572和DC系数提取单元573。

初始设置单元571获取sizeID和MatrixID，并且将各种变量设置为初始值。初始设置单元571将获取的和设置的信息提供给DPCM解码单元572。

DPCM解码单元572使用从初始设置单元571提供的初始设置等从DC系数与AC系数的差值(scaling_list_delta_coef)确定各系数(DC系数和AC系数)。DPCM解码单元572将确定的系数提供给DC系数提取单元573(ScalingList[i])。

DC系数提取单元573从由DPCM解码单元572提供的系数(ScalingList[i])之中提取DC系数。DC系数位于AC系数的开头处。也就是说，从DPCM解码单元572提供的系数之中的初始系数(ScalingList[0])是DC系数。DC系数提取单元573提取位于开头处的系数作为DC系数，并且将提取的系数输出到逆交叠确定单元553(DC_coef)。DC系数提取单元573将其它系数(ScalingList[i](i>0))输出到逆交叠确定单元553作为AC系数。

因此，逆DPCM单元552能够执行正确的DPCM解码，并且能够获得DC系数和AC系数。也就是说，图像解码装置300能够抑制缩放列表的编码的量的增加。

<2-12.量化矩阵解码处理的流程>

将参照图27中示出的流程图描述由具有上述结构的矩阵产生单元410执行的量化矩阵解码处理的流程的例子。

当量化矩阵解码处理开始时，在步骤S301中，参数分析单元531读取区域0至3的量化的值(Qscale0至Qscale3)。

在步骤S302中，参数分析单元531读取pred_mode。在步骤S303中，参数分析单元531确定pred_mode是否等于0。如果确定pred_mode等于0，则参数分析单元531确定当前模式是复制模式，并且使处理前进至步骤S304。

在步骤S304中，参数分析单元531读取pred_matrix_id_delta。在步骤S305中，复制单元541复制已被发送的缩放列表，并且使用复制的缩放列表作为预测矩阵。在复制模式下，预测矩阵被输出作为用于当前区域的缩放列表。当步骤S305的处理完成时，复制单元541结束量化矩阵解码处理。

另外，如果在步骤S303中确定pred_mode不等于0，则参数分析单元531确定当前模式是全扫描模式(正常模式)，并且使处理前进至步骤S306。

在步骤S306中，参数分析单元531读取pred_matrix_id_delta、pred_size_id_delta和residual_flag。在步骤S307中，预测矩阵产生单元542从已发送的缩放列表产生预测矩阵。

在步骤S308中，参数分析单元531确定residual_flag是否为真。如果确定residual_flag不为真，则不存在残余矩阵，并且在步骤S307中产生的预测矩阵被输出作为用于当前区域的缩放列表。因此，在这种情况下，参数分析单元531结束量化矩阵解码处理。

另外，如果在步骤S308中确定residual_flag为真，则参数分析单元531使处理前进至步骤S309。

在步骤S309中，参数分析单元531读取residual_down_sampling_flag和residual_symmetry_flag。

在步骤S310中，exp-G单元551和逆DPCM单元552对残余矩阵的指数Golomb码进行解码，并且产生残余数据。

在步骤S311中，逆交叠确定单元553确定residual_symmetry_flag是否为真。如果确定residual_symmetry_flag为真，则逆交叠确定单元553使处理前进至步骤S312，并且恢复残余数据的去除的交叠部分(或执行逆对称处理)。当以上述方式产生作为135度对称矩阵的差矩阵时，逆交叠确定单元553使处理前进至步骤S313。

另外，如果在步骤S311中确定residual_symmetry_flag不为真(或如果残余数据是这样的差矩阵，即该差矩阵不是135度对称矩阵)，则逆交叠确定单元553使处理前进至步骤S313，同时跳过步骤S312的处理(或不执行逆对称处理)。

在步骤S313中，差矩阵尺寸变换单元562确定residual_down_sampling_flag是否为真。如果确定residual_down_sampling_flag为真，则差矩阵尺寸变换单元562使处理前进至步骤S314，并且将差矩阵上转换为与将要被去量化的当前区域对应的尺寸。在差矩阵被上转换之后，差矩阵尺寸变换单元562使处理前进至步骤S315。

另外，如果在步骤S313中确定residual_down_sampling_flag不为真，则差矩阵尺寸变换单元562使处理前进至步骤S315，同时跳过步骤S314的处理(或不对差矩阵进行上转换)。

在步骤S315中，计算单元564将差矩阵与预测矩阵相加以产生用于当前区域的缩放列表。当步骤S315的处理完成时，量化矩阵解码处理结束。

<2-13.残余信号解码处理的流程>

接下来，将参照图28中示出的流程图描述在图27中的步骤S310中执行的残余信号解码处理的流程的例子。

当残余信号解码处理开始时，在步骤S331中，exp-G单元551对提供的指数Golomb码进行解码。

在步骤S332中，逆DPCM单元552对由exp-G单元551通过解码获得的DPCM数据执行逆DPCM处理。

当逆DPCM处理完成时，逆DPCM单元552结束残余信号解码处理，并且使处理返回到图27。

<2-14.逆DPCM处理的流程>

接下来，将参照图29中示出的流程图描述在图28中的步骤S332中执行的逆DPCM处理的流程的例子。

当逆DPCM处理开始时，在步骤S351中，初始设置单元571获取sizeID和MatrixID。

在步骤S352中，初始设置单元571如下设置coefNum。

coefNum＝min((1<<(4+(sizeID<<1))),65)

在步骤S353中，初始设置单元571如下设置变量i和变量nextcoef。

i＝0

nextcoef＝8

在步骤S354中，DPCM解码单元572确定是否存在变量i<coefNum。如果变量i小于coefNum，则初始设置单元571使处理前进至步骤S355。

在步骤S355中，DPCM解码单元572读取系数的DPCM数据(scaling_list_delta_coef)。

在步骤S356中，DPCM解码单元572使用读取的DPCM数据如下确定nextcoef，并且还确定scalingList[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalingList[i]＝nextcoef

在步骤S357中，DC系数提取单元573确定sizeID是否大于1以及变量i是否等于0(也就是说，位于开头处的系数)。如果确定sizeID大于1和变量i代表位于开头处的系数，则DC系数提取单元573使处理前进至步骤S358，并且使用该系数作为DC系数(DC_coef＝nextcoef)。当步骤S358的处理完成时，DC系数提取单元573使处理前进至步骤S360。

另外，如果在步骤S357中确定sizeID小于或等于1或者变量i不代表位于开头处的系数，则DC系数提取单元573使处理前进至步骤S359，并且针对每个系数使变量i改变一，因为DC系数已被提取。(ScalingList[(i-(sizeID)>1)？1；0]＝nextcoef)如果步骤S359的处理完成，则DC系数提取单元573使处理前进至步骤S360。

在步骤S360中，DPCM解码单元572使变量i增加以将处理目标改变为随后的系数，然后使处理返回到步骤S354。

在步骤S354中，反复地执行步骤S354至S360的处理，直至确定变量i大于或等于coefNum。如果在步骤S354中确定变量i大于或等于coefNum，则DPCM解码单元572结束逆DPCM处理，并且使处理返回到图28。

因此，DC系数和位于AC系数的开头处的AC系数之差可被正确地解码。因此，图像解码装置300能够抑制缩放列表的编码的量的增加。

<3.第三实施例>

<3-1.语法：第二方法>

用于替代于DC系数发送DC系数与另一系数之差的另一方法可以是例如：发送DC系数和8×8矩阵的(0,0)分量之差作为与8×8矩阵的DPCM数据不同的DPCM数据(第二方法)。例如，在8×8矩阵的DPCM发送之后，可发送DC系数与8×8矩阵的(0,0)分量之差。

因此，类似于第一方法，当8×8矩阵的(0,0)系数(AC系数)的值和DC系数的值彼此接近时，能够进一步提高压缩比。

图30表示第二方法中的缩放列表的语法。在图30中示出的例子中，读取系数之间的64个差值(scaling_list_delta_coef)。最后，读取DC系数和(0,0)系数(AC系数)之差(scaling_list_dc_coef_delta)，并且从该差值确定DC系数。

在第二方法中，相应地，用于对AC系数进行解码的语法能够类似于图12中示出的相关技术的语法。也就是说，通过少量修改相关技术的例子能够获得第二方法的语法，并且第二方法的语法能够比第一方法的语法更可行。

然而，第一方法允许图像解码装置在图像解码装置接收到初始系数时恢复DC系数，而第二方法不允许图像解码装置获得DC系数，直至图像解码装置已接收到所有的系数并且已解压缩所有的DPCM数据。

将在以下描述实现上述第二方法的语法的图像编码装置。

<3-2.DPCM单元的详细示例性结构>

在第二方法中，图像编码装置10具有与上述第一方法中的结构基本上类似的结构。具体地讲，图像编码装置10具有与图14中示出的例子一样的结构。另外，正交变换/量化单元14具有与图15中示出的例子一样的结构。另外，矩阵处理单元150具有与图16中示出的例子一样的结构。

第二例子中的DPCM单元192的示例性结构被示出在图31中。如图31中所示，在第二例子中，DPCM单元192包括AC系数缓冲器611、AC系数编码单元612、AC系数DPCM单元613和DC系数DPCM单元614。

AC系数缓冲器611存储从交叠确定单元191提供的初始AC系数(也就是说，(0,0)系数)。在所有的AC系数已经受DPCM处理之后的预定时刻，或者响应于请求，AC系数缓冲器611将存储的初始AC系数(AC系数(0,0))提供给DC系数DPCM单元614。

AC系数编码单元612获取从交叠确定单元191提供的初始AC系数(AC系数(0,0))，并且用常数(例如，8)减去初始AC系数的值。AC系数编码单元612将减法结果(差)提供给exp-G单元193作为AC系数的DPCM数据的初始系数(scaling_list_delta_coef(i＝0))。

AC系数DPCM单元613获取从交叠确定单元191提供的AC系数，针对第二AC系数和随后的AC系数中的每一个确定与前一个AC系数的差(DPCM)，并且将确定的差提供给exp-G单元193作为DPCM数据(scaling_list_delta_coef(i＝1至63))。

DC系数DPCM单元614获取从交叠确定单元191提供的DC系数。DC系数DPCM单元614还获取保存在AC系数缓冲器611中的初始AC系数(AC系数(0,0))。DC系数DPCM单元614用DC系数减去初始AC系数(AC系数(0,0))以确定它们之差，并且将确定的差提供给exp-G单元193作为DC系数的DPCM数据(scaling_list_dc_coef_delta)。

如上所述，在第二方法中，确定DC系数和另一系数(初始AC系数)之差。然后，该差在作为AC系数之间的差的AC系数的DPCM数据(scaling_list_delta_coef)的发送之后，被作为与AC系数的DPCM数据不同的DC系数的DPCM数据(scaling_list_dc_coef_delta)而发送。因此，类似于第一方法，图像编码装置10能够提高缩放列表的编码效率。

<3-3.DPCM处理的流程>

此外，在第二方法中，图像编码装置10以与参照图20中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵编码处理。

将参照图32中示出的流程图描述在图20中的步骤S112中执行的第二方法中的DPCM处理的流程的例子。

当DPCM处理开始时，在步骤S401中，AC系数缓冲器611保存初始AC系数。

在步骤S402中，AC系数编码单元612用预定常数(例如，8)减去初始AC系数以确定它们之差(初始DPCM数据)。

步骤S403至S405的处理由AC系数DPCM单元613以类似于图21中的步骤S133至S135的处理的方式执行。也就是说，步骤S403至S405的处理被反复地执行以产生所有AC系数的DPCM数据(与紧接在前的AC系数的差)。

如果在步骤S403中确定所有的AC系数已被处理(也就是说，如果不存在未处理的AC系数)，则AC系数DPCM单元613使处理前进至步骤S406。

在步骤S406中，DC系数DPCM单元614用DC系数减去在步骤S401中保存的初始AC系数以确定它们之差(DC系数的DPCM数据)。

当步骤S406的处理完成时，DC系数DPCM单元614结束DPCM处理，并且使处理返回到图20。

因此，还确定DC系数和另一系数之差并且将该差值发送给图像解码装置作为DPCM数据。因此，图像编码装置10能够抑制缩放列表的编码的量的增加。

<3-4.逆DPCM单元的详细示例性结构>

在第二方法中，图像解码装置300具有与第一方法中的结构基本上类似的结构。具体地讲，在第二方法中，图像解码装置300也具有与图22中示出的例子一样的结构。另外，去量化/逆正交变换单元313具有与图23中示出的例子一样的结构。此外，矩阵产生单元410具有与图24中示出的例子一样的结构。

图33是表示第二方法中的图24中示出的逆DPCM单元552的详细结构的例子的方框图。参照图33，逆DPCM单元552包括初始设置单元621、AC系数DPCM解码单元622、AC系数缓冲器623和DC系数DPCM解码单元624。

初始设置单元621获取sizeID和MatrixID，并且将各种变量设置为初始值。初始设置单元621将获取的和设置的信息提供给AC系数DPCM解码单元622。

AC系数DPCM解码单元622获取从exp-G单元551提供的AC系数的DPCM数据(scaling_list_delta_coef)。AC系数DPCM解码单元622使用从初始设置单元621提供的初始设置等对获取的AC系数的DPCM数据进行解码以确定AC系数。AC系数DPCM解码单元622将确定的AC系数(ScalingList[i])提供给逆交叠确定单元553。AC系数DPCM解码单元622还将确定的AC系数之中的初始AC系数(ScalingList[0]，也就是说，AC系数(0,0))提供给AC系数缓冲器623以进行保存。

AC系数缓冲器623存储从AC系数DPCM解码单元622提供的初始AC系数(ScalingList[0]，也就是说，AC系数(0,0))。在预定时刻或响应于请求，AC系数缓冲器623将初始AC系数(ScalingList[0]，也就是说，AC系数(0,0))提供给DC系数DPCM解码单元624。

DC系数DPCM解码单元624获取从exp-G单元551提供的DC系数的DPCM数据(scaling_list_dc_coef_delta)。DC系数DPCM解码单元624还获取存储在AC系数缓冲器623中的初始AC系数(ScalingList[0]，也就是说，AC系数(0,0))。DC系数DPCM解码单元624使用初始AC系数对DC系数的DPCM数据进行解码以确定DC系数。DC系数DPCM解码单元624将确定的DC系数(DC_coef)提供给逆交叠确定单元553。

<3-5.逆DPCM处理的流程>

此外，在第二方法中，图像解码装置300以与以上参照图27中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵解码处理。类似地，图像解码装置300以与以上参照图28中示出的流程图描述的第一方法中的方式类似的方式执行残余信号解码处理。

将参照图34中示出的流程图描述由逆DPCM单元552执行的逆DPCM处理的流程的例子。

当逆DPCM处理开始时，在步骤S421中，初始设置单元621获取sizeID和MatrixID。

在步骤S422中，初始设置单元621如下设置coefNum。

coefNum＝min((1<<(4+(sizeID<<1))),64)

在步骤S423中，初始设置单元621如下设置变量i和变量nextcoef。

i＝0

nextcoef＝8

在步骤S424中，DPCM解码单元572确定是否存在变量i<coefNum。如果变量i小于coefNum，则初始设置单元621使处理前进至步骤S425。

在步骤S425中，AC系数DPCM解码单元622读取AC系数的DPCM数据(scaling_list_delta_coef)。

在步骤S426中，AC系数DPCM解码单元622使用读取的DPCM数据如下确定nextcoef，并且还确定scalingList[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalingList[i]＝nextcoef

需要注意的是，计算的初始AC系数(ScalingList[0]，也就是说，AC系数(0,0))被保存在AC系数缓冲器623中。

在步骤S427中，AC系数DPCM解码单元622使变量i增加以将待处理的目标改变为随后的系数，然后使处理返回到步骤S424。

在步骤S424中，反复地执行步骤S424至S427的处理，直至确定变量i大于或等于coefNum。如果在步骤S424中确定变量i大于或等于coefNum，则AC系数DPCM解码单元622使处理前进至步骤428。

在步骤S428中，DC系数DPCM解码单元624确定sizeID是否大于1。如果确定sizeID大于1，则DC系数DPCM解码单元624使处理前进至步骤S429，并且读取DC系数的DPCM数据(scaling_list_dc_coef_delta)。

在步骤S430中，DC系数DPCM解码单元624获取保存在AC系数缓冲器623中的初始AC系数(ScalingList[0]，也就是说，AC系数(0,0))，并且如下使用初始AC系数对DC系数(DC_coef)的DPCM数据进行解码。

DC_coef＝scaling_list_dc_coef_delta+ScalingList[0]

当获得了DC系数(DC_coef)时，DC系数DPCM解码单元624结束逆DPCM处理，并且使处理返回到图28。

另外，如果在步骤S428中确定sizeID小于或等于1，则DC系数DPCM解码单元624结束逆DPCM处理，并且使处理返回到图28。

因此，DC系数与位于AC系数的开头处的AC系数之差能够被正确地解码。因此，图像解码装置300能够抑制缩放列表的编码的量的增加。

<4.第四实施例>

<4-1.语法：第三方法>

在上述第二方法中，DC系数还可能被局限于小于初始AC系数(AC系数(0,0))的值(第三方法)。

这确保：DC系数的DPCM数据(也就是说，通过用DC系数减去初始AC系数而获得的差值)能够是正值。因此，能够使用无符号指数Golomb码对这个DPCM数据进行编码。因此，第三方法可防止DC系数大于初始AC系数，但与第一方法和第二方法相比较能够减少编码的量。

图35表示第三方法中的缩放列表的语法。如图35中所示，在这种情况下，DC系数的DPCM数据(scaling_list_dc_coef_delta)局限于正值。

上述第三方法的语法能够由与第二方法中的图像编码装置类似的图像编码装置10实现。然而，在第三方法中，exp-G单元193能够使用无符号指数Golomb码对DC系数的DPCM数据进行编码。需要注意的是，图像编码装置10能够以与第二方法中的方式类似的方式执行处理，诸如量化矩阵编码处理和DPCM处理。

另外，第三方法的语法能够由图像解码装置300以与第二方法中的方式类似的方式实现。此外，图像解码装置300能够以与第二方法中的方式类似的方式执行量化矩阵解码处理。

<4-2.逆DPCM处理的流程>

将参照图36中示出的流程图描述由逆DPCM单元552执行的逆DPCM处理的流程的例子。

以类似于图34中的步骤S421至S429的处理的方式执行步骤S451至S459的处理。

在步骤S460中，DC系数DPCM解码单元624获取保存在AC系数缓冲器623中的初始AC系数(ScalingList[0]，也就是说，AC系数(0,0))，并且如下使用初始AC系数对DC系数(DC_coef)的DPCM数据进行解码。

DC_coef＝ScalingList[0]-scaling_list_dc_coef_delta

另外，如果在步骤S458中确定sizeID小于或等于1，则DC系数DPCM解码单元624结束逆DPCM处理，并且使处理返回到图28。

因此，DC系数和位于AC系数的开头处的AC系数之差能够被正确地解码。因此，图像解码装置300能够抑制缩放列表的编码的量的增加。

<5.第五实施例>

<5-1.语法：第四方法>

用于替代于DC系数发送DC系数和另一系数之差的另一方法可以是例如：仅收集多个缩放列表的DC系数，并且通过分别获得各缩放列表的DC系数与AC系数之差来执行DPCM(第四方法)。在这种情况下，DC系数的DPCM数据是用于所述多个缩放列表的一组数据，并且被发送作为与各缩放列表的AC系数的DPCM数据不同的数据。

因此，当例如在缩放列表(MatrixID)的DC系数之间存在关联时，能够进一步提高压缩比。

图37表示第四方法中的缩放列表的DC系数的语法。在这种情况下，由于如图37中示出的例子中所示，在与各缩放列表的AC系数的周期不同的周期中处理DC系数，所以用于AC系数的处理和用于DC系数的处理需要彼此独立。

这确保能够实现用于缩放列表编码和解码处理的更多的各种方法，但DPCM处理和逆DPCM处理的复杂性可能增加。例如，用于在复制模式下仅复制AC系数并且使DC系数的值不同的处理能够被容易地实现。

DC系数被共同处理的缩放列表的数量是任意的。

<5-2.DPCM单元的详细示例性结构>

在第四方法中，图像编码装置10具有与上述第一方法中的结构基本上类似的结构。具体地讲，图像编码装置10具有与图14中示出的例子一样的结构。另外，正交变换/量化单元14具有与图15中示出的例子一样的结构。此外，矩阵处理单元150具有与图16中示出的例子一样的结构。

第四方法中的DPCM单元192的示例性结构被示出在图38中。如图38中所示，在这种情况下，DPCM单元192包括AC系数DPCM单元631、DC系数缓冲器632和DC系数DPCM单元633。

AC系数DPCM单元631执行从交叠确定单元191提供的每个缩放列表的各AC系数的DPCM处理。具体地讲，AC系数DPCM单元631针对每个缩放列表用预定常数(例如，8)减去初始AC系数，并且用紧接在前的AC系数减去正被处理的AC系数(当前AC系数)。AC系数DPCM单元631将针对每个缩放列表产生的DPCM数据(scaling_list_delta_coef)提供给exp-G单元193。

DC系数缓冲器632存储从交叠确定单元191提供的各缩放列表的DC系数。在预定时刻或响应于请求，DC系数缓冲器632将存储的DC系数提供给DC系数DPCM单元633。

DC系数DPCM单元633获取积累在DC系数缓冲器632中的DC系数。DC系数DPCM单元633确定获取的DC系数的DPCM数据。具体地讲，DC系数DPCM单元633用预定常数(例如，8)减去初始DC系数，并且用紧接在前的DC系数减去正被处理的DC系数(当前DC系数)。DC系数DPCM单元633将产生的DPCM数据(scaling_list_delta_coef)提供给exp-G单元193。

因此，图像编码装置10能够提高缩放列表的编码效率。

<5-3.DPCM处理的流程>

此外，在第四方法中，图像编码装置10以与以上参照图20中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵编码处理。

将参照图39中示出的流程图描述在图20中的步骤S112中执行的第四方法中的DPCM处理的流程的例子。

步骤S481至S485的处理由AC系数DPCM单元631以类似于图32中的步骤S401至S405的处理(第二方法中的处理)的方式执行。

如果在步骤S483中确定所有的AC系数已被处理，则AC系数DPCM单元631使处理前进至步骤S486。

在步骤S486中，AC系数DPCM单元631确定是否DC系数被共同进行DPCM编码的所有的缩放列表(或差矩阵)已被处理。如果确定存在未处理的缩放列表(或差矩阵)，则AC系数DPCM单元631使处理返回到步骤S481。

如果在步骤S486中确定所有的缩放列表(或差矩阵)已被处理，则AC系数DPCM单元631使处理前进至步骤S487。

DC系数DPCM单元633以类似于步骤S481至S485的处理的方式对存储在DC系数缓冲器632中的DC系数执行步骤S487至S491的处理。

如果在步骤S489中确定存储在DC系数缓冲器632中的所有的DC系数已被处理，则DC系数DPCM单元633结束DPCM处理，并且使处理返回到图20。

通过以上述方式执行DPCM处理，图像编码装置10能够提高缩放列表的编码效率。

<5-4.逆DPCM单元的详细示例性结构>

第四方法中的图像解码装置300具有与第一方法中的结构基本上类似的结构。具体地讲，在第四方法中，图像解码装置300也具有与图22中示出的例子一样的结构。另外，去量化/逆正交变换单元313具有与图23中示出的例子一样的结构。此外，矩阵产生单元410具有与图24中示出的例子一样的结构。

图40是表示第四方法中的图24中示出的逆DPCM单元552的详细结构的例子的方框图。参照图40，逆DPCM单元552包括初始设置单元641、AC系数DPCM解码单元642和DC系数DPCM解码单元643。

初始设置单元641获取sizeID和MatrixID，并且将各种变量设置为初始值。初始设置单元641将获取的和设置的信息提供给AC系数DPCM解码单元642和DC系数DPCM解码单元643。

AC系数DPCM解码单元642获取从exp-G单元551提供的AC系数的DPCM数据(scaling_list_delta_coef(ac))。AC系数DPCM解码单元642使用从初始设置单元641提供的初始设置等对获取的AC系数的DPCM数据进行解码，并且确定AC系数。AC系数DPCM解码单元642将确定的AC系数(ScalingList[i])提供给逆交叠确定单元553。AC系数DPCM解码单元642对多个缩放列表执行上述处理。

DC系数DPCM解码单元643获取从exp-G单元551提供的DC系数的DPCM数据(scaling_list_delta_coef(dc))。DC系数DPCM解码单元643使用从初始设置单元641提供的初始设置等对获取的DC系数的DPCM数据进行解码，并且确定各缩放列表的DC系数。DC系数DPCM解码单元643将确定的DC系数(scaling_list_dc_coef)提供给逆交叠确定单元553。

<5-5.逆DPCM处理的流程>

此外，在第四方法中，图像解码装置300以与以上参照图27中示出的流程图描述的第一方法中的方式类似的方式执行量化矩阵解码处理。类似地，图像解码装置300以与以上参照图28中示出的流程图描述的第一方法中的方式类似的方式执行残余信号解码处理。

将参照图41和图42中示出的流程图描述由逆DPCM单元552执行的逆DPCM处理的流程的例子。

当逆DPCM处理开始时，初始设置单元641和AC系数DPCM解码单元642以与图34中的步骤S421至S427的处理中的方式类似的方式执行步骤S511至S517的处理。

如果在步骤S514中确定变量i大于或等于coefNum，则AC系数DPCM解码单元642使处理前进至步骤S518。

在步骤S518中，AC系数DPCM解码单元642确定是否DC系数被共同进行DPCM处理的所有的缩放列表(差矩阵)已被处理。如果确定存在未处理的缩放列表(差矩阵)，则AC系数DPCM解码单元642使处理返回到步骤S511，并且反复地执行随后的处理。

另外，如果确定不存在未处理的缩放列表(差矩阵)，则AC系数DPCM解码单元642使处理前进至图42。

在图42中的步骤S521中，初始设置单元641如下设置sizeID和变量nextcoef。

sizeID＝2

nextcoef＝8

另外，在步骤S522中，初始设置单元641如下设置MatrixID。

MatrixID＝0

在步骤S523中，DC系数DPCM解码单元643确定是否sizeID<4。如果确定sizeID小于4，则DC系数DPCM解码单元643使处理前进至步骤S524。

在步骤S524中，DC系数DPCM解码单元643确定是否满足MatrixID<(sizeID＝＝3)？2:6。如果确定满足MatrixID<(sizeID＝＝3)？2:6，则DC系数DPCM解码单元643使处理前进至步骤S525。

在步骤S525中，DC系数DPCM解码单元643读取DC系数的DPCM数据(scaling_list_delta_coef)。

在步骤S526中，DC系数DPCM解码单元643使用读取的DPCM数据如下确定nextcoef，并且还确定scaling_dc_coef。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scaling_dc_coef[sizeID-2][MatrixID]＝nextcoef

在步骤S527中，DC系数DPCM解码单元643使MatrixID增加以将处理目标改变为随后的DC系数(随后的缩放列表或残余矩阵)，然后使处理返回到步骤S524。

如果在步骤S524中确定不满足MatrixID<(sizeID＝＝3)？2:6，则DC系数DPCM解码单元643使处理前进至步骤S528。

在步骤S528中，DC系数DPCM解码单元643使sizeID增加以将处理目标改变为随后的DC系数(随后的缩放列表或残余矩阵)，然后使处理返回到步骤S523。

如果在步骤S523中确定sizeID大于或等于4，则DC系数DPCM解码单元643结束逆DPCM处理，并且使处理返回到图28。

因此，DC系数之间的差能够被正确地解码。因此，图像解码装置300能够抑制缩放列表的编码的量的增加。

<6.第六实施例>

<6-1.其它语法：第一例子>

图43表示缩放列表的语法的另一例子。这个附图对应于图12。在图12中示出的例子中，nextcoef的初始值被设置为预定常数(例如，8)。替代地，如图43中所示，nextcoef的初始值可被DC系数的DPCM数据(scaling_list_dc_coef_minus8)改写。

因此，16×16缩放列表和32×32缩放列表中的初始AC系数(AC系数(0,0))的编码的量能够减少。

<6-2.其它语法：第二例子>

图44表示缩放列表的语法的另一例子。这个附图对应于图12。

在图12中示出的例子中，当scaling_list_pred_matrix_id_delta的值(该值是在复制模式下指定参考目的地的信息)是“0”时，参照比正被处理的当前缩放列表早一个缩放列表的缩放列表，并且当scaling_list_pred_matrix_id_delta的值是“1”时，参照比正被处理的当前缩放列表早两个缩放列表的缩放列表。

相比之下，在图44中示出的例子中，如图44的部分C中所示，当scaling_list_pred_matrix_id_delta的值(该值是在复制模式下指定参考目的地的信息)是“0”时，参照默认缩放列表，并且当scaling_list_pred_matrix_id_delta的值是“1”时，参照紧接在前的缩放列表。

以这种方式，修改scaling_list_pred_matrix_id_delta的语义能够以图44的部分B中示出的方式简化语法，并且能够减少DPCM处理和逆DPCM处理的负载。

<6-3.其它语法：第三例子>

图45表示缩放列表的语法的另一例子。这个附图对应于图12。

在图45中示出的例子中，既使用上述图43中示出的例子又使用上述图44中示出的例子。

在图45中示出的例子中，相应地，16×16缩放列表和32×32缩放列表中的初始AC系数(AC系数(0,0))的编码的量能够减少。另外，语法能够被简化，并且DPCM处理和逆DPCM处理的负载能够减少。

在前面的实施例中，所述预定常数的值是任意的。另外，缩放列表的尺寸也是任意的。

另外，尽管前面已给出缩放列表、预测矩阵或它们之间的差矩阵的尺寸变换处理的描述，但尺寸变换处理可以是用于实际产生其尺寸已被变换的矩阵的处理，或者可以是用于在不实际产生矩阵的数据的情况下设置如何从存储器读取矩阵中的每个元素的处理(矩阵数据的读取控制)。

在上述尺寸变换处理中，其尺寸已被变换的矩阵中的每个元素由其尺寸还未被变换的矩阵中的任何元素构成。也就是说，通过使用某一方法(诸如，读取矩阵中的一些元素或多次读取一个元素)读取存储在存储器中的其尺寸还未被变换的矩阵中的元素，可产生其尺寸已被变换的矩阵。换句话说，定义用于读取每个元素的方法(或执行矩阵数据的读取控制)以基本上实现上述尺寸变换。这种方法可去除诸如将其尺寸已被变换的矩阵数据写到存储器的处理。另外，其尺寸已被变换的矩阵数据的读取基本上取决于如何执行最近邻居内插等，因此，可通过比较低负载的处理(诸如，选择预先准备的多个选项中的合适的一个选项)来实现尺寸变换。因此，上述方法可减少尺寸变换的负载。

也就是说，上述尺寸变换处理包括用于实际产生其尺寸已被变换的矩阵数据的处理，并且还包括矩阵数据的读取控制。

需要注意的是，尽管在差矩阵被编码和发送的情况下进行前面的描述，但这仅是说明性的并且缩放列表可被编码和发送。换句话说，已在以上被描述为待处理的系数的缩放列表的AC系数和DC系数可以是缩放列表与预测矩阵之间的差矩阵的AC系数和DC系数。

另外，关于缩放列表的参数、标记等(诸如，缩放列表的尺寸和列表ID)的信息的编码的量可通过下述方式减少：例如，获得该信息和以前发送的信息之差并且发送该差值。

另外，尽管已在大尺寸的量化矩阵或差矩阵被下转换和发送的上下文中进行前面的描述，但这仅是说明性的，并且量化矩阵或差矩阵可在未被下转换的情况下被发送，同时用于量化的量化矩阵的尺寸保持不变。

本技术能够被应用于包括量化和去量化的任何类型的图像编码和解码。

另外，本技术还能够被应用于例如用于经网络介质(诸如，卫星广播、有线电视、互联网或移动电话)接收使用正交变换(诸如，离散余弦转换)和运动补偿(诸如，MPEG或H.26x)压缩的图像信息(比特流)的图像编码装置和图像解码装置。本技术还能够被应用于用于存储介质(诸如，光盘、磁盘和闪存)上的处理的图像编码装置和图像解码装置。另外，本技术还能够被应用于上述图像编码装置和图像解码装置中所包括的量化装置和去量化装置等。

<7.第七实施例>

<应用于多视图图像编码和多视图图像解码>

上述一系列处理能够被应用于多视图图像编码和多视图图像解码。图46表示多视图图像编码方案的例子。

如图46中所示，多视图图像包括在多个视图的图像(或视图)。多视图图像中的所述多个视图包括：基本视图，每个基本视图在不使用另一视图的图像的情况下使用它的图像而被编码和解码；和非基本视图，每个非基本视图使用另一视图的图像而被编码和解码。每个非基本视图可使用基本视图的图像或使用任何其它非基本视图的图像而被编码和解码。

当图46中示出的多视图图像将要被编码和解码时，每个视图的图像被编码和解码。以上在前面的实施例中描述的方法可被应用于每个视图的编码和解码。这能够抑制各视图的图像质量的降低。

另外，可在每个视图的编码和解码中共享以上在前面的实施例中描述的方法中使用的标记和参数。这能够抑制编码效率的降低。

更具体地讲，例如，可在每个视图的编码和解码中共享关于缩放列表的信息(例如，参数、标记等)。

当然，可在每个视图的编码和解码中共享任何其它需要的信息。

例如，当将要发送缩放列表或序列参数集(SPS)或图像参数集(PPS)中所包括的关于缩放列表的信息时，如果在视图之间共享这些参数集(SPS和PPS)，则缩放列表或关于缩放列表的信息也被相应地共享。这能够抑制编码效率的降低。

另外，可根据视图之间的差异值改变基本视图的缩放列表(或量化矩阵)中的矩阵元素。此外，可发送用于针对基本视图的缩放列表(量化矩阵)中的矩阵元素调整非基本视图矩阵元素的偏移值。因此，能够抑制编码的量的增加。

例如，每个视图的缩放列表可被预先分开地发送。当将要针对每个视图改变缩放列表时，可仅发送指示与预先发送的缩放列表中的对应缩放列表的差的信息。指示该差的信息是任意的，并且可以是例如以4×4或8×8为单位的信息或矩阵之差。

需要注意的是，如果缩放列表或关于缩放列表的信息在视图之间被共享但SPS或PPS未被共享，则可以能够参照其它视图的SPS或PPS(也就是说，能够使用其它视图的缩放列表或关于缩放列表的信息)。

此外，如果这种多视图图像被表示为具有YUV图像和与视图之间的差异的量对应的深度图像(Depth)作为分量的图像，则可使用每个分量(Y，U，V和Depth)的图像的独立的缩放列表或关于缩放列表的信息。

例如，由于深度图像(Depth)是边缘的图像，所以不需要缩放列表。因此，虽然SPS或PPS指定缩放列表的使用，但缩放列表可不被应用于(或者可应用所有的矩阵元素相同(或平坦)的缩放列表)深度图像(Depth)。

<多视图图像编码装置>

图47是表示用于执行上述多视图图像编码操作的多视图图像编码装置的示图。如图47中所示，多视图图像编码装置700包括编码单元701、编码单元702和复用单元703。

编码单元701对基本视图的图像进行编码，并且产生编码基本视图图像流。编码单元702对非基本视图的图像进行编码，并且产生编码非基本视图图像流。复用单元703对由编码单元701产生的编码基本视图图像流和由编码单元702产生的编码非基本视图图像流进行复用，并且产生编码多视图图像流。

图像编码装置10(图14)能够被用于多视图图像编码装置700的编码单元701和编码单元702中的每一个。也就是说，能够抑制每个视图的编码中的缩放列表的编码的量的增加，并且能够抑制每个视图的图像质量的降低。另外，编码单元701和编码单元702能够使用相同的标记或参数(也就是说，标记和参数能够被共享)执行处理(诸如，量化和去量化)。因此，能够抑制编码效率的降低。

<多视图图像解码装置>

图48是表示用于执行上述多视图图像解码操作的多视图图像解码装置的示图。如图48中所示，多视图图像解码装置710包括解复用单元711、解码单元712和解码单元713。

解复用单元711对已复用编码基本视图图像流和编码非基本视图图像流的编码多视图图像流进行解复用，并且提取编码基本视图图像流和编码非基本视图图像流。解码单元712对由解复用单元711提取的编码基本视图图像流进行解码，并且获得基本视图的图像。解码单元713对由解复用单元711提取的编码非基本视图图像流进行解码，并且获得非基本视图的图像。

图像解码装置300(图22)能够被用于多视图图像解码装置710的解码单元712和解码单元713中的每一个。也就是说，能够抑制每个视图的解码中的缩放列表的编码的量的增加，并且能够抑制每个视图的图像质量的降低。另外，解码单元712和解码单元713能够使用相同的标记和参数(也就是说，标记和参数能够被共享)执行处理(诸如，量化和去量化)。因此，能够抑制编码效率的降低。

<8.第八实施例>

<应用于分层图像编码和分层图像解码>

上述一系列处理能够被应用于分层图像编码和分层图像解码(可缩放编码和可缩放解码)。图49表示分层图像编码方案的例子。

分层图像编码(可缩放编码)是这样的处理：将图像划分成多个层(分层)以便针对预定参数为图像数据提供可扩展性功能，并且对各层进行编码。分层图像解码(可缩放解码)是与分层图像编码对应的解码处理。

如图49中所示，在图像分层中，使用具有可扩展性功能的预定参数作为参考，一个图像被划分为多个子图像(或层)。也就是说，分解为层的图像(或分层图像)包括多个分层(或层)图像，所述多个分层(或层)图像具有所述预定参数的不同值。分层图像中的所述多个层包括：基本层，每个基本层在不使用另一层的图像的情况下使用它的图像而被编码和解码；和非基本层(也被称为增强层)，每个非基本层使用另一层的图像而被编码和解码。每个非基本层可使用基本层的图像或使用任何其它非基本层的图像而被编码和解码。

通常，每个非基本层包括它的图像和另一层的图像之间的差图像的数据(差数据)以便减少冗余。例如，在一个图像被分解为两个层(即，基本层和非基本层(也被称为增强层))的情况下，可仅使用基本层的数据获得具有低于原始图像的质量的图像，并且可通过组合基本层的数据和非基本层的数据来获得原始图像(也就是说，具有高质量的图像)。

以上述方式执行的图像的分层能够方便根据情况获得具有各种质量的图像。这确保：能够在不执行译码的情况下根据终端和网络的能力从服务器发送图像压缩信息，从而例如仅关于基本层的图像压缩信息被发送给具有低处理能力的终端(诸如，移动电话)以再现具有低空间时间分辨率或低质量的运动图像，并且除了关于基本层的图像压缩信息之外，关于增强层的图像压缩信息也被发送给具有高处理能力的终端(诸如，电视机和个人计算机)以再现具有高空间时间分辨率或高质量的运动图像。

当图49中示出的例子中的分层图像将要被编码和解码时，每个层的图像被编码和解码。以上在每个前面的实施例中描述的方法可被应用于每个层的编码和解码。这能够抑制各层的图像质量的降低。

另外，可在每个层的编码和解码中共享以上在每个前面的实施例中描述的方法中使用的标记和参数。这能够抑制编码效率的降低。

更具体地讲，例如，可在每个层的编码和解码中共享关于缩放列表的信息(例如，参数、标记等)。

当然，可在每个层的编码和解码中共享任何其它需要的信息。

分层图像的例子包括按照空间分辨率分层的图像(也被称为空间分辨率可扩展性)(空间可扩展性)。在具有空间分辨率可扩展性的分层图像中，图像的分辨率针对每层而不同。例如，具有空间最低分辨率的图像的层被指定为基本层，并且具有比基本层高的分辨率的图像的层被指定为非基本层(增强层)。

非基本层(增强层)的图像数据可以是独立于其它层的数据，并且类似于基本层，可仅使用图像数据获得具有与该层的分辨率相同的分辨率的图像。然而，通常，非基本层(增强层)的图像数据是与该层的图像和另一层(例如，比该层低一层的层)的图像之间的差图像对应的数据。在这种情况下，仅使用基本层的图像数据获得具有与基本层的分辨率相同的分辨率的图像，而通过非基本层(增强层)的图像数据和另一层(例如，比该层低一层的层)的图像数据的组合来获得具有与该非基本层(增强层)的分辨率相同的分辨率的图像。这能够抑制层之间的图像数据的冗余。

在上述具有空间分辨率可扩展性的分层图像中，图像的分辨率针对每层而不同。因此，各个层被编码和解码的处理的单位的分辨率也不同。因此，如果在各层的编码和解码中共享缩放列表(量化矩阵)，则可根据各层的分辨率比率对缩放列表(量化矩阵)进行上转换。

例如，假设基本层的图像具有2K的分辨率(例如，1920×1080)，并且非基本层(增强层)的图像具有4K的分辨率(例如，3840×2160)。在这种情况下，例如，基本层的图像(2K图像)的16×16尺寸对应于非基本层的图像(4K图像)的32×32尺寸。根据分辨率比率合适地对缩放列表(量化矩阵)进行上转换。

例如，用于基本层的量化和去量化的4×4量化矩阵在非基本层的量化和去量化中被上转换为8×8并且被使用。类似地，基本层的8×8缩放列表在非基本层中被上转换为16×16。类似地，在基本层中被上转换为16×16并且使用的量化矩阵在非基本层中被上转换为32×32。

需要注意的是，为其提供可扩展性的参数不限于空间分辨率，并且参数的例子可包括时间分辨率(时间可扩展性)。在具有时间分辨率可扩展性的分层图像中，图像的帧速针对每层而不同。其它例子包括：位深可扩展性，图像数据的位深针对每层而不同；和色度可扩展性，分量的格式针对每层而不同。

其它例子包括SNR可扩展性，其中图像的信噪比(SNR)针对每层而不同。

考虑到图像质量的提高，按照所希望的方式，图像具有的信噪比越低，量化误差越小。为此，在SNR可扩展性中，按照所希望的方式，根据信噪比，不同的缩放列表(非共同缩放列表)被用于各层的量化和去量化。由于这个原因，如上所述，如果缩放列表在层之间被共享，则可发送用于针对基本层的缩放列表中的矩阵元素调整增强层的矩阵元素的偏移值。更具体地讲，可在逐层基础上发送指示共同缩放列表与实际使用的缩放列表之差的信息。例如，可在针对每个层的序列参数集(SPS)或图像参数集(PPS)中发送指示该差值的信息。指示该差值的信息是任意的。例如，该信息可以是具有代表两个缩放列表中的对应元素之间的差值的元素的矩阵，或者可以是指示该差值的函数。

<分层图像编码装置>

图50是表示用于执行上述分层图像编码操作的分层图像编码装置的示图。如图50中所示，分层图像编码装置720包括编码单元721、编码单元722和复用单元723。

编码单元721对基本层的图像进行编码，并且产生编码的基本层图像流。编码单元722对非基本层的图像进行编码，并且产生编码非基本层图像流。复用单元723复用由编码单元721产生的编码基本层图像流和由编码单元722产生的编码非基本层图像流，并且产生编码分层图像流。

图像编码装置10(图14)能够被用于分层图像编码装置720的编码单元721和编码单元722中的每一个。也就是说，能够抑制每个层的编码中的缩放列表的编码的量的增加，并且能够抑制每个层的图像质量的降低。另外，编码单元721和编码单元722能够使用相同的标记或参数(也就是说，标记和参数能够被共享)执行处理(诸如，量化和去量化)。因此，能够抑制编码效率的降低。

<分层图像解码装置>

图51是表示用于执行上述分层图像解码操作的分层图像解码装置的示图。如图51中所示，分层图像解码装置730包括解复用单元731、解码单元732和解码单元733。

解复用单元731对其中已复用了编码基本层图像流和编码非基本层图像流的编码分层图像流进行解复用，并且提取编码基本层图像流和编码非基本层图像流。解码单元732对由解复用单元731提取的编码基本层图像流进行解码，并且获得基本层的图像。解码单元733对由解复用单元731提取的编码的非基本层图像流进行解码，并且获得非基本层的图像。

图像解码装置300(图22)能够被用于分层图像解码装置730的解码单元732和解码单元733中的每一个。也就是说，能够抑制每个层的解码中的缩放列表的编码的量的增加，并且能够抑制每个层的图像质量的降低。另外，解码单元712和解码单元713能够使用相同的标记或参数(也就是说，标记和参数能够被共享)执行处理(诸如，量化和去量化)。因此，能够抑制编码效率的降低。

<9.第九实施例>

<计算机>

上述一系列处理能够由硬件执行，或者也能够由软件执行。在这种情况下，所述一系列处理可被实现为例如图52中示出的计算机。

在图52中，计算机800中的CPU(中央处理单元)801根据存储在ROM(只读存储器)802中的程序或从存储单元813加载到RAM(随机存取存储器)803中的程序执行各种处理操作。RAM 803还根据需要存储CPU 801执行各种处理操作所需的数据等。

CPU 801、ROM 802和RAM 803经总线804彼此连接。输入/输出接口810也连接到总线804。

输入/输出接口810连接到输入单元811、输出单元812、存储单元813和通信单元814。输入单元811包括键盘、鼠标、接触面板、输入终端等。输出单元812包括期望的输出装置(诸如，扬声器和显示器，显示器包括CRT(阴极射线管)、LCD(液晶显示器)和OELD(有机场致发光显示器))输出终端等。存储单元813包括：期望的存储介质，诸如硬盘或闪存；和控制单元，控制存储介质的输入和输出。通信单元814包括期望的有线或无线通信装置，诸如调制解调器、LAN接口、USB(通用串行总线)装置和Bluetooth(注册商标)装置。通信单元814经网络(包括例如互联网)与其它通信装置执行通信处理。

如果必要，驱动器815也连接到输入/输出接口810。可移动介质821(诸如，磁盘、光盘、磁光盘或半导体存储器)按照期望被放置在驱动器815中。驱动器815根据例如CPU 801的控制从放置在它里面的可移动介质821读取计算机程序、数据等。读取的数据和计算机程序被提供给例如RAM 803。如果必要，则从可移动介质821读取的计算机程序被进一步安装到存储单元813中。

当上述一系列处理由软件执行时，从网络或记录介质安装构成该软件的程序。

如图52中所示，记录介质的例子包括：可移动介质821，与装置体分开地分发以将程序提供给用户，诸如记录有程序的磁盘(包括软盘)、光盘(包括CD-ROM(压缩盘-只读存储器)和DVD(数字通用盘))、磁光盘(包括MD(迷你盘))或半导体存储器。记录介质的其它例子包括以预先被包括在装置体中的方式分发给用户的装置，诸如记录有程序的ROM 802和存储单元813中所包括的硬盘。

需要注意的是，计算机800执行的程序可以是以这里描述的次序按照时间顺序方式执行处理操作的程序，或者可以是并行地或在必要的时刻(诸如，当调用时)执行处理操作的程序。

另外，如这里所使用，描述存储在记录介质中的程序的步骤当然包括以描述的次序按照时间顺序方式执行的处理操作和并行地或单独地执行(而并不必然按照时间顺序方式执行)的处理操作。

另外，如这里所使用，术语“系统”表示一组的组成元件(装置、模块(部件)等)，而不管是否所有组成元件被容纳在同一壳体中。因此，被容纳在不同壳体中并且经网络连接的多个装置和包括被容纳在单个壳体中的多个模块的单个装置被定义为系统。

另外，以上描述为单个装置(或处理单元)的结构可被划分为多个装置(或处理单元)。相反地，以上描述为多个装置(或处理单元)的结构可被组合为单个装置(或处理单元)。另外，当然，除上述结构之外的结构可被添加到每个装置(或每个处理单元)的结构。另外，如果就整个系统而言装置(或处理单元)具有基本上相同的结构和/或操作，则某一装置(或处理单元)的结构的一部分可被包括在另一装置(或另一处理单元)的结构中。换句话说，本技术的实施例不限于前面的实施例，并且在不脱离本技术的范围的情况下能够做出各种修改。

尽管已参照附图详细描述了本公开的优选实施例，但本公开的技术范围不限于这里公开的例子。明显的是，具有本公开的技术领域中的常识的人能够在不脱离如权利要求中所定义的技术概念的范围的情况下实现各种变化或修改，并且应该理解，这种变化或修改自然也落在本公开的技术范围内。

例如，可利用多个装置经网络共享并且协作以处理单个功能的云计算结构实现本技术。

另外，上述流程图中示出的每个步骤可由单个装置执行或由多个装置以共享方式执行。

另外，如果单个步骤包括多个处理，则所述单个步骤中所包括的所述多个处理可由单个装置执行或由多个装置以共享方式执行。

根据前面的实施例的图像编码装置10(图14)和图像解码装置300(图22)可被应用于各种电子装备，诸如用于经卫星广播、有线广播(诸如，有线TV)或互联网传送数据或者用于经蜂窝通信将数据传送给终端或从终端传送数据的发射器或接收器、将图像记录在介质(诸如，光盘、磁盘和闪存)上的记录设备和从这种存储介质再现图像的再现设备。将在以下描述四个示例性应用。

<10.示例性应用>

<第一示例性应用：电视接收器>

图53表示应用前面的实施例的电视设备的示意性结构的例子。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从经天线901接收的广播信号提取期望的频道中的信号，并且解调提取的信号。然后，调谐器902将通过解调获得的编码比特流输出到解复用器903。换句话说，调谐器902在用于接收包括编码图像的编码流的电视设备900中用作发送单元。

解复用器903将编码比特流解复用为将要观看的节目的视频流和音频流，并且将解复用的流输出到解码器904。解复用器903还从编码比特流提取辅助数据(诸如，EPG(电子节目指南))，并且将提取的数据提供给控制单元910。需要注意的是，如果编码比特流已被扰码，则解复用器903还可对编码比特流进行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理产生的视频数据输出到视频信号处理单元905。解码器904还将通过解码处理产生的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，并且使视频被显示在显示单元906上。视频信号处理单元905还可使经网络提供的应用屏幕被显示在显示单元906上。视频信号处理单元905还可根据设置对视频数据执行另外的处理，诸如噪声去除。另外，视频信号处理单元905还可产生GUI(图形用户界面)图像(诸如，菜单、按钮或光标)，并且将产生的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905提供的驱动信号驱动，并且在显示装置(诸如，液晶显示器、等离子体显示器或OELD(有机场致发光显示器)(有机EL显示器))的视频表面上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行再现处理(诸如，D/A转换和放大)，并且使音频被从扬声器908输出。音频信号处理单元907还可对音频数据执行另外的处理，诸如噪声去除。

外部接口909是用于将电视设备900连接到外部装置或网络的接口。例如，经外部接口909接收的视频流或音频流可由解码器904解码。换句话说，外部接口909也在用于接收包括编码图像的编码流的电视设备900中用作发送单元。

控制单元910包括处理器(诸如，CPU)和存储器(诸如，RAM和ROM)。存储器存储将要由CPU执行的程序、节目数据、EPG数据、经网络获取的数据等。当例如电视设备900启动时，存储在存储器中的程序由CPU读取并且执行。CPU根据例如从用户接口911输入的操作信号执行程序以控制电视设备900的操作。

用户接口911连接到控制单元910。用户接口911包括例如用于允许用户操作电视设备900的按钮和开关、用于遥控信号的接收单元等。用户接口911检测用户经上述部件的操作以产生操作信号，并且将产生的操作信号输出到控制单元910。

总线912用于将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。

在具有上述结构的电视设备900中，解码器904具有根据前面的实施例的图像解码装置300(图22)的功能。因此，电视设备900能够抑制缩放列表的编码的量的增加。

<第二示例性应用：移动电话>

图54表示应用前面的实施例的移动电话的示意性结构的例子。移动电话920包括天线921、通信单元922、音频编码解码器923、扬声器924、麦克风925、照相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编码解码器923。操作单元932连接到控制单元931。总线933用于将通信单元922、音频编码解码器923、照相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。

移动电话920在各种操作模式下执行操作，诸如发送和接收音频信号、发送和接收电子邮件或图像数据、捕捉图像和记录数据，所述各种操作模式包括语音呼叫模式、数据通信模式、图像捕捉模式和视频电话模式。

在语音呼叫模式下，由麦克风925产生的模拟音频信号被提供给音频编码解码器923。音频编码解码器923将模拟音频信号转换成音频数据，并且对转换的音频数据执行A/D转换和压缩。音频编码解码器923随后将压缩音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制，并且产生发送信号。通信单元922随后经天线921将产生的发送信号发送给基站(未示出)。另外，通信单元922放大经天线921接收的无线电信号，并且对放大的信号执行频率转换以获取接收信号。然后，通信单元922对接收信号进行解调和解码以产生音频数据，并且将产生的音频数据输出到音频编码解码器923。音频编码解码器923扩展音频数据并且执行D/A转换以产生模拟音频信号。音频编码解码器923随后将产生的音频信号提供给扬声器924以使得输出音频。

另外，在数据通信模式下，例如，控制单元931根据用户经操作单元932的操作产生形成电子邮件的文本数据。另外，控制单元931使文本被显示在显示单元930上。控制单元931还根据经操作单元932从用户给出的发送指令产生电子邮件数据，并且将产生的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以产生发送信号。然后，通信单元922经天线921将产生的发送信号发送给基站(未示出)。另外，通信单元922放大经天线921接收的无线电信号，并且对放大的信号执行频率转换以获取接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，并且将恢复的电子邮件数据输出到控制单元931。控制单元931使电子邮件的内容被显示在显示单元930上，并且还使电子邮件数据被存储在记录/再现单元929的存储介质中。

记录/再现单元929包括期望的可读/可写存储介质。存储介质可以是例如内置存储介质(诸如，RAM或闪存)或者外部存储介质(诸如，硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡)。

另外，在图像捕捉模式下，例如，照相机单元926捕捉物体的图像以产生图像数据，并且将产生的图像数据输出到图像处理单元927。图像处理单元927对从捕捉单元926输入的图像数据进行编码，并且使编码流被存储在记录/再现单元929的存储介质中。

另外，在视频电话模式下，例如，复用/解复用单元928复用由图像处理单元927编码的视频流和从音频编码解码器923输入的音频流，并且将复用流输出到通信单元922。通信单元922对复用流进行编码和调制以产生发送信号。然后，通信单元922经天线921将产生的发送信号发送给基站(未示出)。通信单元922还放大经天线921接收的无线电信号，并且对放大的信号执行频率转换以获取接收信号。发送信号和接收信号可包括编码比特流。通信单元922对接收信号进行解调和解码以恢复流，并且将恢复的流输出到复用/解复用单元928。然后，复用/解复用单元928将输入流解复用为视频流和音频流，并且将视频流和音频流分别输出到图像处理单元927和音频编码解码器923。图像处理单元927对视频流进行解码以产生视频数据。视频数据被提供给显示单元930，并且一系列图像由显示单元930显示。音频编码解码器923扩展音频流并且执行D/A转换以产生模拟音频信号。音频编码解码器923随后将产生的音频信号提供给扬声器924以使得输出音频。

在具有上述结构的移动电话920中，图像处理单元927具有根据前面的实施例的图像编码装置10(图14)的功能和图像解码装置300(图22)的功能。因此，移动电话920能够抑制缩放列表的编码的量的增加。

另外，尽管已给出对例如移动电话920的描述，但类似于移动电话920，应用本技术的图像编码装置和图像解码装置可被用于具有与移动电话920的成像功能和通信功能类似的成像功能和通信功能的任何设备，诸如PDA(个人数字助手)、智能电话、UMPC(超移动个人计算机)上网本或笔记本个人计算机。

<第三示例性应用：记录/再现设备>

图55表示应用前面的实施例的记录/再现设备的示意性结构的例子。记录/再现设备940对例如接收的广播节目的音频数据和视频数据进行编码，并且将编码音频数据和视频数据记录在记录介质上。另外，记录/再现设备940还可对从例如另一设备获取的音频数据和视频数据进行编码，并且将编码音频数据和视频数据记录在记录介质上。此外，记录/再现设备940根据从用户给出的指令使用监视器和扬声器再现例如记录在记录介质上的数据。在这种情况下，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(同屏显示器)948、控制单元949和用户接口950。

调谐器941从经天线(未示出)接收的广播信号提取期望的频道中的信号，并且解调提取的信号。调谐器941随后将通过解调获得的编码比特流输出到选择器946。换句话说，调谐器941在记录/再现设备940中用作发送单元。

外部接口942是用于将记录/再现设备940连接到外部装置或网络的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口、闪存接口等。例如，经外部接口942接收的视频数据和音频数据被输入到编码器943。换句话说，外部接口942在记录/再现设备940中用作发送单元。

如果从外部接口942输入的视频数据和音频数据未被编码，则编码器943对该视频数据和音频数据进行编码。编码器943随后将编码比特流输出到选择器946。

HDD 944将包括压缩内容数据(诸如，视频和音频)的编码比特流、各种程序和其它数据记录在内部硬盘上。另外，当再现视频和音频时，HDD 944从硬盘读取上述数据。

盘驱动器945将数据记录在放置在它里面的记录介质上并且从放置在它里面的记录介质读取数据。放置在盘驱动器945中的记录介质可以是例如DVD盘(诸如，DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或Blu-ray(注册商标)盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将选择的编码比特流输出到HDD 944或盘驱动器945。当再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码以产生视频数据和音频数据。解码器947随后将产生的视频数据输出到OSD 948。解码器904还将产生的音频数据输出到外部扬声器。

OSD 948再现从解码器947输入的视频数据，并且显示视频。另外，OSD 948还可将GUI图像(诸如，菜单、按钮或光标)叠加在将要显示的视频上。

控制单元949包括处理器(诸如，CPU)和存储器(诸如，RAM和ROM)。存储器存储将要由CPU执行的程序、节目数据等。当例如记录/再现设备940启动时，存储在存储器中的程序由CPU读取并且执行。CPU根据例如从用户接口950输入的操作信号执行程序以控制记录/再现设备940的操作。

用户接口950连接到控制单元949。用户接口950包括例如用于允许用户操作记录/再现设备940的按钮和开关、用于遥控信号的接收单元等。用户接口950检测用户经上述部件的操作以产生操作信号，并且将产生的操作信号输出到控制单元949。

在具有上述结构的记录/再现设备940中，编码器943具有根据前面的实施例的图像编码装置10(图14)的功能。另外，解码器947具有根据前面的实施例的图像解码装置300(图22)的功能。因此，记录/再现设备940能够抑制缩放列表的编码的量的增加。

<第四示例性应用：成像设备>

图56表示应用前面的实施例的成像设备的示意性结构的例子。成像设备960捕捉物体的图像以产生图像数据，对图像数据进行编码，并且将编码图像数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972用于将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970彼此连接。

光学块961包括聚焦透镜、孔径机构等。光学块961在成像单元962的成像表面上形成物体的光学图像。成像单元962包括图像传感器(诸如，CCD或CMOS图像传感器)，并且通过执行光电转换来将形成在成像表面上的光学图像转换成用作电信号的图像信号。成像单元962随后将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种照相机信号处理操作，诸如拐点校正、伽马校正和颜色校正。信号处理单元963将经受了照相机信号处理操作的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码以产生编码数据。图像处理单元964随后将产生的编码数据输出到外部接口966或介质驱动器968。另外，图像处理单元964对从外部接口966或介质驱动器968输入的编码数据进行解码以产生图像数据。图像处理单元964随后将产生的图像数据输出到显示单元965。另外，图像处理单元964还可将从信号处理单元963输入的图像数据输出到显示单元965以使得显示图像。此外，图像处理单元964还可将从OSD 969获取的显示数据叠加在将要被输出到显示单元965的图像上。

OSD 969产生GUI图像(诸如，菜单、按钮或光标)，并且将产生的图像输出到图像处理单元964。

外部接口966被形成为例如USB输入/输出端子。当打印图像时，外部接口966将例如成像设备960连接到打印机。如果必要，则驱动器也连接到外部接口966。可移动介质(诸如，磁盘或光盘)被放置在该驱动器中，并且从可移动介质读取的程序可被安装在成像设备960中。另外，外部接口966还可被形成为网络接口以连接到网络(诸如，LAN或互联网)。换句话说，外部接口966在成像设备960中用作发送单元。

将要被放置在介质驱动器968中的记录介质可以是例如任何可读/可写的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。替代地，记录介质可被固定地连接到介质驱动器968，并且可形成内置硬盘驱动器或非便携式存储单元，诸如SSD(固态驱动器)。

控制单元970包括处理器(诸如，CPU)和存储器(诸如，RAM和ROM)。存储器存储将要由CPU执行的程序、节目数据等。当例如成像设备960启动时，存储在存储器中的程序由CPU读取并且执行。CPU根据例如从用户接口971输入的操作信号执行程序以控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971包括例如用于允许用户操作成像设备960的按钮、开关等。用户接口971检测用户经上述部件的操作以产生操作信号，并且将产生的操作信号输出到控制单元970。

在具有上述结构的成像设备960中，图像处理单元964具有根据前面的实施例的图像编码装置10(图14)的功能和图像解码装置300(图22)的功能。因此，成像设备960能够抑制缩放列表的编码的量的增加。

<7.可缩放编码的示例性应用>

<第一系统>

接下来，将描述已使用可缩放编码(分层(图像)编码)编码的可缩放编码数据的使用的特定例子。可缩放编码可被用于例如待发送的数据的选择，如图57中示出的例子中所示。

在图57中示出的数据发送系统1000中，分发服务器1002读取存储在可缩放编码数据存储单元1001中的可缩放编码数据，并且经网络1003将可缩放编码数据分发给终端装置(诸如，个人计算机1004、AV装置1005、平板装置1006和移动电话1007)。

在这种情况下，分发服务器1002根据终端装置的性能、通信环境等选择具有期望的质量的编码数据，并且发送选择的编码数据。即使分发服务器1002发送具有高于必要水平的质量的数据，终端装置也可能并不总是获得高质量图像，并且可能引起延迟或溢出。另外，这种数据可能占用超过必要水平的通信带宽，或者可能将终端装置上的负载增加到超过必要水平。相反地，即使分发服务器1002发送具有低于必要水平的质量的数据，终端装置也可能并不必然获得具有足够质量的图像。因此，分发服务器1002根据需要读取存储在可缩放编码数据存储单元1001中的可缩放编码数据作为具有适合终端装置的性能、通信环境等的质量的编码数据，并且发送读取的编码数据。

例如，假设可缩放编码数据存储单元1001存储已被执行可缩放编码的可缩放编码数据(BL+EL)1011。可缩放编码数据(BL+EL)1011是包括基本层和增强层的编码数据，并且是被解码以获得基本层的图像和增强层的图像的数据。

分发服务器1002根据发送数据的终端装置的性能、通信环境等选择合适的层，并且读取该层的数据。例如，分发服务器1002从可缩放编码数据存储单元1001读取高质量可缩放编码数据(BL+EL)1011，并且将读取的可缩放编码数据(BL+EL)1011按原样发送给具有高处理能力的个人计算机1004或平板装置1006。相比之下，例如，分发服务器1002从可缩放编码数据(BL+EL)1011提取基本层的数据，并且将提取的基本层的数据发送给具有低处理能力的AV装置1005和移动电话1007，作为具有与可缩放编码数据(BL+EL)1011相同的内容但具有比可缩放编码数据(BL+EL)1011低的质量的可缩放编码数据(BL)1012。

以这种方式使用可缩放编码数据方便数据的量的调整，由此抑制延迟或溢出的发生并且抑制终端装置或通信介质上的负载的不必要的增加。另外，可缩放编码数据(BL+EL)1011具有减少的层之间的冗余，并且因此与具有单独编码的各层的数据的数据相比具有更少的量的数据。因此，能够更高效地使用可缩放编码数据存储单元1001的存储区域。

需要注意的是，由于各种装置(诸如，个人计算机1004、AV装置1005、平板装置1006和移动电话1007)能够被用作终端装置，所以终端装置的硬件性能针对每个装置而不同。另外，由于各种应用可由终端装置执行，所以应用的软件能力可不同。另外，用作通信介质的网络1003可被实现为任何通信线路网络(所述通信线路网络能够是有线通信线路网络、无线通信线路网络或二者，诸如互联网和LAN(局域网))，并且具有各种数据传输能力。这种性能和能力可根据其它通信等而不同。

因此，在数据的发送开始之前，分发服务器1002可与数据将要被发送到的终端装置通信，并且可获得关于终端装置的能力的信息(诸如，终端装置的硬件性能或由终端装置执行的应用(软件)的性能)并且还获得关于通信环境的信息(诸如，网络1003的可用带宽)。另外，分发服务器1002可基于获得的信息选择合适的层。

需要注意的是，层可由终端装置提取。例如，个人计算机1004可对发送的可缩放编码数据(BL+EL)1011进行解码，并且显示基本层的图像或增强层的图像。替代地，例如，个人计算机1004可从发送的可缩放编码数据(BL+EL)1011提取基本层的可缩放编码数据(BL)1012，存储提取的可缩放编码数据(BL)1012，将提取的可缩放编码数据(BL)1012传送到另一装置，或者对提取的可缩放编码数据(BL)1012进行解码以显示基本层的图像。

当然，可缩放编码数据存储单元1001的数量、分发服务器1002的数量、网络1003的数量和终端装置的数量是任意的。另外，尽管已给出分发服务器1002将数据发送给终端装置的例子的描述，但使用的例子不限于这个例子。数据发送系统1000可被用在当将已使用可缩放编码编码的编码数据发送给终端装置时根据终端装置的能力、通信环境等选择合适的层的任何系统。

另外，以类似于以上参照图49至图51描述的针对分级编码和分级解码的应用的方式，本技术还能够被应用于上述如图57中所示的数据发送系统1000，由此实现与以上参照图49至图51描述的优点类似的优点。

<第二系统>

例如，如图58中示出的例子中所示，可缩放编码还可被用于经多个通信介质的传输。

在图58中示出的数据发送系统1100中，广播站1101经地面广播1111发送基本层的可缩放编码数据(BL)1121。广播站1101还经期望的网络1112(该网络1112由能够是有线通信网络、无线通信网络或二者的通信网络形成)发送(例如，打包并发送)增强层的可缩放编码数据(EL)1122。

终端装置1102具有从广播站1101接收地面广播1111的功能，并且经地面广播1111接收基本层的可缩放编码数据(BL)1121。终端装置1102还具有经网络1112执行通信的通信功能，并且接收经网络1112发送的增强层的可缩放编码数据(EL)1122。

终端装置1102根据例如用户指令等对经地面广播1111获取的基本层的可缩放编码数据(BL)1121进行解码以获得基本层的图像，存储可缩放编码数据(BL)1121，或者将可缩放编码数据(BL)1121传送到另一装置。

另外，终端装置1102根据例如用户指令等组合经地面广播1111获取的基本层的可缩放编码数据(BL)1121与经网络1112获取的增强层的可缩放编码数据(EL)1122，以获得可缩放编码数据(BL+EL)，并且对可缩放编码数据(BL+EL)进行解码以获得增强层的图像，存储可缩放编码数据(BL+EL)，或者将可缩放编码数据(BL+EL)传送到另一装置。

如上所述，能够经例如针对每个层而不同的通信介质传输可缩放编码数据。因此，能够分配负载，并且能够防止发生延迟或溢出。

此外，可根据情况针对每个层选择将要用于传输的通信介质。例如，可经具有大带宽的通信介质传输具有相对较大的量的数据的基本层的可缩放编码数据(BL)1121，并且可经具有窄带宽的通信介质传输具有相对较小的量的数据的增强层的可缩放编码数据(EL)1122。替代地，例如，用于传输增强层的可缩放编码数据(EL)1122的通信介质可根据网络1112的可用带宽在网络1112和地面广播1111之间切换。自然，以上情况类似地应用于任意层的数据。

以上述方式进行的控制能够进一步抑制数据传输的负载的增加。

当然，层的数量是任意的，并且用于传输的通信介质的数量也是任意的。另外，数据将要被分发到的终端装置1102的数量也是任意的。另外，尽管已作为例子在从广播站1101广播的情况下给出描述，但使用的例子不限于这个例子。数据发送系统1100可被用在以层为单位将使用可缩放编码编码的数据划分为多个段并且经多个线路传输数据段的任何系统中。

另外，以类似于以上参照图49至图51描述的针对分级编码和分级解码的应用的方式，本技术还能够被应用于上述如图58中所示的数据发送系统1100，由此实现与以上参照图49至图51描述的优点类似的优点。

<第三系统>

例如，如图59中示出的例子中所示，可缩放编码还可被用于编码数据的存储。

在图59中示出的成像系统1200中，成像设备1201对通过捕捉物体1211的图像而获得的图像数据执行可缩放编码，并且将所获得的数据提供给可缩放编码数据存储装置1202作为可缩放编码数据(BL+EL)1221。

可缩放编码数据存储装置1202以与情况对应的质量存储从成像设备1201提供的可缩放编码数据(BL+EL)1221。例如，在正常时间中，可缩放编码数据存储装置1202从可缩放编码数据(BL+EL)1221提取基本层的数据，并且存储提取的基本层的数据作为具有低质量和少量数据的基本层的可缩放编码数据(BL)1222。相比之下，例如，在关注时间中，可缩放编码数据存储装置1202按原样存储具有高质量和大量数据的可缩放编码数据(BL+EL)1221。

因此，可缩放编码数据存储装置1202能够仅在必要时以高质量保存图像。这能够在抑制由于质量的降低导致的图像的价值的降低的同时抑制数据的量的增加，并且能够提高存储区域的使用效率。

例如，假设成像设备1201是安全照相机。如果待监视的物体(例如，侵入者)未出现在捕捉图像中(正常时间)，则捕捉图像可能不具有重要的内容。因此，优先考虑数据的量的减少，并且图像的图像数据(可缩放编码数据)被以低质量存储。相比之下，如果待监视的物体作为物体1211出现在捕捉图像中(关注时间)，则捕捉图像可能具有重要的内容。因此，优先考虑图像质量，并且图像的图像数据(可缩放编码数据)被以高质量存储。

需要注意的是，正常时间或关注时间可由例如可缩放编码数据存储装置1202通过分析图像来确定。替代地，成像设备1201可确定正常时间或关注时间，并且可将确定结果发送给可缩放编码数据存储装置1202。

需要注意的是，正常时间或关注时间的确定可基于任意标准，并且该确定所基于的图像可具有任何内容。当然，除图像的内容之外的条件可被用作确定标准。状态可根据例如记录的音频的大小、波形等而改变，或者可按照预定时间段的间隔改变。替代地，状态可根据外部指令(诸如，用户指令)改变。

另外，尽管已给出在两个状态(即，正常时间和关注时间)之间改变的例子的描述，但状态的数量是任意的，并且可在超过两个状态(诸如，正常时间、关注时间、更加关注时间和严重关注时间)之间执行状态改变。需要注意的是，将要改变的状态的上限数量取决于可缩放编码数据的层的数量。

此外，成像设备1201可被构造为根据状态确定可缩放编码的层的数量。例如，在正常时间中，成像设备1201可产生具有低质量和少量数据的基本层的可缩放编码数据(BL)1222，并且将产生的可缩放编码数据(BL)1222提供给可缩放编码数据存储装置1202。另外，例如，在关注时间中，成像设备1201可产生具有高质量和大量数据的基本层的可缩放编码数据(BL+EL)1221，并且将产生的可缩放编码数据(BL+EL)1221提供给可缩放编码数据存储装置1202。

尽管安全照相机已被描述为例子，但成像系统1200可被用在任何应用中，并且可被用在除安全照相机之外的应用中。

另外，以类似于以上参照图49至图51描述的针对分级编码和分级解码的应用的方式，本技术还能够被应用于上述图59中示出的成像系统1200，由此实现与以上参照图49至图51描述的优点类似的优点。

需要注意的是，本技术还能够被应用于HTTP流传输，诸如MPEG DASH，其中从预先准备并且具有不同分辨率的多条编码数据之中选择合适的编码数据并且以段为单位使用选择的合适的编码数据。换句话说，也能够在多条编码数据之间共享关于编码和解码的信息。

理所当然地，应用本技术的图像编码装置和图像解码装置还能够被应用于除上述设备之外的设备或系统。

需要注意的是，这里已描述这样的例子：量化矩阵(或用于形成量化矩阵的系数)被从编码侧发送到解码侧。用于发送量化矩阵的技术可以是：发送或记录量化矩阵作为与编码比特流关联的分开的数据，而不将量化参数复用到编码比特流中。如这里所使用，术语“关联”表示：当比特流中所包括的图像(该图像可以是图像的一部分，诸如片或块)被解码时，允许该图像链接到与该图像对应的信息。也就是说，可在与图像(或比特流)的传输路径不同的传输路径上传输该信息。另外，该信息可被记录在与图像(或比特流)的记录介质不同的记录介质上(或记录在同一记录介质的不同记录区域中)。此外，信息和图像(或比特流)可按照任意单位彼此关联，诸如多个帧、一个帧或帧的一部分。

图像处理方法。

标号列表

10图像编码装置，14正交变换/量化单元，16无损编码单元，150矩阵处理单元，192DPCM单元，211 DC系数编码单元，212 AC系数DPCM单元，300图像解码装置，312无损解码单元，313去量化/逆正交变换单元，410矩阵产生单元，552逆DPCM单元，571初始设置单元，572DPCM解码单元，573 DC系数提取单元，611 AC系数缓冲器，612 AC系数编码单元，613 AC系数DPCM单元，614 DC系数DPCM单元，621初始设置单元，622 AC系数DPCM解码单元，623 AC系数缓冲器，624 DC系数DPCM解码单元，631 AC系数DPCM单元，632 DC系数缓冲器，633 DC系数DPCM单元，641初始设置单元，642 AC系数DPCM解码单元，643 DC系数DPCM解码单元。

Claims

1.一种图像处理装置，包括:

解码单元，对包括替换差系数的编码数据进行解码以产生量化数据，该替换差系数是在替换位于第二尺寸的第二量化矩阵的开头处的系数时使用的替换系数与位于第一尺寸的第一量化矩阵的开头处的系数的差值，该第二尺寸的第二量化矩阵是通过对所述第一尺寸的第一量化矩阵执行最近邻居内插处理而被上转换而得的；

设置单元，在复制量化矩阵的情况下，所述设置单元以识别量化矩阵的参考目的地的量化矩阵参考值与识别量化矩阵的量化矩阵识别值的差值为0为条件，参考默认量化矩阵来设置所述第二尺寸的第二量化矩阵，在不复制量化矩阵的情况下，所述设置单元对所述第一尺寸的第一量化矩阵执行所述最近邻居内插处理，将进而位于开头处的系数替换为所述替换系数，从而设置所述第二尺寸的第二量化矩阵，其中，所述第一尺寸的第一量化矩阵是将所述替换系数和所述替换差系数相加得到的系数设置为位于开头处的系数的量化矩阵；以及

去量化单元，使用由所述设置单元设置的所述第二尺寸的第二量化矩阵，对由所述解码单元所产生的量化数据执行去量化处理。

2.根据权利要求1所述的图像处理装置，其中，

所述解码单元对包括所述第一尺寸的第一量化矩阵的系数之间的差值即差系数的所述编码数据进行解码，

所述设置单元在不复制量化矩阵的情况下，通过对所述差系数执行加法处理来设置所述第一尺寸的第一量化矩阵。

3.根据权利要求2所述的图像处理装置，其中，

所述解码单元对以收集所述替换差系数和所述差系数而得的差系数组作为语法的所述编码数据进行解码。

4.根据权利要求3所述的图像处理装置，其中，

所述替换差系数和所述差系数按照所述替换差系数、所述差系数的次序作为语法被包括在所述编码数据中，

所述解码单元按照所述替换差系数、所述差系数的次序对所述替换差系数和所述差系数进行解码。

5.根据权利要求4所述的图像处理装置，其中，

所述解码单元对包括所述替换系数与对量化矩阵设置的系数的初始值的差值即初始差系数的所述编码数据进行解码，

所述设置单元在不复制量化矩阵的情况下，通过对所述初始差系数加上所述初始值来设置所述替换系数。

6.根据权利要求5所述的图像处理装置，其中，

所述初始差系数和所述差系数组按照所述初始差系数、所述差系数组的次序作为语法被包括在编码数据中，

所述解码单元按照所述初始差系数、所述差系数组的次序对所述初始差系数和所述差系数组进行解码。

7.根据权利要求6所述的图像处理装置，其中，

所述初始差系数和所述差系数组按照所述初始差系数、所述差系数组的次序被指数Golomb编码而包括在所述编码数据中，

所述解码单元按照所述初始差系数、所述差系数组的次序对被指数Golomb编码的所述初始差系数和被指数Golomb编码的所述差系数组进行指数Golomb解码。

8.根据权利要求7所述的图像处理装置，还包括:

逆正交变换单元，对由所述去量化单元所产生的变换系数数据执行逆正交变换。

9.根据权利要求8所述的图像处理装置，其中，

所述逆正交变换单元以所述第二尺寸的变换单位执行逆正交变换。

10.一种图像处理方法，其中，

对包括替换差系数的编码数据进行解码以产生量化数据，该替换差系数是在替换位于第二尺寸的第二量化矩阵的开头处的系数时使用的替换系数与位于第一尺寸的第一量化矩阵的开头处的系数的差值，该第二尺寸的第二量化矩阵是通过对所述第一尺寸的第一量化矩阵执行最近邻居内插处理而被上转换而得的；

在复制量化矩阵的情况下，以识别量化矩阵的参考目的地的量化矩阵参考值与识别量化矩阵的量化矩阵识别值的差值为0为条件，参考默认量化矩阵来设置所述第二尺寸的第二量化矩阵；

在不复制量化矩阵的情况下，对所述第一尺寸的第一量化矩阵执行所述最近邻居内插处理，将进而位于开头处的系数替换为所述替换系数，从而设置所述第二尺寸的第二量化矩阵，其中，所述第一尺寸的第一量化矩阵是将所述替换系数和所述替换差系数相加得到的系数设置为位于开头处的系数的量化矩阵；

使用所设置的所述第二尺寸的第二量化矩阵，对所产生的量化数据执行去量化处理。

11.根据权利要求10所述的图像处理方法，其中，

对包括所述第一尺寸的第一量化矩阵的系数之间的差值即差系数的所述编码数据进行解码，

在不复制量化矩阵的情况下，通过对所述差系数执行加法处理来设置所述第一尺寸的第一量化矩阵。

12.根据权利要求11所述的图像处理方法，其中，

对以收集所述替换差系数和所述差系数而得的差系数组作为语法的所述编码数据进行解码。

13.根据权利要求12所述的图像处理方法，其中，

按照所述替换差系数、所述差系数的次序对所述替换差系数和所述差系数进行解码。

14.根据权利要求13所述的图像处理方法，其中，

对包括所述替换系数与对量化矩阵设置的系数的初始值的差值即初始差系数的所述编码数据进行解码，

在不复制量化矩阵的情况下，通过对所述初始差系数加上所述初始值来设置所述替换系数。

15.根据权利要求14所述的图像处理方法，其中，

按照所述初始差系数、所述差系数组的次序对所述初始差系数和所述差系数组进行解码。

16.根据权利要求15所述的图像处理方法，其中，

按照所述初始差系数、所述差系数组的次序对被指数Golomb编码的所述初始差系数和被指数Golomb编码的所述差系数组进行指数Golomb解码。

17.根据权利要求16所述的图像处理方法，其中，

对所产生的变换系数数据执行逆正交变换。

18.根据权利要求17所述的图像处理方法，其中，以所述第二尺寸的变换单位执行逆正交变换。