CN107277516B - 图像处理设备和方法 - Google Patents

Abstract

本公开涉及一种能够抑制缩放列表的编码量的增加的图像处理设备和方法。该图像处理设备通过将作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数加入位于量化矩阵的开始处的系数，设定位于量化矩阵的开始处的系数，所述置换系数被用于置换位于量化矩阵的开始处的系数。被设定的量化矩阵被向上转换，并且利用向上转换量化矩阵对量化数据进行逆量化，在所述向上转换量化矩阵中，已经用所述置换系数置换了位于向上转换量化矩阵的开始处的系数。本技术可以应用于图像处理设备。

Description

图像处理设备和方法

本申请是同一申请人的申请日为2013年2月20日的、申请号为201380010684.7(PCT/JP2013/054126)、发明名称为“图像处理设备和方法”的中国发明专利申请的分案申请。

技术领域

本公开涉及图像处理设备和方法。

背景技术

在作为视频编码方案的标准规范之一的H.264/AVC(高级视频编码)中，高规格(high profile)以上的规格允许利用因正交变换系数的分量而异的量化步长的图像数据的量化。根据参考步长值和依据与正交变换的单位等同的大小限定的量化矩阵(也称为位阶列表)，可设定正交变换系数的各个分量的量化步长。

为每种预测模式(帧内预测模式，帧间预测模式)和为每种变换单位大小(4×4,8×8)，准备量化矩阵的规定值。此外，允许用户在序列参数集或图像参数集中，指定与所述规定值不同的独特量化矩阵。在不使用量化矩阵的情况下，对所有分量来说，用于量化的量化步长大小都相等。

在作为下一代视频编码方案正在进行标准化并且是H.264/AVC的后继者的HEVC(高效视频编码)中，引入了对应于传统宏块的编码单位(CU)的概念(例如，参见NPL 1)。编码单位的大小的范围由序列参数集中的称为最大编码单位(LCU)和最小编码单位(SCU)的为2的乘幂的一组值指定。此外，利用split_flag指定在由LCU和SCU指定的范围中的具体编码单位大小。

在HEVC中，一个编码单位可被分成一个或多个正交变换单位，或者一个或多个变换单位(TU)。可用的变换单位大小是4×4、8×8、16×16和32×32任意之一。

同时，为了诸如传输期间的编码量的减小之类的目的，量化矩阵(位阶列表)的DC分量(也称为直流分量)是以和其AC分量(也称为交流分量)不同的数据的形式传送的。具体地，以不同于AC系数(也称为交流系数)的DC系数(也称为直流系数)的形式，传送位阶列表的DC分量，所述AC系数是位阶列表的AC分量。

为了减小传输期间的DC系数的编码量，已提出从DC系数的值中减去常数(例如，8)，并利用有符号的指数Golomb编码，编码作为结果的值(scaling_list_dc_coef_minus8)(例如，参见NPL1)。

引文列表

非专利文献

NPL 1:Benjamin Bross,Fraunhofer HHI,Woo-Jin Han,Gachon University,Jens-Rainer Ohm,RWTH Aachen,Gary J.Sullivan,Microsoft,Thomas Wiegand,Fraunhofer HHI/TU Berlin,JCTVC-H1003,“High Efficiency Video Coding(HEVC)textspecification draft 6”,Joint Collaborative Team on Video Coding(JCT-VC)ofITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting:Geneva,CH,21-30November,2011

发明内容

然而，尽管上述方法便利了处理，但是担心它不会提供足够的压缩效率。

鉴于上述情况，提出了本公开，本公开的一个目的是能够抑制位阶列表(scalinglist)的编码量的增加。

本技术的一个方面提供一种图像处理设备，包括：设定单元，被配置成通过将作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数加入位于量化矩阵的开始处的系数，设定位于量化矩阵的开始处的系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；向上转换单元，被配置成对由所述设定单元设定的量化矩阵进行向上转换以设定向上转换量化矩阵；以及逆量化单元，被配置成利用向上转换量化矩阵对通过解码编码数据而获得的量化数据进行逆量化，在所述向上转换量化矩阵中，已经用所述置换系数置换了位于由所述向上转换单元设定的向上转换量化矩阵的开始处的系数。

所述设定单元通过将所述置换系数与为所述量化矩阵设定的初始值之间的差值加入所述初始值，设定所述置换系数。

所述设定单元利用所述置换差值系数和作为所述量化矩阵的系数之间的差值的差值系数来设定所述量化矩阵的系数。

集体地传送所述置换差值系数和作为所述量化矩阵的系数之间的差值的所述差值系数。所述设定单元利用集体地传送的置换差值系数和差值系数来设定所述量化矩阵的系数。

所述置换差值系数和作为所述量化矩阵的系数之间的差值的所述差值系数已被编码。所述设定单元对编码的所述置换差值系数和编码的所述差值系数进行解码。

所述向上转换单元通过对大小被限制为不大于所述传送大小的所述量化矩阵的矩阵元素执行最邻近插值处理，对所述量化矩阵进行向上转换。

所述传送大小是8×8。所述向上转换单元通过对8×8大小的量化矩阵的矩阵元素执行最邻近插值处理，将8×8大小的量化矩阵向上转换成16×16大小的量化矩阵。

所述向上转换单元通过对8×8大小的量化矩阵的矩阵元素执行最邻近插值处理，将8×8大小的量化矩阵向上转换成32×32大小的量化矩阵。

作为执行解码处理的处理单位的编码单位和作为执行变换处理的处理单位的变换单位具有分层结构。所述图像处理设备还包括解码单元，所述解码单元被配置成利用具有分层结构的单位对编码的数据执行解码处理以生成量化数据。所述向上转换单元将所述量化矩阵从所述传送大小向上转换成作为执行逆量化的处理单位的变换单位的大小。

本技术的一个方面提供一种图像处理方法，包括：通过将作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数加入位于量化矩阵的开始处的系数，设定位于量化矩阵的开始处的系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；对设定的量化矩阵进行向上转换以设定向上转换量化矩阵；以及利用向上转换量化矩阵对通过解码编码数据而获得的量化数据进行逆量化，在所述向上转换量化矩阵中，已经用所述置换系数置换了位于所设定的向上转换量化矩阵的开始处的系数。

本技术的另一方面提供了一种图像处理设备，包括：设定单元，被配置成设定作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；量化单元，被配置成对图像进行量化以生成量化数据；以及传送单元，被配置成传送通过对由所述量化单元生成的量化数据进行编码而获得的编码数据、通过对所述置换系数进行编码而获得的置换系数数据以及通过对由所述设定单元设定的置换差值系数进行编码而获得的置换差值系数数据。

所述设定单元设定所述置换系数与为所述量化矩阵设定的初始值之间的差值。

所述设定单元设定作为所述量化矩阵的系数之间的差值的差值系数。所述传送单元传送通过对由所述设定单元设定的差值系数进行编码而获得的差值系数数据。

所述传送单元集体地传送所述置换系数数据和所述置换差值系数数据。

所述传送单元按所述置换系数数据和所述置换差值系数数据的顺序传送所述置换系数数据和所述置换差值系数数据。

所述量化单元利用所述量化矩阵或所述向上转换量化矩阵对图像进行量化。

作为执行编码处理的处理单位的编码单位和作为执行变换处理的处理单位的变换单位具有分层结构。所述图像处理设备还包括编码单元，所述编码单元被配置成对由所述量化单元生成的量化数据进行编码。

本技术的另一方面提供一种图像处理方法，包括：设定作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；对图像进行量化以生成量化数据；以及传送通过对所生成的量化数据进行编码而获得的编码数据、通过对所述置换系数进行编码而获得的置换系数数据以及通过对所设定的置换差值系数进行编码而获得的置换差值系数数据。

本技术的还一方面提供一种图像处理设备，包括：解码单元，被配置成对编码数据进行解码以生成量化数据；和逆量化单元，被配置成当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，利用与作为执行逆量化的处理单位的块大小相同的大小的缺省量化矩阵，对由所述解码单元生成的量化数据进行逆量化。

所述逆量化单元通过对语法进行分析来逆量化所述量化数据，所述语法的语义被设定成当所述量化矩阵参考数据匹配所述量化矩阵识别数据时参考所述缺省量化矩阵。

所述逆量化单元通过对语法进行分析来逆量化所述量化数据，所述语法的语义被设定成当所述量化矩阵参考数据与所述量化矩阵识别数据之间的差值等于0时参考所述缺省量化矩阵。

本技术的还一方面提供一种图像处理方法，包括：对编码数据进行解码以生成量化数据；和当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，利用与作为执行逆量化的处理单位的块大小相同的大小的缺省量化矩阵，对在所述解码中生成的量化数据进行逆量化。

本技术的还一方面提供一种图像处理设备，包括：编码单元，被配置成对图像进行编码以生成编码数据；和设定单元，被配置成将一种语法设定为由所述编码单元生成的编码数据的语法，所述语法的语义被设定成当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，参考与作为执行量化的处理单位的块大小相同的大小的缺省量化矩阵。

本技术的还一方面提供一种图像处理方法，包括：对图像进行编码以生成编码数据；和将一种语法设定为所生成的编码数据的语法，所述语法的语义被设定成当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，参考与作为执行量化的处理单位的块大小相同的大小的缺省量化矩阵。

在本技术的一个方面中，通过将作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数加入位于量化矩阵的开始处的系数，设定位于量化矩阵的开始处的系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；对设定的量化矩阵进行向上转换以设定向上转换量化矩阵；以及利用向上转换量化矩阵对通过解码编码数据而获得的量化数据进行逆量化，在所述向上转换量化矩阵中，已经用所述置换系数置换了位于由所述向上转换单元设定的向上转换量化矩阵的开始处的系数。

在本技术的另一方面中，设定作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；对图像进行量化以生成量化数据；以及传送通过对生成的量化数据进行编码而获得的编码数据、通过对所述置换系数进行编码而获得的置换系数数据以及通过对设定的置换差值系数进行编码而获得的置换差值系数数据。

在本技术的另一方面中，对编码数据进行解码以生成量化数据；和当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，利用与作为执行逆量化的处理单位的块大小相同的大小的缺省量化矩阵，对在解码中生成的量化数据进行逆量化。

在本技术的还一方面中，对图像进行编码以生成编码数据；和将一种语法设定为生成的编码数据的语法，所述语法的语义被设定成当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，参考与作为执行量化的处理单位的块大小相同的大小的缺省量化矩阵。

根据本技术，可以处理图像。具体来说，可以抑制量化矩阵的编码量的增加。

附图说明

图1是图解说明位阶列表的例子的示图。

图2是图解说明向上转换的例子的示图。

图3是图解说明在解码器中如何使用位阶列表的例子的示图。

图4是图解说明位阶列表的编码的例子的示图。

图5是图解说明利用本技术的位阶列表的编码例子的示图。

图6是图解说明指数Golomb码的例子的示图。

图7包括图解说明位阶列表的语法的例子的示图。

图8是图解说明默认矩阵的语法的例子的示图。

图9包括图解说明默认矩阵的语义的例子的示图。

图10是图解说明位阶列表的语法的例子的示图。

图11是图解说明利用本技术的位阶列表的语法的例子的示图。

图12包括图解说明现有技术中的位阶列表的语法的例子的示图。

图13是图解说明位阶列表的语法的例子的示图。

图14是图解说明图像编码设备的主要结构的例子的方框图。

图15是图解说明正交变换/量化单元的主要结构的例子的方框图。

图16是图解说明矩阵处理单元的主要结构的例子的方框图。

图17是图解说明下采样的例子的示图。

图18是图解重复部分的消除的例子的示图。

图19是图解说明DPCM单元的主要结构的例子的方框图。

图20是图解说明量化矩阵编码处理的流程的例子的流程图。

图21是图解说明DPCM处理的流程的例子的流程图。

图22是图解说明图像解码设备的主要结构的例子的方框图。

图23是图解说明逆量化/逆正交变换单元的主要结构的例子的方框图。

图24是图解说明矩阵生成单元的主要结构的例子的方框图。

图25是图解说明最近邻插值处理的例子的示图。

图26是图解说明逆DPCM单元的主要结构的例子的方框图。

图27是图解说明矩阵生成处理的流程的例子的流程图。

图28是图解说明残差信号解码处理的流程的例子的流程图。

图29是图解说明逆DPCM处理的流程的例子的流程图。

图30是图解说明位阶列表的语法的另一个例子的示图。

图31是图解说明DPCM单元的另一种例证结构的方框图。

图32是图解说明DPCM处理的流程的另一个例子的流程图。

图33是图解说明逆DPCM单元的另一种例证结构的方框图。

图34是图解说明逆DPCM处理的流程的另一个例子的流程图。

图35是图解说明位阶列表的语法的另一个例子的示图。

图36是图解说明逆DPCM处理的流程的另一个例子的流程图。

图37是图解说明位阶列表的语法的另一个例子的示图。

图38是图解说明DPCM单元的另一种例证结构的方框图。

图39是图解说明DPCM处理的另一个例子的流程图。

图40是图解说明逆DPCM单元的另一种例证结构的方框图。

图41是图解说明逆DPCM处理的流程的另一个例子的流程图。

图42是延续自图41的，图解说明逆DPCM处理的流程的另一个例子的流程图。

图43包括图解说明位阶列表的语法的另一个例子的示图。

图44包括图解说明位阶列表的语法的另一个例子的示图。

图45包括图解说明位阶列表的语法的另一个例子的示图。

图46是图解说明多视点图像编码方案的例子的示图。

图47是图解说明本技术适用于的多视点图像编码设备的主要结构的例子的示图。

图48是图解说明本技术适用于的多视点图像解码设备的主要结构的例子的示图。

图49是图解说明分层图像编码方案的例子的示图。

图50是图解说明本技术适用于的分层图像编码设备的主要结构的例子的示图。

图51是图解说明本技术适用于的分层图像解码设备的主要结构的例子的示图。

图52是图解说明计算机的主要结构的例子的方框图。

图53是图解说明电视机的主要结构的例子的方框图。

图54是图解说明移动终端的主要结构的例子的方框图。

图55是图解说明记录/再现设备的主要结构的例子的方框图。

图56是图解说明成像设备的主要结构的例子的方框图。

图57是图解说明可缩放编码的使用例子的方框图。

图58是图解说明可缩放编码的再一个使用例子的方框图。

图59是图解说明可缩放编码的另一个使用例子的方框图。

具体实施方式

下面说明实现本公开的方式(下面称为实施例)。在这方面，将按照以下顺序进行说明。

1.第一实施例(本技术的例证应用)

2.第二实施例(图像编码设备，图像解码设备：第一种方法)

3.第三实施例(图像编码设备，图像解码设备：第二种方法)

4.第四实施例(图像编码设备，图像解码设备：第三种方法)

5.第五实施例(图像编码设备，图像解码设备：第四种方法)

6.第六实施例(图像编码设备，图像解码设备：其它方法)

7.第七实施例(多视频图像编码设备，多视点图像解码设备)

8.第八实施例(分层图像编码设备，分层图像解码设备)

9.第九实施例(计算机)

10.例证应用

11.可缩放编码的例证应用

<1.第一实施例>

在本实施例中，将说明在本技术的第二实施例及之后的各个实施例中详细说明的本技术的例证应用。

<1-1.本技术的例证应用>

首先，说明本技术适用于的代表性例子。本技术是与在当编码和解码图像数据时进行的量化处理和逆量化处理中使用的位阶列表的编码和解码相关的技术。

图像数据的编码和解码涉及系数数据的量化和逆量化。这种量化和逆量化是以具有预定大小的块为单元进行的，并且使用大小与所述块大小对应的位阶列表(或量化矩阵)。例如，在HEVC(高效视频编码)中，利用诸如4×4,8×8,16×16和32×32之类的大小进行量化(或逆量化)。在HEVC中，可以准备具有4×4和8×8大小的量化矩阵。

图1图解说明8×8位阶列表的例子。如图1中图解所示，位阶列表包括DC系数和AC系数。由1个值构成的DC系数是量化矩阵的(0,0)系数，对应于离散余弦变换(DCT)的DC系数。AC系数是量化矩阵的除(0,0)系数外的系数，对应于DCT的除DC系数外的系数。注意，如图1中图解所示，AC系数用矩阵表示。即，AC系数还包括(0,0)系数(下面也称为AC系数(0,0))，并且当用于量化/逆量化时，位于量化矩阵的开始部分的(0,0)系数被DC系数置换。从而，DC系数也被称为置换系数。在图1中图解所示的例子中，AC系数构成8×8矩阵。

在HEVC中，此外，8×8量化矩阵的向上转换形式(向上转换)被用于16×16或32×32量化(或逆量化)。

图2图解说明8×8位阶列表到16×16位阶列表的向上转换的例子。如图2中图解所示，利用例如最近邻插值处理，向上转换位阶列表。最近邻插值处理的细节将在下面参考例如图25说明。如图2中图解所示，对位阶列表的AC系数进行向上转换。随后，用DC系数置换向上转换的AC系数之中的(0,0)系数。

准备两种8×8位阶列表，即，用于到16×16的向上转换的8×8位阶列表(“16×16用8×8”)和用于到32×32的向上转换的8×8位阶列表(“32×32用8×8”)

用于编码(利用编码器)期间的量化的位阶列表也用于解码(利用解码器)期间的逆量化。即，位阶列表从编码侧(编码器)被传送给解码侧(解码器)。图3图解说明位阶列表的传输的例子。

如图3中图解所示的例子中那样，传送如上所述的两种8×8位阶列表，即，用于到16×16大小的向上转换的8×8位阶列表，和用于到32×32大小的向上转换的8×8位阶列表。尽管图中未示出，不过也可传送4×4位阶列表。

利用上述最近邻插值处理，在解码侧(解码器)把按照上述方式传送的用于到16×16大小的向上转换的8×8位阶列表的AC系数向上转换成16×16大小，并在用DC系数置换(0,0)系数之后，用于大小为16×16的块的逆量化。

类似地，利用上述最近邻插值处理，在解码侧(解码器)也把按照上述方式传送的用于到32×32大小的向上转换的8×8位阶列表的AC系数向上转换成32×32大小，并在用DC系数置换(0,0)系数之后，用于大小为32×32的块的逆量化。

<1-2.位阶列表的编码>

按照上述方式的位阶列表(scaling list)的传输会相应地增大编码量。从而，为了抑制编码效率的降低，利用某种方法，对位阶列表编码，以减少位阶列表的编码量。图4图解说明位阶列表的编码的例子。具体地，如下传送8×8位阶列表。

在8×8矩阵到16×16矩阵的向上转换的情况下：

(1)获得8×8矩阵的(0,0)系数(即，AC系数(0,0))和预定的初始值“8”之间的差分。

(2)获得8×8矩阵的系数(即，AC系数)(按照扫描顺序一维排列的系数序列中的相邻系数)之间的差分。

(3)获得16×16矩阵的(0,0)系数(即，DC系数)和预定的初始值“8”之间的差分。

(4)分别传送在(1)和(2)中获得的差分，和在(3)中获得的差分。

在8×8矩阵到32×32矩阵的向上转换的情况下：

(1)获得8×8矩阵的(0,0)系数(即，AC系数(0,0))和预定的初始值“8”之间的差分。

(2)获得8×8矩阵的系数(即，AC系数)(按照扫描顺序一维排列的系数序列中的相邻系数)之间的差分。

(3)获得32×32矩阵的(0,0)系数(即，DC系数)和预定的初始值“8”之间的差分。

(4)分别传送在(1)和(2)中获得的差分，和在(3)中获得的差分。

不过，按照上述方式，差分是利用有符号的指数Golomb编码进行编码的，并在(4)中被传送。如上所述，在(1)中获得的差分是AC系数(0,0)和初始值“8”之间的差分。从而，存在如果AC系数(0,0)的值不是接近于初始值“8”的值，那么编码量会被增大的担心。

例如，在图4中，AC系数(0,0)的值为“12”，从而作为在(1)中获得的差分，值“4”利用有符号的指数Golomb编码被编码，并被传送。即，在(1)中获得的差分的传输需要7比特，编码效率会被相应地降低。如果在(1)中获得的差分的值增大，那么编码效率会进一步降低。对用于到16×16大小的向上转换的8×8位阶列表，和用于到32×32大小的向上转换的8×8位阶列表的情况来说，同样如此。

同时，DCT系数的能量通常集中在DC系数和邻近的低次系数中。于是，一般地，对于DC系数和邻近的系数，量化矩阵也具有较小的值。此外，如果显著不同的值被用于各个频率，那么量化误差主观地显而易见。为了抑制图像质量的这种视觉恶化，对DC系数和相邻系数使用连续值。

在向上转换之后获得的(0,1)系数，(1,0)系数和(1,1)系数对应于向上转换之前的AC系数(0,0)。此外在向上转换之后获得的(0,0)系数对应于DC系数。

从而，在位阶列表中，AC系数(0,0)的值和DC系数的值一般彼此接近。例如，MPEG2、AVC和HEVC默认矩阵可取具有这种关系的值。另外在图4中图解所示的例子中，DC系数的值和AC系数(0,0)的值相同，即“12”。从而，在(3)中获得的差分的值，即，DC系数和初始值“8”之间的差分也为“4”。

即，获得其值彼此接近的DC系数和AC系数(0,0)中的每一个与初始值之间的差分会增大它们之间的差分值，也会引起冗余。可以认为存在进一步降低编码效率的风险。

为了解决该问题，利用以下方法，而不是利用图4中图解所示的方法，传送位阶列表。图5图解说明这种方法的例子。

在8×8矩阵到16×16矩阵的向上转换的情况下：

(1)获得8×8矩阵的(0,0)系数(即，AC系数(0,0))和16×16矩阵的(0,0)系数(即，DC系数)之间的差分。

(2)获得8×8矩阵的系数(即，AC系数)(按照扫描顺序一维排列的系数序列中的相邻系数)之间的差分。

(3)获得16×16矩阵的(0,0)系数(即，DC系数)和预定初始值“8”之间的差分。

(4)集体传送在(1)-(3)中获得的差分。

在8×8矩阵到32×32矩阵的向上转换的情况下：

(1)获得8×8矩阵的(0,0)系数(即，AC系数(0,0))和32×32矩阵的(0,0)系数(即，DC系数)之间的差分。

(2)获得8×8矩阵的系数(即，AC系数)(按照扫描顺序一维排列的系数序列中的相邻系数)之间的差分。

(3)获得32×32矩阵的(0,0)系数(即，DC系数)和预定初始值“8”之间的差分。

(4)集体传送在(1)-(3)中获得的差分。

类似于在图4中图解所示的方法，在(4)中，差分是利用指数Golomb编码进行编码，从而作为指数Golomb码传送的。

在差分作为指数Golomb码被传送到的目的地，当收到指数Golomb码时，收到的指数Golomb码被解码，以获得各个差分，对获得的差分进行和上述(1)-(3)中的处理相反的处理，以确定各个系数(DC系数和AC系数)。

<1-3.本技术的例证特征>

下面说明与上述传输方法相关的本技术的例证特征。

<1-3-1.AC系数(0,0)和DC系数之间的DPCM>

利用差分脉码调制(DPCM)编码位阶列表，并传送编码的位阶列表。在图4中图解所示的例子中，AC系数和DC系数是单独DPCM编码的，然而按照本技术的特征之一，如在图5中图解所示的例子中那样，确定并传送AC系数(0,0)和DC系数之间的差分(也称为置换差分系数)。

如上所述，AC系数(0,0)和DC系数一般取彼此接近的值。从而，AC系数(0,0)和DC系数之间的差分可能小于AC系数(0,0)和初始值“8”之间的差分。即，利用本技术，作为AC系数(0,0)和DC系数之间的差分的置换差分系数的传输更可能降低编码量。

例如，在图5中图解所示的例子中，在(1)中获得的差分的值为“0”。

图6是图解说明有符号的指数Golomb编码的例子的表格。如在图6中图解所示的表中所示，值“4”的指数Golomb码具有7比特的码长，而值“0”的指数Golomb码具有1比特的码长。即，与图4中图解所示的方法相比，图5中图解所示的方法能够把编码量减小6比特。

通常，传输8×8大小的量化矩阵需要约100比特～200比特的编码量。从而，6比特约点总量的6％。高级语法中6％的编码量的降低可以说是非常大的效果。

<1-3-2.DC系数和AC系数的集体传输>

图7图解说明位阶列表的语法的例子。在图7的A部分中例示的例子中，举例说明了在图4中图解所示的例子的语法。具体地，在传送AC系数(0,0)和初始值“8”之间的差分，以及AC系数之间的差分(scaling_list_delta_coef)之后，独立地传送DC系数和初始值“8”之间的差分(scaling_list_dc_coef_minus8)。

相反，本技术的特征之一在于DC系数和AC系数(0,0)之间的差分，和AC系数之间的差分按上述顺序排列，并被一起传送。具体地，如图5中图解所示，在一维排列按照预定扫描顺序排列的DC系数和AC系数，并确定DC系数和初始值“8”之间的差分之后，确定系数序列中的相邻系数之间的差分。此外，作为结果的差分(系数之间的差分)是按照获得的顺序，一维地排列的，并一起被传送。

在图7的B部分的例子中，例示了这种情况下的语法。具体地，最初，传送DC系数和初始值“8”间的差分(scaling_list_dc_coef_minus8)，随后传送DC系数和AC系数(0,0)之间的差分，以及AC系数之间的差分(scaling_list_delta_coef)。即，DC系数和AC系数是集体编码和传送的。

按照这种方式，按照获得的顺序排列的差分的集体传输允许所述差分被传送到的解码侧(解码器)按照被传送的顺序来解码差分，并获得各个系数。即，能够容易地解码DPCM编码的位阶列表。更具体地，能够降低处理负荷。另外，不再需要差分的重排，导致缓冲器容量的降低。此外，可按照被供给的顺序解码各个差分，从而抑制处理时间的增大。

<1-3-3.默认矩阵的传输>

图8是图解说明关于默认矩阵的传输的语法的例子的示图。在现有技术中，如图8中图解所示，作为“0”，传送初始系数(即，DC系数)，以传送指示默认矩阵的使用的信息。即，DC系数和初始值“8”之间的差分(scaling_list_dc_coef_minus8)的值为“-8”。不过，如图6中图解所示，值“-8”的指数Golomb码具有9比特的码长。即，存在编码效率会显著降低的担忧。通常，理想的是高级语法的比特数尽可能地小。另外，如图8中图解所示，归因于语法的复杂性的增大，处理负荷会增大。

为了解决这些问题，不把初始系数设定为“0”，但是变更scaling_list_pred_matrix_id_delta的语义。更具体地，把scaling_list_pred_matrix_id_delta的语义从在图9的A部分图解所示的语义变更成在图9的B部分中图解所示的语义。即，在现有技术中，如在图9的A部分中图解所示，等于“0”的值指示参照紧接在前的矩阵(MatrixID-1)。代替这种描述，如在图9的B部分中图解所示，等于“0”的scaling_list_pred_matrix_id_delta的值意味参照默认矩阵。

因而，用于传输指示默认矩阵的使用的信息的指数Golomb码的码长可以等于1比特，并能够抑制编码效率的降低。此外，在现有技术中，如在图10的A部分和B部分中图解所示的语法对位阶列表是必需的。如在图11中图解所示的例子中那样，这种语法可被简化。即，能够降低在位阶列表的编码和解码中涉及的处理负荷。

<1-4.利用本技术的语法的特征>

下面更具体地说明语法。

在图10的A部分和B部分中图解所示的现有技术的例子中，需要进行两次默认值的确定，即，scaling_list_dc_coef_minus8和scaling_list_delta_coef。另外，对于scaling_list_delta_coef，在“for”循环当中进行确定，当useDefaultScalingMatrixFlag＝1时，退出循环。此外，需要称为“stopNow”的中间标记，由于这种条件，还存在诸如把nextCoef代入scalingList的值中的分枝。按照这种方式，现有技术的语法涉及复杂的处理。

因而在本技术中，和在图11中图解所示的例子中一样，根据scaling_list_dc_coef_minus8计算的DC系数被代入nextCoef中，以把scaling_list_delta_coef的初始值设定为DC系数。

此外，在语义方面，在现有技术中用“+1”表示的scaling_list_pred_matrix_id_delta的值保持不变，值“0”被用作特殊值。

即，在现有技术中，当ScalingList[0][2]要被解码时(matrixId＝2)，如果scaling_list_pred_matrix_id_delta＝0，那么从refMatrixId＝matrixId-(1+scaling_list_pred_matrix_id_delta)获得matrixId＝2。从而，获得refMatrixId＝1，ScalingList[0][1]的值被复制。

相反，在本技术中，设定refMatrixId＝matrixId-scaling_list_pred_matrix_id_delta。当ScalingList[0][2]要被解码时(matrixId＝2)，如果要复制ScalingList[0][1](或者如果要获得refMatrixId＝1)，那么可以设定scaling_list_pred_matrix_id_delta＝1。

因而，如图11中图解所示，关于位阶列表的语法的行数可被显著减少。另外，可以省略作为中间数据而要包含的两个变量，即，UseDefaultScalingMatrix和stopNow。此外，可不再需要在如图10中图解所示的“for”循环中产生的分枝。于是，能够减小在位阶列表的编码和解码中涉及的处理负荷。

<1-5.实现本技术的处理单元>

在把本技术应用于位阶列表的传输的情况下，按照上述方式编码和解码位阶列表。具体地，下面参考图14说明的图像编码设备10编码位阶列表，并传送编码的位阶列表，下面参考图22说明的图像解码设备300接收并解码编码的位阶列表。

位阶列表由图像编码设备10的正交变换/量化单元(图14)中的矩阵处理单元150(图15)编码。更具体地，位阶列表由矩阵处理单元150中的熵编码单元164(图16)中的DPCM单元192和exp-G单元193(两者都图示于图16中)编码。即，DPCM单元192确定位阶列表的系数(DC系数和AC系数)之间的差分，exp-G单元193利用指数Golomb编码，对各个差分编码。

为了利用如上所述的本技术对位阶列表编码，DPCM单元192可具有如在例如图19中图解所示的例证结构，以及进行和在图21中例示的例子中一样的DPCM处理。此外，可以使用和在图44的C部分或图45的C部分中图解说明的例子中一样的语义。

换句话说，为了实现利用本技术的位阶列表的编码，只需要DPCM单元192和exp-G单元193，可酌情使用具有任何结构的其它组件。按照实施例，可以设置必要的结构，比如用于向上转换位阶列表的处理单元，和用于利用位阶列表进行量化的处理单元。

此外，位阶列表由图像解码设备300的逆量化/逆正交变换单元313(图22)中的矩阵生成单元410(图23)解码。更具体地，位阶列表由矩阵生成单元410中的熵解码单元533(图24)中的exp-G单元551和逆DPCM单元552(图24)解码。即，exp-G单元551解码Golomb码，以获得差分，逆DPCM单元552根据相应差分，确定位阶列表的各个系数(DC系数和AC系数)。

为了利用如上所述的本技术来解码编码的位阶列表，逆DPCM单元552可具有如例如在图26中图解所示的例证结构，可进行和在图29中图解所示的例子中一样的逆DPCM处理。此外，可以使用如在图44的C部分或图45的C部分中图解说明的例子中一样的语义。

换句话说，为了实现利用本发明的位阶列表的解码，只需要exp-G单元551和逆DPCM单元552，可酌情使用具有任何结构的其它组件。按照实施例，可以设置必要的结构，比如用于向上转换位阶列表的处理单元，和用于利用位阶列表进行逆量化的处理单元。

下面说明本技术适用于的各个实施例，以便更详细地说明本发明。

<2.第二实施例>

<2-1.语法：第一种方法>

(1)现有技术的语法

首先，图12图解说明现有技术中的量化矩阵(或者位阶列表)的语法的例子。在实际使用中，通常传送位阶列表和其预测矩阵之间的差分矩阵，而不是位阶列表。从而，在以下的语法等的说明中，假定位阶列表的说明也适用于差分矩阵。

图12的A部分图解说明关于位阶列表数据的语法(位阶列表数据语法)，图12的B部分图解说明位阶列表的语法(位阶列表语法)。

(1-1)位阶列表数据语法

如图12的A部分中所示，关于位阶列表数据的语法规定读取指示是否提供位阶列表的标记(scaling_list_present_flag)，指示当前模式是否是复制模式的标记(scaling_list_pred_mode_flag)，指示在复制模式下要参照哪个位阶列表的信息(scaling_list_pred_matrix_id_delta)等等。

(1-2)位阶列表语法

如图12的B部分中所示，位阶列表的语法规定读取从中减去常数(例如，8)的DC系数(scaling_list_dc_coef_minus8)，AC系数之间的差分值(scaling_list_delta_coef)等等，并且规定恢复DC系数和AC系数。

不过，存在尽管上述语法使处理更容易，但是不能提供DC系数的足够压缩效率的担忧。

因而，为了获得作为DC分量(直流分量)的系数的DC系数(也称为直流系数)的足够压缩效率，确定DC系数和另一系数之间的差分，并传送差分值，而不是DC系数。即，差分值是用于计算DC系数的信息，换句话说，实质上等同于DC系数。不过，差分值通常小于DC系数。于是，传送差分值，而不是DC系数会导致编码量的减小。

在下面的说明中，为了便于描述，位阶列表(量化矩阵)具有8×8的大小。下面说明上述传送DC系数和另一个系数之间的差分，而不是DC系数的方法的具体例子。

(2)第一种方法的语法

例如，利用DPCM(差分脉码调制)，传送65个系数，其中DC系数被视为位于8×8矩阵(AC系数)的开始部分的元素(第一种方法)。

即，首先，计算预定常数和DC系数之间的差分，并用作DPCM数据的初始系数。随后，计算DC系数和初始AC系数之间的差分，并用作DPCM数据的第二个系数。然后，计算初始AC系数和第二个AC系数之间的差分，并用作DPCM数据的第三个系数。随后，计算和紧接在前的AC系数之间的差分，并用作DPCM数据的第四个系数，按照和上述方式类似的方式，确定DPCM数据的后续各个系数。从初始系数开始，顺序传送按照上述方式生成的DPCM数据的系数。

因而，当8×8矩阵的(0,0)系数(AC系数)的值和DC系数的值彼此接近时，能够改善压缩率。通过实现上述第一种方法，图像编码设备能够按照和AC系数(交流系数)的方式类似的方式，处理DC系数，AC系数是AC分量(也称为交流分量)的系数。注意，为了实现上述第一种方法，上述系数被传送给的图像解码设备只需要特别处理初始系数。具体地，图像解码设备需要从AC系数之中提取DC系数。

图13图解说明在上述情况下的位阶列表的语法。在图13中图解所示的例子中，读取系数之间的65个差分值(scaling_list_delta_coef)，然后在根据差分值确定的系数(nextcoef)之中，位于开始部分的系数(nextcoef)被用作DC系数(scaling_list_dc_coef)，而其它系数被用作AC系数(ScalingList[i])。

下面说明实现上述第一种方法的语法的图像编码设备。

<2-2.图像编码设备>

图14是图解说明按照本公开的实施例的图像编码设备10的例证结构的方框图。图14中图解所示的图像编码设备10是本技术适用于的图像处理设备，被配置成编码输入的图像数据，和输出编码的图像数据。参见图14，图像编码设备10包括A/D(模-数)转换单元11(A/D)、重排缓冲器12、减法单元13、正交变换/量化单元14、无损编码单元16、累积缓冲器17、速率控制单元18、逆量化单元21、逆正交变换单元22、加法单元23、解块滤波器24、帧存储器25、选择器26、帧内预测单元30、运动搜索单元40和模式选择单元50。

A/D转换单元11把按模拟形式输入的图像信号转换成数字形式的图像数据，然后把数字图像数据序列输出给重排缓冲器12。

重排缓冲器12重排包含在从A/D转换单元11输入的图像数据序列中的图像。在按照供编码处理之用的GOP(图像组)结构重排图像之后，重排缓冲器12把其图像已被重排的图像数据输出给减法单元13、帧内预测单元30和运动搜索单元40。

减法单元13被供给从重排缓冲器12输入的图像数据和由下面说明的模式选择单元50选择的预测图像数据。减法单元13计算预测误差数据，预测误差数据表示从重排缓冲器12输入的图像数据和从模式选择单元50输入的预测图像数据之间的差分，并把计算的预测误差数据输出给正交变换/量化单元14。

正交变换/量化单元14对从减法单元13输入的预测误差数据进行正交变换和量化，并把量化的变换系数数据(下面称为量化数据)输出给无损编码单元16和逆量化单元21。根据从速率控制单元18供给的速率控制信号，控制从正交变换/量化单元14输出的量化数据的比特率。正交变换/量化单元14的详细结构将在下面进一步说明。

无损编码单元16被供给从正交变换/量化单元14输入的量化数据，用于在解码侧生成位阶列表(或量化矩阵)的信息，和关于模式选择单元50选择的帧内预测或帧间预测的信息。例如，关于帧内预测的信息可包括指示每个块的最佳帧内预测模式的预测模式信息。另外，关于帧间预测的信息例如可包括用于运动向量的逐块预测的预测模式信息，差分运动向量信息，参考图像信息等等。此外，用于在解码侧生成位阶列表的信息可包括指示待传送的位阶列表(或者位阶列表(量化矩阵)和其预测矩阵之间的差分矩阵)的最大大小的识别信息。

无损编码单元16对量化数据进行无损编码处理，从而产生编码流。无损编码单元16进行的无损编码例如可以是变长编码、算术编码等。此外，无损编码单元16把用于生成位阶列表的信息复用到编码流的报头中(例如，序列参数集和图像参数集)。无损编码单元16还把上述关于帧内预测或帧间预测的信息复用到编码流的报头中。之后，无损编码单元16把产生的编码流输出给累积缓冲器17。

累积缓冲器17利用诸如半导体存储器之类的存储介质，临时保存从无损编码单元16输入的编码流。之后，累积缓冲器17以与传输路径(或者出自图像编码设备10的输出线路)的带宽对应的速率，输出累积的编码流。

速率控制单元18监视累积缓冲器17，以检查容量的可用性。速率控制单元18按照累积缓冲器17的可用容量，生成速率控制信号，并把生成的速率控制信号输出给正交变换/量化单元14。例如，当累积缓冲器17的可用容量较低时，速率控制单元18生成降低量化数据的比特率的速率控制信号。另一方面，例如，当累积缓冲器17的可用容量足够高时，速率控制单元18生成增大量化数据的比特率的速率控制信号。

逆量化单元21对从正交变换/量化单元14输入的量化数据，进行逆量化处理。之后，逆量化单元21把通过逆量化处理获得的变换系数数据输出给逆正交变换单元22。

逆正交变换单元22对从逆量化单元21输入的变换系数数据，进行逆正交变换处理，从而恢复预测误差数据。之后，逆正交变换单元22把恢复的预测误差数据输出给加法单元23。

加法单元23相加从逆正交变换单元22输入的恢复的预测误差数据，和从模式选择单元50输入的预测图像数据，从而生成解码图像数据。之后，加法单元23把生成的解码图像数据输出给解块滤波器24和帧存储器25。

解块滤波器24进行减小因图像的编码而导致的块效应的滤波处理。解块滤波器24对从加法单元23输入的解码图像数据滤波，以除去(或者至少降低)块效应，并把滤波后的解码图像数据输出给帧存储器25。

帧存储器25利用存储介质，保存从加法单元23输入的解码图像数据和从解块滤波器24输入的滤波后的解码图像数据。

选择器26从帧存储器25读取用于帧内预测的待滤波的解码图像数据，并把读取的解码图像数据作为参考图像数据提供给帧内预测单元30。选择器26还从帧存储器25读取用于帧间预测的滤波后的解码图像数据，并把读取的解码图像数据作为参考图像数据，提供给运动搜索单元40。

帧内预测单元30根据从重排缓冲器12输入的待编码图像数据，和经选择器26供给的解码图像数据，进行每种帧内预测模式的帧内预测处理。例如，帧内预测单元30利用预定的成本函数，评估按每种帧内预测模式获得的预测结果。随后，帧内预测单元30选择使成本函数值最小的帧内预测模式，即，提供最高压缩比的帧内预测模式，作为最佳的帧内预测模式。此外，帧内预测单元30把指示最佳帧内预测模式的预测模式信息，预测图像数据，和关于帧内预测的信息，比如成本函数值，输出给模式选择单元50。

运动搜索单元40根据从重排缓冲器12供给的待编码图像数据，和经选择器26供给的解码图像数据，进行帧间预测处理(或帧间的预测处理)。例如，运动搜索单元40利用预定的成本函数，评估按每种预测模式获得的预测结果。随后，运动搜索单元40选择使成本函数值达到最小的预测模式，即，提供最高压缩比的预测模式，作为最佳预测模式。此外，运动搜索单元40按照最佳预测模式，生成预测图像数据。运动搜索单元40把关于帧间预测的信息(它包括指示选择的最佳预测模式的预测模式信息)，预测图像数据，和诸如成本函数值的关于帧间预测的信息，输出给模式选择单元50。

模式选择单元50比较从帧内预测单元30输入的帧内预测的成本函数值，和从运动搜索单元40输入的帧间预测的成本函数值。随后，模式选择单元50选择帧内预测和帧间预测中，成本函数值较小的预测技术。如果选择帧内预测，那么模式选择单元50把关于帧内预测的信息输出给无损编码单元16，还把预测图像数据输出给减法单元13和加法单元23。另一方面，如果选择帧间预测，那么模式选择单元50把关于帧间预测的上述信息输出给无损编码单元16，还把预测图像数据输出给减法单元13和加法单元23。

<2-3.正交变换/量化单元的例证结构>

图15是图解说明图14中图解所示的图像编码设备10的正交变换/量化单元14的详细结构的例子的方框图。参见图15，正交变换/量化单元14包括选择单元110、正交变换单元120、量化单元130、位阶列表缓冲器140和矩阵处理单元150。

(1)选择单元

选择单元110从具有不同大小的多个变换单位中选择用于待编码的图像数据的正交变换的变换单位(TU)。选择单元110可选的变换单位的可能大小的例子包括用于H.264/AVC(高级视频编码)的4×4和8×8，并且包括用于HEVC(高效视频编码)的4×4、8×8、16×16和32×32。选择单元110可按照例如待编码图像的大小或数量，图像编码设备10的性能等，选择变换单位。选择单元110的变换单位的选择可由开发图像编码设备10的用户手动调整。之后，选择单元110把指定选择的变换单位的大小的信息输出给正交变换单元120、量化单元130、无损编码单元16和逆量化单元21。

(2)正交变换单元

正交变换单元120以选择单元110所选的变换单位为单位，对从减法单元13供给的图像数据(即，预测误差数据)进行正交变换。正交变换单元120进行的正交变换可以是例如离散余弦变换(DCT)、Karhunen-Loève变换等等。之后，正交变换单元120把通过正交变换处理获得的变换系数数据输出给量化单元130。

(3)量化单元

量化单元130利用与选择单元110选择的变换单位对应的位阶列表，量化由正交变换单元120生成的变换系数数据。此外，量化单元130按照从速率控制单元18供给的速率控制信号，切换量化步长，从而改变待输出的量化数据的比特率。

此外，量化单元130使分别对应于选择单元110可选择的多个变换单位的各组位阶列表被保存在位阶列表缓冲器140中。例如，和HEVC中一样，如果存在4种可能的变换单位大小，即，4×4、8×8、16×16和32×32，那么分别对应于这4种大小的4组位阶列表可被保存在位阶列表缓冲器140中。注意，如果指定的位阶列表被用于给定大小，那么可以只有指示使用该指定的位阶列表(不使用用户定义的位阶列表)的标记与所述给定大小关联地被保存在位阶列表缓冲器140中。

一般可以为编码流的每个序列设定可被量化单元130使用的一组位阶列表。另外，量化单元130可逐个图像地更新为每个序列设定的一组位阶列表。用于控制一组位阶列表的这种设定和更新的信息可被插入例如序列参数集和图像参数集中。

(4)位阶列表缓冲器

位阶列表缓冲器140利用诸如半导体存储器之类的存储介质，临时保存分别对应于可由选择单元110选择的多个变换单位的一组位阶列表。当矩阵处理单元150进行下面说明的处理时，参照保存在位阶列表缓冲器140中的该组位阶列表。

(5)矩阵处理单元

矩阵处理单元150对用于编码(量化)的位阶列表编码。之后，利用矩阵处理单元150生成的位阶列表的编码数据(下面称为编码位阶列表数据)被输出给无损编码单元16，并可被插入编码流的报头中。

<2-4.矩阵处理单元的详细例证结构>

图16是图解说明矩阵处理单元150的更详细结构的例子的方框图。参见图16，矩阵处理单元150包括预测单元161、差分矩阵生成单元162、差分矩阵大小变换单元163、熵编码单元164、解码单元165和输出单元166。

(1)预测单元

预测单元161生成预测矩阵。如图16中图解所示，预测单元包括复制单元171和预测矩阵生成单元172。

在复制模式下，复制单元171复制先前传送的位阶列表，并利用复制的量化矩阵作为预测矩阵(或者预测待处理的正交变换单元的位阶列表)。更具体地，复制单元171从解码单元165中的存储单元202，获得先前传送的位阶列表的大小和列表ID(ListID)。大小是指示位阶列表的大小(例如，从4×4到32×32)的信息。列表ID是指示待量化的预测误差数据的种类的信息。

例如，列表ID包括指示待量化的预测误差数据是利用经过帧内预测的预测图像生成的亮度分量的预测误差数据(Intra Luma)，利用经过帧内预测的预测图像生成的色差分量(Cr)的预测误差数据(Intra Cr)，利用经过帧内预测的预测图像生成的色差分量(Cb)的预测误差数据(Intra Cb)，或者利用经过帧间预测的预测图像生成的亮度分量的预测误差数据(Inter Luma)的识别信息。

复制单元171选择先前传送的大小和输入到矩阵处理单元150的位阶列表(待处理的正交变换单位的位阶列表)相同的位阶列表，作为待复制的位阶列表，并把待复制的位阶列表的列表ID提供给输出单元166，以把列表ID输出给在矩阵处理单元150之外的装置(无损编码单元16和逆量化单元21)。即，这种情况下，只有列表ID被传送给解码侧(或者被包含在编码数据中)，作为指示通过复制先前传送的位阶列表而生成的预测矩阵的信息。从而，图像编码设备10能够抑制位阶列表的编码量的增大。

此外，在正常模式下，预测矩阵生成单元172从解码单元165中的存储单元202，获得先前传送的位阶列表，并利用该位阶列表生成预测矩阵(或预测待处理的正交变换单位的位阶列表)。预测矩阵生成单元172把生成的预测矩阵提供给差分矩阵生成单元162。

(2)差分矩阵生成单元

差分矩阵生成单元162生成差分矩阵(残差矩阵)，差分矩阵是从预测单元161(预测矩阵生成单元172)供给的预测矩阵和输入到矩阵处理单元150的位阶列表之间的差分。如图16中图解所示，差分矩阵生成单元162包括预测矩阵大小变换单元181，计算单元182和量化单元183。

预测矩阵大小变换单元181变换(下面也称为转换)从预测矩阵生成单元172供给的预测矩阵的大小，以致预测矩阵的大小匹配输入到矩阵处理单元150的位阶列表的大小。

例如，如果预测矩阵的大小大于位阶列表的大小，那么预测矩阵大小变换单元181向下转换(下面也称为下转换)预测矩阵。更具体地，例如，当预测矩阵具有16×16的大小，而位阶列表具有8×8的大小时，预测矩阵大小变换单元181把预测矩阵向下转换成8×8预测矩阵。注意，可以使用任何向下转换方法。例如，预测矩阵大小变换单元181可以利用滤波器(通过计算)减少预测矩阵中的元素的数目(下面也称为下采样)。另一方面，预测矩阵大小变换单元181也可以通过例如如图17中图解所示，间除(thin out)一些元素(例如，二维元素中的仅仅偶数编号的元素(图17中的纯黑元素))，而不利用滤波器，减少预测矩阵中的元素的数目(下面也称为子采样)。

此外，例如，如果预测矩阵的大小小于位阶列表的大小，那么预测矩阵大小变换单元181向上转换(下面也称为上转换)预测矩阵。更具体地，例如，当预测矩阵具有8×8的大小，而位阶列表具有16×16的大小时，预测矩阵大小变换单元181把预测矩阵向上转换成16×16预测矩阵。注意，可以使用任何向上转换方法。例如，预测矩阵大小变换单元181可以利用滤波器(通过计算)增大预测矩阵中的元素的数目(下面也称为上采样)。另一方面，预测矩阵大小变换单元181也可以通过例如复制预测矩阵中的各个元素，而不利用滤波器，增大预测矩阵中的元素的数目(下面也称为逆子采样)。

预测矩阵大小变换单元181把已使其大小与位阶列表的大小匹配的预测矩阵提供给计算单元182。

计算单元182从供给自预测矩阵大小变换单元181的预测矩阵中，减去输入到矩阵处理单元150的位阶列表，从而生成差分矩阵(残差矩阵)。计算单元182把计算的差分矩阵提供给量化单元183。

量化单元183量化从计算单元182供给的差分矩阵。量化单元183把量化的差分矩阵提供给差分矩阵大小变换单元163。量化单元183还把用于量化的信息，比如量化参数，提供给输出单元166，以把该信息输出给在矩阵处理单元150外的装置(无损编码单元16和逆量化单元21)。注意，量化单元183可被省略(即，不一定进行差分矩阵的量化)。

(3)差分矩阵大小变换单元

如果需要，那么差分矩阵大小变换单元163把从差分矩阵生成单元162(量化单元183)供给的差分矩阵(量化数据)的大小转换成小于或等于传输中允许的最大大小(下面也称为传输大小)的大小。所述最大大小可具有任何可选值，例如是8×8。

从图像编码设备10输出的编码数据经例如传输路径或存储介质，被传送给对应于图像编码设备10的图像解码设备，并由所述图像解码设备解码。在所述传输期间，或者说在从图像编码设备10输出的编码数据中的差分矩阵(量化数据)的大小(最大大小)的上限是在图像编码设备10中设定的。

如果差分矩阵的大小大于最大大小，那么差分矩阵大小变换单元163向下转换差分矩阵，以致差分矩阵的大小变成小于或等于最大大小。

注意，类似于上面说明的预测矩阵的向下转换，可以利用任何方法，向下转换差分矩阵。例如，可以利用滤波器等，进行下采样，或者可以进行涉及间除元素的子采样。

此外，向下转换的差分矩阵可具有小于最大大小的任意大小。不过，通常，转换前后的大小之差越大，误差越大。从而，差分矩阵最好被向下转换到最大大小。

差分矩阵大小变换单元163把向下转换的差分矩阵提供给熵编码单元164。注意，如果差分矩阵的大小小于最大大小，那么上述向下转换不是必需的，于是差分矩阵大小变换单元163把输入的差分矩阵原样提供给熵编码单元164(即，差分矩阵的向下转换被省略)。

(4)熵编码单元

熵编码单元164利用预定方法，对从差分矩阵大小变换单元163供给的差分矩阵(量化数据)编码。如图16中图解所示，熵编码单元164包括重复判定单元(135°单元)191，DPCM(差分脉码调制)单元192和exp-G单元193。

重复判定单元191判定从差分矩阵大小变换单元163供给的差分矩阵的对称性。如果残差(差分矩阵)代表135°对称矩阵，那么例如，如图18中图解所示，重复判定单元191除去作为重复数据的对称部分的数据(矩阵元素)。如果残差不代表135°对称矩阵，那么重复判定单元191省略数据(矩阵元素)的除去。重复判定单元191把如果需要，已从中除去对称部分的差分矩阵的数据提供给DPCM单元192。

DPCM单元192进行从重复判定单元191供给的，如果需要，已从中除去对称部分的差分矩阵的数据的DPCM编码，从而生成DPCM数据。DPCM单元192把生成的DPCM数据提供给exp-G单元193。

exp-G单元193利用有符号或无符号的指数Golomb码(下面也称为指数Golomb码)，对从DPCM单元192供给的DPCM数据编码。exp-G单元193把编码结果提供给解码单元165和输出单元166。

(5)解码单元

解码单元165从供给自exp-G单元193的数据，恢复位阶列表。解码单元165把关于恢复的位阶列表的信息提供给预测单元161，作为先前传送的位阶列表。

如图16中图解所示，解码单元165包括位阶列表恢复单元201和存储单元202。

位阶列表恢复单元201解码从熵编码单元164(exp-G单元193)供给的指数Golomb码，以恢复待输入到矩阵处理单元150的位阶列表。例如，位阶列表恢复单元201通过利用与熵编码单元164的编码方法对应的方法，解码指数Golomb码，并通过进行与差分矩阵大小变换单元163进行的大小变换相反的变换，和进行与量化单元183进行的量化对应的逆量化，获得差分矩阵。位阶列表恢复单元201还从预测矩阵中减去获得的差分矩阵，以恢复位阶列表。

位阶列表恢复单元201把恢复的位阶列表提供给存储单元202，以便与该位阶列表的大小和列表ID关联地保存。

存储单元202保存关于从位阶列表恢复单元201供给的位阶列表的信息。保存在存储单元202中的关于位阶列表的信息被用于生成稍后处理的其它正交变换单元的预测矩阵。即，存储单元202把保存的关于位阶列表的信息作为关于先前传送的位阶列表的信息，提供给预测单元161。

注意，代替保存关于按照上述方式恢复的位阶列表的信息，存储单元202可以与输入的位阶列表的大小和列表ID关联地保存输入到矩阵处理单元150的位阶列表。这种情况下，位阶列表恢复单元201可被省略。

(6)输出单元

输出单元166把供给的各种信息提供给在矩阵处理单元150之外的各个装置。例如，在复制模式下，输出单元166把从复制单元171供给的预测矩阵的列表ID，提供给无损编码单元16和逆量化单元21。此外，例如，在正常模式下，输出单元166把从exp-G单元193供给的指数Golomb码，和从量化单元183供给的量化参数，提供给无损编码单元16和逆量化单元21。

输出单元166还把指示在位阶列表(或者位阶列表和其预测矩阵之间的差分矩阵)的传输中允许的最大大小(传输大小)的识别信息，提供给无损编码单元16，作为用于在解码侧生成位阶列表的信息。如上所述，无损编码单元16创建包含用于生成位阶列表的信息的编码流，并把该编码流提供给解码侧。可预先按等级、规格等，指定指示传输大小的识别信息。这种情况下，在编码侧的设备和解码侧的设备之间，预先共享关于传输大小的信息。从而，可以省略上面说明的识别信息的传输。

<2-5.DPCM单元的详细例证结构>

图19是图解说明DPCM单元192的更详细结构的例子的方框图。参见图19，DPCM单元192包括DC系数编码单元211和AC系数DPCM单元212。

DC系数编码单元211从供给自重复判定单元191的系数之中，获得DC系数，从预定初始值(例如，8)中减去DC系数的值，以确定差分值，并把差分值用作初始(i＝0)差分值(scaling_list_delta_coef)。DC系数编码单元211把计算的差分值(scaling_list_delta_coef(i＝0))，作为与正被处理的关注区域对应的位阶列表的初始系数，提供给exp-G单元193。

AC系数DPCM单元212从供给自重复判定单元191的系数之中，获得AC系数，并从紧接在前的已处理系数中减去该AC系数的值，以确定差分值(scaling_list_delta_coef(i>0))。AC系数DPCM单元212把确定的差分值(scaling_list_delta_coef(i>0))，作为与正被处理的关注区域对应的位阶列表的系数，提供给exp-G单元193。注意，当i＝1时，紧接在前的系数用i＝0表示。从而，“DC系数”是紧接在前的已处理系数。

这样，DPCM单元192以位于位阶列表(AC系数)的开始部分的元素的形式，传送DC系数。因而，能够改善位阶列表的编码效率。

<2-6.量化矩阵编码处理的流程>

下面参考图20中图解所示的流程图，说明图16中图解所示的矩阵处理单元150执行的量化矩阵编码处理的流程的例子。

当开始量化矩阵编码处理时，在步骤S101，预测单元161获得当前区域(也称为关注区域)的位阶列表(或量化矩阵)，所述当前区域是待处理的正交变换单位。

在步骤S102，预测单元161判定当前模式是否是复制模式。如果判定当前模式不是复制模式，那么预测单元161使处理进入步骤S103。

在步骤S103，预测矩阵生成单元172从存储单元202获得先前传送的位阶列表，并利用该位阶列表生成预测矩阵。

在步骤S104，预测矩阵大小变换单元181判定在步骤S103中生成的预测矩阵的大小是否不同于在步骤S101中获得的当前区域(关注区域)的位阶列表的大小。如果判定这两个大小不同，那么预测矩阵大小变换单元181使处理进入步骤S105。

在步骤S105，预测矩阵大小变换单元181把在步骤S103中生成的预测矩阵的大小，转换成在步骤S101中获得的当前区域的位阶列表的大小。

当步骤S105的处理完成时，预测矩阵大小变换单元181使处理进入步骤S106。如果在步骤S104判定预测矩阵的大小和位阶列表的大小相同，那么预测矩阵大小变换单元181使处理跳过步骤S105的处理(或者说不进行步骤S105的处理)地进入步骤S106。

在步骤S106，计算单元182从预测矩阵中减去位阶列表，从而计算预测矩阵和位阶列表之间的差分矩阵。

在步骤S107，量化单元183量化在步骤S106中生成的差分矩阵。注意该处理可被省略。

在步骤S108，差分矩阵大小变换单元163判定量化的差分矩阵的大小是否大于传输大小(传输中允许的最大大小)。如果判定量化的差分矩阵的大小大于传输大小，那么差分矩阵大小变换单元163使处理进入步骤S109，并把差分矩阵向下转换成传输大小或更小。

当步骤S109的处理完成时，差分矩阵大小变换单元163使处理进入步骤S110。另外，如果在步骤S108，判定量化的差分矩阵的大小小于或等于传输大小，那么差分矩阵大小变换单元163使处理进入步骤S110，同时跳过步骤S109的处理(或者不进行步骤S109的处理)。

在步骤S110，重复判定单元191判定量化的差分矩阵是否有135°对称性。如果判定量化的差分矩阵具有135°对称性，那么重复判定单元191使处理进入步骤S111。

在步骤S111，重复判定单元191除去量化的差分矩阵中的重复部分(重复数据)。在除去重复数据之后，重复判定单元191使处理进入步骤S112。

此外，如果在步骤S110，判定量化的差分矩阵没有135°对称性，那么重复判定单元191使处理进入步骤S112，同时跳过步骤S111的处理(或者不进行步骤S111的处理)。

在步骤S112，，DPCM单元192对如果需要，从中除去重复部分的差分矩阵进行DPCM编码。

在步骤S113，exp-G单元193判定在步骤S112中生成的DPCM是否具有正号或负号。如果判定包含符号，那么exp-G单元193使处理进入步骤S114。

在步骤S114，exp-G单元193利用有符号的指数Golomb编码，对DPCM数据编码。输出单元166把生成的指数Golomb码输出给无损编码单元16和逆量化单元21。当步骤S114的处理完成时，exp-G单元193使处理进入步骤S116。

此外，如果在步骤S113，判定不包含符号，那么exp-G单元193使处理进入步骤S115。

在步骤S115，exp-G单元193利用无符号的指数Golomb编码，对DPCM数据编码。输出单元166把生成的指数Golomb码输出给无损编码单元16和逆量化单元21。当步骤S115的处理完成时，exp-G单元193使处理进入步骤S116。

此外，如果在步骤S102，判定当前模式是复制模式，那么复制单元171复制以前传送的位阶列表，并利用复制的位阶列表作为预测矩阵。输出单元166把对应于预测矩阵的列表ID，输出给无损编码单元16和逆量化单元21，作为指示预测矩阵的信息。随后，复制单元171使处理进入步骤S116。

在步骤S116，位阶列表恢复单元201恢复位阶列表。在步骤S117，存储单元202保存在步骤S116中恢复的位阶列表。

当步骤S117的处理结束时，矩阵处理单元150终止量化矩阵编码处理。

<2-7.DPCM处理的流程>

下面参考图21中图解所示的流程图，说明在图20的步骤S112中执行的DPCM处理的流程的例子。

当开始DPCM处理时，在步骤S131，DC系数编码单元211确定DC系数和常数之间的差分。在步骤S132，AC系数DPCM单元212确定DC系数和初始AC系数之间的差分。

在步骤S133，AC系数DPCM单元212判定是否所有的AC系数已被处理。如果判定存在未处理的AC系数，那么AC系数DPCM单元212使处理进入步骤S134。

在步骤S134，AC系数DPCM单元212使处理对象改变成随后的AC系数。在步骤S135，AC系数DPCM单元212确定先前处理的AC系数和正在处理的当前AC系数之间的差分。当步骤S135的处理结束时，AC系数DPCM单元212使处理返回步骤S133。

按照这种方式，只要在步骤S133，判定存在未处理的AC系数，AC系数DPCM单元212就重复执行步骤S133-S135的处理。如果在步骤S133，判定不存在未处理的AC系数，那么AC系数DPCM单元212终止DPCM处理，使处理返回图20。

如上所述，确定DC系数与AC系数之中的位于开始部分的AC系数之间的差分，并把所述差分，而不是DC系数传送给图像解码设备。从而，图像编码设备10能够抑制位阶列表的编码量的增大。

下面，说明按照本公开的实施例的图像解码设备的例证结构。

<2-8.图像解码设备>

图22是图解说明按照本公开的实施例的图像解码设备300的例证结构的方框图。图22中图解所示的图像解码设备300是本技术适用于的、配置成对图像编码设备10生成的编码数据解码的图像处理设备。参见图22，图像解码设备300包括累积缓冲器311、无损解码单元312、逆量化/逆正交变换单元313、加法单元315、解块滤波器316、重排缓冲器317、D/A(数-模)转换单元318、帧存储器319、选择器320和321、帧内预测单元330和运动补偿单元340。

累积缓冲器311利用存储介质，临时保存经传输路径输入的编码流。

无损解码单元312按照用于编码的编码方案，解码从累积缓冲器311输入的编码流。另外，无损解码单元312解码在编码流的报头区中复用的信息。在编码流的报头区中复用的信息例如可包括用于生成上述位阶列表的信息，和包含在块报头中的关于帧内预测的信息和关于帧间预测的信息。无损解码单元312把解码的量化数据和用于生成位阶列表的信息输出给逆量化/逆正交变换单元313。无损解码单元312还把关于帧内预测的信息输出给帧内预测单元330。另外，无损解码单元312把关于帧间预测的信息输出给运动补偿单元340。

逆量化/逆正交变换单元313对从无损解码单元312输入的量化数据进行逆量化和逆正交变换，从而生成预测误差数据。之后，逆量化/逆正交变换单元313把生成的预测误差数据输出给加法单元315。

加法单元315相加从逆量化/逆正交变换单元313输入的预测误差数据和从选择器321输入的预测图像数据，从而生成解码图像数据。之后，加法单元315把生成的解码图像数据输出给解块滤波器316和帧存储器319。

解块滤波器316对从加法单元315输入的解码图像数据滤波，从而消除块效应，并把滤波后的解码图像数据输出给重排缓冲器317和帧存储器319。

重排缓冲器317重排从解块滤波器316输入的图像，从而生成时序图像数据序列。随后，重排缓冲器317把生成的图像数据输出给D/A转换单元318。

D/A转换单元318把从重排缓冲器317输入的数字形式的图像数据转换成模拟形式的图像信号。之后，D/A转换单元318把模拟图像信号输出给例如连接到图像解码设备300的显示器(未图示)，以显示图像。

帧存储器319利用存储介质，保存从加法单元315输入的待滤波的解码图像数据，和从解块滤波器316输入的滤波后的解码图像数据。

选择器320按照无损解码单元312获得的模式信息，为图像中的每个块，在帧内预测单元330和运动补偿单元340之间切换从帧存储器319供给的图像数据将被输出到的目的地。例如，如果指定帧内预测模式，那么选择器320把从帧存储器319供给的待滤波的解码图像数据，作为参考图像数据输出给帧内预测单元330。另外，如果指定帧间预测模式，那么选择器320把从帧存储器319供给的滤波后的解码图像数据，作为参考图像数据输出给运动补偿单元340。

选择器321按照无损解码单元312获得的模式信息，为图像中的每个块，在帧内预测单元330和运动补偿单元340之间切换待供给加法单元315的预测图像数据将从中输出的源。例如，如果指定帧内预测模式，那么选择器321把从帧内预测单元330输出的预测图像数据提供给加法单元315。如果指定帧间预测模式，那么选择器321把从运动补偿单元340输出的预测图像数据提供给加法单元315。

帧内预测单元330根据从无损解码单元312输入的关于帧内预测的信息，和从帧存储器319供给的参考图像数据，进行像素值的画面内预测，并生成预测图像数据。之后，帧内预测单元330把生成的预测图像数据输出给选择器321。

运动补偿单元340根据从无损解码单元312输入的关于帧间预测的信息，和从帧存储器319供给的参考图像数据，进行运动补偿处理，并生成预测图像数据。之后，运动补偿单元340把生成的预测图像数据输出给选择器321。

<2-9.逆量化/逆正交变换单元的例证结构>

图23是图解说明图22中图解所示的图像解码设备300的逆量化/逆正交变换单元313的主要结构的例子的方框图。参见图23，逆量化/逆正交变换单元313包括矩阵生成单元410，选择单元430，逆量化单元440和逆正交变换单元450。

(1)矩阵生成单元

矩阵生成单元410对提取自比特流并由无损解码单元312供给的编码位阶列表数据解码，并生成位阶列表。矩阵生成单元410把生成的位阶列表提供给逆量化单元440。

(2)选择单元

选择单元430从具有不同大小的多个变换单位中，选择用于待解码的图像数据的逆正交变换的变换单位(TU)。选择单元430可选择的变换单位的可能大小的例子包括用于H.264/AVC的4×4和8×8，并包括用于HEVC的4×4，8×8，16×16和32×32。选择单元430可根据例如包含在编码流的报头中的LCU、SCU和split_flag，选择变换单位。之后，选择单元430把指定所选变换单位的大小的信息输出给逆量化单元440和逆正交变换单元450。

(3)逆量化单元

逆量化单元440利用选择单元430选择的变换单元的位阶列表，逆量化当图像被编码时量化的变换系数数据。之后，逆量化单元440把逆量化的变换系数数据输出给逆正交变换单元450。

(4)逆正交变换单元

逆正交变换单元450按照用于编码的正交变换方案，以选择的变换单位的单位，对逆量化单元440逆量化的变换系数数据进行逆正交变换，从而生成预测误差数据。之后，逆正交变换单元450把生成的预测误差数据输出给加法单元315。

<2-10.矩阵生成单元的详细例证结构>

图24是图解说明图23中图解所示的矩阵生成单元410的详细结构的例子的方框图。参见图24，矩阵生成单元410包括参数分析单元531，预测单元532，熵解码单元533，位阶列表恢复单元534，输出单元535和存储单元536。

(1)参数分析单元

参数分析单元531分析从无损解码单元312供给的与位阶列表相关的各种标记和参数。此外，按照分析结果，参数分析单元531把从无损解码单元312供给的各种信息，比如差分矩阵的编码数据，提供给预测单元532或熵解码单元533。

例如，如果pred_mode等于0，那么参数分析单元531判定当前模式是复制模式，并把pred_matrix_id_delta提供给复制单元541。此外，例如，如果pred_mode等于1，那么参数分析单元531判定当前模式是全扫描模式(正常模式)，并把pred_matrix_id_delta和pred_size_id_delta提供给预测矩阵生成单元542。

此外，例如，如果residual_flag为真，那么参数分析单元531把从无损解码单元312提供的位阶列表的编码数据(指数Golomb码)，提供给熵解码单元533的exp-G单元551。参数分析单元531还把residual_symmetry_flag提供给exp-G单元551。

此外，参数分析单元531把residual_down_sampling_flag提供给位阶列表恢复单元534的差分矩阵大小变换单元562。

(2)预测单元

预测单元532按照参数分析单元531的控制生成预测矩阵。如图24中图解所示，预测单元532包括复制单元541和预测矩阵生成单元542。

在复制模式下，复制单元541复制先前传送的位阶列表，并利用复制的位阶列表作为预测矩阵。更具体地，复制单元541从存储单元536，读取先前传送的对应于pred_matrix_id_delta并且大小和当前区域的位阶列表相同的位阶列表，利用读取的位阶列表作为预测图像，并把预测图像提供给输出单元535。

在正常模式下，预测矩阵生成单元542利用先前传送的位阶列表，生成(或预测)预测矩阵。更具体地，预测矩阵生成单元542从存储单元536，读取先前传送的与pred_matrix_id_delta和pred_size_id_delta对应的位阶列表，并利用读取的位阶列表生成预测矩阵。换句话说，预测矩阵生成单元542生成与图像编码设备10的预测矩阵生成单元172(图16)生成的预测矩阵类似的预测矩阵。预测矩阵生成单元542把生成的预测矩阵提供给位阶列表恢复单元534的预测矩阵大小变换单元561。

(3)熵解码单元

熵解码单元533从供给自参数分析单元531的指数Golomb码恢复差分矩阵。如图24中图解所示，熵解码单元533包括exp-G单元551，逆DPCM单元552和逆重复判定单元553。

exp-G单元551对有符号或无符号的指数Golomb码解码(下面，也称为指数Golomb解码)，以恢复DPCM数据。exp-G单元551把恢复的DPCM数据连同residual_symmetry_flag一起提供给逆DPCM单元552。

逆DPCM单元552进行已从中除去重复部分的数据的DPCM解码，从而根据DPCM数据生成残差数据。逆DPCM单元552把生成的残差数据连同residual_symmetry_flag一起提供给逆重复判定单元553。

如果residual_symmetry_flag为真，即，如果残差数据是已从中除去重复对称部分的数据(矩阵元素)的135°对称矩阵的剩余部分，那么逆重复判定单元553恢复对称部分的数据。换句话说，恢复135°对称矩阵的差分矩阵。注意，如果residual_symmetry_flag不为真，即，如果残差数据代表不是135°对称矩阵的矩阵，那么逆重复判定单元553利用残差数据作为差分矩阵，而不恢复对称部分的数据。逆重复判定单元553把按照上述方式恢复的差分矩阵提供给位阶列表恢复单元534(差分矩阵大小变换单元562)。

(4)位阶列表恢复单元

位阶列表恢复单元534恢复位阶列表。如图24中图解所示，位阶列表恢复单元534包括预测矩阵大小变换单元561，差分矩阵大小变换单元562，逆量化单元563和计算单元564。

如果从预测单元532(预测矩阵生成单元542)供给的预测矩阵的大小不同于待恢复的当前区域的位阶列表的大小，那么预测矩阵大小变换单元561转换预测矩阵的大小。

例如，如果预测矩阵的大小大于位阶列表的大小，那么预测矩阵大小变换单元561向下转换预测矩阵。此外，例如，如果预测矩阵的大小小于位阶列表的大小，那么预测矩阵大小变换单元561向上转换预测矩阵。选择和图像编码设备10的预测矩阵大小变换单元181(图16)的方法相同的方法，作为转换方法。

预测矩阵大小变换单元561把已使其大小和位阶列表的大小匹配的预测矩阵提供给计算单元564。

如果residual_down_sampling_flag为真，即，如果传送的差分矩阵的大小小于待逆量化的当前区域的大小，那么差分矩阵大小变换单元562向上转换差分矩阵，以把差分矩阵的大小增大到与待逆量化的当前区域对应的大小。可以使用任何向上转换方法。例如，可以使用与图像编码设备10的差分矩阵大小变换单元163(图16)进行的向下转换方法对应的方法。

例如，如果差分矩阵大小变换单元163已对差分矩阵进行了下采样，那么差分矩阵大小变换单元562可对差分矩阵进行上采样。另一方面，如果差分矩阵大小变换单元163已对差分矩阵进行了子采样，那么差分矩阵大小变换单元562可对差分矩阵进行逆子采样。

例如，差分矩阵大小变换单元562可进行如图25中图解所示的最近邻插值处理(最近邻)，而不是一般的线性插值。最近邻插值处理能够减小存储容量。

因而，即使不传送大小较大的位阶列表，也不需要为从大小较小的位阶列表的上采样，保存在上采样之后获得的数据。另外，当保存在上采样期间的计算中涉及的数据时，中间缓冲器等不是必需的。

注意，如果residual_down_sampling_flag不为真，即，如果差分矩阵是以与当用于量化处理时的大小相同的大小传送的，那么差分矩阵大小变换单元562省略差分矩阵的向上转换(或者可按系数1向上转换差分矩阵)。

差分矩阵大小变换单元562把如果需要，按照上述方式向上转换的差分矩阵提供给逆量化单元563。

逆量化单元563利用与图像编码设备10的量化单元183(图16)进行的量化的方法对应的方法，逆量化供给的差分矩阵(量化数据)，并把逆量化的差分矩阵提供给计算单元564。注意，如果量化单元183被省略，即，如果从差分矩阵大小变换单元562供给的差分矩阵不是量化数据，那么可以省略逆量化单元563。

计算单元564相加从预测矩阵大小变换单元561供给的预测矩阵，和从逆量化单元563供给的差分矩阵，从而恢复当前区域的位阶列表。计算单元564把恢复的位阶列表提供给输出单元535和存储单元536。

(5)输出单元

输出单元535把供给的信息输出给在矩阵生成单元410之外的装置。例如，在复制模式下，输出单元535把从复制单元541供给的预测矩阵提供给逆量化单元440，作为当前区域的位阶列表。此外，例如，在正常模式下，输出单元535把从位阶列表恢复单元534(计算单元564)供给的当前区域的位阶列表提供给逆量化单元440。

(6)存储单元

存储单元536保存从位阶列表恢复单元534(计算单元564)供给的位阶列表，以及该位阶列表的大小和列表ID。保存在存储单元536中的关于位阶列表的信息被用于生成稍后被处理的其它正交变换单元的预测矩阵。换句话说，存储单元536把保存的关于位阶列表的信息作为关于先前传送的位阶列表的信息，提供给预测单元532。

<2-11.逆DPCM单元的详细例证结构>

图26是图解说明图24中例示的逆DPCM单元552的详细结构的例子的方框图。参见图26，逆DPCM单元552包括初始设定单元571、DPCM解码单元572和DC系数提取单元573。

初始设定单元571获得sizeID和MatrixID，并把各个变量设定成初始值。初始设定单元571把获得和设定的信息提供给DPCM解码单元572。

DPCM解码单元572利用从初始设定单元571供给的初始设定等，从DC系数和AC系数的差分值(scaling_list_delta_coef)，确定各个系数(DC系数和AC系数)。DPCM解码单元572把确定的系数提供给DC系数提取单元573(ScalingList[i])。

DC系数提取单元573从供给自DPCM解码单元572的系数(ScalingList[i])中提取DC系数。DC系数位于AC系数的开始部分。即，从DPCM解码单元572供给的系数之中的初始系数(ScalingList[0])是DC系数。DC系数提取单元573提取位于开始部分的系数，作为DC系数，并把提取的系数输出给逆重复判定单元553(DC_coef)。DC系数提取单元573把其它系数(ScalingList[i](i>0))输出给逆重复判定单元553，作为AC系数。

因而，逆DPCM单元552能够进行正确的DPCM解码，从而能够获得DC系数和AC系数。即，图像解码设备300能够抑制位阶列表的编码量的增大。

<2-12.量化矩阵解码处理的流程>

下面参考图27中图解所示的流程图，说明由具有上述结构的矩阵生成单元410执行的量化矩阵解码处理的流程的例子。

当开始量化矩阵解码处理时，在步骤S301，参数分析单元531读取区域0～3的量化值(Qscale0～Qscale3)。

在步骤S302，参数分析单元531读取pred_mode。在步骤S303，参数分析单元531判定pred_mode是否等于0。如果判定pred_mode等于0，那么参数分析单元531判定当前模式是复制模式，从而使处理进入步骤S304。

在步骤S304，参数分析单元531读取pred_matrix_id_delta。在步骤S305，复制单元541复制已传送的位阶列表，并利用复制的位阶列表作为预测矩阵。在复制模式下，预测矩阵被输出为当前区域的位阶列表。当步骤S305的处理完成时，复制单元541终止量化矩阵解码处理。

此外，如果在步骤S303，判定pred_mode不等于0，那么参数分析单元531判定当前模式是全扫描模式(正常模式)，从而使处理进入步骤S306。

在步骤S306，参数分析单元531读取pred_matrix_id_delta，pred_size_id_delta和residual_flag。在步骤S307，预测矩阵生成单元542根据已传送的位阶列表，生成预测矩阵。

在步骤S308，参数分析单元531判定residual_flag是否为真。如果判定residual_flag不为真，那么不存在残差矩阵，输出在步骤S307生成的预测矩阵，作为当前区域的位阶列表。于是在这种情况下，参数分析单元531终止量化矩阵解码处理。

此外，如果在步骤S308，判定residual_flag为真，那么参数分析单元531使处理进入步骤S309。

在步骤S309，参数分析单元531读取residual_down_sampling_flag和residual_symmetry_flag。

在步骤S310，exp-G单元551和逆DPCM单元552解码残差矩阵的指数Golomb码，从而生成残差数据。

在步骤S311，逆重复判定单元553判定residual_symmetry_flag是否为真。如果判定residual_symmetry_flag为真，那么逆重复判定单元553使处理进入步骤S312，恢复残差数据的被除去的重复部分(或者说进行逆对称处理)。当按照上述方式生成为135°对称矩阵的差分矩阵时，逆重复判定单元553使处理进入步骤S313。

此外，如果在步骤S311，判定residual_symmetry_flag不为真(或者说如果残差数据是非135°对称矩阵的差分矩阵)，那么逆重复判定单元553使处理进入步骤S313，同时跳过步骤S312的处理(或者说不进行逆对称处理)。

在步骤S313，差分矩阵大小变换单元562判定residual_down_sampling_flag是否为真。如果判定residual_down_sampling_flag为真，那么差分矩阵大小变换单元562使处理进入步骤S314，把差分矩阵向上转换成与待逆量化的当前区域对应的大小。在差分矩阵被向上转换之后，差分矩阵大小变换单元562使处理进入步骤S315。

此外，如果在步骤S313，判定residual_down_sampling_flag不为真，那么差分矩阵大小变换单元562使处理进入步骤S315，同时跳过步骤S314的处理(或者说不向上转换差分矩阵)。

在步骤S315，计算单元564相加差分矩阵和预测矩阵，从而生成当前区域的位阶列表。当步骤S315的处理完成时，量化矩阵解码处理终止。

<2-13.残差信号解码处理的流程>

下面参考图28中图解所示的流程图，说明在图27的步骤S310中执行的残差信号解码处理的流程的例子。

当开始残差信号解码处理时，在步骤S331，exp-G单元551对供给的指数Golomb码解码。

在步骤S332，逆DPCM单元552对exp-G单元551通过解码获得的DPCM数据进行逆DPCM处理。

当逆DPCM处理完成时，逆DPCM单元552终止残差信号解码处理，使处理返回图27。

<2-14.逆DPCM处理的流程>

下面参考图29中图解所示的流程图，说明在图28的步骤S332中执行的逆DPCM处理的流程的例子。

当开始逆DPCM处理时，在步骤S351，初始设定单元571获得sizeID和MatrixID。

在步骤S352，初始设定单元571如下设定coefNum。

coefNum＝min((1<<(4+(sizeID<<1))),65)

在步骤S353，初始设定单元571如下设定变量i和变量nextcoef。

i＝0

nextcoef＝8

在步骤S354，DPCM解码单元572判定变量i是否小于coefNum。如果变量i小于coefNum，那么初始设定单元571使处理进入步骤S355。

在步骤S355，DPCM解码单元572读取系数的DPCM数据(scaling_list_delta_coef)。

在步骤S356，DPCM解码单元572利用读取的DPCM数据，如下确定nextcoef，还确定scalingList[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalingList[i]＝nextcoef

在步骤S357，DC系数提取单元573判定sizeID是否大于1，并且变量i是否等于0(即，位于开始部分的系数)。如果判定sizeID大于1，并且变量i代表位于开始部分的系数，那么DC系数提取单元573使处理进入步骤S358，利用该系数作为DC系数(DC_coef＝nextcoef)。当步骤S358的处理完成时，DC系数提取单元573使处理进入步骤S360。

此外，如果在步骤S357判定sizeID小于或等于1，或者变量i不代表位于开始部分的系数，那么DC系数提取单元573使处理进入步骤S359，并使各个系数的变量i变化1，因为DC系数已被提取(ScalingList[(i-(sizeID)>1)？1；0]＝nextcoef)。如果步骤S359的处理完成，那么DC系数提取单元573使处理进入步骤S360。

在步骤S360，DPCM解码单元572递增变量i，以把处理对象改变成后续系数，随后使处理返回步骤S354。

在步骤S354，重复进行步骤S354-S360的处理，直到判定变量i大于或等于coefNum为止。如果在步骤S354，判定变量i大于或等于coefNum，那么DPCM解码单元572终止逆DPCM处理，并使处理返回图28。

因此，DCT系数和位于AC系数的开始部分的AC系数之间的差分能够被正确地解码。于是，图像解码设备300能够抑制位阶列表的编码量的增大。

<3.第三实施例>

<3-1.语法：第二种方法>

传送DC系数和另一个系数之间的差分，而不是DC系数的另一种方法可以是例如作为和8×8矩阵的DPCM数据不同的DPCM数据，传送DC系数和8×8矩阵的(0,0)分量之间的差分(第二种方法)。例如，在8×8矩阵的DPCM传输之后，可以传送DC系数和8×8矩阵的(0,0)分量之间的差分。

因而，类似于第一种方法，当8×8矩阵的(0,0)系数(AC系数)的值和DC系数的值彼此接近时，能够更加改善压缩率。

图30图解说明第二种方法中的位阶列表的语法。在图30中图解所示的例子中，读取系数之间的64个差分值(scaling_list_delta_coef)。最后，读取DC系数和(0,0)系数(AC系数)之间的差分(scaling_list_dc_coef_delta)，根据所述差分确定DC系数。

因而，在第二种方法中，用于解码AC系数的语法可以类似于图12中图解所示的现有技术的语法。即，通过少量地变更现有技术的例子，可获得第二种方法的语法，从而与第一种方法的语法相比，更加可行。

不过，在图像解码设备收到所有系数并且解压缩所有DPCM数据之前，第二种方法不允许图像解码设备获得DC系数，而第一种方法则允许图像解码设备在图像解码设备收到初始系数时就恢复DC系数。

下面说明实现上述第二种方法的语法的图像编码设备。

<3-2.DPCM单元的详细例证结构>

在第二种方法中，图像编码设备10具有基本上和上述第一种方法中的结构类似的结构。具体地，图像编码设备10具有如图14中图解所示的例子中一样的结构。此外，正交变换/量化单元14具有如图15中图解所示的例子中一样的结构。此外，矩阵处理单元150具有如图16中图解所示的例子中一样的结构。

图31中图解说明了第二例子中的DPCM单元192的例证结构。如图31中图解所示，在第二例子中，DPCM单元192包括AC系数缓冲器611、AC系数编码单元612、AC系数DPCM单元613和DC系数DPCM单元614。

AC系数缓冲器611保存从重复判定单元191供给的初始AC系数(即，(0,0)系数)。AC系数缓冲器611在所有AC系数都已经过DPCM处理之后的预定定时，或者响应请求，把保存的初始AC系数(AC系数(0,0))提供给DC系数DPCM单元614。

AC系数编码单元612获得从重复判定单元191供给的初始AC系数(AC系数(0,0))，从常数(例如，8)中减去初始AC系数的值。AC系数编码单元612把减法结果(差分)提供给exp-G单元193，作为AC系数的DPCM数据的初始系数(scaling_list_delta_coef(i＝0))。

AC系数DPCM单元613获得从重复判定单元191供给的AC系数，对于第二个和随后的AC系数，分别确定和紧接在前的AC系数的差分(DPCM)，并把确定的差分作为DPCM数据(scaling_list_delta_coef(i＝1～63))，提供给exp-G单元193。

DC系数DPCM单元614获得从重复判定单元191供给的DC系数。DC系数DPCM单元614还获得保持在AC系数缓冲器611中的初始AC系数(AC系数(0,0))。DC系数DPCM单元614从DC系数中减去初始AC系数(AC系数(0,0))，以确定它们之间的差分，并把确定的差分作为DC系数的DPCM数据(scaling_list_dc_coef_delta)，提供给exp-G单元193。

如上所述，在第二种方法中，确定DC系数和另一个系数(初始AC系数)之间的差分。随后，在传送作为AC系数之间的差分的AC系数的DPCM数据(scaling_list_delta_coef)之后，作为和AC系数的DPCM数据不同的DC系数的DPCM数据(scaling_list_dc_coef_delta)，传送该差分。因而，类似于第一种方法，图像编码设备10可改善位阶列表的编码效率。

<3-3.DPCM处理的流程>

另外，在第二种方法中，图像编码设备10按照和参考图20中图解所示的流程图说明的第一种方法中的方式类似的方式，执行量化矩阵编码处理。

下面参考图32中图解所示的流程图，说明在图20的步骤S112中执行的第二种方法中的DPCM处理的流程的例子。

当开始DPCM处理时，在步骤S401，AC系数缓冲器611保持初始AC系数。

在步骤S402，AC系数编码单元612从预定常数(例如，8)中减去初始AC系数，以确定它们之间的差分(初始DPCM数据)。

步骤S403-S405的处理由AC系数DPCM单元613按照和图21中的步骤S133-S135的处理类似的方式执行。即，步骤S403-S405的处理被反复执行，以生成所有AC系数的DPCM数据(和紧接在前的AC系数的差分)。

如果在步骤S430，判定所有的AC系数已被处理(即，如果不存在未处理的AC系数)，那么AC系数DPCM单元63使处理进入步骤S406。

在步骤S406，DC系数DPCM单元614从DC系数中减去在步骤S401中保持的初始AC系数，从而确定它们之间的差分(DC系数的DPCM数据)。

当步骤S406的处理完成时，DC系数DPCM单元614终止DPCM处理，使处理返回图20。

因而，DC系数和另一个系数之间的差分也被确定，并作为DPCM数据被传送给图像解码设备。从而，图像编码设备10能够抑制位阶列表的编码量的增大。

<3-4.逆DPCM单元的详细例证结构>

在第二种方法中，图像解码设备300具有基本上和第一方法中的结构类似的结构。具体地，在第二种方法中，图像解码设备300具有和在图22中图解所示的例子中一样的结构。此外，逆量化/逆正交变换单元313具有和在图23中图解所示的例子中一样的结构。此外，矩阵生成单元410具有和在图24中图解所示的例子中一样的结构。

图33是图解说明在第二种方法中，图24中图解所示的逆DPCM单元552的详细结构的例子的方框图。参见图33，逆DPCM单元552包括初始设定单元621、AC系数DPCM解码单元622、AC系数缓冲器623和DC系数DPCM解码单元624。

初始设定单元621获得sizeID和MatrixID，并把各个变量设定成初始值。初始设定单元621把获得和设定的信息提供给AC系数DPCM解码单元622。

AC系数DPCM解码单元622获得从exp-G单元551供给的AC系数的DPCM数据(scaling_list_delta_coef)。AC系数DPCM解码单元622利用从初始设定单元621供给的初始设定等，解码获得的AC系数的DPCM数据，以确定AC系数。AC系数DPCM解码单元622把确定的AC系数(ScalingList[i])提供给逆重复判定单元553。AC系数DPCM解码单元622还把确定的AC系数之中的初始AC系数(ScalingList[0]，即，AC系数(0,0))提供给AC系数缓冲器623，以便保持。

AC系数缓冲器623保存从AC系数DPCM解码单元622供给的初始AC系数(ScalingList[0]，即，AC系数(0,0))。AC系数缓冲器623在预定定时或者响应请求，把初始AC系数(ScalingList[0]，即，AC系数(0,0))提供给DC系数DPCM解码单元624。

DC系数DPCM解码单元624获得从exp-G单元551供给的DC系数的DPCM数据(scaling_list_dc_coef_delta)。DC系数DPCM解码单元624还获得保存在AC系数缓冲器623中的初始AC系数(ScalingList[0]，即，AC系数(0,0))。DC系数DPCM解码单元624利用初始AC系数，解码DC系数的DPCM数据，以确定DC系数。DC系数DPCM解码单元624把确定的DC系数(DC_coef)提供给逆重复判定单元553。

因而，逆DPCM单元552能够进行正确的DPCM解码，从而能够获得DC系数和AC系数。即，图像解码设备300能够抑制位阶列表的编码量的增大。

<3-5.逆DPCM处理的流程>

另外在第二种方法中，图像解码设备300按照和上面参考图27中图解所示的流程图说明的第一种方法中的方式类似的方式，执行量化矩阵解码处理。类似地，图像解码设备300按照和上面参考图28中图解所示的流程图说明的第一种方法中的方式类似的方式，执行残差信号解码处理。

下面参考图34中图解所示的流程图，说明逆DPCM单元552执行的逆DPCM处理的流程的例子。

当开始逆DPCM处理时，在步骤S421，初始设定单元621获得sizeID和MatrixID。

在步骤S422，初始设定单元621如下设定coefNum。

coefNum＝min((1<<(4+(sizeID<<1))),64)

在步骤S423，初始设定单元621如下设定变量i和变量nextcoef。

i＝0

nextcoef＝8

在步骤S424，DPCM解码单元572判定变量i是否小于coefNum。如果变量i小于coefNum，那么初始设定单元621使处理进入步骤S425。

在步骤S425，AC系数DPCM解码单元622读取AC系数的DPCM数据(scaling_list_delta_coef)。

在步骤S426，AC系数DPCM解码单元622利用读取的DPCM数据如下确定nextcoef，另外还确定scalingList[i]。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scalingList[i]＝nextcoef

注意，计算的初始AC系数(ScalingList[0]，即，AC系数(0,0))被保持在AC系数缓冲器623中。

在步骤S427，AC系数DPCM解码单元622递增变量i，以把待处理的对象改变成随后的系数，然后使处理返回步骤S424。

在步骤S424，重复进行步骤S424-S427的处理，直到判定变量i大于或等于coefNum为止。如果在步骤S424中，判定变量i大于或等于coefNum，那么AC系数DPCM解码单元622使处理进入步骤S428。

在步骤S428，DC系数DPCM解码单元624判定sizeID是否大于1。如果判定sizeID大于1，那么DC系数DPCM解码单元624使处理进入步骤S429，读取DC系数的DPCM数据(scaling_list_dc_coef_delta)。

在步骤S430，DC系数DPCM解码单元624获得保持在AC系数缓冲器623中的初始AC系数(ScalingList[0]，即，AC系数(0,0))，并如下利用初始AC系数，解码DC系数(DC_coef)的DPCM数据。

DC_coef＝scaling_list_dc_coef_delta+ScalingList[0]

当获得DC系数(DC_coef)时，DC系数DPCM解码单元624终止逆DPCM处理，并使处理返回图28。

此外，如果在步骤S428，判定sizeID小于或等于1，那么DC系数DPCM解码单元终止逆DPCM处理，并使处理返回图28。

因而，DC系数和位于AC系数的开始部分的AC系数之间的差分能够被正确解码。于是，图像解码设备300能够抑制位阶列表的编码量的增大。

<4.第四实施例>

<4-1.语法：第三种方法>

在上面说明的第二种方法中，DC系数也可限于小于初始AC系数(AC系数(0,0))的值(第三种方法)。

这确保DC系数的DPCM数据，即，通过从DC系数中减去初始AC系数而获得的差分值可以是正值。从而可利用无符号的指数Golomb码，编码该DPCM数据。于是，第三种方法可避免DC系数大于初始AC系数，但是与第一种方法和第二种方法相比，能够减小编码量。

图35图解说明第三种方法中的位阶列表的语法。如图35中图解所示，这种情况下，DC系数的DPCM数据(scaling_list_dc_coef_delta)局限于正值。

类似于第二种方法中的语法，上述第三种方法的语法可由图像编码设备10实现。不过，在第三种方法中，exp-G单元193可利用无符号的指数Golomb码，编码DC系数的DPCM数据。注意，图像编码设备10可按照和第二种方法中的方式类似的方式，执行诸如量化矩阵编码处理和DPCM处理之类的处理。

此外，可按照和第二种方法类似的方式，用图像解码设备300实现第三种方法的语法。此外，图像解码设备300可按照和第二种方法中的方式类似的方式，执行量化矩阵解码处理。

<4-2.逆DPCM处理的流程>

下面参考图36中图解所示的流程图，说明逆DPCM单元552进行的逆DPCM处理的流程的例子。

按照和图34中的步骤S421-S429的处理类似的方式，进行步骤S451-S459的处理。

在步骤S460，DC系数DPCM解码单元624获得保持在AC系数缓冲器623中的初始AC系数(ScalingList[0]，即，AC系数(0,0))，并利用初始AC系数，如下解码DC系数(DC_coef)的DPCM数据。

DC_coef＝ScalingList[0]-scaling_list_dc_coef_delta

当获得DC系数(DC_coef)时，DC系数DPCM解码单元624终止逆逆DPCM处理，并使处理返回图28。

此外，如果在步骤S458，判定sizeID小于或等于1，那么DC系数DPCM解码单元624终止逆DPCM处理，并使处理返回图28。

因而，DC系数和位于AC系数的开始部分的AC系数之间的差分能够被正确解码。于是，图像解码设备300能够抑制位阶列表的编码量的增大。

<5.第五实施例>

<5-1.语法：第四种方法>

传送DC系数和另一个系数之间的差分，而不是DC系数的另一种方法可以是例如只收集多个位阶列表的DC系数，并通过独立于各个位阶列表的AC系数地获得DC系数之间的差分来进行DPCM(第四种方法)。这种情况下，DC系数的DPCM数据是多个位阶列表的多项数据的集合，并作为与各个位阶列表的AC系数的DPCM数据不同的数据被传送。

因而，例如当位阶列表(MatrixID)的DC系数之间存在相关性时，能够更加改善压缩率。

图37图解说明第四种方法中的关于位阶列表的DC系数的语法。这种情况下，在和用于各个位阶列表的AC系数的那些循环不同的循环中处理DC系数，如在图37中图解所示的例子中所示，AC系数的处理和DC系数的处理需要彼此独立。

这确保能够实现位阶列表编码和解码处理的更加多样的方法，不过可能增大DPCM处理和逆DPCM处理的复杂性。例如，可以容易地实现在复制模式下，只复制AC系数并使DC系数的值不同的处理。

其中DC系数被集体处理的位阶列表的数目是任意数目。

<5-2.DPCM单元的详细例证结构>

在第四种方法中，图像编码设备10具有基本上和第一方法中的结构类似的结构。具体地，图像编码设备10具有和在图14中图解所示的例子中一样的结构。此外，正交变换/量化单元14具有和在图15中图解所示的例子中一样的结构。此外，矩阵处理单元150具有和在图16中图解所示的例子中一样的结构。

图38中图解说明第四种方法中的DPCM单元192的例证结构。如图38中图解所示，这种情况下，DPCM单元192包括AC系数DPCM单元631、DC系数缓冲器632和DC系数DPCM单元633。

AC系数DPCM单元631进行从重复判定单元191供给的每个位阶列表的各个AC系数的DPCM处理。具体地，对于每个位阶列表，AC系数DPCM单元631从预定常数(例如，8)中减去初始AC系数，并从紧接在前的AC系数中减去正在处理的AC系数(当前AC系数)。AC系数DPCM单元631把对于每个位阶列表生成的DPCM数据(scaling_list_delta_coef)提供给exp-G单元193。

DC系数缓冲器632保存从重复判定单元191供给的各个位阶列表的DC系数。DC系数缓冲器632在预定定时，或者响应请求，把保存的DC系数提供给DC系数DPCM单元单元633。

DC系数DPCM单元633获得累积在DC系数缓冲器632中的DC系数。DC系数DPCM单元633确定获得的DC系数的DPCM数据。具体地，DC系数DPCM单元633从预定常数(例如，8)中减去初始DC系数，并从紧接在前的DC系数中减去正在处理的DC系数(当前DC系数)。DC系数DPCM单元633把生成的DPCM数据(scaling_list_delta_coef)提供给exp-G单元193。

因而，图像编码设备10能够改善位阶列表的编码效率。

<5-3.DPCM处理的流程>

另外在第四种方法中，图像编码设备10按照和上面参考图20中图解所示的流程图说明的第一种方法中的方式类似的方式，执行量化矩阵编码处理。

下面参考图39中图解所示的流程图，说明在图20的步骤S112中执行的第四种方法中的DPCM处理的流程的例子。

步骤S481-S485的处理由AC系数DPCM单元631按照和图32中的步骤S401-S405的处理(第二种方法中的处理)类似的方式执行。

如果在步骤S483，判定所有的AC系数都已被处理，那么AC系数DPCM单元631使处理进入步骤S486。

在步骤S486，AC系数DPCM单元631判定其中DC系数被集体DPCM编码的所有位阶列表(或者差分矩阵)是否都已被处理。如果判定存在未处理的位阶列表(或者差分矩阵)，那么AC系数DPCM单元631使处理返回步骤S481。

如果在步骤S486，判定所有的位阶列表(或者差分矩阵)都已被处理，那么AC系数DPCM单元631使处理进入步骤S487。

DC系数DPCM单元633按照和步骤S481-S485的处理相似的方式，对保存在DC系数缓冲器632中的DC系数，执行步骤S487-S491的处理。

如果在步骤S489，判定保存在DC系数缓冲器632中的所有DC系数都已被处理，那么DC系数DPCM单元631终止DPCM处理，使处理返回图20。

通过按照上述方式执行DPCM处理，图像编码设备10能够改善位阶列表的编码效率。

<5-4.逆DPCM单元的详细例证结构>

第四种方法中的图像解码设备300具有基本上和第一方法中的结构类似的结构。具体地，在第四种方法中，图像解码设备300也具有和在图22中图解所示的例子中一样的结构。此外，逆量化/逆正交变换单元313具有和在图23中图解所示的例子中一样的结构。此外，矩阵生成单元410具有和在图24中图解所示的例子中一样的结构。

图40是图解说明第四种方法中，在图24中图解说明的逆DPCM单元552的详细结构的例子的方框图。参见图40，逆DPCM单元552包括初始设定单元641、AC系数DPCM解码单元642和DC系数DPCM解码单元643。

初始设定单元641获得sizeID和MatrixID，并把各个变量设定成初始值。初始设定单元641把获得和设定的信息提供给AC系数DPCM解码单元642和DC系数DPCM解码单元643。

AC系数DPCM解码单元642获得供给自exp-G单元551的AC系数的DPCM数据(scaling_list_delta_coef(ac))。AC系数DPCM解码单元642利用从初始设定单元641供给的初始设定等，解码获得的AC系数的DPCM数据，从而确定AC系数。AC系数DPCM解码单元642把确定的AC系数(ScalingList[i])提供给逆重复判定单元553。AC系数DPCM解码单元642对多个位阶列表执行上面说明的处理。

DC系数DPCM解码单元643获得供给自exp-G单元551的DC系数的DPCM数据(scaling_list_delta_coef(dc))。DC系数DPCM解码单元643利用从初始设定单元641供给的初始设定等，解码获得的DC系数的DPCM数据，从而确定各个位阶列表的DC系数。DC系数DPCM解码单元643把确定的DC系数(scaling_list_dc_coef)提供给逆重复判定单元553。

因而，逆DPCM单元552能够进行正确的DPCM解码，从而能够获得DC系数和AC系数。即，图像解码设备300能够抑制位阶列表的编码量的增大。

<5-5.逆DPCM处理的流程>

另外在第四种方法中，图像解码设备300按照和上面参考图27中图解所示的流程图说明的第一种方法中的方式类似的方式，执行量化矩阵解码处理。类似地，图像解码设备300按照和上面参考图28中图解所示的流程图说明的第一种方法中的方式类似的方式，执行残差信号解码处理。

下面参考图41和42中图解所示的流程图，说明逆DPCM单元552执行的逆DPCM处理的流程的例子。

当开始逆DPCM处理时，初始设定单元641和AC系数DPCM解码单元642按照和在图34的步骤S421-S427的处理中的方式类似的方式，执行步骤S511-S517的处理。

如果在步骤S514，判定变量i大于或等于coefNum，那么AC系数DPCM解码单元642使处理进入步骤S518。

在步骤S518，AC系数DPCM解码单元642判定其中DC系数集体经历DPCM处理的所有位阶列表(差分矩阵)是否都已被处理。如果判定存在未处理的位阶列表(差分矩阵)，那么AC系数DPCM解码单元642使处理返回步骤S511，重复进行随后的处理。

此外，如果判定不存在未处理的位阶列表(差分矩阵)，那么AC系数DPCM解码单元642使处理进入图42。

在图42的步骤S521，初始设定单元641如下设定sizeID和变量nextcoef。

sizeID＝2

nextcoef＝8

此外，在步骤S522，初始设定单元641如下设定MatrixID。

MatrixID＝0

在步骤S523，DC系数DPCM解码单元643判定sizeID是否小于4。如果判定sizeID小于4，那么DC系数DPCM解码单元643使处理进入步骤S524。

在步骤S524，DC系数DPCM解码单元643判定MatrixID<(sizeID＝＝3)？2:6是否被满足。如果判定MatrixID<(sizeID＝＝3)？2:6被满足，那么DC系数DPCM解码单元643使处理进入步骤S525。

在步骤S525，DC系数DPCM解码单元643读取DC系数的DPCM数据(scaling_list_delta_coef)。

在步骤S526，DC系数DPCM解码单元643利用读取的DPCM数据，如下确定nextcoef，还确定scaling_dc_coef。

nextcoef＝(nextcoef+scaling_list_delta_coef+256)％256

scaling_dc_coef[sizeID-2][MatrixID]＝nextcoef

在步骤S527，DC系数DPCM解码单元643递增MatrixID，以把处理对象改变成随后的DC系数(随后的位阶列表或残差矩阵)，随后使处理返回步骤S524。

如果在步骤S524，判定MatrixID<(sizeID＝＝3)？2:6未被满足，那么DC系数DPCM解码单元643使处理进入步骤S528。

在步骤S528，DC系数DPCM解码单元643递增sizeID，以把处理对象改变成随后的DC系数(随后的位阶列表或残差矩阵)，随后使处理返回步骤S523。

如果在步骤S523，判定sizeID大于或等于4，那么DC系数DPCM解码单元643终止逆DPCM处理，并使处理返回图28。

因而，DC系数之间的差分能够被正确解码。于是，图像解码设备300能够抑制位阶列表的编码量的增大。

<6.第六实施例>

<6-1.其它语法：第一例子>

图43图解说明位阶列表的语法的另一个例子。图43对应于图12。在图12中图解所示的例子中，nextcoef的初始值被设定为预定常数(例如，8)。另一方面，如图43中图解所示，nextcoef的初始值可用DC系数的DPCM数据(scaling_list_dc_coef_minus8)重写。

因而，能够减小16×16位阶列表和32×32位阶列表中的初始AC系数(AC系数(0,0))的编码量。

<6-2.其它语法：第二例子>

图44图解说明位阶列表的语法的另一个例子。图44对应于图12。

在图12中图解所示的例子中，当作为指定复制模式下的参考目的地的信息的scaling_list_pred_matrix_id_delta的值为“0”时，参照领先于正在被处理的当前位阶列表一个位阶列表的位阶列表，当scaling_list_pred_matrix_id_delta的值为“1”时，参照领先于正被处理的当前位阶列表两个位阶列表的位阶列表。

相反，在图44中图解所示的例子中，如在图44的C部分中所示，当scaling_list_pred_matrix_id_delta(它是指定复制模式下的参考目的地的信息)的值为“0”时，参照默认的位阶列表，而当scaling_list_pred_matrix_id_delta的值为“1”时，参照紧接在前的位阶列表。

这样，变更scaling_list_pred_matrix_id_delta的语义能够以在图44的B部分中图解所示的方式，简化语法，从而能够降低DPCM处理和逆DPCM处理的负荷。

<6-3.其它语法：第三例子>

图45图解说明位阶列表的语法的另一个例子。图45对应于图12。

在图45中图解所示的例子中，同时使用图43中图解所示的例子和在图44中图解所示的例子。

因而，在图45中图解所示的例子中，能够减小16×16位阶列表和32×32位阶列表中的初始AC系数(AC系数(0,0))的编码量。另外，能够简化语法，从而能够降低DPCM处理和逆DPCM处理的负荷。

在上述实施例中，预定常数的值是任意的。另外，位阶列表的大小也是任意的。

此外，尽管上面说明了关于位阶列表、预测矩阵、或者它们之间的差分矩阵的大小变换处理，不过，大小变换处理可以是实际生成其大小已被变换的矩阵的处理，或者可以是在不实际生成矩阵的数据的情况下，设定如何从存储器读取矩阵中的各个元素的处理(矩阵数据的读取控制)。

在上面说明的大小变换处理中，其大小已被变换的矩阵中的各个元素由其大小还未被变换的矩阵中的任意元素构成。即，通过利用诸如读取矩阵中的一些元素，或者多次读取一个元素之类的某种方法，读取保存在存储器中的其大小还未被变换的矩阵中的元素，可以生成其大小已被变换的矩阵。换句话说，定义读取各个元素的方法(或者进行矩阵数据的读取控制)，以实质实现上面说明的大小变换。该方法可消除诸如把其大小已被变换的矩阵数据写入存储器中之类的处理。另外，其大小已被变换的矩阵数据的读取基本上取决于如何进行最近邻插值等，于是，可以利用负荷较低的处理，比如选择预先准备的多种选项中的一种适当选项，实现大小变换。因而，上面说明的方法可降低大小变换的负荷。

即，上面说明的大小变换处理包括实际生成其大小已被变换的矩阵数据的处理，还包括矩阵数据的读取控制。

注意，尽管在编码和传送差分矩阵的上下文中进行了上述说明，不过这仅仅是例证性的，可以编码和传送位阶列表。换句话说，上面说明成待处理的系数的位阶列表的AC系数和DC系数可以是位阶列表和预测矩阵之间的差分矩阵的AC系数和DC系数。

另外，通过获得关于位阶列表的参数、标记等(比如位阶列表的大小和列表ID)的信息与先前传送的信息之间的差分，并传送所述差分，可以减小所述信息的编码量。

此外，尽管在向下转换和传送大小较大的量化矩阵或差分矩阵的上下文中进行了上述说明，不过这仅仅是例证性的，可以在使用于量化的量化矩阵的大小保持不变的同时，不向下转换地传送量化矩阵或差分矩阵。

本技术可适用于涉及量化和逆量化的任何种类的图像编码和解码。

另外，本技术可适用于用于通过网络介质(比如卫星广播、有线电视、因特网或移动电话机)接收诸如MPEG或H.26x之类，利用诸如离散余弦变换之类的正交变换和运动补偿，压缩的图像信息(比特流)的图像编码设备和图像解码设备。本技术也可适合于用于诸如光盘、磁盘和闪存之类存储介质上的处理的图像编码设备和图像解码设备。此外，本技术也可适用于包含在上述图像编码设备和图像解码设备等中的量化装置和逆量化装置。

<7.第七实施例>

<对多视点图像编码和多视点图像解码的应用>

上述一系列处理可以应用于多视点图像编码和多视点图像解码。图46图解说明多视点图像编码方案的例子。

如图46中图解所示，多视点图像包括在多个视点(或视向(view))的图像。多视点图像中的多个视图包括基本视图(每个基本视图是利用其图像，而不利用另一个视图的图像来编码和解码的)和非基本视图(每个非基本视图是利用另一个视图的图像来编码和解码的)。每个非基本视图可以利用基本视图的图像，或者利用任何其它非基本视图的图像进行编码和解码。

当要编码和解码图46中图解所示的多视点图像时，每个视图的图像被编码和解码。上面在上述实施例中说明的方法可应用于每个视图的编码和解码。这能够抑制各个视图的图像质量的降低。

此外，在每个视图的编码和解码中，可以共享在上述实施例中说明的方法中使用的标记和参数。这可抑制编码效率的降低。

更具体地，例如，在各个视图的编码和解码中，可以共享涉及位阶列表的信息(例如，参数、标记等)。

不必说，在各个视图的编码和解码中，可共享任何其它必需的信息。

例如，当要传送包含在序列参数集(SPS)或图像参数集(PPS)中的位阶列表或者关于位阶列表的信息时，如果这些参数集(SPS和PPS)在各个视图之间被共享，那么位阶列表或者关于位阶列表的信息也相应地被共享。这能够抑制编码效率的降低。

此外，可按照视图之间的视差值，改变基本视图的位阶列表(或量化矩阵)中的矩阵元素。此外，可以传送用于关于基本视图的位阶列表(量化矩阵)中的矩阵元素，调整非基本视图矩阵元素的偏移值。因而，能够抑制编码量的增大。

例如，可以预先分别传送每个视图的位阶列表。当要为每个视图改变位阶列表时，可以只传送指示与预先传送的位阶列表中的对应一个位阶列表的差分的信息。指示所述差分的信息是任意的，例如可以是以4×4或8×8为单位的信息，或者可以是矩阵之间的差分。

注意，如果尽管SPS或PPS不被共享，但在各个视图之间共享位阶列表或者关于位阶列表的信息，那么可以参照其它视图的SPS或PPS(即，可以使用其它视图的位阶列表或者关于位阶列表的信息)。

此外，如果这样的多视点图像被表示成把YUV图像和对应于视图之间的视差量的深度图像(Depth)作为分量的图像，那么可以使用每个分量(Y、U、V和Depth)的对于图像的独立位阶列表或者关于位阶列表的信息。

例如，由于深度图像(Depth)是边缘的图像，因此位阶列表不是必需的。从而，即使SPS或PPS指定位阶列表的使用，位阶列表也可能不被应用于深度图像(Depth)(或者可把其中所有矩阵元素都相同(或单一)的位阶列表应用于深度图像(Depth))。

<多视点图像编码设备>

图47是图解说明用于进行上述多视点图像编码操作的多视点图像编码设备的示图。如图47中图解所示，多视点图像编码设备700包括编码单元701、编码单元702和复用单元703。

编码单元701编码基本视图的图像，从而生成编码的基本视图图像流。编码单元702编码非基本视图的图像，从而生成编码的非基本视图图像流。复用单元703复用由编码单元601生成的编码的基本视图图像流，和由编码单元702生成的编码的非基本视图图像流，从而生成编码的多视点图像流。

图像编码设备10(图14)可分别用于多视点图像编码设备700的编码单元701和编码单元702。即，能够抑制每个视图的编码中的位阶列表的编码量的增大，并且能够抑制每个视图的图像质量的降低。另外，编码单元701和编码单元702可以利用相同的标记或参数，进行诸如量化和逆量化之类的处理(即，标记和参数可被共享)。因而，能够抑制编码效率的降低。

<多视点图像解码设备>

图48是图解说明进行上面说明的多视点图像解码操作的多视点图像解码设备的示图。如图48中图解所示，多视点图像解码设备710包括分用单元711、解码单元712和解码单元713。

分用单元711分解其中复用编码的基本视图图像流和编码的非基本视图图像流的编码的多视点图像流，并提取编码的基本视图图像流和编码的非基本视图图像流。解码单元712解码分用单元711提取的编码的基本视图图像流，从而获得基本视图的图像。解码单元713解码分用单元711提取的编码的非基本视图图像流，从而获得非基本视图的图像。

图像解码设备300(图22)可分别用于多视点图像解码设备710的解码单元712和解码单元713。即，能够抑制每个视图的解码中的位阶列表的编码量的增大，并且能够抑制每个视图的图像质量的降低。另外，解码单元712和解码单元713可以利用相同的标记或参数，进行诸如量化和逆量化之类的处理(即，标记和参数可被共享)。因而，能够抑制编码效率的降低。

<8.第八实施例>

<对分层图像编码和分层图像解码的应用>

上述一系列处理可适用于分层图像编码和分层图像解码(可缩放编码和可缩放解码)。图49图解说明分层图像编码方案的例子。

分层图像编码(可缩放编码)是把图像分成多层(分层)，以便提供具有关于预定参数的可缩放性功能的图像数据，并对各层编码的处理。分层图像解码(可缩放解码)是对应于分层图像编码的解码处理。

如图49中图解所示，在图像分层中，利用具有可缩放性功能的预定参数作为基准，一个图像被分成多个子图像(或层)。即，分解成多层的图像(或分层图像)包括具有所述预定参数的不同值的多个分层(或层)图像。分层图像中的多层包括基本层(每个基本层是利用其图像，而不利用另一层的图像来编码和解码的)和非基本层(也称为增强层)，每个非基本层是利用另一层的图像编码和解码的。每个非基本层可利用基本层的图像，或者利用任何其它非基本层的图像编码和解码。

通常，每个非基本层由该非基本层的图像和另一层的图像之间的差分图像的数据(差分数据)构成，以便减小冗余。例如，在一个图像被分解成两层，即，一基本层和一非基本层(也称为增强层)的情况下，仅仅利用基本层的数据，可以获得质量低于原始图像的图像，以及通过组合基本层的数据和非基本层的数据，可以获得原始图像(即，质量较高的图像)。

按照上述方式的图像的分层可使按照状况，具有各种质量的图像的获取更容易。这确保可按照终端和网络的能力，不实现转码地从服务器传送图像压缩信息，以致只在基本层上的图像压缩信息被传送给处理能力低的终端(比如移动电话机)，以再现具有低空间-时间分辨率或低质量的运动图像，除基本层之外的在增强层上的图像压缩信息还被传送给处理能力高的终端(比如电视机和个人计算机)，以再现具有高空间-时间分辨率或高质量的运动图像。

当要编码和解码如图49中图解所示的分层图像时，每一层的图像被编码和解码。上面在各个实施例中说明的方法可应用于每一层的编码和解码。这能够抑制各层的图像质量的降低。

此外，在各层的编码和解码之间，可以共享在上述各个实施例中说明的方法中使用的标记和参数。这可抑制编码效率的降低。

更具体地，例如，在各层的编码和解码中，可以共享涉及位阶列表的信息(例如，参数、标记等)。

不必说，在各层的编码和解码中，可以共享任何其它必需的信息。

分层图像的例子包括在空间分辨率方面分层的图像(也称为空间分辨率可缩放性)(空间可缩放性)。在具有空间分辨率可缩放性的分层图像中，图像的分辨率因层而异。例如，空间分辨率最低的一层图像被指定为基本层，与基本层相比，分辨率较高的一层图像被指定为非基本层(增强层)。

非基本层(增强层)的图像数据可以是与其它各层无关的数据，并且类似于基本层，可以只利用该图像数据，获得具有与该层的分辨率等同的分辨率的图像。不过，非基本层(增强层)的图像数据通常是与该层的图像和另一层(例如，在该层下面一层的层)的图像之间的差分图像对应的数据。这种情况下，只利用基本层的图像数据，获得具有与基本层的分辨率等同的分辨率的图像，而通过组合该层的图像数据和另一层(例如，在该层下面一层的层)的图像数据，获得具有与非基本层(增强层)的分辨率等同的分辨率的图像。这能够抑制层间的图像数据的冗余。

在具有上述空间分辨率可缩放性的分层图像中，图像的分辨率因层而异。从而，编码和解码各层的处理单位的分辨率也不同。因而，如果在各层的编码和解码中，共享位阶列表(量化矩阵)，那么可以按照各层的分辨率比，向上转换位阶列表(量化矩阵)。

例如，假定基本层的图像具有2K(例如，1920×1080)的分辨率，而非基本层(增强层)的图像具有4K(例如，3840×2160)的分辨率。在这种情况下，例如，基本层的图像(2K图像)的16×16大小对应于非基本层的图像(4K图像)的32×32大小。还按照分辨率比，酌情向上转换位阶列表(量化矩阵)。

例如，用于基本层的量化和逆量化的4×4量化矩阵被向上转换成非基本层的量化和逆量化中的8×8，并被使用。类似地，基本层的8×8位阶列表被向上转换成非基本层中的16×16。类似地，向上转换成基本层中的16×16并被使用的量化矩阵被向上转换成非基本层中的32×32。

注意，向其提供可缩放性的参数并不局限于空间分辨率，参数的例子可包括时间分辨率(时间可缩放性)。在具有时间分辨率可缩放性的分层图像中，图像的帧速率因层而异。其它例子包括其中图像数据的位深度因层而异的位深度可缩放性，和其中分量的格式因层而异的色度可缩放性。

其它例子还包括其中图像的信噪比(SNR)因层而异的SNR可缩放性。

考虑到图像质量的改善，理想地，图像具有的信噪比越低，产生的量化误差越小。为此，在SNR可缩放性中，理想地，按照信噪比，不同的位阶列表(非公共位阶列表)被用于各层的量化和逆量化。因此，如上所述，如果在各层之间共享位阶列表，那么可以传送关于基本层的位阶列表中的矩阵元素来调整增强层的矩阵元素的偏移值。更具体地，可逐层地传送指示公共位阶列表和实际使用的位阶列表之间的差分的信息。例如，可在各层的序列参数集(SPS)或图像参数集(PPS)中，传送指示所述差分的信息。指示所述差分的信息是任意的。例如，所述信息可以是使元素表示两个位阶列表中的对应元素之间的差分值的矩阵，或者可以是指示差分的函数。

[分层图像编码设备]

图50是图解说明进行上面说明的分层图像编码操作的分层图像编码设备的示图。如图50中图解所示，分层图像编码设备720包括编码单元721、编码单元722和复用单元723。

编码单元721编码基本层的图像，从而生成编码的基本层图像流。编码单元722编码非基本层的图像，从而生成编码的非基本层图像流。复用单元723复用由编码单元721生成的编码的基本层图像流，和由编码单元722生成的编码的非基本层图像流，从而生成编码的分层图像流。

图像编码设备10(图14)可用于分层图像编码设备720的编码单元721和编码单元722中的每一个。即，能够抑制各层的编码中的位阶列表的编码量的增大，并且能够抑制各层的图像质量的降低。另外，编码单元721和编码单元722可利用相同的标记和参数，进行诸如量化和逆量化之类的处理(即，标记和参数可被共享)。因而，能够抑制编码效率的降低。

[分层图像解码设备]

图51是图解说明进行上面说明的分层图像解码操作的分层图像解码设备的示图。如图51中图解所示，分层图像解码设备730包括分用单元731、解码单元732和解码单元733。

分用单元731分解其中复用编码的基本层图像流和编码的非基本层图像流的编码的分层图像流，并提取编码的基本层图像流和编码的非基本层图像流。解码单元732解码分用单元731提取的编码的基本层图像流，从而获得基本层的图像。解码单元733解码分用单元731提取的编码的非基本层图像流，从而获得非基本层的图像。

图像解码设备300(图22)可用于分层图像解码设备730的解码单元732和解码单元733中的每一个。即，能够抑制各层的解码中的位阶列表的编码量的增大，并且能够抑制各层的图像质量的降低。另外，解编码单元732和编码单元733可利用相同的标记和参数，进行诸如量化和逆量化之类的处理(即，标记和参数可被共享)。因而，能够抑制编码效率的降低。

<9.第九实施例>

<计算机>

上述一系列处理可用硬件执行，或者也可用软件执行。这种情况下，所述一系列处理例如可被实现成如图52中图解所示的计算机。

在图52中，计算机800中的CPU(中央处理器)801按照保存在ROM(只读存储器)802中的程序，或者从存储单元813加载到RAM(随机存取存储器)803中的程序，执行各种处理操作。RAM 803还酌情保存为CPU 801执行各种处理操作所需的数据等。

CPU 801、ROM 802和RAM 803通过总线804互连。输入/输出接口810也连接到总线804。

输入/输出接口810连接到输入单元811、输出单元812、存储单元813和通信单元814。输入单元811包括键盘、鼠标、触摸面板、输入终端等。输出单元812包括所需的输出装置，比如扬声器和包括CRT(阴极射线管)、LCD(液晶显示器)和OLED(有机电致发光显示器)的显示器，输出终端等。存储单元813包括所需的存储介质，比如硬盘或闪存，和控制存储介质的输入和输出的控制单元。通信单元814包括所需的有线或无线通信装置，比如调制解调器、LAN接口、USB(通用串行总线)装置和蓝牙(注册商标)装置。通信单元814通过包括因特网在内的网络，与其它通信装置进行通信处理。

此外如果需要，驱动器815也被连接到输入/输出接口810。诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质821被酌情放入驱动器815中。按照例如CPU 801的控制，驱动器815从放入其中的可拆卸介质821，读取计算机程序、数据等。读取的数据和计算机程序被提供给RAM 803。从可拆卸介质821读取的计算机程序被酌情安装在存储单元813上。

当用软件执行上述一系列处理时，从网络或记录介质安装构成所述软件的程序。

如图52中图解所示，记录介质的例子包括与设备主体分离地分发的，以便向用户交付程序的上面记录所述程序的可拆卸介质821，比如磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器)和DVD(数字通用光盘))、磁光盘(包括MD(小型光盘))、或者半导体存储器。记录介质的其它例子包括以预先并入设备主体中的方式交付给用户的上面记录程序的装置，比如ROM 802，和包含在存储单元813中的硬盘。

注意，计算机800执行的程序可以是按照这里记载的顺序，时序地进行处理操作的程序，或者可以是并行地，或在需要的时刻，比如当被调用时进行处理操作的程序。

另外，这里使用的描述保存在记录介质中的程序的步骤当然包括按照记载的顺序，时序地进行的处理操作，和并行地或者单独地，而不一定时序地进行的处理操作。

此外，这里使用的术语“系统”指的是一组组成元件(装置、模块(组件)等)，而不管所有组成元件是否被容纳在相同的机壳中。从而，容纳在分离的机壳中，并通过网络连接的多个装置，和包括容纳在单个机壳中的多个模块的单一装置被定义为系统。

另外，可把上面描述成单个设备(或处理单元)的结构分成多个设备(或处理单元)。相反，也可把上面描述成多个设备(或处理单元)的结构合并成单个设备(或处理单元)。另外，当然可以向每个设备(或每个处理单元)的结构中增加除上述结构外的结构。此外，也可把某个设备(或处理单元)的结构的一部分包含在另一个设备(或另一个处理单元)的结构中，如果就整个系统来说，所述设备(或处理单元)具有基本相同的结构和/操作的话。换句话说，本技术的实施例并不局限于上述实施例，可以作出各种修改，而不脱离本技术的范围。

尽管参考附图，详细说明了本公开的优选实施例，不过，本公开的技术范围并不局限于这里公开的例子。显然本公开的技术领域的普通技术人员可实现各种变化或修改，而不脱离在权利要求书中限定的技术思想的范围，应明白这样的变化或修改当然也落在本公开的技术范围之内。

例如，本技术可以用其中多个设备通过网络，分担并且协同地处理单一功能的云计算结构来实现。

另外，在上面的流程图中说明的各个步骤可由一个设备执行，或者可由多个设备分担地执行。

此外，如果一个步骤包括多个处理时，包含在所述一个步骤中的多个处理可由一个设备执行，或者可由多个设备分担地执行。

按照上述实施例的图像编码设备10(图14)和图像解码设备300(图22)可应用于各种电子设备(比如用于通过卫星广播，诸如有线电视之类的有线广播，或者因特网输送数据，或者用于通过蜂窝通信，往来于终端输送数据的发射器或接收器)，把图像记录在诸如光盘、磁盘和闪存之类介质上的记录设备，和从存储介质再现图像的再现设备。下面说明4种例证应用。

<10.例证应用>

<第一例证应用：电视接收机>

图53图解说明上述实施例适用于的电视机的示意结构的例子。电视机900包括天线901、调谐器902、分用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号中提取所需频道的信号，并解调提取的信号。随后，调谐器902把通过解调获得的编码比特流输出给分用器903。换句话说，调谐器902起电视机900中的接收包括编码图像的编码流的传输单元的作用。

分用器903把编码比特流分离成待观看的节目的视频流和音频流，并把通过分用获得的各个流输出给解码器904。此外，分用器903从编码比特流中提取辅助数据，比如EPG(电子节目指南)，并把提取的数据提供给控制单元910。注意，如果编码比特流被加扰，那么分用器903也可对编码比特流进行解扰。

解码器904解码从分用器903输入的视频流和音频流。随后，解码器904把通过解码处理产生的视频数据输出给视频信号处理单元905。解码器904还把通过解码处理产生的音频数据输出给语音信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，使视频被显示在显示单元906上。视频信号处理单元905还使经网络提供的应用屏幕被显示在显示单元906上。视频信号处理单元905还按照设定，对视频数据执行诸如噪声消除之类的附加处理。另外，视频信号处理单元905还可生成GUI(图形用户界面)图像，比如菜单、按钮或光标，并把生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905供给的驱动信号驱动，把视频或图像显示在显示装置(比如液晶显示器、等离子体显示器或OELD(有机电致发光显示器)(有机EL显示器))的视频表面上。

音频信号处理单元907对从解码器904输入的音频数据进行诸如D/A转换和放大之类的再现处理，使音频从扬声器908被输出。音频信号处理单元907还可对音频数据进行诸如噪声消除之类的附加处理。

外部接口909是连接电视机900与外部装置或网络的接口。例如，通过外部接口909接收的视频流或音频流可由解码器904解码。换句话说，外部接口909也起电视机900中的接收包括编码图像的编码流的传输单元的作用。

控制单元910包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序，程序数据，EPG数据，通过网络获得的数据等。在启动电视机900时，保存在存储器中的程序由CPU读取和执行。CPU执行所述程序，以按照从用户接口911输入的操作信号，控制电视机900的操作。

用户接口911连接到控制单元910。用户接口911例如包括允许用户操作电视机900的按钮和开关，遥控信号的接收单元，等等。用户接口911通过上述组件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元910。

总线912用于互连调谐器902、分用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910。

在具有上述结构的电视机900中，解码器904具有按照上述实施例的图像解码设备300(图22)的功能。因而，电视机900能够抑制位阶列表的编码量的增大。

<第二例证应用：移动电话机>

图54图解说明上述实施例适用于的移动电话机的示意结构的例子。移动电话机920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/分用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933用于互连通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/分用单元928、记录/再现单元929、显示单元930和控制单元931。

移动电话机920按各种操作模式，包括语音呼叫模式、数据通信模式、图像拍摄模式和可视电话模式进行诸如传输和接收音频信号、传输和接收电子邮件或图像数据、拍摄图像和记录数据之类的操作。

在语音呼叫模式下，麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据，并对转换后的音频数据进行A/D转换和压缩。音频编解码器923随后把压缩的音频数据输出给通信单元922。通信单元922编码和调制音频数据，从而生成传输信号。通信单元922随后把生成的传输信号通过天线921传送给基站(未图示)。此外，通信单元922放大通过天线921接收的无线信号，并对放大的信号进行频率转换，从而获得接收信号。随后，通信单元922解调和解码接收信号，从而生成音频数据，并把生成的音频数据输出给音频编解码器923。音频编解码器923展开音频数据，并进行D/A转换，从而生成模拟音频信号。音频编解码器923随后把生成的音频信号提供给扬声器924，从而使音频被输出。

此外，在数据通信模式下，例如，控制单元931按照用户通过操作单元932的操作，生成形成电子邮件的文本数据。另外，控制单元931使文本被显示在显示单元930上。控制单元931还按照通过操作单元932，从用户发出的传输指令，生成电子邮件数据，并把生成的电子邮件数据输出给通信单元922。通信单元922编码和调制电子邮件数据，从而产生传输信号。随后，通信单元922把生成的传输信号通过天线921传送给基站(未图示)。另外，通信单元922放大通过天线921接收的无线信号，并对放大的信号进行频率转换，从而获得接收信号。随后，通信单元922解调和解码接收信号，从而恢复电子邮件数据，并把恢复的电子邮件数据输出给控制单元931。控制单元931使电子邮件的内容被显示在显示单元930上，还使电子邮件数据被保存在记录/再现单元929的存储介质中。

记录/再现单元929包括期望的可读/可写存储介质。例如，存储介质可以是内置存储介质，比如RAM和闪存，或者外部存储介质，比如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。

此外，在图像拍摄模式下，例如，相机单元926拍摄被摄物体的图像，从而生成图像数据，并把生成的图像数据输出给图像处理单元927。图像处理单元927对从相机单元926输入的图像数据编码，并使编码流被保存在记录/再现单元929的存储介质中。

此外，在可视电话模式下，例如，复用/分用单元928复用由图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并把复用流输出给通信单元922。通信单元922编码和调制所述流，从而生成传输信号。随后，通信单元922把生成的传输信号通过天线921传送给基站(未图示)。另外，通信单元922放大通过天线921接收的无线信号，并对放大的信号进行频率转换，从而获得接收信号。传输信号和接收信号可包括编码比特流。通信单元922解调和解码接收信号，从而恢复所述流，并把恢复的流输出给复用/分用单元928。随后，复用/分用单元928把输入流分离成视频流和音频流，并把视频流和音频流分别输出给图像处理器927和音频编解码器923。图像处理器927解码视频流，从而生成视频数据。视频数据被提供给显示单元930，由显示单元930显示一系列图像。音频编解码器923展开音频流，并进行D/A转换，从而生成模拟音频信号。音频编解码器923随后把生成的音频信号输出给扬声器924，以使音频被输出。

在具有上述结构的移动电话机920中，图像处理单元927具有按照上述实施例的图像编码设备10(图14)的功能和图像解码设备300(图22)的功能。因而，移动电话机920能够抑制位阶列表的编码量的增大。

另外，尽管已给出了移动电话机920的说明，不过，和移动电话机920类似，本技术适用于的图像编码设备和图像解码设备可用于具有和移动电话机920类似的成像功能和通信功能的任何设备，比如PDA(个人数字助手)、智能电话机、UMPC(超级移动个人计算机)、上网本或笔记本个人计算机。

<第三例证应用：记录/再现设备>

图55图解说明上述实施例适用于的记录/再现设备的示意结构的例子。记录/再现设备940对接收的广播节目的音频数据和视频数据编码，并把编码的音频数据和视频数据记录在记录介质上。此外，记录/再现设备940还可对例如从另一个设备获得的音频数据和视频数据编码，并把编码的音频数据和视频数据记录在记录介质上。另外，记录/再现设备940按照用户发出的指令，利用监视器和扬声器再现记录在记录介质上的数据。这种情况下，记录/再现设备940解码音频数据和视频数据。

记录/再现设备940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、光盘驱动器945、选择器946、解码器947、OSD(屏上显示器)948、控制单元949和用户接口950。

调谐器941从通过天线(未图示)接收的广播信号中提取所需频道的信号，并解调提取的信号。调谐器941随后把通过解调获得的编码比特流输出给选择器946。换句话说，调谐器941起记录/再现设备940中的传输单元的作用。

外部接口942是连接记录/再现设备940和外部装置或网络的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪存接口等。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。换句话说，外部接口942起记录/再现设备940中的传输单元的作用。

如果从外部接口942输入的视频数据和音频数据未被编码，那么编码器943对所述视频数据和音频数据编码。编码器943随后把编码比特流输出给选择器946。

HDD 944把包括压缩的内容数据(比如视频和音频)的编码比特流、各种程序和其它数据记录在内部硬盘上。此外，当再现视频和音频时，HDD 944从硬盘上读取上述数据。

光盘驱动器945把数据记录在放入其中的记录介质上，和从放入其中的记录介质读取数据。放入光盘驱动器945中的记录介质可以是例如DVD光盘(比如DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)，或者蓝光(注册商标)光盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并把选择的编码比特流输出给HDD 944或光盘驱动器945。当再现视频和音频时，选择器946把从HDD 944或光盘驱动器945输入的编码比特流输出给解码器947。

解码器947解码编码比特流，从而生成视频数据和音频数据。解码器947随后把生成的视频数据输出给OSD 948。解码器904还把生成的音频数据输出给外部扬声器。

OSD 948再现从解码器947输入的视频数据，并显示视频。另外，OSD 948还可把诸如菜单、按钮或光标之类的GUI图像叠加在待显示的视频上。

控制单元949包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序、程序数据等。当记录/再现设备940被启动时，CPU读取并执行保存在存储器中的程序。CPU执行程序，从而按照从用户接口950输入的操作信号，控制记录/再现设备940的操作。

用户接口950连接到控制器949。用户接口950包括例如允许用户操作记录/再现设备940的按钮和开关，遥控信号的接收器等等。用户接口950通过上述组件检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元949。

在具有上述结构的记录/再现设备940中，编码器943具有按照上述实施例的图像编码设备10(图14)的功能。此外，解码器947具有按照上述实施例的图像解码设备300(图22)的功能。因而，记录/再现设备940能够抑制位阶列表的编码量的增大。

<第四例证应用：成像设备>

图56图解说明上述实施例适用于的成像设备的示意结构的例子。成像设备960拍摄被摄物体的图像，从而生成图像，对图像数据编码，并把编码的图像数据记录在记录介质上。

成像设备960包括光学部件961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。

光学部件961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972用于互连图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970。

光学部件961包括聚焦透镜、光圈机构等。光学部件961在成像单元962的像面上形成被摄物体的光学图像。成像单元962包括诸如CCD或CMOS图像传感器之类的图像传感器，并通过进行光电转换，把在像面上形成的光学图像转换成作为电信号的图像信号。成像单元962随后把图像信号输出给信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号进行各种相机信号处理操作，比如拐点校正、γ校正和颜色校正。信号处理单元963把经过相机信号处理操作的图像数据输出给图像处理单元964。

图像处理单元964编码从信号处理单元963输入的图像数据，从而生成编码数据。图像处理单元964随后把生成的编码数据输出给外部接口966或介质驱动器968。另外，图像处理单元964解码从外部接口966或介质驱动器968输入的编码数据，从而生成图像数据。图像处理单元964随后把生成的图像数据输出给显示单元965。另外，图像处理单元964还可把从信号处理单元963输入的图像数据输出给显示单元965，使图像被显示。另外，图像处理单元964还可把从OSD 969获得的显示数据叠加在待输出给显示单元965的图像上。

OSD 969生成诸如菜单、按钮或光标之类的GUI图像，并把生成的图像输出给图像处理单元964。

外部接口966由例如USB输入/输出端口构成。例如，当打印图像时，外部接口966连接成像设备960和打印机。此外，如果需要，驱动器也被连接到外部接口966。可拆卸介质，比如磁盘或光盘被放入驱动器中，从可拆卸介质读取的程序可被安装到成像设备960中。另外，外部接口966也可由连接到网络，比如LAN和因特网的网络接口构成。换句话说，外部接口966起成像设备960中的传输单元的作用。

放入介质驱动器968中的记录介质可以是任何可读/可写的可拆卸介质，比如磁盘、磁光盘、光盘或半导体存储器。另一方面，记录介质可被固定地附接在介质驱动器968上，可构成内置硬盘驱动器或不可移植的存储单元，比如或SSD(固态驱动器)。

控制单元970包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序，程序数据等。当成像设备960被启动时，CPU读取并执行保存在存储器中的程序。CPU执行程序，以按照从用户接口971输入的操作信号，控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971包括允许用户操作成像设备960的按钮、开关等。用户接口971通过上述组件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元970。

在具有上述结构的成像设备960中，图像处理单元964具有按照上述实施例的图像编码设备10(图14)的功能和图像解码设备300(图22)的功能。因而，成像设备960能够抑制位阶列表的编码量的增大。

<7.可缩放编码的例证应用>

[第一系统]

下面说明已利用可缩放编码(分层(图像)编码)而编码的可缩放编码数据的使用的具体例子。和图57中图解所示的例子中一样，可缩放编码可用于待传送数据的选择。

在图57中图解所示的数据传输系统1000中，分发服务器1002读取保存在可缩放编码数据存储单元1001中的可缩放编码数据，并经网络1003把可缩放编码数据分发给终端设备，比如个人计算机1004、AV设备1005、平板设备1006和移动电话机1007。

这种情况下，分发服务器1002按照终端设备的性能、通信环境等，选择具有期望质量的编码数据，并传送选择的编码数据。即使分发服务器1002传送质量高于必需质量的数据，终端设备也并不总是获得高质量图像，并且可能导致延迟或上溢。另外，这种数据会不必要地占据更多的通信带宽，或者会不必要地增大终端设备的负荷。相反，即使分发服务器1002传送质量低于必需质量的数据，终端设备也不一定获得具有足够质量的图像。从而，如果需要，分发服务器1002读取保存在可缩放编码数据单元1001中的可缩放编码数据，作为具有适合于终端设备的性能、通信环境等的质量的编码数据，并传送读取的编码数据。

例如，假定可缩放编码数据存储单元1001保存已被可缩放编码的可缩放编码数据(BL+EL)1011。可缩放编码数据(BL+EL)1011是包括基本层和增强层的编码数据，是被解码以获得基本层的图像和增强层的图像的数据。

分发服务器1002按照传送数据的终端设备的性能、通信环境等，选择适当层，并读取该层的数据。例如，分发服务器1002从可缩放编码数据存储单元1001，读取高质量可缩放编码数据(BL+EL)1011，并把读取的可缩放编码数据(BL+EL)1011原样传送给具有高处理能力的个人计算机1004或平板设备1006。相反，例如，分发服务器1002从可缩放编码数据(BL+EL)1011中，提取基本层的数据，把提取的基本层的数据传送给具有低处理能力的AV设备1005和移动电话机1007，作为内容与可缩放编码数据(BL+EL)1011相同、但是质量比可缩放编码数据(BL+EL)低的可缩放编码数据(BL)1012。

按照这种方式的可缩放编码数据的使用使数据量的调整更容易，从而抑制延迟或上溢的发生，并且抑制终端设备或通信介质的负荷的不必要增大。此外，可缩放编码数据(BL+EL)1011具有各层之间的减小的冗余，于是与具有各层的单独编码数据的数据相比，数据量较小。因而，能够更有效地利用可缩放编码数据存储单元1001的存储区。

注意，由于诸如个人计算机1004、AV设备1005、平板设备1006和移动电话机1007之类的各种设备可用作终端设备，因此终端设备的硬件性能因设备而异。另外，由于终端设备可执行各种应用程序，因此应用的软件能力可变化。此外，充当通信介质的网络1003可被实现成任何通信线路网，所述任何通信线路网可以是有线和/或无线通信线路网，比如因特网和LAN(局域网)，并且具有各种数据传输能力。这样的性能和能力可随其它通信等而变化。

因而，在开始数据的传输之前，分发服务器1002可以与将向其传送数据的终端设备通信，并可获得关于该终端设备的能力的信息，比如所述终端设备的硬件性能，或者所述终端设备执行的应用(软件)的性能，以及关于通信环境的信息，比如网络1003的可用带宽。另外，分发服务器1002可根据获得的信息，选择适当的层。

注意，层可由终端设备提取。例如，个人计算机1004可解码传送的可缩放编码数据(BL+EL)1011，并显示基本层的图像或增强层的图像。另一方面，例如，个人计算机1004可从传送的可缩放编码数据(BL+EL)1011中，提取基本层的可缩放编码数据(BL)1012，保存提取的可缩放编码数据(BL)1012，把提取的可缩放编码数据(BL)1012传送给另一个设备，或者解码提取的可缩放编码数据(BL)1012，以显示基本层的图像。

当然，可缩放编码数据存储单元1001的数目，分发服务器1002的数目，网络1003的数目和终端设备的数目是任意数目。另外，尽管说明了其中分发服务器1002向终端设备传送数据的例子，不过使用例子并不局限于该例子。数据传输系统1000可以用在当向终端设备传送已使用可缩放编码进行编码的编码数据时，按照终端设备的能力、通信环境等，选择适当层的任何系统中。

另外，本技术还可按照与应用于上面参考图49-图51说明的分层编码和分层解码相似的方式，应用于如上所述的图57中图解所示的数据传输系统1000，从而获得与上面参考图49-图51说明的优点类似的优点。

<第二系统>

如图58中图解所示的例子中一样，可缩放编码也可用于经多种通信介质的传输。

在图58中图解所示的数据传输系统1100中，广播站1101通过地面广播1111，传送基本层的可缩放编码数据(BL)1121。广播站1101还通过由通信网络形成的预期网络1112，传送(例如，分包和传送)增强层的可缩放编码数据(EL)1122，所述通信网络可以是有线和/或无线通信网络。

终端设备1102具有接收来自广播站1101的地面广播1111的功能，从而接收通过地面广播1111传送的基本层的可缩放编码数据(BL)1121。终端设备1102还具有通过网络1112进行通信的通信功能，从而接收通过网络1112传送的增强层的可缩放编码数据(EL)1122。

终端设备1102按照例如用户指令等，解码通过地面广播1111获得的基本层的可缩放编码数据(BL)1121，从而获得基本层的图像，保存可缩放编码数据(BL)1121，或者把可缩放编码数据(BL)1121传送给另一个设备。

此外，终端设备1102按照例如用户指令等，组合通过地面广播1111获得的基本层的可缩放编码数据(BL)1121，和通过网络1112获得的增强层的可缩放编码数据(EL)1122，从而获得可缩放编码数据(BL+EL)，并解码可缩放编码数据(BL+EL)，以获得增强层的图像，保存可缩放编码数据(BL+EL)，或者把可缩放编码数据(BL+EL)传送给另一个设备。

如上所述，可以经因层而异的通信介质，传送可缩放编码数据。从而，可以分散负荷，并且能够抑制延迟或上溢的发生。

此外，可按照状况，为每一层选择用于传输的通信介质。例如，可以通过具有较大带宽的通信介质，传送数据量较大的基本层的可缩放编码数据(BL)1121，可通过带宽较窄的通信介质，传送数据量较小的增强层的可缩放编码数据(EL)1122。另一方面，例如，可按照网络的可用带宽，在网络1112和地面广播1111之间，切换经其传送增强层的可缩放编码数据(EL)1122的通信介质。当然，上述类似地适用于任意层的数据。

按照上述方式的控制能够进一步抑制数据传输负荷的增大。

当然，层数是任意的，用于传输的通信介质的数目也是任意的。另外，待被分发数据的终端设备1102的数目也是任意的。另外，尽管举例说明了从广播站1101广播的情况，不过使用例子并不局限于这个例子。数据传输系统1100可应用于以层为单位，把利用可缩放编码进行编码的数据分成多个片段，并通过多条线路传送数据段的任何系统。

另外，本技术也可按照与应用于上面参考图49-图51说明的分层编码和分层解码相似的方式，应用于如上所述的图58中图解所示的数据传输系统1100，从而获得与上面参考图49-图51说明的优点类似的优点。

[第三系统]

如图59中图解所示的例子中一样，可缩放编码也可用于编码数据的存储。

在图59中图解所示的成像系统1200中，成像设备1201对通过拍摄被摄物体1211的图像而获得的图像数据进行可缩放编码，并把作为结果的数据作为可缩放编码数据(BL+EL)1221提供给可缩放编码数据存储设备1202。

可缩放编码数据存储设备1202按与状况对应的质量，保存从成像设备1201供给的可缩放编码数据(BL+EL)1221。例如正常时，可缩放编码数据存储设备1202从可缩放编码数据(BL+EL)1221中提取基本层的数据，并保存提取的基本层的数据，作为质量低并且数据量小的基本层的可缩放编码数据(BL)1222。相反，例如关注时，可缩放编码数据存储设备1202原样保存质量高且数据量大的可缩放编码数据(BL+EL)1221。

因而，可缩放编码数据存储设备1202可以只有当必需时，才高质量地保存图像。这能够抑制数据量的增大，同时抑制由质量的降低引起的图像价值的降低，并且能够提高存储区的使用效率。

例如，假定成像设备1201是监控相机。如果监控对象(例如入侵者)未出现在拍摄的图像中(正常时)，那么拍摄的图像可能没有重要的内容。从而，优先考虑数据量的降低，从而低质量地保存图像的图像数据(可缩放编码数据)。相反，如果待监控的对象作为对象1211出现在拍摄的图像中(关注时)，那么拍摄的图像可能具有重要的内容。从而，优先考虑图像质量，从而高质量地保存图像的图像数据(可缩放编码数据)。

注意，通过分析图像，可缩放编码数据存储设备1202例如可以判定正常时或关注时。另一方面，成像设备1201可判定正常时或关注时，并把判定结果传送给可缩放编码数据存储设备1202。

注意，正常时或关注时的判定可以基于任意标准，所述判定所基于的图像可具有任何内容。当然，除图像的内容之外的条件可以用作判定标准。可以按照例如记录的音频的大小、波形等，改变状态，或者可以每隔预定时间，改变状态。另一方面，可以按照诸如用户指令之类的外部指令，改变状态。

另外，尽管说明了在两种状态，即，正常时和关注时之间变化的例子，不过，状态的数目是任意的，可在不止两种状态(比如正常时，关注时，更关注时和非常关注时)之间进行状态改变。注意，待改变的状态的上限数取决于可缩放编码数据的层数。

此外，成像设备1201可被配置成按照状态，确定可缩放编码的层数。例如，正常时，成像设备1201可生成质量低并且数据量小的基本层的可缩放编码数据(BL)1222，并把生成的可缩放编码数据(BL)1222提供给可缩放编码数据存储设备1202。此外，例如，关注时，成像设备1201可生成质量高并且数据量大的基本层的可缩放编码数据(BL+EL)1221，并把生成的可扩展编码数据(BL+EL)1221提供给可扩展编码数据存储设备1202。

尽管举例说明了监控相机，不过，成像系统1200可以用在任何应用中，可用在不同于监控相机的应用中。

另外，本技术也可按照与应用于上面参考图49-图51说明的分层编码和分层解码相似的方式，应用于如上所述的图59中图解所示的成像系统1200，从而获得与上面参考图49-图51说明的优点类似的优点。

注意，本技术也适用于其中以片段为单位，从预先准备的具有不同分辨率的多个编码数据中选择并使用一项适当的编码数据的HTTP流式传输，比如MPEG DASH。换句话说，也可在多个编码数据之间共享关于编码和解码的信息。

当然，本技术适用于的图像编码设备和图像解码设备也可适用于除上述设备之外的设备，或者适用于系统。

注意，这里说明了其中从编码侧向解码侧传送量化矩阵(或者用于形成量化矩阵的系数)的例子。传送量化矩阵的技术可以是以与编码比特流关联的独立数据的形式，传送或记录量化矩阵，而不把量化参数复用到编码比特流中。这里使用的用语“关联”意味在图像被解码时，允许包含在比特流中的图像(它可以是图像的一部分，比如切片或块)与对应于该图像的信息相联系。即，可通过与用于图像(或者比特流)的传输路径不同的传输路径传送所述信息。此外，信息可被记录在与用于图像(或者比特流)的记录介质不同的记录介质上(或者记录在相同记录介质的不同记录区域中)。此外，可按任意单位，比如多帧、一帧、或一帧的一部分，使信息和图像(或者比特流)彼此相关。

注意，本技术还可以提供以下结构。

(1)一种图像处理设备，包括：

设定单元，被配置成通过将作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数加入位于量化矩阵的开始处的系数，设定位于量化矩阵的开始处的系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；

向上转换单元，被配置成对由所述设定单元设定的量化矩阵进行向上转换以设定向上转换量化矩阵；以及

逆量化单元，被配置成利用向上转换量化矩阵对通过解码编码数据而获得的量化数据进行逆量化，在所述向上转换量化矩阵中，已经用所述置换系数置换了位于由所述向上转换单元设定的向上转换量化矩阵的开始处的系数。

(2)根据(3)到(9)中的任一项所述的图像处理设备，其中

所述设定单元通过将所述置换系数与为所述量化矩阵设定的初始值之间的差值加入所述初始值，设定所述置换系数。

(3)根据(1)、(2)以及(4)到(9)中的任一项所述的图像处理设备，其中

所述设定单元利用所述置换差值系数和作为所述量化矩阵的系数之间的差值的差值系数来设定所述量化矩阵的系数。

(4)根据(1)至(3)以及(5)到(9)中的任一项所述的图像处理设备，其中

集体地传送所述置换差值系数和作为所述量化矩阵的系数之间的差值的所述差值系数，并且

所述设定单元利用集体地传送的置换差值系数和差值系数来设定所述量化矩阵的系数。

(5)根据(1)至(4)以及(6)到(9)中的任一项所述的图像处理设备，其中

所述置换差值系数和作为所述量化矩阵的系数之间的差值的所述差值系数已被编码，并且

所述设定单元对编码的所述置换差值系数和编码的所述差值系数进行解码。

(6)根据(1)至(5)以及(7)到(9)中的任一项所述的图像处理设备，其中

所述向上转换单元通过对大小被限制为不大于所述传送大小的所述量化矩阵的矩阵元素执行最邻近插值处理，对所述量化矩阵进行向上转换。

(7)根据(1)至(6)以及(8)和(9)中的任一项所述的图像处理设备，其中

所述传送大小是8×8，并且

所述向上转换单元通过对8×8大小的量化矩阵的矩阵元素执行最邻近插值处理，将8×8大小的量化矩阵向上转换成16×16大小的量化矩阵。

(8)根据(1)至(7)以及(9)中的任一项所述的图像处理设备，其中

所述向上转换单元通过对8×8大小的量化矩阵的矩阵元素执行最邻近插值处理，将8×8大小的量化矩阵向上转换成32×32大小的量化矩阵。

(9)根据(1)至(8)中的任一项所述的图像处理设备，其中

作为执行解码处理的处理单位的编码单位和作为执行变换处理的处理单位的变换单位具有分层结构，

所述图像处理设备还包括解码单元，所述解码单元被配置成利用具有分层结构的单位对编码的数据执行解码处理以生成量化数据，并且

所述向上转换单元将所述量化矩阵从所述传送大小向上转换成作为执行逆量化的处理单位的变换单位的大小。

(10)一种图像处理方法，包括：

通过将作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数加入位于量化矩阵的开始处的系数，设定位于量化矩阵的开始处的系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；

对设定的量化矩阵进行向上转换以设定向上转换量化矩阵；以及

利用向上转换量化矩阵对通过解码编码数据而获得的量化数据进行逆量化，在所述向上转换量化矩阵中，已经用所述置换系数置换了位于所设定的向上转换量化矩阵的开始处的系数。

(11)一种图像处理设备，包括：

设定单元，被配置成设定作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；

量化单元，被配置成对图像进行量化以生成量化数据；以及

传送单元，被配置成传送通过对由所述量化单元生成的量化数据进行编码而获得的编码数据、通过对所述置换系数进行编码而获得的置换系数数据以及通过对由所述设定单元设定的置换差值系数进行编码而获得的置换差值系数数据。

(12)根据(11)和(13)到(17)中的任一项所述的图像处理设备，其中

所述设定单元设定所述置换系数与为所述量化矩阵设定的初始值之间的差值。

(13)根据(11)、(12)以及(14)到(17)中的任一项所述的图像处理设备，其中

所述设定单元设定作为所述量化矩阵的系数之间的差值的差值系数，并且

所述传送单元传送通过对由所述设定单元设定的差值系数进行编码而获得的差值系数数据。

(14)根据(11)到(13)以及(15)到(17)中的任一项所述的图像处理设备，其中

所述传送单元集体地传送所述置换系数数据和所述置换差值系数数据。

(15)根据(11)到(14)以及(16)和(17)中的任一项所述的图像处理设备，其中

所述传送单元按所述置换系数数据和所述置换差值系数数据的顺序传送所述置换系数数据和所述置换差值系数数据。

(16)根据(11)到(15)以及(17)中的任一项所述的图像处理设备，其中

所述量化单元利用所述量化矩阵或所述向上转换量化矩阵对图像进行量化。

(17)根据(11)到(16)中的任一项所述的图像处理设备，其中

作为执行编码处理的处理单位的编码单位和作为执行变换处理的处理单位的变换单位具有分层结构，并且

所述图像处理设备还包括编码单元，所述编码单元被配置成对由所述量化单元生成的量化数据进行编码。

(18)一种图像处理方法，包括：

设定作为置换系数与位于量化矩阵的开始处的系数之间的差值的置换差值系数，所述量化矩阵的大小被限制为不大于作为在传送时允许的最大大小的传送大小，所述置换系数被用于置换位于通过将所述量化矩阵向上转换成与作为执行逆量化的处理单位的块大小相同的大小而获得的向上转换量化矩阵的开始处的系数；

对图像进行量化以生成量化数据；以及

传送通过对所生成的量化数据进行编码而获得的编码数据、通过对所述置换系数进行编码而获得的置换系数数据以及通过对所设定的置换差值系数进行编码而获得的置换差值系数数据。

(19)一种图像处理设备，包括：

解码单元，被配置成对编码数据进行解码以生成量化数据；和

逆量化单元，被配置成当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，利用与作为执行逆量化的处理单位的块大小相同的大小的缺省量化矩阵，对由所述解码单元生成的量化数据进行逆量化。

(20)根据(19)和(21)中的任一项所述的图像处理设备，其中

所述逆量化单元通过对语法进行分析来逆量化所述量化数据，所述语法的语义被设定成当所述量化矩阵参考数据匹配所述量化矩阵识别数据时参考所述缺省量化矩阵。

(21)根据(19)和(20)中的任一项所述的图像处理设备，其中

所述逆量化单元通过对语法进行分析来逆量化所述量化数据，所述语法的语义被设定成当所述量化矩阵参考数据与所述量化矩阵识别数据之间的差值等于0时参考所述缺省量化矩阵。

(22)一种图像处理方法，包括：

对编码数据进行解码以生成量化数据；和

当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，利用与作为执行逆量化的处理单位的块大小相同的大小的缺省量化矩阵，对在所述解码中生成的量化数据进行逆量化。

(23)一种图像处理设备，包括：

编码单元，被配置成对图像进行编码以生成编码数据；和

设定单元，被配置成将一种语法设定为由所述编码单元生成的编码数据的语法，所述语法的语义被设定成当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，参考与作为执行量化的处理单位的块大小相同的大小的缺省量化矩阵。

(24)一种图像处理方法，包括：

对图像进行编码以生成编码数据；和

将一种语法设定为所生成的编码数据的语法，所述语法的语义被设定成当在拷贝量化矩阵的拷贝模式下，识别量化矩阵的参考目的地的量化矩阵参考数据匹配识别量化矩阵的量化矩阵识别数据时，参考与作为执行量化的处理单位的块大小相同的大小的缺省量化矩阵。

附图标记列表

10 图像编码设备，14 正交变换/量化单元，16 无损编码单元，150 矩阵处理单元，192 DPCM单元，211 DC系数编码单元，212 AC系数DPCM单元，300 图像解码单元，312 无损解码单元，313 逆量化/逆正交变换单元，410 矩阵生成单元，552 逆DPCM单元，571 初始设定单元，572 DPCM解码单元，573 DC系数提取单元，611 AC系数缓冲器，612 AC系数编码单元，613 AC系数DPCM单元，614 DC系数DPCM单元，621 初始设定单元，622 AC系数DPCM解码单元，623 AC系数缓冲器，624 DC系数DPCM解码单元，631 AC系数DPCM单元，632 DC系数缓冲器，633 DC系数DPCM单元，641 初始设定单元，642 AC系数DPCM解码单元，643 DC系数DPCM解码单元。

Claims (19)

1.一种图像处理设备，包括：

解码单元，对包括置换差分系数的编码数据进行解码而生成量化数据，所述置换差分系数是置换系数与位于第一大小的第一量化矩阵的开始处的系数之间的差分，所述置换系数被用于置换位于通过对所述第一大小的第一量化矩阵执行最邻近插值处理而向上转换成的第二大小的第二量化矩阵的开始处的系数；

设定单元，通过对将所述置换系数和所述置换差分系数相加而得的系数设定为位于所述第一大小的第一量化矩阵的开始处的系数的所述第一大小的第一量化矩阵执行所述最邻近插值处理，来设定所述第二大小的第二量化矩阵；

置换单元，将位于由所述设定单元所设定的所述第二大小的第二量化矩阵的开始处的系数置换为所述置换系数；以及

逆量化单元，利用位于开始处的系数已被所述置换单元置换为所述置换系数的所述第二大小的第二量化矩阵，对由所述解码单元生成的量化数据进行逆量化而生成变换系数数据。

2.根据权利要求1所述的图像处理设备，其中

所述解码单元对包括所述第一大小的第一量化矩阵的系数彼此的差分即差分系数的所述编码数据进行解码，

所述设定单元通过对所述差分系数进行加法处理来设定所述第一大小的第一量化矩阵。

3.根据权利要求2所述的图像处理设备，其中

所述解码单元对将所述置换差分系数和所述差分系数集中而成的差分系数群作为语法的所述编码数据进行解码。

4.根据权利要求3所述的图像处理设备，其中

所述置换差分系数和所述差分系数按照所述置换差分系数和所述差分系数的顺序作为语法被包括在所述编码数据中，

所述解码单元按照所述置换差分系数和所述差分系数的顺序对所述置换差分系数和所述差分系数进行解码。

5.根据权利要求4所述的图像处理设备，其中

所述解码单元对包括所述置换系数与对量化矩阵设定的系数的初始值之间的差分即初始差分系数的所述编码数据进行解码，

所述设定单元通过对所述初始差分系数加上所述初始值来设定所述置换系数。

6.根据权利要求5所述的图像处理设备，其中

所述初始差分系数和所述差分系数群按照所述初始差分系数和所述差分系数群的顺序作为语法被包括在编码数据中，

所述解码单元按照所述初始差分系数和所述差分系数群的顺序对所述初始差分系数和所述差分系数群进行解码。

7.根据权利要求6所述的图像处理设备，其中

所述初始差分系数和所述差分系数群按照所述初始差分系数和所述差分系数群的顺序被指数Golomb编码而被包括在所述编码数据中，

所述解码单元按照所述初始差分系数和所述差分系数群的顺序对被指数Golomb编码的所述初始差分系数和被指数Golomb编码的所述差分系数群进行指数Golomb解码。

8.根据权利要求7所述的图像处理设备，还包括：

逆正交变换单元，对由所述逆量化单元生成的所述变换系数数据进行逆正交变换。

9.根据权利要求8所述的图像处理设备，其中

所述逆正交变换单元按照第二大小的变换单位进行逆正交变换。

10.一种图像处理方法，包括：

对包括置换差分系数的编码数据进行解码而生成量化数据，所述置换差分系数是置换系数与位于第一大小的第一量化矩阵的开始处的系数之间的差分，所述置换系数被用于置换位于通过对所述第一大小的第一量化矩阵执行最邻近插值处理而向上转换成的第二大小的第二量化矩阵的开始处的系数；

通过对将所述置换系数和所述置换差分系数相加而得的系数设定为位于所述第一大小的第一量化矩阵的开始处的系数的所述第一大小的第一量化矩阵执行所述最邻近插值处理，来设定所述第二大小的第二量化矩阵；

将位于设定的所述第二大小的第二量化矩阵的开始处的系数置换为所述置换系数；以及

利用位于开始处的系数已被置换为所述置换系数的所述第二大小的第二量化矩阵，对生成的量化数据进行逆量化而生成变换系数数据。

11.根据权利要求10所述的图像处理方法，其中

对包括所述第一大小的第一量化矩阵的系数彼此的差分即差分系数的所述编码数据进行解码，

通过对所述差分系数进行加法处理来设定所述第一大小的第一量化矩阵。

12.根据权利要求11所述的图像处理方法，其中

对将所述置换差分系数和所述差分系数集中而成的差分系数群作为语法的所述编码数据进行解码。

13.根据权利要求12所述的图像处理方法，其中

所述置换差分系数和所述差分系数按照所述置换差分系数和所述差分系数的顺序作为语法被包括在所述编码数据中，

按照所述置换差分系数和所述差分系数的顺序对所述置换差分系数和所述差分系数进行解码。

14.根据权利要求13所述的图像处理方法，其中

对包括所述置换系数与对量化矩阵设定的系数的初始值之间的差分即初始差分系数的所述编码数据进行解码，

通过对所述初始差分系数加上所述初始值来设定所述置换系数。

15.根据权利要求14所述的图像处理方法，其中

所述初始差分系数和所述差分系数群按照所述初始差分系数和所述差分系数群的顺序作为语法被包括在编码数据中，

按照所述初始差分系数和所述差分系数群的顺序对所述初始差分系数和所述差分系数群进行解码。

16.根据权利要求15所述的图像处理方法，其中

所述初始差分系数和所述差分系数群按照所述初始差分系数和所述差分系数群的顺序被指数Golomb编码而被包括在所述编码数据中，

按照所述初始差分系数和所述差分系数群的顺序对被指数Golomb编码的所述初始差分系数和被指数Golomb编码的所述差分系数群进行指数Golomb解码。

17.根据权利要求16所述的图像处理方法，其中，

对生成的所述变换系数数据进行逆正交变换。

18.根据权利要求17所述的图像处理方法，其中

按照第二大小的变换单位进行逆正交变换。

19.一种计算机可读记录介质，记录有使得计算机发挥如下功能的程序：

解码单元，对包括置换差分系数的编码数据进行解码而生成量化数据，所述置换差分系数是置换系数与位于第一大小的第一量化矩阵的开始处的系数之间的差分，所述置换系数被用于置换位于通过对所述第一大小的第一量化矩阵执行最邻近插值处理而向上转换成的第二大小的第二量化矩阵的开始处的系数；

设定单元，通过对将所述置换系数和所述置换差分系数相加而得的系数设定为位于所述第一大小的第一量化矩阵的开始处的系数的所述第一大小的第一量化矩阵执行所述最邻近插值处理，来设定所述第二大小的第二量化矩阵；

置换单元，将位于由所述设定单元所设定的所述第二大小的第二量化矩阵的开始处的系数置换为所述置换系数；以及

逆量化单元，利用位于开始处的系数已被所述置换单元置换为所述置换系数的所述第二大小的第二量化矩阵，对由所述解码单元生成的量化数据进行逆量化而生成变换系数数据。

Images