CN108924566A - 图像处理设备和方法 - Google Patents

Abstract

本公开涉及一种能够抑制量化矩阵的编码量的增大的图像处理设备和方法。本公开的图像处理设备包括向上转换单元，所述向上转换单元被配置成把局限于等于或小于作为传输期间允许的最大大小的传输大小的大小的量化矩阵，从所述传输大小向上转换到与作为量化或逆量化的处理单位的块大小相同的大小。本公开适用于例如处理图像数据的图像处理设备。

Description

图像处理设备和方法

本申请是申请号为201280061142.8、申请日为2012年11月30日、名称为“图像处理设备和方法”的发明专利申请的分案申请。

技术领域

本公开涉及图像处理设备和方法。

背景技术

在作为视频编码标准的H.264/AVC(高级视频编码)中，高规格以上的规格可以把其大小因正交变换系数的分量而异的量化步长用于图像数据的量化。根据参考步长值和依据与正交变换的单位等同的大小限定的量化矩阵(也称为位阶列表)，可设定正交变换系数的每个分量的量化步长。

例如，分别为帧内预测模式的4×4大小的变换单位、帧间预测模式的4×4大小的变换单位、帧内预测模式的8×8大小的变换单位和帧间预测模式的8×8大小的变换单位，确定量化矩阵的规定值。此外，允许用户在序列参数集或图像参数集中，指定与所述规定值不同的独特量化矩阵。如果不使用量化矩阵，那么对所有分量来说，用于量化的量化步长的值都相等。

在正在进行标准化的作为H.264/AVC的后继者的下一代视频编码标准的HEVC(高效视频编码)中，介绍了对应于现有宏块的CU(编码单位)的概念(例如，参见NPL 1)。编码单位大小的范围由序列参数集中的称为LCU(最大编码单位)和SCU(最小编码单位)的为2的幂的一组值指定。利用split_flag指定在由LCU和SCU指定的范围中的具体编码单位大小。

在HEVC中，一个编码单位可被分成一个或多个正交变换单位，或者一个或多个变换单位(TU)。4×4、8×8、16×16和32×32任意之一可以作用变换单位的大小。因而，对于每个这些候选变换单位大小，也可指定量化矩阵。

在H.264/AVC中，对于每个变换单位的大小，在每个图像中只能够指定一个量化矩阵。相反，已提出为每个变换单位的大小，在每个图像中指定多个候选量化矩阵，并且就RD(率失真)优化来说，为每个块自适应地选择量化矩阵(例如，参见NPL2)。

引文列表

非专利文献

NPL 1:JCTVC-B205，“Test Model under Consideration”，Joint CollaborativeTeam on Video Coding(JCT-VC)of ITU-T SG16 WP3 and ISO/IECJTC1/SC29/WG11 2ndMeeting:Geneva,CH,21-28July 2010

NPL 2:VCEG-AD06，“Adaptive Quantization Matrix Selection on KTASoftware”，ITU-Telecommunications Standardization Sector STUDY GROUP 16Question 6 Video Coding Experts Group(VCEG)30th Meeting:Hangzhou,China,23-24October 2006

发明内容

技术问题

然而，随着变换单位的大小的增大，对应的量化矩阵的大小也增大，导致待传送的量化矩阵的编码量增大。另外，变换单位的大小的增大导致开销增大，量化矩阵的切换会引起压缩效率方面的问题。

鉴于这种情况，提出了本公开，本公开的目的是能够抑制量化矩阵的编码量的增大。

技术问题的解决方案

本公开的一个方面提供一种图像处理设备，包括接收单元，所述接收单元被配置成接收通过对图像进行编码处理获得的编码数据，和量化矩阵，所述量化矩阵局限于小于或等于作为允许传输的最大大小的传输大小的大小；解码单元，所述解码单元被配置成对接收单元接收的编码数据进行解码处理，从而生成量化数据；向上转换单元，所述向上转换单元被配置成把接收单元接收的量化矩阵从所述传输大小向上转换成与块大小相同的大小，所述块大小是进行逆量化的处理单位；和逆量化单元，所述逆量化单元被配置成利用由向上转换单元向上转换的量化矩阵，逆量化由解码单元生成的量化数据。

接收单元接收的量化矩阵可被配置成把与默认量化矩阵大小相同的大小作为传输大小。

接收单元接收的量化矩阵可被配置成把与默认量化矩阵的最大大小相同的大小作为传输大小。

所述传输大小可以是8×8，接收单元接收的量化矩阵可被配置成具有8×8大小。

向上转换单元可通过对接收单元接收的量化矩阵中的矩阵元素，进行插值处理，来向上转换局限于小于或等于传输大小的大小的量化矩阵。

向上转换单元可通过对接收单元接收的量化矩阵中的矩阵元素，进行最近邻插值处理，来向上转换局限于小于或等于传输大小的大小的量化矩阵。

所述传输大小可以是8×8，向上转换单元可通过对8×8大小的量化矩阵中的矩阵元素，进行最近邻插值处理，把8×8大小的量化矩阵向上转换成16×16大小的量化矩阵。

向上转换单元可通过对8×8大小的量化矩阵中的矩阵元素，进行最近邻插值处理，把8×8大小的量化矩阵向上转换成32×32大小的量化矩阵。

向上转换单元可通过对正方量化矩阵中的的矩阵元素，进行插值处理，把局限于小于或等于传输大小的大小的正方量化矩阵向上转换成非正方量化矩阵。

所述传输大小可以是8×8，向上转换单元可通过对8×8大小的量化矩阵中的矩阵元素进行插值处理，把8×8大小的量化矩阵向上转换成8×32大小的量化矩阵或32×8大小的量化矩阵。

所述传输大小可以是8×8，向上转换单元可通过对4×4大小的量化矩阵中的矩阵元素进行插值处理，把4×4大小的量化矩阵向上转换成4×16大小的量化矩阵或16×4大小的量化矩阵。

所述传输大小可以是8×8，向上转换单元可通过对8×8大小的量化矩阵中的矩阵元素进行插值处理，把8×8大小的量化矩阵向上转换成2×32大小的量化矩阵、32×2大小的量化矩阵、1×16大小的量化矩阵、或者16×1大小的量化矩阵。

作为进行解码处理的处理单位的编码单元和作为进行变换处理的处理单位的变换单位可具有分层结构，解码单元可利用具有分层结构的单元，对编码数据进行解码处理，向上转换单元可把接收单元接收的量化矩阵从所述传输大小，向上转换成作为进行逆量化的处理单位的变换单位的大小。

量化矩阵可被设定成具有按照作为进行逆量化的处理单位的块大小而不同的矩阵元素的量化矩阵，接收单元可接收具有按照作为进行逆量化的处理单位的块大小而不同的矩阵元素的量化矩阵，向上转换单元利用具有按照作为进行逆量化的处理单位的块大小而不同的矩阵元素的量化矩阵，向上转换接收单元接收的量化矩阵。

所述传输大小可以是8×8，向上转换单元在作为进行逆量化的处理单位的块大小为16×16的情况下向上转换第一量化矩阵，而在作为进行逆量化的处理单位的块大小为32×32的情况下向上转换第二量化矩阵，第二量化矩阵具有不同于第一量化矩阵的不同矩阵元素。

本发明的另一个方面提供一种图像处理设备的图像处理方法。所述图像处理方法包括接收通过对图像进行编码处理获得的编码数据，和量化矩阵，所述量化矩阵局限于小于或等于作为允许传输的最大大小的传输大小的大小；对接收的编码数据进行解码处理，从而生成量化数据；把接收的量化矩阵从所述传输大小向上转换成与块大小相同的大小，所述块大小是进行逆量化的处理单位；和利用向上转换的量化矩阵，逆量化生成的量化数据，其中所述图像处理方法由所述图像处理设备进行。

本发明的另一个方面提供一种信息处理设备，包括设定单元，所述设定单元被配置成设定用于从作为允许传输的最大大小的传输大小到与块大小相同的大小的向上转换的量化矩阵，所述块大小是逆量化通过量化图像而获得的量化数据的处理单位；量化单元，所述量化单元被配置成利用由设定单元设定的量化矩阵，量化图像，从而生成量化数据；编码单元，所述编码单元被配置成对量化单元生成的量化数据进行编码处理，从而生成编码数据；和传输单元，所述传输单元被配置成传送由编码单元生成的编码数据，和由设定单元设定的量化矩阵，所述量化矩阵局限于小于或等于传输大小的大小。

所述传输大小可以是8×8，设定单元设定的量化矩阵可被配置成8×8。

量化矩阵可被配置成是用于从8×8大小到16×16大小或32×32大小的向上转换的量化矩阵。

本公开的另一个方面提供一种图像处理设备的图像处理方法。所述图像处理方法包括设定用于从作为允许传输的最大大小的传输大小到与块大小相同的大小的向上转换的量化矩阵，所述块大小是逆量化通过量化图像而获得的量化数据的处理单位；利用设定的量化矩阵，量化图像，从而生成量化数据；对生成的量化数据进行编码处理，从而生成编码数据；和传送生成的编码数据和设定的量化矩阵，所述量化矩阵局限于小于或等于传输大小的大小，其中所述图像处理方法由所述图像处理设备进行。

在本公开的一个方面，接收通过对图像进行编码处理获得的编码数据，和量化矩阵，所述量化矩阵局限于小于或等于作为允许传输的最大大小的传输大小的大小；对接收的编码数据进行解码处理，从而生成量化数据；把接收的量化矩阵从所述传输大小向上转换成与块大小相同的大小，所述块大小是进行逆量化的处理单位；和利用向上转换的量化矩阵，逆量化生成的量化数据。

在本公开的另一个方面，设定用于从作为允许传输的最大大小的传输大小到与块大小相同的大小的向上转换的量化矩阵，所述块大小是逆量化通过量化图像而获得的量化数据的处理单位；利用设定的量化矩阵，量化图像，从而生成量化数据；对生成的量化数据进行编码处理，从而生成编码数据；和传送生成的编码数据和设定的量化矩阵，所述量化矩阵局限于小于或等于传输大小的大小。

本发明的有益效果

按照本公开，能够处理图像。特别地，能够抑制量化矩阵的编码量的增大。

附图说明

图1是图解说明图像编码设备的主要例证结构的方框图。

图2是图解说明正交变换/量化部分的主要例证结构的方框图。

图3是图解说明矩阵处理部分的主要例证结构的方框图。

图4是图解说明矩阵处理部分的主要例证结构的方框图。

图5是图解说明下采样的例子的示图。

图6是图解说明如何消除重复部分的例子的示图。

图7是图解说明量化矩阵编码处理的流程的例子的流程图。

图8是图解说明语法的例子的示图。

图9是图解说明语法的例子的示图。

图10是图解说明语法的例子的示图。

图11是图解说明语法的例子的示图。

图12是图解说明语法的例子的示图。

图13是图解说明语法的例子的示图。

图14是图解说明量化位阶设定区域的例子的示图。

图15是图解说明量化位阶设定区域的例子的示图。

图16是图解说明图像解码设备的主要例证结构的方框图。

图17是图解说明逆量化/逆正交变换部分的主要例证结构的方框图。

图18是图解说明矩阵生成部分的主要例证结构的方框图。

图19是图解说明矩阵生成部分的主要例证结构的方框图。

图20是图解说明最近邻插值处理的例子的示图。

图21是图解说明矩阵生成处理的流程的例子的流程图。

图22是图解说明矩阵处理部分的另一种例证结构的方框图。

图23是图解说明量化矩阵编码处理的流程的另一个例子的流程图。

图24是图解说明矩阵生成部分的另一个例证结构的方框图。

图25是图解说明如何传送差分矩阵的例子的示图。

图26是图解说明如何进行向上转换的例子的示图。

图27是图解说明如何进行向上转换的例子的示图。

图28是图解说明多视点图像编码方案的例子的示图。

图29是图解说明应用本技术的多视点图像编码设备的主要例证结构的示图。

图30是图解说明应用本技术的多视点图像解码设备的主要例证结构的示图。

图31是图解说明分层图像编码方案的例子的示图。

图32是图解说明应用本技术的分层图像编码设备的主要例证结构的示图。

图33是图解说明应用本技术的分层图像解码设备的主要例证结构的示图。

图34是图解说明计算机的主要例证结构的方框图。

图35是图解说明电视机的主要例证结构的方框图。

图36是图解说明移动终端的主要例证结构的方框图。

图37是图解说明记录/再现设备的主要例证结构的方框图。

图38是图解说明成像设备的主要例证结构的方框图。

图39是图解说明可扩展编码的使用例子的方框图。

图40是图解说明可扩展编码的再一个使用例子的方框图。

图41是图解说明可扩展编码的另一个使用例子的方框图。

具体实施方式

下面，说明实现本公开的方式(下面称为实施例)。注意，将按以下顺序进行说明。

1.第一实施例(图像编码设备，图像解码设备)

2.第二实施例(图像编码设备，图像解码设备)

3.第三实施例(向上转换)

4.第四实施例(多视点图像编码/多视点图像解码设备)

5.第五实施例(分层图像编码/分层图像解码设备)

6.第六实施例(计算机)

7.第七实施例(电视接收机)

8.第八实施例(移动电话机)

9.第九实施例(记录/再现设备)

10.第十实施例(成像设备)

11.可扩展编码的例证应用

<1.第一实施例>

[1-1.图像编码设备]

图1是图解说明按照本公开的实施例的图像编码设备10的结构例子的方框图。图1中图解所示的图像编码设备10是应用本技术的图像处理设备，用于编码输入的图像数据，和输出解码的编码数据。参见图1，图像编码设备10包括A/D(模-数)转换部分11(A/D)、重排缓冲器12、减法部分13、正交变换/量化部分14、无损编码部分16、累积缓冲器17、速率控制部分18、逆量化部分21、逆正交变换部分22、加法部分23、解块滤波器24、帧存储器25、选择器26、帧内预测部分30、运动搜索部分40和模式选择部分50。

A/D转换部分11把按模拟形式输入的图像信号转换成数字形式的图像数据，然后把数字图像数据序列输出给重排缓冲器12。

重排缓冲器12重排包含在从A/D转换部分11输入的图像数据序列中的图像。在按照供编码处理使用的GOP(图像组)结构重排图像之后，重排缓冲器12把经过重排的图像数据输出给减法部分13、帧内预测部分30和运动搜索部分40。

如下所述，从重排缓冲器12输入的图像数据和由模式选择部分50选择的预测图像数据被提供给减法部分13。减法部分13计算预测误差数据，预测误差数据表示从重排缓冲器12输入的图像数据和从模式选择部分50输入的预测图像数据之间的差分，并把计算的预测误差数据输出给正交变换/量化部分14。

正交变换/量化部分14对从减法部分13输入的预测误差数据进行正交变换和量化，并把量化的变换系数数据(下面称为量化数据)输出给无损编码部分16和逆量化部分21。根据从速率控制部分18供给的速率控制信号，控制从正交变换/量化部分14输出的量化数据的比特率。正交变换/量化部分14的详细结构将在下面进一步说明。

无损编码部分16被供给从正交变换/量化部分14输入的量化数据、用于在解码器侧生成量化矩阵的信息、和关于模式选择部分50选择的帧内预测或帧间预测的信息。例如，关于帧内预测的信息可包括指示每个块的最佳帧内预测模式的预测模式信息。另外，关于帧间预测的信息例如可包括用于运动向量的逐块预测的预测模式信息、差分运动向量信息、参考图像信息等等。此外，用于在解码器侧生成量化矩阵的信息可包括指示待传送的量化矩阵(或者量化矩阵和其预测矩阵之间的差分矩阵)的最大大小的识别信息。

无损编码部分16对量化数据进行无损编码处理，从而产生编码流。无损编码部分16进行的无损编码例如可以是变长编码、算术编码等。此外，无损编码部分16把用于生成下面详细说明的量化矩阵的信息复用到编码流中(例如，序列参数集、图像参数集、切片报头等)。此外，无损编码部分16把上述关于帧内预测或帧间预测的信息复用到编码流中。无损编码部分16随后把产生的编码流输出给累积缓冲器17。

累积缓冲器17利用诸如半导体存储器之类的存储介质，临时累积从无损编码部分16输入的编码流。随后，累积缓冲器17以与传输路径(或者出自图像编码设备10的输出线路)的带宽对应的速率，输出累积的编码流。

速率控制部分18检查累积缓冲器17的容量的可用性。此外，速率控制部分18按照累积缓冲器17的可用容量，生成速率控制信号，并把生成的速率控制信号输出给正交变换/量化部分14。例如，当累积缓冲器17的可用容量较低时，速率控制部分18生成用于降低量化数据的比特率的速率控制信号。另外，例如，当累积缓冲器17的可用容量足够高时，速率控制部分18生成增大量化数据的比特率的速率控制信号。

逆量化部分21对从正交变换/量化部分14输入的量化数据，进行逆量化处理。逆量化部分21把通过逆量化处理获得的变换系数数据输出给逆正交变换部分22。

逆正交变换部分22对从逆量化部分21输入的变换系数数据进行逆正交变换处理，从而恢复预测误差数据。随后，逆正交变换部分22把恢复的预测误差数据输出给加法部分23。

加法部分23相加从逆正交变换部分22输入的恢复的预测误差数据，和从模式选择部分50输入的预测图像数据，从而生成解码图像数据。随后，加法部分23把生成的解码图像数据输出给解块滤波器24和帧存储器25。

解块滤波器24进行减小因图像的编码而导致的块效应的滤波处理。解块滤波器24对从加法部分23输入的解码图像数据滤波以除去块效应，并把滤波后的解码图像数据输出给帧存储器25。

帧存储器25利用存储介质，保存从加法部分23输入的解码图像数据和从解块滤波器24输入的滤波后的解码图像数据。

选择器26从帧存储器25读取用于帧内预测的待滤波的解码图像数据，并把读取的解码图像数据作为参考图像数据提供给帧内预测部分30。选择器26还从帧存储器25读取用于帧间预测的滤波后的解码图像数据，并把读取的解码图像数据作为参考图像数据提供给运动搜索部分40。

帧内预测部分30根据从重排缓冲器12输入的待编码图像数据和经选择器26供给的解码图像数据(即，参考图像数据)，进行每种帧内预测模式的帧内预测处理。例如，帧内预测部分30利用预定的成本函数，评估按每种帧内预测模式获得的预测结果。随后，帧内预测部分30选择使成本函数值最小的帧内预测模式，即，提供最高压缩比的帧内预测模式，作为最佳的帧内预测模式。此外，帧内预测部分30把关于帧内预测的信息，比如指示最佳帧内预测模式的预测模式信息和成本函数值，连同按选择的帧内预测模式的预测图像数据一起输出给模式选择部分50。

运动搜索部分40根据从重排缓冲器12供给的待编码图像数据和经选择器26供给的解码图像数据，进行帧间预测处理(帧间的预测处理)。例如，运动搜索部分40利用预定的成本函数，评估按每种预测模式获得的预测结果。随后，运动搜索部分40选择使成本函数值达到最小的预测模式，即，提供最高压缩比的预测模式，作为最佳预测模式。此外，运动搜索部分40把关于帧间预测的信息，比如指示选择的最佳预测模式的预测模式信息和成本函数值，连同按选择的帧间预测模式的预测图像数据一起输出给模式选择部分50。

模式选择部分50将从帧内预测部分30输入的与帧内预测相关的成本函数值和从运动搜索部分40输入的与帧间预测相关的成本函数值相比较。随后，模式选择部分50从帧内预测和帧间预测中，选择成本函数值较小的预测技术。此外，如果选择帧内预测，那么模式选择部分50把关于帧内预测的信息输出给无损编码部分16，另外，把预测图像数据输出给减法部分13和加法部分23。如果选择帧间预测，那么模式选择部分50把关于帧间预测的信息输出给无损编码部分16，另外把预测图像数据输出给减法部分13和加法部分23。

[1-2.正交变换/量化部分的例证结构]

图2是图解说明图1中图解所示的图像编码设备10的正交变换/量化部分14的详细结构的例子的方框图。参见图2，正交变换/量化部分14包括选择部分110、正交变换部分120、量化部分130、量化矩阵缓冲器140和矩阵处理部分150。

(1)选择部分

选择部分110从具有不同大小的多个变换单位中，选择用于待编码的图像数据的正交变换的变换单位(TU)。例如，选择单元110可选的变换单位的候选大小包括用于H.264/AVC(高级视频编码)的4×4和8×8，并且包括用于HEVC(高效视频编码)的32×32。选择部分110可按照例如待编码图像的大小或数量、设备的性能等选择变换单位。由选择部分110进行的变换单位的选择可由开发设备的用户手动调整。选择部分110随后把指定选择的变换单位的大小的信息输出给正交变换部分120、量化部分130、无损编码部分16和逆量化部分21。

(2)正交变换部分

正交变换部分120以选择部分110所选变换单位为单位，对从减法部分供给的图像数据(即，预测误差数据)进行正交变换。正交变换部分120进行的正交变换可以是例如离散余弦变换(DCT)、Karhunen-Loève等等。正交变换部分120随后把通过正交变换处理获得的变换系数数据输出给量化部分130。

(3)量化部分

量化部分130利用与选择部分110选择的变换单位对应的量化矩阵，量化由正交变换部分120生成的变换系数数据。此外，量化部分130按照从速率控制部分18供给的速率控制信号，切换量化步长，从而改变待输出的量化数据的比特率。

此外，量化部分130使分别对应于选择部分110可选择的多个变换单位之一的一组量化矩阵被保存在量化矩阵缓冲器140中。例如，和HEVC中一样，如果存在4种候选的变换单位大小，即，4×4、8×8、16×16和32×32，那么分别对应于这4种大小之一的一组4个量化矩阵可被保存在量化矩阵缓冲器140中。注意，如果指定的量化矩阵被用于给定大小，那么指示该指定的量化矩阵被使用(用户定义的量化矩阵不被使用)的标记可以与所述给定大小关联地保存在量化矩阵缓冲器140中。

一般可以为编码流的每个序列，设定可能被量化部分130使用的一组量化矩阵。量化部分130中逐个图像地更新为每个序列设定的一组量化矩阵。用于控制一组量化矩阵的这种设定和更新的信息可被插入例如序列参数集和图像参数集中。

(4)量化矩阵缓冲器

量化矩阵缓冲器140利用诸如半导体存储器之类的存储介质，临时保存分别对应于可由选择部分110选择的多个变换单位之一的一组量化矩阵。下面说明的矩阵处理部分150的处理参照保存在量化矩阵缓冲器140中的一组量化矩阵。

(5)矩阵处理部分

矩阵处理部分150为编码流的每个序列和为每个图像，参照保存在量化矩阵缓冲器140中的量化矩阵的集合，并生成用于根据与一定大小的变换单位对应的量化矩阵，生成与一个或多个大小的另一个或其它变换单位对应的一个或多个量化矩阵的信息。量化矩阵的生成所基于的变换单位的大小一般可以是多个变换单位大小之中的最小大小。即，和HEVC中一样，如果存在4种候选的变换单位大小，即，4×4、8×8、16×16和32×32，那么可以生成用于根据例如4×4量化矩阵，生成另一个大小的量化矩阵的信息。矩阵处理部分150生成的信息可包括例如后面说明的基础矩阵信息和差分矩阵信息。随后，矩阵处理部分150生成的信息被输出给无损编码部分16，并且可被插入编码流的报头中。

注意，这里主要说明了其中根据最小大小的量化矩阵，生成大小更大的量化矩阵的例子。不过，给出该例子并不是对本发明的限制，根据非最小大小的量化矩阵，可以生成大小更小的量化矩阵和/或大小更大的量化矩阵。

[1-3.矩阵处理部分的详细例证结构]

图3是图解说明图2中图解所示的正交变换/量化部分14的矩阵处理部分150的更详细结构的例子的方框图。参见图3，矩阵处理部分150包括预测部分152和差分计算部分154。

(1)预测部分

预测部分152获得保存在量化矩阵缓冲器140中的量化矩阵的集合，并根据包含在获得的集合中的第一量化矩阵，预测大小更大的第二量化矩阵(生成预测矩阵(也称为预测量化矩阵))。

当根据4×4量化矩阵SL1生成预测矩阵PSL2时，预测部分152把生成的预测矩阵PSL2输出给差分计算部分154。预测部分152还根据包含在量化矩阵的集合中的8×8量化矩阵SL2，预测例如16×16预测矩阵PSL3，并把预测矩阵PSL3输出给差分计算部分154。预测部分152还根据包含在量化矩阵的集合中的16×16量化矩阵SL3，预测32×32预测矩阵PSL4，并把预测矩阵PSL4输出给差分计算部分154。预测部分152还把指定预测矩阵PSL2、PSL3和PSL4的生成所基于的4×4量化矩阵SL1的基础矩阵信息，输出给无损编码部分16。

(2)差分计算部分

差分计算部分154计算分别表示从预测部分152输入的预测矩阵PSL2、PSL3和PSL4和对应的量化矩阵SL2、SL3和SL4之间的差分(也称为残差)的差分矩阵(也称为残差矩阵)DSL2、DSL3和DSL4。

差分计算部分154随后把指示差分矩阵DSL2、DSL3和DSL4的差分矩阵信息输出给无损编码部分16。

注意，如果指定的量化矩阵被用于给定大小，那么矩阵处理部分150只把指示使用指定的量化矩阵的标记发送给与对应大小关联的无损编码单元16，而不执行给定大小的量化矩阵的预测，或者执行差分计算。此外，如果预测矩阵和量化矩阵之间的差分为0，那么差分计算部分154可以只向无损编码部分16输出指示不存在差分的标记，而不是输出差分矩阵信息。此外，如果在从一个图像切换到另一个图像的时候，量化矩阵未被更新，那么矩阵处理部分150可以只向无损编码部分16输出指示量化矩阵未被更新的标记。

[1-4.矩阵处理部分的详细例证结构]

图4是图解说明矩阵处理部分150的更详细例证结构的方框图。参见图4，矩阵处理部分150包括预测部分161、差分矩阵生成部分162、差分矩阵大小变换部分63、熵编码部分164、解码部分165和输出部分166。

本技术的重要特征如下。在编码器侧，对于较大大小(例如，32×32)的量化矩阵，生成并传送大小较小(例如，16×16)的残差矩阵(残差信号)。在解码器侧，所述大小较小的残差矩阵被放大(“上采样”)，随后被加入预测量化矩阵中。

可以构思以下方案。

方案1：

其中传送充当阈值的最大量化矩阵，并为更大的大小进行上采样的方案。这种方案能够减少使用的存储器，因为能够指定解码器保持的最大量化矩阵。这种情况下，可以从编码器侧传送指示最大大小的识别信息，并在解码器侧使用。另外，可以按照在标准中定义的等级或规格，指定最大大小(例如，对于更高的规格或等级，指定更大的大小)。

方案2：

为每个量化矩阵，传送指示是否上采样的识别信息，和待上采样的层。这种方案可以用作压缩的例证应用，尽管在不进行上采样的情况下，这种方案使得解码器必须支持最大大小的量化矩阵。

预测部分161生成预测矩阵。如图4中图解所示，预测部分161包括复制部分171和预测矩阵生成部分172。

在复制模式下，复制部分171创建在先传送的量化矩阵的副本，并利用该副本作为预测矩阵(或者预测待处理的正交变换单位的量化矩阵)。更具体地，复制部分171从解码部分165中的存储部分202，获得在先传送的量化矩阵的大小和列表ID。所述大小是指示量化矩阵的大小(例如，4×4～32×32等)的信息。列表ID是指示待量化的预测误差数据的种类的信息。

例如，列表ID包括指示量化对象是利用帧内预测的预测图像生成的亮度分量的预测误差数据(Intra Luma)，利用帧内预测的预测图像生成的色差分量(Cr)的预测误差数据(Intra Cr)，利用帧内预测的预测图像生成的色差分量(Cb)的预测误差数据(Intra Cb)，或者利用帧间预测的预测图像生成的亮度分量的预测误差数据(Inter Luma)的识别信息。

复制部分171选择大小和输入矩阵处理部分150的量化矩阵(待处理的正交变换单位的量化矩阵)相同的在先传送的量化矩阵，作为复制源量化矩阵，并把复制源量化矩阵的列表ID输出给输出部分166，以把列表ID输出给在矩阵处理部分150之外的部分(无损编码部分16和逆量化部分21)。即，在这种情况下，只有列表ID被传送给解码器侧(被包含在编码数据中)，作为指示利用在先传送的量化矩阵的副本生成的预测矩阵的信息。因而，图像编码设备10能够抑制量化矩阵的编码量的增大。

此外，在正常情况下，预测矩阵生成部分172从解码部分165中的存储部分202，获得在先传送的量化矩阵，并利用该量化矩阵，生成预测矩阵(预测待处理的正交变换单位的量化矩阵)。预测矩阵生成部分172把生成的预测矩阵提供给差分矩阵生成部分162。

差分矩阵生成部分162生成差分矩阵(残差矩阵)，差分矩阵是从预测部分161(预测矩阵生成部分172)供给的预测矩阵和输入矩阵处理部分150的量化矩阵之间的差分。如图4中图解所示，差分矩阵生成部分162包括预测矩阵大小变换部分181、计算部分182和量化部分183。

预测矩阵大小变换部分181变换(下面也称为转换)从预测矩阵生成部分172供给的预测矩阵的大小，以便匹配输入矩阵处理部分150的量化矩阵的大小。

例如，如果预测矩阵的大小大于量化矩阵的大小，那么预测矩阵大小变换部分181减小预测矩阵的大小(下面也称为向下转换)。更具体地，例如，当预测矩阵具有16×16的大小，而量化矩阵具有8×8的大小时，预测矩阵大小变换部分181把预测矩阵向下转换成8×8预测矩阵。注意，可以使用任何向下转换方法。例如，预测矩阵大小变换部分181可以利用滤波器，(通过计算)减小(下面也称为下采样)预测矩阵中的元素的数目。另一方面，预测矩阵大小变换部分181也可以通过例如如图5中图解所示，间除一些元素(例如，二维元素中的仅仅偶数编号的元素(图5中的黑色元素))，而不利用滤波器，减少预测矩阵中的元素的数目(下面也称为子采样)。

此外，例如，如果预测矩阵的大小小于量化矩阵的大小，那么预测矩阵大小变换部分181增大预测矩阵的大小(下面也称为向上转换)。更具体地，例如，当预测矩阵具有8×8的大小，而量化矩阵具有16×16的大小时，预测矩阵大小变换部分181把预测矩阵向上转换成16×16预测矩阵。注意，可以使用任何向上转换方法。例如，预测矩阵大小变换部分181可以利用滤波器，(通过进行计算)增大(下面也称为上采样)预测矩阵中的元素的数目。另一方面，预测矩阵大小变换部分181也可以通过例如创建预测矩阵中的各个元素的副本，而不利用滤波器，增大预测矩阵中的元素的数目(下面也称为逆子采样)。

预测矩阵大小变换部分181把其大小已被调整，以致与量化矩阵的大小匹配的预测矩阵提供给计算部分182。

计算部分182从供给自预测矩阵大小变换部分181的预测矩阵中，减去输入矩阵处理部分150的量化矩阵，从而生成差分矩阵(残差矩阵)。计算部分182把计算的差分矩阵提供给量化部分183。

量化部分183量化从计算部分182供给的差分矩阵。量化部分183把量化结果提供给差分矩阵大小变换部分163。量化部分183还把用于量化的信息，比如量化参数，提供给输出部分166，以把该信息输出给在矩阵处理部分150外的部分(无损编码部分16和逆量化部分21)。注意，量化部分183可被省略(即，不一定进行差分矩阵的量化)。

如果需要，那么差分矩阵大小变换部分163把从差分矩阵生成部分162(量化部分183)供给的差分矩阵(量化数据)的大小转换成小于或等于允许传输的最大大小(下面也称为传输大小)的大小。所述最大大小是任意的，例如可以是8×8。

从图像编码设备10输出的编码数据经例如传输路径或存储介质，被传送给对应于图像编码设备10的图像解码设备，并由所述图像解码设备解码。在所述传输期间，即，在从图像编码设备10输出的编码数据中的差分矩阵(量化数据)的大小(最大大小)的上限是在图像编码设备10中设定的。

如果差分矩阵的大小大于最大大小，那么差分矩阵大小变换部分163向下转换差分矩阵，以致差分矩阵的大小变成小于或等于最大大小。

注意，类似于上面说明的预测矩阵的向下转换，可以利用任何方法，进行这种向下转换。例如，可以利用滤波器等，进行下采样，或者可以进行涉及间除元素的子采样。

向下转换的差分矩阵可具有小于最大大小的任意大小。不过，通常，转换前后的大小之差越大，误差越大。从而，差分矩阵最好被向下转换到最大大小。

差分矩阵大小变换部分163把向下转换的差分矩阵提供给熵编码部分164。注意，如果差分矩阵具有小于最大大小的大小，那么向下转换不是必需的，于是差分矩阵大小变换部分163把输入的差分矩阵按照原样提供给熵编码部分164(即，差分矩阵的向下转换被省略)。

熵编码部分164利用预定方法，对从差分矩阵大小变换部分163供给的差分矩阵(量化数据)编码。如图4中图解所示，熵编码部分164包括重复判定部分(135°部分)191、DPCM(差分脉码调制)部分192和exp-G部分193。

重复判定部分191判定从差分矩阵大小变换部分163供给的差分矩阵的对称性。如果残差代表135°目标矩阵，那么例如，如图6中图解所示，重复判定部分191除去作为重复数据的对称部分的数据(矩阵元素)。如果残差不代表135°目标矩阵，那么重复判定部分191省略数据(矩阵元素)的除去。如果需要，重复判定部分191把已从中除去对称部分的差分矩阵的数据提供给DPCM部分192。

如果需要，DPCM部分192对从重复判定部分191供给的已从中除去对称部分的差分矩阵的数据进行DPCM编码，从而生成DPCM数据。DPCM部分192把生成的DPCM数据提供给exp-G部分193。

exp-G部分193对从DPCM部分192供给的DPCM数据，进行有符号或无符号的指数Golomb编码(下面也称为扩展Golomb码)。exp-G部分193把编码结果提供给解码部分165和输出部分166。

解码部分165从供给自exp-G部分193的数据，复原量化矩阵。解码部分165把关于复原的量化矩阵的信息提供给预测部分161，作为在先传送的量化矩阵。

如图4中图解所示，解码部分165包括量化矩阵复原部分201和存储部分202。

量化矩阵复原部分201解码从熵编码部分164(exp-G部分193)供给的扩展Golomb码，以复原待输入矩阵处理部分150的量化矩阵。例如，量化矩阵复原部分201通过利用与熵编码部分164的编码方法对应的方法，解码扩展Golomb码，进行与差分矩阵大小变换部分163进行的大小变换相反的变换，进行与量化部分183进行的量化对应的逆量化，并从预测矩阵中减去获得的差分矩阵，复原量化矩阵。

量化矩阵复原部分201把复原的量化矩阵提供给存储部分202，并把复原的量化矩阵与该量化矩阵的大小和列表ID关联地保存在存储部分202中。

存储部分202保存关于从量化矩阵复原部分201供给的量化矩阵的信息。关于保存在存储部分202中的量化矩阵的信息被用于生成稍后处理的其它正交变换单位的预测矩阵。即，存储部分202把保存的关于量化矩阵的信息作为关于在先传送的量化矩阵的信息，提供给预测部分161。

注意，代替保存关于复原的量化矩阵的信息，存储部分202可以与输入矩阵处理部分150的量化矩阵的大小和列表ID关联地保存所述输入的量化矩阵。这种情况下，量化矩阵复原部分201可被省略。

输出部分166把供给的各种信息提供给在矩阵处理部分150之外的各个部分。例如，在复制模式下，输出部分166把从复制部分171供给的预测矩阵的列表ID提供给无损编码部分16和逆量化部分21。此外，例如，在正常情况下，输出部分166把从exp-G部分193供给的扩展Golomb码和从量化部分183供给的量化参数，提供给无损编码部分16和逆量化部分21。

输出部分166还把指示量化矩阵(量化矩阵和其预测矩阵之间的差分矩阵)的允许传输的最大大小(传输大小)的识别信息，提供给无损编码部分16，作为用于在解码器侧生成量化矩阵的信息。如上所述，无损编码部分16创建包含用于生成量化矩阵的信息的编码流，并把该编码流提供给解码器侧。注意，可预先按等级、规格等，指定指示传输大小的识别信息。这种情况下，在编码器侧的设备和解码器侧的设备之间，预先共享关于传输大小的信息。从而，可以省略上面说明的识别信息的传输。

如上所述，矩阵处理部分150向下转换待传送的量化矩阵(差分矩阵)，以把量化矩阵的大小减小到小于或等于传输大小的大小。因而，图像编码设备10能够抑制量化矩阵的编码量的增大。

[1-5.量化矩阵编码处理的流程]

下面，参考图7中图解所示的流程图，说明由图4中图解所示的矩阵处理部分150执行的量化矩阵编码处理的流程的例子。

当开始量化矩阵编码处理时，在步骤S101，预测部分161获得作为待处理的正交变换单位的当前区域(也称为关注区域)的量化矩阵。

在步骤S102，预测部分161判定当前模式是否是复制模式。如果判定当前模式不是复制模式，那么预测部分161使处理进入步骤S103。

在步骤S103，预测矩阵生成部分172从存储部分202获得在先传送的量化矩阵，并利用该量化矩阵生成预测矩阵。

在步骤S104，预测矩阵大小变换部分181判定在步骤S103中生成的预测矩阵的大小是否不同于在步骤S101中获得的当前区域(关注区域)的量化矩阵的大小。如果判定两个大小不同，那么预测矩阵大小变换部分181使处理进入步骤S105。

在步骤S105，预测矩阵大小变换部分181把在步骤S103中生成的预测矩阵的大小转换成在步骤S101中获得的当前区域的矩阵的大小。

当步骤S105的处理完成时，预测矩阵大小变换部分181使处理进入步骤S106。如果在步骤S104，判定预测矩阵的大小和量化矩阵的大小相同，那么预测矩阵大小变换部分181使处理进入步骤S106，同时省略步骤S105的处理(不进行步骤S105的处理)。

在步骤S106，计算部分182从预测矩阵中减去量化矩阵，从而计算预测矩阵和量化矩阵之间的差分矩阵。

在步骤S107，量化部分183量化在步骤S106中生成的差分矩阵。注意该处理可被省略。

在步骤S108，差分矩阵大小变换部分163判定量化的差分矩阵的大小是否大于传输大小(允许传输的最大大小)。如果判定量化的差分矩阵的大小大于传输大小，那么差分矩阵大小变换部分163使处理进入步骤S109，并把差分矩阵向下转换成传输大小或更小。

当完成步骤S109的处理时，差分矩阵大小变换部分163使处理进入步骤S110。另外，如果在步骤S108，判定量化的差分矩阵的大小小于或等于传输大小，那么差分矩阵大小变换部分163使处理进入步骤S110，同时省略步骤S109的处理(不进行步骤S109的处理)。

在步骤S110，重复判定部分191判定量化的差分矩阵是否有135°对称性。如果判定量化的差分矩阵具有135°对称性，那么重复判定部分191使处理进入步骤S111。

在步骤S111，重复判定部分191除去量化的差分矩阵中的重复部分(重复数据)。在除去重复数据之后，重复判定部分191使处理进入步骤S112。

如果在步骤S110，判定量化的差分矩阵没有135°对称性，那么重复判定部分191使处理进入步骤S112，同时省略步骤S111的处理(不进行步骤S111的处理)。

在步骤S112，如果需要，DPCM部分192对从中除去重复部分的差分矩阵进行DPCM编码。

在步骤S113，exp-G部分193判定在步骤S112中生成的DPCM数据是否具有正符号或负符号。如果判定存在这样的符号，那么exp-G部分193使处理进入步骤S114。

在步骤S114，exp-G部分193对DPCM数据，进行有符号的扩展Golomb编码。输出部分166把生成的扩展Golomb码输出给无损编码部分16和逆量化部分21。当步骤S114的处理结束时，exp-G部分193使处理进入步骤S116。

此外，如果在步骤S113判定符号不存在，那么exp-G部分193使处理进入步骤S115。

在步骤S115，exp-G部分193对DPCM数据进行无符号的扩展Golomb编码。输出部分166把生成的扩展Golomb码输出给无损编码部分16和逆量化部分21。当步骤S115的处理结束时，exp-G部分193使处理进入步骤S116。

如果在步骤S102，判定当前模式是复制模式，那么复制部分171创建在先传送的量化矩阵的副本，并利用所述副本作为预测矩阵。输出部分166把对应于预测矩阵的列表ID输出给无损编码部分16和逆量化部分21，作为指示预测矩阵的信息。随后，复制部分171使处理进入步骤S116。

在步骤S116，量化矩阵复原部分201复原量化矩阵。在步骤S117，存储部分202保存在步骤S116中复原的量化矩阵。

当步骤S117的处理结束时，矩阵处理部分150使量化矩阵编码处理结束。

矩阵处理部分150按上述方式进行处理。因而，图像编码设备10能够抑制量化矩阵的编码量的增大。

[1-6.语法]

图8-图13是图解说明在应用本技术的情况下的语法的例子。如图8-图13中图解所示，例如，关于量化矩阵的各种参数和标记被添加到编码数据中，并被传送给解码器侧。注意，可在编码数据中的任意位置添加这些信息。另外，可以独立于编码数据地把这些信息传送给解码器侧。

[1-7.量化位阶]

这里，将说明图12中图解说明的第一～第四量化位阶。指定4种量化位阶(Qscale0、Qscale1、Qscale2、Qscale3)。这些量化位阶是可用于对量化矩阵中的各个元素的值进行量化，以减小编码量的参数。

更具体地，例如，为8×8量化矩阵定义图14和图15中图解所示的4个量化位阶设定区域A1～A4。量化位阶设定区域A1是用于对应于包括DC分量的低频信号的元素组的区域。

量化位阶设定区域A2和A3都是用于对应于中频信号的元素组的区域。量化位阶设定区域A4是用于对应于高频信号的元素组的区域。可为每个上述区域，设定用于对量化矩阵中的元素的值进行量化的量化位阶。

例如，参见图15，关于量化位阶设定区域A1的第一量化位阶(Qscale0)等于“1”。这意味关于对应于低频信号的元素组的量化矩阵的值不被量化。

相反，关于量化位阶设定区域A2的第二量化位阶(Qscale1)等于“2”。关于量化位阶设定区域A3的第三量化位阶(Qscale2)等于“3”。关于量化位阶设定区域A4的第四量化位阶(Qscale4)等于“4”。量化位阶越大，量化引起的误差的数越大。

不过通常，在高频信号中，某种程度允许误差。在理想的是获得高编码效率的情况下，用于量化矩阵的量化的如上的量化位阶的设定可有效地减小量化矩阵的定义所需要的编码量，而不会显著恶化图像质量。

注意，图14和图15中图解所示的量化位阶设定区域的配置只是一个例子。例如，可以为每个量化矩阵大小定义不同数目的量化位阶设定区域(例如，大小越大，就可以定义越多的量化位阶设定区域)。

此外，量化位阶设定区域之间的边界的位置并不局限于图14中图解所示的例子中的那些位置。通常，把量化矩阵变换成一维阵列的扫描模式是Z字形扫描。因此，最好使用如图14中图解所示的沿着从右上角到左下角延伸的区域边界。

不过，按照量化矩阵中的元素之间的相关性、使用的扫描模式等，也可以使用沿垂直方向或水平方向延伸的区域边界。即，可成任意角度地倾斜区域边界，并且可从多个候选者中选择成期望角度倾斜的模式。另外，可以依据编码效率自适应地选择量化位阶设定区域的配置(区域的数目以及边界的位置、倾斜等)。例如，当定义几乎扁平的量化矩阵时，可以选择数目较少的量化位阶设定区域。

下面，说明按照本公开的实施例的图像解码设备的例证结构。

[1-8.图像解码设备的例证整体结构]

图16是图解说明按照本公开的实施例的图像解码设备300的结构例子的方框图。图16中图解所示的图像解码设备300是应用本技术的、用于对图像编码设备10生成的编码数据解码的图像处理设备。参见图16，图像解码设备300包括累积缓冲器311、无损解码部分312、逆量化/逆正交变换部分313、加法部分315、解块滤波器316、重排缓冲器317、D/A(数-模)转换部分318、帧存储器319、选择器320和321、帧内预测部分330和运动补偿部分340。

累积缓冲器311利用存储介质，临时保存经传输路径输入的编码流。

无损解码部分312按照用于编码的编码方案，解码从累积缓冲器311输入的编码流。另外，无损解码部分312解码在编码流的报头区中复用的信息。在编码流的报头区中复用的信息例如可包括用于生成量化矩阵的上述基础矩阵信息和差分矩阵信息，以及包含在块报头中的关于帧内预测的信息和关于帧间预测的信息。无损解码部分312把解码的量化数据和解码的用于生成量化矩阵的信息，输出给逆量化/逆正交变换部分313。无损解码部分312还把关于帧内预测的信息输出给帧内预测部分330。另外，无损解码部分312把关于帧间预测的信息输出给运动补偿部分340。

逆量化/逆正交变换部分313对从无损解码部分312输入的量化数据进行逆量化和逆正交变换，从而生成预测误差数据。逆量化/逆正交变换部分313随后把生成的预测误差数据输出给加法部分315。

加法部分315相加从逆量化/逆正交变换部分313输入的预测误差数据和从选择器321输入的预测图像数据，从而生成解码图像数据。随后，加法部分315把生成的解码图像数据输出给解块滤波器316和帧存储器319。

解块滤波器316对从加法部分315输入的解码图像数据滤波，从而消除块效应，并把滤波后的解码图像数据输出给重排缓冲器317和帧存储器319。

重排缓冲器317重排从解块滤波器316输入的图像，从而生成时序图像数据序列。随后，重排缓冲器317把生成的图像数据输出给D/A转换部分318。

D/A转换部分318把从重排缓冲器317输入的数字图像数据转换成模拟图像信号。随后，D/A转换部分318把模拟图像信号输出给例如连接到图像解码设备300的显示器(未示出)，以显示图像。

帧存储器319利用存储介质，保存从加法部分315输入的待滤波的解码图像数据和从解块滤波器316输入的滤波后的解码图像数据。

选择器320按照无损解码部分312获得的模式信息，为图像中的每个块，在帧内预测部分330和运动补偿部分340之间，切换从帧存储器319供给的图像数据将被输出到的目的地。例如，如果指定帧内预测模式，那么选择器320把从帧存储器319供给的待滤波的解码图像数据，作为参考图像数据输出给帧内预测部分330。另外，如果指定帧间预测模式，那么选择器320把从帧存储器319供给的滤波后的解码图像数据，作为参考图像数据输出给运动补偿部分340。

选择器321按照无损解码部分312获得的模式信息，为图像中的每个块，在帧内预测部分330和运动补偿部分340之间，切换待供给加法部分315的预测图像数据的输出源。例如，如果指定帧内预测模式，那么选择器321把从帧内预测部分330输出的预测图像数据提供给加法部分315。如果指定帧间预测模式，那么选择器321把从运动补偿部分340输出的预测图像数据提供给加法部分315。

帧内预测部分330根据从无损解码部分312输入的关于帧内预测的信息和从帧存储器319供给的参考图像数据，进行像素值的画面内预测，从而生成预测图像数据。随后，帧内预测部分330把生成的预测图像数据输出给选择器321。

运动补偿部分340根据从无损解码部分312输入的关于帧间预测的信息和从帧存储器319供给的参考图像数据，进行运动补偿处理，从而生成预测图像数据。随后，运动补偿部分340把生成的预测图像数据输出给选择器321。

[1-9.逆量化/逆正交变换部分的例证结构]

图17是图解说明图16中图解所示的图像解码设备300的逆量化/逆正交变换部分313的主要结构的例子的方框图。参见图17，逆量化/逆正交变换部分313包括矩阵生成部分410、选择部分430、逆量化部分440和逆正交变换部分450。

(1)矩阵生成部分

对于编码流的每个序列和对于每个图像，矩阵生成部分410根据与一定大小的变换单位对应的量化矩阵，生成与一种或多种大小的另一个或其它变换单位对应的一个或多个量化矩阵。量化矩阵的生成所基于的变换单位的大小一般可以是变换单位的多种大小之中的最小大小。在这个实施例中，矩阵生成部分410利用关于大于4×4的大小的差分矩阵信息，根据最小大小的4×4量化矩阵，生成8×8、16×16和32×32量化矩阵。

(2)选择部分

选择部分430从具有不同大小的多个变换单位中，选择用于待解码的图像数据的逆正交变换的变换单位(TU)。例如，选择部分430可选择的变换单位的候选大小包括对H.264/AVC来说的4×4和8×8，包括对HEVC来说的4×4、8×8、16×16和32×32。选择部分430可根据例如包含在编码流的报头中的LCU、SCU和split_flag，选择变换单位。选择部分430随后把指定所选变换单位的大小的信息输出给逆量化部分440和逆正交变换部分450。

(3)逆量化部分

逆量化部分440利用与选择部分430选择的变换单位对应的量化矩阵，逆量化在图像被编码时量化的系数数据。这里用于逆量化处理的量化矩阵包括由矩阵生成部分410生成的矩阵。例如，如果选择部分430选择具有8×8、16×16或32×32大小的变换单位，那么由矩阵生成部分410根据4×4量化矩阵生成的量化矩阵可被用作与选择的变换单位对应的量化矩阵。逆量化部分440随后把经逆量化的变换系数数据，输出给逆正交变换部分450。

(4)逆正交变换部分

逆正交变换部分450按照用于编码的正交变换方案，利用选择的变换单位，对逆量化部分440逆量化的变换系数数据进行逆正交变换，从而生成预测误差数据。逆正交变换部分450随后把生成的预测误差数据输出给加法部分315。

[1-10.矩阵生成部分的例证结构]

图18是图解说明图17中图解所示的逆量化/逆正交变换部分313的矩阵生成部分410的更详细结构的例子的方框图。参见图18，矩阵生成部分410包括基础矩阵获取部分512、差分获取部分514、预测部分516、重构部分518和量化矩阵缓冲器520。

(1)基础矩阵获取部分

基础矩阵获取部分512获得从无损解码部分312输入的基础矩阵信息。在这个实施例中，如上所述，基础矩阵信息例如是指定具有最小大小的4×4(或8×8)量化矩阵SL1的信息。随后，基础矩阵获取部分512使利用获得的基础矩阵信息的指定的4×4量化矩阵SL1被保存在量化矩阵缓冲器520中。注意，如果对于每个序列或每个图像获得的矩阵种类标记等于“0”，那么基础矩阵获取部分512使指定的4×4量化矩阵被保存在量化矩阵缓冲器520中，而不获得基础矩阵信息。此外，如果对于每个图像获得的更新标记等于“0”，那么基础矩阵获取部分512不更新在在先的处理中保存在量化矩阵缓冲器520中的量化矩阵SL1。基础矩阵获取部分512随后把4×4量化矩阵SL1输出给预测部分516。

(2)差分获取部分

差分获取部分514获得从无损解码部分312输入的差分矩阵信息(残差矩阵信息)。在这个实施例中，如上所述，差分矩阵信息是指定分别表示根据4×4量化矩阵SL1预测的预测矩阵PSL2、PSL3和PSL4与量化矩阵SL2、SL3和SL4之间的差分的差分矩阵DSL2、DSL3和DSL4的信息。差分获取部分514把利用差分矩阵信息指定的差分矩阵DSL2、DSL3和DSL4输出给重构部分518。注意，如果对于每个序列或每个图像获得的矩阵种类标记等于“0”或者差分标记等于“0”，那么差分获取部分514把对应大小的差分矩阵设定为0，而不获得差分矩阵信息。此外，如果对于每个图像获得的更新标记等于“0”，那么差分获取部分514不输出关于对应大小的差分矩阵。

(3)预测部分

预测部分516根据从基础矩阵获取部分512输入的基础矩阵，即，在本实施例中，根据4×4量化矩阵SL1，计算具有更大大小的8×8预测矩阵PSL2。预测部分516还根据利用计算的8×8预测矩阵PSL2由重构部分518重构的量化矩阵SL2，计算16×16预测矩阵PSL3。预测部分516还根据利用计算的16×16预测矩阵PSL3由重构部分518重构的量化矩阵SL3，计算32×32预测矩阵PSL4。预测部分516把预测矩阵PSL2、PSL3和PLS4输出给重构部分518。注意，预测部分516不为其矩阵种类标记等于“0”的大小生成预测矩阵，而是利用指定的量化矩阵计算更大大小的预测矩阵。此外，基础矩阵获取部分512也不为其更新标记等于“0”的大小生成预测矩阵，而是利用在在先的处理中生成的量化矩阵计算更大大小的预测矩阵。

(4)重构部分

重构部分518相加从预测部分516输入的预测矩阵PSL2、PSL3和PSL4，和从差分获取部分514输入的差分矩阵DSL2、DSL3和DSL4，以分别重构量化矩阵SL2、SL3和SL4。

随后，重构部分518使重构的8×8，16×16和32×32量化矩阵SL2，SL3和SL4被保存在量化矩阵缓冲器520中。注意，如果对于每个序列或每个图像获得的矩阵种类标记等于“0”，那么重构部分518使指定的量化矩阵被保存在量化矩阵缓冲器520中，作为对应大小的量化矩阵。此外，如果对于每个图像获得的更新标记等于“0”，那么基础矩阵获取部分512不更新在在先的处理中保存在量化矩阵缓冲器520中的具有对应大小的量化矩阵SL2，SL3和SL4。

(5)量化矩阵缓冲器

量化矩阵缓冲器520临时保存由基础矩阵获取部分512指定的量化矩阵SL1和由重构部分518重构的量化矩阵SL2、SL3和SL4。保存在量化矩阵缓冲器520中的量化矩阵SL1、SL2、SL3和SL4被逆量化部分440用于对量化的变换系数数据进行逆量化处理。

[1-11.矩阵生成部分的详细例证结构]

图19是图解说明图18中图解所示的矩阵生成部分410的更详细结构的例子的方框图。参见图19，矩阵生成部分410包括参数分析部分531、预测部分532、熵解码部分533、量化矩阵复原部分534、输出部分535和存储部分536。

参数分析部分531分析从无损解码部分312供给的与量化矩阵相关的各种标记和参数。按照分析结果，参数分析部分531把从无损解码部分312供给的各种信息，比如差分矩阵的编码数据，提供给预测部分532或熵解码部分533。

例如，如果pred_mode等于0，那么参数分析部分531判定当前模式是复制模式，把pred_matrix_id_delta提供给复制部分541。此外，例如，如果pred_mode等于1，那么参数分析部分531判定当前模式是全扫描模式(正常情况)，并把pred_matrix_id_delta和pred_size_id_delta提供给预测矩阵生成部分542。

此外，例如，如果residual_flag为真，那么参数分析部分531把从无损解码部分312提供的量化矩阵的编码数据(扩展Golomb码)提供给熵解码部分533的exp-G部分551。参数分析部分531还把residual_symmetry_flag提供给exp-G部分551。

此外，参数分析部分531把residual_down_sampling_flag提供给量化矩阵复原部分534的差分矩阵大小变换部分562。

预测部分532按照参数分析部分531的控制生成预测矩阵。如图19中图解所示，预测部分532包括复制部分541和预测矩阵生成部分542。

在复制模式下，复制部分541创建在先传送的量化矩阵的副本，并利用该副本作为预测矩阵。更具体地，复制部分541从存储部分536读取对应于pred_matrix_id_delta并且大小和当前区域的量化矩阵相同的在先传送的量化矩阵，利用读取的量化矩阵作为预测图像，并把预测图像提供给输出部分535。

在正常情况下，预测矩阵生成部分542利用在先传送的量化矩阵，生成(预测)预测矩阵。更具体地，预测矩阵生成部分542从存储部分536读取与pred_matrix_id_delta和pred_size_id_delta对应的在先传送的量化矩阵，并利用读取的量化矩阵，生成预测矩阵。换句话说，预测矩阵生成部分542生成与图像编码设备10的预测矩阵生成部分172(图4)生成的预测矩阵类似的预测矩阵。预测矩阵生成部分542把生成的预测矩阵提供给量化矩阵复原部分534的预测矩阵大小变换部分561。

熵解码部分533从供给自参数分析部分531的扩展Golomb码，复原差分矩阵。如图19中图解所示，熵解码部分533包括exp-G部分551、逆DPCM部分552和逆重复判定部分553。

exp-G部分551进行有符号或无符号的指数Golomb解码(下面，也称为扩展Golomb解码)，以复原DPCM数据。exp-G部分551把复原的DPCM数据，连同residual_symmetry_flag一起提供给逆DPCM部分552。

逆DPCM部分552对已从中除去重复部分的数据，进行DPCM解码，从而根据DPCM数据生成残差数据。逆DPCM部分552把生成的残差数据，连同residual_symmetry_flag一起提供给逆重复判定部分553。

如果residual_symmetry_flag为真，即，如果残差数据是已从中除去重复对称部分的数据(矩阵元素)的135°目标矩阵的剩余部分，那么逆重复判定部分553复原对称部分的数据。换句话说，135°目标矩阵的差分矩阵被复原。注意，如果residual_symmetry_flag不为真，即，如果残差数据代表不是135°目标矩阵的矩阵，那么逆重复判定部分553利用残差数据作为差分矩阵，而不复原对称部分的数据。逆重复判定部分553把按照上述方式复原的差分矩阵提供给量化矩阵复原部分534(差分矩阵大小变换部分562)。

量化矩阵复原部分534复原量化矩阵。如图19中图解所示，量化矩阵复原部分534包括预测矩阵大小变换部分561，差分矩阵大小变换部分562、逆量化部分563和计算部分564。

如果从预测部分532(预测矩阵生成部分542)供给的预测矩阵的大小不同于当前区域的复原的量化矩阵的大小，那么预测矩阵大小变换部分561转换预测矩阵的大小。

例如，如果预测矩阵的大小大于量化矩阵的大小，那么预测矩阵大小变换部分561向下转换预测矩阵。此外，例如，如果预测矩阵的大小小于量化矩阵的大小，那么预测矩阵大小变换部分561向上转换预测矩阵。选择和图像编码设备10的预测矩阵大小变换部分181(图4)的转换方法相同的转换方法。

预测矩阵大小变换部分561把已使其大小和量化矩阵的大小匹配的预测矩阵提供给计算部分564。

如果residual_down_sampling_flag为真，即，如果传送的差分矩阵的大小小于待逆量化的当前区域的大小，那么差分矩阵大小变换部分562把差分矩阵的大小向上转换成与待逆量化的当前区域对应的大小。可以使用任何向上转换方法。例如，可以使用与利用图像编码设备10的差分矩阵大小变换部分163(图4)进行的向下转换方法对应的方法。

例如，如果差分矩阵大小变换部分163已对差分矩阵进行了下采样，那么差分矩阵大小变换部分562可对差分矩阵进行上采样。此外，如果差分矩阵大小变换部分163已对差分矩阵进行了子采样，那么差分矩阵大小变换部分562可对差分矩阵进行逆子采样。

例如，如图20中图解所示，差分矩阵大小变换部分562可利用最近邻插值处理(最近邻插值处理)，而不是一般的线性插值，进行插值。最近邻插值处理能够实现存储容量的减小。

因而，即使不传送大小较大的量化矩阵，当进行从大小较小的量化矩阵的上采样时，也不需要保持上采样后的数据。另外，中间缓冲器等不再是用于上采样期间的计算的数据的存储所必需的。

注意，如果residual_down_sampling_flag不为真，即，如果差分矩阵是以与当该差分矩阵被用于量化矩阵处理时的大小相同的大小传送的，那么差分矩阵大小变换部分562省略差分矩阵的向上转换(或者可按系数1向上转换差分矩阵)。

如果需要，差分矩阵大小变换部分562把按照上述方式向上转换的差分矩阵提供给逆量化部分563。

逆量化部分563利用与图像编码设备10的量化部分183(图4)进行的量化的方法对应的方法，逆量化供给的差分矩阵(量化数据)，并把逆量化的差分矩阵提供给计算部分564。注意，如果量化部分183被省略，即，如果从差分矩阵大小变换部分562供给的差分矩阵不是量化数据，那么可以省略逆量化部分563。

计算部分564相加从预测矩阵大小变换部分561供给的预测矩阵，和从逆量化部分563供给的差分矩阵，从而复原当前区域的量化矩阵。计算部分564把复原的量化矩阵提供给输出部分535和存储部分536。

输出部分535把供给的信息提供给在矩阵生成部分410之外的部分。例如，在复制模式下，输出部分535把从复制部分541供给的预测矩阵提供给逆量化部分440，作为当前区域的量化矩阵。此外，例如，在正常情况下，输出部分535把从量化矩阵复原部分534(计算部分564)供给的当前区域的量化矩阵提供给逆量化部分440。

存储部分536保存从量化矩阵复原部分534(计算部分564)供给的量化矩阵，以及量化矩阵的大小和列表ID。关于保存在存储部分536中的量化矩阵的信息被用于生成稍后被处理的其它正交变换单位的预测矩阵。换句话说，存储部分536把保存的关于量化矩阵的信息作为关于在先传送的量化矩阵的信息，提供给预测部分532。

如上所述，矩阵生成部分410把大小小于或等于传输大小的量化矩阵(差分矩阵)向上转换成与待逆量化的当前区域对应的大小。因而，图像解码设备300能够抑制量化矩阵的编码量的增大。

[1-12.量化矩阵解码处理的流程]

下面参考图21中图解所示的流程图，说明由上述矩阵生成部分410进行的量化矩阵解码处理的流程的例子。

当开始量化矩阵解码处理时，在步骤S301，参数分析部分531读取区域0～3的量化值(Qscale0～Qscale3)。

在步骤S302，参数分析部分531读取pred_mode。在步骤S303，参数分析部分531判定pred_mode是否等于0。如果判定pred_mode等于0，那么参数分析部分531判定当前模式是复制模式，从而使处理进入步骤S304。

在步骤S304，参数分析部分531读取pred_matrix_id_delta。在步骤S305，复制部分541创建已传送的量化矩阵的副本，并利用该副本作为预测矩阵。在复制模式下，预测矩阵被输出为当前区域的量化矩阵。当完成步骤S305的处理时，复制部分541使量化矩阵解码处理结束。

此外，如果在步骤S303中，判定pred_mode不等于0，那么参数分析部分531判定当前模式是全扫描模式(正常情况)，从而使处理进入步骤S306。

在步骤S306，参数分析部分531读取pred_matrix_id_delta、pred_size_id_delta和residual_flag。在步骤S307，预测矩阵生成部分542根据已传送的量化矩阵，生成预测矩阵。

在步骤S308，参数分析部分531判定residual_flag是否为真。如果判定residual_flag不为真，那么不存在残差矩阵，并且输出在步骤S307中生成的预测矩阵，作为当前区域的量化矩阵。于是在这种情况下，参数分析部分531使量化矩阵解码处理结束。

此外，如果在步骤S308，判定residual_flag为真，那么参数分析部分531使处理进入步骤S309。

在步骤S309，参数分析部分531读取residual_down_sampling_flag和residual_symmetry_flag。

在步骤S310，exp-G部分551和逆DPCM部分552解码残差矩阵的扩展Golomb码，从而生成残差数据。

在步骤S311，逆重复判定部分553判定residual_symmetry_flag是否为真。如果判定residual_symmetry_flag为真，那么逆重复判定部分553使处理进入步骤S312，并且复原残差数据的被除去的重复部分(进行逆对称处理)。当按照上述方式生成为135°目标矩阵的差分矩阵时，逆重复判定部分553使处理进入步骤S313。

此外，如果在步骤S311，判定residual_symmetry_flag不为真(如果残差数据是非135°目标矩阵的差分矩阵)，那么逆重复判定部分553使处理进入步骤S313，同时省略步骤S312的处理(不进行逆对称处理)。

在步骤S313，差分矩阵大小变换部分562判定residual_down_sampling_flag是否为真。如果判定residual_down_sampling_flag为真，那么差分矩阵大小变换部分562使处理进入步骤S314，把差分矩阵向上转换成与待逆量化的当前区域对应的大小。在差分矩阵被向上转换之后，差分矩阵大小变换部分562使处理进入步骤S315。

此外，如果在步骤S313判定residual_down_sampling_flag不为真，那么差分矩阵大小变换部分562使处理进入步骤S315，同时省略步骤S312的处理(不向上转换差分矩阵)。

在步骤S315，计算部分564相加差分矩阵和预测矩阵，从而生成当前区域的量化矩阵。当步骤S315的处理完成时，量化矩阵解码处理结束。

通过按照上述方式进行量化矩阵解码处理，图像解码设备300能够抑制量化矩阵的编码量的增大。

<2.第二实施例>

[2-1.矩阵处理部分的其它例子]

图22是图解说明本技术适用于的矩阵处理部分150的另一种例证结构的方框图。

在图22中图解所示的例子中，矩阵处理部分150不包括在图4中图解所示的结构中包括的差分矩阵大小变换部分163。换句话说，量化部分183的输出被提供给熵编码部分164的重复判定部分191。

图22中图解所示的矩阵处理部分150还包括量化矩阵大小变换部分701。

量化矩阵大小变换部分701把输入矩阵处理部分150的量化系数的大小转换成小于或等于传输的最大大小(传输大小)。转换后的大小是任意的，只要该大小小于或等于传输大小。可以使用尽可能大的最小大小，以尽可能多地减少量化矩阵的编码量。另外，量化矩阵大小变换部分701或预测矩阵大小变换部分181的处理可以只是向下转换，从而使得能够简化(便利)量化矩阵大小变换部分701和预测矩阵大小变换部分181的处理。

这种情况下，预测矩阵大小变换部分181把预测矩阵的大小转换成向下转换的量化矩阵的大小。

注意，类似于第一实施例，这些转换(向下转换)方法是任意的，可以包括下采样和子采样。

即，在这种情况下，大小和由量化矩阵大小变换部分701转换的量化矩阵相同的差分矩阵被编码和传送。

因而，类似于第一实施例，图像编码设备10能够抑制量化矩阵的编码量的增大。

[2-2.量化矩阵编码处理的流程的其它例子]

上述例证情况下的量化矩阵编码处理的流程的例子如图23的流程图中图解所示。

具体地，当开始量化矩阵编码处理时，在步骤S601，量化矩阵大小变换部分701获得当前区域的量化矩阵。随后，在步骤S602，量化矩阵大小变换部分701把量化矩阵向下转换成预定大小。

按照和图7中的步骤S102-S107的处理类似的方式，执行步骤S603-S608的处理。不进行(省略)对应于图7中的步骤S108和S109的处理，按照和图7中的步骤S110-S117的处理类似的方式，执行步骤S609-S616的处理。

矩阵处理部分150按照上述方式进行量化矩阵编码处理。因而，类似于第一实施例，图像编码设备10能够抑制量化矩阵的编码量的增大。

[2-3.矩阵生成部分的其它例子]

图24是图解说明图像解码设备300的矩阵生成部分410的另一种例证结构的方框图。图24中图解所示的矩阵生成部分410是与图22中图解所示的矩阵处理部分150对应的处理部分。具体地，图24中图解所示的矩阵生成部分410解码关于由图22中图解所示的矩阵处理部分150生成的量化矩阵的编码数据(各种标记和参数，根据差分矩阵生成的扩展Golomb码等)，从而复原当前区域的量化矩阵。

另外在这种情况下，矩阵生成部分410基本具有与图19中图解所示的例子中的结构类似的结构，不过和图19中图解所示的例子不同，不包括差分矩阵大小变换部分562。因而，从逆重复判定部分553输出的差分矩阵被提供给逆量化部分563。

另外，在图24中图解所示的例子中，和图19中图解所示的例子不同，矩阵生成部分410还包括量化矩阵大小变换部分721。

量化矩阵大小变换部分721是对应于图22中图解所示的量化矩阵大小变换部分701的处理部分，用于进行与量化矩阵大小变换部分701的处理相反的处理。具体地，量化矩阵大小变换部分721把大小小于允许传输的最大大小(传输大小)的量化矩阵向上转换成与待逆量化的当前区域对应的大小。

量化矩阵大小变换部分721通过相加预测矩阵和差分矩阵，获得利用计算部分564生成的量化矩阵。量化矩阵的大小等于利用量化矩阵大小变换部分701的向下转换而获得的大小。量化矩阵大小变换部分721把量化矩阵的大小向上转换成与待逆量化的当前区域对应的大小。量化矩阵大小变换部分721把向上转换后的量化矩阵提供给输出部分535，从而把向上转换的量化矩阵提供给逆量化部分440，或者把向上转换后的量化矩阵提供给存储部分536，以便存储。

因而，在这种情况下，矩阵生成部分410也把在被传送之前，被向下转换成小于或等于传输大小的大小的量化矩阵，向上转换成与待逆量化的当前区域对应的大小。因而，图像解码设备300能够抑制量化矩阵的编码量的增大。

在这种例证情况下的量化矩阵解码处理的流程基本类似于参考图21中图解所示的流程图说明的流程，以下处理例外：代替在步骤S314中向上转换残差矩阵，量化矩阵大小变换部分721向上转换利用步骤S315的处理生成的量化矩阵。

矩阵生成部分410按照上面说明的方式，进行量化矩阵解码处理。因而，类似于第一实施例，图像解码设备300能够抑制量化矩阵的编码量的增大。

<3.第三实施例>

[向上转换]

图25是图解说明如何传送差分矩阵的例子的示图。待从图像编码设备10(图1)传送给图像解码设备300(图16)的量化矩阵(量化矩阵和其预测矩阵之间的差分矩阵)的大小局限于小于或等于预定最大大小(传输大小)的大小。例如，待从图像编码设备10传送给图像解码设备300的量化矩阵的大小局限于和预先准备的基础矩阵(也称为默认量化矩阵)的大小(也称为默认量化矩阵大小)相同的大小。即，在这种情况下，传输大小等于默认量化矩阵大小的最大值。例如，如果4×4量化矩阵和8×8量化矩阵被设定为默认量化矩阵，那么传输大小为8×8。

具体地，如果量化处理中使用的量化矩阵大于传输大小，那么图像编码设备10把量化矩阵或预测矩阵向下转换成传输大小或更小，或者把确定的差分矩阵向下转换成传输大小或更小，从而生成大小小于或等于传输大小的差分矩阵。该向下转换操作例如由差分矩阵变换部分163、预测矩阵大小变换部分181、量化矩阵大小变换部分701等进行。

图像解码设备300把传送的差分矩阵或者根据差分矩阵确定的量化矩阵，向上转换成与待逆量化的当前区域对应的大小，并在逆量化处理中使用经向上转换的矩阵。即，如果传输大小等于默认量化矩阵大小的最大值，那么图像解码设备300接收大小和默认量化矩阵大小相同的量化矩阵。例如，图像解码设备300接收大小和默认量化矩阵的最大大小相同的量化矩阵。图像解码设备300利用接收的量化矩阵或者利用通过量化矩阵的向上转换而获得的量化矩阵，进行逆量化处理。注意，该向上转换操作例如由差分矩阵大小变换部分562、预测矩阵大小变换部分561、量化矩阵大小变换部分721等进行。

注意，图像编码设备10也可把与量化处理中使用的量化矩阵(差分矩阵)不同的，大小比允许传输的最大大小(传输大小)小的量化矩阵(差分矩阵)传送给图像解码设备300。例如，图像编码设备10可准备具有不同大小的多个量化矩阵(差分矩阵)，从所述多个量化矩阵中选择量化矩阵，并把选择的量化矩阵用于量化处理。这种情况下，当利用准备的矩阵组之中的大小比传输大小大的量化矩阵进行量化处理时，图像编码设备10可传送矩阵组中的大小小于传输大小的量化矩阵(差分矩阵)，而不是向下转换量化矩阵。换句话说，在这种情况下，省略图像编码设备10的大小变换(向下转换)操作。另外，图像编码设备10还可向上转换大小小于传输大小的量化矩阵(差分矩阵)，并进行量化处理。另外在这种情况下，类似地，图像编码设备10的大小变换(向下转换)操作被省略。

无论什么情况，都只传送大小小于或等于传输大小的量化矩阵(差分矩阵)，而不管实际是否要进行大小变换(向下转换)。即，图像解码设备300对传送的量化矩阵进行到对应于待逆量化的当前区域(例如，CU或TU)的大小的大小变换(向上转换)，而不管图像编码设备10是否已进行了大小变换(向下转换)。

只有当量化处理中使用的大小和传输期间的大小相同时，图像解码设备300才省略量化矩阵(差分矩阵)的大小变换(向上转换)(或者按系数1进行大小变换)。

例如，假定传输大小为8×8。在这种情况下，例如，以8×8正方矩阵或4×4正方矩阵的形式，传送差分矩阵。例如，如在图25的上部中图解所示，当以8×8正方矩阵的形式，传送差分矩阵时，图像解码设备300把差分矩阵向上转换成与待逆量化的当前区域对应的大小，比如16×16正方矩阵或32×32正方矩阵。此外，例如，如在图25的下部中图解所示，当以4×4正方矩阵的形式传送差分矩阵时，差分矩阵被向上转换成与待逆量化的当前区域对应的大小，比如8×8正方矩阵。

当然，该差分矩阵也可被向上转换成除在图25中图解所示的例子中的大小以外的大小(例如，64×64正方矩阵)。

注意，如果待逆量化的当前区域的大小等于传送的量化矩阵的大小，那么省略该向上转换(或者进行系数为1的大小变换)，从而原样地以8×8差分矩阵的形式，使用8×8正方矩阵。另外，原样地以4×4差分矩阵的形式，使用4×4正方矩阵。

例如，假定图像编码设备10利用4×4量化矩阵量化4×4块，利用8×8量化矩阵量化8×8块，向上转换8×8量化矩阵从而生成16×16量化矩阵，并利用16×16量化矩阵量化16×16块，向上转换8×8量化矩阵从而生成32×32量化矩阵，并利用32×32量化矩阵量化32×32块，然后把4×4量化矩阵和8×8量化矩阵传送给图像解码设备300。另外在这种情况下，类似于图像编码设备10，图像解码设备300利用接收的4×4量化矩阵量化4×4块，利用接收的8×8量化矩阵量化8×8块。此外，类似于图像编码设备10，图像解码设备300向上转换接收的8×8量化矩阵从而生成16×16量化矩阵，并利用16×16量化矩阵量化16×16块，向上转换接收的8×8量化矩阵从而生成32×32量化矩阵，并利用32×32量化矩阵量化32×32块。

下面，说明图像解码设备300如何进行大小变换(向上转换)。图26图解说明如何进行向上转换的例子。下面举例说明差分矩阵大小变换部分562(图19)的处理。

具体的向上转换方法是任意的。例如，可以利用最近邻插值处理，实现向上转换。最近邻插值处理是通过创建插值前的矩阵中的对应元素的副本，插入元素的邻近元素的处理。邻近元素是与插值前的矩阵中的元素相邻的元素，或者是在插值前的矩阵中的元素附近的元素。

例如，允许元素的数目分别在垂直方向和水平方向加倍的最近邻插值处理(×2最近邻插值处理)是根据插值前的矩阵中的各个元素，生成2×2正方矩阵的处理。具体地，利用插值前的矩阵中的每个元素，插入3个邻近元素。例如，这3个邻近元素包括插值前的矩阵中的该元素的右邻元素、下邻元素和右下邻元素。对插值前的矩阵中的每个元素，进行上述处理，从而允许正方矩阵中的垂直元素的数目和水平元素的数目加倍。

在图20中图解所示的例子中，把最近邻插值处理应用于4×4正方矩阵，从而生成8×8正方矩阵。在图20中图解所示的矩阵中，灰色矩形块代表插值前的矩阵中的元素。创建每个灰色元素的副本，并分别插入每个元素的邻近元素(用图20中图解所示的矩阵中的空白矩形块表示)。

当然，其它元素(例如，上邻元素，左邻元素等)也可用作3个邻近元素。最好，沿着对应于处理顺序的方向插入元素。此外，尽管说明了把原始元素的副本用于插值，不过，可以利用某些计算来确定待插入的元素的值。不过，上述方式的副本的利用可减小插值的负荷(能够使插值更容易)。

返回参见图26，传送的差分矩阵可被向上转换成多种大小。例如，如图26中图解所示，8×8差分矩阵可被向上转换成16×16正方矩阵或32×32正方矩阵。

例如，通过利用×2最近邻插值处理，8×8差分矩阵被向上转换成16×16差分矩阵。此外，把×2最近邻插值处理应用于16×16差分矩阵，从而把16×16差分矩阵向上转换成32×32差分矩阵。当然，可以进一步重复×2最近邻插值处理，以实现到64×64或更大的正方矩阵的向上转换。即，通过重复×2最近邻插值处理，能够实现到大小与已重复的×2最近邻插值处理的次数对应的正方矩阵的向上转换。

注意，通过最近邻插值处理，可用任意系数放大矩阵，并且如上所述，所述系数并不局限于2。例如，分别在垂直方向和水平方向，允许元素的数目成为4倍的最近邻插值处理(×4最近邻插值处理)也是可行的。除了放大系数不同之外，按照基本和×2最近邻插值处理类似的方式，实现×4最近邻插值处理。即，在×4最近邻插值处理中，根据插值前的矩阵中的各个元素，生成4×4正方矩阵，以致4×4正方矩阵使该元素位于其左上角。换句话说，根据插值前的矩阵中的一个元素，插入其15个邻近元素。对插值前的矩阵中的每个元素进行上述处理，从而把正方矩阵中的纵向元素的数目和横向元素的数目都变换成4倍。

在图26中，如用虚线箭头所示，通过应用×4最近邻插值处理，8×8差分矩阵可被向上转换成32×32差分矩阵。具体地，一个8×8量化矩阵(或者差分矩阵)可被向上转换，从而生成16×16量化矩阵(或者差分矩阵)和32×32量化矩阵(或者差分矩阵)，或者利用不同的8×8量化矩阵(或差分矩阵)的向上转换，可以生成16×16量化矩阵(或者差分矩阵)和32×32量化矩阵(或者差分矩阵)。在前一情况下，4×4量化矩阵(或者差分矩阵)和8×8量化矩阵(或者差分矩阵)可从图像编码设备10被传送给图像解码设备300。在后一情况下，4×4量化矩阵(或者差分矩阵)、可被向上转换成16×16的8×8量化矩阵(或者差分矩阵)、和可被向上转换成32×32的8×8量化矩阵(或者差分矩阵)可从图像编码设备10被传送给图像解码设备300。

通过按照上述方式，利用最近邻插值处理，差分矩阵大小变换部分562能够容易地对差分矩阵进行大小变换。

另外，上面说明的最近邻插值处理也可应用于到非正方矩阵的向上转换。

例如，利用×2最近邻插值处理，8×8差分矩阵被变换成16×16正方矩阵，并通过间除(thinning)正方矩阵的某些行中的元素，被进一步变换成纵4×横16的非正方矩阵。

这种情况下，可提取16行中的4行，待间除的行是任意的。例如，可以提取每4行中的1行。另一方面，可以提取从上面开始的第1行、第5行、第9行和第13行。另一方面，例如，可以提取从上面开始的第3行、第7行、第11行和第15行。可以预先确定待提取的行，或者可以利用某种方法，从16行中选择任意4行(或者每4行中的1行)。

此外，例如，利用进行2次的×2最近邻插值处理，或者利用进行1次的×4最近邻插值处理，8×8差分矩阵被变换成32×32正方矩阵。通过间除正方矩阵中的某些行中的元素，32×32正方矩阵被进一步变换成纵8×横32的非正方矩阵。

这种情况下，类似于上面说明的纵4×横16的非正方矩阵，可以提取32行中的8行，待间除的行是任意的。例如，可以提取从上面开始的第1行、第5行、第9行、第13行、第17行、第21行、第25行和第29行。可以预先确定待提取的行，或者可以利用某种方法，从32行中选择任意8行(或者每4行中的1行)。

尽管说明了到纵横比为1:4的非正方矩阵的变换，不过，变换后的矩阵可以具有任意纵横比。例如，通过按照与逐行间除的情况类似的方式，逐列地而不是逐行地间除正方矩阵中的元素，正方矩阵的大小可被变换成纵横比为4:1的非正方矩阵。

此外，例如，在“CE6.b1 Report on Short Distance Intra Prediction Method”(JCTVC-E278,March 2011)中，提出了通过利用大小较小的非正方预测单元，改善编码效率的短距离帧内预测方法。在短距离帧内预测方法中，在图像中设定各种大小的预测单元，比如1×4像素、2×8像素、4×16像素、4×1像素、8×2像素和16×4像素。在这种情况下，预测单元的纵向大小和横向大小中的哪个大小更大取决于预测单元的设定。

调整行或列的间除量，以便能够实现到具有各种纵横比的非正方矩阵的大小变换。例如，从16×16正方矩阵中提取一行，以实现到纵横比为1:16的非正方矩阵的大小变换。类似地，可以从32×32正方矩阵中，提取任意两行，以实现到纵横比为2:32的非正方矩阵的大小变换。

按照上述方式，利用最近邻插值处理，差分矩阵大小变换部分562能够容易地进行从差分矩阵到非正方矩阵的大小变换。

尽管说明了通过利用最近邻插值处理和行(或列)的间除来实现到非正方矩阵的大小变换，不过，这不是对本技术的限制。例如，也可仅仅利用最近邻插值处理，实现到非正方矩阵的大小变换。

例如，如在图27的A部分中图解所示，可以只在水平方向，使4×4正方矩阵成为4倍(水平方向的×4最近邻插值处理)，以实现到4×16非正方矩阵的大小变换。水平方向的×4最近邻插值处理是根据插值前的矩阵中的每个元素，生成1×4非正方矩阵的处理。即，利用插值前的矩阵中的每个元素，插入3个邻近元素。所述3个邻近元素例如包括右邻插值前的矩阵中的元素，水平排列的3个元素。对插值前的矩阵中的每个元素进行上述处理，从而允许仅仅正方矩阵中的水平元素的数目成为4倍。

此外，例如，如在图27的A部分中图解所示，可以只在垂直方向，使4×4正方矩阵成为4倍(垂直方向的×4最近邻插值处理)，以实现到16×4非正方矩阵的大小变换。垂直方向的×4最近邻插值处理是根据插值前的矩阵中的每个元素，生成4×1非正方矩阵的处理。即，利用插值前的矩阵中的每个元素，插入3个邻近元素。所述3个邻近元素例如包括在下方邻近插值前的矩阵中的元素的、垂直排列的3个元素。对插值前的矩阵中的每个元素进行上述处理，从而允许仅仅正方矩阵中的垂直元素的数目成为4倍。

8×8正方矩阵也按照类似的方式，经过大小变换。例如，如在图27的部分B中图解所示，8×8正方矩阵可在水平方向，经历×4最近邻插值处理，以实现到8×32非正方矩阵的大小变换。此外，例如，如在图27的部分B中图解所示，8×8正方矩阵可在垂直方向，经历×4最近邻插值处理，以实现到32×8非正方矩阵的大小变换。

按照上述方式，利用最近邻插值处理，差分矩阵大小变换部分562能够容易地进行从差分矩阵到非正方矩阵的大小变换。

注意，可对任意大小的矩阵，进行上面说明的利用最近邻插值处理的大小变换。另外，量化矩阵或预测矩阵也可按照对于差分矩阵的上述方式相似的方式，经历利用最近邻插值处理的大小变换。即，量化矩阵大小变换部分也可容易地利用最近邻插值处理对量化矩阵进行大小变换。上面所述类似于适用于预测矩阵大小变换部分561。

在上面的说明中，说明了对于量化矩阵、预测矩阵、或者量化矩阵和预测矩阵之间的差分矩阵的大小变换。所述大小变换处理可以是实际生成其大小已被变换的矩阵的处理，或者可以是设定如何从存储器读取矩阵中的各个元素，而不实际生成矩阵的数据的处理(矩阵数据的读取控制)。

在上面说明的大小变换处理中，大小变换之后的矩阵中的各个元素由大小变换之前的矩阵中的任意元素构成。即，通过利用某种方法，例如读取矩阵的一些元素或者多次读取一个元素，读取保存在存储器中的大小变换之前的矩阵中的元素，可生成大小变换之后的矩阵。换句话说，定义读取各个元素的方法(或者进行矩阵数据的读取控制)，以实质实现上面说明的大小变换。借助这种方法，诸如把经历大小变换的矩阵数据写入存储器的处理变得不必要。此外，读取经过大小变换的矩阵数据的方法基本上取决于进行最近邻插值处理的方式等，从而可以利用负荷相当低的处理，比如选择预先准备的多种选项中的一个适当选项来实现。因而，这种方法能够实现大小变换的负荷的降低。

即，上面说明的包括实际生成经历大小变换的矩阵数据的处理的大小变换处理还包括矩阵数据的这种读取控制。

在上面的说明中，向下转换并传送差分矩阵，或者传送根据向下转换的量化矩阵生成的差分矩阵。在本技术中，只要求提供关于量化矩阵的信息的编码量的减小。从而，这些例子不是作为对本技术的限制给出的。例如，可省略预测处理，从而可向下转换和传送当前区域的量化矩阵，而不是差分矩阵。这种情况下，在解码器侧，只需要把传送的量化矩阵向上转换成与待逆量化的当前区域对应的大小。这种情况下，可以对或者可以不对待传送的量化矩阵进行上面在第一到第三实施例中说明的利用DPCM编码和解码的编码和解码处理。应明白，要对待传送的量化矩阵进行的编码和解码处理可以是任意种类的编码和解码处理，而不局限于上面说明的例子中的编码和解码处理。

另外，通过获得诸如量化矩阵的大小和列表ID之类的关于量化矩阵的参数和标记的信息，和在先传送的信息之间的差分，并传送所述差分，可以减小所述信息的编码量。

<4.第四实施例>

[对多视点图像编码和多视点图像解码的应用]

上述一系列处理可以应用于多视点图像编码和多视点图像解码。图28图解说明多视点图像编码方案的例子。

如图28中图解所示，多视点图像包括在多个视点的图像，在所述多个视点之一的图像被指定为基本视点的图像。除基本视点的图像以外的图像被对待为非基本视点的图像。

当要编码和解码如图28中图解所示的多视点图像时，每个视点的图像被编码和解码。第一到第三实施例中的上述方法可应用于每个视点的编码和解码。因而，能够抑制量化矩阵的编码量的增大。

此外，在每个视点的编码和解码之间，可以共享在第一到第三实施例中的上述方法中使用的标记和参数。例如，在每个视点的编码和解码之间，共享量化矩阵。当然，在每个视点的编码和解码之间，也可共享任何其它必需的信息。

例如，当要传送包含在序列参数集(SPS)或图像参数集(PPS)中的量化矩阵时，如果这些参数集(SPS和PPS)在各个视点之间被共享，那么量化矩阵也被共享。因而，能够抑制量化矩阵的编码量的增大。

此外，可按照视点之间的视差值，改变基本视点的量化矩阵中的矩阵元素。此外，可以传送用于关于基本视点的量化矩阵中的矩阵元素，调整非基本视点矩阵元素的偏移值。因而，能够抑制量化矩阵的编码量的增大。

例如，可以预先分别传送每个视点的量化矩阵。当要为每个视点改变量化矩阵时，可以只传送指示与预先传送的量化矩阵中的对应一个量化矩阵的差分的信息。指示所述差分的信息可以是任意信息，例如可以是以4×4或8×8为单位的信息，或者可以是矩阵之间的差分。

注意，如果尽管SPS或PPS不被共享，但在各个视点之间共享量化矩阵，那么可以参照其它视点的SPS或PPS(即，可以使用其它视点的量化矩阵)。

此外，如果这样的多视点图像被表示成把YUV图像和对应于视点之间的视差量的深度图像(Depth)作为分量的图像，那么可以使用每个分量(Y、U、V和Depth)的图像的独立量化矩阵。

例如，由于深度图像(Depth)是边缘的图像，因此量化矩阵不是必需的。从而，即使SPS或PPS指定量化矩阵的使用，量化矩阵也可能不被应用于深度图像(Depth)(或者把其中所有矩阵元素都相同(单一)的量化矩阵应用于深度图像(Depth))。

[多视点编码设备]

图29是图解说明用于进行上述多视点图像编码操作的多视点图像编码设备的示图。如图29中图解所示，多视点编码设备600包括编码单元601、编码单元602和复用单元603。

编码单元601编码基本视点的图像，从而生成编码的基本视点图像流。编码单元602编码非基本视点的图像，从而生成编码的非基本视点图像流。复用单元603复用由编码单元601生成的编码的基本视点图像流和由编码单元602生成的编码的非基本视点图像流，从而生成编码的多视点图像流。

图像编码设备10(图1)可用于多视点图像编码设备600的编码单元601和编码单元602中的每一个。即，例如，如上所述，编码单元601和编码单元602可以利用相同的量化矩阵，进行量化处理等。因而，能够抑制量化矩阵的编码量的增大。

[多视点图像解码设备]

图30是图解说明进行上面说明的多视点图像解码操作的多视点图像解码设备的示图。如图30中图解所示，多视点图像解码设备610包括解复用单元611、解码单元612和解码单元613。

解复用单元611对其中复用编码的基本视点图像流和编码的非基本视点图像流的编码的多视点图像流进行解复用，并提取编码的基本视点图像流和编码的非基本视点图像流。解码单元612解码解复用单元611提取的编码的基本视点图像流，从而获得基本视点的图像。解码单元613解码解复用单元631提取的编码的非基本视点图像流，从而获得非基本视点的图像。

图像解码设备300(图16)可用于多视点图像解码设备610的解码单元612和解码单元613中的每一个。即，例如，如上所述，解码单元612和解码单元613可以利用相同的量化矩阵，进行量化处理等。因而，能够抑制量化矩阵的编码量的增大。

<5.第五实施例>

[对分层图像编码和分层图像解码的应用]

上述一系列处理适用于分层图像编码和分层图像解码。图31图解说明分层图像编码方案的例子。

如图31中图解所示，分层图像包括多层的图像，所述多层之一的图像被指定为基本层的图像。除基本层的图像外的各个图像被对待为非基本层(也称为增强层)的图像。

当要编码和解码如图31中图解所示的分层图像时，每一层的图像被编码和解码。上述方法可应用于每一层的编码和解码。因而，能够抑制量化矩阵的编码量的增大。

此外，在每一层的编码和解码之间，可以共享在第一到第三实施例中的上述方法中使用的标记和参数。例如，在每一层的编码和解码之间，共享量化矩阵。当然，在每一层的编码和解码之间，也可共享任何其它必需的信息。

这种分层图像的例子包括在空间分辨率方向分层的图像(也称为具有空间分辨率可扩展性的图像)(空间可扩展性)。在具有空间分辨率可扩展性的分层图像中，图像的分辨率因层而异。例如，空间分辨率最低的一层图像被指定为基本层，与基本层相比，分辨率较高的一层图像被指定为非基本层(或增强层)。

非基本层(增强层)的图像数据可以是与其它各层无关的数据，并且类似于基本层，可以只利用该图像数据，获得具有对应层中的分辨率的图像。不过，非基本层(增强层)的图像数据通常是与对应层的图像和另一层(例如，在对应层下面一层的层)的图像之间的差分图像对应的数据。这种情况下，只利用基本层的图像数据，获得具有与基本层对应的分辨率的图像，而通过组合该层的图像数据和另一层(例如，在该层下面一层的层)的图像数据，获得具有与非基本层(增强层)对应的分辨率的图像。因而，能够抑制各层之间的图像数据的冗余。

在具有空间分辨率可扩展性的分层图像中，图像的分辨率因层而异。从而，各层的编码和解码处理的单元的分辨率也彼此不同。因而，如果在各层的编码和解码之间，共享量化矩阵，那么可以按照各层的分辨率比，向上转换量化矩阵。

例如，假定基本层的图像具有2K(例如，1920×1080)的分辨率，而非基本层(增强层)的图像具有4K(例如，3840×2160)的分辨率。在这种情况下，例如，基本层的图像(2K图像)的16×16大小对应于非基本层的图像(4K图像)的32×32大小。还按照对应的分辨率比，酌情向上转换量化矩阵。

例如，用于基本层的量化和逆量化的4×4量化矩阵被向上转换成8×8，并用于非基本层的量化和逆量化。类似地，基本层的8×8量化矩阵被向上转换成非基本层中的16×16。类似地，向上转换成16×16，并用在基本层中的量化矩阵被向上转换成非基本层中的32×32。

注意，提供可扩展性的参数并不局限于空间分辨率，例如可包括时间分辨率(时间可扩展性)。在具有时间分辨率可扩展性的分层图像中，图像的帧速率因层而异。其它例子包括其中图像数据的位深度因层而异的位深度可扩展性，和其中分量的格式因层而异的色度可扩展性。

其它例子还包括其中图像的信噪比(SNR)因层而异的SNR可扩展性。

考虑到图像质量的改善，理想地，图像具有的信噪比越低，产生的量化误差越小。为此，在SNR可扩展性中，理想地，按照信噪比，不同的量化矩阵(非公共量化矩阵)被用于各层的量化和逆量化。因此，如上所述，如果在各层之间共享量化矩阵，那么可以传送关于基本层的量化矩阵中的矩阵元素，调整增强层的矩阵元素的偏移值。更具体地，可逐层地传送指示公共量化矩阵和实际使用的量化矩阵之间的差分的信息。例如，可以在针对各层的序列参数集(SPS)或图像参数集(PPS)中，传送指示所述差分的信息。指示所述差分的信息可以是任意的。例如，所述信息可以是使元素表示两个量化矩阵中的对应元素之间的差分值的矩阵，或者可以是指示差分的函数。

[分层图像编码设备]

图32是图解说明进行上面说明的分层图像编码操作的分层图像编码设备的示图。如图32中图解所示，分层图像编码设备620包括编码单元621、编码单元622和复用单元623。

编码单元621编码基本层的图像，从而生成编码的基本层图像流。编码单元622编码非基本层的图像，从而生成编码的非基本层图像流。复用单元623复用由编码单元621生成的编码的基本层图像流和由编码单元622生成的编码的非基本层图像流，从而生成编码的分层图像流。

图像编码设备10(图1)可用于分层图像编码设备620的编码单元621和编码单元622中的每一个。即，例如，如上所述，编码单元621和编码单元622可以利用相同的量化矩阵进行量化处理等。因而，能够抑制量化矩阵的编码量的增大。

[分层图像解码设备]

图33是图解说明进行上面说明的分层图像解码操作的分层图像解码设备的示图。如图33中图解所示，分层图像解码设备630包括解复用单元631、解码单元632和解码单元633。

解复用单元631对其中复用编码的基本层图像流和编码的非基本层图像流的编码的分层图像流进行解复用，并提取编码的基本层图像流和编码的非基本层图像流。解码单元632解码解复用单元631提取的编码的基本层图像流，从而获得基本层的图像。解码单元633解码解复用单元631提取的编码的非基本层图像流，从而获得非基本层的图像。

图像解码设备300(图16)可用于分层图像解码设备630的解码单元632和解码单元633中的每一个。即，例如，如上所述，解码单元632和解码单元633可以利用相同的量化矩阵，进行量化处理等。因而，能够抑制量化矩阵的编码量的增大。

<6.第六实施例>

[计算机]

上述一系列处理可用硬件执行，或者也可用软件执行。在这种情况下，例如可构成如图34中图解所示的计算机。

在图34中，计算机800中的CPU(中央处理器)801按照保存在ROM(只读存储器)802中的程序，或者从存储单元813加载到RAM(随机存取存储器)803中的程序，执行各种处理操作。为CPU 801执行各种处理操作所需的数据也酌情被保存在RAM 803中。

CPU 801、ROM 802和RAM 803通过总线804互连。输入/输出接口810也连接到总线804。

输入/输出接口810连接到输入单元811、输出单元812、存储单元813和通信单元814。输入单元811包括键盘、鼠标、触摸面板、输入终端等。输出单元812包括所需的输出装置，比如扬声器和包括CRT(阴极射线管)、LCD(液晶显示器)和OLED(有机电致发光显示器)的显示器，输出终端等。存储单元813包括所需的存储介质，比如硬盘或闪存，和控制存储介质的输入和输出的控制单元。通信单元814包括所需的有线或无线通信装置，比如调制解调器、LAN接口、USB(通用串行总线)装置和蓝牙(注册商标)装置。通信单元814通过包括因特网在内的网络，与其它通信装置进行通信处理。

此外，驱动器815也酌情被连接到输入/输出接口810。诸如磁盘、光盘、磁光盘或半导体存储器之类的可拆卸介质821被酌情放入驱动器815中。按照例如CPU 801的控制，驱动器815从放入其中的可拆卸介质821，读取计算机程序、数据等。读取的数据和计算机程序被提供给RAM 803。从可拆卸介质821读取的计算机程序被酌情安装在存储单元813上。

当用软件执行上述一系列处理时，从网络或记录介质安装构成所述软件的程序。

如图34中图解所示，记录介质的例子包括与设备主体分离地分发的，以便向用户交付程序的上面记录所述程序的可拆卸介质821，比如磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器)和DVD(数字通用光盘))、磁光盘(包括MD(小型光盘))、或者半导体存储器。记录介质的其它例子包括以预先嵌入设备主体的方式交付给用户的上面记录程序的设备，比如ROM 802，和包含在存储单元813中的硬盘。

注意，计算机执行的程序可以是按照这里记载的顺序，时序地进行处理操作的程序，或者可以是并行地，或在需要的时刻，比如当被调用时进行处理操作的程序。

另外，这里使用的描述保存在记录介质中的程序的步骤当然包括按照记载的顺序，时序地进行的处理操作，和并行地或者单独地，而不一定时序地进行的处理操作。

此外，这里使用的术语“系统”指的是包括多个装置(设备)的整个设备。

另外，可把上面描述成单个设备(或处理部分)的结构分成多个设备(或处理部分)。相反，也可把上面描述成多个设备(或处理部分)的结构合并成单个设备(或处理部分)。另外，当然可以向每个设备(或每个处理部分)的结构中增加除上述结构外的结构。此外，也可把某个设备(或处理部分)的结构的一部分包含在另一个设备(或另一个处理部分)的结构中，只要就整修系统来说，所述设备(或处理部分)具有基本相同的结构和/操作。换句话说，本技术的实施例并不局限于上述实施例，可以作出各种修改，而不脱离本技术的范围。

按照上述实施例的图像编码设备10(图1)和图像解码设备300(图16)可应用于各种电子设备，比如用于通过卫星广播，诸如有线电视之类的有线广播，或者因特网输送数据，或者用于通过蜂窝通信，往来于终端输送数据的发射器或接收器，把图像记录在诸如光盘、磁盘和闪存之类介质上的记录设备，和从存储介质再现图像的再现设备。下面说明4种例证应用。

<7.第七实施例>

[电视机]

图35图解说明上述实施例适用于的电视机的示意结构的例子。电视机900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。

调谐器902从通过天线901接收的广播信号中提取所需频道的信号，并解调提取的信号。随后，调谐器902把通过解调获得的编码比特流输出给解复用器903。换句话说，调谐器902充当电视机900中的接收包括编码图像的编码流的传输单元。

解复用器903把编码比特流中解复用成待观看的节目的视频流和音频流，并把通过解复用获得的各个流输出给解码器904。此外，解复用器903从编码比特流中提取辅助数据，比如EPG(电子节目指南)，并把提取的数据提供给控制单元910。注意，如果编码比特流被加扰时，解复用器903也对编码比特流进行解扰。

解码器904解码从解复用器903输入的视频流和音频流。随后，解码器904把由解码处理获得的视频数据输出给视频信号处理单元905。解码器904还把通过解码处理产生的音频数据输出给语音信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，使视频被显示在显示单元906上。视频信号处理单元905还使经网络提供的应用屏幕被显示在显示单元906上。视频信号处理单元905还按照设定，对视频数据执行诸如噪声消除之类的附加处理。另外，视频信号处理单元905还可生成GUI(图形用户界面)图像，比如菜单、按钮和光标，并把生成的图像叠加在输出图像上。

显示单元906由从视频信号处理单元905供给的驱动信号驱动，把视频或图像显示在显示装置(比如液晶显示器、等离子体显示器或OELD(有机电致发光显示器)(有机EL显示器))的视频表面上。

音频信号处理单元907对从解码器904输入的音频数据进行诸如D/A转换和放大之类的再现处理，使音频从扬声器908被输出。音频信号处理单元907还可对音频数据进行诸如噪声消除之类的附加处理。

外部接口909是连接电视机900与外部装置或网络的接口。例如，通过外部接口909接收的视频流或音频流可由解码器904解码。换句话说，外部接口909也充当电视机900中的接收包括编码图像的编码流的传输单元。

控制单元910包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序，程序数据，EPG数据，通过网络获得的数据等。在启动电视机900时，保存在存储器中的程序由CPU读取和执行。CPU执行所述程序，以按照从用户接口911输入的操作信号，控制电视机900的操作。

用户接口911连接到控制单元910。用户接口911例如包括允许用户操作电视机900的按钮和开关，遥控信号的接收单元，等等。用户接口911通过上述组件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元910。

总线912用于互连调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910。

在具有上述结构的电视机900中，解码器904具有按照上述实施例的图像解码设备300(图16)的功能。因而，电视机900能够抑制量化矩阵的编码量的增大。

<8.第八实施例>

[移动电话机]

图36图解说明上述实施例适用于的移动电话机的示意结构的例子。移动电话机920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933用于互连通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931。

移动电话机920按各种操作模式，包括语音通话模式、数据通信模式、图像拍摄模式和电视电话模式进行诸如传输和接收音频信号、传输和接收电子邮件或图像数据、拍摄图像和记录数据之类的操作。

在语音通话模式下，麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据，并对转换后的音频数据进行A/D转换和压缩。随后，音频编解码器923把压缩的音频数据输出给通信单元922。通信单元922编码和调制音频数据，从而生成传输信号。随后，通信单元922把生成的传输信号通过天线921传送给基站(未例示)。此外，通信单元922放大通过天线921接收的无线信号，并对放大的信号进行频率转换，从而获得接收信号。随后，通信单元922解调和解码接收信号，从而生成音频数据，并把生成的音频数据输出给音频编解码器923。音频编解码器923展开音频数据，并进行D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号输出给扬声器924，从而使音频被输出。

此外，在数据通信模式下，控制单元931按照用户通过操作单元932的操作，生成形成电子邮件的文本数据。另外，控制单元931使文本被显示在显示单元930上。控制单元931还按照通过操作单元932，从用户发出的传输指令，生成电子邮件数据，并把生成的电子邮件数据输出给通信单元922。通信单元922编码和调制电子邮件数据，从而产生传输信号。随后，通信单元922把生成的传输信号通过天线921传送给至基站(未例示)。另外，通信单元922放大通过天线921接收的无线信号，并对放大的信号进行频率转换，从而获得接收信号。随后，通信单元922解调和解码接收信号，从而恢复电子邮件数据，并把恢复的电子邮件数据输出给控制单元931。控制单元931使电子邮件的内容被显示在显示单元930上，还使电子邮件数据被保存在记录/再现单元929的存储介质中。

记录/再现单元929包括期望的可读/可写存储介质。例如，存储介质可以是内置存储介质，比如RAM和闪存，或者外部存储介质，比如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。

此外，在图像拍摄模式下，例如，相机单元926拍摄被摄物体的图像，从而生成图像数据，并把生成的图像数据输出给图像处理单元927。图像处理单元927对从相机单元926输入的图像数据编码，并使编码流被保存在记录/再现单元929的存储介质中。

此外，在电视电话模式下，例如，复用/解复用单元928复用由图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并把复用流输出给通信单元922。通信单元922编码和调制所述流，从而生成传输信号。随后，通信单元922把生成的传输信号通过天线921传送给基站(未例示)。另外，通信单元922放大通过天线921接收的无线信号，并对放大的信号进行频率转换，从而获得接收信号。传输信号和接收信号可包括编码比特流。然后，通信单元922解调和解码接收信号，从而恢复所述流，并把恢复的流输出给复用/解复用单元928。复用/解复用单元928把输入流解复用成视频流和音频流，并把视频流和音频流分别输出给图像处理器927和音频编解码器923。图像处理器927解码视频流，从而生成视频数据。视频数据被提供给显示单元930，由显示单元930显示一系列图像。音频编解码器923展开音频流，并进行D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号输出给扬声器924，以使音频被输出。

在具有上述结构的移动电话机920中，图像处理单元927具有按照上述实施例的图像编码设备10(图1)的功能和图像解码设备300(图16)的功能。因而，移动电话机920能够抑制量化矩阵的编码量的增大。

另外，尽管已给出了移动电话机920的说明，不过，和移动电话机920类似，本技术适用于的图像编码设备和图像解码设备可用于具有和移动电话机920类似的成像功能和通信功能的任何设备，比如PDA(个人数字助手)、智能电话机、UMPC(超级移动个人计算机)、上网本和笔记本个人计算机。

<9.第九实施例>

[记录/再现设备]

图37图解说明上述实施例适用于的记录/再现设备的示意结构的例子。记录/再现设备940对接收的广播节目的音频数据和视频数据编码，并把编码的音频数据和视频数据记录在记录介质上。另外，记录/再现设备940还可对例如从另一个设备获得的音频数据和视频数据编码，并把编码的音频数据和视频数据记录在记录介质上。另外，记录/再现设备940按照用户发出的指令，利用监视器和扬声器再现记录在记录介质上的数据。这种情况下，记录/再现设备940解码音频数据和视频数据。

记录/再现设备940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、光盘驱动器945、选择器946、解码器947、OSD(屏上显示器)948、控制单元949和用户接口950。

调谐器941从通过天线(未例示)接收的广播信号中提取所需频道的信号，并解调提取的信号。随后，调谐器941把通过解调获得的编码比特流输出给选择器946。换句话说，调谐器941充当记录/再现设备940中的传输单元。

外部接口942是连接记录/再现设备940和外部装置或网络的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪存接口等。例如，通过外部接口942接收的视频数据和音频数据被输入编码器943。换句话说，外部接口942充当记录/再现设备940中的传输单元。

如果从外部接口942输入的视频数据和音频数据未被编码，那么编码器943对所述视频数据和音频数据编码。随后，编码器943把编码比特流输出给选择器946。

HDD 944把包括压缩的内容数据，比如视频和音频的编码比特流、各种程序和其它数据记录在内部硬盘上。此外，当再现视频和音频时，HDD 944从硬盘上读取上述数据。

光盘驱动器945把数据记录在放入其中的记录介质上，和从放入其中的记录介质读取数据。放入光盘驱动器945中的记录介质可以是例如DVD光盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW等)，或者蓝光(注册商标)光盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并把选择的编码比特流输出给HDD 944或光盘驱动器945。当再现视频和音频时，选择器946把从HDD 944或光盘驱动器945输入的编码比特流输出给解码器947。

解码器947解码编码比特流，从而生成视频数据和音频数据。随后，解码器947把生成的视频数据输出给OSD 948。另外，解码器904还把生成的音频数据输出给外部扬声器。

OSD 948再现从解码器947输入的视频数据，并显示视频。另外，OSD 948还可把诸如菜单、按钮或光标之类的GUI图像叠加在显示的视频上。

控制单元949包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序、程序数据等。当记录/再现设备940被启动时，CPU读取并执行保存在存储器中的程序。CPU执行程序，从而按照从用户接口950输入的操作信号，控制记录/再现设备940的操作。

用户接口950连接到控制器949。用户接口950包括例如允许用户操作记录/再现设备940的按钮和开关，遥控信号的接收器等等。用户接口950通过上述组件检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元949。

在具有上述结构的记录/再现设备940中，编码器943具有按照上述实施例的图像编码设备10(图1)的功能。解码器947具有按照上述实施例的图像解码设备300(图16)的功能。因而，记录/再现设备940能够抑制量化矩阵的编码量的增大。

<10.第十实施例>

[成像设备]

图38图解说明上述实施例适用于的成像设备的示意结构的例子。成像设备960拍摄被摄物体的图像，从而生成图像，对图像数据编码，并把编码的图像数据记录在记录介质上。

成像设备960包括光学部件961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。

光学部件961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972用于互连图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970。

光学部件961包括聚焦透镜、光圈等。光学部件961在成像单元962的像面上形成被摄物体的光学图像。成像单元962包括诸如CCD或CMOS之类的图像传感器，并通过进行光电转换，把在像面上形成的光学图像转换成作为电信号的图像信号。随后，成像单元962把图像信号输出给信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号进行各种相机信号处理操作，比如拐点校正、γ校正和颜色校正。信号处理单元963把经过相机信号处理操作的图像数据输出给图像处理单元964。

图像处理单元964编码从信号处理单元963输入的图像数据，从而生成编码数据。图像处理单元964把生成的编码数据输出给外部接口966或介质驱动器968。另外，图像处理单元964解码从外部接口966或介质驱动器968输入的编码数据，从而生成图像数据。随后，图像处理单元964把生成的图像数据输出给显示单元965。另外，图像处理单元964还可把从信号处理单元963输入的图像数据输出给显示单元965，使图像被显示。另外，图像处理单元964还可从OSD 969获得的显示用数据叠加在输出给显示单元965的图像上。

OSD 969生成诸如菜单、按钮或光标之类的GUI图像，并把生成的图像输出给图像处理单元964。

外部接口966由例如USB输入/输出端口构成。例如，当打印图像时，外部接口966连接成像设备960和打印机。此外，驱动器被酌情连接到外部接口966。可拆卸介质，比如磁盘或光盘被放入驱动器中，从可拆卸介质读取的程序可被安装到成像设备960中。另外，外部接口966也可由连接到网络，比如LAN和因特网的网络接口构成。换句话说，外部接口966充当成像设备960中的传输单元。

放入介质驱动器968中的记录介质可以是任何可读/可写的可拆卸介质，比如磁盘、磁光盘、光盘或半导体存储器。另一方面，记录介质可被固定地安装在介质驱动器968上，可构成内置硬盘驱动器或不可移植的存储部分，比如或SSD(固态驱动器)。

控制单元970包括诸如CPU之类的处理器，和诸如RAM和ROM之类的存储器。存储器保存由CPU执行的程序，程序数据等。当成像设备960被启动时，CPU读取并执行保存在存储器中的程序。CPU执行程序，以按照从用户接口971输入的操作信号，控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971包括允许用户操作成像设备960的按钮、开关等。用户接口971通过上述组件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元970。

在具有上述结构的成像设备960中，图像处理单元964具有按照上述实施例的图像编码设备10(图1)的功能和图像解码设备300(图16)的功能。因而，成像设备960能够抑制量化矩阵的编码量的增大。

当然，本技术适用于的图像编码设备和图像解码设备也可用于除上述设备以外的设备和系统。

<11.可扩展编码的例证应用>

[第一系统]

下面说明已被可扩展编码(分层编码)的可扩展编码数据的使用的具体例子。和图39中图解所示的例子中一样，可扩展编码用于待传送数据的选择。

在图39中图解所示的数据传输系统1000中，分发服务器1002读取保存在可扩展编码数据存储单元1001中的可扩展编码数据，并经网络1003，把可扩展编码数据分发给终端设备，比如个人计算机1004、AV设备1005、平板设备1006和移动电话机1007。

这种情况下，分发服务器1002按照终端设备的性能、通信环境等，选择具有期望质量的编码数据，并传送选择的编码数据。即使分发服务器1002传送质量高于必需质量的数据，终端设备也并不总是获得高质量图像，并且可能导致延迟或上溢。另外，这种数据会不必要地占据更多的通信带宽，或者会不必要地增大终端设备的负荷。相反，即使分发服务器1002传送质量低于必需质量的数据，终端设备也不一定获得具有足够质量的图像。从而，分发服务器1002酌情读取保存在可扩展编码数据单元1001中的可扩展编码数据，作为具有适合于终端设备的性能、通信环境等的质量的编码数据，并传送读取的编码数据。

例如，假定可扩展编码数据存储单元1001保存已被可扩展编码的可扩展编码数据(BL+EL)1011。可扩展编码数据(BL+EL)1011是包括基本层和增强层的编码数据，并且是被解码从而获得基本层的图像和增强层的图像的数据。

分发服务器1002按照传送数据的终端设备的性能、通信环境等，选择适当层，并读取该层的数据。例如，分发服务器1002从可扩展编码数据存储单元1001，读取高质量可扩展编码数据(BL+EL)1011，并把读取的可扩展编码数据(BL+EL)1011原样传送给具有高处理能力的设备，即，个人计算机1004或平板设备1006。相反，例如，分发服务器1002从可扩展编码数据(BL+EL)1011中，提取基本层的数据，把提取的基本层的数据传送给具有低处理能力的设备，即，AV设备1005和移动电话机1007，作为内容与可扩展编码数据(BL+EL)1011相同，但是质量比可扩展编码数据(BL+EL)低的可扩展编码数据(BL)1012。

按照这种方式的可扩展编码数据的使用使数据量的调整更容易，从而抑制延迟或上溢的发生，并且抑制终端设备或通信介质的负荷的不必要增大。此外，可扩展编码数据(BL+EL)1011具有各层之间的减小的冗余，于是与具有各层的单独编码数据的数据相比，数据量较小。因而，能够更有效地利用可扩展编码数据存储单元1001的存储区。

注意，由于诸如个人计算机1004、AV设备1005、平板设备1006和移动电话机1007之类的各种设备可用作终端设备，因此终端设备的硬件性能因设备而异。另外，由于终端设备可执行各种应用程序，因此应用程序的软件能力可变化。此外，充当通信介质的网络1003可被实现成任何通信线路网，所述任何通信线路网可以是有线和/或无线通信线路网，比如因特网和LAN(局域网)，并且具有各种数据传输能力。这样的性能和能力可随其它通信等而变化。

因而，在开始数据的传输之前，分发服务器1002可以与将向其传送数据的终端设备通信，从而可获得关于该终端设备的能力的信息，比如所述终端设备的硬件性能或者所述终端设备执行的应用程序(软件)的性能，以及关于通信环境的信息，比如网络1003的可用带宽。另外，分发服务器1002可根据获得的信息，选择适当的层。

注意，终端设备可以提取层。例如，个人计算机1004可解码传送的可扩展编码数据(BL+EL)1011，并显示基本层的图像或增强层的图像。另一方面，例如，个人计算机1004可从传送的可扩展编码数据(BL+EL)1011中，提取基本层的可扩展编码数据(BL)1012，保存提取的可扩展编码数据(BL)1012，把提取的可扩展编码数据(BL)1012传送给另一个设备，或者解码提取的可扩展编码数据(BL)1012，以显示基本层的图像。

当然，可扩展编码数据存储单元1001的数目，分发服务器1002的数目，网络1003的数目和终端设备的数目可以是任意数目。另外，尽管说明了其中分发服务器1002向终端设备传送数据的例子，不过可以得到其它使用例子。数据传输系统1000可以用在当向终端设备传送已被可扩展编码的编码数据时，控制终端设备的能力、通信环境等，选择适当层的任何系统中。

另外，本技术还可按照与应用于上面参考图31-图33说明的分层编码和分层解码相似的方式，应用于如上所述的图39中图解所示的数据传输系统1000，从而获得与上面参考图31-图33说明的优点类似的优点。

[第二系统]

如图40中图解所示的例子中一样，可扩展编码也用于经多种通信介质的传输。

在图40中图解所示的数据传输系统1100中，广播站1101通过地面广播1111，传送基本层的可扩展编码数据(BL)1121。广播站1101还通过由通信网络形成的预期网络1112，传送(例如，分包和传送)增强层的可扩展编码数据(EL)1122，所述通信网络可以是有线和/或无线通信网络。

终端设备1102具有接收来自广播站1101的地面广播1111的功能，从而接收通过地面广播1111传送的基本层的可扩展编码数据(BL)1121。终端设备1102还具有通过网络1112进行通信的通信功能，从而接收通过网络1112传送的增强层的可扩展编码数据(EL)1122。

终端设备1102按照例如用户指令等，解码通过地面广播1111获得的基本层的可扩展编码数据(BL)1121，从而获得基本层的图像，保存可扩展编码数据(BL)1121，或者把可扩展编码数据(BL)1121传送给另一个设备。

此外，终端设备1102按照例如用户指令等，组合通过地面广播1111获得的基本层的可扩展编码数据(BL)1121和通过网络1112获得的增强层的可扩展编码数据(EL)1122，从而获得可扩展编码数据(BL+EL)，并解码可扩展编码数据(BL+EL)，以获得增强层的图像，保存可扩展编码数据(BL+EL)，或者把可扩展编码数据(BL+EL)传送给另一个设备。

如上所述，可以经因层而异的通信介质，传送可扩展编码数据。从而，可以分散负荷，并且能够抑制延迟或上溢的发生。

此外，可按照状况，为每一层选择用于传输的通信介质。例如，可以通过具有较大带宽的通信介质传送数据量较大的基本层的可扩展编码数据(BL)1121，可通过带宽较窄的通信介质传送数据量较小的增强层的可扩展编码数据(EL)1122。另一方面，例如，可按照网络的可用带宽，在网络1112和地面广播1111之间，切换经其传送增强层的可扩展编码数据(EL)1122的通信介质。当然，上述类似地适用于任意层的数据。

按照上述方式的控制能够进一步抑制数据传输负荷的增大。

当然，层数是任意的，用于传输的通信介质的数目也是任意的。另外，待被分发数据的终端设备1102的数目也是任意的。另外，尽管举例说明了从广播站1101广播的情况，不过可以得到其它使用例子。数据传输系统1100可应用于以层为单位，把经过可扩展编码的编码数据分成多个片段，并通过多条线路传送数据段的任何系统。

另外，本技术也可按照与应用于上面参考图31-图33说明的分层编码和分层解码相似的方式，应用于如上所述的图40中图解所示的数据传输系统1100，从而获得与上面参考图31-图33说明的优点类似的优点。

[第三系统]

如图41中图解所示的例子中一样，可扩展编码也用于编码数据的存储。

在图41中图解所示的成像系统1200中，成像设备1201对通过拍摄被摄物体1211的图像而获得的图像数据进行可扩展编码，并把作为结果的数据作为可扩展编码数据(BL+EL)1221，提供给可扩展编码数据存储设备1202。

可扩展编码数据存储设备1202按与状况对应的质量，保存从成像设备1201供给的可扩展编码数据(BL+EL)1221。例如，在正常状态下，可扩展编码数据存储设备1202从可扩展编码数据(BL+EL)1221中，提取基本层的数据，并保存提取的基本层的数据，作为质量低并且数据量小的基本层的可扩展编码数据(BL)1222。相反，例如，在特殊状态下，可扩展编码数据存储设备1202原样保存质量高并且数据量大的可扩展编码数据(BL+EL)1221。

因而，可扩展编码数据存储设备1202可以只有当必需时，才高质量地保存图像。这能够抑制数据量的增大，同时抑制由质量的降低引起的图像价值的降低，并且能够提高存储区的使用效率。

例如，假定成像设备1201是监控摄像头。如果待监控的对象(例如入侵者)未出现在拍摄的图像中(正常状态)，那么拍摄的图像可能没有重要的内容。从而，优先考虑数据量的降低，从而低质量地保存图像的图像数据(可扩展编码数据)。相反，如果待监控的对象作为对象1211，出现在拍摄的图像中(特殊状态)，那么拍摄的图像可能具有重要的内容。从而，优先考虑图像质量，从而高质量地保存图像的图像数据(可扩展编码数据)。

注意，通过分析图像，可扩展编码数据存储设备1202可以判定正常状态或特殊状态。另一方面，成像设备1201可判定正常状态或特殊状态，并把判定结果传送给可扩展编码数据存储设备1202。

注意，正常状态或特殊状态的判定可以基于任意标准，所述判定所基于的图像可具有任何内容。当然，除图像的内容之外的条件可以用作判定标准。可以按照例如记录的音频的大小、波形等，改变模式，或者可以每隔预定时间，改变模式。另一方面，可以按照诸如用户指令之类的外部指令，改变模式。

另外，尽管说明了在两种状态，即，正常状态和特殊状态之间变化的例子，不过，状态的数目是任意的，可在不止两种状态，比如在正常状态、不太特殊的状态、特殊状态和更特殊的状态之间进行状态改变。注意，待改变的状态的上限数取决于可扩展编码数据的层数。

此外，成像设备1201可按照状态，确定可扩展编码的层数。例如，在正常状态下，成像设备1201可生成质量低并且数据量小的基本层的可扩展编码数据(BL)1222，并把生成的可扩展编码数据(BL)1222提供给可扩展编码数据存储设备1202。此外，例如，在特殊状态下，成像设备1201可生成质量高并且数据量大的基本层的可扩展编码数据(BL+EL)1221，并把生成的可扩展编码数据(BL+EL)1221提供给可扩展编码数据存储设备1202。

尽管举例说明了监控摄像头，不过，成像系统1200可以用在任何应用中，所述应用并不局限于监控摄像头。

另外，本技术也可按照与应用于上面参考图31-图33说明的分层编码和分层解码相似的方式，应用于如上所述的图41中图解所示的成像系统1200，从而获得与上面参考图31-图33说明的优点类似的优点。

注意，本技术也适用于其中以片段为单位，从预先准备的具有不同分辨率的多个编码数据中，选择并使用一项适当的编码数据的HTTP流式传输，比如MPEG DASH。换句话说，也可在多个编码数据之间共享关于编码和解码的信息。

注意，这里说明了其中从编码器侧向编码器侧传送量化矩阵和与量化矩阵相关的参数的例子。传送量化矩阵和与量化矩阵相关的参数的技术可以是以与编码比特流关联的独立数据的形式，传送或记录量化矩阵参数，而不把量化矩阵参数复用到编码比特流中的技术。这里使用的用语“关联”意味在图像被解码时，允许包含在比特流中的图像(它可以是图像的一部分，比如切片或块)与对应于该图像的信息相联系。即，可通过与用于图像(或者比特流)的传输路径不同的传输路径传送所述信息。此外，信息可被记录在与用于图像(或者比特流)的记录介质不同的记录介质上(或者记录在相同记录介质的不同记录区域中)。此外，可按任意单位，比如多帧、一帧、或一帧的一部分，使信息和图像(或者比特流)彼此相关。

尽管参考附图，详细说明了本公开的优选实施例，不过，本公开的技术范围并不局限于这些例子。显然本公开的技术领域的任何普通技术人员可在附加权利要求中记载的技术思想的范围内，实现各种变化或修改，这些变化或修改也落在本公开的技术范围之内。

注意，本技术也可提供以下结构。

(1)一种图像处理设备，包括：

接收单元，所述接收单元被配置成接收编码数据和量化矩阵，所述编码数据是通过对图像进行编码处理获得的，所述量化矩阵局限于小于或等于作为允许传输的最大大小的传输大小的大小；

解码单元，所述解码单元被配置成对接收单元接收的编码数据进行解码处理，从而生成量化数据；

向上转换单元，所述向上转换单元被配置成把接收单元接收的量化矩阵从所述传输大小向上转换成与块大小相同的大小，所述块大小是进行逆量化的处理单位；和

逆量化单元，所述逆量化单元被配置成利用由向上转换单元向上转换的量化矩阵，逆量化由解码单元生成的量化数据。

(2)按照(1)和(3)-(19)任意之一所述的图像处理设备，其中

接收单元接收的量化矩阵把与默认量化矩阵大小相同的大小作为传输大小。

(3)按照(1)、(2)和(4)-(19)任意之一所述的图像处理设备，其中

接收单元接收的量化矩阵把与默认量化矩阵的最大大小相同的大小作为传输大小。

(4)按照(1)-(3)和(5)-(19)任意之一所述的图像处理设备，其中

所述传输大小为8×8，和

接收单元接收的量化矩阵具有8×8大小。

(5)按照(1)-(4)和(6)-(19)任意之一所述的图像处理设备，其中

向上转换单元通过对接收单元接收的量化矩阵中的矩阵元素，进行插值处理，来向上转换局限于小于或等于传输大小的大小的量化矩阵。

(6)按照(1)-(5)和(7)-(19)任意之一所述的图像处理设备，其中

向上转换单元通过对接收单元接收的量化矩阵中的矩阵元素，进行最近邻插值处理，来向上转换局限于小于或等于传输大小的大小的量化矩阵。

(7)按照(1)-(6)和(8)-(19)任意之一所述的图像处理设备，其中

所述传输大小为8×8，和

向上转换单元通过对8×8大小的量化矩阵中的矩阵元素，进行最近邻插值处理，把8×8大小的量化矩阵向上转换成16×16大小的量化矩阵。

(8)按照(1)-(7)和(9)-(19)任意之一所述的图像处理设备，其中

向上转换单元通过对8×8大小的量化矩阵中的矩阵元素，进行最近邻插值处理，把8×8大小的量化矩阵向上转换成32×32大小的量化矩阵。

(9)按照(1)-(8)和(10)-(19)任意之一所述的图像处理设备，其中

向上转换单元通过对正方量化矩阵中的的矩阵元素，进行插值处理，把局限于小于或等于传输大小的大小的正方量化矩阵向上转换成非正方量化矩阵。

(10)按照(1)-(9)和(11)-(19)任意之一所述的图像处理设备，其中

所述传输大小为8×8，和

向上转换单元通过对8×8大小的量化矩阵中的矩阵元素进行插值处理，把8×8大小的量化矩阵向上转换成8×32大小的量化矩阵或32×8大小的量化矩阵。

(11)按照(1)-(10)和(12)-(19)任意之一所述的图像处理设备，其中

所述传输大小为8×8，和

向上转换单元通过对4×4大小的量化矩阵中的矩阵元素进行插值处理，把4×4大小的量化矩阵向上转换成4×16大小的量化矩阵或16×4大小的量化矩阵。

(12)按照(1)-(11)和(13)-(19)任意之一所述的图像处理设备，其中

所述传输大小为8×8，和

向上转换单元通过对8×8大小的量化矩阵中的矩阵元素进行插值处理，把8×8大小的量化矩阵向上转换成2×32大小的量化矩阵、32×2大小的量化矩阵、1×16大小的量化矩阵、或者16×1大小的量化矩阵。

(13)按照(1)-(12)和(14)-(19)任意之一所述的图像处理设备，其中

作为进行解码处理的处理单位的编码单位，和作为进行变换处理的处理单位的变换单位具有分层结构，

解码单元利用具有分层结构的单元，对编码数据进行解码处理，和

向上转换单元把接收单元接收的量化矩阵从所述传输大小，向上转换成作为进行逆量化的处理单位的变换单位的大小。

(14)按照(1)-(13)和(15)-(19)任意之一所述的图像处理设备，其中

量化矩阵被设定成具有按照作为进行逆量化的处理单位的块大小而不同的矩阵元素的量化矩阵，

接收单元接收具有按照作为进行逆量化的处理单位的块大小而不同的矩阵元素的量化矩阵，和

向上转换单元利用具有按照作为进行逆量化的处理单位的块大小而不同的矩阵元素的量化矩阵，向上转换接收单元接收的量化矩阵。

(15)按照(1)-(14)和(16)-(19)任意之一所述的图像处理设备，其中

所述传输大小为8×8，和

向上转换单元在作为进行逆量化的处理单位的块大小为16×16的情况下向上转换第一量化矩阵，而在作为进行逆量化的处理单位的块大小为32×32的情况下向上转换第二量化矩阵，第二量化矩阵具有不同于第一量化矩阵的矩阵元素。

(16)按照(1)-(15)和(17)-(19)任意之一所述的图像处理设备，其中

接收单元接收按照向上转换的大小而不同的量化矩阵，和

向上转换单元利用与向上转换的大小对应的量化矩阵，进行向上转换。

(17)按照(1)-(16)、(18)和(19)任意之一所述的图像处理设备，其中

接收单元接收用于向上转换到第一大小的第一量化矩阵，和用于向上转换到比第一大小大的第二大小的第二量化矩阵，和

在变换单位等于第一大小的情况下，向上转换单元向上转换接收单元接收的第一量化矩阵。

(18)按照(17)所述的图像处理设备，其中

在变换单位等于第二大小的情况下，向上转换单元向上转换接收单元接收的第二量化矩阵。

(19)按照(17)或(18)所述的图像处理设备，其中

第一大小为16×16，和

第二大小为32×32。

(20)一种图像处理设备的图像处理方法，包括：

接收编码数据和量化矩阵，所述编码数据是通过对图像进行编码处理获得的，所述量化矩阵局限于小于或等于作为允许传输的最大大小的传输大小的大小；

对接收的编码数据进行解码处理，从而生成量化数据；

把接收的量化矩阵从所述传输大小向上转换成与块大小相同的大小，所述块大小是进行逆量化的处理单位；和

利用向上转换的量化矩阵，逆量化生成的量化数据，

其中所述图像处理方法由所述图像处理设备进行。

(21)一种图像处理设备，包括：

设定单元，所述设定单元被配置成设定用于从作为允许传输的最大大小的传输大小到与块大小相同的大小的向上转换的量化矩阵，所述块大小是逆量化通过量化图像而获得的量化数据的处理单位；

量化单元，所述量化单元被配置成利用由设定单元设定的量化矩阵，量化图像，从而生成量化数据；

编码单元，所述编码单元被配置成对量化单元生成的量化数据进行编码处理，从而生成编码数据；和

传输单元，所述传输单元被配置成传送由编码单元生成的编码数据，和由设定单元设定的量化矩阵，所述量化矩阵局限于小于或等于传输大小的大小。

(22)按照(21)和(23)-(25)任意之一所述的图像处理设备，其中

所述传输大小为8×8，和

设定单元设定的量化矩阵为8×8。

(23)按照(21)、(22)、(24)和(25)任意之一所述的图像处理设备，其中

量化矩阵是用于从8×8大小到16×16大小或32×32大小的向上转换的量化矩阵。

(24)按照(21)-(23)和(25)任意之一所述的图像处理设备，其中

量化矩阵是用于向上转换到32×32大小的量化矩阵。

(25)按照(21)-(24)任意之一所述的图像处理设备，其中

作为进行编码处理的处理单位的编码单位，和作为进行变换处理的处理单位的变换单位具有分层结构，

编码单元利用具有分层结构的单元，对量化数据进行编码处理。

(26)一种图像处理设备的图像处理方法，包括：

设定用于从作为允许传输的最大大小的传输大小到与块大小相同的大小的向上转换的量化矩阵，所述块大小是逆量化通过量化图像而获得的量化数据的处理单位；

利用设定的量化矩阵，量化图像，从而生成量化数据；

对生成的量化数据进行编码处理，从而生成编码数据；和

传送生成的编码数据和设定的量化矩阵，所述量化矩阵局限于小于或等于传输大小的大小，

其中所述图像处理方法由所述图像处理设备进行。

附图标记列表

10 图像编码设备，14 正交变换/量化部分，16 无损编码部分，150 矩阵处理部分，152 预测部分，154 差分计算部分，161 预测部分，162 差分矩阵生成部分，163 差分矩阵大小变换部分，164 熵编码部分，165 解码部分，166 输出部分，171 复制部分，172 预测矩阵生成部分，181 预测矩阵大小变换部分，182 计算部分，183 量化部分，191 重复判定部分，192 DPCM部分 193 exp-G部分，201 量化矩阵复原部分，202 存储部分，300 图像解码设备，313 逆量化/逆正交变换部分，410 矩阵生成部分，531 参数分析部分，532 预测部分，533 熵解码部分，534 量化矩阵复原部分，535 输出部分，536 存储部分，541 复制部分，542 预测矩阵生成部分，551 exp-G部分，552 逆DPCM部分，553 逆重复判定部分，561预测矩阵大小变换部分，562 差分矩阵大小变换部分，563 逆量化部分，564 计算部分，701量化矩阵大小变换部分，721 量化矩阵大小变换部分。

Claims (7)

1.一种图像处理设备，包括：

解码单元，解码比特流来生成量化数据，所述比特流包括将32×32量化矩阵的元素间除而得的8×8量化矩阵；

设定单元，在以32×32变换单位对针对由所述解码单元生成的量化数据进行逆量化而得的变换系数数据进行逆正交变换的情况下，进行使用所述8×8量化矩阵的各元素复制邻近的15个元素的最近邻插值处理，从而设定所述32×32量化矩阵；和

逆量化单元，使用由所述设定单元设定的所述32×32量化矩阵，逆量化由所述解码单元生成的量化数据。

2.按照权利要求1所述的图像处理设备，其中，将所述32×32量化矩阵的元素间除而得的所述8×8量化矩阵包含于所述比特流的图像参数集。

3.按照权利要求2所述的图像处理设备，其中，还包括逆正交变换单元，所述逆正交变换单元以32×32变换单位对针对由所述解码单元生成的量化数据进行逆量化而得的变换系数数据进行逆正交变换。

4.一种图像处理方法，包括：

解码比特流来生成量化数据，所述比特流包括将32×32量化矩阵的元素间除而得的8×8量化矩阵；

在以32×32变换单位对针对生成的量化数据进行逆量化而得的变换系数数据进行逆正交变换的情况下，进行使用所述8×8量化矩阵的各元素复制邻近的15个元素的最近邻插值处理，从而设定所述32×32量化矩阵；和

使用设定的所述32×32量化矩阵，逆量化生成的量化数据。

5.按照权利要求4所述的图像处理方法，其中，将所述32×32量化矩阵的元素间除而得的所述8×8量化矩阵包含于所述比特流的图像参数集。

6.按照权利要求5所述的图像处理方法，其中，以32×32变换单位对针对生成的量化数据进行逆量化而得的变换系数数据进行逆正交变换。

7.一种记录有程序的计算机可读记录介质，该程序使计算机作为以下单元而发挥功能：

解码单元，解码比特流来生成量化数据，所述比特流包括将32×32量化矩阵的元素间除而得的8×8量化矩阵；

设定单元，在以32×32变换单位对针对由所述解码单元生成的量化数据进行逆量化而得的变换系数数据进行逆正交变换的情况下，进行使用所述8×8量化矩阵的各元素复制邻近的15个元素的最近邻插值处理，从而设定所述32×32量化矩阵；和

逆量化单元，使用由所述设定单元设定的所述32×32量化矩阵，逆量化由所述解码单元生成的量化数据。