CN105282552A - 图像处理装置和图像处理方法 - Google Patents

Abstract

提供了一种图像处理装置和图像处理方法，该图像处理装置配置有：设定部，其通过复制8×8量化矩阵中彼此相邻的第一元素和第二元素之一作为在第一元素和第二元素之间的元素，来设定与32×32变换单元相对应的32×32量化矩阵；逆量化部，其使用由设定部设定的32×32量化矩阵对量化数据进行逆量化。

Description

图像处理装置和图像处理方法

本申请是申请日为2011年10月14日、申请号为“201180058039.3”、发明名称为“图像处理装置和图像处理方法”的发明专利申请的分案申请。

技术领域

本公开内容涉及图像处理装置和图像处理方法。

背景技术

作为用于图像编码方案的标准规范之一的H.264/AVC，可以利用针对正交变换系数分量的不同量化步长，以等于或高于高规格(HighProfile)的规格对图像数据进行量化。可以基于量化矩阵(也称为缩放比例列表)和参考步长值来配置针对每个正交变换系数分量的量化步长。量化矩阵被定义为具有与正交变换单元大致相同的尺寸。

图19示出了针对在H.264/AVC中预定义的四种类型量化矩阵的预设值(默认值)。例如，在帧内预测模式中，如果变换单元尺寸是4×4，则矩阵SL01是针对量化矩阵的默认矩阵。在帧间预测模式中，如果变换单元尺寸是4×4，则矩阵SL02是针对量化矩阵的默认矩阵。在帧内预测模式中，如果变换单元尺寸是8×8，则矩阵SL03是针对量化矩阵的默认矩阵。在帧间预测模式中，如果变换单元尺寸是8×8，则矩阵SL04是针对量化矩阵的默认矩阵。用户可以使用序列参数集或图片参数集来指定不同于图19中所示的默认值的特定量化矩阵。如果不使用量化矩阵，则针对用于量化的量化步长的全部分量使用相等的值。

高效视频编码(HEVC)是作为H.264/AVC的继任者的下一代图像编码方案并且其标准化被推进。HEVC结合有对应于常规宏块的编码单元(CU)的理念(参见下面的非专利文献1)。序列参数集使用作为最大编码单元(LCU)和最小编码单元(SCU)的二的幂值的集合来指定编码单元尺寸的范围。split_flag的使用指定在由LCU和SCU所指定的范围内的特定编码单元尺寸。

根据HEVC，一个编码单元可以被划分成一个或更多个正交变换单元，即一个或更多个变换单元(TU)。变换单元尺寸可以被设置为4×4、8×8、16×16以及32×32中的任一种。相应地，可以根据这些变换单元尺寸候选中的每个来指定量化矩阵。

如在已发布的被称为联合模型(JM)的参考软件(http://iphome.hhi.de/suehring/tml/index.htm)中所限定的，H.264/AVC允许在一个图片内针对一个变换单元尺寸仅分配一个量化矩阵。通过对比，下面示出的非专利文献2提出在一个图片内针对一个变换单元尺寸分配多个量化矩阵候选，并且从率失真(RD)优化的角度来看，适应性地选择用于每个块的量化矩阵。

引文列表

非专利文献

非专利文献1:JCTVC-B205,"TestModelunderConsideration",JointCollaborativeTeamonVideoCoding(JCT-VC)ofITU-TSG16WP3andISO/IECJTC1/SC29/WG112ndMeeting:Geneva,CH,21-28July,2010

非专利文献2:VCEG-AD06,"AdaptiveQuantizationMatrixSelectiononKTASoftware",ITU-TelecommunicationsStandardizationSectorSTUDYGROUP16Question6VideoCodingExpertsGroup(VCEG)30thMeeting:Hangzhou,China,23-24October,2006

发明内容

技术问题

然而，增加可选择的变换单元尺寸类型也会增加可用量化矩阵的数目。增加量化矩阵的编码量可能降低编码效率。如果针对每个变换单元尺寸可以分配的量化矩阵的数目从一个改变到更多个，则编码效率会更显著地降低。

根据本公开内容的技术的目的在于：提供能够对由于量化矩阵的数目增加而导致的编码量的增加进行抑制的图像处理装置和图像处理方法。

问题的解决方案

根据本公开内容的实施方式，提供了一种图像处理装置，该图像处理装置包括：选择部，其被配置成从具有不同尺寸的多个变换单元中选择用于待解码的图像数据的逆正交变换的变换单元；生成部，其被配置成根据与针对第一尺寸的变换单元相对应的第一量化矩阵来生成与针对第二尺寸的变换单元相对应的第二量化矩阵；以及逆量化部，其被配置成，在选择部选择了针对第二尺寸的变换单元时，使用由生成部生成的第二量化矩阵来对用于图像数据的变换系数数据进行逆量化。

图像处理装置通常可以被实现为用于对图像进行解码的图像解码装置。

另外，生成部可以使用矩阵信息和差信息来生成第二量化矩阵，该矩阵信息指定第一量化矩阵，该差信息表示在根据第一量化矩阵预测的具有第二尺寸的预测矩阵与该第二量化矩阵之间的差。

另外，生成部可以从序列参数集或图片参数集获取矩阵信息和差信息。

另外，当序列参数集和图片参数集之一提供表示不存在预测矩阵和第二量化矩阵之间的差的第一标志时，生成部可以将预测矩阵设置为第二量化矩阵。

另外，第一尺寸可以表示用于变换单元的尺寸中的最小尺寸。

另外，第二尺寸可以大于第一尺寸。生成部可以通过复制第一量化矩阵中彼此相邻的第一元素和第二元素之一作为在该第一元素和该第二元素之间的元素，来计算预测矩阵。

另外，第二尺寸可以大于第一尺寸。生成部可以通过对第一量化矩阵中彼此相邻的第一元素和第二元素之间的元素进行线性内插来计算预测矩阵。

另外，第二尺寸可以在一侧上是第一尺寸的两倍。

另外，第二尺寸可以小于第一尺寸。生成部可以通过对第一量化矩阵的元素进行疏化来计算预测矩阵。

另外，第二尺寸可以小于第一尺寸。生成部可以通过对第一量化矩阵中彼此相邻的多个元素取平均来计算预测矩阵。

另外，当序列参数集和图片参数集之一提供用以指定将用户定义的矩阵用作第二量化矩阵的第二标志时，生成部可以根据第一量化矩阵来生成第二量化矩阵。

另外，根据本公开内容的另一实施方式，提供了一种图像处理方法，该图像处理方法包括：从具有不同尺寸的多个变换单元中选择用于待解码的图像数据的逆正交变换的变换单元；根据与针对第一尺寸的变换单元相对应的第一量化矩阵来生成与针对第二尺寸的变换单元相对应的第二量化矩阵；以及当选择了针对第二尺寸的变换单元时，使用根据第一量化矩阵生成的第二量化矩阵来对用于图像数据的变换系数数据进行逆量化。

另外，根据本公开内容的另一实施方式，提供了一种图像处理装置，该图像处理装置包括：选择部，其被配置成从具有不同尺寸的多个变换单元中选择用于待编码的图像数据的正交变换的变换单元；量化部，其被配置成通过使用对应于所选择的变换单元的量化矩阵对变换系数数据进行量化，该变换系数数据是通过基于由选择单元选择的变换单元对图像数据进行正交变换而生成的；以及编码部，其被配置成对下述信息进行编码：该信息用于根据与针对第一尺寸的变换单元相对应的第一量化矩阵来生成与针对第二尺寸的变换单元相对应的第二量化矩阵。

图像处理装置通常可以被实现为用于对图像进行编码的图像编码装置。

另外，根据本公开内容的另一实施方式，提供了一种图像处理方法，该图像处理方法包括：从具有不同尺寸的多个变换单元中选择用于待编码的图像数据的正交变换的变换单元；通过使用对应于所选择的变换单元的量化矩阵对变换系数数据进行量化，该变换系数数据是通过基于所选择的变换单元对图像数据进行正交变换而生成的；以及对用于对下述信息进行编码：该信息用于根据与针对第一尺寸的变换单元相对应的第一量化矩阵来生成与针对第二尺寸的变换单元相对应的第二量化矩阵。

根据一个实施例，一种图像处理装置包括：设定部，其通过复制8×8量化矩阵中彼此相邻的第一元素和第二元素之一作为在第一元素和第二元素之间的元素，来设定与32×32变换单元相对应的32×32量化矩阵；逆量化部，其使用由设定部设定的32×32量化矩阵对量化数据进行逆量化。

根据另一个实施例，一种图像处理方法包括：通过复制8×8量化矩阵中彼此相邻的第一元素和第二元素之一作为在第一元素和第二元素之间的元素，来设定与32×32变换单元相对应的32×32量化矩阵；使用设定的32×32量化矩阵对量化数据进行逆量化。

本发明的有利效果

如上所述，根据本公开内容的图像处理装置和图像处理方法可以对由于量化矩阵的数目增加而导致的编码量的增加进行抑制。

附图说明

[图1]图1是示出根据实施方式的图像编码装置的硬件配置的框图。

[图2]图2是示出根据实施方式的正交变换和量化部的详细配置的框图。

[图3]图3是示出根据实施方式的矩阵处理部的更详细的配置的框图。

[图4]图4是示出根据实施方式的被插入到序列参数集中的信息的说明图。

[图5]图5是示出根据实施方式的被插入到图片参数集中的信息的说明图。

[图6A]图6A是示出根据实施方式的编码处理流程的第一示例的流程图的上半部分。

[图6B]图6B是示出根据实施方式的编码处理流程的第一示例的流程图的下半部分。

[图7A]图7A是示出根据实施方式的编码处理流程的第二示例的流程图的上半部分。

[图7B]图7B是示出根据实施方式的编码处理流程的第二示例的流程图的下半部分。

[图8]图8是示出根据实施方式的图像解码装置的配置的框图。

[图9]图9是示出根据实施方式的逆量化和逆正交变换部的详细配置的框图。

[图10]图10是示出根据实施方式的矩阵生成部的更详细的配置的框图。

[图11A]图11A是示出根据实施方式的解码处理流程的第一示例的流程图的上半部分。

[图11B]图11B是示出根据实施方式的解码处理流程的第一示例的流程图的下半部分。

[图12A]图12A是示出根据实施方式的解码处理流程的第二示例的流程图的上半部分。

[图12B]图12B是示出根据实施方式的解码处理流程的第二示例的流程图的下半部分。

[图13A]图13A是示出根据一种修改的编码处理流程的示例的流程图的上半部分。

[图13B]图13B是示出根据一种修改的编码处理流程的示例的流程图的下半部分。

[图14A]图14A是示出根据一种修改的解码处理流程的示例的流程图的上半部分。

[图14B]图14B是示出根据一种修改的解码处理流程的示例的流程图的下半部分。

[图15]图15是示出电视设备的示意性配置的框图。

[图16]图16是示出移动电话的示意性配置的框图。

[图17]图17是示出记录/再现装置的示意性配置的框图。

[图18]图18是示出图像捕获装置的示意性配置的框图。

[图19]图19是示出在H.264/AVC中预定义的量化矩阵默认值的说明图。

具体实施方式

在下文中，将参照附图详细描述本发明的优选实施方式。注意到，在本说明书和附图中，使用相同的附图标记来表示具有基本上相同的功能和结构的元件，并且略去重复说明。

而且，按以下顺序来描述一个或多个实施方式的详细描述。

1.根据实施方式的图像编码装置的配置示例

1-1.总体配置示例

1-2.正交变换和量化部的配置示例

1-3.矩阵处理部的详细配置示例

1-4.待编码的信息的示例

2.根据实施方式的编码处理流程

3.根据实施方式的图像解码装置的配置示例

3-1.总体配置示例

3-2.逆量化和逆正交变换部的配置示例

3-3.矩阵生成部的详细配置示例

4.根据实施方式的解码处理流程

5.修改

6.示例应用

7.总结

<1.根据实施方式的图像编码装置的配置示例>

以下内容描述根据实施方式的图像编码装置的配置示例。

[1-1.图像编码装置]

图1是示出根据实施方式的图像编码装置10的配置的示例的框图。参照图1，图像编码装置10包括A/D(模拟-数字)转换部11、重排序缓冲器12、减法部13、正交变换和量化部14、无损编码部16、累积缓冲器17、比率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24、帧存储器25、选择器26、帧内预测部30、运动估计部40、以及模式选择部50。

A/D转换部11将以模拟格式输入的图像信号转换成数字格式的图像数据，并且将一系列的数字图像数据输出到重排序缓冲器12。

重排序缓冲器12对包括在从A/D转换部11输入的一系列图像数据中的图像进行排序(sort)。在按照根据编码处理的GOP(图像组)结构对图像进行重新排序之后，重排序缓冲器12将已被分类的图像数据输出到减法部13、帧内预测部30以及运动估计部40。

将从重排序缓冲器12输入的图像数据和由后续描述的模式选择部50选择的所预测的图像数据提供给减法部13。减法部13计算预测误差数据并且将所计算的预测误差数据输出到正交变换和量化部14，该预测误差数据是从重排序缓冲器12输入的图像数据和从模式选择部50输入的所预测的图像数据之间的差。

正交变换和量化部14对从减法部13提供的预测误差数据执行正交变换和量化，并且将经量化的变换系数数据(下文称为经量化的数据)输出到无损编码部16和逆量化部21。基于来自比率控制部18的比率控制信号来控制从正交变换和量化部14输出的经量化的数据的比特率。后续将描述正交变换和量化部14的详细配置。

向无损编码部16提供从正交变换和量化部14输入的经量化的数据、用于在解码侧生成量化矩阵的信息、以及关于由模式选择部50所选择的帧内预测或帧间预测的信息。关于帧内预测的信息可以包含表示针对每个块的适当帧内预测模式的预测模式信息。关于帧间预测的信息可以包含例如用于预测针对每个块的运动向量的预测模式信息、差运动向量和参考图像信息。

无损编码部16对经量化的数据执行无损编码以生成编码流。无损编码部16可以提供可变长编码或算术编码作为无损编码。无损编码部16将用于生成量化矩阵(后续将描述)的信息复用到编码流的头部(例如，序列参数集和图片参数集)中。此外，无损编码部16将关于帧内预测或帧间预测的信息复用到编码流的头部中。无损编码部16将所生成的编码流输出到累积缓冲器17。

累积缓冲器17使用存储介质如半导体存储器临时存储从无损编码部16输入的编码流。然后，累积缓冲器17以根据传输线(或来自图像编码装置10的输出线)的频带的比率输出所累积的编码流。

比率控制部18监视累积缓冲器17的空闲空间。然后，比率控制部18根据累积缓冲器17上的空闲空间来生成比率控制信号，并且将所生成的比率控制信号输出到正交变换和量化部14。例如，当累积缓冲器17上不存在大量空闲空间时，比率控制部18生成用于降低经量化的数据的比特率的比率控制信号。而且，例如当累积缓冲器17上的空闲空间足够大时，比率控制部18生成用于增加经量化的数据的比特率的比率控制信号。

逆量化部21对从正交变换和量化部14输入的经量化的数据执行逆量化处理。然后，逆量化部21将通过逆量化处理所获得的变换系数数据输出到逆正交变换部22。

逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，从而恢复预测误差数据。然后，逆正交变换部22将所恢复的预测误差数据输出到加法部23。

加法部23将从逆正交变换部22输入的所恢复的预测误差数据与从模式选择部50输入的预测图像数据相加，从而生成解码图像数据。然后，加法部23将所生成的解码图像数据输出到去块滤波器24和帧存储器25。

去块滤波器24执行滤波处理以减少在图像编码期间发生的块失真。去块滤波器24通过对从加法部23输入的解码图像数据进行滤波来消除块失真，并且然后，在滤波之后将解码图像数据输出到帧存储器25。

帧存储器25使用存储介质来存储从加法部23输入的解码图像数据和从去块滤波器24输入的滤波后的解码图像数据。

选择器26从帧存储器25读取将用于帧内预测的滤波前的解码图像数据，并且将已读取的解码图像数据提供至帧内预测部30作为参考图像数据。而且，选择器26从帧存储器25读取将用于帧间预测的滤波后的解码图像数据，并且将已读取的解码图像数据提供至运动估计部40作为参考图像数据。

帧内预测部30基于从重排序缓冲器12输入的待编码的图像数据以及经由选择器26提供的解码图像数据，以每个帧内预测模式执行帧内预测处理。例如，帧内预测部30使用预定的成本函数来评估每种帧内预测模式的预测结果。然后，帧内预测部30选择通过其成本函数值为最小的帧内预测模式(即，通过其压缩比为最高的帧内预测模式)作为最优帧内预测模式。此外，帧内预测部30将表示最优帧内预测模式的预测模式信息、所预测的图像数据和关于帧内预测的信息(如成本函数值)输出到模式选择部50。

运动估计部40基于从重排序缓冲器12提供的用于编码的图像数据和经由选择器26所提供的解码图像数据来执行帧间预测处理(帧之间的预测处理)。例如，运动估计部40使用预定的成本函数来评估每种预测模式的预测结果。然后，移动估计部40选择最优的预测模式，即，使成本函数值最小或使压缩比最大的预测模式。运动估计部40根据最优预测模式生成所预测的图像数据。运动估计部40将关于帧间预测的信息(例如有关包括有表示最优帧内预测模式的预测模式信息的帧间预测的信息)、所预测的图像数据、以及成本函数值输出到模式选择部50。

模式选择部50将与从帧内预测部30输入的帧内预测有关的成本函数值和与从运动估计部40输入的帧间预测有关的成本函数值进行比较。然后，模式选择部50从帧内预测和帧间预测中选择具有较小的成本函数值的预测方法。在选择帧内预测的情况下，模式选择部50将关于帧内预测的信息输出到无损编码部16，并且还将所预测的图像数据输出到减法部13和加法部23。而且，在选择帧间预测的情况下，模式选择部50将关于上述帧间预测的信息输出到无损编码部16，并且还将所预测的图像数据输出到减法部13和加法部23。

[1-2.正交变换和量化部的配置示例]

图2是示出图1中所示的图像编码装置10的正交变换和量化部14的详细配置的框图。参照图2，正交变换和量化部14包括选择部110、正交变换部120、量化部130、量化矩阵缓冲器140、以及矩阵处理部150。

(1)选择部

选择部110从具有不同尺寸的多个变换单元中选择用于待编码的图像数据的正交变换的变换单元(TU)。将由选择部110选择的变换单元的尺寸候选包括针对H.264/AVC的4×4和8×8、以及针对HEVC的4×4、8×8、16×16和32×32。选择部110可以根据例如待编码图像的尺寸、图像质量或设备性能来选择变换单元中的任一个。开发设备的用户可以手动调整通过选择部110进行的变换单元的选择。选择部110将指定所选择的变换单元的尺寸的信息输出到正交变换部120、量化部130、无损编码部16以及逆量化部21。

(2)正交变换部

正交变换部120使用由选择部110选择的变换单元对从减法部13提供的图像数据(即，预测误差数据)进行正交变换。由正交变换部120执行的正交变换可以表示例如离散余弦变换(DCT)或卡洛变换。正交变换部120将通过正交变换处理所获得的变换系数数据输出到量化部130。

(3)量化部

量化部130使用与由选择部110选择的变换单元相对应的量化矩阵，对由正交变换部120所生成的变换系数数据进行量化。量化部130基于来自比率控制部18的比率控制信号，通过改变量化步长来改变输出的量化数据的比特率。

量化部130允许量化矩阵缓冲器140存储与由选择部110选择的变换单元相对应的量化矩阵集。例如，HEVC提供四个尺寸类型(如4×4、8×8、16×16和32×32)的变换单元候选。在这样的情况下，量化矩阵缓冲器140可以存储对应于四种尺寸类型的四种类型量化矩阵集。可能存在特定尺寸使用如图19中所示的默认量化矩阵的情况。在这样的情况下，量化矩阵缓冲器140可以仅存储表示使用与特定尺寸相关联的默认量化矩阵(不使用用户定义的量化矩阵)的标志。

量化部130可以使用的量化矩阵集通常可以针对编码流的每个序列进行配置。如果针对每个序列来配置量化矩阵集，则量化部130可以针对每个图片更新该集合。控制量化矩阵集的配置和更新的信息可以被插入到例如序列参数集和图片参数集中。

(4)量化矩阵缓冲器

量化矩阵缓冲器140使用存储介质如半导体存储器，来临时存储与由选择部110所选择的变换单元相对应的量化矩阵集。由将在下文描述的矩阵处理部150执行的处理参考由量化矩阵缓冲器140所存储的量化矩阵集。

矩阵处理部

矩阵处理部150针对每个图片和编码流的每个序列来参考存储在量化矩阵缓冲器140中的量化矩阵集，并且生成如下信息：该信息根据与一个尺寸的变换单元相对应的另一量化矩阵来生成与一个或更多个尺寸的变换单元相对应的量化矩阵。量化矩阵通常可以基于变换单元尺寸的最小值来生成。如果HEVC提供四种尺寸类型(如4×4、8×8、16×16和32×32)的变换单元候选，则可以使用4×4量化矩阵来产生生成其他尺寸的量化矩阵的信息。由矩阵处理部150所生成的信息可以包括后续描述的基本矩阵信息和差矩阵信息。由矩阵处理部150所生成的信息被输出到无损编码部16并且可以被插入到编码流头部中。

本说明书主要描述根据最小尺寸的量化矩阵来生成较大尺寸的量化矩阵的示例。然而，不限于此，可以根据具有除了最小尺寸之外的尺寸的量化矩阵来生成具有较小尺寸和/或较大尺寸的量化矩阵。

[1-3.矩阵处理部的详细配置示例]

图3是示出图2中所示的正交变换和量化部14的矩阵处理部150的更详细的配置的框图。参照图3，矩阵处理部150包括预测部152和差计算部154。

预测部

预测部152获取存储在量化矩阵缓冲器140中的量化矩阵集，并且根据包含在所获取的集合中的第一量化矩阵来预测具有较大尺寸的第二量化矩阵。例如，如下定义4×4量化矩阵SL1。

[公式1]

$SL1=\left(\begin{array}{cccc}{a}_{00}& a_{10}& a_{20}& a_{30}\\ a_{01}& a_{11}& a_{21}& a_{31}\\ a_{02}& a_{12}& a_{22}& a_{32}\\ a_{03}& a_{13}& a_{23}& a_{33}\end{array}\right)---\left(1\right)$

例如，8×8预测矩阵PSL2可以由预测部152根据量化矩阵SL1来预测，并且根据下面的预测表达式(2)如下进行计算。

[公式2]

$PSL2=\left(\begin{array}{cccccccc}{a}_{00}& a_{00}& a_{10}& a_{10}& a_{20}& a_{20}& a_{30}& a_{30}\\ a_{00}& a_{00}& a_{10}& a_{10}& a_{20}& a_{20}& a_{30}& a_{30}\\ a_{01}& a_{01}& a_{11}& a_{11}& a_{21}& a_{21}& a_{31}& a_{31}\\ a_{01}& a_{01}& a_{11}& a_{11}& a_{21}& a_{21}& a_{31}& a_{31}\\ a_{02}& a_{02}& a_{12}& a_{12}& a_{22}& a_{22}& a_{32}& a_{32}\\ a_{02}& a_{02}& a_{12}& a_{12}& a_{22}& a_{22}& a_{32}& a_{32}\\ a_{03}& a_{03}& a_{13}& a_{13}& a_{23}& a_{23}& a_{33}& a_{33}\\ a_{03}& a_{03}& a_{13}& a_{13}& a_{23}& a_{23}& a_{33}& a_{33}\end{array}\right)---\left(2\right)$

参照预测表达式(2)，复制在量化矩阵SL1中彼此相邻的两个元素之一作为两个元素之间的元素，来生成预测矩阵PSL2。

反而，根据下面的预测表达式(3)，可以根据量化矩阵SL1来计算预测矩阵PSL2。

[公式3]

$\begin{array}{c}PSL2=\\ \left(\begin{array}{cccccccc}{a}_{00}& \frac{a_{00}+a_{10}+1}{2}& a_{10}& \frac{a_{10}+a_{20}+1}{2}& a_{20}& \frac{a_{20}+a_{30}+1}{2}& a_{30}& a_{30}\\ \frac{a_{00}+a_{01}+1}{2}& \frac{a_{00}+a_{11}+1}{2}& \frac{a_{10}+a_{11}+1}{2}& \frac{a_{10}+a_{21}+1}{2}& \frac{a_{20}+a_{21}+1}{2}& \frac{a_{20}+a_{31}+1}{2}& \frac{a_{20}+a_{32}+1}{2}& \frac{a_{30}+a_{31}+1}{2}\\ a_{01}& \frac{a_{01}+a_{11}+1}{2}& a_{11}& \frac{a_{11}+a_{21}+1}{2}& a_{21}& \frac{a_{21}+a_{31}+1}{2}& a_{31}& a_{31}\\ \frac{a_{01}+a_{02}+1}{2}& \frac{a_{01}+a_{12}+1}{2}& \frac{a_{11}+a_{12}+1}{2}& \frac{a_{11}+a_{22}+1}{2}& \frac{a_{21}+a_{22}+1}{2}& \frac{a_{21}+a_{32}+1}{2}& \frac{a_{31}+a_{32}+1}{2}& \frac{a_{31}+a_{32}+1}{2}\\ a_{02}& \frac{a_{02}+a_{12}+1}{2}& a_{12}& \frac{a_{12}+a_{22}+1}{2}& a_{22}& \frac{a_{22}+a_{32}+1}{2}& a_{32}& a_{32}\\ \frac{a_{02}+a_{03}+1}{2}& \frac{a_{02}+a_{13}+1}{2}& \frac{a_{12}+a_{13}+1}{2}& \frac{a_{12}+a_{23}+1}{2}& \frac{a_{22}+a_{23}+1}{2}& \frac{a_{22}+a_{33}+1}{2}& \frac{a_{32}+a_{33}+1}{2}& \frac{a_{32}+a_{33}+1}{2}\\ a_{03}& \frac{a_{03}+a_{13}+1}{2}& a_{13}& \frac{a_{13}+a_{23}+1}{2}& a_{23}& \frac{a_{23}+a_{33}+1}{2}& a_{33}& a_{33}\\ a_{03}& \frac{a_{03}+a_{13}+1}{2}& a_{13}& \frac{a_{13}+a_{23}+1}{2}& a_{23}& \frac{a_{23}+a_{33}+1}{2}& a_{33}& a_{33}\end{array}\right)\end{array}---\left(3\right)$

参照预测表达式(3)，对在量化矩阵SL1中彼此相邻的两个元素进行线性内插作为这两个元素之间的元素，来生成预测矩阵PSL2。预测表达式(3)从左端的相邻元素复制预测矩阵PSL2中的右端元素。代替复制，可以使用线性外插来计算右端元素。类似地，可以使用线性外插来计算根据预测表达式(3)的预测矩阵PSL2中的底端元素，来代替上面的仅复制相邻元素。例如，预测表达式(3)针对预测矩阵PSL2中第八行第八列处的元素PSL2_8,8产生a₃₃。如下也可以根据线性外插来计算相同元素。

[公式4]

$PSL{2}_{8,8}=\frac{a_{33}-a_{22}+1}{2}+a_{33}---\left(4\right)$

预测表达式(2)与预测表达式(3)相比可以以更小的计算成本生成预测矩阵PSL2。使用预测表达式(3)可以生成较近似于最初要使用的量化矩阵的平滑预测矩阵。因此，使用预测表达式(3)可以通过近似地对后续描述的差矩阵的元素进行归零来减少编码信息的量。

预测表达式(2)和预测表达式(3)仅是可用的预测表达式的示例。可以使用任意其他预测表达式。

根据量化矩阵SL1生成预测矩阵PSL2之后，预测部152将所生成的预测矩阵PSL2输出到差计算部154。例如，预测部152根据包含在量化矩阵集中的8×8量化矩阵SL2来预测16×16预测矩阵PSL3，并且将预测矩阵PSL3输出到差计算部154。另外，预测部152根据包含在量化矩阵集中的16×16量化矩阵SL3来预测32×32预测矩阵PSL4，并且将预测矩阵PSL4输出到差计算部154。等同于上述预测表达式(2)或(3)的预测表达式可以被用于对预测矩阵PSL3和PSL4进行预测。预测部152将基本矩阵信息输出到无损编码部16。基本矩阵信息将4×4量化矩阵SL1指定为生成上述预测矩阵PSL2、PSL3和PSL4的基础。

(2)差计算部

差计算部154根据表达式(5)至(7)计算差矩阵DSL2、DSL3和DSL4。差矩阵DSL2、DSL3和DSL4中的每个差矩阵表示从预测部152提供的预测矩阵PSL2、PSL3和PSL4中的每个预测矩阵与相应的量化矩阵SL2、SL3和SL4中的每个量化矩阵之间的差。

[公式5]

DSL2＝SL2-PSL2(5)

DSL3＝SL3-PSL3(6)

DSL4＝SL4-PSL4(7)

差计算部154将表示差矩阵DSL2、DSL3和DSL4的信息提供给无损编码部16。

如果针对给定尺寸使用默认量化矩阵，则矩阵处理部150不对该尺寸的量化矩阵执行预测和差计算。而是，矩阵处理部150仅将表示使用与相应的尺寸相关联的默认量化矩阵的标志提供给无损编码部16。如果预测矩阵和量化矩阵之间不存在差，则差计算部154不输出差矩阵信息，而仅将表示无差的标志输出到无损编码部16。如果在改变图片时未更新量化矩阵，则矩阵处理部150可以仅将表示量化矩阵未更新的标志提供给无损编码部16。

[1-4.待编码的信息的示例]

(1)序列参数集

图4是示出根据本实施方式的被插入到序列参数集中的信息的说明图。图4示出了诸如“矩阵类型标志”、“差标志”以及“矩阵信息(待编码)”的三种类型信息，作为针对每个量化矩阵尺寸或变换单元(TU)尺寸的待编码信息。

矩阵类型标志指定针对每个尺寸是使用用户定义的量化矩阵还是使用默认量化矩阵。如果针对给定尺寸将矩阵类型标志设置为1，则针对该尺寸使用用户定义的量化矩阵。如果针对给定尺寸将矩阵类型标志设置为0，则针对该尺寸使用默认量化矩阵。如果矩阵类型标志被设置为0，则矩阵信息、差矩阵信息以及下文描述的差标志都不被编码。

如果针对每个尺寸均将矩阵类型标志设置为1以表示用户定义的量化矩阵，则差标志识别预测矩阵和量化矩阵之间是否存在差。如果针对给定尺寸将矩阵类型标志设置为1，则针对该尺寸在预测矩阵和量化矩阵之间存在差并且对差矩阵信息进行编码。如果针对给定尺寸将矩阵类型标志设置为0，则不对针对该尺寸的差矩阵信息进行编码。针对作为预测基础的尺寸(例如4×4)，不管矩阵类型标志如何，均不对差标志进行编码。

(2)图片参数集

图5是示出根据本实施方式的插入到图片参数集中的信息的说明图。图5示出了四种类型的信息，如“更新标志”、“矩阵类型标志”、“差标志”以及“矩阵信息(待编码)”，作为针对每个量化矩阵尺寸或变换单元(TU)尺寸的待编码的信息。矩阵类型标志和差标志与参照图4所描述的序列参数集中具有相同的名称的标志具有相同的意义。

更新标志表示在改变针对每个尺寸的图片时是否更新量化矩阵。如果针对给定的尺寸将更新标志设置为1，则更新该尺寸的量化矩阵。如果更新标志被设置为0，则不更新该尺寸的量化矩阵，并且照原样使用针对在前图片或当前序列所指定的量化矩阵。如果更新标志被设置为0，则针对该尺寸的矩阵类型标志、差标志以及差矩阵信息(或针对4×4的矩阵信息)均不被编码。

<2.根据实施方式的编码处理流程>

图6A和图6B是示出根据本实施方式的编码处理流程的第一示例的流程图。矩阵处理部150和无损编码部16可以执行由主要关于每个编码流序列的流程图所表示的过程。

参照图6A，矩阵处理部150从量化矩阵缓冲器140获取此序列中的用于量化部130的量化矩阵集(步骤S100)。作为示例，假定量化矩阵集包含与4×4、8×8、16×16以及32×32的尺寸相对应的量化矩阵。

矩阵处理部150确定4×4量化矩阵是否为用户定义的量化矩阵(步骤S102)。如果4×4量化矩阵是用户定义的量化矩阵，则无损编码部16对表示矩阵类型标志被设置为1的4×4量化矩阵的基本矩阵信息进行编码(步骤S106)。如果4×4量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S108)。

矩阵处理部150确定8×8量化矩阵是否为用户定义的量化矩阵(步骤S112)。如果8×8量化矩阵是用户定义的量化矩阵，则矩阵处理部150使用上述的预测表达式(2)或(3)来根据4×4量化矩阵计算8×8预测矩阵(步骤S114)。无损编码部16对矩阵类型标志(＝1)、差标志、以及表示在8×8量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S116)。如果8×8量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S118)。

参照图6B，矩阵处理部150确定16×16量化矩阵是否为用户定义的量化矩阵(步骤S122)。如果16×16量化矩阵是用户定义的量化矩阵，则矩阵处理部150根据8×8量化矩阵来计算16×16预测矩阵(步骤S124)。无损编码部16对矩阵类型标志(＝1)、差标志、以及表示在16×16量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S126)。如果16×16量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S128)。

矩阵处理部150确定32×32量化矩阵是否为用户定义的量化矩阵(步骤S132)。如果32×32量化矩阵是用户定义的量化矩阵，则矩阵处理部150根据16×16量化矩阵来计算32×32预测矩阵(步骤S134)。无损编码部16对矩阵类型标志(＝1)、差标志、以及表示在32×32量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S136)。如果32×32量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S138)。

图7A和图7B是示出根据本实施方式的编码处理流程的第二示例的流程图。矩阵处理部150和无损编码部16可以执行由主要关于对应于编码流序列的每个图片的流程图所表示的过程。

参照图7A，矩阵处理部150从量化矩阵缓冲器140获取图片中用于量化部130的量化矩阵集(步骤S150)。类似于图6A和图6B中的示例，假定量化矩阵集包含与4×4、8×8、16×16以及32×32的尺寸相对应的量化矩阵。

矩阵处理部150确定是否更新图片中的4×4量化矩阵(步骤S152)。如果不更新量化矩阵，则无损编码部16仅对被设置为0的更新标志进行编码(S158)。如果更新量化矩阵，则处理进行到步骤S154。如果更新量化矩阵，则矩阵处理部150确定新的4×4量化矩阵是否是用户定义的量化矩阵(步骤S154)。如果4×4量化矩阵是用户定义的量化矩阵，则无损编码部16对表示更新标志被设置为1且矩阵类型标志被设置为1的4×4量化矩阵的基本矩阵信息进行编码(步骤S156)。如果4×4量化矩阵是默认量化矩阵，则无损编码部16对被设置为1的更新标志和被设置为0的矩阵类型标志进行编码(步骤S158)。

矩阵处理部150确定是否更新图片中的8×8量化矩阵(步骤S160)。如果不更新量化矩阵，则无损编码部16仅对被设置为0的更新标志进行编码(S168)。如果更新量化矩阵，则处理进行到步骤S162。如果更新量化矩阵，则矩阵处理部150确定8×8量化矩阵是否是用户定义的量化矩阵(步骤S162)。如果8×8量化矩阵是用户定义的量化矩阵，则矩阵处理部150不顾4×4量化矩阵是否被更新，均针对新的图片根据4×4量化矩阵来计算8×8预测矩阵(步骤S164)。无损编码部16对更新标志(＝1)、矩阵类型标志(＝1)、差标志、以及表示在8×8量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S166)。如果8×8量化矩阵是默认量化矩阵，则无损编码部16对被设置为1的更新标志和被设置为0的矩阵类型标志进行编码(步骤S168)。

参照图7B，矩阵处理部150确定是否更新图片中的16×16量化矩阵(步骤S170)。如果不更新量化矩阵，则无损编码部16仅对被设置为0的更新标志进行编码(S178)。如果更新量化矩阵，则处理进行到步骤S172。如果更新量化矩阵，则矩阵处理部150确定16×16量化矩阵是否为用户定义的量化矩阵(步骤S172)。如果16×16量化矩阵是用户定义的量化矩阵，则矩阵处理部150不顾8×8量化矩阵是否被更新，均针对新的图片根据8×8量化矩阵来计算16×16预测矩阵(步骤S174)。无损编码部16对更新标志(＝1)、矩阵类型标志(＝1)、差标志、以及表示在16×16量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S176)。如果16×16量化矩阵是默认量化矩阵，则无损编码部16对被设置为1的更新标志和被设置为0的矩阵类型标志进行编码(步骤S178)。

矩阵处理部150确定是否更新图片中的32×32量化矩阵(步骤S180)。如果不更新量化矩阵，则无损编码部16仅对被设置为0的更新标志进行编码(S188)。如果更新量化矩阵，则处理进行到步骤S182。如果更新量化矩阵，则矩阵处理部150确定32×32量化矩阵是否为用户定义的量化矩阵(步骤S182)。如果32×32量化矩阵是用户定义的量化矩阵，则矩阵处理部150不顾16×16量化矩阵是否被更新，均针对新的图片根据16×16量化矩阵来计算32×32预测矩阵(步骤S184)。无损编码部16对更新标志(＝1)、矩阵类型标志(＝1)、差标志、以及表示在32×32量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S186)。如果32×32量化矩阵是默认量化矩阵，则无损编码部16对被设置为1的更新标志和被设置为0的矩阵类型标志进行编码(步骤S188)。

基于一个量化矩阵来预测量化矩阵的技术可以消除将对应于多个变换单元尺寸的多个量化矩阵从编码侧发送到解码侧的需求。可以有效地抑制编码量的增加，即使量化矩阵的数目增加也是如此。

<3.根据实施方式的图像解码装置的配置示例>

以下对根据实施方式的图像解码装置的配置示例进行描述。

[3-1.总体配置示例]

图8是示出根据实施方式的图像解码装置60的配置的示例的框图。参照图8，图像解码装置60包括累积缓冲器61、无损解码部62、逆量化和逆正交变换部63、加法部65、去块滤波器66、重排序缓冲器67、D/A(数字-模拟)转换部68、帧存储器69、选择器70和71、帧内预测部80、以及运动补偿部90。

累积缓冲器61使用存储介质临时地存储经由传输线输入的编码流。

无损解码部62对根据用于编码的编码系统的从累积缓冲器61提供的编码流进行解码。无损解码部62对在编码流的头部区域中复用的信息进行解码。在编码流的头部区域中复用的信息可以包括基本矩阵信息和差矩阵信息，以在块头部中生成上述的量化矩阵以及关于帧内预测和帧间预测的信息。无损解码部62将用于在解码后生成量化数据和量化矩阵的信息提供给逆量化和逆正交变换部63。无损解码部62将关于帧内预测的信息提供给帧内预测部80。无损解码部62将关于帧间预测的信息提供给运动补偿部90。

逆量化和逆正交变换部63对从无损解码部62提供的量化数据执行逆量化和逆正交变换，以生成预测误差数据。逆量化和逆正交变换部63将所生成的预测误差数据提供给加法部65。

加法部65将从逆量化和逆正交变换部63输入的预测误差数据和从选择器71输入的预测图像数据相加，从而生成解码图像数据。然后，加法部65将所生成的解码图像数据输出到去块滤波器66和帧存储器69。

去块滤波器66通过对从加法部65输入的解码图像数据进行滤波来消除块失真，并且然后，在滤波之后将解码图像数据输出到重排序缓冲器67和帧存储器69。

重排序缓冲器67通过对从去块滤波器66输入的图像进行重排序而以时间序列生成一系列图像数据。然后，重排序缓冲器67将所生成的图像数据输出到D/A转换部68。

D/A转换部68将从重排序缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出到例如连接至图像解码装置60的显示器(未示出)来使图像进行显示。

帧存储器69使用存储介质来存储从加法部65输入的在滤波之前的解码图像数据和从去块滤波器66输入的在滤波之后的解码图像数据。

选择器70根据由无损解码部62所获取的模式信息，针对图像中的每个块，在帧内预测部80和运动补偿部90之间切换来自帧存储器69的图像数据的输出目的地。例如，在指定帧内预测模式的情况下，选择器70将从帧存储器69所提供的滤波前的解码图像数据输出到帧内预测部80作为参考图像数据。而且，在指定帧间预测模式的情况下，选择器70将从帧存储器69所提供的滤波后的解码图像数据输出到运动补偿部90作为参考图像数据。

选择器71根据由无损解码部62所获取的模式信息，针对图像中的每个块，在帧内预测部80和运动补偿部90之间切换要提供给加法部65的预测图像数据的输出源。例如，在指定帧内预测模式的情况下，选择器71将从帧内预测部80输出的预测图像数据提供给加法部65。在指定帧间预测模式的情况下，选择器71将从运动补偿部90输出的预测图像数据提供给加法部65。

帧内预测部80基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器69的参考图像数据来执行像素值的屏上预测，并且生成预测图像数据。然后，帧内预测部80将所生成的预测图像数据输出到选择器71。

运动补偿部90基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器69的参考图像数据来执行运动补偿处理，并且生成预测图像数据。然后，运动补偿部90将所生成的预测图像数据输出到选择器71。

[3-2.逆量化和逆正交变换部的配置示例]

图9是示出图8中所示的图像解码装置60的逆量化和逆正交变换部63的详细配置的框图。如图9中所示，逆量化和逆正交变换部63包括矩阵生成部210、选择部230、逆量化部240、以及逆正交变换部250。

(1)矩阵生成部

矩阵生成部210针对每个编码流序列和图片，根据与表示一个尺寸的变换单元相对应的量化矩阵来生成与表示一个或更多个尺寸的变换单元相对应的量化矩阵。量化矩阵通常可以基于变换单元尺寸的最小值而生成。根据本实施方式，矩阵生成部210使用关于较大尺寸的差矩阵信息、根据作为最小尺寸的4×4量化矩阵来生成8×8、16×16以及32×32量化矩阵。

(2)选择部

选择部230从具有不同尺寸的多个变换单元中选择用于待解码的图像数据的逆正交变换的变换单元(TU)。将由选择部230选择的变换单元的尺寸候选包括针对H.264/AVC的4×4和8×8、以及针对HEVC的4×4、8×8、16×16和32×32。选择部230可以基于例如包含在编码流头部分中的LCU、SCU以及split_flag(分裂_标志)来选择变换单元。选择部230将指定所选择的变换单元的尺寸的信息输出到逆量化部240和逆正交变换部250。

(3)逆量化部

逆量化部240使用与由选择部230所选择的变换单元相对应的量化矩阵，来对在图像编码期间所量化的变换系数数据进行逆量化。用于逆量化的量化矩阵包含由矩阵生成部210所生成的矩阵。例如，选择部230可以选择8×8、16×16或32×32变换单元。在这样的情况下，所选择的变换单元可以与矩阵生成部210根据4×4量化矩阵生成的量化矩阵相对应。逆量化部240将逆量化的变换系数数据提供给逆正交变换部250。

(4)逆正交变换部

逆正交变换部250根据用于编码的正交变换系统生成预测误差数据。为了做到这一点，逆正交变换部250使用所选择的变换单元，来对由逆量化部240所逆量化的变换系数数据执行逆正交变换。逆正交变换部250将所生成的预测误差数据提供给加法部65。

[3-3.矩阵生成部的详细配置示例]

图10是示出图9中所示的逆量化和逆正交变换部63的矩阵生成部210的更详细的配置的框图。参照图10，矩阵生成部210包括基本矩阵获取部212、差获取部214、预测部216、重构部218、以及量化矩阵缓冲器220。

(1)基本矩阵获取部

基本矩阵获取部212获取从无损解码部62所提供的基本矩阵信息。如上所述，根据本实施方式的基本矩阵信息指定4×4量化矩阵SL1作为最小尺寸。基本矩阵获取部212允许量化矩阵缓冲器220存储在基本矩阵信息中指定的4×4量化矩阵SL1。如果针对每个序列或图片获取到被设置为0的矩阵类型标志，则基本矩阵获取部212允许量化矩阵缓冲器220在不获取基本矩阵信息的情况下存储默认的4×4量化矩阵。如果针对每个图片获取到被设置为0的更新标志，则基本矩阵获取部212不更新在之前的处理期间存储在量化矩阵缓冲器220中的量化矩阵SL1。基本矩阵获取部212将4×4量化矩阵SL1提供给预测部216。

(2)差获取部

差获取部214获取从无损解码部62所提供的差矩阵信息。如上所述，根据本实施方式的差矩阵信息指定差矩阵DSL2、DSL3以及DSL4，其中差矩阵DSL2、DSL3以及DSL4中的每个差矩阵分别表示根据4×4量化矩阵SL1所预测的预测矩阵PSL2、PSL3以及PSL4中的每个预测矩阵与量化矩阵SL2、SL3以及SL4中的每个量化矩阵之间的差。差获取部214将在差矩阵信息中指定的差矩阵DSL2、DSL3以及DSL4提供给重构部218。如果针对每个序列或图片获取到被设置为0的矩阵类型标志，或者获取到被设置为0的差标志，则差获取部214在不获取差矩阵信息的情况下假定具有相应的尺寸的差矩阵为空。如果针对每个图片获取到被设置为0的更新标志，则差获取部214没有输出针对相应的尺寸的差矩阵。

(3)预测部

预测部216遵循用于图像编码的预测表达式如上述的预测表达式(2)或(3)，以根据从基本矩阵获取部212所提供的根据本实施方式的基本矩阵(如4×4量化矩阵SL1)，来计算具有较大尺寸的8×8预测矩阵PSL2。预测部216使用所计算的8×8预测矩阵PSL2，以根据由重构部218所重构的量化矩阵SL2来计算16×16预测矩阵PSL3。另外，预测部216使用所计算的16×16预测矩阵PSL3，以根据由重构部218所重构的量化矩阵SL3来计算32×32预测矩阵PSL4。预测部216将预测矩阵PSL2、PSL3以及PSL4提供给重构部218。预测部216没有生成针对具有被设置为0的矩阵类型标志的尺寸的预测矩阵，并且使用默认量化矩阵来计算具有较大尺寸的预测矩阵。基本矩阵获取部212没有生成针对具有被设置为0的更新标志的尺寸的预测矩阵，并且使用从之前处理所生成的量化矩阵来计算具有较大尺寸的预测矩阵。

(4)重构部

重构部218通过将从预测部216所提供的预测矩阵PSL2、PSL3以及PSL4分别与从差获取部214所提供的差矩阵DSL2、DSL3以及DSL4相加，来重构量化矩阵SL2、SL3以及SL4。

[公式6]

SL2＝PSL2+DSL2(8)

SL3＝PSL3+DSL3(9)

SL4＝PSL4+DSL4(10)

重构部218允许量化矩阵缓冲器220存储具有尺寸8×8、16×16以及32×32的经重构的量化矩阵SL2、SL3以及SL4。如果针对每个序列或图片获取到被设置为0的矩阵类型标志，则重构部218允许量化矩阵缓冲器220存储默认量化矩阵作为具有相应尺寸的量化矩阵。如果针对每个图片获取到被设置为0的更新标志，则基本矩阵获取部212不更新具有相应尺寸并在之前的处理期间被存储在量化矩阵缓冲器220中的量化矩阵SL2、SL3或SL4。

(5)量化矩阵缓冲器

量化矩阵缓冲器220临时存储由基本矩阵获取部212指定的量化矩阵SL1以及由重构部218所重构的量化矩阵SL2、SL3和SL4。存储在量化矩阵缓冲器220中的量化矩阵SL1、SL2、SL3以及SL4被用于逆量化部240，以对经量化的变换系数数据进行逆量化。

上述的图像解码装置60的逆量化和逆正交变换部63的配置也可适用于图1中所示的图像解码装置10的逆量化部21和逆正交变换部22。

<4.根据实施方式的解码处理流程>

图11A和图11B是示出根据本实施方式的解码处理流程的第一示例的流程图。矩阵生成部210可以执行由主要关于每个编码流序列的流程图所表示的过程。

参照图11A，矩阵生成部210检查包含在序列的序列参数集中的矩阵类型标志，以确定4×4量化矩阵是否为用户定义的量化矩阵(步骤S202)。如果4×4量化矩阵是用户定义的量化矩阵，则矩阵生成部210使用基本矩阵信息来建立4×4量化矩阵，即将4×4量化矩阵存储在量化矩阵缓冲器220中(步骤S204)。如果4×4量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的4×4量化矩阵(步骤S206)。

矩阵生成部210确定8×8量化矩阵是否为用户定义的量化矩阵(步骤S212)。如果8×8量化矩阵是用户定义的量化矩阵，则矩阵生成部210使用上述的预测表达式(2)或(3)，以根据4×4量化矩阵来计算8×8预测矩阵，并且将所计算的预测矩阵加至8×8差矩阵。结果，重构出8×8量化矩阵(步骤S214)。如果8×8差标志被设置为0，则差矩阵为空。可以直接将8×8预测矩阵建立为量化矩阵。如果8×8量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的8×8量化矩阵(步骤S216)。

参照图11B，矩阵生成部210确定16×16量化矩阵是否是用户定义的量化矩阵(步骤S222)。如果16×16量化矩阵是用户定义的量化矩阵，则矩阵生成部210根据8×8量化矩阵来计算16×16预测矩阵，并且将所计算的预测矩阵加至16×16差矩阵。结果，重构出16×16量化矩阵(步骤S224)。如果16×16差标志被设置为0，则差矩阵为空。直接将16×16预测矩阵建立为量化矩阵。如果16×16量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的16×16量化矩阵(步骤S226)。

矩阵生成部210确定32×32量化矩阵是否为用户定义的量化矩阵(步骤S232)。如果32×32量化矩阵是用户定义的量化矩阵，则矩阵生成部210根据16×16量化矩阵来计算32×32预测矩阵，并且将所计算的预测矩阵加至32×32差矩阵。结果，重构出32×32量化矩阵(步骤S234)。如果32×32差标志被设置为0，则差矩阵为空。直接将32×32预测矩阵建立为量化矩阵。如果32×32量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的32×32量化矩阵(步骤S236)。

图12A和图12B是示出根据本实施方式的解码处理流程的第二示例的流程图。矩阵生成部210可以执行由主要关于用于编码流的每个图片的流程图所表示的过程。

参照图12A，矩阵生成部210检查包含在图片参数集中的更新标志，以确定是否更新图片中的4×4量化矩阵(步骤S250)。如果不更新4×4量化矩阵，则处理跳过步骤S252至步骤S256。如果更新4×4量化矩阵，则矩阵生成部210检查矩阵类型标志，以确定新的4×4量化矩阵是否为用户定义的量化矩阵(步骤S252)。如果4×4量化矩阵是用户定义的量化矩阵，则矩阵生成部210使用基本矩阵信息来建立4×4量化矩阵(步骤S254)。如果4×4量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的4×4量化矩阵(步骤S256)。

矩阵生成部210检查更新标志，以确定是否更新图片中的8×8量化矩阵(步骤S260)。如果不更新8×8量化矩阵，则处理跳过步骤S262至步骤S266。如果更新8×8量化矩阵，则矩阵生成部210检查矩阵类型标志，以确定新的8×8量化矩阵是否为用户定义的量化矩阵(步骤S262)。如果8×8量化矩阵是用户定义的量化矩阵，则矩阵生成部210不顾4×4量化矩阵是否被更新，均针对新的图片根据4×4量化矩阵来计算8×8预测矩阵。然后，矩阵生成部210将所计算的预测矩阵加至8×8差矩阵。因此，重构出8×8量化矩阵(步骤S264)。如果8×8差标志被设置为0，则差矩阵为空。可以直接将8×8预测矩阵建立为量化矩阵。如果8×8量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的8×8量化矩阵(步骤S266)。

参照图12B，矩阵生成部210检查更新标志以确定是否更新图片中的16×16量化矩阵(步骤S270)。如果不更新16×16量化矩阵，则处理跳过步骤S272至步骤S276。如果更新16×16量化矩阵，则矩阵生成部210检查矩阵类型标志以确定新的16×16量化矩阵是否为用户定义的量化矩阵(步骤S272)。如果16×16量化矩阵是用户定义的量化矩阵，则矩阵生成部210不顾8×8量化矩阵是否被更新，均针对新的图片根据8×8量化矩阵来计算16×16预测矩阵。然后，矩阵生成部210将所计算的预测矩阵加至16×16差矩阵。结果，重构出16×16量化矩阵(步骤S274)。如果16×16差标志被设置为0，则差矩阵为空。直接将16×16预测矩阵建立为量化矩阵。如果16×16量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的16×16量化矩阵(步骤S276)。

矩阵生成部210检查更新标志以确定是否更新图片中的32×32量化矩阵(步骤S280)。如果不更新32×32量化矩阵，则处理跳过步骤S282至步骤S286。如果更新32×32量化矩阵，则矩阵生成部210检查矩阵类型标志以确定新的32×32量化矩阵是否为用户定义的量化矩阵(步骤S282)。如果32×32量化矩阵是用户定义的量化矩阵，则矩阵生成部210不顾16×16量化矩阵是否被更新，均针对新的图片根据16×16量化矩阵来计算32×32预测矩阵。然后，矩阵生成部210将所计算的预测矩阵加至32×32差矩阵。结果，重构出32×32量化矩阵(步骤S284)。如果将32×32差标志设置为0，则差矩阵为空。直接将32×32预测矩阵建立为量化矩阵。如果32×32量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的32×32量化矩阵(步骤S286)。

解码侧可以利用基于一个量化矩阵来预测量化矩阵的技术而适当地重构量化矩阵，即使编码侧仅将关于待预测的量化矩阵的差信息发送到解码侧也是如此。可以有效地抑制编码量的增加，即使量化矩阵的数目增加也是如此。

本说明书已经描述了针对一个变换单元尺寸建立仅一种类型量化矩阵的示例。然而并不限于此，可以针对一个变换单元尺寸建立多种类型量化矩阵。在这样的情况下，序列参数集和图片参数集可以包含另外的标志，该另外的标志表示需要将多种类型量化矩阵中的哪种类型用作预测较大尺寸的量化矩阵的基础。可以优选地针对一个变换单元尺寸建立多种类型量化矩阵并且针对图片内的每个片或块选择性地从一个量化矩阵到另一量化矩阵。

<5.修改>

如上所述，在本说明书中所公开的技术可以通过根据较大尺寸的量化矩阵来预测较小尺寸的量化矩阵而实施。例如，如下定义8×8量化矩阵SL2。

[公式7]

$SL2=\left(\begin{array}{cccccccc}{b}_{00}& b_{10}& b_{20}& b_{30}& b_{40}& b_{50}& b_{60}& b_{70}\\ b_{01}& b_{11}& b_{21}& b_{31}& b_{41}& b_{51}& b_{61}& b_{71}\\ b_{02}& b_{12}& b_{22}& b_{32}& b_{42}& b_{52}& b_{62}& b_{72}\\ b_{03}& b_{13}& b_{23}& b_{33}& b_{43}& b_{53}& b_{63}& b_{73}\\ b_{04}& b_{14}& b_{24}& b_{34}& b_{44}& b_{54}& b_{64}& b_{74}\\ b_{05}& b_{15}& b_{25}& b_{35}& b_{45}& b_{55}& b_{65}& b_{75}\\ b_{06}& b_{16}& b_{26}& b_{36}& b_{46}& b_{56}& b_{66}& b_{76}\\ b_{07}& b_{17}& b_{27}& b_{37}& b_{47}& b_{57}& b_{67}& b_{77}\end{array}\right)---\left(11\right)$

例如，图像编码装置10的正交变换和量化部14的预测部152根据如下的预测表达式(12)从量化矩阵SL2来计算4×4预测矩阵PSL1。

[公式8]

$PSL1=\left(\begin{array}{cccc}{b}_{00}& b_{20}& b_{40}& b_{60}\\ b_{02}& b_{22}& b_{42}& b_{62}\\ b_{04}& b_{24}& b_{44}& b_{64}\\ b_{06}& b_{26}& b_{46}& b_{66}\end{array}\right)---\left(12\right)$

参照预测表达式(12)，通过对量化矩阵SL2的每隔一行和每隔一列的元素进行疏化来生成预测矩阵PSL1。待疏化的元素可以以除预测表达式(12)的示例之外的其他方式进行定位。增加待疏化元素的数目可以使得量化矩阵生成如下预测矩阵：该预测矩阵的侧中的每个侧是四分之一或更小。

代替地，根据下面的预测表达式(13)，可以从量化矩阵SL2来计算预测矩阵PSL1。

[公式9]

$\begin{array}{c}PSL1=\\ \left(\begin{array}{cccc}\frac{b_{00}+b_{01}+b_{10}+b_{11}}{4}& \frac{b_{20}+b_{21}+b_{30}+b_{31}}{4}& \frac{b_{40}+b_{41}+b_{50}+b_{51}}{4}& \frac{b_{60}+b_{61}+b_{70}+b_{71}}{4}\\ \frac{b_{02}+b_{03}+b_{12}+b_{13}}{4}& \frac{b_{22}+b_{23}+b_{32}+b_{33}}{4}& \frac{b_{42}+b_{43}+b_{52}+b_{53}}{4}& \frac{b_{62}+b_{63}+b_{72}+b_{73}}{4}\\ \frac{b_{04}+b_{05}+b_{14}+b_{15}}{4}& \frac{b_{24}+b_{25}+b_{34}+b_{35}}{4}& \frac{b_{44}+b_{45}+b_{54}+b_{55}}{4}& \frac{b_{64}+b_{65}+b_{74}+b_{75}}{4}\\ \frac{b_{06}+b_{07}+b_{16}+b_{17}}{4}& \frac{b_{26}+b_{27}+b_{36}+b_{37}}{4}& \frac{b_{46}+b_{47}+b_{56}+b_{57}}{4}& \frac{b_{66}+b_{67}+b_{76}+b_{77}}{4}\end{array}\right)\end{array}---\left(13\right)$

参照预测表达式(13)，通过计算量化矩阵SL2中垂直和水平地彼此相邻的四个元素的平均值作为预测矩阵PSL1的一个元素，来生成预测矩阵PSL1。对垂直和水平地彼此相邻的更多个元素(例如16个元素)取平均可以使得量化矩阵生成如下预测矩阵：该预测矩阵的侧中的每个侧是四分之一或更小。代替在预测表达式(13)中使用的均值，可以从元素来计算其他代表性值，如中心值、最小值以及最大值。

可以根据较大尺寸的量化矩阵来计算较小尺寸的预测矩阵。而且在这样的情况下，差计算部154计算表示在从预测部152所提供的预测矩阵与相应的量化矩阵之间的差的差矩阵，并且将表示所计算的差矩阵的差矩阵信息提供给无损编码部16。图像解码装置60的逆量化和逆正交变换部63的矩阵生成部210使用上述预测表达式中的任一个表达式和差矩阵信息，根据在基本矩阵信息中指定的量化矩阵来生成具有较小尺寸的量化矩阵。

图13A和图13B是示出根据一种修改的编码处理流程的示例的流程图。矩阵处理部150和无损编码部16可以执行由主要关于每个编码流序列的流程图所表示的过程。

参照图13A，矩阵处理部150从量化矩阵缓冲器140中获取此序列中用于量化部130的量化矩阵集(步骤S300)。作为示例，假定量化矩阵集包含与4×4、8×8、16×16以及32×32的尺寸相对应的量化矩阵。

矩阵处理部150确定32×32量化矩阵是否为用户定义的量化矩阵(步骤S302)。如果32×32量化矩阵是用户定义的量化矩阵，则无损编码部16对表示矩阵类型标志被设置为1的32×32量化矩阵的基本矩阵信息进行编码(步骤S306)。如果32×32量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S308)。

矩阵处理部150确定16×16量化矩阵是否为用户定义的量化矩阵(步骤S312)。如果16×16量化矩阵是用户定义的量化矩阵，则矩阵处理部150根据上述的预测表达式(12)或(13)从32×32量化矩阵计算16×16预测矩阵(步骤S314)。无损编码部16对矩阵类型标志(＝1)、差标志、以及表示在16×16量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S316)。如果16×16量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S318)。

参照图13B，矩阵处理部150确定8×8量化矩阵是否为用户定义的量化矩阵(步骤S322)。如果8×8量化矩阵是用户定义的量化矩阵，则矩阵处理部150根据16×16量化矩阵来计算8×8预测矩阵(步骤S324)。无损编码部16对矩阵类型标志(＝1)、差标志、以及表示在8×8量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S326)。如果8×8量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S328)。

矩阵处理部150确定4×4量化矩阵是否为用户定义的量化矩阵(步骤S332)。如果4×4量化矩阵是用户定义的量化矩阵，则矩阵处理部150根据8×8量化矩阵来计算4×4预测矩阵(步骤S334)。无损编码部16对矩阵类型标志(＝1)、差标志、以及表示在4×4量化矩阵与所计算的预测矩阵之间的差的差矩阵信息(如果有)进行编码(步骤S336)。如果4×4量化矩阵是默认量化矩阵，则无损编码部16仅对被设置为0的矩阵类型标志进行编码(步骤S338)。

如果SPS被用于定义量化矩阵，则本修改可以以量化矩阵尺寸的降序对预测矩阵进行计算和编码。如果PPS被用于更新量化矩阵，则本修改也可以以量化矩阵尺寸的降序对预测矩阵进行计算和编码。

图14A和图14B是示出根据本实施方式的解码处理流程的示例的流程图。矩阵生成部210可以执行由主要关于每个编码流序列的流程图所表示的过程。

参照图14A，矩阵生成部210检查包含在序列的序列参数集中的矩阵类型标志以确定32×32量化矩阵是否为用户定义的量化矩阵(步骤S402)。如果32×32量化矩阵是用户定义的量化矩阵，则矩阵生成部210使用基本矩阵信息来建立32×32量化矩阵，即将32×32量化矩阵存储在量化矩阵缓冲器220中(步骤S404)。如果32×32量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的32×32量化矩阵(步骤S406)。

矩阵生成部210确定16×16量化矩阵是否为用户定义的量化矩阵(步骤S412)。如果16×16量化矩阵是用户定义的量化矩阵，则矩阵生成部210使用上述的预测表达式(12)或(13)，以根据32×32量化矩阵来计算16×16预测矩阵，并且将所计算的预测矩阵加至16×16差矩阵。结果，重构出16×16量化矩阵(步骤S414)。如果16×16差标志被设置为0，则差矩阵为空。直接将16×16预测矩阵设置为量化矩阵。如果16×16量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的16×16量化矩阵(步骤S416)。

参照图14B，矩阵生成部210确定8×8量化矩阵是否为用户定义的量化矩阵(步骤S422)。如果8×8量化矩阵是用户定义的量化矩阵，则矩阵生成部210根据16×16量化矩阵来计算8×8预测矩阵，并且将所计算的预测矩阵加至8×8差矩阵。结果，重构出8×8量化矩阵(步骤S424)。如果8×8差标志被设置为0，则差矩阵为空。可以直接将8×8预测矩阵设置为量化矩阵。如果8×8量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的8×8量化矩阵(步骤S426)。

矩阵生成部210确定4×4量化矩阵是否为用户定义的量化矩阵(步骤S432)。如果4×4量化矩阵是用户定义的量化矩阵，则矩阵生成部210根据8×8量化矩阵来计算4×4预测矩阵，并且将所计算的预测矩阵加至4×4差矩阵。结果，重构出4×4量化矩阵(步骤S434)。如果4×4差标志被设置为0，则差矩阵为空。可以直接将4×4预测矩阵设置为量化矩阵。如果4×4量化矩阵是默认量化矩阵，则矩阵生成部210建立默认的4×4量化矩阵(步骤S436)。

如果SPS被用于对量化矩阵进行解码，则本修改可以以量化矩阵尺寸的降序对量化矩阵进行重构。如果PPS被用于对量化矩阵进行更新，则本修改也可以以量化矩阵尺寸的降序对量化矩阵进行重构。

<6.示例应用>

根据上述实施方式的图像编码装置10和图像解码装置60可以应用于各种电子设备，例如：用于卫星广播、有线广播(如有线电视)、分发在因特网上、经由蜂窝通信分发至终端等的发送器和接收器；将图像记录在介质中的记录装置，如光盘、磁盘或快闪存储器；以及对来自这样的存储介质的图像进行再现的再现装置等。下面将描述四个示例应用。

[6-1.第一示例应用]

图15是示出采用上述实施方式的电视的示意性配置的示例的框图。电视900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911、以及总线912。

调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调获取的编码比特流输出到解复用器903。也就是说，调谐器902用作电视900的传输装置，以用于接收其中图像被编码的编码流。

解复用器903从编码比特流中分离待观看的节目的视频流和音频流，并且将已分离的每个流输出到解码器904。而且，解复用器903从编码比特流中提取辅助数据如EPG(电子节目指南)，并且将所提取的数据提供给控制部910。另外，解复用器903可以在编码比特流被加扰的情况下执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出到视频信号处理部905。而且，解码器904将通过解码处理所生成的音频数据输出到音频信号处理部907。

视频信号处理部905对从解码器904输入的视频数据进行再现，并且使显示部906显示该视频。视频信号处理部905也可以使显示部906显示经由网络提供的应用屏幕。另外，视频信号处理部905可以例如根据设置对视频数据执行另外的处理，如噪声去除。此外，视频信号处理部905可以例如生成GUI(图形用户界面)的图像(如菜单、按钮、光标等)，并且将所生成的图像叠加到输出图像上。

显示部906通过由视频信号处理部905所提供的驱动信号而被驱动，并且在显示装置的视频屏幕(例如，液晶显示器、等离子显示器、OLED等)上显示视频或图像。

音频信号处理部907对从解码器904输入的音频数据执行再现处理如D/A转换和放大，并且从扬声器908输出音频。而且，音频信号处理部907可以对音频数据执行另外的处理，如噪声去除。

外部接口909是用于连接电视900和外部设备或网络的接口。例如，经由外部接口909接收的视频流或音频流可以通过解码器904进行解码。也就是说，外部接口909还用作电视900的传输装置，以用于接收其中图像被编码的编码流。

控制部910包括处理器(如CPU(中央处理单元))和存储器(如RAM(随机存取存储器)、ROM(只读存储器))等。存储器对将由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等进行存储。存储在存储器中的程序例如在激活电视900时由CPU读取并执行。CPU根据从用户接口911输入的操作信号、例如通过执行程序来控制电视900的操作。

用户接口911连接到控制部910。用户接口911例如包括由用户使用以对电视900进行操作的按钮和开关、以及用于远程控制信号的接收部。用户接口911经由这些结构元件来检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部910。

总线912与调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909以及控制部910互连。

在以此方式配置的电视900中，解码器904具有根据上述实施方式的图像解码装置60的功能。因此，同样在电视900中的图像解码的情况下，也可以对由于量化矩阵的数目增加而导致的编码量增加进行抑制。

[6-2.第二示例应用]

图16是示出采用上述实施方式的移动电话的示意性配置的示例的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932、以及总线933。

天线921连接到通信部922。扬声器924和麦克风925连接到音频编解码器923。操作部932连接到控制部931。总线933将通信部922、音频编解码器923、摄像部926、图像处理部927、解复用部928、记录/再现部929、显示部930以及控制部931互连。

移动电话920以包括音频通信模式、数据通信模式、图像捕获模式和可视电话模式的各种操作模式来执行操作，如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像捕获、数据的记录等。

在音频通信模式中，将由麦克风925生成的模拟音频信号提供至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对所转换的音频数据进行A/D转换和压缩。然后，音频编解码器923将所压缩的音频数据输出到通信部922。通信部922对音频数据进行编码和调制，并生成发送信号。然后，通信部922经由天线921将所生成的发送信号发送到基站(未示出)。而且，通信部922将经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换，并获取所接收的信号。然后，通信部922对所接收的信号进行解调和解码并生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行扩展和D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并且使音频被输出。

而且，在数据通信模式中，控制部931例如根据经由操作部932的用户的操作来生成组成电子邮件的文本数据。另外，控制部931使文本被显示在显示部930上。此外，控制部931根据经由操作部932的用户的发送指令来生成电子邮件数据，并且将所生成的电子邮件数据输出到通信部922。然后，通信部922对电子邮件数据进行编码和调制，并且生成发送信号。然后，通信部922经由天线921将所生成的发送信号发送到基站。而且，通信部922对经由天线921所接收的无线信号进行放大，并且对无线信号的频率进行转换，并且获取所接收的信号。然后，通信部922对所接收的信号进行解调和解码，恢复电子邮件数据，并且将所恢复的电子邮件数据输出到控制部931。控制部931使显示部930显示电子邮件的内容，还使电子邮件数据被存储在记录/再现部929的存储介质中。

记录/再现部929包括任意的可读和可写存储介质。例如，存储介质可以是内置的存储介质(如RAM、快闪存储器等)、或外部安装的存储介质(如硬盘、磁盘、磁光盘、光盘、USB存储器、存储卡等)。

此外，在图像捕获模式中，摄像部926例如捕获对象的图像，生成图像数据，并且将所生成的图像数据输出到图像处理部927。图像处理部927对从摄像部926输入的图像数据进行编码，并且使编码流被存储在记录/再现部929的存储介质中。

此外，在可视电话模式中，解复用部928例如对由图像处理部927所编码的视频流和从音频编解码器923输入的音频流进行复用，并且将所复用的流输出到通信部922。通信部922对流进行编码和调制，并且生成发送信号。然后，通信部922经由天线921将所生成的发送信号发送到基站(未示出)。而且，通信部922对经由天线921接收的无线信号进行放大，并且对无线信号的频率进行转换，并获取所接收的信号。这些发送信号和所接收的信号可以包括编码比特流。然后，通信部922对所接收的信号进行解调和解码，恢复该流，并且将所恢复的流输出到解复用部928。解复用部928从输入流中分离视频流和音频流，并且将视频流输出到图像处理部927，以及将音频流输出到音频编解码器923。图像处理部927对视频流进行解码，并且生成视频数据。视频数据被提供至显示部930，并且由显示部930显示一系列图像。音频编解码器923对音频信号进行扩展和D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924，并且使音频被输出。

在以此方式配置的移动电话920中，图像处理部927具有根据上述实施方式的图像编码装置10和图像解码装置60的功能。因此，同样在移动电话920中的图像解码和图像编码的情况下，也可以对由于量化矩阵的数目增加而导致的编码量增加进行抑制。

[6-3.第三示例应用]

图17是示出采用上述实施方式的记录/再现装置的示意性配置的示例的框图。例如，记录/再现装置940对所接收的广播节目的音频数据和视频数据进行编码，并将其记录在记录介质中。记录/再现装置940例如还可以对从另一装置获取的音频数据和视频数据进行编码，并将其记录在记录介质中。此外，记录/再现装置940例如根据用户的指令使用监视器或扬声器对记录在记录介质中的数据进行再现。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示)948、控制部949、以及用户接口950。

调谐器941从经由天线(未示出)接收的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调获取的编码比特流输出到选择器946。也就是说，调谐器941用作记录/再现装置940的传输装置。

外部接口942是用于连接记录/再现装置940与外部设备或网络的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口、快闪存储器接口等。例如，将由外部接口942所接收的视频数据和音频数据输入到编码器943。也就是说，外部接口942作为记录/再现装置940的传输装置。

在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。

HDD944将编码比特流记录在内部硬盘中，该编码比特流是视频或音频、各种节目以及其他数据块的经压缩的内容数据。而且，HDD944在对视频或音频进行再现时从硬盘读取这些数据块。

盘驱动器945记录或读取所安装的记录介质中的数据。安装在盘驱动器945上的记录介质可以是例如DVD盘(DVD-视频、DVD-RAM、DVD-RW、DVD+、DVD+RW等)、蓝光(注册商标)光盘等。

选择器946在记录视频或音频时选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出到HDD944或盘驱动器945。而且，选择器946在再现视频或音频时将从HDD944或盘驱动器945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码，并且生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出到OSD948。而且，解码器904将所生成的音频数据输出到外部扬声器。

OSD948对从解码器947输入的视频数据进行再现，并且显示视频。而且，OSD948例如可以将GUI的图像(如菜单、按钮、光标等)叠加到所显示的视频上。

控制部949包括处理器(如CPU)以及存储器(如RAM或ROM)。存储器对将由CPU执行的程序、程序数据等进行存储。存储在存储器中的程序例如在激活记录/再现装置940时由CPU读取并执行。CPU根据从用户接口950输入的操作信号、例如通过执行程序来控制记录/再现装置940的操作。

用户接口950连接到控制部949。用户接口950例如包括由用户使用以操作记录/再现装置940的按钮和开关、以及用于远程控制信号的接收部。用户接口950经由这些结构元件来检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部949。

在以此方式配置的记录/再现装置940中，编码器943具有根据上述实施方式的图像编码装置10的功能。而且，解码器947具有根据上述实施方式的图像解码装置60的功能。因此，同样在记录/再现装置940中的图像解码和图像编码的情况下，也可以对由于量化矩阵的数目增加所导致的编码量的增加进行抑制。

[6-4.第四示例应用]

图18是示出采用上述实施方式的图像捕获装置的示意性配置的示例的框图。图像捕获装置960捕获对象的图像，生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。

像捕获装置960包括光学块961、图像捕获部分962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD969、控制部970、用户接口971、以及总线972。

光学块961连接到图像捕获部962。图像捕获部962连接到信号处理部963。显示部965连接到图像处理部964。用户接口971连接到控制部970。总线972将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD969以及控制部970互连。

光学块961包括聚焦透镜、孔径光阑机构等。光学块961在图像捕获部962的图像捕获表面上形成对象的光学图像。图像捕获部962包括图像传感器(如CCD、CMOS等)，并且通过光电转换将形成在图像捕获表面上的光学图像转换成作为电信号的图像信号。然后，图像捕获部962将图像信号输出到信号处理部963。

信号处理部963对从图像捕获部962输入的图像信号执行各种摄像信号处理，如拐点校正(kneecorrection)、伽马校正、颜色校正等。信号处理部963将摄像信号处理之后的图像数据输出到图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码，并且生成编码数据。然后，图像处理部964将所生成的编码数据输出到外部接口966或介质驱动器968。而且，图像处理部964对从外部接口966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。然后，图像处理部964将所生成的图像数据输出到显示部965。而且，图像处理部964可以将从信号处理部963输入的图像数据输出到显示部965，并且使图像被显示。此外，图像处理部964可以将从OSD969获取的用于显示的数据叠加到待输出到显示部965的图像上。

OSD969生成例如GUI的图像(如菜单、按钮、光标等)，并且将所生成的图像输出到图像处理部964。

外部接口966被配置为例如USB输入/输出终端。外部接口966例如在打印图像时连接图像捕获装置960和打印机。而且，在必要时将驱动器连接到外部接口966。可移动介质(如磁盘、光盘等)例如安装到驱动器上，并且从可移动介质读取的程序可以被安装在图像捕获装置960中。此外，外部接口966可以被配置为要连接到网络(如LAN、因特网等)的网络接口。也就是说，外部接口966作为图像捕获装置960的传输装置。

要被安装到介质驱动器968上的记录介质可以是例如任意的可读写的可移动介质，如磁盘、磁光盘、光盘、半导体存储器等。而且，记录介质可以被固定地安装在介质驱动器968上，从而配置成例如非便携式存储部，如内置的硬盘驱动器或SSD(固态驱动器)。

控制部970包括处理器(如CPU)以及存储器(如RAM或ROM)。存储器对将由CPU执行的程序、程序数据等进行存储。存储在存储器中的程序例如在激活图像捕获装置960时由CPU读取并执行。CPU根据从用户接口971输入的操作信号、例如通过执行程序来控制图像捕获装置960的操作。

用户接口971连接到控制部970。用户接口971包括例如由用户使用以操作图像捕获装置960的按钮、开关等。用户接口971经由这些结构元件来检测用户的操作，生成操作信号，并且将所生成的操作信号输出到控制部970。

在以此方式配置的图像捕获装置960中，图像处理部964具有根据上述实施方式的图像编码装置10和图像解码装置60的功能。因此，在图像捕获装置960中的图像解码和图像编码的情况下，可以对由于量化矩阵的数目增加而导致的编码量的增加进行抑制。

<7.总结>

已参照图1至图18描述了根据实施方式的图像编码装置10和图像解码装置60。如果多个量化矩阵与表示不同尺寸的多个变换单元相对应，则本实施方式使用预测技术，以根据与表示第一尺寸的变换单元相对应的第一量化矩阵来生成与表示第二尺寸的变换单元相对应的第二量化矩阵。这可以消除对整体第二量化矩阵进行编码的需求。可以有效地抑制编码量的增加，即使量化矩阵的数目增加也是如此。

本实施方式使用指定第一量化矩阵的矩阵信息和表示在预测矩阵与第二量化矩阵之间的差的差信息(差矩阵信息)来生成第二量化矩阵。因此，可以简单地通过仅对第二量化矩阵与预测矩阵之间的差进行编码来获取适于图像解码侧的第二量化矩阵。

根据本实施方式，第一标志可以表示预测矩阵与第二量化矩阵之间无差，并且可以从序列参数集或图片参数集中获取。在这样的情况下，假定根据第二量化矩阵预测的预测矩阵为第二量化矩阵。在此情况下，可以进一步减少编码量，这是因为针对第二量化矩阵甚至不对差信息进行编码。

第一量化矩阵可以具有变换单元尺寸中的最小值。上述配置不需要对除了具有最小尺寸的量化矩阵之外的所有量化矩阵进行编码。因此，可以更有效地抑制编码量的增加，即使量化矩阵的数目增加也是如此。

在本说明书中，已描述了如何将用于生成量化矩阵的信息复用到编码流的头部中，并且将其从编码侧发送到解码侧。然而，用于发送这样的信息的发送信息技术并不限于上述技术。例如，信息可以不被复用到编码比特流中，而可以作为与编码比特流相关联的独立数据被发送或记录。术语“关联”意味着确保包含在比特流中的图像(或图像的一部分，如片或块)与对应于该图像的信息链接的可能性。即，信息可以通过不同于用于图像(或比特流)的传输路径的传输路径进行传输。信息可以被记录在不同于用于图像(或比特流)的记录介质的记录介质(或在相同记录介质上的不同记录区域)上。信息和图像(或比特流)可以基于任意单元(如多帧、一帧或帧的一部分)而彼此相关联。

以上已参照附图描述了本发明的优选实施方式，然而当然本发明并不限于以上示例。本领域的技术人员可以在所附权利要求的范围内发现各种替换和修改，并且应该理解的是，这些替换和修改将必然属于本发明的技术范围。

附图标记列表

10图像处理装置(图像编码装置)

16编码部

110选择部

120正交变换部

130量化部

60图像处理装置(图像解码装置)

210矩阵生成部

230选择部

240逆量化部

250逆正交变换部

Claims (6)

1.一种图像处理装置，包括：

设定部，所述设定部通过复制8×8量化矩阵中彼此相邻的第一元素和第二元素之一作为在所述第一元素和所述第二元素之间的元素，来设定与32×32变换单元相对应的32×32量化矩阵；

逆量化部，所述逆量化部使用由所述设定部设定的所述32×32量化矩阵对量化数据进行逆量化。

2.根据权利要求1所述的图像处理装置，其中，所述设定部将所述8×8量化矩阵设定为

将所述32×32量化矩阵设定为

3.根据权利要求1或2所述的图像处理装置，还包括：

逆正交变换部，所述逆正交变换部使用所述32×32变换单元，来对由所述逆量化部所逆量化的变换系数数据执行逆正交变换从而生成图像数据。

4.一种图像处理方法，包括：

通过复制8×8量化矩阵中彼此相邻的第一元素和第二元素之一作为在所述第一元素和所述第二元素之间的元素，来设定与32×32变换单元相对应的32×32量化矩阵；

使用设定的所述32×32量化矩阵对量化数据进行逆量化。

5.根据权利要求4所述的图像处理方法，其中，所述8×8量化矩阵被设定为

所述32×32量化矩阵被设定为

6.根据权利要求4或5所述的图像处理方法，还包括：

使用所述32×32变换单元，对逆量化的变换系数数据执行逆正交变换从而生成图像数据。