CN103503452A - 图像处理装置和图像处理方法 - Google Patents

Abstract

[问题]为了使得量化矩阵能够给根据使用的正交变换方法自适应地进行切换。[解决方案]提供了一种图像处理装置，该图像处理装置包括：根据在对要被解码的图像的变换系数数据进行逆正交变换时选择的正交变换方法，为各变换单位设置在对所述变换系数数据进行逆量化时使用的量化矩阵的设置部；使用由所述设置部设置的所述量化矩阵对所述变换系数数据进行逆量化的逆量化部；以及使用所选的正交变换方法对被所述逆量化部逆量化的变换系数数据进行逆正交变换的变换部。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及图像处理装置和图像处理方法。

背景技术

在作为视频编码方案的标准说明之一的H.264/AVC中，可以在以High Profile或者更高档量化图像数据的同时对正交变换系数的每个成分使用不同的量化步骤。针对正交变换系数的每个成分的量化步骤可以基于以与正交变换单位相同大小定义的量化矩阵（也被称为定标列表）以及标准步骤值而被设置。

图28例示了在H.264/AVC中预定义的四类默认量化矩阵。矩阵SL1是用于内预测模式的默认4×4量化矩阵。矩阵SL2是用于间预测模式的默认4×4量化矩阵。矩阵SL3是用于内预测模式的默认8×8量化矩阵。矩阵SL4是用于间预测模式的默认8×8量化矩阵。用户还可以在序列参数集或图片参数集中定义与图28所例示的默认矩阵不同的自己的量化矩阵。注意到在没有量化矩阵被指定的情况下，可以使用对所有成分都具有相等量化步骤的平坦量化矩阵。

在标准化被发展作为继H.264/AVC的下一代图像编码方案的高效视频编码（HEVC）中，引入了与过去的宏块（参见如下的非专利文献1）相对应的编码单位（CU）的概念。此外，一个编码单位可被分成一个或多个正交变换单位，或者换句话说，一个或多个变换单位（TU）。每个变换单元随后经历从图像数据到变换系数数据的正交变换，并且正交变换数据被量化。

如下的非专利文献2讨论了在某些情况下在4×4内预测模式中如何通过在正交变换期间使用离散正弦变换（DST）代替离散余弦变换（DCT）来改善编码效率。

引用列表

非专利文献

非专利文献1：JCTVC-B205,″Test Model under Consideration″,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting:Geneva,CH,21-28 July,2010.

非专利文献2：JCTVC-E125,″CE7:Mode-dependent DCT/DSTwithout 4*4 full matrix multiplication for intra prediction″,ITU-TSG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting:Geneva,CH,16-23 March,2011.

发明内容

技术问题

然而，所导出的变换系数数据的趋势依赖在对图像数据进行正交变换期间所使用的正交变换方法而有所不同。例如，业已知晓相比于DCT方法，使用DST方法更容易产生更高范围的变换系数。结果，在如上述非专利文献2提出的使用多种正交变换方法的情况下，从避免由量化引起的图像质量恶化的角度来看，期望提供一种能够根据所使用的正交变换方法自适应地切换量化矩阵的机制。

问题的解决方案

根据本公开的一个实施例，提供了一种图像处理装置，包括：根据在对要被解码的图像的变换系数数据进行逆正交变换时选择的正交变换方法，为各变换单位设置在对所述变换系数数据进行逆量化时使用的量化矩阵的设置部；使用由所述设置部设置的所述量化矩阵对所述变换系数数据进行逆量化的逆量化部；以及使用所选的正交变换方法对被所述逆量化部逆量化的变换系数数据进行逆正交变换的变换部。

图像处理装置可以典型地被实现为解码图像的图像解码设备。

根据本公开的一个实施例，提供了一种图像处理方法，包括：根据在对要被解码的图像的变换系数数据进行逆正交变换时选择的正交变换方法，为各变换单位设置在对所述变换系数数据进行逆量化时使用的量化矩阵；使用所设置的量化矩阵对所述变换系数数据进行逆量化；以及使用所选的正交变换方法对逆量化的变换系数数据进行逆正交变换。

根据本公开的一个实施例，提供了一种图像处理装置，包括：使用为要被编码的图像的各变换单位选择的正交变换方法将图像数据变换为变换系数数据的变换部；根据由所述变换部使用的正交变换方法为各变换单位设置在对所述变换系数数据进行量化时使用的量化矩阵的设置部；以及使用由所述设置部设置的所述量化矩阵对所述变换系数数据进行量化的量化部。

图像处理装置可以典型地被实现为编码图像的图像编码设备。

根据本公开的一个实施例，提供了一种图像处理方法，包括：使用为要被编码的图像的各变换单位选择的正交变换方法将图像数据变换为变换系数数据；根据在对所述图像数据进行变换时使用的正交变换方法为各变换单位设置在对所述变换系数数据进行量化时使用的量化矩阵；以及使用所设置的量化矩阵对所述变换系数数据进行量化。

本发明的有益效果

如上所述，根据本公开，变得能够根据所使用的正交变换方法自适应地切换量化矩阵。

附图说明

图1是例示了根据一个实施例的图像编码装置的示例性构成的框图。

图2是示出了图1所示语法处理部的详细构造例的框图。

图3是示出了图1所示正交变换部的详细构造例的框图。

图4是示出了可在一个实施例中被选择的正交变换方法的基图案的示意图。

图5是示出了图1所示量化部的详细构造例的框图。

图6是示出了用于生成量化矩阵的参数例的示意图。

图7是用于说明梯度运算模式下DST量化矩阵的生成的示意图。

图8是用于说明系数表模式下DST量化矩阵的生成的示意图。

图9是用于说明混合运算模式下复合变换量化矩阵的生成的示意图。

图10是示出了表达参数语法的示例性伪码的第一部分的示意图。

图11是示出了表达参数语法的示例性伪码的第二部分的示意图。

图12是示出了表达参数语法的示例性伪码的第三部分的示意图。

图13是示出了表达参数语法的示例性伪码的第四部分的示意图。

图14是示出了表达参数语法的示例性伪码的第五部分的示意图。

图15是示出了根据一个实施例的量化处理流程例的流程图。

图16是示出了根据一个变形例的量化处理流程例的流程图。

图17是例示了根据一个实施例的图像解码装置的示例性构成的框图。

图18是示出了图17所示语法处理部的详细构造例的框图。

图19是示出了图17所示逆量化部的详细构造例的框图。

图20是示出了图17所示逆正交变换部的详细构造例的框图。

图21是示出了根据一个实施例的量化矩阵生成处理示例性流程的流程图。

图22是示出了图21所示DST量化矩阵生成处理示例性流程的流程图。

图23是示出了图21所示复合变换量化矩阵生成处理示例性流程的流程图。

图24是示出了电视的概略配置例的框图。

图25是示出了移动电话的概略配置例的框图。

图26是示出了记录和回放装置的概略配置例的框图。

图27是示出了成像装置的概略配置例的框图。

图28是示出了在H.264/AVC中预定义的默认量化矩阵的示意图。

具体实施方式

其后，将参考附图详细描述本发明的优选实施例。注意到，在此说明书和附图中，具有基本相同功能和结构的要素由相同的参考编号所指示，并由此省略对其的重复解释。

同样地，描述将以如下次序进行。

1.根据一个实施例的图像编码装置的示例性配置

1-1.示例性整体配置

1-2.语法处理部的示例性配置

1-3.正交变换部的示例性配置

1-4.量化部的示例性配置

1-5.示例性参数结构

1-6.DST量化矩阵的生成

1-7.复合变换量化矩阵的生成

2.语法例

3.根据一个实施例的编码期间的处理流程

4.根据一个实施例的图像解码装置的示例性配置

4-1.示例性整体配置

4-2.语法处理部的示例性配置

4-3.逆量化部的示例性配置

4-4.逆正交变换部的示例性配置

5.根据一个实施例的解码期间的处理流程

6.应用

7.结论

<1.根据一个实施例的图像编码装置的示例性配置>

这一部分描述根据一个实施例的图像编码装置的示例性配置。

[1-1.示例性整体配置]

图1是例示了根据一个实施例的图像编码装置10的示例性构成的框图。参见图1，图像编码装置10配备有模数（A/D）转换部11、重定序缓冲器12、语法处理部13、减法部14、正交变换部15、量化部16、无损编码部17、累积缓冲器18、速率控制部19、逆量化部21、逆正交变换部22、加法部23、解块滤波器24、帧存储器25、选择器26、内预测部30、运动估计部40、以及模式选择部50。

A/D转换部11将模拟格式输入的图像信号转换成数字格式，并将数字图像数据序列输出到重定序缓冲12。

重定序缓冲12对从A/D转换部11输入的图像数据序列内包括的图像进行重定序。在根据编码处理依图片组（GOP）结构重定序图像之后，重定序缓冲器12将重定序的图像数据输出至语法处理部13。

从重定序缓冲器12输出至语法处理部13的图像数据以被称为网络抽象层（NAL）单位的单位映射为比特流。图像数据流包括一个或多个序列。序列中的前导图片被称为瞬时解码更新（IDR）图片。每个序列包括一个或多个图片，并且每个图片还包括一个或多个片段（slice）。在H.264/AVC和HEVC中，这些片段是视频编码和解码的基本单位。用于各个片段的数据被识别为视频编码层（VCL）NAL单元。

语法处理部13相续识别从重定序缓冲器12输入的图像数据流的NAL单元，并且将存储头部信息的非VCL NAL单元插入该数据流。由语法处理部13插入该数据流的非VCL NAL单元包括序列参数集（SPS）和图片参数集（PPS）。注意到也可以设置与SPS和PPS不同的其他新参数集。例如，语法处理部13可以将仅存储与随后描述的量化矩阵有关的参数的量化矩阵参数集（QMPS）插入该数据流内。语法处理部13还可以在片段开始处添加片段头部（SH）。语法处理部13随后将包括VCL NAL单元和非VCL NAL单元的图像数据流输出至减法部14、内预测部30和运动估计部40。随后将进一步描述语法处理部13的详细配置。

减法部14被供应有从语法处理部13输入的图像数据以及由随后描述的模式选择部50选择的预测图像数据。减法部14计算作为从语法处理部13输入的图像数据和从模式选择部50插入的预测图像数据之差的预测误差数据，并将该计算出的预测误差数据输出至正交变换部15。

对于要被编码的图像的每个变换单位，正交变换部15通过使用从多个正交变换方法候选中选择的正交变换方法将图像数据转换为变换系数数据。经历由正交变换部15进行的正交变换的图像数据是从减法部14输入的预测误差数据。多个正交变换方法候选可以包括诸如离散余弦变换（DCT）法、离散正弦变换（DST）法、Hadamard变换法、Karhunen-Loeve变换法、以及上述方法的组合之类的方法。注意到在本说明书中其后的描述中，假设正交变换部15能够从DCT法、DST法以及这两种方法的组合（其后称为复合变换法）中进行选择。正交变换部15将经由正交变换处理从预测误差数据变换而来的变换系数数据输出至量化部16。随后将进一步描述正交变换部15的详细配置。

量化部16使用量化矩阵量化从正交变换部15输入的变换系数数据，并将经量化的变换系数数据（其后称为量化数据）输出至无损编码部17和逆量化部21。量化数据的比特率基于来自速率控制部19的速率控制信号而被控制。由量化部16使用的量化矩阵以SPS、PPS或其他参数集定义，并且可以在片段头部为每个片段所指定。在没有量化矩阵被指定的情况下，使用对所有成分都具有相等量化步骤的平坦量化矩阵。随后将进一步描述量化部16的详细配置。

无损解码部17通过对从量化部16输入的量化数据执行无损编码处理生成编码流。由无损解码部17进行的无损编码例如可以是长度可变编码或算术编码。此外，无损编码部17将从模式选择部50输入的有关内预测的信息或有关间预测的信息多路复用到编码流的头部内。无损解码部17随后将由此生成的编码流输出至累积缓冲器18。

累积缓冲器18使用诸如半导体存储器的存储介质临时缓冲从无损编码部17输入的编码流。累积缓冲器18随后以根据传输通道的带宽的速率将由此缓冲的编码流输出至未示出的传输部（诸如具有外围设备的通信接口或连接接口）。

速率控制部19监视累积缓冲器18内的空闲容量。随后，速率控制部19依据累积缓冲器18内的空闲容量生成速率控制信号，并将生成的速率控制信号输出至量化部16。例如，当累积缓冲器18内没有什么空闲容量时，速率控制部19生成降低量化数据的比特率的速率控制信号。同样地，例如，当累积缓冲器18内有充足空闲容量时，速率控制部19生成提升量化数据的比特率的速率控制信号。

逆量化部21使用与量化部16在量化处理期间设置的量化矩阵相同的量化矩阵对从量化部16输入的量化数据执行逆量化处理。逆量化部21随后将通过逆量化处理获取的变换系数数据输出至逆正交变换部22。

逆正交变换部22通过将逆正交变换应用于从逆量化部21输入的变换系数数据来恢复预测误差数据。由逆正交变换部22使用的正交变换方法与正交变换部15在正交变换处理期间选择的方法相等同。随后，逆正交变换部22将恢复的预测误差数据输出至加法部23。

加法部23将从逆正交变换部22输入的恢复的预测误差数据与从模式选择部50输入的预测图像数据相加，藉此生成解码图像数据。随后，加法部23将由此生成的解码图像数据输出至解块滤波器24和帧存储器25。

解块滤波器24应用滤波以减少图像编码时产生的成块伪像。解块滤波器24通过对从加法部23输入的解码图像数据进行滤波来移除成块伪像，并且将由此滤波的解码图像输出至帧存储器25。

帧存储器25使用存储介质存储从加法部23输入的解码图像数据以及在滤波之后从解块滤波器24输入的解码图像数据。

选择器26从帧存储器25中读取要被用于内预测的未经滤波的解码图像数据，并将由此读取的解码图像数据作为参考图像数据供应至内预测部30。同样地，选择器26从帧存储器25中读取要被用于间预测的经滤波的解码图像数据，并将由此读取的解码图像数据作为参考图像数据供应至运动估计部40。

内预测部30基于从语法处理部13输入的要被编码的图像数据和经由选择器26供应的解码图像数据而在各自的内预测模式下执行内预测处理。例如，内预测部30使用预先确定的成本函数估计每个内预测模式的预测结果。然后，内预测部30选择产生最小成本函数值的内预测模式（即，产生最高压缩率的内预测模式）作为最优内预测模式。内预测部30随后将预测图像数据、包括所选最优内预测模式等的有关内预测的信息以及成本函数值输出至模式选择部50。与内预测相关的信息可以包括表达针对内预测的最优预测方向的信息。

运动估计部40基于从语法处理部13输入的要被编码的图像数据和经由选择器26供应的解码图像数据而执行间预测处理（帧间预测处理）。例如，运动估计部40使用预先确定的成本函数估计每个预测模式的预测结果。然后，运动估计部40选择产生最小成本函数值的预测模式（即，产生最高压缩率的预测模式）作为最优预测模式。运动估计部40根据该最优预测模式生成预测图像数据。运动估计部40将预测图像数据、包括所选最优预测模式等的有关间预测的信息以及成本函数值输出至模式选择部50。

模式选择部50将从内预测部30输入的有关内预测的成本函数值与从运动估计部40输入的有关间预测的成本函数值相比较。随后，模式选择部50在内预测和间预测之中选择具有最小成本函数值的预测方法。在选择内预测的情况下，模式选择部50将与内预测有关的信息输出至正交变换部15和无损解码部17，并将预测图像数据输出至减法部14和加法部23。同样地，在选择间预测的情况下，模式选择部50将与上述间预测有关的信息输出至无损解码部17，并将预测图像数据输出至减法部14和加法部23。

[1-2.语法处理部的示例性配置]

图2是示出了图1所示图像编码装置10的语法处理部13的详细构造例的框图。参考图2，语法处理部13包括设置存储部132、参数生成部134和插入部136。

(1)设置存储部

设置存储部132存储由图像编码装置10在编码处理中使用的各种设置。例如，设置存储部132存储诸如用于图像数据内每个序列的档（profile）、用于每个图片的编码模式、有关GOP结构的数据、以及编码单位和变换单位设置之类的信息。同样地，在本实施例中，设置存储部132存储有关由量化部16（和逆量化部21）使用的量化矩阵的设置。这些设置可以是针对每个片段被预定的，典型地基于离线图像分析。

(2)参数生成部

参数生成部134生成定义由设置存储部132存储的设置的参数，并且将生成的参数输出至插入部136。

例如，在本实施例中，参数生成部134生成量化矩阵参数，量化矩阵参数用于生成可由量化部16使用的量化矩阵。可由量化部16使用的量化矩阵包括与可由正交变换部15选择的每个正交变换方法候选相对应的量化矩阵。随后将进一步讨论由参数生成部134生成的量化矩阵参数的例子。

(3)插入部

插入部136将相应地包括由参数生成部134生成的参数组的诸如SPS和PPS的头部信息以及片段头部插入从重定序缓冲器12输入的图像数据流。由插入部136插入图像数据流的头部信息包括由参数生成部134生成的量化矩阵参数。插入部136随后将带有插入的头部信息的图像数据路输出至减法部14、内预测部30和运动估计部40。

[1-3.正交变换部的示例性配置]

图3是示出了图1所示图像编码装置10的正交变换部15的详细构造例的框图。参见图3，正交变换部15包括变换方法选择部152和正交变换计算部154。

(1)变换方法选择部

变换方法选择部152从多个正交变换方法候选中选择用于对每个变换单位的预测误差数据进行正交变换的正交变换方法。例如，在H.264/AVC中，DCT法是用于预测误差数据正交变换的正交变换方法。另一方面，在本实施例中，变换方法选择部152应用上述非专利文献2中提出的基本原理，并且能够从以下四个正交变换方法中进行选择：

a)DCT法

b)DST法

c)复合变换法(DST_DCT)

d)复合变换法(DCT_DST)

其中，a)DCT法是通常在H.264/AVC等中使用的正交变换方法，并且在H.264/AVC，该DCT被应用于垂直方向和水平方向两者。在b)DST法中，DST被应用于垂直方向和水平方向两者。在c)DST_DCT法中，垂直方向内的频率成分由DST提取，而水平方向内的频率成分则由DCT提取。在d)DCT_DST法中，垂直方向内的频率成分由DCT提取，而水平方向内的频率成分则由DST提取。换句话说，在本实施例中，变换方法选择部152能够为垂直方向内的正交变换和水平方向内的正交变换选择不同的正交变换方法。

图4是概念性地示出可由变换方法选择部152选择的上述四种正交变换方法的基础图案的图示。参见图4，基础图案的各例被示出为左上的a)DCT法，右下的b)DST法，右上的c)DST_DCT法和左下的d)DCT_DST法。在每个基础图案中的频带为阴影的变化所指示，并且频带在每个图案从左上到右下的行进中从低范围至高范围变化。图4证明的一点在于在不同于DCT法的其他三种方法中，左上角的元素不完全是直流（DC）成分。结果，在对垂直方向和水平方向的至少之一应用DST的情况下，相比于在两个方向上应用DCT的情况下，对高频成分显著的变换系数可能更容易出现在应用DST的方向上。同样地，通过在任一方向内应用DST，由正交变换导出的变换系数数据的趋势依赖于应用DST的方向而有所不同。

变换方法选择部152对正交变换方法的选择可以根据上述非专利文献2中描述的技术进行。在此情况下，变换方法选择部152基于由模式选择部50选择的预测技术（内预测/间预测）、预测单位的大小以及预测方向来为每个方向选择正交变换方法。例如，变换方法选择部152在间预测的情况下，或者在8×8或更大内预测的情况下选择DCT法。另一方面，在4×4内预测的情况下，变换方法选择部152根据内预测的预测方向切换正交变换方法。在内预测的预测方向和选择的正交变换方法之间的映射可以是如上述非专利文献2的表1中描述的映射。还可以使用其他的映射。变换方法选择部152随后将为每个变换单位选定的正交变换方法报告给正交变换计算部154。

(2)正交变换计算部

针对每个变化单位，正交变换计算部154使用由变换方法选择部152选择的正交变换方法将从减法部14输入的预测误差数据变换为变换系数数据。正交变换计算部154随后将经变换的变换系数数据输出至量化部16。变换方法选择部152还可以将表达为每个变换单位选择的正交变换方法的变换方法信息输出至量化部16。

[1-4.量化部的示例性配置]

图5是示出了图1所示图像编码装置10的量化部16的详细构造例的框图。参见图5，量化部16包括量化矩阵设置部162和量化计算部164。

(1)量化矩阵设置部

量化矩阵设置部162根据由正交变换部15使用的正交变换方法来对用于量化针对每个变换单位的变换系数数据的量化矩阵进行设置。例如，量化矩阵设置部162首先从正交变换部15获取变换方法信息。变换方法信息可以是标识为每个变换单位选择的正交变换方法的标识信息。此外，变换方法信息可以是表达预测技术（内预测/间预测）、预测单位大小和与每个变换单位相对应的预测方向的信息。

量化矩阵设置部162从获取的变换方法信息识别用于每个变换单位的正交变换方法，并且设置与被识别的用于每个变换单元的正交变换方法相对应的量化矩阵。量化矩阵设置部162还可以在例如间预测的情况下或是在8×8或更大内预测的情况下均一设置用于各变换单位的DCT量化矩阵。还可以根据来自速率控制部19的速率控制信号来对设置量化矩阵的量化步骤进行调整。与此同时，在4×4内预测的情况下，量化矩阵设置部162可以根据如下表1指示的映射获取与所识别的正交变换方法相对应的量化矩阵。

表1.根据使用的变换方法设置量化矩阵

在表1中，M_DCT是DCT量化矩阵，M_DST是DST量化矩阵，M_{DST_DCT}是DST_DCT量化矩阵，而M_{DCT_DST}是DCT_DST量化矩阵。相比于DCT量化矩阵M_DCT，可以应用DST量化矩阵M_DST以产生从低范围到高范围的平滑量化步进梯度。于是，经由DST导出的变换系数数据的高频成分的变换系数的显著性变得不那么容易丢失。例如，DCT量化矩阵M_DCT和DST量化矩阵M_DST可以是类似如下的矩阵：

$M_{\mathrm{DCT}}=\left[\begin{array}{cccc}6& 12& 24& 36\\ 12& 24& 36& 48\\ 24& 36& 48& 60\\ 36& 48& 60& 72\end{array}\right],$ $M_{\mathrm{DST}}=\left[\begin{array}{cccc}10& 10& 10& 20\\ 10& 10& 20& 20\\ 10& 20& 20& 30\\ 20& 20& 30& 30\end{array}\right]$

此外，DST_DCT量化矩阵M_{DST_DCT}和DCT_DST量化矩阵M_{DCT_DST}可以是类似如下的矩阵：

$M_{\mathrm{DST}\_\mathrm{DCT}}=\left[\begin{array}{cccc}6& 12& 24& 36\\ 17& 19& 27& 38\\ 19& 27& 38& 50\\ 27& 38& 50& 58\end{array}\right],$ $M_{\mathrm{DCT}\_\mathrm{DST}}=\left[\begin{array}{cccc}6& 17& 19& 27\\ 12& 19& 27& 28\\ 24& 27& 38& 50\\ 36& 38& 50& 58\end{array}\right]$

使用上例，在DST_DCT量化矩阵M_{DST_DCT}中，垂直方向内的量化步进梯度要比水平方向内的量化步进梯度更为平滑。此外，在DCT_DST量化矩阵M_{DCT_DST}中，水平方向内的量化步进梯度要比垂直方向内的量化步进梯度更为平滑。

(2)量化计算部

针对每个变换单位，量化计算部164使用由量化矩阵设置部162设置的量化矩阵来对从正交变换部15输入的变换系数数据进行量化。量化计算部164随后将量化后变换系数数据（量化数据）输出至无损编码部17和逆量化部21。注意到由量化矩阵设置部162设置的量化矩阵还可以在逆量化部21处进行逆量化处理期间使用。

[1-5.示例性参数结构]

图6示出了与来自由语法处理部13的参数生成部134生成的量化矩阵参数生成部134的除DCT量化矩阵之外的其他量化矩阵相关的参数例。注意到与DCT量化矩阵相关的参数可以是与诸如H.264/AVC的现有视频编码方案中的参数相类似的参数。

参见图6，量化矩阵参数包括为每个量化矩阵生成的“默认标志”、“DST矩阵标志”和参数组。

“默认标志”是表达是否使用默认量化矩阵的标志。在默认标志指示“0:否”的情况下，定义与该默认量化矩阵不同的唯一量化矩阵，并且在量化期间使用该唯一量化矩阵。另一方面，在默认标志指示“1:是”的情况下，在量化期间使用该默认量化矩阵。

“DST矩阵标志”是表达是否生成DST量化矩阵的标志。在DST矩阵标志指示“0:否”的情况下，使用该DST量化矩阵，即使对已经选择了DCT法之外的其他正交变换方法的变换单位也是如此。另一方面，在DST矩阵标志指示“1:是”的情况下，可以使用该DST量化矩阵（以及用于复合变换的量化矩阵），并且这些量化矩阵将在解码侧生成。

“生成模式”是用于生成DST量化矩阵的一个参数。“生成模式”是表达如何生成DST量化矩阵的分类。作为一例，生成模式分类可以采用如下值之一：

0:完全扫描模式

1:残差模式

2:梯度运算模式

3:系数表模式

如果DST生成模式是“0:完全扫描模式”，则量化矩阵参数额外包括用于该DST的“差分数据”。该“差分数据”可以是通过使用折线扫描将DST量化矩阵的所有元素转换成线性阵列并以差分脉冲代码调制（DPCM）格式编码该线性阵列所获取的数据。

如果DST生成模式是“1:残差模式”，则该量化矩阵参数额外包括用于该DST的“残差数据”。该“残差数据”可以是通过使用折线扫描将DST量化矩阵和DCT量化矩阵之间所有元素的差转换成线性阵列所获取的数据。

如果DS生成模式是“2:梯度运算模式”，则该量化矩阵参数额外包括“梯度比”。该“梯度比”是指定DCT量化矩阵中从低范围到高范围的梯度和DST量化矩阵中从低范围到高范围的梯度之比的数据。随后将进一步描述在梯度运算模式中生成DST量化矩阵的处理。

如果DST生成模式是“3:系数表模式”，则该量化矩阵参数额外包括“表编号”。该“表编号”是为了生成DST量化矩阵指定DCT量化矩阵中每个元素相乘的表存储系数的编号的数据。随后将进一步描述在系数表模式中生成DST量化矩阵的处理。

“混合运算标志”是生成用于复合变换的量化矩阵的参数。“混合运算标志”是表达是否使用基于DCT量化矩阵和DST量化矩阵的混合运算（或加权平均）计算用于复合变换的量化矩阵的标志。在混合运算标志指示“0:否”的情况下，在完全扫描模式或残差模式下生成用于复合变换的量化矩阵。另一方面，在混合运算标志指示“1:是”的情况下，使用混合运算生成用于复合变换的量化矩阵。

如果混合运算标志是“1:是”，则该量化矩阵参数额外包括“混合比”。“混合比”是指定在混合DST量化矩阵和DCT量化矩阵的情况下针对每个元素的比例（或加权）。随后将进一步描述在混合运算模式中生成复合变换量化矩阵的处理。

如果混合运算标志是“0:否”，则该量化矩阵参数额外包括复合变换“生成模式”。该“生成模式”是表达如何生成用于复合变换的量化矩阵的分类。作为一例，生成模式分类可以采用如下值之一：

0:完全扫描模式

1:残差模式

如果复合变换生成模式是“0:完全扫描模式”，则量化矩阵参数额外包括用于DST_DCT和DCT_DST中每一个的“差分数据”。该“差分数据”可以是通过使用折线扫描将每个量化矩阵的所有元素转换成线性阵列并以DPCM格式编码该线性阵列所获取的数据。

如果复合变换生成模式是“1:残差模式”，则量化矩阵参数额外包括用于DST_DCT和DCT_DST中每一个的“残差数据”。该“残差数据”可以是通过使用折线扫描将每个量化矩阵和DCT量化矩阵之间所有元素的差转换成线性阵列所获取的数据。

正如在前所讨论的，在图6例示的量化矩阵参数可被插入SPS或PPS，或与这些参数集不同的新参数集。应该注意到这些量化矩阵参数仅是一个例子。换句话说，可以省略上述量化矩阵参数中的一些参数，也还可以添加其他参数。

[1-6.DST量化矩阵的生成]

如参考图6所述，本实施例支持从DCT量化矩阵中生成DST量化矩阵的若干模式。这些模式是编码效率比在完全扫描模式下传送DST量化矩阵的情况下更高的模式，并且可以从多个候选模式中选择使编码效率最优的模式。用于从DCT量化矩阵中生成DST量化矩阵的模式可以包括残差模式、梯度运算模式和系数表模式。

(1)残差模式

在残差模式中，可以将表达DST量化矩阵和DCT量化矩阵之间所有元素之差的线性阵列的残差数据从编码侧传送至解码侧。随后，在解码侧，包括在该残差数据中的每个元素的残差误差与DCT量化矩阵中每个元素的值被相加，并生成DST量化矩阵。

(2)梯度运算模式

梯度运算模式是通过转换DCT量化矩阵以使得从低范围到高范围的元素值的梯度变得更为平滑来生成DST量化矩阵的模式。在梯度运算模式中，可以将表达元素值的梯度的变化率的梯度比从编码侧传送至解码侧。

例如，梯度比grad可被用于根据下式计算DST量化矩阵第i行第j列的元素值M_DST(i,j)。

M_DST(i，j)＝M_DCT(0，0)+grad·(M_DCT(i，j)-M_DCT，(0，0))  (1)

图7是用于说明梯度运算模式下DST量化矩阵的生成的示例性图示。图7的左侧示出了DCT量化矩阵M_DCT作为一例。用于每个元素位置的梯度被导出作为该元素位置处的元素值与左上角（第0行第0列）处的元素值之差。在图7的示例中，梯度比为grad=0.5。DST量化矩阵M_DST通过将DCT量化矩阵M_DCT中的每个元素加上与该元素相对应的梯度乘以梯度比所得的值而算出。

根据上述梯度运算模式，可以简单地通过仅将梯度比从编码侧传送至解码侧而从单个量化矩阵中生成适于不同正交变换方法的量化矩阵。结果，变得能够在不大幅降低编码效率的情况下生成多个量化矩阵候选并自适应地切换量化矩阵。同样地，根据使用梯度比的上式，可以通过仅简单地指定梯度比而方便地生成具有从低范围到高范围的平滑梯度的DST量化矩阵。

(3)系数表模式

与梯度运算模式相类似，系数表模式是通过转换DCT量化矩阵以使得从低范围到高范围的元素值的梯度变得更为平滑来生成DST量化矩阵的模式。在系数表模式下，各自存储用于乘以DCT量化矩阵的系数的多个候选系数表被预先定义并存储在编码侧和解码侧两侧。随后，规定系数表使用的表编号可被从编码侧传送至解码侧。注意到，在仅有一个系数表被定义的情况下还可以省略表编号的传送。

例如，在由表编号t-num指定的表格的第i行第j列上的元素T_t-num(i,j)可被用于根据下式计算DST量化矩阵的第i行第j列上的元素值M_DST(i,j)：

M_DST(i,j)=T_t-num(i,j)·M_DCT(i,j))   (2)

图8是用于说明系数表模式下DST量化矩阵的生成的示例性图示。图8的左侧示出了DCT量化矩阵M_DCT作为一例。同样地，图8的底部例示了四个预定义的系数表T_t-num(表编号t-num=1,2,3,4)。在这些系数表中的各系数是小于等于1的正数，并且被定义为使得高频系数的值小于低频系数的值。在图8的例子中，指定表编号t-num=3。结果，通过将DCT量化矩阵M_DCT内的每个元素乘以系数表T₃内的每个系数来计算DST量化矩阵M_DST。

根据上述系数表模式，可以简单地通过仅将表编号从编码侧传送至解码侧而从单个量化矩阵中生成适于不同正交变换方法的量化矩阵。结果，变得能够在不大幅降低编码效率的情况下生成多个量化矩阵候选并自适应地切换量化矩阵。另外，由于可以从多个系数表模式中选择最优系数，因此通过选择具体适于正使用的正交变换方法的各属性或变换系数数据的趋势的系数表能够有效减轻由量化引起的图像质量劣化。

[1-7.复合变换量化矩阵的生成]

本实施例支持用于从DCT量化矩阵和DST量化矩阵之一或两者生成复合变换量化矩阵的若干模式。这些模式是编码效率比在完全扫描模式下传送复合变换量化矩阵的情况下更高的模式，并且可以从多个候选模式中选择使编码效率最优的模式。用于生成复合变换量化矩阵的模式可以包括完全扫描模式，以及残差模式和混合运算模式。注意到还可以分别为DST_DCT量化矩阵和DCT_DST量化矩阵指定不同的生成模式。

(1)残差模式

在残差模式中，可以将表达复合变换量化矩阵和DCT（或DST）量化矩阵之间所有元素之差的线性阵列的残差数据从编码侧传送至解码侧。随后，在解码侧，包括在该残差数据中的每个元素的残差误差被与DCT（或DST）量化矩阵中每个元素的值相加，并生成相应的复合变换量化矩阵。

(2)混合运算模式

混合运算描述是通过对DCT量化矩阵和DST量化矩阵进行混合（计算其加权平均）生成复合变换量化矩阵的模式。在混合运算模式中，可将出于混合运算的目的指定每个元素位置的混合比（加权）的数据从编码侧传送至解码侧。注意到，混合比的传送还可以通过预先静态定义编码侧和解码侧之间的混合比而省略。

例如，垂直方向相比于水平方向的混合比Sv(i,j):Ch(i,j)可被用于根据下式计算DST_DCT量化矩阵第i行第j列的元素值M_{DST_DCT}(i,j)：

$M_{\mathrm{DST}\_\mathrm{DCT}}(i,j)=\frac{{\mathrm{Ch}}_{i,j}\&CenterDot;M_{\mathrm{DCT}}(i,j)+{\mathrm{Sv}}_{i,j}\&CenterDot;M_{\mathrm{DST}}(i,j)}{{\mathrm{Ch}}_{i,j}+{\mathrm{Sv}}_{i,j}}---\left(3\right)$

类似地，垂直方向相比于水平方向的混合比Cv(i,j):Sh(i,j)可被用于根据下式计算DCT_DST量化矩阵第i行第j列的元素值M_{DCT_DST}(i,j)：

$M_{\mathrm{DCT}\_\mathrm{DST}}(i,j)=\frac{{\mathrm{Cv}}_{i,j}\&CenterDot;M_{\mathrm{DCT}}(i,j)+{\mathrm{Sh}}_{i,j}\&CenterDot;M_{\mathrm{DST}}(i,j)}{{\mathrm{Cv}}_{i,j}+{\mathrm{Sh}}_{i,j}}---\left(4\right)$

在此，组成混合比的值Ch、Sv、Cv和Sh例如可以是类似如下的值。注意到，Ch和Cv对应于乘以DCT量化矩阵的权重，而Sv和Sh则对应于乘以DST量化矩阵的权重。

${\mathrm{Ch}}_{i,j}=\left[\begin{array}{cccc}3& 3& 3& 3\\ 2& 2& 2& 2\\ 2& 2& 2& 2\\ 1& 1& 1& 1\end{array}\right],$ ${\mathrm{Sv}}_{i,j}=\left[\begin{array}{cccc}0& 0& 0& 0\\ 1& 1& 1& 1\\ 1& 1& 1& 1\\ 2& 2& 2& 2\end{array}\right]$

${\mathrm{Cv}}_{i,j}=\left[\begin{array}{cccc}3& 2& 2& 1\\ 3& 2& 2& 1\\ 3& 2& 2& 1\\ 3& 2& 2& 1\end{array}\right],$ ${\mathrm{Sh}}_{i,j}=\left[\begin{array}{cccc}0& 1& 1& 2\\ 0& 1& 1& 2\\ 0& 1& 1& 2\\ 0& 1& 1& 2\end{array}\right]$

图9是用于说明混合运算模式下复合变换量化矩阵的生成的示例性图示。图9的左侧示出了DCT量化矩阵M_DCT和DST量化矩阵M_DST作为一例。同样地，在图9的顶部例示了用于生成DST_DCT量化矩阵M_{DST_DCT}的混合比Ch:Sv的矩阵。DST_DCT量化矩阵M_{DST_DCT}可以通过使用这一混合比Ch:Sv计算两个量化矩阵M_DCT和M_DST的加权平均来算出。在图9的底部例示了用于生成DCT_DST量化矩阵M_{DCT_DST}的混合比Cv:Sh的矩阵。DCT_DST量化矩阵M_{DCT_DST}可以通过使用这一混合比Cv:Sh计算两个量化矩阵M_DCT和M_DST的加权平均来算出。结果，生成沿着使用DST方向的梯度要比沿着使用DCT方向的梯度更为平滑的两个量化矩阵M_{DST_DCT}和M_{DCT_DST}。

根据上述混合运算模式，能够在无需传送复合变换量化矩阵的定义的情况下从非复合变换量化矩阵中生成复合变换量化矩阵。结果就变得能够在不会大幅降低编码效率的情况下恰当生成与正交变换方法的各种组合相对应的各种量化矩阵候选，即使在可以选择垂直方向上的正交变换与水平方向上的正交变换不同的正交变换方法的情况下亦是如此。

<2.语法例>

图10至14分别例示了根据本实施例的表达量化矩阵参数的语法的伪代码。在伪代码的左边缘给出了行号。同样地，伪代码中的下划线变量意味着与该变量相对应的参数可以在参数集内指定。注意到，为了解释简要，将省略对与量化矩阵有关的参数之外的其他参数的描述。

图10中行1的函数XXParameterSet()是表达单个参数集的语法的函数。在行2，指定了用于该参数集的ID(XX_parameter_set_id)。通过在每个片段头部指定参数集ID，变得能够标识在该片段中使用的量化矩阵。在行3，指定默认标志(use_default_only_flag)。如果默认标志为零，则在行5和其后指定与每种正交变换方法相对应的量化矩阵参数（不是默认）。

从行6至行10的语法是用于DCT量化矩阵的语法。用于DCT量化矩阵的语法与现有视频编码方案的语法类似。在行12，指定DST矩阵标志。如果DST矩阵标志(use_dst_quantization_matrix_flag)为1，则附加指定用于DST量化矩阵和复合变换量化矩阵的参数。用于DST量化矩阵的语法在图11中示出。同样地，用于复合变换量化矩阵的参数语法在图13中示出。

在图11中，行15和行16的FOR语句意味着为每种矩阵大小和类型重复处理。然而，在本实施例中，DST量化矩阵仅用于4×4辉度(Y)内预测。由此，由这些FOR语句包围的处理仅被有效执行一次。然而，在为其他大小或其他类型使用DST量化矩阵的情况下则可以将该处理重复更多的次数。

在行17，指定用于DST量化矩阵的生成模式(predict_mode)。行19的函数qmatrix_dst(i,j)指定完全扫描模式下的差分数据。行21的函数residual_matrix(i,j)指示残差模式下的残差数据。行23的函数calc_dst_mtx_gradient()指示梯度模式下的梯度比(gradient)（参见图12）。行25的函数calc_dst_mtx_transtable()指示系数表模式下的表编号(trans_table_num)（参见图12）。

参见图13，在行31，指定了混合运算标志(blend_flag)。如果混合运算标志为1，则通过行33的函数calculate_from_dct_and_dst_qmatrix()附加指定混合比(blend_ratio())（参见图14）。如果混合运算标志不为1，则附加指定行35及其后的语法。

行35的FOR语句意味着为两个复合变换方法（即，DST_DCT法和DCT_DST法）重复处理。在行38，指定用于复合变换量化矩阵的生成模式(predict_mode)。行40的函数qmatrix_dctdst(h,i,j)指定完全扫描模式下的差分数据。行42的函数residual_matrix(h,i,j)指示残差模式下的残差数据。

<3.根据一个实施例的编码期间的处理流程>

(1)量化处理

图15是例示了由根据本实施例的量化部16进行的示例性量化处理流程的流程图。可以对要被编码的图像中的各变换单位重复进行图15中例示的量化处理。

参见图15，量化矩阵设置部162首先从正交变换部15获取变换方法信息（步骤S100）。接下来，量化矩阵设置部162判定是否已经为正被处理的变换单位选择了4×4内预测（步骤S102）。在此，处理在尚未选择4×4内预测的情况下行进至步骤S116。在此情况下，量化矩阵设置部162为正被处理的变换单位（TU）设置DCT量化矩阵M_DCT。另一方面，处理在已经选择4×4内预测的情况下行进至步骤S104。

在步骤S104，量化矩阵设置部162判定DST是否在正被处理的变换单位的垂直方向内进行（步骤S104）。此外，量化矩阵设置部162判定DST是否在正被处理的变换单位的水平方向内进行（步骤S106、S108）。

随后，在DST在垂直方向和水平方向两者内进行的情况下，量化矩阵设置部162设置用于正被处理的变换单位的DST量化矩阵M_DST（步骤S110）。同样地，在DST在垂直方向内进行而DCT在水平方向内进行的情况下，量化矩阵设置部162设置用于正被处理的变换单位的DST_DCT量化矩阵M_{DST_DCT}（步骤S112）。同样地，在DCT在垂直方向内进行而DST在水平方向内进行的情况下，量化矩阵设置部162设置用于正被处理的变换单位的DCT_DST量化矩阵M_{DCT_DST}（步骤S114）。同样地，在DCT在垂直方向和水平方向两者内进行的情况下，量化矩阵设置部162设置用于正被处理的变换单位的DCT量化矩阵M_DCT（步骤S116）。

针对正被处理的变换单位，量化计算部164随后使用由量化矩阵设置部162设置的量化矩阵来对从正交变换部15输入的变换系数数据进行量化（步骤S118）。

(2)变形

本实施例主要描述可以为针对在垂直方向上的正交变换使用的正交变换方法和在水平方向上的正交变换使用的正交变换方法的每种组合而有所不同的四类量化矩阵设置各自的变换单位的例子。然而，为了降低装置实现的复杂度，还可以仅使用DCT量化矩阵和DST量化矩阵，而无需使用复合变换量化矩阵。

在不使用复合变换量化矩阵的情况下，量化矩阵设置部162可以根据在下表2中指示的映射判定与由正交变换部15选择的正交变换方法相对应的量化矩阵。

表2.根据使用的变换方法设置量化矩阵

(变形)

根据表2，为DCT被应用于垂直方向和水平方向中的至少一个方向的变换单位设置DCT量化矩阵M_DCT，而为DST被应用于垂直方向和水平方向两者的变换单位设置DST量化矩阵M_DST.

图16是例示了由根据本变形例的量化部16进行的示例性量化处理流程的流程图。可以对要被编码的图像中的各变换单位重复进行图16中例示的量化处理。

参见图16，量化矩阵设置部162首先从正交变换部15获取变换方法信息（步骤S130）。接下来，量化矩阵设置部162判定DST是否在正被处理的变换单位的垂直方向和水平方向两者内进行（步骤S132）。在此，在DST在垂直方向和水平方向两者内进行的情况下，量化矩阵设置部162设置用于正被处理的变换单位的DST量化矩阵M_DST（步骤S134）。相反地，在DCT在垂直方向和水平方向中的至少之一内进行的情况下，量化矩阵设置部162设置用于正被处理的变换单位的DCT量化矩阵M_DCT（步骤S136）。

针对正被处理的变换单位，量化计算部164随后使用由量化矩阵设置部162设置的量化矩阵来对从正交变换部15输入的变换系数数据进行量化（步骤S138）。

根据本变形例，由于使用的量化矩阵类型更少，由此降低了装置实现的复杂度。结果，就能够抑制与装置实施相关联的成本增加，即便在根据正交变换方法自适应地切换量化矩阵的情况下亦是如此。用于从图6中例示的量化矩阵参数（例如，混合运算标志）中生成复合变换量化矩阵的参数也可以从语法中省略。

<4.根据一个实施例的图像解码装置的示例性配置]

[4-1.示例性整体配置]

这一部分描述根据一个实施例的图像解码装置的示例性配置。

[4-1.示例性整体配置]

图17是例示了根据一个实施例的图像解码装置60的示例性构成的框图。参考图17，图像解码装置60包括语法处理部61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、解块滤波器66、重定序缓冲67、数模（D/A）转换部68、帧存储器69、选择器70和71、内预测部80和运动补偿部90。

语法处理部61从经由传输通道输入的编码流请求获取诸如SPS、PPS和片段头部的头部信息，并基于所获取的头部信息识别由图像解码装置60进行解码处理的各种设置。例如，在本实施例中，语法处理部61基于在每个参数集内包括的量化矩阵参数生成可在由逆量化部63进行的逆量化处理期间使用的量化矩阵候选。随后将进一步描述语法处理部61的详细配置。

无损解码部62根据在编码时使用的编码方法对从语法处理部63输入的编码流进行解码。无损解码部62随后将解码的量化数据输出至逆量化部62。此外，无损解码部62将包括在头部信息内的与内预测有关的信息输出至内预测部80，并将与间预测有关的信息输出至运动补偿部90。

逆量化部63使用从由语法处理部61生成的量化矩阵候选中自适应地切换的量化矩阵对由无损解码部62解码的量化数据（即，量化变换系数数据）进行逆量化。随后将进一步描述逆量化部63的详细配置。

逆正交变换部64使用从多个正交变换方法候选中选择的正交变换方法作为编码期间使用的正交变换方法，以对由逆量化部63逆量化的变换系数数据进行逆正交变换，并且生成预测误差数据。随后，逆正交变换部64将生成的预测误差数据输出至加法部65。

如同在前讨论的，由逆正交变换部64潜在选择的正交变换方法候选可以包括诸如离散余弦变换（DCT）法、离散正弦变换（DST）法、Hadamard变换法、Karhunen-Loeve变换法、以及上述方法的组合之类的方法。然后，在此，将主要讨论DCT法和DST法，以及作为这两种方法的组合的复合变换法。随后将进一步描述逆正交变换部64的详细配置。

加法部65将从逆正交变换部64输入的预测误差数据与从选择器71输入的预测图像数据相加，藉此生成解码图像数据。随后，加法部65将由此生成的解码图像数据输出至解块滤波器66和帧存储器69。

解块滤波器66通过对从加法部65输入的解码图像数据进行滤波来移除成块伪像，并且将由此滤波的解码图像输出至重定序缓冲器67和帧存储器69。

重定序缓冲67通过对从解块滤波器66输入的图像进行重定序而生成按时间顺序的图像数据序列。随后，重定序缓冲67将生成的图像数据输出至D/A转换部68。

D/A转换部68将从重定序缓冲67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68就通过将模拟图像信号输出至例如连接至图像解码装置60的显示器（未示出）而实现图像的显示。

帧存储器69使用存储介质存储从加法部65输入的未经滤波的解码图像数据以及从解块滤波器66输入的经滤波的解码图像数据。

选择器70根据由无损解码部62获取的模式信息为图像内的每个块在内预测部80和运动补偿部90之间切换来自帧存储器69的图像数据的输出目的地。例如，在内预测模式被指定的情况下，选择器70将从帧存储器69供应的未经滤波的解码图像数据作为参考图像数据输出至内预测部80。同样地，在间预测模式被指定的情况下，选择器70将从帧存储器69供应的经滤波的解码图像数据作为参考图像数据输出至运动补偿部90。

选择器71根据由无损解码部62获取的模式信息为图像内的每个块在内预测部80和运动补偿部90之间切换要被供应至加法部65的预测图像数据的输出源。例如，在内预测模式被指定的情况下，选择器71为加法部65供应从内预测部80输出的预测图像数据。在间预测模式被指定的情况下，选择器71为加法部65供应从运动补偿部90输出的预测图像数据。

基于与从无损解码部62输入的内预测有关的信息以及来自帧存储器69的参考图像数据，内预测部80执行像素值的图片内预测，并且生成预测图像数据。随后，内预测部80将由此生成的预测图像数据输出至选择器71。

基于与从无损解码部62输入的间预测有关的信息以及来自帧存储器69的参考图像数据，运动补偿部90执行运动补偿处理，并且生成预测图像数据。随后，运动补偿部90将由此生成的预测图像数据输出至选择器71。

[4-2.语法处理部的示例性配置]

图18是示出了图17所示图像解码装置60的语法处理部61的详细构造例的框图。参见图18，语法处理部61包括参数获取部212和生成部214。

(1)参数获取部

参数获取部212从图像数据流中识别诸如SPS、PPS和片段头部之类的头部信息，并且获取包括在该头部信息内的参数。例如，在本实施例中，参数获取部212从各个参数集获取定义量化矩阵的量化矩阵参数。参数获取部212随后将获取的参数输出至生成部214。参数获取部212还将图像数据流输出至无损解码部62。

(2)生成部

生成部214基于由参数获取部212获取的量化矩阵参数生成与可由逆正交变换部64使用的各正交变换方法候选相对应的量化矩阵。在本实施例中，由生成部214生成的量化矩阵包括DCT量化矩阵M_DCT、DST量化矩阵M_DST、DST_DCT量化矩阵M_{DST_DCT}和DCT_DST量化矩阵M_{DCT_DST}。

更具体地，在其不使用默认量化矩阵的情况下，生成部214基于在编码流的头部或参数集中的定义来生成DCT量化矩阵M_DCT。另外，生成部214在使用DST量化矩阵的情况下生成DST_DCTDST量化矩阵。DST量化矩阵可以根据在前讨论的完全扫描模式、残差模式、梯度运算模式和系数表模式中的任意模式来生成。典型地，DST量化矩阵可被生成为使得元素值从低范围到高范围的梯度比DCT量化矩阵的要更为平滑。此外，生成部214生成复合变换量化矩阵M_{DST_DCT}和M_{DCT_DST}。复合变换量化矩阵M_{DST_DCT}和M_{DCT_DST}可以根据在前讨论的混合运算模式、完全扫描模式和残差模式中的任意模式来生成。生成部214将以此方式生成的量化矩阵输出至逆量化部63。

[4-3.逆量化部的示例性配置]

图19是示出了图17所示图像解码装置60的逆量化部63的详细构造例的框图。参见图19，逆量化部63包括量化矩阵设置部232和逆量化计算部234。

(1)量化矩阵设置部

量化矩阵设置部232根据由逆正交变换部64从多个正交变换方法中使用的正交变换方法来对每个变换单位内的用于逆量化变换系数数据的量化矩阵进行设置。例如，量化矩阵设置部232获取包括在编码流的头部信息内的变换方法信息。该变换方法信息可以是标识为每个变换单位所选择的正交变换方法的标识信息，或是表达预测技术、预测单位大小以及与各个预测单位相对应的预测方向的信息。随后，量化矩阵设置部232从变换方法信息中识别用于各个变换单位的正交变换方法，并且针对各个变换单位设置与从由语法处理部61的生成部214生成的量化矩阵中识别的正交变换方法相对应的量化矩阵。量化矩阵设置部232还根据在前讨论的表1或表2所指示的映射来设置量化矩阵。

注意到，直接指定量化矩阵M_DCT、M_DST、M_{DST_DCT}和M_{DCT_DST}中的任何一个的信息也可被包括在编码流的头部信息内。在此情况下，量化矩阵设置部232为各个变换单位设置由该信息所指定的量化矩阵。

(2)逆量化计算部

针对每个变换单位，逆量化计算部234使用由量化矩阵设置部232设置的量化矩阵来对从正交变换部62输入的变换系数数据（量化数据）进行逆量化。逆正交变换计算部244随后将经逆量化的变换系数数据输出至逆正交变换部64。

[4-4.逆正交变换部的示例性配置]

图20是示出了图17所示图像解码装置60的逆正交变换部64的详细构造例的框图。参见图20，逆正交变换部64包括变换方法选择部242和逆正交变换计算部244。

(1)变换方法选择部

变换方法选择部242从多个正交变换方法候选中选择用于对各个变换单位的变换系数数据进行逆正交变换的正交变换方法。在本实施例中，变换方法选择部242能够从四类正交变换方法（所谓的a)DCT法、b)DST法、c)DST_DCT法和d)DCT_DST法）中做出选择。变换方法选择部242可以根据与在图像编码装置10中的正交变换部15的变换方法选择部152相类似的技术，基于在前讨论的变换方法信息来选择正交变换方法。作为替代，变换方法选择部242可以选择可被在编码流的头部信息中直接指定的正交变换方法。

(2)正交变换计算部

针对每个变化单位，逆正交变换计算部244使用由变换方法选择部242选择的正交变换方法将从逆量化部63输入的变换系数数据变换为预测误差数据。随后，逆正交变换计算部244将经变换的预测误差数据输出至加法部65。

<5.根据一个实施例的解码期间的处理流程>

(1)量化矩阵生成处理

图21是示出了由根据本实施例的语法处理部61的生成部214进行的量化矩阵生成处理的示例性流程的流程图。在图21中例示的量化矩阵生成处理可以针对包括量化矩阵参数的各个参数集进行。注意到，假设每个参数集各自包括根据图10至图14所示那样的语法所定义的量化矩阵参数。

参见图21，首先，生成部214获取默认标志（步骤S200）。生成部214随后基于默认标志的值判定是否要使用该默认标志（步骤S202）。在此处，后续处理会在要使用默认量化矩阵的情况下被跳过。另一方面，该处理在不使用默认量化矩阵的情况下行进至步骤S204。

在步骤S204，生成部214使用与现有视频编码方案相类似的参数生成一个或多个DCT量化矩阵M_DCT（步骤S204）。在此处生成的DCT量化矩阵M_DCT可以分别与各个变换单元的4×4、8×8、16×16和32×32大小相对应的最多为六类的量化矩阵（内预测/间预测中的Y/Cb/Cr成分）。

接下来，生成部214获取DST矩阵标志（步骤S206）。生成部214随后基于该DST矩阵标志的值判定是否要生成DST量化矩阵（步骤S208）。在此处，在判定不生成DST量化矩阵的情况下，生成部214例如将用于4×4内预测的辉度(Y)的DCT量化矩阵M_DCT复制到DST量化矩阵M_DST。另一方面，在判定生成DST量化矩阵的情况下，生成部214进行DST量化矩阵生成处理（步骤S220）以及复合变换量化矩阵生成步骤（步骤S250）。

图22示出了对应于图21的步骤S220的DST量化矩阵生成处理的流程例。

参见图22，首先，生成部214获取DST生成模式（步骤S222）。生成部214随后根据获取的生成模式切换后续处理。

例如，在生成模式指示完全扫描模式的情况下（步骤S224），生成部214获取差分数据（步骤S226）并且在完全扫描模式下生成DST量化矩阵M_DST（步骤S228）。在此情况下，生成部214根据DPCM格式解码被表达为线性阵列的差分数据，由此获得元素值的线性阵列。生成部214随后根据锯齿形扫描的扫描图案将元素值的线性阵列重建成二维量化矩阵M_DST。

此外，在生成模式指示残差模式的情况下（步骤S230），生成部214例如获取残差数据（步骤S232）并且在残差模式下生成DST量化矩阵M_DST（步骤S234）。在此情况下，生成部214根据锯齿形扫描的扫描图案将被表达为线性阵列的残差数据重建成二维残差矩阵。生成部214随后通过将重建的残差矩阵和DCT量化矩阵M_DCT相加在一起来生成DST量化矩阵M_DST。

此外，在生成模式指示梯度运算模式的情况下（步骤S236），生成部214例如获取梯度比（步骤S238）并且在使用图7描述的梯度运算模式下生成DST量化矩阵M_DST（步骤S240）。在此情况下，通过使用获取的梯度比来变化DCT量化矩阵M_DCT中的元素值从低范围到高范围的梯度，生成部214生成DST量化矩阵M_DST。

此外，在生成模式指示系数表模式的情况下，生成部214例如获取表编号（步骤S242）并且在使用图8描述的系数表模式下生成DST量化矩阵M_DST（步骤S244）。在此情况下，通过将DCT量化矩阵M_DCT中的每个元素值与由表编号标识的系数表中的相应系数相乘，生成部214生成DST量化矩阵M_DST。

图23示出了对应于图21的步骤S250的复合变换量化矩阵生成处理的流程例。

参见图23，首先，生成部214获取混合运算标志（步骤S252）。生成部214随后基于该混合运算标志的值判定是否要进行混合运算（步骤S254）。在此处，处理在判定要进行混合运算的情况下行进至步骤S256。另一方面，处理在判定不进行混合运算的情况下行进至步骤S262。

在步骤S256，生成部214获取混合比（步骤S256）。生成部214随后在使用图9描述的混合运算模式下生成DST_DCT量化矩阵M_{DST_DCT}（步骤S258）。此外，生成部214在混合运算模式下生成DCT_DST量化矩阵M_{DCT_DST}（步骤S260）。

在步骤S262，生成部214获取复合变换生成模式（步骤S262）。生成部214随后根据获取的生成模式切换后续处理。

例如，在生成模式指示完全扫描模式（步骤S264）的情况下，生成部214获取DST_DCT差分数据（步骤S266）并且在完全扫描模式下生成DST_DCT量化矩阵M_{DST_DCT}（步骤S268）。此外，生成部214获取DCT_DST差分数据（步骤S270）并且在完全扫描模式下生成DCT_DST量化矩阵M_{DCT_DST}（步骤S272）。

此外，在生成模式指示残差模式的情况下，生成部214例如获取DST_DCT残差数据（步骤S274）并且在残差模式下生成DST_DCT量化矩阵M_{DST_DCT}（步骤S276）。此外，生成部214获取DCT_DST差分数据（步骤S278）并且在残差模式下生成DCT_DST量化矩阵M_{DST_DCT}（步骤S280）。

(2)逆量化处理

由根据本实施例的逆量化部63进行的逆量化处理的流程与图15所示编码期间的量化处理的流程相类似。换句话说，由量化矩阵设置部232为各个变换单位识别正交变换方法，并且为各个变换单位设置与所识别的正交变换方法相对应的量化矩阵。由量化矩阵设置部232设置的量化矩阵随后由逆量化计算部使用，以便逆量化用于各变换单位的变换系数数据。

同样地，在逆量化部63中可仅使用DCT量化矩阵和DST量化矩阵，而不使用复合变换量化矩阵。在此情况下，量化矩阵的设置可以根据在前讨论的表2中指示的映射进行。由逆量化部63进行的逆量化处理于是可以根据与图16所示量化处理相类似的流程进行。

<6.应用例>

根据上述实施例的图像编码装置10和图像解码装置60可被应用于各种电器，诸如用于卫星广播、诸如有线电视的线缆广播、因特网上的分布、经由蜂窝通信的客户机装置分布等的发射机和接收机；将图像记录在诸如光盘、磁盘或闪存的介质上的记录装置；以及从这类存储介质中回放图像的回放装置。如下将讨论四种应用示例。

[6-1.第一应用例]

图24是例示了适用于上述实施例的电视的概略构成的框图。电视900包括天线901、调谐器902、多路分解器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口909、控制部910、用户接口911和总线912。

调谐器902从经由天线901接收的广播信号中提取期望的频道的信号，并且解调所提取的信号。随后，调谐器902将通过解调获得的编码比特流输出至多路分解器903。也就是说，调谐器902用作电视900接收图像被编码的编码流的传输装置。

多路分解器903从编码比特流分离要被观看的节目的视频流和音频流，并将分离的流输出至解码器904。此外，多路分解器903从编码比特流中提取诸如电子节目向导（EPG）的辅助数据，并将所提取的数据供应至控制部910。此外，多路分解器903还可以在编码比特流被扰频的情况下执行解扰频。

解码器904对从多路分解器903输入的视频流和音频流进行解码。其后，解码器904将通过解码处理生成的视频数据输出至视频信号处理部905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理部907。

视频信号处理部905回放从解码器904输入的视频数据，并使得显示部906显示视频。视频信号处理部905还使得显示部906显示经由网络供应的应用屏幕。此外，视频信号处理部905可以根据设置对视频数据执行诸如噪声移除的附加处理。此外，视频信号处理部905可以生成诸如菜单、按钮或光标的图形用户界面（GUI）图像，并将所生成的图像叠加在输出图像上。

显示部906通过由视频信号处理部905供应的驱动信号驱动，并且在显示装置（例如液晶显示器、等离子显示器或OLED显示器）的视频屏幕上显示视频或图像。

音频信号处理部907对从解码器904输入的音频数据执行诸如D/A转换和放大的回放处理，并将音频输出到扬声器908。同样地，音频信号处理部907也对音频数据执行诸如噪声移除的附加处理。

外部接口909是用于将电视900连接至外部机器或网络的接口。例如，经由外部接口909接收到的视频流或音频流可由解码器904解码。也就是说，外部接口909用作电视900接收图像被编码的编码流的传输装置。

控制部910包括诸如中央处理单元（CPU）的处理器和诸如随机存取存储器（RAM）和只读存储器（ROM）的存储器。存储器存储待由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等等。存储器中存储的程序例如在启动电视900时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口911输入的操作信号控制电视900的操作。

用户接口911连接至控制部910。用户接口911例如包括由操作电视900的用户使用的按钮和开关，以及遥控信号接收器。用户接口911检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部910。

总线912互连调谐器902、多路分解器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口909和控制部910。

在以此方式构成的电视900中，解码器904包括根据前述实施例的图像解码装置60的各种功能。结果，针对由电视900解码的视频，就能够基于要在各变换单位中使用的正交变换方法来自适应地切换量化矩阵。

[6-2.第二应用例]

图25是例示了适用于上述实施例的移动电话的概略构成的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、相机部926、图像处理部927、多路复用/多路分解（mux/demux）部928、记录和回放部929、显示部930、控制部931、可操作部932和总线933。

天线921连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。可操作部932连接至控制部931。总线933互连通信部922、音频编解码器923、相机部926、图像处理部927、mux/demux部928、记录和回放部929、显示部930和控制部931。

移动电话920以包括音频通信模式、数据通信模式、成像模式和视频电话模式在内的各种操作模式执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像及记录数据的操作。

在音频通信模式中，由麦克风925生成的模拟音频数据被供应至音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且A/D转换和压缩经转换的音频数据。随后，音频编解码器923将经压缩的音频数据输出至通信部922。通信部922编码并调制音频数据，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站（未示出）。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收信号。随后，通信部922解调并解码接收信号，生成音频数据，并将生成的音频数据输出至音频编解码器923。音频编解码器923解压缩并D/A转换音频数据，并生成模拟音频信号。随后，音频编解码器923将生成的音频信号供应至扬声器924并使得音频被输出。

同样地，在数据通信模式中，控制部931根据例如用户经由可操作部932进行的操作而生成构成电子邮件的文本数据。此外，控制部931使得该文本在显示部930上显示。此外，控制部931根据用户经由可操作部932输入的发送指令生成电子邮件数据，并将生成的电子邮件数据输出至通信部922。通信部922编码并调制电子邮件数据，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站（未示出）。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收信号。随后，通信部922解调并解码接收信号，重构电子邮件数据，并将重构的电子邮件数据输出至控制部931。控制部931使得显示部930显示电子邮件的内容，并且还使得该电子邮件数据在记录和回放部929的存储介质中存储。

记录和回放部929包括任意可读和可写存储介质。例如，存储介质可以是诸如RAM或闪存的内置存储介质，或者是诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡之类的外部安装的存储介质。

此外，在成像模式中，相机部926拍摄被摄体的图像，生成图像数据，并将生成的图像数据输出至例如图像处理部927。图像处理部927编码从相机部926接收的图像数据，并且使得编码流在记录和回放部929的存储介质中存储。

此外，在视频电话模式中，mux/demux部928多路复用由图像处理部927编码的视频流以及从音频编解码器923输入的音频流，并且将经多路复用的流输出至例如通信部922。通信部922编码并调制所述流，并且生成发送信号。随后，通信部922将生成的发送信号经由天线921发送至基站（未示出）。同样地，通信部922放大经由天线921接收到的无线信号，转换该无线信号的频率，并获取接收信号。发送信号和接收信号可以包括编码的比特流。随后，通信部922解调并解码接收信号，重构所述流，并将重构的流输出至mux/demux部928。mux/demux部928从输入流分离视频流和音频流，并将视频流输出至图像处理部927而将音频流输出至音频编解码器923。图像处理部927解码视频流并生成视频数据。视频数据被供应给显示部930，并由显示部930显示一系列图像。音频编解码器923解压缩并D/A转换音频流，并生成模拟音频信号。随后，音频编解码器923将生成的音频信号供应至扬声器924并使得音频被输出。

在以此方式构成的移动电话920中，图像处理部927包括根据前述实施例的图像编码装置10和图像解码装置60的各种功能。结果，针对由移动电话920编码和解码的视频，就能够基于要在各变换单位中使用的正交变换方法来自适应地切换量化矩阵。

[6-3.第三应用例]

图26是例示了适用于上述实施例的记录和回放装置的概略构成的框图。记录和回放装置940对例如接收到的广播节目的音频数据和视频数据进行编码，并将其在记录介质上进行记录。记录和回放装置940还可以对例如从其他装置获取的音频数据和视频数据进行编码，并将其在记录介质上进行记录。此外，记录和回放装置940还根据例如来自用户的指令，经由监视器和扬声器回放在记录介质上记录的数据。在这些时刻，记录和回放装置940解码音频数据和视频数据。

记录和回放装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器（HDD）944、盘驱动器945、选择器946、解码器947、屏上显示器（OSD）948、控制部949和用户接口950。

调谐器941从经由天线901（未示出）接收的广播信号中提取期望的频道的信号，并且解调所提取的信号。随后，调谐器941将通过解调获得的编码比特流输出至选择器946。也就是说，调谐器941用作记录和回放装置940的传输装置。

外部接口942是用于将记录和回放装置940连接至外部机器或网络的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口、闪存接口等。例如，由外部接口942接收到的视频数据和音频数据输入至编码器943。也就是说，外部接口942用作记录和回放装置940的传输装置。

在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对所述视频数据和音频数据进行编码。随后，编码器943将编码的比特流输出至选择器946。

HDD 944将编码比特流（作为经压缩的内容数据，诸如视频或音频、各种节目和其他数据）记录在内部硬盘上。同样地，HDD 944在回放视频和音频时从硬盘读取这些数据。

盘驱动器945根据插入的记录介质记录或读取数据。插入到盘驱动器945内的记录介质可以是DVD盘（诸如，DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+或DVD+RW盘）、蓝光（注册商标）盘等。

当记录视频和音频时，选择器946选择从调谐器941或从解码器943输入的编码比特流，并将所选的编码比特流输出至HDD 944或盘驱动器945。同样地，当回放视频和音频时，选择器946将从HDD 944或从盘驱动器945输入的编码比特流输出至解码器947。

解码器947解码编码的比特流，并生成视频数据和音频数据。随后，解码器947将生成的视频数据输出至OSD 948。同样地，解码器904将生成的音频数据输出至外部扬声器。

OSD 948回放从解码器947输入的视频数据，并且显示视频。同样地，OSD 948可以将诸如菜单、按钮或光标的GUI图像叠加在所显示的视频上。

控制部949包括诸如CPU的处理器，以及诸如RAM或ROM的存储器。存储器存储要被CPU执行的程序、程序数据等。存储器中存储的程序例如在启动记录和回放装置940时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口950输入的操作信号控制记录和回放装置940的操作。

用户接口950连接至控制部949。用户接口950例如包括由操作记录和回放装置940的用户使用的按钮和开关，以及遥控信号接收器。用户接口950检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部949。

在以此方式构成的记录和回放装置940中，编码器943包括根据前述实施例的图像编码装置10的各种功能。此外，解码器947包括根据前述实施例的图像解码装置60的各种功能。结果，针对由记录和回放装置940编码和解码的视频，就能够基于要在各变换单位中使用的正交变换方法来自适应地切换量化矩阵。

[6-4.第四应用例]

图27是例示了适用于上述实施例的成像装置的概略构成示例的框图。成像装置960拍摄被摄体的图像，生成图像，编码图像数据，并将图像数据在记录介质上记录。

成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD 969、控制部970、用户接口971和总线972。

光学块961连接至成像部962。成像部962连接至信号处理部963。显示部965连接至信号处理部964。用户接口971连接至控制部970。通信972互连图像处理部964、外部接口966、存储器967、介质驱动器968、OSD 969和控制部970。

光学块961包括聚焦透镜和孔径光阑机构等。光学块961在成像部962的成像表面上形成被摄体的光学像。成像部962包括诸如CCD或CMOS传感器的图像传感器，并将在成像表面上形成的光学像光电转换成作为电子信号的图像信号。随后，成像部962将图像信号输出至信号处理部963。

信号处理部963对从成像部962输入的图像信号执行各种相机信号处理，诸如knee校正、伽马校正和色差校正。信号处理部963将经处理的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像信号进行编码，并生成编码的数据。随后，图像处理部964将由此生成的编码数据输出至外部接口966或介质驱动器968。同样地，图像处理部964解码从外部接口966或介质驱动器968输入的编码数据，并生成图像数据。随后，图像处理部964将生成的图像数据输出至显示部965。同样地，图像处理部964可以将从信号处理部963输入的图像数据输出至显示部965，并使得图像被显示。此外，图像处理部964可以将从OSD 969获取的显示数据叠加到要被输出至显示部965的图像上。

OSD 969生成诸如菜单、按钮或图标的GUI图像，并将生成的图像输出至图像处理部964。

外部接口966被构造成例如USB输入/输出终端。外部接口966在例如打印图像时将成像装置960连接至打印机。同样地，驱动器在需要时连接至外部接口966。诸如磁盘或光盘的可移动介质被插入驱动器，从可移除介质中读取的程序则可被安装在成像装置960内。此外，外部接口966还可被构造为用于连接诸如LAN或因特网的网络的网络接口。也就是说，外部接口966用作图像拍摄装置960的发送途径。

插入介质驱动器968的记录介质可以是任意的可读和可写的可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。同样地，记录介质可被永久性地安装在介质驱动器968内，由此构成诸如内部硬盘驱动器或固态驱动器（SSD）的非便携式存储部。

控制部970包括诸如CPU的处理器，以及诸如RAM或ROM的存储器。存储器存储要被CPU执行的程序、程序数据等。存储器中存储的程序例如在启动成像装置960时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口971输入的操作信号控制成像装置960的操作。

用户接口971连接至控制部970。用户接口971例如可包括用户用来操作成像装置960的按钮和开关等。用户接口971检测用户经由这些结构元件所进行的操作，生成操作信号，并将生成的操作信号输出至控制部970。

在以此方式构成的成像装置960中，图像处理部964包括根据前述实施例的图像编码装置10和图像解码装置60的各种功能。结果，针对由成像装置960编码和解码的视频，就能够基于要在各变换单位中使用的正交变换方法来自适应地切换量化矩阵。

<7.结论>

在前使用图1至27描述了根据实施例的图像编码装置10和图像解码装置60。根据本实施例，在量化和逆量化变换系数数据时，根据出于正交变换或逆正交变换的目的而从多个正交变换方法候选中选择的正交变换方法，为各变换单位设置不同的量化矩阵。随后，使用为各个变换单位设置的量化矩阵对变换系数数据进行量化或逆量化。根据这一配置，就能够根据所使用的正交变换方法自适应地切换量化矩阵。换句话说，由于使用更适合正交变换方法属性或变换系数数据趋势的量化矩阵进行量化或逆量化，因此相比于使用静态量化矩阵的情况能够减轻由量化引起的图像质量劣化。

同样地，根据本实施例，上述的多个正交变换方法候选包括离散余弦变换（DCT）法和离散正弦变换（DST）法。这两种正交变换方法如在前所讨论的，在呈现变换系数的容易程度上（尤其对于高频成分）有所不同。结果，通过实现以上讨论的量化矩阵切换机制，即便在量化之后仍然能够在恰当保留变换系数中的显著差异的同时压缩变换系数数据的比特率。

同样地，根据本实施例，与DST法相对应的量化矩阵可以从与DCT法相对应的量化矩阵中生成。结果，由于不要求出于传送DST量化矩阵的目的的高比特率，因此能够在不大幅降低编码效率的情况下引入上述讨论的量化矩阵切换机制。注意到前例不受限制，并且与DCT法（或其他正交变换方法）相对应的量化矩阵也可以例如从与DST法（或其他正交变换方法）相对应的量化矩阵中生成。

同样地，根据本实施例，在可以分别为垂直方向和水平方向中的每一种方向选择正交变换方法的情况下，可以为各变换单位设置对于垂直方向和水平方向中的正交变换方法的每种组合有所不同的量化矩阵。结果，由于为各变换单位恰当设置适于变换系数数据的各种趋势的量化矩阵，因此能够有效抑制图像质量的劣化。

同样地，根据本实施例，与复合变换法（在两个方向上分别进行不同类型的正交变换的方法）相对应的量化矩阵可以从与非复合变换法（其中在两个方向上进行同一类型的正交变换的方法）相对应的量化矩阵中生成。结果，能够在即便传送复合变换量化矩阵的情况下避免更高的比特率和低下的编码效率。

注意到本说明书描述了量化矩阵参数被多路复用至编码流的头部并从编码侧传送至解码侧的例子。然而，传送量化矩阵参数的技术不限于这一例子。例如，头部信息也可被发送或记录为与编码比特流相关联的分离数据，而无需被多路复用至编码比特流。在此，术语“关联的”指的是包括在比特流内的图像（以及涵盖诸如片段或块的部分图像）并且与这些图像相对应的信息能够在解码时被链接。换句话说，信息还可以在与图像（或比特流）分离的传送通道上传送。同样地，该信息可被记录在与图像（或比特流）所使用的分离的记录介质（或相同记录介质的不同记录区域）上。此外，信息和图像（或比特流）可以以诸如多个帧、单个帧、帧内一部分等的任意单位彼此关联。

上文由此参考附图详细描述了本公开的各优选实施例。然而，本公开的技术范围不限于这些例子。对于本公开所属技术领域的普通技术人员而言，清楚的是可以在所附权利要求声明的技术理念的范围内出现各种修改或变化，并且可以理解的是这些修改或变化显然属于本公开的技术范围。

此外，本技术还可如下构成。

(1)一种图像处理装置，包括：

根据在对要被解码的图像的变换系数数据进行逆正交变换时选择的正交变换方法，为各变换单位设置在对所述变换系数数据进行逆量化时使用的量化矩阵的设置部；

使用由所述设置部设置的所述量化矩阵对所述变换系数数据进行逆量化的逆量化部；以及

使用所选的正交变换方法对被所述逆量化部逆量化的变换系数数据进行逆正交变换的变换部。

(2)如(1)的图像处理装置，还包括：

基于编码流的参数集和头部之一中的定义来生成所述量化矩阵的生成部。

(3)如(2)所述的图像处理装置，其中

要被选择的正交变换方法的候选包括第一正交变换方法以及与所述第一正交变换方法不同的第二正交变换方法，

在编码流的参数集和头部之一中定义与所述第一正交变换方法相对应的量化矩阵，以及

所述生成部从与所述第一正交变换方法相对应的量化矩阵生成与所述第二正交变换方法相对应的量化矩阵。

(4)如(3)所述的图像处理装置，

其中所述第一正交变换方法是离散余弦变换（DCT）法，并且

其中所述第二正交变换方法是离散正弦变换（DST）法。

(5)如(4)所述的图像处理装置，其中

所述生成部从与DCT法相对应的量化矩阵生成与DST法相对应的量化矩阵，由此使得在与所述DCT法相对应的量化矩阵内元素值从低范围到高范围的梯度更为平滑。

(6)如(5)所述的图像处理装置，其中

所述生成部通过根据给定比率改变与所述DCT法相对应的量化矩阵的梯度来生成与所述DST法相对应的量化矩阵。

(7)如(5)所述的图像处理装置，其中

所述生成部通过将与所述DCT法相对应的量化矩阵内的各元素乘以与元素位置相对应的系数来生成与所述DST法相对应的量化矩阵。

(8)根据(3)至(7)中任一的图像处理装置，其中

在编码流的参数集和头部之一包括指示从与所述第一正交变换方法相对应的量化矩阵生成与所述第二正交变换方法相对应的量化矩阵的情况下，所述生成部从与所述第一正交变换方法相对应的量化矩阵生成与所述第二正交变换方法相对应的量化矩阵。

(9)根据(3)至(8)中任一的图像处理装置，其中

在编码流的参数集和头部之一包括指示与所述第二正交变换方法相对应的量化矩阵要被使用的标志的情况下，所述生成部生成与所述第二正交变换方法相对应的量化矩阵。

(10)如(1)所述的图像处理装置，其中

所述变换部能够为垂直方向上的正交变换和水平方向上的正交变换选择不同的正交变换方法，以及

所述设置部为各变换单位设置针对用于垂直方向上的正交变换的正交变换方法和用于水平方向上的正交变换的正交变换方法的各种组合而不同的量化矩阵。

(11)如(10)的图像处理装置，还包括：

从与分别用于垂直方向和水平方向上的正交变换的两种正交变换方法相等同的情况相对应的一个或多个非复合变换量化矩阵中生成与所述两种正交变换方法彼此不同的情况相对应的复合变换量化矩阵的生成部。

(12)如(11)所述的图像处理装置，

其中所述复合变换量化矩阵是与离散余弦变换（DCT）法和离散正弦变换（DST）法的组合相对应的量化矩阵，以及

其中所述一个或多个非复合变换量化矩阵包括与DCT法相对应的量化矩阵以及与DST法相对应的量化矩阵。

(13)如(12)所述的图像处理装置，其中

所述生成部通过求取与所述DCT法相对应的量化矩阵和与所述DST法相对应的量化矩阵的加权平均来生成所述复合变换量化矩阵。

(14)如(13)所述的图像处理装置，其中

所述生成部从编码流的参数集和头部之一获取用于指定所述加权平均的权重的参数。

(15)一种图像处理方法，包括：

根据在对要被解码的图像的变换系数数据进行逆正交变换时选择的正交变换方法，为各变换单位设置在对所述变换系数数据进行逆量化时使用的量化矩阵；

使用所设置的量化矩阵对所述变换系数数据进行逆量化；以及

使用所选的正交变换方法对逆量化的变换系数数据进行逆正交变换。

(16)一种图像处理装置，包括：

使用为要被编码的图像的各变换单位选择的正交变换方法将图像数据变换为变换系数数据的变换部；

根据由所述变换部使用的正交变换方法为各变换单位设置在对所述变换系数数据进行量化时使用的量化矩阵的设置部；以及

使用由所述设置部设置的所述量化矩阵对所述变换系数数据进行量化的量化部。

(17)一种图像处理方法，包括：

使用为要被编码的图像的各变换单位选择的正交变换方法将图像数据变换为变换系数数据；

根据在对所述图像数据进行变换时使用的正交变换方法为各变换单位设置在对所述变换系数数据进行量化时使用的量化矩阵；以及

使用所设置的量化矩阵对所述变换系数数据进行量化。

参考标记列表

10图像处理装置（图像编码装置）

15正交变换部

16量化部

162量化矩阵设置部

60图像处理装置（图像解码装置）

63逆量化部

64逆正交变换部

214生成部

232量化矩阵设置部

Claims (17)

1.一种图像处理装置，包括：

根据在对要被解码的图像的变换系数数据进行逆正交变换时选择的正交变换方法，为各变换单位设置在对所述变换系数数据进行逆量化时使用的量化矩阵的设置部；

使用由所述设置部设置的所述量化矩阵对所述变换系数数据进行逆量化的逆量化部；以及

使用所选的正交变换方法对被所述逆量化部逆量化的变换系数数据进行逆正交变换的变换部。

2.根据权利要求1所述的图像处理装置，还包括：

基于编码流的参数集和头部之一中的定义来生成所述量化矩阵的生成部。

3.如权利要求2所述的图像处理装置，其中

要被选择的正交变换方法的候选包括第一正交变换方法以及与所述第一正交变换方法不同的第二正交变换方法，

在编码流的参数集和头部之一中定义与所述第一正交变换方法相对应的量化矩阵，以及

所述生成部从与所述第一正交变换方法相对应的量化矩阵生成与所述第二正交变换方法相对应的量化矩阵。

4.如权利要求3所述的图像处理装置，

其中所述第一正交变换方法是离散余弦变换（DCT）法，并且

其中所述第二正交变换方法是离散正弦变换（DST）法。

5.如权利要求4所述的图像处理装置，其中

所述生成部从与DCT法相对应的量化矩阵生成与DST法相对应的量化矩阵，由此使得在与所述DCT法相对应的量化矩阵内元素值从低范围到高范围的梯度更为平滑。

6.如权利要求5所述的图像处理装置，其中

所述生成部通过根据给定比率改变与所述DCT法相对应的量化矩阵的梯度来生成与所述DST法相对应的量化矩阵。

7.如权利要求5所述的图像处理装置，其中

所述生成部通过将与所述DCT法相对应的量化矩阵内的各元素乘以与元素位置相对应的系数来生成与所述DST法相对应的量化矩阵。

8.如权利要求3所述的图像处理装置，其中

在编码流的参数集和头部之一包括指示从与所述第一正交变换方法相对应的量化矩阵生成与所述第二正交变换方法相对应的量化矩阵的情况下，所述生成部从与所述第一正交变换方法相对应的量化矩阵生成与所述第二正交变换方法相对应的量化矩阵。

9.如权利要求3所述的图像处理装置，其中

在编码流的参数集和头部之一包括指示与所述第二正交变换方法相对应的量化矩阵要被使用的标志的情况下，所述生成部生成与所述第二正交变换方法相对应的量化矩阵。

10.如权利要求1所述的图像处理装置，其中

所述变换部能够为垂直方向上的正交变换和水平方向上的正交变换选择不同的正交变换方法，以及

所述设置部为各变换单位设置针对用于垂直方向上的正交变换的正交变换方法和用于水平方向上的正交变换的正交变换方法的各种组合而不同的量化矩阵。

11.根据权利要求10所述的图像处理装置，还包括：

从与分别用于垂直方向和水平方向上的正交变换的两种正交变换方法相等同的情况相对应的一个或多个非复合变换量化矩阵中生成与所述两种正交变换方法彼此不同的情况相对应的复合变换量化矩阵的生成部。

12.如权利要求11所述的图像处理装置，

其中所述复合变换量化矩阵是与离散余弦变换（DCT）法和离散正弦变换（DST）法的组合相对应的量化矩阵，以及

其中所述一个或多个非复合变换量化矩阵包括与DCT法相对应的量化矩阵以及与DST法相对应的量化矩阵。

13.如权利要求12所述的图像处理装置，其中

所述生成部通过求取与所述DCT法相对应的量化矩阵和与所述DST法相对应的量化矩阵的加权平均来生成所述复合变换量化矩阵。

14.如权利要求13所述的图像处理装置，其中

所述生成部从编码流的参数集和头部之一获取用于指定所述加权平均的权重的参数。

15.一种图像处理方法，包括：

根据在对要被解码的图像的变换系数数据进行逆正交变换时选择的正交变换方法，为各变换单位设置在对所述变换系数数据进行逆量化时使用的量化矩阵；

使用所设置的量化矩阵对所述变换系数数据进行逆量化；以及

使用所选的正交变换方法对逆量化的变换系数数据进行逆正交变换。

16.一种图像处理装置，包括：

使用为要被编码的图像的各变换单位选择的正交变换方法将图像数据变换为变换系数数据的变换部；

根据由所述变换部使用的正交变换方法为各变换单位设置在对所述变换系数数据进行量化时使用的量化矩阵的设置部；以及

使用由所述设置部设置的所述量化矩阵对所述变换系数数据进行量化的量化部。

17.一种图像处理方法，包括：

使用为要被编码的图像的各变换单位选择的正交变换方法将图像数据变换为变换系数数据；

根据在对所述图像数据进行变换时使用的正交变换方法为各变换单位设置在对所述变换系数数据进行量化时使用的量化矩阵；以及

使用所设置的量化矩阵对所述变换系数数据进行量化。

Images