CN109644269B - 图像处理设备、图像处理方法和存储介质 - Google Patents

Abstract

在图像编码中，为了提高系数能量的集中度(将变换系数集中在低频处)，公开了对初级变换之后的变换系数应用与初级变换不同的二次变换。由于应用多次变换之后的变换系数可能相对于原始图像特性被变换到与频域不同的域，因此使用用于频域的缩放列表(量化矩阵)的带宽控制受到影响。因此，即使在应用多个变换的情况下，目的是提供一种使用缩放列表实现带宽控制的机制。为了实现上述目的，本发明提供了一种图像处理设备、图像处理方法和程序，图像处理设备包括：处理控制部，其基于与应用于处理目标块的变换有关的变换信息(指示是否已经应用了预定变换的信息、指示变换的数量的信息等)来控制缩放列表处理。

Description

图像处理设备、图像处理方法和存储介质

技术领域

本公开涉及图像处理设备、图像处理方法和程序。

背景技术

在图像编码中，为了提高系数能量的集中度(将变换系数集中在低频处)，已经公开了对初级变换之后的变换系数应用与初级变换不同的二次变换(例如，参见非专利文献1)。

引用列表

非专利文献

非专利文献1：Jianle Chen、Elena Alshina、Gary J.Sullivan、Jens-RainerOhm、Jill Boyce，“联合探索测试模型3的算法描述”，JVET-C1001_v3，ITU-T SG 16 WP 3和ISO/IEC JTC 1/SC 29/WG 11的联合视频探索组(JVET)第3次会议： 2016年5月26日至6月1日，瑞士日内瓦

发明内容

技术问题

然而，与非专利文献1中一样，由于应用多次变换之后的变换系数可能相对于原始图像特性被变换到与频域不同的域，因此使用用于频域的缩放列表(量化矩阵)的带宽控制受到影响。

因此，即使在应用多个变换的情况下，也希望提供一种使用缩放列表实现带宽控制的机制。

问题的解决方案

根据本公开，提供了一种图像处理设备，包括：处理控制部，其基于与应用于处理目标块的变换有关的变换信息来控制缩放列表处理。

另外，根据本公开，提供了一种图像处理方法，包括：由处理器基于与应用于处理目标的处理目标块的变换有关的变换信息，来控制缩放列表处理。

另外，根据本公开，提供了一种程序，该程序使计算机执行以下功能：基于与应用于处理目标块的变换有关的变换信息来控制缩放列表处理。

本发明的有益效果

根据如上所述的本公开，即使在应用多个变换的情况下，使用缩放列表的带宽控制也变得可能。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以实现本说明书中描述的任何一种效果或可以从本说明书中理解的其他效果。

附图说明

图1是示意性地示出根据缩放列表处理的现有处理的流程的说明图。

图2是Y＝Clip3(coeffMin，coeffMax，X)的图。

图3是示意性地示出根据本公开第一实施例的处理的流程的说明图。

图4是示出根据实施例的图像编码设备10的配置的一个示例的框图。

图5是示出根据实施例的处理部14的详细配置的示例的框图。

图6是示出在变换的数量是1的情况下根据现有技术进行编码时的处理流程的一个示例的流程图。

图7是示出根据实施例的根据新技术进行编码时的处理的流程的示例的流程图。

图8是示出根据实施例的图像解码设备60的配置的一个示例的框图。

图9是示出根据实施例的逆处理部63的详细配置的一个示例的框图。

图10是示出在变换的数量是1的情况下根据现有技术进行解码时的处理的流程的一个示例的流程图。

图11是示出根据实施例的根据新技术进行解码时的处理的流程的示例的流程图。

图12是示出根据本公开第二实施例的处理部14-2的详细配置的示例的框图。

图13是示出根据实施例的编码期间的处理的流程的一个示例的流程图。

图14是示出根据实施例的逆处理部63-2的详细配置的一个示例的框图。

图15是示出根据实施例的解码期间的处理的流程的一个示例的流程图。

图16是示出计算机的主要配置示例的框图。

图17是示出电视设备的示意性配置的示例的框图。

图18是示出移动电话的示意性配置的示例的框图。

图19是示出记录/再现设备的示意性配置的示例的框图。

图20是示出成像设备的示意性配置的示例的框图。

图21是示出视频集的示意性配置的一个示例的框图。

图22是示出视频处理器的示意性配置的一个示例的框图。

图23是示出视频处理器的示意性配置的另一示例的框图。

图24是示出网络系统的示意性配置的一个示例的框图。

具体实施方式

在下文中，将参考附图详细描述本公开的(一个或多个)优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。

在下文中，描述将按以下顺序进行。

1.第一实施例

2.第二实施例

3.硬件配置示例

4.应用示例

5.结论

<1.第一实施例>

[1-1.概述]

例如，为了提高系数能量的集中度(将变换系数集中在低频处)，非专利文献1公开了对应用变换到频域的初级变换之后的变换系数应用二次变换。然而，由于应用多个变换之后的变换系数可能相对于原始图像特性被变换到与频域不同的域，因此使用用于频域的缩放列表(缩放列表处理)的带宽控制受到影响。

图1是示意性地示出对初级变换之后的变换系数应用二次变换的情况下根据缩放列表处理的现有处理的流程的说明图。

如图1中所示，在应用初级变换(S11)之后，将二次变换(S12)应用于变换系数。接下来，对二次变换之后的变换系数执行量化处理和缩放列表处理(S13)。以上是编码时的处理。

接下来，当解码时，执行逆量化和缩放列表处理(S14)，然后执行逆二次变换(S15)，并且另外，应用逆初级变换(S16)。

如上所述，利用非专利文献1中描述的方法，同时或连续地执行(逆) 量化处理和缩放列表处理。例如，在高效视频编码(HEVC)中，同时执行逆量化处理和缩放列表处理。在下文中，将描述HEVC中的解码期间的缩放列表处理。

在HEVC中，使用缩放因子m[x][y]，如下面的公式(1)中那样计算处理块内的位置(x，y)处的逆量化的变换系数值d[x][y]，缩放因子m[x][y]是与缩放列表中的位置(x，y)相对应的元素的值。

[公式1]

d[x][y]＝Clip3(coeffMin，coeffMax，((TransCoeffLevel[xTbY][yTbY][cIdx][x][y] *m[x][y] *levelScale[qP％6]＜＜(qP/6)) +(1＜＜(bdShift-1)))＞＞bdShift)...(1)

在公式(1)中，TransCoeffLevel[xTbY][yTbY][cIdx][x][y]表示处理块中位置(x，y)处的量化等级值(量化数据)。此外，在公式(1)中，levelScale [qP％6]＜＜(qP/6)和(1＜＜(bdShift-1)))＞＞bdShift)是与使用量化参数qP 的量化处理有关的值。此外，Clip3(coeffMin，coeffMax，X)表示通过将数值X舍入为等于或大于系数最小值coeffMin并且等于或小于系数最大值 coeffMax而获得的值。

图2是Y＝Clip3(coeffMin，coeffMax，X)的图。如图1中所示，Clip3 (coeffMin，coeffMax，X)的值等于或大于coeffMin，并且还等于或小于 coeffMax。

如公式(1)所示，在HEVC中，在逆量化处理期间，通过根据缩放列表乘以缩放因子m[x][y]来执行缩放列表处理。而且，类似地，在HEVC中，已经同时执行量化和缩放列表处理。

然而，例如在非专利文献1中描述的，应用二次变换之后的变换系数，即旋转矩阵，相对于原始图像特性被变换到与频域不同的域。因此，在使用用于频域的缩放列表来执行缩放列表处理作为(逆)量化处理的一部分的情况下，执行适当的带宽控制是困难的。

因此，着眼于上述情况导致创建本公开的实施例。根据本实施例的图像编码设备或图像解码设备通过基于变换信息控制变换处理或缩放列表处理，通过缩放列表处理实现带宽控制。

图3是示意性地示出根据本实施例的处理的流程的说明图。如图3中所示，在本实施例中，对应用初级变换(S21)之后的变换系数执行缩放列表处理(S22)。接下来，在对缩放列表处理之后的系数应用二次变换(S23)之后，执行使用量化参数qP的量化处理(S24)。以上是编码时的处理。

接下来，当解码时，首先，执行逆量化处理(S25)，然后应用逆二次变换(S26)。另外，在执行缩放列表处理(S27)之后，应用逆初级变换(S28)。

如图3中所示，在本实施例中，通过在初级变换之后立即执行缩放列表处理，对存在于频域中的数据相对于原始图像特性执行缩放列表处理，从而通过缩放列表进行可能的带宽控制。

注意，根据本实施例的变换的数量不限于初级变换和二次变换这两个，并且可以是更大的数量(3或更多)。例如，如果图1中所示的编码和解码期间的处理被推广到更多数量的变换处理，可以分别如下面的公式(2)和(3) 所示表示每一个。

C＝Q(SL(Fn*...F2*F1(R)))...(2)

R＝(F′1*F′2*...F′n*SL′(DQ(C)))...(3)

注意，C表示量化数据，Q表示量化处理，SL是编码时的缩放列表处理， F1是初级变换(如DCT或DST)，F2是二次变换，Fn是第n变换，*是卷积运算，并且R是残差图像。另外，F′a表示Fa的逆变换，并且SL′表示解码时的缩放列表处理。

而且，如果在根据图3中所示的本实施例的编码和解码期间的处理被推广到更多数量的变换处理，可以分别如下面的公式(4)和(5)所示表示每一个。

C＝Q*Fn*...F2*SL(F1(R))...(4)

R＝(F′1*SL′(F′2*...F′n*DQ(C)))...(5)

根据本实施例，即使变换的数量是3或更多，通过如上面的公式(4)和 (5)中那样在初级变换之后立即执行缩放列表处理，通过缩放列表的带宽控制变得可能。

注意，在本实施例中，逆量化的变换系数值dn表示为下面的公式(6)。这里，变换系数值dn是第n次逆变换的变换系数值。

[公式2]

dn[x][y]＝Clip3(coeffMin，coeffMax，((TransCoeffLevel[xTbY][yTbY][cIdx][x][y] *levelScale[qP％6]＜＜(qP/6)) +(1＜＜(bdShift-1)))＞＞bdShift)...(6)

如在上面的公式(6)中，在本实施例的逆量化处理中，在不使用缩放因子m[x][y]的情况下，执行使用量化参数qP的处理。

此外，在本实施例中，通过解码时的缩放列表处理获得的逆初级变换的变换系数值d0如下面的公式(7)所示。

[公式3]

d0[x][y]＝Clip3(coeffMin，coeffMax，((d1[xTbY][yTbY][cIdx][x][y] *m[x][y]))...(7)

这里，d1[xTbY][yTbY][cIdx][x][y]表示逆二次变换之后的系数值。注意，在变换的数量是1(仅初级变换)的情况下，通过公式(6)和(7)获得的变换系数值d0[x][y]与通过公式(1)获得的变换系数值d[x][y]的结果基本相同。然而，在量化等级值(量化数据)TransCoeffLevel[xTbY][yTbY][cIdx][x][y] 不包含在coeffMin和coeffMax之间的范围内的情况下，两个结果可能不同。

以上描述了本实施例的概述。接下来，将描述根据本实施例的配置和处理流程。注意，为了简单起见，下面描述其中要应用的变换的数量最多为2 的示例，但是如上所述，根据本实施例的变换的数量不限于这样的示例，也可以是3或更多。

[1-2.图像编码设备的配置]

(1)整体配置

图4是示出图像编码设备10的配置的一个示例的框图，图像编码设备10 是根据本实施例的图像处理设备的一个方面。参考图4，图像编码设备10设置有重新排序缓冲器11、控制部12、减法部13、处理部14、无损编码部16、累积缓冲器17、逆处理部21、加法部23、去块滤波器24、SAO滤波器25、帧存储器26、开关27、模式设置部28、帧内预测部30和帧间预测部40。

重新排序缓冲器11根据编码处理根据图像组(GOP)结构对包括在要编码的视频中的一系列图像的图像数据进行重新排序。重新排序缓冲器11将重新排序的图像数据输出到控制部12、减法部13、帧内预测部30和帧间预测部40。

例如，控制部12基于速率-失真优化(RDO)确定要提供给每个部分的编码参数。将确定的编码参数提供给每个块。

例如，编码参数可以包括与要应用于处理目标变换块的变换有关的变换信息。例如，变换信息可以包括指示是否要将二次变换应用于处理目标变换块的信息(例如，参见JVET-B1001，2.5.2二次变换)。此外，变换信息可以包括指示要应用于处理目标变换块的变换的数量的信息。此外，变换信息可以包括指示要应用于处理目标变换块的变换的类型的信息。

此外，编码参数可以包括缩放列表信息(例如，JCTVC-W1005，7.3.4缩放列表数据语法)，其指示要在缩放列表处理中使用的缩放列表。此外，编码参数可以包括要在(逆)量化中使用的量化参数(qP)。

注意，由控制部12确定的编码参数可以是任何参数，并且可以包括不限于上述信息的各种信息。编码参数可以包括指示应如何设置HEVC的编码树单元(CTU)、编码单元(CU)、变换单元(TU)、预测单元(PU)等的块信息，与帧内预测有关的信息，以及与帧间预测有关的信息。

减法部13计算预测误差数据，该预测误差数据是从重新排序缓冲器11 输入的图像数据与预测图像数据之间的差值，并将计算出的预测误差数据输出到处理部14。

处理部14基于从控制部12输入的变换信息、缩放列表信息、量化参数等，执行正交变换处理、缩放列表处理和量化处理。处理部14输出量化后的数据(以下称为量化数据)到无损编码部16和逆处理部21。注意，稍后将进一步描述处理部14的更详细的配置。

无损编码部16通过对从处理部14输入的量化数据进行编码来生成编码流。此外，无损编码部16对由控制部12确定的编码参数进行编码，并将编码后的参数插入到编码流的头部区域中。无损编码部16将所生成的编码流输出到累积缓冲器17。

累积缓冲器17使用诸如半导体存储器的存储介质来临时缓冲从无损编码部16输入的编码流。随后，累积缓冲器17将缓冲的编码流输出到未示出的传输部(例如，如与外围设备连接的通信接口或连接接口)，其速率取决于传输信道的带宽。

逆处理部21和加法部23形成本地解码器。本地解码器起到从编码数据重构原始图像的作用。

逆处理部21执行由处理部14执行的处理的逆处理。例如，逆处理部21 基于从控制部12输入的变换信息、缩放列表信息、量化参数等，通过执行逆量化处理、缩放列表处理和逆正交变换处理来重构预测误差数据。随后，逆处理部21将重构的预测误差数据输出到加法部23。注意，由逆处理部21执行的逆处理(逆量化处理、缩放列表处理和逆正交变换处理)是与在稍后描述的图像解码设备中执行的逆处理类似的处理。因此，稍后将参考图9在与图像解码设备有关的描述中描述这些逆处理。

加法部23将从逆处理部21输入的恢复的预测误差数据加到从帧内预测部30或帧间预测部40输入的预测图像数据，从而生成解码图像数据(重构图像)。然后，加法部23将所生成的解码图像数据输出到去块滤波器24和帧存储器26。

去块滤波器24和SAO滤波器25都是环路滤波器，用于改善重构图像的图像质量。去块滤波器24通过对从加法部23输入的解码图像数据进行滤波来去除块失真，并将滤波后的解码图像数据输出到SAO滤波器25。SAO滤波器25通过对从去块滤波器24输入的解码图像数据应用边缘偏移处理或带偏移处理来去除噪声，并且将处理后的解码图像数据输出到帧存储器26。

帧存储器26将从加法部23输入的未滤波的解码图像数据和从SAO滤波器25输入的已经应用了环路滤波的解码图像数据存储在存储介质中。

开关27从帧存储器26读出要用于帧内预测的未滤波的解码图像数据，并将读取的解码图像数据作为参考图像数据提供给帧内预测部30。此外，开关27读取从帧存储器26输出用于帧间预测的滤波后的解码图像数据，并将读取的解码图像数据作为参考图像数据提供给帧间预测部40。

模式设置部28基于从帧内预测部30和帧间预测部40输入的成本之间的比较来为每个块设置预测编码模式。模式设置部28针对设置帧内预测模式的块，向减法部13输出由帧内预测部30生成的预测图像数据，并向无损编码部16输出关于帧内预测的信息。此外，模式设置部28针对设置帧间预测模式的块，向减法部13输出由帧间预测部40生成的预测图像数据，并向无损编码部16输出关于帧间预测的信息。

帧内预测部30基于原始图像数据和解码图像数据对HEVC中的每个PU 执行帧内预测处理。例如，帧内预测部30基于预测误差和要为搜索范围内的每个预测模式候选生成的代码量来评估成本。然后，帧内预测部30选择使成本最小化的预测模式作为最佳预测模式。另外，帧内预测部30根据所选择的最佳预测模式生成预测图像数据。然后，帧内预测部30将关于帧内预测的信息输出到模式设置部28，该关于帧内预测的信息包括指示最佳预测模式的预测模式信息、相应的成本和预测图像数据。

帧间预测部40基于原始图像数据和解码图像数据，对HEVC的每个PU 执行帧间预测处理(运动补偿)。执行帧间预测处理(运动检测和运动补偿)。例如，帧间预测部40基于由HEVC指定的搜索范围中包括的每个预测模式候选的预测误差和生成码率来评估成本。接下来，帧间预测部40选择产生最小成本的预测模式，或者换句话说，产生最高压缩比的预测模式，作为最佳预测模式。另外，帧间预测部40根据所选择的最佳预测模式生成预测图像数据。随后，帧间预测部40将与帧间预测有关的信息、相应的成本和预测图像数据输出到模式设置部28。

(2)处理部

图5是示出图4中所示的处理部14的详细配置的一个示例的框图。参考图5，处理部14包括初级变换部141、缩放列表处理部142、处理控制部143、二次变换部144和量化部145。

初级变换部141对从减法部13输入的预测误差数据执行初级变换处理。初级变换部141的初级变换优选地是直接变换处理，例如离散余弦变换或离散正弦变换。更具体地，初级变换部141针对每个TU将从减法部13输入的预测误差数据从空间域中的图像信号变换为频域中的系数数据。随后，初级变换部141将变换系数数据输出到缩放列表处理部142。

缩放列表处理部142对从初级变换部141输入的变换系数数据执行缩放列表处理。例如，缩放列表处理部142可以通过将变换系数数据除以由控制部12确定的缩放列表信息中包括的缩放列表来执行缩放列表处理。缩放列表处理部142将缩放列表处理之后的系数数据(以下称为缩放列表系数数据) 输出到处理控制部143。

处理控制部143基于与从控制部12输入的处理目标块的变换有关的变换信息，控制稍后描述的二次变换部144的变换处理和量化部145的量化处理。例如，根据本实施例的处理控制部143可以基于变换信息确定是否对处理目标块执行二次变换。

注意，对于处理控制部143进行上述确定，指示是否对处理目标块执行二次变换的信息(例如，标志)可以包括在变换信息中，或者可以包括例如指示关于处理目标块的变换的数量和类型的信息。

在确定对处理目标块执行二次变换的情况下，处理控制部143将从缩放列表处理部142输入的缩放列表系数数据输出到二次变换部144。在这种情况下，二次变换部144的变换处理之后的变换系数数据被输入到量化部145，如稍后所述。

此外，在确定不对处理目标块执行二次变换的情况下，处理控制部143 将从缩放列表处理部142输入的缩放列表系数数据输出到量化部145。在这种情况下，由于跳过将数据输入到二次变换部144中，并且不执行二次变换部 144的变换处理，缩放列表系数数据被输入到量化部145。

换句话说，处理控制部143可以基于变换信息控制到二次变换部144的变换处理和量化部145的量化处理中的输入。

在从处理控制部143输入缩放列表系数数据的情况下，二次变换部144 根据与初级变换不同的另一变换(二次变换)执行变换处理(二次变换处理)。根据本实施例的二次变换处理不受特别限制，但是可以是变换到除频域之外的域的变换处理，例如，如非专利文献1中描述的二次变换处理。此外，可以基于由控制部12确定的变换信息，从预先准备的多个变换处理中指定由二次变换部144执行的二次变换处理。二次变换部144将二次变换处理之后的变换系数数据输出到量化部145。

量化部145基于由控制部12确定的量化参数qP执行量化处理。量化部 145在处理控制部143的控制下，通过将二次变换部144的变换处理之后的变换系数数据或缩放列表系数数据作为输入数据，来执行量化处理。量化部145 将量化处理之后的量化数据输出到无损编码部16和逆处理部21。

根据上述处理部14的配置，缩放列表处理可以在由初级变换部141变换到频域的处理之后立即执行。因此，通过缩放列表处理的带宽控制变得可能，而不管要应用于处理目标块的变换的数量和类型如何。

[1-3解码时的处理的流程]

(1)现有技术

图6是示出在变换的数量是1的情况下根据现有技术进行编码时的处理的流程的一个示例的流程图。

参考图6，首先，执行变换处理(S32)，然后执行量化和缩放列表处理(S34)。接下来，执行编码处理(S36)。

(2)新技术

图7是示出根据上述本实施例根据新技术进行编码时的处理的流程的示例的流程图。

参考图7，初级变换部141对从减法部13输入的预测误差数据执行初级变换处理(S102)。接下来，缩放列表处理部142对从初级变换部141输入的变换系数数据执行缩放列表处理(S104)。接下来，处理控制部143基于变换信息确定是否执行二次变换(S106)。

在确定执行二次变换的情况下(S106中的是)，缩放列表系数数据被输出到二次变换部144，并且二次变换部144执行二次变换(S108)。接下来，量化部145对二次变换部144的变换处理之后的变换系数数据执行量化处理 (S110)。

另一方面，在确定不执行二次变换的情况下(S106中的否)，缩放列表系数数据被输出到量化部145，并且量化部145对缩放列表系数数据执行量化处理(S112)。

最后，无损编码部16对通过步骤S110或步骤S112的处理获得的量化数据进行编码。此外，此时，无损编码部16对包括变换信息等的各种编码参数进行编码。

注意，上述每个处理的处理单位可以是任何单位，并且不必彼此相同。因此，每个步骤中的处理也可以与另一步骤等的处理并行地执行，或者可以重新排列执行处理的处理顺序。

通过如上执行每个处理，图像编码设备10能够在变换到频域的处理之后立即执行缩放列表处理，而不管要应用于处理目标块的变换的数量和类型如何。因此，通过缩放列表处理的带宽控制变得可能，而不管要应用于处理目标块的变换的数量和类型如何。

[1-4.图像解码设备的配置]

(1)整体配置

接下来，将描述如上编码的编码数据的解码。图8是示出图像解码设备 60的配置的一个示例的框图，图像解码设备60是根据本实施例的图像处理设备的一个方面。参考图8，提供了累积缓冲器61、无损解码部62、逆处理部 63、加法部65、去块滤波器66、SAO滤波器67、重新排序缓冲器68、数字到模拟(D/A)转换部69、帧存储器70、选择器71a和71b、帧内预测部80 和帧间预测部90。

累积缓冲器61使用存储介质来经由未示出的传输部(例如，如与外围设备连接的通信接口或连接接口)临时缓冲从图像编码设备10接收的编码流。

无损解码部62根据编码期间使用的编码方案，对从累积缓冲器61输入的编码流中的量化数据进行解码。此外，无损解码部62对插入到编码流的头部区域中的编码参数进行解码。由无损解码部62解码的编码参数可以包括例如上述变换信息、缩放列表信息、量化参数、与帧内预测有关的信息、与帧间预测有关的信息等。

无损解码部62将量化数据、变换信息、缩放列表信息和量化参数输出到逆处理部63。此外，无损解码部62将与帧内预测有关的信息输出到帧内预测部80。此外，无损解码部62将与帧间预测有关的信息输出到帧间预测部90。

逆处理部63在对从无损解码部62输入的量化数据进行编码期间执行由处理部14(图4、图5)执行的处理的逆处理，并生成预测误差数据。逆处理部63将所生成的预测误差数据输出到加法部65。注意，稍后将进一步描述逆处理部63的更详细的配置。

加法部65通过将从逆处理部63输入的预测误差数据与从选择器71b输入的预测图像数据相加来生成解码图像数据。然后，加法部65将所生成的解码图像数据输出到去块滤波器66和帧存储器70。

去块滤波器66通过对从加法部65输入的解码图像数据进行滤波来去除块失真，并将滤波后的解码图像数据输出到SAO滤波器67。

SAO滤波器67通过对从去块滤波器66输入的解码图像数据应用边缘偏移处理或带偏移处理来去除噪声，并将处理后的解码图像数据输出到重新排序缓冲器68和帧存储器70。

重新排序缓冲器68重新排序从SAO过滤器67输入的图像，从而生成时序图像数据序列。然后，重新排序缓冲器68将所生成的图像数据输出到D/A 转换部69。

D/A转换部69将从重新排序缓冲器68输入的数字格式的图像数据转换为模拟格式的图像信号。随后，例如，D/A转换部69将模拟图像信号输出到连接到图像解码设备60的显示器(未示出)，从而使得解码视频被显示。

帧存储器70将从加法部65输入的未滤波的解码图像数据和从SAO滤波器67输入的滤波后的解码图像数据存储在存储介质中。

选择器71a根据无损解码部62获取的模式信息，针对图像中的每个块，在帧内预测部80和帧间预测部90之间切换来自帧存储器70的图像数据的输出目的地。在已经指定了帧内预测模式的情况下，例如，选择器71a将从帧存储器70提供的未被滤波的解码图像数据作为参考图像数据输出到帧内预测部80。另外，在已经指定了帧间预测模式的情况下，选择器71a将滤波的解码图像数据作为参考图像数据输出到帧间预测部90。

选择器71b根据无损解码部62获取的模式信息，在帧内预测部80和帧间预测部90之间切换要提供给加法部65的预测图像数据的输出源。在已经指定了帧内预测模式的情况下，例如，选择器71b将从帧内预测部80输出的预测图像数据提供给加法部65。此外，在已经指定了帧间预测模式的情况下，选择器71b将从帧间预测部90输出的预测图像数据提供给加法部65。

帧内预测部80基于关于帧内预测的信息和来自帧存储器70的参考图像数据执行帧内预测处理，从而生成预测图像数据。然后，帧内预测部80将所生成的预测图像数据输出到选择器71b。

帧间预测部90基于关于从无损解码部62输入的帧间预测的信息和来自帧存储器70的参考图像数据执行帧间预测处理，从而生成预测图像数据。然后，帧间预测部90将所生成的预测图像数据输出到选择器71b。

(2)逆处理部

图9是示出图8中所示的逆处理部63的详细配置的一个示例的框图。参考图9，逆处理部63包括逆量化部631、处理控制部632、逆二次变换部633、缩放列表处理部634和逆初级变换部635。

逆量化部631以与编码期间使用的量化参数qP相同的量化参数qP对从无损解码部62输入的量化数据进行逆量化，并重构系数数据。例如，逆量化部631可以执行如参考公式(6)所述的逆量化处理。逆量化部631将重构的系数数据输出到处理控制部632。注意，由逆量化部631重构的系数数据可以是根据二次变换处理的变换系数数据或缩放列表系数数据，这取决于在编码期间是否执行了二次变换。

基于与处理目标块的变换有关的变换信息，处理控制部632控制后面描述的逆二次变换部633的逆变换处理和缩放列表处理部634的缩放列表处理。例如，根据本实施例的处理控制部632可以基于变换信息确定是否对处理目标块执行逆二次变换。

注意，对于处理控制部632进行上述确定，指示在编码期间是否对处理目标块执行二次变换的信息(例如，标志)可以包括在变换信息中，或者可以包括指示关于处理目标块的变换的数量和类型的信息。例如，如果在编码期间已经执行了二次变换，则处理控制部632可以确定执行逆二次变换，并且如果在编码期间没有执行二次变换，则处理控制部632可以确定不执行逆二次变换。

在确定对处理目标块执行逆二次变换的情况下，处理控制部632将从逆量化部631输入的系数数据输出到逆二次变换部633。在这种情况下，将逆二次变换部633的逆二次变换处理之后的系数数据输入到缩放列表处理部634 中，如稍后所述。

在确定不对处理目标块执行逆二次变换的情况下，处理控制部632将从逆量化部631输入的系数数据输出到缩放列表处理部634。在这种情况下，由于跳过将数据输入到逆二次变换部633中，并且不执行逆二次变换部633的逆变换处理，将逆量化之后的系数数据输入到缩放列表处理部634中。

换句话说，处理控制部632可以根据基于变换信息的上述确定，控制到逆二次变换部633的逆变换处理和缩放列表处理部634的缩放列表处理中的输入。

在从处理控制部632输入系数数据的情况下，逆二次变换部633执行在编码期间执行的二次变换的逆变换处理(逆二次变换处理)。逆二次变换部633 将二次变换处理之后的系数数据输出到缩放列表处理部634。

缩放列表处理部634基于从无损解码部62输入的缩放列表信息执行缩放列表处理。缩放列表处理部634在处理控制部632的控制下，通过将逆二次变换部633的变换处理之后的系数数据或逆量化部631的逆量化处理之后的系数数据作为输入数据，来执行缩放列表处理。

例如，缩放列表处理部634可以执行如参考公式(7)所述的缩放列表处理。缩放列表处理部634将缩放列表处理之后的变换系数数据输出到逆初级变换部635。

逆初级变换部635根据在编码期间使用的初级变换处理的变换方案，通过对从缩放列表处理部634输入的变换系数数据执行逆初级变换来生成预测误差数据。逆初级变换部635将所生成的预测误差数据输出到加法部65。

根据上述逆处理部63的配置，根据缩放列表处理的带宽控制进行解码变得可能，而不管应用于处理目标块的变换的数量和类型如何。

[1-5.解码时的处理的流程]

(1)现有技术

图10是示出在变换的数量是1的情况下根据现有技术进行解码时的处理的流程的一个示例的流程图。注意，从解码时的处理的流程中，图10示出了关注从解码处理到生成预测误差数据的处理的处理的处理流程。

参考图10，首先，执行解码处理(S52)。接下来，执行逆量化和缩放列表处理(S54)，之后，执行逆变换处理并生成预测误差数据(S56)。

(2)新技术

图11是示出根据上述本实施例的根据新技术进行解码时的处理的流程的示例的流程图。注意，从解码时的处理的流程中，图11示出了关注从解码处理到生成预测误差数据的处理的处理的处理流程。

参考图11，首先，无损解码部62执行解码处理以获取(解码)量化数据和编码参数(S202)。此时，变换信息、缩放列表信息、量化参数qP等可以包括在所获取的编码参数中。

接下来，逆量化部631以与编码期间使用的量化参数qP相同的量化参数 qP对从无损解码部62输入的量化数据进行逆量化(S204)。接下来，处理控制部632基于变换信息确定是否执行逆二次变换(S206)。

在确定执行逆二次变换的情况下(S206中的是)，将逆量化处理之后的系数数据输出到逆二次变换部633，并且逆二次变换部633执行逆二次变换 (S208)。接下来，缩放列表处理部634对逆二次变换部633的变换处理之后的系数数据执行缩放列表处理(S210)。

另一方面，在确定不执行逆二次变换的情况下(S206中的否)，将逆量化处理之后的系数数据输出到缩放列表处理部634，并且缩放列表处理部634 对逆量化处理之后的系数数据执行缩放列表处理(S212)。

随后，逆初级变换部635对通过步骤S210或步骤S212的处理获得的变换系数数据执行逆初级变换，并生成预测误差数据(S214)。

注意，上述每个处理的处理单位可以是任何单位，并且不必彼此相同。因此，每个步骤中的处理也可以与另一步骤等的处理并行地执行，或者可以重新排列执行处理的处理顺序。

通过执行如上所述的每个处理，图像解码设备60能够根据通过缩放列表处理的带宽控制执行解码，而不管应用于处理目标块的变换的数量和类型如何。

<2.第二实施例>

[2-1.概述]

以上描述了本公开的第一实施例。接下来，作为本公开的第二实施例，以下将描述经由卷积运算通过单个变换表示多个变换的情况。

例如，假设Fx是n个变换的卷积Fn*...F2*F1，则根据本实施例的编码和解码时的处理可以表示为下面的公式(8)和(9)中的每一个。

C＝Q(SLx(Fx(R))......(8)

R＝(F'x*SLx'(DQ(C)))...(9)

注意，这里，SL_x使用由第一实施例中描述的控制部12确定的缩放列表 SL_conv由下面的公式(10)表示。

SLx＝Fx(SL_conv)......(10)

例如，在变换的数量是2的情况下，缩放列表SL_con和二次变换F2分别由下面的公式(11)和(12)表示，SL_x是通过缩放列表SL_conv和二次变换F2 的内积运算得到的，例如，如下面的公式(13)中所示。注意，例如，二次变换F2的特定系数是基于多个变换中的变换信息来确定的。

[公式4]

以上描述了本实施例的概述。接下来，将描述根据本实施例的配置和处理流程。注意，为了简单起见，下面描述其中要应用的变换的数量最多为2 的示例，但是如上所述，根据本实施例的变换的数量不限于这样的示例，也可以是3或更多。

[2-2.图像编码设备的配置]

与根据第一实施例的图像编码设备10相比，根据本实施例的图像编码设备10仅在处理部和逆处理部的功能配置方面不同。因此，以下将描述根据本实施例的图像编码设备10中提供的处理部14-2的配置。注意，由于根据本实施例的图像编码设备10中提供的逆处理部的功能配置类似于根据稍后描述的本实施例的图像解码设备60中提供的逆处理部，因此这里省略描述。

图12是示出根据本实施例的图像编码设备10中提供的处理部14-2的详细配置的一个示例的框图。参考图12，处理部14-2包括处理控制部146、变换部147和量化/缩放列表处理部148。

处理控制部146基于从控制部12输入的与处理目标块的变换有关的变换信息，控制稍后描述的变换部147的变换处理和量化/缩放列表处理部148的量化处理和缩放列表处理。

例如，类似于参考图5描述的处理控制部143，根据本实施例的处理控制部146可以基于变换信息确定是否对处理目标块执行二次变换。

此外，根据本实施例的处理控制部146基于变换信息指定要由变换部147 应用的变换F。例如，在执行二次变换的情况下，变换F可以是通过初级变换F1和二次变换F2的卷积运算获得的变换Fx＝F2*F1。另一方面，在不执行二次变换的情况下，变换F可以是初级变换F1。处理控制部146将关于指定变换F的信息提供给变换部147。

另外，根据本实施例的处理控制部146基于变换信息指定要在由量化/缩放列表处理部148执行的缩放列表处理中使用的缩放列表SL。例如，在执行二次变换的情况下，指定的缩放列表SL可以是使用由控制部12确定的缩放列表SL_conv和二次变换F2在公式(13)中获得的缩放列表SL_x。另一方面，在不执行二次变换的情况下，指定的缩放列表SL可以是由控制部12指定的缩放列表SL_conv。处理控制部146将关于指定的缩放列表SL的信息提供给量化/缩放列表处理部148。

变换部147基于从处理控制部146提供的关于变换F的信息，对从减法部13输入的预测误差数据执行变换处理。变换部147将变换处理之后的变换系数数据输出到量化/缩放列表处理部148。

量化/缩放列表处理部148基于从处理控制部146提供的关于缩放列表SL 的信息来执行量化处理和缩放列表处理。注意，量化/缩放列表处理部148可以使用量化参数qP和缩放列表SL同时或连续地执行缩放列表处理和量化处理。量化/缩放列表处理部148将量化处理之后的量化数据输出到无损编码部 16和逆处理部21。

根据上述处理部14-2的配置，通过缩放列表处理的带宽控制变得可能，而不管应用于处理目标块的变换的数量和类型如何。而且，由于通过卷积运算将多个变换表示为单个变换，因此可以减少处理量。

[2-3.编码时的处理的流程]

图13是示出根据上述本实施例的编码时的处理的流程的示例的流程图。

参考图13，首先，处理控制部146确定是否对处理目标块执行二次变换 (S302)。在确定执行二次变换的情况下(S302中的是)，变换部147通过初级变换和二次变换的卷积运算来执行变换处理(S304)。接下来，由处理控制部146计算缩放列表SL_x(S306)，并且量化/缩放列表处理部148使用计算的缩放列表SL_x来执行量化处理和缩放列表处理(S308)。

另一方面，在确定不执行二次变换的情况下(S302中的否)，变换部147 执行初级变换(S310)，并且量化/缩放列表处理部148使用由控制部12确定的缩放列表SL_conv来执行量化处理和缩放列表处理(S312)。

最后，无损编码部16对通过步骤S308或步骤S312的处理获得的量化数据进行编码。此外，此时，无损编码部16对包括变换信息等的各种编码参数进行编码。

注意，上述每个处理的处理单位可以是任何单位，并且不必彼此相同。因此，每个步骤中的处理也可以与另一步骤等的处理并行地执行，或者可以重新排列执行处理的处理顺序。

通过执行如上的每个处理，图像编码设备10变得能够通过缩放列表处理执行带宽控制，而不管应用于处理目标块的变换的数量和类型如何。而且，由于通过卷积运算将多个变换表示为单个变换，因此可以减少处理量。

[2-4.图像解码设备的配置]

接下来，将描述如上编码的编码数据的解码。与根据第一实施例的图像解码设备60相比，根据本实施例的图像解码设备60仅在逆处理部的功能配置方面不同。因此，下面将描述根据本实施例的图像解码设备60中提供的逆处理部63-2的配置。

图14是示出根据本实施例的图像解码设备60中提供的逆处理部63-2的详细配置的一个示例的框图。参考图14，逆处理部63-2包括处理控制部636、逆量化/缩放列表处理部637和逆变换部638。

基于与处理目标块的变换有关的变换信息，处理控制部636通过逆量化/ 缩放列表处理部637控制量化处理和缩放列表处理，并且通过逆变换部638 控制逆变换处理。

例如，类似于参考图9描述的处理控制部632，根据本实施例的处理控制部636可以基于变换信息确定是否对处理目标块执行逆二次变换。

另外，根据本实施例的处理控制部636基于变换信息指定要在由逆量化/ 缩放列表处理部637执行的缩放列表处理中使用的缩放列表SL。例如，在执行逆二次变换的情况下，指定的缩放列表SL可以是通过由无损解码部62解码的缩放列表信息中包括的缩放列表SL_conv和二次变换F2的内积操作获得的缩放列表SL_x，如公式(13)中所示。另一方面，在不执行逆二次变换的情况下，指定的缩放列表SL可以是由无损解码部62解码的缩放列表信息中包括的缩放列表SL_conv。处理控制部636将关于指定的缩放列表SL的信息提供给逆量化/缩放列表处理部637。

此外，根据本实施例的处理控制部636基于变换信息指定要由逆变换部 638应用的逆变换F'。例如，在执行逆二次变换的情况下，变换F'可以是通过初级变换F1和二次变换F2的卷积运算获得的变换Fx＝F2*F1的逆变换F'x。另一方面，在不执行逆二次变换的情况下，逆变换F可以是初级变换F1的逆变换，即逆初级变换F'1。处理控制部146将关于指定的逆变换F'的信息提供给逆变换部638。

逆量化/缩放列表处理部637基于从处理控制部636提供的关于缩放列表 SL的信息来执行逆量化处理和缩放列表处理。注意，逆量化/缩放列表处理部 637可以使用量化参数qP和缩放列表SL来同时或连续地执行量化处理和缩放列表处理。逆量化/缩放列表处理部637将逆量化处理之后的变换系数数据输出到逆变换部638。

逆变换部638通过基于从处理控制部636提供的关于逆变换F'的信息对从逆量化/缩放列表处理部637输入的变换系数数据执行逆变换处理来生成预测误差数据。逆变换部638将所生成的预测误差数据输出到加法部65。

根据上述逆处理部63-2的配置，根据通过缩放列表处理的带宽控制进行解码变得可能，而不管应用于处理目标块的变换的数量和类型如何。而且，由于通过卷积运算将多个变换表示为单个变换，因此可以减少处理量。

[2-5.解码时的处理的流程]

图15是示出根据上述本实施例的解码时的处理的流程的示例的流程图。注意，从解码时的处理的流程中，图15示出了关注于从解码处理到生成预测误差数据的处理的处理的处理流程。

参考图15，首先，无损解码部62执行解码处理以获取(解码)量化数据和编码参数(S402)。此时，变换信息、缩放列表信息、量化参数qP等可以包括在所获取的编码参数中。

接下来，处理控制部636基于变换信息确定是否对处理目标块执行逆二次变换(S404)。

在确定执行逆二次变换的情况下(S404中的是)，由处理控制部636计算缩放列表SL_x(S406)。接下来，逆量化/缩放列表处理部637使用所计算的缩放列表SL_x来执行逆量化处理和缩放列表处理(S408)。接下来，逆变换部638 通过初级变换和二次变换的卷积运算来执行变换处理的逆变换处理，以生成预测误差数据(S412)。

另一方面，在确定不执行逆二次变换的情况下(S404中的否)，逆量化/ 缩放列表处理部637使用在步骤S402中解码的缩放列表信息中包括的缩放列表SL_conv来执行逆量化处理和缩放列表处理(S414)。

接下来，逆变换部638执行逆初级变换处理以生成预测误差数据(S416)。

注意，上述每个处理的处理单位可以是任何单位，并且不必彼此相同。因此，每个步骤中的处理也可以与另一步骤等的处理并行地执行，或者可以重新排列执行处理的处理顺序。

通过执行如上所述的每个处理，图像解码设备60能够根据通过缩放列表处理的带宽控制执行解码，而不管应用于处理目标块的变换的数量和类型如何。而且，由于通过卷积运算将多个变换表示为单个变换，因此可以减少处理量。

<3.硬件配置示例>

上述一系列处理可以由硬件执行，并且也可以用软件执行。在通过软件执行一系列处理的情况下，将形成软件的程序安装在计算机上。这里，术语计算机包括内置于专用硬件中的计算机，能够通过在其上安装各种程序来执行各种功能的计算机，例如通用个人计算机等。

图16是示出根据程序执行上述一系列处理的计算机的示例性硬件配置的框图。

在图16中所示的计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804互连。

另外，输入/输出接口810也连接到总线804。输入单元811、输出单元 812、存储单元813、通信单元814和驱动器815连接到输入/输出接口810。

输入单元811包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出单元812包括例如显示器、扬声器、输出端子等。存储单元813包括例如硬盘、RAM盘、非易失性存储器等。通信单元814包括例如网络接口。驱动器815驱动可移动介质821，例如磁盘、光盘、磁光盘或半导体存储器。

在如上配置的计算机中，例如，通过使CPU 801经由输入/输出接口810 和总线804将存储在存储单元813中的程序加载到RAM 803中来执行上述一系列处理，并执行该程序。另外，CPU 801执行各种处理等所需的数据也适当地存储在RAM 803中。

例如，可以通过将计算机(CPU 801)执行的程序记录在可移动介质821 上作为封装介质等的实例来应用程序。在这种情况下，通过将可移动介质821 插入驱动器815，可以经由输入/输出接口810将程序安装在存储单元813中。

另外，还可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。在这种情况下，程序可以由通信单元814接收并安装在存储单元813中。

否则，程序也可以预先安装在ROM 802或存储单元813中。

<4.应用示例>

根据上述实施例的图像编码设备10和图像解码设备60可以应用于各种电子设备，例如：用于卫星广播、诸如有线电视的有线广播、通过蜂窝通信在因特网上的分发以及到终端的分发的发送器或接收器；在诸如光盘、磁盘和闪存之类的介质上记录图像的记录装置；或者从上述存储介质再现图像的再现装置。

(1)第一应用示例：电视接收器

图17示出了应用了上述实施例的电视设备的示意性配置的示例。电视设备900具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口 (I/F)909、控制单元910、用户接口(I/F)911和总线912。

调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并解调提取的信号。然后，调谐器902将从解调获得的编码比特流输出到解复用器903。即，调谐器902起到接收编码图像的编码流的电视设备900的传输部的作用。

解复用器903从编码流中解复用要观看的节目的视频流和音频流，并将解复用的流输出到解码器904。另外，解复用器903从编码比特流中提取诸如电子节目指南(EPG)的辅助数据，并将提取的数据提供给控制单元910。注意，在编码比特流已被加扰的情况下，解复用器903可以执行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将从解码处理生成的视频数据输出到视频信号处理单元905。此外，解码器904将从解码处理生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据，以使显示单元906显示视频。另外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用屏幕。此外，视频信号处理单元905可以根据设置对视频数据执行附加处理，例如降噪。此外，视频信号处理单元905可以生成图形用户界面(GUI)的图像，例如菜单、按钮或光标，并将生成的图像叠加在输出图像上。

利用从视频信号处理单元905提供的驱动信号驱动显示单元906，并在显示装置(例如，液晶显示器、等离子显示器、有机电致发光显示器(OLED) 等)的视频平面上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行包括D/A转换和放大的再现处理，并使扬声器908输出声音。另外，音频信号处理单元 907可以对音频数据执行诸如噪声去除的附加处理。

外部接口909是用于将电视设备900连接到外部设备或网络的接口。例如，经由外部接口909接收的视频流或音频流可以由解码器904解码。换句话说，外部接口909还起到接收编码图像的编码流的电视设备900的传输部的作用。

控制单元910具有诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。存储在存储器中的程序在例如电视设备900的启动时由CPU读取和执行。 CPU通过响应于例如从用户接口部911输入的操作信号执行程序来控制电视设备900的操作。

用户接口部911连接到控制单元910。用户接口部911包括例如用户操作电视设备900的按钮和开关、用于遥控信号的接收单元等。用户接口部911 通过检测用户经由任何上述组成元件的操作来生成操作信号，并将生成的操作信号输出到控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元 905、音频信号处理单元907、外部接口909和控制单元910彼此连接。

在以这种方式配置的电视设备900中，解码器904还可以包括上述图像解码设备60的功能。换句话说，解码器904可以被配置为根据在每个上述实施例中描述的方法对编码数据进行解码。利用这种布置，电视设备900变得能够根据通过缩放列表处理的带宽控制来执行解码。

此外，在以这种方式配置的电视设备900中，视频信号处理单元905能够对从解码器904提供的图像数据进行编码，并使获得的编码数据通过外部接口909从外部输出到电视设备900。另外，视频信号处理单元905还可以包括上述图像编码设备10的功能。换句话说，视频信号处理单元905可以被配置为根据在每个上述实施例中描述的方法对从解码器904提供的图像数据进行编码。利用这种布置，电视设备900变得能够通过缩放列表处理执行带宽控制。

(2)第二应用示例：移动电话

图18示出了应用了上述实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933相互连接通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931。

移动电话920执行诸如发送/接收音频信号、发送/接收电子邮件或图像数据、捕获图像以及以包括音频呼叫模式、数据通信模式、摄影模式和可视电话模式的各种操作模式记录数据的动作。

在音频呼叫模式中，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923然后将模拟音频信号转换为音频数据，对转换的音频数据执行A/D转换，并压缩数据。音频编解码器923此后将压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。然后，通信单元922通过天线921将所生成的传输信号发送到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，执行频率转换，并获取接收信号。此后，通信单元922对接收信号进行解调和解码以生成音频数据，并将所生成的音频数据输出到音频编解码器923。音频编解码器923扩展音频数据，对数据执行D/A转换，并生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供给扬声器924以使其输出音频。

在数据通信模式中，例如，控制单元931根据通过操作单元932检测到的用户操作生成配置电子邮件的字符数据。控制单元931还在显示单元930 上显示字符。此外，控制单元931根据通过操作单元932从用户获得的发送电子邮件数据的指令生成电子邮件数据，并将生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以生成传输信号。然后，通信单元922通过天线921将所生成的发送信号发送到基站(未示出)。通信单元922还放大通过天线921接收的无线电信号，执行频率转换，并获取接收信号。此后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并将恢复的电子邮件数据输出到控制单元931。控制单元931在显示单元930上显示电子邮件的内容以及将电子邮件数据提供给记录/再现单元 929的存储介质，以使数据记录在介质中。

记录/再现单元929包括可读和可写的任意存储介质。例如，存储介质可以是内置存储介质，例如RAM或闪存，或者可以是外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、磁盘、USB存储器或存储卡。

在摄影模式中，例如，相机单元926对对象进行成像以生成图像数据，并将所生成的图像数据输出到图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码并提供编码流到记录/再现单元929的存储介质，以使编码流记录在介质中。

此外，在图像显示模式中，记录/再现单元929读出记录在存储介质上的编码流，并输出到图像处理单元927。图像处理单元927对从记录/再现单元 929输入的编码流进行解码，将图像数据提供给显示单元930，并使图像显示。

在可视电话模式中，例如，复用/解复用单元928复用由图像处理单元927 编码的视频流和从音频编解码器923输入的音频流，并将复用的流输出到通信单元922。通信单元922对流进行编码和调制以生成传输信号。然后，通信单元922通过天线921将所生成的传输信号传输到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，执行频率转换，并获取接收信号。传输信号和接收信号可以包括编码比特流。通信单元922因此解调和解码接收信号以恢复流，并将恢复的流输出到复用/解复用单元928。复用/ 解复用单元928从输入流中解复用视频流和音频流，并将视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后将视频数据提供给显示单元930，显示单元 930显示一系列图像。音频编解码器923扩展并对音频流执行D/A转换以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供给扬声器 924以使其输出音频。

在以这种方式配置的移动电话920中，图像处理单元927可以包括例如上述图像编码设备10的功能。换句话说，图像处理单元927可以被配置为根据在每个上述实施例中描述的方法对图像数据进行编码。利用这种布置，移动电话920变得能够通过缩放列表处理执行带宽控制。

此外，在以这种方式配置的移动电话920中，图像处理单元927可以包括例如上述图像解码设备60的功能。换句话说，图像处理单元927可以被配置为根据在每个上述实施例中描述的方法对编码数据进行解码。利用这种布置，移动电话920变得能够根据通过缩放列表处理的带宽控制来执行解码。

(3)第三应用示例：记录/再现设备

图19示出了应用了上述实施例的记录/再现设备的示意性配置的示例。例如，记录/再现设备940对接收的广播节目的音频数据和视频数据进行编码，并将数据记录到记录介质中。例如，记录/再现设备940还可以对从另一设备获取的音频数据和视频数据进行编码，并将数据记录到记录介质中。记录/再现设备940例如响应于用户指令，在监视器和扬声器上再现记录在记录介质中的数据。在这种情况下，记录/再现设备940对音频数据和视频数据进行解码。

记录/再现设备940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、磁盘驱动器945、选择器946、解码器947、屏幕显示器 (OSD)948、控制单元949和用户接口950。

调谐器941从通过天线(未示出)接收的广播信号中提取期望频道的信号，并解调提取的信号。然后，调谐器941将通过解调获得的编码比特流输出到选择器946。即，调谐器941具有作为记录/再现设备940中的传输装置的作用。

外部接口942是将记录/再现设备940与外部装置或网络连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪存接口。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。也就是说，外部接口942具有作为记录/再现设备940中的传输装置的作用。

在未编码从外部接口942输入的视频数据和音频数据的情况下，编码器 943对视频数据和音频数据进行编码。此后，编码器943将编码比特流输出到选择器946。

HDD 944将编码的比特流记录到内部硬盘中，在该编码的比特流中压缩诸如视频和音频的内容数据、各种程序和其他数据。当再现视频和音频时， HDD 944从硬盘读取这些数据。

磁盘驱动器945在附接到磁盘驱动器的记录介质中记录数据并从中读取数据。附接到磁盘驱动器945的记录介质可以是例如DVD磁盘(例如DVD 视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光-光碟 (注册商标)磁盘。

选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出到HDD 944或磁盘驱动器945。当再现视频和音频时，在另一方面，选择器946将从HDD 944或磁盘驱动器 945输入的编码比特流输出到解码器947。

解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器904将生成的视频数据输出到OSD 948，并将生成的音频数据输出到外部扬声器。

OSD 948再现从解码器947输入的视频数据并显示视频。OSD 948还可以将诸如菜单、按钮或光标的GUI的图像叠加到所显示的视频上。

控制单元949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序在记录 /再现设备940启动时由CPU读取并执行。通过执行程序，CPU根据例如从用户接口950输入的操作信号控制记录/再现设备940的操作。

用户接口950连接到控制单元949。用户接口950包括用于用户操作记录 /再现设备940的按钮和开关，以及接收例如接收遥控信号的接收部。用户接口950通过这些组件检测用户操作以生成操作信号，并将生成的操作信号输出到控制单元949。

在以这种方式配置的记录/再现设备940中，编码器943包括根据上述实施例的图像编码设备10的功能。另外，解码器947包括根据上述实施例的图像解码设备60的功能。利用这种布置，当记录/再现设备940应用多个(逆) 变换进行编码或解码时，通过缩放列表处理的带宽控制变得可能。

(4)第四应用示例：成像设备

图20示出了应用了上述实施例的成像设备的示意性配置的示例。成像设备960对对象进行成像以生成图像，对图像数据进行编码，并将数据记录到记录介质中。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、 OSD 969、控制单元970、用户接口971和总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972相互连接图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970。

光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像平面上形成对象的光学图像。成像单元962包括诸如CCD(电荷耦合器件) 或CMOS(互补金属氧化物半导体)的图像传感器并且执行光电转换以将在成像平面上形成的光学图像转换为作为电信号的图像信号。然后，成像单元 962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将已经执行了相机信号处理的图像数据输出到图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码，并生成编码数据。然后，图像处理单元964将所生成的编码数据输出到外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码，以生成图像数据。然后，图像处理单元964 将所生成的图像数据输出到显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示单元965，以使显示单元965显示图像。此外，图像处理单元964可以将从OSD 969获取的显示数据叠加到在显示单元965上输出的图像上。

OSD 969生成诸如菜单、按钮或光标的GUI的图像，并将生成的图像输出到图像处理单元964。

外部接口966例如被配置为USB输入/输出端子。例如，外部接口966 在打印图像时将成像设备960与打印机连接。此外，根据需要将驱动器连接到外部接口966。例如，诸如磁盘或光盘的可移动介质附接到驱动器，使得从可移动介质读取的程序可以安装到成像设备960。外部接口966也可以被配置为连接到诸如LAN或因特网的网络的网络接口。也就是说，外部接口966具有作为成像设备960中的传输装置的作用。

附接到介质驱动器968的记录介质可以是可读和可写的任意可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以以固定方式附接到介质驱动器968，使得例如配置诸如内置硬盘驱动器或固态驱动器 (SSD)的不可移动存储单元。

控制单元970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序在成像设备960启动时由CPU读取然后执行。通过执行程序，CPU根据例如从用户接口971输入的操作信号控制成像设备960的操作。

用户接口971连接到控制单元970。用户接口971包括用于例如用户操作成像设备960的按钮和开关。用户接口971通过这些组件检测用户操作以生成操作信号，并将生成的操作信号输出到控制单元970。

在以这种方式配置的成像设备960中，图像处理单元964包括根据上述实施例的图像编码设备10和图像解码设备60的功能。利用这种布置，当成像设备960应用多个(逆)变换进行编码或解码时，通过缩放列表处理的带宽控制变得可能。

(5)第五应用示例：视频集

另外，本技术还可以实现为安装在任何设备或系统中包括的设备中的任何类型的配置，诸如作为大规模集成(LSI)芯片等提供的处理器、使用多个处理器等的模块、使用多个模块等的单元、进一步向单元添加其他功能的集合(即，设备的一部分的配置)等。图21示出了应用本技术的视频集的示意性配置的一个示例。

近来，电子装置正变得更加多功能化，并且在这种电子装置的开发和制造中，在实现其部分配置以用于销售、提供等的情况下，不仅将实施方式作为包括单个功能的配置来执行变得普遍，而且组合包括相关功能的多个配置并将实施方式作为包括多个功能的单个集合来执行也变得普遍。

图21中示出的视频集1300是这样的多功能配置，并且是包括与图像编码和解码(一者或两者)相关的功能的装置与包括与这些功能相关的其他功能的装置的组合。

如图21所示，视频集1300包括诸如视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314的模块组，并且图21还示出了包括诸如连接1321、相机1322和传感器1323的相关功能的装置。

模块是将几个相互关联的部分功能收集到统一功能中的部分。具体的物理配置可以是任何配置，但是例如，可以想到将具有各自功能的多个处理器、诸如电阻器和电容器的电子电路元件、其他装置等设置和集成到电路板等上。还可以想到将模块与另一模块、处理器等组合以创建新模块。

在图21中的示例的情况下，视频模块1311是包括与图像处理有关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333 和RF模块1334。

处理器是具有预定功能的配置集成到作为片上系统(SoC)的半导体芯片中，并且还可以被指定为例如大规模集成(LSI)芯片等。具有预定功能的配置可以是逻辑电路(硬件配置)，但也可以是CPU、ROM、RAM等，以及使用这些(软件配置)执行的程序，并且也可以是两者的组合。例如，处理器可以包括逻辑电路和CPU、ROM、RAM等，并且可以被配置为利用逻辑电路(硬件配置)实现功能的子集，同时利用在CPU上执行的程序(软件配置) 实现其他功能。

图21中的应用处理器1331是执行与图像处理有关的应用的处理器。为了实现预定功能，在应用处理器1331中执行的应用不仅能够执行计算处理，而且还能够在必要时控制视频模块1311内部和外部的配置，例如视频处理器 1332。

视频处理器1332是包括与图像编码/解码(一者或两者)相关的功能的处理器。

宽带调制解调器1333执行数字调制等，以将通过诸如因特网或公共电话网络的宽带连接执行的有线或无线(或两者)宽带通信发送的数据(数字信号)转换为模拟信号，并且还执行解调以将通过这种宽带通信接收的模拟信号转换为数据(数字信号)。宽带调制解调器1333处理任何类型的信息，例如由视频处理器1332处理的图像数据、编码图像数据的流、应用程序和设置数据。

RF模块1334是对通过天线发送和接收的射频(RF)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。此外，例如， RF模块1334通过对经由前端模块1314接收的RF信号执行频率转换等来生成基带信号。

注意，如图21中的虚线1341所示，应用处理器1331和视频处理器1332 也可以统一并配置为单个处理器。

外部存储器1312是在视频模块1311外部提供的模块，其包括由视频模块1311使用的存储装置。外部存储器1312的存储装置可以通过任何种类的物理配置来实现，但是由于存储装置通常用于以帧为单位存储诸如图像数据的大量数据，期望实现具有相对便宜和高容量的半导体存储器(例如，动态随机存取存储器(DRAM))的存储装置。

电源管理模块1313管理和控制对视频模块1311(视频模块1311内的每个配置)的供电。

前端模块1314是向RF模块1334提供前端功能(天线侧发送/接收端口上的电路)的模块。如图21所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。

天线单元1351包括发送和接收无线信号的天线，以及其外围配置。天线单元1351将从放大单元1353提供的信号作为无线信号发送，并将接收的无线信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对通过天线单元1351接收的RF信号执行滤波处理等，并将处理后的RF信号提供给RF 模块1334。放大单元1353将从RF模块1334提供的RF信号放大并提供给天线单元1351。

连接1321是包括与外部连接相关的功能的模块。连接1321的物理配置可以是任何配置。例如，连接1321包括具有除宽带调制解调器1333、外部输入/输出端子等支持的通信标准之外的通信功能的配置。

例如，连接1321可以包括具有符合无线通信标准(例如蓝牙(注册商标)、 IEEE802.11(例如，无线保真(Wi-Fi(注册商标)))、近场通信(NFC)或红外数据协会(IrDA))的通信功能的模块、以及发送和接收符合标准的信号的天线等。另外，例如，连接1321可以包括具有符合有线通信功能(例如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标))的通信功能的模块、以及符合该标准的端口。此外，例如，连接1321可以包括发送另一种数据(信号)的功能，例如模拟输入/输出终端。

注意，连接1321可以包括数据(信号)的发送目的地装置。例如，连接 1321可以包括驱动器(不仅是用于可移动介质的驱动器，还包括硬盘、固态驱动器(SSD)、网络附接存储器(NAS)等)，其读取和写入关于诸如磁盘、光盘、磁光盘或半导体存储器的记录介质的数据。此外，连接1321可以包括输出图像和声音的装置(例如监视器和扬声器)。

相机1322是具有对对象成像并获得对象的图像数据的功能的模块。例如，通过相机1322的成像获得的图像数据被提供给视频处理器1332并被编码。

传感器1323是具有任何类型的传感器功能的模块，例如声音传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁场传感器、震动传感器或温度传感器。例如，传感器1323检测到的数据被提供给应用处理器1331并由应用等利用。

作为上述模块描述的配置也可以实现为处理器，而相反地，描述为处理器的配置也可以实现为模块。

在具有如上配置的视频集1300中，本技术可以应用于稍后描述的视频处理器1332。因此，视频集1300可以作为应用本技术的集合来执行。

(视频处理器的示例性配置)

图22示出了应用本技术的视频处理器1332(图21)的示意性配置的一个示例。

在图22中的示例的情况下，如图22所示，视频处理器1332包括接收视频信号和音频信号的输入并根据预定方法对这些信号进行编码的功能，以及对编码的视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。

如图22中所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332包括编码/ 解码引擎1407、视频基本流(ES)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。另外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413和流缓冲器 1414。

视频输入处理单元1401例如获取从连接1321(图21)等输入的视频信号，并将视频信号转换为数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403对图像数据执行根据通过视频输出处理单元1404输出到的目的地的格式放大或缩小图像的处理、与第一图像放大/缩小单元1402类似的格式转换和图像放大 /缩小处理等。视频输出处理单元1404对图像数据执行格式转换、转换为模拟信号等，并将结果输出到连接1321，例如作为再现的视频信号。

帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407 共享的图像数据的存储器。帧存储器1405例如被实现为诸如DRAM的半导体存储器。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并根据访问管理表1406A中写入的帧存储器1405的访问时间表来控制访问和写入并读取帧存储器1405。存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来更新访问管理表1406A。

编码/解码引擎1407执行编码图像数据的处理以及解码视频流的处理，视频流是对图像数据进行编码的数据。例如，编码/解码引擎1407对从帧存储器 1405读取的图像数据进行编码，并且将编码数据作为视频流连续地写入视频 ES缓冲器1408A。另外，例如，编码/解码引擎1407连续地从视频ES缓冲器 1408B读取和解码视频流，并将解码的数据作为图像数据写入帧存储器1405。在该编码和解码期间，编码/解码引擎1407使用帧存储器1405作为工作区。此外，例如，编码/解码引擎1407在开始每个宏块的处理时向存储器控制单元1406输出同步信号。

视频ES缓冲器1408A缓冲并将由编码/解码引擎1407生成的视频流提供给复用器(MUX)1412。视频ES缓冲器1408B缓冲从解复用器(DMUX) 1413提供的视频流，并将该视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A缓冲并将由音频编码器1410生成的音频流提供给复用器(MUX)1412。音频ES缓冲器1409B缓冲从解复用器(DMUX)1413 提供的音频流，并将该音频流提供给音频解码器1411。

音频编码器1410例如对从连接1321等输入的音频信号进行数字转换，并且例如根据诸如MPEG音频方法或AudioCode 3(AC3)方法之类的预定方法对音频信号进行编码。音频编码器1410连续地将音频流(其中音频信号被编码的数据)写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，例如执行到模拟信号的转换等，并将结果提供给连接1321等，例如作为再现的音频信号。

复用器(MUX)1412复用视频流和音频流。复用方法(即，通过复用生成的比特流的格式)可以是任何方法。另外，在该复用期间，复用器(MUX) 1412还能够将预定的报头信息等添加到比特流。换句话说，复用器(MUX) 1412能够通过复用来转换流的格式。例如，通过复用视频流和音频流，复用器(MUX)1412将流转换为传输流，该传输流是用于传输的格式的比特流。另外，例如，通过复用视频流和音频流，复用器(MUX)1412将流转换为用于记录的文件格式的数据(文件数据)。

解复用器(DMUX)1413根据与由复用器(MUX)1412复用的方法相相对应的方法，对复用了视频流和音频流的比特流进行解复用。换句话说，解复用器(DMUX)1413从于流缓冲器1414读出的比特流中提取视频流和音频流(将视频流和音频流分开)。换句话说，解复用器(DMUX)1413能够通过解复用来转换流的格式(复用器(MUX)1412的转换的逆转换)。例如，解复用器(DMUX)1413能够例如经由流缓冲器1414获取从连接1321、宽带调制解调器1333等提供的传输流，并且通过解复用，能够将传输流转换为视频流和音频流。另外，例如，解复用器(DMUX)1413能够例如经由流缓冲器1414获取通过连接1321从各种类型的记录介质中的任何类型的记录介质中读出的文件数据，并且通过解复用，能够将文件数据转换为视频流和音频流。

流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从复用器(MUX) 1412提供的传输流，并且在预定时序，或者基于外部请求等，将传输流提供给连接1321、宽带调制解调器1333等。

另外，例如，流缓冲器1414缓冲从复用器(MUX)1412提供的文件数据，并且在预定时序、或者基于外部请求等，将文件数据提供给连接1321等，例如使文件数据记录在各种类型的记录介质中的任何型的记录介质中。

此外，流缓冲器1414例如缓冲经由连接1321、宽带调制解调器1333等获取的传输流，并且在预定时序、或者基于外部请求等，将传输流提供给解复用器(DMUX)1413。

另外，流缓冲器1414例如在连接1321等中缓冲从各种类型的记录介质中的任何类型的记录介质读出的文件数据，并且在预定时序、或者基于外部请求等，将文件数据提供给解复用器(DMUX)1413。

接下来，将描述具有这种配置的视频处理器1332的操作的示例。例如，从连接1321等输入到视频处理器1332的视频信号在视频输入处理单元1401 中被转换成预定格式(例如4：2：2Y/Cb/Cr格式)的数字图像数据，并被连续写入帧存储器1405。数字图像数据被读出到第一图像放大/缩小单元1402 或第二图像放大/缩小单元1403，经历到预定格式(例如4：2：0Y/Cb/Cr等) 的格式转换以及放大/缩小处理，并再次写入帧存储器1405。图像数据由编码 /解码引擎1407编码，并作为视频流写入视频ES缓冲器1408A。

此外，从连接1321等输入到视频处理器1332的音频信号由音频编码器 1410编码，并作为音频流写入音频ES缓冲器1409A。

视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流由复用器(MUX)1412读出并复用，并转换为传输流、文件数据等。由复用器(MUX)1412生成的传输流在流缓冲器1414中缓冲，然后经由例如连接1321、宽带调制解调器1333等输出到外部网络。此外，由复用器(MUX)1412生成的文件数据被缓冲在流缓冲器1414中，然后输出到例如连接1321等，并被记录到各种类型的记录介质中的任何类型的记录介质。

此外，例如经由连接1321、宽带调制解调器1333等从外部网络输入到视频处理器1332的传输流在流缓冲器1414中缓冲，然后由解复用器(DMUX) 1413解复用。此外，例如在连接1321等中从各种类型的记录介质中的任何类型的记录介质读出的文件数据被输入到视频处理器1332中并被缓冲在缓冲器 1414中，然后由解复用器(DMUX)1413解复用。换句话说，通过解复用器 (DMUX)1413将输入到视频处理器1332的传输流或文件数据分离为视频流和音频流。

音频流经由音频ES缓冲器1409B提供给音频解码器1411并被解码，并且再现音频信号。此外，视频流在被写入视频ES缓冲器1408B之后，由编码 /解码引擎1407连续读出和解码，并被写入帧存储器1405。解码的图像数据经历第二图像放大/缩小单元1403的放大/缩小处理，并被写入帧存储器1405。然后，将解码的图像数据读出到视频输出处理单元1404，格式转换为预定的格式(例如4：2：2Y/Cb/Cr格式)，另外转换为模拟信号，并再现和输出视频信号。

在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述每个实施例的本技术应用于编码/解码引擎1407是足够的。换句话说，例如，编码/解码引擎1407可以包括上述图像编码设备10的功能或图像解码设备60的功能，或包括上述两者。利用这种布置，视频处理器1332能够获得与上面参考图1至15描述的每个实施例类似的效果。

注意，在编码/解码引擎1407中，本技术(即，图像编码设备10的功能，图像解码设备60的功能或两者)可以通过诸如逻辑电路的硬件实现，或者可以通过诸如嵌入式程序的软件来实现，或者可以通过上述两者来实现。

(视频处理器的另一示例性配置)

图23示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图23中的示例的情况下，视频处理器1332包括根据预定方法对视频数据进行编码/解码的功能。

更具体地，如图23中所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。此外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用器/解复用器(MUX DMUX)1518、网络接口1519和视频接口1520。

控制单元1511控制视频处理器1332中的每个处理单元的操作，例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516。

如图23中所示，控制单元1511包括例如主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的每个处理单元的操作的程序等。主CPU1531根据程序等生成控制信号，并将控制信号提供给每个处理单元(换句话说，控制每个处理单元的操作)。副CPU 1532 履行对主CPU 1531的补充作用。例如，副CPU 1532执行由主CPU 1531执行的程序等的子进程、子例程等。系统控制器1533控制主CPU 1531和副CPU1532的操作，例如指定要由主CPU 1531和副CPU 1532执行的程序。

例如，在控制单元1511的控制下，显示接口1512将图像数据输出到连接1321等。例如，显示接口1512将数字图像数据转换为模拟信号并输出模拟信号，或者将数字图像数据作为再现视频信号直接输出到连接1321的监视器设备等。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换处理，例如格式转换、尺寸转换和色域转换，以匹配要显示图像的监视器设备等的硬件规格。

在控制单元1511的控制下，图像处理引擎1514对图像数据执行预定的图像处理，例如，用于改善图像质量的滤波处理。

内部存储器1515是在视频处理器1332内提供的存储器，并由显示引擎 1513、图像处理引擎1514和编解码器引擎1516共享。例如，内部存储器1515 用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且根据需要(例如，响应于请求)，将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何种类的存储装置实现，但是由于存储装置通常用于存储诸如以块为单位的图像数据之类的少量数据、参数等，希望实现具有相对(例如，与外部存储器1312相比较)小的容量但响应速度快的半导体存储器(例如静态随机存取存储器(SRAM))的存储装置。

编解码器引擎1516执行与图像数据的编码和解码有关的处理。编解码器引擎1516支持的编码/解码方法可以是任何方法，并且可以存在一个或多个这样的方法。例如，编解码器引擎1516可以被提供有用于多种编码/解码方法的编解码器功能，并且可以被配置为通过从多种方法中进行选择来编码或解码图像数据。

在图23所示的示例中，例如，编解码器引擎1516包括MPEG-2视频1541、 AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265 (多视图)1545、以及MPEG-DASH 1551作为编解码器相关处理的功能块。

MPEG-2视频1541是根据MPEG-2方法对图像数据进行编码和解码的功能块。AVC/H.264 1542是根据AVC方法对图像数据进行编码和解码的功能块。 HEVC/H.265 1543是根据HEVC方法对图像数据进行编码和解码的功能块。 HEVC/H.265(可缩放)1544是根据HEVC方法对图像数据进行缩放编码和缩放解码的功能块。HEVC/H.265(多视图)1545是根据HEVC方法对图像数据进行多视图编码和多视图解码的功能块。

MPEG-DASH 1551是根据MPEG动态自适应HTTP流传输(MPEG-DASH) 方法发送和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议 (HTTP)来流式传输视频的技术，其一个特征是，从提前准备的具有不同分辨率等的多组编码数据中的段的单元中选择和传输适当的编码数据。 MPEG-DASH 1551执行符合标准的流的生成、传输控制等，而对于图像数据的编码/解码，使用MPEG-2视频1541到HEVC/H.265(多视图)1545。

存储器接口1517是外部存储器1312的接口。从图像处理引擎1514和编解码器引擎1516提供的数据通过存储器接口1517提供给外部存储器1312。此外，从外部存储器1312读出的数据通过存储器接口1517提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用器/解复用器(MUX DMUX)1518复用和解复用各种图像相关数据，例如编码数据的比特流、图像数据、视频信号等。复用/解复用方法可以是任何方法。例如，当复用时，复用器/解复用器(MUX DMUX)1518不仅能够将多个数据收集到单个数据中，而且还能够将预定的头部信息等添加到数据中。此外，当解复用时，复用器/解复用器(MUX DMUX)1518不仅能够将单个数据分成多个数据，而且还将预定的头部信息等添加到每个分割的数据。换句话说，复用器/解复用器(MUX DMUX)1518能够通过复用/解复用来转换数据格式。例如，通过复用比特流，复用器/解复用器(MUX DMUX)1518 能够将比特流转换为传输流(其是用于传输的格式的比特流)，或者转换为文件格式的数据(文件数据)用于记录。显然，通过解复用，逆转换也是可能的。

网络接口1519例如是宽带调制解调器1333、连接1321等的接口。视频接口1520例如是用于连接1321、相机1322等的接口。

接下来，将描述这种视频处理器1332的操作的示例。例如，当通过连接 1321、宽带调制解调器1333等从外部网络接收传输流时，传输流通过网络接口1519提供给复用器/解复用器(MUX DMUX)1518并被解复用，并且被编解码器引擎1516解码。例如，通过编解码器引擎1516的解码得到的图像数据经历由图像处理引擎1514进行的预定图像处理，经历由显示引擎1513进行的预定转换，例如通过显示接口1512提供给连接1321，并且图像显示在监视器上。另外，例如，通过编解码器引擎1516的解码获得的图像数据由编解码器引擎1516重新编码，由复用器/解复用器(MUX DMUX)1518复用并转换为文件数据，例如通过视频接口1520输出到连接1321等，并记录在各种类型的记录介质中的任何类型的记录介质上。

此外，例如，通过连接1321从未示出的记录介质读出的编码图像数据的编码数据的文件数据通过视频接口1520提供给复用器/解复用器(MUX DMUX)1518并被解复用，并且被编解码器引擎1516解码。通过编解码器引擎1516的解码获得的图像数据经历由图像处理引擎1514进行的预定图像处理，经历由显示引擎1513进行的预定转换，例如通过显示接口1512提供给连接1321等，并且图像显示在监视器上。另外，例如，通过编解码器引擎1516 的解码获得的图像数据由编解码器引擎1516重新编码，由复用器/解复用器 (MUX DMUX)1518复用并转换为传输流，例如通过网络接口1519提供给连接1321、宽带调制解调器1333等，并发送到另一未示出的设备。

注意，例如，通过利用内部存储器1515和外部存储器1312来执行视频处理器1332内的每个处理单元之间的图像数据和其他数据的交换。另外，电源管理模块1313例如控制对控制单元1511的供电。

在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述每个实施例的本技术应用于编解码器引擎1516是足够的。换句话说，例如，对于编解码器引擎1516来说，包括上述图像编码设备10的功能或图像解码设备60的功能、或两者是足够的。利用这种布置，视频处理器1332能够获得与上面参考图1至15描述的每个实施例类似的效果。

注意，在编解码器引擎1516中，本技术(即，图像编码设备10的功能) 可以通过诸如逻辑电路等的硬件来实现，可以通过诸如嵌入式程序的软件来实现，或者可以通过上述两者来实现。

以上示出了视频处理器1332的两种配置作为示例，但是视频处理器1332 的配置可以是任何配置，并且可以是除了上述两个示例之外的配置。而且，视频处理器1332可以被配置为单个半导体芯片，但是也可以被配置为多个半导体芯片。例如，堆叠多个半导体的三维堆叠LSI芯片是可能的。而且，由多个LSI芯片实现的配置是可能的。

(对设备的应用示例)

视频集1300可以嵌入到处理图像数据的各种类型的设备中的任何类型的设备中。例如视频集1300可以嵌入到电视设备900(图17)、移动电话920 (图18)、记录/再现设备940(图19)、成像设备960(图20)等。通过嵌入视频集1300，设备能够获得与上面参考图1至15描述的每个实施例类似的效果。

注意，只要包括视频处理器1332，即使上述视频集1300的每个配置的一部分也可以作为应用本技术的配置来执行。例如，可以仅执行视频处理器1332 作为应用本技术的视频处理器。此外，例如，如上所述的虚线1341所示的处理器、视频模块1311等可以作为应用本技术的处理器、模块等来执行。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314 也可以组合并执行为应用本技术的视频单元1361。利用这些配置中的任何配置，可以获得与上面参考图1至15描述的每个实施例类似的效果。

换句话说，只要包括视频处理器1332，任何类型的配置都可以嵌入到处理图像数据的各种类型的设备中，类似于视频集1300的情况。例如，视频处理器1332、虚线1341所示的处理器、视频模块1311或视频单元1361可以嵌入到电视设备900(图17)、移动电话920(图18)、记录/再现设备940(图 19)、成像设备960(图20)等。另外，通过嵌入应用本技术的任何配置，设备能够获得与上面参考图1至15描述的每个实施例类似的效果，类似于视频集1300。

<第六应用示例：网络系统>

另外，本技术还适用于包括多个设备的网络系统。图24示出了应用本技术的网络系统的示意性配置的一个示例。

图24中示出的网络系统1600是其中装置通过网络彼此交换与图像(运动图像)有关的信息的系统。网络系统1600的云服务1601是向诸如可通信地连接到云服务1601的计算机1611、视听(AV)设备1612、移动信息处理终端1613和物联网(IoT)装置1614之类的终端提供与图像(运动图像)有关的服务的系统。例如，云服务1601提供向终端提供图像(运动图像)内容的服务，例如所谓的视频流(按需或直播)。作为另一示例，云服务1601提供从终端接收和存储图像(运动图像)内容的备份服务。作为另一示例，云服务1601提供在终端之间调解图像(运动图像)内容的交换的服务。

云服务1601的物理配置可以是任何配置。例如，云服务1601可以包括各种服务器(诸如保存和管理运动图像的服务器、向终端递送运动图像的服务器、从终端获取运动图像的服务器、以及管理用户(终端)和支付的服务器)、以及任何类型的网络，如因特网或LAN。

计算机1611包括信息处理设备，例如个人计算机、服务器或工作站。AV 设备1612包括图像处理设备，例如电视接收器、硬盘记录器，游戏机或照相机。移动信息处理终端1613包括移动信息处理设备，例如笔记本个人计算机、平板终端、移动电话或智能电话。IoT装置1614包括执行图像相关处理的任何对象，例如机器、电器、家具、一些其他物品、IC标签或卡形装置等。这些终端都包括通信功能，并且能够与云服务1601连接(建立会话)并与云服务1601交换信息(即，与之通信)。此外，每个终端还能够与另一终端通信。终端之间的通信可以经过云服务1601来执行，或者可以在不经过云服务1601 的情况下来执行。

当如上所述将本技术应用于网络系统1600，并且在终端之间或终端与云服务1601之间交换图像(运动图像)数据时，可以如上所述在每个实施例中对图像数据进行编码/解码。换句话说，终端(从计算机1611到IoT装置1614) 和云服务1601各自可以包括上述图像编码设备10和图像解码设备60的功能。利用这种布置，当应用多个(逆)变换进行编码或解码时，通过缩放列表处理的带宽控制变得可能。

<5.结论>

根据如上所述的本公开的实施例，即使在应用多个变换的情况下，也可以使用缩放列表进行带宽控制。

以上已经参考附图描述了本公开的(一个或多个)优选实施例，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种改变和修改，并且应该理解，它们将自然地落入本公开的技术范围内。

可以从编码侧向解码侧发送与在每个上述实施例中描述的本技术有关的控制信息。例如，可以发送控制是否允许(或拒绝)上述本技术的应用的控制信息。此外，例如，可以发送指定允许(或拒绝)上述本技术的应用的块大小的上限、下限或两者的控制信息。

本技术可以应用于执行初级变换、二次变换和编码(解码、逆二次变换和逆初级变换)的任何类型的图像编码/解码。换句话说，变换(逆变换)、量化(逆量化)、编码(解码)、预测等的规范可以是任何规范，并且不限于上述示例。例如，在变换(逆变换)中，可以执行除(逆)初级变换和(逆) 二次变换之外的(逆)变换(换句话说，三个或更多(逆)变换)。此外，编码(解码)可以是无损方法或有损方法。另外，还可以省略量化(逆量化)、预测等。此外，还可以执行上面未描述的处理，诸如滤波处理。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，并不是限制性的。也就是说，利用或代替上述效果，根据本公开的技术可以从本说明书的描述中实现本领域技术人员清楚的其他效果。

另外，本技术还可以如下配置。

(1)

一种图像处理设备，包括：

处理控制部，其基于与应用于处理目标块的变换有关的变换信息来控制缩放列表处理。

(2)

根据(1)所述的图像处理设备，其中，

处理控制部还基于变换信息来控制与应用于处理目标块的变换的逆变换有关的逆变换处理。

(3)

根据(2)所述的图像处理设备，其中，

处理控制部基于变换信息来控制到逆变换处理中的输入。

(4)

根据(1)至(3)中任一项所述的图像处理设备，其中，

处理控制部基于变换信息来确定是否执行与另一变换的逆变换有关的逆变换处理，该另一变换不同于关于预测误差数据的变换，该预测误差数据是图像数据和预测图像数据之间的差异。

(5)

根据(4)所述的图像处理设备，其中，

处理控制部根据确定控制到缩放列表处理中的输入。

(6)

根据(5)所述的图像处理设备，其中，

在确定执行逆变换处理的情况下，处理控制部控制到缩放列表处理中的输入，使得逆变换处理之后的系数数据变为到缩放列表处理中的输入数据。(7)

根据(5)或(6)所述的图像处理设备，其中，

在确定不执行逆变换处理的情况下，处理控制部控制到缩放列表处理中的输入，使得逆量化的系数数据变为到缩放列表处理中的输入数据。

(8)

根据(4)所述的图像处理设备，其中，

处理控制部根据确定指定要在缩放列表处理中使用的缩放列表。

(9)

根据(8)所述的图像处理设备，其中，

在确定执行逆变换处理的情况下，处理控制部通过预定缩放列表和另一变换的内积运算来指定要在缩放列表处理中使用的缩放列表。

(10)

根据(8)或(9)所述的图像处理设备，

逆变换处理是在卷积运算的基础上执行的。

(11)

根据(1)所述的图像处理设备，其中，

变换信息包括指示是否已经将预定变换应用于处理目标块的信息。

(12)

根据(1)所述的图像处理设备，其中，

变换信息包括指示应用于处理目标块的变换的数量的信息。

(13)

一种图像处理方法，包括：

由处理器基于与应用于处理目标的处理目标块的变换有关的变换信息来控制缩放列表处理。

(14)

一种程序，该程序使计算机执行以下功能：

基于与应用于处理目标块的变换有关的变换信息来控制缩放列表处理。

参考标记列表

10 图像编码设备

12 控制部

13 减法部

14 处理部

16 无损编码部

17 累积缓冲器

21 逆处理部

23 加法部

30 帧内预测部

40 帧间预测部

60 图像解码设备

61 累积缓冲器

62 无损解码部

63 逆处理部

65 加法部

70 帧存储器

80 帧内预测部

90 帧间预测部

141 初级变换部

142 缩放列表处理部

143 处理控制部

144 二次变换部

145 量化部

146 处理控制部

147 变换部

148 量化/缩放列表处理部

631 反量化部

632 处理控制部

633 逆二次变换部

634 缩放列表处理部

635 逆初级变换部

636 处理控制部

637 逆量化/缩放列表处理部

638 逆变换部。

Claims (12)

1.一种图像处理设备，包括：

处理控制部，所述处理控制部基于变换信息来确定是否执行逆二次变换处理，

其中所述处理控制部基于所述变换信息来控制缩放列表处理，并且基于所述确定而对向所述缩放列表处理进行的输入进行控制，其中在确定执行所述逆二次变换处理的情况下，所述处理控制部对向所述缩放列表处理进行的输入进行控制，使得所述逆二次变换处理之后的系数数据变为向所述缩放列表处理进行的输入数据，并且

所述图像处理设备包括逆初级变换部，所述逆初级变换部被配置成对从所述缩放列表处理获得的变换系数数据执行逆初级变换。

2.根据权利要求1所述的图像处理设备，其中，

所述处理控制部还基于所述变换信息来控制与应用于处理目标块的二次变换的逆二次变换有关的逆二次变换处理。

3.根据权利要求2所述的图像处理设备，其中，

所述处理控制部基于所述变换信息来对向所述逆二次变换处理进行的输入进行控制。

4.根据权利要求1所述的图像处理设备，其中，

所述逆初级变换部被配置成基于所述变换信息执行所述逆初级变换以生成预测误差数据，所述预测误差数据是图像数据和预测图像数据之间的差异。

5.根据权利要求1所述的图像处理设备，其中，

在确定不执行所述逆二次变换处理的情况下，所述处理控制部对向所述缩放列表处理进行的输入进行控制，使得逆量化的系数数据变为到所述缩放列表处理中的输入数据。

6.根据权利要求1所述的图像处理设备，其中，

所述处理控制部根据所述确定指定要在所述缩放列表处理中使用的缩放列表。

7.根据权利要求6所述的图像处理设备，其中，

在确定执行所述逆二次变换处理的情况下，所述处理控制部通过预定缩放列表和与所述逆初级变换对应的初级变换的内积运算来指定要在所述缩放列表处理中使用的缩放列表。

8.根据权利要求6所述的图像处理设备，其中，

所述逆二次变换处理是在卷积运算的基础上执行的。

9.根据权利要求1所述的图像处理设备，其中，

所述变换信息包括指示是否已经将预定变换应用于处理目标块的信息。

10.根据权利要求1所述的图像处理设备，其中，

所述变换信息包括指示应用于处理目标块的变换的数量的信息。

11.一种图像处理方法，包括：

基于变换信息来确定是否执行逆二次变换处理；

由处理器基于所述变换信息来控制缩放列表处理，并且基于所述确定而对向所述缩放列表处理进行的输入进行控制，其中在确定执行所述逆二次变换处理的情况下，对向所述缩放列表处理进行的输入进行控制，使得所述逆二次变换处理之后的系数数据变为向所述缩放列表处理进行的输入数据；以及

对从所述缩放列表处理获得的变换系数数据执行逆初级变换。

12.一种存储介质，其上存储有程序，所述程序使计算机执行以下功能：

基于变换信息来确定是否执行逆二次变换处理；

基于所述变换信息来控制缩放列表处理并且基于所述确定而对向所述缩放列表处理进行的输入进行控制，其中在确定执行所述逆二次变换处理的情况下，对向所述缩放列表处理进行的输入进行控制，使得所述逆二次变换处理之后的系数数据变为向所述缩放列表处理进行的输入数据；以及

对从所述缩放列表处理获得的变换系数数据执行逆初级变换。

Images