CN109417621A - 图像处理装置及方法 - Google Patents

Abstract

本公开内容涉及图像处理装置及方法，使得可以抑制编码效率的降低。根据本发明，针对当前块设定包括与所述当前块的尺寸对应的值的缩放列表，该缩放列表用于对待编码图像进行量化，使用所设定的缩放列表执行量化，并且对得到的量化系数进行编码以生成编码数据。本公开内容例如可以应用于图像处理装置、图像编码装置、图像解码装置等。

Description

图像处理装置及方法

技术领域

本公开内容涉及图像处理装置及方法，更具体地，涉及能够将编码效率的降低保持至最小的图像处理装置和方法。

背景技术

近年来，由ITU-T(国际电信联盟电信标准化部门)和ISO/IEC(国际标准化组织/国际电工委员会)组成的联合标准化组织JCTVC(视频编码联合协作组)正在进行努力以使被称为HEVC(高效视频编码)的编码方案标准化，其目的是进一步提高编码效率以使其超过MPEG-4 Part10(高级视频编码；在下文中示为AVC)的编码效率(例如，参见非专利文献1)。

在HEVC中，TU(变换单元)可以被设定成4×4像素至32×32像素的尺寸，作为正交变换处理的处理单元。

引用文献列表

非专利文献

非专利文献1

ITU-T，“SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure ofaudiovisual services.Coding of moving video High efficiency video coding,”,ITU-T H.265(V3),2015-04-29

发明内容

技术问题

然而，在HEVC量化中应用了与TU尺寸无关的均匀缩放列表。由于此原因，会向大尺寸TU应用具有与针对小尺寸TU的缩放列表的值类似的值的缩放列表，导致信息的传输对主观图像质量仅有很小的影响并且可能降低编码效率。

鉴于这种情况设计了本公开内容，并且本公开内容的目的是将编码效率的降低保持至最小。

问题的解决方案

根据本技术的一个方面的图像处理装置包括缩放列表设定部、量化部和编码部。缩放列表设定部针对待编码图像中的待量化的当前块设定具有适合于该当前块的尺寸的值的缩放列表。量化部使用由缩放列表设定部设定的缩放列表来执行量化。编码部通过对由量化部获取的量化系数进行编码来生成编码数据。

当前块的尺寸越大，则缩放列表设定部可以设定的缩放列表的值越大。

缩放列表设定部可以针对具有16×16尺寸的当前块设定如下缩放列表，该缩放列表相比于与8×8尺寸或更小尺寸的情况对应的缩放列表，在较高频率分量侧的一些值较大。

所述缩放列表设定部可以针对具有32×32尺寸的当前块设定如下缩放列表，该缩放列表相比于与8×8尺寸或更小尺寸的情况对应的缩放列表，所有值都较大。

缩放列表设定部可以针对所述当前块设定具有适合于当前块的尺寸和用于编码的目标比特率的值的缩放列表。

在目标比特率为低的情况下，缩放列表设定部可以针对当前块设定具有适合于该当前块的尺寸的值的缩放列表。

缩放列表设定部可以基于从图像处理装置的外部提供的目标比特率的规格来确定该目标比特率是否为低，并且在目标比特率为低的情况下针对当前块设定具有适合于该当前块的尺寸的值的缩放列表。

图像处理装置还包括平坦检测部和块设定部。平坦检测部检测待编码图像中包括的平坦部分。块设定部在由平坦检测部检测到的平坦部分中设定大尺寸块。缩放列表设定部可以针对由块设定部设定的大尺寸块设定具有适合于该块的尺寸的值的缩放列表。

在目标比特率为低的情况下，平坦检测部可以检测平坦部分。

平坦检测部可以在图像的感兴趣区域之外的区域中检测平坦部分，并且块设定部可以禁止在感兴趣区域中设定大尺寸块。

缩放列表设定部可以从已预先可用的多个缩放列表中选择具有适合于当前块的尺寸的值的缩放列表，并且编码部可以对指示由缩放列表设定部选择的缩放列表的识别信息进行编码并将该信息存储在编码数据中。

编码部可以对多个缩放列表进行编码，并且将这些缩放列表存储在编码数据中。

在当前块的尺寸等于或大于给定尺寸的情况下，缩放列表设定部可以设定如下缩放列表，该缩放列表相比于小于该给定尺寸的块的情况，在较低频率分量侧的一些值较小。

给定尺寸可以是32×32。

在图像的动态范围大于给定范围并且当前块的尺寸等于或大于给定尺寸的情况下，所述缩放列表设定部可以设定如下缩放列表，该缩放列表相比于小于该给定尺寸的块的情况，在较低频率分量侧的一些值较小。

给定范围可以是10比特。

在当前块的尺寸等于或大于给定尺寸的情况下，缩放列表设定部可以设定如下缩放列表，该缩放列表相比于小于所述给定尺寸的的块的情况，在较低频率分量侧的一些值较小并且适合于目标比特率。

在当前图片包括具有小幅亮度变化的平坦部分的情况下，缩放列表设定部可以设定如下缩放列表，该缩放列表相比于不包括所述平坦部分的情况，在较低频率分量侧的一些值较小。

缩放列表设定部可以设定针对在当前块的较低频率分量侧的一些系数的缩放列表。

本技术的一个方面的图像处理方法是如下图像处理方法，其针对待编码图像中的待量化的当前块设定具有适合于该当前块的尺寸的值的缩放列表，使用已设定的缩放列表执行量化并且通过对所获取的量化系数进行编码来生成编码数据。

在本技术的一个方面的图像处理装置及方法中，针对待编码图像中的待量化的当前块设定缩放列表，并且该缩放列表具有适合于该当前块的尺寸的值，使用已设定的缩放列表来执行量化并且通过对所获取的量化系数进行编码来生成编码数据。

发明的有益效果

根据本公开内容，可以对图像进行处理。特别是，可以将主观图像质量的降低保持至最小。

附图说明

[图1]图1是用于描述将CU递归划分为块的概要的说明图。

[图2]图2是用于描述向图1所示的CU中设定PU的说明图。

[图3]图3是用于描述向图1所示的CU中设定TU的说明图。

[图4]图4是用于描述扫描CU和PU的顺序的说明图。

[图5]图5是示出划分成TU的图。

[图6]图6是示出其中选择缩放列表的方式的示例的图。

[图7]图7是示出缩放列表的示例的图。

[图8]图8是示出其中选择缩放列表的方式的示例的图。

[图9]图9是示出图像编码装置的主要配置示例的框图。

[图10]图10是示出预处理部的主要配置示例的框图。

[图11]图11是描述图像编码处理的流程的示例的流程图。

[图12]图12是描述预处理流程的示例的流程图。

[图13]图13是示出预处理部的主要配置示例的框图。

[图14]图14是描述预处理流程的示例的流程图。

[图15]图15是示出预处理部的主要配置示例的框图。

[图16]图16是描述预处理流程的示例的流程图。

[图17]图17是示出感兴趣区域的示例的图。

[图18]图18是示出预处理部的主要配置示例的框图。

[图19]图19是描述预处理流程的示例的流程图。

[图20]图20是示出传送缩放列表的方式的示例的图。

[图21]图21是示出指定缩放列表的方式的示例的图。

[图22]图22是描述图像编码处理的流程的示例的流程图。

[图23]图23是描述预处理流程的示例的流程图。

[图24]图24是示出图像解码装置的主要配置示例的框图。

[图25]图25是描述图像解码处理的流程的示例的流程图。

[图26]图26是描述条带噪声的图。

[图27]图27是描述其中会发生条带噪声的方式的示例的图。

[图28]图28是示出其中执行去伽马校正的方式的示例的图。

[图29]图29是示出其中选择缩放列表的方式的图。

[图30]图30是示出缩放列表的示例的图。

[图31]图31是示出其中选择缩放列表的方式的图。

[图32]图32是示出图像编码装置的主要配置示例的框图。

[图33]图33是描述图像编码处理的流程的示例的流程图。

[图34]图34是描述图像编码处理的流程的示例的流程图。

[图35]图35是描述缩放列表选择处理的流程的示例的流程图。

[图36]图36是示出其中使用QTBT的方式的框图。

[图37]图37是示出其中执行量化的方式的示例的图。

[图38]图38是示出缩放列表的示例的图。

[图39]图39是示出其中选择缩放列表的方式的示例的图。

[图40]图40是示出缩放列表的示例的图。

[图41]图41是示出其中选择缩放列表的方式的示例的图。

[图42]图42是示出计算机的主要配置示例的框图。

[图43]图43是示出电视装置的示意性配置的示例的框图。

[图44]图44是示出移动电话的示意性配置的示例的框图。

[图45]图45是示出记录/再现装置的示意性配置的示例的框图。

[图46]图46是示出成像装置的示意性配置的示例的框图。

[图47]图47是示出视频设备的示意性配置的示例的框图。

[图48]图48是示出视频处理器的示意性配置的示例的框图。

[图49]图49是示出视频处理器的示意性配置的另一示例的框图。

[图50]图50是示出网络系统的示意性配置的示例的框图。

具体实施方式

下文将给出对执行本公开内容的模式(在下文中称为实施方式)的描述。应当注意，将按如下顺序给出描述：

1.第一实施方式(图像编码装置)

2.第二实施方式(预处理部)

3.第三实施方式(预处理部)

4.第四实施方式(预处理部)

5.第五实施方式(图像编码装置和图像解码装置)

6.第六实施方式(条带噪声)

7.第七实施方式(对缩放列表的选择)

8.第八实施方式(平坦检测)

9.第九实施方式(QTBT)

10.第十实施方式(其他)

<1.第一实施方式>

<块划分>

近年来，已经开始努力使由ITU-T(国际电信联盟电信标准化部)和ISO/IEC(国际标准化组织/国际电工委员会)形成的联合标准化组织JCTVC(联合协作组-视频编码)称为HEVC(高效视频编码)的编码方案标准化，其目的是进一步提高编码效率超过MPEG-4第10部分(高级视频编码；下文中称为AVC)。

在诸如MPEG2(运动图像专家组2(ISO/IEC 13818-2))和AVC的过去的图像编码方案中，在称为宏块的处理单元中执行编码处理。宏块是具有16×16像素的均匀尺寸的块。相反，在HEVC中，在称为CU(编码单元)的处理单元(编码单元)中执行编码处理。CU是具有通过递归地划分LCU(最大编码单元)而形成的可变尺寸的块。最大可选CU的尺寸为64×64像素。最小可选CU的尺寸是8×8像素。最小CU的尺寸称为SCU(最小编码单元)。

因此，因为使用具有可变尺寸的CU，所以HEVC允许适合于图像性质的图像质量和编码效率的自适应调整。在称为PU(预测单元)的处理单元(预测单元)中执行用于预测编码的预测处理。通过以多个划分模式中的一个划分CU来形成PU。此外，PU包括针对每个亮度(Y)和色差(Cb，Cr)的称为PB(预测块)的处理单元(预测块)。此外，在称为TU(变换单元)的处理单元(变换单元)中执行正交变换处理。通过将CU或PU划分到特定深度来形成TU。此外，TU包括针对每个亮度(Y)和色差(Cb，Cr)的称为TB(变换块)的处理单元(变换块)。

<递归块划分>

图1是用于描述在HEVC中将CU递归划分成块的概述的说明图。通过递归地重复将一个块划分成四个(＝2×2)块来进行CU块划分。因此，形成了四叉树形状的树结构。整个一个四叉树称为CTB(编码树块)，并且与CTB对应的逻辑单元称为CTU(编码树单元)。

在图1中的顶部处示出了C01，即具有64×64像素尺寸的CU。C01划分的深度等于零。这意味着C01是CTU的根并且相当于LCU。可以通过由SPS(序列参数集)或PPS(图片参数集)编码的参数来指定LCU尺寸。作为CU的C02是从C01划分的四个CU中的一个并且具有32×32像素尺寸。C02划分的深度等于1。作为CU的C03是从C02划分的四个CU中的一个并且具有16×16像素尺寸。C03划分的深度等于2。作为CU的C04是从C03划分的四个CU中的一个并且具有8×8像素尺寸。C04划分的深度等于3。因此，通过递归地划分编码图像来形成CU。划分深度是可变的。例如，在诸如蓝天的平坦图像区域中可以设定具有较大尺寸(即，微小深度)的CU。另一方面，在具有多个边缘的陡峭图像区域中可以设定具有较小尺寸(即，较大深度)的CU。然后，将已设定的每个CU用作编码处理的处理单元。

<向CU中设定PU>

PU是用于包括帧内预测和帧间预测的预测处理的处理单元。通过以多个划分模式中的一个划分CU来形成PU。图2是用于描述向图1所示的CU中设定PU的说明图。在图2的右侧示出了八种类型的划分模式，即2N×2N、2N×N、N×2N、N×N、2N×nU、2N×nD、nL×2N和nR×2N。在这些模式中，可以在帧内预测中选择两种类型或2N×2N和N×N(可以仅在SCU中选择N×N)。相反，在启用非对称运动划分的情况下，可以在帧间预测中选择所有八个划分模式。

<向CU中设定TU>

TU是用于正交变换处理的处理单元。通过将CU(或CU中的与帧内CU有关的每个PU)划分到特定深度来形成TU。图3是用于描述向图2所示的CU中设定TU的说明图。在图3中右侧处示出了可以在C02中设定的一个或更多个TU。例如，作为TU的T01具有32×32像素尺寸，并且TU划分的深度等于零。作为TU的T02具有16×16像素尺寸，并且TU划分的深度等于T01。作为TU的T03具有8×8像素尺寸，并且TU划分的深度等于T02。

如何划分诸如上述CU、PU和TU的块以在图像中设定块通常基于影响编码效率的成本的比较来确定。编码器比较例如具有2M×2M个像素的一个CU与各自具有M×M个像素的四个CU之间的成本并且如果设定各自具有M×M个像素的四个CU提供更高的编码效率，则判定将具有2M×2M个像素的CU划分成各自具有M×M个像素的四个CU。

<CU和PU的扫描顺序>

当对图像进行编码时，以光栅扫描顺序扫描在图像(或码片或图块)中以网格形式设定的CTB(或LCU)。在一个CTB中，扫描CU，使得从左到右和从上到下跟踪四叉树。当处理当前块时，与上部和左侧相邻块有关的信息被用作输入信息。图4是用于描述扫描CU和PU的顺序的说明图。在图4的左上方处示出了作为包括在一个CTB中的四个CU的C10、C11、C12和C13。每个CU的帧内的数字表示处理顺序。以作为左上CU的C10、作为右上CU的C11、作为左下CU的C12和作为右下CU的C13的顺序执行编码处理。在图4的右侧示出了可以在作为CU的C11中设定的用于帧间预测的一个或更多个PU。在图4的底部处示出了可以在作为CU的C12中设定的用于帧内预测的一个或更多个PU。如这些PU中的数字所示，也从左到右和从上到下扫描PU。

在下面给出的描述中，存在以下情况：通过使用术语“块”作为图像(图片)的部分区域或处理单元(不是处理部的块)来给出描述。在这种情况下，术语“块”表示图片中的部分区域以及图片的尺寸、形状和特性不受限制。即，假设在这种情况下术语“块”例如包括任意部分区域(处理单元)，例如TB、TU、PB、PU、SCU、CU、LCU(CTB)、子块、宏块、图块或码片。

<TU尺寸的选择>

TU尺寸是基于成本函数选择的。例如，如下面通过实验上执行编码并且使用编码的编码误差(Distortion)和编码率(Rate)给出的公式(1)中示出的那样来计算成本。

成本＝Distortion+λ·Rate......(1)

针对每个TU尺寸找到成本，并且选择提供最低成本的TU尺寸。通常，变量λ的值基于在编码期间使用的量化参数Qp而变化，并且在量化数大的情况下，变量λ的值变大。为此，在低速率编码期间，倾向于优先考虑降低编码比特率而不是图像编码噪声。

通常，在目标比特率高的情况下，由于成本函数的性质，因此存在容许输出多个正交变换系数的TU尺寸的趋势。为此，针对具有均匀纹理分布的区域设定大尺寸TU(大TU)。例如，在编码如图5所示的树的图像的情况下，并且当目标比特率高时，针对具有小的像素值变化的平坦部分和如图5A所示的树叶的给定纹理部分设定大尺寸TU(大TU)。

相反，在目标比特率低的情况下，针对均匀纹理部分设定小尺寸CU(小CU)和TU(小TU)以使正交变换系数的传输成本最小化，并且通常仅使用预测图像来创建图像。即，在这种情况下，仅对像素值变化小的平坦部分设定大尺寸TU(大TU)。

附带地，在HEVC的情况下，使用缩放列表对正交变换系数执行量化。然而，在HEVC量化中应用与TU尺寸无关的均匀缩放列表。图6示出了在HEVC的情况下选择缩放列表的方式的示例。如图6所示，应用的缩放列表与目标比特率成比例地改变。例如，假设目标比特率被分类为三个速率，即高速率、中速率和低速率，并且缩放列表值被分类为三个，即小、中和大。在目标比特率高的情况下，选择具有针对所有频带(低频率、中频率和高频率)的正交变换系数的小值的缩放列表。此外，在目标比特率是中等的情况下，选择具有用于低频率正交变换系数和中频率正交变换系数的小值并且具有用于高频率正交变换系数的中等值的缩放列表。然后，在目标比特率低的情况下，选择具有用于低频率正交变换系数的小值并且具有用于中频率正交变换系数和高频率正交变换系数的中等值的缩放列表。

更具体地，例如，在目标比特率高的情况下，选择具有从如图7A所示的16至30的值的缩放列表。相反，在目标比特率低的情况下，选择具有从如图7B所示的16至64的值的缩放列表。

即，选择适合于目标比特率的缩放列表以确保获取适合于目标比特率的压缩率。

然而，缩放列表与TU尺寸无关。即，通常将具有与用于小尺寸TU的值类似的值的缩放列表应用于大尺寸TU以创建类似图片。例如，针对具有如图6所示的4×4、8×8、16×16和32×32像素的所有TU选择具有相似值的缩放列表。

附带地，如上所述，大尺寸TU(大TU)很可能用于像素值变化相对小的平坦部分。此外，像素值的变化是不显著影响这样的平坦部分中的主观图像质量的信息。换言之，通过编码和解码减少这样的变化很可能不显著降低主观图像质量。

因此，通过显著减少平坦部分(大尺寸TU)中的信息量，可以期望在将主观图像质量的降低保持为最小的同时提高编码效率。然而，在HEVC的情况下，如上所述，存在编码效率可能下降的可能性，因为具有与小尺寸TU的值相似的值的缩放列表——即，具有中频率正交变换系数和高频率正交变换系数的小值和中等值的缩放列表——可以应用于这样的平坦部分(大尺寸TU)。

<选择适合于TU尺寸的缩放列表>

为此，设定缩放列表，其具有适合于待编码图像中的待量化的当前块的当前块尺寸的值。

例如，要处理的TU(当前块)的尺寸越大，要设定的缩放列表的值越大。例如，随着TU尺寸增大，正交变换系数的缩放列表的值从高频率正交变换系数开始连续增大。

例如，在图8的情况下，阴影区域与图6中所示的示例不同。即，在图8所示的示例的情况下，在当前块是8×8像素或更小时，可以选择具有低频率正交变换系数的小值以及中频率正交变换系数和高频率正交变换系数的中等值的缩放列表，并且在当前块是16×16像素或更小时，可以选择具有低频率正交变换系数的小值、中频率正交变换系数的中等值和高频率正交变换系数的大值的缩放列表。此外，在当前块是32×32像素或更小时，可以选择具有低频率正交变换系数的小值、中频率正交变换系数和高频正交变换系数的大值的缩放列表。

这确保了使具有大尺寸当前块(平坦部分)(大TU)的区域中的代码量减少，从而在使主观图像质量的降低最小化的同时，将编码效率的降低最小。

应当注意，可以针对当前块设定具有适于目标编码比特率的值的缩放列表。即，如在图8所示的示例中，可以针对当前块设定具有适于当前块的尺寸和目标编码比特率的值的缩放列表。这确保优先考虑使目标比特率变化的代码量减少，从而将对主观图像质量的影响保持为最小。

例如，如在图8所示的示例中，仅在目标比特率低的情况下，可以针对当前块设定具有适于当前块的尺寸的值的缩放列表。目标比特率越高，平坦部分的变化越容易突出，目标比特率越低，平坦部分的变化越不容易突出。这使编码效率的降低保持为最小，同时抑制了主观图像质量的降低。

应当注意，在目标比特率为中或高的情况下，还可以设定具有适于当前块的尺寸的值的缩放列表。在这种情况下，可以针对每个速率改变缩放列表值。

应当注意，在针对当前块(TU)设定缩放列表的情况下，可以生成该缩放列表。例如，缩放列表可以从头开始生成或通过稀疏具有已预先可用的给定尺寸的缩放列表中的数字或通过复制这样的数字并且改变尺寸来生成。此外，可以从已预先可用的多个候选中选择适于目标比特率或当前块尺寸的缩放列表。

<图像编码装置>

图9是示出作为应用本技术的图像处理装置的方式的图像编码装置的主要配置示例的框图。图9所示的图像编码装置100是用于通过符合HEVC(ITU-T H.265|ISO/IEC23008-2高效视频编码)的方法对影片的图像数据进行编码的装置。应当注意，图9描绘了主处理部、主数据流等，并且并非在图9中示出了所有元件。即，图9中的未作为块描绘的处理部可以存在于图像编码装置100中，并且可以存在图9中的未作为箭头等描绘的处理和数据流。

如图9所示，图像编码装置100包括预处理缓冲器111、预处理部112、计算部113、正交变换部114、缩放列表存储部115、缩放列表选择部116、量化部117、编码部118和累积缓冲器119。图像编码装置100还包括逆量化部120、逆正交变换部121、计算部122、滤波器123、帧存储器124、计算部122、帧内预测部125、帧间预测部126和预测图像选择部127。

输入到图像编码装置100的图像(输入图像)被提供给预处理缓冲器111。预处理缓冲器111按照显示顺序存储输入图像的每个帧。预处理部112对存储在预处理缓冲器111中的输入图像执行处理，例如重新排列帧、生成元数据和设定块。当预处理完成时，将预处理的输入图像和与编码有关的各种信息提供给每个处理部。例如，输入图像被提供给计算部113、计算部122、帧间预测部126等。此外，元数据和其他信息被提供给编码部118等。

计算部113从自预处理缓冲器111读取的输入图像中减去经由预测图像选择部127从计算部122或帧间预测部126提供的预测图像，从而获取残差信息(也称为残差数据)。例如，在要进行帧内编码的图像的情况下，计算部113从自预处理缓冲器111读取的输入图像中减去从计算部122提供的预测图像。此外，例如，在要进行帧间编码的图像的情况下，计算部113从自预处理缓冲器111读取的输入图像中减去从帧间预测部126提供的预测图像。计算部113将获取的残差数据提供给正交变换部114。

正交变换部114通过给定方法对从计算部113提供的残差数据进行正交变换。正交变换部114将经正交变换的残差数据(也称为正交变换系数)提供给量化部117。

缩放列表存储部115存储用于由量化部117进行的量化的缩放列表候选。缩放列表存储部115将所存储的候选中的由缩放列表选择部116请求的那些候选(缩放列表)提供给缩放列表选择部116。

缩放列表选择部116执行与将用于由量化部117执行的量化的缩放列表的设定有关的处理。缩放列表选择部116获取要实现的编码率(目标比特率)。此外，缩放列表选择部116从量化部117获取指示要处理的TU(当前块)的尺寸的信息。缩放列表选择部116使用存储在缩放列表存储部115中的缩放列表候选来设定与目标比特率和当前块尺寸(TU尺寸)对应的缩放列表并且将缩放列表提供给量化部117。

例如，缩放列表存储部115存储针对每个比特率组的缩放列表，例如高速率缩放列表131、中速率缩放列表132和低速率缩放列表133。缩放列表的值至少部分地彼此不同。然后，缩放列表选择部116从这些缩放列表中选择与目标比特率对应的缩放列表并且获取缩放列表。然后，缩放列表选择部116使用所获取的缩放列表来生成当前块尺寸的缩放列表。即，缩放列表选择部116实现具有适于目标比特率和当前块尺寸的值的缩放列表的设定，如图8所示的示例中那样。

例如，当前块尺寸越大，由缩放列表选择部116设定的缩放列表的值越大。例如，缩放列表选择部116针对具有16×16像素尺寸的当前块生成以下缩放列表，在高频分量侧的该缩放列表的值中的一些值比与8×8像素尺寸或更小尺寸的情况对应的缩放列表中的值大。此外，例如，缩放列表选择部116针对具有32×32像素尺寸的当前块生成以下缩放列表，该缩放列表的所有值都比与8×8像素尺寸或更小的情况对应的缩放列表中的值大。

此时，缩放列表选择部116通过任意方法——例如替换缩放列表的至少一些值，将值相加或从另一个值中减去一个值或加上给定值或减去给定值——生成具有适于当前块尺寸的值的缩放列表。

应当注意，可以仅针对一些比特率组执行生成具有适于当前块尺寸的值的缩放列表。例如，可以仅在目标比特率低的情况下生成具有适于当前块尺寸的值的缩放列表。例如，缩放列表选择部116可以确定从图像编码装置100外部提供的编码率(目标比特率的规格)是否为低并且在确定目标比特率为低的情况下针对当前块设定具有适于当前块尺寸的值的缩放列表。在这种情况下，当目标比特率是其他速率时，仅需要通过稀疏数字或执行插值(例如，最邻近插值)来生成针对当前块尺寸的缩放列表。

此外，比特率的分组是任意的。例如，上述高速率、中速率和低速率中的每一个的阈值可以是任何值。此外，这些比特率组的数目(比特率划分的数目)可以是两个或四个或更多个。此外，编码率的供应源是任意的。例如，供应源可以在诸如用户或其他装置的图像编码装置100的外部，或可以是图像编码装置100中的任意处理部。此外，所提供的信息可以是任何种类(规格)的信息，只要所提供的信息指示编码率。

此外，存储在缩放列表存储部115中的缩放列表可以具有任何尺寸，并且尺寸可以是4×4像素或32×32像素。缩放列表存储部115可以存储多种类型的缩放列表。

应当注意，缩放列表存储部115可以存储每个比特率组和每个TU尺寸的缩放列表，并且缩放列表选择部116可以从缩放列表存储部115读取与目标比特率和当前块尺寸对应的缩放列表并且将缩放列表提供给量化部117。在这种情况下，存储在缩放列表存储部115中的每个缩放列表具有适于比特率组和TU尺寸的值。即，缩放列表选择部116可以通过选择存储在缩放列表存储部115中的缩放列表来设定具有与目标比特率和当前块尺寸对应的值的缩放列表。

此外，可以省略缩放列表存储部115，使得缩放列表选择部116根据需要生成具有与目标比特率和当前块尺寸对应的值的缩放列表。生成方法是任意的。

量化部117执行与从正交变换部114提供的正交变换系数有关的处理。例如，量化部117根据从图像编码装置100外部提供的目标比特率(编码率)设定量化参数并且使用由缩放列表选择部116设定的缩放列表执行对从正交变换部114提供的正交变换系数的量化。量化部117将从量化获取的量化系数提供给编码部118和逆量化部120。

编码部118对从量化部117提供的量化系数进行编码。此外，编码部118从预测图像选择部127获取与最佳预测模式有关的信息。此外，编码部118可以从任意处理部获取任意信息。编码部118对这些各种信息进行编码。因此，编码部118通过对与图像有关的信息进行编码来生成编码数据。编码部118将获取的编码数据提供给累积缓冲器119以进行存储。

累积缓冲器119临时保存从编码部118提供的编码数据。累积缓冲器119将保存的编码数据例如作为给定定时处的比特流输出到图像编码装置100外部。例如，该编码数据经由任意记录介质、任意传输介质、任意信息处理装置等发送至解码侧。即，累积缓冲器119也是用于发送编码数据的发送部。

逆量化部120通过与由量化部117执行的量化对应的方法对量化数据进行逆量化。逆量化部120将经逆量化的量化数据(也称为正交变换系数)提供给逆正交变换部121。

逆正交变换部121通过与由正交变换部114执行的正交变换处理对应的方法对正交变换系数进行逆正交变换。逆正交变换部121提供经逆正交变换的正交变换系数(也称为恢复的残差数据)到计算部122。

计算部122将经由预测图像选择部127从帧内预测部125或帧间预测部126提供的预测图像添加到恢复的残差数据，从而获取本地重新配置的图像(也称为重新配置的图像)。例如，在要帧内编码的图像的情况下，计算部122将从帧内预测部125提供的预测图像添加到恢复的残差数据。此外，例如，在要帧间编码的图像的情况下，计算部122将从帧间预测部126提供的预测图像添加到恢复的残差数据。计算部122将获取的重新配置的图像提供给滤波器123和帧内预测部125。

滤波器123适当地对重新配置的图像执行诸如去块滤波的滤波处理。滤波器123将滤波处理结果(称为解码图像)提供给帧存储器124。

帧存储器124将解码图像存储在其自己的存储区域中。此外，帧存储器124在给定定时处将存储的解码图像提供给帧间预测部126作为参照图像。

帧内预测部125执行帧内预测，该帧内预测使用要处理的图片中的像素值、从计算部122提供的重新配置的图像作为参照图像来生成预测图像。例如，帧内预测部125以已预先可用的多个帧内预测模式(例如，DC(直流)预测、水平方向预测、竖直方向预测)执行该帧内预测。帧内预测部125以所有候选帧内预测模式中的每一个模式生成预测图像并且选择最佳模式。当选择最佳帧内预测模式时，帧内预测部125向预测图像选择部127提供以最佳帧内预测模式生成的预测图像和帧内预测模式信息等、与帧内预测有关的诸如指示最佳帧内预测模式的索引的信息作为与预测结果有关的信息。

帧间预测部126使用从预处理缓冲器111提供的输入图像和从帧存储器124提供的参照图像来执行帧间预测处理(运动预测处理和补偿处理)。更具体地，帧间预测部126通过执行运动预测作为帧间预测处理并且根据检测到的运动矢量执行运动补偿处理来生成预测图像(帧间预测图像信息)。例如，帧间预测部126以已预先可用的多个帧间预测模式执行这样的帧间预测。帧间预测部126以所有候选帧间预测模式中的每一个模式生成预测图像并且选择最佳模式。当选择了最佳帧间预测模式时，帧间预测部126向预测图像选择部127提供以最佳帧间预测模式生成的预测图像和帧间预测模式信息等、与帧间预测有关的诸如指示最佳帧间预测模式的索引的信息和运动信息作为与预测结果有关的信息。

预测图像选择部127从帧内预测部125和帧间预测部126获取与上述预测结果有关的信息。预测图像选择部127从这些预测结果中选择一个，从而在该区域中选择预测模式。即，预测图像选择部127选择(最佳)帧内预测模式和(最佳)帧间预测模式作为最佳预测模式。预测图像选择部127将所选模式下的预测图像提供给计算部113和计算部122。此外，预测图像选择部127将与所选预测结果有关的信息中的一些或全部提供给编码部118作为与最佳预测模式有关的信息，使编码部118将信息存储在编码数据中。

因此，图像编码装置100可以将编码效率的降低保持为最小，因为缩放列表选择部116将具有适于目标比特率和当前块尺寸(TU尺寸)的值的缩放列表设定为将用于由量化部117执行量化的缩放列表。

<预处理部>

图10是示出预处理部112的主要配置示例的框图。如图10所示，预处理部112具有画面重排部151、元数据设定部152和块设定部153。

画面重排部151根据GOP(图片组)将从显示顺序到编码顺序的存储在预处理缓冲器111中的图像数据帧的顺序重排。元数据设定部152例如生成诸如视频参数集(VS)、序列参数集(SPS)、图片参数集(PPS)和码片头的元数据。应当注意，由元数据设定部152设定的元数据是任意的，并且不限于这些示例。元数据设定部152将已经设定的元数据提供给诸如编码部118的任意处理部。

块设定部153设定当前图片的各种块、存储在预处理缓冲器111中的要处理的输入图像的图像数据。例如，块设定部153设定TU。例如，块设定部153基于上述公式(1)的成本函数设定例如如图5所示的TU。块设定部153使存储在预处理缓冲器111中的输入图像的当前帧被提供给每个已设定块的计算部113。应当注意，块设定部153将与已设定块有关的信息提供给诸如编码部118的图像编码装置100的任意处理部。

<图像编码处理的流程>

接下来将描述由图像编码装置100执行的处理。首先将参照图11所示的流程图描述在编码输入图像期间由图像编码装置100执行的图像编码处理的流程。

当图像编码处理开始时，预处理部112在步骤S101中对输入到图像编码装置100并且存储在预处理缓冲器111中的人工图像的图像数据执行预处理。

在步骤S102中，帧内预测部125、帧间预测部126和预测图像选择部127通过执行预测处理以最佳预测模式等生成预测图像。即，在该预测处理中，帧内预测部125执行帧内预测并且以最佳帧内预测模式等生成预测图像，并且帧间预测部126执行帧间预测并且以最佳帧间预测模式等生成预测图像，并且预测图像选择部127从这些预测模式中选择最佳模式。

在步骤S103中，计算部113计算在步骤S102中通过预测处理选择的最佳模式中的人工图像、输入图像和预测图像之间的差。即，计算部113生成输入图像与预测图像之间的残差数据。以这种方式获取的残差数据的数据量小于其原始图像数据的数据量。因此，与以“原样”方式编码图像的情况相比，可以更多地减少数据量。

在步骤S104中，正交变换部114对通过步骤S103中的处理生成的残差数据进行正交变换。

在步骤S105中，缩放列表选择部116基于目标编码率(目标比特率)和当前块尺寸(TU尺寸)来选择具有适于目标比特率和TU尺寸的值的缩放列表。

在步骤S106中，量化部117通过使用适于通过步骤S105中的处理或通过其他手段获取的目标编码率和缩放列表的量化参数来量化通过步骤S104中的处理获取的正交变换系数。

在步骤S107中，逆量化部120使用与步骤S106的量化特性对应的特性对通过步骤S106中的处理生成的量化系数进行逆量化。

在步骤S108中，逆正交变换部121通过与步骤S104中的正交变换对应的方法对通过步骤S107中的处理获取的正交变换系数进行逆正交变换。

在步骤S109中，计算部122通过将通过步骤S102中的预测处理获取的预测图像添加到通过步骤S108中的处理恢复的残差数据来生成重新配置图像的图像数据。

在步骤S110中，滤波器123对通过步骤S109中的处理生成的重新配置图像的图像数据执行诸如去块滤波的滤波处理。

在步骤S111中，帧存储器124存储通过步骤S110中的处理进行本地解码和获取的解码图像。

在步骤S112中，编码部118对通过步骤S106中的处理获取的量化残差数据进行编码。例如，编码部118通过对量化的残差数据执行CABAC(基于上下文的自适应二进制算术码)来生成编码数据。此外，编码部118对通过步骤S101中的处理生成的元数据进行编码并且将元数据添加到编码数据。此外，编码部118对与量化和预测等有关的信息进行编码并且将该信息添加到编码数据。

在步骤S113中，累积缓冲器119累积通过步骤S112中的处理获取的编码数据等。由累积缓冲器119累积的编码数据等被适当地读取为例如比特流并且经由传输信道或记录介质被发送至解码侧。

当步骤S113中的处理结束时，图像编码处理结束。

应当注意，这些处理中的每一个的处理单元是任意的并且可以不相同。因此，可以适当地与其他步骤中的处理等并行地或以切换顺序执行每个步骤中的处理。

<预处理流程>

接下来将参照图12所示的流程图给出在图11的步骤S101中执行的预处理流程的示例的描述。当预处理开始时，在步骤S131中，画面重排部151从图像数据帧被显示的顺序到图像数据帧被编码的顺序重排存储在预处理缓冲器111中的图像数据帧。

在步骤S132中，元数据设定部152设定各种元数据。

在步骤S133中，块设定部153执行块划分，该块划分通过使用例如成本函数或其他手段来设定要处理的当前帧的各种类型的块。

当步骤S133中的处理结束时，预处理结束，并且处理返回到图11。

作为执行如上所述的每个处理的结果，图像编码装置100可以将具有适于目标比特率和当前块尺寸(TU尺寸)的值的缩放列表量化，从而将编码效率的降低保持为最小。例如，通过针对较大尺寸的块设定具有较高频率分量的较大值的缩放列表，可以将具有相对小的像素值变化的平坦部分中的噪声传输保持为最小，以将编码效率的降低保持为减小。特别地，在目标比特率低的情况下，很可能将大尺寸TU设定在平坦部分中。因此，通过设定如上所述的缩放列表，可以更可靠地将编码效率地降低保持为最小。此外，通常，目标比特率越低，将平坦部分中的噪声保持为最小对总代码量上的相对效力越大。因此，通过设定如上所述的缩放列表，还可以将编码效率的降低保持为最小。此外，目标比特率越低，像素值变化越不明显，从而使得可以在将对主观图像质量的影响保持为最小的同时使编码效率的降低最小化。

<2.第二实施方式>

<平坦部分的检测>

如第一实施方式中所描述的，在HEVC中，使用如公式(1)中所描绘的成本函数来设定块。然而，用于设定块的方法不限于此。例如，可以设定块，使得在输入图像中检测到具有相对小的像素值变化的平坦部分，并且增大平坦部分的块尺寸。

<预处理部>

在这种情况下，图像编码装置100基本上具有与第一实施方式(图9)的配置类似的配置。然而，应当注意，在图13中示出了这种情况下的预处理部112的主要配置示例。在这种情况下，除了画面重排部151、元数据设定部152和块设定部153之外，预处理部112还具有平坦检测部161。

平坦检测部161在输入图像的当前帧中执行与具有小的像素值变化的平坦部分的检测有关的处理。该检测方法是任意的。例如，可以通过使用例如方差、TV范数(总变化范数)或最大块内像素值与最小块内像素值之间的差(动态范围)来检测主观平坦区域(平坦部分)。

例如，在TV范数的情况下，可以如下面的公式(2)所描绘的那样找到具有像素值xi，j(0≤i≤n，0≤j≤m)的图像的TV范数：

块设定部153针对由平坦检测部161检测到的平坦部分设定相对大的TU(大TU)(例如，16×16像素或32×32像素的TU)。

<预处理流程>

同样在这种情况下，图像编码装置100以与第一实施方式类似的方式执行图像编码处理(图11)。将参照图14所示的流程图描述在这种情况下在图11的步骤S101中执行的预处理流程的示例。当预处理开始时，以与图12的步骤S131和S132中的处理类似的方式分别执行执行步骤S151和S152中的处理。

在步骤S153中，平坦检测部161执行输入图像的当前帧中的平坦部分的检测。

在步骤S154中，块设定部153考虑在步骤S153中检测到的平坦部分来执行块划分。即，块设定部153针对在步骤S153中检测到的平坦部分设定相对大的块(大TU)。应当注意，对于不平坦的部分，使用基于公式(1)的成本函数等来设定块。

当步骤S154中的处理结束时，预处理结束，并且处理返回到图11。

作为执行如上所述的每个处理的结果，图像编码装置100可以检测平坦部分并且针对检测到的平坦部分设定相对大的块(大TU)而不使用成本函数。图像编码装置100允许更可靠地减少平坦部分中的代码量，从而将编码效率的降低保持为最小。

<3.第三实施方式>

<与人工图像区域有关的确定>

应当注意，可以仅在目标比特率低的情况下执行第二实施方式中描述的平坦部分的检测。

<预处理部分>

在这种情况下，图像编码装置100基本上具有与第一实施方式(图9)的配置类似的配置。此外，在图15中示出了这种情况下的预处理部112的主要配置示例。在这种情况下，预处理部112具有平坦检测部171来代替在第二实施方式中描述的配置(图13)中的平坦检测部161。

平坦检测部171获取目标编码率(目标比特率)。然后，平坦检测部171在目标比特率属于给定组的情况下执行平坦部分的检测。例如，平坦检测部171在目标比特率低的情况下执行平坦部分的检测。然后，平坦检测部171将检测结果提供给块设定部153。

块设定部153针对由平坦检测部161检测到的平坦部分设定相对大的TU(大TU)(例如，16×16像素或32×32像素的TU)。在平坦检测部161不执行检测平坦部分的情况下，使用成本函数来设定块。

<预处理流程>

同样在这种情况下，图像编码装置100以与第一实施方式类似的方式执行图像编码处理(图11)。将参照图16所示的流程图描述在这种情况下在图11的步骤S101中执行的预处理流程的示例。当预处理开始时，以与图12中的步骤S131和S132中的处理类似的方式分别执行步骤S171和S172中的处理。

在步骤S173中，平坦检测部171获取目标编码率(目标比特率)。在步骤S174中，平坦检测部171确定在步骤S173中获取的目标比特率是否为低。例如，在确定目标比特率等于或低于给定比特率(即，目标比特率为低)的情况下，处理进行到步骤S175。

在步骤S175中，平坦检测部171执行输入图像的当前帧中的平坦部分的检测。当步骤S175中的处理结束时，处理进行到步骤S176。此外，例如，在步骤S174中确定目标比特率高于给定比特率(即，目标比特率不为低)的情况下，省略步骤S175中的处理，并且处理进行到步骤S176。

在步骤S176中，块设定部153考虑在步骤S175中检测到的平坦部分来执行块划分。即，块设定部153针对在步骤S175中检测到的平坦部分设定相对大的块(大TU)，并且对于其他部分使用基于公式(1)等的成本函数来设定块。

当步骤S176中的处理结束时，预处理结束，并且处理返回到图11。

作为执行如上所述的每个处理的结果，图像编码装置100可以在目标比特率为低的情况下检测平坦部分并且针对检测到的平坦部分设定相对大的块(大TU)而不使用成本函数。因此，缩放列表选择部116如在图8所示的示例中那样针对大尺寸的TU设定具有较大值的缩放列表，使得图像编码装置100能够在低目标比特率的情况下减少平坦部分中的代码量并且实现目标比特率。因此，可以在将对主观图像质量的影响保持为最小的同时使编码效率的降低最小化。

<4.第四实施方式>

<感兴趣区域>

例如，可以在监视摄像装置图像或其他图像中设定ROI(感兴趣区域)。该感兴趣区域是用户的注意力集中的图像的部分区域。因此，该感兴趣区域的主观图像质量是重要的，并且应该在编码和解码期间优先保持。换言之，除了感兴趣区域之外的部分的主观图像质量不太重要。因此，这些区域可以用更高的压缩率编码。

例如，如图17所示的监视摄像装置图像中由粗线包围的部分是感兴趣区域。在监视摄像装置的情况下，背景不是那么重要，并且在背景前面出现的对象通常是要监视的目标。然后，清楚地确认(监视)要监视的目标通常是使用监视摄像装置图像的主要目标。

为此，可以不执行平坦部分的检测以确保未在感兴趣区域中设定大尺寸的TU(大TU)。换言之，可以仅在感兴趣区域中执行平坦部分的检测。此外，可以在感兴趣区域中禁止设定大尺寸块。

在这种情况下，图像编码装置100基本上具有与第一实施方式(图9)的配置类似的配置。应当注意，在这种情况下，设定有这样的感兴趣区域的图像被输入到图像编码装置100。

图18示出了这种情况下的预处理部112的主要配置示例。在这种情况下，预处理部112具有平坦检测部181替代第二实施方式中描述的配置(图13)中的平坦检测部161。

向平坦检测部181提供关注区域信息、与在输入图像中设定的关注区域有关的信息。平坦检测部181基于感兴趣区域信息执行对感兴趣区域之外的平坦部分的检测。然后，平坦检测部171将检测结果提供给块设定部153。

块设定部153针对由平坦检测部161检测到的平坦部分设定相对大的TU(大TU)(例如，16×16像素或32×32像素的TU)。在平坦检测部161不执行平坦部分的检测的情况下，使用成本函数来设定块。

<预处理流程>

同样在这种情况下，图像编码装置100以与第一实施方式类似的方式执行图像编码处理(图11)。将参照图19所示的流程图描述在这种情况下在图11中的步骤S101中执行的预处理流程的示例。当预处理开始时，以与图12中的步骤S131和S132中的处理类似的方式分别执行步骤S191和S192中的处理。

在步骤S193中，平坦检测部181获取感兴趣区域信息。在步骤S194中，平坦检测部181基于在步骤S193中获取的感兴趣区域信息来确定要处理的目标是否在感兴趣区域之外。在确定要处理的目标在感兴趣区域之外的情况下，处理进行到步骤S195。

在步骤S195中，平坦检测部181执行输入图像的当前帧中的感兴趣区域之外的平坦部分的检测。当步骤S195中的处理结束时，处理进行到步骤S196。此外，例如，在步骤S194中确定要处理的目标在感兴趣区域之内的情况下，省略步骤S195中的处理，并且处理进行到步骤S196。

在步骤S196中，块设定部153考虑在步骤S195中检测到的平坦部分来执行块划分。即，块设定部153针对在步骤S175中检测到的感兴趣区域之外的平坦部分设定相对大的块(大TU)，并且对于其他部分使用基于公式(1)等的成本函数来设定块。

当步骤S196中的处理结束时，预处理结束，并且处理返回到图11。

作为执行如上所述的每个处理的结果，图像编码装置100可以检测感兴趣区域之外的平坦部分并且在不使用成本函数的情况下针对检测到的平坦部分设定相对大的块(大TU)。因此，缩放列表选择部116如图8所示的示例中那样针对大尺寸TU设定具有较大值的缩放列表，使得图像编码装置100能够在将主观图像质量的降低保持为最小的同时使编码效率的降低最小化。

<5.第五实施方式>

<多个缩放列表的传输>

HEVC和其他编码方案允许改变每个图像参数集(PPS)的缩放列表。换言之，可以在图片中仅使用一个缩放列表。因此，为了将第一实施方式至第四实施方式中描述的本技术实现为符合HEVC的方法，有必要确保可以从针对图片设定的单个缩放列表生成针对每个TU设定的缩放列表。

然而，应当注意，本技术不需要符合HEVC。例如，可以在序列参数集(SPS)或图片参数集(PPS)中发送多个缩放列表。这使得在图片中能够选择缩放列表(例如，针对每个TU)。因此，可以选择更合适的缩放列表(更适于要处理的TU的缩放列表)，从而将编码效率的降低保持为最小。

在这种情况下，表形式的多个缩放列表的列表可以存储在如图20所示的SPS或PPS中。当然，缩放列表的存储位置是任意的，并且缩放列表可以存储在除了SPS或PPS中以外的其他位置处。此外，缩放列表可以在诸如如图20所示的SPS和PPS的多个层中发送。这使得可以通过在缩放列表存储在PPS中的情况下优先将缩放列表设定在PPS中并且通过在缩放列表未存储在任何PPS中的情况下将缩放列表设定在SPS中来以分层方式控制缩放列表。

此外，例如，可以针对如图21所示的那样发送的每个缩放列表设定识别信息(ID)，以使用识别信息指定缩放列表。例如，可以使用识别信息来设定要用于每个TU的缩放列表。通过以这种方式使用识别信息，可以更容易地设定缩放列表，从而将编码效率的降低保持为最小。

<图像编码处理的流程>

将参照图22所示的流程图描述在这种情况下由图像编码装置100执行的图像编码处理的流程的示例。当图像编码处理开始时，以与图11的步骤S101至S111的处理类似的方式分别执行从步骤S201到S211的处理。

然而，应当注意，在步骤S201的预处理中，多个缩放列表存储在序列参数集(SPS)或图片参数集(PPS)中，并且在步骤S205中，从发送的多个缩放列表中选择针对目标编码率和TU大小的最佳缩放列表。

在步骤S212中，编码部118通过执行编码处理来生成编码数据。例如，编码部118通过对通过步骤S206中的处理获取的量化残差数据执行CABAC(基于上下文的自适应二进制算术码)来生成编码数据。此外，编码部118对通过步骤S201中的处理生成的元数据进行编码并且将元数据添加到编码数据。即，编码部118对存储多个缩放列表的序列参数集(SPS)或图片参数集(PPS)进行编码并且将SPS或PPS存储在编码数据中。此外，编码部118对缩放列表规格信息进行编码，该缩放列表规格信息指定要在每个TU中用于量化的缩放列表并且将该信息存储在编码数据中。尽管该缩放列表规格信息的细节是任意的，但是该信息包括例如与要用于量化的缩放列表有关的识别信息。此外，编码部118适当地对与量化有关的其他信息、与预测有关的信息等进行编码并且将信息添加到编码数据。

在步骤S213中，累积缓冲器119累积通过步骤S212中的处理等获取的编码数据。累积在累积缓冲器119中的编码数据等例如被适当地读取为比特流并且经由传输信道或记录介质发送至解码侧。

当步骤S213中的处理结束时，图像编码处理结束。

<预处理>

接下来将参照图23所示的流程图给出在图22中的步骤S201中执行的预处理流程的示例的描述。当预处理开始时，以图12中的步骤S131和S132中的处理类似的方式分别执行步骤S231和S232中的处理。

在步骤S233中，元数据设定部152在序列参数集(SPS)或图片参数集(PPS)或两者中登记多个缩放列表、候选。

在步骤S234中，块设定部153执行块划分，该块划分通过使用例如成本函数或其他手段来针对要处理的当前帧设定各种类型的块。

当步骤S234中的处理结束时，预处理结束，并且处理返回到图22。

作为执行如上所述的每个处理的结果，图像编码装置100将编码效率的降低保持为最小。

<图像解码装置>

接下来将描述如上所述的那样编码的编码数据的解码。图24是示出图像解码装置的示例——即应用本技术的图像处理装置的一方面——的框图。图24所示的图像解码装置200是与图9所示的图像编码装置100对应的图像解码装置并且通过与其编码方法对应的方法对由图像编码装置100生成的编码数据进行解码。应当注意，图24描绘了主处理部、主数据流等，并且并非在图24中示出了所有元件。即，图24中未作为块描述的处理部可以存在于图像解码装置200中，并且在图24中可以存在未描绘为箭头等的处理和数据流。

如图24所示，图像解码装置200包括累积缓冲器211、解码部212、逆量化部213、逆正交变换部214、计算部215、滤波器216、后处理缓冲器217和后处理部218。图像解码装置200还包括帧内预测部219、帧存储器220、帧间预测部221和预测图像选择部222。

例如经由传输介质、记录介质或其他介质向图像解码装置200提供由图像编码装置100等生成的编码数据作为比特流。累积缓冲器211累积编码数据并且在给定定时处将编码数据提供给解码部212。

解码部212通过与图9所示的编码部118的编码方案对应的方案(操作模式)对从累积缓冲器211提供的编码数据进行解码。当通过对编码数据进行解码来获取量化数据时，解码部212将量化数据提供给逆量化部213。此外，解码部212将通过解码编码数据获得的与最佳预测模式有关的信息提供给帧内预测部219或帧间预测部221。例如，在执行帧内预测的情况下，解码部212向帧内预测部219提供与最佳帧内预测模式中的预测结果有关的信息。此外，例如，在执行帧间预测的情况下，解码部212向帧间预测部221提供与最佳帧间预测模式中的预测结果有关的信息。类似地，解码部212可以适当地将通过解码编码数据获取的各种信息提供给需要该信息的各种处理部。

逆量化部213对从解码部212提供的量化数据进行逆量化。即，逆量化部213通过与图9所示的量化部117的量化方案对应的方案(即，与逆量化部120的方案类似的方案)执行逆量化。逆量化部213将通过逆量化获取的正交变换系数提供给逆正交变换部214。

逆正交变换部214对从逆量化部213提供的正交变换系数进行逆正交变换。即，逆正交变换部214通过与图9所示的正交变换部114的正交变换方案对应的方案(即，与逆正交变换部121的方案类似的方案)执行逆正交变换。逆正交变换部214将通过逆正交变换处理获取的残差数据(恢复的残差数据)提供给计算部215。

计算部215通过将从预测图像选择部222提供的预测图像添加到从逆正交变换部214提供的恢复的残差数据来获取重新配置的图像。计算部215将重新配置的图像提供给滤波器216和帧内预测部219。

滤波器216执行与图9中所示的滤波器123的滤波处理类似的滤波处理(例如，去块滤波)。滤波器216将解码图像，滤波处理结果提供给后处理缓冲器217和帧存储器220。

后处理缓冲器217存储所提供的解码图像。后处理部218对存储在后处理缓冲器217中的输入图像执行诸如帧重排的处理。后处理缓冲器217将经历后处理的解码图像数据输出至图像解码装置200外部。

帧内预测部219通过使用与从解码部212提供的最佳帧内预测模式中的预测结果有关的信息以及从计算部215提供的重新配置图像执行帧内预测来生成预测图像。帧内预测部219将所生成的预测图像提供给预测图像选择部222。

帧存储器220存储所提供的解码图像。此外，帧存储器220在给定定时处或基于来自帧间预测部221的请求或其他外部请求将所存储的解码图像等提供给帧间预测部221。

帧间预测部221通过使用与从解码部212提供的最佳帧间预测模式中的预测结果有关的信息以及从帧存储器220提供的解码图像执行帧间预测来生成预测图像。帧间预测部221将所生成的预测图像提供给预测图像选择部222。

预测图像选择部222将从帧内预测部219或帧间预测部221提供的预测图像提供给计算部215。例如，在要处理的块是在编码期间经历帧内预测的块的情况下，由帧内预测部219生成预测图像(帧内预测图像)作为帧内预测的结果。因此，预测图像选择部222将帧内预测图像提供给计算部215。此外，例如，在要处理的块是在编码期间经历帧间预测的块的情况下，由帧间预测部221生成预测图像(帧间预测图像)作为帧间预测的结果。因此，预测图像选择部222将帧间预测图像提供给计算部215。

<图像解码处理的流程>

接下来将参照图25所示的流程图描述由图像解码装置200执行的图像解码处理的流程的示例。

当图像解码处理开始时，在步骤S251中，累积缓冲器211累积提供给图像解码装置200的编码数据。在步骤S252中，解码部212执行解码处理。即，解码部212通过获取通过在步骤S251中的处理在累积缓冲器211中累积的编码数据并且通过解码数据来获取量化系数。

在步骤S253中，逆量化部213获取存储在由解码部212从编码数据获取的序列参数集(SPS)、图片参数集(PPS)或两者中的缩放列表以及每个TU的缩放列表规格信息并且基于缩放列表和缩放列表规格信息选择要处理的TU的缩放列表。

在步骤S254中，逆量化部213通过使用通过步骤S253中的处理获取的缩放列表对通过步骤S252中的处理获取的量化数据进行逆量化来获取正交变换系数。在步骤S255中，逆正交变换部214通过对通过步骤S254中的处理获取的正交变换系数进行逆正交变换来获取恢复的残差数据。

在步骤S256中，帧内预测部219、帧间预测部221和预测图像选择部222通过执行在编码期间使用的预测模式下的预测处理来生成预测图像。例如，在要处理的块是在编码期间经历帧内预测的块的情况下，帧内预测部219生成帧内预测图像，并且预测图像选择部222选择帧内预测图像作为预测图像。此外，例如，在要处理的块是在编码期间经历帧间预测的块的情况下，帧间预测部221生成帧间预测图像，并且预测图像选择部222选择帧间预测图像作为预测图像。

在步骤S257中，计算部215通过将通过步骤S256中的处理获取的预测图像添加到通过步骤S255中的处理获取的恢复的残差数据来获取重新配置的图像。

在步骤S258中，滤波器216通过对通过步骤S257中的处理获取的重新配置图像执行诸如去块滤波的滤波处理来获取解码图像。

在步骤S259中，后处理缓冲器217存储通过步骤S258中的处理获取的解码图像。后处理部218重排解码图像的帧，从解码顺序回到原始显示顺序来重排帧的顺序。

在步骤S260中，帧存储器220存储通过步骤S258中的处理获取的解码图像。该解码图像在帧间预测期间用作参考图像。

当步骤S260中的处理结束时，图像解码处理结束。

应当注意，这些处理中的每一个的处理单元是任意的并且可以不相同。因此，每个步骤中的处理可以适当地与其他步骤中的处理等并行地或以切换顺序执行。

作为执行如上所述的每个处理的结果，图像解码装置200可以使用多个缩放列表和缩放列表规格信息针对每个TU设定缩放列表。因此，图像解码装置200有助于增加针对每个TU设定的缩放列表的自由度，使得可以设定更适于目标比特率和TU尺寸的缩放列表。因此，可以将编码效率的降低保持为最小。

<6.第六实施方式>

<条带噪声>

存在图像具有诸如天空或墙壁的亮度变化小的区域(下文中也称为平坦区域)的情况。例如，在如图26A所示的图像中，由矩形封闭的区域301是具有近似恒定亮度值的天空的一部分。然而，亮度值作为整体在该区域中通常不完全相同并且通常细微地改变。例如，如图26B所示通过放大图26A中的区域301，我们可以看到该区域具有所谓的灰度。

在编码具有这样的微小亮度变化的图像(区域)的情况下，由于亮度值的平缓变化，因此可能选择诸如32×32的大TU尺寸。例如，如图8所示的示例中，针对这样的区域设定缩放列表(量化矩阵)导致具有大量化步长的DCT系数的编码，可能导致其中许多丢失。结果，例如，可以出现条带噪声，其看起来好像亮度值由于未能表示如图26C所示的灰度而在阶段中改变，可能导致降低的主观图像质量。

图27所示的曲线图描绘了对出现如上所述的条带噪声的区域进行编码之前和编码之后的图像频率与其幅度之间的关系的比较的示例。在该曲线图中，曲线311描绘了进行编码之前的图像的频率-幅度特性，并且曲线312描绘了进行编码之后的图像的频率-幅度特性。例如，在图示为椭圆313的部分中比较这些，在曲线311中可以观察到的每个频率处的幅度差在曲线312中大致消失。该变化主要是由进行编码期间的量化引起的。这样的量化误差减少了解码图像中的每个像素的亮度值的微小变化，不自然地使亮度值均匀。在具有宽范围频率分量的普通图像中，这样的微小量化误差不明显。然而，在诸如灰度的亮度变化小的平坦区域中，存在量化误差可以表现为条带噪声的可能性。

特别地，在具有12比特动态范围(比特深度)的HDR(高动态范围)图像的情况下，例如，如图28所示，在EOTF(电光学转换函数)中利用陡峭的伽马曲线对图像进行去伽玛校正，容易导致对小的量化误差夸大并且经常使条带噪声显著。在如图28所示的具有10比特动态范围(比特深度)的SDR(标准动态范围)图像的情况下，通过伽马曲线321对图像进行去伽马校正。因此，量化误差保持近似恒定。在HDR图像的情况下，通过伽马曲线322对图像进行去伽马校正，可能将量化误差增加到最大1300％。

<中频和低频部件的保护>

为此，在当前块尺寸等于或大于给定尺寸的情况下，可以设定如下缩放列表，该缩放列表在较低频率分量侧上的一些值小于在小于给定尺寸的块的情况下的缩放列表的值。

例如，如图29所示，在当前块具有32×32像素尺寸的情况下，设定小于用于32×32像素的块的缩放列表的如下缩放列表，该缩放列表具有用于低频和中频正交变换系数的“非常小”值(图中的阴影部分)。

通过设定具有非常小的低频和中频值的缩放列表，可以减小用于低频和中频量化的量化步长，有助于减小的量化误差。因此，可以保护诸如平坦区域中的灰度的亮度值的平缓变化，从而使解码图像中的条带噪声的出现最小化。

例如，在HEVC的情况下，最大TU尺寸是32×32像素，并且通常将32×32像素TU分配给平坦区域。因此，通过针对32×32像素TU设定这样的缩放列表，可以主要针对平坦区域减小低频和中频的量化误差。换言之，通常针对不平坦的区域选择小于32×32像素的TU。结果，以比32×32像素块的情况下更大的量化步长执行量化，从而将代码量的增加保持为最小。可以在保持将解码图像的主观图像质量降低到最小的同时使编码效率的降低最小化。

用于设定这样的缩放列表的方法类似于第一实施方式中的方法。也就是说，仅需要将如图29所示的示例中的用于每个速率和每个块尺寸的缩放列表存储在图9所示的图像编码装置100的缩放列表存储部115中并且使缩放列表选择部116基于目标比特率和TU尺寸选择缩放列表(图10中的步骤S105和S106)。

如上所述，可以针对平坦区域选择大的TU尺寸(在HEVC的情况下为32×32像素)。因此，可以针对主要用于平坦区域的低频和中频正交变换系数选择具有非常小的值的缩放列表而不需要任何处理例如平坦区域检测，并且根据如图29所示的示例中的TU尺寸更容易通过确定用于低频和中频正交变换系数的值。

应当注意，上述块尺寸仅是示例，并且块尺寸不限于该示例。也就是说，具有用于低频和中频正交变换系数的非常小的值的缩放列表可以用于大于给定尺寸的块。然后，给定尺寸可以是32×32像素或其他尺寸。块尺寸应当优选地是针对平坦区域易于选择的尺寸。

<低频和中频分量的保护>

应当注意，可以针对在待编码的图像中的待量化的当前块设定如下缩放列表，该缩放列表在较低频率分量侧上的一些值小于DC分量值。

图30示出了缩放列表的更具体示例。图30A是过去的公共缩放列表的示例，并且图30B是应用于上述平坦区域的缩放列表的示例。在图30A和图30B的每一个中，顶部的表格示出了缩放列表中的每个值。与TU一样，DC分量值在左上角处给出，并且所有其他值都是AC分量值。值越接近左上角，频率上的分量越低，并且值越接近右下角，在频率上的分量越高。这些值在图30A和图30B的底部处的3D图中描绘。

如图30A所示，过去的公共缩放列表中的值中的每一个值从低频分量单调地增加到高频分量。相比之下，在图30B所示的缩放列表的情况下，针对低频和中频正交变换系数设定小于“12”的“4”的DC分量值。因此，在使用图30B所示的缩放列表的情况下，与使用图30A所示的缩放列表的情况相比，可以更多地减小低频和中频量化误差。也就是说，可以通过针对平坦区域使用图30B所示的缩放列表来保护诸如平坦区域中的灰度的亮度值的平缓变化，从而使解码图像中的条带噪声的出现最小化。

用于设定这样的缩放列表的方法是参照图29如上所述的。应当注意，低频和中频值仅需要小于DC分量值，并且可以是除了上面提到的“4”之外的数字。此外，如图30B所示的示例中所示低频和中频值不需要是均匀的。此外，低频和中频值小于DC分量值的范围可以比图30B所示的示例中的范围更宽或更窄。

此外，可以针对等于或大于给定尺寸的TU设定图30B所示的缩放列表。这允许以与图29所示的情况类似的方式主要针对平坦区域减小低频和中频量化误差。也就是说，可以使解码图像的主观图像质量最小化的同时保持编码效率降低到最小。应当注意，该给定的尺寸是任意的。如图29所示的示例中，给定尺寸可以是32×32像素。当然，可以选择图30B所示的缩放列表而与TU尺寸无关。

<适合比率的缩放列表>

应当注意，在减小较低频率分量侧上的缩放列表的一些值诸如低频和中频值的情况下，可以将值设定成适合于目标比特率。缩放列表值越大，量化步长越大，并且代码量越少。因此，例如，如图31所示的阴影部分中，目标比特率越低，值可以越大(目标比特率越高，值可以越小)。这使得可以更容易地实现目标比特率。当然，也可以使用除这些值之外的值。

在图31所示的示例的情况下，针对32×32像素TU尺寸设定的用于缩放列表中的低频和中频正交变换系数的值的大小是使得值在高目标比特率的情况下“非常小(H)”、在中目标比特率的情况下非常小(M)”以及在低目标比特率的情况下“非常小(L)”。此外，例如，用于图30B所示的缩放列表中的低频和中频正交变换系数的值可以被设定成在高目标比特率的情况下为“4”、在中目标比特率的情况下为“6”以及在低目标比特率的情况下为“8”。

此外，目标比特率越低，值小于DC分量值的范围越窄(目标比特率越高，范围越宽)。当然，值的大小和范围的宽度两者都可以根据目标比特率而变化。

<7.第七实施方式>

<对缩放列表的选择>

在待编码的图像的动态范围大于给定范围并且当前块尺寸等于或大于给定尺寸的情况下，可以设定如下缩放列表，该缩放列表在较低频率分量侧上的一些值小于在小于给定尺寸的块的情况下的缩放列表中的值。此外，在图像的动态范围大于给定范围的情况下，可以设定其在较低频率分量侧上的一些值小于DC分量值的缩放列表。例如，图29、图30B或图31所示的缩放列表可以用作HDR缩放列表使得仅在待编码的图像是HDR图像的情况下应用缩放列表。

<图像编码装置>

图32示出了该情况下的图像编码装置的主要配置示例。图32所示的图像编码装置400基本上类似于图像编码装置100(图9)，其具有与图像编码装置100类似的配置，并且执行类似的处理。然而，应当注意，在编码HDR图像的情况下，图像编码装置400使用HDR缩放列表进行量化。

如图32所示，图像编码装置400具有缩放列表存储部415而不是图像编码装置100的缩放列表存储部115。此外，图像编码装置400具有缩放列表存储部416而不是图像编码装置100的缩放列表存储部116。

缩放列表存储部将高速率SDR缩放列表421、中速率SDR缩放列表422、低速率SDR缩放列表423、高速率HDR缩放列表424、中速率HDR缩放列表425和低速率HDR缩放列表426存储为用于量化使用的缩放列表的候选。

高速率SDR缩放列表421、中速率SDR缩放列表422和低速率SDR缩放列表423是用于SDR图像的量化使用的每个目标比特率的缩放列表。这些缩放列表例如是图8所示的缩放列表。高速率HDR缩放列表424、中速率HDR缩放列表425和低速率HDR缩放列表426是用于HDR图像的量化使用的每个目标比特率的缩放列表。这些缩放列表例如是图29、图30B或图31所示的缩放列表。

缩放列表存储部415将由缩放列表选择部416请求的候选(缩放列表)从存储的候选中提供给缩放列表选择部416。

缩放列表选择部416执行与将用于由量化部117执行的量化使用的缩放列表的设定有关的处理。缩放列表选择部416获取要实现的编码率(目标比特率)和与输入图像的动态范围有关的信息。此外，缩放列表选择部416从量化部117获取指示待处理的TU(当前块)的尺寸的信息。缩放列表选择部416通过使用存储在缩放列表存储部415中的缩放列表的候选来设定与目标比特率、动态范围和当前块的尺寸(TU尺寸)对应的缩放列表，并且将缩放列表提供给量化部117。

例如，在输入图像是HDR图像并且目标比特率为高的情况下，缩放列表选择部416选择高速率HDR缩放列表424，从其中设定适合于当前块尺寸的缩放列表，并且将缩放列表提供给量化部117。

<图像编码处理的流程>

将参照图33所示的流程图给出在该情况下由图像编码装置400执行的图像编码处理的流程的示例的描述。

在该情况下，当图像编码处理开始时，分别与图11中的步骤S101至S104的处理类似地执行从步骤S401至S404的处理。

在步骤S405中，缩放列表选择部416基于要实现的编码率(目标比特率)、输入图像的动态范围和当前块尺寸(TU尺寸)来选择具有适合于动态范围、目标比特率和TU尺寸的值的缩放列表。

在步骤S406中，通过使用适合于目标编码率和通过步骤S405中的处理或通过其他方式获取的缩放列表的量化参数来量化通过步骤S404中的处理获取的正交变换系数。

步骤S407至S413中的处理分别与图11中的步骤S107至S113中的处理类似地执行。当步骤S413中的处理结束时，图像编码处理结束。

应当注意，这些处理中的每一个的处理单元是任意的并且可以不相同。因此，每个步骤中的处理可以适当地与其他步骤中的处理等并行地或以切换的顺序执行。

通过执行如上所述的图像编码处理，可以设定能够保护平坦区域中的低频和中频分量的缩放列表以仅用于对条带噪声显著的HDR图像进行量化。这进一步保持将编码效率降低到最小。

应当注意，用于在如上所述的缩放列表之间切换的动态范围是任意的并且可以是如上所述的10比特或者可以具有其他比特计数。此外，例如，动态范围可以在诸如10比特和12比特的多个步长中切换。

<8.第八实施方式>

<平坦检测>

此外，可以检测平坦区域。例如，在当前图片包括亮度变化小的平坦部分的情况下，可以设定如下缩放列表，该缩放列表在较低频率分量侧上的一些值小于不包括平坦部分的情况的缩放列表中的值。此外，在当前图片包括具有亮度变化小的平坦部分的情况下，可以设定其在较低频率分量侧上的一些值小于DC分量值的缩放列表。

在该情况下，例如，图像编码装置400的预处理部112检测输入图像的当前图片(待处理的图片)中的平坦区域，并且缩放列表选择部416基于其检测结果来选择缩放列表。例如，对于包括平坦区域的图片，缩放列表选择部416可以选择如图29、图30B或图31所示的缩放列表，例如高速率HDR缩放列表424、中速率HDR缩放列表425或低速率HDR缩放列表426。

<图像编码处理的流程>

将参照图34所示的流程图给出在该情况下图像编码处理的流程的示例的描述。当图像编码处理开始时，分别与图33中的步骤S401至S404的处理类似地执行从步骤S431至S434的处理。

在步骤S405中，缩放列表选择部416基于动态范围、平坦区域检测结果、编码率和TU尺寸来选择缩放列表。

步骤S436至S443中的处理分别与图33中的步骤S406至S413中的处理类似地执行。当步骤S443中的处理结束时，图像编码处理结束。

应当注意，这些处理中的每一个的处理单元是任意的并且可以不相同。因此，每个步骤中的处理可以适当地与其他步骤中的处理等并行地或以切换的顺序执行。

<缩放列表选择处理的流程>

将参照图35所示的流程图接下来给出图34所示的步骤S435中执行的缩放列表选择处理的流程的示例的描述。

当缩放列表选择处理开始时，缩放列表选择部416在步骤S461中确定待编码的图像是否是HDR图像。在确定图像是HDR图像的情况下，处理进行至步骤S462。在步骤S462中，预处理部112检测当前图片中的平坦区域。检测方法是任意的。预处理部112将检测结果提供给缩放列表选择部416。

在步骤S463中，缩放列表选择部416基于检测结果确定当前图片是否是包括平坦区域的场景。在确定包括平坦区域的情况下，处理进行至步骤S464。在步骤S464中，缩放列表选择部416计算确定结果的可靠性。该可靠性的计算方法是任意的。例如，可以基于已被确定为平坦区域的区域的尺寸来计算可靠性。例如，检测为平坦区域的区域越大，可靠性可以越高。此外，被检测为平坦区域的区域可以不仅基于其尺寸而且基于位置、形状、平坦水平等来评估并且评估值越高，可靠性可以越高。否则，可以参考过去帧中的平坦区域检测结果来计算可靠性。

在步骤S465中，缩放列表选择部416将适合于通过步骤S464中的处理计算的可靠性的HDR缩放列表选择为候选。例如，可以将较小可靠的缩放列表、中可靠的缩放列表和高可靠的缩放列表预先存储在缩放列表存储部415中使得缩放列表选择部416选择适合于可靠性的缩放列表。应当注意，可以使任何数目的模式类型可用的适合于可靠性。此外，可以使用函数或其他方法从可靠性进行计算。当步骤S465中的处理结束时，处理进行至步骤S467。

此外，在步骤S461中，在确定输入图像的动态范围是SDR的情况下，处理进行至步骤S466。此外，在步骤S463中确定当前图片不包括任何平坦区域的情况下，处理进行至步骤S466。在步骤S466中，缩放列表选择部416将SDR缩放列表选择为候选。当步骤S466中的处理结束时，处理进行至步骤S467。

在步骤S467中，缩放列表选择部416从通过步骤S465或S466中的处理选择为候选的缩放列表中选择适合于目标比特率和TU尺寸的缩放列表，并且将缩放列表提供给量化部117。在步骤S467中的处理结束时，缩放列表选择处理结束，并且处理返回至图34。

应当注意，这些处理中的每一个的处理单元是任意的并且可以不相同。因此，每个步骤中的处理可以适当地与其他步骤中的处理等并行地或以切换的顺序执行。

通过执行如上所述的每个处理，对于具有平坦区域的图像，可以更精确地设定保护平坦区域中的低频和中频分量的缩放列表以进行量化。换言之，可以确保不针对不包括任何平坦区域的图像设定这样的缩放列表，进一步保持将编码效率降低到最小。

应当注意，缩放列表中的低频和中频的值可以适合于可靠性的值。例如，可靠性越高，这些值可以越低。

<9.第九实施方式>

<QTBT>

CU、PU和TU可以是JVET-C0024“EE2.1：用JEM工具集成的四叉树加二叉树结构”中描述的QTBT(四叉树加二叉树)中的CU、PU和TU。

在QTBT中，在CU块划分中，一个块可以不仅被划分成四(＝2×2)个子块还划分成两(＝1×2，2×1)个子块。也就是说，通过递归地重复将一个块划分成四个或两个子块来进行该情况下的CU块划分。结果，形成四叉树形状或水平或垂直二叉树形状的树结构。

结果，存在CU形状可以不仅是正方形还是矩形的可能性。例如，在LCU尺寸为128×128的情况下，如图36中所示，存在CU尺寸(水平方向上的尺寸w×竖直方向上的尺寸h)可以不仅是正方形例如128×128、64×64、32×32、16×16、8×8和4×4，还是矩形的例如128×64、128×32、128×16、128×8、128×4、64×128、32×128、16×128、8×128、4×128、64×32、64×16、64×8、64×4、32×64、16×64、8×64、4×64、32×16、32×8、32×4、16×32、8×32、4×32、16×8、16×4、8×16、4×16、8×4和4×8。此外，在该情况下的PU和TU与CU相同。

然而，应当注意，最大量化尺寸是32×32并且在宽度和高度中的任何一个或两者是64或更大的情况下，仅发送适合于T032×32的低频分量，并且其他部分为零。

例如，在图37中左侧处所示的128×128TU的情况下，仅对左上32×32区域进行量化，并且将全部其他区域设定为零。类似地，在图37中右侧处所示的16×64TU的情况下，仅对16×32区域进行量化，并且将全部其他区域设定为零。

因此，用于量化使用的缩放列表的形状是32×32、32×16、32×8、32×4、16×32、8×32、4×32、16×16、16×8、16×4、8×16、4×16、8×8、8×4、4×8或4×4之一。也就是说，这些尺寸的缩放列表在缩放列表存储部415中可用作候选(预先存储的)。应当注意，可以通过稀疏或内插数字来改变缩放列表的尺寸(调整尺寸)。例如，如图38所示的示例中可以通过从8×8缩放列表中对每隔一行的数字进行稀疏来生成8×4缩放列表。可以类似地生成其他尺寸的缩放列表。

图8所示的示例中的缩放列表适用于这样的QTBT。在那样的情况下，可以如图39所示设定用于每个TU尺寸的缩放列表值。

此后，也在该QTBT的情况下，在当前块尺寸等于或大于给定尺寸的情况下，可以设定如下缩放列表，该缩放列表在较低频率分量侧上的一些值小于在小于给定尺寸的块的情况下的缩放列表的值。此外，可以针对在待编码的图像中的待量化的当前块设定其在较低频率分量侧上的一些值小于DC分量值的缩放列表。

例如，对于平坦区域等，可以选择如图40B所示的其低频和中频值非常小的缩放列表而不是如图40A所示的其值从低频到高频单调增加的缩放列表。在当前块是非正方形的情况下，如图40C所示的缩放列表类似地可适用。

因此，例如，在将图29所示的示例中的缩放列表应用于QTBT块的情况下，可以如图41所示的示例中设定用于每个TU尺寸的缩放列表值。对于图30B和图31所示的示例的情况也是如此。

也就是说，第一实施方式至第六实施方式也适用于QTBT情况，从而提供与上面在实施方式中的每一个中描述的有益效果类似的有益效果。换言之，如上所述的缩放列表可以被设定为用于当前块的较低频率分量侧上的一些系数的缩放列表。

<10.第十实施方式)

<信息的数据单元>

以上所述与图像有关的信息和与图像编码和解码有关的信息被设定的数据单元(或目标数据的数据单元)中的每一个是任意的并且不限于以上所述的示例。例如，可以针对每个TU、TB、PU、PB、CU、LCU、子块、块、区块、片、图片、序列，或分量设定这些信息条，并且可以将这些数据单元中的数据视为目标数据。当然，针对每条信息设定该数据单元。也就是说，不需要针对同一数据单元设定所有信息条(或者将其视为目标数据)。应当注意，这些信息条的存储位置是任意的并且可以将其存储在具有上述数据单元的标题、参数集或其他位置。此外，这些信息条可以被存储在多个位置中。

<控制信息>

可以从编码侧向解码侧发送与在上述实施方式中的每一个中描述的本技术有关的控制信息。例如，可以发送控制是否启用(或禁用)以上所述的本技术的应用的控制信息(例如，启用标志)。此外，例如，可以发送如下控制信息，该控制信息指定用于启用(或禁用)以上所述的本技术的应用的块尺寸的上限或下限或其两者。

<编码和解码>

本技术适用于任意图像编码和解码以执行量化。例如，与第五实施方式的情况一样图像编码装置100和图像解码装置200的编码和解码方案是任意的并且不需要符合HEVC。因此，例如，诸如变换(逆变换)、编码(解码)、预测图像生成处理、滤波处理等的规范是任意的并且不限于上述示例。此外，可以省略其处理中的一些或全部。应当注意，只要使用缩放列表除了缩放列表之外的量化(逆量化)的规范是任意的。

<本技术的应用领域>

应用本技术的系统、装置、处理部等可以用于任意领域，例如交通、医学、犯罪预防、农业、畜牧业、采矿、化妆品、工厂、家用电子应用、气象学和自然监测。

例如，本技术适用于用于传送图像以供欣赏的系统和设备。此外，例如，本技术适用于用于交通用途的系统和设备。此外，例如，本技术还适用于用于安全用途的系统和设备。此外，例如，本技术适用于用于体育用途的系统和设备。此外，例如，本技术还适用于用于农业用途的系统和设备。此外，例如，本技术适用于用于畜牧业用途的系统和设备。此外，本技术例如适用于用于监测诸如火山、森林和海洋等自然条件的系统和设备。此外，本技术适用于用于观测气候、温度、湿度、风速、日照时间等的气象观测系统和气象观测装置。此外，本技术适用于用于观察野生动物例如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫和植物的习惯的系统、设备等。

<应用于多视图图像编码系统>

上述系列处理适用于用于对包括多个视图的图像的多视图图像进行编码的多视图图像编码系统。在那种情况下，仅需要将本技术应用于每个视图的编码。

<应用于分层图像编码系统>

上述系列处理适用于分层图像编码(可伸缩编码)系统，其用于对具有多个层(层状图像)的分层图像进行编码以针对给定参数提供可伸缩性功能。在那种情况下，仅需要将本技术应用于每个分层(层)的编码。

<计算机>

以上所述的系列处理可以通过硬件或软件来执行。在通过软件执行以上所述的系列处理的情况下，将包括在软件中的程序安装到计算机。此处，计算机包括被并入专用硬件中的计算机、能够由于安装各种程序而执行各种功能的通用个人计算机等。

图42是示出了使用程序执行以上所述的系列处理的计算机的硬件配置示例的框图。

在图42所述的计算机800中，通过总线804将CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803彼此连接。

I/O(输入/输出)接口810还连接至总线804。输入部811、输出部812、存储部813、通信部814和驱动器815连接至I/O接口810。

输入部811包括例如键盘、鼠标、麦克风、触摸板、输入端子等。输出部812包括例如显示器、扬声器、输出终子等。存储部813包括例如硬盘、RAM盘、非易失性存储器等。通信部814包括例如网络接口等。驱动器815驱动可移除介质821例如磁盘、光盘、磁光盘或半导体存储器。

在如上所述配置的计算机中，CPU 801执行上述系列处理，例如，通过经由I/O接口810和总线804将存储在存储部813中的程序加载到RAM 803中来执行。RAM 803还适当地存储用于CPU 801执行各种处理所需的数据。

例如，由计算机(CPU 801)执行的程序可以用于被记录在作为封装介质的可移除介质821或其他介质上。在那种情况下，可以通过将可移除介质821安装到驱动器815中来经由I/O接口810将程序安装到存储部813。

此外，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。在那种情况下，可以通过通信部814来接收程序并且将其安装到存储部813。

除了上述之外，程序可以被预先安装至ROM 802或存储部813。

<对本技术的应用>

根据上述实施方式的图像编码装置100可以应用于各种电子装备，例如用于包括卫星广播和有线电视的有线广播、用于在因特网上传送以及用于使用蜂窝通信传送到端子的发送器和接收器、用于将图像记录在包括光盘、磁盘、闪速存储器等的介质上的记录装置以及用于从这些存储介质再现图像的再现装置。

<第一应用示例：电视接收器>

图43示出了应用上述实施方式的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理部905、显示部906、音频信号处理部907、扬声器908、外部接口(I/F)部909、控制部910、用户接口(I/F)部911和总线912。

调谐器902从经由天线901接收到的广播信号提取期望信道的信号并且对所提取的信号进行解调。然后，调谐器902将通过解调获取的编码的比特流输出至解复用器903。也就是说，调谐器902充当用于在电视装置900中接收具有编码图像的编码流的传送部的角色。

解复用器903从编码的比特流中分离要观看的节目的视频流和音频流，并且将分离的流中的每一个输出至解码器904。此外，解复用器903从编码的比特流提取辅助数据例如EPG(电子节目指南)并且将所提取的数据提供给控制部910。应当注意，在编码的比特流被加扰的情况下，解复用器903可以解扰编码的比特流。

解码器904对从解复用器903输入的视频和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出至视频信号处理部905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理部907。

视频信号处理部905再现从解码器904输入的音频数据并且使显示部906显示视频。此外，视频信号处理部905可以使显示部906显示经由网络供给的应用画面。此外，视频信号处理部905可以根据设定执行附加处理例如对视频数据的噪声移除。此外，视频信号处理部905可以例如生成GUI(图形用户接口)图像例如菜单、按钮和光标，并且将所生成的图像叠加在输出图像上。

显示部906被从视频信号处理部905提供的驱动信号驱动以在显示设备(例如，液晶显示器、等离子显示器或OELD(有机电致发光显示器))的视频画面上显示视频或图像。

音频信号处理部907对从解码器904输入的音频信号执行再现处理例如D/A转换和放大并且使扬声器908输出音频。此外，音频信号处理部907可以执行附加处理例如对音频数据的噪声移除。

外部接口部909是用于将电视装置900与外部装备或网络连接的接口。例如，经由外部接口部909接收到的视频流或音频流可以由解码器904来解码。也就是说，外部接口部909还充当用于在电视装置900中接收具有编码图像的编码流的传送部的角色。

控制部910具有处理器例如CPU和存储器例如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。存储在存储器中的程序例如被加载到CPU中用于在电视装置900被激活时执行。例如，CPU通过根据从用户接口部911输入的操作信号执行程序来控制电视装置900的操作。

用户接口部911连接至控制部910。用户接口部911具有例如用于用户操作电视装置900的按钮和开关、远程控制信号接收部等。用户接口部911通过经由这些元件检测用户的操作来生成操作信号并且将所生成的操作信号输出至控制部910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理部905、音频信号处理部907、外部接口部909以及控制部910彼此连接。

在以该方式配置的电视装置900中，解码器904可以具有以上所述的图像解码装置200的功能。也就是说，解码器904可以使用在上述实施方式中的每一个中描述的方法对编码的数据进行解码。结果，电视装置900提供与以上在实施方式中的每一个中描述的有益效果类似的与接收到的编码的比特流有关的有利效果。

此外，在以该方式配置的电视装置900中，视频信号处理部905可以能够例如对从解码器904提供的图像数据进行编码并且经由外部接口部909将获取的编码数据输出到电视装置900的外部。然后，视频信号处理部905可以具有图像编码装置100或图像编码装置400的功能。也就是说，视频信号处理部905可以通过在上述实施方式中的每一个中描述的方法对从解码器904提供的图像数据进行编码。电视装置900提供与以上在实施方式中的每一个中描述的有益效果类似的与要输出的编码数据有关的有利效果。

<第二应用示例：移动电话>

图44示出了应用上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930、控制部931、操作部932以及总线933。

天线921被连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。操作部932连接至控制部931。总线933将通信部922、音频编解码器923、摄像装置部926、图像处理部927、解复用部928、记录/再现部929、显示部930和控制部931彼此连接。

移动电话920以包括音频呼叫模式、数据通信模式、拍摄模式以及电视电话模式的各种模式来执行操作，例如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像以及记录数据。

在音频呼叫模式下，将通过麦克风925生成的模拟音频信号提供给音频编解码器923。音频编解码器923将模拟信号转换成音频数据并且对通过A/D转换的经转换的音频数据进行压缩。然后，音频编解码器923将经压缩的音频数据输出至通信部922。通信部922通过编码和调制音频数据来生成传输信号。然后，通信部922经由天线921将生成的传输信号发送至基站(未示出)。此外，通信部922通过放大经由天线921接收到的无线信号并且转换信号的频率来获取接收信号。然后，通信部922通过对接收信号进行解调和解码来生成音频数据并且将所生成的音频数据输出至音频编解码器923。音频编解码器923通过对音频数据进行解压缩并且对该音频数据执行D/A转换来生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。

此外，在数据通信模式中，例如，控制部931根据经由操作部932的用户操作生成包括在电子邮件中的文本数据。此外，控制部931使显示部930显示文本。此外，控制部931响应于经由操作部932的用户传输指令来生成电子邮件数据并且将所生成的电子邮件数据输出至通信部922。通信部922通过对电子邮件数据进行编码和调制来生成传输信号。然后，通信部922经由天线921将生成的传输信号发送至基站(未示出)。此外，通信部922通过放大经由天线921接收到的无线信号并且转换信号的频率来获取接收信号。然后，通信部922通过对接收信号进行解调和解码来恢复电子邮件数据并且将电子邮件数据输出至控制部931。控制部931使显示部930显示电子邮件的细节并且将电子邮件数据提供给记录/再现部929以将数据写入至其存储介质。

记录/部分929具有可读/可写的任意存储介质。例如，存储介质可以是内置的存储介质例如RAM和闪速存储器或者外部安装的存储介质例如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储器卡。

此外，在拍摄模式下，例如，摄像装置部926通过对对象成像来生成图像数据并且将所生成的图像数据输出至图像处理部927。图像处理部927对从摄像装置部926输入的图像数据进行编码并且将编码流提供给记录/再现部929使得编码流被写入至其记录介质。

此外，在图像显示模式下，记录/再现部929读取记录在存储介质上的编码流并且将编码流输出至图像处理部927。图像处理部927对从记录/再现部929输入的编码流进行解码并且将图像数据提供给显示部930使得该图像被显示。

此外，在电视电话模式下，例如，解复用部928复用由图像处理部927编码的视频流和从音频编解码器923输入的音频流并且将复用的流输出至通信部922。通信部922通过对流进行编码和调制来生成传输信号。然后，通信部922经由天线921将生成的传输信号发送至基站(未示出)。此外，通信部922通过放大经由天线921接收到的无线信号并且转换信号的频率来获取接收信号。这些传输和接收信号包括编码的比特流。然后，通信部922通过对接收信号进行解调和解码来恢复流并且将所恢复的流输出至解复用部928。解复用部928从输入的流中分离视频流和音频流并且将视频流输出至图像处理部927并且将音频流输出至音频编解码器923。图像处理部927通过恢复视频流来生成视频数据。视频数据被提供给显示部930使得由显示部930显示一系列图像。音频编解码器923通过对音频流进行解压缩并且对该音频流执行D/A转换来生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。

在以该方式配置的移动电话920中，例如，图像处理部927可以具有以上所述的图像编码装置100、图像解码装置200和图像编码装置400中的至少一个或更多个的功能。也就是说，图像处理部927可以通过上述实施方式中的每一个中描述的方法对图像数据进行编码和解码。结果，移动电话920提供与上述实施方式中的每一个中的有益效果类似的有益效果。

<第三应用示例：记录/再现装置>

图45示出了应用上述实施方式的记录/再现装置的示意性配置的示例。例如，记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码并且将编码数据记录到记录介质。此外，记录/再现装置940可以例如对从另一装置获取的音频数据和视频数据进行编码并且将编码数据记录到记录介质。此外，记录/再现装置940可以例如响应于用户的指令来在监视器和扬声器上再现记录在记录介质上的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口(I/F)部942、编码器943、HDD(硬盘驱动器)部944、盘驱动器945、选择器946、解码器947、OSD(屏上显示器)948、控制部949，以及用户接口(I/F)部950。

调谐器941从经由天线(未示出)接收到的广播信号中提取期望的信道的信号并且对所提取的信号进行解调。然后，调谐器941将通过解调获取的编码的比特流输出至选择器946。也就是说，调谐器941充当记录/再现装置940中的传输部的角色。

外部接口部942是用于将记录/再现装置940与外部装备或网络连接的接口。外部接口部942可以是例如IEEE(电气与电子工程师协会)1394接口、网络接口、USB接口、或闪速存储器接口。例如，经由外部接口部942接收到的视频数据和音频数据被输入至编码器943。也就是说，外部接口部942充当记录/再现装置940中的传输部的角色。

在未对视频数据和音频数据进行编码的情况下编码器943对从外部接口部942输入的视频数据和音频数据进行编码。然后，编码器943将编码的比特流输出至选择器946。

HDD部944将具有压缩视频、音频和其他内容数据、各种程序和其他数据的编码的比特流记录到硬盘。此外，HDD部944在视频和音频的再现期间从硬盘读取这些数据条。

盘驱动器945将数据记录到插入的记录介质以及从插入的记录介质中读取数据。将被插入到盘驱动器945中的记录介质可以是例如DVD(数字多功能盘)盘(例如，DVD-视频、DVD-RAM(DVD–随机存取存储器)、DVD-R(DVD-可记录)、DVD-RW(DVD-可重写)、DVD+R(DVD+可记录)、DVD+RW(DVD+可重写))、蓝光(注册商标)盘或其他介质。

选择器946在记录视频和音频期间选择从调谐器941或编码器943输入的编码的比特流并且将所选择的编码的比特流输出至HDD 944或盘驱动器945。此外，选择器946在再现视频和音频期间将从HDD 944或盘驱动器945输入的编码的比特流输出至解码器947。

解码器947通过对编码的比特流进行解码来生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD部948。此外，解码器947将所生成的音频数据输出至外部扬声器。

OSD部948再现从解码器947输入的视频数据并且显示视频。此外，OSD部948可以例如将GUI图像例如菜单、按钮或光标叠加到要显示的视频上。

控制部949具有处理器例如CPU和存储器例如RAM和ROM。存储器存储由CPU执行的程序、程序数据等。存储在存储器中的程序例如被加载到CPU中用于在记录/再现装置940被激活时执行。例如，CPU通过根据从用户接口部950输入的操作信号执行程序来控制记录/再现装置940的操作。

用户接口部950连接至控制部949。用户接口部950具有例如用于用户操作记录/再现装置940的按钮和开关、远程控制信号接收部等。用户接口部950通过经由这些元件检测用户的操作来生成操作信号并且将所生成的操作信号输出至控制部949。

在以该方式配置的记录/再现装置940中，例如，编码器943可以具有以上所述的图像编码装置100和图像编码装置400的功能。也就是说，解码器943可以通过上述实施方式中的每一个中描述的方法对图像数据进行编码。结果，记录/再现装置940提供与上述实施方式中的每一个中的有益效果类似的有益效果。

此外，在以该方式配置的记录/再现装置940中，例如，解码器947可以具有以上所述的图像解码装置200的功能。也就是说，解码器947可以通过上述实施方式中的每一个中描述的方法对编码数据进行解码。结果，记录/再现装置940提供与上面在实施方式中的每一个中描述的类似有益效果。

<第四应用示例：成像装置>

图46示出了应用上述实施方式的成像装置的示意性配置的示例。成像装置960通过对对象进行拍摄来生成图像，对图像数据进行编码，并且将图像数据记录到记录介质。

成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口(I/F)部966、存储器部967、媒体驱动器968、OSD部969、控制部970、用户接口(I/F)部971以及总线972。

光学块961连接至成像部962。成像部962连接至信号处理部963。显示部965连接至图像处理部964。用户接口部971连接至控制部970。总线972将图像处理部964、外部接口部966、存储器部967、媒体驱动器968、OSD部969和控制部970彼此连接。

光学块961具有聚焦透镜、孔径机构等。光学块961将对象的光学图像形成在成像部962的成像表面上。成像部962具有图像传感器例如CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)，并且通过光电转换将在成像表面上形成的光学图像转换成作为电信号的图像信号。然后，成像部962将图像信号输出至信号处理部963。

信号处理部963对从成像部962输入的图像信号执行各种摄像装置信号处理任务例如拐点校正(knee correction)、伽马校正和颜色校正。信号处理部963将经过摄像装置信号处理的图像数据输出至图像处理部964。

图像处理部964通过对从信号处理部963输入的图像数据进行编码来生成编码数据。然后，图像处理部964将生成的编码数据输出至外部接口部966或媒体驱动器968。此外，图像处理部964通过对从外部接口部966或媒体驱动器968输入的编码数据进行解码来生成图像数据。然后，图像处理部964将生成的图像数据输出至显示部965。此外，图像处理部964可以将从信号处理部963输入的图像数据输出至显示部965并且使显示部965显示图像。此外，图像处理部964可以将从OSD部969获取的显示数据叠加在被输出至显示部965的图像上。

OSD部969生成GUI图像例如菜单、按钮或光标并且将所生成的图像输出至图像处理部964。

外部接口部966被配置为例如USB输入/输出端子。外部接口部966在打印图像期间将成像装置960连接至打印机。此外，根据需要将驱动器连接至外部接口部966。例如，可移除介质例如磁盘或光盘可以被插入到驱动器中使得从可移除介质读取的程序可以被安装到图像装置960。此外，外部接口部966可以被配置为连接至网络例如LAN或因特网的网络接口。也就是说，外部接口部966充当成像装置960中的传输部的角色。

插入到媒体驱动器968中的记录介质可以是例如任意可读/可写的可移除介质例如磁盘、磁光盘、光盘或半导体存储器。此外，例如，可以通过将记录介质永久地插入媒体驱动器968中来配置诸如内置硬盘驱动器或SSD(固态驱动器)的非便携式存储部。

控制部970具有处理器例如CPU和存储器例如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。存储在存储器中的程序例如被加载到CPU中用于在成像装置960被激活时执行。例如，CPU通过根据从用户接口部971输入的操作信号执行程序来控制成像装置960的操作。

用户接口部971连接至控制部970。用户接口部971具有例如用于用户操作成像装置960的按钮和开关。用户接口部971通过经由这些元件检测用户的操作来生成操作信号并且将所生成的操作信号输出至控制部970。

在以该方式配置的成像装置960中，例如，图像处理部964可以具有以上所述的图像编码装置100、图像解码装置200和图像编码装置400中的至少一个或更多个的功能。也就是说，图像处理部964可以通过在上述实施方式中的每一个中描述的方法对图像数据进行编码和解码。结果，成像装置960提供与上述实施方式中的每一个中的有益效果类似的有益效果。

<第五应用示例：视频设备>

此外，本技术可以实施为安装到任意装置或系统中包括的装置的各种配置，例如作为系统LSI(大规模集成)的处理器、使用多个处理器的模块、使用多个模块的单元以及还具有添加至设备的其他功能的设备(即，装置的部分配置)。图47示出了应用本技术的视频设备的示意性配置的示例。

近年来已经渐增地看到多功能的电子装备，并且在其开发和制造中通过销售或规定来实施其部分配置的情况下，电子装备不仅被实施为具有单个功能的配置还被实施为通过组合具有相关功能的多个配置来具有多个功能的设备变得更加普遍。

图47所示的视频设备1300具有这样的多功能配置并且是具有与图像编码和解码(其一者或两者)有关的功能的设备和具有与该功能有关的其他功能的另一设备的组合。

如图47所示，视频设备1300包括模块组例如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314以及具有相关功能的设备例如连接部1321、摄像装置1322和传感器1323。

模块将多个相互关联的按功能分划的功能集成到提供整合功能的一个部件中。尽管其特定的物理配置是任意的，但是模块可能具有布置在印刷电路板上并且组合成一体的多个处理器，每个处理器具有功能、电子电路元件例如电阻器和电容器以及其他设备。另一可能性是将模块与其他模块、处理器等组合以提供新模块。

在图47所示的示例的情况下，视频模块1311是具有与图像处理有关的功能的配置的组合并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。

处理器是通过SoC(片上系统)在半导体芯片上具有给定功能的配置的集成并且例如被称为系统LSI(大规模集成)或其他术语。具有给定功能的这些配置可以是逻辑电路(硬件配置)或CPU、ROM、RAM等以及利用它们的程序(软件配置)或其组合。例如，处理器可以具有逻辑电路、CPU、ROM、RAM等，并且可以通过逻辑电路(硬件配置)来实现一些功能，并且可以通过由CPU(软件配置)执行的程序来实现其他功能。

在图47所示的应用处理器1331是用于执行与图像处理有关的处理器。由应用处理器1331执行应用可以不仅执行计算还控制用于实现给定功能所需的视频模块1311的内部和外部的配置例如视频处理器1332。

视频处理器1332是具有与图像编码和解码(其一者或两者)有关的功能的处理器。

宽带调制解调器1333通过数字调制将经由宽带线例如因特网或公共电话网络执行的有线或无线宽带通信(或其两者)发送的数据(数字信号)转换成模拟信号并且通过解调将通过宽带通信接收到的模拟信号转换成数据(数字信号)。例如宽带调制解调器1333对任意信息例如由视频处理器1332处理的图像数据、从图像数据的编码得到的流、应用程序和设置数据进行处理。

RF模块1334是用于对经由天线发送和接收到的RF(射频)信号进行频率转换、调制和解调、放大、滤波或执行其他处理的模块。例如，RF模块1334通过对由宽带调制解调器1333生成的基带信号进行频率转换来生成RF信号。此外，例如，RF模块1334通过对经由前端模块1314接收到的RF信号进行频率转换来生成基带信号。

应当注意，应用处理器1331和视频处理器1332可以组合成一体，如图47中的虚线1341所示。

外部存储器1312是设置在视频模块1311的外部并且具有由视频模块1311使用的存储设备的模块。可以通过任何物理配置来实现该外部存储器1312的存储设备。然而，因为通常经常使用存储设备用于存储诸如逐帧图像数据的大容量数据，因此优选地，存储设备是由诸如DRAM(动态随机访问存储器)的相对便宜且大容量的半导体存储器实现的。

电力管理模块1313管理和控制供应至视频模块1311(在视频模块1311中的每个配置)的电力。

前端模块1314是用于向RF模块1334提供前端功能(在天线侧上的发送/接收端电路)的模块。如图47所示，前端模块1314具有例如天线部1351、滤波器1352以及放大部1353。

天线部1351具有用于发射和接收无线信号的天线和其外围配置。天线部1351将从放大部1353提供的信号作为无线信号进行发射并且将接收到的无线信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线部1351接收到的RF信号执行滤波处理和其他处理并且将处理的RF信号提供给RF模块1334。放大部1353将从RF模块1334提供的RF信号放大，并且将经放大的信号提供给天线部1351。

连接部1321是具有与外部装备连接有关的功能的模块。连接部1321的物理配置是任意的。例如，连接部1321具有除由宽带调制解调器1333、外部输入/输出端子等支持的通信标准之外的通信功能的配置。

例如，连接部1321可以包括具有符合无线通信标准例如蓝牙(注册商标)、IEEE802.11(例如，Wi-Fi(无线保真，注册商标))、NFC(近场通信)或IrDA(红外数据协会)的通信功能的模块、用于发送和接收符合该标准的信号的天线等。此外，例如，连接部1321可以包括：具有符合有线通信标准例如USB(通用串行总线)或HDMI(注册商标)(高清晰度多媒体接口)的通信功能的模块、符合该标准的终子等。此外，例如，连接部1321可以包括其他数据(信号)传输功能或其他功能例如模拟输入/输出端子。

应当注意，连接部1321可以包括将数据(信号)发送至目的地的设备。例如，连接部1321可以包括用于从记录介质例如磁盘、光盘、磁光盘或半导体存储器读取数据以及向所述记录介质写入数据的驱动器(不仅包括可移除介质的驱动器还包括硬盘、SSD(固态驱动器)、NAS(网络附接存储装置)等)。此外，连接部1321可以具有图像和音频输出设备(例如，监视器和扬声器)。

摄像装置1322是具有通过对对象进行成像来获取对象的图像数据的功能的模块。通过由摄像装置1322进行成像而获取的图像数据例如被提供给视频处理器1332用于编码。

传感器1323是例如具有任意传感器功能的模块，例如音频传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、冲击传感器或温度传感器。由传感器1323检测到的数据例如被提供给应用处理器1331用于由应用等使用。

上面描述为模块的配置可以被实现为处理器，并且反之，上面描述为处理器的配置可以被实现为模块。

在如上所述配置的视频设备1300中，本技术可以应用于如稍后所述的视频处理器1332。因此，视频设备1300可以被实施为应用本技术的设备。

<视频处理器的配置示例>

图48示出了应用本技术的视频处理器1332(图47)的示意性配置的示例。

在图48所示的示例情况下，视频处理器1332具有响应于视频信号和音频信号的输入而通过预定方案对这些信号进行编码的功能，以及对经编码的视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。

如图48所示，视频处理器1332具有视频输入处理部1401、第一图像放大/缩小部1402、第二图像放大/缩小部1403、视频输出处理部1404、帧存储器1405以及存储器控制部1406。视频处理器1332还具有编码/解码引擎1407、视频ES(基本流)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332具有音频编码器1410、音频解码器1411、复用部(MUX(复用器))1412、解复用部(DMUX(解复用器))1413以及流缓冲器1414。

视频输入处理部1401获取例如从连接器1321(图47)或其他部分输入的视频信号并将该信号转换为数字图像数据。第一图像放大/缩小部1402执行诸如转换图像数据的格式、放大或缩小图像等的处理。第二图像放大/缩小部1403对适合于经由视频输出处理部1404输出图像数据的目的地的格式的图像数据执行放大处理和缩小处理，并且如第一图像放大/缩小部1402所做的那样执行诸如转换图像数据的格式、放大或缩小图像等的处理。视频输出处理部1404执行诸如转换图像数据的格式和将图像数据转换为模拟信号并将该图像数据作为再现的视频信号输出至例如连接器1321的处理。

帧存储器1405是在视频输入处理部1401、第一图像放大/缩小部1402、第二图像放大/缩小部1403、视频输出处理部1404以及编码/解码引擎1407之间共享的图像数据存储器。帧存储器1405例如由诸如DRAM的半导体存储器来实现。

存储器控制部1406响应于来自编码/解码引擎1407的同步信号，根据被写入访问管理表1406A中的对帧存储器1405的访问调度来控制对帧存储器1405的写入与读取访问。访问管理表1406A由存储器控制部1406响应于由编码/解码引擎1407、第一图像放大/缩小部1402、第二图像放大/缩小部1403或其他部分执行的处理来进行更新。

编码/解码引擎1407对图像数据执行编码处理，并且对视频流即包括经编码的图像数据的数据执行解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将该图像数据依次写入视频ES缓冲器1408A作为视频流。此外，例如，编码/解码引擎1407从视频ES缓冲器1408B依次读取视频流，对这些视频流进行解码，并且将这些视频流依次写入帧存储器1405作为图像数据。编码/解码引擎1407在这些编码和解码期间使用帧存储器1405作为工作区域。此外，编码/解码引擎1407例如在宏块逐宏块的处理开始时向存储器控制部1406输出同步信号。

视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，并且将该视频流提供至复用部(MUX)1412。视频ES缓冲器1408B对从解复用部(DMUX)1413提供的视频流进行缓冲，并且将该视频流提供至编码/解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，并且将该音频流提供至复用部(MUX)1412。音频ES缓冲器1409B对从解复用部(DMUX)1413提供的音频流进行缓冲，并且将该音频流提供至音频解码器1411。

音频编码器1410将例如从连接器1321或其他部分输入的音频信号转换成数字数据，并且通过诸如MPEG音频方案或AC3(音频编码3(Audio Code number 3))方案的给定方案对该数字数据进行编码。音频编码器1410将音频流即包括经编码的音频信号的数据依次写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行例如转换为模拟信号或其他处理，并且将该模拟信号提供至连接部1321或其他部分作为再现音频信号。

复用部(MUX)1412对视频流和音频流进行复用。这种复用方法(即，通过复用生成的比特流的格式)是任意的。此外，在复用期间，复用部(MUX)1412可以向比特流添加给定的报头信息等。也就是说，复用部(MUX)1412可以通过复用来转换流的格式。例如，复用部(MUX)1412通过对视频流和音频流进行复用来将流转换为传输流，即传输格式的比特流。此外，例如，复用部(MUX)1412通过对视频流和音频流进行复用来将流转换为记录文件格式数据(文件数据)。

解复用部(DMUX)1413通过与复用部(MUX)1412进行复用的方法对应的方法来对包括经复用的视频流和音频流的比特流进行解复用。也就是说，解复用部(DMUX)1413从自流缓冲器1414读取的比特流中提取视频流和音频流(将视频流和音频流分开)。也就是说，解复用部(DMUX)1413可以通过解复用(执行对复用部(MUX)1412的转换的逆转换)来转换流格式。例如，解复用部(DMUX)1413可以例如经由流缓冲器1414获取从连接部1321、宽带调制解调器1333或其他部分提供的传输流，并且通过解复用将该传输流转换成视频流和音频流。此外，例如，解复用部(DMUX)1413可以例如经由流缓冲器1414获取由连接部1321从各种记录介质读取的文件数据，并且通过解复用将该文件数据转换为视频流和音频流。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用部(MUX)1412提供的传输流进行缓冲，并且在给定定时或基于外部请求或其他请求而将该传输流提供至例如连接部1321、宽带调制解调器1333或其他部分。

此外，例如，流缓冲器1414对从复用部(MUX)1412提供的文件数据进行缓冲，并且在给定定时或基于外部请求或其他请求将该文件数据提供至例如连接部1321或其他部分以将其记录在各种记录介质上。

此外，流缓冲器1414对例如经由连接部1321、宽带调制解调器1333或其他部分获取的传输流进行缓冲，并且在给定定时或基于外部请求或其他请求而将该传输流提供至解复用部(DMUX)1413。

此外，流缓冲器1414对由连接部1321从各种记录介质读取的文件数据进行缓冲，并且在给定定时或基于外部请求或其他请求而将该文件数据提供至解复用部(DMUX)1413。

接下来将给出对以这种方式配置的视频处理器1332的操作示例的描述。例如，在视频输入处理部1401中，从连接部1321或其他部分输入至视频处理器1332的视频信号被以给定方案例如4:2:2Y/Cb/Cr方案转换成数字图像数据并且被依次写入帧存储器1405。该数字图像数据被读入第一图像放大/缩小部1402或第二图像放大/缩小部1403中，经过按照给定方案例如4:2:0Y/Cb/Cr的格式转换以及放大/缩小处理，然后再次被写入帧存储器1405中。该图像数据由编码/解码引擎1407编码，并作为视频流被写入视频ES缓冲器1408A。

此外，从连接部1321或其他部分输入到视频处理器1332的音频信号被音频编码器1410编码，并作为音频流被写入音频ES缓冲器1409A。

视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流被读入复用部(MUX)1412并被复用，以将这些流转换成传输流、文件数据或其他数据。由复用部(MUX)1412生成的传输流首先被流缓冲器1414缓冲，然后例如经由连接部1321、宽带调制解调器1333或其他部分被输出至外部网络。此外，由复用部(MUX)1412生成的文件数据首先被流缓冲器1414缓冲，然后被输出至连接部1321或其他部分以记录在各种记录介质上。

此外，经由连接部1321、宽带调制解调器1333或其他部分从外部网络输入到视频处理器1332的传输流首先被流缓冲器1414缓冲，然后被解复用部(DMUX)1413解复用。此外，例如，由连接部1321或其他部分从各种记录介质读取的文件数据和输入到视频处理器1332的文件数据首先被流缓冲器1414缓冲，然后被解复用部(DMUX)1413解复用。也就是说，输入至视频处理器1332的传输流或文件数据被解复用部(DMUX)1413分离成视频流和音频流。

音频流经由音频ES缓冲器1409B被提供至音频解码器1411，在此通过对音频流进行解码来再现音频信号。此外，视频流首先被写入视频ES缓冲器1408B，然后由编码/解码引擎1407依次读取、解码并写入帧存储器1405。解码的图像数据经历由第二图像放大/缩小部1403进行的放大/缩小处理并被写入帧存储器1405。然后，解码的图像数据被读入视频输出处理部1404，在此通过将数据格式转换为给定方案例如4:2:2Y/Cb/Cr方案并且进一步将数据转换为模拟信号来再现和输出视频信号。

在将本技术应用于以这种方式配置的视频处理器1332的情况下，仅需要根据上述实施方式中的每个实施方式将本技术应用于编码/解码引擎1407。也就是说，例如，编码/解码引擎1407可以具有以上描述的图像编码装置100、图像解码装置200和图像编码装置400中的至少一个或更多个装置的功能。因此，视频处理器1332提供了与上述每个实施方式的有益效果类似的有益效果。

应当注意，在编码/解码引擎1407中，本技术(即，图像编码装置100和图像编码装置400的功能)可以通过硬件(如逻辑电路)、软件(如嵌入式程序)或这两者来实现。

<视频处理器的其他配置示例>

图49示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图49所示的示例的情况下，视频处理器1332具有通过给定方案对视频数据进行编码和解码的功能。

更具体地，如图49所示，视频处理器1332具有控制部1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。视频处理器1332还具有编解码器引擎1516、存储器接口1517、复用/解复用部(MUX DMUX)1518、网络接口1519以及视频接口1520。

控制部1511控制视频处理器1332中的每个处理部(例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。

如图49所示，控制部1511具有例如主CPU 1531、副CPU 1532以及系统控制器1533。主CPU 1531执行用于控制视频处理器1332的每个处理部的操作的程序等。主CPU 1531根据程序等生成控制信号，并将该控制信号提供至每个处理部(即，控制每个处理部的操作)。副CPU 1532起到主CPU 1531的辅助作用。例如，副CPU 1532执行由主CPU 1531执行的程序等的子处理、子例程等。系统控制器1533通过指定待由主CPU 1531和副CPU 1532执行的程序或者执行其他任务来控制主CPU 1531和副CPU 1532的操作。

显示接口1512在控制部1511的控制下将图像数据输出至例如连接部1321等。例如，显示接口1512将图像数据，即数字数据转换为模拟信号，并将该模拟信号作为再现视频信号输出至连接部1321或其他部分的监视器装置，或者不对数字图像数据进行转换以“按原样”的方式将其输出至监视器装置或其他装置。

显示引擎1513在控制部1511的控制下对图像数据执行各种转换处理，例如格式转换、尺寸转换和色域转换，以确保图像数据满足监视器装置或用于显示该图像的其他装置的硬件规格。

图像处理引擎1514在控制部1511的控制下对图像数据执行给定的图像处理，例如用于改善图像质量的滤波处理。

内部存储器1515是设置在视频处理器1332内部并且在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间共享的存储器。内部存储器1515用于在显示引擎1513、图像处理引擎1514以及编解码器引擎1516之间发生的数据交换。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且必要时(响应于请求)将该数据提供至显示引擎1513、图像处理引擎1514或编解码器引擎1516。该内部存储器1515可以由任何存储装置来实现。然而，由于内部存储器通常经常用于存储诸如逐块的图像数据、参数等的少量数据，因此内部存储器优选地由诸如SRAM(静态随机存取存储器)的半导体存储器来实现，其(例如与外部存储器1312相比)具有相对小的容量但能提供快速响应。

编解码器引擎1516执行与对图像数据的编码和解码有关的处理。编解码器引擎1516支持的编码和解码方案是任意的，并且编解码器引擎1516可以支持仅一种方案或者支持多种方案。例如，编解码器引擎1516可以具有多种编码和解码方案的编解码功能，使得通过从中选择的一个功能使图像数据被编码或编码数据被解码。

在图49所示的示例中，编解码器引擎1516具有例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551，作为用于与编解码器相关的处理的功能块。

MPEG-2视频1541是用于通过MPEG-2方案对图像数据进行编码和解码的功能块。AVC/H.264 1542是用于通过AVC方案对图像数据进行编码和解码的功能块。HEVC/H.2651543是用于通过HEVC方案对图像数据进行编码和解码的功能块。HEVC/H.265(可伸缩)1544是用于通过HEVC方案对图像数据进行可伸缩编码和解码的功能块。HEVC/H.265(多视图)1545是用于通过HEVC方案对图像数据进行多视图编码和多视图解码的功能块。

MPEG-DASH 1551是用于通过MPEG-DASH(MPEG-Dynamic Adaptive Streamingover HTTP，MPEG-基于HTTP的动态自适应流传输)方案发送和接收图像数据的功能块。MPEG-DASH是一种使用HTTP(超文本传输协议)对视频进行流式传输的技术，并且该技术逐个片段地从已预先可用且具有不同分辨率等的多个编码数据中选择适当的编码数据，并且将所选择的编码数据作为其特征之一进行传输。MPEG-DASH 1551处理符合标准的流的生成，控制流的传输和其他任务，并且为了图像数据编码和解码而采用上述MPEG-2视频1541至HEVC/H.265(多视图)1545。

存储器接口1517是外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据经由存储器接口1517被提供至外部存储器1312。此外，通过存储器接口1517将从外部存储器1312读出的数据提供至视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用/解复用部(MUX DMUX)1518执行对与图像有关的各种数据(例如编码数据比特流、图像数据和视频信号)的复用和解复用。这种复用和解复用方法是任意的。例如，在复用期间，复用/解复用部(MUX DMUX)1518不仅可以将多个数据组合成一个数据，还可以向该数据添加给定的报头信息或其他信息。而且，在解复用期间，复用/解复用部(MUX DMUX)1518不仅可以将单个数据划分成多个数据，而且还可以向每个划分后的数据添加给定的报头信息或其他信息。也就是说，复用/解复用部(MUX DMUX)1518可以通过进行复用和解复用来改变数据格式。例如，复用/解复用部(MUX DMUX)1518可以将比特流转换成传输流，即具有传输格式的比特流或记录文件格式中的数据(文件数据)。当然，可以通过解复用来执行与其相反的转换。

网络接口1519是例如用于宽带调制解调器1333、连接部1321等的接口。视频接口1520是例如用于连接部1321、摄像装置1322等的接口。

接下来将给出对视频处理器1332的操作示例的描述。例如，当经由连接部1321、宽带调制解调器1333或其他部分从外部网络接收到传输流时，经由网络接口1519将该传输流提供至复用/解复用部(MUX DMUX)1518，在此对该传输流进行解复用，然后由编解码器引擎1516进行解码。作为编解码器引擎1516进行解码的结果而获得的图像数据经过图像处理引擎1514的给定的图像处理以及显示引擎1513的给定的转换，并且经由显示接口1512被提供至例如连接部1321或其他部分，以使其图像显示在监视器上。此外，例如，作为编解码器引擎1516进行解码的结果获取的图像数据被编解码器引擎1516再次编码，并且被复用/解复用部(MUX DMUX)1518复用并转换成文件数据，并且经由视频接口1520被输出至连接部1321或其他部分以将其记录在各种记录介质上。

此外，例如，包括由连接部1321或其他部分从未示出的记录介质读取的经编码的图像数据的编码数据的文件数据经由视频接口1520被提供至复用/解复用部(MUX DMUX)1518并被编解码器引擎1516解码。作为编解码器引擎1516进行解码的结果而获得的图像数据经过图像处理引擎1514的给定的图像处理以及显示引擎1513的给定的转换，并且经由显示接口1512被提供至例如连接部1321或其他部分，以使其图像显示在监视器上。此外，例如，作为编解码器引擎1516进行解码的结果获取的图像数据被编解码器引擎1516再次编码，并且被复用/解复用部(MUX DMUX)1518复用并转换成传输流，并且经由网络接口1519被输出至连接部1321、宽带调制解调器1333或其他部分，并且被发送至未示出的其他装置。

应当注意，通过使用内部存储器1515和外部存储器1312来进行视频处理器1332的不同处理部之间的图像数据和其他数据的交换。此外，电力管理模块1313控制对控制部1511的电力供应。

在将本技术应用于以这种方式配置的视频处理器1332的情况下，仅需要根据上述实施方式中的每个实施方式将本技术应用于编解码器引擎1516。也就是说，例如仅需要确保编解码器引擎1516具有上述图像编码装置100或图像编码装置400的功能。因此，视频处理器1332提供了与上述每个实施方式的有益效果类似的有益效果。

应当注意，在编解码器引擎1516中，本技术(即，图像编码装置100或图像编码装置400的功能)可以通过硬件(如逻辑电路)、软件(如嵌入式程序)或这两者来实现。

以上已经描述了视频处理器1332的两种配置。然而，视频处理器1332的配置是任意的，并且视频处理器1332可以具有除上述两种配置以外的配置。此外，尽管视频处理器1332可以被配置为单个半导体芯片，但是视频处理器1332也可以被配置为多个半导体芯片。例如，视频处理器1332可以是其中堆叠有多个半导体的3D堆叠LSI。此外，视频处理器1332可以由多个LSI来实现。

<应用于装置的示例>

可以将视频设备1300并入用于处理图像数据的各种装置中。例如，可以将视频设备1300并入电视装置900(图43)、移动电话920(图44)、记录/再现装置940(图45)、成像装置960(图46)或其他装置中。作为合并了视频设备1300的结果，该装置将提供与上述每个实施方式的效果类似的有益效果。

应当注意，只要包括视频处理器1332，则甚至可以将上述视频设备1300的部分配置实施为应用了本技术的配置。例如，仅视频处理器1332可以被实施为应用了本技术的视频处理器。此外，例如，由虚线1341描绘的处理器、视频模块1311或其他模块可以被实施为应用了本技术的处理器或模块。此外，例如，可以将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314进行组合并将其实施为应用了本技术的视频单元1361。无论使用哪种配置，都可以提供与上述每个实施方式的效果类似的有益效果。

也就是说，任何配置都可以如同视频设备1300那样被并入用于处理图像数据的各种处理装置中，只要该配置包括视频处理器1332即可。例如，可以将视频处理器1332、由虚线1341描绘的处理器、视频模块1311或视频单元1361并入电视装置900(图43)、移动电话920(图44)、记录/再现装置940(图45)、成像装置960(图46)或其他装置中。然后，作为并入应用了本技术的配置之一的结果，如在视频设备1300的情况下那样，该装置将提供与上述每个实施方式的效果类似的有益效果。

<第六应用示例：网络系统>

此外，本技术适用于包括多种装置的网络系统。图50示出了应用本技术的网络系统的示意性配置的示例。

图50中示出的网络系统1600是其中多个设备经由网络交换与图像(影像)有关的信息的系统。该网络系统1600的云服务1601是用于向以能够进行通信的方式连接到云服务1601的终端(例如计算机1611、AV(视听)设备1612、移动信息处理终端1613和IoT(物联网)设备1614)提供与图像(影像)有关的服务的系统。例如，云服务1601向终端提供图像(影像)内容供应服务，例如所谓的影像分发(按需分发和实时分发)。此外，例如，云服务1601提供用于从终端接收图像(影像)内容并进行存储的备份服务。此外，例如，云服务1601提供用于居间调解图像(影像)内容在终端之间的交换的服务。

云服务1601的物理配置是任意的。例如，云服务1601可以具有各种服务器(例如用于存储和管理影像的服务器、用于向终端分发影像的服务器、用于从终端获取影像的服务器、用于管理用户(终端)并计费的服务器)和任意网络(例如互联网或LAN)。

计算机1611例如包括信息处理装置如个人计算机、服务器或工作站。AV设备1612例如包括诸如TV接收器、硬盘记录器、游戏设备或摄像装置的图像处理装置。移动信息处理终端1613例如包括诸如膝上型个人计算机、平板终端、移动电话或智能电话的移动信息处理装置。IoT设备1614例如包括用于执行与图像有关的处理的任意对象，例如机器、家用电器、家具、其他物品、IC标签或卡片型设备。这些终端都具有通信功能，并且可以通过与云服务1601连接(建立会话)来与云服务1601交换信息(即，进行通信)。此外，每个终端均可以与其他终端进行通信。终端之间的通信可以经由云服务1601发生或者在没有云服务1601的情况下发生。

当如上所述通过将本技术应用于网络系统1600而在终端之间或者在终端与云服务1601之间交换图像(影像)数据时，可以如每个实施方式中所描述的那样对图像数据进行编码。也就是说，每个终端(计算机1611至IoT设备1614)和云服务1601可以具有上述图像编码装置100、图像解码装置200和图像编码装置400中的至少一个或更多个的功能。因此，交换图像数据的终端(计算机1611至IoT设备1614)和云服务1601提供与上述每个实施方式中的效果类似的有益效果。

<其它>

应当注意，关于编码数据(比特流)的各种信息可以与编码数据复用并被发送或记录，或者可以在不与编码数据复用的情况下作为与编码数据相关联的单独的数据来发送或记录。这里，术语“关联”是指当对一个数据进行处理时可以使用(链接)其他数据。也就是说，彼此相关联的各个数据可以被集成到单个数据中或者被视为单独的多个数据。例如，可以通过与针对编码数据(图像)的传输信道不同的传输信道来传输与编码数据(图像)相关联的信息。此外，例如，可以将与编码数据(图像)相关联的信息记录在与针对编码数据(图像)的记录介质不同的记录介质上(或者记录在同一记录介质的不同记录区域中)。应当注意，其中一些数据而不是全部数据也可以相“关联”。例如，可以以诸如多个帧、一个帧或帧中的一部分的任意单位将图像和与该图像对应的信息相关联。

此外，如上所述，术语“合成”、“复用”、“添加”、“组合”、“包括”、“存储”、“粘合”、“接通”、“插入”等是指使多个事物在一起，也就是说，例如将编码数据和元数据放在一个数据中，并且表示了上述“关联”的一种方法。

此外，本技术的实施方式不限于上述那些实施方式并且可以在不背离本技术的主旨的情况下以各种方式进行修改。

例如，在本说明书中，系统是指一组多个元件(例如，装置、模块(部件))，并且所有这些元件是否处在同一壳体中并不重要。因此，容纳在不同壳体中并通过网络连接的多个装置和其中多个模块容纳在单个壳体中的一个装置二者都是系统。

此外，例如，被描述为装置(或处理部)的配置可以被分割并配置成多个装置(或处理部)。相反地，以上被描述为多个装置(或处理部)的配置可以被合并在一起并被配置为单个装置(或处理部)。此外，除了上述配置之外的配置可以被自然地添加至每个装置(处理部)的配置中。此外，只要系统的配置或操作整体是相同的，则可以将装置(或处理部)的配置的一部分包括在其他装置(或其他处理部)的配置中。

此外，例如，本技术可以具有云计算配置，在该配置中，多个装置经由网络以共享和协作的方式对一个功能进行处理。

此外，例如，上述程序可以由任意装置来执行。在这种情况下，装置仅需要具有必要的功能(例如，功能块)以便可以获取必要的信息。

此外，例如，上述流程图中所描述的步骤中的每个步骤不仅可以由单个装置来执行而且可以由多个装置以共享方式来执行。此外，在一个步骤包括多个处理的情况下，该步骤中包括的多个处理不仅可以由单个装置来执行而且可以由多个装置以共享方式来执行。

应当注意，在由计算机执行的程序中，描述该程序的步骤的处理可以根据本说明书中描述的顺序按时间顺序执行，或者可以并行执行，或者可以在必要时刻如调用该程序时执行。此外，描述程序的步骤中的处理可以并行执行或与其他程序的处理组合执行。

应当注意，除非出现不一致，否则可以彼此独立且单独地执行本说明书中描述的多种本技术。当然，可以同时使用任意多种现有技术。例如，在一个实施方式中描述的本技术可以与在其他实施方式中描述的本技术结合使用。此外，任意的上述本技术可以与上文未描述的其他技术同时执行。

应当注意，本技术还可以具有如下配置：

(1)一种图像处理装置，包括：

缩放列表设定部，被配置成针对待编码图像中的待量化的当前块设定具有适合于所述当前块的尺寸的值的缩放列表；

量化部，被配置成使用由所述缩放列表设定部设定的缩放列表来执行量化；以及

编码部，被配置成通过对由所述量化部获取的量化系数进行编码来生成编码数据。

(2)根据特征(1)所述的图像处理装置，其中，

所述当前块的尺寸越大，则所述缩放列表设定部设定的缩放列表的值越大。

(3)根据特征(1)或(2)所述的图像处理装置，其中，

所述缩放列表设定部针对具有16×16尺寸的所述当前块设定如下缩放列表，该缩放列表相比于与8×8尺寸或更小尺寸的情况对应的缩放列表，在较高频率分量侧的一些值较大。

(4)根据特征(1)至(3)中任一项所述的图像处理装置，其中，

所述缩放列表设定部针对具有32×32尺寸的所述当前块设定如下缩放列表，该缩放列表相比于与8×8尺寸或更小尺寸的情况对应的缩放列表，所有值都较大。

(5)根据特征(1)至(4)中任一项所述的图像处理装置，其中，

所述缩放列表设定部针对所述当前块设定具有适合于所述当前块的尺寸和用于编码的目标比特率的值的缩放列表。

(6)根据特征(1)至(5)中任一项所述的图像处理装置，其中，

在所述目标比特率为低的情况下，所述缩放列表设定部针对所述当前块设定具有适合于所述当前块的尺寸的值的缩放列表。

(7)根据特征(1)至(6)中任一项所述的图像处理装置，其中，

所述缩放列表设定部基于从所述图像处理装置的外部提供的所述目标比特率的规格来确定所述目标比特率是否为低，并且在所述目标比特率为低的情况下针对所述当前块设定具有适合于所述当前块的尺寸的值的缩放列表。

(8)根据特征(1)至(7)中任一项所述的图像处理装置，还包括：

平坦检测部，被配置成检测所述待编码图像中包括的平坦部分；以及

块设定部，被配置成在由所述平坦检测部检测到的平坦部分中设定大尺寸块，其中，

所述缩放列表设定部被配置成针对由所述块设定部设定的大尺寸块设定具有适合于该块的尺寸的值的缩放列表。

(9)根据特征(1)至(8)中任一项所述的图像处理装置，其中，

所述平坦检测部基于方差、TV范数或块中的像素值的动态范围来检测所述平坦部分。

(10)根据特征(1)至(9)中任一项所述的图像处理装置，其中，

在所述目标比特率为低的情况下，所述平坦检测部检测所述平坦部分。

(11)根据特征(1)至(10)中任一项所述的图像处理装置，其中，

所述平坦检测部在所述图像的感兴趣区域之外的区域中检测平坦部分。

(12)根据特征(1)至(11)中任一项所述的图像处理装置，其中，

所述块设定部禁止在所述感兴趣区域中设定大尺寸块。

(13)根据特征(1)至(12)中任一项所述的图像处理装置，其中，

所述缩放列表设定部从已预先可用的多个缩放列表中选择具有适合于所述当前块的尺寸的值的缩放列表。

(14)根据特征(1)至(13)中任一项所述的图像处理装置，其中，

所述编码部对指示由所述缩放列表设定部所选择的缩放列表的识别信息进行编码，并且将所述识别信息存储在编码数据中。

(15)根据特征(1)至(14)中任一项所述的图像处理装置，其中，

所述编码部对所述多个缩放列表进行编码，并且将所述多个缩放列表存储在编码数据中。

(16)根据特征(1)至(15)中任一项所述的图像处理装置，其中，

所述缩放列表设定部使用已预先可用的单个缩放列表来生成具有适合于所述当前块的尺寸的值的缩放列表。

(17)根据特征(1)至(16)中任一项所述的图像处理装置，还包括：

正交变换部，被配置成对所述待编码图像进行正交变换，其中，

所述量化部被配置成使用由所述缩放列表设定部设定的所述缩放列表来对由所述正交变换部获取的正交变换系数进行量化。

(18)根据特征(1)至(17)中任一项所述的图像处理装置，还包括：

预测部，被配置成生成所述待编码图像的预测图像；以及

计算部，被配置成通过从所述待编码图像中减去由所述预测部生成的所述预测图像来生成残差数据，其中，

所述正交变换部被配置成对由所述计算部获取的所述残差数据进行正交变换。

(19)根据特征(1)至(18)中任一项所述的图像处理装置，其中，

所述量化部和所述编码部通过符合ITU-T H.265|ISO/IEC 23008-2高效视频编码的方法来执行它们各自的处理。

(20)一种图像处理方法，包括：

针对待编码图像中的待量化的当前块设定具有适合于所述当前块的尺寸的值的缩放列表；

使用所设定的缩放列表执行量化；以及

通过对所获取的量化系数进行编码来生成编码数据。

(31)根据特征(1)至(20)中任一项所述的图像处理装置，其中，

在所述当前块的尺寸等于或大于给定尺寸的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于小于所述给定尺寸的块的情况，在较低频率分量侧的一些值较小。

(32)根据特征(31)所述的图像处理装置，其中，

所述给定尺寸为32×32。

(33)根据特征(31)或(32)所述的图像处理装置，其中，

在所述图像的动态范围大于给定范围并且所述当前块的尺寸等于或大于所述给定尺寸的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于小于所述给定尺寸的块的情况，在较低频率分量侧的一些值较小。

(34)根据特征(33)所述的图像处理装置，其中，

所述给定范围为10比特。

(35)根据特征(31)至(34)中任一项所述的图像处理装置，其中，

在所述当前块的尺寸等于或大于所述给定尺寸的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于小于所述给定尺寸的的块的情况，在较低频率分量侧的一些值较小并且适合于目标比特率。

(36)根据特征(31)至(35)中任一项所述的图像处理装置，其中，

在当前图片包括具有仅小幅亮度变化的平坦部分的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于不包括所述平坦部分的情况，在所述较低频率分量侧的一些值较小。

(37)根据特征(31)至(36)中任一项所述的图像处理装置，其中，

所述缩放列表设定部设定针对在所述当前块的较低频率分量侧的一些系数的缩放列表。

(41)一种图像处理装置，包括：

缩放列表设定部，被配置成针对待编码图像中的待量化的当前块设定如下缩放列表，该缩放列表在较低频率分量侧的一些值小于DC分量值；

量化部，被配置成使用由所述缩放列表设定部设定的所述缩放列表来执行量化；以及

编码部，被配置成通过对由所述量化部获取的量化系数进行编码来生成编码数据。

(42)根据特征(41)所述的图像处理装置，其中，

在所述当前块的尺寸等于或大于给定尺寸的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表在所述较低频率分量侧的一些值小于所述DC分量值。

(43)根据特征(42)所述的图像处理装置，其中，

所述给定尺寸为32×32。

(44)根据特征(41)至(43)中任一项所述的图像处理装置，其中，

在所述待编码图像的动态范围大于给定范围的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表在所述较低频率分量侧的一些值小于所述DC分量值。

(45)根据特征(44)所述的图像处理装置，其中，

所述给定范围为10比特。

(46)根据特征(41)至(45)中任一项所述的图像处理装置，其中，

所述缩放列表设定部设定如下缩放列表，该缩放列表在所述较低频率分量侧的一些值小于所述DC分量值并且适合于目标比特率。

(47)根据特征(46)所述的图像处理装置，其中，

所述目标比特率越低，所述缩放列表中在低频分量侧的所述一些值越大。

(48)根据特征(46)或(47)所述的图像处理装置，其中，

所述目标比特率越低，所述缩放列表中的小于所述DC分量值的值所在的范围越窄。

(49)根据特征(41)至(48)中任一项所述的图像处理装置，其中，

在当前图片包括具有小幅亮度变化的平坦部分的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表在所述较低频率分量侧的一些值小于所述DC分量值。

(50)根据特征(49)所述的图像处理装置，其中，

所述缩放列表中在所述较低频率分量侧的一些值适合于关于当前图片包括所述平坦部分的效果的信息的可靠性。

(51)根据特征(50)所述的图像处理装置，其中，

所述可靠性越高，所述缩放列表中在所述低频分量侧的所述值越小。

(52)根据特征(51)所述的图像处理装置，其中，

所述缩放列表设定部从已预先可用的多个缩放列表中选择缩放列表。

(53)根据特征(52)所述的图像处理装置，其中，

所述编码部对指示由所述缩放列表设定部选择的所述缩放列表的识别信息进行编码，并且将所述信息存储在编码数据中。

(54)根据特征(53)所述的图像处理装置，其中，

所述编码部对所述多个缩放列表进行编码，并且将所述列表存储在所述编码数据中。

(55)根据特征(51)至(54)中任一项所述的图像处理装置，其中，

所述缩放列表设定部针对在所述当前块的所述较低频率分量侧的一些系数来设定缩放列表。

(56)根据特征(55)所述的图像处理装置，其中，

所述量化部使用所设定的缩放列表对所述当前块的所述较低频率分量侧的一些系数进行量化，并且将除所述一些系数之外的系数的值设定为零。

(57)根据特征(51)至(56)中任一项所述的图像处理装置，还包括：

正交变换部，被配置成对所述待编码图像进行正交变换，其中，

所述量化部被配置成使用由所述缩放列表设定部设定的所述缩放列表来对由所述正交变换部获取的正交变换系数进行量化。

(58)根据特征(57)所述的图像处理装置，还包括：

预测部，被配置成生成所述待编码图像的预测图像；以及

计算部，被配置成通过从所述待编码图像中减去由所述预测部生成的所述预测图像来生成残差数据，其中，

所述正交变换部被配置成对由所述计算部获取的所述残差数据进行正交变换。

(59)根据特征(51)至(58)中任一项所述的图像处理装置，其中，

所述量化部和所述编码部通过符合ITU-T H.265|ISO/IEC 23008-2高效视频编码的方法来执行它们各自的处理。

(60)一种图像处理方法，包括：

针对待编码图像中的待量化的当前块设定如下缩放列表，该缩放列表在较低频率分量侧的一些值小于DC分量值；

使用所设定的缩放列表执行量化；以及

通过对所获取的量化系数进行编码来生成编码数据。

附图标记列表

100 图像编码装置

111 预处理缓冲器

112 预处理部

113 计算部

114 正交变换部

115 缩放列表存储部

116 缩放列表选择部

117 量化部

118 编码部

119 累积缓冲器

120 逆量化部

121 逆正交变换部

122 计算部

123 滤波器

124 帧存储器

125 帧内预测部

126 帧间预测部

127 预测图像选择部

151 画面重排部

152 元数据设定部

153 块设定部

161 平坦检测部

171 平坦检测部

181 平坦检测部

200 图像解码装置

211 累积缓冲器

212 解码部

213 逆量化部

214 逆正交变换部

215 计算部

216 滤波器

217 后处理缓冲器

218 后处理部

219 帧内预测部

220 帧存储器

221 帧间预测部

222 预测图像选择部

400 图像编码装置

415 缩放列表存储部

416 缩放列表选择部

Claims (20)

1.一种图像处理装置，包括：

缩放列表设定部，被配置成针对待编码图像中的待量化的当前块设定具有适合于所述当前块的尺寸的值的缩放列表；

量化部，被配置成使用由所述缩放列表设定部设定的缩放列表来执行量化；以及

编码部，被配置成通过对由所述量化部获取的量化系数进行编码来生成编码数据。

2.根据权利要求1所述的图像处理装置，其中，

所述当前块的尺寸越大，则所述缩放列表设定部设定的缩放列表的值越大。

3.根据权利要求2所述的图像处理装置，其中，

所述缩放列表设定部针对具有16×16尺寸的所述当前块设定如下缩放列表，该缩放列表相比于与8×8尺寸或更小尺寸的情况对应的缩放列表，在较高频率分量侧的一些值较大。

4.根据权利要求2所述的图像处理装置，其中，

所述缩放列表设定部针对具有32×32尺寸的所述当前块设定如下缩放列表，该缩放列表相比于与8×8尺寸或更小尺寸的情况对应的缩放列表，所有值都较大。

5.根据权利要求1所述的图像处理装置，其中，

所述缩放列表设定部针对所述当前块设定具有适合于所述当前块的尺寸和用于编码的目标比特率的值的缩放列表。

6.根据权利要求5所述的图像处理装置，其中，

在所述目标比特率为低的情况下，所述缩放列表设定部针对所述当前块设定具有适合于所述当前块的尺寸的值的缩放列表。

7.根据权利要求6所述的图像处理装置，其中，

所述缩放列表设定部基于从所述图像处理装置的外部提供的所述目标比特率的规格来确定所述目标比特率是否为低，并且在所述目标比特率为低的情况下针对所述当前块设定具有适合于所述当前块的尺寸的值的缩放列表。

8.根据权利要求1所述的图像处理装置，还包括：

平坦检测部，被配置成检测所述待编码图像中包括的平坦部分；以及

块设定部，被配置成在由所述平坦检测部检测到的平坦部分中设定大尺寸块，其中，

所述缩放列表设定部被配置成针对由所述块设定部设定的大尺寸块设定具有适合于该块的尺寸的值的缩放列表。

9.根据权利要求8所述的图像处理装置，其中，

在所述目标比特率为低的情况下，所述平坦检测部检测所述平坦部分。

10.根据权利要求8所述的图像处理装置，其中，

所述平坦检测部在所述图像的感兴趣区域之外的区域中检测平坦部分，并且

所述块设定部禁止在所述感兴趣区域中设定大尺寸块。

11.根据权利要求1所述的图像处理装置，其中，

所述缩放列表设定部从已预先可用的多个缩放列表中选择具有适合于所述当前块的尺寸的值的缩放列表，并且

所述编码部对指示由所述缩放列表设定部选择的缩放列表的识别信息进行编码，并且将所述识别信息存储在编码数据中。

12.根据权利要求11所述的图像处理装置，其中，

所述编码部对所述多个缩放列表进行编码，并且将所述多个缩放列表存储在编码数据中。

13.根据权利要求1所述的图像处理装置，其中，

在所述当前块的尺寸等于或大于给定尺寸的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于小于所述给定尺寸的块的情况，在较低频率分量侧的一些值较小。

14.根据权利要求13所述的图像处理装置，其中，

所述给定尺寸为32×32。

15.根据权利要求13所述的图像处理装置，其中，

在所述图像的动态范围大于给定范围并且所述当前块的尺寸等于或大于所述给定尺寸的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于小于所述给定尺寸的块的情况，在较低频率分量侧的一些值较小。

16.根据权利要求15所述的图像处理装置，其中，

所述给定范围为10比特。

17.根据权利要求13所述的图像处理装置，其中，

在所述当前块的尺寸等于或大于所述给定尺寸的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于小于所述给定尺寸的的块的情况，在较低频率分量侧的一些值较小并且适合于目标比特率。

18.根据权利要求13所述的图像处理装置，其中，

在当前图片包括具有小幅亮度变化的平坦部分的情况下，所述缩放列表设定部设定如下缩放列表，该缩放列表相比于不包括所述平坦部分的情况，在较低频率分量侧的一些值较小。

19.根据权利要求13所述的图像处理装置，其中，

所述缩放列表设定部设定针对在所述当前块的较低频率分量侧的一些系数的缩放列表。

20.一种图像处理方法，包括：

针对待编码图像中的待量化的当前块设定具有适合于所述当前块的尺寸的值的缩放列表；

使用所设定的缩放列表执行量化；以及

通过对所获取的量化系数进行编码来生成编码数据。