CN104956675A

CN104956675A - 图像处理装置和图像处理方法

Info

Publication number: CN104956675A
Application number: CN201480006083.3A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-01-08
Filing date: 2014-11-07
Publication date: 2015-09-30
Anticipated expiration: 2034-11-07
Also published as: US20160323595A1; US20150195523A1; WO2015104891A1; JPWO2015104891A1; EP2945384A1; US9445111B2; EP2945384A4; JP6455434B2; US9743100B2; EP2945384B1; CN104956675B

Abstract

[问题]可以减小查找表的缓冲区大小并且确保色域可分级中的足够预测精度。[方案]提供了一种图像处理装置，其包括：预测部，该预测部被配置成使用查找表根据第一层的图像来预测与第一层具有不同色域的第二层的图像，所述查找表将第一层的亮度分量、第一色度分量和第二色度分量的组合映射到第二层的对应于所述组合的预测像素值。预测部使用在第一色度分量的粒度和第二色度分量的粒度比亮度分量的粒度粗糙的查找表。

Description

图像处理装置和图像处理方法

技术领域

本公开内容涉及图像处理装置和图像处理方法。

背景技术

为了比H.264/AVC(参见例如非专利文献1)更加改进编码效率，作为ITU-T和ISO/IEC的联合标准化组织的联合协作视频编码组(JCTVC)目前正在进行对被称为高效率视频编码(HEVC)的图像编码方案的标准化。

HEVC不仅提供了对单层的编码，还提供了可分级视频编码(如在已知的图像编码方案(例如MPEG2和高级视频编码(AVC))中)。HEVC可分级视频编码技术也被称为SHVC(可分级HEVC)(例如，参见非专利文献2)。

附带地，可分级视频编码通常是对传输粗略图像信号的层和传输精细信号的层进行分层编码的技术。可分级视频编码中被分层的典型属性主要包括以下三种：

-空间可分级：空间分辨率或图像大小被分层。

-时间可分级：帧速率被分层。

-信噪比(SNR)可分级：SN比被分层。

此外，尽管位深度可分级和色度格式可分级尚未被用在标准中，但也对其进行了讨论。

在非专利文献3和非专利文献4中，提出了其中色域被分层的色域可分级。在高清(HD)电视机中，通常使用1920×1080像素的图像大小、ITU-R BT.709的色域以及8位的位深度。另一方面，在超高清(UHD)电视机中，对4000×2000像素或8000×4000像素的图像大小、ITU-RBT.2020的色域以及10位或12位的位深度的使用正在研究中。根据在非专利文献3和非专利文献4中所描述的方法，BT.2020的色域中的对应像素矢量是使用3维查找表根据BT.709的色域中的像素矢量(Y,U,V)来预测的。

引用列表

非专利文献

非专利文献1：Benjamin Bross,Woo-Jin Han,Gary J.Sullivan,Jens-Rainer Ohm,Gary J.Sullivan,Ye-Kui Wang和Thomas Wiegand,“High Efficiency Video Coding(HEVC)text specification draft 10(forFDIS&Consent)”(JCTVC-L1003v4,1月14日至23日,2013)

非专利文献2：Jianle Chen等人,“Description of scalable video codingtechnology proposal by Qualcomm(configuration 2)”(JCTVC-K0036,10月10日至19日,2012)

非专利文献3：Philippe Bordes等人,“SCE4:Results on 5.3-test1and5.3-test2”(JCTVC-O0159,10月23日至11月1日,2013)

非专利文献4:Yuwen He等人,“Non-SCE4/AHG14:Combinedbit-depth and color gamut conversion with 3D LUT for SHVC colorgamut scalability”(JCTVC-O0161,10月23日至11月1日,2013)

技术问题

一般情况下，在相同的层中，三个颜色分量的位深度互相相同。因此，当像素值被选择(分级)成参考查找表时，通常针对三个颜色分量设计粒度。例如，在非专利文献3中，假定在用于色域预测的查找表中的三个颜色分量的粒度由在图像参数集(PPS)中编码的参数nbp_code来定义。在非专利文献4中，查找表的大小(三个颜色分量的粒度)被设置成17×17×17。分级越精细，色域预测的预测精度越高，但查找表的大小(LUT大小)越大。例如，当预测像素值的位深度为10位并且LUT大小为17×17×17时，必须确保有17×17×17×3(颜色分量的数目)×10(位深度)＝147390位的缓冲区，以便对查找表进行缓存。在考虑到对于HEVC的一般量化矩阵(缩放列表)所必需的缓冲区大小为约8000位的事实的情况下，用于色域预测的查找表的缓冲区大小被理解为非常大。

因此，期望提供一种减小查找表的缓冲区大小并且确保色域可分级中的足够预测精度的方法。

发明内容

解决方案

根据本公开内容，提供了一种图像处理装置，其包括：预测部，该预测部被配置成使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于该组合的预测像素值。预测部使用如下的所述查找表：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

根据本公开内容，提供了一种图像处理方法，其包括：使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于该组合的预测像素值。使用如下的所述查找表来执行对所述第二层的所述图像的所述预测：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

发明的有利效果

根据本公开内容中的技术，可以减小查找表的缓冲区大小并且确保色域可分级中的足够预测精度。

附图说明

[图1]图1是说明可分级视频编码的说明图。

[图2]图2是说明由BT.709和BT.2020表示的色域的说明图。

[图3]图3是示出根据一种实施方式的图像编码装置的示意性配置的框图。

[图4]图4是示出根据一种实施方式的图像解码装置的示意性配置的框图。

[图5]图5是示出图3中所示的EL编码部的配置的示例的框图。

[图6]图6是示出根据一种实施方式的用于编码的示意性处理流程的示例的流程图。

[图7]图7示出用于增强层的编码处理中的色域预测处理的流程的示例的流程图。

[图8]图8是示出图4中所示的EL解码部的配置的示例的框图。

[图9]图9是示出根据一种实施方式的在解码时的示意性处理流程的示例的流程图。

[图10]图10是示出在用于增强层的解码处理中的色域预测处理的流程的示例的流程图。

[图11]图11是说明视频格式的动态范围的说明图。

[图12]图12是实现动态范围可分级的EL编码部的配置的示例的框图。

[图13]图13是实现动态范围可分级的EL解码部的配置的示例的框图。

[图14]图14是示出电视机的示意性配置的示例的框图。

[图15]图15是示出移动电话的示意性配置的示例的框图。

[图16]图16是示出记录/再现装置的示意性配置的示例的框图。

[图17]图17是示出图像捕获装置的示意性配置的示例的框图。

[图18]图18是说明使用可分级视频编码的第一示例的说明图。

[图19]图19是说明使用可分级视频编码的第二示例的说明图。

[图20]图20是说明使用可分级视频编码的第三示例的说明图。

[图21]图21是说明多视点编解码的说明图。

[图22]图22是示出用于多视点编解码的图像编码装置的示意性配置的框图。

[图23]图23是示出用于多视点编解码的图像解码装置的示意性配置的框图。

具体实施方式

在下文中，将参照附图来详细描述本发明的优选实施方式。要指出的是，在该说明书和附图中，用相同的附图标记来表示具有基本相同功能和结构的元素，并且省略重复说明。

将按照以下顺序做出描述。

1.概述

1-1.可分级视频编码

1-2.色域可分级

1-3.编码器的基本配置示例

1-4.解码器的基本配置示例

2.一种实施方式中的EL编码部的配置示例

2-1.整体配置

2-2.色域预测的细节

3.根据一种实施方式的用于编码的处理流程

3-1.示意性流程

3-2.色域预测处理

4.一种实施方式中的EL解码部的配置示例

4-1.整体配置

4-2.色域预测的细节

5.根据一种实施方式的用于解码的处理流程

5-1.示意性流程

5-2.色域预测处理

6.动态范围可分级

7.示例应用

7-1.对于各种产品的应用

7-2.可分级视频编码的各种用途

7-3.其他

8.结论

<1.概述>

[1.1.可分级视频编码]

在可分级视频编码中，对下述多个层进行编码：在所述多个层中每个层包含一系列图像。基本层是代表最粗略的图像的、首先被编码的层。基本层的编码流可以在不对其它层的编码流进行解码的情况下被独立地解码。除了基本层以外的层是代表精细图像的、被称为增强层的层。增强层的编码流通过使用包含在基本层的编码流中的信息来编码。因此，为了再现增强层的图像，要对基本层和增强层二者的编码流进行解码。在可分级视频编码中处理的层的数目可以是等于或大于2的任何数目。当对三个层或更多层进行编码时，最低层是基本层，而剩余的层是增强层。对于较高增强层的编码流，可以使用包含在较低增强层和基本层的编码流中的信息来编码和解码。

图1示出了经受可分级视频编码的三个层L1、L2和L3。层L1是基本层，而层L2和层L3是增强层。层L2与层L1的空间分辨率比为2:1，并且层L3与层L1的空间分辨率比为4:1。本文中的分辨率仅为示例。例如，可以使用非整数例如1.5:1的分辨率比。层L1的块B1是在基本层的画面中的编码处理的处理单元。层L2的块B2是在对于块B1来说共同的场景被投影到的增强层的画面中的编码处理的处理单元。块B2对应于层L1的块B1。层L3的块B3是在对于块B1和块B2来说共同的场景被投影到的比前述层高的增强层的画面中的编码处理的处理单元。块B3对应于层L1的块B1和层L2的块B2。

[1-2.色域可分级]

在图1所例证的层结构中，在被投射了共同场景的层之间，图像的纹理是相似的。也就是说，层L1中的块B1的纹理、层L2中的块B2的纹理以及层L3中的块B3的纹理是相似的。因此，例如，当使用块B1作为参考块来对块B2或块B3的像素进行预测或者使用块B2作为参考块来对块B3的像素进行预测时，存在获得较高预测精度的可能性。层之间的这种预测被称为层间预测。非专利文献2提出了用于层间预测的几种方法。在所述方法中，基本层的解码图像(重构图像)被用作参考图像，以对帧内BL预测中的增强层的解码图像进行预测。在帧内残差预测和帧间残差预测中，基本层的预测误差(残差)图像被用作参考图像，以预测增强层的预测误差图像。

此处，例如将层L1的图像假定为HD电视图像并且将层L2的图像假定为UHD电视图像。图2是说明由BT.709和BT.2020表示的色域的说明图。参照图2，示出了使用预定约束条件将3维颜色空间映射到2维平面的色域曲线图。图中的交叉标记指示白色被映射到的位置。图中的虚线指示由BT.709表示的颜色范围。图中的实线指示由BT.2020表示的颜色范围。图中的点线指示人类视觉可以识别的颜色范围。从图2可以理解，与BT.709相比，BT.2020可以表示更多种类的颜色。当层L1的每个像素由BT.709来表示并且层L2的每个像素由BT.2020来表示时，在层间预测时对参考图像(层1的图像)执行分辨率转换(即，上采样)或色域转换。例如，在非专利文献3和非专利文献4中，描述了使用3维查找表将BT.709的像素矢量转换成BT.2020的像素矢量的方法。在实际中，转换后的像素矢量不是在不加改变的情况下被使用，但是残余误差(预测误差)可以被单独地进行编码和解码。因此，这样的色域转换被称为色域预测。查找表将层L1的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)映射到层L2的对应于该组合的预测像素值。

附带地，一般情况下，相同层中的在三个颜色分量的位深度彼此相同。当位深度是n位时，亮度分量的范围宽度和色度分量的范围宽度二者等于2ⁿ。因此，当像素值被选择(分级)成参考查找表时，通常对三个颜色分量设计粒度。例如，在非专利文献3中，假定用于色域预测的查找表中的三个颜色分量的粒度由在PPS中编码的一个参数nbp_code来定义，如以下表1所示的。

[表1]

表1.(从JCTVC-00159摘选的)用于色域可分级的语法

在表1中，标志use_color_prediction_flag是指示色域是否在层之间转换的标志。函数3D_LUT_color_data()定义与用于色域预测的查找表相关联的语法。参数nbp_code共同地定义用于色域预测的查找表中的三个颜色分量的粒度。粒度nbp与参数nbp_code之间的实际关系由关系式nbp＝1+(1<<(nbp_code-1))来表示。参数lut_bit_depth_minus8定义预测像素值的位深度。函数coding_octant(0,0,0,0)是定义按照由参数nbp_code指定的粒度的查找表的(输入像素值与预测的像素值之间进行映射的)内容的函数。在非专利文献3中描述了函数coding_octant(0,0,0,0)的具体规范。在非专利文献4中，当使用查找表对色域预测的性能进行仿真时，在所有测试中使用具有17×17×17的大小的查找表。

随着在用于色域预测的查找表中的颜色分量的粒度越精细，可以预期到越高的色域预测的预测精度。另一方面，随着粒度越精细，查找表的大小(LUT大小)越大。例如，当预测像素值的位深度为10位并且LUT大小为17×17×17时，必须确保17×17×17×3(颜色分量的数目)×10(位深度)＝147390位(bit)的缓冲区，以便缓存查找表。在考虑到对于HEVC的一般量化矩阵(缩放列表)所必需的缓冲区大小为约8000位的事实的情况下，用于色域预测的查找表的缓冲区大小被理解为非常大。当确保大的缓冲区容量时，可能会存在各种缺点，例如设备成本的增加、因存储器资源短缺而引起的操作失败以及处理延迟。因此，在下面要描述的一种实施方式中，将描述一种被配置成减小查找表的缓冲区大小并且确保色域可分级中的足够预测精度的结构。

[1-3.编码器的基本配置示例]

图3是示出根据支持可分级视频编码的一种实施方式的图像编码装置10的示意性配置的框图。参照图3，图像编码装置10包括基本层(BL)编码部1a、增强层(EL)编码部1b、共用存储器2和多路复用部3。

BL编码部1a对基本层图像进行编码，以生成基本层的编码流。EL编码部1b对增强层图像进行编码，以生成增强层的编码流。共用存储器2存储在层之间共同使用的信息。多路复用部3对由BL编码部1a所生成的基本层的编码流和由EL编码部1b所生成的至少一个增强层的编码流进行复用，以生成多层复用流。

[1-4.解码器的基本配置示例]

图4是示出根据支持可分级视频编码的一种实施方式的图像解码装置60的示意性配置的框图。参照图4，图像解码装置60包括解复用部5、基本层(BL)解码部6a、增强层(EL)解码部6b和共用存储器7。

解复用部5将多层复用流解复用成基本层的编码流和至少一个增强层的编码流。BL解码部6a从基本层的编码流中解码基本层图像。EL解码部6b从增强层的编码流中解码增强层图像。共用存储器7存储在层之间共同使用的信息。

在图3所示的图像编码装置10中，对基本层进行编码的BL编码部1a的配置和对增强层进行编码的配置彼此相似。由BL编码部1a所生成或所获取的一些参数和图像可以通过使用共用存储器2来缓存并且可以由EL编码部1b重复使用。在接下来的部分中，将详细描述EL编码部1b的这种配置。

类似地，在图4所示的图像解码装置60中，对基本层进行解码的BL解码部6a的配置与对增强层进行解码的EL解码部6b的配置彼此相似。由BL解码部6a所生成或所获取的一些参数和图像可以通过使用共用存储器7来缓存并且可以由解码部6b重复使用。在接下来的部分中，将详细描述EL解码部6b的这种配置。

<2.一种实施方式中的EL编码部的配置示例>

[2-1.整体配置]

图5是示出图3所说明的EL编码部1b的配置的示例的框图。参照图5，EL编码部1b包括排序缓冲区11、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲区17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、环路滤波器24、帧存储器25、选择器26和27、帧内预测部30、帧间预测部35、色域预测部40以及LUT缓冲区45。

排序缓冲区11对包括在一系列图像数据中的图像进行排序。在根据编码处理而定的图像组(GOP)结构对图像进行排序之后，排序缓冲区11将已经被排序的图像数据输出至减法部13、帧内预测部30、帧间预测部35以及色域预测部40。

将从排序缓冲区11输入的图像数据和由稍后描述的帧内预测部30或帧间预测部35输入的预测图像数据提供至减法部13。减法部13计算预测误差数据并且将所计算出的预测误差数据输出至正交变换部14，所述预测误差数据为从排序缓冲区11输入的图像数据与预测图像数据之间的差。

正交变换部14对从减法部13输入的预测误差数据进行正交变换。要由正交变换部14执行的正交变换例如可以是离散余弦变换(DCT)或Karhunen-Loeve变换。在HEVC中，针对被称为变换单元(TU)的每个块执行正交变换。TU是通过对编码单元(CU)进行划分而形成的块。正交变换部14将通过正交变换处理而获得的变换系数数据输出至量化部15。

量化部15被提供有从正交变换部14输入的变换系数数据和来自要在下面描述的速率控制部18的速率控制信号。量化部15以根据速率控制信号确定的量化步长对变换系数数据进行量化。量化部15将经量化后的变换系数数据(在下文中被称为量化数据)输出到无损编码部16和逆量化部21。

无损编码部16对从量化部15输入的量化数据进行无损编码处理，以生成增强层的编码流。无损编码部16对涉及编码流何时被解码的各种参数进行编码，并且将编码后的参数插入到编码流的报头区域中。由无损编码部16编码的参数可以包括要在下面描述的关于帧内预测的信息和关于帧间预测的信息。还可以对与色域预测有关的参数进行编码。然后，无损编码部16将所生成的编码流输出至累积缓冲区17。

累积缓冲区17使用存储介质(例如半导体存储器)暂时累积从无损编码部16输入的编码流。然后，累积缓冲区17根据传输路径的频带以一定速率将所累积的编码流输出至传输部(未示出)(例如，通信接口或至外围设备的接口)。

速率控制部监视累积缓冲区17的可用空间。速率速度控制部18根据累积缓冲区17上的可用空间生成速率控制信号，并且将所生成的速率控制信号输出到量化部15。例如，当累积缓冲区17没有许多可用空间时，速度控制部18生成用于降低量化数据的位速率(bit rate)的速率控制信号。同样，例如，当累积缓冲区17上的可用空间足够大时，速率控制部18生成用于增大量化数据的位速率的速率控制信号。

逆量化部21、逆正交变换部22和加法部23形成局部解码器。在量化部15所使用的量化步骤中，逆量化部21对增强层的量化数据执行逆量化，从而恢复变换系数数据。然后，逆量化部21将恢复后的变换系数数据输出到逆正交变换部22。

逆正交变换部22对从逆量化部21输入的变换系数数据进行逆正交变换处理，从而恢复预测误差数据。如在正交变换中那样，针对每个TU执行逆正交变换。然后，逆正交变换部22将恢复后的预测误差数据输出到加法部23。

加法部23将从逆正交变换部22输入的恢复后的预测误差数据与来自帧内预测部30或帧间预测部35的预测输入图像数据相加，从而生成解码图像数据(增强层的重构图像)。然后，加法部23将所生成的解码图像数据输出到环路滤波器24和帧存储器25。

环路滤波器24包括用于提高图像质量的滤波器组。去块滤波器(DF)是减小在图像被编码时出现的块失真的滤波器。采样自适应偏移(SAO)滤波器是向每个像素值添加自适应确定的偏移值的滤波器。自适应环路滤波器(ALF)是使经受SAO的图像与原始图像之间的误差达到最小的滤波器。环路滤波器24对从加法部23输入的解码图像数据进行滤波，并且将滤波后的解码图像数据输出到帧存储器25。

帧存储器25使用存储介质来存储从加法部23输入的增强层的解码图像数据、从环路滤波器24输入的增强层的滤波后的解码图像数据以及从色域预测部40输入的基本层的参考图像数据。

选择器26从帧存储器25中读取用于帧内预测的滤波前的解码图像数据，并且将所读取的解码图像数据作为参考图像数据提供给帧内预测部30。此外，选择器26从帧存储器25读取用于帧间预测的滤波后的解码图像数据，并且将所读取的解码图像数据作为参考图像数据提供给帧间预测部35。当由帧内预测部30或帧间预测部35执行层间预测时，选择器26将基本层的参考图像数据提供给帧内预测部30或帧间预测部35。

在帧内预测模式中，选择器27将从帧内预测部30输出的作为帧内预测的结果的预测图像数据输出到减法部13，并且还将关于帧内预测的信息输出至无损编码部16。此外，在帧间预测模式中，选择器27将从帧间预测部35输出的作为帧间预测的结果的预测图像数据输出到减法部13，并且还将关于帧间预测的信息输出到无损编码部16。选择器27根据代价函数值的大小来对帧间预测模式和帧内预测模式进行切换。

帧内预测部30基于原始图像数据和增强层的解码图像数据对HEVC的每个预测单元(PU)执行帧内预测处理。例如，帧内预测部30使用预定代价函数来评估根据预测模式集中的每个候选模式的预测结果。接下来，帧内预测部30选择其中代价函数值最小的预测模式(即其中压缩比最高的预测模式)作为最佳预测模式。帧内预测部30根据该最佳预测模式生成增强层的预测图像数据。帧内预测部30可以包括帧内BL预测，该帧内BL预测是增强层中的预测模式集中的一种层间预测。在帧内BL预测中，使用基本层中与增强层的预测目标块相对应的同位置块(co-located block)作为参考块，并且基于参考块的解码图像来生成预测图像。帧内预测部30可以包括帧内残差预测，该帧内残差预测是一种层间预测。在帧内残差预测中，基于作为基本层中的同位置块的参考块的预测误差图像来预测帧内预测的预测误差，并且生成已经被预测了预测误差并且添加了预测误差的预测图像。帧内预测部30将关于帧内预测的包括指示所选的最佳预测模式的预测模式信息的信息、代价函数值和预测图像数据输出至选择器27。

帧间预测部35基于原始图像数据和增强层的解码图像数据对HEVC的每个预测单元(PU)执行帧间预测处理。例如，帧间预测部35使用预定代价函数对根据预测模式集中的每个候选模式的预测结果进行评估。接下来，帧间预测部35选择代价函数值最小的预测模式(即压缩比最高的预测模式)作为最佳预测模式。帧间预测部35根据该最佳预测模式生成增强层的预测图像数据。帧间预测部35可以包括帧间残差预测，该帧间残差预测是一种层间预测。在帧间残差预测中，基于作为基本层中的同位置块的参考块的预测误差图像来预测帧内预测的预测误差，并且生成已经被预测了预测误差并且添加了预测误差的预测图像。帧内预测部35将关于帧内预测的包括指示所选的最佳预测模式的预测模式信息和运动信息的信息、代价函数值和预测图像数据输出至选择器27。

色域预测部40根据基本层与增强层之间的分辨率比来对由共用存储器2缓存的基本层的图像(解码图像或预测误差图像)进行上采样。当增强层的图像与基本层的图像具有不同的色域时，色域预测部40将基本层的经上采样的图像的色域转换成与增强层的图像的色域相同的色域。在该实施方式中，色域预测部40使用由查找表(LUT)缓冲区45缓存的查找表来转换色域。其色域由色域预测部40转换了的基本层的图像可以被存储在帧存储器25中，并且可以用作由帧内预测部30或帧间预测部35进行的层间预测中的参考图像。

LUT缓冲区45是对由色域预测部40使用的查找表进行缓存的缓冲区。查找表将基本层的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)的组合映射到增强层的对应于该组合的预测像素值。

[2-2.色域预测的细节]

在该实施方式中，当色域预测部40根据基本层的图像来预测增强层的图像时，色域预测部40使用用于色域预测的其中第一色度分量的粒度和第二色度分量的粒度比亮度分量的粒度更粗糙的查找表。例如，基本层的图像的位深度是8位时，第一色度分量的粒度和第二色度分量的粒度可以是9，而亮度分量的粒度是17。在这种情况下，基本层的颜色空间被划分成17×9×9个子空间，并且查找表定义与每个子空间对应的预测像素值(增强层的像素矢量)。当增强层的位深度是10位时，LUT缓冲区45将消耗17×9×9×3(颜色分量的数目)×10(位深度)＝41310位的存储器资源来缓存该查找表。上述粒度的值仅是示例，可以使用其它的值(例如，9×5×5或17×5×5)。第一色度分量的粒度可以不同于第二色度分量的粒度(例如，17×9×5或17×5×9)。

例如，色域预测部40根据用户的预设置或对图像的分析来设置亮度分量(Y)的粒度、第一色度分量(U)的粒度和第二色度分量(V)的粒度。色域预测部40确定预测像素值，以使得：对于基于所设置的粒度而划分的基本层的颜色空间(Y,U,V)中的每个子空间，增强层的预测图像与原始图像之间的差达到最小。然后，色域预测部40将定义每个子空间与相应预测像素值之间的映射的查找表缓存在LUT缓冲区45中。查找表的生成可以以序列、画面、片为单位来执行。

色域预测部40根据基本层与增强层之间的分辨率比来对从共用存储器2获取的基本层的图像进行上采样。色域预测部40选择上采样之后的基本层的每个像素矢量所属的子空间，并且参考查找表获取被映射到所选子空间的预测像素值。色域预测部40通过对每个像素重复该处理来转换基本层的图像的色域。然后，色域预测部40将色域转换之后的基本层的图像作为用于层间预测的参考图像存储在帧存储器25中。上采样可以在色域转换之后执行。

色域预测部40生成查找表信息，以在解码器中使用与在编码器中所使用的查找表相同的查找表。在第一示例中，查找表信息可以具有例如下列表2所示的语法。

[表2]

表2.查找表信息的语法的示例(第一示例)

在第一例子中，参数nbp_code_Luma定义了用于色域预测的查找表中的亮度分量的粒度。参数nbp_code_Chroma定义了用于色域预测的查找表中的第一色度分量的粒度和第二色度分量的粒度。在第二示例中，查找表信息可以具有例如以下图3所示的语法。

[表3]

表3.查找表信息的语法的示例(第二示例)

在第二例子中，参数nbp_code_Y定义了用于色域预测的查找表中的亮度分量的粒度。参数nbp_code_U定义了用于色域预测的查找表中的第一色度分量的粒度。参数nbp_code_V定义了用于色域预测的查找表的第二色度分量的粒度。

色域预测部40生成具有语法的查找表信息并且将所生成的查找表输出至无损编码部16。无损编码部16对输入的查找表信息进行编码，并且将编码后的信息插入在编码流的报头区域中。例如，查找表信息可以被编码在编码流中的视频参数集(VPS)或其扩展的内部、序列参数集(SPS)或其扩展的内部或者图画参数集(PPS)或其扩展的内部。查找表信息可以被编码在内部补充增强信息(SEI)的内部。当查找表信息被编码在SEI的内部时，在显示器上显示时的应用程序(例如色域的转换)还可能代替对图像的解码。

当查找表对于编码器和解码器二者已知时，可以不将查找表信息从编码器传送至解码器。当查找表的三个颜色分量的粒度被预先确定为固定时，可以将指示不包含粒度信息的查找表信息从编码器传送至解码器。

在修改示例中，例如，当色度格式指示第一色度分量的分辨率和第二色度分量的分辨率低于亮度分量的分辨率时，色域预测部40可以使用其中第一色度分量的粒度和第二色度分量的粒度比亮度分量的粒度更粗糙的查找表。例如，当色度格式是4:2:0时,在垂直方向和水平方向二者上色度分量的分辨率小于亮度分量的分辨率。当色度格式是4:2:2时，在水平方向上色度分量的分辨率低于亮度分量的分辨率。在这些情况下，与由查找表在亮度分量方面的粒度的减小而引起的预测精度劣化对编码效率的影响相比，由查找表在色度分量方面的粒度的减小而引起的预测精度劣化对编码效率的影响较小。因此，通过在这些情况下减小仅查找表的色度分量的粒度，可以有效地减小查找表的缓冲区大小并且抑制编码效率的牺牲。另一方面，当色度格式是4:4:4时(即当色度分量的分辨率与亮度分量的分辨率相同)时，色域预测部40可以使用如在已知方法中的具有为亮度分量、第一色度分量和第二色度分量所共用的粒度的查找表。

<3.根据一种实施方式用于编码的处理流程>

[3-1.示意性流程]

图6是示出根据一种实施方式的用于编码的示意性处理流程的示例的流程图。为了使说明简洁起见，从图6中省略未与根据本实施方式的技术直接相关的处理步骤。

参照图6，BL编码部1a首先执行用于基本层的编码处理，以生成基本层的编码流(步骤S11)。

共用存储器2对在用于基本层的编码处理中所生成的基本层的图像(解码图像和预测误差图像之一或者解码图像和预测误差图像二者)和在层与层之间重复使用的参数进行缓存(步骤S12)。在层与层之间重复使用的参数例如可以包括分辨率信息。

接下来，EL编码部1b执行用于增强层的编码处理，以生成增强层的编码流(步骤S13)。在本文所执行的用于增强层的编码处理中，由色域预测部40对由共用存储器2缓存的基本层的图像进行上采样，以使得色域被转换。然后，色域转换后的基本层的图像可以被用作层间预测中的参考图像。

然后，多路复用部3对由BL编码部1a生成的基本层的编码流和由EL编码部1b生成的增强层的编码流进行复用，以生成多层复用流(步骤S14)。

[3-2.色域预测处理]

图7是示出在用于增强层的编码处理中的色域预测处理的处理流程的示例的流程图。本文所描述的色域预测处理可以以查找表被更新的单位(例如，以序列、画面或片为单位)进行重复。

参照图7，色域预测部40首先根据用户的预设置或对图像的分析来设置查找表的亮度分量的粒度(步骤S20)。色域预测部40设置比亮度分量的粒度更粗糙的第一色度分量的粒度和第二色度分量的粒度(步骤S22)。接下来，色域预测部40确定具有所设置的粒度的用于色域预测的查找表，并且将所确定的查找表缓存在LUT缓冲区45中(步骤S24)。LUT缓冲区45保持由色域预测部40确定的查找表，直到后续更新查找表为止。

接下来，色域预测部40生成通过例如图2和图3所示的语法定义查找表的查找表信息(步骤S26)。本文所生成的查找表信息除包括定义亮度分量的粒度的粒度信息之外还包括定义第一色度分量和第二色度分量的粒度(共用的粒度或单独的粒度)的粒度信息。然后，无损编码部16对由色域预测部40生成的查找表信息进行编码(步骤S28)。

色域预测部40根据基本层与增强层之间的分辨率比对从共用存储器2获取的基本层的图像进行上采样(步骤S30)。使用上采样后的每个像素作为关注像素来针对每个像素重复步骤S32至步骤S38的后续处理。色域预测部40首先选择关注像素的像素矢量所属的、由三个颜色分量的粒度所划分的3维颜色空间的子空间(步骤S32)。接下来，色域预测部40从LUT缓冲区45所缓存的3维查找表中获取与所选择的子空间对应的预测像素值(步骤S34)。色域预测部40将关注像素的所获取的预测像素值存储在帧存储器25中(步骤S36)。

此后，当存在后续未处理的关注像素时，处理返回至步骤S32，对后续的关注像素重复色域预测(步骤S38)。也可以重复上采样。当不存在后续的关注像素时，图7所示的色域预测处理结束。

<4.根据一种实施方式的EL解码部的配置示例>

[4-1.整体配置]

图8是图4所示的EL解码部6b的配置的示例的框图。参考图8，EL解码部6b包括累积缓冲区61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、环路滤波器66、排序缓冲区67、数模(D/A)转换部68、帧存储器69、选择器70和71、帧内预测部80、帧间预测部85、色域预测部90和LUT缓冲区95。

累积缓冲区61使用存储介质来暂时累积从解复用部5输入的增强层的编码流。

无损解码部62根据在编码时使用的编码方案从自累积缓冲区61输入的增强层的编码中解码得到增强层的量化数据。无损解码部62对插入在编码流的报头区域中的信息进行解码。由无损解码部62解码后的信息可以包括例如关于帧内预测的信息和关于帧间预测的信息。用于色域预测的参数(例如查找表信息)也可以在增强层中进行解码。无损解码部62将量化数据输出至逆量化部63。无损解码部62将关于帧内预测的信息输出至帧内预测部80。无损解码部62将关于帧间预测的的信息输出至帧间预测部85。无损解码部62将用于色域预测的参数输出至色域预测部90。

逆量化部63对在编码时使用的量化步骤中从无损解码部62输入的量化数据进行逆量化以恢复增强层的变换系数数据。逆量化部63将恢复后的变换系数数据输出至逆正交变换部64。

逆正交变换部64根据在编码时使用的正交变换方案对从逆量化部63输入的变换系数数据执行逆正交变换，以生成预测误差数据。逆正交变换部64将所生成的预测误差数据输出至加法部65。

加法部65将从逆正交转换部64输入的预测错误数据和从选择器71输入的预测图像数据进行相加，以生成解码图像数据。然后，加法部65将所生成的解码图像数据输出至环路滤波器66和帧存储器69。

如在EL编码部1b的环路滤波器24中那样，环路滤波器66包括减小块失真的滤波器、向每个像素添加偏移值的采样自适应偏移滤波器以及使与原始图像的误差达到最小的自适应环路滤波器。环路滤波器66对从加法部65输入的解码图像数据进行滤波，并将滤波后的解码图像数据输出至排序缓冲区67和帧存储器69。

排序缓冲区67对从环路滤波器66输入图像进行排序，以生成时间序列的图像数据。然后，排序缓冲区67将所生成的图像数据输出至D/A转换部68。

D/A转换部68将从排序缓冲区67输入的具有数字格式的图像数据转换成具有模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出至例如与图像解码装置60相连的显示器(未示出)来显示增强层的图像。

帧存储器69使用存储介质来存储从加法部65输入的滤波前的解码图像数据、从环路滤波器66输入的滤波后的解码图像数据以及从色域预测部90输入的基本层的参考图像数据。

选择器70根据由无损解码部62获取的模式信息针对图像中的每个块在帧内预测部80与帧间预测部85之间切换来自帧存储器69的图像数据的输出目的地。例如，当帧内预测模式被指定时，选择器70将从帧存储器69提供的滤波前的解码图像数据作为参考图像数据输出至帧内预测部80。当帧间预测模式被指定时，选择器60将滤波后的解码图像数据作为参照图像数据输出至帧间预测部85。当在帧内预测部80或帧间预测部85中执行层间预测时，选择器70将基本层的参考图像数据提供给帧内预测部80或帧间预测部85。

选择器71根据由无损解码部62获取的模式信息在帧内预测部80与帧间预测部分85之间切换要提供给加法部65的预测图像数据的输出源。例如，当帧内预测模式被指定时，选择器71将从帧内预测部80输出的预测图像数据提供给加法部65。当帧间预测模式被指定时，选择器71将从帧间预测部85输出的预测图像数据提供给加法部65。

帧内预测部80基于从无损解码部62输入的关于帧内预测的信息和来自帧存储器69的参考图像数据来执行增强层的帧内预测处理，以生成预测图像数据。针对每个PU执行帧内预测处理。当帧内BL预测或帧内残差预测被指定为帧内预测模式时，帧内预测部80使用基本层中与预测目标块对应的同位置块作为参考块。在帧内BL预测的情况下，帧内预测部80基于参照块的解码图像生成预测图像。在帧内残差预测的情况下，帧内预测部80基于参考块的预测误差图像预测帧内预测的预测误差，并且生成被加上了所预测出的预测误差的预测图像。帧内预测部80将所生成的增强层的预测图像数据输出至选择器71。

帧间预测部85基于从无损解码部62输入的关于帧间预测的信息和来自帧存储器69的参考图像数据来执行增强层的帧间预测处理(运动补偿处理)，以生成预测图像数据。针对每个PU执行帧间预测处理。当帧间残差预测被指定为帧间预测模式时，帧间预测部85使用基本层中与预测目标块对应的同位置块作为参考块。在帧间残差预测的情况下，帧间预测部85基于参考块的预测误差图像来预测帧间预测的预测误差，并且生成被加上了所预测出的预测误差的预测图像。帧间预测部85将所生成的增强层的预测图像数据输出至选择器71。

色域预测部90根据基本层与增强层之间的分辨率比对共用存储器7中缓存的基本层的图像(解码图像或预测误差图像)进行上采样。当增强层的图像与基本层的图像具有不同的色域时，色域预测部90将基本层的上采样到的图像的色域转换成与增强层的图像相同的色域。在该实施方式中，色域预测部90使用由LUT缓冲区95缓存的查找表来转换色域。可以将其色域被色域预测部90转换的基本层的图像存储在帧存储器69中，以用作由帧内预测部80或帧间预测部85进行的层间预测中的参考图像。

LUT缓冲区95是对由色域预测部90使用的查找表进行缓存的缓冲区。查找表将基本层的亮度分量(Y)、第一色度分量(U)和第二色度分量(V)的组合映射到增强层的对应于该组合的预测像素值。

[4-2.色域预测的细节]

在该实施方式中，如在上述色域预测部40中那样，当色域预测部90根据基本层的图像来预测增强层的图像时，色域预测部40使用用于色域预测的其中第一色度分量的粒度和第二色度分量的粒度比亮度分量的粒度比更粗糙的查找表。基层的颜色空间基于三个颜色分量的粒度被划分成多个子空间，并且查找表定义与每个子空间对应的预测像素值(增强层的像素矢量)。

色域预测部90获取由无损解码部62解码的查找表信息。如在表2或3中所描述的，查找表信息可以包括定义要被设置用于亮度分量(Y)、第一色度分量(U)和第二色度分量(V)的粒度的粒度信息。除了定义亮度分量的粒度的参数，粒度信息可以包括共同地定义第一色度分量的粒度和第二色度分量的粒度的一个参数。替代地，粒度信息可以包括单独的参数，其中每个参数分别定义第一色度分量的粒度和第二色度分量的粒度。查找表信息可以包括定义预测像素值的位深度的参数和定义查找表的内容(输入像素值与预测像素值之间的映射)的信息。色域预测部90基于查找表信息生成定义基本层的颜色空间的多个子空间中的每个子空间与对应预测像素值之间的映射的查找表，并且将所生成的查找表缓存在LUT缓冲区95中。查找表信息的获取和查找表的生成可以以序列、画面、或片为单位来执行。例如，查找表信息可以被编码在编码流中的VPS或其扩展的内部、SPS或其扩展的内部或者PPS或其扩展的内部。可以将查找表信息从SEI进行解码，并且在显示器上显示时该查找表信息可以用于转换色域。

在生成要使用的查找表之后，色域预测部90根据基本层与增强层之间的分辨率比对从共用存储器7获取的基本层的图像进行上采样。色域预测部90选择上采样后的基本层的每个像素矢量所属的子空间，并且将参照查找表获取被映射到所选择的子空间的预测像素值。色域预测部90通过对每个像素重复该处理来转换基本层的图像的色域。然后，色域预测部90将色域转换后的基本层的图像作为用于层间预测的参考图像存储在帧存储器69中。上采样可以在色域转换之后执行。

在修改示例中，例如，当色度格式指示第一色度分量的分辨率和第二色度分量的分辨率低于亮度分量的分辨率时，色域预测部90可以使用其中第一色度分量的粒度和第二色度分量的粒度比亮度分量的粒度更粗糙的查找表。当色度分量的分辨率低于亮度分量的分辨率时，可以通过减小查找表的仅色度分量的粒度来有效地减小查找表的缓冲区大小并且抑制编码效率的牺牲。另一方面，当色度格式指示色度分量的分辨率与亮度分量的分辨率相同时，色域预测部90可以使用如在已知方法中的具有为亮度分量、第一色度分量和第二色度分量所共用的粒度的查找表。

<5.根据一种实施方式的用于解码的处理流程>

[5-1.示意性流程]

图9是示出根据一种实施方式的在解码时使用的示例性处理流程的示例的流程图。为了使说明简洁起见，从附图中省略了未与本实施方式的技术直接相关的处理步骤。

参照图9，解复用部5首先将多层复用流解复用成基本层的编码流和增强层的编码流(步骤S60)。

接下来，BL解码部6a执行对基本层的解码处理，以从基本层的编码流重构基本层的的图像(步骤S61)。

共用存储器7缓存在用于基本层的编码处理中所生成的基本层的图像(解码图像和预测误差图像之一或者解码图像和预测误差图像二者)和在层与层之间重复使用的参数(步骤S62)。在层与层之间重复使用的参数例如可以包括分辨率信息。

接下来，EL解码部6b执行对增强层的解码处理，以重构增强层的图像(步骤S63)。在本文所执行的用于增强层的解码处理中，由色域预测部90对由共用存储器7缓存的基本层的图像进行上采样，以使得色域被转换。色域转换后的基本层的图像可以被用作在层间预测中的参考图像。

[5-2.色域预测处理]

图10是示出在用于增强层的编码处理中的色域预测处理的处理流程的示例的流程图。本文所描述的色域预测处理可以以查找表被更新的单位(例如，以序列、画面或片为单位)进行重复。

参照图10，无损解码部62首先对来自编码流的报头区域的包括粒度信息的查找表信息进行解码(步骤S70)。接下来，色域预测部90根据解码后的粒度信息设置查找表的亮度分量的粒度(步骤S72)。然后，色域预测部90根据解码后的粒度信息设置比亮度分量的粒度更粗糙的第一色度分量的粒度和第二色度分量的粒度(步骤S74)。接下来，色域预测部90重构(设置)具有所设置的粒度的查找表，并且将所重构的查找表缓存在缓冲区95中(步骤S76)。LUT缓冲区95保持由色域预测部90重构的查找表，直到后续更新为止。

色域预测部90根据基本层与增强层之间的分辨率比对从共用存储器7获取的基本层的图像进行上采样(步骤S80)。使用上采样后的每个像素作为关注像素来针对每个像素重复步骤S82至S88的后续处理。色域预测部90首先选择关注像素的像素矢量所属的、由三个颜色分量的粒度所划分的3维颜色空间的子空间(步骤S82)。接下来，色域预测部90从LUT缓冲区95所缓存的3维查找表获取与所选择的子空间对应的预测像素值(步骤S84)。色域预测部90将关注像素的所获取的预测像素值存储在帧存储器69中(步骤S86)。

此后，当存在后续未处理的关注像素时，处理返回至步骤S82，对后续的关注像素重复色域预测(步骤S88)。也可以重复上采样。当不存在后续的关注像素时，图10所示的色域预测处理结束。

<6.动态范围可分级>

本公开内容的下述构思不仅适用于色域可分级而且还适用于其他类型的可分级编码，所述构思为将其中色度分量的粒度比亮度分量的粒度更粗糙的查找表用于层与层之间的图像预测。例如，像素动态范围是影响图像质量的重要属性。许多已知显示器所支持的标准动态范围(SDR)图像的最大亮度是100尼特(nit)。另一方面，能够在最近的市场上获得的高端显示器所支持的高动态范围(HDR)图像的最大亮度达到例如800尼特。与HDR图像相比，SDR图像被称为低动态范围(LDR)图像。

图11是说明视频格式的动态范围的说明图。图11的垂直轴代表亮度[尼特]。自然界的最大亮度达到20000尼特并且一般主体的最大亮度是例如大约12000尼特。另一方面，图像传感器的动态范围的上限低于自然界的最大亮度并且可以是例如4000尼特。由图像传感器生成的图像信号还被以预定的视频格式记录。SDR图像的动态范围由附图中带斜线阴影的条示出，并且该动态范围的上限是100尼特。因此，当将捕获的图像记录为SDR图像时，通过例如诸如拐点压缩的方法来对亮度动态范围进行相当大地压缩。当显示器可以表达的最大亮度是1000尼特时，在显示SDR图像时缩放被执行10次。然而，由于缩放，显示图像的图像质量容易劣化。HDR图像的动态范围由附图中的粗框条示出，并且该动态范围的上限是800尼特。因此，当捕获的图像被记录为HDR图像时，也通过例如诸如拐点压缩的方法对亮度动态范围进行压缩。当显示器可以表达的最大亮度是1000尼特时，在显示HDR图像时缩放被执行1.25次。然而，由于缩放比率较小，所以显示图像的图像质量的劣化较小。

因此，当HDR图像被支持为视频格式时，存在以下益处：可以向用户提供高质量图像。此外，为了确保与支持SDR图像的装置的兼容性并且处理存储限制和各种传输频带的目的，实现被称为动态范围可分级的可分级编码技术是有益的。在动态范围可分级中，用基本层来传送SDR图像，而用增强层来传送用于从SDR图像恢复HDR图像的信息。为了从SDR图像恢复HDR图像，保持安装尽可能简单并且确保格式通用性和可分级是重要的。

文献“High Dynamic Range Video Distribution Using Existing VideoCodecs”(David Touze等人,第30届视频编码会议,12月8日至11日,2013)提出可以说是一种动态范围可分级格式的技术。然而，在该文献所提出的技术中，为了恢复HDR图像，必需使用用于对从跨越多个帧延伸的像素值配置的滤波器抽头进行滤波的复杂算法以及在RGB区域中的伽马校正等。另一方面，当如在上述色域可分级中那样采用从3维查找表获取与SDR图像的三个颜色分量的组合对应的HDR图像的预测像素值的方法时，可以在不执行复杂的安装的情况下恢复与HDR图像对应的图像质量。

例如，为了实现动态范围的可分级，可以使用图12中所示的EL编码器101b来代替图3中所示的EL编码部1b。参照图12，EL编码部101b包括排序缓冲区11、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲区17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、环路滤波器24、帧存储器25、选择器26和27、帧内预测部30、帧间预测部35、动态范围(DR)预测部140以及LUT缓冲区45。

DR预测部140根据基本层与增强层之间的分辨率比来对由共用存储器2缓存的基本层的图像进行上采样。当增强层的图像与基本层的图像具有不同的动态范围时，DR预测部140将经上采样的基本层的图像的动态范围转换成与增强层的图像的动态范围相同的范围。在该实施方式中，DR预测部140使用由LUT缓冲区45缓存的查找表来转换动态范围。动态范围被DR预测部140转换了的基本层的图像可以被存储在帧存储器25中，以用作由帧内预测部30或帧间预测部35进行的层间预测中的参考图像。

此外，为了实现动态范围的可分级，可以使用图13中所示的EL解码部106b来替换图4中所示的EL解码部6b。参考图13，EL解码部106b包括累积缓冲区61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、环路滤波器66、排序缓冲区67、D/A转换部68、帧存储器69、选择器70和71、帧内预测部80、帧间预测部85、DR预测部190以及LUT缓冲区95。

DR预测部190根据基本层与增强层之间的分辨率比来对由共用存储器7缓存的基本层的图像进行上采样。当增强层的图像与基本层的图像具有不同的动态范围时，DR预测部190将经上采样的基本层的图像的动态范围转换成与增强层的图像的动态范围相同的范围。在该实施方式中，DR预测部190使用由LUT缓冲区95缓存的查找表来转换动态范围。动态范围被DR预测部190转换了的基本层的图像可以被存储在帧存储器69中，以用作由帧内预测部80或帧间预测部85进行的层间预测中的参考图像。

此处，DR预测部140和190根据基本层的图像预测增强层的图像时，DR的预测部140和190使用在其中第一色度分量的粒度的第二色度分量的粒度比亮度分量的粒度更粗糙的查找表。三个颜色分量的粒度的组合可以是与色域可分级相关联的上述组合中的任意组合。LUT缓冲区45和95缓存下述用于动态范围(DR)预测的查找表：该查找表定义了基于粒度而划分的基本层的颜色空间的子空间与相应预测像素值之间的映射。

当两个色度分量的粒度在用于DR预测的查找表中相同时，EL编码部101b的DR预测部140可以生成下述查找表：该查找表包括定义亮度分量的粒度的一个参数(例如，nbp_code_Luma)以及定义色度分量的粒度的一个参数(例如，nbp_code_Chroma)。另一方面，当两个色度分量的粒度在用于DR预测的查找表中不同时，DR预测部140可以生成下述查找表：该查找表包括定义亮度分量的粒度的一个参数(例如，nbp_code_Y)以及定义第一色度分量的粒度和第二色度分量的粒度的两个参数(例如，nbp_code_U和nbp_code_V)。查找表信息的语法可以与在表2或3中举例的查找表信息的语法相同。查找表信息可以由无损编码部16来编码，并且可以在VPS或其扩展的内部、SPS或其扩展的内部、PPS或其扩展的内部、片头或其扩展的内部或者SEI的内部传送。所传送的用于DR预测的查找表信息可以由EL解码部106b中的无损解码部62来解码，并且可以被使用以使得由DR预测部190生成查找表。

在修改示例中，在动态范围可分级方面，查找表的每个颜色分量的粒度还可以依据色度格式而切换。例如，当色度格式指示第一色度分量的分辨率和第二色度分量的分辨率低于亮度分量的分辨率时，可以使用其中第一色度分量的粒度和第二色度分量的粒度比亮度分量的粒度更粗糙的查找表。另一方面，当色度格式指示第一色度分量的分辨率和第二色度分量的分辨率与亮度分量的分辨率相同时，可以使用其中三个颜色分量的粒度相同的查找表。

<7.示例应用>

[7-1.到各种产品的应用]

根据上述实施方式的图像编码装置10和图像解码装置60可以被应用于各种电子器械，例如：用于卫星广播、有线广播例如有线TV、因特网上的分发以及经由蜂窝通信至终端的分发等的发射器和接收器；将图像记录在介质例如光盘、磁盘或闪速存储器中的记录装置；以及从这样的存储介质再现图像的再现装置等，下面将对四个示例应用进行描述。

(1)第一应用示例

图14是示出应用前述实施方式的电视装置的示意性配置的示例的图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。

调谐器902从通过天线901接收的广播信号提取所需信道的信号并对所提取的信号进行解调。然后，调谐器902将通过解调而获得的编码比特流输出至解复用器903。也就是说，调谐器902在电视装置900中用作接收图像被编码的编码流的传送装置。

解复用器903从编码比特流分离要观看的节目中的视频流和音频流并将分离后的流中的每个流输出至解码器904。解复用器903还从编码比特流提取辅助数据(例如电子节目指南(EPG))并且将所提取的数据提供给控制单元910。此处，解复用器903可以在编码流被加扰时对其进行解扰。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理而生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理而生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据并且在显示器906上显示该视频。视频信号处理单元905还在显示器906上显示通过网络提供的应用屏幕。视频信号处理单元905还可以根据设置对视频数据执行另外的处理(例如降噪)。此外，视频信号处理单元905可以生成图形用户界面(GUI)(例如菜单、按钮或光标)的图像，并且将所生成的图像叠加在输出图像上。

显示器906由从视频信号处理单元905提供的驱动信号进行驱动，并且在显示设备(例如，液晶显示器、等离子显示器或有机电致发光显示器(OELD)的视频屏幕上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行再现处理(例如D/A转换和放大)，并且将音频从扬声器908输出。音频信号处理单元907还对音频数据执行另外的处理(例如降噪)。

外部接口909是连接电视装置900与外部装置或网络的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。这意味着外部接口909在电视装置900中还用作接收图像被编码的编码流的传送装置。

控制单元910包括处理器(例如CPU)以及存储器(例如RAM和ROM)。存储器存储由CPU执行的程序、EPG数据以及通过网络获得的数据。存储在存储器中的程序例如可以在电视装置900启动时由CPU读取并且执行。通过执行该程序，CPU例如根据从用户界面911输入的操作信号来控制电视装置900的操作。

用户接口911连接至控制单元910。用户接口911例如包括用于用户操作电视装置900的按钮和开关以及接收遥控信号的接收部。用户接口911检测通过这些部件的用户操作，生成操作信息并且将所生成的操作信号输出至控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910相互连接。

以前述方式配置的电视装置900中的解码器904具有根据前述实施方式的图像解码装置60的功能。当电视装置900对色域相互不同的层执行色域预测时，可以减小用于查找表的缓冲区大小。

(2)第二应用示例

图15是示出应用前述实施方式的移动电话的示意性配置的示例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、照相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930、控制单元931、操作单元932以及总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将信单元922、音频编解码器923、照相机单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示器930以及控制单元931相互连接。

移动电话920在包括音频呼叫模式、数据通信模式、拍摄模式和视频电话模式的各种模式下执行操作，例如发送/接收音频信号、发送/接收电子邮件或图像数据、对图像进行成像或者记录数据。

在音频呼叫模式下，由麦克风925生成的模拟音频信号被提供给音频编解码器923。然后，音频编解码器923将模拟音频信号转换为音频数据，对转换后的音频数据执行A/D转换并且对A/D转换后的数据进行压缩。此后，音频编解码器923将压缩后的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。然后，通信单元922通过天线921将所生成的发送信号传送至基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大，对信号的频率进行转换并且获取接收信号。此后，通信部922对接收信号进行解调和解码以生成音频信号并且将所生成的音频信号输出至音频编解码器923。音频编解码器923对音频信号进行扩展，对扩展后的数据进行D/A转换并且生成模拟音频信号。然后，音频编解码器923通过将所生成的音频信号提供给扬声器924来输出音频。

在数据通信模式下，例如，控制单元931根据通过操作单元932的用户操作来生成配置电子邮件的字符数据。控制单元931还在显示器930上显示字符。此外，控制单元931根据来自用户的通过操作单元932的发送指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922通过天线921将所生成的发送信号发送至基站(未示出)。通信单元922还对通过天线921接收的无线电信号进行放大、对信号的频率进行转换并且获取接收信号。此后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据并且将恢复后的电子邮件数据输出至控制单元931。控制单元931在显示器930上显示电子邮件的内容以及将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括任意的可读写的存储介质。例如，存储介质可以是内置存储介质，例如RAM或闪速存储器，或者可以是外部安装的存储介质，例如硬盘、磁盘、磁光盘、光盘、未分配空间位图(USB)存储器或存储卡。

在拍摄模式下，例如，照相机单元926对对象进行成像，生成图像数据并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从照相机单元926输入的图像数据进行编码并且将编码流存储在记录/再现单元929的存储介质中。

在视频电话模式下，例如，解复用单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将复用流输出至通信单元922。通信单元922对该流进行编码和调制以生成发送信号。随后，通信单元922通过天线921将所生成的发送信号传送至基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大，对信号的频率进行转换并且获取接收信号。发送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并且将所恢复的流输出至解复用单元928。解复用单元928从输入流分离视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后，视频数据被提供给显示一系列图像的显示器930。音频编解码器923对音频流执行扩展并且对经扩展的音频流执行D/A转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器以输出音频。

以前述方式配置的移动电话920中的图像处理单元927具有根据前述实施方式的图像编码装置10和图像解码装置60的功能。因此，当移动电话920对色域相互不同的层执行色域预测时，可以减小用于查找表的缓冲区大小。

(3)第三应用示例

图16是示出应用前述实施方式的记录/再现装置的示意性配置的示例的图。记录/再现装置940例如对所接收的广播节目的音频数据和视频数据进行编码并且将编码后的数据记录到记录介质中。记录/再现装置940例如还可以对从另一装置获得的音频数据和视频数据进行编码并且将编码后的数据记录到记录介质中。响应于用户指示，记录/再现装置940例如在监视器和扬声器上再现记录介质中所记录的数据。记录/再现装置940在此时对音频数据和视频数据进行解码。

记录/再现装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、磁盘驱动器945、选择器946、解码器947、在屏显示(OSD)948、控制单元949以及用户接口950。

调谐器941从通过天线(未示出)接收的广播信号中提取所需信道的信号并且对所提取的信号进行解调。然后，调谐器941将通过解调而获得的编码比特流输出至选择器946。也就是说，调谐器941在记录/再现装置940中用作传送装置。

外部接口942是连接记录/再现装置940与外部装置或网络的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪速存储器接口。通过外部接口942接收的视频数据和音频数据例如被输入至编码器943。也就是说，外部接口942在记录/再现装置940中用作传送装置。

当从外部接口942输入的视频数据和音频数据未被编码时，编码器943对该视频数据和音频数据进行编码。此后，编码器943将编码比特流输出至选择器946。

HDD 944将其中压缩了内容数据(例如视频和音频)的编码比特流、各种程序和其它数据记录到内部硬盘中。当再现视频和音频时，硬盘驱动器944从硬盘中读取这些数据。

磁盘驱动器945将数据记录到被安装至该磁盘驱动器的记录介质中和/或从所述记录介质中读取数据。被安装至磁盘驱动器945的记录介质可以是例如DVD光盘(例如DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)光盘。

当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并且将所选择的编码比特流输出至硬盘驱动器944或磁盘驱动器945。另一方面，当再现视频和音频时，选择器946将从HDD 944或磁盘驱动器945输入的编码比特流输出至解码器947。

解码器947对编码比特流进行解码，以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD 948并且将所生成的音频数据输出至外部扬声器。

OSD 948再现从解码器947输入的视频数据并且显示该视频。OSD948还可以在所显示的视频数据上叠加GUI(例如菜单、按钮或光标等)的图像。

控制单元949包括处理器(例如CPU)以及存储器(例如RAM和ROM)。存储器存储程序数据以及由CPU执行的程序。存储在存储器中的程序例如由CPU在记录/再现装置940启动时读取，然后执行。通过执行程序，CPU例如根据从用户接口950输入的操作信号来控制记录/再现装置940的操作。

用户接口950连接至控制单元949。用户接口950例如包括用于用户操作记录/再现装置940的按钮和开关以及接收遥控信号的接收部。用户接口950检测通过这些部件的用户操作，生成操作信号并且将所生成的操作信号输出至控制单元949。

以前述方式配置的记录/再现装置940的编码器943具有根据前述实施方式的图像编码装置10的功能。另一方面，解码器947具有根据前述实施方式的图像解码装置60的功能。因此，当记录/再现装置940执行对色域相互不同的层执行色域预测时，可以减小用于查找表的缓冲区大小。

(第四应用示例)

图17示出了应用前述实施方式的图像捕获装置的示意性配置的示例。成像装置960对对象进行成像，生成图像，对图像数据进行编码以及将经编码的数据记录到记录介质中。

成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、媒体驱动器968、OSD 969、控制单元970、用户接口971以及总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD 969和控制单元970相互连接。

光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括图像传感器(例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS))并且执行光电转换，以将形成在成像表面上的光学图像转换成图像信号(例如电信号)。随后，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将已经被执行了相机信号处理的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口966或媒体驱动器968。图像处理单元964还对从外部接口966或媒体驱动器968输入的编码数据进行解码，以生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965，以显示图像。此外，图像处理单元964可以在显示器965上所输出的图像上叠加显示从OSD 969获取的数据。

OSD 969生成GUI(例如菜单、按钮或光标等)的图像，并且将所生成的图像输出至图像处理单元964。

外部接口966例如被配置成USB输入/输出端。例如当打印图像时，外部接口966将成像装置960与打印机连接。此外，驱动器根据需要而连接至外部接口966。可移除介质例如磁盘或光盘例如被安装至驱动器，使得可以将从可移除介质读取的程序安装至成像装置960。外部接口966还可以被配置成连接至网络(例如LAN或因特网)的网络接口。也就是说，外部接口966在成像装置960中用作传送装置。

安装至媒体驱动器968的记录介质可以是可读写的任意的可移除介质，例如磁盘、磁光盘、光盘、或半导体存储器。此外，记录介质例如可以固定地安装至媒体驱动器968，以使得非可移动存储单元(例如内置硬盘驱动器或固态驱动器(SSD))被配置。

控制单元970包括处理器(例如CPU)以及存储器(诸如RAM和ROM)。存储器存储程序数据以及由CPU执行的程序。存储在存储器中的程序例如由CPU在成像装置960启动时读取，然后执行。通过执行程序，CPU例如根据从用户接口971输入的操作信号来控制成像装置940的操作。

用户接口971连接至控制单元970。用户接口971包括用于用户操作成像装置960的按钮和开关。用户接口971检测通过这些部件的用户操作，生成操作信号并且将所生成的操作信号输出至控制单元970。

以前述方式配置的成像装置960中的图像处理单元964具有根据前述实施方式的图像编码装置10和图像解码装置60的功能。因此，当成像装置960对色域相互不同的颜色执行色域预测时，可以减小用于查找表的缓冲区大小。

[7-2.可分级视频编码的各种用途]

在各种用途中可以享有上述可分级视频编码的优点。下面将描述三个使用示例。

(1)第一示例

在第一示例中，可分级视频编码被用于数据的选择性传送。参照图18，数据传送系统1000包括流存储装置1001和递送服务器1002。递送服务器1002经由网络1003连接至一些终端装置。1003可以是有线网络或无线网络或者它们的组合。图18示出了个人计算机(PC)1004、AV装置1005、平板装置1006和移动电话1007作为终端装置的示例。

流存储装置1001存储例如包括由图像编码装置10生成的复用流的流数据1011。复用流包括基本层(BL)的编码流和增强层(EL)的编码流。递送服务器1002读取流存储装置1001中所存储的数据流1011并且经由网络1003将流数据1011的至少一部分递送给PC 1004、AV装置1005、平板装置1006和移动电话1007。

当向终端装置递送流时，递送服务器1002基于一些条件例如终端装置的能力或通信环境来选择要递送的流。例如，递送服务器1002可以通过不递送具有比终端装置能够处理的图像质量高的高图像质量来避免在终端装置中的延时或者处理器的溢出或过载的发生。递送服务器1002还可以通过不递送具有高图像质量的编码流来避免对网络1003的通信带宽的占用。另一方面，当不存在要避免的风险或者基于用户合约或一些条件认为是适当时，递送服务器1002可以将整个复用流递送给终端装置。

在图18的示例中，递送服务器1002从流存储装置1001读取流数据1011。然后，递送服务器1002将数据流1011直接地递送给具有较高处理能力的个人计算机1004。由于AV装置1005具有较低处理能力，所以递送服务器1002生成仅包含从流数据1011提取的基本层的编码流的流数据1012并且将流数据1012递送给AV装置1005。递送服务器1002将流数据1011直接地递送给能够以较高通信速率进行通信的平板装置1006。由于移动电话1007可能以较低通信速率进行通信，所以递送服务器1002向移动电话1007递送仅包括基本层的编码流的流数据1012。

通过以该方式使用复用流，可以自适应地调整要传送的业务量。当与每个层被单独地编码时的情况相比时减小了流数据1011的编码量，因此即使要递送整个流数据1011，网络1003上的负载也可以被减小。此外，节省了流存储装置1001的存储器资源。

终端装置的硬件性能是随着设备而不同。运行在终端装置上的应用程序的能力各种各样。此外，网络1003的通信容量是变化的。可用于数据传送的容量可能会由于其他业务而时刻发生改变。因此，在开始递送流数据之前，递送服务器1002可以通过与递送目的地终端装置发信号来获取关于硬件性能和终端装置的应用程序能力的信息以及关于通信容量的网络信息。然后，递送服务器1002可以基于所获取的信息选择要递送的流。

附带地，要被解码的层可以由终端装置来提取。例如，个人计算机1004可以在其屏幕上显示从所接收的复用流中提取并且解码的基本层图像。在通过从所接收的复用流中提取基本层的编码流来生成流数据1012之后，PC1004可以使存储介质来存储流数据1012或者将流数据传递给另一装置。

图18所示的数据传送系统1000的配置仅是示例。数据传送系统1000可以包括任何数目的流存储装置1001、递送服务器1002、网络1003和终端装置。

(2)第二示例

在第二示例中，可分级视频编码用于经由多个通信信道来传送数据。参照图19，数据传送系统1100包括广播站1101和终端装置1102。广播站1101在地面信道1111上广播基本层的编码流1121。广播站1101还经由网络1112将增强层的编码流1122层广播至终端装置1102。

终端装置1102具有接收由广播站1101广播的地面广播的接收功能，并且经由地面信道1111接收基本层的编码流1121。终端装置1102还具有与广播站1101通信的通信功能，并且经由网络1112接收增强层的编码流1122。

在例如响应于用户的指令而接收到基本层的编码流1121之后，终端装置1102可以对来自所接收的编码流1121的基本层图像进行解码并且在屏幕上显示基本层图像。可替选地，终端装置1102可以使存储介质存储被解码的基本层图像或者将该基本层图像传递给另一装置。

在例如响应于用户的指令而经由网络1112接收到增强层的编码流1122之后，终端装置1102可以通过对基本层的编码流1121和增强层的编码流1122进行复用来生成复用流。终端装置1102还可以从增强层的编码流1122解码增强图像，以在屏幕上显示该增强图像。可替选地，终端装置1102可以使存储介质存储解码后的增强层图像或者将该增强层图像传递给另一装置。

如上所述，包含在复用流中的每个层的编码流可以经由用于每个层的不同的通信信道来传送。因此，可以通过将负载分配在各个信道上来减小通信延迟或溢流的发生。

可以根据一些条件来动态地选择要用于传输的通信信道。例如，可以经由具有较大带宽的通信信道来传送数据量相对较大的基本层的编码流1121，并且可以经由具有较窄带宽的通信信道来传送数据量相对较小的增强层的编码流1122。可以根据通信信道的带宽来对传送特定层的编码流1122的通信信道进行切换。因此可以更加有效地减小各个信道上的负载。

图19所示的数据传送系统1100的配置仅为示例。数据传送系统1100可以包括任何数目的通信信道和终端装置。此处所描述的系统的配置还可以应用于除了广播以外的用途。

(3)第三示例

在第三示例中，可分级视频编码用于视频的存储。参照图20，数据传送系统1200包括成像装置1201和流存储装置1202。成像装置1200对通过主体1211被成像而生成的图像数据进行可分级编码，以生成复用流。复用流1221包括基本层的编码流和增强层的编码流。然后，成像装置1201将复用流1221提供给流存储装置1202。

流存储装置1202针对每个模式以不同的图像质量来存储从成像装置1201提供的复用流1221。例如，在正常模式下，流存储装置1202从复用流1221提取基本层的编码流1222并且存储所提取的基本层的编码流1222。相比之下，在高质量模式下，流存储装置1202照原样存储复用流1221。仅当期望以高质量记录视频时，流存储装置1202可以存储具有较大数据量的高质量流。因此，可以节省存储器资源，同时抑制图像退化对用户的影响。

例如，假定成像装置1201是监控摄像机。当没有监视对象(例如，没有入侵者)出现在所捕获的图像中时，选择正常模式。在该情况下，所捕获的图像可能不重要，因此优先考虑减少数据量，以使得以低图像质量来记录视频(也就是说，存储仅基本层的编码流1222)。相反，当监控对象(例如，作为入侵者的对象1211)出现在所捕获的图像中时，选择高质量模式。在该情况下，所捕获的图像可能较重要，因此优先考虑高质量图像，以使得以高图像质量来记录视频(也就是说，存储复用流1221)。

在图20的示例中，由流存储装置1202基于例如图像分析结果来选择模式。然而，本实施方式不限于这样的示例并且成像装置1201可以选择模式。在后一种情况下，成像装置1201在正常模式下将基本层的编码流1222提供给流存储装置1202，而在高质量模式下将复用流1221提供给流存储装置1202。

用于对模式进行选择的选择标准可以是任何标准。例如，可以根据通过麦克风而获取的声音的响度或者声音的波形来切换模式。也可以定期地切换模式。此外，可以响应于用户的指令来切换模式。此外，可选择的模式的数目可以是任何数目，只要不超过被分层的层的数目即可。

图20所示的数据传送系统1200的配置仅为示例。数据传送系统1200可以包括任何数目的成像装置1201。此处所描述的系统的配置还可以应用于除了监控摄像机以外的其他用途。

[7-3.其他]

(1)到多视角编解码器的应用

多视角编解码器是一种多层编解码器并且是对所谓的多视角视频进行编码和解码的图像编码系统。图21是示出多视角编解码器的说明图。参照图21，示出了从三个视点捕获的三个视角帧的序列。视角ID(view_id)附接至每个视角。在多个这样的视角中，一个视角被指定为基本视角。除了基本视角以外的其他视角被称为非基本视角。在图21的示例中，视角ID为“0”的视角是基本视角，而视角ID为“1”或“2”的两个视角为非基本视角。当这些视角被分层地编码时，每个视角可以对应于一个层。如由图21中的箭头所指示的，通过参照基本视角的图像(其他非基本视角的图像也要被参照)来对非基本视角的图像进行编码和解码。

图22是示出支持对多视角编解码的图像编码装置10v的示意性配置的框图。参照图22，图像编码装置10v包括第一层编码部1c、第二层编码部1d、共用存储器2和复用部3。

除了接收基本视角图像而不是基本层图像作为输入以外，第一层编码部1c的功能与使用图3所描述的BL编码部1a的功能相同。第一层编码部1c对基本视角图像进行编码以生成第一层的编码流。除了接收非基本视角图像而不是增强层图像作为输入以外，第二层编码部1d的功能与使用图3所描述的EL编码部1b的功能相同。第二层编码部1d对非基本视角图像进行编码以生成第二层的编码流。共用存储器2存储层与层之间共用的信息。复用部3将由第一层编码部1c生成的编码流和由第二层编码部1d生成的编码流进行复用，以生成多层复用流。

图23是示出支持多视点编解码的图像解码装置60v的示意性配置的框图。参照图23，图像解码装置60v包括解复用部5、第一层解码部6c、第二层解码部6d以及共用存储器7。

解复用部5将多层复用流解复用成第一层的编码流和第二层的编码流。除了接收其中基本视角图像而不是基本层图像被编码的编码流作为输入以外，第一层解码部6c的功能与使用图4所描述的BL解码部6a的功能相同。第一层解码部6c从第一层的编码流解码基本视角图像。除了接收其中编码了非基本视角图像而不是增强层图像的编码流作为输入以外，第二层解码部6d的功能与使用图4所描述的EL解码部6b的功能相同。第二层解码部6d从第二层的编码流解码非基本视角图像。共用存储器7存储层与层之间共用的信息。

当多视角图像数据被编码或解码并且视角之间的色域不同时，可以根据本公开内容的技术来控制视角之间的色域转换。因此，如在可分级视频编码情况下那样，可以在多视角编解码器中减小用于查找表的缓冲区大小。

(2)到流技术的应用

本公开内容中的技术还可以应用于流协议。在基于HTTP的动态自适应流(MPEG-DASH)中，例如，由流服务器预先制备具有相互不同的参数(例如分辨率)的多个编码流。然后，流服务器从多个编码流中动态地选择适当的用于流的数据并且递送所选择的数据。在这样的流协议中，可以根据本公开内容中的技术来控制编码流之间的色域的预测。

<7.结论>

上文已经参照图1至图23详细地描述了本公开内容中的技术的实施方式。在上述实施方式中，当使用将第一层的亮度分量、第一色度分量和第二色度分量的组合映射到第二层的对应于该组合的预测像素值的查找表、根据第一层的图像来预测与第一层具有不同色域(或动态范围)的第二层的图像时，使用第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙的查找表。因此，相比于使用三个颜色分量的粒度相互相同的查找表，减小了对查找表进行缓存的缓冲区的大小。在许多用途中，通过将色度分量的图像分辨率设置成比亮度分量的图像分辨率更低，并且仅允许色度分量的粒度粗糙而保持亮度分量的精细粒度，可以减小由于粒度的降低而引起的预测精度的劣化的影响。

在上述实施方式中，独立于亮度分量而对与第一色度分量的粒度和第二色度分量的粒度关联的查找表信息进行编码和解码。在该配置中，分辨率对于每个颜色分量而言是不同的，并且可以根据各种条件例如关于编码效率或存储器资源的限制的必要条件来灵活地调整缓冲区大小的减小程度。

在本说明书中所描述的术语“CU”、“PU”和“TU”是指包括与HEVC中的各个块关联的语法的逻辑单元。当仅集中于作为图像的一部分的各个块时，块可能会涉及术语“编码块(CB)”、“预测块(PB)”和“变换块(TB)”。CB通过对具有四叉树形状的编码树块(CTB)进行分层划分来形成。一个完整的四叉树对应于CTB并且对应于CTB的逻辑单元被称为编码树单元(CTU)。HEVC中的CTB和CB与H.264/AVC中的宏块的相似之处在于以CTB和CB作为编码处理的处理单元。然而，CTB和CB与宏块的不同之处在于CTB和CB的大小不固定(宏块的大小通常为16×16像素)。CTB的大小是从16×16像素的大小、32×32像素的大小、64×64像素的大小中选择的并且由编码流中的参数来指定。CB的大小可以根据CTB的划分深度而改变。

本文主要描述的是将各条信息(例如与色域预测(或DR预测)有关的信息)复用至编码流的报头并且将其从编码侧传送至解码侧。然而，传送这些条信息的方法不限于这样的示例。例如，这些条信息可以作为与编码比特流关联的单独数据来传送或记录而不被复用至编码流来传送或记录。此处，术语“关联”是指使包括在比特流中的图像(可以是图像的一部分例如片或块)和对应于当前图像的信息能够在解码时建立链路。即，该信息可以与图像(或比特流)在不同的传送路径上进行传送。该信息还可以与图像(或比特流)记录在不同的记录介质(或者相同记录介质中的不同记录区域)中。此外，信息和图像(或比特流)可以通过任意的单元例如多个帧、一个帧或帧内的一部分来彼此关联。

上文已经参照附图描述了本公开内容的优选实施方式，然而本公开内容当然不限于上述示例。本领域中的技术人员可以找到处于所附权利要求书的范围内的各种替选方案和修改方案，并且应当理解的是它们将自然地落入本发明的技术范围内。

另外，本公开内容的技术还可以被配置成如下。

(1)一种图像处理装置，包括：

预测部，所述预测部被配置成使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于该组合的预测像素值，

其中，所述预测部使用如下的所述查找表：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(2)根据(1)所述的图像处理装置，还包括：

解码部，所述解码部被配置成对与所述查找表中的所述第一色度分量的粒度和所述第二色度分量的粒度关联的查找表信息进行解码。

(3)根据(1)所述的图像处理装置，还包括：

查找表缓冲区，所述查找表缓冲区被配置成对基于由所述解码部解码后的查找表信息而设置的所述查找表进行缓存。

(4)根据(1)所述的图像处理装置，还包括：

编码部，所述编码部被配置成对与所述查找表中的所述第一色度分量的粒度和所述第二色度分量的粒度关联的查找表信息进行编码。

(5)根据(1)至(4)中任一项所述的图像处理装置，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，所述预测部使用如下的所述查找表：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(6)一种图像处理方法，包括：

使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于所述组合的预测像素值，

其中，通过使用如下的所述查找表来执行对所述第二层的所述图像的所述预测：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

另外，本公开内容中的技术还可以被配置成如下。

(1)一种图像处理装置，包括：

预测部，所述预测部被配置成使用查找表根据第一层的图像来预测与所述第一层具有不同动态范围的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于所述组合的预测像素值，

(2)根据(1)所述的图像处理装置，还包括：

(3)根据(1)所述的图像处理装置，还包括：

(4)根据(1)所述的图像处理装置，还包括：

(5)根据(1)至(4)中任一项所述的图像处理装置，

(6)一种图像处理方法，包括：

使用查找表根据第一层的图像来预测与所述第一层具有不同动态范围的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于所述组合的预测像素值，

另外，本公开内容中的技术还可以被配置成如下。

(1)一种图像处理装置，包括：

电路，所述电路被配置成使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于所述组合的预测像素值，

其中，所述电路使用如下的所述查找表：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(2)根据(1)所述的图像处理装置，

其中，所述电路还被配置成对与所述查找表中的所述第一色度分量的粒度和所述第二色度分量的粒度关联的查找表信息进行解码。

(3)根据(2)所述的图像处理装置，还包括：

查找表缓冲区，所述查找表缓冲区被配置成对基于由所述电路解码后的查找表信息而设置的所述查找表进行缓存。

(4)根据(1)所述的图像处理装置，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，所述电路使用如下的所述查找表：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(5)一种图像处理方法，包括：

通过图像处理装置的电路、使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于所述组合的预测像素值，

其中，通过所述电路使用如下的所述查找表来执行对所述第二层的所述图像的所述预测：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(6)根据(5)所述的图像处理方法，还包括：

对与所述查找表中的所述第一色度分量的粒度和所述第二色度分量的粒度关联的查找表信息进行解码。

(7)根据(6)所述的图像处理方法，还包括：

对基于由所述电路解码后的查找表信息而设置的所述查找表进行缓存。

(8)根据(5)所述的图像处理方法，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，使用如下的所述查找表来执行对所述第二层的所述图像的所述预测：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(9)一种非暂态计算机可读介质，存储：

第一层的编码图像数据；

与所述第一层具有不同色域的第二层的编码图像数据；以及

查找表，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于所述组合的预测像素值，

其中，由解码器使用所述查找表来根据所述第一层的图像预测所述第二层的图像，以及

其中，在所述查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(10)根据(9)所述的非暂态计算机可读介质，还存储：

与所述查找表中的所述第一色度分量的粒度和所述第二色度分量的粒度关联的查找表信息。

(11)根据(9)所述的非暂态计算机可读介质，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，在所述查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

(12)一种编码器，包括：

电路，所述电路被配置成对第一层的图像进行编码，对与所述第一层具有不同色域的第二层的图像进行编码，以及生成查找表，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于所述组合的预测像素值，

(13)根据(12)所述的编码器，

其中，所述电路还被配置成对与所述查找表中的所述第一色度分量的粒度和所述第二色度分量的粒度关联的查找表信息进行编码。

(14)根据(12)所述的编码器，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，使用如下的所述查找表来预测所述第二层的所述图像：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

附图标记列表

10、10v 图像编码装置(图像处理装置)

16 无损编码部

40 色域预测部

45 查找表缓冲区

60、60v 图像解码装置(图像处理装置)

62 无损解码部

90 色域预测部

95 查找表缓冲区

权利要求书(按照条约第19条的修改)

1.(修改)一种图像处理装置，包括：

电路，所述电路被配置成使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于该组合的预测像素值，

2.根据权利要求1所述的图像处理装置，

其中，所述电路还被配置成对与所述查找表中的所述第一色度分量的所述粒度和所述第二色度分量的所述粒度关联的查找表信息进行解码。

3.根据权利要求2所述的图像处理装置，还包括：

查找表缓冲区，所述查找表缓冲区被配置成对基于由所述电路解码后的所述查找表信息而设置的所述查找表进行缓存。

4.(删除)

5.(修改)一种图像处理方法，包括：

通过图像处理装置的电路、使用查找表根据第一层的图像来预测与所述第一层具有不同色域的第二层的图像，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于该组合的预测像素值，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，通过所述电路使用如下的所述查找表来执行对所述第二层的所述图像的所述预测：在该查找表中，所述第一色度分量的粒度和所述第二色度分量的粒度比所述亮度分量的粒度更粗糙。

6.根据权利要求5所述的图像处理方法，还包括：

对与所述查找表中的所述第一色度分量的所述粒度和所述第二色度分量的所述粒度关联的查找表信息进行解码。

7.根据权利要求6所述的图像处理方法，还包括：

对基于由所述电路解码后的所述查找表信息而设置的所述查找表进行缓存。

8.(删除)

9.(修改)一种非暂态计算机可读介质，存储：

第一层的编码图像数据；

与所述第一层具有不同色域的第二层的编码图像数据；以及

查找表，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于该组合的预测像素值，

10.根据权利要求9所述的非暂态计算机可读介质，还存储：

与所述查找表中的所述第一色度分量的所述粒度和所述第二色度分量的所述粒度关联的查找表信息。

11.(删除)

12.(修改)一种编码器，包括：

电路，所述电路被配置成对第一层的图像进行编码，对与所述第一层具有不同色域的第二层的图像进行编码，以及生成查找表，所述查找表将所述第一层的亮度分量、第一色度分量和第二色度分量的组合映射到所述第二层的对应于该组合的预测像素值，

13.根据权利要求12所述的编码器，

14.(删除)

Claims

1.一种图像处理装置，包括：

2.根据权利要求1所述的图像处理装置，

3.根据权利要求2所述的图像处理装置，还包括：

4.根据权利要求1所述的图像处理装置，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，所述电路使用如下的所述查找表：在该查找表中，所述第一色度分量的所述粒度和所述第二色度分量的所述粒度比所述亮度分量的所述粒度更粗糙。

5.一种图像处理方法，包括：

6.根据权利要求5所述的图像处理方法，还包括：

7.根据权利要求6所述的图像处理方法，还包括：

8.根据权利要求5所述的图像处理方法，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，使用如下的所述查找表来执行对所述第二层的所述图像的所述预测：在该查找表中，所述第一色度分量的所述粒度和所述第二色度分量的所述粒度比所述亮度分量的所述粒度更粗糙。

9.一种非暂态计算机可读介质，存储：

第一层的编码图像数据；

与所述第一层具有不同色域的第二层的编码图像数据；以及

10.根据权利要求9所述的非暂态计算机可读介质，还存储：

11.根据权利要求9所述的非暂态计算机可读介质，

12.一种编码器，包括：

13.根据权利要求12所述的编码器，

其中，所述电路还被配置成对与所述查找表中的所述第一色度分量的所述粒度和所述第二色度分量的所述粒度关联的查找表信息进行编码。

14.根据权利要求12所述的编码器，

其中，当色度格式指示所述第一色度分量的分辨率和所述第二色度分量的分辨率低于所述亮度分量的分辨率时，使用如下的所述查找表来预测所述第二层的所述图像：在该查找表中，所述第一色度分量的所述粒度和所述第二色度分量的所述粒度比所述亮度分量的所述粒度更粗糙。