CN104956679A - 图像处理装置和图像处理方法 - Google Patents

Abstract

[问题]为了使得能够从SDR图像恢复适于HDR图像的图像质量而不需要复杂的实现方式。[解决方案]提供了一种图像处理装置，包括解码部和预测部；该解码部被配置成对预测参数进行解码，预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，预测参数当根据第一层的图像对比第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用，以及该预测部被配置成使用由解码部解码的预测参数根据第一层的图像对第二层的图像进行预测。

Description

图像处理装置和图像处理方法

技术领域

本公开内容涉及图像处理装置和图像处理方法。

背景技术

为了将编码效率提高到大于H.264/AVC，目前正由作为ITU-T和ISO/IEC的联合标准化组织的JCTVC(视频编码联合协作团队)进行被称为HEVC(高效视频编码)的图像编码方案的标准化(例如，参见“HighEfficiency Video Coding(HEVC)text specification draft 10(for FDIS&Consent)”，Benjamin Bross、Woo-Jin Han、Gary J.Sullivan、Jens-RainerOhm、Gary J.Sullivan、Ye-Kui Wang和Thomas Wiegand，(JCTVC-L1003v4，2013年1月14日至23日)。

如在已知图像编码方案如MPEG2和AVC(高级视频编码)中，HEVC不仅提供单层编码而且提供可伸缩视频编码。HEVC可伸缩视频编码技术也被称为SHVC(可伸缩HEVC)(例如，参见Jianle Chen等人的“Description of scalable video coding technology proposal by Qualcomm(configuration 2)”(JCTVC-K0036，2012年10月10日至19日)。

附带地，可伸缩视频编码通常是对传输粗略图像信号的层和传输精细图像信号的层进行分层编码的技术。在可伸缩视频编码中分层的典型特性主要包括以下三种：

-空间可伸缩性：空间分辨率或图像大小被分层。

-时间可伸缩性：帧速率被分层。

-SNR(信噪比)可伸缩性：SN比被分层。

虽然尚未在标准中采用，但是还讨论了色域可伸缩性、位深度可伸缩性和色度格式可伸缩性。

此外，像素动态范围是影响图像质量的重要特性。例如，由许多已知的显示器支持的标准动态范围(SDR)图像的最大亮度为100尼特。另一方面，例如，由最新市场中可用的高端显示器支持的高动态范围(HDR)图像的最大亮度达到500尼特或1000尼特。相对于HDR图像，SDR图像被称为低动态范围(LDR)图像。非专利文献3提出了对传输LDR图像的层和传输用于恢复HDR图像的残差的层进行分层编码的技术。

引用列表

非专利文献

非专利文献1：Benjamin Bross、Woo-Jin Han、Gary J、Sullivan、Jens-Rainer Ohm、Gary J.Sullivan、Ye-Kui Wang、Thomas Wiegand、“High Efficiency Video Coding(HEVC)text specification draft 10(forFDIS&Consent)”(JCTVC-L1003_v4，2013年1月14日至23日)

非专利文献2：Jianle Chen等人的“Description of scalable videocoding technology proposal by Qualcomm(configuration 2)”(JCTVC-K0036，2012年10月10日至19日)

非专利文献3：David Touze等人，“High Dynamic Range VideoDistribution Using Existing Video Codecs”(第30届图像编码研讨会，2013年12月8日至11日)

发明内容

技术问题

然而，在非专利文献3提出的技术中，为了根据LDR图像恢复HDR图像，需要复杂的算法如在多个帧上对配置有像素值的滤波器抽头的滤波以及RGB区域中的伽马校正。很难说这种复杂的算法适于在其中认为通用性和可伸缩性是很重要的以及实现方式应尽可能简单的编码器和解码器中使用。

因此，希望提供一种在不需要复杂实现方式的情况下能够根据SDR图像恢复适于HDR图像的图像质量的机制。

问题的解决方案

根据本公开内容，提供了一种图像处理装置，包括：解码部，所述解码部被配置成对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及预测部，所述预测部被配置成使用由所述解码部解码的所述预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测。

图像处理装置通常被实施为对图像进行解码的图像解码装置。

根据本公开内容，提供了一种图像处理方法，包括：对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及使用所解码的预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测。

根据本公开内容，提供了一种图像处理装置，包括：预测部，所述预测部被配置成当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的图像进行预测；以及编码部，所述编码部被配置成对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数由所述预测部使用。

图像处理装置通常可以被实施为对图像进行编码的图像编码装置。

根据本公开内容，提供了一种图像处理方法，包括：当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的所述图像进行预测；以及对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数在预测中被使用。

发明的有益效果

根据本公开内容的技术，可以在不需要复杂实现方式的情况下根据SDR图像恢复适于HDR图像的图像质量。

附图说明

[图1]图1是示出可伸缩视频编码的说明性图示。

[图2]图2是示出视频格式的动态范围的说明性图示。

[图3]图3是示出根据实施方式的图像编码设备的示意性配置的框图。

[图4]图4是示出根据实施方式的图像解码设备的示意性配置的框图。

[图5]图5是示出图3中所示的EL编码部的配置的示例的框图。

[图6A]图6A示出预测模式候选。

[图6B]图6B是用于描述预测参数的语法的示例的第一说明性图示。

[图6C]图6C是用于描述预测参数的语法的示例的第二说明性图示。

[图7]图7是示出图5中所示的DR预测部的配置的示例的框图。

[图8]图8是用于描述用于DR预测的编码参数的示例的说明性图示。

[图9]图9是用于描述用作增益与偏移量的差值基础的参数值的说明性图示。

[图10]图10是用于描述每个片的增益和偏移量的编码目的的示例的说明性图示。

[图11]图11是用于描述加权预测相关参数的现有语法的说明性图示。

[图12]图12是用于描述根据像素值所属的段对预测参数的选择性使用的说明性图示。

[图13]图13是示意性地示出由参照图12所描述的技术表示的针对亮度分量的预测模型的曲线图。

[图14]图14是用于描述与参照图12所描述的技术相关联的语法的示例的说明性图示。

[图15]图15是用于描述根据像素所属的图像区域对预测参数的选择性使用的说明性图示。

[图16]图16是用于描述与参照图15所描述的技术相关联的语法的示例的说明性图示。

[图17A]图17A是用于描述对在JCTVC-O0194中提出的层间预测的处理成本进行抑制的技术的第一说明性图示。

[图17B]图17B是用于描述对在JCTVC-O0194中提出的层间预测的处理成本进行抑制的技术的第二说明性图示。

[图17C]图17C是用于描述对在JCTVC-O0194中提出的层间预测的处理成本进行抑制的技术的第三说明性图示。

[图18A]图18A是用于描述用来对层间预测的处理成本进行抑制的新的技术的第一说明性图示。

[图18B]图18B是用于描述用来对层间预测的处理成本进行抑制的新的技术的第二说明性图示。

[图18C]图18C是用于描述用来对层间预测的处理成本进行抑制的新的技术的第三说明性图示。

[图19]图19是用于描述与参照图18A至图18C所描述的技术相关联的语法的示例的说明性图示。

[图20]图20是示出根据实施方式的用于编码的示意性处理流程的示例的流程图。

[图21]图21是示出在增强层的编码处理中的DR预测处理流程的第一示例的流程图。

[图22]图22是示出在增强层的编码处理中的DR预测处理流程的第二示例的流程图。

[图23]图23是示出在增强层的编码处理中的DR预测处理流程的第三示例的流程图。

[图24]图24是示出在增强层的编码处理中的DR预测处理流程的第四示例的流程图。

[图25A]图25A是用于描述层间预测的处理过程的典型示例的说明性图示。

[图25B]图25B是用于描述新的层间预测的处理过程的示例的说明性图示。

[图26]图26是示出图4中所示的EL解码部的配置的示例的框图。

[图27]图27是示出图26中所示的DR预测部的配置的示例的框图。

[图28]图28是示出根据实施方式的在解码时的示意性处理流程的示例的流程图。

[图29]图29是示出在增强层的解码处理中的DR预测处理流程的第一示例的流程图。

[图30]图30是示出在增强层的解码处理中的DR预测处理流程的第二示例的流程图。

[图31]图31是示出在增强层的解码处理中的DR预测处理流程的第三示例的流程图。

[图32]图32是示出在增强层的解码处理中的DR预测处理流程的第四示例的流程图。

[图33]图33是示出电视的示意性配置的示例的框图。

[图34]图34是示出移动电话的示意性配置的示例的框图。

[图35]图35是示出记录/重现设备的示意性配置的示例的框图。

[图36]图36是示出图像捕获设备的示意性配置的示例的框图。

[图37]图37是示出使用可伸缩视频编码的第一示例的说明性图示。

[图38]图38是示出使用可伸缩视频编码的第二示例的说明性图示。

[图39]图39是示出使用可伸缩视频编码的第三示例的说明性图示。

[图40]图40是示出多视图编解码器的说明性图示。

[图41]图41是示出多视图编解码器的图像编码设备的示意性配置的框图。

[图42]图42是示出多视图编解码器的图像解码设备的示意性配置的框图。

具体实施方式

下文中，将参照附图详细描述本发明的优选实施方式。应注意，在本说明书和附图中，采用相同的附图标记表示具有基本上相同功能和结构的元件并且省略重复说明。

将按照下述顺序进行说明。

1. 概述

1-1. 可伸缩视频编码

1-2. 动态范围可伸缩性

1-3. 编码器的基本配置示例

1-4. 解码器的基本配置示例

2. 根据实施方式的预测模式的配置示例

2-1. 整体配置

2-2. DR预测部的详细配置

2-3. 语法的示例

3. 根据实施方式的编码处理流程

3-1. 示意性流程

3-2. DR预测处理

4. 根据实施方式的EL解码部的配置示例

4-1. 整体配置

4-2. DR预测部的详细配置

5. 根据实施方式的解码处理流程

5-1. 示意性流程

5-2. DR预测处理

6. 示例应用

6-1. 应用于各种产品

6-2. 可伸缩视频编码的各种用途

6-3. 其他

7. 结论

<1.概述>

[1-1.可伸缩视频编码]

在可伸缩视频编码中，对每层都包含一系列图像的多个层进行编码。基本层是首先被编码以表示最粗糙图像的层。在不对其他层的编码流进行解码的情况下可以对基本层的编码流进行独立解码。除了基本层以外的层为表示精细图像的被称为增强层的层。通过使用包含在基本层的编码流中的信息对增强层的编码流进行编码。因此，为了重现增强层的图像，对基本层和增强层两者的编码流进行解码。在可伸缩视频编码中处理的层的数目可以是等于2或大于2的任何数目。当三层或更多层被编码时，最下面的层是基本层以及剩余的层是增强层。对于较高增强层的编码流，包含在较低增强层的编码流和基本层的编码流中的信息可以用于编码和解码。

图1示出了经过可伸缩视频编码的三个层L1、L2和L3。层L1是基本层以及层L2和层L3是增强层。层L2与层L1的空间分辨率比为2：1，以及层L3与层L1的空间分辨率比为4：1。文中的分辨率比仅是示例。例如，可以使用非整数的分辨率比如1.5：1。层L1的块B1是基本层的图片中的编码处理的处理单元。层L2的块B2是其中与块B1的共同场景所投影的增强层的图片中的编码处理的处理单元。块B2与层L1的块B1对应。层L3的块B3是高于其中块B1和块B2的共同场景所投影的层的增强层的图片中的编码处理的处理单元。块B3与层L1的块B1和层L2的块B2对应。

[1-2.动态范围可伸缩性]

图1示出了经过可伸缩视频编码的三个层L1、L2和L3。层L1是基本层以及层L2和层L3是增强层。层L2与层L1的空间分辨率比为2：1，以及层L3与层L1的空间分辨率比为4：1。文中的分辨率比仅是示例。例如，可以使用非整数的分辨率比，如1.5：1。层L1的块B1是基本层的图片中的编码处理的处理单元。层L2的块B2是其中块B1的共同场景所投影的增强层的图片中的编码处理的处理单元。块B2与层L1的块B1对应。层L3的块B3是高于其中块B1和块B2的共同场景所投影的层的增强层的图片中的编码处理的处理单元。块B3与层L1的块B1和层L2的块B2对应。

图2是示出视频格式的动态范围的说明性图示。图2的竖直轴表示亮度[尼特]。自然界的最大亮度达到20000尼特，并且一般对象的最大亮度为例如约12000尼特。另一方面，图像传感器的动态范围的上限小于自然界的最大亮度，并且例如可以是4000尼特。由图像传感器生成的图像信号还以预定视频格式被记录。SDR图像的动态范围在附图中由采用对角线阴影化的条示出并且这个动态范围的上限是100尼特。因此，当所捕获的图像被记录为SDR图像时，例如通过一种方法如膝状曲线弯曲压缩法来大幅压缩亮度动态范围。当可由显示器表达的最大亮度为1000尼特时，在显示SDR图像时执行10次缩放。然而，显示图像的图像质量容易由于缩放而劣化。在附图中HDR图像的动态范围由粗框条示出并且这个动态范围的上限为800尼特。因此，当所捕获的图像被记录为HDR图像时，例如也通过一种方法如膝状曲线弯曲压缩法来压缩亮度动态范围。当由显示器表达的最大亮度为1000尼特时，在显示HDR图像时执行1.25次缩放。然而，由于缩放比率较小，所以显示图像的图像质量的劣化较小。

因此，当HDR图像被支持为视频格式时，优势就是可以给用户提供高质量的图像。此外，为了确保与支持SDR图像的设备的兼容性并且应对存储限制和各种传输带，在此实现被称为动态范围可伸缩性的可伸缩编码技术是有利的。在动态范围可伸缩性中，采用基本层传输SDR图像并且采用增强层传输用于根据SDR图像恢复HDR图像的信息。为了根据SDR图像恢复HDR图像，重要的是要保持尽可能简单地安装并且确保格式的通用性和可伸缩性。例如，希望在不需要在编码器和解码器中转换彩色区域的情况下独立地处理每个输入颜色分量，编码器和解码器不是用于通过后处理改进图像质量的专用图像处理引擎。鉴于此，根据本公开内容的技术通过使用模型来实现动态范围可伸缩性，该模型针对每个颜色分量使得SDR图像与HDR图像之间的关系近似于独立线性关系并且根据线性模型来根据SDR图像预测HDR图像。

[1-3.编码器的基本配置示例]

图3是示出根据实施方式的支持可伸缩视频编码的图像编码设备10的示意性配置的框图。参照图3，图像编码设备10包括基本层(BL)编码部1a、增强层(EL)编码部1b、公用存储器2以及多路复用部3。

BL编码部1a对基本层图像进行编码以生成基本层的编码流。EL编码部1b对增强层图像进行编码以生成增强层的编码流。公用存储器2对层之间通常使用的信息进行存储。多路复用部3对由BL编码部1a生成的基本层的编码流和EL编码部1b生成的至少一个增强层的编码流进行多路复用以生成多层复用流。

[1-4.解码器的基本配置示例]

图4是示出根据实施方式的支持可伸缩视频编码的图像解码设备60的示意性配置的框图。参照图4，图像解码设备60包括解复用部5、基本层(BL)解码部6a、增强层(EL)解码部6b以及公用存储器7。

解复用部5将多层复用流解复用至基本层的编码流和至少一个增强层的编码流中。BL解码部分6a对来自基本层的编码流的基本层图像进行解码。EL解码部6b对来自增强层的编码流的增强层图像进行解码。公用存储器7对层之间通常使用的信息进行存储。

在图3所示的图像编码设备10中，BL编码部1a对基本层进行编码的配置和EL编码部1b对增强层进行编码的配置是彼此类似的。由BL编码部1a生成或获取的一些参数和图像可以通过使用公用存储器2被缓存并且由EL编码部1b再使用。在接下来的章节中，将详细描述EL编码部1b的这种配置。

类似地，在图4所示的图像解码设备60中，BL解码部6a对基本层进行解码的配置和EL解码部6b对增强层进行解码的配置是彼此类似的。由BL解码部6a生成或获取的一些参数和图像可以通过使用公用存储器7被缓存并且由EL解码部6b再使用。此外，在接下来的章节中，将详细描述EL解码部6b的这种配置。

<2.实施方式中的EL解码部的配置示例>

[2-1.整体配置]

图5是示出图3中所示的EL编码部1b的配置的示例的框图。参照图5，EL编码部1b包括排序缓冲区11、相减部13、正交变换部14、量化部15、无损编码部16、累积缓冲区17、速率控制部18、逆量化部21、逆正交变换部22、相加部23、环路滤波器24、帧存储器25、选择器26和选择器27、帧内预测部30、帧间预测部35以及动态范围(DR)预测部40。

排序缓冲区11对包含在一系列图像数据中的图像进行排序。在根据编码处理根据GOP(图片组)结构对图像进行排序后，排序缓冲区11将经排序的图像数据输出至相减部13、帧内预测部30、帧间预测部35以及DR预测部40。

将从排序缓冲区11输入的图像数据以及由后述的帧内预测部30或帧间预测部35输入的预测图像数据提供给相减部13。相减部13对为预测图像数据与从排序缓冲区11输入的图像数据之差的预测误差数据进行计算并且将所计算的预测误差数据输出至正交变换部14。

正交变换部14对从相减部13输入的预测误差数据执行正交变换。例如，要由正交变换部14执行的正交变换可以是离散余弦变换(DCT)或卡-洛(Karhunen-Loeve)变换。在HEVC中，针对被称为变换单元(TU)的每个块执行正交变换。TU是通过对编码单元(CU)进行划分而形成的块。正交变换部14将由正交变换处理获取的变换系数数据输出至量化部15。

给量化部15提供从正交变换部14输入的变换系数数据和来自将在下面描述的速率控制部18的速率控制信号。量化部15在根据速率控制信号所确定的量化步长中对变换系数数据进行量化。量化部15将量化的变换系数数据(下文中称为量化数据)输出至无损编码部16和逆量化部21。

无损编码部16对从量化部15输入的量化数据进行无损编码处理以生成增强层的编码流。无损编码部16对当编码流被解码时参考的各种参数进行编码，并且将已编码参数插入到编码流的头部区域中。由无损编码部16编码的参数可以包括将在下面描述的有关帧间预测的信息和有关帧内预测的信息。与HDR图像预测(下文中称为DR预测)相关的预测参数可以进一步被编码。然后，无损编码部16将所生成的编码流输出至累积缓冲区17。

累积缓冲区17使用存储介质如半导体存储器暂时累积从无损编码部16输入的编码流。然后，累积缓冲区17根据传输路径的段以一定速率将累积的编码流输出至传输部(未示出)(例如，通信接口或外围设备的接口)。

速率控制部18对累积缓冲区17的自由空间进行监测。然后，速率控制部18根据累积缓冲区17上的自由空间生成速率控制信号，并且将所生成的速率控制信号输出至量化部15。例如，当累积缓冲区17上没有太多自由空间时，速率控制部18生成用于降低量化数据的比特率的速率控制信号。此外，例如，当累积缓冲区17上的自由空间足够大时，速率控制部18生成用于增大量化数据的比特率的速率控制信号。

逆量化部21、逆正交变换部22以及相加部23形成局部解码器。在量化部15所使用的量化步长中，逆量化部21对增强层的量化数据执行逆量化，从而恢复变换系数数据。然后，逆量化部21将恢复的变换系数数据输出至逆正交变换部22。

逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，从而恢复预测误差数据。如在正交变换中那样，对每个TU执行逆正交变换。然后，逆正交变换部22将恢复的预测误差数据输出至相加部23。

相加部23将从逆正交变换部22输入的恢复的预测误差数据和从帧内预测部30或帧间预测部35输入的预测图像数据相加，从而生成解码图像数据(增强层的重构图像)。然后，相加部23将所生成的解码图像数据输出至环路滤波器24和帧存储器25。

环路滤波器24包括用于改进图像质量的滤波器组。去块滤波器(DF)是降低当图像被编码时出现的块失真的滤波器。样本自适应偏移(SAO)滤波器是将自适应确定的偏移量值加到每个像素值的滤波器。自适应环路滤波器(ALF)是使经过SAO的图像与原始图像之间的误差最小化的滤波器。环路滤波器24对从相加部23输入的解码图像数据进行滤波并且将经滤波的解码图像数据输出至帧存储器25。

帧存储器25使用存储介质存储从相加部23输入的增强层的解码图像数据、从环路滤波器24输入的增强层的经滤波的解码图像数据、以及从DR预测部40输入的基本层的参考图像数据。

选择器26在滤波前从帧存储器25中读取用于帧内预测的解码图像数据并且将所读取的解码图像数据作为参考图像数据提供给帧内预测部30。另外，选择器26从帧存储器25中读取用于帧间预测的经滤波的解码图像数据并且将所读取的解码图像数据作为参考图像数据提供给帧间预测部35。当由帧内预测部30或帧间预测部35执行层间预测时，选择器26将基本层的参考图像数据提供给帧内预测部30或帧间预测部35。

在帧内预测模式下，选择器27将预测图像数据作为从帧内预测部30输出的帧内预测的结果输出至相减部13，并且还将有关帧内预测的信息输出至无损编码部16。此外，在帧间预测模式下，选择器27将预测图像数据作为从帧间预测部35输出的帧间预测的结果输出至相减部13，并且还将有关帧间预测的信息输出至无损编码部16。选择器27根据成本函数值的大小对帧间预测模式和帧内预测模式进行切换。

帧内预测部30基于原始图像数据和增强层的解码图像数据对HEVC的每个预测单元(PU)执行帧内预测处理。例如，帧内预测部30根据使用预定成本函数设置的预测模式中的每个候选模式评估预测结果。接着，帧内预测部30选择其中成本函数值为最小的预测模式，即，其中压缩比为最高的预测模式，作为最佳预测模式。帧内预测部30根据最佳预测模式生成增强层的预测图像数据。帧内预测部30可以包括帧内BL预测，帧内BL预测是设置在增强层中的预测模式中的一种类型的层间预测。在帧内BL预测中，与增强层的预测目标块对应的基本层中的同位置块用作参考块，并且基于参考块的解码图像生成预测图像。帧内预测部30可以包括为层间预测的一种类型的帧内残差预测。在帧内残差预测中，基于为基本层中的同位置块的参考块的预测误差图像对帧内预测的预测误差进行预测，并且生成已经预测并且加入预测误差的预测图像。帧内预测部30将与包括指示所选择的最佳预测模式的预测模式信息的帧内预测有关的信息、成本函数值以及预测图像数据输出至选择器27。

帧间预测部35基于原始图像数据和增强层的解码图像数据对HEVC的每个预测单元(PU)执行帧间预测处理。例如，帧间预测部35根据使用预定成本函数设置的预测模式中的每个候选模式评估预测结果。接着，帧间预测部35选择其中成本函数值为最小的预测模式，即，其中压缩比为最高的预测模式，作为最佳预测模式。帧间预测部35根据最佳预测模式生成增强层的预测图像数据。帧间预测部35可以包括为层间预测的一种类型的帧间残差预测。在帧间残差预测中，基于为基本层中的同位置块的参考块的预测误差图像对帧内预测的预测误差进行预测，并且生成已经预测并且加入预测误差的预测图像。帧间预测部35将与包括指示所选择的最佳预测模式的运动信息和预测模式信息的帧内预测有关的信息、成本函数值以及预测图像数据输出至选择器27。

DR预测部40根据基本层与增强层之间的分辨率比对由公用存储器2缓冲的基本层的图像(解码图像或者预测误差图像)进行上采样。此外，当增强层的图像的亮度动态范围大于基本层的图像的亮度动态范围时，DR预测部40将基本层的上采样图像的动态范围转换成与增强层的图像相同的动态范围。在本实施方式中，DR预测部40基于基本层与增强层之间的每个颜色分量的独立的线性关系的前提通过根据基本层的图像大致预测增强层的图像来转换动态范围。其动态范围已由DR预测部40转换的基本层的图像可以存储在帧存储器25中并且在由帧内预测部30或帧间预测部35进行层间预测时用作参考图像。此外，DR预测部40生成用于DR预测的若干参数。例如，由DR预测部40生成的参数包括指示预测模式的预测模式参数。此外，当自适应参数模式被选为预测模式时，由DR预测部40生成的参数包括每个颜色分量的预测参数，即，增益和偏移量。DR预测部40将预测模式参数和预测参数输出至无损编码部16。

图6A是示出当根据SDR图像预测HDR图像时预测模式的三个候选的表格。参照图6A，预测模式编号为“0”、“1”和“2”中任一个，并且有三种类型的预测模式候选。当预测模式编号为“0”时，如下述的公式(1)至公式(3)中根据每个颜色分量的SDR图像的像素值(Y_SDR、U_SDR、V_SDR)通过位移位(位增加)对HDR图像的像素值(Y_HDR、U_HDR、V_HDR)进行预测。在公式(1)至公式(3)中，n_shift指示与动态范围差值对应的位数。在本说明书中这个预测模式被称为位移位模式。

[数学公式1]

Y_HDR＝Y_SDR＜＜n_shift  (1)

U_HDR＝U_SDR＜＜n_shift  (2)

V_HDR＝V_SDR＜＜n_shift  (3)

当预测模式编号是“1”或“2”时，如下述的公式(4)至公式(6)中根据每个颜色分量的SDR图像的像素值使用增益g_i和偏移量o_i(ⅰ＝1、2、3)通过线性变换对HDR图像的像素值进行预测。

[数学公式2]

Y_HDR＝g₁·Y_SDR+o₁  (4)

U_HDR＝g₂·U_SDR+o₂  (5)

V_HDR＝g₃·V_SDR+o₃  (6)

当预测模式编号为“1”时，预先规定的固定值用作增益和偏移量的值。在本说明书中，其中预测模式编号为“1”的预测模式被称为固定参数模式。当预测模式编号为“2”时，自适应指定的可变值用作增益和偏移量的值。在本说明书中，其中预测模式编号为“2”的预测模式被称为自适应参数模式。当选择自适应参数模式时，六种类型的预测参数(三个增益和三个偏移量)被额外编码作为预测参数。

图6B和图6C是用于描述预测参数的语法的示例的说明性图示。图6B中第3行的“use_dr_prediction”是指示PPS(图片参数集)是否包括针对动态范围预测的语法的标志。图6B中第5行的“dr_pred_data()”是DR可伸缩性的语法的函数，并且其内容示于图6C中。图6C中第1行的“dr_prediction_model”是指示所选择的预测模式的参数，并且具有图6A中所示的“0”、“1”和“2”中任何一个值。在自适应参数模式(“dr_prediction_model＝2”)的情况下，在第3行中指定与增益的分母对应的位数(“numFractionBits”)，在第5行中指定第I个颜色分量上的增益的分子(“dr_prediction_gain[I]”)，以及在第6行中指定第I个颜色分量的偏移量(“dr_prediction_offset[I]”)。

此外，自适应参数模式是在三个预测模式中预期可以有最高预测准确度的模式。为了减少在自适应参数模式下以图片为单位被编码的预测参数的代码量，DR预测部40可以计算与预测参数的之前值的差值。在这种情况下，预测模式参数，以及预测参数的差值可以通过无损编码部16进行编码。

[2-2.DR预测部的详细配置]

图7是示出图5中所示的DR预测部40的配置的示例的框图。参照图7，DR预测部40包括上采样部41、预测模式设置部42、参数计算部43以及动态范围(DR)转换部44。

(1)上采样部

上采样部41根据基本层与增强层之间的分辨率比对从共用存储器2获取的基本层的图像进行上采样。更具体地，上采样部41根据分辨率比通过使用预限定的滤波器系数对基本层的图像进行滤波以对顺序扫描的内插像素中的每个内插像素的内插像素值进行计算。因此，用作参考块的基本层的图像的空间分辨率增大至等于增强层的图像的空间分辨率。上采样部41将上采样图像输出至参数计算部43和DR转换部44。当层具有相同分辨率时，可以略过上采样。在这种情况下，上采样部41可以在不改变的情况下将基本层的图像输出至参数计算部43和DR转换部44。

(2)预测模式设置部

预测模式设置部42将预先限定的或在用于DR预测的预测模式候选中动态选择的预测模式设置到DR预测部40。预测模式候选可以包括位移位模式、固定参数模式以及自适应参数模式。在实施方式中，预测模式设置部42可以以图片为单位设置最佳预测模式。在另一实施方式中，预测模式设置部42可以以片为单位设置最佳预测模式。一个图片可以包括一个或更多个片。此外，在另一实施方式中，预测模式设置部42可以以序列为单位设置预测模式，并且可以将多个图片和多个片上的相同的预测模式保持在一个序列中。预测模式设置部42可以对每个预测模式候选的编码效率或预测准确度进行评估并且选择最佳预测模式。预测模式设置部42将指示所设置的预测模式的预测模式参数输出至无损编码部16。

(3)参数计算部

当通过预测模式设置部42设置自适应参数模式时，或当通过预测模式设置部42对自适应参数模式的编码效率或预测准确度进行评估时，参数计算部43对在自适应参数模式中要被使用的预测参数进行计算。预测参数包括公式(4)至公式(6)中示出的增益g_i和偏移量o_i(ⅰ＝1、2、3)。文中，下标i是指三个类型的颜色分量中的每个颜色分量。增益g_i是基本层的像素值所乘以的系数。偏移量o_i是加入至基本层的像素值与增益g_i的乘积中的数值。例如，参数计算部43可以针对每个颜色分量计算能够使从上采样部41输入的基本层的上采样图像最接近从排序缓冲区11输入的原始图像的增益和偏移量。

此外，在一个修改示例中，当预测模式设置部42将自适应参数模式设置为预测模式时，参数计算部43可以计算与增益和偏移量的在前值的差值。此处，在前值可以例如是当针对每个图片计算增益和偏移量时针对紧接在前的图片所计算的值。在前值可以是当针对每个片计算增益和偏移量时针对在紧接在前图片的相同位置处的片(同位置片)所计算的值。当位移位模式被设置到紧接在前图片或与紧接在前图片的相同位置处的片时，参数计算部43可以使用与位移位量对应的增益和偏移量的值作为差值基础。此外，当固定参数模式被设置到紧接在前图片或与紧接在前图片的相同位置处的片时，参数计算部43可以使用增益和偏移量的预先限定的固定值作为差值基础。

参数计算部43将所计算的增益和偏移量(或其差值)输出至无损编码部16。增益的值可以包括分数值。在这方面，预测模式设置部42可以将增益的值分解成分母和分子并且将分母和分子(或其差值)输出至无损编码部16。此外，预测模式设置部42可以将增益的分母的值仅限制为二的整数次幂以提高编码效率并且降低计算成本。在这种情况下，以分母值2为底数的对数可以用作预测参数。

(4)DR转换部

DR转换部44根据由预测模式设置部42设置的预测模式将从上采样部41输入的基本层的上采样SDR图像的动态范围转换成与增强层的HDR图像相同的动态范围。例如，当设置位移位模式时，DR转换部44根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来计算预测像素值。此外，当设置固定参数模式时，DR转换部44根据公式(4)至公式(6)通过将基本层的上采样像素值乘以固定增益并且进一步与固定偏移量相加来计算预测像素值。此外，当设置自适应参数模式时，DR转换部44使用由参数计算部43自适应计算的增益和偏移量代替固定增益和固定偏移量来计算预测像素值。因此，生成用于层间预测的参考图像。DR转换部44将所生成的用于层间预测的参考图像(对应于HDR图像的具有大的动态范围的基本层的图像)存储到帧存储器25中。

[2-3.语法的示例]

(1)基本示例

从预测模式设置部42输出的预测模式参数和从参数计算部43输出的预测参数(每个颜色分量的增益和偏移量)可以通过图5中所示的无损编码部16被编码并且被插入到增强层的编码流中。图8是用于描述针对DR预测的编码参数的语法的示例的说明性图示。在此，示出了其中增益和偏移量的差值被编码的示例，但是即使在增益和偏移量被编码的情况下也可以应用此处描述的语法(可以删除参数名的头部中的“delta_”)。

例如，图8中所示的语法可以包括在PPS或片头部中。语法的第1行中的“dr_prediction_flag”是指示PPS或片头部是否包括针对DR预测扩展的语法的标志。第3行中的“dr_prediction_model”是指示由预测模式设置部42设置的预测模式的预测模式参数。如以上参照图6A所述，当预测模式参数等于“0”时，预测模式是位移位模式。当预测模式参数等于“1”时，预测模式是固定参数模式。当预测模式参数为“2”时，预测模式是自适应参数模式。本公开内容不限于该示例，并且可以使用任何其他类型的预测模式。当预测模式参数指示自适应参数模式时，对第5行和后续行中的预测参数进行编码。第10行中的“delta_luma_log2_gain_denom”是以亮度分量的增益的分母值2为底数的对数的与在前值的差值。第11行中的“delta_luma_gain_dr”是与亮度分量的增益的分子值的在前值的差值。第12行中的“delta_luma_offset_dr”是亮度分量的值的差值。此外，当第5行中的“luma_gain_dr_flag”指示零时，可以省略对亮度分量的预测参数的差值的编码。在这种情况下，在不变化(即，零差值)的情况下甚至在最新的图片或片中可以使用预测参数的在前值。第15行中的“delta_chroma_log2_gain_denom”是以色度分量的增益的分母值2为底数的对数的与之前值的差值。此外，图8中示出了其中使用两个色度分量的共用分母的示例，但是针对两个色度分量可以使用不同的分母，或者亮度分量的增益的分母和色度分量的增益的分母可以被标准化。第17行中的“delta_chroma_gain_dr[j]”是与第j个(j＝1、2)色度分量的增益的分子的之前值的差值。第18行中的“delta_chroma_offset_dr[j]”是与第j个色度分量的偏移量值的之前值的差值。此外，当第7行中的“chroma_gain_dr_flag”指示零时，可以省略对色度分量的预测参数的差值的编码。在这种情况下，甚至在最新的图片或片(即，零差值)中可以使用预测参数的在前值。

在图8的示例中，针对每个PPS或片头部，预测模式参数“dr_prediction_model”被编码。在这种情况下，即使当最新的图片或片的预测模式参数指示自适应参数模式时，预测模式参数不一定指示用作差值基础的紧接在前图片或在紧接在前图片的相同位置处的片的自适应参数模式。例如，当紧接在前预测模式参数指示位移位模式时，具有图8的语法中的前缀“delta_”的差值参数指示通过从预测参数的最新值(增益或偏移量)减去对应于位移位量的参数值来计算的差值。例如，当位移位量n_shift等于2时，对应增益的值是2²＝4。不论位移位量n_shift是多少，对应偏移量的值可以是零。此外，当紧接在前预测模式参数指示固定参数模式时，图8的语法中的差值参数指示通过从预测参数的最新值(增益或偏移量)减去固定参数值(增益g_i-fixed或偏移量o_i-fixed)来计算的差值。增益g_i-fixed和偏移量o_i-fixed可以在没有被编码的情况下预先被存储在编码器和解码器中。当紧接在前预测模式参数指示自适应参数模式时，图8的语法中的差值参数指示通过从预测参数最新值(增益或偏移量)减去紧接在前参数值(增益g_i-prev或偏移量o_i-prev)来计算的差值。图9示出了其中以表格形式描述的增益和偏移量的差值的基础。此外，例如，当在序列的头部存在之前值时，差值基础可以是零或者是固定参数值(增益g_{i_fixed}或偏移量o_{i_fixed})。

(2)以序列为单位对预测模式参数的编码

图8的第1行中的扩展标志“dr_prediction_flag”和第3行中的预测模式参数“dr_prediction_model”可以以序列为单位被编码并且被插入到SPS(序列参数集)中。在这种情况下，相同的预测模式保持在一个序列中。如果在一个序列中没有改变预测模式，那么如图9中所示因为不需要根据紧接在前预测模式切换差值基础，所以降低了差值计算复杂性，并且易于实施设备。此外，可以减少针对扩展标志和预测模式参数的代码量。

(3)以片或块为单位的预测参数的编码

参照图6B和图6C描述了用于DR预测的预测参数和预测模式参数被编码并且然后被插入到PPS中。但是，如果考虑使用根据图像的局部区域而不同的不同亮度动态范围的目的，以片或块为单位对预测参数和预测模式参数的差值进行编码是有利的。例如，在图10所示的示例中，基本层图像IM_B1被划分为四块T_B1、T_B2、T_B3和T_B4。增强层图像IM_E1被划分为四块T_E1、T_E2、T_E3和T_E4。这四块投影通过不同的相机成像的视频。例如，基本层图像IM_B1可以显示来自安装在四个位置的相机的复合视频的SDR版本，以及增强层图像IM_E1的块T_E2和T_E4可以显示与块T_B2和T_B4相同的复合视频的HDR版本。在这种情况下，可以以块为单位执行最佳DR预测并且通过对与块T_E2和块T_E4对应的片的片头部中的预测参数和预测模式参数进行编码来提高编码效率。

(4)针对加权预测的语法的再使用

图8中所示的DR预测的预测参数的语法类似于在HEVC中提出的与加权预测有关的参数的语法。加权预测是提出以改进应用效果如淡入和淡出的视频的帧间预测的预测准确度的技术。图11示出了对非专利文献1中的加权预测相关参数限定的语法。

图11的第2行中的“luma_log2_weight_denom”和第4行中的“delta_chroma_log2_weight_denom”指定在加权预测中使用的L1参考帧和L0参考帧共用的亮度分量和色度分量的权重分母的值。第5行至第20行指定L0参考帧的剩余加权预测相关参数。当可以进行双向预测时第21行至第38行指定L1参考帧的剩余加权预测相关参数。各参数的含义在非专利文献1中有所描述。

表1示出了图11中所示的加权预测相关参数与图8中所示的DR预测参数之间的映射的示例。如从表1中可知，除了图8中所示的DR预测参数中的扩展标志“dr_prediction_flag”和预测模式参数“dr_prediction_model”以外的所有参数可以与加权预测参数中的任何一个映射。例如，由于加权预测相关参数的值并不一定是指与之前值的差值，所以各参数的作用可以有所不同，但是要被映射的参数的形式是相同的。由于在DR预测中使用一个参考帧(基本层图像)，所以对应于参考帧数的自变数i和变量“num_ref_idx_l0_active_minus1”不是必要的。

【表1】

加权预测相关参数	DR预测参数
		-	dr_prediction_flag
-	dr_prediction_model

luma_log2_weight_denom	delta_luma_log2_gain_denom
		delta_chroma_log2_weight_denom	delta_chroma_log2_gain_denom
num_ref_idx_l0_active_minus1	不需要
		luma_weight_l0_flag[i]	luma_gain_dr_flag
chroma_weight_l0_flag[i]	chroma_gain_dr_flag
		delta_luma_weight_l0[i]	delta_luma_gain_dr
luma_offset_l0[i]	delta_luma_offset_dr
		delta_chroma_weight_l0[i][j]	delta_chroma_gain_dr[j]
delta_chroma_offset_l0[i][j]	delta_chroma_offset_dr[j]

在这方面，在实施方式中，例如，无损编码部16可以对具有与加权预测相关参数共用的语法的头部(片头部)内的DR预测的预测参数进行编码。因此，没有必要限定新的语法，降低了语法的冗余，并且容易实施编码器和解码器以及确保版本升级时的兼容性。扩展标志“dr_prediction_flag”和预测模式参数“dr_prediction_model”可以在SPS、PPS或片头部中被分别编码。此外，指示加权预测相关参数和DR预测参数中的一个是否已被编码的标志可以被附加地编码。

如淡入和淡出这样的效果通常同样地应用于基本层和增强层二者。因此，为了提高编码效率，再使用层之间的加权预测相关参数是有利的。当在增强层中再使用基本层的加权预测相关参数时，无损编码部16对特定于增强层的加权预测相关参数不进行编码。在这种情况下，在非专利文献1中限定的图11的语法不用于增强层中的加权预测。在这方面，通过使用相同的语法代替加权预测相关参数对DR预测的预测参数进行编码，可以有效地使用语法的限定。在这种情况下，可以不使用针对L1参考帧的参数的语法(图11中的第11至第38行)。与参考帧的数目(负1)对应的变量“num_ref_idx_l0_active_minus1”的值可以被认为是零(即，其动态范围必须被转换的基本层图像的数目为1)。

在另一实施方式中，甚至在增强层中可以对加权预测相关参数进行编码，并且一些参数可以用于DR预测。例如，图11中所示的由“luma_log2_weight_denom”和“delta_chroma_log2_weight_denom”限定的分母可以再用作亮度分量和色度分量的增益的分母。在这种情况下，无损编码部16对图8中所示的“delta_luma_log2_gain_denom”和“delta_chroma_log2_gain_denom”不进行编码。因此，可以减少DR预测另外所需的代码量并且提高编码效率。

(5)提供两个版本的预测参数

在先前的部分中，已经描述了当针对DR预测的预测参数再使用加权预测相关参数的语法时可以不使用针对L1参考帧的参数的语法。然而，在修改示例中，可以通过再使用L0参考帧的参数的语法和L1参考帧的参数的语法两者来设置DR预测的两个版本的预测参数。

例如，当由预测模式设置部42设置自适应参数模式时或当自适应参数模式的编码效率或预测准确度被评估时，DR预测部40的参数计算部43对第一版本的增益g_i和偏移量o_i(i＝1、2、3)进行计算。参数计算部43还对第二版本的增益g_i和偏移量o_i(i＝1、2、3)进行计算。然后，DR转换部44选择性地使用第一版本预测参数和第二版本预测参数以对增强层的图像进行预测，即，以生成用于层间预测的参考图像。此外，参数计算部43可以对与第一版本预测参数的之前值的差值和与第二版本预测参数的之前值的差值进行计算。无损编码部16对针对第一版本所计算的值(或其差值)进行编码作为与加权预测相关参数共享的语法的L0参考帧部分。另外，无损编码部16对针对第二版本所计算的值(或其差值)进行编码作为与加权预测相关参数共用的语法的L1参考帧部分。

将在下面描述用于切换用来预测增强层的图像的版本的两种示例性技术。

(5-1)第一种技术

在第一种技术中，根据其中像素值所属的段选择性地使用第一版本预测参数和第二版本预测参数。此处，不限制像素值的段但是像素值的段可以与亮度分量的明亮度和色度分量的鲜艳度对应。

图12是用于描述根据像素值所属的段对预测参数的选择性使用的说明性图示。图12示出了表示亮度分量(Y)的像素值范围和表示色度分量(Cb/Cr)的像素值范围的两个条，并且当位深度是8位时，范围是0至255。亮度分量的范围基于边界值被划分为下段Pb11和上段Pb12，并且在图12的示例中，亮度分量的边界值等于128(即，范围的中心)。然后，当(例如，上采样图像的)亮度分量的像素值属于段Pb11时，DR转换部44在根据像素值计算预测像素值时可以使用第一版本的预测参数。此外，当亮度分量的像素值属于段Pb12时，DR转换部44在根据像素值计算预测像素值时可以使用第二版本的预测参数。此外，色度分量的范围基于两个边界值被划分为内段Pb21和外段Pb22，并且在图12的示例中，色度分量的边界值等于64和191(即，范围的1/4值和范围的3/4值)。然后，当(例如，上采样图像的)色度分量的像素值属于段Pb21时，DR转换部44在根据像素值计算预测像素值时可以使用第一版本的预测参数。此外，当色度分量的像素值属于段Pb22时，DR转换部44在根据像素值计算预测像素值时可以使用第二版本的预测参数。

用于切换要被使用的版本的边界值可以是编码器和解码器二者预先已知的。另外，无损编码部16还可以对指定边界值的边界信息进行编码。例如，对于亮度分量，边界信息可以指示亮度分量的加入到范围中心的基准值(例如，当位深度是8位时为128)的调整值。此外，对于色度分量，边界信息可以指示色度分量的从等于范围的1/4的第一基准值中减去并且加入到等于范围的3/4的第二基准值的调整值。

图13是示意性地示出由第一种技术表示的针对亮度分量的预测模型的曲线图。图13的曲线图的水平轴与基本层的亮度分量的像素值对应，并且像素值由SDR表示。竖直轴与增强层的亮度分量的像素值对应，并且像素值由HDR表示。粗线指示使用自适应参数模式的增益和偏移量根据基本层的像素值所预测的增强层的预测像素值的轨迹。在轨迹中，在水平轴上的边界值Y_border的左段Pb11和右段P12具有不同的斜度和部段并且形成折线形状。相对于完全线性的(即，直线形的轨迹)预测模型，当可以使用绘制折线形状的轨迹的预测模型时，可以减小DR预测的预测误差并且改进编码效率。边界值Y_border可以等于基本层的亮度分量的像素值的最大值Y_max的一半(Y_max/2)，或者可以等于通过将调整值dY加至Y_max/2而获得的值。对调整值dY的额外编码是指边界值Y_border可以被自适应地控制。在这种情况下，可以由于DR预测的预测模型的灵活性的扩展而进一步提高预测准确度。

图14是用于描述与上面参照图12所描述的技术相关联的语法的示例的说明性图示。图14中所示的语法中的行号与图11中所示的加权预测相关参数的语法的行号对应。在加权预测相关参数的语法中，为了简明描述，从图14中省略针对L1参考帧的参数的一部分。参照图14，在第2行之后限定附加的标志“inter_layer_pred_flag”。当语法用于DR预测参数时，标志“inter_layer_pred_flag”设置为真。第13行之后的参数“delta_pix_value_luma[i]”是亮度分量的边界信息。作为示例，参数“delta_pix_value_luma[i]”指定亮度分量的加入到亮度分量的范围中心的基准值的调整值。第18行之后的参数“delta_pix_value_chroma[i][j]”是色度分量的边界信息。作为示例，参数“delta_pix_value_chroma[i][j]”指定色度分量的从等于范围的1/4的第一基准值中减去并且加入到等于色度分量的范围的3/4的第二基准值的调整值。图14所示的附加参数可以包含在片头部的扩展部中而不是片头部中。

(5-2)第二种技术

在第二种技术中，根据像素所属的图像区域选择性地使用第一版本预测参数和第二版本预测参数。文中，图像区域可以与通过对图片、片或块进行分割而形成的各区域中的每个区域对应。

图15是用于描述根据像素所属的图像区域对预测参数的选择性使用的说明性图示。参照图15，示出图像IM₂。例如，图像IM₂可以是从上采样部41输出的上采样图像。图像IM₂被分割成上部图像区域PA1和下部图像区域PA2。例如，DR转换部44可以在计算属于图像区域PA1的像素的预测像素值时使用第一版本预测参数，并且在计算属于图像区域PA2的像素的预测像素值时使用第二版本预测参数。

用于切换要被使用的版本的区域边界可以是编码器和解码器二者预先已知的(例如，将图片、片或块划分成两半的边界)。另外，无损编码部16还可以对指定区域边界的边界信息进行编码。例如，边界信息可以是指定在光栅扫描中的区域边界之后的第一LCU(图15中的LCU L_border)的信息。在区域边界之后的第一LCU可以由从图片、片或块的特定位置计数的LCU的数目来指定，或者可以由包括在第一LCU的头部中的标志来指定。在前者的情况下，特定位置可以是图片、片或块的头部或其中间点(例如，正好在LCU的总数的中间的位置)。在后一种情况下，可以自适应地控制用于通过向已编码参数添加仅1位标志来切换预测参数的两个版本的区域边界。在HEVC的现有规范中，对直接指示片的大小的大小信息不进行编码。因此，当片被解码(完成片的解码之前)时，解码器不识别片的大小。因此，在其中区域边界是固定的(例如，将片划分成两半的边界)情况下，对指定区域边界的边界信息的附加编码是有利的。

图16是用于描述与上面参照图15所描述的技术相关联的语法的示例的说明性图示。图16中所示的语法中的行号与图11中所示的加权预测相关参数的语法的行号对应。在加权预测相关参数的语法中，为了简明描述，从图16中省略针对L1参考帧的参数的一部分。参照图16，在第2行之后限定类似于图14中所示的标志的附加标志“inter_layer_pred_flag”。当语法用于DR预测参数时，标志“inter_layer_pred_flag”被设置为真。标志之后的参数“delta_num_ctb”是边界信息。参数“delta_num_ctb”是使用LCU的数目指示在光栅扫描顺序中的区域边界之后的第一LCU的信息。参数“delta_num_ctb”可以指示当LCU的数目是从图片、片或块的中间点计数时的正整数或负整数。图16中所示的附加参数还可以包含在片头部的扩展部中而不是片头部中。

如上所述，当可以使用根据图像区域而不同的版本的预测参数时，可以在每个图像区域中将最佳预测模型应用于DR预测。例如，在增益和偏移量的最佳组合中图像的亮区和暗区有所不同。在这种情况下，可以使用针对DR预测的每个区域被优化的增益和偏移量来减少DR预测的预测误差并且改进编码效率。对指定区域边界的边界信息的额外编码是指区域边界的位置可以被自适应地控制。在这种情况下，可以通过根据图像的内容移位区域边界来进一步减小DR预测的预测误差。

(5-3)每个颜色分量的控制

在修改示例中，本部分中描述的其中提供两个版本的预测参数的技术可以仅应用于亮度分量，并且可以不应用于色度分量。在这种情况下，对于色度分量，不管像素值属于哪段或像素属于哪个图像区域，使用可以在加权预测相关参数的语法中的L0参考帧的部分中被编码并且从对应部分中被解码的预测参数(通常，增益和偏移量)。色度分量的包括在L1参考帧的部分中的参数可以被设置成可以通过可变长度编码映射至最短代码字的任意值(例如，零)(该值在DR转换中可以忽略)。通常，由于色度分量对主观图像质量的贡献比亮度分量的贡献小，所以可以通过简化在DR转换中的色度分量的处理以及稍微牺牲图像质量来减少预测参数的代码量。

此外，当色度格式指示色度分量的分辨率等于亮度分量的分辨率时，可以对亮度分量和色度分量两者设置两个版本的预测参数，并且当色度格式指示色度分量的分辨率等于亮度分量的分辨率时，对色度分量可以设置仅一个版本的预测参数。例如，当色度格式是4：2：0时，在竖直方向和水平方向两者上色度分量的分辨率低于亮度分量的分辨率。当色度格式是4：2：2时，在水平方向上色度分量的分辨率低于亮度分量的分辨率。因此，在这种情况下，通过仅对色度分量执行更大致的预测，可以有效地降低预测参数的代码量。

(6)执行位移位的时序的控制

基本层图像和增强层图像在图像大小和位深度以及动态范围方面可以不同。当单独执行对三个特性的转换处理时，整个层间处理所需要的处理成本明显增加。鉴于此，JCTVC-O0194(“SCE4:Test 5.1results onbit-depth and color-gamut scalability,”Alireza Aminlou等人，2013年10月23日至11月1日)提出通过将位移位操作合并到上采样滤波操作中来抑制处理成本的技术。

图17A至图17C是用于描述在JCTVC-O0194中提出的技术的说明性图示。在图17A的示例中，基本层的图像大小为2K(例如，1920×1080像素)，动态范围为SDR，以及位深度为8位。增强层的图像大小为4K(例如，3840×2160像素)，动态范围为HDR，以及位深度为10位。在层间预测中，上采样部41执行位移位和上采样(步骤S1)。例如，在滤波操作中，添加两项可以对应于1位左移位，添加四项可以对应于2位左移位。因此，可以基本上在上采样的同时执行位移位。在此之后，DR转换部44对从上采样部41输入的上采样图像的动态范围进行转换(步骤S3)。在此，动态范围的转换可以是类似于加权预测的线性转换。

在图17B的示例中，基本层的图像大小为2K，动态范围是SDR，以及位深度为8位。增强层的图像大小为2K，动态范围为HDR，以及位深度为10位。在层间预测中，因为层具有相同的分辨率，所以上采样部分41仅执行位移位(步骤S2)。在此之后，DR转换部44对从上采样部41输入的上采样图像的动态范围进行转换(步骤S3)。

在图17C的示例中，基本层的图像大小为2K，动态范围为SDR，以及位深度为8位。增强层的图像大小为4K，动态范围为SDR，以及位深度为10位。在层间预测中，上采样部41执行位移位和上采样(步骤S1)。因为层具有相同的动态范围，所以DR转换部44不执行DR转换。

在图17A和图17C的情况下，同时执行上采样和位移位，并且因此，与其中单独执行上采样和位移位的情况相比，抑制了整个层间处理所需的处理成本。另一方面，在图17B的情况下，虽然DR转换包括类似于位移位的操作，但是由于位移位是独立于DR转换执行的，所以在处理成本方面有改进的余地。

鉴于此，在实施方式中，DR转换部44能够在DR转换的操作中一起执行位移位。特别地，当假设再使用针对加权预测的语法时，DR转换的操作可以表示如下：

[数学公式3]

$X_{k,\mathrm{Pr}ed}=\frac{w_k}{2^{n_k}}{X}_k+o_k---\left(7\right)$

在公式(7)中，X_k是转换前的第k个颜色分量的像素值，以及X_k,Pred是转换后的第k个颜色分量的像素值。w_K、n_K和o_K分别是应用于第k个颜色分量的权重(增益)的分子、权重的分母的二进制数对数和偏移量。此处，当假设层之间的位深度差为m位时，其中DR转换部44在DR转换的同时执行m位位移位(左移位)的操作可以表示如下：

[数学公式4]

$X_{k,\mathrm{Pr}ed}=\frac{w_k}{2^{(n_k-m)}}{X}_k+(o_k<<m)---\left(8\right)$

当可以同时执行位移位和上采样以及可以同时执行位移位和DR转换时，编码器和解码器(或具有不同实现方式的解码器)在执行位移位的时序方面可能有所不同。例如，虽然编码器在DR转换的同时执行位移位，但是如果解码器在上采样的同时执行位移位，那么层间预测的准确度降低。鉴于此，在本实施方式中，无损编码部16还对用于控制位移位的执行时序的位移位控制标志进行编码。例如，位移位控制标志是指示当增强层的位深度大于基本层的位深度时用于层间预测的位移位是在DR转换的同时被执行还是在上采样的同时被执行的控制参数。

图18A至图18C是用于描述用来对层间预测的处理成本进行控制的新的技术的说明性图示。在图18A的示例中，基本层和增强层的特性与图17A中的基本层和增强层的特性是相同的。此处，位移位控制标志指示“1”(在加权预测的同时执行位移位)。在这种情况下，在层间预测中，上采样部41在不执行用于增大位深度的位移位的情况下执行上采样(步骤S4)。在此之后，如在公式(8)中，DR转换部44在对从上采样部41输入的上采样图像的动态范围进行转换时执行位移位(步骤S6)。

在图18B的示例中，基本层和增强层的特性与图17B中的基本层和增强层的特性是相同的。在此，位移位控制标志指示“1”(在加权预测的同时执行位移位)。在这种情况下，在层间预测中，上采样部41既不执行位移位也不执行上采样。如在公式(8)中，DR转换部44在对基本层的图像的动态范围进行转换时执行位移位(步骤S6)。

在图18C的示例中，基本层和增强层的特性与图17C中的基本层和增强层的特性是相同的。在此，位移位控制标志指示“0”(在上采样的同时执行位移位)。在这种情况下，在层间预测中，上采样部41执行位移位和上采样(步骤S5)。因为层具有相同的动态范围，所以DR转换部44不执行DR转换。

如果将图17A至图17C与图18A至图18C进行比较，那么应理解，在与其中图像大小在层之间不改变的第二示例(图17B和图18B)关联的新技术中删除处理步骤。此外，在新技术中，位移位控制标志的存在使得可以自适应地切换位移位执行定时并且最小化DR预测的处理步骤的数量。

图19是用于描述与上面参照图18A至图18C所描述的技术相关联的语法的示例的说明性图示。图19中所示的语法中的行号与图11中所示的加权预测相关参数的语法的行号对应。为了简明描述，在加权预测相关参数的语法中，从图19中省略针对L1参考帧的参数的一部分。参照图19，在第1行之后限定当层ID不为零时(即，当对应层是增强层时)被编码的两个已编码参数“weighted_prediction_and_bit_shift_luma_flag”和“weighted_prediction_and_bit_shift_chroma_flag”。其中，前者是用于控制亮度分量的位移位执行定时的位移位控制标志。后者是用于控制色度分量的位移位执行定时的位移位控制标志。当在进行DR转换的同时执行位移位时，标志被设置为真，以及当在进行上采样的同时执行位移位时，标志被设置为假。由于根据每个颜色分量将图像大小和位深度限定为不同，所以通过在亮度分量和色度分量上分别对位移位控制标志进行编码，可以根据特性的限定来灵活控制位移位执行定时。本公开内容不限于该示例，并且单个位移位控制标志可以针对亮度分量和色度分量两者被编码。此外，当层具有相同的位深度时，可以省略对位移位控制标志的编码，或者标志可以被设置为特定值(例如，零)。此外，甚至当图19中的语法是用于层内的帧间预测中的加权预测而不是层间预测时，也可以省略对位移位控制标志的编码，或者标志可以被设置为特定值(例如，零)。

<3.根据实施方式的编码处理流程>

[3-1.示意性流程]

图20是示出根据实施方式的用于编码的示意性处理流程的示例的流程图。为了简明描述，从图20中省略没有直接关系到根据本公开内容的技术的处理步骤。

参照图20，BL编码部1a首先执行基本层的编码处理以生成基本层的编码流(步骤S11)。

共用存储器2对基本层的在基本层的编码处理中生成的图像(解码图像和预测误差图像中的一个或两个)和所述层之间再使用的参数进行缓冲(步骤S12)。例如，所述层之间再使用的参数可以包括加权预测相关参数。

接下来，EL编码部1b执行增强层的编码处理以生成增强层的编码流(步骤S13)。在此处所执行的增强层的编码处理中，由共用存储器2缓冲的基本层的图像通过DR预测部40进行上采样，以使得动态范围从SDR转换成HDR。然后，DR转换后的基本层的图像可以在层间预测中用作参考图像。

然后，多路复用部3对由BL编码部1a生成的基本层的编码流和由EL编码部1b生成的增强层的编码流进行多路复用以生成多层多路复用流(步骤S14)。

[3-2.DR预测处理]

(1)第一示例

图21是示出在增强层的编码处理中的DR预测处理流程的第一示例的流程图。此处所描述的DR预测处理以图片或片为单位被重复。

参照图21，首先，上采样部41根据基本层与增强层之间的分辨率比对从共用存储器2获得的基本层的图像进行上采样(步骤S20)。

然后，预测模式设置部42将用于DR预测的预测模式候选中的一个预测模式设置到图片(或片)(步骤S22)。预测模式设置部42可以设置预定的预测模式，或者可以设置基于关于每个预测模式候选的预测准确度或编码效率的评估而动态选择的预测模式。

然后，无损编码部16对指示由预测模式设置部42设置的预测模式的预测模式参数进行编码(步骤S25)。例如，由无损编码部16编码的预测模式参数被插入到PPS或片头部中。

随后的处理根据由预测模式设置部42设置的预测模式分叉(步骤S26和步骤S28)。例如，当设置的预测模式是自适应参数模式时，参数计算部43对要被用于DR预测(转换)的增益和偏移量的最佳值进行计算(步骤S30)。参数计算部43还可以针对所计算的增益和偏移量的最佳值计算与之前值的差值。然后，无损编码部16对由参数计算部43计算的增益和偏移量(或其差值)进行编码(步骤S32)。例如，由无损编码部16编码的预测参数被插入到PPS或片头部中。

当设置的预测模式是自适应参数模式或固定参数模式时，DR转换部44根据公式(4)至公式(6)通过将基本层的上采样像素值与自适应计算的增益或固定增益相乘并且进一步加上偏移量来计算每个像素的预测像素值(步骤S34)。

当设置的预测模式是位移位模式时，DR转换部44根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来计算每个像素的预测像素值(步骤S36)。

当计算处理目标的片或图片内的所有预测像素值时，DR转换部44将已经进行DR转换的基本层的图像、即用作HDR图像的预测图像存储在帧存储器25中(步骤S38)。

在此之后，当存在未处理的下一个图片或片时，处理返回到步骤S20，并且对下一个图片或片重复执行上述处理(步骤S40)。

(2)第二示例

图22是示出在增强层的编码处理中的DR预测处理流程的第二示例的流程图。

参照图22，首先，预测模式设置部42将用于DR预测的预测模式候选之中的一个预测模式设置在序列中(步骤S21)。然后，无损编码部16对指示由预测模式设置部42设置的预测模式的预测模式参数进行编码(步骤S23)。由无损编码部16编码的预测模式参数被插入到SPS中。

对序列内的每个图片或片重复执行步骤S24至步骤S40的处理。

上采样部41根据基本层与增强层之间的分辨率比、对从共用存储器2获取的基本层的图像进行采样(步骤S24)。

此外，处理根据由预测模式设置部42设置的预测模式分叉(步骤S26和步骤S28)。例如，当设置的预测模式是自适应参数模式时，参数计算部43对要被用于DR预测(转换)的增益和偏移量的最佳值进行计算(步骤S30)。参数计算部43还可以计算与所计算的增益和偏移量的最佳值的之前值的差值。然后，无损编码部16对由参数计算部43计算的增益和偏移量(或其差值)进行编码(步骤S32)。例如，由无损编码部16编码的预测参数被插入到PPS或片头部中。

当设置的预测模式是自适应参数模式或固定参数模式时，DR转换部44根据公式(4)至公式(6)通过将基本层的上采样像素值与自适应计算的增益或固定增益相乘并且进一步加上偏移量来计算每个像素的预测像素值(步骤S34)。

当设置的预测模式是位移位模式时，DR转换部44根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来计算每个像素的预测像素值(步骤S36)。

当处理目标的片或图片内的所有预测像素值被计算时，DR转换部44将已经进行DR转换的基本层的图像，即用作HDR图像的预测图像，存储在帧存储器25中(步骤S38)。

在此之后，当序列内存在未处理的图片或片时，处理返回到步骤S24，并且对下一个图片或片重复执行上采样和DR转换(步骤S40)。此外，当对序列内的所有图片或所有片的DR转换结束时，还确定是否存在下一个序列(步骤S42)。然后，当存在下一个序列时，处理返回到步骤S21，并且对下一个序列重复执行上述处理。

(3)第三示例

图23是示出在增强层的编码处理中的DR预测处理流程的第三示例的流程图。

参照图23，首先，预测模式设置部42将用于DR预测的预测模式候选之中的一个预测模式设置在序列中(步骤S21)。然后，无损编码部16对指示由预测模式设置部42设置的预测模式的预测模式参数进行编码(步骤S23)。由无损编码部16编码的预测模式参数被插入到SPS中。

对序列内的每个片重复执行步骤S24至步骤S41的处理。

上采样部41根据基本层与增强层之间的分辨率比对从共用存储器2获取的基本层的图像进行采样(步骤S24)。此处，上采样滤波操作可以包括位移位或者可以不包括位移位。

此外，处理根据由预测模式设置部42设置的预测模式分叉(步骤S26和步骤S28)。例如，当设置的预测模式是自适应参数模式时，参数计算部43对要被用于DR预测(转换)的增益和偏移量的最佳值进行计算(步骤S30)。参数计算部43还可以对与所计算的增益和偏移量的最佳值的之前值的差值进行计算。

当设置的预测模式是自适应参数模式或固定参数模式时，DR转换部44根据公式(4)至公式(6)通过将基本层的上采样像素值与自适应计算的增益或固定增益相乘并且进一步加上偏移量来计算每个像素的预测像素值(步骤S34)。当在步骤S24中未执行位移位时，此处对预测像素值的计算可以包括位移位。

当设置的预测模式是位移位模式时，DR转换部44根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来计算每个像素的预测像素值(步骤S36)。

当处理目标的片内的所有预测像素值被计算时，DR转换部44将已经进行DR转换的基本层的图像，即用作HDR图像的预测图像，存储在帧存储器25中(步骤S38)。

在此之后，当序列内存在未处理的片时，处理返回到步骤S24，并且对下一个片重复执行上采样和DR转换(步骤S41)。此外，当对序列内的所有片的DR转换结束时，还确定是否存在下一个序列(步骤S42)。然后，当存在下一个序列时，处理返回到步骤S21，并且对下一个序列重复执行上述处理。

(4)第四示例

图24是示出在增强层的编码处理中的DR预测处理流程的第四示例的流程图。

参照图24，首先，预测模式设置部42将用于DR预测的预测模式候选之中的一个预测模式设置在序列中(步骤S21)。然后，无损编码部16对指示由预测模式设置部42设置的预测模式的预测模式参数进行编码(步骤S23)。由无损编码部16编码的预测模式参数被插入到SPS中。

对序列内的每个片重复执行步骤S24至步骤S41的处理。

上采样部41根据基本层与增强层之间的分辨率比对从共用存储器2获取的基本层的图像进行采样(步骤S24)。此处，上采样滤波操作可以包括位移位或者可以不包括位移位。

此外，处理根据由预测模式设置部42设置的预测模式分为两部分(步骤S26和步骤S28)。例如，当设置的预测模式是自适应参数模式时，参数计算部43对要被用于DR预测(转换)的第一版本的增益和偏移量进行计算(步骤S31a)。同样地，参数计算部43对第二版本的增益和偏移量进行计算(步骤S31b)。第一版本和第二版本中的每个版本可以包括要被用于像素值范围内的第一段和第二段的最佳值集。替代地，第一版本和第二版本中的每个版本可以包括要被用于第一图像区域和第二图像区域的最佳值集。参数计算部43还可以对第一版本和第二版本计算增益和偏移量中的每个与之前值的差值。然后，无损编码部16对针对第一版本的预测参数和第二版本的预测参数(或其差值)进行编码作为加权预测相关参数的语法的L0参考帧部分和L1参考帧部分(步骤33b)。由无损编码部16编码的这些预测参数被插入到片头部中。当上述的位移位控制标志被用在语法中时，在此已编码的位移位控制标志还可以被插入到片头部中。

除了可以根据像素值所属的段或像素所属的图像区域在步骤S34中执行预测参数的版本切换以外，随后的处理流程可以类似于上面参照图23所描述的第三示例。此外，在步骤S33b中，例如，无损编码部16可以另外对指定用于切换预测参数的版本的段之间的边界值或图像区域之间的区域边界的边界信息进行编码，以例如包括在片头部或片头部的扩展中。

(5)处理过程的修改示例

根据现有技术，在层间处理中，在执行上采样(和视需要执行位移位)之后执行DR转换。图21至图24的流程图也按照该处理过程。然而，由于DR转换的处理成本与处理目标的像素数成比例，所以就处理成本而言很难说对由上采样增加的像素执行DR转换是最优的。此外，当在位移位之后对具有扩展的位深度的像素执行DR转换时，指的是增大到大于DR转换操作所需的处理资源(例如，寄存器的所需位数)。在这方面，在修改示例中，当增强层的空间分辨率(图像大小)大于基本层的空间分辨率时，DR预测部40可以通过对基本层图像的动态范围进行转换并且然后对经转换的图像进行上采样来对增强层图像进行预测。

图25A是用于描述层间预测的处理过程的典型示例的说明性图示。图25A示出类似于图17A的处理步骤的两个处理步骤作为示例。首先，包括在基本层的片数据中的图像的图像大小和位深度(例如，2K/8位)可以通过上采样和位移位增大(例如，4K/10位)。然后，根据预测参数将上采样图像的动态范围转换成增强层的更大的动态范围。

图25B是根据修改示例的用于描述新的层间预测的处理过程的示例的说明性图示。在本修改示例中，首先，DR预测部40根据预测参数将包括在基本层的片数据中的图像的动态范围转换成增强层的更大的动态范围。然后，DR预测部40通过上采样将已经进行DR转换的图像的图像大小(例如，2K)增大(例如，至4K)。在DR转换的同时执行位移位，或者可以在上采样的同时执行位移位。位移位执行定时可以由位移位控制标志指定。根据新的处理过程，位深度和DR转换的处理目标的像素数减少到小于现有处理过程中的位深度和像素数，并且因此进一步抑制了整个层间处理的处理成本。

<4.根据实施方式的EL解码部的配置示例>

[4-1.整体配置]

图26是示出图4中所示的EL解码部6b的配置的示例的框图。参照图26，EL解码部6b包括累积缓冲区61、无损解码部62、逆量化部63、逆正交变换部64、相加部65、环路滤波器66、排序缓冲区67、数字至模拟(D/A)转换部68、帧存储器69、选择器70和选择器71、帧内预测部80、帧间预测部85、DR预测部90。

累积缓冲区61使用存储介质暂时累积从多路复用部5输入的增强层的编码流。

无损解码部62根据在编码时所使用的编码方案对来自从累积缓冲区61输入的增强层的编码流的增强层的量化数据进行解码。无损解码部62对插入到编码流的头部区域中的信息进行解码。由无损解码部62解码的信息可以包括例如有关帧内预测的信息和有关帧间预测的信息。还可以在增强层中对DR预测的参数进行解码。无损解码部62将量化数据输出至逆量化部63。无损解码部62将有关帧内预测的信息输出至帧内预测部80。无损解码部62将有关帧间预测的信息输出至帧间预测部85。无损解码部62将用于DR预测的参数输出至DR预测部90。

逆量化部63在编码时所使用的量化步长中对从无损解码部62输入的量化数据进行逆量化以恢复增强层的变换系数数据。逆量化部63将恢复的变换系数数据输出至逆正交变换部64。

逆正交变换部64根据在编码时使用的正交变换方案对从逆量化部63输入的变换系数数据执行逆正交变换以生成预测误差数据。逆正交变换部64将所生成的预测误差数据输出至相加部65。

相加部65将从逆正交变换部64输入的预测误差数据和从选择器71输入的预测图像数据相加以生成解码图像数据。然后，相加部65将所生成的解码图像数据输出至环路滤波器66和帧存储器69。

如在EL编码部1b的环路滤波器24中，环路滤波器66包括降低块失真的去块滤波器、向每个像素值加入偏移量值的样本自适应偏移滤波器、以及使与原始图像的误差最小化的自适应环路滤波器。环路滤波器66对从相加部65输入的解码图像数据进行滤波并且将经滤波的解码图像数据输出至排序缓冲区67和帧存储器69。

排序缓冲区67对从环路滤波器66输入的图像进行排序以生成按时间顺序排列的一系列图像数据。然后，排序缓冲区67将所生成的图像数据输出至D/A转换部68。

D/A转换部68将从排序缓冲区67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出至例如连接到图像解码设备60的显示器(未示出)来显示增强层的图像。

帧存储器69使用存储介质对从相加部65输入的滤波前的解码图像数据、从环路滤波器66输入的经滤波的解码图像数据、以及从DR预测部90输入的基本层的参考图像数据进行存储。

选择器70根据由无损解码部62获取的模式信息针对图像中的每个块在帧内预测部80与帧间预测部85之间对来自帧存储器69的图像数据的输出目的地进行切换。例如，当指定帧内预测模式时，选择器70将从帧存储器69提供的滤波前的解码图像数据作为参考图像数据输出至帧内预测部80。当指定帧间预测模式时，选择器70将经滤波的解码图像数据作为参照图像数据输出至帧间预测部85。当在帧内预测部80或帧间预测部85中执行层间预测时，选择器70将基本层的参考图像数据提供给帧内预测部80或帧间预测部85。

选择器71根据由无损解码部62获取的模式信息在帧内预测部80与帧间预测部85之间对要被提供给相加部65的预测图像数据的输出源进行切换。例如，当指定帧内预测模式时，选择器71将从帧内预测部80输出的预测图像数据提供给相加部65。当指定帧间预测模式时，选择器71将从帧间预测部85输出的预测图像数据提供给相加部65。

帧内预测部80基于与从无损解码部62输入的帧内预测有关的信息和来自帧存储器69的参考图像数据来执行增强层的帧内预测处理以生成预测图像数据。针对每个PU执行帧内预测处理。当帧内BL预测或帧内残差预测被指定为帧内预测模式时，帧内预测部80使用与预测目标块对应的基本层中的同位置块作为参考块。在帧内BL预测的情况下，帧内预测部80基于参考块的解码图像生成预测图像。在帧内残差预测的情况下，帧内预测部80基于参考块的预测误差图像对帧内预测的预测误差进行预测并且生成向其中加入所预测的预测误差的预测图像。帧内预测部80将所生成的增强层的预测图像数据输出至选择器71。

帧间预测部85基于与从无损解码部62输入的帧间预测有关的信息和来自帧存储器69的参考图像数据来执行增强层的帧间预测处理(运动补偿处理)以生成预测图像数据。针对每个PU执行帧间预测处理。当帧间残差预测被指定为帧间预测模式时，帧间预测部85使用与预测目标块对应的基本层中的同位置块作为参考块。在帧间残差预测的情况下，帧间预测部85基于参考块的预测误差图像对帧间预测的预测误差进行预测并且生成向其中加入所预测的预测误差的预测图像。帧间预测部85将所生成的增强层的预测图像数据输出至选择器71。

DR预测部90根据基本层与增强层之间的分辨率比对由共用存储器7缓冲的基本层的图像(解码图像或预测误差图像)进行上采样。此外，当增强层的图像的亮度动态范围大于基本层的图像的亮度动态范围时，DR预测部90将基本层的上采样图像的动态范围转换成与增强层的图像的动态范围相同。在本实施方式中，DR预测部90基于基本层与增强之间的每个颜色分量的独立的线性关系的前提通过根据基本层的图像大致预测增强层的图像来转换动态范围。其动态范围通过DR预测部90已被转换的基本层的图像可以被存储在帧存储器69中并且用作通过帧内预测部80或帧间预测部85进行的层间预测中的参考图像。DR预测部90从无损解码部62获取指示用于DR预测的预测模式的预测模式参数。此外，当预测模式参数指示自适应参数模式时，DR预测部90还从无损解码部62获取预测参数(或者与之前值的差)。然后，DR预测部90使用从无损解码部62获取的参数根据基本层的上采样图像对增强层的图像进行预测。

[4-2.DR预测部的详细配置]

图27是示出图26中所示的DR预测部90的配置的示例的框图。参照图27，DR预测部90包括上采样部91、预测模式设置部92、参数设置部93以及DR转换部94。

(1)上采样部

上采样部91根据基本层与增强层之间的分辨率比对从共用存储器7获取的基本层的图像进行上采样。更特别地，上采样部91根据分辨率比通过使用预限定的滤波器系数对基本层的图像进行滤波来对顺序扫描的内插像素中的每个内插像素的内插像素值进行计算。因此，用作参考块的基本层的图像的空间分辨率增大至等于增强层的图像的空间分辨率。上采样部91将上采样图像输出至DR转换部94。当层具有相同分辨率时，可以略过上采样。在这种情况下，上采样部41可以在不改变的情况下将基本层的图像输出至参数计算部43和DR转换部44。

(2)预测模式设置部

预测模式设置部92对DR预测部90设置用于DR预测的预测模式候选之中的由通过无损解码部62解码的预测模式参数指示的预测模式。预测模式候选可以包括位移位模式、固定参数模式以及自适应参数模式。在实施方式中，预测模式设置部92可以根据从PPS中解码的预测模式参数来设置预测模式。在另一实施方式中，预测模式设置部92可以根据从片头部中解码的预测模式参数来设置预测模式。此外，在另一实施方式中，预测模式设置部92可以根据从SPS中解码的预测模式参数来设置预测模式。当预测模式参数是从SPS中解码时，可以将相同的预测模式保持在一个序列中。

(3)参数设置部

当由预测模式设置部92设置自适应参数模式时，参数设置部93根据由无损解码部62解码的预测参数对要被用于DR预测的预测参数进行设置。在此，预测参数包括公式(4)至公式(6)中指示的增益g_i和偏移量o_i(i＝1、2、3)。

根据修改示例，在自适应参数模式中，参数设置部93从无损解码部62获取增益的差值和偏移量的差值。在这种情况下，参数设置部93可以通过加入增益的之前值的差值和偏移量的之前值的差值来计算增益的最新值和偏移量的最新值。在此，之前值可以是例如当针对每个图片计算增益和偏移量时针对紧接在前图片所计算的值。之前值可以是当针对每个片计算增益和偏移量时针对在紧接在前图片的相同位置处的片所计算的值。当最新预测模式参数指示自适应参数模式并且紧接在前预测模式参数指示位移位模式时，参数设置部93将由无损解码部62解码的差值加入至与位移位量对应的预测参数值。此外，当最新预测模式参数指示自适应参数模式并且紧接在前预测模式参数指示固定参数模式时，参数设置部93将由无损解码部62解码的差值加入至预限定的固定预测参数值。在图9中示出向其中加入增益的差值和偏移量的差值的之前值(即，差值基础)。

参数设置部93将增益和偏移量的设定值输出至DR转换部94。此外，由于增益的值可以包括分数值，所以可以对分母和分子(或其差值)单独解码。因此，参数设置部93可以从无损解码部62获取增益的分母和分子(或其差值)。由DR转换部94进行的乘以增益实际上可以通过乘以整数分子并且进行与除以分母对应的移位操作来执行。增益的分母的值的范围可以限制为2的整数幂以减少计算成本。在这种情况下，以分母值2为底数的对数可以用作预测参数。

(4)DR转换部

DR转换部94根据由预测模式设置部42设置的预测模式将从上采样部91输入的基本层的上采样SDR图像的动态范围转换成与增强层的HDR图像的动态范围相同。例如，当设置位移位模式时，DR转换部94根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来计算预测像素值。此外，当设置固定参数模式时，DR转换部94根据公式(4)至公式(6)通过将基本层的上采样像素值乘以固定增益并且进一步与固定偏移量相加来计算预测像素值。此外，当设置自适应参数模式时，DR转换部94使用由参数设置部93设置的增益和偏移量代替固定增益和固定偏移量来计算预测像素值。因此，生成用于层间预测的参考图像。DR转换部94将所生成的用于层间预测的参考图像(对应于HDR图像的具有大的动态范围的基本层的图像)存储到帧存储器69中。

图8示出了由无损解码部62解码的预测参数(每个颜色分量的增益和偏移量)和预测模式参数的语法的示例。可以通过无损解码部62从增强层的编码流中解码参数。例如，图8中示出的语法可以包括在PPS或片头部中。如上所述，其中从片头部中解码预测模式参数和预测参数的示例在使用根据图像的每个局部区域而不同的动态范围的目的方面具有优点。针对每个序列可以从SPS中解码扩展标志“dr_prediction_flag”和预测模式参数“dr_prediction_model”。在这种情况下，相同的预测模式保持在一个序列中。

此外，在实施方式中，无损解码部62可以根据表1中所示的映射对来自具有与加权预测相关参数共享的语法的头部(片头部)的DR预测的预测参数进行解码。通过再使用该语法，降低了语法的冗余，并且容易实施编码器和解码器以及确保版本升级时的兼容性。在此，可以从SPS、PPS或片头部中分别解码扩展标志“dr_prediction_flag”和预测模式参数“dr_prediction_model”。此外，无损解码部62可以对指示加权预测相关参数和DR预测参数中的一个是否已被编码的标志进行解码，并且根据解码的标志对DR预测参数进行解码。当在层之间再使用加权预测相关参数时，无损解码部62可以在对特定于增强层的加权预测相关参数不解码的情况下使用相同的语法对DR预测的预测参数进行解码。在这种情况下，可以不使用针对L1参考帧的参数的语法(图11中第11行至第38行)。此外，与参考帧的数目(负1)对应的变量“num_ref_idx_l0_active_minus1”的值可以被认为是零(即，其动态范围已被转换的基本层图像的数目为1)。

在另一实施方式中，无损解码部62可以再使用一些用于DR预测的加权预测相关参数。例如，通过图11中所示的“luma_log2_weight_denom”和“delta_chroma_log2_weight_denom”限定的分母可以再用作亮度分量和色度分量的增益的分母。在这种情况下，无损解码部62对图8中所示的“delta_luma_log2_gain_denom”和“delta_chroma_log2_gain_denom”不解码。

在修改示例中，无损解码部62可以从与加权预测相关参数共享的语法的L0参考帧部分中解码DR预测的第一版本的预测参数(或其差值)并且从语法的L1参考帧部分中解码DR预测的第二版本的预测参数(或其差值)。当差值被解码时，参数设置部93使用针对第一版本解码的差值来计算DR预测的第一版本的预测参数，并且使用针对第二版本解码的差值来计算DR预测的第二版本的预测参数。然后，DR转换部94选择性地使用第一版本的预测参数和第二版本的预测参数以对增强层的图像进行预测，即，以生成用于层间预测的参考图像。

在本修改示例中，DR转换部94可以例如根据像素值所属的段从第一版本预测参数和第二版本预测参数中选择要被使用的版本。用于切换要被使用的版本的与段之间的边界对应的边界值可以是编码器和解码器两者提前已知的或者可以被自适应地设置。当自适应地设置边界值时，DR转换部94根据由可以由无损解码部62进一步解码的边界信息规定的边界值、确定像素值所属的段。然后，DR转换部94可以基于确定结果从第一版本预测参数和第二版本预测参数中选择要被使用的版本。

替代地，在本修改示例中，DR转换部94可以例如根据像素所属的图像区域从第一版本预测参数和第二版本预测参数中选择要被使用的版本。用于切换要被使用的版本的区域边界可以是编码器和解码器两者提前已知的或者可以被自适应地设置。当自适应地设置区域边界时，DR转换部94根据由可以由无损解码部62进一步解码的边界信息规定的区域边界确定像素所属的图像区域。然后，DR转换部94可以基于确定结果从第一版本预测参数和第二版本预测参数中选择要被使用的版本。

相较于现有技术，根据本修改示例减小了DR预测的预测误差，并且减少了预测误差数据的代码量。因此，提高了编码效率。设置两个版本的预测参数的技术可以仅应用于亮度分量并且可以不应用于色度分量。

此外，在实施方式中，当增强层的位深度大于基本层的位深度时，当预测增强层的图像时DR转换部94使得能够在DR转换的同时执行位移位。无损解码部62对作为增强层的控制参数的指示在层间处理中在DR转换的同时是否执行位移位的位移位控制标志进行解码。然后，当位移位控制标志指示在DR转换的同时执行位移位时，DR转换部94在DR转换的同时执行位移位，否则例如，DR转换部94在上采样的同时执行位移位。因此，可以自适应地切换位移位执行定时并且使层间处理中的处理步骤的数量最小化。因此，可以将处理成本抑制成少于现有技术的处理成本。无损解码部62可以分别针对亮度分量和色度分量解码位移位控制标志。在这种情况下，可以根据每个颜色分量的设置(图像大小和位深度的设置)来执行更加灵活的控制。通常可以从如图19中所示的片头部中解码位移位控制标志。然而，本公开不限于该示例，并且可以从任何其他位置如SPS或PPS中解码位移位控制标志。

<5.根据实施方式的解码处理流程>

[5-1.示意性流程]

图28是示出根据实施方式的在解码时的示意性处理流程的示例的流程图。为了简明描述，可以从图中省略与本公开内容中的技术不直接相关的处理步骤。

参照图28，解复用部5首先将多层多路复用流解复用至基本层的编码流和增强层的编码流中(步骤S60)。

接下来，BL解码部6a执行基本层的解码处理以根据基本层的编码流重构基本层的图像(步骤S61)。

共用存储器7对在针对基本层的解码处理中生成的基本层的图像(解码图像和预测误差图像中的一个或两个)和层之间再使用的参数进行缓冲(步骤S62)。层之间再使用的参数可以包括加权预测相关参数。

接下来，EL解码部6b针对增强层执行解码处理以重构增强层的图像(步骤S63)。此处在针对增强层执行的解码处理中，由共用存储器7缓冲的基本层的图像通过DR预测部90进行上采样，以使得动态范围从SDR转换成HDR。DR转换后的基本层的图像可以用作层间预测中的参考图像。

[5-2.DR预测处理]

(1)第一示例

图29是示出在增强层的解码处理中的DR预测处理流程的第一示例的流程图。此处所描述的DR预测处理以图片或片为单位重复。

参照图29，首先，上采样部91根据基本层与增强层之间的分辨率比对从共用存储器7获取的基本层的图像进行上采样(步骤S70)。

此外，无损解码部62从PPS或片头部中对指示针对DR预测设置的预测模式的预测模式参数进行解码(步骤S72)。然后，预测模式设置部92将由经解码的预测模式参数指示的预测模式设置到图片(或片)(步骤S75)。

随后的处理根据由预测模式设置部92设置的预测模式分叉(步骤S76和步骤S78)。例如，当设置的预测模式是自适应参数模式时，无损解码部62从PPS或片头部中解码增益和偏移量(或与之前值的其差值)(步骤S80)。然后，参数设置部93将要被使用的增益和偏移量设置到最新图片或片(步骤S82)。当增益的差值和偏移量的差值被解码时，参数设置部93可以通过分别将解码的差值加入至增益的之前值和偏移量的之前值来对要被使用的增益和偏移量进行计算。

当设置的预测模式是自适应参数模式或固定参数模式时，DR转换部94根据公式(4)至公式(6)通过将基本层的上采样像素值乘以动态设置的增益或固定增益并且进一步与偏移量相加来对每个像素的预测像素值进行计算。(步骤S84)。

当设置的预测模式是位移位模式时，DR转换部94根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来对每个像素的预测像素值进行计算(步骤S86)。

当处理目标的片或图片内的所有预测像素值被计算时，DR转换部94将已经进行DR转换的基本层的图像，即用作HDR图像的预测图像，存储在帧存储器69中(步骤S88)。

在此之后，当存在未处理的下一个图片或片时，处理返回到步骤S70，并且对下一个图片或片重复执行上述处理(步骤S90)。

(2)第二示例

图30是示出在增强层的解码处理中的DR预测处理流程的第二示例的流程图。

参照图30，首先，无损解码部62从SPS中对指示针对DR预测设置的预测模式的预测模式参数进行解码(步骤S71)。然后，预测模式设置部92将由经解码的预测模式参数指示的预测模式设置在序列中(步骤S73)。

对序列内的每个图片或片重复执行步骤S74至步骤S90的处理。

上采样部91根据基本层与增强层之间的分辨率比对从共用存储器7获取的基本层的图像进行上采样(步骤S74)。

此外，处理根据由预测模式设置部92设置的预测模式分叉(步骤S76和步骤S78)。例如，当设置的预测模式是自适应参数模式时，无损解码部62从PPS或片头部中解码增益和偏移量(或与之前值的其差值)(步骤S80)。然后，参数设置部93将要被使用的增益和偏移量设置到最新图片或片(步骤S82)。当增益的差值和偏移量的差值被解码时，参数设置部93可以通过将解码的差值加入至增益的之前值和偏移量的之前值来对要被使用的增益和偏移量进行计算。

当设置的预测模式是自适应参数模式或固定参数模式时，DR转换部94根据公式(4)至公式(6)通过将基本层的上采样像素值乘以动态设置的增益或固定增益并且进一步与偏移量相加来对每个像素的预测像素值进行计算。(步骤S84)。

当设置的预测模式是位移位模式时，DR转换部94根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来对每个像素的预测像素值进行计算(步骤S86)。

当处理目标的片或图片内的所有预测像素值被计算时，DR转换部94将已经进行DR转换的基本层的图像，即，用作HDR图像的预测图像，存储在帧存储器69中(步骤S88)。

在此之后，当序列内存在未处理的下一个图片或片时，处理返回到步骤S74，并且对下一个图片或片重复执行上采样和DR转换(步骤S90)。此外，当对序列内的所有图片或所有片的DR转换结束时，还确定是否存在下一个序列(步骤S92)。然后，当存在下一个序列时，处理返回到步骤S71，并且对下一个序列重复执行上述处理。

(3)第三示例

图31是示出在增强层的解码处理中的DR预测处理流程的第三示例的流程图。

参照图31，首先，无损解码部62从SPS中对指示针对DR预测设置的预测模式的预测模式参数进行解码(步骤S71)。然后，预测模式设置部92将由经解码的预测模式参数指示的预测模式设置在序列中(步骤S73)。

对序列内的每个片重复执行步骤S74至步骤S91的处理。

上采样部91根据基本层与增强层之间的分辨率比对从共用存储器7获取的基本层的图像进行上采样(步骤S74)。

此外，处理根据由预测模式设置部92设置的预测模式分叉(步骤S76和步骤S78)。例如，当设置的预测模式是自适应参数模式时，无损解码部62从片头部中对通过再使用加权预测相关参数的语法编码的增益和偏移量(或与之前值的其差值)进行解码(步骤S81)。然后，参数设置部93将要被使用的增益和偏移量设置到最新图片或片(步骤S82)。当增益的差值和偏移量的差值被解码时，参数设置部93可以通过将解码的差值加入至增益的之前值和偏移量的之前值来对要被使用的增益和偏移量进行计算。

当设置的预测模式是自适应参数模式或固定参数模式时，DR转换部94根据公式(4)至公式(6)通过将基本层的上采样像素值乘以动态设置的增益或固定增益并且进一步与偏移量相加来对每个像素的预测像素值进行计算。(步骤S84)。此外，此处对预测像素值的计算可以包括用于根据从编码流中解码的位移位控制标志来补偿层之间的位深度差的位移位。位移位可以包括在步骤S74中的上采样滤波操作中。

当设置的预测模式是位移位模式时，DR转换部94根据公式(1)至公式(3)通过将基本层的上采样像素值左移一特定位移位量来对每个像素的预测像素值进行计算(步骤S86)。

当处理目标的片内的所有预测像素值被计算时，DR转换部94将已经进行DR转换的基本层的图像，即，用作HDR图像的预测图像，存储在帧存储器69中(步骤S88)。

在此之后，当序列内存在未处理的下一个片时，处理返回到步骤S74，并且对下一个片重复执行上采样和DR转换(步骤S91)。此外，当对序列内的所有片的DR转换结束时，还确定是否存在下一个序列(步骤S92)。然后，当存在下一个序列时，处理返回到步骤S71，并且对下一个序列重复执行上述处理。

(4)第四示例

图32是示出在增强层的解码处理中的DR预测处理流程的第四示例的流程图。

参照图32，首先，无损解码部62从SPS中对指示针对DR预测设置的预测模式的预测模式参数进行解码(步骤S71)。然后，预测模式设置部92将由经解码的预测模式参数指示的预测模式设置在序列中(步骤S73)。

对序列内的每个片重复执行步骤S74至步骤S91的处理。

上采样部91根据基本层与增强层之间的分辨率比对从共用存储器7获取的基本层的图像进行上采样(步骤S74)。

此外，处理根据由预测模式设置部92设置的预测模式分叉(步骤S76和步骤S78)。例如，当设置的预测模式是自适应参数模式时，无损解码部62从加权预测相关参数的语法的L0参考帧部分和L1参考帧部分中解码第一版本的预测参数和第二版本的预测参数(步骤S81b)。然后，参数设置部93设置要被使用的第一版本的增益和偏移量(步骤S83a)。类似地，参数设置部93设置要被使用的第二版本的增益和偏移量(步骤S83b)。第一版本和第二版本中的每个版本可以包括要被用于像素值范围内的第一段和第二段的最佳值集。替代地，第一版本和第二版本中的每个版本可以包括要被用于第一图像区域和第二图像区域的最佳值集。当针对每个版本解码增益的差值和偏移量的差值时，参数设置部93可以通过将解码的差值加入至每个版本的增益的之前值和偏移量的之前值来对要被使用的增益和偏移量进行计算。

除了可以根据像素值所属的段或像素所属的图像区域在步骤S84中执行预测参数的版本切换以外，随后的处理流程可以类似于上面参照图31所描述的第三示例。此外，在步骤S81b中，无损解码部62可以另外从例如片头部或片头部的扩展中对用于切换预测参数的版本的指定段之间的边界值或图像区域之间的区域边界的边界信息进行解码。

(5)处理过程的修改示例

图29至图32的流程图示出了其中在执行上采样之后执行DR转换的示例。然而，如上面参照图25A和图25B所示的，在修改示例中，当增强层的空间分辨率(图像大小)大于基本层的空间分辨率时，DR预测部90可以通过转换基本层图像的动态范围并且上采样经转换的图像来预测增强层图像。根据这个处理过程，DR转换的转换目标的像素数减小到小于现有处理过程的情况下的像素数，并且因此还可以抑制整个层间处理的处理成本。

<6.示例应用>

[6-1.应用于各种产品]

根据上述实施方式的图像编码设备10和图像解码设备60可以应用于各种电子产品，所述电子产品例如用于卫星广播、有线广播如有线电视、在因特网上的分布、经由蜂窝通信到终端的分布等的发射机和接收机，将图像记录在介质如光盘、磁盘或闪速存储器中的记录设备，从这种存储介质中重现图像的重现设备等。将在下面描述四个示例性应用。

(1)第一应用示例

图33是示出了应用上述实施方式的电视设备的示意性配置的示例的框图。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911以及总线912。

调谐器902从通过天线901接收的广播信号中提取所需信道的信号并且解调所提取的信号。然后调谐器902将通过解调获得的编码位流输出至解复用器903。也就是说，在电视设备900中，调谐器902可以用作接收其中图像被编码的编码流的传输装置。

解复用器903从编码位流中分离要被观看的节目中的视频流和音频流并且将所分离出的每个流输出至解码器904。解复用器903还从编码位流中提取辅助数据如EPG(电子节目指南)并且将所提取的数据提供给控制单元910。在此，解复用器903可以当编码位流被加扰时解扰编码位流。

解码器904对从解复用器903输入的视频流和音频流进行解码。然后解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。

视频信号处理单元905重现从解码器904输入的视频数据，并且将视频显示在显示器906上。视频信号处理单元905还可以将通过网络提供的应用程序屏幕显示在显示器906上。视频信号处理单元905还可以根据设置来执行附加的处理如减小视频数据中的噪声。此外，视频信号处理单元905可以生成GUI(图形用户接口)的图像如菜单、按钮或光标并且将所生成的图像叠加到输出图像上。

通过从视频信号处理单元905提供的驱动信号来驱动显示器906，并且显示器906将视频或图像显示在显示设备(如液晶显示器、等离子显示器或OELD(有机电致发光显示))的视频屏幕上。

音频信号处理单元907对从解码器904输入的音频数据执行重现处理如D/A转换和放大并且从扬声器908输出音频。音频信号处理单元907还可以执行附加的处理如减小音频数据中的噪声。

外部接口909是将电视设备900与外部设备或网络连接的接口。例如，解码器904可以对通过外部接口909接收的视频流或音频流进行解码。这是指在电视设备900中，外部接口909还可以用作接收其中图像被编码的编码流的传输装置。

控制单元910包括处理器如CPU以及存储器如RAM和ROM。存储器存储由CPU执行的程序、程序数据、EPG数据和通过网络获取的数据。例如，存储在存储器中的程序由CPU在启动电视设备900时读取并且执行。例如，通过执行程序，CPU根据从用户接口911输入的操作信号来控制电视设备900的操作。

用户接口911连接至控制单元910。例如，用户接口911包括用户用于操作电视设备900的按钮和开关以及接收遥控信号的接收部。用户接口911对用户通过这些部件的操作进行检测、生成操作信号并且将所生成的操作信号输出至控制单元910。

总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910相互连接。

以上述方式配置的电视设备900中的解码器904具有根据上述实施方式的图像解码设备60的功能。因此，在不需要复杂的实现方式的情况下以适当的图像质量根据SDR图像预测HDR图像的机制可以合并到电视设备900中。

(2)第二应用示例

图34是示出了应用上述实施方式的移动电话的示意性配置的示例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、解复用单元928、记录/重现单元929、显示器930、控制单元931、操作单元932和总线933。

天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理单元927、解复用单元928、记录/重现单元929、显示器930和控制单元931相互连接。

移动电话920执行操作如发送/接收音频信号，发送/接收电子邮件或图像数据，对图像成像或将数据记录在包括音频呼叫模式、数据通信模式、摄影模式和电视电话模式的各种操作模式中。

在音频呼叫模式中，将由麦克风925生成的模拟音频信号提供给音频编解码器923。然后音频编解码器923将模拟音频信号转换成音频数据、对经转换的音频数据执行A/D转换并且压缩数据。在此之后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码且调制以生成传输信号。然后，通信单元922将所生成的传输信号通过天线921传输给基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大、转换信号的频率并且获取接收信号。在此之后，通信单元922对接收信号进行解调且解码以生成音频数据，并且将所生成的音频数据输出至音频编解码器923。音频编解码器923扩大音频数据、对数据执行D/A转换并且生成模拟音频信号。然后音频编解码器923通过将所生成的音频信号提供给扬声器924来输出音频。

在数据通信模式中，例如，控制单元931根据用户操作通过操作单元932生成配置电子邮件的字符数据，控制单元931还在显示器930上显示字符。此外，控制单元931根据来自用户的传输指令通过操作单元932生成电子邮件数据并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码且调制以生成传输信号。然后，通信单元922通过天线921将所生成的传输信号传输至基站(未示出)。通信部922还对通过天线921接收的无线电信号进行放大、转换信号的频率并且获取接收信号。在此之后，通信单元922对接收信号进行解调且解码、恢复电子邮件数据并且将所恢复的电子邮件数据输出至控制单元931。控制单元931在显示器930上显示电子邮件的内容，以及将电子邮件数据存储在记录/重现单元929的存储介质中。

记录/重现单元929包括为可读写的任意存储介质。例如，存储介质可以是内置存储介质如RAM或闪速存储器，或者存储介质可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、USB(未分配空间位图)存储器或存储卡。

在摄影模式中，例如，相机单元926对物体成像、生成图像数据并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从相机单元926输入的图像数据进行编码并且将编码流存储在记录/重现单元929的存储介质中。

在电视电话模式中，例如，解复用单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行多路复用，并且将多路复用流输出至通信单元922。通信单元922对该流进行编码且调制以生成传输信号。随后通信单元922通过天线921将所生成的传输信号传输至基站(未示出)。此外，通信单元922对通过天线921接收的无线电信号进行放大、转换信号的频率并且获取接收信号。传输信号和接收信号可以包括编码位流。然后，通信单元922对接收信号进行解调且解码以恢复该流，并且将所恢复的流输出至解复用单元928。解复用单元928从输入流中分离视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927解码视频流以生成视频数据。然后将视频数据提供给显示一系列图像的显示器930。音频编解码器923扩大音频流并且对其执行D/A转换以生成模拟音频信号。然后音频编解码器923将所生成的音频信号提供给扬声器924来输出音频。

以上述方式配置的移动电话920中的图像处理单元927具有根据上述实施方式的图像编码设备10和图像解码设备60的功能。因此，在不需要复杂的实现方式的情况下以适当的图像质量根据SDR图像预测HDR图像的机制可以合并到移动电话920中。

(3)第三应用示例

图35是示出了应用上述实施方式的记录/重现设备的示意性配置的示例的框图。例如，记录/重现设备940对所接收的广播节目的音频数据和视频数据进行编码并且将数据记录到记录介质中。例如，记录/重现设备940还可以对从另一设备获得的音频数据和视频数据进行编码并且将数据记录到记录介质中。例如，响应于用户指令，记录/重现设备940在监测器和扬声器上重现记录在记录介质中的数据。此时记录/重现设备940对音频数据和视频数据进行解码。

记录/重现设备940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、磁盘驱动器945、选择器946、解码器947、OSD(屏幕上显示器)948、控制单元949以及用户接口950。

调谐器941从通过天线(未示出)接收的广播信号中提取所需信道的信号并且解调所提取的信号。然后调谐器941将通过解调获得的编码位流输出至选择器946。也就是说，调谐器941可以用作记录/重现设备940中的传输装置。

外部接口942是将记录/重现设备940与外部设备或网络连接的接口。外部接口942可以例如是IEEE 1394接口、网络接口、USB接口或闪速存储器接口。例如，通过外部接口942接收的视频数据和音频数据被输入至编码器943。也就是说，外部接口942可以用作记录/重现设备940中的传输装置。

编码器943当没有对从外部接口942输入的视频数据和音频数据进行编码时对视频数据和音频数据进行编码。在此之后编码器943将编码位流输出至选择器946。

HDD 944将其中内容数据如视频和音频被压缩的编码位流、各种程序和其他数据记录到内部硬盘中。当重现视频和音频时，HDD 944从硬盘中读出这些数据。

磁盘驱动器945将数据记录到安装至磁盘驱动器的记录介质中以及从安装至磁盘驱动器的记录介质中读取数据。安装至磁盘驱动器945的记录介质可以例如是DVD盘(如DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)光碟。

当记录视频和音频时，选择器946对从调谐器941或编码器943输入的编码位流进行选择，并且将所选择的编码位流输出至HDD 944或磁盘驱动器945。另一方面，当重现视频和音频时，选择器946将从HDD 944或磁盘驱动器945输入的编码位流输出至解码器947。

解码器947对编码位流进行解码以生成视频数据和音频数据。然后解码器904将所生成的视频数据输出至OSD 948并且将所生成的音频数据输出至外部扬声器。

OSD 948重现从解码器947输入的视频数据并且显示视频。OSD 948还可以将GUI的图像如菜单、按钮或光标叠加到所显示的视频上。

控制单元949包括处理器如CPU以及存储器如RAM和ROM。存储器存储由CPU执行的程序以及程序数据。例如，存储在存储器中的程序由CPU在启动记录/重现设备940时读取并且执行。例如，通过执行程序，CPU根据从用户接口950输入的操作信号来控制记录/重现设备940的操作。

用户接口950连接至控制单元949。例如，用户接口950包括用户用于操作记录/重现设备940的按钮和开关以及接收遥控信号的接收部。用户接口950对用户通过这些部件的操作进行检测、生成操作信号并且将所生成的操作信号输出至控制单元949。

以上述方式配置的记录/重现设备940中的编码器943具有根据上述实施方式的图像编码设备10的功能。另一方面，解码器947具有根据上述实施方式的图像解码设备60的功能。因此，在不需要复杂的实现方式的情况下以适当的图像质量根据SDR图像预测HDR图像的机制可以合并到记录/重现设备940中。

(4)第四应用示例

图36示出了应用上述实施方式的图像捕获设备的示意性配置的示例。成像设备960对物体成像、生成图像、编码图像数据并且将数据记录到记录介质中。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。

光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969以及控制单元970相互连接。

光学块961包括聚焦透镜和光圈机制。光学块961将物体的光学图像形成在成像单元962的成像表面上。成像单元962包括图像传感器如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)并且执行光电转换以将形成在成像表面上的光学图像转换成图像信号作为电信号。接着，成像单元962将图像信号输出至信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号处理如拐点校正、伽马校正和颜色校正。信号处理单元963将对其已执行相机信号处理的图像数据输出至图像处理单元964。

图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。然后图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。图像处理单元964还对从外部接口966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后图像处理单元964将所生成的图像数据输出至显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示器965以显示图像。此外，图像处理单元964可以将从OSD 969获取的显示数据叠加到被输出到显示器965上的图像上。

OSD 969生成GUI的图像如菜单、按钮或光标并且将所生成的图像输出至图像处理单元964。

例如，外部接口966被配置成USB输入/输出端。例如，当打印图像时外部接口966将成像设备960与打印机相连接。此外，驱动器根据需要连接至外部接口966。可移除介质如磁盘或光盘被安装至驱动器例如以使得从可移除介质中读取的程序可以被安装至成像设备960。外部接口966还可以被配置成连接至网络如LAN或因特网的网络接口。也就是说，外部接口966可以用作成像设备960中的传输装置。

安装至介质驱动器968的记录介质可以是可读写的任意可移除介质，如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以固定地安装至介质驱动器968以使得配置有非可移动存储单元如内置硬盘驱动器或SSD(固态驱动器)。

控制单元970包括处理器如CPU以及存储器如RAM和ROM。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序由CPU在启动成像设备960时读取并且然后被执行。例如，通过执行程序，CPU根据从用户接口971输入的操作信号来控制成像设备960的操作。

用户接口971连接至控制单元970。例如，用户接口971包括用户用于操作成像设备960的按钮和开关。用户接口971对用户通过这些部件的操作进行检测、生成操作信号并且将所生成的操作信号输出至控制单元970。

以上述方式配置的成像设备960中的图像处理单元964具有根据上述实施方式的图像编码设备10和图像解码设备60的功能。因此，在不需要复杂的实现方式的情况下以适当的图像质量根据SDR图像预测HDR图像的机制可以合并到成像设备960中。

[6-2.可伸缩视频编码的各种用途]

上述的可伸缩视频编码的优点可以用于各种用途中。下面将描述用途的三个示例。

(1)第一示例

在第一示例中，可伸缩视频编码用于选择性传输数据。参照图37，数据传输系统1000包括流存储设备1001和递送服务器1002。递送服务器1002经由网络1003连接至一些终端设备。网络1003可以是有线网络或无线网络或者其组合。图37示出PC(个人计算机)1004、AV设备1005、平板设备1006和移动电话1007作为终端设备的示例。

例如，流存储设备1001存储包括由图像编码设备10生成的多路复用流的流数据1011。多路复用流包括基本层(BL)的编码流和增强层(EL)的编码流。递送服务器1002读取存储在流存储设备1001中的流数据1011并且将所读取的流数据1011中的至少一部分经由网络1003递送至PC1004、AV设备1005、平板设备1006和移动电话1007。

当流被递送至终端设备时，递送服务器1002基于一些条件如终端设备的能力或通信环境选择要被递送的流。例如，递送服务器1002可以通过不递送具有超过能够由终端设备处理的图像质量的高图像质量的编码流来避免终端设备的延迟或者处理器的过载或溢出的发生。递送服务器1002还可以通过不递送具有高图像质量的编码流来避免占用网络1003的通信带。另一方面，当不存在要避免的风险或基于用户的合同或一些条件认为是适当的时，递送服务器1002可以将整个多路复用流递送至终端设备。

在图37的示例中，递送服务器1002读取来自流存储设备1001的流数据1011。然后，递送服务器1002将流数据1011直接递送至具有高处理能力的PC 1004。因为AV设备1005具有低处理能力，所以递送服务器1002生成仅包含从流数据1011中提取的基本层的编码流的流数据1012并且将流数据1012递送至AV设备1005。递送服务器1002将流数据1011直接递送至能够以高通信速率进行通信的平板设备1006。因为移动电话1007可以以低通信速率进行通信，所以递送服务器1002将仅包含基本层的编码流的流数据1012递送至移动电话1007。

以这种方式通过使用多路复用流，可以自适应调整要传输的业务量。与当每层被单独编码时的情况相比，流数据1011的代码量减少，并且因此即使递送整个流数据1011，也可以减小网络1003上的负载。此外，保存流存储设备1001的存储器资源。

从设备到设备，终端设备的硬件性能不同。此外，在终端设备上运行的应用程序的能力是多样的。此外，网络1003的通信能力是变化的。可用于数据传输的能力可由于其他业务而时刻改变。因此，在开始输送流数据之前，递送服务器1002可以通过使用递送目的地终端设备发出信号来获取关于终端设备的应用程序能力和硬件性能的终端信息以及关于网络1003的通信能力的网络信息。然后，递送服务器1002可以基于所获取的信息选择要被递送的流。

附带地，要被解码的层可以由终端设备提取。例如，PC 1004可以在其屏幕上显示从接收到的多路复用流中提取且解码的基本层图像。在通过从接收到的多路复用流中提取基本层的编码流来生成流数据1012之后，PC 1004可以使存储介质存储流数据1012或将流数据传送至另一设备。

图37中所示的数据传输系统1000的配置仅是示例。数据传输系统1000可以包括任何数量的流存储设备1001、递送服务器1002、网络1003和终端设备。

(2)第二示例

在第二示例中，可伸缩视频编码用于经由多个通信信道传输数据。参照图38，数据传输系统1100包括广播站1101和终端设备1102。广播站1101在地面信道1111上广播基本层的编码流1121。广播站1101还经由网络1112将增强层的编码流1122广播至终端设备1102。

终端设备1102具有接收功能以接收由广播站1101广播的地面广播并且经由地面信道1111接收基本层的编码流1121。终端设备1102还具有通信功能以与广播站1101进行通信并且经由网络1112接收增强层的编码流1122。

例如，在接收到基本层的编码流1121之后，响应于用户的指令，终端设备1102可以对来自接收到的编码流1121的基本层图像进行解码并且将基本层图像显示在屏幕上。另外，终端设备1102可以使存储介质存储经解码的基本层图像或将基本层图像传送至另一设备。

例如，在经由网络1112接收到增强层的编码流1122之后，响应于用户的指令，终端设备1102可以通过对基本层的编码流1121和增强层的编码流1122进行多路复用来生成多路复用流。终端设备1102还可以对来自增强层的编码流1122中增强图像进行解码以在屏幕上显示增强图像。另外，终端设备1102可以使存储介质存储经解码的增强层图像或将增强层图像传送至另一设备。

如上所述，包含在多路复用流中的每层的编码流可以经由针对每层不同的通信信道进行传输。因此，可以通过将负载分配到各信道上来减小通信延迟或溢出的发生。

可以根据一些条件来动态地选择要被用于传输的通信信道。例如，其数据量相对大的基本层的编码流1121可以经由具有较宽带宽的通信信道传输以及其数据量相对小的增强层的编码流1122可以经由具有较窄带宽的通信信道传输。可以根据通信信道的带宽对在其上传输特定层的编码流1122的通信信道进行切换。因此，可以更有效地减小各信道上的负载。

图38中所示的数据传输系统1100的配置仅是示例。数据传输系统1100可以包括任何数量的通信信道和终端设备。此处所描述的系统的配置还适用于除广播外的其他用途。

(3)第三示例

在第三示例中，可伸缩视频编码用于存储视频。参照图39，数据传输系统1200包括成像设备1201和流存储设备1202。成像设备1201对由被成像对象1211生成的图像数据进行可伸缩编码以生成多路复用流1221。多路复用流1221包括基本层的编码流和增强层的编码流。然后，成像设备1201将多路复用流1221提供给流存储设备1202。

流存储设备1202针对每种模式以不同的图像质量存储从成像设备1201提供的多路复用流1221。例如，在正常模式下，流存储设备1202从多路复用流1221中提取基本层的编码流1222并且存储所提取的基本层的编码流1222。相比之下，在高质量模式下，流存储设备1202按原样存储多路复用流1221。因此，仅当期望以高质量记录视频时，流存储设备1202可以存储具有大量数据的高质量流。因此，可以保存存储器资源同时抑制图像劣化对用户的影响。

例如，假设成像设备1201为监控摄像机。当在所捕获的图像中没有出现监控物体(例如，没有入侵者)时，选择正常模式。在这种情况下，所捕获的图像可能是不重要的并且优先考虑的是数据量的减少以使得以低图像质量记录视频(即，存储仅基本层的编码流1222)。相反地，当监控物体(例如，对象1211作为入侵者)出现在所捕获的图像中时，选择高质量模式。在这种情况下，所捕获的图像很可能是重要的并且优先考虑高图像质量以使得以高图像质量记录视频(即，存储多路复用流1221)。

在图39的示例中，基于例如图像分析结果通过流存储设备1202选择模式。然而，本实施方式不限于这种示例，并且成像设备1201可以选择模式。在后一种情况下，成像设备1201可以在正常模式下将基本层的编码流1222提供给流存储设备1202以及在高质量模式下将多路复用流1221提供给流存储设备1202。

用于选择模式的选择标准可以是任何标准。例如，可以根据声音的波形或通过麦克风获取的声音的响度来切换模式。还可以周期性地切换模式。此外，可以响应于用户的指令来切换模式。此外，只要没超过被分层的层的数目，那么可选择的模式的数量可以是任何数量。

图39中所示的数据传输系统1200的配置仅是示例。数据传输系统1200可以包括任何数量的成像设备1201。文中所描述的系统的配置还可以应用于除了监控摄像机外的其他用途。

[6-3.其他]

(1)应用于多视图编解码器

多视图编解码器是一种多层编解码器并且是对所谓的多视图视频进行编码和解码的图像编码系统。图40是示出多视图编解码器的说明性图示。参照图40，示出了从三个视点捕获的三个视图框架的序列。将视图ID(view_id)附加至每个视图。在多个这些视图之中，将一个视图指定为基本视图。除了基本视图外的其他视图被称为非基本视图。在图40的示例中，视图ID为“0”的视图是基本视图以及视图ID为“1”或“2”的两个视图是非基本视图。当这些视图被分层编码时，每个视图可以对应于一层。如由图40中的箭头所示的，通过参考基本视图的图像(还可以参考另一非基本视图的图像)对非基本视图的图像进行编码和解码。

图41是示出支持多视图编解码器的图像编码设备10v的示意性配置的框图。参照图41，图像编码设备10v包括第一层编码部1c、第二层编码部1d、共用存储器2以及多路复用部3。

第一层编码部1c的功能与使用图3描述的BL编码部1a的功能相同，不同之处在于，接收基本视图图像而不是基本层图像作为输入。第一层编码部1c对基本视图图像进行编码以生成第一层的编码流。第二层编码部1d的功能与使用图3描述的EL编码部1b的功能相同，不同之处在于，接收非基本视图图像而不是增强层图像作为输入。第二层编码部1d对非基本视图图像进行编码以生成第二层的编码流。共用存储器2存储层之间常用的信息。多路复用部3对由第一层编码部1c生成的第一层的编码流和由第二层编码部1d生成的第二层的编码流进行多路复用以生成多层多路复用流。

图42是示出支持多视图编解码器的图像解码设备60v的示意性配置的框图。参照图42，图像解码设备60v包括解复用部5、第一层解码部6c、第二层解码部6d和共用存储器7。

解复用部5将多层多路复用流解复用至第一层的编码流和第二层的编码流中。第一层解码部6c的功能与使用图4描述的BL解码部6a的功能相同，不同之处在于接收在其中基本视图图像而不是基本层图像被编码的编码流作为输入。第一层解码部分6c从第一层的编码流中解码基本视图图像。第二层解码部6d的功能与使用图4描述的EL解码部6b的功能相同，不同之处在于接收在其中非基本视图图像而不是增强层图像被编码的编码流作为输入。第二层解码部6d从第二层的编码流中解码非基本视图图像。共用存储器7存储层之间常用的信息。

当多视图图像数据被编码或解码以及视图之间的亮度动态范围不同时，可以根据本公开内容的技术来控制视图之间的动态范围的转换。因此，类似于可伸缩视频编码的情况，甚至在多视图编解码器中通过简单的实现方法可以实现转换动态范围的机制。

(2)应用于流技术

本公开内容的技术还可以应用于流协议。例如，在MPEG-DASH(基于HTTP的动态自适应流)中，通过流服务器预先准备具有相互不同参数如分辨率的多个编码流。然后，流服务器从多个编码流动态地选择适当的数据用于流传送并且递送所选择的数据。在这种流协议中，可以根据本公开内容的技术控制编码流之间的动态范围的转换。

<7.结论>

目前为止已经参照图1至图42描述了根据本公开内容的技术的实施方式。根据上述实施方式，第一层(例如，基本层)的每个颜色分量所乘以的增益和偏移量被限定为当预测比第一层具有更大的亮度动态范围的第二层(例如，增强层)的图像为第一层的图像时使用的预测参数。然后，根据第一层的图像使用增益和偏移量预测第二层的图像。这是指具有不同亮度动态范围的图像之间的关系近似于每个颜色分量的独立的线性关系。使用这个预测模型，在不需要复杂的算法如颜色区转换或多个帧上的滤波处理的情况下，可以以适当的准确度根据SDR图像预测HDR图像。此外，通过在视频格式中采用这种机制，格式的通用性和可伸缩性是有保证的，并且在各种编码器和解码器中可以容易地使用视频格式。此外，由于基于预测模型能够相对容易地实现，所以防止了由于电路规模的增大和操作量的增加而引起的功耗的增大。

此外，根据实施方式，可以对指示增益和偏移量是否被自适应设置的预测模式参数进行编码和解码。因此，可以根据各种条件如编码器和解码器的性能、传输带或者所要求的图像质量来实现DR预测的预测准确度与编码/解码费用之间的最佳平衡。

根据实施方式，对与预测参数的之前值的差值而不是增益和偏移量进行编码和解码。在这种情况下，当在动态范围可伸缩性中实现高的预测准确度时可以抑制代码量的增加。

根据实施方式，从具有与加权预测相关参数共享的语法的头部中解码预测参数。在这种情况下，降低了语法的冗余，并且容易实施编码器和解码器以及确保版本升级时的兼容性。此外，根据实施方式，可以使用加权预测相关参数的语法的L0参考帧部分和L1参考帧部分两者对用于DR预测的两个版本的预测参数进行编码和解码。在这种情况下，可以更灵活地使用具有高预测准确度的预测模型，因此，可以改进动态范围可伸缩性的编码效率。

此外，根据实施方式，指示在DR转换的同时是否执行在层间处理时的位移位的控制参数可以被编码和解码。在这种情况下，可以通过自适应地切换位移位执行定时(例如，在上采样的同时或在DR转换的同时)来抑制层间处理的处理成本。此外，根据修改示例，可以在执行上采样之前执行DR转换。在这种情况下，由于DR转换的转换目标的像素数减少，所以还可以降低DR转换的处理成本。

在本说明书中描述的术语“CU”、“PU”和“TU”是指包括与HEVC中的各块相关联的语法的逻辑单元。当仅集中在为图像的部件的各块时，所述块可以使用术语被称作“编码块(CB)”、“预测块(PB)”和“变换块(TB)”。通过分层划分四叉树状的代码树块(CTB)来形成CB。一整个四叉树与CTB对应以及与CTB对应的逻辑单元被称为代码树单元(CTU)。HEVC中的CB和CTB的作用类似于H.264/AVC中的宏块的作用，其中CTB和CB是编码处理的处理单元。然而，在其中CTB和CB的大小是不固定的方面，CTB和CB不同于宏块(宏块的大小通常为16×16像素)。CTB的大小选自16×16像素的大小、32×32像素的大小和64×64像素的大小，并且可以通过编码流中的参数指定。CB的大小可以根据CTB的划分深度来改变。

此处主要描述的是其中各种信息如与DR预测的控制有关的信息被多路复用至编码流的头部并且从编码侧传输至解码侧的示例。然而，传输这些信息的方法不限于这种示例。例如，这些信息可以被传输或记录为与编码位流相关联的独立的数据而不被复用至编码位流。在此，术语“相关联”是指当解码时包括在位流中的图像(可以是图像如片或块的一部分)和对应于当前图像的信息能够建立链路。也就是说，可以根据图像(或位流)在不同的传输路径上传输信息。还可以根据图像(或位流)将信息记录在不同的记录介质(或相同记录介质中的不同记录区域)中。此外，信息和图像(或位流)可以通过任意单元如多个帧、一帧或帧内的一部分彼此相关联。

如上参照附图描述了本公开的优选实施方式，但是，当然本公开不限于上述示例。本领域技术人员可以想到在所附权利要求的范围内的各种替换和修改，并且应理解，各种替换和修改自然归入本公开的技术范围内。

另外，根据本公开内容的技术还可以配置如下。

(1)一种图像处理装置，包括：

解码部，所述解码部被配置成对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及

预测部，所述预测部被配置成使用由所述解码部解码的所述预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测。

(2)根据(1)所述的图像处理装置，

其中，所述解码部对与所述预测参数的之前值的差值进行解码，以及

其中，所述预测部使用由所述解码部解码的差值来设置所述预测参数。

(3)根据(1)或(2)所述的图像处理装置，

其中，所述解码部还对指示预测模式的预测模式参数进行解码，以及

其中，当所述预测模式参数指示自适应参数模式时所述预测部使用所述预测参数预测所述第二层的所述图像。

(4)根据(1)至(3)中任一项所述的图像处理装置，

其中，所述解码部对来自具有与加权预测相关参数共用的语法的报头的所述预测参数进行解码。

(5)根据(4)所述的图像处理装置，

其中，所述解码部不在所述第二层中解码所述加权预测相关参数，以及

其中，所述第一层的所述加权预测相关参数在所述第二层中被再使用。

(6)根据(4)或(5)所述的图像处理装置，

其中，从与所述加权预测相关参数共用的所述语法的L0参考帧部分中解码第一预测参数集，

其中，从与所述加权预测相关参数共用的所述语法的L1参考帧部分中解码第二预测参数集，以及

其中，所述预测部选择性地使用所述第一预测参数集和所述第二预测参数集来对所述第二层的所述图像进行预测。

(7)根据(6)所述的图像处理装置，

其中，所述预测部根据像素值所属的段从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

(8)根据(6)所述的图像处理装置，

其中，所述预测部根据像素值所属的图像区域从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

(9)根据(1)至(8)中任一项所述的图像处理装置，

其中，当所述第二层的位深度大于所述第一层的位深度时，所述解码部还对控制参数进行解码，所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时是否执行位移位，以及

其中，当所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时执行位移位时，所述预测部在所述动态范围转换而不是在上采样的同时执行所述位移位。

(10)根据(9)所述的图像处理装置，

其中，所述解码部针对亮度分量和色度分量分别解码所述控制参数。

(11)根据(1)至(10)中任一项所述的图像处理装置，

其中，当所述第二层的空间分辨率大于所述第一层的空间分辨率时，所述预测部通过使用所述预测参数对所述第一层的所述图像的动态范围进行转换并且然后对经转换的图像进行上采样来对所述第二层的所述图像进行预测。

(12)一种图像处理方法，包括：

对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及

使用所解码的预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测。

(13)一种图像处理装置，包括：

预测部，所述预测部被配置成当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的图像进行预测；以及

编码部，所述编码部被配置成对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数由所述预测部使用。

(14)根据(13)所述的图像处理装置，

其中，所述编码部对与所述预测参数的之前值的差值进行编码。

(15)根据(13)或(14)所述的图像处理装置，

其中，当使用所述预测参数预测所述第二层的所述图像时，所述编码部还对指示自适应参数模式作为预测模式的预测模式参数进行编码。

(16)根据(13)至(15)中任一项所述的图像处理装置，

其中，所述编码部对具有与加权预测相关参数共用的语法的报头中的所述预测参数进行编码。

(17)根据(16)所述的图像处理装置，

其中，所述编码部不在所述第二层中编码所述加权预测相关参数，以及

其中，所述第一层的所述加权预测相关参数在所述第二层中被再使用。

(18)根据(16)或(17)所述的图像处理装置，

其中，所述预测部选择性地使用第一预测参数集和第二预测参数集来对所述第二层的所述图像进行预测，以及

其中，所述编码部对所述第一预测参数集进行编码作为与所述加权预测相关参数共用的所述语法的L0参考帧部分，并且对所述第二预测参数集进行编码作为与所述加权预测相关参数共用的所述语法的L1参考帧部分。

(19)根据(18)所述的图像处理装置，

其中，所述预测部根据像素值所属的段从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

(20)根据(18)所述的图像处理装置，

其中，所述预测部根据像素值所属的图像区域从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

(21)根据(13)至(20)中任一项所述的图像处理装置，

其中，当所述第二层的位深度大于所述第一层的位深度时，所述编码部还对控制参数进行编码，所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时是否执行位移位。

(22)根据(21)所述的图像处理装置，

其中，所述编码部针对亮度分量和色度分量分别编码所述控制参数。

(23)根据(13)至(22)中任一项所述的图像处理装置，

其中，当所述第二层的空间分辨率大于所述第一层的空间分辨率时，所述预测部通过使用所述预测参数对所述第一层的所述图像的动态范围进行转换并且然后对经转换的图像进行上采样来对所述第二层的图像进行预测。

(24)一种图像处理方法，包括：

当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的所述图像进行预测；以及

对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数在预测中被使用。

附图标记列表

10,10v  图像编码设备(图像处理装置)

16  无损编码部

40  DR预测部

60,60v  图像解码设备(图像处理装置)

62  无损解码部

90  DR预测部

权利要求书(按照条约第19条的修改)

1.(修改)一种图像处理装置，包括：

解码部，所述解码部被配置成从具有与加权预测相关参数共用的语法的头部对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对相比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及

预测部，所述预测部被配置成使用由所述解码部解码的所述预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测，

其中，从与所述加权预测相关参数共用的所述语法的L0参考帧部分解码第一预测参数集，

其中，从与所述加权预测相关参数共用的所述语法的L1参考帧部分解码第二预测参数集，及

其中，所述预测部选择性地使用所述第一预测参数集和所述第二预测参数集来对所述第二层的所述图像进行预测。

2.根据权利要求1所述的图像处理装置，

其中，所述解码部对与所述预测参数的之前值的差值进行解码，以及

其中，所述预测部使用由所述解码部解码的差值来设置所述预测参数。

3.(删除)

4.(修改)根据权利要求1所述的图像处理装置，

其中，所述解码部不在所述第二层中解码所述加权预测相关参数，以及

其中，所述第一层的所述加权预测相关参数在所述第二层中被再使用。

5.(删除)

6.(修改)根据权利要求1所述的图像处理装置，

其中，所述预测部根据像素值所属的段从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

7.(修改)根据权利要求1所述的图像处理装置，

其中，所述预测部根据像素值所属的图像区域从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

8.根据权利要求1所述的图像处理装置，

其中，当所述第二层的位深度大于所述第一层的位深度时，所述解码部还对控制参数进行解码，所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时是否执行位移位，以及

其中，当所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时执行位移位时，所述预测部在所述动态范围转换而不是在上采样的同时执行所述位移位。

9.根据权利要求1所述的图像处理装置，

其中，当所述第二层的空间分辨率大于所述第一层的空间分辨率时，所述预测部通过使用所述预测参数对所述第一层的所述图像的动态范围进行转换并且然后对经转换的图像进行上采样来对所述第二层的所述图像进行预测。

10.(修改)一种图像处理方法，包括：

从具有与加权预测相关参数共用的语法的头部对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对相比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及

使用所解码的预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测，

其中，从与所述加权预测相关参数共用的所述语法的L0参考帧部分解码第一预测参数集，

其中，从与所述加权预测相关参数共用的所述语法的L1参考帧部分解码第二预测参数集，及

其中，选择性地使用所述第一预测参数集和所述第二预测参数集来对所述第二层的图像进行预测。

11.(修改)一种图像处理装置，包括：

预测部，所述预测部被配置成当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的图像进行预测；以及

编码部，所述编码部被配置成在具有与加权预测相关参数共用的语法的头部中对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数由所述预测部使用，

其中，所述预测部选择性地使用第一预测参数集和第二预测参数集来对所述第二层的图像进行预测，及

其中，所述编码部将所述第一预测参数集编码为与所述加权预测相关参数共用的所述语法的L0参考帧部分，并且将所述第二预测参数集编码为与所述加权预测相关参数共用的所述语法的L1参考帧部分。

12.根据权利要求11所述的图像处理装置，

其中，所述编码部对与所述预测参数的之前值的差值进行编码。

13.(删除)

14.(修改)根据权利要求11所述的图像处理装置，

其中，所述编码部不在所述第二层中编码所述加权预测相关参数，以及

其中，所述第一层的所述加权预测相关参数在所述第二层中被再使用。

15.(删除)

16.(修改)根据权利要求11所述的图像处理装置，

其中，所述预测部根据像素值所属的段从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

17.(修改)根据权利要求11所述的图像处理装置，

其中，所述预测部根据像素值所属的图像区域从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

18.根据权利要求11所述的图像处理装置，

其中，当所述第二层的位深度大于所述第一层的位深度时，所述编码部还对控制参数进行编码，所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时是否执行位移位。

19.根据权利要求11所述的图像处理装置，

其中，当所述第二层的空间分辨率大于所述第一层的空间分辨率时，所述预测部通过使用所述预测参数对所述第一层的所述图像的动态范围进行转换并且然后对经转换的图像进行上采样来对所述第二层的图像进行预测。

20.(修改)一种图像处理方法，包括：

当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的所述图像进行预测；以及

在具有与加权预测相关参数共用的语法的头部中对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数在预测中被使用，

其中，选择性地使用第一预测参数集和第二预测参数集来对所述第二层的图像进行预测，及

其中，将所述第一预测参数集编码为与所述加权预测相关参数共用的所述语法的L0参考帧部分，并且将所述第二预测参数集编码为与所述加权预测相关参数共用的所述语法的L1参考帧部分。

Claims (20)

1.一种图像处理装置，包括：

解码部，所述解码部被配置成对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对相比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及

预测部，所述预测部被配置成使用由所述解码部解码的所述预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测。

2.根据权利要求1所述的图像处理装置，

其中，所述解码部对与所述预测参数的之前值的差值进行解码，以及

其中，所述预测部使用由所述解码部解码的差值来设置所述预测参数。

3.根据权利要求1所述的图像处理装置，

其中，所述解码部对来自具有与加权预测相关参数共用的语法的头部的所述预测参数进行解码。

4.根据权利要求3所述的图像处理装置，

其中，所述解码部避免在所述第二层中解码所述加权预测相关参数，以及

其中，所述第一层的所述加权预测相关参数在所述第二层中被再使用。

5.根据权利要求3所述的图像处理装置，

其中，从与所述加权预测相关参数共用的所述语法的L0参考帧部分中解码第一预测参数集，

其中，从与所述加权预测相关参数共用的所述语法的L1参考帧部分中解码第二预测参数集，以及

其中，所述预测部选择性地使用所述第一预测参数集和所述第二预测参数集来对所述第二层的所述图像进行预测。

6.根据权利要求5所述的图像处理装置，

其中，所述预测部根据像素值所属的段从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

7.根据权利要求5所述的图像处理装置，

其中，所述预测部根据像素值所属的图像区域从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

8.根据权利要求1所述的图像处理装置，

其中，当所述第二层的位深度大于所述第一层的位深度时，所述解码部还对控制参数进行解码，所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时是否执行位移位，以及

其中，当所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时执行位移位时，所述预测部在所述动态范围转换而不是在上采样的同时执行所述位移位。

9.根据权利要求1所述的图像处理装置，

其中，当所述第二层的空间分辨率大于所述第一层的空间分辨率时，所述预测部通过使用所述预测参数对所述第一层的所述图像的动态范围进行转换并且然后对经转换的图像进行上采样来对所述第二层的所述图像进行预测。

10.一种图像处理方法，包括：

对预测参数进行解码，所述预测参数包括第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数当根据所述第一层的图像对相比所述第一层具有更大的亮度动态范围的第二层的图像进行预测时被使用；以及

使用所解码的预测参数根据所述第一层的所述图像对所述第二层的所述图像进行预测。

11.一种图像处理装置，包括：

预测部，所述预测部被配置成当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的图像进行预测；以及

编码部，所述编码部被配置成对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数由所述预测部使用。

12.根据权利要求11所述的图像处理装置，

其中，所述编码部对与所述预测参数的之前值的差值进行编码。

13.根据权利要求11所述的图像处理装置，

其中，所述编码部对具有与加权预测相关参数共用的语法的头部中的所述预测参数进行编码。

14.根据权利要求13所述的图像处理装置，

其中，所述编码部避免在所述第二层中编码所述加权预测相关参数，以及

其中，所述第一层的所述加权预测相关参数在所述第二层中被再使用。

15.根据权利要求13所述的图像处理装置，

其中，所述预测部选择性地使用第一预测参数集和第二预测参数集来对所述第二层的所述图像进行预测，以及

其中，所述编码部对所述第一预测参数集进行编码作为与所述加权预测相关参数共用的所述语法的L0参考帧部分，并且对所述第二预测参数集进行编码作为与所述加权预测相关参数共用的所述语法的L1参考帧部分。

16.根据权利要求15所述的图像处理装置，

其中，所述预测部根据像素值所属的段从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

17.根据权利要求15所述的图像处理装置，

其中，所述预测部根据像素值所属的图像区域从所述第一预测参数集和所述第二预测参数集中选择要被使用的集。

18.根据权利要求11所述的图像处理装置，

其中，当所述第二层的位深度大于所述第一层的位深度时，所述编码部还对控制参数进行编码，所述控制参数指示当预测所述第二层的所述图像时在动态范围转换的同时是否执行位移位。

19.根据权利要求11所述的图像处理装置，

其中，当所述第二层的空间分辨率大于所述第一层的空间分辨率时，所述预测部通过使用所述预测参数对所述第一层的所述图像的动态范围进行转换并且然后对经转换的图像进行上采样来对所述第二层的图像进行预测。

20.一种图像处理方法，包括：

当比第一层具有更大的亮度动态范围的第二层的图像被编码时根据所述第一层的图像对所述第二层的所述图像进行预测；以及

对预测参数进行编码，所述预测参数包括所述第一层的每个颜色分量所乘以的增益和偏移量，所述预测参数在预测中被使用。