CN103037215B - 编码和重建高动态范围图像的方法和设备 - Google Patents

Abstract

本发明在高动态范围图像的编码领域中做出。本发明以帧兼容格式的概念为基础。该想法是在一个帧中与附加信息一起传输下采样的LDR内容，该附加信息允许从LDR内容重建HDR内容。因此，提出了一种按照权利要求1的编码高动态范围的HDR图像的方法。所述方法包括下采样(DWN)LDR图像和附加数据，LDR图像提供HDR图像内容和附加数据的较低动态范围描绘，该附加数据允许从LDR图像重建HDR图像。所述方法进一步包括在一个帧中布置(PCK)下采样的LDR图像和下采样的附加数据，其中在水平下采样的情况下布置是并排的，并且在垂直下采样和编码(AVC)该帧的情况下布置是上下的。

Description

编码和重建高动态范围图像的方法和设备

技术领域

本发明在高动态范围的图像编码领域中做出。

背景技术

无论静止图像或者图像序列的图像帧，对应于表示亮度信号的有限的数值范围，图像通常在有限位数(例如，8、10、12或者更多位)上表示。以这样的方式表示的图像称作低动态范围图像，或者简言之，LDR图像。但是，人类视觉系统能够感知宽的亮度范围。有限的表示大多数通常不允许正确地重建小的信号变化，尤其是，在非常暗或者亮的亮度的图像区域中。HDR(高动态范围或高动态光照渲染)格式在于显著地将信号表示的位深度扩展为具有更多位，例如，20至64位的整数表示，或者甚至浮动表示，以便在其整个亮度范围上保持该信号的高精确度。

HDR图像可以以各种各样的方法捕获。例如，数字单镜头反射式照相机可以使用包围式曝光（bracketing）技术以便以不同曝光来捕获相同场景的连续图像，其中曝光是在拍摄图像的过程期间允许落在图像介质(感光胶片或者图像传感器)上光的总密度。不同曝光的这些图像表示为LDR图像。曝光不足的图像在明亮区域捕获细节，而过度曝光的图像在黑暗区域中捕获细节，如在图1对于不同的曝光值EV示范性地描述的。

通过这些不同地曝光的LDR图像的融合，可以生成具有浮点表示的HDR图像，该生成的HDR图像包含那些在黑暗区域以及那些在明亮区域中的所有细节。

HDR图像不能以其源格式随着指定供LDR图像使用的设备使用，例如，机顶盒、PVR和传统显示器。总之，称作明暗映象的过程允许表示该图像，同时确保不同的信号强度片段的好的恢复，尤其是，在黑暗和明亮强度范围中。明暗映象从HDR图像生成所有元素被正确地曝光的LDR图像。LDR图像在黑暗区域和在白色区域两者中被更加详述。这些在图2中示范性地描述。

HDR尤其是在后期制作中使用。所有特技效果工具以浮点表示处理HDR图像。自然景物和特技效果的混合也在HDR表示中实现。在后期制作过程的末端，在摄影导演的控制下，适用明暗映象以生成标准8/10/12位底版。

Mantiuk等等：“Backward Compatible High Dynamic Range MPEG VideoCompression”，SIGGRAPH的科研报告集06(有关图形的ACM学报专刊)，2006年，713-723页，25（3），提出了一种向后兼容HDR视频压缩(HDR MPEG)方法，其引入紧凑的重建功能，该功能被用于将HDR视频数据流分解为残余流和标准LDR流，其可以在诸如DVD播放器的现有的MPEG解码器上播放。与单独地LDR数据流相比，Mantiuk的残余流生成大约30%比特流开销。

Motra和Thoma：2010年9月于香港的2010IEEE第17届图像处理国际会议的科研报告集中的“An Adaptive LogLuv Transform for High Dynamic Range VideoCompression”描述一种现有的编码器可以如何以由本作者提出的自适应的LogLuv变换用于编码HDR视频序列的方法。Motra和Thoma进一步描述使用MPEG AVC的高位深度分布去编码这些数据。

发明内容

在前提及的该方法的一个缺点是与标准HDTV eco（节能）系统的非向后兼容性。

本发明人认识到在本技术中需要一种用于HDR图像和视频的可选编码方案，其允许重复使用已经部署的图像/视频编码器，并且与标准LDR HDTV向后兼容。

本发明以帧兼容格式的概念为基础。该想法是使用帧兼容方法去与附加信息一起传输下采样的LDR内容，该附加信息允许从LDR内容重建HDR内容。在解码器侧，LDR内容可用于源LDR显示器，并且HDR内容从而可以被重建和用于源HDR显示器。或者HDR内容重建被明暗映象以由LDR显示器使用。

因此，提出了一种按照权利要求1的编码高动态范围的HDR图像的方法。所述方法包括下采样LDR图像和附加数据，LDR图像提供HDR图像内容的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像。所述方法进一步包括在一个帧中布置下采样的LDR图像和下采样的附加数据。

进一步提出了一种按照权利要求2的重建高动态范围的HDR图像的方法。所述进一步提出的方法包括解码帧，将帧分解为下采样的LDR图像和下采样的附加数据，LDR图像提供HDR图像内容的向下采样的较低动态范围描绘，并且附加数据允许从LDR图像重建HDR图像，上采样下采样的LDR图像和下采样的附加数据，和使用上采样的附加数据从上采样的LDR图像重建HDR图像。

并且，提出了一种携带编码帧的存储介质，包括：低动态范围的下采样的LDR图像和下采样的附加信息，附加数据允许重建提供LDR图像内容的较高动态范围描绘的HDR图像。

此外，本发明人提出一种用于编码高动态范围的HDR图像的设备，该编码设备是依照权利要求11，和一种用于重建高动态范围的HDR图像的设备，该编码设备是依照权利要求14。

在一个实施例中，该帧和通过下采样LDR图像移除的信息在基础层中被编码，和/或附加数据在增强层中被编码。

在另外的实施例中，下和上采样发生在采样方向，例如，在水平、对角或者垂直的采样方向。对应于采样方向，存在布置模式，例如，对应于水平采样的并排布置，以及对应于垂直下和上采样的上下布置。

更进一步有益的实施例的特点在从属权利要求中被指定。

附图说明

在附图中举例说明本发明的示范性实施例，并且在以下的描述中更详细地解释。解释该示范性实施例仅仅是为了阐明本发明，而不是为了限制本发明的公开或者在权利要求书中限定的范围。

图1描述了具有不同曝光的相同场景的相同视图的示范系列；

图2描述了明暗映象已经施加于亮度区域的示范图像；

图3示范性地描述了在第一和第二示范性实施例的编码侧的并排下采样和封装；

图4示范性地描述了在第一和第二示范性实施例的编码侧的上下下采样和封装；

图5描述了第一示范性实施例的编码构架；

图6a和图6b描述了第一示范性实施例的二个可能帧结构；

图7示范性地描述了在第一和第二示范性实施例的解码侧的并排去封装和上采样；

图8示范性地描述了在第一和第二示范性实施例的解码侧的上下去封装和上采样；

图9描述了第二示范性实施例的二个可能帧结构；

图10a和图10b描述了第二实施例的编码构架；

图11a和图11b描述了第三示范性实施例的二个可能帧结构；

图12描述了第三示范性实施例的编码构架；

图13描述了基于借助于MVC兼容的解码设备的多视图编码的第一示范性实施例的再一个编码构架；

图14描述了基于借助于非MVC兼容的解码设备的多视图编码的第一未示范性实施例的再一个编码构架；和

图15描述了基于可伸缩视频编码的第一示范性实施例的又一个编码构架。

具体实施方式

本发明可以在包括相应地适合的处理设备的任何电子设备上实现。例如，本发明可以在电视接收机、媒体网关、机顶盒、移动电话、个人计算机、数字静物相机、数字视频照相机或者汽车娱乐系统中实现，其中这些示范的系统的每个可以被配置用于处理具有低动态范围、具有高动态范围或者两者的图像内容。本发明可以适用于HDR静止图像以及HDR视频/HDR图像序列。

本发明的第一示范性实施例采用高动态范围的图像可以从不同曝光的对准图像，例如，取自相同视点的相同场景的一对图像（其中该图像的一个曝光不足，并且另一个过度曝光）中产生的事实。

为了在单个帧中配备一对图像，该图像被下采样。在第一示范性实施例中，下采样可以水平地，即，每奇数或者每偶数列被移除，如在图3中示范性地描述的，或者垂直地，即，每奇数或者每偶数行被移除，如在图4中示范性地描述的。下采样的图像然后可以布置在单个帧中。在水平下采样的情况下该布置是并排的，并且在垂直下采样的情况下该布置是上下。这些在图5中示范性地描述。示范性地描述的二个LDR图像具有1080行和1920列，并且被水平地下采样为960列，并且如在图6a中描述的被并排布置，或者被垂直地下采样为540行，并且如在图6b中描述的被上下布置。

其他的采样方向是可能的，例如，对角地上倾或对角地下倾。该采样方向可以是固定的，或者可以适应于内容保存选择。例如，可以在编码器侧每个图像或者每个画面组测试一些采样方向，并且例如选择导致最好的速率失真的那个。该布置类型可以以元数据用信号通知或者通过在该帧中搜索减少该帧一半的边缘特点而确定。该特点的有效性可以被比较，并且最有效的一个然后可以用于将该帧再次分解为图像。

类似地，对于共有或者分别地两个图像，是正交于所述采样方向的奇数行还是偶数行被移除可以被选定或者调整，例如，用于改善率失真。这个调整可以与采样方向的修改独立地发生，例如甚至在固定的采样方向的情况下，或者与采样方向修改的相结合。

在在该帧中布置之后，该帧被编码。在属于适用于重建其HDR视频的LDR图像对序列的LDR图像的情况下，该帧可以按照任何已知的视频编码标准，例如，H.264/MPEG-4AVC被编码。对于本发明的要点，使用哪个编码标准是不重要的。

该编码可以利用二个LDR图像示出具有不同曝光的相同内容的事实。也就是说，运动矢量搜索可以被限制在该帧的一半，并且在一半帧上确定的运动矢量可以在另一个半帧上重新使用。重新使用甚至在仅仅一半帧的运动矢量需要编码的情形下可以是强制性的。

选择性地，该编码器输出可伸缩图像/视频编码(SVC)格式的基础层，并且在下采样的LDR图像中省去的行或者列在SVC格式的增强层中被编码。或者，该编码器输出多视图编码(MVC)格式的第一视图，并且在下采样的LDR图像中省去的行或者列在MVC格式的第二视图中被编码。

为了以在二个LDR图像每个的正常曝光区中保留细节的方式改善二个LDR图像的曝光，可以在下采样前或后适用可选择的直方图对准。该直方图调整的特定的设置可以被固定或者修改，而在这样情况下，它们可以经由元数据发送给解码过程，使得解码器能够执行反变换。

基于二个不同曝光的LDR图像的示范性编码构架在图5中描述。

编码设备ENC接收二个不同曝光、对准的图像或者具有低动态范围的视频帧，并且通过在模块HST中直方图均衡化调整其曝光。然后，该曝光调整的图像被下采样的DWN，并且被封装PCK为单个帧，其通过H.264/MPEG-4AVC编码器AVC被编码。模块MDE编码直方图对准的参数、有关下采样的信息和有关封装进该帧的元数据的信息。包括元数据的该编码的帧然后被输出，用于以流传输，或者存储在存储介质，例如光盘上。

解码设备DEC从用于读取该存储介质的设备，或者从流接收设备接收包括元数据的编码的帧，并且按照用于编码的标准解码IAVC该帧。然后，该元数据被解码MDD，并且用于将该帧分解SEP为下采样的LDR图像。无论上采样UP是增加奇数或者偶数行，该元数据被进一步使用。该分解和上采样对于并排布置LDR图像在图7中被示范性描述，并且对于上下布置LDR图像在图8中被示范性描述。接下来，直方图对准参数的元数据用于反向直方图对准IHST。在反对准之后，融合FUS该LDR图像产生HDR内容。

HDR内容然后可以原样被输出用于寻源HDR显示器，或者输出明暗映象的MAP用于寻源HDR显示器。

在图9中描述的第二示范性实施例中，该编码设备ENC在红-绿-蓝(RGB)色彩空间获得HDR内容。该内容是明暗映象的MAP，用于以RGB产生LDR内容。LDR内容被颜色转换CCV为亮度色度空间，例如YUV 420，并且HDR内容的亮度值被确定。随后，这些值被使用以从HDR内容提取曝光图，例如，通过HDR内容的亮度值逐像素除以LDR内容的亮度值。这需要例如可以使用对数标度或者线性标度进行的亮度-色度的变换。该曝光图然后被标准化和量化NQ为由该格式允许的位深度。为了利用YUV 420帧优化的编码，该标准化和量化的曝光图被从YUV 400空间变换为YUV 420空间。

然后，该变换的曝光图和LDR内容被下采样DWN并封装PCK进一个帧，或者如在图10a中示范性地描述的并排，或者如在图10b中示范性地描述的上下。该帧随后被AVC编码。下采样可以是水平或者垂直的，并且或者奇数或者偶数行可以移除，和/或由于下采样移除的信息可以在SVC的增强层中，或者在MVC的不同的视图中传送。

在图9中示范性地描述的这个第二示范性实施例中，除有关是奇数还是偶数行被移除的信息之外，该元数据包括用于标准化的亮度比的极值。有关例如并排或者上下的布置的信息也可以被包含，或者可以在解码器侧使用帧减半边缘特征检测被确定。

该解码器DEC解码IAVC编码的帧，并且分解SEP为下采样明暗映象的LDR内容和下采样的曝光图。通过上采样UP，LDR内容和曝光图被再次扩展为帧大小。

该上采样的LDR内容可以原样输出到LDR使能设备。该曝光图可以使用作为元数据传送的最小和最大亮度值去量化和去标准化IQN。该扩展的曝光图然后可以用于逆明暗映象ITM，并且产生的HDR内容可以寻源HDR使能显示器。

本发明的第三示范性实施例也采用高动态范围的图像可以从不同曝光的对准图像，例如，取自相同视点的相同场景的三个图像（其中该图像的一个曝光不足，一个正常曝光，并且一个过度曝光）中产生的事实。

在图12描述的第三实施例中，非正常曝光的对准图像被水平地和垂直地下采样。选择性地，在下采样之前适用直方图对准。正常曝光的LDR图像无需直方图对准被或者垂直地或者水平地下采样。然后，三个图像被布置在该帧中，如在图11a或者图11b中示范性地描述的。

也就是说，在正常曝光的LDR图像被垂直地下采样的情况下，下采样的非正常曝光的图像被并排布置，并且下采样的正常曝光的图像被布置在其下面或者在其顶上。并且在正常曝光的LDR图像被水平地下采样的情况下，下采样的非正常曝光的图像被上下布置，并且下采样的正常曝光的图像被并排布置于此。该产生的帧然后例如使用AVC编码器被编码。该帧的元数据可以携带有关移除的行的奇偶性、正常曝光的图像的下采样的方向和/或直方图对准的参数的信息。

在解码器侧，该流使用例如作为AVC的标准视频编码器首先被解码。该帧然后使用由元数据携带的相符方法，或者使用检测的垂直或者水平中间边缘被拆包。正常曝光的结果图像或者图像流然后使用由元数据携带的相符方法被过采样，生成重建的正常曝光的LDR图像/视频。过度曝光的LDR视频和曝光不足的LDR视频被水平和垂直地过采样。

该产生的正常曝光的LDR内容可以直接寻源LDR显示器。

在已经在编码器侧适用直方图对准的情况下，反直方图调整可以使用由元数据携带的参数选择性地适用于过度曝光和曝光不足的内容。

该产生的正常曝光的LDR内容可以进一步与反直方图对准的过度曝光的LDR内容和曝光不足的LDR内容融合，用于重建HDR内容（其然后可以提供给HDR显示器）。

在第三示范性实施例中，以及在第一和第二示范性实施例中，该帧还可以在可伸缩视频编码格式的基础层中编码。或者，可以使用MVC。因而，在基础层/主要视图中由于下采样缺乏的信息可以在一个或多个增强层/辅助视图中编码。在适用在不同的视图或者层上分布信息的这个原理的每个情形下，基础层/第一视图的半帧的运动矢量信息不仅可以重新用于基础层/第一视图的其他半帧，而且可以用于增强层的半帧。

例如，如果HDR内容基于不同曝光像素的四个图像，关于每个，四个LDR图像可以分类为四分之一分辩率的四个LDR子图像。例如，在奇数行中的奇数像素被分类为第一子图像，在偶数行中的奇数像素被分类为第二子图像，在奇数行中的偶数像素被分类为第三子图像，并且在偶数行中的偶数像素被分类为第四子图像。然后，四个LDR图像的第一子图像被布置在SVC基础层或者主要MVC视图中，四个LDR图像的第二子图像被布置在第一SVC增强层或者第一辅助MVC视图中，四个LDR图像的第三子图像被布置在第二SVC增强层/第二辅助MVC视图中，并且四个LDR图像的第四子图像被布置在第三SVC增强层/第三辅助MVC视图中。

对于在示范性实施例（帧编码是依照H.264/MPEG-4 AVC）中编码元数据，提出以下的示范性语法。

也就是说，本发明的一个方面涉及修改的或者新的SEI消息的提议。例如，如在以下的表1中示范性地描述的，sei_payload()可以被修改，使得等于45的附加payloadType（有效载荷类型）被限定，其触发接入在表2中示范性地描述的hdr_frame_compatible_info(payloadSize)。

表1：修改的sei_payload()消息

hdr_frame_compatible_info(有效载荷大小){	C	描述符
			hdr_frame_compatible_id	5	ue(v)
hdr_frame_compatible_cancel_flag	5	u(1)
			如果(!hdr_frame_compatible_cancel_flag){
hdr_frame_packing_arrangement_type	5	u(3)
			hdr_frame_compatible_type	5	u(2)
如果(hdr_frame_compatible_type==0){
			over_exposed_view_mapping	5	u(1)
}
			如果(hdr_frame_compatible_type==1){
ldr_view_mapping	5	u(1)
			hdr_luminance_min	5	f(16)
hdr_luminance_max	5	f(16)
			luminance_ratio_scaling_method	5	u(2)
}
			如果(hdr_frame_compatible_type==2){
multi_view_mapping	5	u(2)
			secondary_down_sample_mapping	5	u(1)

}
			}
}

表2：HDR帧兼容的信息

SEI HDR帧兼容的信息消息使用表示的帧封装布置方案通知解码器该输出解码的画面包含由多个不同的空间封装的组成帧构成的帧的采样。这个信息可以由解码器使用以适当地重新布置该采样，并且处理适当地用于显示器或者其他目的(其在本说明书的范围之外)的构成帧的采样。

hdr_frame_compatible_id包含一个识别号，其可用于识别HDR帧兼容信息SEI消息的使用。hdr_frame_compatible_id的值将包括在0至2^32-2的范围内。

从0至255，和从512到2^31-1的hdr_frame_compatible_id的值可被使用，如由该应用确定的。从256至511和从2^31到2^32-2的hdr_frame_compatible_id的值被保留以供ITU-T|ISO/IEC未来使用。解码器将忽略(从比特流移除和丢弃)包含在256至511范围内、或者在2^31到2^32-2范围内的hdr_frame_compatible_id的值的所有HDR帧兼容信息SEI消息，并且比特流将不包含上述的值。

等于1的hdr_frame_compatible_cancel_flag表示HDR帧兼容信息SEI消息以输出顺序删除任何HDR帧兼容信息SEI消息的持续性。

等于0的hdr_frame_compatible_cancel_flag表示HDR帧兼容信息SEI消息信息接着。

hdr_frame_packing_arrangement_type表示如在表3中指定的该帧的封装布置的类型。

表3：hdr_frame_packing_arrangement_type

hdr_frame_compatible_type指定用于传输HDR相关信息的解决方案。

0的hdr_frame_compatible_type对应于使用二个LDR视图的方案；1的hdr_frame_compatible_type对应于使用LDR视图和曝光图的方案；2的hdr_frame_compatible_type对应于在一半帧上使用LDR视图，在四分之一帧上的一个曝光不足的LDR视图，和在四分之一帧上的一个过度曝光的LDR视图的方案。高于2的hdr_frame_compatible_type可以表示大于三个LDR图像的使用。

over_exposed_view_mapping指定哪个半帧被以过度曝光的LDR视图映象。当hdr_frame_compatible_type等于0或者2的时候，这个标记呈现。

当hdr_frame_packing_arrangement_type处于范围0至3之中(并排布置)的时候：

-等于0的over_exposed_view_mapping表示过度曝光的LDR视图映象在左侧半帧上，因此，曝光不足的LDR视图映象在右侧半帧上。

-等于1的over_exposed_view_mapping表示过度曝光的LDR视图映象在右侧半帧上，因此，曝光不足的LDR视图映象在左侧半帧上。

当hdr_frame_packing_arrangement_type处于范围4至7之中(上下布置)的时候：

-等于0的over_exposed_view_mapping表示过度曝光的LDR视图映象在上半帧上，因此，曝光不足的LDR视图映象在下半帧上。

-等于1的over_exposed_view_mapping表示过度曝光的LDR视图映象在下半帧上，因此，曝光不足的LDR视图映象在上半帧上。

ldr_view_mapping指定哪个半帧被以过度曝光的LDR视图映象。当hdr_frame_compatible_type等于1的时候，这个标记呈现。

当hdr_frame_packing_arrangement_type处于范围0至3之中(并排布置)的时候：

-等于0的ldr_view_mapping表示LDR视图映象在左侧半帧上，因此，曝光图映象在右侧半帧上。

-等于1的ldr_view_mapping表示LDR视图映象在右侧半帧上，因此，曝光图映象在左侧半帧上。

当hdr_frame_packing_arrangement_type处于范围4至7之中(上下布置)的时候：

-等于0的ldr_view_mapping表示LDR视图映象在上半帧上，因此，曝光图映象在下半帧上。

-等于1的ldr_view_mapping表示LDR视图映象在下半帧上，因此，曝光图映象在上半帧上。

hdr_luminance_min给出在标准化之前在HDR帧和相应的LDR帧之间的亮度比的最小值。这个16位值将解释为半浮动值(IEEE 754表示)。

hdr_luminance_max给出在标准化之前在HDR帧和相应的LDR帧之间的亮度比的最大值。这个16位值将解释为半浮动值(IEEE 754表示)。

luminance_ratio_scaling_method指定用于压缩亮度定额比值的方法。

0的luminance_ratio_scaling_method对应于线性标度。

1的luminance_ratio_scaling_method对应于log2标度。

2的luminance_ratio_scaling_method对应于log10标度。

multi_view_mapping指定哪个半帧被以正常曝光的LDR视图映象，并且哪个四分之一帧映射曝光不足的和过度曝光的LDR视图。当hdr_frame_compatible_type等于2的时候，仅仅这个标记呈现。

当hdr_frame_packing_arrangement_type处于范围0至3之中(并排布置)的时候：

-等于0的multi_view_mapping表示正常曝光的LDR视图映象在左侧半帧上，曝光不足的LDR视图映象在右侧和上四分之一帧上，并且过度曝光的LDR视图映象在右侧和下四分之一帧上。

-等于1的multi_view_mapping表示正常曝光的LDR视图映象在左侧半帧上，过度曝光的LDR视图映象在右侧和上四分之一帧上，并且曝光不足的LDR视图映象在右侧和下四分之一帧上。

-等于2的multi_view_mapping表示正常曝光的LDR视图映象在右侧半帧上，曝光不足的LDR视图映象在左侧和上四分之一帧上，并且过度曝光的LDR视图映象在左侧和下四分之一帧上。

-等于3的multi_view_mapping表示正常曝光的LDR视图映象在右侧半帧上，过度曝光的LDR视图映象在左侧和上四分之一帧上，并且曝光不足的LDR视图映象在左侧和下四分之一帧上。

当hdr_frame_packing_arrangement_type处于范围4至7之中(上下布置)的时候：

-等于0的multi_view_mapping表示正常曝光的LDR视图映象在上半帧上，曝光不足的LDR视图映象在下和左侧四分之一帧上，并且过度曝光的LDR视图映象在下和右侧四分之一帧上。

-等于1的multi_view_mapping表示正常曝光的LDR视图映象在上半帧上，过度曝光的LDR视图映象在下和左侧四分之一帧上，并且曝光不足的LDR视图映象在下和右侧四分之一帧上。

-等于2的multi_view_mapping表示正常曝光的LDR视图映象在下半帧上，曝光不足的LDR视图映象在上和左侧四分之一帧上，并且过度曝光的LDR视图映象在上和右侧四分之一帧上。

-等于3的multi_view_mapping表示正常曝光的LDR视图映象在下半帧上，过度曝光的LDR视图映象在上和左侧四分之一帧上，并且曝光不足的LDR视图映象在上和右侧四分之一帧上。

secondary_down_sample_mapping指定适用辅助下采样方法的方式，即，使用哪个行或者列(偶数或者奇数)。当hdr_frame_compatible_type仅仅等于2的时候，这个标记呈现。

当hdr_frame_packing_arrangement_type处于范围0至3(并排布置)之中的时候，用于水平子采样的列选择已经由hdr_frame_packing_arrangement_type值指定。

等于0的secondary_down_sample_mapping表示偶数行用于垂直子采样的过度曝光和曝光不足的LDR视图两者。

等于1的secondary_down_sample_mapping表示奇数行用于垂直子采样的过度曝光和曝光不足的LDR视图两者。

当hdr_frame_packing_arrangement_type处于范围4至7(上下布置)之中的时候，用于垂直子采样的行选择已经由hdr_frame_packing_arrangement_type值指定。

等于0的secondary_down_sample_mapping表示偶数列用于水平子采样的过度曝光和曝光不足的LDR视图两者。

等于1的secondary_down_sample_mapping表示奇数列用于水平子采样的过度曝光和曝光不足的LDR视图两者。

本发明允许使用已经部署的解决方案(标准HDTV系统)的HDR分布。

本发明进一步允许具有与标准HDTV系统的向后兼容性的HDR数据的有效和可伸缩编码。

由于其具有适应许多的显示器技术的能力，本发明是灵活的。

本发明可适用于用于分布和/或存储的HDR视频编码/解码的领域。

本发明可以关注视频表示格式、视频分布链两者和接收机(机顶盒、解码器、PVR)或者显示设备。

Claims (7)

1.一种对高动态范围的HDR图像进行编码的方法，包括：

获得三个低动态范围(LDR)图像，所述三个LDR图像中的每个提供HDR图像内容的较低动态范围描绘，所述三个LDR图像中的一个是正常曝光的，所述三个LDR图像中的一个是过度曝光的，所述三个LDR图像中的一个是曝光不足的，

使用直方图对准来调整曝光不足的LDR图像和过度曝光的LDR图像，以便以保留曝光不足的LDR图像和过度曝光的LDR图像中的每个的正常曝光的区域中的细节的方式，来改善曝光不足的LDR图像和过度曝光的LDR图像的曝光，

对正常曝光的LDR图像以及经调整的曝光不足的LDR图像和过度曝光的LDR图像进行下采样，

在帧中布置经下采样的正常曝光的LDR图像和附加数据，所述附加数据包含经下采样的曝光不足的LDR图像和过度曝光的LDR图像，以及

对该帧进行编码。

2.根据权利要求1所述的方法，其中，在附加数据与经下采样的正常曝光的LDR图像被上下布置的情况下，附加数据被并排布置，并且在附加数据与经下采样的正常曝光的LDR图像被并排布置的情况下，经下采样的曝光不足的LDR图像和过度曝光的LDR图像被上下布置。

3.根据权利要求1所述的方法，其中，下采样信息以帧的元数据被编码，下采样信息表示以下的至少一个：在经下采样的正常曝光的LDR图像中，奇数行是否已经被移除；以及在经下采样的曝光不足的LDR图像和过度曝光的LDR图像中，奇数行是否已经被移除。

4.根据权利要求1所述的方法，其中，布置信息以帧的元数据被编码，布置信息表示在帧中如何布置经下采样的正常曝光的LDR图像和附加数据，其中：

下采样是水平的，并且布置是并排的，或者

下采样是垂直的，并且布置是上下的。

5.一种重建高动态范围的HDR图像的方法，包括：

对帧进行解码，

将该帧分解为三个低动态范围(LDR)图像，所述三个LDR图像中的每个提供HDR图像内容的较低动态范围描绘，所述三个LDR图像中的一个是正常曝光的，所述三个LDR图像中的一个是过度曝光的，所述三个LDR图像中的一个是曝光不足的，

对正常曝光的LDR图像和附加数据进行上采样，所述附加数据包含曝光不足的LDR图像和过度曝光的LDR图像，

对经上采样的曝光不足的LDR图像和经上采样的过度曝光的LDR图像应用反向直方图对准，以及

从经上采样的正常曝光的LDR图像和包含经调整的经上采样的曝光不足的LDR图像和过度曝光的LDR图像的附加数据，重建HDR图像，

所述反向直方图对准是作为直方图对准的反向的处理，所述直方图对准用于以保留曝光不足的LDR图像和过度曝光的LDR图像中的每个的正常曝光的区域中的细节的方式，来改善曝光不足的LDR图像和过度曝光的LDR图像的曝光。

6.一种用于对高动态范围的HDR图像进行编码的设备，包括：

用于获得三个低动态范围(LDR)图像的装置，所述三个LDR图像中的每个提供HDR图像内容的较低动态范围描绘，所述三个LDR图像中的一个是正常曝光的，所述三个LDR图像中的一个是过度曝光的，所述三个LDR图像中的一个是曝光不足的，

用于使用直方图对准来调整曝光不足的LDR图像和过度曝光的LDR图像，以便以保留曝光不足的LDR图像和过度曝光的LDR图像中的每个的正常曝光的区域中的细节的方式，来改善曝光不足的LDR图像和过度曝光的LDR图像的曝光的装置，

用于对正常曝光的LDR图像以及经调整的曝光不足的LDR图像和过度曝光的LDR图像进行下采样的装置，

用于在帧中布置经下采样的正常曝光的LDR图像和附加数据的装置，所述附加数据包含经下采样的曝光不足的LDR图像和过度曝光的LDR图像，以及

用于对该帧进行编码的装置。

7.一种用于重建高动态范围的HDR图像的设备，包括：

用于对帧进行解码的装置，

用于将帧分解为为三个低动态范围(LDR)图像的装置，所述三个LDR图像中的每个提供HDR图像内容的较低动态范围描绘，所述三个LDR图像中的一个是正常曝光的，所述三个LDR图像中的一个是过度曝光的，所述三个LDR图像中的一个是曝光不足的，

用于对正常曝光的LDR图像以及曝光不足的LDR图像和过度曝光的LDR图像进行上采样的装置，

用于对经上采样的曝光不足的LDR图像和经上采样的过度曝光的LDR图像应用反向直方图对准的装置，以及

从经上采样的正常曝光的LDR图像和包含经调整的经上采样的曝光不足的LDR图像和过度曝光的LDR图像的附加数据，重建HDR图像的装置，

所述反向直方图对准是作为直方图对准的反向的处理，所述直方图对准用于以保留曝光不足的LDR图像和过度曝光的LDR图像中的每个的正常曝光的区域中的细节的方式，来改善曝光不足的LDR图像和过度曝光的LDR图像的曝光。