CN107431808A

CN107431808A - 改进的视频和图像编码过程

Info

Publication number: CN107431808A
Application number: CN201580066587.9A
Authority: CN
Inventors: 马西米利亚诺·阿戈斯蒂内利
Original assignee: Individual
Current assignee: Grid European LLC
Priority date: 2014-10-07
Filing date: 2015-06-16
Publication date: 2017-12-01
Anticipated expiration: 2035-06-16
Also published as: JP6617142B2; US10469849B2; US20170310981A1; JP2017535181A; CN107431808B; EP3205093A1; EP3205093B1; WO2016055875A1

Abstract

用于处理图像和视频数据的方法，包括提供高动态范围图像数据(HDR)和对应的低动态范围图像数据(LDR)。所述LDR图像在传统代码流中被编码，而残差代码流被生成并且被编码，其包含在解码阶段中重建所述HDR图像所需的数据。为了生成所述残差代码流，LDR图像数据被处理以便获得经处理的LDR*图像，随后选择所述HDR图像的分量数据以及所述经处理的LDR*图像的对应的分量，并且通过将所述经处理的LDR*图像数据的分量除以所述HDR图像数据的分量来计算所述经选择的分量数据的残差数据。所述经选择的分量的残差数据被缩放至被包括在0和1之间的值的范围内，并且随后在残差代码流中被编码。解码方法也被公开，其允许根据传统代码流和残差数据代码流来重建HDR图像。

Description

改进的视频和图像编码过程

技术领域

本发明涉及用于视频和图像的经改进的编码和解码方法。

本发明尤其涉及用于编码和解码高动态范围视频和图像数据的方法、计算机程序以及装置。

背景技术

存在用于在计算机存储器(诸如硬盘驱动器、闪存驱动器、CDs、DVDs、BLU-RAY等等)上存储视频和图像的各种方法。通常期望在存储之前压缩构成视频或图像的数据，以便避免使用太多的存储空间来存储特定的视频段或者一个或多个摄影或它们的图形图像，尤其是如果它们是高清晰度或高分辨率的，这趋向于涉及更多的数据。

US 8,462,194公开了用于处理高动态范围(HDR)图像的方法，其提供了通过夹箍(clamping)所述HDR图像来生成低动态范围(LDR)图像。如US 8,462,194中的“第五种方法”所公开的，所述方法也提供了通过将所述LDR图像的每个RGB分量除以所述原始的HDR图像的相应的RGB分量来生成所述LDR图像的分部颜色表示(被称为FC帧)。所述LDR图像和所述FC帧两者独立地被压缩。以此方式，传送所述LDR图像和所述FC帧的数据文件可以由传统解码器(其将仅仅解码所述LDR图像)以及由将能够使用所述FC帧来重建所述HDR图像的新的解码器解码。US 8,462,194也公开了用以校正所述FC帧的缩放和/或伽马(gamma)；这些缩放和伽马校正的细节没有被给出，例如US 8,462,194公开了通过乘以未被定义的“f”因子来获得缩放。

尽管是有效的，从US 8,462,194得知的方法仅仅在通过夹箍(clamping)所述HDR图像获得所述LDR图像的情况下良好地工作。如果以不同的方式获得所述LDR图像，则该方法可能不会正常地工作。

发明内容

本发明是为了努力解决现有技术的编码和解码方法的上述问题而做出的。

本发明提供了用于编码允许压缩和存储的视频和图像的方法。本发明也提供了用于使用现有的或传统的解码器(诸如但不限于JPEG、PNG、MPEG、HEVC、H264等等)来解码以重新创建所存储的视频或图像的方法。

本发明在一个实施例中提供了用于编码、存储、和解码高动态范围(HDR)视频或图像的方法，包括：提供HDR视频或图像以及它的低动态范围版本(LDR)；将所述HDR视频或图像数据分离成基层和HDR残差层；以及用编码器编码所述基层和HDR残差层。所述解码过程也被包括。

在一个实施例中，本发明提供了用于处理视频或图像数据的方法，包括提供高动态范围视频或图像数据(HDR)和所述高动态范围图像数据(HDR)的低动态范围视频或图像数据(LDR)。所述低动态范围图像数据在第一代码流中被编码，优选地使用诸如JPEG或MPEG的传统视频或图像编码器。所述方法也提供了选择所述图像数据的分量和所述低动态范围图像数据的对应的分量，并且通过将所述低动态范围数据的分量除以所述高动态范围图像数据的分量来计算所选择的分量的残差数据。所述残差数据随后在被包括在0和1之间的值的范围内被缩放，并且在残差代码流中被编码。

在编码之前，所述范围0-1中的残差数据的缩放允许所述编码方法独立于被用于从所述HDR图像获得所述LDR图像的方法而恰当地工作。所述LDR图像可以通过夹箍所述HDR图像或通过映射到它的色调而被获得。在两种方式中，缩放的提供允许对用于所述解码阶段中的适当的HDR重建的所述残差数据的更好的编码。

在一个实施例中，通过映射所述高动态范围图像数据(HDR)的色调并且对所述色调映射的图像数据施用伽马曲线来获得所述低动态范围图像数据(LDR)，以便获得准备好其在LDR显示器上的可视化的适合的向后兼容的LDR图像数据。在此实施例中，为了计算所述残差数据，所述低动态范围图像数据被线性化。这意味着用被施用至所述色调映射的图像数据的伽马曲线的逆校正它。

此解决方案允许通过使用被表达在线性空间中的两个视频帧或图像来计算所述残差数据。

优选地，所述编码方法也提供了通过施用另外的伽马曲线(例如，幂函数)来校正所述经缩放的残差数据，其增加了太接近于零的残差数据。

此解决方案改进了编码，因为否则大部分的所述残差数据将落入所述动态范围(值接近于零)的暗侧并且将难以正确地重构所述HDR图像。

在另一个实施例中，所述低动态范围图像数据(LDR)和所述高动态范围图像数据(HDR)被表示在不同的颜色空间中。在此实施例中，所述方法进一步提供了转换所述高动态范围图像数据的颜色空间中的低动态范围图像数据，用于通过将所述经转换的低动态范围图像数据的分量除以所述高动态范围图像数据的分量来计算所选择的分量数据的残差数据。

如果为了计算所述残差数据已经实现了空间转换，则在被缩放和伽马校正之前，所述残差数据可能在或者可能不在所述低动态范围图像数据的颜色空间中被转换。

在一个实施例中，所述方法进一步提供了在计算所述残差数据之前曝光所述高动态范围图像数据，并且使用所述经曝光的高动态范围图像数据来计算所述残差数据。

通过曝光所述高动态范围图像数据，它的动态范围的较低部分中的所述残差数据的编码被改进。

本发明也包括编码器，以便根据上面所记载的并且在下面的描述中被更好地公开的方法，在传统代码流中以及在残差代码流中分别对所述LDR和所述HDR图像编码。

本发明也包括解码方法和解码器，其适用于根据所述传统代码流和所述残差数据流来重建所述HDR图像。

附图说明

结合附图，根据对本发明的优选实施例的下面的详细描述的查阅，本发明的另外的特征和优点将是显而易见的，在其中：

图1是本发明的编码过程的示意图；

图2是替代图1的编码过程的示意图；

图3是在其中去除了框E4的图1的编码过程的示意图；

图4是本发明的解码过程的另一个实施例的示意图；

图5是替代图1的编码过程的示意图；以及

图6示出了用于处理图像的系统。

具体实施方式

尽管本发明易于做出各种修改和替代形式，一些优选的实施例在附图中被显示并且将在下面被详细地描述。然而，应被理解的是：不存在将本发明限制于所公开的特定的实施例的意图，而是相反地，本发明的意图是覆盖落入如在权利要求中所定义的本发明的范围内的所有修改、替代形式、和等同物。

除非另外被定义，使用“例如”、“等等”、“或”、和“诸如”指示没有限制的非排他的替代物。除非另外被定义，“包括”的使用意思是“包括但不限于”。

术语高动态范围(简言之，HDR)图像将被用来识别图像或图像数据，使用多于8比特每颜色信道来表示其分量。

术语低动态范围(被简称为LDR)图像将被用来标识图像或图像数据，使用与相应的HDR图像相比更少的每颜色信道比特来表示其分量。

根据本发明的图像处理系统由此参考图6而被描述。

所述处理系统600包括用于编码HDR图像602的编码器601。所述编码器601接收所述HDR图像602以及通过色调映射或曝光和夹箍所述HDR图像602而获得的低动态范围(LDR)图像602a作为输入。

在一个实施例中，所述编码器601被配置为仅仅接收所述HDR图像602作为输入，并且根据所述HDR图像602生成所述LDR图像602a。

所述编码器601处理所述HDR和LDR图像(602、602a)并且输出包括经编码的LDR图像(优选地对应于所述LDR图像602a)和包括可以与所述经编码的LDR图像组合使用的残差数据的残差代码流604的传统代码流603，用于所述HDR图像的重建。

为了将所述HDR图像处理成传统代码流和残差代码流，所述编码器601包括用于实现如此处在下面关于图1至3和图5的非限制性实例所描述的编码方法的电子电路。

所述处理系统600也包括解码器605，其被配置为实现如在下面的说明中(例如参考图4)描述的解码过程。

解码器605接收所述传统代码流603和所述残差代码流604作为输入，并且输出对应于所述原始HDR图像602的HDR图像606。

编码

本发明的编码过程将HDR图像分解成基层和HDR残差层。所述基层是低动态范围(LDR)图像，其是从所述原始浮点HDR图像导出的经曝光和经夹箍的版本或色调映射的版本。

所述LDR图像在传统代码流中被编码，该传统代码流是所述经编码的HDR图像的向后兼容的部分，其将可被所有传统解码器访问。传统解码器是现有的标准解码器处理，诸如但不限于JPEG、PNG、MPEG、HEVC、H264等等。作为实例，传统解码器可以是遵循支持8位扩展或基线的ISO/IEC 18477-1、扩展的或渐进的霍夫曼模式的解码器。

所述HDR残差层包含在RGB空间中逐个信道执行的所述色调映射的LDR图像除以所述原始HDR图像(在所述曝光步骤E10之后)的分数部分。所述HDR残差层在残差数据代码流中被编码。

在所述残差代码流的头部中发送信号的分量的数量(Nc)应该与所述传统代码流中的分量的数量一致。

Nc＝3表示具有三个颜色分量的图像，并且Nc＝1表示灰度图像，为了简单性的目的，其贯穿整个文档而被指示为Y。

所述编码过程在图1中被描绘。此过程可以被施用于图像或图像数据(其可以是独立的图像(例如图片)或视频的帧)。

在图1的实施例中，所述编码过程将两个图像作为输入：线性的HDR图像(框E9)和它的LDR对应物(框E1)。

在一个实施例中，所述LDR图像通过映射所述HDR图像的色调而被生成，即通过施用公知的色调映射算法来获得所述LDR图像，诸如在本说明书的末尾处列出的科学文献[1]-[4]中所描述的算法。可替代地，可以以任何其他方式(例如，通过曝光和夹箍所述HDR图像，或者通过颜色分级和色调调整过程)从所述HDR图像获得所述LDR图像，假设所述LDR图像的动态范围低于所述HDR图像的动态范围。

尽管在图1的实施例中将所述LDR图像E1作为输入，在一个实施例中，所述LDR图像的生成(通过色调映射或夹箍或者其他方法)可以是所述编码方法的步骤，因此，其仅开始于HDR图像，并且随后提供根据所述输入HDR图像生成相关的LDR图像。

所述编码过程提供了对所述LDR图像和残差数据的编码，这将对由所述解码器进行的所述HDR图像的重建而言是必需的。

在图1中，包括从E1至E18的框的上部路径是所述LDR图像的编码过程。

如在下面更好地阐释的，在一个优选的实施例中，处理框11(包括框E2、E2a、和E3)和12(包括框E4、E5、和E6)执行逆操作，以致单独为了编码所述LDR图像的目的，它们可以如图2中所指示的那样被省略，其中所述LDR图像作为输入被直接传递至所述传统编码器10。为了计算所述残差数据的目的，在图2中保留了处理框11。

所述传统编码器10可以是JPEG、PNG、MPEG、HEVC、H264或其他类型的传统编码器。在图1的实例中，所述传统编码器10包括在其中所述输入的RGB图像经历从RGB到YCbCr的颜色空间转换(框E7)并且随后经历色度下采样(框E8)的过程。在该过程之后，将所述LDR图像作为输入传递至传统编解码器(框E18)，例如JPEG、PNG、MPEG、HEVC、H264或其他编解码器。基于所述输入图像并且基于传统编解码器的类型，所述传统解码器内部的预处理步骤可以是不同的。

在下面的示例性实施例中，所述LDR图像将被指示为：

如果Nc＝3则或者在灰度级图像(Nc＝1)的情况下被指示为ldr_Y。因此，ldr_RGB是包含三个颜色分量的图像：ldr_R(红色)、ldr_G(绿色)和ldr_B(蓝色)。

回到图1，所述LDR图像是经由8比特信道表示的未经压缩的图像，例如.png、.ppm、或.bmp图像，这意味着可以用范围从0到255的值来表示每个分量(例如，红色、绿色、和蓝色、或者亮度分量Y)。

框E2将所述RGB色调映射的图像ldr_RGB(或者如果Nc＝1则ldr_Y)转换为浮点[0,1]，这意味着将每个分量除以255。因此，框E2的输出是：

如果Nc＝3，

如果Nc＝1，

这可以用下面的代码而被获得：

其他的范围映射方法可以被使用。

框E2a是可选的，并且当所述输入的LDR图像不是线性的时其被使用。在此情况下，将所述LDR图像信号线性化是必需的。这通过伽玛操作而被执行，即，例如但不限于简单的幂函数或sRGB伽马或使用查找表。所述伽马曲线必须是在用于生成所述LDR图像的过程期间施用的伽马曲线的逆。作为实例，如果将色调映射算法施用至所述HDR图像而获得所述LDR图像，并且如果所述色调映射算法应用非线性伽马曲线，例如，Γ＝x^1/2.2，其中x是R、G、或B分量以及1/2.2是伽马校正，则框E2a对每个分量施用逆伽马曲线Γ^-1＝x^2.2。

框E3被用于将所述LDR图像转换至所述HDR图像的颜色空间。其包括3x3矩阵，所述3x3矩阵将所述LDR输入图像的较小的颜色空间转换至所述HDR输入图像的较宽的颜色空间中。

根据数学的观点，空间转换因此由下面的公式表示：

对于Nc＝3，wide_ldr_RGB＝H·base_ldr_RGB (2)

其中是空间转换矩阵。

这可以用下面的代码获得：

其中系数a_i(a_1 to a_9)是用于所述颜色空间转换的矩阵元素。

如果并且仅仅如果所述两个输入图像(LDR和HDR)被表示在两个不同的颜色空间中(即，通过实例的方式但不限于所述LDR图像被表示在sRGB颜色空间中并且所述HDR图像被表示在XYZ颜色空间中)，则该步骤E3被要求。其他颜色空间可以被用来表示所述输入HDR图像，诸如但不限于BT 2020，BT 709等等。

如果两个图像在相同的颜色空间下被表示，则该矩阵是单位矩阵或步骤E3被跳过。

通过将框E3(LDR*)的输出除以框E10(HDR*)的输出而获得所述残差数据(在下面在Nc＝1的情况下由矩阵res_Y指示，或者如果Nc＝3则由res_RGB指示)。框E10的输出(在Nc＝1的情况下为exp_Y，或者如果Nc＝3则为exp_RGB)是曝光步骤之后的所述输入HDR图像。

因此，残差数据被组织为具有与所述HDR和所述LDR图像相同数量的分量的残差图像。通过将LDR图像分量的值除以相应的HDR图像分量的各个值而获得所述残差图像的每个分量的值。使用上面的记号，应用下面的公式。

对于Nc＝3，Res_RGB＝wide_ldr_RGB/exp_RGB (3a)

对于Nc＝1，Res_Y＝wide_ldr_Y/exp_Y (3b)

可以经由下面的代码获得残差数据：

基于所述输入的HDR图像信息来计算要被应用在所述输入HDR图像上的曝光；特别地，在框E10中，所述输入HDR图像的每个分量被乘以根据下面的公式计算的标量值“曝光”：

其中，out_average是所述输入HDR图像的所有像素的平均值，以及scale_factor定义了所述曝光的量级并且其根据下面的公式而被计算：

HDR_max和HDR_min是所述输入HDR图像的最大值和最小值。如果根据软件的观点，操作(2)导致不确定的值(例如Mathlab语法中的非A数字值)，则scale_factor被取为1。

优选地，“exposure”的最大值被设定为8，因此，如果公式(4)的结果是大于8的值，则“exposure”被设定为8。

在一个实施例中，所述方法进一步提供了：如果所述LDR*图像的像素值等于零或者如果所述HDR*图像的值等于或小于0，则将所述残差数据的值设定为1。

所述输入HDR图像的颜色像素的负值可以归因于不益于正确地表示所有HDR图像像素值的颜色空间，或者归因于与拍摄所述HDR图像的照相机相关联的其他现象。在任何情况下，使所述残差等于1允许在所述解码阶段中的所述HDR图像的更好的重建。

在另一实施例中，如果所述HDR图像包括具有颜色值≤0的像素，则该方法提供了将所述HDR图像进一步空间转换至更大的颜色空间中，其中所述HDR图像具有大于或等于0的所有值。

如果用两个不同的颜色空间表示所述两个输入图像(LDR和HDR)，则在一个实施例中，在所述LDR图像的颜色空间中计算残差数据。

参考图1，由于框E3已经被用于在所述HDR图像的颜色空间中转换所述LDR图像，所述残差数据在所述HDR图像的颜色空间中被计算，因此，框E11被用于将所述残差数据转换至所述LDR图像和所述传统编码器10的颜色空间。

因此，框E11的输出是：

对于Nc＝3，res_RGB＝res_RGB·H^-1 (6a)

对于Nc＝1，res_Y＝res_Y (6b)

该框的可选的使用可能稍微影响所述压缩过程的质量性能。

框E11可以经由下面的代码而被实现：

其中系数inva_i是矩阵元素H^-1，其是在框E3中被使用的矩阵H的逆。如果此框没有被使用，则3x3单位矩阵被使用或者跳过该步骤。在后一种情况下，如果Nc＝3，则至框E11的输入是res_RGB，或者如果Nc＝1则res_Y。

框E11的输出通过框E12而在范围[0,1]之间缩放。因此，框E12的输出是具有范围从0到1的值的残差数据(对于Nc＝3为scaled_res_RGB，对于Nc＝1为scaled_res_Y)。

可以通过从每个分量中减去该分量的最小值并且通过将该减法的结果除以该分量的最大值和最小值之间的差而获得范围[0,1]中的残差数据的缩放，例如：

scaled_Y＝(res_Y’–minY’)/(maxY’-minY’) (7)

可以经由下面的代码实现缩放的实例：

其中scaled_R、scaled_G和scaled_B是scaled_res_RGB的分量，scaled_Y是scaled_res_Y的分量，并且其中maxRGB'和minRGB'是res_RGB'图像的最大和最小R、G、和B值。如果Nc＝1，maxY'和minY'是res_Y'图像的最大值和最小值。其他类型的缩放可以被使用。

在框E12中已经对所述残差数据进行了缩放之后，在随后的框E13中应用伽马校正。

框E13描述了伽马操作，用以在0和1之间更好地分配所述残差数据，并且用以在所述编码期间防止更接近于零的较小值被量化为零。

在一个实施例中，根据下面的公式，在框E13中所述输入经缩放的残差数据的每个分量被乘以幂函数：

其中，gamma_res_i是残差数据图像gamma_res_Y(如果Nc＝1)或gamma_res_RGB(如果Nc＝3)的输出分量，其中scaled_i指示由框E12输出的经缩放的残差数据的分量，并且其中hdr_gamma优选地大于1，以致当计算值越低，该hdr_gamma值越高。

在一个实施例中，根据下面的公式计算hdr_gamma：

其中，

其中max_HDR是所述输入HDR图像的最大像素值。

框E13的所述输出(对于Nc＝1的gamma_res_Y，对于NC＝3的gamma_res_RGB)可以通过下面的代码而被获得：

其中gamma_R、gamma_G、和gamma_B是gamma_res_RGB的分量，gamma_Y是gamma_res_Y的分量，power(x,y)是输出x^y的值的函数，并且其中基于被包含在所述输入HDR图像中的信息计算hdr-gamma，例如，根据公式(10)。

框E14将浮点[0,1]残差数据转换为[0,255]，例如，通过将所述浮点值乘以255并且随后舍入为整数。其正好是框E2的逆并且可以经由下面的代码而被获得：

其中int_B、int_G、int_R、int_Y包括整数值。

并且在此情况下，不同的逆范围映射可以被使用。框E14的逆范围映射优选地是在框E2中应用的范围映射的逆。

在框E14之后，在框E15和E16中处理所述残差数据，其将所述数据置于由所述编码器框E17请求的格式中，所述编码器可以是传统编码器(例如，JPEG编解码器)或者非传统编码器。

在图1的实例中，为了节省存储器并且简化所述编码过程，在框E17中使用的编解码器与在框E18中使用的编解码器相同。在下文中，框E17的所述输出被命名为“残差代码流”以指示它包含重构所述HDR图像所必需的残差数据(或“残差图像”)。

框E15执行如所述传统编码器中指定的从所述残差数据的颜色空间到YCbCr的颜色空间转换。如果Nc＝1则其输出是一个值rc_Y，或者如果Nc＝3则其输出是三个值rc_R、rc_G、rc_B。

框E16执行如所述传统编码器E17中指定的色度下采样，如果Nc＝1则对数据rc_Y执行，或者如果Nc＝3则对数据rc_R rc_G rc_B执行。如果Nc＝1则其输出是一个值rd_Y，或者如果Nc＝3则其输出是三个值rd_R、rd_G、rd_B。最后，使用框E17中的编解码器来压缩框E16的输出，给定输出中的所述残差编码的数据。

如上所述，使用传统编码器10对所述LDR基础图像进行编码。

由于在图1的实施例中所述LDR图像已经在框处理框11中被处理，为了输出所述传统代码流，从LDR*返回到LDR是必需的。因此，跟随从框E4至框E18设计的步骤，从LDR*获得所述经编码的色调映射的向后兼容图像LDR。

如果存在框E3，则存在框E4。其范围是将所述色调映射的(LDR)图像重新转换成其原始颜色空间，即通过非限制性实例的方式，如果LDR*在所述XYZ颜色空间中并且LDR在RGB中，则E3从XYZ转换至RGB。如果使用图3的方案，则可以跳过框E4。在此情况下，如在图3中所显示的，我们直接将框E2和E2a之后的所述色调映射的(LDR)输入图像给框E5作为输入。

因此，框E4的输出是图像：

如果Nc＝3，linbase_RGB＝LDR^*·H^-1或

如果Nc＝1，linbase_Y＝LDR^*或

其中H^-1是在框E3中使用的所述颜色空间转换矩阵H的逆。可以经由下面的代码获得所述linbase_RGB或linbase_Y图像：

所使用的3×3矩阵是在框E11中使用的具有系数inva_i的逆矩阵H^-1。

框E5对所述LDR图像执行伽玛操作。该操作仅用于所述LDR图像信号的可视化的目的。在优选的实施例中，框E5执行框E2a的逆操作。框E5的输出随后被从浮点[0,1]转换至整数[0,255]。该操作(框E6)是框E2的逆。

框E7和E8的最后步骤与框E15和E16中的一个一致，但是被应用于框E6的输出。最后，框E8的输出在框E18中由所述传统编解码器编码，在输出中给出经编码的后向兼容的LDR图像(色调映射的)。

为了允许所述HDR图像的正确重建，根据本发明的实施例，所述传统代码流包括下面的元数据：

·所使用的hdr_gamma值和用于框E13的残差数据的伽马校正的伽马曲线的类型，

·用于所述残差数据的缩放的minRGB和maxRGB(或者如果Nc＝1，则minY和maxY)

·表示在所述编码中使用的空间转换的数据(即，指示框E3和E11是否被使用的数据)

·曝光参数“param_expval”

·要被用于所述HDR图像的重建的参数“e”；该参数优选地被设定为10^-7，

·所述ldr_gamma值和被用于框E2a中的逆LDR伽马校正的伽马曲线的类型。

解码

所述解码过程组合所述传统代码流(包含所述基础图像、LDR)和所述残差代码流中的数据来恢复所述HDR图像。下面参考可以是视频的帧或简单图片的图像的解码来概述该合并过程的细节。

在图4中，包括框D1、D2、D3的上部路径是传统解码器的标准流程，其接收所述传统代码流作为输入，并且输出特定的颜色空间中的向后兼容的LDR图像，即，图4的实施例中的sRGB颜色空间。

所述数据随后由框D4处理，在其中至浮点的映射(框D4a)被执行，随之是逆伽马操作(框D4b)和可选的空间转换(框D4c)。因此，框D4将所述基础图像映射到线性浮点空间中并且输出线性预RGB值。

所述残差图像的分量数量Nc应该等于在所述传统图像中发信号的分量的数量。

以与针对框E2的描述相同的方式，可以通过将所述LDR图像的每个像素值除以255来获得至浮点[0,1]的范围映射。这可以通过下面的代码而被实现：

其他类型的缩放可以被使用。

为了使由框D4a输出的所述浮点图像线性化，在框D4b中对框D4a的输出应用逆伽马校正。在框D4b中应用的所述逆伽马校正是框E5的逆。框D4b的输出提供：如果Nc＝＝1则是一个值LP_Y，或者如果Nc＝＝3则是三个值LP_R、LP_G、LP_B。

如果在所述编码中存在框E3，则所述LDR流在框D13中被处理之前被乘以描述颜色空间变换的3×3矩阵(框D4c)。该矩阵的系数与在编码步骤E3中使用的相同。因此，用于实现框D4c的代码可以是下面这样：

如果编码中的框E3不存在，则该3×3矩阵是单位矩阵或者该步骤在解码中被省略。

在图4中，从D6开始的下部路径涉及所述残差数据的处理。在框D6中，由框E17生成的残差代码流的数据由对它们进行解码的标准编解码器(例如，MPEG、或JPEG、或H264等等)处理。在被解码之后，所述残差数据在框D7中经历色度上采样步骤。色度上采样与在所述传统解码器(框D2)中实现的上采样过程一致。

如在所述传统解码器(框D3)中所指定的，框D8随后对所述残差数据的颜色空间执行YCbCr转换，在图4的实施例中，残差数据被转换到RGB中。如果Nc＝＝1则其输出提供一个值rc_Y，或者如果Nc＝＝3则提供三个值rc_R、rc_G、rc_B。

框D9将框D8的RGB输出映射到浮点[0,1]。由框D9执行的操作与在框D4中实现的范围映射操作等同。如果Nc＝＝1则框D9的输出提供一个值rs_Y，或者如果Nc＝＝3则提供三个值rs_R、rs_G、rs_B。

框D9的输出经历框10中的逆伽马函数。框D10对框D9的输出应用伽马函数，其是在编码期间在框E13中使用的伽马函数的逆。

参考框E13的幂伽马函数，由框D9实现的逆伽马函数可以经由下面的代码而被实现：

参数param_hdr_gamma与编码中所使用的并且被存储在所述残差代码流的元数据(hdr_gamma)中的参数相同。

框D11的目的是重新扩展所述值以恢复所述原始残差图像。因此，框D11实现框E12的逆函数。

由框D11实现的函数可以经由下面的代码而被实现：

其中所述minRGB和maxRGB(或者如果Nc＝1，minY和maxY)被存储在所述元数据中，并且是与在编码框E12中使用的参数相同的参数。其他类型的缩放可以被使用。

框D12是可选的，并且仅当编码中的框E11被执行时执行所述框D12。在此处，用以支持也用于残差数据的宽色域的颜色矩阵变换被应用。如果在编码中没有已执行此操作，则其将被跳过。该矩阵将所述编码过程的标准颜色空间转换为所述HDR输入图像的原始颜色空间。

参考上面所描述的编码实例，其中已经使用空间颜色转换矩阵H^-1在框E11中实现了空间转换，框D12的输出处的线性残差图像是：

对于Nc＝3，LR_RGB＝scaled_RGB·H

对于Nc＝1，LR_Y＝scaled_Y

在一个实施例中，框D12可以经由下面的代码而被实现：

框D12的所述3×3H矩阵是在框E11中的所述编码过程中使用的一个(H^-1)的逆矩阵。

在所述LDR基础图像和所述残差图像已由框D4-D12处理之后，在框D13和D14中实现HDR重建。D13和D14两者是除法。

框D13获得所述线性预RGB，并且将其除以以浮点形式给出所述原始HDR的线性残差RGB。在优选的实施例中，小的值e被添加至分母以避免除以零。

框D14对框D13的输出实现逆曝光，以便将所述值重建为原始曝光。

在一个实施例中，经由下面的代码实现框D13：

//框D13

e的值取自残差代码流元数据。

在一个实施例中，经由下面的代码实现框D14：

//框D14:

其中param_expval是在所述编码步骤E10中使用的并且被包含在所述残差代码流的元数据中的曝光值。

如果以对数标度表示框D4和D12的输出，则框D13的除法可以是减法，随之是指数运算。在此情况下，对应的代码可以如下：

值e被添加以避免对数为0的运算。

框D14的功能是移除在编码过程的框E10中应用的曝光因子。因此，框D13的输出被除以在编码中使用的“曝光”因子。如果在所述残差代码流的元数据(param_expval)中存储的所述曝光值等于“曝光”的倒数，即param_expval等于1.0/曝光，则框D14的功能可以是乘法。在此情况下，可以经由下面的代码实现框D14的功能：

其中曝光是在编码中被计算并且被用于框E10的曝光值。所述param_expval总是大于零。

框D14的输出是最终的HDR浮点输出。

可替代的实施例

因此，根据上面所描述的优选的但不是限制性的实施例，如下是清楚的：本发明允许HDR图像和视频的有效的编码和解码。

本发明提供了若干有利的特征。其允许提供与传统编码器的向后兼容性而无需高的计算复杂度的HDR图像的编码。HDR图像可以独立于被用于从所述HDR图像获得向后兼容的LDR图像的色调映射的类型而被正确地重建。

尽管已经参考某些特定的实施例描述了本发明，本说明不应以限制性的方式被解释。对所描述的实施例的若干修改以及可替代的实施例可以由已阅读了本说明书的本领域技术人员实现。本领域技术人员应认识到：所公开的思想和特定的实施例可以被轻微地修改或者被用作用于修改或设计其他结构的基础。对逻辑框的划分不应被解释为限制性的，因为逻辑框可以被不同地分组或组织。

可替代的解决方案的实例可以是以获得要被用于所述残差数据的计算的线性化LDR图像(LDR*)的方式。作为实例，在图5中，不是如在图1-3中那样直接从框E1获得处理框11的输入。如上面参考图2所描述的，所述输入LDR图像(框E1)在传统编码器10中被编码，并且随后在传统解码器13中被解码以便获得处理框11的输入。

尽管该解决方案需要用于解码(框13)所述经编码的LDR图像的附加的计算成本，该解决方案提高了编码性能，因为从所述经编码的LDR图像开始计算所述残差数据。

此外，应被注意的是：在框E14中存在将像素值从浮点[0,1]映射到[0,255]的逆范围映射操作，因为在上面的实例中，所述残差数据在RGB流中被转换。然而，可以用非传统编码器编码所述残差数据，例如，12位JPEG或JPEG无损编码器。因此，更一般地，框E14应该将像素值从[0,1]映射至[0,2^N-1]，其中N是被用于编码每个颜色分量的比特数。这同样适用于框D9，在其中所述残差代码流被解码。

在上面所描述的实施例中，所述LDR图像是RGB图像，因此在框E2中，每个颜色分量的像素值被除以255。现在清楚的是：如果所述输入LDR图像使用多于或少于8比特每颜色分量，则框E2通过将每个分量的输入像素值除以2^N-1而获得映射至值[0,1]的所需的范围，其中N是被用来编码每个颜色分量的比特数。

在上面所描述的实施例中，所述传统编码器10需要RGB图像/视频作为输入，并且因此在框E6中，输入像素值被乘以255。如果所述传统编码器10是10位MPEG编码器，则在框E6中，像素值应该被乘以2^N-1，其中N是被用来编码每个颜色分量的比特数。

从[0,2^N-1]至[0,1]的逆映射应用于框D4a和D9，其中所述第一和残差代码流被分别解码。

引用

[1].F.Drago,K.Myszkowski,T.Annen,和N.Chiba,“用于显示高对比度场景的自适应对数映射(Adaptive Logarithmic Mapping For Displaying High ContrastScenes)”，计算机图形学论坛(Computer Graphics Forum),22卷,编号3,419–426页,2003年9月.

[2].E.Reinhard,M.Stark,P.Shirley,和J.Ferwerda,“用于数字图像的摄影色调再现(Photographic tone reproduction for digital images)”，关于图形学的ACM学报,21卷,编号3,267页,2002年7月.

[3].Z.Mai,H.Mansour,R.Mantiuk,P.Nasiopoulos,R.Ward,和W.Heidrich,“针对向后兼容的高动态范围图像和视频压缩最优化色调曲线(Optimizing a tone curve forbackward-compatible high dynamic range image and video compression)”，IEEE学报.图像处理,20卷,编号6,1558–1571页,2011年6月.

[4].R.Mantiuk,K.Myszkowski,和H.Seidel,“用于高动态范围图像的反差处理的感知框架(A perceptual framework for contrast processing of high dynamic rangeimages)”，ACM学报.应用感知,卷3,编号3,286–308页,2006年7月.

Claims

1.用于处理图像数据的方法，包括：

提供高动态范围图像数据(HDR)；

提供所述高动态范围图像数据(HDR)的低动态范围图像数据(LDR)；

在第一代码流中编码(E7-E18)所述低动态范围图像数据(LDR)；

处理(11)所述低动态范围图像数据(LDR)以便获得经处理的图像(LDR*)，

选择所述高动态图像数据(HDR)的分量和对应的所述经处理的低动态范围图像数据(LDR*)的分量；

通过将所述经处理的低动态范围图像数据(LDR*)的所选择的分量的每个像素值除以所述高动态范围图像数据(HDR)的对应的分量的对应值，计算所选择的分量的残差数据；

将所选择的分量的所述残差数据缩放(E12)至被包括在0和1之间的值的范围内；

在残差代码流中编码(E15-E17)所选择的分量的所述经缩放的残差数据。

2.根据权利要求1所述的方法，其中，通过从所述所选择的分量的所述残差数据中减去所述所选择的分量的最小值并且随后将所述减法的结果除以所述所选择的分量的最大值和最小值之间的差而获得所述所选择的分量的所述残差数据在所述范围[0,1]中的缩放。

3.根据权利要求1或2所述的方法，进一步包括在所述残余代码流中的编码之前对所述经缩放的残差数据进行伽马校正(E13)的步骤，其中，对所述残差数据进行伽马校正的所述步骤包括将所述输入缩放的残差数据的每个分量提高至1/hdr_gamma的幂，其中hdr_gamma取决于所述HDR图像的值。

4.根据权利要求3所述的方法，其中根据下面的公式计算hdr_gamma：

其中

其中max_HDR是所述输入HDR图像的最大像素值。

5.根据权利要求1或2或3所述的方法，进一步包括在所述残余代码流中的编码之前将所述所选择的分量的所述经伽马校正的残差数据乘以2^N-1的步骤(E14)，其中N是被用来编码所述所选择的分量的比特数。

6.根据前述权利要求中的一个权利要求所述的方法，其中所述低动态范围图像数据(LDR)的处理包括将所述低动态范围图像数据(LDR)的像素的值映射至从0到1的值的范围内。

7.根据权利要求6所述的方法，其中所述低动态范围图像数据(LDR)具有8比特精度分量，并且其中映射所述像素的值包括将所述低动态范围图像数据(LDR)的像素的值除以255。

8.根据前述权利要求中的一个权利要求所述的方法，其中通过对所述高动态范围图像数据(HDR)进行色调映射并且将伽马曲线应用于所述经色调映射的图像数据而获得所述低动态范围图像数据(LDR)，并且其中所述低动态范围图像数据(LDR)的处理包括用伽马曲线校正(E2a)所述低动态范围图像数据(LDR)，所述伽马曲线是被用于从所述高动态图像数据(HDR)获得所述低动态图像数据(LDR)的伽马曲线的逆。

9.根据权利要求2至8中的一个权利要求所述的方法，其中所述低动态范围图像数据(LDR)和所述高动态范围图像数据(HDR)在不同的颜色空间中被表示，并且其中所述低动态范围图像数据(LDR)的处理(11)包括将所述低动态范围图像数据(LDR)转换(E3)至所述高动态范围图像数据(HDR)的颜色空间中。

10.根据权利要求9所述的方法，其中，所述残差数据在被缩放和伽马校正之前被转换至所述低动态范围图像数据的颜色空间中(E11)。

11.根据权利要求1至8中任一项权利要求所述的方法，其中所述低动态范围图像数据(LDR)的处理包括解码(13)所述经编码的(10)低动态范围图像数据(LDR)。

12.根据前述权利要求中任一项权利要求所述的方法，进一步包括在计算所述残差数据之前曝光(E10)所述高动态范围图像数据(HDR)的步骤，以及使用所述经曝光的高动态范围图像数据来计算所述残差数据。

13.根据权利要求12所述的方法，其中，曝光(E10)所述高动态范围图像数据(HDR)包括将所述高动态范围图像数据(HDR)乘以根据下面的公式计算的标量值“exposure”：

其中out_average是所述输入高动态范围图像数据(HDR)的所有像素的平均值，并且scale_factor是取决于所述高动态范围图像数据(HDR)的最大值和最小值的标量值。

14.根据权利要求13所述的方法，其中根据下面的公式计算scale_factor：

其中HDR_max和HDR_min是所述高动态范围图像数据(HDR)的最大值和最小值。

15.根据前述权利要求中的一个权利要求所述的方法，进一步包括如下步骤：在所述第一代码流中编码低于10^-5并且优选地等于10^-7的参数“ε”，其将被添加至所述经解码的残差数据中，以及被添加至重建所述高动态范围图像数据的步骤中的所述经解码的低动态图像中。

16.根据前述权利要求中任一项权利要求所述的方法，其中如果所述对应的低动态范围图像数据(LDR*)等于零或者如果所述对应的高动态范围图像数据(HDR*)等于或小于零，则所述残差数据被设置为1。

17.根据前述权利要求中任一项权利要求所述的方法，其中用相同的编码过程实现所述低动态范围(LDR)图像数据和所述校正的残差数据的编码。

18.编码器(601)，其适合于在输入中接收高动态范围(HDR)图像数据并且被配置为计算所述图像数据(HDR)的低动态范围图像数据(LDR)，并且被配置为实现根据权利要求1至17中的任一个权利要求的方法，以便输出第一代码流和残差代码流。

19.用于处理图像数据的方法，包括：

接收包括低动态范围图像数据(LDR)的第一代码流；

接收包括用于高动态范围图像数据(HDR)的重建的残差数据的残差代码流，所述残差代码流包括与所述第一代码流相同数量的分量；

解码所述低动态范围图像数据，

将所述经解码的低动态范围图像数据范围映射(D4a)至范围[0,1]，

解码所述残差代码流并且提取所述残差数据；

将所述经解码的残差数据范围映射(D9)至范围[0,1]；

使用由被包括在所述第一代码流中的参数定义的伽马曲线将伽马校正(D10)应用于所述经范围映射的解码的残差数据；

通过将所述伽马校正的经解码的残差数据的每个分量乘以max_c和min_c之间的差以及通过进一步添加偏移min_c而将所述伽马校正的经解码的残差数据的每个分量缩放(D11)至范围[min_c，max_c]，其中min_c和max_c是被包含在所述第一代码流中的分量相关的参数，以及

使用所述范围映射的低动态范围图像数据和所述经缩放的残差数据来重建(D13)所述高动态范围图像数据(HDR)。

20.根据权利要求19所述的方法，其中通过将所述范围映射的低动态范围图像数据除以所述经缩放的残差数据和在所述第一代码流中提供的ε参数的和来获得所述高动态范围图像数据(HDR)的重建。

21.根据权利要求19所述的方法，其中通过如下方式获得所述高动态范围图像数据(HDR)的重建：

-从所述第一代码流读取ε参数；

-计算所述经缩放的残差数据和所述ε参数之和的第一对数；

-计算所述范围映射的低动态范围图像数据和所述ε参数之和的第二对数；

-从所述第二对数减去所述第一对数；

-计算从所述第二对数减去所述第一对数的指数。

22.根据权利要求19或20或21所述的方法，进一步包括通过应用伽马曲线来线性化所述经解码的低动态范围图像数据而对所述范围映射的低动态范围图像数据进行伽马校正(D4b)的步骤。

23.根据权利要求22所述的方法，进一步包括在重建所述高动态范围图像数据之前对所述范围映射的并经伽马转换的低动态范围图像数据进行空间转换(D4c)的步骤。

24.根据前述权利要求19-23中的任一项权利要求所述的方法，其中所述参数“ε”低于10^-5，并且优选地等于10^-7。

25.根据前述权利要求19-24中的任一项权利要求所述的方法，进一步包括将所述经重建的高动态范围图像数据除以(D14)被包含在所述第一代码流中的曝光参数的步骤。

26.根据前述权利要求19-24中的任一项权利要求所述的方法，进一步包括将所述经重建的高动态范围图像数据乘以(D14)被包含在所述第一代码流中的曝光参数的步骤。

27.解码器(605)，其适合于在输入中接收第一代码流和残差代码流，以及按照根据权利要求19至26中的任一项权利要求的方法来重建高动态范围图像数据。