CN107203974A

CN107203974A - 扩展的高动态范围hdr到hdr色调映射的方法、装置和系统

Info

Publication number: CN107203974A
Application number: CN201710157608.9A
Authority: CN
Inventors: M.塞菲; E.莱因哈德; G.普瓦里耶
Original assignee: Thomson Licensing SAS
Current assignee: InterDigital Madison Patent Holdings SAS
Priority date: 2016-03-16
Filing date: 2017-03-16
Publication date: 2017-09-26
Anticipated expiration: 2037-03-16
Also published as: JP2017168101A; CN107203974B; EP3220349A1; BR102017005371A8; BR102017005371A2; EP3220350B1; KR102291954B1; US10148906B2; JP7179443B2; EP3220350A1; US20170272690A1; KR20170107929A

Abstract

本原理的各方面针对用于对高动态范围图像进行色调映射的方法和装置。该装置包括用于执行以下步骤的处理器，并且该方法包括以下步骤：获得高动态范围图像的亮度分量；确定HDR到较低HDR色调映射器曲线；通过将HDR到较低HDR色调映射器曲线应用于高动态范围图像的亮度分量来确定色调压缩图像；其中HDR到较低HDR色调映射器曲线包括用于暗色和中间色调等级的第一部分，以及用于高亮的第二部分。

Description

扩展的高动态范围HDR到HDR色调映射的方法、装置和系统

技术领域

本公开涉及图像和视频处理。具体地，本公开涉及扩展的高动态范围(“HDR”)到HDR色调映射。

背景技术

自然界中的光覆盖从星光到明亮的阳光的巨大范围的亮度等级。然而，数字和模拟二者的传统成像技术提供降低的体验，因为它们无法比拟我们眼睛可见的宽范围的亮度和对比度。作为回应，正在开发HDR技术以允许对扩展的范围的颜色、亮度和对比度进行显示。

HDR技术专注于捕获、处理和显示比SDR技术更宽的动态范围的内容。今天，HDR显示器的HDR性能可能不同，特别是根据它们的最大峰值白色亮度：一些HDR显示器可以提供500尼特，同时其他HDR显示器可以达到1000尼特或者甚至1500尼特。

虽然目前正在开发用于捕获HDR内容的HDR显示器和照相机，但是对于传统显示器，HDR内容需要经历HDR到LDR色调映射，以能够再现内容。类似地，例如对于500尼特的HDR显示器，例如对于1000尼特的HDR显示器准备的HDR内容需要经历HDR到“较低HDR”色调映射，以能够再现内容。因此，存在对HDR到“较低HDR”色调映射的需要。

色调再现，也称为色调映射，旨在将图像的原始范围的亮度值映射到可以由显示器再现的较低范围的亮度值。经常，但不总是，对从输入HDR彩色图像导出的亮度通道执行色调映射。色调映射的输出可以与从输入的原始HDR图像保留的颜色信息重新组合，使得以低于输入HDR图像的HDR动态范围产生新的输出彩色图像。

色调映射算法可以分为两大类。第一类可以定义为全局色调映射。这包括将(多个)压缩色调映射函数(例如，S形(sigmoidal)函数或对数函数)独立地应用于图像或图像序列的每个像素的亮度值。第二类可以定义为局部色调映射(也称为空间变化色调映射)。局部色调映射针对每个像素考虑该像素的亮度值以及来自其相邻像素的信息。

在使用适于HDR到LDR转换的色调映射算子之后，当输入图像的亮度值的范围减小时，其通常减小非常大的量。例如，现有的色调映射HDR到LDR算子对全亮度通道信息(例如，最大4000尼特的内容)进行压缩以适合于传统LDR显示器的非常低的范围(例如，100尼特的内容)。相反，可能需要HDR到较低HDR色调映射算子以显著更小的因子来减小范围(例如，对于不同HDR显示器之间的范围压缩，从最大4000尼特到1000尼特)。现有的HDR到较低HDR色调映射算子不能完全再现HDR感觉，因为它们对整个亮度范围进行压缩并线性地重新缩放以适合于目标显示器亮度范围，代替地产生LDR内容的感觉。另一个问题是现有的HDR到较低HDR色调映射算子还可能减小高亮像素中的对比度，当高亮区是图片的普遍部分时，其影响可能尤其明显。

发明内容

因此，存在对解决在与目标显示器的支持范围相对应的较低HDR内容中，HDR内容的动态范围减小的问题的解决方案的需要。

本原理的一方面针对用于进行以下步骤的方法、装置、系统和计算机可读存储介质：获得高动态范围图像的亮度分量；确定hdr到较低hdr色调映射器曲线；通过将hdr到hdr色调映射器曲线应用于高动态范围图像的亮度分量来确定色调压缩图像；其中hdr到较低hdr色调映射器曲线包括用于暗色和中间色调等级的第一部分以及用于高亮的第二部分，并且其中第一部分具有斜率s，所述斜率s基于与图像的明亮区域相对应的图像的直方图的截面的均匀性度量而确定。

将具有峰值输入亮度I^max的高动态范围输入图像色调映射成具有较低峰值输出亮度的较低高动态范围输出图像的方法特别地包括：

获得输入图像的亮度分量；

确定hdr到较低hdr色调映射器曲线；

通过将hdr到hdr色调映射器曲线应用于输入图像的亮度分量来确定所述输出图像；

其中hdr到较低hdr色调映射器曲线包括用于暗色和中间色调等级的第一线性部分以及用于高亮的第二非线性部分，以及

其中第一线性部分具有斜率s，所述斜率s是输入图像的所获得的亮度值的亮度直方图的明亮区域中的所获得的亮度值的分布的均匀性度量的单调非递增函数，使得所述斜率s将小于或等于1，但高于或等于峰值输出亮度和峰值输入亮度I^max的比率s_l。

优选地，将亮度直方图的明亮区域定义为在位于输入图像的亮度范围中的下限ζ_l与上限ζ_u之间描绘，其中下限ζ_l与峰值输出亮度和峰值输入亮度I^max的比率s_l成比例。

优选地，被定义为将色调映射器曲线的第一线性部分和第二非线性部分分离的中间到高阈值τ小于峰值输出亮度该中间到高阈值τ优选地足够大以覆盖帧或图像的多于(100-n)％的像素，其中n高于或等于2。

优选地，将明亮区域中的所获得的亮度值的分布的均匀性度量确定为在所述亮度直方图的明亮区域的直条(bin)上的所述输入图像的像素数量的平均值μ与标准偏差υ之间的比率。

在特定实施例中，如下确定斜率s

其中并且

其中参数定义将斜率s表示为参数t的函数的曲线的转变点。

可以用信号发送表示hdr到hdr色调映射器曲线的信息。可以使用至少一个语法元素来执行该用信号发送，该语法元素包括在以下中的至少一个中：图片参数集(PPS)、序列参数集(SPS)、补充增强信息(SEI)消息、视频可用性信息(VUI)、消费电子协会(CEA)消息和报头。可以基于第一部分与第二部分之间的阈值使用泄漏积分来应用来自先前视频帧的信息。

附图说明

当结合下面描述的附图时，根据下面的详细描述，本发明的特征和优点可以是明显的：

图1是描绘根据本原理对图片进行编码的示例性方法的图。

图2是描绘根据本原理对图片和参数进行编码的示例性方法的图。

图3是描绘根据本原理对图片或视频进行解码的示例性方法的图。

图4是描绘根据本原理的示例性装置的图。

图5是描绘根据本原理的示例性图表的图。

图6是描绘根据本原理的示例性图表的图。

图7图示了要根据图3的图被色调映射的输入图像的亮度值的直方图，其中在描绘直方图的明亮区域的下限ζ_l与上限ζ_u之间，该直方图的加权值用于计算色调映射曲线的线性部分的斜率s。

具体实施方式

本原理针对用于HDR到较低HDR色调映射的方法、装置和系统。一示例针对解决关于目标显示器的较低支持范围，HDR内容的动态范围减小的问题。

一示例针对为HDR到较低HDR色调映射算子确定用于中间色调和暗色像素的中间和暗色压缩因子，即亮度压缩曲线的线性部分的斜率。一示例针对用于确定色调映射器的线性部分的最佳斜率的方法和装置，其中该确定可以基于内容。可以在色调映射之后维持与HDR输入的相似性，同时平衡高亮区中的对比度，以便尽管在较低高动态范围显示器上，也最佳地再现观看HDR内容的感觉。然后还可以再现指导者的意图，例如，可以在4000尼特的参考HDR显示器上对内容进行分级，以在1000或1500尼特的消费者较低HDR显示器上最佳地再现。

本原理的一方面解决当转换到具有较低高动态范围的目标显示器时HDR内容的动态范围的质量降低的问题。本原理的一方面涉及再现HDR感觉，尽管进行适合于目标显示器范围的色调压缩。

本原理的一方面涉及用于在仅针对非常高范围的信息对HDR内容进行压缩的同时维持与HDR源类似的HDR内容的方法、装置和系统。这允许尽管在较低动态范围显示器上，也具有观看HDR内容的感觉。它还使得能够维持指导者的意图。例如，在4000尼特的参考显示器上分级的内容将以良好的质量再现，以用于在1000或1500尼特的消费者显示器上显示。

根据本原理，可以在各种应用中利用具有亮度范围的中间和暗色部分中的线性部分的色调映射算子。例如，可以在后期制作工作室中利用色调映射算子，以帮助HDR内容的重新分级处理，以产生具有较低峰值亮度的次级HDR级别。替选地，在消费者一侧，HDR到较低HDR色调映射算子可以并入HDR消费者显示器中，或者可以集成到机顶盒中。

1/定义色调映射曲线：

可以基于HDR接收内容的变换来确定经HDR到较低HDR色调映射的内容的像素的亮度信息。在一个示例中，可以针对标准RGB颜色空间对接收到的HDR内容进行格式化。在一个示例中，在像素i的颜色内容在sRGB颜色空间中由R_i、G_i、B_i值表示的情况下，可以通过下式以本身已知的方式确定像素i的亮度值I的计算：

等式1：Iⁱ＝0.2126×Rⁱ+0.7152×Gⁱ+0.0722×Bⁱ

可以以类似的方式从任何其他RGB颜色空间导出亮度值，尽管具有取决于每个单独RGB颜色空间的定义的不同常数。示例RGB颜色空间是ISO RGB、扩展ISO RGB、scRGB、奥多比RGB 98、奥多比宽色域RGB、苹果RGB、罗姆RGB、ProPhoto RGB、CIE(1931)RGB以及标准ITU-R Rec.BT 709、ITU-R Rec.BT 2020、ITU-R Rec.BT 470、SMPTE RP 145和SMPTE 170M中定义的RGB空间。

替选地，可以代替利用任何适当的颜色空间的亮度通道，诸如Yuv、Yu’v’、YCbCr、YPbPr、Y’DbDr、Y’CC、CIE Yxy、CIE Lab、CIE Luv、CIE LCh、IPT、Y’I’Q’、EBU Y’U’V’。在这种情况下，将图像变换到这样的颜色空间中，将处理应用于亮度通道，并且之后，另外的颜色空间变换可以将图像转换到目的地颜色空间(在一个示例中可以是RGB颜色空间)。

图像中的颜色的亮度值的范围可以分成三个子范围，大致分类为“暗色”、“高亮”和“中间色调”。这些直观地对应于图像的最暗部分、图像的最明亮部分(通常是光源和高亮区)、以及中间色调，其为不是高亮或暗色色调的一切。暗色色调与中间色调之间的交叉点难以用分析方法确定，而可以留作模糊过渡区域。对于中间色调与高亮之间的交叉点也是如此。然而，可以以本身已知的方式基于图像的亮度直方图的分析来确定近似交叉点，得到图像的色调直方图的三个部分，其对应于暗色色调、中间色调和高亮。下面描述的HDR到较低HDR色调映射器的重要特征涉及线性地(或者如果可能的话不改变)对暗色和中间色调等级进行压缩，使得摄影师的意图在这些色调等级中尽可能地保持不变，并且非线性地对高亮进行压缩。所提出的色调映射器可以应用于颜色的亮度通道，并且以本身已知的方式对颜色的色度信息进行二次校正。

在一个示例中，基础HDR到较低HDR色调映射曲线可以包括具有中间色调的像素和暗色像素的曲线的“第一”部分以及高亮的“第二”非线性压缩部分。可以通过例如与固定的中间到高阈值相对应的中间到高交叉点来分离第一和第二部分。

HDR到较低HDR色调映射器可以由两部分色调映射曲线表示，其中(i)用于暗色和中间色调的第一线性部分，以及(ii)用于剩余的高亮的第二非线性部分。然后第一线性部分由其暗色和中间斜率s表征。这两部分色调映射曲线的确定可以特别地包括以下步骤：

1.分析图像或视频帧以确定曲线的第一线性部分的斜率s将具有1的值(无亮度压缩)还是将具有小于1的值(实际亮度压缩)。

2.如果第一线性部分的斜率将具有小于1的值，则确定用于当前帧的像素的色调映射曲线的第一部分的该斜率的值s。

3.对当前帧应用泄漏积分，以便避免帧之间的闪烁(推荐的选项)。

4.调整将根据目标动态范围减小高亮的动态范围的色调映射曲线的第二部分。调整曲线的第二部分，使得其与在以上1-2处调整的色调映射曲线的第一部分平滑地连接。

将在下面的部分3中详述根据本发明计算第一线性部分的斜率s的方式。

在一个示例中，输入HDR内容的最大亮度值是I^max，并且输出HDR显示器的最大可产生亮度值是在一个示例中，这些变量的值是I^max＝4000尼特和尼特。

HDR到较低HDR色调映射算子可以利用针对全范围的输入亮度设计的C1色调映射函数。如在此所使用的，“C1”色调映射函数定义为具有在导数函数域的输入的开放间隔中的各处定义和连续的其一阶导数的函数。当然，在亮度值I＝0和I＝I^max处不定义平滑度标准。

在一个示例中，期望的输入色调映射器函数是表示为的函数。在一个示例中，针对内容的给定帧或图像，该函数通过压缩因子s(经常地s＝1)对小于中间到高阈值τ的输入亮度值I进行线性缩放，并根据函数的变型对大于该阈值τ的亮度值进行压缩。在一个示例中，如下定义色调映射器算子

等式2：

在该示例中，注意色调映射曲线的第二非线性部分对应于众所周知的摄像色调映射算子

在一个示例中，三个参数a、c、d需要设置为满足以下三个条件，以获得C1色调映射器函数

i.最大输入I^max将映射到最大输出因此

等式3：

ii.在I＝τ处，色调映射器需要是连续的，因此

等式4：

iii.同样，I＝τ处，色调映射器的梯度需要是连续的，因此，

等式5：

解开三个未知数a、c、d的系统，结果为如下：

等式6：

等式7：c＝sτd

等式8：

在另一示例中，可以通过用于实时色调映射的具有采样的输入亮度值和对应输出亮度值的色调映射器查找表来实现上面结合等式2描述的方法。

2/对于视频内容的每个帧计算中间到高阈值：

帧或图像的中间到高阈值τ可以特别地确定为小于由下式定义的默认阈值τ₀：

等式9：具有η＝0.8的示例，并且足够大以覆盖该帧或图像的多于(100-n)％的像素(其中n>0，并且在一个示例中，n＝2)，以防止削减(clip)非常高的输入亮度值。这样的条件等效于使少于n％的这些像素具有在τ₀与I^max之间的亮度值。在一个示例中，对于大多数自然场景，帧或图像的非常高的亮度值有助于稀疏的像素集合(高动态范围场景直方图倾向于示出高尖峰分布)。对于这样的内容，阈值的以下选择倾向于使少于n％的像素(在一个示例中n＝2)被压缩到的范围中。

对于尼特的示例，默认阈值τ₀可以初始化为1200。已经实验地示出η和n＝2的这些选择得到主观上令人愉快的输出图像。

为了制定条件“足够大以覆盖多于(100-n)％的像素”，在第一示例中，使用内容的累积直方图。输入亮度I的频率由h^I表示。可以通过利用任何所选数量的直条计算输入亮度图像的直方图来确定值h^I。值I的累积直方图由c^I表示，并且可以通过下式找到：

等式10：

在一个示例中，帧或图像的最终阈值τ可以设置为等于初始值τ＝τ₀，如果：

等式11：

该条件制定如下情况，其中存在具有在τ₀与I^max之间的亮度值的少于n％的像素。这允许仅线性地改变多于(100-n)％的像素的亮度值。如果不满足等式10中的条件，则减小断点(即，色调映射曲线中的拐点)以增加对输入图像进行色调压缩的亮度值的范围。

在一个示例中，如下表示ρ的值：

等式12

该参数ρ表示具有高于中间到高阈值τ的亮度值的像素的百分比。

基于等式11的确定，在下面示出对中间到高阈值τ的值进行估计的一个示例，并且包括如下线性地减小默认阈值τ₀：

等式13：

其中α表示在不引入伪影的情况下，通过色调映射器可以只在动态范围的小部分中被压缩的像素的最大百分比。

注意，根据该等式，如果ρ小于n，则最终阈值τ等于τ₀。如果ρ大于α，则阈值τ设置为0。当ρ在n与α之间时，通过τ₀与0之间的线性内插获得最终阈值。

因此，对于α的任何选择，将ρ>α的中间到高阈值τ的值设置为0(可以在图像级、块级等上执行该确定)。最终阈值τ的值是有益的，因为如果选择大于0的任何阈值，则多于α％的像素被涉及。

在以上示例中，中间到高度阈值τ是内容相关的并且小于或等于默认阈值τ₀。中间到高度阈值τ防止过多像素压缩到的小范围，并且得到更好的视觉体验。

对于一组不同的帧或图像，即对于视频内容，所估计的中间到高阈值τ对于连续帧可以是不同的，并且可能发生连续视频帧的强度的明显变化(“闪烁”)，这是不期望的。该闪烁的问题可以通过提供对视频内容的每个帧t的中间到高阈值τ^t的校正来有利地解决。在一个示例中，可以应用泄漏积分以获得帧t的中间到高阈值使用中间到高阈值τ^t以及前一帧的估计的泄漏估计中间到高阈值，即来估计中间到高阈值这样的估计的一个示例如下：

等式14：

等式9的迭代性质意味着对于每个新的下一帧，考虑先前估计的完整历史。用户中间到高阈值参数β∈[0 1]控制帧之中的τ_new的平滑度。

在一个示例中，根据等式1从RGB颜色值导出亮度值。为了重构经色调映射的彩色图像，利用简单的逐像素方法。逐像素方法根据由等式2中定义的色调映射函数所定义的亮度通道中的缩放改变，来对原始HDR图像的颜色的RGB值Rⁱ、Gⁱ、Bⁱ进行缩放，如下式：

等式15a：

等式15b：

等式15c：

还可以通过控制饱和量的参数se对彩色图像的重构进行参数化，如下式：

等式16a：

等式16b：

等式16c：

在一个示例中，可以将色调映射算子并入诸如机顶盒、电视、监视器、膝上型计算机、电话、平板、智能电话显示器等的消费者电子设备中。在这种情况下，色调映射算法可以被提供以元数据以确定其输出的视觉外观。

3/计算色调映射曲线的线性部分的斜率s：

再次，本原理的示例针对HDR到较低HDR色调映射器，其基于输入图像或视频帧的内容改变色调映射曲线的第一部分的斜率s。

在一个示例中，可以基于输入图像或视频帧的亮度直方图的形状，特别是基于该直方图的明亮区域中的长尾的形状，来确定第一部分的斜率s。

本原理的一方面然后针对分析亮度直方图以便确定在该直方图的明亮区域中存在亮度值的均匀分布。然后可以基于在该明亮区域中的亮度值的分布的均匀性度量来确定斜率s。

在一个示例中，针对沿输入图像的整个高动态范围分布的给定数量的直方图直条B来确定输入图像I的亮度直方图在一个示例中，直方图直条B的数量可以具有40的值。参数l表示直方图的直条中心的向量。直方图通常表示为在每个数组元素中具有值的数组。解释是阵列索引对应于小范围的亮度值，并且存储在该数组元素中的值(‘bin值’)表示在该亮度值范围内的像素的数量。直条的值可以对应于落入相应直条中的直方图的像素的数量。直方图是先前计算的并且在前文中由表示。

在一个示例中，图像直方图的明亮区域由分别对应于该明亮区域的低亮度值和高亮度值的边界ζ_l、ζ_u限定。这些边界描绘将被分析以用于分布的均匀性度量的色调的范围，从而也描绘要考虑以计算斜率s的直方图的明亮区域。

在一个示例中，如下确定下限ζ_l：

等式17：

当与等式9组合时给出：

等式18：

其中B是直方图的直条的数量，其中输入HDR内容的最大亮度值I^max例如作为元数据与视频内容一起提供，其中通常从目标显示器的峰值显示亮度导出最大可产生亮度输出值等式18意味着下限ζ_l与峰值输出亮度和峰值输入亮度I^max的比率s_l成比例。

在一个示例中，如下确定上限ζ_u：

等式19：

参数η(上面已经定义)和都应当在0与1之间的范围内。此外，应当高于基于分级内容的观察，η的良好的值是0.8。参数的默认值可以设置为0.75。

此外，可以使用元数据来设置参数η和而不是使用默认值。这在摄影的指导者希望提供关于如何可以以保持指导者意图的这样的方式对内容进行色调映射的指导的情况下可能是有用的。在这种情况下，这些参数在(后期)制作期间被指定，并且将作为元数据附加到内容。接收该内容的设备然后将能够在此基础上调整色调再现参数。

注意，如上所述的描绘色调映射曲线的第一和第二部分的中间到高阈值通常不同于描绘明亮区域的下限和上限。

在一个示例中，在边界ζ_l、ζ_u之间，即在所谓的明亮区域中分析输入图像的亮度直方图直条。参见图7。

在替选示例中，可以特别地基于这些边界ζ_l、ζ_u来确定权重函数权重函数可以针对亮度直方图的每个直条B确定权重，使得当应用于每个直条B时，移除具有低于下边界ζ_l或高于上边界ζ_u的值的直方图值的影响。图7上的虚线图示了明亮区域中的亮度值的这种加权分布。

对于片上系统(SOC)制造商，实施条件短语可能是昂贵的，从而在SOC器件中使用两个阈值ζ_l、ζ_u可能是昂贵的。在一个示例中，可以利用在两个阈值ζ_l、ζ_u之间等于1并且其他地方为0的权重对整个直方图进行加权。与使用两个硬阈值ζ_l、ζ_u相比，获得权重可以提供对内容变化的更鲁棒的解决方案。

在一个示例中，加权函数被确定为具有等式15的支持的离散对称汉明窗的平方窗函数(具有对于ζ_l与ζ_u之间的l设置为1并且其他地方为0的值)的卷积。

等式20：L＝I^max/8×B。

在一个示例中，图5图示了对于具有B＝40的直方图所确定的权重。

可以通过以下等式确定权重

等式21：

其中*表示卷积运算符，并且如下确定离散汉明窗

等式22：

在一个示例中，直方图乘以权重得到对直方图直条的以下加权：

等式23：

图5图示了要应用于B＝40、ζ_l＝τ₀、ζ_u＝0.75I^max、L＝6的图像直方图的所确定的权重

边界ζ_l与ζ_u之间的直方图直条或者等式18的加权直方图形成用于亮度值的分布的均匀性度量的适当基础，以便计算斜率s。尽管可以应用用于确定对应的亮度值集合的均匀性的任何方法，但是在一个示例中，可以基于加权直方图(或者边界ζ_l与ζ_u之间的直方图)的平均值μ和标准偏差υ来确定均匀性，其可以如下确定：

等式24：

等式25：

在一个示例中，然后通过加权直方图(或者边界之间的非加权直方图)的平均值和标准偏差的比率来如下给出均匀性度量

等式26：均匀性度量＝μ/υ

均匀性度量可以与色调映射算子的第一线性部分的斜率s的适当确定相关。更具体地，该斜率s是该均匀性度量的单调非递增函数。在图6所示的一个示例中，以非线性方式确定斜率s与均匀性度量μ/υ之间的关系，例如如下。

在一个示例中，斜率s可以如下被确定为μ/υ的函数：

等式27：

在一个示例中，可以如下确定参数s_l：

等式28：

参数s_l(根据上面的和I^max定义＜1)确保色调映射曲线的线性部分的斜率s将不低于峰值输出亮度和峰值输入亮度I^max的比率。这可以得到避免不期望地大大减小暗色中的对比度。

参数t基于均匀性度量μ/υ，如下式：

等式29：

该等式使用常数用于将一个形式的重新缩放应用于均匀性度量在一个实施例中，这些常数可以被设置为在等式27中，这些相同的常数用作从常数部分描绘非线性部分的转变点。

在一个示例中，图6图示了作为的函数的所确定的斜率s。

上述色调映射方法的块图：

可以在下面描述的附图中实现上述示例。

图1是描绘根据本原理对图像或视频内容进行编码的示例性方法100的图。

方法100可以包括对图片进行接收和编码。可以使用任何编码技术(例如，HEVC、AVC)将图片编码成比特流。方法100可以在任何类型的工作流程中执行，诸如基于DVB或ATSC标准的分发工作流程、制作或创作工作流程、数字视频摄像机。

在一个示例中，方法100包括在块101接收图片。图片可以是例如HDR视频的视频图像或图片的序列的一部分。块101可以接收关于图片的属性的信息，包括线性光RGB信息。可以使用三色照相机将图像捕获成由三个分量(红色、绿色和蓝色)组成的RGB颜色值。RGB颜色值取决于传感器的三色特性(原色)。图片可以包括图像侧信息，诸如传感器的原色、捕获场景的最大和最小亮度峰值。块101然后可以将控制传递到块102，包括提供关于接收到的图片的任何信息。

块102可以将HDR到较低HDR色调映射器应用于从块101接收到的内容。可以根据本原理来确定HDR到较低HDR色调映射器。HDR到较低HDR色调映射器将内容的动态范围转换成适合于显示器的动态范围。

可以基于上述原理，包括结合等式1-8和等式15-16，来确定HDR到较低HDR色调映射器。具体地，可以在范围减小量受限时使用HDR到较低HDR色调映射器。可以根据上述原理，包括结合等式1-24所描述的原理，来确定HDR到较低HDR色调映射器。

块103可以对块102的输出进行编码。块103可以根据任何现有的编码/解码标准对输出进行编码。例如，块103可以根据由国际电信组织(ITU)和组织运动图像专家组(MPEG)组织的高效率视频编码(HEVC)标准进行编码。替选地，块103可以根据由国际标准化组织/国际电工委员会(ISO/IEC)运动图像专家组-4(MPEG-4)组织的H.264或MPEG-4第10部分，高级视频编码(MPEG-4AVC)进行编码。替选地，块103可以利用任何其他已知的编码技术进行编码。

图2是描绘用于对图片和参数进行编码的示例性方法200的图。方法200包括用于接收内容相关阈值的参数的块201。接收到的参数可以如下：

·可以由电视/监视器本身提供输出内容或目标显示器的峰值亮度在使用机顶盒的情况下，该值可以由连接的显示设备例如通过HDMI消息来用信号发送。

·输入内容的峰值亮度I^max可以被编码为与内容一起的元数据。可以将其作为每个帧、每个镜头或者每个节目(电视剧、电影、广告等)的单个值而提供。在替选示例中，I^max的值可以被解释为用于(例如在后期制作公司中)生成输入内容的显示设备的峰值亮度，或者在广播场景中使用以创建输入内容的直播相机的峰值亮度。

·参数η，定义为默认阈值τ₀和输出HDR显示器的最大可产生亮度值的比率(参见等式9)，可以作为元数据与内容一起被发送。在替选示例中，可以代替地发送阈值τ，其确定色调映射曲线的线性与非线性部分之间的交叉。

·参数n，其确定要经受非线性压缩的像素的百分比，可以作为元数据被另外提供。

·参数α也可以作为元数据被提供。

·参数β，其在视频内容的阈值的泄漏积分中使用，也可以包括在元数据中。

·参数B，其作为直方图直条的数量，也可以作为元数据被提供。

·参数l表示直方图的直条中心的向量，也可以作为元数据被提供。

·参数其控制直方图的中间色调区域上的上边界，也可以作为元数据被提供。

可以利用在块201处接收到的参数，使得内容的制作者(摄影的指导者、配色师、工作室)的意图在各种各样的显示器上再现。

块202可以确定色调映射曲线参数。可以基于等式6-8和等式27来确定色调映射曲线参数。块208可以对由块202确定的参数进行编码。

块203可以接收图片。在一个示例中，块203可以根据结合图1的块101概述的原理来接收图片。

块204可以获得接收到的图片的亮度通道信息。在一个示例中，块204可以应用初步颜色变换以获得接收到的图片的亮度通道信息。在一个示例中，块204可以应用初步颜色变换以获得亮度通道信息。在一个示例中，块204可根据结合等式1所描述的原理来确定亮度通道信息。在另一示例中，块204可以为可选的，并且可以直接从块203接收亮度信息。

块205可以应用HDR到较低HDR色调映射器。在一个示例中，块205可以根据结合图1的块102所描述的原理来应用HDR到较低HDR色调映射器。在一个示例中，块205可以应用HDR2HDR色调映射器以确定输出处理图像I₀。

块206可以对块205的输出执行颜色校正。块206可以输出经颜色校正的输出图像。块207可以对块206的输出进行编码。

块209可以将由块208编码的参数和由块207编码的输出图像输出到比特流中。

图3是描绘根据本原理对图片或视频进行解码的示例性方法300的图。

块301可以接收对应于视频或图像序列的比特流。接收到的比特流已被编码(例如，使用AVC、HEVC等编码)。块301然后可以将控制传递到块302。

块302可以对从块301接收到的比特流进行解析和解码。在一个示例中，块302可以使用基于HEVC的解码来对比特流进行解析和解码。块302然后可以将控制传递到块303。

块303可以获得亮度通道信息。在一个示例中，块303可以是可选的。在一个示例中，块303可以根据结合等式1所描述的原理来获得亮度通道信息。块303然后可以将控制传递到块304和305。

块304可以根据本原理来确定用于HDR到较低HDR色调映射器的参数。该参数可以是根据本原理与此所讨论的任何参数。在一个示例中，基于包含在比特流中的语法(例如，SEI消息)来确定该参数。该参数可以是结合块202所讨论的参数。这些参数可以通过比特流传送，或者它们也可以在解码器处确定。在一个示例中根据亮度信息的直方图来估计这些参数。

块305可以处理视频信号。在一个示例中，块305可以处理经解码的Y’CbCr视频信号。在一个示例中，块305可以将Y’CbCr视频信号转换成R’G’B’视频信号。在另一示例中，块305可以处理R’G’B’视频信号。

块306可以将HDR到较低HDR色调映射器应用于视频信号。块306可以使用对应的估计参数逐帧执行。在一个示例中，块307可以根据结合块102和205所描述的原理来应用HDR到较低HDR色调映射器。在一个示例中，块307可以创建或接收具有列表值的查找表(LUT)，并且关于要映射/解映射的内容应用LUT。

被配置为实现色调映射方法的设备的架构：

图4表示可以被配置为实现关于图1-3和等式1-24所描述的方法的设备400的示例性架构。在一个示例中，图4表示可以被配置为实现根据本原理(包括关于图1-3所描述的原理)的编码方法的装置。在一个示例中，图4表示可以被配置为实现根据本原理(包括关于图3所描述的原理)的解码方法的装置。

设备400包括通过数据和地址总线401链接在一起的以下元件：

-微处理器402(或CPU)，其例如是DSP(或数字信号处理器)；

-ROM(或只读存储器)403；

-RAM(或随机存取存储器)404；

-I/O接口405，用于从应用接收要传送的数据；以及

-电池406(或其他合适的电源)。

根据变型，电池406在设备外部。在每个所提到的存储器中，在本说明书中使用的词语“寄存器”可以对应于小容量的区域(一些位)或者对应于非常大的区域(例如，整个程序或大量的接收或解码的数据)。ROM 403至少包括程序和参数。根据本发明的方法的算法存储在ROM 403中。当接通时，CPU 402将程序上载到RAM中并执行对应的指令。

RAM 404在寄存器中包括由CPU 402执行并在装置400接通之后上载的程序、寄存器中的输入数据、寄存器中的方法的不同状态中的中间数据、以及用于执行寄存器中的方法的其他变量。

在此描述的实现方式可以实现在例如方法或处理、装置、软件程序、数据流或信号中。即使仅在单一形式的实现方式的背景下进行了讨论(例如仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。装置可以在例如适当的硬件、软件和固件中实现。方法例如可以实现在诸如处理器(其一般被称为处理设备，例如包括计算机、微处理器、集成电路或可编程逻辑设备)这样的装置中。处理器还包括诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)这样的通信设备以及便于在终端用户之间进行信息通信的其他设备。

根据编码或编码器的具体示例，从来源获得图像或图片I。例如，该来源属于包括以下的集合：

-本地存储器(403或404)，例如视频存储器或RAM(或随机存取存储器)、闪速存储器、ROM(或只读存储器)、硬盘；

-存储接口(405)，例如与海量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑之间的接口；

-通信接口(405)，例如有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或接口)；以及

-图像捕获电路，诸如传感器(例如CCD(或电荷耦合器件)或CMOS(或互补金属氧化物半导体))。

根据解码或解码器的不同实施例，将解码图像发送到目的地；具体地，该目的地属于包括以下的集合：

-本地存储器(403或404)，例如视频存储器或RAM、闪速存储器、硬盘；

-通信接口(405)，例如有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清多媒体接口)接口)或无线接口(诸如IEEE 802.11接口、或接口)；以及

-显示器。

根据编码或编码器的不同实施例，将比特流BF和/或F发送到目的地。作为示例，将比特流F和BF之一或者比特流F和BF二者存储在本地或远程存储器中，例如视频存储器(404)或RAM(404)、硬盘(403)中。在变型中，将比特流之一或二者发送到存储接口(405)，例如与海量储存器、RAM、闪速存储器、ROM、光盘或磁性支撑之间的接口，和/或通过通信接口(405)(例如到点到点链路、通信总线、点到多点链路或广播网络的接口)来传送。

根据解码或解码器的不同实施例，从来源获得比特流BF和/或F。示例性地，从本地存储器(例如视频存储器(404)、RAM(404)、ROM(403)、闪速存储器(403)或硬盘(403))读取比特流。在变型中，比特流从存储接口(405)(例如与海量储存器、RAM、ROM、闪速存储器、光盘或磁性支撑之间的接口)接收和/或从通信接口(405)(例如到点到点链路、总线、点到多点链路或广播网络的接口)接收。

根据不同示例，被配置为实现根据本原理的编码方法的设备400属于包括以下的集合：

-移动设备；

-通信设备；

-游戏设备；

-平板(或平板计算机)；

-膝上型计算机；

-静止图像照相机；

-摄像机；

-编码芯片；

-静止图像服务器；以及

-视频服务器(例如广播服务器、视频点播服务器或网络服务器)。

根据不同示例，被配置为实现根据本原理的解码方法的设备400属于包括以下的集合：

-移动设备；

-通信设备；

-游戏设备；

-机顶盒；

-电视机；

-平板(或平板计算机)；

-膝上型计算机；

-显示器；以及

-解码芯片。

在此描述的各种处理和特征的实现方式可以在各种不同的装备或应用中实施。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后置处理器、向编码器提供输入的前置处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA以及其他通信设备。应当清楚的是，装备可以是可移动的，并且甚至可以安装在移动车辆中。

此外，可以通过由处理器执行的指令来实现该方法，并且这样的指令(和/或由实现方式所产生的数据值)可以存储在处理器可读介质中，诸如例如集成电路、软件载体或者诸如例如硬盘、压缩磁盘(CD)、光盘(诸如例如通常被称为数字多功能盘或数字视频盘的DVD)、随机存取存储器(RAM)或只读存储器(ROM)这样的其他存储设备。指令可以形成有形地实施在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或其组合中。指令可以存在于例如操作系统、单独的应用或二者的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备以及包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备二者。此外，除了指令或者代替指令，处理器可读介质可以存储由实现方式所产生的数据值。

对于本领域技术人员将明显的是，实现方式可以产生被格式化为携带例如可以被存储或传送的信息的各种信号。信息可以包括例如用于执行方法的指令或者由所描述的实现方式之一所产生的数据。例如，可以将信号格式化为携带用于写入或读取所描述的实施例的语法的规则作为数据或者携带由所描述的实施例写入的实际的语法值作为数据。这样的信号可以例如被格式化为电磁波(例如使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用经编码的数据流来调制载波。信号携带的信息可以例如是模拟信息或数字信息。如已知的那样，信号可以通过各种不同的有线或无线链路来传送。信号可以存储在处理器可读介质上。

已描述了多个实现方式。然而，应当理解的是，可以做出各种修改。例如，可以对不同实现方式的元件进行组合、补充、修改或移除，以产生其他实现方式。此外，本领域普通技术人员将理解的是，其他结构和处理可以替代所公开的结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以获得与公开的实现方式至少基本相同的结果。因此，本申请想到这些以及其他实现方式。

在此已经阐述了许多具体细节以提供对本发明的透彻理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践以上示例。在其他情况下，没有详细描述众所周知的操作、组件和电路，以免模糊本发明。可以理解，在此公开的具体结构和功能细节可以是代表性的，并且不一定限制本发明的范围。

本发明的各种示例可以使用硬件元件、软件元件或二者的组合来实现。一些示例可以例如使用计算机可读介质或制品来实现，该计算机可读介质或制品可以存储如果由机器执行则可以使得机器执行根据示例的方法和/或操作的指令或一组指令。这样的机器可以包括例如任何适当的处理平台、计算平台、计算设备、处理设备、计算系统、处理系统、计算机、处理器等，并且可以使用硬件和/或软件的任何适当组合来实现。计算机可读介质或制品可以包括例如任何适当类型的存储单元、存储设备、存储制品、存储介质、储存设备、储存制品、储存介质和/或储存单元。指令可以包括使用任何适当的高级、低级、面向对象、可视、编译和/或解释的编程语言实现的任何适当类型的代码，诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。

在此描述的实现方式可以实现在例如方法或处理、装置、软件程序、数据流或信号中。即使仅在单一形式的实现方式的背景下进行了讨论(例如仅作为方法或设备进行了讨论)，但是所讨论的特征的实现方式也可以以其他形式(例如程序)来实现。其中包括的装置和组成部分，例如处理器、编码器和解码器，可以在例如适当的硬件、软件和固件中实现。方法例如可以实现在诸如处理器(其一般被称为处理设备，例如包括计算机、微处理器、集成电路或可编程逻辑设备)这样的装置中。处理器还包括诸如例如计算机、蜂窝电话、便携/个人数字助理(“PDA”)这样的通信设备以及便于在终端用户之间进行信息通信的其他设备。

此外，本申请或其权利要求可以指“确定”各条信息。确定信息可以包括例如估计信息、计算信息、预测信息或从存储器取回信息中的一个或多个。

另外，本申请或其权利要求可以指“访问”各条信息。访问信息可以包括例如接收信息、(例如，从存储器)取回信息、存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息中的一个或多个。

此外，本申请或其权利要求可以指“接收”各条信息。接收与“访问”一样旨在作为广义术语。接收信息可以包括例如访问信息或(例如，从存储器)取回信息中的一个或多个。另外，通常在诸如例如存储信息、处理信息、传送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或估计信息之类的操作期间以某种方式涉及“接收”。

根据不同实施例，在根据本发明编码或解码的图片中或者在包括图片的流中用信号发送参数化转移函数。在一些实施例中，在图片中或者在包括图片的流中用信号发送表示参数化转移函数的信息。该信息由解码方法或解码器用来识别根据本发明所应用的参数化转移函数。在一个实施例中，该信息包括在编码和解码侧已知的标识符。根据其他实施例，该信息包括用作参数化转移函数的基础的参数。根据本发明的变型，基于一组定义的值，该信息包括图片中的或者包括图片的比特流中的参数的指示符。根据本发明的变型，基于一组定义的值，该信息包括基于是否明确地用信号发送参数，或者是否隐含地用信号发送参数的指示。根据本发明的不同变型，该信息被包括在至少一个语法元素中，该至少一个语法元素包括在图片参数集(PPS)、序列参数集(SPS)、补充增强信息(SEI)消息、视频可用性信息(VUI)、消费电子协会(CEA)消息和报头中的至少一个中。

本发明还涉及适于分别执行编码和解码的以上方法的用于编码和用于解码的装置。

Claims

1.一种将具有峰值输入亮度I^max的高动态范围输入图像色调映射成具有较低峰值输出亮度的较低高动态范围输出图像的方法，所述方法包括：

获得输入图像的亮度分量；

确定hdr到较低hdr色调映射器曲线；

2.根据权利要求1所述的方法，其中将亮度直方图的明亮区域定义为在位于输入图像的亮度范围中的下限ζ_l与上限ζ_u之间描绘，其中下限ζ_l与峰值输出亮度和峰值输入亮度I^max的比率s_l成比例。

3.根据权利要求1或2所述的方法，其中被定义为将色调映射器曲线的第一线性部分和第二非线性部分分离的中间到高阈值τ小于峰值输出亮度

4.根据权利要求3所述的方法，其中中间到高阈值τ足够大以覆盖帧或图像的多于(100-n)％的像素，其中n高于或等于2。

5.根据权利要求1至4中任一项所述的方法，其中将明亮区域中的所获得的亮度值的分布的均匀性度量确定为在所述亮度直方图的明亮区域的直条上的所述输入图像的像素数量的平均值μ与标准偏差υ之间的比率。

6.根据权利要求1至5中任一项所述的方法，其中斜率s与均匀性度量之间的关系是非线性的。

7.根据从属于权利要求5时的权利要求6所述的方法，其中如下确定斜率s

其中并且

其中参数Q₁、Q₂定义将斜率s表示为参数t的函数的曲线的转变点。

8.根据权利要求1至7中任一项所述的方法，还包括用信号发送表示hdr到较低hdr色调映射器曲线的信息。

9.根据权利要求8所述的方法，其中使用至少一个语法元素来执行所述用信号发送，所述语法元素包括在以下中的至少一个中：图片参数集(PPS)、序列参数集(SPS)、补充增强信息(SEI)消息、视频可用性信息(VUI)、消费电子协会(CEA)消息和报头。

10.一种用于将具有峰值输入亮度I^max的高动态范围输入图像色调映射成具有较低峰值输出亮度的高但较低的动态范围输出图像的装置，所述装置包括被配置用于实现根据权利要求1至9中任一项所述的方法的至少一个处理器。

11.一种电子设备，包括权利要求10所述的装置。

12.根据权利要求11所述的电子设备，选自包括以下的组：移动设备、通信设备、游戏设备、平板、膝上型计算机、照相机、编码芯片和服务器。

13.一种计算机程序产品，其包括程序代码指令，以当该程序在计算机上执行时执行根据权利要求1至9中任一项所述的方法的步骤。