CN106488141A

CN106488141A - 高动态范围到高动态范围逆色调映射的方法、系统和设备

Info

Publication number: CN106488141A
Application number: CN201610663990.6A
Authority: CN
Inventors: M.塞菲; E.莱因哈德
Original assignee: Thomson Licensing SAS
Current assignee: InterDigital VC Holdings Inc
Priority date: 2015-08-13
Filing date: 2016-08-12
Publication date: 2017-03-08
Also published as: KR20170020288A; US10009613B2; TW201724855A; EP3131284A1; US20170048520A1; EP3131285A1; JP2017037652A

Abstract

高动态范围到高动态范围逆色调映射的方法、系统和设备。本发明提供用于高动态范围图像的逆色调映射的方法、设备和系统。所述方法可以包括获得高动态范围图像的亮度分量的操作。所述方法还可以包括确定HDR到HDR逆色调映射器运算器。所述方法还可以包括通过将HDR到HDR逆色调映射器应用于高动态范围图像的亮度分量来确定色调扩展图像。所述方法还可以包括：其中，HDR到HDR逆色调映射器曲线包括用于暗和中间色调级别的线性部分以及用于高亮的扩展非线性部分。所述系统或设备可以被配置为执行所述方法的操作。

Description

高动态范围到高动态范围逆色调映射的方法、系统和设备

技术领域

本公开涉及图像和视频处理。具体来说，本公开涉及利用高动态范围(“HDR”)逆色调映射运算器的图像或者视频数据的转换。

背景技术

光本质上覆盖巨大范围的亮度级别，从星光到明亮的阳光。然而，传统的成像技术(无论是数字的，还是模拟的)无法比拟对人的眼睛可见的宽范围的亮度和对比度，因此它们提供减弱的体验。响应地，正在开发HDR技术以允许扩展范围的色彩、亮度和对比度的显示。HDR技术关注于捕获、处理和显示较宽动态范围的内容。虽然存在HDR显示器，并且正在开发能够捕获增加的动态范围的相机，但是仍然仅有非常有限的HDR内容可用。

为了对HDR显示器准备传统的内容，可以结合算法采用反向或逆色调映射运算器(inverse tone mapping operator，ITMO)以处理图像中的亮度信息，以便恢复或者重新创建图像的原始场景的表象。典型地，ITMO采用传统图像作为输入(例如，标准动态范围(“SDR”)图像)，以非线性方式扩展图像的亮度范围，并且局部地处理高亮或明亮区域，以增强所得到的图像的HDR表象。

现有的ITMO解决方案关注于感知地再现原始场景的表象并且依赖于关于图像的内容的严格假定。现有的ITMO解决方案很少在考虑视频的情况下创建，并且它们不提供要在色彩评级上下文内所使用的足够的控制。

现有的ITMO解决方案是有问题的，因为它们按照非常大的量来增加亮度值的范围。在真实世界中所观察到的光级别和输入之间的差异(通常在100nit左右)非常显著，迫使适当的ITMO的设计在视觉质量与计算复杂性之间进行权衡。例如，现有的ITMO将非常低的范围的遗产非HDR内容(例如，100nit内容)放大为全亮度通道信息(例如，最大4000nit内容)。

然而，在一些情况下，需要ITMO按照显著更小的因子来放大范围，例如从1500nit的最大值到4000nit(例如，用于不同HDR显示器之间的范围扩展)。这符合当前观察到的趋势，即，显示装置具有越来越不均匀的动态范围。对于配置有不同能力的众多种类的显示器，内容提供者将不能够对每个不同显示器提供单独的等级(grade)。

发明内容

本原理的一方面涉及例如在色彩评级工作流程的上下文中将SDR(标准动态范围)视频内容重制(re-master)为HDR内容。为了实现缓和的动态范围，需要正确地再现提供者的意图的解决方案，包括即使峰值亮度高于所接收的内容的峰值亮度也保持高峰值亮度。

本发明提出提供用于HDR图像的逆色调映射的方法、设备和系统。所述方法可以包括获得HDR图像的亮度分量的操作。所述方法还可以包括确定逆色调映射器曲线。所述方法还可以包括通过将HDR到HDR逆色调映射器(HDR to HDR inverse tone mapper)曲线应用于HDR图像的亮度分量来确定色调扩展图像。所述方法还可以包括：其中，HDR到HDR逆色调映射器曲线包括用于暗(dark)和中间色调(mid-tone)级别的线性部分和用于高亮(highlight)的扩展非线性部分。所述系统或设备可以被配置为执行所述方法的操作。

所述方法、设备或系统可以包括：其中，所述HDR到HDR逆色调映射器包括用于确定何时线性地改变亮度以及何时非线性地解压缩亮度的阈值。

所述方法、设备或系统可以包括基于内容来确定阈值的操作。

所述方法、设备或系统可以包括：其中，基于下式来确定最终阈值τ_f：

所述方法、设备或系统可以包括用以强制HDR到HDR逆色调映射器曲线的连续性和平滑性的标准。

所述方法、设备或系统可以包括：其中，HDR图像是HDR视频的一部分，并且其中，HDR到HDR逆色调映射器曲线的应用包括应用来自在前图像帧的信息以实现时间稳定性。

所述方法、设备或系统可以包括：其中，基于阈值使用泄漏积分(leakyintegration)来应用来自在前图像帧的信息。

所述方法、设备或系统可以包括用信号通知表示HDR到HDR逆色调映射器曲线的信息。所述用信号通知可以使用在画面参数集(PPS)、序列参数集(SPS)、辅助增强信息(SEI)消息、视频可用性信息(VUI)、消费者电子设备协会(CEA)消息以及首部中的至少一个中所包括的至少一个语法元素来执行。

在另外的示例中，本原理还提供用于对HDR图像进行色调映射的方法、设备或系统。所述方法可以包括：获得HDR图像的亮度分量；确定HDR到HDR逆色调映射器曲线；通过将HDR到HDR逆色调映射器曲线应用于高动态范围图像的亮度分量来确定色调解压缩图像；其中，所述HDR到HDR逆色调映射器曲线是多分段的(multi-segmented)，并且其中，多分段的曲线包括至少一个非线性的分段和至少一个线性的分段。所述系统或设备可以被配置为执行该方法的操作。

所述方法、设备或系统可以包括：其中，线性分段涉及从暗、中间色调和高亮的分组中所选择出的至少一个，并且其中，非线性分段涉及从暗、中间色调和高亮的分组中所选择出的至少一个。

在另外的示例中，本原理还提供用于对HDR图像进行色调映射的方法、设备或系统。所述方法可以包括：获得HDR图像的亮度分量；确定HDR到HDR逆色调映射器曲线；通过将HDR到HDR逆色调映射器曲线应用于HDR图像的亮度分量来确定色调解压缩图像；其中，根据阈值来线性地或非线性地调制HDR到HDR逆色调映射器曲线的参数以满足预定义条件。

附图说明

根据下面的详细描述，结合下面所描述的附图，本发明的特征和优点可以很明显，附图中：

图1是图示根据本原理的应用HDR到HDR逆色调映射器的示例性方法的图；

图2是图示根据本原理的应用HDR到HDR逆色调映射器的示例性方法的图；

图3是图示根据本原理的确定HDR到HDR逆色调映射器的参数的示例性方法的图；

图4是图示根据本原理的对内容进行解码以及应用HDR到HDR逆色调映射器的示例性方法的图；

图5是图示根据本原理的示例性设备的图；

图6是图示根据本原理的示例性图表的图；

图7是图示根据本原理的示例性图表的图；

图8是图示根据本原理的示例性图表的图。

具体实施方式

本原理涉及用于HDR到HDR逆色调映射和/或HDR到HDR逆色调映射器的方法、设备和系统。

本原理的一方面可以以诸如现场可编程门阵列(FPGA)和片上系统(SoC)这样的硬件来实现，虽然其可以无限制地以诸如通用处理单元和图形处理单元这样的其他类型的硬件来实现。FPGA和SoC的最小处理能力连同由于更高的帧分辨率(比如UHD或者4K内容)以及更高的帧速率而日益增加的处理需要可能限制可以在这样的装置上实现的处理。本原理以符合这种潜在的设备限制的方式解决逆色调再现的问题。

本原理的一方面涉及可以用作编码/解码方案的一部分的色调再现和逆色调再现。例如，可以通过起到光电转移函数(OETF)作用的色调再现运算器来处理HDR视频。然后，可以将所得到的视频传递给编码器，包括但不限于AVC或者HEVC。然后，可以将经编码的比特流发送给接收方，在接收方处应用对应的解码器。然后，可以将逆OETF(通常被称为电光转移函数(EOTF))应用于经解码的内容，导致HDR视频的重构。

本原理的一方面解决在内容被转换为目标显示时使HDR内容的动态范围的质量减损的问题。本原理的一方面涉及再现HDR感觉，而不管将内容拟合(fit)到目标显示范围中所需要的扩展。

本原理的一方面涉及在仅对于信息的非常高的范围扩展HDR内容的同时维持所显示的HDR内容的质量类似于在来源处的质量的方法、设备和系统。即使输入内容可能具有比输出显示器的范围更低的动态范围，仍然可以存在观看HDR内容的感觉。这也可以使得能够维持指导者的意图。例如，在4000nit基准显示器上评级并且被压缩到1000nit的范围中的内容对于在4000或者1500nit消费者显示器上的显示将具有高质量再现。

本原理的一方面涉及可以在各种应用中使用的HDR到HDR逆色调映射运算器。例如，该HDR到HDR逆色调映射运算器可以在后期制作工作室中利用，以帮助重新评级处理或者产生具有更高峰值亮度的次级等级(secondary grade)。替代地，在消费者侧，该HDR到HDR逆色调映射运算器可以合并到HDR消费者显示器中，或者可以集成到机顶盒中。

本原理的一方面涉及线性地改变暗和中间色调级别或者不改变中间色调级别的HDR到HDR逆色调映射器的确定。这可以保留摄影师、艺术家或者制作者的意图。HDR到HDR逆色调映射器可以应用于亮度通道，并且可以继发地(secondarily)校正色度信息。

本原理的一方面涉及确定亮度通道的阈值τ。在确定阈值τ之后，亮度通道的输入值在输入值低于(或者低于等于)阈值τ时线性地改变。低于阈值保留值的输入值可以基于缩放因子s来线性地改变。缩放因子s也可以被设置为s＝1，从而针对对应的亮度值范围而保持输入值不变。本原理的一方面涉及使用逆色调映射器的变型来扩展非常高的亮度值(例如，大于或者大于且等于阈值τ的亮度值)。本原理的一方面涉及可以由在阈值τ周围具有平滑的轮廓转变的连续曲线所表示的HDR到HDR逆色调映射器。

本原理的一方面涉及基于RBG值来确定亮度通道信息的初级色彩变换。本原理的一方面还涉及通过引入关于逆色调映射曲线的条件来确定逆色调映射器的设计。本原理的一方面涉及根据内容本身来确定阈值τ。

初级色彩变换

本原理的一方面涉及基于内容(例如，经解码的内容)的变换来确定每个像素的亮度信息。在一个示例中，可以针对标准RGB色彩空间对内容进行格式化。在一个示例中，如果在sRGB色彩空间中给出内容，则像素I的亮度值的计算由下式给出：

等式1：Iⁱ＝0.2126×Rⁱ+0.7152×Gⁱ+0.0722×Bⁱ

可以以类似的方式从其他RGB色彩空间得出亮度值，然而等式1中的常量则将不同。等式1的常量可以取决于RGB色彩空间的清晰度(definition)。RGB色彩空间的示例包括ISO RGB、扩展ISO RGB、scRGB、Adobe RGB 98、Adobe宽色域RGB、Apple RGB、ROMM RGB、ProPhoto RGB、CIE(1931)RGB以及在标准ITU-R Rec.BT 709、ITU-R Rec.BT 2020、ITU-RRec.BT 470、SMPTE RP 145和SMPTE 170M中所定义的RGB空间。

替代地，可以利用任何适当的色彩空间的亮度通道，诸如Yuv、Yu’v’、YCbCr、YPbPr、Y’DbDr、Y’CC、CIE Yxy、CIE Lab、CIE Luv、CIE LCh、IPT、Y’I’Q’、EBU Y’U’V’。可以将图像变换到这样的色彩空间中。然后，可以对经变换的图像的亮度通道应用另外的处理。然后，另外的色彩空间变换可以将图像转换到目的地色彩空间(其可以是RGB色彩空间)。

逆色调映射器变型

本原理的一方面涉及基于亮度值大于(或者大于或等于)固定阈值的确定来扩展亮度值的HDR到HDR逆色调映射算法。在一个示例中，可以使用GUI中的滑块来确定阈值。在另一示例中，可以(与输入内容一起)提供阈值作为元数据。在另一示例中，可以自动地估计阈值。

在一个示例中，C1逆色调映射函数被设计用于输入亮度的全范围。如在本文中所使用的那样，“C1”函数被定义为其一阶导数被定义并且在导数函数域的输入的开区间内的各处均连续的函数。换句话说，在I＝0和I＝I^max处不定义平滑性标准。

在一个示例中，I^max可以是输入内容的最大亮度值，并且可以是输出显示器的最大可产生的亮度值。在一个示例中，这些变量的值是I^max＝1500nits以及

在一个示例中，可以将逆色调映射器函数表示为(I)。在一个示例中，逆色调映射器函数基于拍摄运算器(photographic operator)的逆来确定。

本原理的一方面涉及HDR到HDR逆色调映射器_new(I,τ)，其按照因子s(往往s＝1)来线性地缩放低于(或者低于或等于)阈值τ的输入值。该HDR到HDR逆色调映射器还根据函数的变型来非线性地扩展大于(或者大于或等于)阈值τ的输入值。在一个示例中，可以将HDR到HDR逆色调映射器定义为：

等式2：

在等式2中，b的值可以被预设为1。需要将三个参数a、c、d设置为满足如下三个条件以获得C1逆色调映射器_new(I,τ)：

i.最大输入I^max应该映射到最大输出因此

等式3：

ii.在I＝τ处，逆色调映射器需要是连续的，因此

等式4：_new(τ,τ)＝sτ

iii.此外，在I＝τ处，逆色调映射器的梯度需要是连续的，因此，

等式5：

针对三个未知量a、c、d求解等式3至5的系统，得到：

等式6：

等式7：c＝sτd

等式8：

在一个示例中，上面结合等式2所描述的方法可以通过具有针对实时逆色调映射的样本输入值和输出值的查找表来实现。

图6例示的I对_new(I,τ)的图表。图6的图表曲线针对＝1200、s＝1、I^max＝1500、来确定。阈值τ由图6中的线601来标记。该图表示出逆色调映射器函数_new(I,τ)的总体行为，例示出该行为在暗和中间色调级别是线性的而在高亮中是非线性扩展的。可以容易地检验该曲线实际上是C1函数。为了逆色调映射器在非线性部分中扩展，曲线的一阶导数和二阶导数应该总是正的，意味着参数总是满足下面的条件：ad–c>0并且(I-τ)+d＜0。

图7图示log(I)对_new(I,τ)的图表。阈值τ由图7中的线710来标记。该曲线示出对数空间中的逆色调映射器。

图6和图7中所示出的图表例示逆色调映射器的行为，即，在暗和中间色调级别是线性的，而在高亮中是非线性扩展的。

低亮度值的处理

等式2至8的方法描述针对图像的暗部分和中间色调具有线性分段的逆色调映射方法。图像的最亮部分(例如高亮)以非线性函数来扩展。交叉点确定经过该函数的线性部分的输入中的最大值以及经过函数的非线性部分的输入的最小值。

本原理的一方面涉及将图像的最暗部分(黑色)与图像的剩余部分分开的第二交叉点(或者阈值)。可以以非线性方式来处理黑色，诸如当目标显示装置的黑色级别高于或者低于内容的黑色级别或被用于创建内容的灰度监视器的黑色级别时。

逆色调映射曲线参数的处理

本原理的一方面涉及基于交叉点或者阈值来表示HDR对HDR逆色调映射器的曲线的处理。在一个示例中，可以基于交叉点来调制曲线。调制可以是线性的或者非线性的。在一个示例中，调制可以导致等式2的参数收敛到所定义的值。在一个示例中，当交叉点收敛到0时，参数a和d的值可以收敛到-1，并且参数c的值收敛到0。当交叉点收敛到0时，_new(I,τ)收敛到(I)。

设置阈值τ

图像内容

本原理的一方面涉及基于阈值τ来确定输入Iⁱ的最大值，对于该输入Iⁱ，仅处理输入HDR内容产生输出在一个示例中，阈值τ的值足够大以覆盖内容的多于(100-n)％的像素(在一个示例中n＝2)，并且小于I^max的100η％(在一个示例中，峰值输入亮度的η＝0.8)，以防止过度扩展非常高的输入亮度值。在一个示例中，对于大多数自然场景，非常高的亮度值对像素的稀疏集做出贡献(HDR场景直方图趋向于示出高度峰态(kurtotic)分布)。对于这样的内容，基于以下阈值确定，从I^max的范围扩展少于n％的像素(在一个示例中n＝2)：

等式9：τ＝η×I^max

其中，例如，η＝0.8。

例如，当I^max＝1500nits时，阈值τ可以被初始化为1200。η和n的该选择已经根据实验示出，以得到主观上合意的输出图像。

在一个示例中，基于最小亮度值来确定内容相关的(content-dependent)阈值τ。该最小亮度值基于少于n％的像素具有更高的亮度值的确定。换句话说，目标是找到在直方图上具有少于总像素数量的n％位于其右手侧的最小亮度值。

在一个示例中，阈值n(其对应于将被扩展的像素的百分比)被设置为2％。该阈值n确定正在被改变的像素数量。然而，在其他示例中，阈值n的值可以被设置为任何其他值。在一个示例中，阈值n的值可以取决于内容或应用的类型(例如，显示装置或者内容捕获装置)。

在一个示例中，内容相关的阈值τ(即，在逆色调映射曲线中的拐点)可以基于内容的累积直方图来确定。输入亮度I的频率可以由h^I来表示。h^I的值可以通过计算具有任何数量的仓(bin)的输入亮度图像的直方图来确定。值I的累积直方图由c^I来表示，并且可以通过下式来求出：

等式10：

在一个示例中，如果满足下式，则可以将最终阈值设置为等于初始值τ_f＝τ：

等式11：

当少于n％的像素落在τ与I^max之间时，满足等式11中的条件。这允许仅线性地改变多于(100-n)％的像素。如果不满足等式11中的条件，则将断点(即，色调映射曲线中的拐点)推后，以增加输入被扩展的范围。

在一个示例中，ρ的值表示如下：

等式12：

基于等式12，阈值τ的值可以确定如下(包括线性地减小τ_f)：

等式13：

在等式13中，参数α表示在不引入伪像的情况下可以通过逆色调映射器_new(I,τ)扩展到动态范围的仅小部分的像素的最大百分比。这样的曲线的一个示例在图8中示出，其中α＝12.5。

因此，对于α的任何选择，为了ρ＞α的最终阈值τ_f的值被设置为0(该确定可以在图像级别、块级别等上执行)。因为如果选取任何大于0的阈值则触及多于α％的像素，所以最终阈值τ_f的值是有利的。在另一示例中，可以基于和的值的确定来确定阈值τ。在一个示例中，被设置为图像中的像素的数量。在一个示例中，指示具有高于阈值τ的强度的像素的数量。(以及随后的ρ)的快速估计通过对高于阈值τ的像素强度的数量进行计数来获得。然后，可以基于等式13来确定最终阈值τ_f。

在以上示例中，最终阈值τ_f取决于图像内容，并且小于初始阈值τ。在一个示例中，当在解码器中利用时，最终阈值τ_f防止过多像素扩展到的范围内(该范围高于内容提供者意图)，并且导致改进的视觉体验(特别是当与原始数据比较时)。

用于视频内容的阈值的泄漏积分

对于视频内容，用于连续视频帧的阈值可以具有不同的值。这可能导致连续视频帧的强度的不想要的、可注意到的变化(“闪烁”)。

本原理的一方面通过校正用于多种视频帧的最终阈值τ_f的值来解决闪烁的问题。

在一个示例中，可以应用泄漏积分以获得用于视频帧t的参数该参数可以基于阈值(例如，基于等式13确定)以及先前视频帧的估计的泄漏参数即来确定。这样的确定的一个示例是：

等式14：

等式14的迭代性质表明，针对每个视频帧，考虑在前的确定。用户参数β∈[0 1]控制视频帧之中的τ_new的平滑性。在一个示例中，该阈值与编码的内容一起由解码器接收。

设置线性缩放因子s

本原理的一方面涉及根据内容来确定被用于对图像的暗和中间色调中的亮度值进行逆色调映射(即，对劣于如上所定义的阈值的亮度值进行逆色调映射)的缩放因子s。

优选地，该线性缩放因子s基于测量与中间色调相对应的直方图的中间部分的均匀性的直方图参数σ，并且基于动态范围扩展率

事实上，发现在通过逆色调映射运算器获得的结果的视觉质量、通过σ参数化的输入图像的直方图的形状以及动态范围减少率之间存在相关性。

在一个实施例中，具有：

其中，其中σ测量与中间色调相对应的直方图的中间部分的均匀性。σ优选被定义为其中，μ是通过加权函数加权的直方图的平均，该加权函数保持中间色调的直方图值不变并且急剧地减小暗色调和高亮的直方图值。

在另一实施例中，具有

其中，

并且

上面等式中所示出的常量的值用于说明的目的，并且可以根据内容的类型来确定。

色彩重构

本原理的一方面涉及根据等式1从RGB像素值得出亮度值。为了重构经逆色调映射的色彩图像，可以使用简单的逐像素的方法。该逐像素的方法根据亮度通道中的比例改变来缩放RGB值，如下：

等式15a：

等式15b：

等式15c：

色彩图像的重构也可以通过控制饱和量的参数se来参数化，如下：

等式16a：

等式16b：

等式16c：

元数据

本原理的一方面涉及合并到消费者电子装置(诸如机顶盒、电视、监视器、笔记本、电话、平板、智能电话显示器等)中的HDR到HDR逆色调映射器或映射运算器。HDR到HDR逆色调映射处理或信息可以作为元数据提供给装置，以便确定装置的输出的视觉表象。HDR到HDR逆色调映射信息可以提供如下：

·目标显示的峰值亮度可以提供给消费者装置(例如，电视/监视器)。如果装置是机顶盒，则峰值亮度值可以由所连接的显示装置例如通过HDMI消息(参见等式3、6、7、8、13)用信号通知。

·内容的峰值亮度I^max可以作为元数据来提供。峰值亮度值可以作为针对每个视频帧、针对每个镜头或者针对每个节目(例如，电视插曲、电影、广告)的单个值来提供。在另一示例中，I^max的值可以被解释为(例如在后期制作室中)所利用的显示装置的峰值亮度或者在广播情景中所使用的实况相机的峰值亮度(参见等式3、6、7、8、13)。在另一示例中，I^max是被广播给终端用户的压缩的HDR内容的峰值亮度。

·被用于计算阈值τ的η参数也可以作为元数据来提供。在一个示例中，可以代替地发送确定逆色调映射曲线的线性和非线性部分的交叉的阈值τ(参见等式9)。交叉点也可以被称为阈值。参数n确定将被进行非线性扩展的像素的百分比(参见等式10、13)。

·参数α也可以作为元数据来提供(参见等式13)。

·在视频内容的阈值的泄漏积分中所使用的参数β也可以包括在元数据中(参见等式14)。

有利地，通过给予内容的制作者(例如，摄影的指导者、配色师、工作室等)对参数η(或者τ)、n、α和β中的每一个的控制，可以在宽泛种类的显示器上更好再现制作者的意图。

实验结果

在HDR图像上测试根据本原理的算法(参见等式1至16)。实验结果表明，逆色调映射器(I)将全范围扩展到更高的动态范围，因此在低亮度区域和高亮度区域两者中过度扩展，而本原理的HDR到HDR逆色调映射器_new(I,τ)保持大多数像素不变，并且仅将非常高强度扩展到较低范围中。

当根据本原理处理HDR图像帧时，所有像素的显著部分(典型地，所有黑色和中间色调)保持不变，并且仅扩展最高像素值。相反，线性缩放将按照相同的量来改变所有像素值，这是所有其他已知的逆色调映射运算器执行的。

本原理的优点在于范围扩展的量被严格地限制。预期的输出装置将拥有比所接收的内容更高的高峰值亮度。这意味着，亮度范围中相对缓和的扩展将足够。因此，能够设计出在本质上为全局并且事实上保持许多像素值不变的逆色调映射运算器。仅对最亮的像素应用少量的扩展。该方法的优点如下：

·非常低的计算复杂性

·如预期的那样地再现大多数像素

·少得多的数量的像素接收一些扩展，使得对比度增加(由此，预期对比度的损失)最小化。

可以在下面描述的图内实现上面描述的示例。图1是图示根据本原理的将HDR到HDR逆色调映射器应用于图像或视频内容的示例性方法100的图。

可以在任何工作流程中执行方法100。例如，方法100可以在后期制作工作室中执行，以帮助重新评级处理或者产生具有更高峰值亮度的次级等级。替代地，方法100可以结合HDR消费者显示器来使用，或者可以集成到机顶盒中。

在一个示例中，方法100包括用于接收图像或视频内容的块101。内容可以是经解码的图像或视频内容。替代地，内容可以是原始图像或者视频数据内容。内容可以包括可以是例如HDR视频的视频图像或画面的画面。块101可以接收关于画面的特性的信息，包括线性光RGB信息。可以使用三色相机将该内容捕获为由三个分量(红、绿和蓝)组成的RGB色彩值。RGB色彩值取决于传感器的三色特性(色原)。内容可以包括图像侧信息，诸如传感器的色原、所捕获的场景的最大和最小亮度峰值。内容可以已经根据任何已知的标准而被解码，诸如根据由国际电信(ITU)和组织运动图像专家组(MPEG)组织的高效率视频编码(HEVC)标准，或者根据由国际标准化组织/国际电子技术委员会(ISO/IEC)运动图像专家组-4(MPEG-4)组织的H.264或MPEG-4部分10高级视频编码(MPEG-4AVC)。然后，块101可以将控制传递到块102，包括提供关于所接收的内容的任何信息。

块102可以将HDR到HDR逆色调映射器应用于从块101接收的内容。可以根据本原理来确定HDR到HDR逆色调映射器。HDR到HDR逆色调映射器转换内容的动态范围，以扩展到显示器的动态范围。

本原理的一方面涉及HDR到HDR逆色调映射器的应用。HDR到HDR逆色调映射器提供按照非常大的量来扩展亮度值的范围的能力。HDR到HDR逆色调映射器的应用导致有限量的范围扩展。预期的输出装置将优选地拥有比所接收的内容更高的高峰值亮度。这意味着亮度范围中相对缓和的扩展将足够。HDR到HDR逆色调映射运算器可以在本质上是全局的，保持许多像素值不变。HDR到HDR逆色调映射运算器可以仅对最亮的像素应用少量扩展。基于该处理可以有以下优点：

·非常低的计算复杂性；

·如预期的那样地再现大多数像素；

·少得多的数量的像素接收值的一些扩展，使得对比度增加(由此，内容的预期对比度)最小化。

本原理的一方面涉及包括下列中的一个或多个的HDR到HDR逆色调映射器：

·用于暗和中间色调级别的线性部分以及用于高亮的非线性扩展部分(例如，参见等式2)；

·产生C1函数的HDR到HDR逆色调映射曲线的表示的曲线设计(例如，参见等式3-8)；

·基于内容的拐点/阈值确定(例如，参见等式10-14)。在一个示例中，HDR到HDR逆色调映射器可以由具有小的扩展范围的线性曲线来表示，其中，曲线的设计匹配平滑性标准，并且曲线阈值基于内容来确定。

块103可以输出所得到的内容。

图2是图示根据本原理的应用HDR到HDR逆色调映射器的示例性方法200的图。

方法200包括用于接收元数据的块201，元数据包括与HDR到HDR逆色调映射器有关的元数据。元数据可以包括逆色调映射曲线参数。块201然后可以将控制传递给块202。

块202可以确定HDR到HDR逆色调映射曲线参数。该参数可以包括目标显示的峰值亮度(例如，参见等式3、6、7、8、13)、内容的峰值亮度I^max(例如，参见等式3、6、7、8、13)、被用于计算阈值τ的参数η(例如，参见等式9)、确定将被进行非线性压缩的像素的百分比的参数n(例如，参见等式11,13)、确定可以由逆色调映射器扩展到动态范围的一部分中的像素的最大百分比的参数α(例如，参见等式13)以及在视频内容的阈值的泄漏积分中所使用的参数β(例如，参见等式14)。所述参数可以用于根据结合等式9和等式10-14所描述的原理来确定内容相关的阈值。块202还可以确定参数a、c、d。所述参数可以基于根据等式3-8强制逆色调映射曲线为C1函数的标准来确定。

块203可以接收内容。在一个示例中，内容可以是原始图像或者视频内容。在另一示例中，可以经由经编码的比特流来接收内容，并且块203可以对比特流进行解码。在另一示例中，内容可以先前已经被解码。在一个示例中，块203可以根据结合图1的块101概述的原理来接收内容。块203可以将控制传递给块204。

块204可以从块203获得内容的亮度通道信息。在一个示例中，块204可以应用原色变换以获得亮度通道信息。在一个示例中，块204可以根据结合等式1所描述的原理来确定亮度通道信息。在另一示例中，块204可以是可选的，并且可以直接从块203接收亮度信息。

块205可以将根据本原理的HDR到HDR逆色调映射器或者HDR到HDR逆色调映射运算器应用于来自块204(或者块203)的内容。在一个示例中，块205可以基于从块202接收的参数来确定逆色调映射器曲线。在另一示例中，块205可以基于从块202接收的参数来选择预定的或者所存储的逆色调映射器。

在一个示例中，块205可以根据结合图1的块102所描述的原理来应用和/或确定HDR到HDR逆色调映射器。在一个示例中，块205可以应用HDR到HDR逆色调映射器，以确定输出I_o。块205然后可以将控制传递给块206。

块206可以对块205的输出执行色彩校正。例如，块206可以根据等式15-a至16-c、基于亮度通道的比例改变来缩放RGB值，由此执行色彩校正。在一个示例中，块206可以是可选的，并且控制可以从块205直接传递给块207。块206可以将经色彩校正的内容输出给块207。

块207可以输出通过块205的HDR到HDR逆色调映射器所处理的内容。

图3是图示根据本原理的确定HDR到HDR逆色调映射器的参数的示例性方法300的图。参数可以包括用于拐点τ_f的参数(其可以根据结合等式13所描述的原理来确定)以及曲线参数a、c、d(其可以根据结合等式6-8所描述的原理来确定)。

块301可以接收内容，内容可以整体地或者部分地包括在图像或者视频的帧中。块301可以根据结合图1的块101或者图2的块201所概述的原理来接收内容。

块302可以确定亮度通道信息(例如，通过原色变换)。在一个示例中，块302可以根据结合等式1所描述的原理来确定亮度通道信息。替代地，块302可以是可选的，并且可以从块301直接接收亮度通道信息。

块303可以确定HDR到HDR逆色调映射器的阈值。在一个示例中，块303可以确定定义逆色调映射曲线中的拐点的阈值(其可以根据结合等式2-8所描述的原理来确定)。块303可以确定关于输入亮度的最大值，对于该输入亮度，在输出中仅线性地改变输入HDR内容。相比于小于先验固定的百分比的像素具有更高亮度值，可以基于最小亮度值来确定内容相关的阈值。可以根据先前关于设置阈值τ所描述的示例来确定内容相关的阈值。

在一个示例中，块303可以基于内容的累积直方图来确定阈值。由c^I来表示值I的累积直方图，可以检验以下条件：

等式17：

其中，n表示被允许由逆色调映射曲线的非线性部分扩展的像素的百分比。如果满足等式17的条件，则输入内容的最大亮度的80％的初始值可以被视为拐点。如果否，则可以使用等式13来获得阈值。该示例可以通过等式10-13来形式化。在另一示例中，可以基于输入的最大亮度的80％的初始值向输入亮度图像提供阈值，并且对具有比阈值更大的值的像素的数量以及像素的总数进行计数。然后，使用等式12、13来确定逆色调映射曲线的最终拐点。

块304可以确定C1逆色调映射运算器函数的参数。C1函数的一阶导数在导数函数域的输入的开区间中的各处被定义并且是连续的。具体地，逆色调映射器函数是连续的，其导数是连续的，并且最大输入被映射到输出显示器的最大亮度。在等式3-5中对这些标准进行形式化，并且因此在等式6-8中获得曲线的所确定的参数。块304可以输出用于阈值τ_f的参数以及曲线参数a、b、c。

图4是图示根据本原理的对内容进行解码和应用HDR到HDR逆色调映射器的示例性方法400的图。方法400可以包括块401。

块401可以接收与诸如视频或者图像序列这样的图像内容相对应的比特流。可以对所接收的比特流进行编码。块401可以将控制传递给块402。

块402可以对从块401接收到的比特流进行解析和解码。在一个示例中，块402可以使用基于HEVC的解码对比特流进行解析和解码。块402然后可以将控制传递给块403。

块403可以获得亮度通道信息。在一个示例中，块403可以根据结合等式1所描述的原理来获得亮度通道信息。替代地，块403可以是可选的，并且可以从块402直接接收亮度通道信息。块403然后可以将控制传递给块404和405。

块404可以根据本原理确定用于HDR到HDR逆色调映射器的参数。参数可以是根据本原理在本文中所讨论的任何参数。可以从比特流解析和解码出参数。在一个示例中，基于比特流中所包括的语法(例如，SEI消息)来确定参数。参数可以是参数阈值τ_f和曲线参数a、b、c。这些参数可以通过比特流发送，或者可以在解码器处确定。例如，可以基于亮度信息的直方图在解码器处确定参数。在一个示例中，块404可以根据图3的方法300来确定参数。

块405可以处理从比特流解析和解码出的内容。例如，块405可以处理从比特流解码出的视频或者图像序列。在一个示例中，块504可以处理经解码的Y’CbCr视频信号。在一个示例中，块504可以将Y’CbCr视频信号转换为R’G’B’视频信号。在另一示例中，块504可以处理R’G’B’视频信号。

块406可以对逆色调映射器曲线执行可选的时间滤波。块406可以执行泄漏积分以解决潜在的闪烁问题。对于视频内容，连续帧的所估计的阈值可以不同。为了防止视频内容的闪烁(即，连续帧的强度的明显变化)，可以确定视频的每个新帧的所估计τ_f值的校正。泄漏积分可以应用于帧t的参数其使用如在前面部分中所示那样地计算出的以及先前的帧的所估计的泄漏参数即来估计。在一个示例中，这可以根据结合等式14描述的原理来执行。块406的输入是亮度通道信息以及先前帧的逆色调映射。块406中的曲线对应于逆色调映射曲线。块406是可选的，但却是强烈推荐的，用以去除输出视频中的闪烁的可能来源。块406的输出是使用结合等式6-8和14所描述的本原理的逆色调映射曲线的阈值和更新的参数的泄漏确定。

块407可以将HDR到HDR逆色调映射器应用于来自块405的或者在应用时间滤波的情况下来自块406的内容。块407应用根据本原理的HDR到HDR逆色调映射器。对于视频信号，可以使用由块404所确定的参数逐帧地执行HDR到HDR逆色调映射器。在一个示例中，块407可以应用根据结合图1中的块102和图2中的块205所描述的原理的HDR到HDR逆色调映射器。在一个示例中，块407可以创建或者可以接收具有表列值(例如，基于等式13-14)的查找表(LUT)，并且然后将LUT应用于内容。

图5表示可以配置为实现参照图1-4和等式11-17所描述的方法的设备500的示例性架构。在一个示例中，图5表示可以被配置为实现根据本原理(包括参照图1-4所描述的原理)的方法的设备。在一个示例中，图5表示可以被配置为实现根据本原理(包括参照图4所描述的原理)的解码方法的设备。

设备500包括由数据和地址总线501链接在一起的以下元件：

-微处理器502(或者CPU)，其例如是DSP(或者数字信号处理器)；

-ROM(或者只读存储器)503；

-RAM(或者随机存取存储器)504；

-用于从应用接收要发送的数据的I/O接口505；以及

-电池506(或者其他适当的电源)。

根据变型，电池506在设备的外部。在每一个所提到的存储器中，在说明书中所使用的措词“寄存器”可以对应于小容量(一些比特)的区域或者非常大的区域(例如全部程序或者大量的所接收或解码的数据)。ROM 503至少包括程序和参数。根据本发明的方法的算法存储在ROM 503中。在接通时，CPU 502将的程序上载到RAM中并执行对应的指令。

RAM 504包括寄存器中的由CPU 502执行并在设备500的接通之后上载的程序、寄存器中的输入数据、寄存器中方法的不同状态下的中间数据以及寄存器中的用于方法的执行的其他变量。

在这里所描述的实现方式例如可以以方法或者处理、设备、软件程序、数据流或者信号来实现。即使仅在单一形式的实现方式的背景下进行了讨论(例如，仅讨论为方法或者设备)，所讨论的特征的实现方式也可以以其他形式(例如，程序)来实现。设备例如可以以适当的硬件、软件和固件来实现。方法例如可以在例如诸如例如处理器这样的设备中实现，处理器通常是指处理装置，例如包括计算机、微处理器、集成电路或者可编程逻辑器件。处理器也包括通信装置，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及便于终端用户之间的信息的通信的其他装置。

根据编码或者编码器的特定示例，从来源获得图像或者画面I。例如，来源属于包括以下的集合：

-本地存储器(503或者504)，例如视频存储器或者RAM(或者随机存取存储器)、闪速存储器、ROM(或者只读存储器)、硬盘；

-存储接口(505)，例如与海量储存器、RAM、闪速存储器、ROM、光盘或者磁支承的接口；

-通信接口(505)，例如有线接口(例如，总线接口、广域网接口、局域网接口)或者无线接口(比如，IEEE 802.11接口或者接口)；以及

-图像捕获电路，例如，诸如例如CCD(或者电荷耦合器件)或者CMOS(或者互补金属氧化物半导体)这样的传感器。

根据解码或者解码器的不同实施例，经解码的图像发送到目的地；具体地，目的地属于包括以下的集合：

-本地存储器(503或者504)，例如视频存储器或者RAM、闪速存储器、硬盘；

-通信接口(505)，例如有线接口(例如，总线接口(例如USB(或者通用串行总线))、广域网接口、局域网接口、HDMI(高分辨率多媒体接口)接口)或者无线接口(比如IEEE802.11接口、或者接口)；以及

-显示器。

根据编码或者编码器的不同示例，比特流BF和/或F被发送到目的地。作为示例，比特流F和BF之一或者比特流F和BF两者存储在本地或者远程存储器中，例如视频存储器(504)或者RAM(504)、硬盘(503)中。在变型中，一个或者两个比特流被发送到例如与海量储存器、闪速存储器、ROM、光盘或者磁支承的接口这样的存储接口(505)和/或通过例如到点对点链路、通信总线、点对多点链路或者广播网络的接口这样的通信接口(505)来发送。

根据解码或者解码器的不同示例，从来源获得比特流BF和/或F。示例性地，从例如视频存储器(504)、RAM(504)、ROM(503)、闪速存储器(503)或者硬盘(503)这样的本地存储器读取比特流。在变型中，比特流从例如与海量储存器、RAM、ROM、闪速存储器、光盘或者磁支承的接口这样的存储接口(505)接收和/或从例如到点对点链路、总线、点对多点链路或者广播网络的接口这样的通信接口(505)接收。

根据不同示例，被配置为实现根据本原理的编码方法的电子设备500属于包括以下的集合：

-移动装置；

-通信装置；

-游戏装置；

-平板(或者平板计算机)；

-膝上型电脑；

-静止图像相机；

-摄像机；

-编码芯片；

-静止图像服务器；以及

-视频服务器(例如，广播服务器、视频点播服务器或者网络服务器)。

根据不同示例，被配置为实现根据本原理的解码方法的电子设备500属于包括以下的集合：

-移动装置；

-通信装置；

-游戏装置；

-机顶盒；

-电视机；

-平板(或者平板计算机)；

-膝上型电脑；

-显示器；以及

-解码芯片。

在这里所描述的各种处理和特征的实现方式可以实施为各种不同设备或者应用。这种设备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、提供输入给编码器的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型电脑、个人计算机、蜂窝电话、PDA及其他通信装置。应该清楚，设备可以是移动的，甚至可以安装在移动车辆中。

另外，所述方法可以通过由处理器执行的指令来实现，并且这样的指令(和/或由实现方式所产生的数据值)可以存储在诸如例如集成电路、软件载体或者其他存储装置这样的处理器可读介质上，其他存储装置诸如例如硬盘、致密盘(“CD”)、光盘(诸如，例如DVD，通常被称为数字多功能盘或者数字视频盘)、随机存取存储器(“RAM”)或者只读存储器(“ROM”)。指令可以形成有形地实施在处理器可读介质上的应用程序。指令例如可以以硬件、固件、软件或者组合。指令例如可以存在于操作系统、单独应用或者两者的组合中。因此，例如，处理器可以表征为被配置为执行处理的装置以及包括具有用于执行处理的指令的处理器可读介质(诸如存储装置)的装置两者。另外，在指令的基础上或者代替指令地，处理器可读介质可以存储由实现方式所产生的数据值。

对本领域技术人员很明显的是，实现方式可以产生被格式化以携带例如可以存储或者发送的信息的各种信号。信息例如可以包括用于执行方法的指令或者由所描述的实现方式之一所产生的数据。例如，信号可以被格式化以携带用于写入或者读取所描述的示例的语法的规则作为数据，或者携带由所描述的示例所写入的实际的语法值作为数据。例如，这样的信号可以被格式化为电磁波(例如，使用频谱的射频部分)或者基带信号。格式化例如可以包括对数据流进行编码以及用所编码的数据流来调制载波。信号携带的信息例如可以是模拟或数字信息。如已知的那样，可以通过各种不同的有线或者无线链路发送信号。信号可以存储在处理器可读介质上。

已经描述了很多实现方式。然而，应当理解，可以做出各种修改。例如，可以组合、补充、修改或者去除不同实现方式的要素以产生其他实现方式。另外，本领域技术人员将理解，其他结构和处理可以代替所公开的那些结构和处理，并且所得到的实现方式将以与所公开的实现方式至少基本相同的方式来执行与所公开的实现方式至少基本相同的功能，以获得与所公开的实现方式至少基本相同的结果。因此，由应用想到这些及其他实现。

已经在本文中阐述了许多细节，以提供对本发明的彻底的理解。然而，本领域技术人员将理解，可以在不使用这些细节的情况下实践上述示例。在其他示例中，未详细描述公知的操作、组件和电路，以便不使本发明模糊。可以意识到，在本文中所公开的特定的结构和功能细节可以是代表性的，并且未必限制本发明的范围。

本发明的各种示例可以使用硬件元件、软件元件或者两者的组合来实现。一些示例可以例如使用可以存储指令或者一组指令的计算机可读介质或者物品来实现，所述指令或者一组指令在由机器执行的情况下可以使机器执行根据示例的方法和/或操作。这样的机器例如可以包括任何适当的处理平台、计算平台、计算装置、处理装置、计算系统、处理系统、计算机、处理器等，并且可以使用硬件和/或软件的任何适当的组合来实现。计算机可读介质或者物品例如可以包括任何适当类型的存储单元、存储器装置、存储物品、存储介质、存储器件、储存物品、储存介质和/或储存单元。指令可以包括使用任何适当的高级、低级、面向对象、可视、编译和/或解释性程序设计语言所实现的任何适当类型的代码，诸如源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。

在本文中所描述的实现方式例如可以以方法或者处理、设备、软件程序、数据流或者信号来实现。即使仅在单一形式的实现方式的背景下进行了讨论(例如，仅讨论为方法或者设备)，所讨论的特征的实现方式也可以以其他形式(例如，设备或者程序)来实现。设备和其中所包括的组件(例如处理器、编码器和解码器)例如可以以适当的硬件、软件和固件来实现。方法例如可以在诸如通常指处理装置的处理器这样的设备中实现，处理器例如包括计算机、微处理器、集成电路或者可编程逻辑器件。处理器也包括通信装置，诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)以及便于终端用户之间信息的通信的其他装置。

另外，本申请或者其权利要求可能涉及“确定”各条信息。确定信息例如可以包括估计信息、计算信息、预测信息或者从存储器检索信息中的一个或多个。

另外，本申请或者其权利要求可以涉及“访问”各条信息。访问信息例如可以包括接收信息、检索信息(例如，从存储器)、存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或者估计信息中的一个或多个。

另外，本申请或者其权利要求可以涉及“接收”各条信息。接收与“访问”一样，意在为广义的术语。接收信息例如可以包括访问信息或者检索信息(例如，从存储器)中的一个或多个。另外，“接收”通常以各种方式在例如存储信息、处理信息、发送信息、移动信息、复制信息、擦除信息、计算信息、确定信息、预测信息或者估计信息之类的操作期间涉及。

根据不同实施例，在根据本发明编码或者解码的画面或者包括画面的流中用信号通知参数化的转移函数。在一些实施例中，在画面或者包括画面的流中用信号通知表示参数化的转移函数的信息。该信息由解码方法或者解码器使用，以标识根据本发明应用的参数化的转移函数。在一个实施例中，该信息包括在编码和解码侧已知的标识符。根据其他实施例，该信息包括被用作参数化的转移函数的基础的参数。根据本发明的变型，该信息包括基于一组定义值的在画面或者包括画面的比特流中的参数的指示符。根据本发明的变型，该信息包括基于是否显式地用信号通知参数或者是否基于一组定义值而隐式地用信号通知参数的指示。根据本发明的不同变型，该信息包括在画面参数集(PPS)、序列参数集(SPS)、辅助增强信息(SEI)消息、视频可用性信息(VUI)、消费者电子设备协会(CEA)消息和首部的至少一个中所包括的至少一个语法元素中。

Claims

1.一种用于高动态范围图像的逆色调映射的方法，所述方法包括：

获得高动态范围图像的亮度分量；

确定HDR到HDR逆色调映射曲线；

通过将HDR到HDR逆色调映射曲线应用于高动态范围图像的亮度分量，来确定色调扩展图像；

其中，HDR到HDR逆色调映射曲线包括用于暗和中间色调级别的线性部分以及用于高亮的扩展非线性部分。

2.如权利要求1所述的方法，其中，所述HDR到HDR逆色调映射曲线包括用于确定何时线性地改变亮度以及何时非线性地扩展亮度的阈值。

3.如权利要求2所述的方法，还包括：基于内容来确定阈值。

4.如权利要求3所述的方法，其中，基于下式来确定阈值τ_f：

τ_{f} = \{\begin{matrix} τ & ρ \leq n \\ \frac{τ}{α - n} (α - ρ) & R < ρ \leq α \\ 0 & ρ > α \end{matrix}

其中，是色调扩展图像的最大亮度值，n是与高亮相对应的图像中的像素的百分比，α表示可以被非线性扩展的像素的最大百分比，并且其中其中和c^τ表示分别针对内容的峰值亮度的亮度值和与阈值τ相对应的亮度值的亮度值的累积直方图。

5.如权利要求3或4所述的方法，还包括：基于内容来确定对暗和中间色调级别的输入值进行线性缩放的缩放因子s。

6.如权利要求5所述的方法，其中，缩放因子s的确定基于直方图参数σ，所述直方图参数σ测量与中间色调相对应的所述图像的亮度直方图的一致性。

7.如权利要求5所述的方法，其中，缩放因子的确定基于动态范围减少率所述动态范围减少率将色调扩展图像的最大亮度值除以内容的峰值亮度I^max。

8.一种用于高动态范围图像的逆色调映射的图像处理装置，包括至少一个处理器，所述至少一个处理器被配置用于：

获得高动态范围图像的亮度分量；

确定HDR到HDR逆色调映射曲线；

9.如权利要求8所述的图像处理装置，其中，所述处理器还被配置为包括用于确定何时线性地改变亮度以及何时非线性地扩展亮度的阈值。

10.如权利要求9所述的图像处理装置，其中，所述处理器还被配置为基于内容来确定阈值。

11.如权利要求8至10中的任一项所述的图像处理装置，其中，所述处理器还被配置为基于内容来确定对暗和中间色调级别的输入值进行线性缩放的缩放因子s。

12.如权利要求8至10中的任一项所述的图像处理装置，其中，所述处理器还被配置为基于直方图参数σ来确定缩放因子s，所述直方图参数σ测量与中间色调相对应的所述图像的亮度直方图的一致性。

13.一种电子设备，包括如权利要求8至12中的任一项所述的图像处理装置。

14.一种可计算可读取的存储介质，包括当由处理器执行时执行如权利要求1至7中的任一项所述的方法的所存储的指令。