CN107211076A

CN107211076A - 高动态范围视频的显示管理

Info

Publication number: CN107211076A
Application number: CN201680006314.XA
Authority: CN
Inventors: R·阿特金斯
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2015-01-19
Filing date: 2016-01-14
Publication date: 2017-09-26
Anticipated expiration: 2036-01-14
Also published as: AU2016209615B2; CA2973909E; US20180013927A1; TR201815542T4; ZA201704922B; AU2016209615A1; SG11201705702XA; IL253409A0; MX359721B; AU2016209615C1; SG10201710918XA; ES2692444T3; IL253409B; KR102117522B1; RU2017143016A3; RU2017143016A; MX2017009230A; JP6362793B2; PL3248367T3; US9961237B2

Abstract

公开了高动态范围视频的显示管理。显示管理处理器接收具有增强动态范围的输入图像，该输入图像要显示在具有与参考显示器不同的动态范围的目标显示器上。输入图像首先被变换成感知量化(PQ)颜色空间，优选地是IPT‑PQ颜色空间。包括自适应色调映射函数和自适应色域映射函数的颜色体积映射函数生成映射图像。将细节保留步骤应用于映射图像的强度分量，以生成具有滤波的色调映射强度图像的最终映射图像。最终映射图像然后被转化回显示器的优选颜色空间。提供了自适应色调映射和色域映射函数的示例。

Description

高动态范围视频的显示管理

对相关申请的交叉引用

本申请要求于2015年1月19日提交的美国临时专利申请序列No.62/105,139的优先权，其全部内容通过引用并入本文。

技术领域

本发明一般地涉及图像。更具体地，本发明的一实施例涉及具有高动态范围或增强动态范围的图像的显示管理处理。

背景技术

如本文所使用的，术语“动态范围”(DR)可以涉及人类视觉系统(HVS)感知图像中的强度(例如，辉度)的范围(例如从最暗的暗(黑色)到最亮的亮(白色))的能力。在这个意义上，DR涉及“场景相关”的强度。DR还可以涉及显示设备充分地或近似地呈现(render)特定宽度的强度范围的能力。在这个意义上，DR涉及“显示相关”的强度。在本文的描述中的任何点处，除非明确地指出特定意义具有特定含义，否则应该推断该术语可以在任何意义上使用，例如，可互换。

如本文所使用的，术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的大约14-15个数量级的DR宽度。在实践中，在其上人类可以同时感知宽度广的强度范围的DR相对于HDR可能会有些被截断。如本文所使用的，术语增强动态范围(EDR)或视觉动态范围(VDR)可以单独地或可互换地涉及由人类视觉系统(HVS)可同时感知的DR。如本文所使用的，EDR可以涉及跨越5-6个数量级的DR。因此，虽然相对于真实场景相关的HDR可能会有些缩窄，但是EDR仍然表示宽的DR宽度，并且也可以被称为HDR。

在实践中，图像包括一个或多个颜色分量(例如，辉度Y以及色度Cb和Cr)，其中每个颜色分量由每像素n位的精度来表示(例如，n＝8)。使用线性辉度编码，其中n≤8的图像(例如，彩色24位JPEG图像)被视为标准动态范围的图像，而其中n>8的图像可以被视为增强动态范围的图像。EDR和HDR图像也可以使用诸如由Industrial Light and Magic开发的OpenEXR文件格式之类的高精度(例如，16位)浮点格式进行存储和分发。

大多数消费者桌面显示器支持200至300cd/m²或尼特(nit)的辉度。大多数消费者的HDTV的范围从300到1000cd/m²。因此，这样的常规显示器代表相对于HDR或EDR低的动态范围(LDR)，也被称为标准动态范围(SDR)。随着EDR内容的可用性由于捕获装置(例如照相机)和EDR显示器(例如，来自杜比实验室的PRM-4200专业参考监视器)二者的进步而增加，EDR内容可能会被颜色分级并且被显示在支持更高动态范围(例如，从1000尼特到5000尼特或更多)的EDR显示器上。通常，本公开的方法涉及高于SDR的任何动态范围。如本发明人所理解的，用于高动态范围图像到HDR和SDR显示器上的显示管理的改进的技术对于向后兼容性和卓越的沉浸式体验都是期望的。

如本文所使用的，术语“显示管理”表示将第一动态范围(例如，1000尼特)的输入视频信号映射到第二动态范围(例如，500尼特)的显示器所需的处理(例如，色调和色域映射)。

本节中描述的方法是可以实行的方法，但不一定是先前已经想到或实行的方法。因此，除非另有说明，否则不应假设本节中描述的任何方法仅仅因为它们包含在本节中而被当作现有技术。类似地，除非另有说明，否则相对于一个或多个方法识别的问题不应在本节的基础上而假设已经在任何现有技术中被认识到。

附图说明

在附图中，以示例而非限制的方式示出了本发明的实施例，在附图中，相似的附图标记表示相似的元件，并且其中：

图1描绘了根据本发明的实施例的用于EDR图像的显示管理的示例处理；

图2描绘了根据本发明的实施例的将输入EDR数据从输入颜色空间转换为感知量化空间的示例处理；

图3描绘了根据本发明的实施例的用于EDR图像的颜色体积映射(color volumemapping)的示例处理；

图4描绘了根据本发明的实施例的用于细节保留的示例处理；和

图5描绘了根据本发明的实施例的输出颜色转换的示例处理。

具体实施方式

本文描述了增强动态范围(EDR)图像的有效显示管理(例如，色调和色域映射)。在下面的描述中，为了说明的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，应当清楚的是，可以在没有这些具体细节的情况下实践本发明。在其它情况下，未详细描述已知的结构和设备，以避免不必要地遮盖、模糊或混淆本发明。

概述

本文描述的示例实施例涉及EDR图像的有效显示管理。显示管理处理器接收要被显示在目标显示器上的具有增强动态范围的输入图像，该目标显示器具有与源参考显示器不同的动态范围。输入图像被首先从输入颜色空间(例如，RGB或YCbCr)变换到感知量化(PQ)颜色空间，优选地被变换到IPT-PQ颜色空间。包括自适应色调映射函数和自适应色域映射函数的颜色体积映射函数生成第一映射图像。向第一映射图像的强度分量应用细节保留步骤，以生成具有经滤波的色调映射的强度图像的最终映射图像。最终映射图像然后被转化回显示器的优选颜色空间。提供了自适应色调映射和色域映射函数的示例。

示例显示管理处理流水线

图1描绘了根据本发明的实施例的EDR图像(其也可以被称为HDR图像)的显示管理的示例处理。该处理与2014年2月13日提交的序列号为PCT/US2014/016304的PCT申请(从现在起被称为‘304申请)中描述的显示管理处理有许多相似之处，该PCT申请的全部内容通过引用并入本文；然而，所提出的实施例包括多个改进，这多个改进允许在提高整体图像质量的同时减小计算复杂度。

如图1所示，视频处理器(例如，媒体服务器、机顶盒、图像显示器或其它合适的图像处理器)接收EDR输入V_I(102)、可选的相关联的源和内容元数据(104)以及目标元数据(106)。EDR输入(102)可以包括诸如EDR视频信号之类的图像序列的帧或全帧的一部分。如本文所使用的，术语“元数据”涉及作为编码的位流的一部分而被发送并且协助解码器呈现解码图像的辅助信息。这样的元数据可以包括但不限于如本文所述的颜色空间或色域信息、参考显示器参数和辅助信号参数。

所接收的EDR输入(102)可以是RGB颜色格式或者可以是任何其它颜色空间，诸如YCbCr、XYZ等。所接收的图像可以已经在参考EDR监视器上进行了颜色分级，其中该参考EDR监视器可以具有与目标显示监视器不同的动态范围和色域特性。如本文所使用的，术语“颜色分级”表示调整图像或视频的颜色以校正颜色伪像和/或匹配导演意图的处理。

EDR输入(102)还可以包括与用于在节目制作期间对图像进行颜色分级的显示器相关的源显示器元数据(104)。例如，这样的元数据可以包括参考电光变换函数(EOTF)(例如，Rec.ITU-R BT.1866(03/2011)或SMPTE ST 2084:2014)。EDR输入还可以包括额外的源显示器和内容元数据(104)，诸如源或参考显示器的最大和最小亮度，数据的最大、最小和平均色调，以及颜色分级期间的环境光的强度。例如，参考监视器的元数据可以包括制作中使用的以下示例参数：

源监视器最小亮度，Smin＝0.005尼特；

源监视器最大亮度，Smax＝4000尼特；

环境光，Samb＝10尼特；

伽马，Sgamma＝2.4；

颜色空间＝DCI P3，白点＝D65；

用于参考监视器的元数据通常仅需要被发送一次；然而，用于视频数据的元数据可以在每帧的基础上、每个场景的基础上、或者每当有变化时被发送。如果没有与源内容相关的元数据，则在一些实施例中，可以通过分析源视频内容来提取这样的数据。目标元数据(106)由目标显示器递送并且可以描述目标显示器特性(例如，最大亮度、色域等)。

IPT-PQ颜色空间

在优选实施例中，在将被称为感知量化IPT或IPT-PQ颜色空间的颜色空间中执行处理流水线(100)；然而，可以在诸如线性RGB、伽马RGB、YCbCr、XYZ、CIE-Lab等的其它颜色空间中执行类似的处理步骤。如本发明人所理解的，在IPT-PQ颜色空间中进行操作提供了许多优点，诸如：在固定点并且以较低的位深度执行显示管理流水线，并且减少由于色调映射和色域映射操作引起的颜色伪像。如在Proc.6^th Color Imaging Conference:ColorScience,Systems,and Applications,IS&T,Scottsdale,Arizona,1998年11月，第8-13页、F.Ebner和M.D.Fairchild的“Development and testing of a color space(ipt)withimproved hue uniformity”(将被称为Ebner论文)(其全部内容通过引用并入本文)中描述的，IPT是人类视觉系统中视锥细胞(cone)之间的颜色差的模型。在这个意义上，它就像YCbCr或CIE-Lab的颜色空间；然而，它在一些科学研究中已经显示出比这些空间更好地模仿人类视觉处理。像CIE-Lab一样，IPT是一些参考辉度的归一化空间。在一个实施例中，归一化是基于目标显示器的最大辉度的。

本文所使用的术语“PQ”是指感知量化。人类视觉系统以非常非线性的方式来对增加的光线水平做出响应。人类看到刺激的能力受到刺激的辉度、刺激的大小、构成刺激的空间频率以及正在观察刺激的特定时刻的眼睛已经适应的辉度水平的影响。在优选实施例中，感知量化器函数将线性输入灰度级映射到更好地匹配人类视觉系统中的对比敏感度阈值的输出灰度级。PQ映射函数的示例在JS Miller等人于2012年12月6日提交的、题为“Perceptual luminance nonlinearity-based image data exchange across differentdisplay capabilities”的、序列号为PCT/US2012/068212(将被称为‘212申请)的PCT申请中进行了描述，该申请的全部内容通过引用并入本文，其中，给定固定的刺激尺寸，对于每个辉度水平(即，刺激水平)，根据最敏感的适应水平和最敏感的空间频率(根据HVS模型)来选择该辉度水平处的最小可见对比度步长。与代表物理阴极射线管(CRT)设备的响应曲线的、并且一致性可能与人类视觉系统响应的方式非常粗糙地相似的传统伽马曲线相比，由‘212申请确定的PQ曲线使用相对简单的函数模型来模仿人类视觉系统的真实视觉响应。

基于PQ曲线的EOTF的示例在SMPTE ST 2084:2014“High Dynamic Range EOTF ofMastering Reference Displays”中定义，其全部内容通过引用并入本文。感知量化的EOTF的另一个示例在ISO/IEC JTC1/SC29/WG11MPEG2014/M35065，2014年10月、J.Stessen等人的“Chromaticity based color signals for wide color gamut and high dynamicrange”中给出，其全部内容通过引用并入本文。

表1描述了用于将数字视频编码值转换成显示点处的绝对线性辉度水平的感知曲线EOTF的计算。还包括用于将绝对线性辉度转换成数字编码值的反向EOTF(OETF)计算。

表1

示例性等式定义：

D＝感知曲线数字编码值，SDI合法无符号整数，10或12位

b＝数字信号表示中的每个分量的位数，10或12

V＝归一化感知曲线信号值，0≤V≤1

Y＝归一化辉度值，0≤Y≤1

L＝绝对辉度值，0≤L≤10000cd/m²

示例性EOTF解码等式：

示例性反向EOTF编码等式：

D＝INT(1015·V·2^b-10)+4·2^b-10 (t3)

示例性常数：

注意：

1.运算符INT对...范围内的小数部分返回的值为0，对于...范围内的小数部分返回的值为+1，即它对0.5以上的分数取整。

2.所有常数都被定义为12位有理数的精确倍数，以避免取整问题。

3.R、G或B信号分量将以与上述Y信号分量相同的方式计算。

图2更详细地描绘了根据一实施例的颜色转换步骤(110)的示例处理。如图2所示，给定第一颜色格式(例如，YCbCr 4：2：0或RGB伽马4：4：4)的输入EDR信号V_I(102)，颜色空间变换步骤(110)将其转化成感知校正的IPT颜色空间(IPT-PQ)中的信号V_IL(112)。该颜色变换可以包括以下步骤：

a)如果需要，步骤(215)可以执行色度上采样或其它预处理操作(例如，将输入缩放到范围(0,1)内)以生成输出(217)。

b)输入EDR信号(102)可以是伽马编码或PQ编码的，其通常使用源元数据(104)来通知。步骤(220)可以使用EOTF(由元数据(104)提供)来使源显示器从编码值到辉度的转换反向或撤消。例如，如果输入信号是伽马编码的，则该步骤应用反向伽马函数。如果输入信号是PQ编码的(例如，根据SMPTE ST 2084)，则该步骤应用反向PQ函数。实际上，线性化步骤(220)可以使用三个预先计算的1-D查找表(LUT)来执行。

c)步骤(225)将线性化信号(222)转换为LMS颜色空间中的信号(227)。通常，通过以下步骤来执行该步骤：a)使用标准变换来将输入转化到XYZ颜色空间，并且然后，应用3×3矩阵将该信号从XYZ转化到LMS。

d)(步骤230)。根据Ebner的文章，传统的LMS到IPT颜色空间转换包括首先将非线性功率函数应用于LMS数据，并且然后应用线性变换矩阵。虽然可以将数据从LMS转换到IPT，并且然后将PQ函数应用于IPT-PQ域，但在优选实施例中，在步骤(230)中，用于LMS到IPT的非线性编码的传统功率函数被替换为PQ非线性编码。例如，以与等式(t2)中的V信号相同方式来计算非线性L、M和S值，其中Y信号被线性L、M或S分量值代替。在一些实施例中，可以使用PQ编码的归一化版本，其中可以省略等式(t3)的步骤，并且输出PQ值的范围在0和1之间。在一些实施例中，也可以应用替代PQ编码(例如，Stessen提出的编码)。

e)使用标准LMS到IPT 3×3线性变换，步骤(235)完成信号(102)到IPT-PQ颜色空间的转换。

在一些实施例中，可以使用3D LUT来计算完整的颜色变换流水线(例如，110)。此外，在输入信号已经在IPT-PQ空间中的实施例中，可以绕过输入颜色空间转换(110)。

颜色体积映射

在颜色变换步骤(110)之后，需要映射信号V_IL(112)的强度(I_O)和色度(P/T)以适应目标显示器的约束。图3描绘了根据一实施例的颜色体积映射处理(115)的示例实现。颜色体积映射处理(115)的第一部分基于颜色的饱和度和颜色的强度来确定使颜色变暗的量。在一实施例中(非限制)，饱和度S的度量可以被计算为色度分量的平方和，或者

S＝P²+T²。 (1)

色调映射函数(310)将非线性映射应用于输入数据V_IL(112)的强度I_O(302)以生成色调映射的强度数据I_m(314)(例如，I_m＝f_T(I_O))。A.Ballestad等人在题为“Method andapparatus for image data transformation”的美国专利8,593,480(将被称为‘480专利)中描述了非线性映射变换的示例，该专利的全部内容通过引用并入本文。

根据‘480专利，用于非线性映射的示例变换函数可以被表示为

其中C₁、C₂和C₃是常数，Y_in是颜色通道的输入值(例如I_O)，Y_out是颜色通道的输出值，并且Slope和Rolloff是参数。该变换函数是参数化的反曲色调曲线函数的示例。指数Slope指定中点处的期望对比度。它可以从源显示器和目标显示器之间的比率导出，以允许对于较暗图像具有略高的对比度。指数Rolloff确定在曲线的顶部和底部曲线下滑的急剧程度。越小的值导致越急剧的下滑。基于三个锚点的定义来确定参数C₁、C₂和C₃，这三个锚点又是基于参考(或源)显示器的亮度特性和目标显示器的亮度特性来定义的，参考(或源)显示器的亮度特性通常是从输入元数据(104)提取的，目标显示器的亮度特性通常对于经由目标元数据(106)来执行显示管理处理的处理器是已知的。

色调映射中的关键概念是通过尽可能少地改变中点强度和对比度来保留整体图像外观。然后，阴影和高光被平滑地映射到目标显示器的辉度范围中。在示例性实施例中，步骤(310)可以如下计算等式(2)的色调曲线参数：

令Tmin和Tmax表示用PQ编码表示的、目标显示器的最小和最大亮度。令Smin和Smax表示也是PQ编码的、源显示器的最小和最大亮度，则在实施例中，S2Tratio可以被定义为：

给定S2Tratio，在一实施例中，

并且

Slope＝S2Tratio+1

Shift的值表示映射曲线的中点，或者表示使输入图像变暗以使其适应目标显示器的能力的量。在不失一般性的情况下，在一实施例中，它被选择为源显示器和目标显示器中点之间的中心(half-way)，以保留导演对图像的一些创意意图。

在一实施例中，已经主观地确定了Rolloff＝1/3值，以为各种图像提供良好的图像质量。

给定等式(2-4)，参数C₁、C₂和C₃可以通过求解确定通过指定的最小、最大和中间控制点的色调映射曲线的等式组来导出。

[x₁，x₂，x₃]＝[Smin，Smid，Smax]

y₁＝max(Smin-Shift，Tmin)

y₂＝Smid-Shift

y₃＝min(Smax-Shift，Tmax)

ε＝x₃y₃(x₁-x₂)+x₂y₂(x₃-x₁)+x₁y₁(x₂-x₃)

在一些实施例中，例如当映射到更亮或更暗的观看环境时，可能期望对上述色调曲线进行修改。这可以通过可以主观调整的两个附加参数进行调节：Contrast(对比度)和Brightness(亮度)。给定Contrast和Brightness，等式(4)的原始Shift和Slope参数可以被调整为：

Slope＝S2Tratio+1+Contrast。

虽然依赖于目标显示器动态范围，Brightness控制可能只影响中点，但是Brightness控制具有全局升高或降低整个图像的亮度的效果。虽然依赖于目标显示器动态范围，Contrast控制可能降低阴影或高光的对比度，但是Contrast控制具有升高或降低中点附近的对比度的效果。

可以修改Contrast和Brightness控制以实现两个目的。首先，它们可以在终端显示器处进行调整，以补偿不同的观看环境。这是通过PLUGE类型操作来完成的，其中用户调整亮度和/或对比度，直到黑白细节在图像中主观可见为止。这些参数的第二个用处是作为微调特定镜头(shot)的默认映射以实现特定主观印象的元数据的一部分。

给定上面的C₁、C₂和C₃参数，在一实施例中，映射的强度可以被计算为：

实际上，计算色调映射的图像(314)通常使用查找表来实现。

如图3所示，颜色体积映射(115)包括饱和度映射函数(320)，其被用于基于强度的变化来调整色度值(P/T)(304)。随着颜色的强度降低，它们的饱和度也降低，以维持它们的外观或平衡。在一实施例中，饱和度映射(320)可以表示为

f_SM(I_o)＝I_m-I_o+1. (8)

针对指定的源显示器和目标显示器性能以及可选的任何用户调整来计算色调映射和饱度和曲线。一旦它们被计算，它们可以被独立地应用于每个像素，以从源颜色体积映射到目标颜色体积。过程的核心是首先将色调曲线应用于输入强度，然后通过饱和度曲线对色度通道中的每个色度通道进行缩放。通过将相同的缩放应用于两个色度通道，保留了色相(hue)，其在IPT中由P和T之间的角度定义。因此，在一实施例中，

这通常对于落在目标显示器颜色体积内的颜色产生良好的结果。然而，它没有考虑目标显示器可能无法生成亮的饱和颜色的事实。在这种情况下，如本发明人所理解的，可能需要进一步的色度调整。

在颜色体积映射之后，留在目标显示器颜色体积之外的任何颜色将被在RGB空间中被剪辑(clip)，这可能引入伪像。为了减少留在外部的颜色，一实施例提供了将颜色进一步映射到目标显示器颜色体积内的两种手段。第一种手段是使亮的饱和颜色变暗，第二种手段是使高度饱和的颜色去饱和。然后，可以如下所示地修改等式(9)的颜色体积映射过程：

其中α和β是权重，权重通常通过元数据接收的。

在等式(10)中，首先计算像素饱和度S，并将其用作自适应色域映射的掩模(mask)。这确保近中性颜色不受影响，而高度饱和的颜色受到最大的影响。颜色的强度根据其饱和度和强度二者而被调整一定量α。同样，饱和度根据饱和度而被调整另一个量β。通过指定这两个方向之间的权重，可以控制颜色体积映射策略，从而提高颜色精度并减少输出图像中的颜色伪像。最大的调整被应用于亮的饱和颜色。在一实施例中，这些权重的典型值在5和15之间。在一实施例中，等式(10)还可以包括剪辑操作，使得(1-S*α)和(1-S*β)的值从不为负数或零。

在另一实施例中，等式(10)可以被推广为

其中f_TS(S)和f_SS(S)表示S的非常通用的线性或非线性函数。例如，对于f_TS(S)＝(1-S*α)和f_SS(S)＝(1-S*β)，等式(10a)变为等式(10)。等式(10a)又可以在联合映射函数方面被进一步推广为

等式(10)和(10a)相比于(10b)的广义方法的优点是映射被表示为可分离的等式，这简化了处理要求。

细节保留

等式(4)的色调映射运算通常被称为全局色调映射运算，这是因为相同的等式被应用于整个图像或帧。在一实施例中，全局色调映射可以跟随有改进局部对比度的细节保留运算(125)。该步骤还恢复强度通道中的高频细节、由于色调映射操作引起的丢失。这种局部色调映射运算的示例在‘480专利和‘304申请中进行了描述。图4描绘了根据一实施例的细节保留的另一示例。给定输入I_o(302)、I_m(314)和源元数据(104)，处理(125)根据以下步骤生成滤波的强度图像I_mf(127)。

令W_MSE和W_MS表示可以从源元数据中提取的可调权重(例如，W_MS＝1，W_MSE＝4)。这些权重控制要应用的细节保留的量。如图4所示，令

D＝I_o-I_m， (11)

B＝F(D，H)， (12)

其中F(D,H)表示对图像D应用具有内核H的滤波器。在一示例实施例中，H包括σ＝2的可分离的5×11的高斯滤波器；然而，也可以应用替代的滤波器。

滤波器Hx和Hy是1-D边缘检测滤波器。在一实施例中，Hx和Hy的滤波器内核分别对应于[-1 0 1]和[-1 0 1]^T。因此，给定

在一些实施例中，钳位函数(420)也可以被应用于E以保证其值始终在0和1之间的范围内。例如，

E＝max(0，min(1，|Ex|+|Ey|)*W_MSE+(1-W_MS)))。

然后

I_mf＝I_o-B-E*(D-B) (14)

输出颜色转换

图5描绘了将映射的EDR信号V_M(其包括I_m、P_m、T_m或I_mf、P_m、T_m分量)从感知量化颜色空间(例如，IPT-PQ)转化回期望的颜色空间(例如，RGB或YCbCr)的颜色转换处理(135)的示例。该处理镜像输入颜色转换器(110)中的处理步骤，这些处理步骤现在以相反的顺序执行。如图5所示，颜色转换可以包括以下步骤：

a)步骤(505)：使用3×3IPT到LMS变换将映射的信号V_M从IPT-PQ空间转换到LMS-PQ空间。

b)步骤(510)：将LMS-PQ信号(507)从LMS-PQ空间转换到LMS空间。该步骤使用表1的等式进行计算。在一实施例中，可以使用三个1-D LUT来执行该步骤。

c)步骤(515)：将LMS信号(512)转换为目标显示器颜色(例如，RGB)(517)，这通常基于目标显示器的配置文件使用3×3的矩阵来执行。

d)步骤(520)：将显示器的EOTF(例如，伽马或PQ编码)应用于信号(517)以生成输出信号(522)。

e)步骤(525)：如果需要，应用额外的后处理(例如，颜色转换和颜色子采样)。

该步骤纯粹是色度的，这意味着参数是从测量值或已知的显示器规范中导出的，并且通常不需要调谐或主观修改。在阶段(520)之后，在目标显示器能力之外可能存在一些剩余的值。在这种情况下，推荐的做法是剪辑到显示器能力；然而，也可以尝试调整颜色体积映射权重(例如，α和β)以实现期望的输出。

如本发明人所理解的，所提出的显示管理流水线(100)提供了优于现有解决方案的许多明显的优点，包括：

·自适应色调映射

·自适应色域映射

·由于可调的色度相关权重，输出颜色精度更好

·计算更简单，但改进了细节保留

·基于目标显示观看环境(诸如环境光特性或观看者喜好)的自适应调整(例如对于亮度和对比度)。

示例计算机系统实现

本发明的实施例可以利用计算机系统、以电子电路和部件配置的系统、诸如微控制器之类的集成电路(IC)设备、现场可编程门阵列(FPGA)或其它可配置或可编程逻辑设备(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这样的系统、设备或部件中的一个或多个的装置来实现。计算机和/或IC可以操作、控制或执行与诸如本文所描述的那些的具有增强的动态范围的图像的显示和显示管理相关的指令。计算机和/或IC可以计算与本文所述的显示管理处理相关的各种参数或值中的任何一个。图像和视频实施例可以以硬件、软件、固件及其各种组合来实现。

本发明的某些实现方式包括执行软件指令的计算机处理器，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、代码转换器等中的一个或多个处理器可以通过在处理器可访问的程序存储器中执行软件指令来实现与如上所述的EDR图像的显示管理相关的方法。本发明也可以以程序产品的形式提供。程序产品可以包括承载一组计算机可读信号的任何非暂时性介质，该组计算机可读信号包括如下的指令：当该指令被数据处理器执行时，使数据处理器执行本发明的方法。根据本发明的程序产品可以是各种各样的形式。程序产品可以包括例如物理介质(诸如包括软盘的磁数据存储介质)、硬盘驱动器，包括CD ROM、DVD在内的光学数据存储介质、包括ROM、闪存RAM在内的电子数据存储介质等等。程序产品上的计算机可读信号可以可选地被压缩或加密。

除非另有说明，否则，在上面提到部件(例如软件模块、处理器、组件、设备、电路等)的地方，提到该部件(包括提到“装置”)应被解释为包括作为该部件的等同物的、执行所描述的部件的功能的(例如，功能上等同的)任何部件，包括在结构上不等同于所公开的结构、执行在本发明的所示出的示例实施例中的功能的部件。

等同物、扩展、替代品和杂项

因此，描述了与EDR图像的有效显示管理相关的示例实施例。在前面的描述中，已经参考可以依实现方式而变化的许多具体细节描述了本发明的实施例。因此，本发明是什么以及申请人意图作为本发明的唯一且排他的指示是发布权利要求的具体形式的、从本申请发布的权利要求书，包括任何后续补正。对于这些权利要求中包含的术语，本文中明确规定的任何定义应适用于权利要求中使用的这些术语的含义。因此，权利要求中未明确叙述的任何限制、要素、性质、特征、优点或属性均不应以任何方式限制这种权利要求的范围。因此，说明书和附图应被认为是说明性的而不是限制性的。

Claims

1.一种方法，包括：

访问第一颜色空间中的具有第一动态范围的输入图像(102)；

向输入图像应用颜色变换步骤(110)以确定感知量化的IPT(IPT-PQ)颜色空间中的第一输出图像(112)，其中该颜色变换步骤包括将非线性感知量化器函数应用于输入图像的函数；

向第一输出图像(112)应用颜色体积映射函数(115)以生成色调映射的输出图像，其中该颜色体积映射函数包括色调映射函数(310)、与色调映射函数的输出耦接的饱和度映射函数(320)、以及像素饱和度估计函数(330)；和

向色调映射的强度图像应用细节保留函数(125)以生成滤波的色调映射的强度图像(127)，其中该细节保留函数包括模糊滤波器和与模糊滤波器耦接的水平和垂直边缘检测滤波器，并且其中色调映射的输出图像具有与输入图像不同的动态范围。

2.根据权利要求1所述的方法，其中，应用颜色变换步骤(110)进一步包括：

从输入图像(102)去除任何非线性编码(220)以生成线性图像(222)；

将线性图像(222)转换成LMS颜色图像(227)；和

向LMS颜色图像应用非线性感知量化器(PQ)函数以生成第一输出图像(112)。

3.根据权利要求2所述的方法，其中，非线性感知量化器函数包括SMPTE ST 2084映射函数。

4.根据权利要求1所述的方法，其中，色调映射函数(310)被表示为参数化的反曲色调曲线函数，其中该函数的参数是基于源显示器和目标显示器的特性来确定的。

5.根据权利要求4所述的方法，其中，源显示器的特性包括源显示器的最小亮度值和最大亮度值。

6.根据权利要求4所述的方法，其中，目标显示器的特性包括目标显示器的最小亮度值和最大亮度值。

7.根据权利要求4所述的方法，其中，通过接收的源显示器元数据(104)来访问源显示器的特性。

8.根据权利要求4所述的方法，其中反曲色调曲线函数被表示为：

其中C₁、C₂、C₃、Slope和Rolloff是定义色调映射函数的参数的常数，并且对于输入I_o，I_m是相应的输出值。

9.根据权利要求4所述的方法，其中，基于亮度值和对比度值来进一步确定色调映射函数的参数以调整色调映射的输出图像的整体亮度和对比度。

10.根据权利要求1所述的方法，其中，像素饱和度估计函数(330)计算作为第一输出图像的色度分量的像素值(P,T)的平方和的饱和度度量(S)。

11.根据权利要求1所述的方法，其中，饱和度映射函数(f_SM)被表示为：

f_SM(I_o)＝I_m-I_o+1

其中I_m表示色调映射函数的输出，I_o表示第一输出图像的强度。

12.根据权利要求1所述的方法，其中，应用颜色体积映射函数包括计算：

I_m＝f_T(I_o)*(1-S*α),

P_m＝P*f_SM(I_o)*(1-S*β),

T_m＝T*f_SM(I_o)*(1-S*β),

其中S表示像素饱和度估计函数的输出，α和β表示输入权重，f_T(I_o)表示色调映射函数，f_SM(I_o)表示饱和度映射函数，I_o表示第一输出图像的强度像素值，P和T表示第一输出图像的色度分量的像素值，I_m、P_m和T_m表示色调映射的输出图像的颜色分量的像素值。

13.根据权利要求1所述的方法，其中，应用细节保留函数进一步包括计算：

D＝I_o-I_m,

B＝F(D，H),

Ex＝F(B，Hx),

Ey＝F(B，Hy),

E＝(|Ex|+|Ey|)*W_MSE+(1-W_MS),

I_mf＝I_o-B-E*(D-B)

其中F(D,H)表示向图像D应用具有内核H的滤波器，I_o表示第一输出图像(302)的强度像素值，I_m表示色调映射的强度图像，I_mf表示滤波的色调映射的强度图像，B表示模糊滤波器的输出，Ex表示水平边缘检测滤波器的输出，Ey表示垂直边缘检测滤波器的输出，W_MSE和W_MS是权重。

14.根据权利要求13所述的方法，其中，E输出值被进一步钳位成介于0和1之间。

15.根据权利要求13所述的方法，其中，内核H包括标准差等于2的5×11的高斯滤波器。

16.根据权利要求13所述的方法，其中，内核H包括低通滤波器。

17.根据权利要求12所述的方法，其中，(1-S*α)和(1-S*β)的值被钳位成总是大于零。

18.一种包括处理器并被配置为执行根据权利要求1-17中的任一项所述的方法的装置。

19.一种非暂时性计算机可读存储介质，存储有用于执行根据权利要求1-17中的任一项所述的方法的计算机可执行指令。