CN105009580A

CN105009580A - 高动态范围视频的显示管理

Info

Publication number: CN105009580A
Application number: CN201480009785.7A
Authority: CN
Inventors: R·阿特肯斯; T·孔克尔; T·贝尔; 陈涛
Original assignee: Dolby Laboratories Licensing Corp
Current assignee: Dolby Laboratories Licensing Corp
Priority date: 2013-02-21
Filing date: 2014-02-13
Publication date: 2015-10-28
Anticipated expiration: 2034-02-13
Also published as: WO2014130343A2; KR20150120993A; JP6367839B2; MX346011B; IN2015KN02510A; RU2015134416A; MX2015010845A; CN105009580B; EP2959682A2; JP2016514395A; ZA201505647B; WO2014130343A3; BR112015020009B1; KR102157032B1; US10540920B2; EP2959682B1; HK1211156A1; US20160005349A1; ES2708954T3; BR112015020009A2

Abstract

显示管理处理器接收将被显示在目标显示器上的具有增强动态范围的输入图像，目标显示器具有与基准显示器不同的动态范围。输入图像首先被变换为经感知校正的IPT颜色空间。非线性映射函数通过将输入信号的强度从基准动态范围映射到目标动态范围来生成第一色调映射信号。第一色调映射信号的强度(I)分量被锐化以保留细节，并且颜色(P和T)分量的饱和度被调节以生成第二色调映射输出图像。色域映射函数被应用于第二色调映射输出图像以生成适合显示到目标显示器上的图像。显示管理流水线也可适用于根据专门定义的显示模式来调节显示图像的强度和颜色分量。

Description

高动态范围视频的显示管理

相关申请的交叉引用

本申请要求在2013年2月21日提交的美国临时专利申请第61/767,380号以及在2013年4月9日提交的美国临时专利申请第61/810,104号的优先权，其通过引用而被整体结合于此。

技术领域

本发明一般地涉及图像。更具体地说，本发明的实施例涉及对具有高或者增强动态范围的图像的显示管理处理。

背景技术

这里所使用的术语“动态范围”(DR)可以涉及人类视觉系统(HVS)对图像中例如从最暗的暗部(黑色)到最亮的亮部(白色)的强度(例如，亮度(luminance,luma))范围进行感知的能力。从这个意义上讲，DR涉及“与场景相关”的强度。DR还可涉及显示设备适当地或近似地呈现特定宽度的强度范围的能力。从这个意义上讲，DR涉及“与显示器相关”的强度。除非在这里的描述中的任何一点处明确地指出特定的意义具有特定重要性，否则应推断该术语可以(例如，互换地)用在任意一种意义中。

这里所使用的术语高动态范围(HDR)涉及跨越人类视觉系统(HVS)的某14-15个数量级的DR宽度。例如，具有基本正常视力的适应良好的人(例如，在统计学意义、计量生物学意义或眼科学意义中的一个或多个上)具有跨越约15个数量级的强度范围。适应的人可感知少到只有极少数光子的微弱光源。然而，这些同样的人可感知沙漠、海或雪中正午太阳的近乎刺痛的耀眼强度(或甚至看一下太阳，然而只是短暂地看一下，以防止伤害)。不过这个跨度对“适应的”人－例如其HVS具有进行重置和调节的时间段的那些人－是可用的。

相比之下，较之HDR，人类可同时感知强度范围中的扩展宽度的DR可在一定程度上缩短。这里所使用的术语增强动态范围(EDR)或视觉动态范围(VDR)可单独地或互换地涉及可由HVS同时感知的DR。这里所使用的EDR可涉及跨越5到6个数量级的DR。因此，尽管与真实场景相关的HDR可能在一定程度上变窄，但EDR表示较宽的DR宽度。

实际上，图像包括一个或多个颜色分量(例如，亮度Y和色度Cb和Cr)，其中每一个颜色分量由每像素N位的精度表示(例如，N＝8)。N≤8的图像(例如，彩色24位JPEG图像)被看作标准动态范围的图像，而N>8的图像可被看作增强动态范围的图像。EDR和HDR图像也可以利用诸如由工业光魔开发的OpenEXR文件格式之类的高精度(例如，16位)浮点格式而被存储和分发。

直至最近，显示器已经具有比HDR明显更窄的DR。使用典型阴极射线管(CRT)、具有恒定荧光白色背光照明的液晶显示器(LCD)或者等离子屏幕技术的电视(TV)和计算机监视装置在它们的DR呈现能力上可被约束为约三个数量级。因此这种传统的显示器特征是低动态范围(LDR)，关于HDR或EDR还称作标准动态范围(SDR)。

多数消费级桌面显示器支持200至300cd/m²或者说尼特的亮度。多数消费级HDTV的范围从300至1000cd/m²。随着EDR内容的可用性由于捕捉设备(例如，摄像机)和EDR显示器(例如，来自杜比的PRM-4200专业基准监视器)两者的进步而增长，EDR内容可以在支持多种动态范围(例如，从1,000尼特到5,000尼特或者更多)的EDR显示器上被进行颜色分级。类似地，EDR内容可以在具有与用来对原始内容进行颜色分级的显示器不同的动态范围的SDR显示器和EDR显示器两者上被显示。如发明人在这里认识到的，到HDR显示器上的EDR图像的显示管理的改进技术对于后向兼容性和优越的沉浸式体验两者而言是期望的。

在该部分中描述的方法是能够探求的方法，但并不一定是先前已经设想或探求的方法。因此，除非另有指示，否则不应认为在该部分中描述的方法中的任何一种仅仅因包括在该部分中而适格现有技术。类似地，相对于一个或多个方法标识的问题不应基于该部分而被假定在任何现有技术中已经被认识到，除非另有指示。

附图说明

在附图中通过示例的方式而不是限制的方式示出本发明实施例，并且其中，相似标号指代类似元件，并且其中：

图1A-图1C示出了根据本发明实施例的EDR图像的显示管理的示例处理；

图2示出了根据本发明实施例的用于将输入EDR数据从输入RGB颜色空间转换为IPT-PQ空间的示例处理；

图3示出了根据本发明实施例的EDR图像的非线性动态范围映射的示例；

图4示出了根据本发明实施例的色调映射的IPT-PQ图像中的P和T颜色分量的饱和度调节的示例处理；

图5示出了根据本发明的可能实施例的色度重映射的示例映射功能；并且

图6示出了根据本发明实施例的多尺度细节保留的示例实施方式。

具体实施方式

增强动态范围(EDR)图像的高效显示管理(例如，色调(tone)和色域(gamut)映射)在这里被描述。在以下描述中，为了说明目的，阐述大量具体细节以提供本发明的透彻理解。然而，清楚的是，在没有这些具体细节的情况下可以实践本发明。在其它情况下，不详尽地描述公知结构和设备，以避免不必要地使本发明封闭、模糊或混乱。

概览

在这里描述的示例实施例涉及EDR图像的高效显示管理。显示管理处理器接收将被显示在目标显示器上的具有增强动态范围的输入图像，目标显示器具有与基准显示器不同的动态范围。输入图像首先被从输入颜色空间(例如，RGB)变换为经感知校正的IPT颜色空间(IPT-PQ)。非线性映射函数通过将输入信号的强度从基准动态范围映射到目标动态范围来生成第一色调映射信号。第一色调映射信号的强度(I)分量被锐化以利用反锐化掩模来保留细节，并且颜色(P和T)分量的饱和度被适当地调节以生成第二色调映射输出图像。色域映射函数可被应用于第二色调映射输出图像以生成适合显示到目标显示器上的图像。显示管理流水线也可适用于根据专门定义的显示模式来调节显示图像的强度和颜色分量。

在输入图像被以其中色度分量处于比亮度分辨率更低的空间分辨率的颜色格式接收到的情况下，那么在示例实施例中，显示管理处理可被分为可以并行执行的两个路径。一个路径对所有颜色分量操作，但是以输入图像的色度分量的较低分辨率操作，而第二路径仅对亮度相关数据操作，但是以亮度分量的原始(完全)分辨率操作。

示例显示管理处理流水线

图1A示出了根据本发明的实施例的EDR图像(也称作HDR图像)的显示管理的示例处理。如在图1A中示出，视频处理器(例如，机顶盒、图像显示器或者其他合适的图像处理器)接收到EDR图像(102)和可选的关联元数据(104)和(106)。EDR图像(102)可以包括诸如EDR视频信号之类的一系列图像的帧的一部分或者完整帧。这里所使用的术语“元数据”指的是作为编码比特流的一部分传输并且辅助解码器呈现解码图像的任何辅助信息。这种元数据可以包括但不限于颜色空间或者色域信息、基准显示参数以及辅助信号参数，如在这里描述的那些。

接收到的EDR图像(102)可以是按照RGB颜色格式或者任何其他颜色空间的，诸如YCbCr、XYZ等等。接收到的图像可能已经在基准EDR监视器上被进行颜色分级，基准EDR监视器可能具有与目标显示监视器不同的动态范围和色域特性。这里所使用的术语“颜色分级”表示调节图像或视频的颜色以校正颜色伪像和/或匹配导演的意图的处理。

EDR输入(102)还可以包括与用来在节目制作期间对图像进行颜色分级的显示器有关的源显示元数据(104)。例如，这种元数据可以包括如由推荐规范ITU-R BT.1866(03/2011)定义的基准电光传递函数(EOTF)。EDR输入还可以包括附加的源显示和内容元数据(106)，诸如源或基准显示器的最大和最小明度(brightness)，数据的最大、最小和平均中间色调，以及颜色分级期间的环境光的强度。例如，基准监视器的元数据可以包括在制作中使用的以下示例参数：

源监视器最小明度，Smin＝0.005尼特；

源监视器最大明度，Smax＝4000尼特；

环境光，Samb＝10尼特；

伽马，Sgamma＝2.4；

颜色空间＝DCI P3，白点＝D65；

基准监视器的元数据通常仅需要被传输一次；然而，视频数据的元数据可以基于每个帧、基于每个场景或者每当存在变化而被传输。如果没有与源内容有关的元数据，那么在一些实施例中这种数据可以通过分析源视频内容而被提取。

IPT-PQ颜色空间

在优选实施例中，处理流水线在将被称作IPT-PQ颜色空间之物中被执行；然而，类似的处理步骤可以在诸如RGB、YCbCr、XYZ、CIE-Lab等其他颜色空间中被执行。如在以下论文中描述的IPT是人类视觉系统中的视锥细胞之间的颜色差异的模型：“Development andtesting of a color space(ipt)with improved hue uniformity”,by F.Ebner and M.D.Fairchild,in Proc.6th Color Imaging Conference:Color Science,Systems,and Applications,IS&T,Scottsdale,Arizona,Nov.1998,pp.8-13(将被称作Ebner论文)，其通过引用而被整体结合于此。在这个意义上，它就像YCbCr或者CIE-Lab颜色空间；然而，它在一些科学研究中已被显示为比这些空间更好的模拟人类视觉处理。像CIE-Lab一样，IPT是到某一基准亮度的规格化空间。在一实施例中，规格化是基于目标显示器的最大亮度的。

这里所使用的术语“PQ”指的是感知量化。人类视觉系统以极非线性的方式对增加的光级做出响应。人类看见激励的能力受那个激励的亮度、激励的尺寸、构成该激励的空间频率(ies)和在一个人正在观看该激励的具体时刻眼睛已经适应于的亮度级别影响。在优选实施例中，感知量化函数将线性输入灰阶映射到更好地匹配人类视觉系统中的对比度灵敏度阈值的输出灰阶。PQ映射函数的示例在2012年12月06日提交并且通过引用而被整体结合于此的J.S.Miller等人的题为“Perceptual luminance nonlinearity-based image data exchangeacross different display capabilities”的序号为PCT/US2012/068212(将被称作“212申请”)的PCT申请中得到描述，其中，在给定固定激励尺寸的情况下，对于每一个亮度级别(即，激励级别)，那个亮度级别处的最小可见对比度步阶是根据最灵敏的适应水平和最灵敏的空间频率(根据HVS模型)来选择的。与表示物理阴极射线管(CRT)设备的响应曲线并且巧合地可能具有与人类视觉系统做出响应的方式极粗略相似度的传统的伽马曲线相比，如由“212申请”确定的PQ曲线利用相对简单的函数模型来模仿人类视觉系统的真实视觉响应。

表格1描述了用于将数字视频代码值转换为显示器一点处的绝对线性亮度级别的感知曲线EOTF的计算。用于将绝对线性亮度转换为数字代码值的反向OETF计算也被包括。

表格1

示例性方程定义：

D＝感知曲线数字代码值，SDI-合法无符号整数，10或者12位

b＝数字信号表示中的每个分量的位数目，10或者12

V＝规格化感知曲线信号值，0≤V≤1

Y＝规格化亮度值，0≤Y≤1

L＝绝对亮度值，0≤L≤10,000cd/m²

示例性EOTF解码方程：

V = \frac{D - 4 \cdot 2^{b - 10}}{1015 \cdot 2^{b - 10}}

Y = {(\frac{m a x [(V^{1 / m} - c_{1}), 0]}{c_{2} - c_{3} V^{1 / m}})}^{1 / n} - - - (t 1)

L＝10,000·Y

示例性OETF编码方程：

Y = \frac{L}{10, 000}

V = {(\frac{c_{1} + c_{2} Y^{n}}{1 + c_{3} Y^{n}})}^{m} - - - (t 2)

D＝INT(1015·V·2^b-10)+4·2^b-10 (t3)

示例性常数

\begin{matrix} n = \frac{2610}{4096} \times \frac{1}{4} \approx 0.15930176 \\ m = \frac{2523}{4096} \times 128 = 78.84375 \\ c_{1} = c_{3} - c_{2} + 1 = \frac{3424}{4096} = 0.8359375 \\ c_{2} = \frac{2413}{4096} \times 32 = 18.8515625 \\ c_{3} = \frac{2392}{4096} \times 32 = 18.6875 \end{matrix}

注释：

1.运算符INT对于0到0.4999…范围内的小数部分返回0的值并且对于0.5到0.9999…范围内的小数部分返回+1，即其对高于0.5的小数进行上舍入。

2.所有常数都被定义为12位有理数的恰好多倍以避免舍入担忧。

3.R、G或B信号分量将被以与上述Y信号分量相同的方式计算。

图2更详细地示出了根据实施例的颜色转换步骤(110)的示例过程。如在图2中示出，在给定处于第一颜色空间(例如RGB)中的输入EDR信号(102)的情况下，颜色空间变换步骤(110)将其转化为感知校正IPT颜色空间(IPT-PQ)中的信号(112)。该颜色变换可以包括以下步骤：

a)(步骤210)将输入信号(102)的像素值(例如，0到4095)规格化为具有0到1之间的动态范围的像素值。

b)(步骤215)利用(如由元数据(104)提供的)EOTF来使从代码值到亮度的源显示的转换反向或者撤销。例如，如果输入信号是伽马编码的，则该步骤应用反向伽马函数。如果输入信号是根据“212PCT申请而被PQ编码的，则该步骤应用反向PQ函数。实际上，规格化步骤(210)和反向非线性编码(215)可以利用预先计算的1-D查找表(LUT)来执行。

c)(步骤220)将步骤b)的输出转换为LMS颜色空间。

d)(步骤225)根据Ebner论文，传统的LMS到IPT的颜色空间转换包括首先向LMS数据应用第一非线性幂函数并且随后应用线性变换矩阵。尽管可以将数据从LMS变换为IPT并且随后应用PQ函数以处于IPT-PQ域中，但是在优选实施例中，在步骤(225)中，LMS到IPT的非线性编码的传统幂函数被用PQ非线性编码代替。例如，非线性的L、M和S值被以与方程(t2)中的V信号相同的方式计算，其中Y信号被用线性的L、M或S分量值(222)代替。在一些实施例中，规格化版本的PQ编码可被使用，其中方程(t3)的步骤可被忽略并且输出PQ值的范围在0和1之间。

e)(步骤230)利用标准的LMS到IPT的线性变换，步骤230完成信号222到IPT颜色空间的转换。

f)(步骤235)在一些实施例中，IPT-PQ输出232的I分量也可被调节以对Helholtz-Kohraush效果负责，由此饱和颜色比具有相同亮度值的白颜色看起来更亮。在给定由值I_i、P_i和T_i表示的IPT空间中的像素的情况下，使则在一实施例中，步骤235的输出I’可被表示为

I′_i＝I_i+0.202CH_i (1)

输出IPT-PQ信号(112)的范围对于I分量是0到1(对应于在0-10000之间的动态范围)并且对于P和T分量是在-1和1之间。

在一些实施例中，完整的颜色变换流水线(例如，110)可以利用3D LUT来计算。

色调映射

在颜色变换步骤(110)之后，信号(112)的强度(I)需要被映射以适合在目标显示器的约束内。图3示出了根据实施例计算的非线性映射函数(320)的示例(例如，步骤115)。目标显示器可以是EDR显示器或者SDR显示器。如果目标显示器具有与用来对输入(102)进行处理(例如，颜色分级)的基准(或者源)制作显示器相同的特性，则不需要变换。这种一对一的线性映射在图3中由线性映射(310)示出；然而，如果目标显示器具有比基准制作显示器的动态范围更低或者更高的动态范围，则处理步骤(115)将把输入信号的动态范围映射到目标显示器的动态范围。

在图3中，让边界(305-1)和(305-2)表示输入信号(输入EDR)的最小和最大明度水平。还让(307-1)和(307-2)表示目标显示器的最小和最大明度水平。

假定到由函数(320)示出的基准显示器的动态范围映射的输入，非线性映射(例如，320)的输出在目标显示器的动态范围约束(例如，307-1和307-2)内适应地更好。示例非线性映射变换由A.Ballestad等人在2012年3月15日提交的题为“Method and apparatus for imagedata transformation”的序号为PCT/US2012/029189的PCT申请中得到描述，其通过引用而被整体结合于此。

根据Ballestad的‘189 PCT申请，非线性映射(115)的示例传递函数可被表示为

Y_{o u t} = {(\frac{C_{1} + C_{2} Y_{i n}^{n}}{1 + C_{3} Y_{i n}^{n}})}^{m}, - - - (2)

其中，C₁、C₂和C₃是常数，Y_in是颜色通道(例如，I通道)的输入值，Y_out是颜色通道的输出值，并且n和m是参数。该传递函数是参数化的反曲色调曲线函数的示例。参数C₁、C₂和C₃是基于三个锚点(例如，325-1、325-2和325-3)的定义来确定的，其继而是基于通常从输入元数据(106)中提取的基准(或者源)显示器的明度特性以及对执行显示管理处理的处理器而言通常是已知的目标显示器的明度特性来定义的。

在示例实施例中，步骤(120)可以计算方程(2)的色调曲线如下：

a)计算源到目标的比例，S2Tratio。

让Tmin和Tmax表示用PQ编码表示的目标显示器的最小和最大明度。还让Smin和Smax表示也是PQ编码的源显示器的最小和最大明度，然后，在一实施例中，S2Tratio可被定义为：

S 2 T r a t i o = \sqrt{\frac{T m a x - T m i n}{S m a x - S m i n}} . - - - (3)

不失一般性地，在一些实施例中，S2Tratio的值也可被约束为永不多于一；就是说，解码器可以认为基准显示器总是至少与目标显示器一样亮。注意到如果S2Tratio＝1，则步骤(115)可被跳过。

不失一般性地，让输入序列以三个变量为特征，这三个变量在示例实施例中由变量Crush、Clip和Mid表示，其分别表示输入序列的最低黑电平、最高白电平和平均灰阶。它们的值可以针对每一个帧、帧的一部分或者针对场景中的一系列帧而被计算。这些参数的值要么可以基于输入视频流而被计算，要么它们可以是输入元数据(106)的一部分。在一实施例中，这些参数是基于每一个场景来计算的。这里所使用的术语“场景”或者“镜头”表示可以共享相同的总体明度特性的一系列顺序捕捉帧。场景切换可以被手动地确定，或者它们也可以是输入元数据的一部分。例如，Cuts[]的阵列可以定义场景切换的帧数目。可替代地，每一个帧中的参数可以定义该帧是否表示场景切换的开始。

在给定这些值和S2Tratio值的情况下，在一实施例中，可以计算以下中间色调曲线调节参数：

表示中间色调对比度。它是根据S2Tratio值来调节的以保留对比度的外观。它可以被可视化为与接近中间锚点(352-2)的映射曲线(320)相切的直线的斜率。

是“暗”或者“亮”场景的指示。低Key(暗)场景可以被稍微更亮地映射并且高Key(亮)场景可以被稍微更暗地映射以分别保留暗和亮细节。

Shift＝Mid*(1-S2Tratio)*(2*Key)表示图像被变暗的量。

Rolloff(滚降)通常是常数(例如，1/3)并且表示中间色调和高光/阴影之间的转变的陡度。更小的值指示更急剧的转变并且将具有“软削波”的视觉效果。

让并且那么，在一实施例中，利用MATLAB符号，方程(2)的非线性映射的色调曲线参数可被如表格2所示计算。

表格2

x1＝Crush.^(Slope/Rolloff)；

x2＝Mid.^(Slope/Rolloff)；

x3＝Clip.^(Slope/Rolloff)；

y1＝Min.^(1/Rolloff)；

y2＝(Mid-Shift).^(1/Rolloff)；

y3＝Max.^(1/Rolloff)；

temp＝x3*y3*(x1-x2)+x2*y2*(x3-x1)+x1*y1*(x2-x3)；

c1＝(x2*x3*(y2-y3)*y1-x1*x3*(y1-y3)*y2+x1*x2*(y1-y2)*y3)/temp；

c2＝(-(x2*y2-x3*y3)*y1+(x1*y1-x3*y3)*y2-(x1*y1-x2*y2)*y3)/temp；

c3＝((x3-x2)*y1-(x3-x1)*y2+(x2-x1)*y3)/temp；

在给定上面的C₁、C₂和C₃参数的情况下，在一实施例中，强度映射步骤(115)的输出(117)(I_m)可被计算作为：

I_{m} = {(\frac{C_{1} + C_{2} I_{o}^{n}}{1 + C_{3} I_{o}^{n}})}^{Rolloff} \cdot - - - (4)

其中I_o表示EDR IPT-PQ信号(112)的I分量。

I分量的多尺度细节保留

方程(4)的色调映射运算符通常被称作全局色调映射运算符，这是因为相同的方程被应用于整个帧。在一实施例中，全局色调映射可以后跟提高局部对比度的多尺度色调映射运算符(125)。这种局部色调映射运算符的示例被Ballestad在‘189 PCT申请中描述。可替代地，在另一实施例中，强度映射步骤(115)的输出(117)可后跟反锐化掩模技术，诸如在以下文献中描述的技术：“Retaining localimage information in gamut mapping algorithms(在色域映射算法中保留局部图像信息)”，P.Zolliker和K.Simon，关于图像处理的IEEE会刊，Vol.16,No.3，2007年3月，第664-672页，通过引用而被结合于此。

让I_o表示输入信号(112)的强度，并且让I_m表示色调映射输出(117)的强度，那么根据一实施例，多尺度细节保留步骤(125)的输出Is(127)的强度可被表示为

I_S＝I_o-F((I_o-I_m)，H)， (5)

其中F(I,H)表示向图像I应用具有内核H的可分离滤波器。在一示例实施例中，H包括σ＝2的11x11高斯滤波器；然而，可替代的滤波器也可被应用。在一些实施例中，取决于输入信号的特性，该步骤也可被跳过。

在一些实施例中，方程(5)的细节保留处理可以通过使用用来减少包括宽银幕效果和字幕的高对比度边缘(edge)周围的潜在光晕的附加的边缘检测滤波器而被进一步增强。在一实施例中，让

I_B＝F((I_o-I_m)，H_B)， (6)

和

I_E＝F((I_o-I_m)，H_E)， (7)

分别表示具有内核H_B的低通滤波器(LPF)和具有内核H_E的边缘检测滤波器的输出。然后在给定可被约束在范围[0,1]内的I_E输出的情况下，多尺度细节保留步骤(125)可被表示为

I_S＝I_o-((1-I_E)I_B+I_E(I_O-I_m))。 (8)

与方程(5)相比，不论何时检测到强边缘，则I_S比低通滤波的信号更接近原始色调映射信号。

在一些实施例中，附加的权重(weight)也可被应用，如在

I_S＝I_o-(w₁(1-I_E)I_B+w₂I_E(I_o-I_m)), (9)

中，其中w1和w2是依赖实现方式的权重。在另一实施例中，在给定常数a和边缘检测阈值T_e的情况下，多尺度保留步骤(125)的输出可被表示为

例如，根据方程(10)，对于a＝1，如果边缘未被检测到，则Is输出根据方程(5)来确定；然而，当强边缘被检测到时，那么Is＝I_m。

在一实施例中，LPF滤波器是高斯滤波器并且边缘检测滤波器可以是具有通过采用LPF滤波器的一阶导数得出的系数的可分离滤波器。然而，任何边缘检测滤波器都可以被应用。通过应用可分离低通和边缘检测滤波器，在一实施例中，低通滤波、水平方向上的边缘检测和垂直方向上的边缘检测的操作可被并行应用以利用可以集成这些滤波器中的每一个的单独电路的并行架构(如在FPGA或者定制集成电路中)。这一示例实现方式在图6中被示出，其中：

输入D0’对应于I_o；

输入D0”对应于I_m；

输出D0”’对应于Is；

Filter0(滤波器0)对应于低通滤波器(LPF)；

Filter1(滤波器1)和Filter2(滤波器2)对应于水平和垂直边缘检测滤波器；

ABS()表示绝对值函数；并且

MS_weight和MS_edge_weight是范围[0,1]中的可调节参数，(例如，MS_weight＝0.0并且MS_edge_weight＝1.0)。

对于给定位深N，让max_value表示最大值2^N-1。让dx和dy表示边缘滤波器Filter1和Filter2的输出，那么，在一实施例中，alpha的值可被计算为：

dx＝dx÷max_value

dy＝dy÷max_value

alpha＝MAX(0,MIN(1,(ABS(dx)+ABS(dy))*ms_edge_weight+(ms_weight)))

然后，输出可被计算为：

d0[x,y]＝D0’[x,y]-d[x,y]*alpha-v[x,y]*(1.0–alpha)

D0”’[x,y]＝CLIP3(0,max_value,d0),

其中d[x,y]表示差异图像I_o-I_m，v[x,y]表示LPF(例如，I_B)的输出，并且CLIP3(a,b,x)函数表示x的值被限制在下限值a和上限值b之间。

饱和度调节

在IPT信号中，P和T只是与强度I相比的颜色差异的相对强度。因为步骤(115)和(125)已经修改了I颜色分量，因此P和T颜色分量需要被调节以保持色相和饱和度。这种处理(130)的示例在图4中被示出。

如在图4中示出，用来提高色彩度和饱和度的参数可以基于IPT-PQ空间(112)中的原始输入和色调映射后的输出(127)来计算。这些参数是在每一个像素级别上计算的并且相同的缩放器(Scaler)(S)被应用于P和T颜色分量两者。在示例实施例中，让色彩度提高利用线性映射函数来确定

CEDR＝k₁I_o+k₂, (11)

CMapped＝k₁I_S+k₂,

其中k₁和k₂是基于心理物理数据的常数。例如，在一实施例中，k₁＝0.5并且k₂＝1.0。在方程(6)中，CEDR(412)表示步骤(410-1)的输出并且CMapped(414)表示步骤(410-2)的输出。然后饱和度调节缩放器(422)可被确定为

S = \frac{I_{S} * C E D R}{I_{o} * C M a p p e d} . - - - (12)

在给定信号(112)的S和原始P_o和T_o颜色分量的情况下，色调映射后的输出(132)的重新饱和的P_S和T_S分量可被计算为

P_S＝P_o*S，和 (13)

T_S＝T_o*S。

在一些实施例中，基于原始色调映射后的信号(117)(I_m)而非锐化信号(127)(I_S)来确定色彩度提高CMapped可以是有益的，那么CMapped＝k₁I_m+k₂并且

S = \frac{I_{m} * C E D R}{I_{o} * C M a p p e d} . - - - (14)

在一个可替代的实施例中，饱和度调节步骤可以是颜色变换步骤(110)的一部分。在一示例实施例中，在由方程(1)示出的对Helholtz-Kohraush效果(235)的校正之后，可以应用以下色度缩放：

S = \frac{1}{I_{i}^{'}} + 0.5, - - - (15)

P_i＝P_iS, (16)

T_I＝T_iS。 (17)

色域映射器3D LUT

色调映射和饱和度提高处理步骤可以导致目标显示色域之外的颜色。3D色域查找表(LUT)(140)可被计算并被应用于视频信号(132)以调节色域。作为色域校正(135)的一部分，该信号也可以被变换回另一个颜色空间(例如，RGB)，并且可被伽马校正以生成用于在目标显示器上显示和/或其他后期处理的最终EDR信号(145)。

亮度和颜色调节

在某些实施例中，可能希望调节(例如，提高)输入信号的在认为代表导演的原始意图的那些值之外的亮度或者色度值。例如，许多消费型电视包括诸如“鲜艳”、“体育”或“影院”之类的具有增强用户对特定内容的体验的预设显示参数集的图像模式。在一实施例中，亮度提高参数可被设置为例如早先讨论的Slope、Shift、Min和Shift参数的中间色调曲线调节参数的函数。

让Slope_Pref＝Shift_Pref＝Min_Pref＝Max_Pref＝1表示当不需要亮度提高时的缺省亮度提高参数。如果信号的提高或变更是希望的，则那四个参数可以被调节。例如而非限制，在一实施例中，那些值可被设置为

Slope_Pref＝0.8,

Shift_Pref＝0.005,

Min_Pref＝0.0001,

Max_Pref＝1.0。

然后，用于计算方程(4)的色调曲线参数(120)的相对应的Slope、Shift、Min和Shift参数被调节如下：

Slope＝Slope*Slope_Pref,

Shift＝Shift*Shift_Pref,

Min＝Min*Min_Pref,并且

Max＝Max/Max_Pref。

将这些调节应用于Min、Max、Slope和Shift改变了原始的映射范围。因此，为了使映射范围回到原始的那个(例如EDR min/max和显示min/max，如根据显示和内容元数据(106)定义的)，以下方程在方程(4)中的I_m已被计算之后被执行。

I_{m} = (\frac{I_{m} - M i n}{M a x - M i n}) \cdot (M a x \cdot {Max}_{\Pr e f} - \frac{M i n}{{Min}_{\Pr e f}}) + \frac{M i n}{{Min}_{\Pr e f}} . - - - (18)

色度也可被调节。在给定来自方程(8)的P_S和T_S输出(例如，信号(132))的情况下，(P_S，T_S)颜色分量可以利用标准的欧几里德到极变换而被变换为(色度，色相)值。然后可以通过应用线性或者非线性映射函数来调节色度(C_in)(饱和度，色彩度)值。这种映射函数的示例在图5中被示出。

在没有限制的情况下，图5示出了色度映射函数的三个示例实施例。让C_out＝f(C_in)表示色度调节输入输出函数。在第一实施例(505)中

C_out＝C_in，

因而色度调节不被执行。在第二实施例(510)中，

C_{o u t} = C_{i n}^{γ},

其中γ是常数。最后，在第三实施例(515)中，色度可被表示为通过样条(spline)或反曲状的输入输出关系描述的非线性函数的输出。

在一些实施例中，色度映射函数可被调制为色相的函数。在这种实施例中，某些色度区域(例如，天空、草或者皮肤色调)可被与其他不同地对待。在一些实施例中，色度映射函数也可被调制为强度(I)的函数。在一些实施例中，色度值也可被减小以产生特殊效果(例如，褐色或者旧电影感觉)的欠饱和图像。

在色度调节之后，经变换的(色度，色相)值利用标准的极到欧几里德变换而被转换回(P,T)值，并且显示管理处理的剩余部分继续。在一些实施例中，亮度和色度调节可以被预先计算并且可替代地与显示管理流水线的其他3D LUT结合。

调节亮度和色度参数强烈依赖于目标显示器的能力和显示特性。在一些实施例中，机顶盒或者显示管理(DM)处理器可以经由诸如TV的EDID(扩展显示标识数据)之类的辅助信息来获得目标TV制造商和型号。该信息可以被用来利用本地或远程数据库(例如，经由因特网或其他上行链路连接)查找显示器的能力，并且从而提供目标显示器的预先计算和优化的提高参数。可替代地，如果具体信息无法被获得，则机顶盒可以向用户提供可替代显示模式的选择并且允许用户选择最优选的模式。

在一些实施例中，当优化的3D LUT对目标显示器的EDR显示管理不可用时，机顶盒(STB)可以应用在此描述的方法以基于可以预先存储在STB中的参数函数集和目标显示器参数来计算新的LUT。当连接到新TV时，用户在新LUT被计算出之前可以等待几秒；然而，结果可被存储在设备存储器中以供稍后重新使用。

具有子采样颜色的信号的色调映射

在一些实施例中，可以以子采样色度格式(例如，YCbCr 4:2:0)接收到EDR信号(102)。另外，输出EDR RGB信号(145)也可以需要被转换为与RGB 4:4:4不同的显示特定格式(例如，YCbCr4:2:0)。虽然100A(图1A)的显示管理处理可以被容易地修改以适应对全分辨率输入和输出(例如，对RGB到IPT-PQ步骤(110)之前的信号(102)，或者对RGB信号(145))的预处理或后期处理颜色变换、颜色上采样或者下采样，但是对降低分辨率的信号执行显示管理操作中的一些可以是更加计算高效的。这种实施例的示例接下来被讨论。

图1B示出了根据本发明的一个可替代实施例的EDR图像的显示管理的示例处理(100B)。在没有限制的情况下，在一示例中，让接收到的EDR信号(102)是YCbCr 4:2:0信号并且让期望输出(160)是伽马编码的EDR YCbCr 4:2:0信号。类似的处理也可被应用于具有子采样色度的其他颜色格式，诸如YCbCr 4:2:2等。

如在100B中示出，输入(102)的处理可被分为两个单独路径；全(亮度)分辨率的Y分量(102Y)的处理，以及色度分辨率(例如，4:2:0信号的1/4分辨率)的RGB信号(107)的处理。颜色转换器(105)对输入Y进行下采样并且然后将经下采样的Y和原始的CbCr输入分量转换为具有与原始色度分辨率相等的空间分辨率的RGB(4:4:4)信号。颜色转换器(110B)将全分辨率(102Y)信号转化为感知量化(PQ)信号(112B)。如早先讨论的，在RGB到IPT-PQ处理步骤(100)(见图2)中，(102)的输入Y分量在向Y分量应用PQ函数之前也可以被伽马线性化和规格化(例如，到(0,1)范围内)。

在给定新信号(107)和(112B)的情况下，除了现在在饱和和调节步骤(130)之后应用多尺度细节保留步骤(125)之外，对信号(107)的处理如在(100A)中一样继续进行。因为信号(132)现在是原始信号(102)的1/4分辨率，因此附加的上采样步骤(150)将色域映射器(135)的输出上采样为全分辨率信号(152)，全分辨率信号(152)被用作多尺度细节保留步骤(125)的色调映射(I_m)输入。信号(112B)正被用作原始信号I_o(见方程(5)-(10))。注意到色域映射处理(135)可以直接生成(Y-PQ)CbCr(4:4:4)颜色空间中的信号。输出EDR(160)是YCbCr(4:2:0)格式的并且包括两个信号：由色域映射器(135)计算出的色度分量(137-CbCr)加上亮度信号(157)。亮度信号(157)可以通过对多尺度细节保留处理(127)的输出进行伽马校正(155)来生成。PQ解码和伽马编码(155)可以使用目标显示器(未示出)的EOTF参数(152)(例如，伽马、Min和Max)。

图1C示出了使多尺度和亮度下采样操作并行化以进一步提高像素流水线效率并且降低存储器要求的一个可替代实施例。在该示例中，全分辨率(Y)流水线以全分辨率操作但是需要更少的每像素操作。相比之下，RGB 4:4:4流水线具有更多的每像素操作但是以原始亮度像素分辨率的1/4操作。图1C更服从并行硬件实现方式。

与(100B)相比，(100C)向颜色转换器(110B)的输出(I_o112B)添加了附加的强度映射步骤(115B)；然而，其消除了对(100B)中的上采样处理(150)的需要。强度映射步骤(115B)可以使用在步骤120中计算出的色调曲线参数。在一些实施例(未示出)中，强度映射(115B)的输入可以是信号(102Y)而不是信号(112B)。

示例计算机系统实现

可以利用计算机系统、电子电路和部件中配置的系统、集成电路(IC)设备(例如微控制器、现场可编程门阵列(FPGA))或另一可配置或可编程的逻辑器件(PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)和/或包括这些系统、设备或部件中的一个或多个的装置来实现本发明实施例。计算机和/或IC可以执行、控制或运行与诸如在此描述的具有增强动态范围的图像的显示管理和显示有关的指令。计算机和/或IC可以计算与在此描述的显示管理处理有关的各种参数或值中的任一个。可以在硬件、软件、固件和其各种组合中实现图像和视频实施例。

本发明的特定实现方式包括执行使得处理器执行本发明的方法的软件指令的计算机处理器。例如，显示器、编码器、机顶盒、译码器等中的一个或多个处理器可以通过执行处理器可存取的程序存储器中的软件指令来实现与如上所述的EDR图像的显示管理有关的方法。还以程序产品的形式提供本发明。程序产品可以包括承载包括指令的计算机可读信号集合的任何非暂时介质，所述指令当由数据处理器执行时使得数据处理器执行本发明的方法。根据本发明的程序产品可以是各种形式中的任一个。程序产品可以包括例如物理介质，诸如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光数据存储介质、包括ROM、闪RAM等的电子数据存储介质，等等。可以可选地压缩或加密程序产品上的计算机可读信号。

在以上引述部件(例如软件模块、处理器、组件、设备、电路等)的情况下，除非另外指示，对该部件的提及(包括对“手段”的提及)应理解为作为该部件的等同物包括执行所描述的部件的功能(例如功能上等同)的任何部件，包括结构上不等同于执行本发明所示示例实施例中的功能的所公开的结构的部件。

等同物、扩展、替换和杂项

因此描述了与EDR图像的高效显示管理有关的示例实施例。在前面的说明书中，已经参照可以根据实施方式而变化的大量具体细节描述了本发明实施例。因此，本发明的唯一和排他的指示以及申请人意图认为是本发明的是以发出权利要求的包括任何后续校正的特定形式从本申请发出的权利要求。对于这些权利要求中包含的术语的在此明确地阐述的任何定义应掌控权利要求中所使用的这些术语的意义。因此，权利要求中未明确地陈述的限制、元件、性质、特征、优点和属性不应以任何方式限制该权利要求的范围。相应地，说明书和附图被看作是说明性的而不是限制性的。

Claims

1.一种利用处理器对图像进行显示管理的方法，该方法包括：

访问具有第一增强动态范围(EDR)的第一颜色空间中的输入图像(102)；

向输入图像应用颜色变换步骤(110)以确定在感知校正的IPT颜色空间(IPT-PQ)中的第一输出图像(112)，其中从第一颜色空间到IPT-PQ空间的颜色变换至少部分地基于向输入图像的函数应用非线性感知量化器(PQ)函数；

向第一输出图像(112)的强度(I)分量应用非线性色调映射函数(115)以确定具有第二动态范围的第一色调映射图像(117)的强度分量，第二动态范围不同于第一动态范围；

响应于第一输出图像(112)和第一色调映射图像(117)的强度分量而应用细节保留函数(125)以生成第二输出图像(127)的强度分量；

向第二输出图像(127)的颜色(P，T)分量应用饱和度调节函数(130)以生成第二色调映射图像(132)的颜色分量，其中饱和度调节函数是由第一输出图像(112)的强度分量和第二输出图像(127)或第一色调映射图像(117)的强度分量决定的；以及

向第二色调映射图像(132)应用色域映射函数(135)以生成第三输出图像(145)。

2.如权利要求1所述的方法，其中，第一颜色空间包括RGB颜色空间并且应用颜色变换步骤(110)还包括：

从输入信号(102)中除去任何非线性编码(215)以生成线性RGB信号(217)；

将线性RGB信号(217)转换为LMS颜色信号(222)；以及

向LMS颜色信号应用非线性感知量化器(PQ)函数和变换矩阵以生成IPT-PQ颜色空间信号(232)。

3.如权利要求2所述的方法，还包括调节IPT-PQ颜色信号(232)的强度(I)以生成调节后的IPT-PQ信号(112)，其中调节步骤至少部分地通过应用以下函数而被执行：

I′_i＝I_i+d*CH_i

其中d是常数，并且在给定IPT-PQ颜色信号(232)的I_i、P_i和T_i值的情况下，并且I′_i表示调节后的IPT-PQ信号(112)的强度值。

4.如权利要求1所述的方法，其中，非线性色调映射函数(115)被表示为参数化的反曲色调曲线函数，其中该函数的参数是基于源显示器和目标显示器的特性来确定的。

5.如权利要求4所述的方法，其中，源显示器的特性包括源显示器的最小明度值和最大明度值。

6.如权利要求4所述的方法，其中，目标显示器的特性包括目标显示器的最小明度值和最大明度值。

7.如权利要求4所述的方法，其中，源显示器的特性是通过接收到的源显示元数据(104)来访问的。

8.如权利要求4所述的方法，其中，反曲色调函数被表示为

I_{m} = {(\frac{C_{1} + C_{2} I_{o}^{n}}{1 + C_{3} I_{o}^{n}})}^{R o l l o f f}

其中C₁、C₂、C₃和Rolloff是定义色调映射函数的参数的常数，并且对于输入I_o，I_m是相对应的输出值。

9.如权利要求8所述的方法，其中，C₁、C₂和C₃常数至少部分地基于输入信号(102)的一个或多个灰度值特性而被确定。

10.如权利要求9所述的方法，其中，输入信号(102)的灰度值特性通过内容元数据(106)而被访问并且包括最小亮度值(Crush)、最大亮度值(Clip)和平均中间色调亮度值(Mid)。

11.如权利要求8所述的方法，其中，C₁、C₂和C₃常数至少部分地基于一个或多个中间色调曲线调节参数而被确定。

12.如权利要求1所述的方法，其中，应用锐化函数还包括计算

I_S＝I_o-F((I_o-I_m),H),

其中F(I,H)表示向图像I应用具有内核H的滤波器，I_o表示第一输出图像(112)的强度像素值，I_m表示第一色调映射输出图像(117)的强度像素值，并且I_S表示第二输出图像(127)的强度像素值。

13.如权利要求12所述的方法，其中，内核H包括具有等于2的标准偏差的11x11高斯滤波器。

14.如权利要求12所述的方法，其中，内核H包括低通滤波器。

15.如权利要求14所述的方法，还包括：

向I_o-I_m信号应用边缘检测滤波器以得出边缘输出图像；以及

响应于低通滤波器的输出和边缘输出图像二者而生成I_S信号。

16.如权利要求1所述的方法，其中，应用饱和度调节函数(130)包括按照缩放常数对第一输出信号(112)的颜色分量进行缩放，缩放常数是响应于第一输出图像(112)的强度像素值和第二输出图像(127)或第一色调映射图像(117)的强度像素值而被确定的。

17.如权利要求16所述的方法，其中，计算缩放常数(S)包括计算

S = \frac{I_{S} * C E D R}{I_{o} * C M a p p e d}

其中CEDR是作为第一输出信号(112)的强度(I_o)的线性函数而确定的变量，并且CMapped是作为第二输出信号(127)的强度(I_S)的线性函数而确定的变量。

18.如权利要求4所述的方法，其中，非线性色调映射函数的色调曲线参数被调节以提高第一色调映射图像的亮度的强度。

19.如权利要求18所述的方法，其中，提高亮度的强度还包括：

计算中间调节色调曲线参数的第一集合以确定没有亮度提高的色调映射函数的映射范围；

响应于期望的中间调节色调曲线参数的集合对中间调节色调曲线参数的第一集合进行缩放；

基于中间调节色调曲线参数的第二集合来确定色调映射函数的参数；

向第一输出信号的强度应用色调映射函数以确定中间色调映射信号；以及

调节中间色调映射信号的强度以确定第一色调映射信号。

20.如权利要求1所述的方法，还包括调节第二色调映射图像(132)的颜色分量，其中该调节步骤包括：

利用欧几里德到极坐标变换将第二色调映射图像的颜色像素值(P_S，T_S)转换为(色度，色相)像素值；

利用映射函数将(色度，色相)像素值映射到调节后的(色相，色度)值；以及

利用极到欧几里德坐标变换将调节后的(色相，色度)值转换为调节后的(P_S，T_S)颜色值。

21.一种利用处理器对图像进行显示管理的方法，该方法包括：

访问具有第一增强动态范围(EDR)的第一颜色空间(YCbCr)中的输入图像(102)，其中输入图像包括亮度空间分辨率的亮度分量和色度空间分辨率的一个或多个色度分量，其中色度空间分辨率低于亮度空间分辨率；

向输入图像应用一个或多个颜色变换步骤(107，110A)以确定具有与输入图像的色度空间分辨率相等的空间分辨率并且在感知校正的IPT颜色空间(IPT-PQ)中的第一输出图像(112A)，其中从第一颜色空间到IPT-PQ空间的颜色变换至少部分地基于向输入图像的函数应用非线性感知量化器(PQ)函数；

向第一输出图像(112A)的强度(I)分量应用非线性色调映射函数(115)以确定具有第二动态范围的第一色调映射图像(117)的强度分量，第二动态范围不同于第一动态范围；

向第一色调映射图像(117)的颜色(P，T)分量应用饱和度调节函数(130)以生成第二色调映射图像(132)的颜色分量，其中饱和度调节函数是由第一输出图像(112A)的强度分量和第一色调映射图像(117)的强度分量决定的；

向第二色调映射图像(132)应用色域映射函数(135)以生成第三输出图像；

向输入图像(102)的亮度分量(102Y)应用非线性感知量化器(PQ)函数以生成具有与输入信号的亮度空间分辨率相同的空间分辨率的第二输出图像；

响应于第三输出图像(137-YPQ)的强度分量和第二输出图像(112B)而应用细节保留函数(125)以生成第四输出图像(127)的强度分量；以及

响应于第三输出图像的色度分量和第四输出图像而生成最终输出图像。

22.如权利要求21所述的方法，还包括使第三输出图像的强度分量向上缩放以匹配第二输出图像(112B)的空间分辨率。

23.如权利要求21所述的方法，还包括：

向第二输出图像(112B)或者输入信号(102)的亮度分量(102Y)应用第二非线性色调映射函数(115B)以确定具有第二动态范围的第三色调映射图像(117B)的强度分量；以及

响应于第三色调映射图像(117B)的强度分量和第二输出图像(112B)而应用细节保留函数(125)以生成第四输出图像(127)的强度分量。

24.一种包括处理器并且被配置为执行如权利要求1-23所述的方法中的任一个的装置。

25.一种上面存储有用于执行根据权利要求1-23中任一项的方法的计算机可执行指令的非暂时计算机可读存储介质。