CN105744114A - 用于图像数据变换的方法和装置 - Google Patents

Abstract

本公开涉及用于图像数据变换的方法和装置。对图像数据进行变换以用于显示在目标显示器上。S形传递函数提供控制最小色调对比度的自由参数。可动态地调整该传递函数以适应变化的周围照明状况。可选择变换以便自动地以基本上保留图像数据中所体现的创作意图的方式改动图像数据以用于显示在目标显示器上。图像数据可以是视频数据。

Description

用于图像数据变换的方法和装置

本申请是申请号为201280013129.5、申请日为2012年3月15日、发明名称为“用于图像数据变换的方法和装置”的发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2011年3月15日提交的美国临时专利申请61/453,107和于2011年12月7日提交的美国临时专利申请No.61/567,784的优先权，出于所有目的这两篇专利申请的全部内容通过引用并入本文。

本申请还涉及通过引用并入本文的、于2012年3月1日提交的国际专利申请No.PCT/US2012/027267。

技术领域

本发明涉及显示和处理图像。本发明具体地涉及包含色调和/或色域映射的方法和装置。如本文所描述的方法和装置可用于在目标显示器上提供优质的图像，同时保留创作意图。本发明可以体现在例如电子显示器(诸如电视、计算机监视器、媒体播放器、能够视频的便携式电话和其它便携式设备)、专用显示器(诸如虚拟现实显示器、广告显示器等)、以及上游图像处理设备(诸如机顶盒、接入点等)中。

背景技术

本发明的总的领域中的专利公布包括以下专利公布：

US20010050757；

US20020075136；

US20020080245；

US20070127093；

US20080094515；

US20080170031；

US20080186707；

US20090201309；

US20090267876；

US20100007599；

US201000118008；

US7158673；

US6989859；

US5276779；和

JP2002092655。

视频作品或其它图像的创作者(例如，导演、色彩师等)可设置图像中的像素的色调和颜色，以使得该图像在被观看时具有与创作者的创作意图一致的期望外观。例如，创作者可能希望某些场景具有比其它场景更暗、更压抑的感觉。创作者可能希望场景中所描绘的某些特征突出或不那么显眼。调整图像中的像素的色调和颜色可包括对源视频数据执行颜色分级(或“颜色调解(colortiming)”)。可使用允许用户以各种方式改变视频数据的硬件/软件系统来执行颜色分级以实现期望外观。

现在可使用各种显示技术。例如，存在等离子体显示器、被各种类型的光源(诸如各种类型的LED、荧光灯或高强度白炽灯)从背面照射的LCD显示器、基于CRT的显示器、数字影院显示器等。特定显示器将显示器硬件与视频信号处理组件相组合，该视频信号处理组件接收视频信号并驱动显示器硬件以显示视频信号的视频内容。

就诸如以下的特征而言，不同显示器可有很大的差别：

显示器可再现的色域；

可实现的最大亮度；

对比率；

分辨率；

可接受的输入信号格式；

颜色深度；

白电平(whitelevel)；

黑电平(blacklevel)；

白点；

灰阶；

等。

因此，相同的图像内容在不同显示器上重放时可能显得不同。当在某些显示器上显示时与创作者的创作意图匹配的图像内容在其它显示器上被观看时可能以一种或多种方式背离创作者的创作意图。

当前的一些显示器可能在一个或多个方面在某一内容被创作时胜过现有技术的显示器。例如，与旧式显示器相比，新型显示器可以能够提供具有更明亮的高光、更大的对比度和/或更广的色域的图像。可能可取的是在不显著地背离正被观看的内容中所体现的创作意图的情况下利用这些改进的能力。

可能希望在老式显示器或具有较低能力的显示器上播放利用高性能显示器而被创作的视频内容。将希望的是提供用于改动在不同显示器上显示的视频和其它图像的外观以尽可能地保留图像数据中所体现的创作意图的方法和装置。

颜色和亮度的感知可受到周围状况的影响。观看者对于在影院状况(低周围照明)下呈现的视频或其它图像的感知明显不同于相同的视频或其它图像在显著的周围光的状况下被观看时的感知。此外，周围光的特性(诸如颜色温度)可影响观看者对视频内容的感知。将可取的是考虑内容的观看环境以尽可能地保留视频或其它图像中所体现的创作意图来显示这些视频或其它图像。

存在对于为图像(包括静态图像和/或视频图像)的观看者提供利用他们在其上观看这些图像的显示器的能力的观看体验的需要。还存在对于可用于调整图像数据以使得该图像数据中所编码的视频或其它图像内容在被播放时具有期望外观的装置和方法的需要。

发明内容

本发明具有多个方面。这些方面包括，但不限于，包含色域变换功能的装置；用于色域变换的方法、用于改动图像内容的显示以考虑周围照明状况的方法；包括当被数据处理器执行时使该数据处理器执行根据本发明的方法的计算机可读代码的程序产品。

一个非限制方面提供了包括像素坐标映射单元的装置，该像素坐标映射单元被配置为根据传递函数对图像数据进行变换。传递函数由多个锚点(anchorpoint)和自由参数表征。传递函数具有由该自由参数控制的中间范围斜率。锚点处的变换不受自由参数的影响。这样的装置对于例如对颜色分级的内容进行变换以用于显示在特定目标显示器上可以是有用的。

在一些实施例中，该装置包括或者从周围光传感器接收信号，被连接以从周围光传感器接收周围照明信号的电路被配置为至少部分地基于周围照明信号来控制锚点之一的坐标和自由参数中的一个或多个。

在一些实施例中，图像数据包括图像中的像素的像素值集合。像素值集合包括多个原色中的每一个的颜色值(例如，与红色、绿色和蓝色原色对应的值)。该装置包括多个像素坐标映射单元，每个像素坐标映射单元被连接以对这些颜色值中的对应一个颜色值进行变换。用于不同坐标映射单元中的传递函数的参数可以是相同的或不同的。通过适当地选择的不同参数，变换可执行颜色校正以及色域转化。

本发明的另一方面包括用于映射图像数据以用于显示在目标显示器上的方法。这些方法包括根据传递函数将图像数据的像素值变换为对应的经变换的像素值。传递函数由多个锚点和自由参数表征。传递函数具有由自由参数控制的中间范围斜率。与锚点对应的像素值的变换不受自由参数的影响。在一些实施例中，自动地改变自由参数和中间范围锚点的位置中的一个或多个以将周围照明和/或观看者的视觉系统的适配考虑在内。

另一方面包括用于通过将全局色调映射变换与局部多尺度色调映射操作相组合来映射图像数据以用于显示在目标显示器上的方法。

另一方面提供颜色操控装置。该装置可包括用于修改例如静态图像或视频图像的工作站。该装置可用于修改图像数据中的颜色值。该颜色操控装置包括用于源图像数据的第一存储器或输入以及用于修改后的图像数据的第二存储器或输出。像素坐标映射单元被连接以访问第一存储器或输入，并且被配置为根据由多个锚点和自由参数表征的传递函数对源图像数据进行变换。传递函数具有由自由参数控制的中间范围斜率，其中，锚点处的变换不受自由参数的影响，得到修改后的图像数据并且将修改后的图像数据提供给第二存储器或输出。用户输入被配置为从用户接受自由参数的值。显示器被连接以显示修改后的图像数据。用户可调整自由参数的值以获得显示器上所显示的图像的期望外观。

以下描述本发明的另外的方面和本发明的特定实施例的特征。

附图说明

附图示出了本发明的非限制实施例。

图1是视频分布流水线的示意性描绘。

图2显示根据本发明的示例实施例的装置。

图3示出示例传递函数。

图4是示出使用关于目标显示器的信息和输入的图像数据来确定定义传递函数的参数的适当值的方法的流程图。

图5是示出根据示例实施例的用于对图像数据进行处理的方法的流程图。

图6描绘了根据示例实施例的将全局色调映射算子与局部多尺度色调映射算子相组合的方法的流程图。

具体实施方式

在以下整个描述中，为了提供对本发明的更透彻的理解，对具体细节进行了阐述。然而，可以在没有这些细节的情况下实施本发明。在其它情况下，没有详细地示出或描述公知元件，以避免不必要地模糊本发明。因此，要从说明性、而非限制性的意义上来看待本说明书和附图。

图1示意性地示出视频分布流水线20。在编辑套件23处获取并编辑原始视频数据22，以提供原始视频作品24。色彩师(例如，通过合适的用户界面使用颜色调解站所提供的工具的人)在颜色调解站26处对原始视频作品中的色调和/或颜色进行调整，以实现经过颜色调解的视频作品27。颜色调解站26包括色彩师在其上观看视频作品的专业监视器30。通过使用颜色调解站26提供的工具和控制器，色彩师调整构成视频作品的图像的全部图像或一部分图像的色调和/或颜色，以实现当在显示器30上被观看时与色彩师的艺术意图匹配的总体外观。

如果经过颜色调解的视频作品27的所有观看者都在与显示器30相同的显示器上、在与色彩师所体验的那些周围状况相同的周围状况下观看视频作品，则除了人类对图像的感知的个体差异之外，这些观看者都将看到与色彩师的意图完全相同的视频作品(即，以忠实于色彩师的艺术意图的方式)。考虑到在使用中的显示器的范围非常广泛，期望观看者全都将具有相同的显示器或者甚至期望不同观看者将在其上观看视频作品的显示器将具有类似的特性(诸如最大明亮度、黑电平和色域)是不现实的。

本发明的一个方面提供了可自动地用于以接近地复制色彩师的观看体验的方式映射来自图像数据(诸如，举例来说，经过颜色调解的视频作品27)的色调和/或颜色以用于显示在特定目标显示器上的映射方法和装置。

在一些实施例中，这些映射方法和装置对于以下中的一个或多个进行直接控制：

-平均图像明亮度(改动点)；

-中间色调局部对比度；

-颜色饱和度；

-显示输入黑色的级别；和

-显示输入白色的级别。

这些参数影响观看体验。

图2示出根据本发明的示例实施例的装置40。在这个例子中，装置40具有输入42，输入42用于接收将显示在目标显示器41的屏幕44上以供观看者V观看的视频数据43。视频数据43可包括经过颜色调解的体现创作者意图的视频数据。装置40包括将视频数据43的像素值转化到目标显示器本地(native)的颜色空间中的颜色空间转化器46。在所示的示例实施例中，目标显示器41的本地颜色空间是RGB颜色空间，RGB颜色空间依照目标显示器31的原色的强度指定颜色。

颜色空间转化器46可包括例如将视频数据43中的像素值的矢量43乘以3×3矩阵以得到显示器41的本地颜色空间值(例如，RGB值)的矢量的矩阵乘法器。可考虑目标显示器41的原色和白点来指定传递矩阵。在一些实施例中，颜色空间转化器46可被配置为在不对峰值亮度进行缩放的情况下应用颜色空间变换矩阵。如以下所解释的，这可使随后用于图像处理操作的参数的选择更加直观。

在以下例子中，视频数据43中的像素值被表示在XYZ颜色空间中，并且颜色空间转化器46执行从XYZ颜色空间到正RGB值的转化。本发明不限于在XYZ颜色空间中呈现的颜色数据。视频数据43可在任何合适的颜色空间中呈现。

对于色域外(例如，不能使用显示器所使用的原色的任何可用组合再现的颜色)的像素值的组合的转化，可导致负的RGB值。颜色空间转化器46所产生的任何负的RGB值可被箝位至低的非负值。在替代方案中，可在转化之前将色域外的像素值映射到色域内的像素值(例如，根据视频数据43的颜色空间内的映射)。这可以例如由单独的映射单元或颜色空间转化器46的组件来执行。

在被颜色空间转化器46处理之后，视频数据43包括分别与目标显示器41的红色、绿色和蓝色(RGB)原色对应的值48R、48G和48B。

值48R、48G和48B均被映射单元50独立地映射到新值。示出了映射单元50R、50G和50B。每个映射单元将从颜色空间转化器46接收的对应的输入值映射到变换值。在所示的实施例中，变换值分别用48R’、48G’和48B’指示。

每个映射单元50根据传递函数55将它的输入值映射到输出值。有利的是，传递函数(一个或多个)55可由自由参数和多个固定点表征，这些固定点可被称为“锚点”，该自由参数调整传递函数在中间范围区域中的斜率。这个斜率对应于中间范围对比度。自由参数的调整提供了用于控制中间范围对比度的手段。传递函数在中间范围区域中可以是线性的或接近线性。

图3示出了示例传递函数。在图3中，在水平轴上指示输入值，在垂直轴上指示输出值。每个轴具有对数刻度。传递函数55由输出值的最大值56A、输出值的最小值56B和基本线性的中间色调区域56C表征。通过映射单元50A、50B和50C被应用于红色、蓝色和绿色通道信号的传递函数55R、55G和55B可以是相同的或不同的。映射单元50A、50B和50C可以是完全独立的，或者可共享硬件和/或软件组件。

在示例实施例中，传递函数55由下式给出：

$V^{\′}=\frac{C_1{C}_2{V}^n}{1+C_3{V}^n}---\left(1\right)$

其中，C₁、C₂和C₃是常数，V是颜色通道的输入值，V’是颜色通道的输出值，并且n是参数。式(1)的传递函数是参数化的S形色调曲线函数的例子。

在替代方案中可使用其他参数化的传递函数。在一些实施例中，传递函数包括对传递函数的以下中的一个或多个提供控制的参数：低端斜率、高端斜率、以及顶端和底端处的衰减(roll-off)的“尖锐度”。

一种用于在特定情况下创建式(1)中的参数的值的方法由图4的方法70示出。方法70使用关于目标显示器的信息和关于用于对输入视频数据进行颜色调解或核准(approving)的显示器(“颜色调解显示器”)的信息来确定式(1)的参数的合适值。块71识别曲线55上的三个亮度锚点。第一锚点57A具有分别等于颜色调解显示器和目标显示器的黑电平的水平坐标和垂直坐标。在一些实施例中，从输入信号推断出关于颜色调解显示器的信息。例如，可通过取得输入信号中的亮度通道的小百分位数(例如，0.1百分位数)来从输入信号推断颜色调解显示器的黑电平。目标显示器的黑电平是目标显示器的黑电平。

第二锚点57B的水平坐标为颜色调解显示器的白电平，并且其垂直坐标为目标显示器的白点。例如，可从输入信号推断颜色调解显示器的白点为输入信号中的任何颜色通道的最大值。

中间锚点57C的位置影响被显示的图像的总体明亮度(例如，图像的“基调(key)”)。中间色调锚点57C的适当选择有助于输入图像在目标显示器上被感知为适当地明亮。

点57C的水平位置可被以各种方式设置；这些方式包括以下方式：

·计算输入亮度的几何平均数；

·选择在颜色分级环境下将被感知为合适的中间值的固定值。例如，在一些实施例中，这个值可被设置为诸如10的水平。

点57C的垂直值可以基于与目标显示器的中间灰度对应的亮度级(luminancelevel)。例如，在可生成1cd/m²与400cd/m²之间的亮度值的显示器中，中间灰度约为20cd/m²(20cd/m²在对数上在1与400cd/m²之间的中间)。点57C的合适值因此可以是与中间灰度(在这个例子中，大约20cd/m²)对应的值。在颜色空间变换器46被配置为应用没有对于峰值亮度进行缩放的颜色空间变换矩阵的实施例中，值20将对应于中间灰度20cd/m²。

在一些实施例中，中间色调锚点57C被选择为使得对于传递函数的输入和输出这两者，中间色调锚点的坐标与白色锚点的坐标的比率相等、在所希望的因子内。

在一些实施例中，用于RGB坐标中的每一个的不同传递函数可用于提供使得视频数据的白点被变换为与目标观看环境和/或目标显示器的白点匹配的变换。实现这一点的一种方式是根据色度坐标(诸如，举例来说，CIEx、y色度坐标)表达输入视频数据的白点并且转换为由下式给出的经缩放的XYZ值：

$X=\frac{x}{y}---\left(2\right)$

Y＝1(3)

$Z=\frac{1-x-y}{y}---\left(4\right)$

随后可将这些XYZ值转换到目标显示器的RGB颜色空间以得到可被表示为(R,G,B)_wp,in的输入数据的白点。在源白点和目标白点相同的情况下，这两个白点的规范化RGB坐标应当为(111)。然后，可如下地将亮度锚值乘以白点值来获得用于红色、蓝色和绿色通道的锚点57A、57B、57C的坐标：

(R，G，B)_min，in＝Y_min，in(R，G，B)_wp.in(5)

(R，G，B)_max，in＝Y_max，in(R，G，B)_wp.in(6)

(R，G，B)_mid，in＝Y_mid，in(R，G，B)_wp.in(7)

(R，G，B)_min，out＝Y_min，out(R，G，B)_wp.out(8)

(R，G，B)_mid，out＝Y_mid，out(R，G，B)_wp.out(9)

(R，G，B)_max，out＝Y_max，out(R，G，B)_wp.out(10)

其中，下标“in”表示输入图像数据，下标“out”表示输出数据(即，被传递用于显示的数据)；(Y_max,in,Y_max,out)是未经调整的锚点57B的坐标；(Y_min,in,Y_min,out)是未经调整的锚点57A的坐标；(Y_mid,in,Y_mid,out)是未经调整的锚点57C的坐标；(R,G,B)_wp,out是目标显示器的白点的RGB坐标。

式(5)至(10)提供用于每个颜色通道的三个锚点的集合。例如，红色通道的锚点57A由(R_max,in,R_max,out)给出；红色通道的锚点57B由(R_min,in,R_min,out)给出；红色通道的锚点57C由(R_mid,in,R_mid,out)给出。在输入视频数据和目标显示器的白点不相同的情况下，锚点的集合将不同，这导致不同的用于每个颜色通道的传递函数。

可通过执行以下计算来从对应锚点的坐标获得具有式(1)所提供的形式的用于每个颜色通道的传递函数：

$\left(\begin{array}{c}{c}_1\\ c_2\\ c_3\end{array}\right)=\frac{1}{x_3{y}_3(x_1-x_2)+x_2{y}_2(x_3-x_1)+x_1{y}_1(x_2-x_3)}\left(\begin{array}{ccc}{x}_2{x}_3(y_2-y_3)& x_1{x}_3(y_3-y_1)& x_1{x}_2(y_1-y_2)\\ (x_3{y}_3-x_2{y}_2)& (x_1{y}_1-x_3{y}_3)& (x_2{y}_2-x_1{y}_1)\\ (x_3-x_2)& (x_1-x_3)& (x_2-x_1)\end{array}\right)\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right)---\left(11\right)$

其中，x₁、x₂和x₃由下式给出：

$\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\end{array}\right)=\left(\begin{array}{c}{V}_{\min ,{\mathrm{in}}^n}\\ V_{mid,{\mathrm{in}}^n}\\ V_{\max ,{\mathrm{in}}^n}\end{array}\right)---\left(12\right)$

并且y₁、y₂和y₃由下式给出：

$\left(\begin{array}{c}{y}_1\\ y_2\\ y_3\end{array}\right)=\left(\begin{array}{c}{V}_{\min ,out}\\ V_{mid,out}\\ V_{\max ,out}\end{array}\right)---\left(13\right)$

上述传递函数的一个特征是n保持为自由参数。这允许中间色调对比度被设置为任何所希望的水平。应当指出，如果中间色调锚点在输入范围和输出范围中不居中，则中间色调锚点处的双对数斜率将稍微不同于n的值。然而，可通过调整n的值来设置中间色调对比度。中间色调对比度参数n的良好的起始点为1。这个n值确保所映射的场景在目标显示器上和在原始场景中具有基本类似的中间范围局部对比度。

通过如以上所给出的传递函数，红色、绿色和蓝色通道中的每一个的显示线性亮度值可被如下表达：

$R_{out}=\frac{c_{1R}+c_{2R}{R}_{in}^n}{1+c_{3R}{R}_{in}^n}---\left(14\right)$

$G_{out}=\frac{c_{1G}+c_{2G}{G}_{in}^n}{1+c_{3G}{G}_{in}^n}---\left(15\right)$

$B_{out}=\frac{c_{1B}+c_{2B}{B}_{in}^{\mathrm{\π}}}{1+C_{3B}{B}_{in}^n}---\left(16\right)$

这些值可用于驱动目标显示器来显示图像。在一些实施例中，可在使用这些值驱动目标显示器之前针对目标显示器的对于线性输入值(例如，规范化的值)的响应对这些值进行校正。

在一些实施例中，使用以下关系来计算用于目标显示器的规范化的驱动值(R_norm,G_norm,B_norm)：

$R_{norm}=\frac{R_{out}-R_{out,\min }}{R_{out,\max }-R_{out,\min }}---\left(17\right)$

$G_{norm}=\frac{G_{out}-G_{out,\min }}{G_{out,max}-G_{out,\min }}---\left(18\right)$

$B_{norm}=\frac{B_{out}-B_{out,\min }}{B_{out,\max }-B_{out,\min }}---\left(19\right)$

可将规范化的值缩放到用于目标显示器的驱动信号的范围(例如，对于8位目标显示器，缩放到范围0-255)。

可选地，可通过提高颜色饱和度来增强图像颜色。这可以例如使用以下关系来进行：

$R^{\′}=\frac{{\mathrm{aR}}_{norm}+{\mathrm{bG}}_{norm}+{\mathrm{cB}}_{norm}}{a+b{\left(\frac{G_{norm}}{R_{norm}}\right)}^S+c{\left(\frac{B_{norm}}{R_{norm}}\right)}^S}---\left(20\right)$

$G^{\′}=R^{\′}{\left(\frac{G_{norm}}{R_{norm}}\right)}^S---\left(21\right)$

$B^{\′}=R^{\′}{\left(\frac{B_{norm}}{R_{norm}}\right)}^S---\left(22\right)$

可参照与逆颜色空间转化器46([X,Y,Z]^T＝M*[R,G,B])对应的逆变换矩阵M的元素来定义式(20)中的a、b和c的值，具体地，a可以由a＝M(2,1)给出，b可以由b＝M(2,2)给出，c可以由c＝M(2,3)给出。在式(20)、(21)和(22)中，S是自由参数。S的值大于1将使颜色饱和度提高。S的值小于1将使颜色饱和度降低(例如，将使颜色变得更加去饱和)。

在必要或需要的情况下，可对规范化的驱动值进行伽马校正。这可以例如根据以下关系来进行：

$R_{corrected}=R_{norm}^{1/\mathrm{\γ}}---\left(23\right)$

$G_{corrected}={G^{\′}}_{norm}^{1/\mathrm{\γ}}---\left(24\right)$

$B_{corrected}=B_{norm}^{1/\mathrm{\γ}}---\left(25\right)$

其中，γ是显示响应。γ在一些目标显示器中约为2.2。在重新使规范化的驱动值饱和的情况下，可对重新饱和的驱动值(R’、G’和B’)执行伽马校正。

在一些实施例中，重新使图像颜色饱和以至少大致地恢复由于色调压缩而损失的饱和度。在色调压缩在图像中的色调范围上不恒定的情况下，应用于不同色调的不同水平的色调压缩导致不同颜色被不同程度地去饱和。一般来讲，色调压缩量越大，去饱和量就越大。可用色调曲线的双对数斜率来量化色调压缩量。作为说明性例子，如图3中的曲线55所绘制的S形色调曲线函数的基本在基本线性的中间色调区域56C中的双对数斜率比它在最大值56A和最小值56B附近的双对数斜率陡峭。因此，与基本线性的中间色调区域56C相比，从输入(水平坐标)转到输出(垂直坐标)的色调压缩在值56A和56B附近更大。

应用全局重新饱和技术可在不考虑由色调压缩引起的去饱和量的情况下重新使所有像素饱和。一些实施例根据经变换的图像数据像素的色调压缩量来重新使这些变换的图像数据像素饱和。假定色调压缩量对应于色调曲线的双对数斜率，则可将对于输入值L_in的色调压缩量确定为传递函数L_out＝f(L_in)在输入值L_in处的导数。可通过设置L_in＝e^x和L_out＝e^y并且针对dy/dx进行求解来确定这个传递函数的双对数斜率，dy/dx表示双对数斜率。对于根据上式(1)的色调曲线，

y可被表达为：

y＝log(c₁+c₂e^nx)-log(1+c₃e^nx)(26)

并且色调曲线上的任何点处的双对数斜率c(L_in)可被计算为在L_in处y相对于x的导数：

$c\left(L_{in}\right)=\frac{dy}{dx}=\frac{{\mathrm{nL}}_{in}^n(c_2-c_1{c}_3)}{(c_1+c_2{L}_{in}^n)(1+c_3{L}_{in}^n)}---\left(27\right)$

对于颜色通道R、G和B，可如下地根据规范化的驱动值来确定重新饱和的驱动值(R_re-sat,G_re-sat,B_re-sat)：

$R_{re-sat}=R_{norm}{\left(\frac{C_{in}}{L_{in}}\right)}^{f\left(c\right)-c}---\left(28\right)$

$G_{re-sat}=G_{norm}{\left(\frac{C_{in}}{L_{in}}\right)}^{f\left(c\right)-c}---\left(29\right)$

$B_{re-sat}=B_{norm}{\left(\frac{C_{in}}{L_{in}}\right)}^{f\left(c\right)-c}---\left(30\right)$

其中，f(c)被给定为：

$f\left(c\right)=\frac{(1+k_1)c^{k_2}}{1+k_1{c}^{k_2}}---\left(31\right)$

并且k₁和k₂为常数。在一些实施例中，k₁＝1.6774。在一些实施例中，k₁＝1.677。在一些实施例中，k₁＝1.68。在一些实施例(包括但不限于，其中k₁＝1.6774，k₁＝1.677或k₁＝1.68的一些实施例)中，k₂＝0.9925。在一些实施例(包括但不限于其中k₁＝1.6774，k₁＝1.677或k₁＝1.68的一些实施例)中，k₂＝0.992。在一些实施例(包括但不限于，其中k₁＝1.6774，k₁＝1.677或k₁＝1.68的一些实施例)中，k₂＝0.99。将意识到，使用k₁和k₂的其他值可获得可接受的结果。还将意识到，可基于红色、绿色和蓝色通道中的每一个的显示线性亮度值(R_out、G_out和B_out)来计算重新饱和的驱动值R_re-sat、G_re-sat和B_re-sat。

将意识到，可以以无参数(自动)的方式实现上述用于色调压缩相关的重新饱和的技术。

图5是示出根据另一示例实施例的方法80的流程图。方法80结合有若干可选的步骤。在块81，方法80将图像数据转换到目标显示器的颜色空间中。在所示的例子中，目标显示器具有红色、绿色和蓝色原色，并且颜色空间是RGB颜色空间。块81可包括执行考虑了目标显示器的白点和原色的变换。在图像数据已经在目标显示器的本地颜色空间中的情况下，块81是可选的。

块82确定源和目标的色度白点。白点可以例如被表示为任何合适颜色空间中的色度坐标，并且被转换到目标显示器的本地颜色空间。

块83建立用于传递函数的初始黑电平锚点和白电平锚点。可基于源显示器的黑电平和白电平以及目标显示器的黑电平和白电平来设置初始锚点。

块84建立用于传递函数的初始中间色调锚点。可通过对源图像数据进行分析(例如，确定源图像数据的亮度的几何平均数)并确定目标显示器的特性(或者目标显示器的特性和目标显示器处的当前观看环境)来确定中间色调锚点。

块85基于在块82中确定的白点(应用例如式(5)至(10))来调整锚点。

块86使用由在块85中确定的经过调整的锚点所指定的传递函数来映射图像数据。

块87基于来自块86的映射的图像数据来计算目标显示器的驱动值。

可选的块88调整颜色饱和度(块88可以例如应用式(20)至(22)或(28)至(30))。

块89对驱动值进行伽马校正。

通过应用方法80而生成的驱动值可被用于驱动目标显示器以在目标显示器上显示图像，和/或可被存储或被发送以供以后在目标显示器上显示。

如本文所描述的装置和方法可用于针对特定的周围观看状况对目标显示器进行优化。可使上述一般类型的传递函数动态地偏移以适应周围照明的变化和所导致的变化的人类视觉系统(HVS)的适应性水平。目标显示器的理想的亮度中间点可以是周围光的函数。可基于周围照明状况来选择中间色调锚点的垂直分量。

在一些实施例中，部分地基于周围照明或所估计的观看者的眼睛的适应性(该适应性本身可以至少部分基于所测量的周围照明或所测量的周围照明和过去的显示内容的组合)以及目标显示器的特性来进行固定中间锚点57C的操作。例如，可基于目标显示器附近的周围照明来调整点57C的垂直坐标。例如，如果显示器处于黑暗的周围照明状况(或者观看者的眼睛被估计为暗适应)，则可将垂直坐标减小到较低的亮度值，并且在目标显示器处于周围照明高的环境(或者观看者的眼睛被估计适应于更明亮的状况)的情况下，可将该值增大到更高的值。

在一些实施例中，饱和度调整量(例如，根据式(20)、(21)和(22)以及式(28)、(29)和(30))至少部分地基于周围照明或基于所估计的观看者的眼睛的适应性(该适应性本身可以至少部分基于所测量的周围照明或基于所测量的周围照明和过去的显示内容的组合)以及目标显示器的特性。例如，可基于目标显示器附近的周围照明或所测量的周围照明和过去的显示内容的组合来调整参数S。例如，如果显示器处于黑暗的周围照明状况(或者观看者的眼睛被估计为暗适应)，则可将参数S的值设置为相对较低，并且在目标显示器处于具有高的周围照明的环境(或者观看者的眼睛被估计适应于更明亮的状况)的情况下，可将该值设置为相对较高。一些实施例提供了重新饱和控制单元，该重新饱和控制单元接收来自周围光传感器的信号和/或包含过去的图像内容的信号和/或指示过去的显示内容的总体明亮度的信号。重新饱和控制单元可被配置为基于所接收的信号(一个或多个)来设置影响重新饱和量的参数(例如，参数S)的新值。

在一些实施例中，考虑周围照明的光谱特性。例如，可至少部分地基于与颜色通道对应的光谱范围内的周围照明量来单独地设置用于每个颜色通道的传递函数中的点57C的位置。

附加地或者在替代方案中，可基于周围照明(或对观看者的眼睛的适应性的估计)来控制传递函数的斜率。在周围光较明亮的情况下，来自显示器表面的反射趋向于提高黑电平。这有效地缩小了目标显示器的范围。在周围照明高的状况(观看者的眼睛被估计为明亮适应)下，可减小传递曲线在中间色调区域中的斜率以在该周围状况下提供增强的观看体验。例如，对于周围照明低(暗)的状况，对比度的感知下降。这可导致图像表现为“平直的”。因此，可将传递函数的中间色调部分的斜率从1:1的斜率增大到诸如高达1:1.5左右的斜率的更大斜率(例如，1.3的斜率)，以为暗适应的眼睛提高对比度水平。在应用式(1)所示的类型的传递函数的情况下，这可通过改变自由参数n的值来进行。可响应于来自周围光传感器的输入来控制斜率。

在一些实施例中，提供光适应电路，该光适应电路对响应于输入的人类视觉系统的适应性水平进行估计，这些输入可包括来自周围光传感器的信号、表示历史图像内容的明亮度的加权平均值或其他指示符的信号等。光适应电路可基于例如人类视觉系统的模型。用于估计人类视觉系统的适应性水平的各种算法在本领域中是已知的。光适应电路可以以任何合适的方式(包括在一个或多个可编程数据处理器上执行的软件、固定逻辑电路或它们的组合)实现这样的算法。可响应于光适应电路的输出自动地控制传递函数中的中间色调对比度和/或点57C的位置的值。

在一些实施例中，传递函数可对于目标显示器被设定一次。传递函数可以例如被构建到目标显示器中并且以下列形式实施：执行根据如上所述的传递函数执行映射的固件或其它软件的一个或多个可编程处理器；实现上述传递函数的查找表；被设置为基于如上所述的传递函数提供输出的硬连线的或可配置的逻辑电路；等等。

在一些实施例中，可将用于目标显示器的红色、绿色和蓝色通道的驱动值转换为与显示器的位深度匹配的位深度。例如，显示器可使用8位驱动值。如果使用浮点计算或其他更高精度的计算来应用传递函数，则该转换可涉及例如将驱动值四舍五入为最接近的对应的8位值。

在前述实施例中，可使输入视频数据的最大亮度值和最小亮度值分别映射到显示器的像素的最大明亮度值和最小明亮度值。此外，可使来自输入视频信号的所选中间色调点映射到针对显示器所选的中间色调点。中间色调对比度保持为自由参数。上述传递函数的另一个特征是它们在保留中间色调范围内的局部对比度的同时对低值和高值两者都提供压缩或扩展。

在一些实施例中，特定图像(例如，特定视频帧或视频帧序列)的平均亮度相对低(基调暗)，而可以故意使其他图像(例如，多个帧或多组帧)的平均亮度相对高(基调亮)。在一些实施例中，关于图像的预期基调的信息可被以元数据的形式提供。可以例如在颜色分级操作期间创建该元数据并将该元数据与图像数据相关联。例如，可将该元数据嵌入在传载经颜色分级的视频数据的信号中或者以其他方式将该元数据与该信号相关联。在这样的实施例中，可在确定传递函数中所使用的(一个或多个)中间色调锚点时使用如该元数据所指示的图像的基调。在元数据指示基调低的图像的情况下，可将锚点的垂直坐标移动到较低值，从而重新创建目标显示器中的基调。

可针对不同的参考显示器对不同视频内容进行颜色分级。当采用上述方法时，可能可取的是根据在其上执行颜色分级的参考显示器的特性在任何特定目标显示器中不同地映射内容。可以例如在嵌入在图像数据中的或者以其他方式与图像数据相关联的元数据中传载标识参考显示器或者其特性的信息。目标显示器可存储传递函数的多个不同集合的参数。传递函数的不同集合可对应于并且可用于已使用不同参考显示器进行颜色调整的视频数据。

具有式(1)所提供的形式的示例传递函数的另一个特征是相同的传递函数可根据所选参数在范围的高端和低端处提供压缩或扩展。例如，在目标显示器具有比输入数据大的亮度范围的情况下，可为目标显示器配置如下这样的传递函数，这些传递函数扩展图像数据的范围以与目标显示器的图像数据的范围匹配或更加紧密地接近。

本文所描述的根据一些实施例的方法和装置的一个优点是在目标显示器的RGB颜色空间中执行映射。这可节省非常大量的计算和/或降低执行映射所需的硬件的复杂度。

可实时地执行映射。

根据一些实施例的方法提供了对于以下方面中的每个的直接控制：1)平均图像明亮度(“适应点”)、2)中间色调局部对比度(由色调曲线斜率设置)、3)到最小显示亮度的输入黑色映射、以及4)到最大显示亮度的输入白色映射。已发现这些变量是用于提供重现如原始图像数据中所体现的创作意图的图像是基本的。在示例实施例中，这些变量明确地对应于独立的参数。这样的方法结果提供了用于执行颜色映射的简单的且有效的方式，该颜色映射获取原始图像数据(原始图像数据可以例如包括高动态范围(HDR)数据和/或经颜色分级的图像数据)，并将该原始图像数据映射到所指定的输出显示器的有限3维色域。

如本文所描述的颜色映射方法和装置还可用于颜色分级/内容创作，或者可在替代方案中用于颜色分级/内容创作。可向色彩师提供实现如上所述的变换的滤镜。该滤镜可具有允许色彩师直接设置传递函数的参数的控制。色彩师可使用这些控制例如来调整黑电平等。在一些实施例中，这些控制包括允许直接设置以下方面中的一个或多个的控制：白电平锚点、黑电平锚点和中间级别的锚点(例如，分别为点57A、57B和57C)中的一个或多个的一个或多个坐标、以及中间级别的对比度(例如，参数n)。这样的控制可允许色彩师在不显著地影响中间色调斜率的情况下设置白电平、黑电平和基调，反之亦然。

在一些实施例中，所述装置被设置为自动地确定可接近于色彩师的意图的起始参数集合。可以例如基于表征输入视频内容的信息(例如，像素颜色/亮度坐标的最小值和最大值)和表征目标显示器的信息(例如，白电平、黑电平以及可选的元数据(例如，指示正被处理的图像数据的基调的元数据))来产生这些起始参数。

视频制作涉及对于具有更大能力和更低能力的显示器创作不同版本。例如，可执行标准动态范围(SDR)分级以生成用于显示在旧式显示器上的视频。如本文所描述的工具可用于自动地创建视频的SDR版本。色彩师可指导工具的操作以生成优化结果。

此外，在色彩师已设置用于提供用于在较低能力显示器上观看的版本的参数的情况下，可从色彩师针对较低能力显示器所选的参数值来确定对具有中间能力的显示器执行映射时所使用的参数。可以例如通过对色彩师针对与具有中间能力的显示器相比具有更高和更低能力的显示器所建立的参数值进行插值来进行这个操作。

本文所描述的方法和装置不限于与专业级别的颜色调解结合使用。用于颜色调解的工具可供业余爱好者使用，并且即使是在未经校准的监视器(例如，家用电脑显示器、电视等)上执行颜色调解的情况下，也可使用本文描述的方法和装置来将在该未经校准的监视器上创作的内容转化到另一个显示器(例如，通过对该未经校准的颜色调解显示器的能力进行估计)。如本文所描述的技术还可应用于没有进行颜色调解的信号。

将全局色调映射算子与局部多尺度色调映射算子相组合

如本文所描述的颜色映射方法和装置还可与其他色调映射技术(例如，局部色调映射算子(TMO))相组合。图6描绘了如本文所描述的全局色调映射算子与局部多尺度色调映射算子相组合的示例实施例，该局部多尺度色调映射算子如G.J.Ward在于2012年3月1日提交的美国临时申请61/448,606、还被提交为国际专利申请No.PCT/US2012/027267的“ALocalMultiscaleTone-MappingOperator”(在本文中被称为“Ward”参考文献)中所描述的局部多尺度色调映射算子，该申请的全部内容通过引用并入本文。该示例实施例将全局TMO的可预测性和稳定性与当使用局部多尺度算子(MSTMO)时保留强光部分和颜色保真度的能力相组合。

如图6中所描绘的，方法60在步骤62中以访问输入图像或视频数据开始。可以以各种颜色格式(诸如YCbCr、RGB、XYZ等)存储或发送这些数据。在步骤63中，可从输入数据提取亮度分量(例如，Y)。根据输入数据的格式(例如，RGB)，这个步骤可能需要进行颜色变换(例如，RGB到XYZ)。步骤64可将如式(1)所描述的全局色调映射算子55应用于输入数据的Y颜色分量。在示例实施例中，可选择全局TMO55的锚点，以使得输入数据的亮度范围被映射到范围[4*L_dmin,1/2*L_dmax]，其中，L_dmin和L_dmax表示目标显示器的最小亮度和最大亮度。缩放因子4和1/2是典型的，但是可调整。

在示例实施例中，步骤64的输出可被表示为全局色调映射的亮度数据Y_TM。在步骤65中，可将如“Ward”所描述的局部多尺度色调映射算子(MSTMO)应用于Y_TM数据。例如，首先，可计算全局对数比率图像

$R_L=log\frac{Y_{TM}}{Y}---\left(32\right)$

该全局对数比率图像被定义为除以原始亮度像素的全局色调映射的亮度数据的对数。在给定全局对数比率图像R_L的情况下，如Ward所描述的，MSTMO(例如，步骤65)的输出可以是被表示为Y_MS的局部色调映射的亮度图像。通过使用Y_MS，可计算

$X_{MS}=\frac{X*Y_{MS}}{Y}---\left(33\right)$

并且

$Z_{MS}=\frac{Z*Y_{MS}}{Y}---\left(34\right)$

在步骤66中，可将X_MS、Y_MS和Z_MS转换回具有由目标显示器确定的原色、白电平和黑电平的R_MS、G_MS和B_MS(RGB_MS)。可将负的或色域外的RGB_MS值箝位为非常小的正值，或者可通过使用任何一种已知的色域映射算法来将负的或色域外的RGB_MS值重新映射为色域内的RGB值。

在给定来自步骤66的色域内的RGB_MS的情况下，步骤67可重新将全局色调映射算子55应用于所有颜色分量以输出全局色调映射的校正数据RGB_G-MS。第二全局色调映射操作的应用保证MSTMO的输出在目标显示器的范围内。最后，在步骤68中，在显示图像数据(步骤68)之前，可根据需要针对输出显示器对RGB_G-MS数据进行伽马校正。

本发明的某些实现包括计算机处理器，这些计算机处理器执行使这些处理器执行本发明的方法的软件指令。例如，显示器、颜色分级站、机顶盒、译码器等中的一个或多个处理器可通过执行这些处理器可访问的程序存储器中的软件指令来实现如上所述的图像数据变换方法。本发明还可以以程序产品的形式提供。该程序产品可包括传载计算机可读信号的集合的任何介质，这些计算机可读信号包括当被数据处理器执行时使数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是多种形式中的任何一种形式。该程序产品可包括例如物理介质，诸如磁性数据存储介质(包括软盘、硬盘驱动器)、光学数据存储介质(包括CDROM、DVD)、电子数据存储介质(包括ROM、闪存RAM)等。可选地，可对该程序产品上的计算机可读信号进行压缩或加密。

在以上论述组件(例如，软件模块、处理器、组装件、设备、电路等)的情况下，除非另有指示，否则对该组件的论述(包括对“手段”的论述)应被解释为包括作为该组件的等同物的、执行所描述组件的功能的任何组件(即，在功能上等同的组件)，包括在结构上不等同于所公开的执行本发明的所示示例性实施例中的功能的结构的组件。

一些非限制实施例可以(例如，根据情况)提供以下优点中的一个或多个：

·根据具有黑色锚点的色调映射曲线的映射可避免暗的输入内容的过度色调压缩；

·根据具有黑色锚点和/或白色锚点的色调映射曲线的映射可比根据没有这样的锚点中的一个或两者的曲线的色调映射更多地利用目标显示器的亮度范围；

·可在目标显示器的RGB颜色空间中应用使亮度范围最大化的颜色通道特定映射函数(例如，在从输入颜色空间转换到目标显示器的RGB颜色空间之后)；和

·可在传递函数中调整目标显示器的输出视频数据的白点、明亮度和/或中间对比度(例如，而不是在根据传递函数进行映射之前或之后)。

一些实施例可以不提供以上任何一个优点；一些实施例可提供不同的优点(例如，不同于以上优点的优点或者作为以上优点的补充的优点)

如本领域技术人员根据前述公开将明白的，在不脱离本发明的精神或范围的情况下，在实施本发明时可进行许多改变和修改。因此，应根据权利要求书所限定的实质来解读本发明的范围。

Claims (12)

1.一种用于图像的显示管理的装置，所述装置包括：

用于接收输入图像信号的输入部；

用于访问参考显示器的第一信息数据的输入部，所述第一信息数据包括参考显示器的黑点电平、白点电平和中间点电平；

用于访问目标显示器的第二信息数据的输入部，所述第二信息数据包括目标显示器的黑点电平、白点电平和中间点电平；

用于使用第一信息数据和第二信息数据确定将输入图像信号的像素值映射到输出图像信号的对应像素值的传递函数的处理器，其中，所述传递函数包括三个锚点，其中，第一锚点使用参考显示器的黑点电平和目标显示器的黑点电平被确定，第二锚点使用参考显示器的白点电平和目标显示器的白点电平被确定，并且第三锚点使用参考显示器的中间点电平和目标显示器的中间点电平被确定；

用于使用所确定的传递函数将输入图像信号映射到输出图像信号的处理器；以及

用于输出所生成的输出图像信号的输出部。

2.根据权利要求1所述的装置，其中，用于确定传递函数的处理器还被配置为应用自由参数，其中，自由参数调整传递函数在第三锚点处的斜率。

3.根据权利要求1所述的装置，其中，第一信息数据作为输入图像信号的元数据的一部分被接收。

4.根据权利要求3所述的装置，其中，第一信息数据是对于输入图像信号的场景被确定的。

5.根据权利要求1所述的装置，进一步包括用于基于输入图像信号的特性生成第一信息数据的处理器。

6.根据权利要求5所述的装置，其中，参考显示器的黑点作为输入信号的亮度通道的小百分位数被确定。

7.根据权利要求5所述的装置，其中，参考显示器的白点作为输入信号的任何颜色通道的最大值被确定。

8.根据权利要求1所述的装置，其中，第一锚点具有分别等于参考显示器的黑点电平和目标显示器的黑点电平的水平坐标和垂直坐标，第二锚点具有分别等于参考显示器的白点电平和目标显示器的白点电平的水平坐标和垂直坐标，并且第三锚点具有分别等于参考显示器的中间点电平和目标显示器的中间点电平的水平坐标和垂直坐标。

9.根据权利要求1所述的装置，其中，所述传递函数包括根据下式的变换：

$V^{\′}=\frac{C_1+C_2{V}^n}{1+C_3{V}^n}$

其中，V是输入像素值，V’是输出像素值，C₁、C₂和C₃是使用所述三个锚点确定的参数，n是自由参数。

10.根据权利要求1所述的装置，其中，输入图像的像素值包括两个或更多个颜色分量的颜色值，并且传递函数针对所述两个或更多个颜色分量中的每一个被确定。

11.根据权利要求9所述的装置，其中，自由参数根据传递函数在中间范围区域中的斜率被确定。

12.根据权利要求9所述的装置，其中，自由参数根据希望的中间范围对比度被确定，而与所确定的锚点无关。