CN102473295A - 基于区的色调映射 - Google Patents

Abstract

一种将用于显示的高动态范围图像色调映射到低动态范围显示器上的方法，其中，首先访问高动态范围图像。将高动态范围图像分段成不同区域，使得每个区域由矩阵表示，其中矩阵的每个元素是像素的权重或者概率。确定或者计算每个区域的曝光并且响应于权重或者概率将曝光值应用到区域。然后将不同区域融合到一起以获得最终色调映射图像。

Description

基于区的色调映射

相关申请的交叉引用

本申请要求2009年6月29日提交的美国临时申请序列号61/269,760的权益，通过引用将其全部内容合并于此。

技术领域

本发明涉及在低动态范围(LDR)显示器上色调再现高动态范围(HDR)内容，其也已知为色调映射问题。具体地，至少一个实施例包括以下方法，其(1)从与HDR场景的人类感知匹配的HDR数据自动生成可显示LDR图像以及(2)提供用户友好控制用于手动调整。

背景技术

色调映射问题涉及在低动态范围(LDR)显示器上色调再现高动态范围(HDR)内容。在多数应用中，色调映射处理应当通常满足两个要求：保留图像细节，例如局部对比度；以及保持相对亮度的出现。对于色调映射的当前已知工作集中在第一个要求并且简单地忽略通常是从艺术家的观点最重要的第二个要求。此外，当前可用色调映射算法不允许操纵画面的不同部分的色调并且由此经常不能与原始HDR内容的感觉匹配。

高动态范围(HDR)作为数字成像的替代格式近年已经受到很多关注。设计传统低动态范围(LDR)图像格式用于与ITU-R推荐BT 709(a.k.a.Rec709)兼容的显示器，其中仅可以实现两个数量级的动态范围。然而，真实世界场景具有高得多的在白天约10个数量级的动态范围，而人类视觉系统(HVS)能够同时感知5个数量级。

HDR格式可用的视觉内容量正在增长：数字传感器和胶片(film stock)的最新发展允许内容创作者以很高的动态范围捕获图像，以及计算机生成图形(例如，动画片、视觉效果以及游戏)允许以基本无限动态范围创作视觉内容。然而HDR显示器尚不是主流设备；几种HDR显示设备已经可用作样机以及最高级的HDTV，但是这样的显示器的数量相比广泛使用的LDR显示器仍很少。

为了在LDR显示设备上显示HDR图像，利用色调方法来将通常可用作辐射的HDR图像映射为8位RGB索引数。色调映射处理不是显而易见的，因为它必须模拟在HVS中发生的处理，使得色调映射LDR图像可以骗取HVS相信其足够接近原始HDR图像。这要求色调映射算法能够保持局部对比度以及感知亮度二者。

近些年在计算机图形以及图像/视频处理领域中已经研究HDR图像的色调映射。大约来说，色调映射方法可以分类为两个主要种类：全局色调映射和局部色调映射。

全局色调映射使用全局曲线来将辐射映射为图像强度。虽然其具有诸如低复杂性和容易手动控制之类的优点，但是当到达相当高动态范围时其不能保留全部细节。因此，全局色调映射不适合要求很高质量输出的应用(类似后期制作)。

另一方面，局部色调映射方法通过根据局部图像特性压缩每个单个像素提供更高质量结果。具体地，这些方法试图仿真发生在HVS中的视觉适配，但是实际上它们中的多数不明确模仿HVS的行为。而是，它们进行关于HVS的简单假定并且然后试图使用这些假定压缩图像的动态范围，以获得视觉美观结果。即使利用局部色调映射方法的仔细微调，能够生成相对宽范围的HDR图像的令人信服的结果，视觉适应的理解仍远没有完成。因此，没有行为类似人类眼睛的算法。此外，这些方法不提供色调映射处理的良好手动控制，严重限制典型涉及色调校正处理的创造力。

色调映射不仅仅由图像处理研究者研究而且由画家以及电影摄影师研究。他们面对使用有限动态范围媒体(即，画家的油画布以及摄影师的打印纸)来表示高动态范围场景的相同问题。参照图1，在此我们察看作为AnselAdams以及Fred Archer制定的摄影技术的“区系统(Zone System)”100。区系统向不同感知亮度分配从0到10的数字，0代表黑，5代表中灰以及10代表纯白。这些值已知为区。在区系统的理论中，摄影师首先在场景中标识关键元素并且将这些元素放置在期望区。

该处理依赖场景的感知而不是辐射的测量。然后光度计(light meter)用于测量场景中每个关键元素的辐射。因为可以每个照片仅有的单个曝光值，所以选取曝光值使得最重要的元素映射到期望区。结果，其他(也重要)元素可能映射到“错误”区，变得过暗或者过亮。以后，在打印处理中，该问题由应用作为打印技术的“减淡(dodge)和加深(burn)”操作(其中在显影期间从打印部分抑制一些光(减淡)，或者向该区域(region)添加更多光(加深))来解决。因此映射到比所期望的更低的区的关键元素将在光中被曝光得比图像的剩余部分更长。类似地，映射到比所期望的更高的区的关键元素将被更少地曝光。该局部处理将保证画面的关键元素映射到最终输出的期望区中。换言之，这些关键元素的感知亮度保持与它们在现实生活中看上去的样子一致。

这个途径可以用于数字图像，但是不存在同时在用户辅助模式中提供直观控制的自动模式中具有良好性能的方法。

发明内容

提供一种将用于显示的高动态范围图像色调映射到低动态范围显示器上的方法，其中，首先访问高动态范围图像。然后将高动态范围图像分段(segment)成不同区域，使得每个区域由矩阵表示，其中矩阵的每个元素是像素的权重或者概率。确定或者计算每个区域的曝光并且响应于权重或者概率将曝光值应用到区域。然后将不同区域融合在一起以获得最终色调映射图像。本方法还包括以下步骤，对于高动态范围图像或者最终色调映射图像标识或者建立不同感知亮度等级。此外，该方法可以包括任何以下步骤：响应于照度(luminance)数据确定区域；建立锚值，其中，每个锚值建立区域之一；以及基于各个色彩通道执行色调映射。可以基于照度通道执行色调映射并且通过后处理将其应用到色彩通道，以及可以基于各个色彩通道执行色调映射。

附图说明

现在将通过参考附图的示例的方式描述本发明，在附图中：

图1是已知区系统缩放的图。

图2是根据本发明的基于区的色调映射方法的流程图；

图3是图2的方法用于彩色HDR图像的应用的流程图；

图4是图2的方法用于彩色HDR图像的另一应用的流程图；

图5是示出使用图2的方法的LDR图像的色调校正的流程图；以及

图6示出一对样品图像，其中一个已经根据本发明的方法被增强。

具体实施方式

类似于用于传统手动色调映射的影视摄影中开发的“区系统”的概念，可以以下四个步骤大体上描述本发明：

a.标识画面中的关键元素；

b.将每个关键元素分别映射到区；

c.测量每个关键元素的辐射；

d.决定全局曝光值；以及

e.在打印处理中减淡和加深，使得每个关键元素是在最终打印的正确区。

为了更加详细地描述该方法，可以首先定义色调映射问题的输入和输出。首先，假定该输入是具有已知主色彩的已知色彩空间中的场景辐射。该辐射数据可以是绝对辐射或者线性缩放辐射(当未校准HDR数据时的情形)。输出是色调映射图像。

可以从HDR数据计算照度图像。如果HDR数据在XYZ色彩空间，则Y分量可以用作照度图像。如果HDR数据使用相同的主色彩作为Rec.709，则从RGB色彩空间的转换可以如下完成：

L(i，j)＝0.2126*R(i，j)+0.7152*G(i，j)+0.0722*B(i，j)

可以依赖输入画面的格式来使用RGB(或者其他色彩空间)和照度图像之间的其他转换。

下面定义色调映射的最简单形式：单个曝光。在不失一般性的情况下，假设HDR数据仅仅具有一个色彩通道，其可以是照度图像。在线性缩放的情况下，规定“锚点”。如果像素的照度超过锚点，则该像素将是饱和的并且映射到1，否则其将映射到值0和1之间。因此，线性缩放单个曝光可以定义为：

$I(i,j)=S\left(\frac{L(i,j)}{A}\right)$

其中A是锚点并且S(x)可以定义为：

其中ρ典型采用范围[2.2，2.4]中的值并且表示输出设备的伽玛(其中将显示色调映射图像)。

结果图像I可以被量化并且被显示在常规LDR显示器上。注意S(x)的其他定义是可能的：例如，可以使用S形曲线替代功率函数。一般地，可以使用任何全局映射曲线用于S。

区系统然后应用于数字色调映射。如图2中图示的，主要步骤的描述如下。在步骤10中输入高动态范围(HDR)图像首先被划分为不同区域。其可能是硬分段(hard segmentation)或者模糊的分段。在任一情形中，每个区域可以由矩阵代表，其中矩阵的每个元素是像素的概率(权重)。如果使用硬分段，则图像像素属于单个区域并因此概率是0或者1。如果使用模糊分段，则每个像素在若干(甚至全部)区域上扩散，并因此概率可以采用0和1之间的任何值。

然后，在步骤12，算法决定每个区域将被映射到哪个区。这实质上估计每个区域的曝光(exposure)。还可以通过提供适当用户接口与用户交互来完成区域和区之间的映射。

下面，在步骤14，用其本身曝光参数曝光每个区域。

以后，在步骤16，利用融合或混合处理来通过使用在步骤10中获得的权重而将不同区域融合在一起(每个用其本身的曝光值来曝光)来生成最终色调映射图像。

可选择地，在步骤18和20，用户检查色调映射图像的外观并且通过适当用户接口在步骤中改变参数对一个或者多个区域的曝光值进行改变并且然后重复步骤14-18，直至结果令人满意。

对于视频色调映射，可以对于场景中的一个关键帧执行处理，并且接着对场景中的所有帧利用相同的参数应用该处理。

现在将详细描述每个主要步骤的实施例。

步骤10的图像分段。

分段的目的是将图像划分为区域，使得每个区域包含可以被映射到相同区的对象。换言之，每个区域应该需要单个曝光。可以使用各种图像处理技术以多种方式完成分段。在此，将描述简单但高效的途径。首先，依据HDR辐射数据计算照度图像。仅仅对照度图像执行分段。然后如下计算图像的平均、最大和最小照度：

$L_{\mathrm{avg}}=e^{\frac{1}{N}\underset{i,j}{\mathrm{\Σ}}\ln \left(L(i,j)\right)}$

$L_{\max }={\max }_{R_{\max }}\left(L\right)$

$L_{\min }={\min }_{R_{\min }}\left(L\right)$

其中Rmin和Rmax是两个预定百分比，maxR(X)是X中大于或者等于X中的值的R百分比的最小值，并且minR(X)是小于或等于X值的R百分比的X最大值。

如上提及的，在每个区域中，像素应该具有相同的曝光。定义一系列锚点A_i(i＝1..N)使得每个A_i用于定义区域并且还生成单个曝光图像。

在该实施例中，锚点选择如下：

A₁＝L_avg/E    A_n+1＝4·A_n(n＝2...N-1)

其中，上面公式中的E是常数并且可以采用例如8的值。上面公式中区域的数量N可以计算如下，其能够覆盖所有照度范围。

容易地看出两个相邻锚点之间的距离是摄像术语的两个“停止(stop)”。

一旦每个区域的锚点是已知的，对每个区域计算每个像素的权重。一般地，对于每个区域(由对应锚点A_i定义)，单个曝光图像中的像素值越接近0.5，对于该区域(由对应锚点A_i定义)该像素的权重越大。

由此，对于区域n(由锚点A_n定义)在位置(i，j)的像素的权重可以如下计算：

$W_n(i,j)={\mathrm{Ce}}^{-\frac{{(s\left(\frac{L(i,j)}{2A_n}\right)-0.5)}^2}{{\mathrm{\σ}}^2}}$

其中C是归一化因数并且定义如下：

$C=\frac{1}{\underset{n}{\mathrm{\Σ}}{e}^{-\frac{{(s\left(\frac{L(i,j)}{2A_n}\right)-0.5)}^2}{{\mathrm{\σ}}^2}}}$

上面计算的权重采用[0，1]范围内的值，并且因此定义将照度图像模糊分段为N个区域的模糊分段。这意味着每个区域可能包含图像中的所有像素，虽然它们中的仅仅一部分可能具有大权重。

在另一实现方式中，权重被二进制化(即，使它们是0或1)，造成硬分段：

$p=\underset{n}{\arg }\mathrm{Max}\left(W_n(i,j)\right),n=\mathrm{1,2},...,N$

$\begin{array}{cc}{W}_p(i,j)=1& W_q(i,j)=0,(q\≠p)\end{array}$

注意一旦完成分段，锚点A_n以及权重W_n被固定。我们在下一节中将看到每个区域的曝光可以在权重保持不变的同时被调整。

步骤12中的曝光估计

一旦分段，将每个区域映射到区。换言之，对每个区域定义锚点，使得单个曝光之后可以适当曝光每个区域。

决定每个区域应该映射到哪个区是非常主观的任务，因为这依赖于HVS如何完成视觉适应。在传统区系统中，摄像师视觉地决定将关键元素映射到区。

可以使用很多不同的算法来估计每个区的曝光。在简单的实现方式中，将所有区域映射到中灰并且然后使用者可以交互地改变锚点。这意味着估计的曝光是与用于定义区域的锚点值相同的锚点值。

$A_n^{\′}=2^{{\mathrm{\λ}}_n}{A}_n,n=\mathrm{1,2},...,N$

其中λ_n是用户可以改变的变量。

λ_n的默认值是零，但是该方法允许手动修改它以达到期望外观。

步骤14中应用曝光参数

一旦用户具有HDR图像的分段以及每个区域的锚点，可以使用上面估计的曝光从HDR数据生成对应LDR图像：

$I_n=S\left(\frac{L}{A_n^{\′}}\right)$

在步骤16图像融合和增强

这个步骤的目的是将所有区域混合在一起(每个用其本身的曝光参数曝光)。可以有若干融合方法；下面描述几个。

图像融合-第一实施例

计算LDR图像的加权平均以生成如下的色调映射结果T：

$T=\underset{n}{\mathrm{\Σ}}{W}_n{I}_n$

这是低复杂性方法。遗憾的是，该方法对于图像权重很敏感，在多数实现方式中导致可见伪像。

图像融合-替代实施例

更复杂的融合处理组合这些LDR图像。另一图像融合方法遵循使用金字塔的多分辨率途径。其具有更高的复杂性但是其对于该权重更加具有鲁棒性(即，将图像分段成区域)，产生区域之间的近似无缝过渡。

彩色HDR图像的色调映射

图3示出建议的基于区的色调映射途径300如何可以用于色调映射彩色HDR图像。首先，如果假设彩色HDR图像在RGB色彩空间，则使用上面提供的公式计算照度图像。然后，根据描述的方法框架处理照度图像。最后，色彩处理步骤对每个色彩分量应用照度图象的色调映射。在具体实现方式中，色彩处理步骤将每个色彩分量的每个像素缩放与已经缩放照度图像的对应像素相同的量，并且然后执行伽玛校正和量化。通过以下公式总结该处理：

$\left\{\begin{array}{c}{R}^{\′}=Q\left({(R\·\frac{{\left(L^{\′}\right)}^{\mathrm{\γ}}}{L})}^{1/\mathrm{\γ}}\right)\\ G^{\′}=Q\left({(G\·\frac{{\left(L^{\′}\right)}^{\mathrm{\γ}}}{L})}^{1/\mathrm{\γ}}\right)\\ B^{\′}=Q\left({(B\·\frac{{\left(L^{\′}\right)}^{\mathrm{\γ}}}{L})}^{1/\mathrm{\γ}}\right)\end{array}\right.$

其中Q(.)表示量化函数，并且γ是输出设备的伽玛。

可以使用上面描述的基于区的色调映射方法来完成彩色LDR图像的色调校正。这些方法可以应用于自动或者手动校正LDR图像。如图5的处理流程500所图示的，相对HDR图像的处理的附加步骤是从LDR转换到HDR，这可以使用逆量化和逆伽马变换来完成：

$\left\{\begin{array}{c}R={\left(Q^{-1}\left(R^{\′}\right)\right)}^{\mathrm{\γ}}\\ G={\left(Q^{-1}\left(G^{\′}\right)\right)}^{\mathrm{\γ}}\\ B={\left(Q^{-1}\left(B^{\′}\right)\right)}^{\mathrm{\γ}}\end{array}\right.$

在该步骤中的某些变型是可能的。例如，最佳如图像4所示，替代使用照度图像，对每个色彩分量可以独立执行色调映射(例如，红色映射流程401，绿色映射流程402以及蓝色映射流程403)。另外，可以对色彩分量执行色调映射替代使用照度图像。

在另一变型中，可以在某些步骤中使用单个分量(例如一个色彩分量或者照度图像)，并且可以在其他步骤中使用色彩分量。例如，照度用于步骤10-12，以及色彩分量用于步骤14-16。

在此描述的基于区的色调映射方法导致增强的图像显示，特别对于HDR图像转换成LDR图像。这些结果中的一个示例如图6所示，其中，右侧图像601已经根据上面描述的方法被处理而左侧图像602没有。在此，在图像的天空和地面部分二者中都可以看到改进的色调变型。

现在将描述具有带有特定特征和方面的一个或者多个实现方式的替代实施例。然而，描述的实现方式的特征和方面还可以适应于其它实现方式。

例如，这些实现方式和特征可以用在编码视频和/或编码其他类型的数据的上下文中。此外，这些实现方式和特征可以用于或适应用于以下背景中：H.264/MPEG-4AVC(AVC)标准、具有MVC扩展的AVC标准、具有SVC扩展的AVC标准、3DV标准和/或具有另一标准(现有或未来)或者在不涉及标准的背景中。

此外，实现方式可以使用各种技术发信号通知信息，包括但不限于以下：SEI消息、码片首标、其他高级语法、非高级语法、波段外信息、数据流数据和隐式信令。因此，虽然可以在具体背景中描述在此描述的实现方式，但是这样的描述绝不应该被认为将特征和构思限制于这样的实现方式或背景。

本说明书中对本原理的“一个实施例”或“实施例”或者“一个实现方式”或“实现方式”以及其他变型的引用意味着在本原理的至少一个实施例中包括与该实施例相联系地描述的特定的特征、结构、特性等。因而，贯穿本说明书的多处出现的短语“在一个实施例中”或“在实施例中”或者“在一个实现方式中”或“在实现方式中”以及任何其他变型的出现不一定都指代相同的实施例。

在此描述的实现方式可以实现为例如方法或处理、装置、软件程序、数据流或者信号。即使仅仅在单个形式的实现方式的上下文中讨论(例如，仅仅讨论方法)，讨论的特征的实现方式还可以实现为其他形式(例如，装置或程序)。装置可以实现为例如适当硬件、软件和固件。在例如一般指代包括例如计算机、微处理器、集成电路或可编程逻辑设备的处理设备的诸如例如处理器之类的装置中可以实现该方法。处理设备还包括通信设备(诸如例如计算机、蜂窝电话、便携式/个人数字助理(“PDA”))以及方便末端用户之间通信信息的其他设备。

在此描述的各种处理和特征的实现方式可以体现在多种不同装备或应用中，特别是例如与数据编码和解码相关联的装备或应用。这样的装备的示例包括：编码器、解码器、处理来自解码器输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型电脑、个人计算机、蜂窝电话、PDA和其他通信设备。应该清楚，该装备可以是移动的，甚至安装在机动车中。

此外，这些方法可以通过处理器执行指令来实现，这样的指令(和/或实现方式产生的数据值)可以存储在诸如例如集成电路、软件载体或者其他存储设备(诸如例如硬盘、紧密盘、随机存取存储器(“RAM”)或者只读存储器(“ROM”)之类)之类的处理器可读媒体中。这些指令可以形成有形地体现在处理器可读媒体上的应用程序。指令可以在例如硬件、固件、软件或组合中。指令可以在例如操作系统、独立应用或者二者的组合中找到。因此处理器可以表征为例如配置为执行处理的设备和包括具有执行处理的指令的处理器可读媒体(诸如存储设备之类)的设备二者。另外，处理器可读媒体可以除了或者替代指令地存储实现方式产生的数据值。

对于本领域的普通技术人员来说应该显而易见，实现方式还可以产生格式化成携带可以，例如，存储和发送的信息的信号。该信息可以包括，例如，执行一种方法的指令，或由描述的实现方式之一产生的数据。例如，信号可以格式化为作为数据携带写入或者读取描述的实施例的语法的规则或者作为数据携带描述的实施例写入的实际语法值。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如编码数据流、以及用编码数据流和语法调制载波。信号携带的信息可以是，例如，模拟信息或数字信息。信号可以在已知的多种不同有线或无线链路上传送。信号可以存储在处理器可读媒体中。

已经描述了许多实现方式。然而，应该理解，可以做出各种修改。例如，可以组合、补充、修改或删除不同实现方式的元素产生其他实现方式。另外，本领域的普通技术人员应该明白，可以用其他结构和处理替代所公开的那些，并且所得实现方式将以至少基本相同的(多个)方式执行至少基本相同的(多个)功能，以实现与所公开实现方式至少基本相同的(多个)结果。因此，这些和其他实现方式可以通过本公开来设想，并且在本公开的范围之内。

前面例示实践本发明的一些可能性。很多其他实施例可能在本发明的范围和精神内。因此意图是前面的描述作为例示而不是限制，并且本发明的范围由所附权利要求与它们的等效物的全部范围一起给出。

Claims (14)

1.一种将用于显示的高动态范围图像色调映射到低动态范围显示器上的方法，包括以下步骤：

访问高动态范围图像；

将高动态范围图像分段成不同区域，使得每个区域由矩阵表示，其中矩阵的每个元素是像素的权重或者概率；

确定或者计算每个区域的曝光；

响应于权重或者概率将曝光值应用到区域；以及

将不同区域融合到一起以获得最终色调映射图像。

2.根据权利要求1所述的方法，还包括以下步骤，为高动态范围图像标识或者建立不同感知亮度等级。

3.根据权利要求1所述的方法，还包括以下步骤，为最终色调映射图像标识或者建立不同感知亮度等级。

4.根据权利要求1所述的方法，还包括以下步骤，响应于照度数据确定区域。

5.根据权利要求4所述的方法，还包括建立锚值，其中，每个锚值建立区域之一。

6.根据权利要求1所述的方法，其中，基于照度通道执行色调映射并且然后通过后处理将色调映射应用于色彩通道。

7.根据权利要求1所述的方法，其中，基于各个色彩通道执行色调映射。

8.一种将用于显示的高动态范围图像色调映射到低动态范围显示器的方法，包括以下步骤：

访问高动态范围图像；

将高动态范围图像分段成不同区域，使得每个区域由矩阵表示，其中矩阵的每个元素是像素的权重或者概率；

确定或者计算每个区域的曝光；

响应于权重或者概率将曝光值应用于区域；

将不同区域融合到一起以获得最终色调映射图像；以及

向用户提供用户接口以调整步骤中的参数。

9.根据权利要求8所述的方法，还包括以下步骤，为高动态范围图像标识或者建立不同感知亮度等级。

10.根据权利要求8所述的方法，还包括以下步骤，为最终色调映射图像标识或者建立不同感知亮度等级。

11.根据权利要求8所述的方法，还包括以下步骤，响应于照度数据确定区域。

12.根据权利要求11所述的方法，还包括建立锚值，其中，每个锚值建立区域之一。

13.根据权利要求8所述的方法，其中，基于照度通道执行色调映射并且然后通过后处理将色调映射应用于色彩通道。

14.根据权利要求8所述的方法，其中，基于各个色彩通道执行色调映射。

Images