CN101595719B - 用于增加数字图像中的动态范围的设备和方法 - Google Patents

Abstract

一种用于增加表示图像的原始图像数据的动态范围的方法包括：应用扩展函数，以从原始图像数据产生动态范围大于原始图像数据的动态范围的扩展数据；获得扩展映射，包括表示与图像中的像素相关联的区域的亮度程度的数据。然后，该方法根据扩展映射组合原始图像数据和扩展数据，以产生增强的图像数据。一种用于增加图像数据的动态范围的设备包括：产生扩展数据的动态范围扩展器；产生扩展映射的亮度分析器；以及根据扩展映射提供的可变权重将原始与扩展数据组合的组合器。

Description

用于增加数字图像中的动态范围的设备和方法

交叉引用 

本申请要求于2006年11月27日提交的名为“APPARATUS ANDMETHODS FOR BOOSTING DYNAMIC RANGE IN DIGITALIMAGES(用于增加数字图像中的动态范围的设备和方法)”的美国专利申请No.60/867325的优先权，通过全文引用而将其内容包括在此。 

技术领域

本发明涉及数字成像。本发明具体涉及用于增加数字图像的动态范围的方法和设备。 

背景技术

人眼对非常宽的范围的强度的光是敏感的。图像必须具有高动态范围以准确地再现真实场景。诸如高性能CCD阵列的高性能图像传感器能够获取具有高动态范围的图像。存在能够显示高动态范围图像的显示器，诸如可从Dolby Canada Corporation获得的显示器。然而，许多计算机显示器、电视等具有有限的动态范围，并且不能显示这样的高动态范围图像。 

因为获取或产生图像数据的方式，一些图像数据具有低动态范围。在其它情况下，可减小图像数据的动态范围，以匹配将再现图像数据的图像的显示器的特性。可向较高的动态范围图像数据应用色阶映射算子(tone mapping operator)，以减小图像数据的动态范围。这样做是为了例如提供与一类显示器的动态范围或具体图像数据格式相匹配的图像数据。 

存在动态范围低于可由可用的高动态范围显示器显示和/或由人眼感知的动态范围的大量现有图像数据。 

存在对于可增加低动态范围图像数据的动态范围的方法和设备的需要。 

发明内容

结合系统、工具和方法描述和阐明下述实施例及其方面，所述系统、工具和方法是为了示例和阐明而不是限定范围。在各个实施例中，减少或消除了上述问题中的一个或更多，而其它实施例涉及其它改进。 

本发明的一个方面提供了一种用于增加表示图像的原始图像数据的动态范围的方法。该方法可按任何顺序包括：应用扩展函数以从原始图像数据产生其动态范围大于原始图像数据的动态范围的扩展的数据；以及获得扩展映射，其包括表示与图像中的像素相关联的区域的亮度程度的数据。该方法根据所述扩展映射组合原始图像数据和扩展的数据，以产生增强的图像数据。 

该发明的另一个方面提供了用于扩展原始图像数据的动态范围的设备。该设备包括：动态范围扩展器，连接以接收原始图像数据和输出动态范围大于该原始图像数据的动态范围的扩展数据；亮度分布分析器，被配置为产生表示与所述原始图像数据的图像中的像素相关联的区域的亮度的扩展映射；以及图像组合器，被配置为根据所述扩展映射将所述原始图像数据与来自动态范围扩展器的扩展数据组合，以产生增强的图像数据。 

本发明的另一个方面提供了一种用于增强原始图像数据的动态范围的方法，该方法包括根据由下式给出的反色阶映射算子或其数学等价式处理原始图像数据的像素的亮度值： 

$\frac{{\mathrm{\α}}^2}{L_{\mathrm{white}}^2{\stackrel{\‾}{L}}_w^2}{L}_w^2(x,y)+\frac{\mathrm{\α}}{{\stackrel{\‾}{L}}_w}(1-L_d(x,y))L_w(x,y)-L_d(x,y)=0$

其中α、L_white和L_w是参数并且L_d是对应于原始图像数据中的像素的亮度值。 

除了上述示例性方面和实施例，通过参考附图和研究下述详细说明，其它方面和实施例将在下面被描述和/或变得显而易见。 

附图说明

附图示出了本发明的非限制性实施例。 

图1是示出了根据本发明的实施例的方法的流程图； 

图2是根据本发明的设备的框图； 

图3是根据本发明的另一个实施例的设备的框图； 

具体实施方式

遍及下述说明部分，陈述具体详细内容是为了向本领域技术人员提供更全面的理解。然而，熟知的元件没有被示出或详细描述，以避免不必要地使本发明晦涩难懂。因此，说明部分和附图被视为是示例性的，而不是限制性的。 

该发明提供了用于增加图像数据的动态范围的方法和设备。例如，可应用该方法和设备增加现有图像(legacy images)(其可以是例如静止的或视频图像)的动态范围，以在高动态范围显示器上显示。 

图1示出了根据本发明的实施例的方法20。方法20作用于在块24中获得的原始图像数据23，以扩展图像数据23的动态范围。在块26中，方法20扩展原始图像数据23以获得扩展的图像数据25。该扩展将像素发光度值从第一范围映射到第二范围。第二范围提供比第一范围更多的可能值。例如，第一范围可允许在0到255的范围内的值，而第二扩展的范围可允许在0到1023范围内的值，或对于一些指定的精确度在0.00到1.00范围内的值。在一些实施例中，扩展的图像数据25的像素的发光度值是原始图像数据23中的对应像素的发光度值的函数。 

扩展可包括下述方法的任意一项：线性缩放、非线性缩放或应用更复杂的扩展函数，诸如反色阶映射函数。在块26应用反色阶映射函数的情况下，在块26中应用的反色阶映射函数不一定是在创建原始图像数据23时使用的任何具体色阶映射函数的反函数。实际上，在一些情况下，可不应用色阶映射函数而获得原始图像数据23，或通 过应用与块26中应用的色阶映射函数的反函数不同的色阶映射函数来获得原始图像数据23。 

一个示例性色阶映射函数是“Photographic tone reproductionfor digital images”，Reinhard et al.，ACM Trans.Graph.，21，3，267-276(2002)中描述的摄影色调再现(Photographic ToneReproduction)。例如，“Beyond tone mapping：Enhanced depiction oftone mapped HDR images”，Smith et al.，Computer Graphics Forum25，3(2006)；和“Evaluation of tone mapping operators using a highdynamic range display”，Ledda et al.，ACM Trans.Graph.，24，3，640-648(2005)中描述了其它色阶映射函数。 

摄影色调减少色阶映射算子基于等于或近似于场景的基调(key)的几何平均值缩放像素亮度值，然后压缩得到的值。缩放由下式给出： 

$L_m(x,y)=\frac{\mathrm{\α}}{{\stackrel{\‾}{L}}_w}{L}_w(x,y)---\left(1\right)$

其中，L_m是缩放值，α是用户参数，L_w是原始图像数据23中像素的亮度。如果原始图像数据23是RGB格式，则L_w可由下式给出： 

L_w＝0.213R_w+0.715G_w+0.072B_w    (2) 

其中R_w，G_w和B_w分别为RGB色空间中的像素的红、绿和蓝像素值。L_w为由下式限定的几何平均值： 

${\stackrel{\‾}{L}}_w=\exp \left(\frac{1}{N}\underset{x,y}{\mathrm{\Σ}}\log (\mathrm{\δ}+L_w(x,y))\right)---\left(3\right)$

其中δ是小的非负值，而N是图像中的像素数量。 

可由采用第一范围内的输入值并产生第二更窄的范围内的输出值的函数提供压缩。例如，可由下式提供压缩： 

$L_d(x,y)=\frac{L_m(x,y)}{1+L_m(x,y)}---\left(4\right)$

其中L_d是(x，y)处的像素的压缩值。在更灵活的实施例中，可由下式提供压缩： 

$L_d(x,y)=\frac{L_m(x,y)(1+\frac{L_m(x,y)}{L_{\mathrm{white}}^2})}{1+L_m(x,y)}---\left(5\right)$

其中L_white是对应于将被映射为压缩数据中的白色的未压缩数据的最小亮度值的参数。 

等式(5)可通过对该二次等式求解被转化： 

$\frac{L_m^2(x,y)}{L_{\mathrm{white}}^2}+L_m(x,y)(1-L_d(x,y))-L_d(x,y)=0---\left(6\right)$

在等式(5)中，L_m可被替换为来自等式(1)的值以产生： 

$\frac{{\mathrm{\α}}^2}{L_{\mathrm{white}}^2{\stackrel{\‾}{L}}_w^2}{L}_w^2(x,y)+\frac{\mathrm{\α}}{{\stackrel{\‾}{L}}_w}(1-L_d(x,y))L_w(x,y)-L_d(x,y)=0---\left(7\right)$

使用二次公式通过等式(7)对L_w求解，以获得最大正值的解。可以为图像中的每一个像素执行该过程以获得扩展图像数据25。 

为了对反色阶映射应用等式(7)的解，必须对参数α、L_white、L_d和几何平均值L_w赋值。除非已知应用了什么色阶映射算子(如果有的话)来获得正在处理的低动态范围，否则这些参数是未知的。在根据一些实施例的方法中，用户可为这些参数设定值。在一些实施例中，可自动地设定或预定这些参数。在一些实施例中，自动地将一些或所有参数设定为初始值，并且用户可从这些初始值改变参数值，如果需要的话。 

对L_w赋值的一种方法是使用被处理的低动态范围图像的几何平均亮度。已发现相同场景的高和低动态范围图像的几何平均亮度典型地非常相似(除非显著地过度曝光低动态范围图像或使其曝光不足)。某些色阶映射算子易于改变几何平均亮度。在这样的色阶映射算子已经被用于产生原始图像数据23的情况下，需要为L_w使用被处理的低动态范围图像的几何平均亮度的函数。可基于用于产生原始图像数据23的色阶映射算子的知识选择该函数，或经验地确定该函数。 

一种对参数L_d(x，y)赋值的方式是实现为，L_d是被处理的低动态范围图像的亮度。 

可由用户设定参数α和L_white。参数α的含义是有些难以确定。因此，发明人优选地将参数L_max’定义为： 

$L_{\max }^{\′}=\frac{L_{\mathrm{white}}{\stackrel{\‾}{L}}_w}{\mathrm{\α}}---\left(8\right)$

L_max’是反色阶映射图像中预期的最大亮度值。L_white影响原始低亮度值和中间亮度值的扩展。如果L_white非常高，则那些值被映射为非常低的亮度值。如果L_white非常低，则反色阶映射图像的亮度值将与由因数L_max’缩放的原始低动态范围图像的亮度值相似。在典型的应用中，设定L_white和L_max’使其具有相等的值或相同量级的值易于产生合理的结果。 

块26中应用的扩展函数可产生不是完全可接受的扩展图像。如果扩展函数产生高的输出亮度值，则得到的图像会在外观上“浓淡不均(blocky)”。 

方法20通过根据块28中产生的扩展映射29将扩展图像25与原始图像23组合获得输出图像33。扩展映射29识别原始图像23的较高亮度和较低亮度区。使用扩展映射29，方法20使输出图像33更多地基于较高亮度区中的扩展图像25，使输出图像33更多地基于较低亮度区中的原始图像23。块28可使用用于评价像素所属的区的亮度水平的任何合适的方法。例如，块28可计算每一个像素所属的区中的像素的平均亮度或加权的平均亮度。扩展映射29包括与每个像素相关联的权重。这些权重指示原始图像23和扩展图像25对增强的图像33中该像素的值起作用的相对程度。 

在示例性实施例中，块28在块28A中应用中位数切割算法。例如，在“A median cut algorithm for light probe sampling”，Debevec，P.，ACM Siggraph 2005 posters(2005)中描述了该中位数切割算法。该中位数切割算法识别聚集在图像中的高亮度区附近的一组点光源。在一些实施例中，在像素附近的这种光源的数量和强度用于创建扩展映射29。 

中位数切割算法将图像分割为2ⁿ个光能相似的区域。可通过沿 最长的维度再划分图像来识别这些区，使得亮度在所得到的区域之间均等地分配。对得到的区域重复该处理。光源被放置在2ⁿ个区域的每一个的质心处，这2ⁿ个区域是通过对将图像划分为多个区域的处理迭代n次获得的。每个光源的颜色被设定为该区域上的平均值(例如，所述颜色可被设定为等于该区域内的像素值的和)。 

在本发明的一些实施例中，n至少为9(对应于512个光源)。在一些实施例中，n为10或更多。 

在一些应用中，点光源可存储在包括2D树的数据结构中，以辅助可在创建扩展映射29时执行的最近相邻光源的搜索。 

原始图像23被用于识别较高和较低亮度区不是强制性的。较高和较低亮度区的分布在原始图像数据23和扩展图像数据25中将是相似的。可对扩展图像数据25执行中位值切割算法。 

一种从通过在块28A中执行的中位数切割算法识别的光源获得一组权重的方法是为每个像素(x，y)确定像素周围的区内的光源的密度。该区可方便地包括例如具有某个半径r的圆形区，圆形区域的半径在10到20个像素范围内。也可使用其它区形状。“PatternClassification 2^nd Edition”，Duda et al.，Wiley Interscience(2001)中描述了密度估计。 

可使用基本公式进行密度估算： 

$\mathrm{\Λ}(X,r)=\frac{\underset{p\∈P}{\mathrm{\Σ}}{\mathrm{\Ψ}}_p}{{\mathrm{\πr}}_{\max }^2}---\left(9\right)$

其中，Λ是密度；X是图像的位置(x，y)；Ψ_p是点p处的光源的亮度值；以及P是对应于由中位数切割算法识别的光源的区(在该例子中是半径为r并以X为中心的圆)内的一组点。 

可以多种方式改进密度估算，包括： 

◆对中位数切割算法迭代，以获得较大量的光源(即，使n较大)； 

◆对密度估计的结果应用平滑滤波； 

◆在向像素分配非零密度Λ之前，要求至少阈值数量的光源(例如，在存在1024个或更多光源的情况下，n＝10，阈值可以是4或更大，在一些情况下为4-6个光源)在该像素的影响区域内(例如，在 像素的半径r的范围内)。 

平滑滤波可包括高斯平滑滤波。例如，原形实施例应用由核心的权重限定的高斯滤波，所述核心的权重由下式给出： 

$w_g^p=\mathrm{\γ}[1-\frac{1-e^{-\mathrm{\β}\frac{r_p^2}{2r_{\max }^2}}}{1-e^{-\mathrm{\β}}}]---\left(10\right)$

其中，W_g ^p是核心；γ和β是参数。例如在“Convenient Anti-AliasingFilters that Minimize Bumpy Sampling”，Pavicic，Morgan Kaufmann，(1990)中描述了该滤波。γ和β的示例值为γ＝0.918和β＝1.953。该滤波被归一化，并且当如上所述计算密度估计时通过由W_g ^p缩放亮度而被应用。可见，该滤波对离像素较近的光源分配的权重比对离该像素较远的光源分配的权重要重。 

在块30中，使用扩展映射29来组合原始数据23和扩展的数据25，以产生增强的数据33。在示例性例子中，扩展映射29为每一个像素提供了范围[0，1]内的值。该值可用作在原始数据23和扩展的数据25之间进行线性内插的权重。例如： 

L_final(x，y)＝Λ(x，y)L_w(x，y)+(1-Λ(x，y))L_d(x，y)  (11) 

其中，L_final是位置(x，y)的像素的增强的数据33中的像素亮度值；L_w是扩展的数据25中的像素的亮度值；L_d是原始数据23中的像素的亮度值；Λ是来自扩展映射29的范围[0，1]内的像素的权重。 

块30可选择地以其它方式组合原始数据23和扩展数据25。例如，可非线性地进行内插。 

例如，可应用此处描述的方法来增强数字静止图像或视频图像的动态范围。如块34中所示，可以保存增强的数据33，或如块36所示在显示器上显示增强的数据33。 

参照等式(6)和(7)在上面描述的反色阶映射算子具有方法20以外的应用。例如，可直接应用反色阶映射算子以增加视频中的帧的动态范围。在这样的实施例中，视频每帧的图像都可由反色阶映射 算子处理，以获得扩展的帧。该扩展的帧可被存储和/或重放，以提供动态范围高于原始视频的动态范围的视频。 

典型的图像包含成百上千个像素，更典型地，数百万个像素。此处描述的方法使用自动设备执行，诸如专用硬件和/或编程的计算机系统。 

图2示意地示出了用于从原始图像数据23产生具有扩展的动态范围的图像的设备40。设备40包括处理原始数据23以产生扩展的数据25的动态范围扩展器44。在一些实施例中，动态范围扩展器44包括软件模块，其取原始图像数据23并向原始图像数据23的每一个亮度值应用动态范围扩展函数以产生扩展的数据25。 

设备40包括处理原始图像数据23(或可选地，扩展的数据25)以产生扩展映射29的亮度分布分析器46。亮度分布分析器46确定原始图像数据23中的像素属于由原始图像数据23表示的图像的高亮度和低亮度区的程度。 

组合器48将原始图像数据23和扩展的数据25组合以产生增强的数据33。增强的数据33的每个像素基于原始图像数据23和扩展的数据25的对应像素的值的相对程度取决于扩展映射29中的对应像素的值。 

动态范围扩展器44、亮度分布分析器46和组合器48各自可包括硬件模块、硬件和软件的组合或可配置的硬件，诸如一个或多个适当配置的现场可编程门阵列(FPGA)。在一些实施例中，设备40设置在能够显示静止和/或视频图像的高动态范围电子显示系统中。在这样的实施例中，可激活设备40以增强其动态范围低于显示系统能够再现的动态范围的遗留图像和/或视频图像。 

图3示出了根据本发明的另一个实施例的设备50。设备50具有允许用户控制数据存储器54中的参数31的值的用户接口52。参数31控制动态范围增加系统56的操作，其处理原始图像数据23以获得此处所述的增强的图像数据33。在由高动态范围显示驱动器58控制的显示器60上显示增强的图像数据33。在示例性的实施例中，用户 可在显示在显示器60上的图像上看到特定的一组参数31的效果，并且然后通过用户接口52改变一个或多个参数31的值，以达到想要的图像外观。然后，用户可保存增强的图像数据33，以便稍后在显示器60或其它高动态范围显示器上显示。 

本发明的某些实现包括计算机处理器，其执行使处理器执行本发明的方法的软件指令。例如，图像处理或图像显示系统中的一个或多个处理器可通过执行可由处理器访问的程序存储器中的软件指令来实现图1的方法。也可以将本发明设置为程序产品的形式。程序产品可包括携带有一组计算机可读信号的任何介质，所述计算机可读信号包括当由数据处理器执行时，使数据处理器执行本发明的方法的指令。根据本发明的程序产品可以是各种形式。程序产品可包括例如物理介质：例如，诸如包括软盘、硬盘驱动的磁数据存储介质；包括CD ROM、DVD的光学数据存储介质；包括ROM、闪速RAM等的电子数据存储介质。程序产品上的计算机可读信号可选择地被压缩和加密。 

在上面提到元件(例如，软件模块、处理器、组件、装置、电路等)时，除非另有指示，对元件的引用(包括对“装置”的引用)应理解为包括作为该元件的等价物的执行所描述的元件的功能的任何元件(即，功能上等价)，包括结构上与执行本发明的所示出的示例性实施例的功能的公开的结构不结构等价的元件。 

尽管已在上面描述了多个方面和实施例，本领域技术人员应认识到其某些修改、替代、增加和子组合。例如： 

本发明的应用不限于表示图像数据的任何具体格式或任何具体的色空间。尽管处理亮度值，但原始图像数据23或增强的图像数据33不一定是LUV或明确表示亮度值的其它格式。本发明可以以包含可推导出亮度值的信息的其它图像格式实施。例如，在图像数据被表示为RGB格式的情况下，可通过应用等式(2)、或从图像的各个颜色的值产生与亮度相关的值的其它合适的关系来导出亮度值。 

因此，下面所附权利要求和下文中引进的权利要求应理解为包括在它们的真实精神和范围内的所有这样的修改、替代、增加和子组合。 

Claims (23)

1.一种用于增加表示图像的原始图像数据的动态范围的方法，该方法包括：

按照任意顺序的以下两个步骤：

应用扩展函数以从原始图像数据产生其动态范围大于原始图像数据的动态范围的扩展图像数据；以及

获得扩展映射，其包括表示与图像中的像素相关联的区域的亮度程度的数据以及与每个像素相关联的权重；

以及该方法还包括：

根据所述扩展映射组合原始图像数据和扩展图像数据，以产生增强的图像数据，

其中，所述图像包括原始图像或扩展图像，并且其中，所述权重指示原始图像数据和扩展图像数据对增强的图像数据中该像素的值起作用的相对程度。

2.根据权利要求1所述的方法，其中，获得扩展映射包括对表示所述图像的数据执行中位值切割算法。

3.根据权利要求2所述的方法，其中，获得所述扩展映射包括在与所述像素相关联的区域中估计通过中位值切割算法识别的光源的密度。

4.根据权利要求3所述的方法，其中，与所述像素相关联的区域包括以所述像素为中心的圆形区域。

5.根据权利要求4所述的方法，其中，所述圆形区域的半径在10到20个像素范围内。

6.根据权利要求3所述的方法，其中，估计所述密度包括根据平滑函数对光源加权。

7.根据权利要求6所述的方法，其中，所述平滑函数包括计算一个负值的指数，其是所述光源距所述像素的距离的函数。

8.根据权利要求3所述的方法，其中，估计像素的密度包括根据光源距该像素的距离对光源加权，离所述像素较近的光源比离所述像素较远的光源被赋予更重的权重。

9.根据权利要求2所述的方法，包括执行中位值切割算法，以获得至少2n个光源，其中n至少为9。

10.根据权利要求9所述的方法，其中，在与所述像素相关联的区域中存在至少阈值数量的光源。

11.根据权利要求10所述的方法，其中所述阈值至少为4。

12.根据权利要求11所述的方法，其中所述阈值在从4到6的范围内。

13.根据权利要求1至2中任一项所述的方法，其中，应用所述扩展函数包括应用反色阶映射算子。

14.根据权利要求1至2中任一项所述的方法，其中，应用所述扩展函数包括线性缩放所述原始图像数据的像素发光度值。

15.根据权利要求1至2中任一项所述的方法，其中，应用所述扩展函数包括非线性缩放所述原始图像数据的像素发光度值。

16.根据权利要求1至2中任一项所述的方法，其中，应用所述扩展函数包括在以下二次等式或其数学等价式中求解L_w：

$\frac{{\mathrm{\α}}^2}{L_{\mathrm{white}}^2{\stackrel{\‾}{L}}_w^2}{L}_w^2(x,y)+\frac{\mathrm{\α}}{{\stackrel{\‾}{L}}_w}(1-L_d(x,y))L_w(x,y)-L_d(x,y)=0$

其中L_white是对应于将被映射为压缩数据中的白色的未压缩数据的最小亮度值的参数，是被处理的原始图像的几何平均亮度或其函数，α是

其中L’_max是反色阶映射图像中预期的最大亮度值，并且Ld是对应于原始图像数据中的像素的亮度值。

17.根据权利要求16所述的方法，包括将设定为等于原始图像数据的几何平均亮度。

18.根据权利要求16所述的方法，包括将L’_max和L_white设定为相同量级大小的值，其中：

$L_{\max }^{\′}=\frac{L_{\mathrm{white}}{\stackrel{\‾}{L}}_w}{\mathrm{\α}}$

19.根据权利要求1至2中任一项所述的方法，其中，组合所述原始图像数据和扩展图像数据包括计算原始图像数据和扩展图像数据的像素亮度值的加权平均，其中权重值是根据扩展映射确定的。

20.根据权利要求1至2中任一项所述的方法，其中，组合所述原始图像数据和扩展图像数据包括内插原始图像数据和扩展图像数据的像素亮度值，其中权重值是根据扩展映射确定的。

21.一种用于扩展原始图像数据的动态范围的设备，该设备包括：

动态范围扩展器，连接以接收原始图像数据和输出动态范围大于该原始图像数据的动态范围的扩展图像数据；

亮度分布分析器，被配置为产生表示与所述原始图像数据的图像中的像素相关联的区域的亮度以及与每个像素相关联的权重的扩展映射；

图像组合器，被配置为根据所述扩展映射将所述原始图像数据与来自动态范围扩展器的扩展图像数据组合，以产生增强的图像数据，

其中，所述权重指示原始图像数据和扩展图像数据对增强的图像数据中该像素的值起作用的相对程度。

22.根据权利要求21所述的设备，其中，所述亮度分布分析器被配置为执行中位值切割算法。

23.根据权利要求22所述的设备，其中，所述亮度分布分析器被配置为通过应用所述中位值切割算法产生至少512个光源。

Images