CN1954339B - 用于将图像从低动态范围转换为高动态范围的方法和系统 - Google Patents

Abstract

本发明的诸方面提供了用于将以低位深度表示来表示的数字图像转换为高位深度表示的系统和方法。对饱和区进行识别，其中所述饱和区中像素的色模型值高于上饱和阈值或低于下饱和阈值。然后通过对应的调整来调整用于所述饱和区中每个像素的色模型值。对于每个像素，所述调整的大小取决于图像数据的特性。

Description

用于将图像从低动态范围转换为高动态范围的方法和系统

对相关申请的应用

本申请要求了提交于2004年4月15日的名称为“Low DynamicRange Image Enhancement for High Dynamic Range Systems”的美国申请No.60/562240的提交日的权益，该申请通过引用结合于此。

技术领域

本发明涉及数字成像系统领域。本发明的特定实施例涉及将数字图像从具有相对低动态范围的表示转换为具有相对高动态范围的表示。

背景技术

数字图像通常包括图像元素或像素的阵列。在彩色图像中，每个像素表现图像中特定点处的色彩。在黑白(或灰度)图像中，每个像素表现图像中特定点处的亮度水平。

存在许多用于对与数字图像中特定像素相关联的色彩(或灰度)编码的模型。典型地，对于彩色图像，这样的模型包括三个色模型值。例如，在众所周知的RGB色模型中，每个像素由对应于基色红的水平的值(R)、对应于基色绿的水平的值(G)和对应于基色蓝的水平的值(B)表示。在另一常见的色模型、称为YIQ模型中，每个像素由称为亮度的值(Y)和称为色度的一对值(I，Q)表示。YIQ模型在NTSC电视标准中使用。存在对于本领域的技术人员众所周知另外的许多其它色模型。其它色模型的非限制性的实例包括CMY和CMYK(在印刷工业中使用)、YUV(在PAL视频标准中使用)、YCbCr(在JPEG和MPEG标准中使用)、HSV和HSL。

在实践中，数字成像系统使用许多二进制位对给定像素的每个色模型值编码。用于每个色模型值的位的数目可称为该色模型值的“位深度”。许多现有技术数字成像系统为每个色模型值使用8位(即有效范围为0到(2⁸-1)＝255)。例如，使用RGB色模型的现有技术系统可以为R、G和B色模型值中的每个使用8位数。这样可以在这样的系统中表示的不同色彩的最大数目是2⁸×2⁸×2⁸＝2²⁴。这些数字成像系统可称为低动态范围(LDR)系统。

数字成像系统的新近发展已提供了具有显示具有多于2²⁴个不同色彩的图像的能力的数字成像系统。这样的数字成像系统可称为高动态范围(HDR)系统。一些HDR成像系统能够处理和/或显示具有大位深度(即每个色模型值使用多于8位)的色模型值。

一些色模型，如上述YIQ模型，利用人眼的感知特性来设计。已发现，人眼对亮度(Y)的差异比对色度(I，Q)的差异更敏感。因此，一些数字成像系统可设计为在与亮度(Y)相关联的色模型值中具有高位深度而在与色度(I，Q)相关联的色模型值中具有低位深度。

存在着对向后兼容的新一代HDR系统的一般期望。因此，存在着为高位深度成像系统提供能够转换和使用由低动态范围系统捕捉的图像或在另外的情况下以低位深度表示的图像的能力的总的需求。

当用于数字图像中的像素的色模型值中的一个或多个处于其最大可能值时，该色模型值称为“饱和”.例如，在使用YIQ色模型的8位LDR成像系统中，当亮度值(Y)具有值2⁸-1＝255时，其达到饱和。例如，在捕捉到具有非常亮的斑点如光或太阳的数字图像时，可以发生亮度饱和。本领域的技术人员将理解，数字图像中任何色模型值的饱和可能涉及图像信息的损失。在一些应用中，当数字图像中的色模型值中的一个或多个饱和时，需要重建或在另外的情况下估算损失的一些图像信息。

发明内容

本发明的一方面提供了一种用于将图像数据从低位深度表示转换为高位深度表示的方法。该方法包括识别饱和区中的像素。饱和区中每个个别像素的色模型值高于上饱和阈值和/或低于下饱和阈值。该方法还包括通过对应的调整来调整饱和区中每个个别像素的色模型值，每个调整的大小至少部分地取决于对应像素与饱和区边缘之间的像素的数目。

本发明的另一方面提供了一种包括承载计算机可读指令的介质的计算机程序产品，所述计算机可读指令当由处理器执行时使得处理器执行一种用于将图像数据从低位深度表示转换为高位深度表示的方法。该方法包括识别饱和区中的像素。饱和区中每个个别像素的色模型值高于上饱和阈值和/或低于下饱和阈值。该方法还包括通过对应的调整来调整饱和区中每个个别像素的色模型值，每个调整的大小至少部分地取决于对应像素与饱和区边缘之间的像素的数目。

本发明的又另一方面提供了一种用于处理图像数据的系统，该系统包括用于将图像数据从低位深度表示转换为高位深度表示的处理器。该处理器配置为识别饱和区中的像素。饱和区中每个个别像素的色模型值高于上饱和阈值和/或低于下饱和阈值。该处理器还配置为通过对应的调整来调整饱和区中每个个别像素的色模型值，每个调整的大小至少部分地取决于对应像素与饱和区边缘之间的像素的数目。

下面描述本发明的特定实施例的进一步的特征和应用。

附图说明

在图示了本发明的非限制性实施例的附图中：

图1A是根据本发明的一个实施例的用于将图像的色模型值从低位深度表示转换为高动态范围的方法的示意图；

图1B是图1A的方法的特定实施例的实例；

图2A是根据图1B的方法的处理之前的8位色模型值的范围的示意性表示；

图2B是根据图1B的方法的均匀缩放之后的色模型值的范围的示意性表示；

图2C是根据图1B的方法的施加均匀偏移之后的色模型值的范围的示意性表示；

图3A是示出了可构成图1B的方法的一部分的扫描线上的像素的Y值的实例的曲线图；

图3B是示出了可构成图1B的方法的一部分的扫描线上的像素的Y值的可替选实例的曲线图；

图3C是示出了图3B扫描线的放大部分上的Y值的曲线图；

图4A是描绘了根据本发明的特定实施例的用于扫描图1B的方法中的图像数据的色模型值的特定方法的实例的示意图；

图4B是描绘了根据本发明的特定实施例的用于缩放图1B的方法中的图像数据的色模型值的特定方法的实例的示意图；

图5是示出了根据特定缩放方法缩放之后的图3C扫描线部分的Y值的曲线图；

图6A是示出了图5的缩放的扫描线部分的Y值以及已沿不同的轴被扫描和缩放的相同像素的Y值的曲线图；以及

图6B是示出了图6A的曲线图中所示的像素的Y值的平均的曲线图。

具体实施方式

在整个下面的描述中，阐明了特定细节以提供本发明的更全面的理解。然而，可以在没有这些细节的情况下实践本发明。在其他情形下，没有仔细描述或示出众所周知的元件，以避免不必要地模糊本发明。因此，说明书和附图应视为说明性的而非限制性的。

本发明的诸方面提供了用于将以低位深度表示的数字图像转换为具有高位深度的表示。在图像数据内，对饱和区进行识别。饱和区中的像素具有高于上饱和阈值或低于下饱和阈值的色模型值。然后用于饱和区中每个像素的色模型值根据图像数据的一个或多个特性来调整。例如，可以将用于饱和区中每个像素的色模型值缩放对应的缩放系数。对应于特定像素的调整的量(例如缩放系数的幅度)可取决于如下所列的一个或多个：

·特定像素相对于饱和区边缘的距离；

·饱和区的尺寸；

·恰好在饱和区之外的像素中的色彩值的梯度；

·特定像素的色彩值的时间行为；

·对应于特定像素的其它色彩值的行为；以及

·饱和区周围的透镜耀斑图案的存在。

经调整的色模型值构成图像的高位深度表示，其可用于随后的处理和/或显示。

图1A是根据本发明的特定实施例的用于将以低位深度表示的图像的色模型值转换为高位深度的方法100的示意图。为了便于解释，假设：(i)经历方法100的图像以YIQ色模型编码；(ii)经历方法100的色模型值是亮度(Y)；以及(iii)图像的低动态范围表示中的Y值具有标准的8位LDR深度，而高动态范围表示中的Y值具有16位HDR深度。本领域的技术人员将理解，方法100可应用于使用其它色模型编码的图像数据以及这样的色模型内的不同色模型值。方法100还可应用于色模型值的组合(例如色模型值的线性或非线性组合)而不是个别色模型值。在一些实施例中，色模型值的组合用来确定合适的调整，然后所述调整应用于个别色模型值。方法100还可用来将任何低位深度表示转换为高位深度表示，而无论位深度的差异如何。

方法100开始于框110，其中初始地调整用于LDR图像数据的每个像素的Y值102以适合于高位深度表示。在一个特定实施例中，框110初始调整对于每个像素的Y值是均匀(即常数)的。在其它实施例中，框110初始调整可包括伽马校正或某个其它的非均匀调整，如线性或非线性调整。框110初始调整可包括查询表的使用。在框110中的初始调整之后，方法100进行到包括识别图像数据中的饱和区的框120。识别饱和区可包括对具有高于上饱和阈值或低于下饱和阈值的Y值的像素进行识别。

在框130中，根据一个或多个图像特性进一步调整饱和区中像素的Y值。饱和区中像素的Y值的调整可以是非均匀的。即，可以将饱和区中个别像素的Y值调整不同的量。优选地，饱和区中个别像素的Y值的进一步调整根据图像数据的一个或多个特性来确定。合适的图像数据特性的实例包括：

·特定像素距饱和区边缘的距离；

·饱和区的尺寸；

·恰好在饱和区之外的像素中的色彩值的梯度；

·特定像素的色彩值的时间行为；

·对应于特定像素的其它色彩值的行为；以及

·饱和区周围的透镜耀斑图案的存在。

在进一步调整饱和区中像素的Y值之后，方法100进行到框140，其中经调整的Y值(即框130的结果)可任选地用于进一步的HDR处理/显示/打印等。方法100容易实施并且可显著地改进从LDR图像数据转换的HDR图像的外观。特别而言，与简单的线性缩放技术相比较，方法100可改进从LDR图像数据转换的HDR图像的外观。

图1B的方法100′是图1A的方法100的特定实施例的实例。为了解释的目的，方法100′的描述包括下列假设：(i)经历方法100′的图像以YIQ色模型编码；(ii)经历方法100′的色模型值是亮度(Y)；以及(iii)图像的低动态范围表示中的Y值具有标准的8位LDR深度，而高动态范围表示中的Y值具有16位HDR深度。本领域的技术人员将理解，方法100′可应用于使用其它色模型编码的图像数据以及这样的色模型内的不同色模型值。方法100′还可应用于色模型值的组合(例如色模型值的线性或非线性组合)而不是个别色模型值。在一些实施例中，色模型值的组合用来确定合适的调整，然后所述调整应用于个别色模型值。方法100′还可用来将任何低位深度表示转换为高位深度表示，而无论位深度的差异如何。

方法100′以图像数据102中像素的Y值的初始调整(框110)开始。在方法100′的特定实施例中，框110初始调整分为均匀缩放(框112)和均匀偏移(框114)。如上所述，在可替选实施例中，框110初始调整可包括伽马校正或某个其它的非均匀调整，如线性或非线性调整。框110初始调整可包括查询表的使用。

框112缩放包括用于图像数据中每个像素的Y值的恒定缩放系数。Y值102的均匀缩放可视为8位LDR深度与16位HDR深度之间的第一级次(order)转换。例如，8位LDR Y值具有2⁸个可能值的范围。如果将8位值缩放256(2⁸)，则可能值的范围将增大到2¹⁶，由此使用了全16位范围表示。然而，根据方法100′，在框112中执行的线性缩放使用一均匀缩放系数，其提供小于全16位HDR值的可能范围。

图2A和2B分别描绘了框112缩放之前和之后的Y值的值范围的示意性表示.在图2A和2B的图示实例中，框112缩放涉及100的均匀缩放系数.如图2B中所示，为框112选取一缩放系数，其提供小于HDR值的全可能范围，留出空间104以便于在Y值数据的上端的进一步调整，如下面所更详细讨论的.在其它应用中，在框112中应用的均匀缩放系数可具有其它值，其可取决于低位深度色模型值的位深度和/或高位深度色模型值的位深度.在一些实施例中，框112缩放系数选择为在高位深度范围与低位深度范围之比的0.25到0.75的范围内.在从8位LDR表示到16位HDR表示的转换的实例中，框112缩放系数的范围可以是0.25*(2¹⁶/2⁸)＝64到0.75*(2¹⁶/2⁸)＝192。

然后方法100′进行到任选框114，其中将从框112得到的经缩放的Y值数据偏移一均匀的正偏移。框114偏移包括用于图像数据中每个像素的恒定偏移。在图2B(偏移前的经缩放的Y值)和2C(经缩放的和经偏移的Y值)中示意性地示出框114偏移的效果。如通过比较图2B与图2C看到的，将均匀的正偏移叠加于每个经缩放的Y值具有如下效果：水平上向上并且远离零值地使整个图像的Y值范围“滑动”。在图2B和2C的实例中，框114偏移包括1000的正偏移。如图2C中所示，1000的框114偏移将把Y值数据置于1000-26500范围的范围内。在其它应用中，在框114中应用的恒定偏移水平可具有其它值，其可取决于低位深度色模型值的位深度和/或高位深度色模型值的位深度。在一些实施例中，框114偏移选择为在高位深度范围的0.01到0.1的范围内。例如，如果高位深度是16位，则框114偏移可选择为在0.01*2¹⁶＝655到0.1*2¹⁶＝6554的范围内。

如在下面更详细解释的那样，任选框114偏移使Y值数据远离零而平移，这为Y值数据的下端的进一步调整酌留了空间106。在一些应用中，提供Y值数据的下端的进一步的部分调整是不必要的或不期望的。在这样的应用中，不需要框114偏移。

如同方法100一样，方法100′的框120包括识别饱和区。在方法100′的特定实施例中，饱和区的框120识别包括在框122中扫描图像数据的Y值以寻找Y值饱和的区。在框122中扫描的实际图像数据可以是从框110(或框112或114之一)得到的Y值数据或者可以是原始LDR图像102的Y值数据。

在实践中，框122扫描过程可包括扫描图像数据的像素以寻找其中像素的Y值高于上饱和阈值(S_th)的区。此上饱和阈值S_th不需要必然意味着Y值在严格意义上饱和。例如，如果在框122中扫描的Y值具有8位的位深度，则上饱和阈值S_th可对应于250的Y值水平。在其它应用中，上饱和阈值S_th可以是真实饱和阈值(即对于8位的位深度为255的Y值水平)。在此说明书和附随的权利要求中，如未另外规定，饱和区应理解为意指如下区：其中所讨论的色模型值大于上饱和阈值而不应局限于严格意义上的饱和。

图4A描绘了一种用于在框122中扫描图像数据的Y值的示例方法200。扫描方法200包括沿着第一轴(框210)、第二轴(框220)和第三轴(框230)扫描图像数据的Y值。沿着特定轴扫描图像数据可包括沿着一系列平行于该轴的线扫描图像数据直到整个图像被扫描为止。在一个特定实施例中，第一和第二扫描轴(框210、220)是水平轴和竖直轴，而第三扫描轴(框230)是对角线。在一些实施例中，不需要沿着第二和/或第三轴(框210、220)扫描。在其它实施例中，沿着附加的轴(未示出)扫描图像数据的Y值，该附加的轴可包括取向与框230的对角线轴相对的第四对角线轴。

图3A是示出了可构成框210、220或230中的扫描的一部分的扫描线300上的Y值的实例的曲线图。本领域的技术人员将理解，扫描整个图像(如在框210、220和230中所进行的那样)包括多个类似于扫描线300的扫描线。为了便于解释，假设扫描线300是跨具有512个像素的水平尺度的图像的水平扫描线。如图3A曲线图的竖直轴上所示，示例扫描线300表示对原始LDR图像102的8位Y值数据执行的扫描。

回到图1B，在框122中扫描图像数据的目的是识别图像数据中的饱和区，其中Y值高于上饱和阈值S_th。假设(如图3A中所示)在250的Y值水平处存在上饱和阈值S_th，则可以从图3A看到扫描线300包括两个饱和区302、304.饱和区302是像素号392-395之间的比较小的饱和区，而饱和区304是像素号398-419之间的比较大的饱和区.

如上所述，也可以对已被缩放和/或偏移为框112、114的一部分的图像数据的Y值执行框122扫描过程。图3B是示出了扫描线310的曲线图，扫描线310除了其对已被缩放(在框112中)100倍并被偏移(在框114中)1000的偏移的图像数据的Y值执行之外，与扫描线300(图3A)一致。图3C是像素号350和450之间的区中的扫描线310(图3B)的放大视图。如果图3A的实例中的上饱和阈值S_th也被缩放并偏移，则图3B、3C的实例的对应的上饱和阈值(S_th′)将是S_th′＝100S_th+1000＝26,000。从图3B、3C中可以看到，扫描线310还分别包括像素号392-395之间的和像素号398-419之间的两个饱和区312、314。

当在框120中确定了图像数据的Y值包括一个或多个饱和区时，则在框130中进一步调整饱和区中像素的Y值。在图1B的特定示例实施例中，框130进一步调整包括在框132中进一步缩放饱和区中像素的Y值。本领域的技术人员将理解，可以在一些实施例中使用调整技术而非缩放。饱和区中像素的Y值的框132缩放试图重建饱和区中的一些图像信息并且由此增强总体HDR图像的外观。考虑图3B、3C的示例扫描线310和图2C中示出的经扫描和缩放的Y值的范围，显而易见，框112缩放和框114偏移已为饱和区312、314中的Y值的进一步向上缩放留有空间104。

优选地，框132缩放针对特定饱和区内的像素以逐个像素为基础来确定，并且包括关于个别像素的Y值会如何在饱和区内变化的预测。对于饱和区内的特定像素，此预测(和对应的缩放系数)可基于饱和区内的和/或与饱和区相邻的图像数据的一个或多个特性。对于饱和区内的特定像素，饱和区内的和/或与饱和区相邻的图像数据的这样的特性可包括：

·特定像素距饱和区边缘的距离；

·饱和区的尺寸；

·恰好在饱和区之外的像素中的色彩值的梯度；

·特定像素的色彩值的时间行为；

·对应于特定像素的其它色彩值的行为；以及

·饱和区周围的透镜耀斑图案的存在。

图4B示意性地描绘了一种用于在框132中缩放饱和区内的个别像素的Y值的示例方法400。示例方法400开始于框410，其包括确定特定扫描线中的饱和区的边缘。例如，在图3C的扫描线310中，框410可包括确定饱和区312开始于像素号392并终止于像素号395和/或确定饱和区314开始于像素号398并终止于像素号419。饱和区的边缘像素之间的差异产生饱和区的尺寸。例如，在图3C的扫描线310中，饱和区312具有3个像素的尺度并且饱和区314具有21个像素的尺度。饱和区的边缘还可用来确定饱和区的中心。例如，在图3C的扫描线310中，饱和区312以像素394为中心并且饱和区314以像素409为中心。

框420包括确定用于饱和区中的每个个别像素的Y值的缩放系数.每个缩放系数与特定像素相关联，并且用于每个像素的缩放系数可以不同.在本发明的一个实施例中，用于与每个像素相关联的Y值的缩放系数基于特定像素距饱和区边缘的距离来确定.缩放系数对于相对靠近饱和区边缘的像素可较小而对于相对远离饱和区边缘的像素可较大.用于确定用于与每个像素相关联的Y值的缩放系数的一个附加的或可替选的基础可以是饱和区的尺寸.

在一个特定实施例中，用于饱和区内特定像素的缩放系数的框420确定基于其中抛物线的极值(即顶点)位于饱和区中心的抛物线方程。抛物线的高度可以正关联于饱和区的尺寸。用于计算这些缩放系数的抛物线方程的一个实例是：

$L\left(x\right)=\frac{1}{4}\frac{x^2-2\mathrm{vx}+v^2+4L_{v}k}{k}---\left(1\right)$

其中：x是饱和区中的像素数目的索引，并假设x＝0是第一饱和像素；v是饱和区中中心像素(即顶点像素)的索引；L_v是最大缩放系数(即抛物线顶点的缩放系数)；且k是陡度参数。

假设将饱和区边缘与周围图像匹配是所期望的，缩放系数可选择为在饱和区的起始像素和终止像素处为1。利用这样的边界条件，抛物线方程(1)中还剩两个参数需要选择：即：最大缩放系数L_v和陡度参数k。

在一个实施例中，最大缩放系数L_v可以设定在预定水平。这样的预定最大缩放水平L_v可取决于在框112中(图1B)执行的初始缩放的量以及原始低位深度图像数据和所得到的高位深度图像数据的位深度。

在另一实施例中，最大缩放系数Lv的选择至少部分地基于饱和区的尺寸。优选地，最大缩放系数Lv正关联于饱和区的尺寸。即，最大缩放系数L_v选择为对于较大饱和区较大而对于较小饱和区较小。在一个实例中，最大缩放系数L_v选择为与直到最大值的饱和区的尺寸直接成比例。

如果L_v选择为具有特定值，且缩放系数选择为在饱和区的起始像素和终止像素处为1，则陡度参数k由下面的式子给出：

$k=\frac{1}{4}\frac{v^2}{1-L_v}---\left(2\right)$

在框420中确定的缩放系数用来在框430中缩放饱和区中每个像素的Y值。

图5描绘了在根据方程(1)的框420缩放之后的扫描线310′的一部分。可以通过将经缩放的扫描线310′(图5)的区312′、314′与未缩放的扫描线310(图3C)的区312、314相比较而看到扫描线310′的缩放。图5示出了区312′、314′中的缩放在形状上是抛物线。

图5还示出了区314′中的抛物线缩放的幅度大于区312′中的抛物线缩放的幅度。即，在图5的曲线图中，区314′的最大缩放系数L_v选择为大于区312′的最大缩放系数L_v，因为饱和区314(图3C)大于饱和区312(图3C)。这证实了根据本发明的特定实施例的饱和区的尺寸与最大缩放系数L_v的选择之间的正关联。本领域的技术人员将理解，如果最大缩放系数L_v对于饱和区312和314设定在相同的预定水平，则图5的抛物线区312′和314′将具有基本上类似的高度。

优选地，适当地选择最大缩放系数L_v。如果最大缩放系数L_v选择得过大，则框132缩放可能引入假象。在缩放Y值(亮度)的情形下，过大的最大缩放系数L_v的选择可能引起饱和区以使得它们过亮的方式被缩放。当最大缩放系数L_v的选择关联于饱和区的尺寸并且适当地选择最大缩放系数L_v时，料想为很亮的一些小区域可能被欠缩放.幸运的是，人视觉系统不能很精确地评估小区域的亮度.

可使用取决于个别像素距饱和区边缘的距离的其它技术来确定用于饱和区中每个个别像素的Y值的缩放系数。例如，可使用线性方程或更高阶方程来确定缩放系数。合适的线性方程的一个实例由下面的式子给出：

$L\left(x\right)=\left\{\begin{array}{cc}\frac{L_v-1}{v}x+1& \mathrm{for}0\&le;x\&le;L_v\\ \frac{1-L_v}{v}x+2L_v-1& \mathrm{forv}<x\&le;2v\end{array}\right.---\left(3\right)$

其中：x是饱和区中的像素数目的索引，并假设x＝0是第一饱和像素；v是饱和区中中心像素(即顶点像素)的索引；L_v是最大缩放系数。最大缩放系数L_v可通过这里公开的任何技术来确定。

可在框440中对每个饱和区沿着特定扫描线重复缩放方法400以完成扫描线的缩放。可以以类似的方式缩放沿着特定轴的图像的所有扫描线。在完成此过程时，沿着特定轴扫描的图像数据的Y值(例如，在框210(图4A)中扫描的图像数据的Y值)将被完全地缩放。可使用类似的缩放过程来缩放沿着其它轴扫描的图像数据的Y值，例如在框220、230(图4A)中扫描的图像数据的Y值)。

在一个特定实施例中，沿着第一轴扫描和缩放的图像数据的经缩放的Y值可以与沿着一个或多个其它轴扫描和缩放的图像数据的Y值相组合。沿着不同轴扫描和缩放的Y值的这样的组合可出现于任选框135(图1B)。图6A描绘了已沿着第一轴例如水平轴扫描和缩放的图5的扫描线310′的Y值。图6A还描绘了(以虚线)已使用相同的过程、但在第二轴例如竖直轴上缩放和扫描的像素的经缩放的Y值310″。从图6A可看到，已沿着第二轴扫描和扫描的Y值310″已在相同的饱和区312″、314″中被缩放，但缩放不同。

在一些区316中，经缩放的Y值310″大于经缩放的Y值310′，而在其它区318中，经缩放的Y值310″小于经缩放的Y值310′。由于最大缩放系数L_v的选择，这些缩放差异可能发生。如上所述，最大缩放系数L_v的选择可基于饱和区的尺寸。因此，区316、318中的Y值的不同缩放可能归因于当沿着第一轴和第二轴扫描饱和区时饱和区的不同尺度。区316、318中的缩放差异还可能归因于当沿着第一轴和第二轴扫描饱和区时个别像素相对于饱和区边缘的不同位置。

一种将沿着多个轴扫描和缩放的图像数据的Y值相组合(框135)的方法是取平均。图6B描绘了对Y值310′和310″取平均之后的图像数据的线的Y值320。尽管图6B的Y值320表示沿着两个轴扫描和缩放的图像数据的Y值310′、310″的平均，但本领域的技术人员将理解，也可以以类似的方式对沿着其它轴扫描和缩放的图像数据的Y值取平均。

图6B的Y值320表示常规的取平均技术。在一些应用中，以不同方式、例如通过加权平均或根据某个其它函数将沿着不同轴扫描和缩放的图像数据的Y值相组合(框135)可能是有用的。在一个特定的可替选实施例中，沿着第一轴扫描和缩放图像数据的Y值，并然后接着沿着不同轴扫描和缩放第一扫描和缩放操作的结果。在另一可替选实施例中，在“模糊取平均”技术中，将沿着不同轴扫描和缩放的图像数据的Y值相组合，该技术可包括常规取平均，之后使两个或更多个相邻像素的平均值模糊。

图6B的Y值320的取平均示出了区324(即先前饱和的区之一)中的某个比较迅速的空间变化.以缩放系数的保守选择，这样的相对迅速的空间变化如果不是不可能用人眼检测到也将是难以用人眼检测到的.在图6B的图示中，此空间变化出现于亮度范围的上部(即在约50,000的Y值处)，并且由取平均过程引入的最大亮度变化约为5000梯级(即10％变化).在一个典型的HDR显示系统中，50,000的亮度对应于约8,000cd/m²。在该亮度水平下，人眼在理想状况下可感知约10％亮度对比度的最小值。然而，在该亮度水平下的典型观察情况下，最小可检测到的亮度对比度将大得多。因而，缩放系数(且特别而言，最大缩放系数L_v)可选择为使得用户将不大可能能够感知由取平均引入的空间变化效应。另外，如上所述，可以使用“模糊取平均”技术将沿着不同轴扫描和缩放的图像数据的Y值相组合，该技术可减小图6B中所示的相对迅速的空间变化。

缩放方法400可使用图像数据的其它附加或可替选特征来确定用于图像中个别像素的Y值的缩放系数。可以在确定用于饱和区中个别像素的缩放系数时使用的图像数据的附加或可替选特征的一个特定实例是相邻于饱和区的区中的图像数据的行为。在典型的图像中，很锐利的对比度边界相对稀少，并且大部分饱和区可能被其中饱和区周围的Y值向上倾斜至饱和区的亮度梯度所包围。

可假设：如果相邻于饱和区的Y值的梯度相对高，则饱和区中像素的Y值应缩放相对大的缩放系数，而如果相邻于饱和区的Y值的梯度相对低，则饱和区中像素的Y值应缩放相对小的缩放系数。基于此假设，用于个别像素的Y值的缩放系数(在框420中确定)可以正关联于恰好在饱和区之外的像素的Y值的梯度。更特别地，可基于恰好在饱和区之外的像素的Y值的梯度来选择最大缩放系数L_v。

在一个实例中，可遍及恰好在饱和区之外的若干像素来计算饱和区前的Y值的平均梯度。可遍及其计算平均的像素的数目可等于饱和区的尺度的一半。对于这样的实例，饱和区前的Y值的平均梯度可由下面的式子给出：

${\&dtri;}_{\mathrm{avg},\mathrm{pre}}=\underset{i=-v}{\overset{0}{\mathrm{\&Sigma;}}}\frac{Y(x=0)-Y(x=i)}{\left|i\right|}---\left(4\right)$

其中：x是像素数目的索引，并假设x＝0是第一饱和像素；且Y(x)是具有索引x的像素的Y值。类似地，饱和区后的Y值的平均梯度可由下面的式子给出：

${\&dtri;}_{\mathrm{avg},\mathrm{past}}=\underset{i=2v}{\overset{3v}{\mathrm{\&Sigma;}}}\frac{Y(x=2v)-Y(x=i)}{\left|i\right|}---\left(5\right)$

尽管方法(4)和(5)表示一种用于计算相邻于饱和区的区中的平均梯度的技术，但本领域的技术人员将理解，存在可用来获得这些区中的梯度信息的其它估算技术。这样的技术包括例如：使用不同像素对测量斜率，在较大或较小数目的像素上取平均以及加权平均技术。

使用这些平均梯度值，可通过根据下面的式子的线性插值选择最大缩放系数L_v：

$L_v=1+\frac{1}{2}v[{\&dtri;}_{\mathrm{avg},\mathrm{pre}}+{\&dtri;}_{\mathrm{avg},\mathrm{past}}]---\left(6\right)$

方程(6)的线性插值技术表示一种通过其基于饱和区周围的区中的梯度选择最大缩放系数L_v的方法。根据方程(4)、(5)和(6)选择最大缩放系数L_v的技术具有如下优点：足够保守以便使通过估算用于饱和区中的一个或多个像素的缩放系数而引入假象的危险最小化。

在某些情况下，根据方程(4)、(5)和(6)的修改版本选择最大缩放系数L_v可能是有用的.例如，当相同扫描线上的两个饱和区被分隔以小于它们的两个顶点像素之和的距离时，则可以将这两个饱和区之间的非饱和区分裂成两半以便建立平均梯度.即，可在等于饱和区之间的像素数目的一半的较小数目的像素上计算以方程(4)和(5)表示的平均.

在另一实例中，方程(6)可产生最大缩放系数L_v，其当与顶点(Y(x＝v))的Y值相乘时产生大于用于特定HDR系统的最大可能Y值的结果。例如，16位HDR系统中的最大可能Y值是Y＝2¹⁶-1。如果由方程(6)确定的最大缩放系数L_v产生高于用于特定HDR系统的最大可能Y值的Y值，则最大缩放系数L_v可设定为使得产生用于特定HDR系统的最大可能Y值。例如，在16位HDR系统中，最大缩放系数L_v可设定在L_v，max＝(2¹⁶-1)/Y(x＝v)。

在又另一实例中，将附加的参数α插入方程(6)的第二项中可能是有利的。此参数α可用来控制梯度平均对最大缩放系数L_v的影响。本领域的技术人员将理解，使用参数α，系统设计者(或合适配置的系统)可控制其它像素的总体缩放和最大缩放系数L_v的保守度。

将与最大缩放系数L_v相关联的像素(例如极值像素v)选择为在饱和区的中心是任意的。在可替选的实施例中，也可以基于图像数据的特征选择与最大缩放系数L_v相关联的像素的位置。在一个特定的实例中，可基于饱和区周围的区中的Y值的梯度选择与最大缩放系数L_v相关联的像素的位置。例如，对于特定的扫描线，如果饱和区前的Y值的梯度大于饱和区后的Y值的梯度，则可假设与最大缩放系数L_v相关联的像素应更靠近饱和区的起始而不是饱和区的终止。

在某些情况下，饱和区将出现在图像的边缘上，并且具有沿着特定扫描线的饱和Y值的像素将一直延伸到图像数据的边缘。在这样的情形下，有可能检测到饱和区的一个边缘处的像素，但不可能检测到相对边缘处的像素。一种用于处理此情况的技术包括将图像的边缘处的像素任意地选择为与最大缩放系数L_v相关联的像素。如果适当地选择参数L_v，则此任意选择不预期导致任何显著的假象。

在一些实施例中，将图像数据的其它特征用作用于确定用于饱和区中个别像素的Y值的缩放系数的附加或可替换基础。例如，上述技术考虑了基于饱和区的一维尺寸(即沿着特定扫描线)和/或基于扫描线的任一侧上的像素的梯度来确定缩放系数。将缩放系数的确定基于图像数据的二维特性、如饱和区的总二维面积(即饱和区中像素的数目)和/或饱和区周围像素的梯度可能是有利的。

可用作确定缩放系数的附加或可替选基础的图像数据的另一个二维特性是透镜耀斑特征如幻日、晕或耀斑图案的存在。透镜耀斑特征展示出既可以在图像数据内检测到又可以建模的众所周知的特性。如果检测到这样的透镜耀斑特征，则可以使用至少部分地基于所检测的透镜耀斑的特性的模型来确定个别像素的缩放系数。

在视频图像数据中，可以将用于特定像素的Y值的时间变化用作用于确定用于该特定像素的缩放系数的附加或可替选基础。在这样的情形下，可假设：如果对于最后数目的帧，用于一像素的先前Y值已饱和，则该像素可被准许相对大的缩放系数，而如果对于最后数目的帧，用于一像素的先前Y值未饱和，则该像素可被分配相对小的缩放系数。

可用作确定用于特定像素的缩放系数的附加或可替选基础的图像特征的另一实例是其它色模型值的水平.例如，在YIQ色模型中，I和Q色模型值的水平可用来帮助确定用于Y值的缩放系数.此技术在如RGB色模型的色模型中有特别的应用，在RGB色模型中，某些亮度信息包含在R、G和B色模型值中的每个中.

回到图1B，获得为框130的结果的图像数据的进一步经缩放的Y值可任选地用于框140中的进一步HDR处理/显示/打印等。方法100′容易实施并且可显著地改进从LDR图像数据转换的HDR图像的外观。特别而言，与简单的线性缩放技术相比较，方法100′可改进从LDR图像数据转换的HDR图像的外观。

本发明的某些实施包括执行软件指令的计算机处理器，所述软件指令使得处理器执行本发明的方法。例如，双调制显示系统中的一个或多个处理器可通过执行从处理器可访问的程序存储器中检索的软件指令来实施这里描述的方法中的数据处理步骤。本发明还可以以程序产品的形式提供。该程序产品可包括承载一组计算机可读信号的任何介质，该组计算机可读信号包括当由数据处理器执行时使得数据处理器执行本发明的方法的指令。根据本发明的程序产品可以以许多种形式中的任一种。该程序产品可包括例如物理介质，如包括软盘、硬盘驱动器的磁数据存储介质、包括CD ROM、DVD的光数据存储介质、包括ROM、快闪RAM的电子数据存储介质等，或传输型介质如数字或模拟通信链路。指令可以以压缩的和/或加密的格式存在于程序产品上。

如果一部件(例如软件模块、处理器、组件、设备、电路等)引用上述部件，除非另外指出，对该部件的引用(包括对“装置”的引用)应解释为：该部件包括执行所描述的部件的功能(即功能上等同)的任何部件的等同物，上述任何部件包括在结构上不等同于执行本发明的图示的示范性实施例中的功能的所公开的结构的部件。

根据前面的公开，对于本领域的技术人员显而易见的是，可以在不背离本发明的精神和范围的情况下，对本发明的实践进行许多改变和修改。例如：

·这里描述的技术包括使用若干过程处理图像数据。上面提供的解释假设所有图像数据都是可用的并且图像数据不需要实时处理。在某些情况下，可能不是所有图像数据都是可用的。另外，图像数据可能需要实时处理。本领域的技术人员将理解，可以以不同的顺序执行上述过程，或可以以循环的方式部分地执行上述过程。例如，方法100′描述了完整地扫描图像数据以寻找饱和区(框122)，在图像数据被扫描之后缩放图像数据(框132)并然后显示(或进一步处理)图像数据(框140)。可能有用的是：扫描图像的一部分(例如一个扫描线)，缩放图像的该部分并然后在完成整个图像的扫描和缩放之前显示图像的该部分。在扫描、缩放和显示图像的一部分之后，过程则可以循环回到扫描、缩放和显示图像的下一部分。例如，当不是所有图像数据都是可用的或图像数据必须实时处理时可以使用此技术。另例如，缩放方法400描述了在框420中确定用于多个像素的Y值的缩放系数并然后在框430中实际缩放这些像素的Y值。本领域的技术人员将理解，在某些情况下，可能有用的是：确定用于特定像素的缩放系数并然后在确定用于下一像素的缩放系数之前缩放个别像素。

·上述方法中的一些包括使用线性方程或抛物线方程计算缩放系数。本领域的技术人员将理解，可使用其它函数计算缩放系数。优选地，这样的函数在饱和区中具有极值。

·上述图1B的方法100′包括通过缩放(框132)进一步调整饱和区中像素的Y值(框130).本领域的技术人员将理解，可选择其它调整方法来实施饱和区中像素的Y值的框130调整.例如，不同于确定用于个别像素的缩放系数，框130可包括确定用于饱和区中像素的期望Y值并然后通过用期望Y值替换饱和Y值来将饱和像素的Y值调整为期望Y值.本领域的技术人员将理解，期望的Y值可相关于上述缩放系数.在一个实例中，根据D(x)＝S_thL(x)，其中S_th是饱和阈值，期望的Y值(D(x))相关于上述缩放系数L(x)。在另一实例中，框130可包括确定将用于饱和区中个别像素的Y值增加超过饱和阈值S_th多少并然后将该增加添加至用于个别像素的Y值。

·这里描述的方法每个像素仅包括小数目的处理步骤，并且可以实时地实施。因此，这里描述的方法可以在各种不同环境中的各种图像处理系统中实施。这样的环境的非限制性实例包括作为：在计算机的图形卡上，所包括作为图像编辑器程序的一部分的软件；视频显示器(例如电视机或计算机监视器)内的专用信号处理单元的一部分；DVD播放机的一部分；电视调谐器的一部分；扫描仪的一部分；以及数码相机或类似成像设备的一部分。在一个特定实施例中，本发明的方法和系统可用来增大其中电视单元被配备有适中的处理电源的标准NTSC电视信号的动态范围。

·这里描述的所有方法试图基于图像数据的各种特征估算用于饱和区中像素的缩放系数。这些方法假设没有人的介入。在某些应用中，如以低动态范围表示原始捕捉的照片的数字增强，可以使人选择精调谐和/或影响与特定像素相关联的缩放系数。

·这里讨论的扫描和缩放技术都关于色模型值的上边界的饱和而描述。还可在色模型值的下边界使用上述扫描和缩放技术。例如，在框120中执行的扫描(例如扫描方法200)也可包括寻找“下边界饱和区”，其中Y值低于特定的下饱和阈值。可根据类似于这里描述的针对上边界饱和区的任何缩放技术的技术使用框125中的部分缩放系数来缩放低于此下饱和阈值的像素的Y值。优选地，在框115中引入的偏移的量值足以将图像数据的Y值移离零值一个量，该量允许下边界饱和区的部分缩放。

·如上面简要提到的，这里讨论的示例方法和系统关于以YIQ色模型表示的像素的Y值(亮度)而描述。本领域的技术人员将理解，这里描述的方法还可应用于其它色模型值(即I和Q)，并且这里描述的方法还可应用于其它色模型，例如RGB、CMY、CMYK、YCbCr、YUV、HSV和HSL。这里描述的方法还可应用于色模型值的组合，如色模型值的线性和非线性组合。在一些实施例中，将色模型值的组合用来确定合适的调整并然后将所述调整应用于个别色模型值。

·上述一种特定技术包括基于恰好在饱和区之外的像素的Y值的梯度确定最大缩放系数L_v(并可能确定最大缩放系数L_v的位置)。上述技术包括用于确定饱和区前和后的梯度的特定方法(方程(4)和(5))。可使用用于确定这些梯度的其它技术。说明这样的梯度确定技术的非限制性实例的方程包括：

${\&dtri;}_{\mathrm{avg},\mathrm{pre}}=\underset{i=-v}{\overset{0}{\mathrm{\&Sigma;}}}Y(x=i+1)-Y(x=i)---\left(4A\right)$

${\&dtri;}_{\mathrm{avg},\mathrm{past}}=\underset{i=2v}{\overset{3v}{\mathrm{\&Sigma;}}}Y(x=i)-Y(x=i+1)---\left(5A\right)$

${\&dtri;}_{\mathrm{avg},\mathrm{pre}}=\frac{\underset{i=-v}{\overset{0}{\mathrm{\&Sigma;}}}[(Y(x=i+1)-Y(x=i))\&CenterDot;(v-i)]}{\underset{i=-v}{\overset{0}{\mathrm{\&Sigma;}}}(v-i)}---\left(4B\right)$

${\&dtri;}_{\mathrm{avg},\mathrm{past}}=\frac{\underset{i=2v}{\overset{3v}{\mathrm{\&Sigma;}}}[(Y(x=i)-Y(x=i+1))\&CenterDot;(3v-i)]}{\underset{i=2v}{\overset{3v}{\mathrm{\&Sigma;}}}(3v-i)}---\left(5B\right)$

·在一些实施例中，方法100或方法100′可包括在框130之后但在框140之前的另一个进一步调整过程。这样的进一步调整可包括进一步缩放并且可用来利用高位深度表示中任何剩余的动态范围。

因此，本发明的范围应根据由下面的权利要求所限定的内容来解释。

Claims (32)

1.一种用于将图像数据从低位深度表示转换为高位深度表示的方法，该方法包括：

初始地调整图像数据中的像素的色模型值以形成图像数据的中间高位深度表示；

在初始地调整所述图像数据中的所述像素的色模型值之前或者之后，识别饱和区中的像素，其中所述饱和区中每个个别像素的色模型值为下列之一：高于上饱和阈值和低于下饱和阈值；以及

通过对应的调整来调整具有所述中间高位深度表示的所述饱和区中每个个别像素的色模型值，每个调整的大小至少部分地取决于对应像素与所述饱和区边缘之间的像素的数目。

2.根据权利要求1的方法，包括通过沿着第一扫描轴扫描所述图像数据中像素的色模型值来识别所述饱和区中的像素，以确定饱和区的一个边缘的起始像素和所述饱和区的另一边缘的终止像素。

3.根据权利要求1的方法，包括至少部分地基于所述对应像素与所述饱和区边缘之间的像素的数目的函数来确定每个调整的大小，其中所述函数在所述饱和区中具有极值。

4.根据权利要求3的方法，包括通过沿着第一扫描轴扫描所述图像数据中像素的色模型值来识别所述饱和区中的像素，以确定饱和区的一个边缘的起始像素和所述饱和区的另一边缘的终止像素。

5.根据权利要求4的方法，其中所述函数的极值基本上位于所述起始像素与所述终止像素之间的中间位置。

6.根据权利要求5的方法，其中所述函数包括其顶点基本上位于所述起始像素与所述终止像素之间的中间位置的抛物线。

7.根据权利要求4的方法，其中所述函数在所述极值处的大小至少部分地取决于所述起始像素与所述终止像素之间的像素的数目。

8.根据权利要求4的方法，其中所述函数在所述极值处的大小基于如下所列的至少之一来确定：所述起始像素与所述起始像素前的至少一个像素的色模型值之间的梯度，以及所述终止像素与所述终止像素后的至少一个像素的色模型值之间的梯度。

9.根据权利要求5的方法，其中所述函数从所述起始像素到基本上位于所述起始像素与所述终止像素之间的中间位置的像素是线性上升的，并且其中所述函数从基本上位于所述起始像素与所述终止像素之间的中间位置的像素到所述终止像素是线性下降的。

10.根据权利要求4的方法，其中对于所述起始像素和所述终止像素中的至少之一，所述函数为1。

11.根据权利要求2的方法，包括至少部分地基于所述起始像素与所述终止像素之间的像素的数目确定每个调整的大小。

12.根据权利要求2的方法，包括基于如下所列的至少之一来确定每个调整的大小：所述起始像素与所述起始像素前的至少一个像素的色模型值之间的梯度，以及所述终止像素与所述终止像素后的至少一个像素的色模型值之间的梯度。

13.根据权利要求4的方法，包括基于如下所列的至少之一来确定所述极值的位置：所述起始像素与所述起始像素前的至少一个像素的色模型值之间的梯度，以及所述终止像素与所述终止像素后的至少一个像素的色模型值之间的梯度。

14.根据权利要求1到13中的任何一个的方法，包括至少部分地基于所述饱和区中像素的数目确定每个调整的大小.

15.根据权利要求1到13中的任何一个的方法，包括至少部分地基于所述饱和区的边缘上的至少一个像素与所述饱和区之外的至少一个像素的色模型值之间的梯度确定每个调整的大小。

16.根据权利要求1到13中的任何一个的方法，包括至少部分地基于用于所述对应像素的色模型值的一个或多个时间上在前的值确定每个调整的大小。

17.根据权利要求1到13中的任何一个的方法，包括至少部分地基于用于所述对应像素的一个或多个其它色模型值确定每个调整的大小。

18.根据权利要求1到13中的任何一个的方法，包括至少部分地基于如下所述来确定每个调整的大小：检测所述饱和区周围的透镜耀斑图案；以及使用所述透镜耀斑图案的模型来预测所述饱和区中的所述像素的色模型值。

19.根据权利要求1到13中的任何一个的方法，其中初始地调整所述图像数据中的所述像素的色模型值包括如下所列至少之一：缩放所述图像数据中的所述像素的色模型值；以及偏移所述图像数据中的所述像素的色模型值。

20.根据权利要求19的方法，包括缩放所述图像数据中的所述像素的色模型值，并且其中缩放所述图像数据中的所述像素的色模型值在所述图像数据中的像素之间是均匀的。

21.根据权利要求1的方法，其中对所述中间高位深度表示的像素执行识别饱和区中的像素。

22.根据权利要求2的方法，其中沿着第一扫描轴扫描所述图像数据中的像素的色模型值包括确定一像素线内的一个或多个饱和区的起始和终止像素，其中所述一个或多个饱和区中每个个别像素的色模型值为如下所列之一：高于所述上饱和阈值和低于所述下饱和阈值。

23.根据权利要求22的方法，包括通过对应的调整来调整所述一个或多个饱和区中每个个别像素的色模型值，所述一个或多个饱和区中的每个中的每个像素的每个调整的大小至少部分地取决于所述对应像素与所述饱和区的所述起始像素和所述饱和区的所述终止像素中的至少一个之间的像素的数目。

24.根据权利要求2的方法，包括沿着所述第一扫描轴重复扫描用于所述图像数据的多个像素线的色模型值，并调整每个饱和区中每个个别像素的色模型值直到已沿着所述第一扫描轴扫描和调整了整个图像为止。

25.根据权利要求24的方法，包括沿着第二扫描轴重复扫描用于所述图像数据的多个像素线的色模型值，并调整每个饱和区中每个个别像素的色模型值直到已沿着所述第二扫描轴扫描和调整了整个图像为止。

26.根据权利要求25的方法，包括将沿着所述第一扫描轴扫描和调整的图像数据的色模型值与沿着所述第二扫描轴扫描和调整的图像数据的色模型值相组合以形成所述高位深度表示。

27.根据权利要求26的方法，其中将色模型值相组合包括获得沿着所述第一扫描轴扫描和调整的图像数据的色模型值与沿着所述第二扫描轴扫描和调整的图像数据的色模型值的平均。

28.根据权利要求26的方法，其中将色模型值相组合包括获得沿着所述第一扫描轴扫描和调整的图像数据的色模型值与沿着所述第二扫描轴扫描和调整的图像数据的色模型值的平均以获得中间值，并使所述中间值的两个或更多个相邻像素的组模糊以形成所述高位深度表示.

29.根据权利要求1到13或者22到28中的任何一个的方法，包括通过将所述饱和区中每个个别像素的色模型值缩放对应的缩放系数来调整所述饱和区中每个个别像素的色模型值。

30.根据权利要求1到13或者22到28中的任何一个的方法，其中所述色模型值包括其它色模型值的数学组合。

31.根据权利要求1到13或者22到28中的任何一个的方法，包括在调整所述饱和区中个别像素的色模型值之后进一步调整所述图像数据中的所有像素的色模型值以使所述高位深度表示中的色模型值的范围最大化。

32.一种用于处理图像数据的系统，该系统包括用于将图像数据从低位深度表示转换为高位深度表示的处理器，该处理器配置为：

初始地调整图像数据中的像素的色模型值以形成图像数据的中间高位深度表示；

在初始地调整所述图像数据中的所述像素的色模型值之前或者之后，识别饱和区中的像素，其中所述饱和区中每个个别像素的色模型值为高于上饱和阈值和低于下饱和阈值之一；以及

通过对应的调整来调整具有所述中间高位深度表示的所述饱和区中每个个别像素的色模型值，每个调整的大小至少部分地取决于对应像素与所述饱和区边缘之间的像素的数目。

Images