CN100492152C - 将一高动态范围影像转换成一低动态范围影像的方法及其装置 - Google Patents

Abstract

本发明揭示一种方法与一种装置，用来将一高动态范围影像转换成一低动态范围影像。该方法包含有以下步骤：(a)将多个像素所对应到的多个第一亮度值转换成多个第二亮度值；以及(b)使用一胶卷转换函数，以将这些像素所对应到的这些第二亮度值对映到多个第三亮度值，以产生该低动态范围影像。其中这些第二亮度值的第二亮度范围小于这些第一亮度值的第一亮度范围；且该胶卷转换函数并不将视觉效果加入该低动态范围影像之中。

Description

将一高动态范围影像转换成一低动态范围影像的方法及其装置

技术领域

本发明提供一种影像处理方法与相关装置，尤指一种用来将一高动态范围影像转换成一低动态范围影像的方法及其装置。

背景技术

一个景物(scene)的动态范围定义为最高的景物亮度与最低的景物亮度之间的比例。一般来说，一标准显示装置(如CRT显示器或是LCD显示器)的动态范围大约为250:1，这大约涵盖了整个可见颜色范围的一半。然而，人类的视觉系统(humanvision system，HVS)通常具有一大于10,000：1的动态范围，且在一特定的亮度下，可以区别大约10,000种不同的颜色。另外，一张由电脑产生的影像(computer-generated image，CGI)通常在最高与最低的强度值(intensityvalue)之间则具有约等于3000倍的比例关系。

通常，在标准显示装置所显示出的影像可以对应到256个不同的灰阶值(graylevel)。亦即，每一个色彩通道(R，G，B)皆由8个位元所决定。因此，最小的灰阶值为0，最大的灰阶值则为255。由上述可知，在真实世界中景物的动态范围通常都超过标准显示装置所能显示的动态范围。

一个具有高动态范围的影像通常可以称为是“高动态范围影像”(以下简称为HDR影像)。目前的科技中，并没有任何一种简单且直接的方法可以用来捕捉(capture)并描绘出(render)高动态范围影像。而有一种较为复杂的技术，可用来捕捉HDR影像，然而，却必须要对同一个景物进行多重曝光(multipleexposure)。结果就是对于相同的景物会得出多张不同的影像(不同的影像系使用不同的曝光条件得出)。因此，不同曝光条件得出不同的影像可以提供不同的亮度资料。接下来，不同的影像可以藉由已知技术的一演算法，组合得出欲捕捉的景物真正的辐射等级(radiance level)，故可以得出欲捕捉景物所对应到的HDR影像。

在正确地记录下HDR影像之后，下一个步骤就是要把影像储存起来。现今常见的各种数字影像格式大多都可适用于传统的显示装置上。如前文所述，一般而言是使用8位元来储存影像的每一个色彩通道(color channel)，以正确地驱动标准显示装置。显而易见的，已知的影像格式的动态范围并不足以使用在HDR影像资料上。因此，也陆续有几种档案格式被发展出来，以解决上述的问题。要加大数字影像的动态范围，一个最简单的方法就是增加每一个色彩通道的位元数，LogLuv编码技术就是其中的一个例子，对每一个像素皆使用了4个字节来表示。有2个字节用来对亮度Y的对数值(logarithm)进行编码，另外2个字节则用来对LUV色彩空间(color space)上的U通道与V通道进行编码。

在正确产生出HDR影像之后，还必须使用一色调对映程序(tone mappingprocedure)，以利用所得的HDR影像，将捕捉到的景物再制显示于标准显示装置上。换句话说，色调对映程序会将HDR影像中所记录的亮度值转换成具有较低动态范围的亮度值，以驱动具有较低动态范围的标准显示装置。因此，上述色调对映程序的主要目的，是要将较大的动态范围压缩成适合标准显示装置的动态范围。众所周知，一色调再制曲线(tone reproduction curve，TRC)或是一色调再制运算子(tone reproduction operator，TRO)皆可应用在HDR影像中的影像资料上。以色调再制曲线为例，每一个像素皆会从其目前的亮度值转换到标准显示装置的动态范围内的一显示强度。上述的色调再制曲线对应于一个与空间分布无关的转换函数，HDR影像中的每一个像素皆使用相同的转换函数进行处理。至于色调再制运算子，则会使用到空间的关系(spatialcontext)来调整每一个像素的亮度。亦即，两个具有相同亮度值的像素可能会对应到标准显示装置的动态范围内不同的显示强度，两个具有不同亮度值的像素亦可能会对应到标准显示装置的动态范围内相同的显示强度。

色调对映的技术亦可以用来调整捕捉到的HDR影像的显示品质。举例来说，已知技术的色调对映程序可以模拟人类眼睛的反应。请注意，HDR影像系由在不同曝光条件下得到不同的影像而组合得出的，亦即，传送的HDR影像原本并不包含有任何的人类视觉效果(visual artifact)下的产物。然而，人类的视觉系统中却充满着各类的视觉效果，例如在高亮度下的刺眼的效果(glare)、或是低亮度下模糊的效果(blur)。因此，已知技术的色调对映程序会在接收到HDR影像之后，会将人类的视觉系统中的视觉效果加入LDR影像之中。虽然最后的LDR影像显示于标准显示装置时，会对应到观察者看到被捕捉景物的情形，但是由于加入了视觉效果，因此影像的品质还是会降低。另外，这种作法必须配合复杂的即时运算，以将所要的视觉效果加到LDR影像之中，如此耗时的复杂运算，最后则会导致不良的影像处理效率。

发明内容

本发明的一个目的在于提供一种方法及一种装置，用来将一高动态范围影像转换成相对应的一低动态范围影像。

根据以下所提出的一实施例，本发明所揭示的方法是用来将一高动态范围影像转换成一低动态范围影像。该高动态范围影像具有多个像素，这些像素分别对应到多个第一亮度值，该方法包含有以下步骤：(a)将这些像素所对应到的这些第一亮度值转换成多个第二亮度值，这些第二亮度值的第二亮度范围系小于这些第一亮度值的第一亮度范围；以及(b)使用一胶卷转换函数，以将这些像素所对应到的这些第二亮度值对映到多个第三亮度值，以产生该低动态范围影像，其中该胶卷转换函数并不将视觉效果加入该低动态范围影像之中。

根据以下所提出的另一实施例，本发明所揭示的一影像处理系统包含有：一影像产生器，用来产生一高动态范围影像，该高动态范围影像具有多个像素，这些像素分别对应于多个第一亮度值；以及一影像处理逻辑，用来将这些像素所对应到的这些第一亮度值转换成多个第二亮度值，并使用一胶卷转换函数，以将这些像素所对应到的这些第二亮度值对映到多个第三亮度值，且在不加入视觉效果的情形下产生一低动态范围影像；其中这些第二亮度值的第二亮度范围小于这些第一亮度值的第一亮度范围。

由于本发明使用了一胶卷转换S曲线，最终的LDR影像为一较为逼真的影像，而不包含有其他的视觉效果，最终显示于标准显示装置的LDR影像会更为清晰。藉由使用胶卷转换S曲线，具有亮度值在中间亮度范围的像素会得到较佳的影像反差，而更多细微的变化会变得更加清楚。且胶卷转换S曲线可以是预先定义好的，并不需要在色调处理程序中动态地进行计算。因此，在实施上，本发明所提出的色调对映程序会非常地简单，且影像处理效能会变得更好。

附图说明

图1为本发明的色调对映程序的一实施例流程图。

图2为本发明所使用的总体梯度压缩程序的示意图。

图3为本发明的S曲线的一个例子。

图4为本发明的影像处理系统的一实施例示意图。

具体实施方式

请参阅图1，图1为本发明的色调对映程序(tone mapping process)的一实施例流程图。以下将详述图1中所包含的各步骤。首先，先于步骤100中载入一HDR影像。载入的HDR影像如前文所述，是由多个于不同曝光条件下得出的影像所产生出来的，其所对应到的动态范围大于标准显示装置的动态范围。因此，输入的HDR影像原本的动态范围必须被压缩成适用于标准显示装置的低动态范围。另外，人类的视觉系统对于绝对亮度(absolute luminance)并不敏感，相对地却对于局部的亮度变化(local luminance change)有更大的反应，且会减少较大的总体亮度差异(global illumination difference)所产生的效应。因此，在步骤102中执行了一总体梯度压缩(global gradient compression)程序，以压缩原本的动态范围并降低总体亮度差异。为了要降低运算时以及实施上的复杂度，在此可以使用一空间不变的运算子(spatially invariant operator)，如以下方程式所示：

$L_d(x,y)=\frac{L_w(x,y)}{1+L_w(x,y)}$                              方程式(1)

在分母的L_w(x，y)系代表在HDR影像中像素(x，y)的一原始亮度(worldluminance或raw luminance)，至于L_d(x，y)则代表像素(x，y)的缩放后亮度(scaledluminance)。请参阅图2，图2为本发明所使用的总体梯度压缩程序的示意图。如图2所示，L_d(x，y)代表了适用于标准显示装置的一正规化灰阶值(normalized graylevel)，亦即，L_d(x，y)会介于0与1之间。很明显的，L_w(x，y)会对应到一较高的亮度值(被L_w(x，y)本身正规化)，至于L_w(x，y)则会对应到一较低的亮度值(被′1′正规化)。而方程式(1)中的分母则会让正规化的方式界于上述两者之间，且方程式(1)可以确保所有的原始亮度值皆可被转变到可接受的动态范围之内。举例来说，原始的亮度值会被压缩成适用于一特定显示装置的显示亮度值。

然后，步骤104会再执行一曝光分析图等化(histogram equalization)程序，以改善调整后影像正规化亮度值中的影像反差(contrast)。此处的曝光分析图等化会将调整后影像的曝光分析图转变成一个均匀的曝光分析图(uniformhistogram)。假设在等化一曝光分析图时需要使用一累计频率分布(cumulativefrequency distribution)P(b)，其定义如以下方程式所示：

$P\left(b\right)=\frac{{\mathrm{\&Sigma;}}_{b_i<b}f\left(b_i\right)}{T}$                           方程式(2)

其中，T代表曝光分析图中栏位(entry)的总数。因此，P(b_i)为曝光分析图中于b_i的图格(bin)的频率分布，f(b_i)则为曝光分析图中于b_i的图格(bin)的频率总数(frequency count)。将此一曝光分析图等化程序应用在一输入影像上，会产生一输出影像，其亮度值(brightness value)具有相等的机率分布(probability)。至于等化用的方程式可以如以下所示：

B_d＝log(L_dmin)+[log(L_dmax)-log(_Ldmin)]*P(B)      方程式(3)

其中，B_d代表调整后的显示亮度，B代表原始的影像亮度。log(_Ldmin)系为标准显示装置的最小亮度值，log(_Ldmax)则为标准显示装置的最大亮度值。在对输入影像中像素的亮度值进行重新分配(re-distributing)之后，输出影像可具有较佳的影像反差，故可以更清晰地显示出来。

然而，若是有一半的像素具有低于0.2*L_dmax的亮度值时，亦即一较小的亮度范围[0，0.2*L_dmax]就会使用到标准显示装置显示亮度值中一半的范围而已。因此，有可能调整后影像的影像反差会被过度地强化(overemphasize)。举个例子，假设原始的影像中两个调整后的像素具有一较小的亮度差异。经过上述的曝光分析图等化程序之后，亮度差异会被放大。这会导致一影像出现不自然的现象，故显示品质会变得较低。因此，于步骤106中使用了一曝光分析图调整程序，来防止最后的影像中影像反差被异常地放大。前述的曝光分析图调整程序会藉由使用一最高限制条件(ceiling condition)，来对影像反差进行限制。以下则提出一个实施例，最高限制条件可以如以下方程式所示：

$\frac{{\mathrm{dL}}_d}{\mathrm{dL}}\&le;\frac{L_d}{L}$                              方程式(4)

方程式(4)表示了影像反差不可以超过使用一已知的线性正规化运算子(linearscaling operation，其斜率等于L_d/L)所得出的影像反差。由前述的方程式(2)，可以导出以下的不等式：

$f\left(b\right)\&le;\frac{T*\mathrm{\&Delta;b}}{\log \left(L_{d\max }\right)-\log \left(L_{d\min }\right)}$                          方程式(5)

其中，Δb为[log(L_max)-log(L_min)]/N，N为曝光分析图中图格的数量，log(L_max)为原始影像的最大亮度，log(L_min)则为原始影像的最小亮度。因此，符号Δb会对应于每一个图格的大小。如方程式(5)所示，可以肯定的是，只要曝光分析图中没有图格的频率总数大于上限(亦即L_d/L)，则调整后影像的曝光分析图就不会异常放大影像反差。如此一来，所输出的影像中就不会包含有过于密集的(overpopulated)曝光分析图的图格。

执行完步骤106之后，于步骤108则使用一胶卷转换S曲线(film transferS-curve)，启动一对映运算(mapping operation)，最后的LDR影像则会于步骤110中产生。请参阅图3，图3为本发明的S曲线的一个例子。图3的横轴表示输入亮度，纵轴则表示输出亮度。这个例子中的胶卷转换S曲线10系对应于一相片胶卷(photographic film)的一感光反应(sensitization response)曲线。如图3所示，位于中间范围(10^-1000)的输入亮度值大约就占掉了输出亮度值的整个范围。换句话说，胶卷转换S曲线10会加大影像在中间范围亮度区的影像反差。因此，对应于较高亮度区与较低亮度区的影像反差就会大幅地压抑掉。故最后LDR影像的视觉品质可以大幅提升。

本发明所提出的色调对映程序亦可已使用于一影像处理系统中，用来将一HDR影像转换成一LDR影像。请参阅图4，图4为本发明的影像处理系统的一实施例示意图。本实施例中的影像处理系统20包含有一影像产生器22以及一影像处理逻辑24。影像产生器22可以产生一高动态范围影像，至于影像处理逻辑24则可执行一色调对映程序，以将HDR影像转变成相对应的LDR影像。举例来说，影像处理系统20可以是一数字相机，影像产生器22则包含有一CCD模组，用来捕捉入射光，以产生相对应的影像，以及一相机快门(camerashutter)，用来控制CCD模组的曝光状态。因此，影像产生器22可以藉由CCD模组捕捉一景物，并可藉由适当控制相机快门，而产生多个不同曝光状况的影像。接下来，影像产生器22可使用已知的方式，将得出的影像组合成对应到欲捕捉景物的一HDR影像。

之后，再启动影像处理逻辑24以对HDR影像进行处理。本实施例中的影像处理逻辑24可以执行上述的步骤102、104、106、108，以产生出所需的LDR影像。由于影像处理逻辑24可以是一数字讯号处理器(digital signalprocessor，DSP)，使用一简单的胶卷转换函数，故相关的计算并不会太过复杂。一般而言，数字相机大多具有一小型的LCD显示幕，用来预览捕捉到的景物。而由于影像处理逻辑24使用简单的胶卷转换函数，故其会具有不错的影像处理效能，使用者可以很快地在LCD显示幕上预览LDR影像。另外，所产生的LDR影像亦会具有较佳的影像品质(因为并没有任何的视觉效果被加入LDR影像之中)。

至于在另外的实施例中，影像产生器22可以仅用来捕捉一景物以于不同的曝光条件下产生多个影像。然后，再由影像处理逻辑24负责产生HDR影像。相似的，影像处理逻辑24亦可以执行前文所提到的步骤102、104、106、108，以产生最终的LDR影像。

如前文所述，影像处理系统20可以是一数字相机，故影像产生器22与影像处理逻辑24皆设置于相同的壳体之中。然而，影像处理系统20亦可以由多个独立的装置所构成。举例来说，影像产生器22本身即可以是一数字相机，至于影像处理逻辑24则可以是一电脑主机。在此种架构下，由影像产生器22所产生输出的影像资料会被传送至外部的影像处理逻辑24，以进行后续的影像处理程序。

如前文所述，在已知技术的作法中会将视觉效果加在最终的LDR影像之中，以便强调视觉的正确性(visual accuracy)。然而，由于加入了视觉效果，LDR影像的影像品质会变得较差。另外，要加入人类视觉系统的视觉效果，会需要用到大量耗时的影像再制工作，例如于较高亮度之处加入刺眼的效果，以及于低亮度之处加入模糊的效果，这皆会降低影像处理的效能。相较于已知技术，本发明则是采用一胶卷转换S曲线。最终的LDR影像系为一较为逼真的影像，而不包含有其他的视觉效果，且最终显示于标准显示装置的LDR影像会更为清晰。藉由使用胶卷转换S曲线，具有亮度值在中间亮度范围的像素会得到较佳的影像反差，而更多细微的变化会变得更加清楚。且胶卷转换S曲线可以是预先定义好的，并不需要在色调处理程序中动态地进行计算。因此，在实施上，本发明所提出的色调对映程序会非常地简单，且影像处理效能会变得更好。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明专利的涵盖范围。

Claims (10)

1.一种方法，用来将一高动态范围影像转换成一低动态范围影像，该高动态范围影像具有多个像素，这些像素分别对应到多个第一亮度值，该方法包含有以下步骤：

(a)将这些像素所对应到的这些第一亮度值转换成多个第二亮度值，这些第二亮度值的第二亮度范围系小于这些第一亮度值的第一亮度范围；以及

(b)使用一胶卷转换函数，以将这些像素所对应到的这些第二亮度值对映到多个第三亮度值，以产生该低动态范围影像，其中该胶卷转换函数并不将视觉效果加入该低动态范围影像之中。

2.如权利要求1所述的方法，其特征在于，还包含有：

(c)执行一曝光分析图等化程序，以调整这些像素的这些第二亮度值。

3.如权利要求2所述的方法，其特征在于，步骤(c)另包含有：

防止对应到第二亮度值的预设像素的一总数量大于一预设限度。

4.如权利要求1所述的方法，其特征在于，步骤(a)是由一总体梯度压缩程序所执行。

5.一种影像处理系统，包含有：

一影像产生器，用来产生一高动态范围影像，该高动态范围影像具有多个像素，这些像素系分别对应于多个第一亮度值；以及

一影像处理逻辑，用来将这些像素所对应到的这些第一亮度值转换成多个第二亮度值，并使用一胶卷转换函数，以将这些像素所对应到的这些第二亮度值对映到多个第三亮度值，且在不加入视觉效果的情形下产生一低动态范围影像；

其中这些第二亮度值的第二亮度范围小于这些第一亮度值的第一亮度范围。

6.如权利要求5所述的影像处理系统，其特征在于，为一数字相机。

7.如权利要求5所述的影像处理系统，其特征在于，该影像产生器可在不同的曝光情形下捕捉多个影像，以产生该高动态范围影像。

8.如权利要求5所述的影像处理系统，其特征在于，该影像处理逻辑可执行一曝光分析图等化程序，以调整这些像素的这些第二亮度值。

9.如权利要求8所述的影像处理系统，其特征在于，该影像处理逻辑可防止对应到第二亮度值的预设像素的一总数量大于一预设限度。

10.如权利要求5所述的影像处理系统，其特征在于，该影像处理逻辑可执行一总体梯度压缩程序，以将这些第一亮度值转换成这些第二亮度值。

Images