CN102354489B - 增强图像动态范围的方法和装置 - Google Patents

Abstract

本发明涉及一种增强图像动态范围的方法和装置。一种将图像信号从初始动态范围转换成目标动态范围的方法包括：将初始动态范围和目标动态范围分割成多个对应的子范围，并将每个初始子范围映射到其对应的目标子范围。其中一个动态范围被分割成多个具有相等尺寸的子范围，而另一个动态范围被分割成对应的子范围，其每个子范围的尺寸是基于对应相等尺寸子范围特征。本发明可以被应用在显示器、图像捕捉和图像处理的装置内。

Description

增强图像动态范围的方法和装置

本申请是申请号为200880000024X，发明名称为“增强图像动态范围的方法和装置”的发明申请的分案申请。

技术领域

本发明涉及增强图像动态范围的方法和装置，特别涉及一种增强图像信号亮度动态范围的方法。

背景技术

亮度是一个从特定区域发出光的光强度或数量的度量值，然后亮度再转化成场景或图像的感知亮度。在现实世界里，亮度范围在亮度和时间上都是连续的，并从星光到阳光可能高达14个数量级（10的14次幂）。人眼可以观看5个数量级的亮度范围。产生高动态范围（HDR）的图像是很容易理解的。例如，通过采用多个曝光时间，照片可以包括场景的整个动态范围。能够捕捉高动态范围场景的数码相机变得越来越受欢迎。但是，大多数的显示装置仅能显示2到3个数量级的场景。亮度映射（luminancemapping），也称为色调映射（tone mapping），可以被用来将现实世界的动态范围映射到电子显示设备的较低动态范围。或者，也有许多算法和图像技术已经被开发用来将HDR场景的动态范围压缩到一个可显示范围。色调映射的一个优点是能够优化管线内视频流的数据量。

LCD显示器技术的最新发展已经产生可以显示具有高亮度动态范围图像的显示器。但是，由于在图像在显示器上显示之前，很多图像被转换到一个更低的动态范围，所以需要一个提高数字图像亮度动态范围的逆过程，以便与这些高动态范围显示器一起使用。扩大动态范围的最直接方法是仅将每个像素强度值乘以一个常数。但是，这种线性扩展没有考虑图像特征和人类视觉系统特性。而且，这种线性按比例放大的方法可能产生噪声，如在逐渐变化的区域产生轮廓效应（contouring effect）。

还有一个趋势就是，要在便携式电子设备如移动电话、个人数字助理（PDAs）和游戏机上可以观看到视频和图像。尽管期望这些设备可以显示高分辨率和高动态范围的图像，但如成本、设计、限制和电池寿命等因素可能决定了便携式设备内使用的显示设备只能在一个比标准显示屏（如电视或计算机显示器）更低的分辨率和照明动态范围上运行。

所以，本发明的目的是提供一种增强图像信号动态范围的方法和图像处理设备。

发明内容

在本发明里，一种将图像信号从初始动态范围转换成目标动态范围的方法包括：将初始动态范围和目标动态范围分割成多个对应的子范围，并将每个初始子范围映射到其对应的目标子范围。用来在每个初始子范围到对应目标子范围之间进行映射的映射函数或算法不需要并且最好不是相同的。

为了获得子范围，其中一个动态范围，即是说或者初始动态范围或者目标动态范围，被分割成多个具有相等尺寸的子范围，而另一个动态范围被分割成对应的子范围，其每个子范围的尺寸是基于对应相等尺寸子范围特征。

本发明也包括采用本方法的显示器、捕捉和图像处理装置。

一种在图像处理设备内将图像信号从初始动态范围转换成目标动态范围的方法，本方法包括：

将目标动态范围分割成多个具有相等尺寸的目标子范围；

将初始动态范围分割成多个初始子范围，每个初始子范围有一个对应的目标子范围，每个初始子范围所含像素数目相同，以及

将每个初始子范围映射到其对应的目标子范围，

其中初始动态范围是图像像素的最小亮度与最大亮度之间的范围，目标动态范围是图像显示设备最小显示亮度和最大显示亮度之间的范围。

一种显示图像的显示装置，包括：

一个LCD面板，具有多个光传送显示元件；

一个LCD控制器，用来控制光传送显示元件的光传送，以响应一个具有初始亮度动态范围的第一图像信号；

一个LED背光板，具有多个发光设备用来背光照射光传送显示元件；

一个背光控制器，根据具有目标亮度动态范围的第二图像信号，用来个别地控制发光设备的照射；

一个图像处理器，可编程以执行上述的方法，用来在初始亮度动态范围和目标亮度动态范围之间转换一个接收到的图像信号。

一种在图像处理设备或图像显示设备内提高数字图像亮度动态范围以改善在图像内可视对比度和细节的方法，将图像信号从初始动态范围转换成目标动态范围，本方法包括：

将目标动态范围分割成多个具有相等尺寸的目标子范围；

将初始动态范围分割成多个初始子范围，每个初始子范围有一个对应的目标子范围，每个初始子范围所含像素数目相同，以及

将每个初始子范围映射到其对应的目标子范围，

其中初始动态范围是图像像素的最小亮度与最大亮度之间的范围，目标动态范围是图像显示设备最小显示亮度和最大显示亮度之间的范围。

从以下仅通过范例的描述，本发明的其它方面将越发明显。

附图说明

现通过范例并结合附图，描述本发明的典型例子，其中：

图1描述一种在色调映射之前将初始和目标动态范围分割成子范围的方法的第一典型实施例；

图2描述图1子范围的色调映射；

图3描述一种在色调映射之前将初始和目标动态范围分割成子范围的方法的第二典型实施例；

图4是一个高动态范围显示装置的第一典型实施例的模块图；

图5描述在图4显示装置内将一个低动态范围和目标高动态范围分割成子范围，以及

图6是一个高动态范围显示装置的第二典型实施例的模块图。

具体实施方式

现在将详细描述本发明的典型实施例，并结合附图描述例子。本方法涉及一种增强图像或图像信号的亮度动态范围的方法。图像或图像信号可以是静态图像或视频图像。本方法通常是在转换图像的比特深度（bit-depth）或每像素比特（bit-per-pixel）时使用，例如从8-比特图像转换成16-比特图像，反之亦然。但对本发明而言这不是最关键的，本方法可以被用来增强图像的亮度动态范围，而不需要改变图像的比特深度。

依照本发明，图1到图3描述一种增强图像亮度动态范围的方法。图像的比特深度不被考虑，并可能仍然保持不变或提高或降低。图1显示一个图像的统计直方图，沿着水平x-轴在从最小值（O-min）到最大值（O-max）的图像初始的像素亮度动态范围。在垂直y-轴上是从最小值（T-min）到最大值（T-max）的目标亮度动态范围。在直方图右边的第二y-轴表示像素数量。亮度是从特别区域发出光的光强度或数量的一个量度，然后亮度转化成图像的感知亮度，其由每个像素亮度（Luma）或灰度级表示。直方图10表示在图像信号里一些数量的像素具有x-轴上的亮度值。x-轴上的亮度范围被分割成4个亮度子范围1、2、3和4，每个亮度子范围有相等的大小（或尺寸）。落在每个子范围内的亮度值的像素数目都不同，这可以从图像直方图明显看出。在y-轴上目标动态范围被分割成对应的4个目标子范围5、6、7、8。

每个目标子范围5、6、7、8的大小或尺寸是动态的，不一定相等。每个目标子范围的大小取决于初始子范围1、2、3、4的特征，在本实施例的例子里这个特征就是落在每个初始子范围1、2、3、4内亮度的像素数目。例如，在图1内，子范围2有最多数量的像素，从而对应的目标子范围6有最大的大小或尺寸。初始子范围3有第二多数量的像素，从而对应的目标子范围7有目标子范围的第二大大小或尺寸。同样，目标子范围5和8有一个基于对应初始子范围1和4内像素数量的大小或尺寸。换言之，每个目标子范围的大小是整个目标动态范围的一个对应的比例部分，对应于相应初始子范围内像素数目对图像内总像素数目的百分比。因此，依照此第一典型实施例，初始动态范围被分割成相等尺寸的子范围，而目标动态范围被动态分割成一个对应数量的目标子范围，每个目标子范围的尺寸直接与具有相应初始子范围内强度值的像素数目成比例。

参照图1，假设初始动态范围被同等分割成4个子范围1、2、3、4，并假设落在子范围上的像素数目分别是N(1)、N(2)、N(3)和N(4)，目标子范围5、6、7和8的大小或尺寸分别是S(5)、S(6)、S(7)和S(8)，一种设置目标子范围尺寸的可能方法如下所示：

$S\left(5\right)=\frac{N\left(1\right)(T_{\max }-T_{\min })}{N\left(1\right)+N\left(2\right)+N\left(3\right)+N\left(4\right)}$

$S\left(6\right)=\frac{N\left(2\right)(T_{\max }-T_{\min })}{N\left(1\right)+N\left(2\right)+N\left(3\right)+N\left(4\right)}$

$S\left(7\right)=\frac{N\left(3\right)(T_{\max }-T_{\min })}{N\left(1\right)+N\left(2\right)+N\left(3\right)+N\left(4\right)}$

$S\left(8\right)=\frac{N\left(4\right)(T_{\max }-T_{\min })}{N\left(1\right)+N\left(2\right)+N\left(3\right)+N\left(4\right)}$

参照图2，在每个初始子范围和对应目标子范围的尺寸确定之后，一个合适的色调映射函数T_k=F(O_k)被用来将初始亮度动态范围内的每个初始亮度值O_k映射到目标动态范围内的一个对应目标亮度值T_k。用来映射每对子范围内亮度值的映射函数F不需要是相同的，可能是线性的或者非线性的。在图2所述的实施例里，一个线性映射函数用来将初始子范围2映射到目标子范围7、将初始子范围4映射到目标子范围5，一个非线性映射函数被用来将初始子范围1映射到目标子范围5并将初始子范围3映射到目标子范围7。应该注意到，在现有技术里任何已知的色调映射函数可以被利用来将初始子范围映射到目标子范围。在共同发明人的先前专利申请US11/809,095（在2007年5月31日申请）里公开了一种将每个初始子范围色调映射到其对应目标子范围的方法，在此其整个内容通过引用结合到本文中。

图3描述本发明的第二典型实施例，其中垂直y-轴上目标动态范围被分割成相等尺寸的子范围11、12、13、14。根据图像直方图的特别特征，可以动态选择对应的初始子范围15、16、17、18的大小或尺寸，在此实施例里该特别特征又是具有初始子范围内强度值的像素数目。在此例子里，选择初始子范围15、16、7、18的大小或尺寸，使得在每个初始子范围上的像素数目是相同的。再次，一旦确定了初始子范围15、16、17、18和目标子范围11、12、13、14的尺寸，接着任何已知色调映射方法可以被用来将像素强度从初始子范围映射到对应目标子范围。

假设目标子范围被分割成4个相等尺寸的子范围15、16、17和18，它们在输入动态范围内的对应的子范围分别是11、12、13和14，并且它们的尺寸分别是S(11)、S(12)、S(13)和S(14)，落在11、12、13和14内的像素数目分别是N(11)、N(12)、N(13)和N(14)，一种设置11、12、13和14大小或尺寸的可能方法是通过最小化以下的目标函数达到：

$\{S\left(11\right),S\left(12\right),S\left(13\right),S\left(14\right)\}=\arg \left(\min (\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(S\left(i\right)-\frac{O_{\max }-O_{\min }}{4})}^2-\mathrm{\λ}\underset{i=1}{\overset{4}{\mathrm{\Σ}}}{(N\left(i\right)-\frac{1}{4}\underset{j=1}{\overset{4}{\mathrm{\Σ}}}N\left(j\right))}^2)\right)$

其中0＜λ＜1是一个常数值。通过使用一种类似由G Qiu,J.Guan,J.Duan和M.Chen在“Tone mapping for HDR image using optimization–A new closedfrom solution”文中（ICRP2006,18th International Conference on PatternRecognition,20-24August,2006,Hong Kong）提议的方法，可以解决此优化问题。

依照本发明将初始和目标动态范围分割成子范围并分别色调映射每个子范围的一个好处是：最大数目像素落在的子范围的动态范围被扩大，同时那些只有少量像素的子范围的动态范围被压缩。这样会改善图像主要部分上的对比度和细节，而不需要改变数量级或整个亮度动态范围。

本发明可能应用的一个典型例子是，一个标准图像将被显示在一个高动态范围显示设备上。发明人已经在先前申请11/707,517（在2007年2月16日申请）中提出了一种具有动态背光的液晶显示设备，其可以改善显示输出的亮度动态范围的对比度和比特深度。在此，在2007年2月16日申请的所述申请11/707,517的内容通过引用结合到本文中。在本发明的一个优选实施例里，此液晶显示设备包括一个图像亮度处理器，用来提高一个接收到的低亮度动态范围（LDR）图像的动态范围，从而图像可以被设备以一个更高亮度动态范围的格式显示，从而改善图像内的可视对比度和细节。

在图4，显示一个高亮度动态范围显示设备的模块图，通常与申请11/707,517（在2007年2月16日申请）中披露的是一样的。显示设备有一个可变强度背光设备，用来提供背光给一个液晶显示（LCD）面板。LCD面板有多个光传送显示元件。一个LCD控制器控制光传送显示元件的光传送。正如在LCD显示器的现有技术里所知道的一样，LCD控制器接收一个标准的低动态范围（LDR）图像，并相应地控制每个光传送显示元件的光传送。LCD面板的背光设备有一个背光板，在其上装有多个发光二极管和一个用来个别地控制LEDs照明的背光控制器。设备也包括一个图像处理器，用来将LDR图像转换成一个高动态范围（HDR）图像，以便输入到背光控制器。一个背光控制器接收HDR图像，并分析HDR图像以产生输出信号给LEDs，以便个别地控制LED亮度。通过个别地控制每个LED的亮度，并结合相应的LCD元件的传送，可以提高显示设备的每个元件的可视亮度动态范围，其不同于一个传统恒定的背光LCD显示器，并且图像可以视作一个HDR图像。

以下讨论描述了图像处理器如何使用一种依照本发明的方法将LDR图像信号转换成LCD显示器上的HDR图像信号。图5显示一个图像直方图，其具有沿着水平x轴从最小值（I-min）到最大值（I-max）的LCD图像信号的像素亮度动态范围。沿垂直y轴是对应从最小值（D-min）到最大值（D-max）的显示亮度动态范围的目标HDR。显示动态范围比图像动态范围更大。直方图20表示LDR图像信号内具有x轴上亮度值的像素数量或数目。沿着x轴的强度范围被分割成4个强度子范围21、22、23和24，每个强度子范围有相同的大小（或尺寸）。从图像直方图可以明显看出，落在每个子范围内强度值的像素数目是不同的。在y轴上的显示动态范围被分割成对应数目的4个显示子范围25、26、27、28。选择显示子范围25、26、27、28的尺寸，以使得每个子范围尺寸直接与落在对应图像子范围内灰度级或亮度级的像素数目成比例，如前所述。在每个图像子范围和对应显示子范围的尺寸确定之后，一个合适的色调映射函数被用来将每个图像子范围单独映射到其对应的显示子范围。用来映射每对子范围的色调映射函数不需要是相同的，而且可能是线性的或者非线性的。与前一个例子相比，在此例子里所有子范围的动态范围被增加，结果导致动态范围的整体增加。但是，这仅仅是此特别例子的一个特征，有可能一个特别子范围的范围出现减少，尽管整个动态范围被增加。

以上已经描述了本发明的一个典型范例。但是应该理解，对本领域技术人员来说显而易见的修改和变化不应该被看作超出本发明的范围。一种这样的修改如图6所示。应该注意到，已经是HDR格式的图像可以被显示在先前申请11/707,517（在2007年2月16日申请）描述的设备上。这种设备可以包括一个HDR到LDR的色调映射处理器，用来将输入HDR图像转换成由LCD控制器和面板使用的LDR格式。在这个例子里，目标动态范围将比初始动态范围更小。

Claims (3)

1.一种在图像处理设备内将图像信号从初始动态范围转换成目标动态范围的方法，本方法包括：

将目标动态范围分割成多个具有相等尺寸的目标子范围；

将初始动态范围分割成多个初始子范围，每个初始子范围有一个对应的目标子范围，每个初始子范围所含像素数目相同，以及

将每个初始子范围映射到其对应的目标子范围，

其中初始动态范围是图像像素的最小亮度与最大亮度之间的范围，目标动态范围是图像显示设备最小显示亮度和最大显示亮度之间的范围。

2.一种显示图像的显示装置，包括：

一个LCD面板，具有多个光传送显示元件；

一个LCD控制器，用来控制光传送显示元件的光传送，以响应一个具有初始亮度动态范围的第一图像信号；

一个LED背光板，具有多个发光设备用来背光照射光传送显示元件；

一个背光控制器，根据具有目标亮度动态范围的第二图像信号，用来个别地控制发光设备的照射；

一个图像处理器，可编程以执行权利要求1所述的方法，用来在初始亮度动态范围和目标亮度动态范围之间转换一个接收到的图像信号。

3.一种在图像处理设备或图像显示设备内提高数字图像亮度动态范围以改善在图像内可视对比度和细节的方法，将图像信号从初始动态范围转换成目标动态范围，本方法包括：

将目标动态范围分割成多个具有相等尺寸的目标子范围；

将初始动态范围分割成多个初始子范围，每个初始子范围有一个对应的目标子范围，每个初始子范围所含像素数目相同，以及

将每个初始子范围映射到其对应的目标子范围，

其中初始动态范围是图像像素的最小亮度与最大亮度之间的范围，目标动态范围是图像显示设备最小显示亮度和最大显示亮度之间的范围。

Images