CN103295194B - 亮度可控与细节保持的色调映射方法 - Google Patents

Abstract

本发明公开了一种亮度可控与细节保持的色调映射方法，输入高动态范围图像；获取图像亮度并转换为对数域；计算输入图像平均亮度与标准差；划分亮度直方图；直方图分段修正；预设输出的低动态范围图像的平均亮度与标准差；计算低动态范围图像的灰度级分割点；通过数学模型估计输出的低动态范围图像的平均亮度与标准差；修正标准差直到预设的标准差与估计的标准差相对误差小于；对直方图分段进行色调映射；把色调映射后的亮度通道还原到RGB色彩空间；输出可显示的低动态范围图像。本发明具有亮度可控与细节保持的特点，在高亮度区域的处理效果优于其它基于全局的色调映射方法。

Description

亮度可控与细节保持的色调映射方法

技术领域

本发明涉及一种应用于高动态范围图像在低动态范围显示设备上显示的方法，更具体地，涉及一种新的基于直方图修正的亮度可控与细节保持的色调映射方法。

背景技术

高动态范围图像作为一种能够表示真实场景中高动态范围亮度信息的图像。近年来在数字摄影、电影特效、基于图像的虚拟现实、卫星遥感技术等领域均得到了广泛的应用。然而，现在大多数的显示设备只支持低动态范围的显示。高动态范围图像无法W在传统的显示设备上重现，也难以对其进行存储、传输、处理等操作，故必须采用色调映射方法对其动态范围进行压缩，以便在普通的显示设备上显示。

色调映射方法可以分为全局色调映射方法和局部色调映射方法。局部色调映射方法实际上是在调整图像中某点的灰度值时，同时考虑该点的空间信息，故能增强局部较小的对比度，压缩相对较大的对比度。其处理后的图像细节方面的显示较全局方法要好，但缺点是实时性差而且容易出现不同程度的失真。而全局色调映射方法实际上是在对图像进行动态范围色调变换时，每个像素都使用同一条变换曲线，变换曲线可以预先指定或者根据图像的内容获取。其处理后的图像虽然细节方面的显示不如局部方法，但仍能保持较好的视觉效果，而且实时性好且不容易出现失真，故适合应用于实时性产品上。

全局色调映射算法能够较好地解决局部算法中出现的问题。随着全局算法的提出，场景与显示设备动态范围不匹配的问题得到了很好的解决。全局算法的原理是在图像进行色调变换时，对每一个像素均使用相同的变换曲线，变换曲线既可以预先指定也可以根据图像的内容获取。Ward Larson等人提出了一种基于直方图调整的色调映射算法，但这种方法只有在处理动态范围较小的图像时才有较好的效果。Drago等人以对数方程为基础，提出了一种自适应对数色调映射算法。此算法的核心是根据每个像素点的亮度值自适应地调整对数的基数，使其在2到10之间变化，从而能有更好的处理效果。此算法的复杂度较低，而且能够处理动态范围较广的图像，但算法在处理不同亮度区域的细节信息时仍有一定程度的损失。Jiang Duan与Guoping Qiu提出了一种结合线性映射与直方图均衡化的全局色调映射算法。该算法通过对直方图信息的观察，把较多的可显示的值分配到直方图统计中密集区域的像素，相对地把较少的值分配到直方图统计中稀疏的区域，令稀疏的直方图被压缩而密集的直方图被扩展，从而取得比其它算法更好的映射结果。该算法的时间复杂度低，处理速度快，实现起来更加容易，但该算法的效果依赖于参数 ，当其取0时，算法退化为线性映射，而当其取1时，算法又退化为直方图均衡，对图像高亮度部分的细节仍有一定程度的损失。总的来说，如今实时性较好的色调映射算法，处理后的图像往往会出现在高亮度区域细节丢失及过饱和现象，而且处理后的图像纹理细节也不够突出。

发明内容

针对以上的不足，本发明提供了一种具有亮度可控与细节保持，即能够有效抑制高亮度部分出现的过饱和现象以及增强低亮度部分的对比度，而且能突出图像中纹理细节的色调映射方法。

一种亮度可控与细节保持的色调映射方法，其具体操作步骤如下：

第1步：输入一幅高动态范围图像；

第2步：根据输入图像的RGB色彩通道值获取该图像的亮度值并转换为对数域                                                ；

第3步：分别计算图像的平均亮度与标准差，具体为：

S1：找出第2步得到的对数域公式中的最小值以及最大值，将在的动态范围均匀划分为N份，使得落在某一区间内的连续的对数亮度值离散为中对应的亮度级，即：

               (1)

其中，表示向下取整操作。统计每一个划分区间的直方图，得：

         (2)

其中，，表示图像的对数亮度级被划分成了N等份的亮度等级。N一般取1000或者更高。

    S2：分别计算图像的平均亮度与标准差，公式如下：

                        (3)

                       (4)

其中，Total_pixel为图像的像素总和，N表示量化后的亮度级数。

    第4步：通过第3步得到的平均亮度与标准差从而得到分割点和，即可将直方图分割为三个区间段。因此需要定义两个阈值，以将直方图划分为三段，公式如下：

                             (5)

第5步：通过第4步得到的三段直方图，分别进行直方图修正，即对每段直方图进行剪切，补偿图像的细节部分，使得处理的图像的直方图与估计的模型有相似的形态，具体为：

步骤(1)：对划分为三段的直方图分别设置三个不同的阈值，其公式如下：

                        (6)

超过该阈值的亮度将被裁剪掉，从而压缩了图像中数量较多的背景部分图像，同时令数量较少的细节部分的照度在色调映射的时候不容易被合并。

步骤(2)：对第一段直方图将裁剪出的像素点个数按递增的方式补偿在亮度等级区间里像素个数不为0的地方，使得在中的像素总数不变，即：

                     (7)

其中，表示最终经过裁剪和补偿的第一段直方图，为裁剪后的直方图，为第一段直方图经过裁剪出来的像素个数之和。

第二段直方图的亮度级大部分为场景信息，所以将裁剪出来的像素个数之和均匀补偿，即：

                     (8)

其中，是最终经过裁剪和补偿的第二段直方图，为裁剪后的直方图，为该段直方图经过裁剪出来的像素个数之和。

     而第三段直方图，则将裁剪出的多余的像素点个数在亮度级区间中按递减的方式补偿，即：

               (9)

其中，是最终经过裁剪和补偿的第三段直方图，为裁剪后的直方图，为该段直方图经过裁剪出来的像素个数之和。

步骤(3)：对经过裁剪和补偿的子直方图合并，公式如下：

                       (10)

第6步：预设输出的低动态范围图像的平均亮度mv与标准差std。

第7步：计算低动态范围图像的灰度级分割点，具体为：

步骤(11)：计算第4步得到的三段直方图各的像素数量，公式如下：

                         (11)

步骤(12)：在第9步的反馈修正标准差的过程中计算低动态范围图像的灰度级分割点，公式如下：

       (12)

                       (13)

                (14)

其中，和表示低动态范围图像的灰度级分割点，已知的是第6步中预设的标准差初值std。

第8步：估计输出的低动态范围图像的平均亮度与标准差，具体为：

S11：假设估计的平均亮度与第6步中预设的平均亮度mv相等，由第7步中得到的和的值再加上第9步的反馈修正标准差过程可求出估计的标准差，公式如下：

 (15)

S12：由第7步通过第9步反馈过程最终得到的低动态范围图像的灰度级分割点和代入公式(12)可求得估计得平均亮度。

第9步：通过重复第7步和第8步修正估计的标准差直到预设的标准差与估计的标准差相对误差小于。相对误差E公式如下：

                         (16)

若E大于预设的误差程度，则令，利用公式(13)和公式(14)重新求解和的值代入公式(15)继续计算，最终使得相对误差E小于预设的误差，此时获得的和就是最终源图像映射到低动态范围图像的灰度级分割点。

第10步：对直方图分段进行色调映射。由第9步获得的分割点，分别求得、与三段直方图的累积分布函数，即。于是，每段直方图所对应的从高动态范围映射到低动态范围的映射函数公式如下：

    (17)

此时得到了从高动态范围为图像映射到低动态范围为的图像的映射函数s与映射后的低动态范围灰度图，即：

                        (18)

第11步：把色调映射后的亮度通道还原到RGB色彩空间。最后，需要将色调映射后得到的亮度通道还原到RGB色彩空间，公式如下：

                        (19)

其中，R、G和B分别为HDR图像输入时的RGB三个通道的数据。此处的γ值控制颜色(一般设置为0.4或0.6为佳)。

本发明的有益效果：本发明方法能够有效抑制高亮度部分出现的过饱和现象以及增强低亮度部分的对比度，而且能突出图像中的纹理细节，具有良好的稳定性和操作性。

附图说明

图 1为本发明的流程图。

图 2为本发明具体实施过程中采用的原始图像。

图3为本发明具体实施过程中高动态范围图像对数亮度离散化后的直方图。

图 4为本发明具体实施过程中估计的模型。

图 5为本发明具体实施过程中直方图修正后的图形。

图 6为本发明具体实施过程中采用本发明方法对图1处理后的输出结果。

图 7为采用经典全局色调映射方法对图1进行处理，其高亮度部分处理结果。

图 8为本发明具体实施过程中采用本发明方法对图1进行处理，其高亮度部分处理结果。

具体实施方式

下面结合附图对本发明进行进一步详细说明。实施例子中，采用本发明方法处理一幅如图2所示的高动态范围图像，算法流程图如图1所示，处理过程如下：

第1步：输入一幅高动态范围图像，如图2所示。

第2步：根据输入图像的RGB色彩通道值获取该图像的亮度值并转换为对数域。

第3步：分别计算图像的平均亮度与标准差，具体为：

S1：找出第2步得到的对数域公式中的最小值以及最大值，将在的动态范围均匀划分为N份，使得落在某一区间内的连续的对数亮度值离散为中对应的亮度级，即：

               (1)

其中，表示向下取整操作。统计每一个划分区间的直方图，得：

         (2)

其中，，表示图像的对数亮度级被划分成了N等份的亮度等级。N一般取1000或者更高。

    S2：分别计算图像的平均亮度与标准差，公式如下：

                        (3)

                       (4)

其中，Total_pixel为图像的像素总和，N表示量化后的亮度级数。

    第4步：通过第3步得到的平均亮度与标准差从而得到分割点和，即可将直方图分割为三个区间段。因此需要定义两个阈值，以将直方图划分为三段，公式如下：

                             (5)

第5步：通过第4步得到的三段直方图，分别进行直方图修正，即对每段直方图进行剪切，补偿图像的细节部分，使得处理的图像的直方图与估计的模型有相似的形态，估计的模型如图4，修正后的直方图如图5，具体为：

步骤(1)：对划分为三段的直方图分别设置三个不同的阈值，其公式如下：

                        (6)

超过该阈值的亮度将被裁剪掉，从而压缩了图像中数量较多的背景部分图像，同时令数量较少的细节部分的照度在色调映射的时候不容易被合并。

步骤(2)：对第一段直方图将裁剪出的像素点个数按递增的方式补偿在亮度等级区间里像素个数不为0的地方，使得在中的像素总数不变，即：

                     (7)

其中，表示最终经过裁剪和补偿的第一段直方图，为裁剪后的直方图，为第一段直方图经过裁剪出来的像素个数之和。

第二段直方图的亮度级大部分为场景信息，所以将裁剪出来的像素个数之和均匀补偿，即：

                     (8)

其中，是最终经过裁剪和补偿的第二段直方图，为裁剪后的直方图，为该段直方图经过裁剪出来的像素个数之和。

     而第三段直方图，则将裁剪出的多余的像素点个数在亮度级区间中按递减的方式补偿，即：

               (9)

其中，是最终经过裁剪和补偿的第三段直方图，为裁剪后的直方图，为该段直方图经过裁剪出来的像素个数之和。

步骤(3)：对经过裁剪和补偿的子直方图合并，公式如下：

                       (10)

第6步：预设输出的低动态范围图像的平均亮度mv与标准差std。

第7步：计算低动态范围图像的灰度级分割点，具体为：

步骤(11)：计算第4步得到的三段直方图各的像素数量，公式如下：

                         (11)

步骤(12)：在第9步的反馈修正标准差的过程中计算低动态范围图像的灰度级分割点，公式如下：

       (12)

                       (13)

                (14)

其中，和表示低动态范围图像的灰度级分割点，已知的是第6步中预设的标准差初值std。

第8步：估计输出的低动态范围图像的平均亮度与标准差，具体为：

S11：假设估计的平均亮度与第6步中预设的平均亮度mv相等，由第7步中得到的和的值再加上第9步的反馈修正标准差过程可求出估计的标准差，公式如下：

 (15)

S12：由第7步通过第9步反馈过程最终得到的低动态范围图像的灰度级分割点和代入公式(12)可求得估计得平均亮度。

第9步：通过重复第7步和第8步修正估计的标准差直到预设的标准差与估计的标准差相对误差小于。相对误差E公式如下：

                         (16)

若E大于预设的误差程度，则令，利用公式(13)和公式(14)重新求解和的值代入公式(15)继续计算，最终使得相对误差E小于预设的误差，此时获得的和就是最终源图像映射到低动态范围图像的灰度级分割点。

第10步：对直方图分段进行色调映射。由第9步获得的分割点，分别求得、与三段直方图的累积分布函数，即。于是，每段直方图所对应的从高动态范围映射到低动态范围的映射函数公式如下：

    (17)

此时得到了从高动态范围为图像映射到低动态范围为的图像的映射函数s与映射后的低动态范围灰度图，即：

                        (18)

第11步：把色调映射后的亮度通道还原到RGB色彩空间。最后，需要将色调映射后得到的亮度通道还原到RGB色彩空间，公式如下：

                        (19)

其中，R、G和B分别为HDR图像输入时的RGB三个通道的数据。此处的γ值控制颜色(一般设置为0.4或0.6为佳)。

采用经典全局色调映射方法对图2进行处理，其高亮度部分处理结果如图7所示，图8为本发明高亮度部分效果图，通过图7与图8对比可以看到，本发明在抑制高亮度部分出现的过饱和现象方面比其他全局方法更优秀。

由整个算法及其结果可见本发明具有亮度可控与细节保持的特点，效果优于其它基于全局的色调映射算法。具有更高的可控性以及较好的视觉感受，能够有效抑制高照度部分出现的过饱和现象以及增强低照度部分的对比度，图像中纹理细节突出，同时图像整体视觉效果也得到增强，且具有良好的稳定性和操作性。

Claims (1)

1.一种亮度可控与细节保持的色调映射方法，其特征在于，它包括：

第1步：输入一幅高动态范围图像；

第2步：根据输入图像的RGB色彩通道值获取该图像的亮度值并转换为对数域；

第3步：分别计算图像的平均亮度与标准差，找出第2步得到的对数域公式LI中的最小值L_min以及最大值L_min，然后划分区间并统计直方图，最后计算图像的平均亮度与标准差；

第4步：通过第3步得到的平均亮度μ与标准差σ从而得到分割点的值th₁和th₂，即可将直方图分割为三个区间段；

第5步：通过第4步得到的三段直方图，分别进行直方图修正，即对每段直方图进行剪切，补偿图像的细节部分，使得处理的图像的直方图与估计的模型有相似的形态；

第6步：预设输出的低动态范围图像的平均亮度mv与标准差std；

第7步：计算低动态范围图像的灰度级分割点th₁′和th₂′，首先，计算第4步得到的三段直方图各自的像素数量；其次，计算低动态范围图像的灰度级分割点；

第8步：估计输出的低动态范围图像的平均亮度与标准差，

第9步：通过重复第7步和第8步修正估计的标准差直到预设的标准差与估计的标准差相对误差小于δ；

第10步：对直方图分段进行色调映射；

第11步：把色调映射后的亮度通道还原到RGB色彩空间；

所述第5步的对得到的三段直方图，分别进行直方图修正，使得处理的图像的直方图与估计的模型有相似的形态，具体为：

步骤(1)：对划分为三段的直方图分别设置三个不同的阈值，其公式如下：

$\left\{\begin{array}{c}{T}_l=\frac{1}{{\mathrm{th}}_1}\underset{i=0}{\overset{{\mathrm{th}}_1-1}{\Σ}}h\left(i\right)\\ T_m=\frac{1}{{\mathrm{th}}_2-{\mathrm{th}}_1}\underset{i={\mathrm{th}}_1}{\overset{{\mathrm{th}}_2-1}{\Σ}}h\left(i\right)\\ T_u=\frac{1}{N-{\mathrm{th}}_2}\underset{i={\mathrm{th}}_2}{\overset{N-1}{\Σ}}h\left(i\right)\end{array}\right.$

N表示量化后的亮度级数；

步骤(2)：对第一段直方图h_l将裁剪出的像素点个数按递增的方式补偿即：

$h_l^{\′}\left(i\right)=h_{lc}\left(i\right)+\frac{2c\_{\mathrm{sum}}_l}{{{\mathrm{th}}_1}^2}i$

其中，h_l′(i)表示最终经过裁剪和补偿的第一段直方图，h_lc(i)为裁剪后的直方图，c_sum_l为第一段直方图经过裁剪出来的像素个数之和；

第二段直方图h_m将裁剪出来的像素个数之和均匀补偿，即：

$h_m^{\′}\left(i\right)=h_{mc}\left(i\right)+\frac{c\_{\mathrm{sum}}_m}{{\mathrm{th}}_2-{\mathrm{th}}_1}$

其中，h_m′(i)是最终经过裁剪和补偿的第二段直方图，h_m′(i)为裁剪后的直方图，c_sum_m为该段直方图经过裁剪出来的像素个数之和；

第三段直方图h_u将裁剪出的多余的像素点个数在[th₂,N-1]亮度级区间中按递减的方式补偿，即：

$h_u^{\′}\left(i\right)=h_{uc}\left(i\right)+\frac{2c\_{\mathrm{sum}}_u}{{(N-{\mathrm{th}}_2)}^2}(N-i)$

其中，h_u′(i)是最终经过裁剪和补偿的第三段直方图，h_uc(i)为裁剪后的直方图，c_sum_u为该段直方图经过裁剪出来的像素个数之和；

步骤(3)：对经过裁剪和补偿的子直方图合并，公式如下：

h'(i)＝h_l'∪h_m'∪h_u'；

所述第7步的计算低动态范围图像的灰度级分割点，具体为：

步骤(11)：计算三段直方图各自的像素数量，公式如下：

$\left\{\begin{array}{c}{r}_1=\frac{1}{Total\_pixel}\underset{i=0}{\overset{{\mathrm{th}}_1-1}{\Σ}}h\left(i\right)\\ r_2=\frac{1}{Total\_pixel}\underset{i={\mathrm{th}}_1}{\overset{{\mathrm{th}}_2-1}{\Σ}}h\left(i\right)\\ T_3=\frac{1}{Total\_pixel}\underset{i={\mathrm{th}}_2}{\overset{N-1}{\Σ}}h\left(i\right)\end{array}\right.$

步骤(12)：在反馈修正标准差的过程中计算低动态范围图像的灰度级分割点，公式如下：

μ_m＝0.5[r₁(th₁′-1)+r₂(th₁′+th₂′-1)+r₃(th₂′+255)]

th₂′＝th₁′+2std

${\mathrm{th}}_1^{\′}=\frac{2{\mathrm{\μ}}_m+(r_1+r_2)-255r_3-2(r_2+r_3)std}{r_1+2r_2+r_3}$

其中，th₁′和th₂′表示低动态范围图像的灰度级分割点，已知的是第6步中预设的标准差初值std；

所述第8步的估计输出的低动态范围图像的平均亮度与标准差，具体为：

假设估计的平均亮度μ_m与预设的平均亮度mv相等，由th₁′和th₂′的值再加上反馈修正标准差过程可求出估计的标准差σ_m，公式如下：

${\mathrm{\σ}}_m={(\underset{i=0}{\overset{{\mathrm{th}}_1^{\′}-1}{\Σ}}\frac{2r_{1}i}{{\mathrm{th}}_1^{\′2}}{(i-{\mathrm{\μ}}_m)}^2+\underset{i={\mathrm{th}}_1^{\′}}{\overset{{\mathrm{th}}_2^{\′}-1}{\Σ}}\frac{r_2}{{\mathrm{th}}_2^{\′}-{\mathrm{th}}_1^{\′}}{(i-{\mathrm{\μ}}_m)}^2+\underset{i={\mathrm{th}}_2^{\′}}{\overset{255}{\Σ}}\frac{2r_3(255-i)}{{(255-{\mathrm{th}}_2^{\′})}^2}{(i-{\mathrm{\μ}}_m)}^2)}^{1/2}$

所述第9步的修正估计的标准差直到预设的标准差与估计的标准差相对误差小于δ，相对误差E公式如下：

$E=\frac{|{\mathrm{\σ}}_m-std|}{{\mathrm{\σ}}_m}$

若E大于预设的误差程度δ，则令std＝σ_m，重新求解th₁′和th₂′的值后继续计算σ_m，最终使得相对误差E小于预设的误差δ，此时获得的th₁′和th₂′就是最终源图像映射到低动态范围图像的灰度级分割点；

所述第10步的对直方图分段进行色调映射，由求得的分割点，分别求得h_l′、h_m′与h_u′三段直方图的累积分布函数，即cdf′＝cdf_l′∪cdf_m′∪cdf_u′，于是，每段直方图所对应的从高动态范围映射到低动态范围的映射函数公式如下：

$s=T\left(r\right)=\left\{\begin{array}{cc}{\mathrm{\&omega;}}_0+({\mathrm{th}}_1^{\&prime;}-{\mathrm{\&omega;}}_0){\mathrm{cdf}}^{\&prime;}\left(r\right)& r<{\mathrm{th}}_1\\ {\mathrm{th}}_1^{\&prime;}+({\mathrm{th}}_2^{\&prime;}-{\mathrm{th}}_1^{\&prime;}){\mathrm{cdf}}^{\&prime;}\left(r\right)& {\mathrm{th}}_1\&le;r<{\mathrm{th}}_2\\ {\mathrm{th}}_2^{\&prime;}+({\mathrm{\&omega;}}_L-{\mathrm{th}}_2^{\&prime;}+1){\mathrm{cdf}}^{\&prime;}\left(r\right)& r>{\mathrm{th}}_2\end{array}\right.$

得到了从高动态范围为[0,N-1]图像映射到低动态范围为[ω₀,ω_L]的图像的映射函数s与映射后的低动态范围灰度图。