CN101901475B - 基于视网膜自适应模型的高动态范围图像色调映射方法 - Google Patents

Abstract

本发明公开一种基于视网膜自适应模型的高动态范围图像色调映射方法，属于数字图像处理领域。其具体操作步骤为：①输入一幅高动态范围图像；②获得该图像中每个像素p的对数域亮度L(p)；③使用双边滤波器对每个像素p的对数域亮度L(p)进行双边滤波，得到其自适应因子A_opl(p)；④得到每个像素p的对数域亮度L(p)经过非线性映射后的亮度L_ram(p)；⑤得到每个像素p分别在红色通道R、绿色通道G、蓝色通道B进行非线性映射后的红色通道值I′(p_R)、绿色通道值I′(p_G)、蓝色通道值I′(p_B)；⑥使用I′(p_R)、I′(p_G)、I′(p_B)，构造一个新的图像文件，即可实现高动态范围图像的色调映射。本发明方法同时具备了全局方法的速度快、局部方法能够较好地保留图像细节的优点。

Description

基于视网膜自适应模型的高动态范围图像色调映射方法

技术领域

本发明涉及一种高动态范围图像(HDRI-high dynamic range image)的色调映射技术，特别涉及一种基于视网膜自适应模型的高动态范围图像色调映射方法，属于数字图像处理领域。

背景技术

动态范围是指图像中像素最大亮度与最小亮度的比值。传统的图像格式，如JPG、bmp、GIF等格式，使用8位二进制整数来表示每个颜色分量，其动态范围为100∶1，而真实世界场景的动态范围可以高达100,000,000∶1，因此传统图像格式无法真实地表达动态范围很高的场景。高动态范围图像是针对这一问题所设计的新型图像格式，通常使用16位或32位浮点数来表示每个颜色分量，因此能够表达更高的动态范围，传统图像格式也相应地被称为低动态范围图像。高动态范围图像的获取方式主要是计算机模拟物理光照模型、多曝光度成像融合或者直接使用特殊的拍摄设备捕捉，主要被应用于虚拟现实等领域。

现有的显示设备，例如CRT、LCD显示器，是针对传统图像格式设计的，其能够显示的动态范围与传统图像格式一致。实际上，传统图像格式所记录的颜色值就是显示设备所显示的颜色值。而高动态范围图像与之不同，它记录的是感光元件所获取的真实世界中的光照值或辐射值等物理量，其动态范围远远高于现有显示设备，因此要在现有显示设备上显示高动态范围图像必须先进行高动态范围压缩，同时将图像对比度和图像细节尽可能多的保留下来。

色调映射技术是指将一幅高动态范围图像转换为低动态范围图像的方法。色调映射技术的关键在于，如何在压缩动态范围的同时，尽可能多地保留图像对比度和细节。现有的色调映射技术可分为两大类：全局方法和局部方法。全局方法是将一个映射函数应用于图像中的所有像素，而忽略像素的在图像中的位置，例如直方图调整法、自适应指数映射法等。全局方法特点是速度快，但细节损失较大。局部方法中某个像素的映射与其在图像中的位置相关，或者说是与其自身亮度及周围像素的亮度相关，例如梯度域压缩法、双边滤波器法、三边滤波器法等。局部方法的特点是能够较好地保留图像细节，但速度慢。

评价不同色调映射方法优劣的标准主要是直观视觉感受。文献《Exploitingthe local contrast to evaluate image dynamics reduction algorithms》(G.Impoco，A.Ukovich，and G.Ramponi.In：Proceedings of the 8th COST 276Workshop，Trondheim，Norway，2005)中提出以局部对比度增益为标准来比较不同色调映射方法的性能。这个标准与直观视觉感受具有很高的一致性，为定量评价色调映射方法提供了理论依据。

本发明中使用到生理学领域中的视网膜自适应模型。视网膜自适应模型用于研究视网膜如何感知外界光信号。视网膜由外网层和内网层构成，如图1所示。R细胞(Red Cone cell)、G细胞(Green Cone cell)、B细胞(Blue Conecell)分别是红色感光体，绿色感光体和蓝色感光体；H细胞(Horizonral Conecell)是水平层细胞，与其与多个感光体细胞(R细胞、G细胞和B细胞)连接，它们共同构成外网层。A细胞(Amacrine cell)和GA细胞(Ganglion cell)构成内网层。BI细胞(Bipolar cell)将外网层和内网层连接起来。感光体细胞(R细胞、G细胞和B细胞)感知光源，响应值被传导至H细胞；H细胞的输出值通过BI细胞传递给A细胞，再传递到GA细胞。外网层和内网层在自适应过程中都对输入信号都进行了非线性操作。

外网层的非线性自适应行为可由公式1描述：

$Y=\frac{m(X-s)}{m(X-s)+X_0}---\left(1\right)$

其中，X是输入信号；Y是输出值；X₀是自适应因子，H细胞的功能就是获得自适应因子X₀。m、s表示视网膜在对输入信号进行非线性变换之前，先进行了尺度上的平移和缩放的参数值。

内网层的非线性变换与外网层相似，可由公式1描述。不同之处在于：内网层非线性变换的自适应因子X₀由A细胞(Amacrine cell)得到。

视网膜生理研究应用于很多领域，比如数字图像的RGB格式和数码相机的感光元件都是基于视网膜中存在分别感知红、绿、蓝三种颜色的感光体而设计的。因此，该模型可用于模拟高动态范围图像的色调映射过程。

但迄今为止，还未查找到将上述视网膜自适应模型用于高动态范围图像色调映射中的相关文献及实际应用。

发明内容

本发明的目的是为了克服已有技术存在的不足，提出了一种基于视网膜自适应模型的高动态范围图像色调映射方法。该方法基于视网膜自适应模型，首先使用双边滤波器来模拟水平层细胞的功能，即从一幅输入图像计算此图像的自适应因子，接着利用该自适应因子，通过两次非线性操作来依次模拟视网膜外网层和内网层的功能，完成对输入图像的变换，进而实现高动态范围图像的色调映射。

一种基于视网膜自适应模型的高动态范围图像色调映射方法，其具体操作步骤为：

第1步：输入一幅高动态范围图像；

第2步：根据该图像的红色通道R、绿色通道G、蓝色通道B的通道值，获得该图像中每个像素p的对数域亮度L(p)；

第3步：使用双边滤波器对每个像素p的对数域亮度L(p)进行双边滤波，得到其自适应因子A_opl(p)；

第4步：通过公式2得到每个像素p的对数域亮度L(p)经过非线性映射后的亮度L_ram(p)：

$L_{\mathrm{ram}}\left(p\right)=\frac{m(L\left(p\right)-s)}{m(L\left(p\right)-s)+A_{\mathrm{opl}}\left(p\right)}---\left(2\right)$

其中，m和s是对输入图像进行尺度平移和缩放的参数，0＜m≤1，s＞0。

第5步：分别通过公式3～5得到每个像素p分别在红色通道R、绿色通道G、蓝色通道B进行非线性映射后的红色通道值I′(p_R)、绿色通道值I′(p_G)、蓝色通道值I′(p_B)：

$I^{\′}\left(p_R\right)=\frac{m(I\left(p_R\right)-s)}{m(I\left(p_R\right)-s)+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(3\right)$

$I^{\′}\left(p_G\right)=\frac{m(I\left(p_G\right)-s)}{m(I\left(p_G\right)-s)+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(4\right)$

$I^{\′}\left(p_B\right)=\frac{m(I\left(p_B\right)-s)}{m(I\left(p_B\right)-s)+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(5\right)$

其中，I(p_R)为像素p在原始图像中的红色通道值；I(p_G)为像素p在原始图像中的绿色通道值；I(p_B)为像素p在原始图像中的蓝色通道值；L_av为全部像素p的对数域亮度L(p)的平均值；C为参数，参数C的计算借鉴了对比度感知模型(PCM-perceived contrast model)，其通过公式6得到：

C＝0.413+0.586×K^(1.0+K)(6)

其中，K是图像的明暗关键值，

L_max为L(p)中的最大值，L_min为L(p)中的最小值。

第6步：使用第5步得到的每个像素p分别在红色通道R、绿色通道G、蓝色通道B进行非线性映射后的红色通道值I′(p_R)、绿色通道值I′(p_G)、蓝色通道值I′(p_B)，构造一个新的图像文件，即可实现高动态范围图像的色调映射。

有益效果

本发明使用双边滤波器计算自适应因子，使得随后的自适应过程具有局部特性；然后分别对每个颜色通道独立进行映射，这种做法通常会引起偏色，通过借鉴了视网膜自适应模型中的半饱和度参数(L_ram(p)+L_av)^C，明显降低了偏色。本发明方法同时具备了全局方法的速度快、局部方法中能够较好地保留图像细节的优点。

附图说明

图1为已有技术的视网膜自适应模型；

图2为本发明具体实施方式中采用的原始图像；

图3为本发明具体实施方式中采用本发明方法对图2处理后的输出结果；

图4为本发明具体实施方式中对图3的局部放大图；

图5为本发明具体实施方式中采用逼真色调重建法对图2处理后的输出结果；

图6为本发明具体实施方式中对图5的局部放大图；

图7为本发明具体实施方式中采用快速双边滤波器法对图2处理后的输出结果；

图8为本发明具体实施方式中对图7的局部放大图；

图9为本发明具体实施方式中采用感光器法对图2处理后的输出结果；

图10为本发明具体实施方式中对图9的局部放大图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例中，采用本发明方法处理一幅如2所示的高动态范围图像，其处理过程如下：

第1步：输入该高动态范围图像；

第2步：根据该图像的红色通道R、绿色通道G、蓝色通道B的通道值，获得图像中每个像素p的对数域亮度L(p)；

第3步：使用双边滤波器对每个像素p的对数域亮度L(p)进行双边滤波，得到其自适应因子A_opl(p)：

$A_{\mathrm{opl}}\left(p\right)=\frac{1}{k\left(p\right)}\underset{\mathrm{\ξ}\∈N\left(p\right)}{\mathrm{\Σ}}L\left(\mathrm{\ξ}\right)g_1(\mathrm{\ξ}-p)g_2(L\left(\mathrm{\ξ}\right)-L\left(p\right))---\left(7\right)$

$k\left(p\right)=\underset{\mathrm{\ξ}\∈N\left(p\right)}{\mathrm{\Σ}}{g}_1(\mathrm{\ξ}-p)g_2(L\left(\mathrm{\ξ}\right)-L\left(p\right))---\left(8\right)$

其中，g₁和g₂均为高斯函数，N(p)表示以像素p为中心，5×5大小的区域，ζ表示该区域内的每一个像素。

第4步：参数m取值为1，s取值为140，带入公式2中，得到公式9；然后通过公式9得到每个像素p的对数域亮度L(p)经过非线性映射后的亮度L_ram(p)：

$L_{\mathrm{ram}}\left(p\right)=\frac{L\left(p\right)-140}{L\left(p\right)-140+A_{\mathrm{opl}}\left(p\right)}---\left(9\right)$

第5步：分别通过公式10～12得到每个像素p分别在红色通道R、绿色通道G、蓝色通道B进行非线性映射后的红色值I′(p_R)、绿色值I′(p_G)、蓝色值I′(p_B)：

$I^{\′}\left(p_R\right)=\frac{I(p_R-140)}{I\left(p_R\right)-140+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(10\right)$

$I^{\′}\left(p_G\right)=\frac{I(p_G-140)}{I\left(p_G\right)-140+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(11\right)$

$I^{\′}\left(p_B\right)=\frac{I(p_B-140)}{I\left(p_B\right)-140+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(12\right)$

第6步：使用第5步得到的每个像素p分别在红色通道R、绿色通道G、蓝色通道B进行非线性映射后的红色通道值I′(p_R)、绿色通道值I′(p_G)、蓝色通道值I′(p_B)，构造一个新的图像文件，即可得到色调映射后的图像，如图3所示，图4是对图3局部放大后的细节。

为了说明本发明效果，分别采用三种已有方法对图2进行处理：

1.采用文献“Photographic tone reproduction for digital images”提出的逼真色调重建法(PTR法)，其结果如图5所示；图6是对图5局部放大后的细节图像。

2.采用快速双边滤波器法，其结果如图7所示；图8是对图7局部放大后的细节图像。

3.采用文献“Dynamic range reduction inspired by photoreceptorphysiology”提出的感光器法，其结果如图9所示；图10是对图9局部放大后的细节图像。

表1给出了上述四种方法的对比度增益，对比度增益值衡量的是结果图相比原输入图像在对比度上的改善情况，其值越高越好。

表1四种方法的对比度增益表

方法名称	本发明	PTR法	快速双边滤波器法	感光器法
					对比度增益	0.265	0.168	0.210	0.185

可见本发明所述方法与其它三种方法相比较，对比度增益有明显提高。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进，或者对其中部分技术特征进行等同替换，这些改进和替换也应视为本发明的保护范围。

Claims (2)

1.一种基于视网膜自适应模型的高动态范围图像色调映射方法，其特征在于：其具体操作步骤为：

第1步：输入一幅高动态范围图像；

第2步：根据该图像的红色通道R、绿色通道G、蓝色通道B的通道值，获得该图像中每个像素p的对数域亮度L(p)；

第3步：使用双边滤波器对每个像素p的对数域亮度L(p)进行双边滤波，得到其自适应因子A_opl(p)；

第4步：通过公式2得到每个像素p的对数域亮度L(p)经过非线性映射后的亮度L_ram(p)：

$L_{\mathrm{ram}}\left(p\right)=\frac{m(L\left(p\right)-s)}{m(L\left(p\right)-s)+A_{\mathrm{opl}}\left(p\right)}---\left(2\right)$

其中，m和s是对输入图像进行尺度平移和缩放的参数，0＜m≤1，s＞0；

第5步：分别通过公式3～5得到每个像素p分别在红色通道R、绿色通道G、蓝色通道B进行非线性映射后的红色通道值I′(p_R)、绿色通道值I′(p_G)、蓝色通道值I′p_B)：

$I^{\′}\left(p_R\right)=\frac{m(I\left(p_R\right)-s)}{m{(I\left(p_R\right)-s)+(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(3\right)$

$I^{\′}\left(p_G\right)=\frac{m(I\left(p_G\right)-s)}{m(I\left(p_G\right)-s)+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(4\right)$

$I^{\′}\left(p_B\right)=\frac{m(I\left(p_B\right)-s)}{m(I\left(p_B\right)-s)+{(L_{\mathrm{ram}}\left(p\right)+L_{\mathrm{av}})}^C}---\left(5\right)$

其中，I(p_R)为像素p在原始图像中的红色通道值；I(p_G)为像素p在原始图像中的绿色通道值；I(p_B)为像素p在原始图像中的蓝色通道值；L_av为全部像素p的对数域亮度L(p)的平均值；C为参数，参数C的计算借鉴了对比度感知模型，其通过公式6得到：

C＝0.413+0.586×K^(1.0+K)        (6)

其中，K是图像的明暗关键值，

L_max为L(p)中的最大值，L_min为L(p)中的最小值；

第6步：使用第5步得到的每个像素p分别在红色通道R、绿色通道G、蓝色通道B进行非线性映射后的红色通道值I′(p_R)、绿色通道值I′(p_G)、蓝色通道值I′(p_B)，构造一个新的图像文件，即可实现高动态范围图像的色调映射。

2.如权利要求1所述的一种基于视网膜自适应模型的高动态范围图像色调映射方法，其特征在于：第4步公式2中的参数m取值为1，s取值为140。

Images