CN106780381A - 基于暗原色和双边滤波的低照度图像自适应增强方法 - Google Patents

Abstract

本发明公开了一种基于暗原色和双边滤波的低照度图像自适应增强方法，步骤是：将低照度图像反转后计算其透射率，并估计图像深度得到暗原色图像，将低照度图像从RGB空间转到HSV空间，对V空间图像和暗原色图像分别进行色调映射后进行融合，然后对融合后的V空间图像进行双边滤波，将滤波后的V空间图像、低照度图像的H空间图像和低照度图像的S空间图像结合，最后将结合后的图像从HSV空间转换到RGB空间，从而得到最终增强图像。本发明方法实现图像的自适应增强，并利用低照度图像的暗原色图的特征来增强图像的细节信息；利用双边滤波滤除图像噪声。该方法不仅能够有效提高图像的整体亮度、局部对比度，同时可突出图像细节，减少噪声。

Description

基于暗原色和双边滤波的低照度图像自适应增强方法

技术领域

本发明属计算机图像处理领域，尤其涉及一种用于低照度图像的增强方法。

背景技术

在光照不足的场景如傍晚或夜晚等环境下拍摄的图像存在曝光不足、对比度低和噪声严重等缺点，这对交通路况、视频监控和罪犯特征识别等应用造成了极大的影响。因此，研究低照度图像增强具有重要的应用价值。

现有的低照度图像增强方法主要有直方图均衡化算法^[6]、基于图像融合的算法、色调映射算法^[3]以及基于暗原色先验的算法^[5]。色调映射方法通过映射函数对像素进行灰度变换，提高图像暗区的亮度，其算法简单，计算速度快，但目前的色调映射方法在映射时容易将图像中的噪声放大。基于暗原色先验的方法^[2]利用低照度图像反转与雾天图像的相似性^[5]，根据大气散射模型对低照度图像进行增强。该方法能较好地提升图像整体亮度，但由于假定透射率在局部区域内恒定而易产生块效应。

增强后的低照度图像需要使用合适的滤波方法滤除图像中的噪声，主要有均值滤波、中值滤波和双边滤波^[4]方法。双边滤波将像素距离和像素强度差作为权重影响因子，该方法能较好地在滤除图像噪声的同时保持景物的边缘信息。

[参考文献]

[1]F.Drago,K.Myszkowski,T.Annen and N.Chiba,“Adaptive logarithmicmapping for displaying high contrast scenes”,in Proc.EUROGRAPHICS,vol.22,no.3,pp.419-426,2003.

[2]He K,Sun J,Tang X.Single image haze removal using dark channelprior[J].Pattern Analysis and Ma-chine Intelligence,IEEE Transactions on,2011,33(12):2341-2353.

[3]Z.J.Zhou,N.Sang,X.R.Hu,Global brightness and local contrastadaptive enhancement for low illumination color image,Optik,v 125,n 6,p 1795-1799,March 2014.

[4]Tomasi C,Manduchi R.Bilateral Filtering for Gray and Color Images[J].Iccv,1998:839-846.

[5]X.Dong,J.T.Wen,W.X.Li,An efficient and integrated algorithm forvideo enhancement in challenging lighting conditions,in Proceedings ofInstitute of Electrical and Electronic Engineers International Conference onComputer Vision and Pattern Recognition,pp.1241-1249,2011.

[6]Tarik Arici；Salih Dikbas；Yucel Altunbasak，A Histogram ModificationFramework and Its Application for Image Contrast Enhancement,IEEETransactions on Image Processing，p 1921-1935,2009.

[7]Gao R,Fan X,Zhang J,et al.Haze filtering with aerial perspective[C].International Conference on Image Processing.2012:989-992.

[8]Rahman Z U,Jobson D J,Woodell G A.Multi-scale retinex for colorimage enhancement[C].International Conference on Image Processing.Lausanne,1996:1003-1006.

发明内容

针对基于暗通道先验的低照度图像增强出现的晕轮伪影等问题，本发明提出一种基于暗原色和双边滤波相结合的低照度图像自适应增强方法。首先根据物理模型方法暗通道先验^[2]求得低照度图像的反转图像的透射率，并根据透射率与深度信息的关系^[7]估计图像深度；然后基于估计到的图像深度信息和图像整体亮度设计色调映射函数，实现图像的自适应增强，并利用低照度图像的暗原色图的特征来增强图像的细节信息；最后利用双边滤波滤除图像噪声。该方案不仅能够有效提高图像的整体亮度、局部对比度，同时可突出图像细节，减少噪声。

为了解决上述技术问题，本发明提出的一种基于暗原色和双边滤波的低照度图像自适应增强方法，包括以下步骤：

步骤1、输入的低照度图像为图像I(x)，将图像I(x)反转得反转后图像其中，c∈(r,g,b)；

计算反转后图像的暗原色将像素的暗原色值由大到小排列，取前1％暗原色的均值作为大气光值A；

计算反转后图像的透射率：

步骤2、根据图像深度与透射率的关系利用公式估计图像深度，使用归一化函数Normalize()对图像深度进行归一化：

步骤3、计算图像I(x)的暗原色，得到暗原色图像I^dark(x)，其中，Ω(x)为以x为中心5×5大小的邻域内所有像素的集合，y为Ω(x)中任意一个像素；

标记图像I(x)中的光源区域β取0.8；

将图像I(x)从RGB空间转到HSV空间，求取图像I(x)在V空间的整体亮度：

步骤4、对图像I(x)的V空间图像I^V(x)和暗原色图像I^dark(x)分别进行色调映射，其中，

对V空间图像I^V(x)进行色调映射的映射函数为：

对暗原色图像I^dark(x)进行色调映射的映射函数为：

式(1)和式(2)中，为V空间图像I^V(x)中所有像素的最大值，为暗原色图像I^dark(x)中所有像素的最大值，b(x)为色调映射函数参数， 为V空间图像I^V(x)色调映射后的图像，为暗原色图像I^dark(x)色调映射后的图像；

步骤5、将图像与图像进行融合，得到融合后的V空间图像为

其中，α和λ都取0.5；

步骤6、对融合后的V空间图像进行双边滤波，得到滤波后的V空间图像

式(3)中，S表示以x为中心5×5大小的邻域内所有像素的集合，y表示S集合中的某个像素，||x-y||表示x与y的空间距离，G表示高斯函数，σ_d是距离影响因子参数，σ_d取值为4，σ_r是像素差值影响因子参数，σ_r取值为0.05；

步骤7、将滤波后的V空间图像图像I(x)的H空间图像和图像I(x)的S空间图像结合，然后将结合后的图像从HSV空间转换到RGB空间，从而得到最终增强图像I_final(x)。

与现有技术相比，本发明的有益效果是：

本发明基于暗通道先验求得当前场景的透射率，根据透射率与深度的关系得到当前场景深度，将深度信息和整体亮度融入到色调映射函数中，实现自适应提升V空间图像和增强暗原色图的细节，将增强后的暗原色图与V空间图像融合，最后利用双边滤波滤除图像噪声，从而得到最终增强图像。

附图说明

图1(a)是实施例1一幅名称为Traffic的低照度图像；

图1(b)是图1(a)中方框内局部图像的放大图；

图1(c)是采用MSR方法^[8]对图1(a)所示图像的增强效果图；

图1(d)是图1(c)中方框内局部图像的放大图；

图1(e)是采用基于暗原色先验的方法^[5]对图1(a)所示图像的增强效果图；

图1(f)是图1(e)中方框内局部图像的放大图；

图1(g)是采用本发明方法对图1(a)所示图像的增强效果图；

图1(h)是图1(g)中方框内局部图像的放大图；

图2(a)是实施例2一幅名称为Field的低照度图像；

图2(b)是图2(a)中方框内局部图像的放大图；

图2(c)是采用MSR方法^[8]对图2(a)所示图像的增强效果图；

图2(d)是图2(c)中方框内局部图像的放大图；

图2(e)是采用基于暗原色先验的算法^[5]方法对图2(a)所示图像的增强效果图；

图2(f)是图2(e)中方框内局部图像的放大图；

图2(g)是采用本发明方法对图2(a)所示图像的增强效果图；

图2(h)是图2(g)中方框内局部图像的放大图。

具体实施方式

下面结合附图和具体实施例对本发明技术方案作进一步详细描述，所描述的具体实施例仅对本发明进行解释说明，并不用以限制本发明。

本发明的基本原理是：色调映射算法是采用映射函数对低灰度区域进行灰度级拉伸，从而提高图像整体亮度，突出图像细节，可对低照度图像进行较好地增强。但是，现有的色调映射函数没有考虑图像中的三维信息如距离等，对于不同距离的景物应该采用不同的增强程度，并且现有的色调映射函数并不能根据低照度图像的光照环境实现自适应增强。因此，针对现有的色调映射函数的缺点，本发明基于暗通道先验估计得到图像的深度信息和低照度图像的暗原色图；然后，基于图像深度信息和图像整体亮度设计新的色调映射函数实现低照度图像的自适应增强，并基于暗原色图增强图像细节；最后，基于双边滤波去除图像噪声，得到最终增强图像。

本发明的设计思路是：首先利用低照度图像反转图像与雾天图像的相似性，根据大气散射模型和暗原色先验，利用文献[5]中的基于暗原色先验的方法求出图像的透射率t(x)，由图像深度与透射率的关系估计得到图像深度。然后基于图像深度信息和亮度信息设计色调映射函数^[1]，自适应提升低照度图像的整体亮度，并根据暗原色图细节丰富的特点，增强图像细节。最后利用双边滤波^[4]滤除图像噪声，得到最终增强图像。

本发明提出的基于暗原色和双边滤波的低照度图像自适应增强方法的具体步骤如下：

步骤1、输入的低照度图像为图像I(x)，将图像I(x)反转得反转后图像 其中，c∈(r,g,b)；

计算反转后图像的暗原色将像素的暗原色值由大到小排列，取前1％暗原色的均值作为大气光值A；

计算反转后图像的透射率：

步骤2、根据图像深度与透射率的关系利用公式估计图像深度，为了便于处理图像深度信息，使用归一化函数Normalize()对图像深度进行归一化：

步骤3、计算图像I(x)的暗原色，得到暗原色图像I^dark(x)，其中，Ω(x)为以x为中心5×5大小的邻域内所有像素的集合，y为Ω(x)中任意一个像素；

标记图像I(x)中的光源区域β取0.8；

将图像I(x)从RGB空间转到HSV空间，仅对V空间图像进行处理，去除光源区域影响，求取图像I(x)在V空间的整体亮度：

步骤4、对图像I(x)的V空间图像I^V(x)和暗原色图像I^dark(x)分别进行色调映射，其中，

对V空间图像I^V(x)进行色调映射的映射函数为：

对暗原色图像I^dark(x)进行色调映射的映射函数为：

式(1)和式(2)中，为V空间图像I^V(x)中所有像素的最大值，为暗原色图像I^dark(x)中所有像素的最大值，b(x)为色调映射函数参数， 为V空间图像I^V(x)色调映射后的图像，为暗原色图像I^dark(x)色调映射后的图像；

步骤5、将图像与图像进行融合，得到融合后的V空间图像为

其中，α和λ都取0.5；

步骤6、对融合后的V空间图像进行双边滤波，得到滤波后的V空间图像

式(3)中，S表示以x为中心5×5大小的邻域内所有像素的集合，y表示S集合中的某个像素，||x-y||表示x与y的空间距离，G表示高斯函数，σ_d是距离影响因子参数，σ_d取值为4，σ_r是像素差值影响因子参数，σ_r取值为0.05；

步骤7、将滤波后的V空间图像图像I(x)的H空间图像和图像I(x)的S空间图像结合，然后将结合后的图像从HSV空间转换到RGB空间，从而得到最终增强图像I_final(x)。

为了验证本发明提出的低照度图像增强方法的有效性，对低照度图像进行增强实验，并与相关算法进行对比。图1(a)和图2(a)分别为两幅低照度图像，图1(a)是图像‘Traffic’，图2(a)是图像‘Field’，图1(b)和图2(b)是图1(a)和2(a)中方框内局部图像的放大图。

利用MSR(Multi-scale Retinex)方法^[8]、基于暗原色先验的方法^[5]Dong和本发明提出的方法对图1(a)所示的图像‘Traffic’进行增强处理，其中，图1(c)示出了采用MSR方法^[8]对图1(a)所示图像的增强效果图，图1(d)是图1(c)中方框内局部图像的放大图；图1(e)示出了采用基于暗原色先验的方法^[5]对图1(a)所示图像的增强效果图，图1(f)是图1(e)中方框内局部图像的放大图；图1(g)示出了采用本发明方法对图1(a)所示图像的增强效果图，图1(h)是图1(g)中方框内局部图像的放大图。

利用MSR(Multi-scale Retinex)方法^[8]、基于暗原色先验的方法^[5]和本发明提出的方法对图2(a)所示的图像‘Field’进行增强处理，其中，图2(c)示出了采用MSR方法^[8]对图2(a)所示图像的增强效果图，图2(d)是图2(c)中方框内局部图像的放大图；图2(e)示出了采用基于暗原色先验的方法^[5]对图2(a)所示图像的增强效果图，图2(f)是图2(e)中方框内局部图像的放大图；图2(g)示出了采用本发明方法对图2(a)所示图像的增强效果图，图2(h)是图2(g)中方框内局部图像的放大图。

可以看出，本发明方法相比基于暗原色先验的方法可显著防止块效应，更好的滤除低照度图像中的噪声。本发明方法与MSR方法相比，能更加明显的提升图像整体亮度，并能有效地防止颜色失真，恢复出更多的图像细节，更加接近正常光照下的图像。实验结果表明，本发明提出的方法可针对传统的低照度图像增强所具有的缺陷，有效地提升了低照度图像整体亮度，滤除图像噪声，恢复更多的图像细节，具有更好的视觉性。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种基于暗原色和双边滤波的低照度图像自适应增强方法，其特征在于，包括以下步骤：

步骤1、输入的低照度图像为图像I(x)，将图像I(x)反转得反转后图像 其中，c∈(r,g,b)；

计算反转后图像的暗原色将像素的暗原色值由大到小排列，取前1％暗原色的均值作为大气光值A；

计算反转后图像的透射率：

步骤2、根据图像深度与透射率的关系利用公式估计图像深度，使用归一化函数Normalize()对图像深度进行归一化：

$d^{\′}\left(x\right)=Normalize\left(d\left(x\right)\right)=\frac{d\left(x\right)-\min \left(d\left(x\right)\right)}{\max \left(d\left(x\right)\right)-\min \left(d\left(x\right)\right)};$

步骤3、计算图像I(x)的暗原色，得到暗原色图像I^dark(x)，其中，Ω(x)为以x为中心5×5大小的邻域内所有像素的集合，y为Ω(x)中任意一个像素；

标记图像I(x)中的光源区域β取0.8；

将图像I(x)从RGB空间转到HSV空间，求取图像I(x)在V空间的整体亮度：

$I_{avg}^V=\frac{SUM\left(I^V\right(x)\×(1-F\left(x\right)\left)\right)}{SUM(1-F(x\left)\right)};$

步骤4、对图像I(x)的V空间图像I^V(x)和暗原色图像I^dark(x)分别进行色调映射，其中，对V空间图像I^V(x)进行色调映射的映射函数为：

$I_{en}^V\left(x\right)=(1-{\left(1-I^V\left(x\right)\right)}^2)\frac{ln10}{log(2+({\left(\frac{I^V\left(x\right)}{I_{\max }^V}\right)}^{\frac{\ln b\left(x\right)}{\ln 0.5}})*8)}---\left(1\right)$

对暗原色图像I^dark(x)进行色调映射的映射函数为：

$I_{en}^{dark}\left(x\right)=\left(1-{\left(1-I^{dark}\left(x\right)\right)}^2\right)*\frac{\ln 10}{\log \left(2+\left({\left(\frac{I^{dark}\left(x\right)}{I_{\max }^{dark}}\right)}^{\frac{\ln b\left(x\right)}{\ln 0.5}}\right)*8\right)}---\left(2\right)$

式(1)和式(2)中，为V空间图像I^V(x)中所有像素的最大值，为暗原色图像I^dark(x)中所有像素的最大值，b(x)为色调映射函数参数， 为V空间图像I^V(x)色调映射后的图像，为暗原色图像I^dark(x)色调映射后的图像；

步骤5、将图像与图像进行融合，得到融合后的V空间图像为

其中，α和λ都取0.5；

步骤6、对融合后的V空间图像进行双边滤波，得到滤波后的V空间图像

$I_{final}^V\left(x\right)=\frac{1}{W_x}\underset{y\∈S}{\Σ}{G}_{{\mathrm{\σ}}_d}\left(\right||x-y|\left|\right)G_{{\mathrm{\σ}}_r}\left(I_{fuse}^V\right(x)-I_{fuse}^V(y\left)\right)I_{fuse}^V\left(y\right)---\left(3\right)$

式(3)中，S表示以x为中心5×5大小的邻域内所有像素的集合，y表示S集合中的某个像素，||x-y||表示x与y的空间距离，G表示高斯函数，σ_d是距离影响因子参数，σ_d取值为4，σ_r是像素差值影响因子参数，σ_r取值为0.05；

步骤7、将滤波后的V空间图像图像I(x)的H空间图像和图像I(x)的S空间图像结合，然后将结合后的图像从HSV空间转换到RGB空间，从而得到最终增强图像I_final(x)。