CN105023246A - 一种基于对比度和结构相似度的图像增强方法 - Google Patents

Abstract

本发明公开了一种基于对比度和结构相似度的图像增强方法，包括步骤：输入原始单幅雾霾图像；通过迭代的四叉树分割实现对大气光的鲁棒估计；采用基于内容的超像素分割技术将图像分割成局部区域块；构造代价函数，对各个局部区域块的大气传播图进行估计，得到各块最优传输参数；利用大气退化模型进行图像恢复。本发明提供的去雾方法有效提高复原场景图像可见度，具有运算速度快、图像恢复效果较好等优点，适用于实时性要求高的系统。

Description

一种基于对比度和结构相似度的图像增强方法

技术领域

本发明属于计算机视觉域，具体的说是一种基于对比度和结构相似度的图像增强方法，用于计算机视觉领域中有雾图像清晰度与可见度的提升。

背景技术

室外大气中存在各种随机粒子，例如：雾，霾，沙尘等。这些随机大气粒子对大气中的光线传播产生影响，随着物体到成像设备的距离增加，这种影响也随之增大。通常这种影响主要表现为两个方面：1)物体表面的反射光在到达成像设备的过程中由于大气粒子的散射，吸收而发生的衰减；2)自然光因大气粒子的散射而进入成像设备参与了成像过程。这两种影响共同作用造成图像对比度下降、饱和度降低和色调偏移等问题。它不仅影响人们对图像的视觉感知，也严重影响了后续的图像应用。

基于物理模型的图像去雾，近年来得到了广泛地研究和发展。主要方法可以大致分为两大类：一类是利用多幅图像或者附加信息来估计传输参数，另一类是基于正则化先验知识和假设的单幅图像的增强技术。

近年来，单幅图像增强处理方法取得了很大进步。典型的有Fattal(R.Fattal.Single image dehazing，ACM Transactions on Graphics，2008，27(3):pp1-9)等通过估计场景的反射率并推断大气介质的传播图。在传播图和表面着色局部不相关的假设前提下，该算法效果较好。但是当存在浓雾时该算法则容易失效。Tan(R.Tan.Visibility in bad weather from a single image.IEEE Conference onComputer Vision(CVPR)，2008，pp:1-8)等使用对比度最大化的方法，但是该方法处理后容易产生halo效应和对比度过度增强的效应。He(K.He，J.SunJ，and X.Tang.Single image haze removal using dark channel prior.IEEEConference on Computer Vision and Pattern Recognition(CVPR).2009，pp:1956-1963)等提出的基于暗通道先验的算法取得了很好的去雾效果。该算法的关键是假设室外得到的退化图像中至少一个颜色通道的局部场景反照率接近0。首先使用最小值滤波对大气传播参数进行粗估计，然后采用软抠图技术对其细化。该算法的缺点在于：景深突变的边缘处的颜色易产生过冲失真，且该算法计算复杂度较高。Tarel(J.Tarel，N.Hauti.Fast visibility restora-tion froma single color or gray level image.IEEE International Conference on ComputerVision(ICCV).2009，pp:2201-2208)等假设大气光幕函数在可行域中逼近最大值，并且在局部范围内变化缓慢。利用中值滤波估计大气光幕函数，但是中值滤波并不是一种鲁棒的边缘保留滤波，同时参数设置不当易导致Halo效应。Kim(J.Kim，J.Sim，and C.Kim.Single Image Dehazing Based On ContrastEnhancement.International Conference on Acoustics，Speech，and Signal Processing(ICASSP)，2011，pp:1273-1276)等提出一种基于对比度增强的图像增强算法。该算法计算复杂度较低，但是所构造的目标代价函数不够合理，易于引起局部过度增强从而导致图像失真。

发明内容

本发明的目的在于提供一种基于对比度和结构相似度的图像增强方法，旨在解决雾天等恶劣天气下图像对比度低，细节丢失等问题，以有效提高复原场景图像可见度。

本发明是这样实现的，一种基于对比度和结构相似度的图像增强方法，以解决雾天等恶劣天气下图像对比度低，细节丢失等问题，包含如下步骤：

S1、输入原始单幅雾霾图像；

S2、通过迭代的四叉树分割实现对大气光的鲁棒估计；

S3、采用基于内容的超像素分割技术将图像分割成局部区域块；

S4、构造代价函数，对各个局部区域块的大气传播图进行估计，得到各块最优传输参数；

S5、利用大气退化模型进行图像恢复。

优选地，所述步骤S3具体：在局部小范围内，相似的图像内容通常具有相似的传输参数，但是不同的图像内容间的传输参数通常不同。为了避免该问题，采用SLIC超像素分割算法对图像进行分割，以解决均匀分块的方式带来的局部不同的图像内容共用一个传输参数引起的处理后局部图像的失真问题。

优选地，所述步骤S4包含以下步骤：

S4A、计算预恢复图；

S4B、算预恢复图的标准差、均衡度或相似度函数；

S4C、利用构建的代价函数求解最优传输参数。

优选地，在步骤S4A中，基于大气散射模型构造的成像模型可表示为：

I_p＝t_p·J_p+(1-t_p)·A     (1)

其中，I_p和J_p分别表示成像设备获得的图像和原始图像在p处的像素值，A为大气光或天空亮度，t_p∈[0,1]为p位置处的大气传输参数值。

优选地，在步骤S4B中，非雾天的图像对比度较高，其标准差较大，而雾天图像对比度下降其标准差变小。所以标准差越大图像的对比度越高，相对可视质量越好。将其作为一个评价标准。计算标准差的公式如下：

$J_p\left(t\right)=\frac{I_p-A}{t}+A$

$\stackrel{\‾}{J_p\left(t\right)}=\frac{1}{N}\·{\Σ}_{p=1}^N{J}_p\left(t\right)$

$fstd\left(t\right)=\sqrt{\frac{1}{N}{\Σ}_{p=1}^N{\left(J_p\right(t)-\stackrel{\‾}{J_p\left(t\right)})}^2}---\left(2\right)$

其中，J_p(t)为传播参数为t时p点恢复后的像素值，为局部像素块的均值，N为局部图像块的像素个数，通常为8。计算J_p(t)时，随着t的变化，可能出现J_p(t)>2^M-1和J_p(t)<0的情形，此时应将其限制到[0,2^M-1]再进行标准差的计算。

优选地，在步骤S4B中，通过对大量图片统计分析，非雾天的图像对比度较高，像素分布较为均衡，因而其直方图均衡度是一个较小的值，而雾天的图像像素分布较为集中，此时图像的直方图集中在一个特定范围之内，直方图均衡度较大。故此，将其作为第二个评价标准。计算公式如下：

$fun\left(t\right)=\sqrt{{\&Sigma;}_{p-0}^{2^M-1}{(\frac{1}{2^M-1}-\frac{f_p\left(t\right)}{N})}^2}---\left(3\right)$

其中，N为像素个数，M为像素位宽，p为像素值，f_p(t)为传播参数为t时像素值为p的像素个数。基于以上分析，可认为对于恢复后的图像，直方图均衡度越小，图像灰度分布越均衡，图像质量相对较好。

优选地，在步骤S4B中，直方图均衡度和标准差无法衡量恢复后图像和原图之间的结构保留特性，图像结构相似度正好提供了这一结构信息，采用计算预恢复图和原图相关度的方法来表征不同传输参数所对应的预恢复图和原图在结构上的相似程度。将其作为第三个评价标准。计算公式如下：

$S_{x,y}\left(t\right)=\frac{{\mathrm{\&sigma;}}_{x,y}\left(t\right)}{{\mathrm{\&sigma;}}_x\left(t\right){\mathrm{\&sigma;}}_y+\mathrm{\&epsiv;}}---\left(4\right)$

其中，ε取为一小值常数，且

${\mathrm{\&sigma;}}_{x,y}\left(t\right)=\frac{1}{N-1}\underset{p=1}{\overset{N}{\&Sigma;}}(J_p\left(t\right)-\stackrel{\&OverBar;}{J_p\left(t\right)})\&CenterDot;(I_p-\stackrel{\&OverBar;}{I_p})$

${\mathrm{\&sigma;}}_x\left(t\right)=\sqrt{\frac{1}{N}\underset{p=1}{\overset{N}{\&Sigma;}}{\left(J_p\right(t)-\stackrel{\&OverBar;}{J_p\left(t\right)})}^2}$

${\mathrm{\&sigma;}}_y=\sqrt{\frac{1}{N}\underset{p=1}{\overset{N}{\&Sigma;}}{(I_p-\stackrel{\&OverBar;}{I_p})}^2}---\left(5\right)$

其中，σ_x,y表示恢复后图像和原图的协方差，σ_x和σ_y分别表示恢复后图像和原图的标准差。S_x,y(t)为相关系数，值越大说明恢复后的图像和原图的结构越接近。

优选地，在步骤S4C中，构造以下目标代价函数:

F(t)＝S_x,y(t)+log(fstd(t)+ε)-fun(t)

t＝argmax_t(F(t))        (6)

针对大量实验数据分析发现fstd(t)的范围在[0,100]而fun(t)和S_x,y(t)的范围在[0,1]，如果直接采用原始标准差来构造代价函数则会由于标准差所占比重较大，另两个参数在代价函数中所占比重过低而引起处理后图像的失真。为解决这一问题，首先对fstd(t)取自然对数，由于自然对数是单调运算，所以既保持了其原始单调性又压缩了fstd(t)的动态范围，间接增大了fun(t)在代价函数中的比重。

当F(t)取得最大值时对应的t即为最优，该代价函数较好的确定了各局部块的最优传输参数。

本发明克服现有技术的不足，提供一种基于对比度和结构相似度的图像增强方法，用于解决雾天等恶劣天气下图像对比度低，细节丢失等问题。它使用了基于图像内容的超像素分割方式得到自适应的局部图像块，使得在这些区域块上估计最优大气传播图比简单的均匀图像分块方式具有明显的合理性，因而获得的大气传播图比同类去雾算法更为精确。其次，通过在目标代价函数中引入图像均衡度、对比度和结构相似度等三项图像评价指标，因而对最优大气传播图的最优估计使得最后的复原图像具有更好的对比度与均衡度，能够在场景深度不连续区域获得较好的去雾效果，同时保留了图像的细节结构特征。该方法有效提高复原场景图像可见度，恢复后的图像整体色彩较为均衡，且远景处的雾也得到了很好的消除，没有产生块效应，具有运算速度快、图像恢复效果较好等优点。

附图说明

图1是本发明的流程图。

图2是实施例原始雾天图像。

图3是实施例最小值滤波图像。

图4是实施例四叉树分割图像。

图5是实施例SLIC超像素分割图像。

图6是实施例各局部区域最优传输参数图。

图7是实施例增强处理后的图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本实施例使用Matlab2009b开发仿真程序，主机配置为2.83GHz Inter Core2Quad CPU，4GB内存，Window 7操作系统。对图2(实际为彩色图像)所示像素大小为327*1000的图像进行增强处理，具体步骤如图1所示。

步骤S1、如图2所示，输入原始的单幅雾天图像，记为I_p。

步骤S2、对原始图像进行最小图像滤波如图3所示，记为I_min(p)，再进行四叉树分割，四叉树分割是指得到最小图像I_min(p)后，将其均分为四块，分别求出各个块的均值，并选其中均值最大的块再将其四分，重复迭代此过程直到块的大小小于预设值为止。然后取目标块中亮度最大的i点的RGB值作为空气光。本文中块预设值为35，图2中空气光为R_i＝166,G_i＝173,B_i＝173。

步骤S3、对原图进行SLIC超像素分割，选取超像素个数为250，紧密度为3，分割结果如图5所示。

步骤S4、分别计算各个图像块的fstd(t)，fun(t)和S_x,y(t)，继而根据代价函数：

F(t)＝S_x,y(t)+log(fstd(t)+ε)-fun(t)

t＝argmax_t(F(t))                 (6)

可求得各个块的最优传输参数t，本例中的传输参数图如图6所示。

步骤五：将A和t代入图像还原公式中：

$J=\frac{I_p-A}{t}+A---\left(7\right)$

可得到增强处理后的清晰图像，如图7(实际为彩色图像)所示。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于对比度和结构相似度的图像增强方法，其特征在于，该方法包括以下步骤：

S1、输入原始单幅雾霾图像；

S2、通过迭代的四叉树分割实现对大气光的鲁棒估计；

S3、采用基于内容的超像素分割技术将图像分割成局部区域块；

S4、构造代价函数，对各个局部区域块的大气传播图进行估计，得到各块最优传输参数；

S5、利用大气退化模型进行图像恢复。

2.如权利要求1所述的基于对比度和结构相似度的图像增强算法，其特征在于，在步骤S3中，所述超像素分割技术为SLIC超像素分割算法。

3.如权利要求1所述的基于对比度和结构相似度的图像增强方法，其特征在于，所述步骤S4包括以下步骤：

S4A、计算预恢复图；

S4B、算预恢复图的标准差、均衡度或相似度函数；

S4C、利用构建的代价函数求解最优传输参数。

4.如权利要求3所述的基于对比度和结构相似度的图像增强方法，其特征在于，所述预恢复图的计算用函数定义为：

I_p＝t_p·J_p+(1-t_p)·A   (1)

其中，I_p和J_p分别表示成像设备获得的图像和输出图像在p处的像素值，A为大气光或天空亮度，t_p∈[0,1]为p位置处的大气传输参数值。

5.如权利要求3所述的基于对比度和结构相似度的图像增强方法，其特征在于，所述标准差的计算用函数定义为：

$J_p\left(t\right)=\frac{I_p-A}{t}+A$

$\stackrel{\&OverBar;}{J_p\left(t\right)}=\frac{1}{N}\&CenterDot;{\mathrm{\&Sigma;}}_{p=1}^N{J}_p\left(t\right)$

$fstd\left(t\right)=\sqrt{\frac{1}{N}{\mathrm{\&Sigma;}}_{p=1}^N{\left(J_p\right(t)-\stackrel{\&OverBar;}{J_p\left(t\right)})}^2}---\left(2\right)$

其中，J_p(t)为传播参数为t时p点恢复后的像素值，为局部像素块的均值，N为局部图像块的像素个数；I_p和J_p分别表示成像设备获得的图像和原始图像在p处的像素值，A为大气光或天空亮度。

6.如权利要求3所述的基于对比度和结构相似度的图像增强方法，其特征在于，所述均衡度的计算用函数定义为：

$fun\left(t\right)=\sqrt{{\mathrm{\&Sigma;}}_{p=0}^{2^M-1}{(\frac{1}{2^M-1}-\frac{f_p\left(t\right)}{N})}^2}---\left(3\right)$

其中，N为像素个数，M为像素宽度，p为像素值，f_p(t)为传播参数为t时像素值为p的像素个数。

7.如权利要求3所述的基于对比度和结构相似度的图像增强方法，其特征在于，所述相似度的计算用函数定义为：

$S_{x,y}\left(t\right)=\frac{{\mathrm{\&sigma;}}_{x,y}\left(t\right)}{{\mathrm{\&sigma;}}_x\left(t\right){\mathrm{\&sigma;}}_y+\mathrm{\&epsiv;}}---\left(4\right)$

其中，ε取为一小值常数，且

${\mathrm{\&sigma;}}_{x,y}\left(t\right)=\frac{1}{N-1}\underset{p=1}{\overset{N}{\&Sigma;}}(J_p\left(t\right)-\stackrel{\&OverBar;}{J_p\left(t\right)})\&CenterDot;(I_p-\stackrel{\&OverBar;}{I_p})$

${\mathrm{\&sigma;}}_x\left(t\right)=\sqrt{\frac{1}{N}\underset{p=1}{\overset{N}{\&Sigma;}}{(J_p\left(t\right)-\stackrel{\&OverBar;}{J_p\left(t\right)})}^2}$

${\mathrm{\&sigma;}}_y=\sqrt{\frac{1}{N}\underset{p=1}{\overset{N}{\&Sigma;}}{(I_p-\stackrel{\&OverBar;}{I_p})}^2}---\left(5\right)$

其中，σ_x,y表示恢复后图像和原图的协方差，σ_x和σ_y分别表示恢复后图像和原图的标准差。

8.如权利要求3所述的基于对比度和结构相似度的图像增强方法，其特征在于，所述代价函数定义为：

F(t)＝S_x,y(t)+log(fstd(t)+ε)-fun(t)

t＝argmax_t(F(t))   (6)

其中，S_xy(t)是结构相似度fstd(t)是标准差，fun(t)是直方图均衡度；t为传输参数公式。