CN103914820B - 一种基于图像分层增强的图像去雾方法及系统 - Google Patents

Abstract

本发明公开了一种基于图像分层增强的图像去雾方法及系统，方法包括以下步骤：S1、估测原始图像的大气光值A；S2、结合所述大气光值构造两层半逆图像，对两层半逆图像进行线性对比度增强；S3、计算原始图像和增强后的半逆图像在CIE LCH空间H通道的绝对差值，根据所述绝对差值确定增强后的半逆图像的权值分布，根据所述权值分布将两层增强后的半逆图像进行融合；S4、对融合后的图像进一步线性增强，获得最终的对比度增强的去雾图像。实施本发明可有效克服以往图像增强算法中出现的增强不足或颜色失真等情况，获得清晰的去雾图像，且计算简单，适用性强，能满足实时处理应用的需求。

Description

一种基于图像分层增强的图像去雾方法及系统

技术领域

本发明涉及图像清晰化处理领域，具体地说，涉及一种基于图像分层增强的图像去雾方法及系统。

背景技术

雾天条件下，由于大气中悬浮的大量微小水滴、浑浊的媒介对光的散射、吸收等作用，使得大气的能见度降低，造成了雾天成像传感器采集的图像严重退化降质，图像色彩和对比度大幅下降，从而导致以提取图像特征为基础的监控、跟踪、智能导航、智能车辆等视觉应用系统无法正常稳定的工作。因此，研究图像去雾技术，提高雾天降质图像的清晰度具有很强的现实意义和重大的应用价值。同时，图像去雾技术因其跨学科（涉及到物理学、数学、大气学、数字图像处理等多门学科）以及应用前景广阔等特点，已成为计算机视觉和图像处理领域的研究热点。近些年来国内外已经取得了一定的研究成果，这些图像去雾的方法主要分为两大类：基于物理模型的图像复原方法和基于图像处理的图像增强方法。其特点描述如下：

1）基于物理模型的图像复原方法

基于物理模型的图像复原方法，建立雾天图像的大气散射模型，通过图像降质过程的逆过程来恢复清晰图像，其又可细分为多种类型的方法：基于偏微分方程的方法、基于深度关系的方法和基于先验信息的方法，其中最突出的是He提出的基于暗通道先验信息的图像去雾方法。该类方法一般能恢复出比较理想的图像去雾质量，信息损失少，但其缺点在于需要利用数学工具或其它辅助信息估计模型参数，计算复杂、耗时，很难应用到实时处理系统中。

2）基于图像处理的图像增强方法

基于图像处理的雾天图像增强方法不考虑图像的降质原因，主要根据主观视觉效果进行对比度增强和颜色校正，其具体有多种增强方式：基于全局化增强的直方图均衡化方法、同态滤波方法、多尺度Retinex方法以及基于局部对比度或方差的增强方法等。此类方法计算相对简单，能有效地提高雾天图像的对比度，突出图像的细节，但其缺点在于会损失很多信息出现不可预测的图像失真，且没有考虑场景的深度信息，对于较复杂的图像场景，会出现部分过增强、部分图像增强不足以及颜色失真等现象，其适用范围受到一定的限制。

对于实际应用，场景变化复杂且实时性要求较高，上述方法均不能达到理想的效果。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种图像分层增强的图像去雾方法及系统，所述方法及系统既能提高图像去雾的运算速度以满足实时性应用，又能适用于不同场景获得清晰化的图像。

本发明解决其技术问题所采用的技术方案是，提供了一种图像分层增强的图像去雾方法，所述方法包括以下步骤：

S1、估测原始图像的大气光值A；

S2、结合所述大气光值构造两层半逆图像，对两层半逆图像进行线性对比度增强；

S3、计算原始图像和增强后的半逆图像在CIE LCH空间H通道的绝对差值，根据所述绝对差值确定增强后的半逆图像的权值分布，根据所述权值分布将两层增强后的半逆图像进行加权融合；

S4、对融合后的图像进一步线性增强，获得最终的对比度增强的去雾图像。

作为进一步优选地，所述步骤S1包括以下子步骤：

S11、基于Retinex思想将高斯核函数与原始图像的灰度图进行卷积，得到原始图像的照度分量图；

S12、从照度分量图中搜索出最亮的区域；

S13、对应照度分量图中最亮的区域，将原始图像的灰度图中相应位置的值作为估计的大气光值A。

作为进一步优选地，所述步骤S2包括以下子步骤：

S21、将所述大气光值A进行分段，取A/2和A/4作为参考，首先取参考值A0为A/2；

S22、将原始图像分离成3通道，分别计算参考值A0与原始图像的r、g、b值的差值A0-r,A0-g和A0-b，然后分别取所述差值和对应的原通道r、g、b值的最大值作为输出，构成3个半逆通道；

S23、将3个半逆通道分别进行线性对比度增强，再合并得到增强后的半逆图像；

S24、取参考值A0为A/4,重复步骤S22-S23，获得另一层增强后的半逆图像。

作为进一步优选地，所述步骤S3包括以下子步骤：

S31、转换原始图像和第一层增强后的半逆图像到CIE LCH空间，计算它们在H通道上的绝对差，得到差值图，并将差值图中绝对差小于设定阈值的部分进行标记；

S32、对H通道差值图中被标记和未被标记的区域设定不同的权值，得到权值图并将其作为第一层的权重分布图；

S33、用1和第一层的权重分布图作差，得到第二层的权重分布图；

S34、将两层增强后的半逆图像进行融合：在每一层中将增强后的半逆图像与该层对应的权重分布图相乘，对两层分别加权后的结果求和。

作为进一步优选地，所述步骤S4包括以下子步骤：

S41、对融合后的图像的每个通道进行对比度增强；

S42、将步骤S41中每个通道增强前后的结果分别进行加权求和；

S43、将求和后的三个通道进行合并，获得最终的对比度增强的去雾图像。

相应地，本发明还提供了一种图像分层增强的图像去雾系统，包括估测模块、构造模块、融合模块和线性增强模块，

所述估测模块用于估测原始图像的大气光值A；

所述构造模块用于结合所述大气光值构造两层半逆图像，对两层半逆图像进行线性对比度增强；

所述融合模块用于计算原始图像和增强后的半逆图像在CIE LCH空间H通道的绝对差值，根据所述绝对差值确定增强后的半逆图像的权值分布，根据所述权值分布将两层增强后的半逆图像进行加权融合；

所述线性增强模块用于对融合后的图像进一步线性增强，获得最终的对比度增强的去雾图像。

作为进一步优选地，所述估测模块包括第一估测子模块、第二估测子模块和第三估测子模块，

所述第一估测子模块基于Retinex思想将高斯核函数与原始图像的灰度图进行卷积，得到原始图像的照度分量图；

所述第二估测子模块用于从所述照度分量图中搜索出最亮的区域；

所述第三估测子模块用于对应照度分量图中最亮的区域，将原始图像的灰度图中相应位置的值作为估计的大气光值A。

作为进一步优选地，所述第一构造子模块用于将所述大气光值A进行分段，首先取参考值A0为A/2以获得第一层增强后的半逆图像；获得所述第一层增强后的半逆图像后，取参考值A0为A/4以获得另一层增强后的半逆图像；

所述第二构造子模块用于将原始图像分离成3通道，分别计算参考值A0与原始图像的r、g、b值的差值A0-r,A0-g和A0-b，然后分别取所述差值和对应的原通道r、g、b值的最大值作为输出，构成3个半逆通道；

所述第三构造子模块用于将3个半逆通道分别进行线性对比度增强，再合并得到增强后的半逆图像。

作为进一步优选地，所述融合模块包括第一融合子模块、第二融合子模块、第三融合子模块和第四融合子模块，

所述第一融合子模块用于转换原始图像和第一层增强后的半逆图像到CIE LCH空间，计算它们在H通道上的绝对差，得到差值图，并将差值图中绝对差小于设定阈值的部分进行标记；

所述第二融合子模块用于对H通道差值图中被标记和未被标记的区域设定不同的权值，得到权值图并将其作为第一层的权重分布图；

所述第三融合子模块用1和第一层的权重分布图作差，得到第二层的权重分布图；

所述第四融合子模块用于将两层增强后的半逆图像进行融合：在每一层中将增强后的半逆图像与该层对应的权重分布图相乘，对两层分别加权后的结果求和。

作为进一步优选地，所述线性增强模块包括第一线性增强子模块、第二线性增强子模块和第三线性增强子模块，

所述第一线性增强子模块用于对融合后的图像的每个通道进行对比度增强；

所述第二线性增强子模块用于对第一线性增强子模块中每个通道增强前后的结果分别进行加权求和；

所述第三线性增强子模块用于将求和后的三个通道进行合并，获得最终的对比度增强的去雾图像。

因此，本发明可获得以下有益效果：本发明中的图像分层增强的去雾方式，一方面提高了去雾方法的鲁棒性，避免了类似He方法中因不满足暗通道先验产生的失效区域，有更强的适用性，另一方面其基于两层增强的方式能有效处理场景深度变化比较大的情况，克服了以往图像增强算法中出现的增强不足或颜色失真等情况，能获得细节更加丰富的清晰图像；同时本发明中基于图像的照度分量来估计大气光值的方法，与以往直接把图像中最亮点的像素值作为大气光值的方法相比，有效避免了一些白色物体的干扰，能获得更加合理的估值；此外，本发明的方案计算简单，避免了对图像进行物理模型的估计和复杂优化，有效降低了运算复杂度，能满足实时处理应用的需求。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明基于图像分层增强的图像去雾方法的整体流程图；

图2为本发明一个实施例的待处理的原始图像；

图3为采用本发明基于图像分层增强的图像去雾方法或系统处理后的去雾图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

图1是本发明基于图像分层增强的图像去雾方法的整体流程图。如图1所示，本发明所述方法包括如下步骤：

S1、估测原始图像的大气光值A；

S2、结合所述大气光值构造两层半逆图像，对两层半逆图像进行线性对比度增强；

S3、计算原始图像和增强后的半逆图像在CIE LCH空间H通道的绝对差值，根据所述绝对差值确定增强后的半逆图像的权值分布，根据所述权值分布将两层增强后的半逆图像进行融合；

S4、对融合后的图像进一步线性增强，获得最终的对比度增强的去雾图像。

上述步骤S1中，估测原始图像大气光值有很多方法，如将原始图像中最亮点的像素值作为大气光值等。在本发明一个优选实施例中，基于图像的照度分量来估计大气光值，该方法相比于现有技术有效避免了一些白色物体的干扰，能获得更加合理的估值。步骤S1包括如下子步骤：

S11、基于Retinex思想将高斯核函数与原始图像的灰度图进行卷积，得到输入图像的照度分量图；

基于人眼视觉颜色恒常性的Retinex理论，将一幅图像表示为反射分量和照度分量乘积的形式，其中照度分量反映了环境光照特性，通过将输入图像的灰度图与高斯核函数进行卷积获得，具体为：

L(x,y)＝F(x,y)*I(x,y)

$\begin{array}{cc}F(x,y)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{(x^2+y^2)}{2{\mathrm{\σ}}^2}}& r^2=x^2+y^2\end{array}$

其中，(x,y)表示图像像素点坐标，L(x,y)表示照度分量图，F(x,y)为高斯核函数，I(x,y)表示输入图像的灰度图，σ,r分别为高斯核函数的标准差和模板大小，满足r＝3σ，此处σ的优选值为50；

S12、从照度分量图中搜索出最亮的区域，并保存其确切位置；

S13、对应照度分量图中最亮的区域，将原始图像的灰度图中相应位置的值作为估计的大气光值A。

上述步骤S2包括以下子步骤：

S21、将所述大气光值A进行分段，取A/2和A/4作为参考，首先取参考值A0为A/2；

S22、结合参考值A0构造半逆图像：将原始图像分离成3通道，结合参考值A0对每个通道分别计算A0-r,A0-g和A0-b，然后分别取它们和原通道对应的r、g、b值的最大值作为输出，构成三个半逆通道，则所述三个半逆通道分别为： $I_{\mathrm{si}}^r=\max [r,A0-r],I_{\mathrm{si}}^g=\max [g,A0-g],I_{\mathrm{si}}^b=\max [b,A0-b],$ 由三个半逆通道构成半逆图像其中r、g、b为原始图像的r、g、b值；

S23、将三个半逆通道分别进行线性对比度增强，以通道为例，记mr为该通道的最大值，则该通道原始的取值范围为[A0/2,mr]，对其进行线性拉伸，具体为：

${I_{\mathrm{si}}^r}^{\text{'}}(x,y)=\frac{I_{\mathrm{si}}^r(s,y)-\frac{A0}{2}}{\mathrm{mr}-\frac{A0}{2}}$

其中为通道上(x,y)处的值经过线性增强后的变换值，将其它两通道按同一方式进行增强得到和然后合并三通道即得到增强后的半逆图像合并通道得到增强后的半逆图像；

S24、取参考值A0为A/4,重复步骤S22-S23，获得第二层增强后的半逆图像。

上述步骤S3包括以下子步骤：

S31、转换原始图像和第一层增强后的半逆图像到CIE LCH空间，获得各自的H通道，计算它们在H通道上的绝对差|H_ori-H_si|，得到差值图，并设定阈值将差值图中满足以下条件的部分进行标记：|H_ori-H_si|＜Thresh（此处阈值Thresh优选值为100），至此获得标记图label；

S32、获取第一层增强后图像的权重分布图W1：根据步骤S24中获取的标记图label，对被标记和未被标记的区域设定不同的权值，则得到与原图有同样大小的权重分布图，并将其作为第一层增强图像的权重分布图W1，此处被标记区域的权值优选为0.6，未标记区域的优选为0.4；

S33、获取第二层增强后图像的权重分布图W2：为了满足同一坐标位置待融合的两层图像的权值和为1，则将1和第一层的权重分布图作差，即得到第二层的权重分布图W2；

S34、将两层增强后的半逆图像进行融合：在每一层，将增强后图像的三个通道都与对应的权重分布图相乘，然后将两层对应通道上乘积后的结果进行求和，具体用公式表示为：

$I_{\mathrm{rout}}=W1.*{I_{\mathrm{si}1}^r}^{\text{'}}+W2.*{I_{\mathrm{si}2}^r}^{\text{'}}$

$I_{\mathrm{gout}}=W1.*{I_{\mathrm{si}1}^g}^{\text{'}}+W2.*{I_{\mathrm{si}2}^g}^{\text{'}}$

$I_{\mathrm{bout}}=W1.*{I_{\mathrm{si}1}^b}^{\text{'}}+W2.*{I_{\mathrm{si}2}^b}^{\text{'}}$

其中，表示第一层增强后图像的三个通道，表示第二层增强后图像的三个通道，I_rout,I_gout,I_bout为融合后图像的三个通道；

上述步骤S4包括以下子步骤：

S41、对融合后的图像的每个通道进行线性对比度增强，具体增强方法与上述步骤S23中的线性拉伸公式一致，即将原通道的值从[最小值,最大值]拉伸到[0,1]；

S42、将步骤S41中每个通道增强前后的结果分别进行加权求和，权值各为0.5，以防止局部过增强；

S43、将求和后的三个通道进行合并，获得最终的对比度增强的去雾图像。

图2为本发明一个实施例的待处理的原始图像。图3为采用本发明基于图像分层增强的图像去雾方法或系统处理后的去雾图像。由图2和图3可知，采用本发明基于图像分层增强的图像去雾方法或系统可获得清晰的去雾后的图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像分层增强的图像去雾方法，其特征在于，所述方法包括以下步骤：

S1、估测原始图像的大气光值A；

S2、结合所述大气光值构造两层半逆图像，对两层半逆图像进行线性对比度增强；

S3、计算原始图像和增强后的半逆图像在CIE LCH空间H通道的绝对差值，根据所述绝对差值确定增强后的半逆图像的权值分布，根据所述权值分布将两层增强后的半逆图像进行加权融合；

S4、对融合后的图像进一步线性增强，获得最终的对比度增强的去雾图像；

所述步骤S2包括以下子步骤：

S21、将所述大气光值A进行分段，取参考值A0为A/2；

S22、将原始图像分离成3通道，分别计算参考值A0与原始图像的r、g、b值的差值A0-r,A0-g和A0-b，然后分别取所述差值和对应的原通道r、g、b值的最大值作为输出，构成3个半逆通道；

S23、将3个半逆通道分别进行线性对比度增强，再合并得到增强后的半逆图像；

S24、取参考值A0为A/4,重复步骤S22-S23，获得另一层增强后的半逆图像；

所述步骤S3包括以下子步骤：

S31、转换原始图像和第一层增强后的半逆图像到CIE LCH空间，计算它们在H通道上的绝对差，得到差值图，并将差值图中绝对差小于设定阈值的部分进行标记；

S32、对H通道差值图中被标记和未被标记的区域设定不同的权值，得到权值图并将其作为第一层的权重分布图；

S33、用1和第一层的权重分布图作差，得到第二层的权重分布图；

S34、将两层增强后的半逆图像进行融合：在每一层中将增强后的半逆图像与该层对应的权重分布图相乘，对两层分别加权后的结果求和。

2.如权利要求1所述的基于图像分层增强的图像去雾方法，其特征在于，所述步骤S1包括以下子步骤：

S11、基于Retinex思想将高斯核函数与原始图像的灰度图进行卷积，得到原始图像的照度分量图；

S12、从照度分量图中搜索出最亮的区域；

S13、对应照度分量图中最亮的区域，将原始图像的灰度图中相应位置的值作为估计的大气光值A。

3.如权利要求1所述的基于图像分层增强的图像去雾方法，其特征在于，所述步骤S4包括以下子步骤：

S41、对融合后的图像的每个通道进行对比度增强；

S42、将步骤S41中每个通道增强前后的结果分别进行加权求和；

S43、将求和后的三个通道进行合并，获得最终的对比度增强的去雾图像。

4.一种基于图像分层增强的图像去雾系统，包括估测模块、构造模块、融合模块和线性增强模块，其特征在于，

所述估测模块用于估测原始图像的大气光值A；

所述构造模块用于结合所述大气光值构造两层半逆图像，对两层半逆图像进行线性对比度增强；

所述融合模块用于计算原始图像和增强后的半逆图像在CIE LCH空间H通道的绝对差值，根据所述绝对差值确定增强后的半逆图像的权值分布，根据所述权值分布将两层增强后的半逆图像进行加权融合；

所述线性增强模块用于对融合后的图像进一步线性增强，获得最终的对比度增强的去雾图像；

所述构造模块包括第一构造子模块、第二构造子模块和第三构造子模块，

所述第一构造子模块用于将所述大气光值A进行分段，首先取参考值A0为A/2以获得第一层增强后的半逆图像；获得所述第一层增强后的半逆图像后，取参考值A0为A/4以获得另一层增强后的半逆图像；

所述第二构造子模块用于将原始图像分离成3通道，分别计算参考值A0与原始图像的r、g、b值的差值A0-r,A0-g和A0-b，然后分别取所述差值和对应的原通道r、g、b值的最大值作为输出，构成3个半逆通道；

所述第三构造子模块用于将3个半逆通道分别进行线性对比度增强，再合并得到增强后的半逆图像；

所述融合模块包括第一融合子模块、第二融合子模块、第三融合子模块和第四融合子模块，

所述第一融合子模块用于转换原始图像和第一层增强后的半逆图像到CIE LCH空间，计算它们在H通道上的绝对差，得到差值图，并将差值图中绝对差小于设定阈值的部分进行标记；

所述第二融合子模块用于对H通道差值图中被标记和未被标记的区域设定不同的权值，得到权值图并将其作为第一层的权重分布图；

所述第三融合子模块用1和第一层的权重分布图作差，得到第二层的权重分布图；

所述第四融合子模块用于将两层增强后的半逆图像进行融合：在每一层中将增强后的半逆图像与该层对应的权重分布图相乘，对两层分别加权后的结果求和。

5.如权利要求4所述的基于图像分层增强的图像去雾系统，其特征在于，所述估测模块包括第一估测子模块、第二估测子模块和第三估测子模块，

所述第一估测子模块基于Retinex思想将高斯核函数与原始图像的灰度图进行卷积，得到原始图像的照度分量图；

所述第二估测子模块用于从所述照度分量图中搜索出最亮的区域；

所述第三估测子模块用于对应照度分量图中最亮的区域，将原始图像的灰度图中相应位置的值作为估计的大气光值A。

6.如权利要求4所述的基于图像分层增强的图像去雾系统，其特征在于，所述线性增强模块包括第一线性增强子模块、第二线性增强子模块和第三线性增强子模块，

所述第一线性增强子模块用于对融合后的图像的每个通道进行对比度增强；

所述第二线性增强子模块用于对第一线性增强子模块中每个通道增强前后的结果分别进行加权求和；

所述第三线性增强子模块用于将求和后的三个通道进行合并，获得最终的对比度增强的去雾图像。