CN115456905A - 一种基于明暗区域分割的单幅图像去雾方法 - Google Patents

Abstract

本发明公开了一种图像处理技术领域的基于明暗区域分割的单幅图像去雾方法，旨在解决现有技术中复原图像在明亮区域容易出现噪声和色彩失真，以及通过暗通道先验算法去雾以后的图像色彩偏暗的缺点的问题。其包括获取雾天图像，对于图像平滑处理，将图像分割预处理，计算全局大气光和透射率，得到去雾后图像，对其进行亮度增强；本发明得到明亮区域与非明亮区域的分割结果，对各个区域进行独立透射率估计，对去雾图像最亮部分进行亮度修正，对剩余部分进行亮度增强，进一步提升图像的效果，避免复原图像在明亮区域出现噪声和色彩失真，避免图像去雾后色彩偏暗的缺点，解决了以往去雾算法对多明亮区域不适应的问题。

Description

一种基于明暗区域分割的单幅图像去雾方法

技术领域

本发明涉及一种基于明暗区域分割的单幅图像去雾方法，属于图像处理技术领域。

背景技术

随着城市化进程的不断推进，在发展过程中大气环境也受到了一定的影响，大气污染问题日趋严重，这也使得雾霾天气愈发频繁，甚至一些城市还会出现沙尘天气。当出现雾霾或者沙尘天气时，空气中的浑浊的介质(如细沙、雾气、霾等)会吸收一定的大气光、对大气光产生散射和折射，进而在雾霾或沙尘天气下拍摄的图片会呈现出对比度模糊，色彩失真，动态范围缩小等缺点，这不仅影响了日常生活中人们的视觉效果，还会对后续的图像处理工作产生较大的影响，如目标识别、目标跟踪等计算机视觉领域的很多应用都是基于输入图像或视频是在天气条件良好的状态下拍摄为前提开展的，图像的清晰度会对最终的结果产生一定的影响。因此，对具有良好去雾或去噪效果的算法的研究十分重要，具有很高的理论意义和应用价值。

目前，图像去雾算法主要分为三类。第一类是端到端的图像去雾算法，即基于深度学习获取无雾图像，虽然端到端的深度学习去雾方法可以不受先验知识的限制，但是由于深度学习存在过拟合的问题，即在训练集上效果很好，而在测试集上的效果大大下降，因此可能会出现真实去雾效果远低于训练的效果，此外深度学习的过程中，神经网络所设计的待训练参数量随着网络深度的增加而增加，因此对硬件的要求很高。第二类是基于图像增强的方法，此类算法是基于图像低亮度和低对比度的图像特征信息处理有雾图像，而不考虑图像退化的原因，直接增强图像的对比度,突出图像中物体的特征和有价值的信息，但可能会造成图像部分信息的丢失，使图像失真。第三类是基于图像恢复的方法，这种方法通过研究大气悬浮颗粒对光的散射作用,建立大气散射模型，了解图像退化的物理机理,并复原出未降质前的图像，但该方法需要先验知识的支持，而不同的先验知识对图像恢复的效果有所不同，不同的先验知识也仅适用于不同的场景，如通过对大量户外无雾图像的观察，提出了暗通道先验去雾算法，取得了良好的效果，但是仍有缺陷。

现有的单幅图像去雾方法在处理局部像素强度接近大气光时，如灯光区域、天空区域等，复原图像在明亮区域容易出现噪声和色彩失真，以及通过暗通道先验算法去雾以后的图像色彩偏暗的缺点。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于明暗区域分割的单幅图像去雾方法，解决单幅图像去雾方法在处理局部像素强度接近大气光时，如灯光区域、天空区域等，复原图像在明亮区域容易出现噪声和色彩失真，以及通过暗通道先验算法去雾以后的图像色彩偏暗的问题。

为解决上述技术问题，本发明是采用下述技术方案实现的：

本发明提供了一种基于明暗区域分割的单幅图像去雾方法，包括：

步骤A：获取雾天图像；

步骤B：对获取的图像进行预处理；

步骤C：采用SLIC超像素处理方法对获取到的图像进行预分割处理，得到若干超像素；

步骤D：根据步骤C获取的预分割结果，利用明亮区域平均亮度较大的特点，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息，使用LAB颜色空间的L分量表示像素的亮度；

步骤E：在步骤D分割的明亮区域内，获取全局大气光估计值；

步骤F：获取明亮区域和非明亮区域的透射率；

根据明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率；

根据雾天图像的初步透射率，得到最终透射率；

将全局大气光估计值和最终透射率代入大气光散射的物理模型中，得到去雾后的图像；

步骤G：对去雾后的图像采用自适应权值的多尺度Retinex算法进行亮度增强；

步骤H：对原始雾天图像统计得到L分量预设比例内的像素区域，在去雾后的图像的对应区域使用基于HSV空间亮度调整算法，根据该区域的调整结果，覆盖部分步骤G调整图像的对应区域，得到最终的去雾图像。

进一步的，对获取的图像进行预处理包括：

在获取的图像中使用滤波器来突出强边缘，滤波器的原理如下式：

filter:I(i,j)∈R^h×w→I_f(i,j)∈R^h×w

其中，I(i,j)表示像素，R^h×w表示一个h×w的矩阵，h为矩阵的高，w为矩阵的宽；将每个像素I(i,j)与其相邻像素经过加权后得到滤波后的值I_f(i,j)，具体滤波公式如下：

式中：N表示像素I(i,j)的邻域；i_n,j_n为N区域内的坐标；ω表示在进行过滤操作时的权重系数；

在进行滤波过程中，考虑像素的色彩信息；

定义像素点之间的差异性为：

式中：A和D表示两个不同的像素点，A点对应在(i_A,j_A,I_A)，D点对应在(i_D,j_D,I_D)，(i,j)表示像素的位置，即坐标位置信息，I表示像素值的信息；I_A为A点的像素值信息，I_D为D点的像素值信息；

构造邻域内像素的贡献值为：

式中：q表示像素点A的邻域内的像素，i_q、j_q为q点的坐标位置信息；I_q为q点的像素值信息；

为设置的系数，滤波公式如下：

式中：N₁为像素A的邻域。

进一步的，采用SLIC超像素处理方法对获取到的图像进行预分割处理，得到若干超像素还包括：

根据所需要生成的超像素个数k，按照等大小网格空间间距

进行初始化；其中，S表示网格的间距，每个网格的初始大小为S×S，n表示图像的面积，k表示分割后超像素的个数；

根据划分的网格，将每个聚类中心都初始化在网格的中心，用C_i＝[L_iA_iB_ix_iy_i]表示，然后对初始化的聚类中心进行调整；其中，[L_iA_iB_i]是LAB颜色空间的三个分量，[x_iy_i]为像素在图中的位置。

进一步的，根据划分的网格，将每个聚类中心都初始化在网格的中心包括：

将雾天图像I(x,y)从RGB空间转换到LAB空间；其中，x、y均表示像素空间坐标；

其中，将像素从RGB空间转换到XYZ空间，将像素从XYZ空间转到LAB空间，其中RGB空间像素点用[R_iG_iB_ix_iy_i]表示，XYZ空间像素点用[X_iY_iZ_ix_iy_i]表示，LAB空间像素点用[L_iA_iB_ix_iy_i]表示，其中[x_iy_i]是每个像素的位置信息；

对初始化的聚类中心进行调整包括：

计算输入的雾天图像I(x,y)的梯度图，将聚类中心移动到n×n邻域内梯度最小的位置，该梯度图直接在雾天图像的RGB颜色空间进行计算；其中，n为大于1的正整数；

将RGB空间像素映射为f(x,y)＝f(R(x,y),G(x,y),B(x,y))，f(x,y)的梯度为gradf(x,y)＝f_x(x,y)+f_y(x,y)，其中f_x(x,y)＝f_RR_x(x,y)+f_GG_x(x,y)+f_BB_x(x,y)，f_y(x,y)＝f_RR_y(x,y)+f_GG_y(x,y)+f_BB_y(x,y)，得到雾天图像I(x,y)的梯度图grad，将初始聚类中心移动到n×n邻域内梯度最小的位置，完成聚类中心的第一次修正；

对聚类中心位置进一步调整，调整时采用带标准差约束的均值修正法，聚类中心在第一次修正的基础上修正后的位置为

Restrict_i＝{j|j∈G_i||L_j-L_i||<γσ_i}；其中G_i表示属于第i个聚类中心的所有像素的集合，σ_i表示第i个聚类中心中所有像素点在LAB空间中L分量上标准差，γ为一个常数，Restrict_i为标准差约束条件，Location_i为最终的聚类中心，L_j、L_i为像素在j位置和i位置在LAB空间的L分量，n_j为Restrict_i中像素的数量。

进一步的，采用SLIC超像素处理方法对获取到的图像进行分割预处理，得到若干超像素包括：

得到雾天图像I(x,y)的聚类中心，为图中不同的两个像素设定距离度量，距离度量将采用空间位置距离和LAB空间距离加权的方式进行计算；

像素间空间位置距离为

像素在LAB空间距离为

雾天图像I(x,y)的像素间距离为

对距离D_init进行归一化处理

式中：S是空间位置距离的最大值，x_i、x_j、y_i、y_j分别为两个像素的坐标，m是LAB空间距离的最大值，将其设置为统计最大值，ξ为常数，表示权重，范围为[1,40]；A_j、A_i为像素在j位置和i位置在LAB空间的A分量；B_j、B_i为像素在j位置和i位置在LAB空间的B分量；

得到距离度量，扫描输入图像中的每个像素点i，在其2S×2S邻域内搜索与其距离D最小的聚类中心，并将其分配到该聚类中心，最终得到k个超像素。

进一步的，根据步骤C获取的预分割结果，利用明亮区域平均亮度较大的特点，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息包括：

将平均L分量偏大的超像素归类为明亮区域，将剩余部分归类为非明亮区域，分类条件如下式：

其中L_mean(i)表示第i个超像素中所有像素点的平均L分量，体现了该超像素的平均亮度，L_max表示所有超像素中平均亮度的最大值，ρ为动态比例系数，用于控制明暗超像素分类的临界值；birght表示明亮区域，non_birght表示非明亮区域；

将灰度直方图最右波峰两侧的灰度值的比值设定为动态比例系数ρ，根据统计得明亮区域的灰度值处于[150,255]区间，将最右波峰两侧像素数量处于[250,450]区间的作为N₁和N₂，当

时

否则，

其中N₁和N₂都表示像素数量；

扫描所有的超像素，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息。

进一步的，获取明亮区域和非明亮区域的透射率，根据明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率包括：

对于步骤D分割的非明亮区域，采用块级暗通道先验算法得到透射率和去雾图像，并根据去雾图像，获取其中的光晕区域，将其作为景深突变区域，将景深突变区域以及步骤D记录的明亮区域与非明亮区域的边界信息设定为透射率突变保留区，结合明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率；

其中，使用块级暗通道先验算法，计算输入的雾天图像的块级暗通道图

其中c为RGB的颜色通道，Ω(x)为以像素x为中心的邻域；

是最小值滤波；J^c是任意图像J的一个颜色通道；

是对每个像素取最小值；

对块级暗通道图进行最小滤波，得到传统的透射率t_trad(x)，结合得到的全局大气光，得到初步的去雾图像，将去雾图像中的光晕区域保留，作为景深突变区域；明亮区域的透射率t_bright(x)认定为1；

保留上述使用传统暗通道先验去雾算法得到的透射率t_trad(x)处于非明亮区域的部分t_dark(x)；

将前述计算得到的明亮区域透射率t_bright(x)和非明亮区域透射率t_dark(x)进行合并，得到初步的透射率t_init(x)＝t_bright(x)+t_dark(x)。

进一步的，根据雾天图像的初步透射率，得到最终透射率包括：

采用导向滤波对透射率突变保留区外的部分的透射率进行平滑处理，透射率突变保留区的透射率保持不变，得到最终透射率；

其中，对获取到的初步透射率t_init(x)进行修正；

使用导向滤波，对t_init(x)透射率突变保留区外的部分进行平滑处理；

保留t_init(x)透射率突变保留区内的部分；

结合上述对t_init(x)的处理，得到最终的透射率t_final(x)。

进一步的，将全局大气光估计值和最终透射率代入大气光散射的物理模型中，得到去雾后的图像包括：

有雾环境下大气光散射的物理模型为：

I(x，y)＝J(x，y)t(x)+A(1-t(x))

式中：x，y为每个像素空间坐标，J(x，y)为去雾后的图像，t(x)为雾气的通透程度，即物体反射光透过雾气到达相机的光的比率，A为大气光强，J(x，y)t(x)为直接衰减项，即物体反射光透过雾气到达相机的部分，A(1-t(x))为相机接收到的环境照明引起的散射光；I(x，y)为雾天图像；

将前述计算得到的大气光A和修正后的透射率t_final(x)，代入大气光散射的物理模型中，得到I(x，y)＝J(x，y)t_final(x)+A(1-t_final(x))等式，从而计算得到去雾后的图像J(x，y)。

进一步的，自适应权值的多尺度Retinex算法包括：

Retinex原理的数学表达为：f(x,y)＝R(x,y)*L(x,y)；

Retinex算法的基本原理如下：

R_c(x,y)＝log[f_c(x,y)]-log[L_c(x,y)]

其中f_c(x,y)表示原图像R/G/B中的某一个通道，R_c(x,y)为R/G/B中某个通道的Retinex输出，L_c(x,y)＝f_c(x,y)*G(x,y)，G(x,y)为高斯环绕函数，*为卷积运算，

K为归一化因子，保证∫∫G(x,y)dxdy＝1，σ表示尺度参数，控制增强之后图像的细节和色彩信息，最终的算法结果为：

R_c(x,y)＝log[f_c(x,y)]-log[f_c(x,y)*G(x,y)]

修正后的Retinex算法的一般形式为：

R(x,y)＝log[f(x,y)+Δ]-log[L(x,y)+Δ]

其中Δ为补偿因子，用于抑制信息丢失；

定义区域平坦指数φ_S为：

φ_S＝α·arccot(σ_S)+β

其中S是图像的某一块局部区域，σ_S是该局部区域像素值的标准差，T为区域S中的像素个数，mean_S为区域S中像素的平均值，α和β为控制系数；

使用平坦指数的定义计算每一个超像素的平坦程度；

对平坦的超像素，使用较小的尺度参数，非平坦超像素，使用较大的尺度参数，区域的尺度参数定义如下：

φ_max＝max(φ_i)i＝1,2,3,..,R

φ_min＝min(φ_i)i＝1,2,3,..,R

其中σ_i为某一个超像素的最佳尺度参数，R为超像素的个数，σ_min＝15，σ_max＝250，σ_mid＝80；i为超像素的区域，取值范围为[1，R]，φ_i表示第i个区域的平坦指数；φ_max为最大平坦指数；φ_min为最小平坦指数；

根据得到的每个区域的最佳尺度参数，计算多尺度权值，计算方式如下：

l_i＝|σ_o-σ_i|,i＝1,2,3

其中σ_o为某一个超像素的最佳尺度参数，σ₁＝σ_min，σ₂＝σ_mid，σ₃＝σ_max；

根据前述的补偿因子Δ，自适应权值，得到最终采用改进的自适应权值的多尺度Retinex算法：

其中R_c(x,y)表示不同颜色通道的增强结果，E表示图像分块的总数，K表示尺度参数的个数，ω_k为对应尺度参数的权值，n、k为位置参数，n的取值范围为[1，E]，k的取值范围为[1，K]，f_c,n(x,y)为f_c(x,y)在n处的某一个通道，G_k(x,y)为G(x,y)在k处的高斯环绕函数。

与现有技术相比，本发明所达到的有益效果：

该一种基于明暗区域分割的单幅图像去雾方法，对原始图像进行平滑处理，对平滑处理的图像采用同物理空间与LAB空间加权聚类相结合的SLIC分割方法得到预分割结果，使用动态阈值对分割区域分类，得到最终的明亮区域与非明亮区域的分割结果，在此基础上，对各个区域进行独立透射率估计，利用简单的比例系数来对去雾图像最亮部分进行亮度修正，使用改进的自适应权值的多尺度Retinex算法对剩余部分进行亮度增强，进一步提升图像的效果，避免复原图像在明亮区域出现噪声和色彩失真，同时避免图像去雾后色彩偏暗的缺点，解决了以往去雾算法对多明亮区域不适应的问题。

附图说明

图1是根据本发明实施例提供的一种基于明暗区域分割的单幅图像去雾方法的流程图；

图2是根据本发明实施例提供的明暗区域分割原理图；

图3是根据本发明实施例提供的透射率计算原理图；

图4是根据本发明实施例提供的亮度增强原理图。

具体实施方式

下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符"/"，一般表示前后关联对象是一种“或”的关系。

如图1-4所示，本发明提供了一种基于明暗区域分割的单幅图像去雾方法，包括步骤A：获取雾天图像；

步骤B：对获取的图像进行预处理：

在获取的图像中使用滤波器来突出强边缘，滤波器的原理如下式：

filter:I(i,j)∈R^h×w→I_f(i,j)∈R^h×w

其中，I(i,j)表示像素，R^h×w表示一个h×w的矩阵，h为矩阵的高，w为矩阵的宽；该过程将每个像素I(i,j)与其相邻像素经过加权后得到滤波后的值I_f(i,j)，具体滤波公式如下：

式中：N表示像素I(i,j)的邻域；i_n,j_n为N区域内的坐标；ω表示在进行过滤操作时的权重系数；

为了防止在图像平滑过程中造成图像边界信息的部分丢失，即使得图像边缘线条模糊；在进行滤波过程中，不仅考虑像素的空间信息，同时还考虑像素的色彩信息，距离越远权重越小，色彩差别越大权重越小，这样就可以很好的平滑图像，还可以较好的保护强边缘信息；

定义像素点之间的差异性为：

式中：A和D表示两个不同的像素点，A点对应在(i_A,j_A,I_A)，D点对应在(i_D,j_D,I_D)，(i,j)表示像素的位置，即坐标位置信息，I表示像素值的信息；I_A为A点的像素值信息，I_D为D点的像素值信息；

当像素A和D位置相差越大，则差异性越大，当像素A和D的像素值信息相差越大，则差异性越大，因此构造邻域内像素的贡献值为：

式中：q表示像素点A的邻域内的像素，i_q、j_q为q点的坐标位置信息；I_q为q点的像素值信息；

为设置的系数，最终的滤波公式如下：

式中：N为像素A的邻域，当像素q和A之间的像素差异性很大时，ω(q,A)就会变得很小，从而达到了弱化q点对A点的滤波值的影响，所以滤波时，大大减轻了滤波后边界模糊的现象，达到了突出强边缘的效果。

步骤C：采用SLIC超像素处理方法对获取到的图像进行预分割处理，得到若干超像素；

采用k均值聚类的基本思想，根据所需要生成的超像素个数k，按照等大小网格空间间距

进行初始化；其中，S表示网格的间距，每个网格的初始大小为S×S，n表示图像的面积，k表示分割后超像素的个数；

根据划分的网格，将每个聚类中心都初始化在网格的中心，用C_i＝[L_iA_iB_ix_iy_i]表示，然后对初始化的聚类中心进行调整；其中，[L_iA_iB_i]是LAB颜色空间的三个分量，[x_iy_i]为像素在图中的位置。

将雾天图像I(x,y)从RGB空间转换到LAB空间；其中，x、y均表示像素空间坐标；

其中，将像素从RGB空间转换到XYZ空间，将像素从XYZ空间转到LAB空间，其中RGB空间像素点用[R_iG_iB_ix_iy_i]表示，XYZ空间像素点用[X_iY_iZ_ix_iy_i]表示，LAB空间像素点用[L_iA_iB_ix_iy_i]表示，其中[x_iy_i]是每个像素的位置信息；

对初始化的聚类中心进行调整包括：

计算输入的雾天图像I(x,y)的梯度图，将聚类中心移动到n×n邻域内梯度最小的位置，该梯度图直接在雾天图像的RGB颜色空间进行计算；其中，n为大于1的正整数；可选的，n为3；

将RGB空间像素映射为f(x,y)＝f(R(x,y),G(x,y),B(x,y))，f(x,y)的梯度为gradf(x,y)＝f_x(x,y)+f_y(x,y)，其中f_x(x,y)＝f_RR_x(x,y)+f_GG_x(x,y)+f_BB_x(x,y)，f_y(x,y)＝f_RR_y(x,y)+f_GG_y(x,y)+f_BB_y(x,y)，得到雾天图像I(x,y)的梯度图grad，将初始聚类中心移动到n×n邻域内梯度最小的位置，完成聚类中心的第一次修正；

为了减少误分的情况，引入标准差对聚类中心位置进一步调整，调整时采用带标准差约束的均值修正法，聚类中心在第一次修正的基础上修正后的位置为

Restrict_i＝{j|j∈G_i||L_j-L_i||<γσ_i}；其中G_i表示属于第i个聚类中心的所有像素的集合，σ_i表示第i个聚类中心中所有像素点在LAB空间中L分量上标准差，γ为一个常数，Restrict_i为标准差约束条件，Location_i为最终的聚类中心，L_j、L_i为像素在j位置和i位置在LAB空间的L分量，n_j为Restrict_i中像素的数量。

得到雾天图像I(x,y)的聚类中心，为图中不同的两个像素设定距离度量，距离度量将采用空间位置距离和LAB空间距离加权的方式进行计算；

像素间空间位置距离为

像素在LAB空间距离为

雾天图像I(x,y)的像素间距离为

对距离D_init进行归一化处理

式中：S是空间位置距离的最大值，x_i、x_j、y_i、y_j分别为两个像素的坐标，m是LAB空间距离的最大值，将其设置为统计最大值，ξ为常数，表示权重，范围为[1,40]；A_j、A_i为像素在j位置和i位置在LAB空间的A分量；B_j、B_i为像素在j位置和i位置在LAB空间的B分量；

得到距离度量，扫描输入图像中的每个像素点i，在其2S×2S邻域内搜索与其距离D最小的聚类中心，并将其分配到该聚类中心，最终得到k个超像素。

步骤D：根据步骤C获取的预分割结果，利用明亮区域平均亮度较大的特点，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息，使用LAB颜色空间的L分量来反映像素的亮度情况包括：

无雾和有雾图像的明亮区域在LAB空间的L分量的平均值较大，梯度较小，且包含较少的信息；

由于LAB空间的L分量恰好反映了图像的亮度情况，将平均L分量偏大的超像素归类为明亮区域，将剩余部分归类为非明亮区域，分类条件如下式：

其中L_mean(i)表示第i个超像素中所有像素点的平均L分量，体现了该超像素的平均亮度，L_max表示所有超像素中平均亮度的最大值，ρ为动态比例系数，用于控制明暗超像素分类的临界值；birght表示明亮区域，non_birght表示非明亮区域；

将灰度直方图最右波峰两侧的灰度值的比值设定为动态比例系数ρ，根据统计得明亮区域的灰度值处于[150,255]区间，因此最右波峰应处于该区间中，否则可以认为没有明亮区域，将最右波峰两侧像素数量处于[250,450]区间的作为N₁和N₂，当

时

否则，

其中N₁和N₂都表示像素数量；

扫描所有的超像素，将属于明亮区域的超像素中的像素设置为255，非明亮区域的超像素中的像素设置为0，得到最终的明暗分割图，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息。

步骤E：在步骤D分割的明亮区域内，获取全局大气光估计值包括：

在步骤D分割的明亮区域内，进行全局大气光估计；统计整幅图像中亮度最大的前1％的像素灰度值的平均值，将其设置为全局大气光的估计值：

传统的块级暗通道先验是提取块级暗通道图中的亮度值最大的前0.1％的像素，将这些像素在原图像I(x)中对应点的最大值作为A的值，原理如下：

I(x∞)＝J(x∞)t(x∞)+A(1-t(x∞))→A

t(x)＝e^-βd(x)

其中β是大气衰减系数，用定值代替，d(x)表示像素x处从场景到相机的场景深度，透射率随着场景深度的增加而减少；输入图像中存在非具体场景的空白区域，如天空等空白区域，将这些区域的像素设定为x∞，即距离相机无限远，因此无论是在无雾还是有雾场景下，这些区域的透射率t(x)都趋近于0，图像像素值趋近于A，即把这些区域内的亮度值最大的前0.1％的像素提取，将提取的像素在原图像I(x)中对应点的最大值作为A的值便可完成大气光A的估计；

由于传统的大气光估计方法存在过估计，以及在景深较小的明亮区域估计误差较大的问题，为此在传统的方法上加以改进；统计整幅图像中亮度最大的前1％的像素灰度值的平均值，将其设置为A的估计值。

步骤F：获取明亮区域和非明亮区域的透射率，根据明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率包括：

对于步骤D分割的非明亮区域，采用块级暗通道先验算法得到透射率和去雾图像，并根据去雾图像，获取其中的光晕区域，将其作为景深突变区域，将景深突变区域以及步骤D记录的明亮区域与非明亮区域的边界信息设定为透射率突变保留区，结合明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率；对于步骤D分割的明亮区域内，透射率认定为1；

使用块级暗通道先验算法，计算输入的雾天图像的块级暗通道图

其中c为RGB的颜色通道，Ω(x)为以像素x为中心的邻域；

是最小值滤波；J^c是任意图像J的一个颜色通道；

是对每个像素取最小值；

对块级暗通道图进行最小滤波，得到传统的透射率t_trad(x)，结合得到的全局大气光，得到初步的去雾图像，将去雾图像中的光晕区域保留，作为景深突变区域；明亮区域的透射率t_bright(x)认定为1；

保留上述使用传统暗通道先验去雾算法得到的透射率t_trad(x)处于非明亮区域的部分t_dark(x)；

将前述计算得到的明亮区域透射率t_bright(x)和非明亮区域透射率t_dark(x)进行合并，得到初步的透射率t_init(x)＝t_bright(x)+t_dark(x)。

将景深突变区域以及步骤D记录明亮区域与非明亮区域的边界信息设定为透射率突变保留区：透射率突变保留区指在后续处理透射图的过程中，将明暗区域边界处以及景深突变处的透射率保留下来，该行为是基于在明暗边界区域以及景深突变区域的透射率本就是突变的思想而引入的。

根据雾天图像的初步透射率，得到最终透射率包括：

采用导向滤波对透射率突变保留区外的部分的透射率进行平滑处理，透射率突变保留区的透射率保持不变，得到最终透射率包括：对获取到的初步透射率t_init(x)进行修正；使用导向滤波，对t_init(x)透射率突变保留区外的部分进行平滑处理；保留t_init(x)透射率突变保留区内的部分；结合上述对t_init(x)的处理，得到最终的透射率t_final(x)，从而防止去雾图像颜色过饱和，消除景深突变区域产生与明暗分界处的白边。

将全局大气光估计值和最终透射率代入大气光散射的物理模型中，得到去雾后的图像包括：

有雾环境下大气光散射的物理模型为：

I(x，y)＝J(x，y)t(x)+A(1-t(x))

式中：x，y为每个像素空间坐标，J(x，y)为去雾后的图像，t(x)为雾气的通透程度，即物体反射光透过雾气到达相机的光的比率，A为大气光强，J(x，y)t(x)为直接衰减项，即物体反射光透过雾气到达相机的部分，A(1-t(x))为相机接收到的环境照明引起的散射光；I(x，y)为雾天图像；

将前述计算得到的大气光A和修正后的透射率t_final(x)，代入大气光散射的物理模型中，得到I(x，y)＝J(x，y)t_final(x)+A(1-t_final(x))等式，从而计算得到去雾后的图像J(x，y)。

步骤G：对去雾后的图像采用自适应权值的多尺度Retinex算法进行亮度增强：对原始Retinex算法中对数函数进行修正，将步骤C中得到的超像素作为亮度增强的基本单位，定义区域平坦指数来表示图像每个超像素平坦程度，计算每个超像素区域平坦程度和最佳尺度参数，根据每个超像素最佳尺度参数，计算得到多尺度Retinex的多尺度权值；

自适应权值的多尺度Retinex算法包括：

Retinex原理的数学表达为：f(x,y)＝R(x,y)*L(x,y)；

Retinex算法的基本原理如下：

R_c(x,y)＝log[f_c(x,y)]-log[L_c(x,y)]

其中f_c(x,y)表示原图像R/G/B中的某一个通道，R_c(x,y)为R/G/B中某个通道的Retinex输出，L_c(x,y)＝f_c(x,y)*G(x,y)，G(x,y)为高斯环绕函数，*为卷积运算，

K为归一化因子，保证∫∫G(x,y)dxdy＝1，σ表示尺度参数，控制增强之后图像的细节和色彩信息，最终的算法结果为：

R_c(x,y)＝log[f_c(x,y)]-log[f_c(x,y)*G(x,y)]

由于低照图像中包含很多像素值为零的像素点，直接使用原始的Retinex算法的对数运算会导致信息丢失，对原始的对数进行修正以避免信息丢失，修正后的Retinex算法的一般形式为：

R(x,y)＝log[f(x,y)+Δ]-log[L(x,y)+Δ]

其中Δ为补偿因子，用于抑制信息丢失；

定义区域平坦指数φ_S为：

φ_S＝α·arccot(σ_S)+β

其中S是图像的某一块局部区域，σ_S是该局部区域像素值的标准差，T为区域S中的像素个数，mean_S为区域S中像素的平均值，α和β为控制系数，区域越平坦，对应的平坦指数就越大，反之，平坦系数就越小；

使用平坦指数的定义计算每一个超像素的平坦程度；

对平坦的超像素，使用较小的尺度参数，非平坦超像素，使用较大的尺度参数，区域的尺度参数定义如下：

φ_max＝max(φ_i)i＝1,2,3,..,N

φ_min＝min(φ_i)i＝1,2,3,..,N

其中σ_i为某一个超像素的最佳尺度参数，N为超像素的个数，可选的，引入很多研究者在实际的增强实践中通过大量实验得出的σ_min＝15，σ_max＝250，σ_min在小尺度参数中体现出的效果较好，σ_max在大尺度参数中体现出的效果较好，此外还有σ_mid＝80；i为超像素的区域，取值范围为[1，R]，φ_i表示第i个区域的平坦指数；φ_max为最大平坦指数；φ_min为最小平坦指数；

根据得到的每个区域的最佳尺度参数，计算多尺度权值，计算方式如下：

l_i＝|σ_o-σ_i|,i＝1,2,3

其中σ_o为某一个超像素的最佳尺度参数，σ₁＝σ_min，σ₂＝σ_mid，σ₃＝σ_max；

根据前述的补偿因子Δ，自适应权值，得到最终采用改进的自适应权值的多尺度Retinex算法：

其中R_c(x,y)表示不同颜色通道的增强结果，E表示图像分块的总数，K表示尺度参数的个数，ω_k为对应尺度参数的权值，n、k为位置参数，n的取值范围为[1，E]，k的取值范围为[1，K]，f_c,n(x,y)为f_c(x,y)在n处的某一个通道，G_k(x,y)为G(x,y)在k处的高斯环绕函数。

步骤H：对原始雾天图像统计得到L分量预设比例内的像素区域，在去雾后的图像的对应区域使用基于HSV空间亮度调整算法，调整时基于当前V值大小进行调整，V值越大，调整的越大，根据该区域的调整结果，覆盖部分步骤G调整图像的对应区域，得到最终的去雾图像；可选的，使用调整系数为1.1，如果像素点的V值为100，调整后为110，如果像素点的V值为200，调整后为220，且设定上限值为245；使用该区域的调整结果，去覆盖改进的自适应权值的多尺度Retinex算法调整的对应区域的部分，得到最终的去雾结果图，可选的，预设比例为前1％。

本发明采用位置与色彩加权的滤波器对原始图像进行平滑处理，对平滑处理的图像采用同物理空间与LAB空间加权聚类相结合的SLIC分割方法得到预分割结果，使用动态阈值对分割区域分类，得到最终的明亮区域与非明亮区域的分割结果，在此基础上，对明亮区域，景深突变和明暗边界区域，以及其他区域进行独立透射率估计，利用简单的比例系数来对去雾图像最亮部分进行亮度修正，使用改进的自适应权值的多尺度Retinex算法对剩余部分进行亮度增强，进一步提升图像的效果，避免复原图像在明亮区域出现噪声和色彩失真，同时避免图像去雾后色彩偏暗的缺点，解决了以往去雾算法对多明亮区域不适应的问题。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (10)

1.一种基于明暗区域分割的单幅图像去雾方法，其特征在于，包括：

步骤A：获取雾天图像；

步骤B：对获取的图像进行预处理；

步骤C：采用SLIC超像素处理方法对获取到的图像进行预分割处理，得到若干超像素；

步骤D：根据步骤C获取的预分割结果，利用明亮区域平均亮度较大的特点，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息，使用LAB颜色空间的L分量表示像素的亮度；

步骤E：在步骤D分割的明亮区域内，获取全局大气光估计值；

步骤F：获取明亮区域和非明亮区域的透射率；

根据明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率；

根据雾天图像的初步透射率，得到最终透射率；

将全局大气光估计值和最终透射率代入大气光散射的物理模型中，得到去雾后的图像；

步骤G：对去雾后的图像采用自适应权值的多尺度Retinex算法进行亮度增强；

步骤H：对原始雾天图像统计得到L分量预设比例内的像素区域，在去雾后的图像的对应区域使用基于HSV空间亮度调整算法，根据该区域的调整结果，覆盖部分步骤G调整图像的对应区域，得到最终的去雾图像。

2.根据权利要求1所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，对获取的图像进行预处理包括：

在获取的图像中使用滤波器来突出强边缘，滤波器的原理如下式：

filter:I(i,j)∈R^h×w→I_f(i,j)∈R^h×w

其中，I(i,j)表示像素，R^h×w表示一个h×w的矩阵，h为矩阵的高，w为矩阵的宽；将每个像素I(i,j)与其相邻像素经过加权后得到滤波后的值I_f(i,j)，具体滤波公式如下：

式中：N表示像素I(i,j)的邻域；i_n,j_n为N区域内的坐标；ω表示在进行过滤操作时的权重系数；

在进行滤波过程中，考虑像素的色彩信息；

定义像素点之间的差异性为：

式中：A和D表示两个不同的像素点，A点对应在(i_A,j_A,I_A)，D点对应在(i_D,j_D,I_D)，(i,j)表示像素的位置，即坐标位置信息，I表示像素值的信息；I_A为A点的像素值信息，I_D为D点的像素值信息；

构造邻域内像素的贡献值为：

式中：q表示像素点A的邻域内的像素，i_q、j_q为q点的坐标位置信息；I_q为q点的像素值信息；

为设置的系数，滤波公式如下：

式中：N₁为像素A的邻域。

3.根据权利要求1所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，采用SLIC超像素处理方法对获取到的图像进行预分割处理，得到若干超像素还包括：

根据所需要生成的超像素个数k，按照等大小网格空间间距

进行初始化；其中，S表示网格的间距，每个网格的初始大小为S×S，n表示图像的面积，k表示分割后超像素的个数；

根据划分的网格，将每个聚类中心都初始化在网格的中心，用C_i＝[L_i A_i B_i x_i y_i]表示，然后对初始化的聚类中心进行调整；其中，[L_i A_i B_i]是LAB颜色空间的三个分量，[x_iy_i]为像素在图中的位置。

4.根据权利要求3所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，根据划分的网格，将每个聚类中心都初始化在网格的中心包括：

将雾天图像I(x,y)从RGB空间转换到LAB空间；其中，x、y均表示像素空间坐标；

其中，将像素从RGB空间转换到XYZ空间，将像素从XYZ空间转到LAB空间，其中RGB空间像素点用[R_i G_i B_i x_i y_i]表示，XYZ空间像素点用[X_i Y_i Z_i x_i y_i]表示，LAB空间像素点用[L_i A_i B_i x_i y_i]表示，其中[x_i y_i]是每个像素的位置信息；

对初始化的聚类中心进行调整包括：

计算输入的雾天图像I(x,y)的梯度图，将聚类中心移动到n×n邻域内梯度最小的位置，该梯度图直接在雾天图像的RGB颜色空间进行计算；其中，n为大于1的正整数；

将RGB空间像素映射为f(x,y)＝f(R(x,y),G(x,y),B(x,y))，f(x,y)的梯度为gradf(x,y)＝f_x(x,y)+f_y(x,y)，其中f_x(x,y)＝f_RR_x(x,y)+f_GG_x(x,y)+f_BB_x(x,y)，f_y(x,y)＝f_RR_y(x,y)+f_GG_y(x,y)+f_BB_y(x,y)，得到雾天图像I(x,y)的梯度图grad，将初始聚类中心移动到n×n邻域内梯度最小的位置，完成聚类中心的第一次修正；

对聚类中心位置进一步调整，调整时采用带标准差约束的均值修正法，聚类中心在第一次修正的基础上修正后的位置为

Restrict_i＝{j|j∈G_i||L_j-L_i||<γσ_i}；其中G_i表示属于第i个聚类中心的所有像素的集合，σ_i表示第i个聚类中心中所有像素点在LAB空间中L分量上标准差，γ为一个常数，Restrict_i为标准差约束条件，Location_i为最终的聚类中心，L_j、L_i为像素在j位置和i位置在LAB空间的L分量，n_j为Restrict_i中像素的数量。

5.根据权利要求4所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，采用SLIC超像素处理方法对获取到的图像进行分割预处理，得到若干超像素包括：

得到雾天图像I(x,y)的聚类中心，为图中不同的两个像素设定距离度量，距离度量将采用空间位置距离和LAB空间距离加权的方式进行计算；

像素间空间位置距离为

像素在LAB空间距离为

雾天图像I(x,y)的像素间距离为

对距离D_init进行归一化处理

式中：S是空间位置距离的最大值，x_i、x_j、y_i、y_j分别为两个像素的坐标，m是LAB空间距离的最大值，将其设置为统计最大值，ξ为常数，表示权重，范围为[1,40]；A_j、A_i为像素在j位置和i位置在LAB空间的A分量；B_j、B_i为像素在j位置和i位置在LAB空间的B分量；

得到距离度量，扫描输入图像中的每个像素点i，在其2S×2S邻域内搜索与其距离D最小的聚类中心，并将其分配到该聚类中心，最终得到k个超像素。

6.根据权利要求1所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，根据步骤C获取的预分割结果，利用明亮区域平均亮度较大的特点，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息包括：

将平均L分量偏大的超像素归类为明亮区域，将剩余部分归类为非明亮区域，分类条件如下式：

其中L_mean(i)表示第i个超像素中所有像素点的平均L分量，体现了该超像素的平均亮度，L_max表示所有超像素中平均亮度的最大值，ρ为动态比例系数，用于控制明暗超像素分类的临界值；birght表示明亮区域，non_birght表示非明亮区域；

将灰度直方图最右波峰两侧的灰度值的比值设定为动态比例系数ρ，根据统计得明亮区域的灰度值处于[150,255]区间，将最右波峰两侧像素数量处于[250,450]区间的作为N₁和N₂，当

时

否则，

其中N₁和N₂都表示像素数量；

扫描所有的超像素，将图像分割为明亮区域与非明亮区域，并记录明亮区域与非明亮区域的边界信息。

7.根据权利要求1所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，获取明亮区域和非明亮区域的透射率，根据明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率包括：

对于步骤D分割的非明亮区域，采用块级暗通道先验算法得到透射率和去雾图像，并根据去雾图像，获取其中的光晕区域，将其作为景深突变区域，将景深突变区域以及步骤D记录的明亮区域与非明亮区域的边界信息设定为透射率突变保留区，结合明亮区域和非明亮区域的透射率，得到雾天图像的初步透射率；

其中，使用块级暗通道先验算法，计算输入的雾天图像的块级暗通道图

其中c为RGB的颜色通道，Ω(x)为以像素x为中心的邻域；

是最小值滤波；J^c是任意图像J的一个颜色通道；

是对每个像素取最小值；

对块级暗通道图进行最小滤波，得到传统的透射率t_trad(x)，结合得到的全局大气光，得到初步的去雾图像，将去雾图像中的光晕区域保留，作为景深突变区域；明亮区域的透射率t_bright(x)认定为1；

保留上述使用传统暗通道先验去雾算法得到的透射率t_trad(x)处于非明亮区域的部分t_dark(x)；

将前述计算得到的明亮区域透射率t_bright(x)和非明亮区域透射率t_dark(x)进行合并，得到初步的透射率t_init(x)＝t_bright(x)+t_dark(x)。

8.根据权利要求7所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，根据雾天图像的初步透射率，得到最终透射率包括：

采用导向滤波对透射率突变保留区外的部分的透射率进行平滑处理，透射率突变保留区的透射率保持不变，得到最终透射率；

其中，对获取到的初步透射率t_init(x)进行修正；

使用导向滤波，对t_init(x)透射率突变保留区外的部分进行平滑处理；

保留t_init(x)透射率突变保留区内的部分；

结合上述对t_init(x)的处理，得到最终的透射率t_final(x)。

9.根据权利要求8所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，将全局大气光估计值和最终透射率代入大气光散射的物理模型中，得到去雾后的图像包括：

有雾环境下大气光散射的物理模型为：

I(x，y)＝J(x，y)t(x)+A(1-t(x))

式中：x，y为每个像素空间坐标，J(x，y)为去雾后的图像，t(x)为雾气的通透程度，即物体反射光透过雾气到达相机的光的比率，A为大气光强，J(x，y)t(x)为直接衰减项，即物体反射光透过雾气到达相机的部分，A(1-t(x))为相机接收到的环境照明引起的散射光；I(x，y)为雾天图像；

将前述计算得到的大气光A和修正后的透射率t_final(x)，代入大气光散射的物理模型中，得到I(x，y)＝J(x，y)t_final(x)+A(1-t_final(x))等式，从而计算得到去雾后的图像J(x，y)。

10.根据权利要求1所述的一种基于明暗区域分割的单幅图像去雾方法，其特征在于，自适应权值的多尺度Retinex算法包括：

Retinex原理的数学表达为：f(x,y)＝R(x,y)*L(x,y)；

Retinex算法的基本原理如下：

R_c(x,y)＝log[f_c(x,y)]-log[L_c(x,y)]

其中f_c(x,y)表示原图像R/G/B中的某一个通道，R_c(x,y)为R/G/B中某个通道的Retinex输出，L_c(x,y)＝f_c(x,y)*G(x,y)，G(x,y)为高斯环绕函数，*为卷积运算，

K为归一化因子，保证∫∫G(x,y)dxdy＝1，σ表示尺度参数，控制增强之后图像的细节和色彩信息，最终的算法结果为：

R_c(x,y)＝log[f_c(x,y)]-log[f_c(x,y)*G(x,y)]

修正后的Retinex算法的一般形式为：

R(x,y)＝log[f(x,y)+Δ]-log[L(x,y)+Δ]

其中Δ为补偿因子，用于抑制信息丢失；

定义区域平坦指数φ_S为：

φ_S＝α·arccot(σ_S)+β

其中S是图像的某一块局部区域，σ_S是该局部区域像素值的标准差，T为区域S中的像素个数，mean_S为区域S中像素的平均值，α和β为控制系数；

使用平坦指数的定义计算每一个超像素的平坦程度；

对平坦的超像素，使用较小的尺度参数，非平坦超像素，使用较大的尺度参数，区域的尺度参数定义如下：

φ_max＝max(φ_i)i＝1,2,3,..,R

φ_min＝min(φ_i)i＝1,2,3,..,R

其中σ_i为某一个超像素的最佳尺度参数，R为超像素的个数，σ_min＝15，σ_max＝250，σ_mid＝80；i为超像素的区域，取值范围为[1，R]，φ_i表示第i个区域的平坦指数；φ_max为最大平坦指数；φ_min为最小平坦指数；

根据得到的每个区域的最佳尺度参数，计算多尺度权值，计算方式如下：

l_i＝|σ_o-σ_i|,i＝1,2,3

其中σ_o为某一个超像素的最佳尺度参数，σ₁＝σ_min，σ₂＝σ_mid，σ₃＝σ_max；

根据前述的补偿因子Δ，自适应权值，得到最终采用改进的自适应权值的多尺度Retinex算法：

其中R_c(x,y)表示不同颜色通道的增强结果，E表示图像分块的总数，K表示尺度参数的个数，ω_k为对应尺度参数的权值，n、k为位置参数，n的取值范围为[1，E]，k的取值范围为[1，K]，f_c,n(x,y)为f_c(x,y)在n处的某一个通道，G_k(x,y)为G(x,y)在k处的高斯环绕函数。

Images