CN110675340A - 一种基于改进的非局部先验的单幅图像去雾方法及介质 - Google Patents

Abstract

本发明请求保护一种基于改进的非局部先验的单幅图像去雾方法及介质，属于计算机视觉技术领域以及图像处理技术领域。本发明首先使用改进的暗通道先验方法进行大气光估计，然后采用非局部先验对整幅图像进行处理，估算出初始的透射率。非局部先验考虑的是全局信息，不需要将图像分割成不同的块，可以避免出现晕轮现象。其次采用基于加权L1范数的上下文正则化对场景透射率进行细化，得到细化的场景透射率，最后使用域变换滤波对透射率进行修正。本发明在峰值信噪比、可见边数、平均梯度、饱和像素点数等评价指标上均有所提升。

Description

一种基于改进的非局部先验的单幅图像去雾方法及介质

技术领域

本发明属于计算机视觉技术领域以及图像去雾技术领域，尤其涉及一种基于改进的非局部先验的单幅图像去雾方法。

背景技术

雾、雾霾是一种常见的自然现象，这种现象是由大气中悬浮的气溶胶和固体颗粒等介质对光线吸收和散射作用而形成的。近年来雾霾天气频发，导致户外视频监控设备获取到的图像严重降质，对智能视频监控系统的安全性、稳定性造成了严重的负面影响。所以，复原有雾图像的真实色彩具有一定的实际应用价值和研究意义。

现有的去雾算法主要包括基于图像增强的方法和基于物理模型的方法两大类。

一)：基于图像增强的方法。该方法不考虑雾天退化的原因，只是通过增强图像对比度，提高场景的可视性。而且这种增强一般会产生一些噪声以及一些信息的丢失。图像增强方法主要包括灰度直方图均衡化、小波变化、Retinex 算法等。其中，直方图均衡能够提高图像的对比度，但是由于有雾图像的场景深度不均匀，全局直方图均衡不能完全去雾，而且一些细节仍模糊不清，往往会忽略图像的部分信息，导致图像失真，详见文献“IbrahimH，Kong N S P.Brightness Preserving Dynamic Histogram Equalization for ImageContrast Enhancement[J].IEEE Transactions on Consumer Electronic，2008，53(4)：1752-1758.”。

二)：基于物理模型的方法。该方法通过构建大气散射模型，深入分析和处理有雾图像的退化过程，通过计算复原出清晰的图像。这类方法图像复原较真实，效果自然，较好地保留了图像的信息。Tan采用最大化对比度的方法复原图像，增强了图像的视觉效果，然而得到的图像颜色过于饱和，详见文献“Tan R T.Visibility in bad weather from asingle image[C]//2008 IEEE Computer Society Conference on Computer Vision andPattern Recognition(CVPR 2008)，24-26 June 2008，Anchorage，Alaska，USA.IEEE，2008.”。He等通过对大量室外无雾图像的统计观察，提出用暗原色先验理论估计透射率，但是在景深突变处易产生误差，随后运用软抠图法细化透射率，有效去除白色晕块。由于该方法包含大规模稀疏矩阵的计算，复杂度较高，无法实现实时求解，详见文献“He K，Sun J，TANG X O.Guided image filtering[J].IEEE transaction on pattern analysis andmachine intelligence，2013，35(6)：1397-1409.”。Zhu等对大量有雾图像进行统计，利用颜色衰减先验去雾。该算法通过求解一个简单有效的线性模型估计出景深图，继而得到清晰化图像。但是，颜色衰减先验依赖图像的颜色信息，不同景深处颜色信息对此先验的影响不同，因而颜色衰减先验并不适用于整幅雾天图像，详见文献“Zhu Q，Mai J，Fellow，etal.Single Image Haze Removel Using Dark Channel Prior[J].IEEE Transaction onPattern Analysis and Machine Intelligence，2011，33(12)：2341-2353.”。

以上方法大多基于局部像素块进行去雾，不仅需要考虑采用多种块尺寸来去除噪声干扰，而且还需要考虑块重叠的问题以及在去雾结果中存在块效应。针对以上各种方法的不足，本发明提出了一种新的改进方法，首先采用非局部先验对整幅图像进行处理，估算出初始的透射率。非局部先验考虑的是全局信息，不需要将图像分割成不同的块，可以避免出现晕轮现象。其次采用基于加权L1范数的上下文正则化对基于块的场景透射率进行细化，得到细化的场景透射率。最后使用域变换滤波对透射率进行修正，本发明用于图像去雾能使去雾后的图像效果更自然，在客观评价指标上得到的结果也更好。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种能明显提高去雾性能且去雾效果的更好的基于改进的非局部先验的单幅图像去雾方法。本发明的技术方案如下：

一种基于改进的非局部先验的单幅图像去雾方法，其包括以下步骤：

步骤S1：输入有雾图像，采用改进的暗通道去雾方法进行大气光值估计，改进的暗通道去雾方法改进主要是在处理暗通道图像的时候引入阈值法，雾气浓度较大的区域即在阈值以上且RGB三通道内的像素值相近的像素点，这些区域暗通道取值为零，将暗原色图像像素的前0.1％个像素点排序，而后对选取出来的像素点求其原图像中所对应的灰度值，将这里灰度值最大的点作为大气光值的最优估计值；

步骤S2：采用非局部先验法对大气散射模型粗估计得到粗糙透射率，非局部先验法的步骤包括：1)首先将有雾图像I(x)与大气光值A做差，将得到的图像记为I_A(x)，则大气散射模型表示成：I_A(x)＝t(x)·[J(x)-A]，其中，J(x)表示复原的清晰图像，t(x) 是透射率，描述物体反射光线能够经过衰减到达观测点的比例，将I_A(x)表示成球坐标形式为：I_A(x)＝[r(x)，θ(x)，Φ(x)]，其中，θ(x)与分别表示经度和纬度，半径r(x)的计算表达式为：r(x)＝t(x)||J(x)-A||，0≤t(x)≤1，此时球坐标系的原点对应图像的大气光值A；2)依据变换后像素点的

值的大小，对有雾图像当中的像素点采用 K-means的方法进行聚类，根据非局部先验，位于同一类当中的像素点呈线状分布，因此聚类后得到多条雾线，假设图像整体的大气光值是一致的，每条雾线都经过球坐标系的原点，依据非局部先验位于同一条雾线的像素点在无雾图像J(x)中的对应点的像素值是相同的，根据半径r(x)公式，得知位于同一条雾线上的点的半径的差异与透射率的差异成正比的；假设每条雾线上最大半径对应的点为清晰无雾的点，即半径最大的像素点所对应的透射率为1；最大半径的定义式如下：

H表示雾线，根据上述求得的最大半径，得到同一条雾线上其他像素点对应的透射率为：

步骤S3：采用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，然后通过加权L1范数上下文正则化进行透射率优化得到精细透射率；

步骤S4：采用域变换滤波对精细透射率进行修正得到修正透射率；

步骤S5：最后根据大气散射模型，以及求出的大气光值和修正透射率，得出无雾图像。

进一步的，所述步骤S1采用改进的暗通道去雾方法进行大气光估计，具体包括：

首先在对有雾原图像进行两次最小值滤波处理，暗通道图像是输入原图像经过取两次最小值运算得到，即求取有雾图像的暗通道图像首先求取有雾图像每个像素点的R，G，B三个通道值的最小值，然后进行最小值滤波即得到有雾图像的暗通道图像，在处理暗通道图像的时候引入阈值法，雾气浓度较大的区域指的是像素值在阈值以上且RGB三通道内的像素值相近的像素点，这些区域暗通道取值为零，将暗原色图像像素的前0.1％个像素点排序，对选取出来的像素点求其原图像中所对应的灰度值，将灰度值最大的点作为大气光值的最优估计值。

进一步的，所述步骤S2采用非局部先验法对大气散射模型粗估计得到粗糙透射率，，具体包括：

根据前面估计出的大气光值A，定义雾线上的像素点到大气光的颜色距离为I_A(x)＝I(x)-A，其中，I(x)为照相机观测到图像的强度，A为大气光强度，通过结合大气散射模型，计算公式为：I(x)＝J(x)t(x)+A[1-t(x)]，I(x) 是指照相机观测到图像的强度；J(x)是指景物光线真实的强度；t(x)是景物光线透射率，得出公式：I_A(x)＝t(x)·[J(x)-A]；然后将其转换到球坐标系，得出公式：

其中，θ(x)和

分别表示经度和纬度。然后以大气光A为球心，r(x)为像素点到球心的距离，得到公式： r(x)＝||I(x)-A||，式中0≤t(x)≤1，则当t(x)＝1时，对应的最大距离半径r_max为

根据前两式，可得透射率公式为：

进一步的，所述步骤S4采用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，然后通过加权L1范数上下文正则化进行透射率优化得到精细透射率，具体包括：

首先利用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，计算公式为：w(x，y)[t(y)-t(x)]＝0，其中，x和y 是两个相邻像素，t(y)、t(x)表示两相邻像素的透射率，通过构造的加权函数调节透射率之差，当深度变化比较大时选取较小的W(x，y)，当深度变化比较小时选取较大的W(x，y)，；假设若相邻像素的色差越小则两像素点具有相同的景深信息，权值的具体公式：

其中，||I(x) -I(y)||表示两相邻像素间的像素差，边缘检测算子可以反映出图像的梯度变化，所以使用8个模板方向的Kirsch边缘检测算子对权值表达式做卷积运算，具体公式：

其中，w是下标集合，ο表示相应元素相乘，表示卷积操作，D_j是一介微分算子，W_j是一个权重矩阵，|| ||₁表示L1范数。

进一步的，所述步骤S4采用域变换滤波器进行透射率修正，具体包括：

域变换滤波优化大气透射率的主要过程公式可表示为：

式中，I_k代表输入图像I的第K个通道，对输入图像的所有通道一次性进行处理是进行边缘保持滤波的重要因素，该公式一次性将输入图像的多通道转换至一维空间。

进一步的，所述步骤S5根据大气散射模型，以及求出的大气光值和修正透射率，

得出无雾图像，具体包括：

将大气光A和修正的透射率代入大气散射模型公式计算出无雾图像： I(x)＝J(x)t(x)+A(x)(1-t(x))，其中J(x)表示雾天图像的复原公式：

其中t₀是透射率设定的下限值，以避免去雾结果中包含噪声。

一种介质，该介质内部存储计算机程序，所述计算机程序被处理器读取时，执行上述权利要求1～6任一项的方法。

本发明的优点及有益效果如下：

(1)本发明使用非局部先验去雾，可以有效避免如用局部先验去雾易产生的块重叠的问题以及在去雾结果中存在的块状效应。

(2)使用加权L1范数的上下文正则化进行透射率优化，使用正则化技术不仅能加入能够反映真实图像某种特性的正则项来进行复原，以保证复原后的图像具有这种特性，而且正则化能使优化后的透射率在平坦区域是平滑的，仅在景深跳变处不连续，而且去雾后的图像与原始有雾图像在边缘处保持高度一致。

(3)采用域变换滤波器，不仅可以修正透射率和对有雾图像进行平滑和边缘保持，同时通过域变换使得滤波过程只需在变换的域空间进行一维滤波，从而大幅度地减少了滤波时间。

附图说明

图1是本发明提供优选实施例的处理流程框架图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

如图1所示，本发明的实现流程包括如下：

步骤S1：对大气散射模型和非局部先验原理进行分析，阐述析雾天图像降质原因。

步骤S2：采用改进的暗通道先验方法估计大气光，首先在对图像进行两次最小值滤波处理后，在处理暗通道图像的时候引入阈值法，雾气浓度较大的区域即在阈值以上且RGB三通道内的像素值相近的像素点，这些区域暗通道取值为零。将暗原色图像像素的前0.1％个像素点排序。而后对选取出来的像素点求其原图像中所对应的灰度值，将这里灰度值最大的点作为大气光值的最优估计值。

步骤S3：对透射率进行粗提取，采用的是非局部先验进行透射率的粗估计，根据统计规律，即通过对单幅图像的RGB值用K-means方法进行聚类，结果发现一幅清晰无雾的彩色图像最多可以用几百个不同的RGB值来表示(此数量远小于原始图像的像素点的个数)，并且在RGB空间中形成不同的簇。对于一个给定的簇，属于这个簇的像素点都是非局部的，分布在整幅图像的不同位置。在雾的影响下，位于图像中不同区域的像素点到相机的距离不同，原来属于同一个颜色簇的像素点最终得到不同的RGB值，并且不再聚类成一个簇，而是在RGB空间中形成一条线，称之为雾线。然后通过雾线估计透射率；根据前面估计出的大气光A，可定义雾线上的像素点到大气光的颜色距离为I_A(x)＝I(x)-A，其中，I(x)为照相机观测到图像的强度，A为大气光强度。通过结合大气散射模型，计算公式为： I(x)＝J(x)t(x)+A[1-t(x)]，I(x)是指照相机观测到图像的强度；J(x)是指景物光线真实的强度；A为大气光强度；t(x)是景物光线透射率。得出公式： I_A(x)＝t(x)·[J(x)-A]。然后将其转换到球坐标系，得出公式：

其中，θ(x)和

分别表示经度和纬度。然后以大气光A为球心，r(x)为像素点到球心的距离，得到公式：r(x)＝||I(x)-A||，式中 0≤t(x)≤1，则当t(x)＝1时，对应的最大距离半径r_max为

根据前两式，可得透射率公式为：

步骤S4：优化透射率，透射率与景深大小具有相关性，而在一个较小的局部区域里，处于相同景深区域的像素应该具有相近的透射率，利用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，然后通过L1上下文正则化进行透射率优化；首先利用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，计算公式为：w(x，y)[t(y)-t(x)]＝0。其中，x和y是两个相邻像素，通过构造的加权函数调节透射率之差，当深度变化比较大时选取较小的W(x，y)，反之亦然。然而，获取图像的深度信息比较困难，所以假设若相邻像素的色差越小则两像素点具有相同的景深信息，反之亦然，权值的具体公式为：其中，||I(x)-I(y)||表示两相邻像素间的像素差。同时，边缘检测算子可以反映出图像的梯度变化，所以使用8个模板方向的Kirsch边缘检测算子对权值表达式做卷积运算。

步骤S5：采用域变换滤波气对透射率进行进一步的修正，为了进一步对有雾图像进行平滑和边缘保持；通过域变换使得滤波过程只需在变换的域空间进行一维滤波，其算法核心在于寻找一种能够保持原始信号空域和值域信息不变的域变换映射函数，从而可以在新域内用简单的一维滤波对图像进行处理。域变换滤波优化大气透射率的主要过程公式可表示为：

式中，I_k代表输入图像I的第K个通道，本发明中，σ_s取值为10，σ_r取值为0.2。对输入图像的所有通道一次性进行处理是进行边缘保持滤波的重要因素，该公式一次性将输入图像的多通道转换至一维空间，保证了在变换域的后续滤波过程中能够对输入图像多通道的同时处理，避免了在边缘处引入人工产物的问题。

步骤S6：最后根据大气散射模型，以及求出的大气光和透射率，得出无雾图像。

将本发明在真实雾天图片，以及在交通场景FRIDA数据集上进行测试。实验结果表明，本发明提出的技术方案相较于其他的一些传统方案在峰值信噪比、可见边数、平均梯度、饱和像素点数等评价指标上均有所提升，并且图片还原度更高。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims (7)

1.一种基于改进的非局部先验的单幅图像去雾方法，其特征在于，包括以下步骤：

步骤S1：输入有雾图像，采用改进的暗通道去雾方法进行大气光值估计，改进的暗通道去雾方法改进主要是在处理暗通道图像的时候引入阈值法，雾气浓度较大的区域即在阈值以上且RGB三通道内的像素值相近的像素点，这些区域暗通道取值为零，将暗原色图像像素的前0.1％个像素点排序，而后对选取出来的像素点求其原图像中所对应的灰度值，将这里灰度值最大的点作为大气光值的最优估计值；

步骤S2：采用非局部先验法对大气散射模型粗估计得到粗糙透射率，非局部先验法的步骤包括：1)首先将有雾图像I(x)与大气光值A做差，将得到的图像记为I_A(x)，则大气散射模型表示成：I_A(x)＝t(x)·[J(x)-A]，其中，J(x)表示复原的清晰图像，t(x)是透射率，描述物体反射光线能够经过衰减到达观测点的比例，将I_A(x)表示成球坐标形式为：I_A(x)＝[r(x)，θ(x)，Φ(x)]，其中，θ(x)与

分别表示经度和纬度，半径r(x)的计算表达式为：r(x)＝t(x)||J(x)-A||，0≤t(x)≤1，此时球坐标系的原点对应图像的大气光值A；2)依据变换后像素点的

值的大小，对有雾图像当中的像素点采用K-means的方法进行聚类，根据非局部先验，位于同一类当中的像素点呈线状分布，因此聚类后得到多条雾线，假设图像整体的大气光值是一致的，每条雾线都经过球坐标系的原点，依据非局部先验位于同一条雾线的像素点在无雾图像J(x)中的对应点的像素值是相同的，根据半径r(x)公式，得知位于同一条雾线上的点的半径的差异与透射率的差异成正比的；假设每条雾线上最大半径对应的点为清晰无雾的点，即半径最大的像素点所对应的透射率为1；最大半径的定义式如下：H表示雾线，根据上述求得的最大半径，得到同一条雾线上其他像素点对应的透射率为：

步骤S3：采用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，然后通过加权L1范数上下文正则化进行透射率优化得到精细透射率；

步骤S4：采用域变换滤波对精细透射率进行修正得到修正透谢率；

步骤S5：最后根据大气散射模型，以及求出的大气光值和修正透射率，得出无雾图像。

2.根据权利要求1所述的一种基于改进的非局部先验的单幅图像去雾方法，其特征在于，所述步骤S1采用改进的暗通道去雾方法进行大气光估计，具体包括：

首先在对有雾原图像进行两次最小值滤波处理，暗通道图像是输入原图像经过取两次最小值运算得到，即求取有雾图像的暗通道图像首先求取有雾图像每个像素点的R，G，B三个通道值的最小值，然后进行最小值滤波即得到有雾图像的暗通道图像，在处理暗通道图像的时候引入阈值法，雾气浓度较大的区域指的是像素值在阈值以上且RGB三通道内的像素值相近的像素点，这些区域暗通道取值为零，将暗原色图像像素的前0.1％个像素点排序，对选取出来的像素点求其原图像中所对应的灰度值，将灰度值最大的点作为大气光值的最优估计值。

3.根据权利要求1所述的一种基于改进的非局部先验的单幅图像去雾方法，其特征在于，所述步骤S2采用非局部先验法对大气散射模型粗估计得到粗糙透射率，，具体包括：

根据前面估计出的大气光值A，定义雾线上的像素点到大气光的颜色距离为I_A(x)＝I(x)-A，其中，I(x)为照相机观测到图像的强度，A为大气光强度，通过结合大气散射模型，计算公式为：I(x)＝J(x)t(x)+A[1-t(x)]，I(x)是指照相机观测到图像的强度；J(x)是指景物光线真实的强度；t(x)是景物光线透射率，得出公式：I_A(x)＝t(x)·[J(x)-A]；然后将其转换到球坐标系，得出公式：

其中，θ(x)和

分别表示经度和纬度。然后以大气光A为球心，r(x)为像素点到球心的距离，得到公式：r(x)＝||I(x)-A||，式中0≤t(x)≤1，则当t(x)＝1时，对应的最大距离半径r_max为

根据前两式，可得透射率公式为：

4.根据权利要求3所述的一种基于改进的非局部先验的单幅图像去雾方法，其特征在于，所述步骤S4采用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，然后通过加权L1范数上下文正则化进行透射率优化得到精细透射率，具体包括：

首先利用相邻像素的颜色差构造加权函数W(x，y)使处于相同景深的两相邻像素间透射率之差趋于0，计算公式为：w(x，y)[t(y)-t(x)]＝0，其中，x和y是两个相邻像素，t(y)、t(x)表示两相邻像素的透射率，通过构造的加权函数调节透射率之差，当深度变化比较大时选取较小的W(x，y)，当深度变化比较小时选取较大的W(x，y)，；假设若相邻像素的色差越小则两像素点具有相同的景深信息，权值的具体公式：

其中，||I(x)-I(y)||表示两相邻像素间的像素差，边缘检测算子可以反映出图像的梯度变化，所以使用8个模板方向的Kirsch边缘检测算子对权值表达式做卷积运算，具体公式：

其中，w是下标集合，

表示相应元素相乘，

表示卷积操作，D_j是一介微分算子，W_j是一个权重矩阵，|| ||₁表示L1范数。

5.根据权利要求4所述的一种基于改进的非局部先验的单幅图像去雾方法，其特征在于，所述步骤S4采用域变换滤波器进行透射率修正，具体包括：

域变换滤波优化大气透射率的主要过程公式可表示为：式中，I_k代表输入图像I的第K个通道，对输入图像的所有通道一次性进行处理是进行边缘保持滤波的重要因素，该公式一次性将输入图像的多通道转换至一维空间。

6.根据权利要求5所述步骤所述的一种基于改进的非局部先验的单幅图像去雾方法，其特征在于，所述步骤S5根据大气散射模型，以及求出的大气光值和修正透谢率，得出无雾图像，具体包括：

将大气光A和修正的透射率代入大气散射模型公式计算出无雾图像：I(x)＝J(x)t(x)+A(x)(1-t(x))，其中J(x)表示雾天图像的复原公式：

其中t₀是透射率设定的下限值，以避免去雾结果中包含噪声。

7.一种介质，该介质内部存储计算机程序，其特征在于，所述计算机程序被处理器读取时，执行上述权利要求1～6任一项的方法。

Images