CN108765337A - 一种基于暗原色先验与非局部mtv模型的单幅彩色图像去雾处理方法 - Google Patents

Abstract

本发明属于图像处理技术领域，涉及一种基于暗原色先验与非局部MTV模型的单幅彩色图像去雾处理方法，先通过逐层搜索法和快速导向滤波获取精确的大气光值与透射率，然后建立大气光照值A和大气传输函数t的能量泛函模型，最后利用NL_MTV模型中规则项与数据项恢复不同场景下的去雾图像，在得到清晰图像的同时，能有效减轻去雾处理后存在的噪声问题，同时也能保持场景原有的纹理特征。

Description

一种基于暗原色先验与非局部MTV模型的单幅彩色图像去雾 处理方法

技术领域：

本发明属于图像处理技术领域，涉及一种基于暗原色先验与非局部MTV模型的单幅彩色图像去雾处理方法。

背景技术：

雾是自然界中常见的自然天气现象，其原因是由于大气光经空气传播时受到悬浮颗粒散射的影响而形成，在此条件下户外成像设备获取的图像质量衰退严重，细节特征得不到保留，颜色饱和度降低，极大地限制了户外成像设备的工作效率，如视频监控、导航、交通运输、卫星遥感等。因此研究如何在雾天环境下得到清晰的无雾图像，对提高户外成像设备的工作效率具有重要的研究价值。

目前，依据图像去雾原理的差异，现有的方法可以分为三类：第一类，基于雾天图像增强方法，这类方法不需要了解图像退化原因，主要采用有针对性的图像处理方法改善其对比度和细节特征，提高图像的视觉效果，代表算法有：直方图均衡化算法，其原理是通过直方图均衡化对图像的灰度值分布范围进行优化，使灰度值均匀地分布在一个更高的动态范围内，该算法能提升图像的对比度以及图像细节，但是有时会引起噪声现象的发生：多尺度Retinex算法(Multi-Scale Retinex,MSR)及其改进算法则是根据颜色恒常性理论对雾天图像进行处理，该算法不仅可以提高图像的对比度和亮度，还可以优先调节彩色图像去雾的灰度动态范围；但该算法不具有保持边缘的作用，并且可能导致恢复后图像整体过亮；同态滤波算法是一种把频域滤波和灰度相融合变换的图像增强方法，该方法虽然能一定程度改善图像质量，但是处理时需要两次傅里叶变换，一次指数运算一次对数运算，计算量偏大；小波变换算法基本原理与同态滤波相似，利用小波变换得到不同频率特征的图像，并增强非低频子块的图像细节以实现图像去雾，但是对过亮或过暗的有雾图像处理效果不明显；第二类，基于图像复原方法。这类图像去雾方法需要了解图像质量衰减原因，包括建立相关雾天图像衰退的数学模型，利用逆变换恢复场景，尽可能的修复雾霾等天气下造成的图像失真，这种方法针对不同条件下的有雾图像效果明显、自然，细节特征损失较少，该方法的关键是相关模型中各未知量的准确计算，代表算法有：Tan算法通过对图像对比度和波长之间的关系进行深入的研究，将退化的图像复原扩展到彩色图像，但容易使去雾后图像颜色过饱和从而导致失真；Fattal算法假设光的透射率和物体表面色度部分在局部区域不是互相关，估计出景物的颜色信息，但是当处理颜色暗淡的图像时容易导致颜色估计不准确；Tarel算法对有雾图像做白平衡处理，得到大气光值，并利用中值滤波的衍生算法估算大气消散方程，该方法处理速度较快，但效果并不理想；He算法通过对大量室外晴天天气下的图像统计，得出一种能估算雾霾浓度的暗原色先验理论，并将其与大气散射模型相结合，有效地实现了图像去雾，但该算法容易造成光晕或白光效果，后期用到的软抠图法虽然实现了对透射率进行优化的目的，但计算量大，实时性不高；第三类，基于图像融合方法，图像融合是将含有多个源信道的相关信息的图像组合成一幅高质量图像的方法，代表方法有：多光谱图像融合方法，该方法不需要检测雾和大气，不需要深度图，但可能产生光晕现象。

发明内容：

本发明的目的在于克服现有技术存在的缺点，设计提供一种基于暗原色先验与非局部MTV模型的单幅彩色图像去雾处理方法，首先建立大气光值与大气传输函数相关的能量泛函，然后利用交替方向乘子法引入辅助变量来求解能量泛函，最后利用MATLAB软件进行仿真实验。

为了实现上述目的，本发明先通过逐层搜索法和快速导向滤波获取精确的大气光值与透射率，然后建立大气光照值A和大气传输函数t的能量泛函模型，最后利用NL_MTV模型中规则项与数据项恢复不同场景下的去雾图像，尽可能使恢复后图像更加清晰自然，同时保留原有图像的纹理、边缘等特征，具体包括以下步骤：

(1)大气光值的获取：在雾霾天气下的天空中某些区域颜色灰暗的像素的方差(或者变动)整体变化浮动不大时，利用四叉树子空间划分的逐层搜索方法获得大气光值，具体过程为：第一步，将待处理图像均匀地分成四个矩形子区域；第二步，建立评分机制，用区域内像素的平均值减去这些像素的标准差得到相应的评分，以此对每个区域进行筛选；第三步，将各子区域评分记录下来，从中选择评分最高的子区域；第四步，将选中的子区域继续划分为更小的四个子矩形；第五步，重复上述前四个步骤直到被选中的区域小于初始阈值65536；确定区域后，利用距离公式||(I_r(p),I_g(p),I_b(p)-(255,255,255))||最小化的颜色来作为大气光值，使大气光值A尽可能接近天空的亮度值，其中r,g,b为三个颜色分量，I_r(p),I_g(p),I_b(p)分别代表在某一像素点p中不同颜色分量所对应的像素值；

(2)透射率的获取：采用快速导向滤波方法获取透射率，其原理是下采样时减少像素点，计算后进行上采样逆变换到原有大小，该算法在细化透射率的同时也提升了计算效率；

(3)建立去雾能量泛函模型：

建立过程：利用非局部MTV模型

令μ_i＝J_i,将原式中f_i替换，得到去雾能量泛函模型为：

式中，λ为惩罚参数，用于调节有雾图像的恢复程度，I为有雾图像，J为待恢复图像，为非局部梯度，Ω为整个图像区域，m依据处理图像的颜色模型决定，彩色图像通常是由RGB三层分量构成，故m值取3；

(4)对建立的去雾能量泛函模型进行求解：采用ADMM算法来求解步骤(3)建立的能量泛函模型，具体求解过程如下:

先引入辅助变量k代表迭代次数，令来简化计算过程，从而将式(1)变换成如下ADMM迭代优化形式：

为非局部梯度，μ为惩罚参数，用于控制μ越大，越接近于零，μ初始越大值为5；λ为惩罚参数，λ越大，w越接近于零初始值0.001；

根据ADMM的计算特点，首先固定w求J：

得到关于J的Euler-Lagrange方程为：

令

经化简最终得到：

然后固定J求w：

得到关于w的Euler-Lagrange方程为：

及关于w^k+1的近似软阈值公式为：

为辅助变量，初始值为程序每循环一次当前值更新一次，当程序结束时，由软阈值公式计算最终的的值，

其中σ的更新为：

为拉格朗日乘子，初始值为0，程序每循环一次当前值更新一次，当程序结束时，由软阈值公式计算最终的的值，程序的终止条件为上一步的计算得到的泛函能量减去本次计算得到的泛函能量小于阈值0.002；程序终止时计算出值；

(5)得到并输出去雾处理后的图像。

本发明步骤(3)中计算透射率的具体算法为：

1:X'＝f_subsample(X,s)

Y'＝f_subsample(Y,s)

r'＝r/s

2:mean_x＝f_mean(X',r')

mean_y＝f_mean(Y',r')

corr_x＝f_mean(X'.*X',r')

corr_xy＝f_mean(X'.*Y',r')

3:var_x＝corr_x-mean_x.*mean_x

cov_xy＝corr_xy-mean_x.*mean_y

4:a＝cov_xy./(var_x+ε)

b＝mean_y-a.*mean_x

5:mean_a＝f_mean(a,r')

mean_b＝f_mean(b,r')

6:mean_a＝f_upsample(mean_a,s)

mean_b＝f_upsample(mean_b,s)

7:q＝mean_a.*X+mean_b

其中X表示引导图像，Y表示滤波器输入图像，s表示采样率，r表示滤波半径，在上面的算法中对滤波器输入图像Y的采样提取和引导图X以及采样率s，通过下采样减少像素点，计算mean_x&mean_y后进行上采样回复到原有的尺寸大小。

本发明与现有技术相比，通过结合暗原色先验理论与非局部MTV模型，提出并建立新的关于大气光值与传输函数相关的能量泛函模型，在得到清晰图像的同时，能有效减轻去雾处理后存在的噪声问题，同时也能保持场景原有的纹理特征。

附图说明：

图1为本发明的工作原理示意框图。

图2为本发明实施例涉及的某地区航拍图以及各算法的去雾效果图，其中(a)为原始图像，(b)为MSR算法的去雾效果图，(c)为He算法的去雾效果图，(d)为本实施例算法的去雾效果图。

图3为本发明实施例涉及的某山岭图及各算法的去雾效果图，其中(a)为原始图像，(b)为MSR算法的去雾效果图，(c)为He算法的去雾效果图，(d)为本实施例算法的去雾效果图。

图4为本发明实施例涉及的某建筑物图像及各算法的去雾后图像，其中(a)为原始图像，(b)为MSR算法的去雾效果图，(c)为He算法的去雾效果图，(d)为本实施例算法的去雾效果图。

具体实施方式：

下面通过实施例并结合附图对本发明作进一步说明。

实施例：

本实施例先通过逐层搜索法和快速导向滤波获取精确的大气光值与透射率，然后建立大气光照值A和大气传输函数t的能量泛函模型，最后利用NL_MTV模型中规则项与数据项恢复不同场景下的去雾图像，尽可能使恢复后图像更加清晰自然，同时保留原有图像的纹理、边缘等特征，具体包括以下步骤：

(1)大气光值的获取：在雾霾天气下的天空中某些区域颜色灰暗的像素的方差(或者变动)整体变化浮动不大时，利用四叉树子空间划分的逐层搜索方法获得大气光值，具体过程为：第一步，将待处理图像均匀地分成四个矩形子区域；第二步，建立评分机制，用区域内像素的平均值减去这些像素的标准差得到相应的评分，以此对每个区域进行筛选；第三步，将各子区域评分记录下来，从中选择评分最高的子区域；第四步，将选中的子区域继续划分为更小的四个子矩形；第五步，重复上述前四个步骤直到被选中的区域小于初始阈值65536；确定区域后，利用距离公式||(I_r(p),I_g(p),I_b(p)-(255,255,255))||最小化的颜色来作为大气光值，使大气光值A尽可能接近天空的亮度值，其中r,g,b为三个颜色分量，I_r(p),I_g(p),I_b(p)分别代表在某一像素点p中不同颜色分量所对应的像素值；

(2)透射率的获取：采用快速导向滤波方法获取透射率，其原理是下采样时减少像素点，计算后进行上采样逆变换到原有大小，该算法在细化透射率的同时也提升了计算效率；

(3)建立去雾能量泛函模型：

建立过程：利用非局部MTV模型

令μ_i＝J_i,将原式中f_i替换，得到去雾能量泛函模型为：

式中，λ为惩罚参数，用于调节有雾图像的恢复程度，I为有雾图像，J为待恢复图像，t为大气传输函数，即透射率，为非局部梯度，Ω为整个图像区域，m依据处理图像的颜色模型决定，彩色图像通常是由RGB三层分量构成，故m值取3；

(4)对建立的去雾能量泛函模型进行求解：采用ADMM算法来求解步骤(3)建立的能量泛函模型，具体求解过程如下:

先引入辅助变量k代表迭代次数，令来简化计算过程，从而将式(1)变换成如下ADMM迭代优化形式：

为非局部梯度，μ为惩罚参数，用于控制μ越大，越接近于零，μ初始越大值为5；λ为惩罚参数，λ越大，w越接近于零初始值0.001；

根据ADMM的计算特点，首先固定w求J：

得到关于J的Euler-Lagrange方程为：

令

经化简最终得到：

然后固定J求w：

得到关于w的Euler-Lagrange方程为：

及关于w^k+1的近似软阈值公式为：

为辅助变量，初始值为程序每循环一次当前值更新一次，当程序结束时，由软阈值公式计算最终的的值，

其中σ的更新为：

为拉格朗日乘子，初始值为0，程序每循环一次当前值更新一次，当程序结束时，由软阈值公式计算最终的的值，程序的终止条件为上一步的计算得到的泛函能量减去本次计算得到的泛函能量小于阈值0.002；程序终止时计算出值；

(5)得到并输出去雾处理后的图像。

本实施例步骤(3)中计算透射率的具体算法为：

1:X'＝f_subsample(X,s)

Y'＝f_subsample(Y,s)

r'＝r/s

2:mean_x＝f_mean(X',r')

mean_y＝f_mean(Y',r')

corr_x＝f_mean(X'.*X',r')

corr_xy＝f_mean(X'.*Y',r')

3:var_x＝corr_x-mean_x.*mean_x

cov_xy＝corr_xy-mean_x.*mean_y

4:a＝cov_xy./(var_x+ε)

b＝mean_y-a.*mean_x

5:mean_a＝f_mean(a,r')

mean_b＝f_mean(b,r')

6:mean_a＝f_upsample(mean_a,s)

mean_b＝f_upsample(mean_b,s)

7:q＝mean_a.*X+mean_b

其中X表示引导图像，Y表示滤波器输入图像，s表示采样率，r表示滤波半径，在上面的算法中对滤波器输入图像Y的采样提取和引导图X以及采样率s，通过下采样减少像素点，计算mean_x&mean_y后进行上采样回复到原有的尺寸大小。

本实施例使用Matlab(R2016b)对所提算法进行仿真实验，计算机配置为Intel(R)Core(TM)i3-2120CPU@3.30GHz，4GB RAM，本实施例分别采用MSR算法、He算法与本实施例算法对三组图像进行去雾处理，并对处理结果进行分析比较，本实施例中算法所涉及的参数为：t₀＝0.1，ω＝0.95，λ＝0.001，其中图2是某地区航拍图以及各算法的去雾效果图，(a)是原始图像，(b)MSR算法虽然提高了图像整体亮度，但是某些区域偏暗，如图中红色框中；(c)He算法得到的处理结果整体亮度偏暗，远处的部分细节提升不明显；(d)本实施例算法在保证去雾算法达到He水平的同时还适当提高了图像整体亮度；图3为某山岭图及各算法的去雾效果图，(a)是原始图像，(b)MSR算法中去雾图像的左上角部分(红框中)过曝现象非常明显，近景部分也出现过饱和现象，(c)He算法中整体去雾效果比MSR算法要好，但在亮度方面稍微欠缺；(d)本实施例算法所得到的去雾图像在相同的左上角部位并未出现过曝现象；图4为某建筑物近景图像及各算法的去雾效果图，(a)是原始图像；(b)MSR算法获得的图像中可以看出对比度过强，绿色植物原有的颜色失真较为严重(如红框中)，(c)He算法处理后的图像中建筑物墙面部分出现纹理模糊现象，(d)本实施例算法可以看出图像右上角部分亮度明显比He好，同时绿色植物依然清晰可见，边缘保持效果也较好；从三组实验效果图可以看出，MSR算法得到的复原图像容易出现对比度过大，颜色失真现象；He算法能够去除图像中的雾气，细节还原比较明显，但是处理后的图像在色彩上整体偏暗；本实施例算法在暗原色先验的基础上对算法进行改进，可以看出实验结果不仅保留He算法的优点同时适当提高了处理后图像的整体亮度，使图像不至于过曝，改善了主观体验。

本实施例选用峰值信噪比(Peak Signal to Noise Ratio,PSNR)、结构相似性(Structural Similarity Index,SSIM)以及熵对实验结果进行客观评价与分析，表1所示的是各图像经过图像去雾处理后的PSNR值，PSNR是用来评价一幅图像压缩后和原图像之间质量的优劣，PSNR值越高，表示压缩后的图像细节损失越小；

表1：各图像处理后PSNR值单位：dB

表2所示的是各原始图经过图像去雾处理后的SSIM值，它分别从亮度、对比度、结构三方面度量图像相似性，是一种衡量两幅图像相似度的指标，取值范围[-1,1]，SSIM值越接近1表示图像失真越小；

表2：各图像处理后SSIM值

表3所示的是各图像经过图像去雾处理后的熵值，基于统计特征的熵是衡量图像信息丰富程度的一个重要指标，由信息论定义，一幅图像f的信息含量可用其本身的信息熵D(f)来表示：

式中P_i是图像中灰度值为i的像素出现的几率，L为灰度级总和(通常取值256)，根据Shannon信息论，熵值越大时所含信息越丰富，D(f)越大则图像越清晰；

表3：各图像处理后熵值

从表中实验数据可以发现，本实施例算法所得PSNR、SSIM以及熵值均大于其余两个算法，上述数据表明经本实施例算法处理后的图像失真小，清晰度较好，本实施例提出的去雾模型所得的去雾图像清晰自然，不仅保持边缘特征，对含有纹理的场景下的去雾也有不错的效果。

Claims (2)

1.一种基于暗原色先验与非局部MTV模型的单幅彩色图像去雾处理方法，其特征在于先通过逐层搜索法和快速导向滤波获取精确的大气光值与透射率，然后建立大气光照值A和大气传输函数t的能量泛函模型，最后利用NL_MTV模型中规则项与数据项恢复不同场景下的去雾图像，使恢复后图像更加清晰自然，同时保留原有图像的纹理、边缘特征，具体包括以下步骤：

(1)大气光值的获取：在雾霾天气下的天空中某些区域颜色灰暗的像素的方差(或者变动)整体变化浮动不大时，利用四叉树子空间划分的逐层搜索方法获得大气光值，具体过程为：第一步，将待处理图像均匀地分成四个矩形子区域；第二步，建立评分机制，用区域内像素的平均值减去这些像素的标准差得到相应的评分，以此对每个区域进行筛选；第三步，将各子区域评分记录下来，从中选择评分最高的子区域；第四步，将选中的子区域继续划分为更小的四个子矩形；第五步，重复上述前四个步骤直到被选中的区域小于初始阈值65536；确定区域后，利用距离公式||(I_r(p),I_g(p),I_b(p)-(255,255,255))||最小化的颜色来作为大气光值，使大气光值A尽可能接近天空的亮度值，其中r,g,b为三个颜色分量，I_r(p),I_g(p),I_b(p)分别代表在某一像素点p中不同颜色分量所对应的像素值；

(2)透射率的获取：采用快速导向滤波方法获取透射率，其原理是下采样时减少像素点，计算后进行上采样逆变换到原有大小，该算法在细化透射率的同时也提升了计算效率；

(3)建立去雾能量泛函模型：

建立过程：利用非局部MTV模型

令μ_i＝J_i,将原式中f_i替换，得到去雾能量泛函模型为：

式中，λ为惩罚参数，用于调节有雾图像的恢复程度，I为有雾图像，J为待恢复图像，为非局部梯度，Ω为整个图像区域，m依据处理图像的颜色模型决定，彩色图像通常是由RGB三层分量构成，故m值取3；

(4)对建立的去雾能量泛函模型进行求解：采用ADMM算法来求解步骤(3)建立的能量泛函模型，具体求解过程如下:

先引入辅助变量k代表迭代次数，令来简化计算过程，从而将式(1)变换成如下ADMM迭代优化形式：

为非局部梯度，μ为惩罚参数，用于控制μ越大，越接近于零，μ初始越大值为5；λ为惩罚参数，λ越大，w越接近于零初始值0.001；

根据ADMM的计算特点，首先固定w求J：

得到关于J的Euler-Lagrange方程为：

令

经化简最终得到：

然后固定J求w：

得到关于w的Euler-Lagrange方程为：

及关于w^k+1的近似软阈值公式为：

为辅助变量，初始值为程序每循环一次当前值更新一次，当程序结束时，由软阈值公式计算最终的的值，

其中σ的更新为：

为拉格朗日乘子，初始值为0，程序每循环一次当前值更新一次，当程序结束时，由软阈值公式计算最终的的值，程序的终止条件为上一步的计算得到的泛函能量减去本次计算得到的泛函能量小于阈值0.002；程序终止时计算出 值；

(5)得到并输出去雾处理后的图像。

2.根据权利要求1所述基于暗原色先验与非局部MTV模型的单幅彩色图像去雾处理方法，其特征在于步骤(3)中计算透射率的具体算法为：

1:X'＝f_subsample(X,s)

Y'＝f_subsample(Y,s)

r’＝r/s

2:mean_x＝f_mean(X',r')

mean_y＝f_mean(Y',r')

corr_x＝f_mean(X'.*X',r')

corr_xy＝f_mean(X'.*Y',r')

3:var_x＝corr_x-mean_x.*mean_x

cov_xy＝corr_xy-mean_x.*mean_y

4:a＝cov_xy./(var_x+ε)

b＝mean_y-a.*mean_x

5:mean_a＝f_mean(a,r')

mean_b＝f_mean(b,r')

6:mean_a＝f_upsample(mean_a,s)

mean_b＝f_upsample(mean_b,s)

7:q＝mean_a.*X+mean_b

其中X表示引导图像，Y表示滤波器输入图像，s表示采样率，r表示滤波半径，在上面的算法中对滤波器输入图像Y的采样提取和引导图X以及采样率s，通过下采样减少像素点，计算mean_x&mean_y后进行上采样回复到原有的尺寸大小。