CN103020914B - 基于空间连续性原理的快速图像去雾方法 - Google Patents

Abstract

本发明一种基于空间连续性原理的图像去雾方法，首先根据选定的参数制备两个整数型滤波器查找表，进行基于查表的空域和值域双边滤波；然后基于空间连续性原理对大气光幕估计图进行模糊化处理，以及采用大气散射物理模型对雾气图像进行图像复原处理；最后对复原后图像进行增亮处理，本发明具有通用性和普遍性，既有效提高了图像的清晰度，又有效提升算法的实时性。

Description

基于空间连续性原理的快速图像去雾方法

技术领域

本发明属于图像处理领域，涉及一种基于空间连续性原理的快速图像去雾方法，可用于单幅图像或连续视频的快速去雾。

背景技术

雾是一种常见的自然现象，在雾天拍摄的图像，由于大气中悬浮粒子的散射作用，使得拍摄图像的亮度增加，对比度降低，图像的可辨识度下降。即使是在晴天条件下拍摄的照片，大气散射作用也会导致照片的清晰度受到影响。每一个实际场景中，照片清晰度受到影响的原因在于：光线到达相机之前都会从物体表面反射并且散射到空气中。这是因为空气中的某些因素(如浮质、灰尘、雾和烟等)会导致物体表面颜色变淡，并导致整幅图像的对比度降低。一方面，这些质量很差的图像不但贬低其应用价值、缩窄其应用范围；另一方面，也会给户外成像的采集与处理系统(如各类视觉机器)的图像采集带来巨大的困难。在实际应用中，经常需要从户外采集的视频序列中提取清晰的图像特征用于对象匹配和识别，例如位于高速公路上的视频监控器，在天气条件较恶劣的情况下，得到的图像会有退化现象，使其无法清楚地监控路况和了解车辆信息；在国家安全的军事行动中，这种退化图像会造成信息的不准确性，最终导致决定性行动方案的偏差，甚至是导致无法挽回的后果；遥感技术运用传感器对物体进行探测，这种退化图像会对物体的性质，特征和状态等信息造成偏差，不利于对图像数据的分析研究。总之，研究在各种恶劣天气条件下如何对获得的退化图像进行有效的处理，这对图像恢复和图像增强有着非常重要的现实意义。

现国内外，图像去雾处理的方法大致可以分为两大类：基于图像处理的增强方法和基于物理模型的复原方法。基于图像处理的增强方法包括全局化的图像增强方法，如全局直方图均衡化、同态滤波、小波方法、Retinex算法等，或是局部化的图像增强方法，如局部直方图均衡化、局部对比度增强法；以上图像处理的算法相对简单，对于复杂场景的去雾效果一般。基于物理模型的复原方法包括基于偏微分方程的复原、基于深度关系的复原和基于先验信息的复原；以上图像处理的算法相对复杂，且能较好地对复杂场景的雾气影响做处理，但是计算复杂度高、实现难度大、处理速度慢，使得去雾处理难以实现实时处理，这样就不能高效的运用到视频去雾处理中。采用原始双边滤波对图像做滤波处理时，运算量较大且去雾处理后图像细节模糊。

发明内容

本发明的目的在于克服以前各种图像去雾方法的不足之处，提供一种基于空间连续性原理的快速图像去雾方法，该方法简单高效，能很好地提高图像去雾后的效果。

一种基于空间连续性原理的快速图像去雾方法，首先根据选定的参数制备两个整数型滤波器查找表，进行基于查表的空域和值域双边滤波；然后基于空间连续性原理对大气光幕估计图进行模糊化处理，以及采用大气散射物理模型对雾气图像进行图像复原处理；最后对复原后图像进行增亮处理。

具体包括如下步骤：

步骤1、制备两个整数型滤波器查找表：

(A1)在空域滤波中，以滑动窗口为大小，定义一个大小为Win_size*Win_size的空域滤波查找表G_S[Win_size*Win_size]；在值域滤波中，定义一个大小为256个值的值域滤波查找表G_R[256]；

(A2)生成空域滤波查找表G_S[Win_size*Win_size]：

首先定义中心参考点坐标 $(x_i,y_i)=(\frac{Win\_size-1}{2},\frac{Win\_size-1}{2}),$ 其中0≤x＜Win_size,0≤y<Win_size，根据预置的参数σ_S和m，按照公式 $G_S(x,y;x_i,y_i)=\exp (-\frac{{(x-x_i)}^2+{(y-y_i)}^2}{2{{\mathrm{\&sigma;}}_S}^2})\&times;(2^m)$ 计算并取整，得到空域滤波的整数型查找表G_S；

(A3)生成值域滤波查找表G_R[256]：

根据预置的参数σ_R和n，按照公式 $G_R(x,y;x_i,y_i)=\exp (-\frac{{\&lsqb;I(x,y)-I(x_i,y_i)\&rsqb;}^2}{2{{\mathrm{\&sigma;}}_R}^2})\&times;(2^n)$ 计算并取整，得到值域滤波的整数型查找表G_R；

步骤2、对有雾图像进行空域和值域滤波以及复原图像：

(1)计算雾气图像I_original的暗图像：若雾气图像为彩色图像，计算每一个像素点R、G、B三通道的最小值，得到暗图像I_dark＝min(I_{original_R},I_{original_G},I_{original_B})；若雾气图像为灰度图像，暗图像I_dark＝I_original；

(2)根据暗图像I_dark估算大气光值A：统计暗图像I_dark的直方图Histgram_I，然后计算直方图的累加和其中i是中间变量，其取值范围从0到j，而j等于Histgram_I的数组长度值-1，当时，其对应的j₁为大气光值A，其中p₁为预置的控制参数，0.6≤p₁≤1；

(3)将暗图像I_dark进行基于查表的双边滤波：在滑动窗口中，以各像素点与窗口中心的相对位置计算得到的索引值查询空域滤波查找表G_S，以各像素值与中心像素值的绝对差值为索引值查询值域滤波查找表G_R，然后代入公式 $I_{Bilateral}(x,y)=\frac{\underset{i,j=-w}{\overset{w}{\&Sigma;}}{G}_S{G}_R{I}_{dark}(x_i,y_j)}{\underset{i,j=-w}{\overset{w}{\&Sigma;}}{G}_S{G}_R},$ 其中w＝(Win_size-1)/2，i和j都是公式中的中间变量，用于确定x和y方向上坐标(x_i,y_i)，计算得到当前像素滤波后的数值I_Bilateral(x,y)，并滑动窗口进行遍历滤波，得到暗图像滤波后数据矩阵，该数据矩阵为大气光幕估计图I_Bilateral；

(4)基于空间连续性原理进行模糊化处理：

先对大气光幕估计图I_Bilateral进行模糊化处理，得到数据矩阵I_Blur；然后将数据矩阵I_Blur基于大气光值A进行归一化处理和计算透射率，归一化公式为透射率值t(x,y)＝1-ω*U(x,y)，其中ω为预置参数，0.5≤ω≤1；

或者，先将大气光幕估计图I_Bilateral基于大气光值A进行归一化处理和计算透射率，归一化公式为透射率值t(x,y)＝1-ω*U(x,y)，其中ω取值范围为(0,1),然后对透射率值t(x,y)进行模糊化处理；

(5)将原始有雾图像进行复原处理：若原始有雾图像为彩色图像，根据复原公式分别将三通道的值I_{original_R}(x,y)、I_{original_G}(x,y)、I_{original_B}(x,y)以及大气光值A、透射率值t(x,y)代入计算得到R、G、B三通道的复原值J_R(x,y)、J_G(x,y)、J_B(x,y)，得到复原后图像J；若原始有雾图像为灰度图像，根据复原公式将灰度图像亮度值I_original以及大气光值A、透射率值t(x,y)代入计算得到复原值J(x,y)，得到复原后图像J；

步骤3、对复原后图像J进行增亮处理：

(1)对复原后图像J计算得到亮图像：若图像为彩色图像，各像素点的值选择原图像R、G、B三通道的最大值，得到亮图像J_light＝max(J_R,J_G,J_B)；若图像为灰度图像，亮图像J_light＝J；

(2)估算亮图像J_light的暗值J_min和亮值J_max：统计J_light的直方图Histgram_J，计算直方图的累加和其中i是中间变量，其取值范围从0到j，而j等于Histgram_J的数组长度值-1，当其对应的j₂为亮图像J_light的暗值J_min，0≤p₂≤0.2；当其对应的j₃为亮图像J_light的暗值J_max，0.8≤p₁≤1；

(3)根据增强曲线进行图像增强：增强比例为若图像为彩色图像，根据增强公式J_enhance(x,y)＝K*(J(x,y)-J_min)+J_min，将J_R(x,y)、J_G(x,y)、J_B(x,y)代入计算得到增强图像J_enhance；若图像为灰度图像，根据增强公式将J代入计算得到增强图像J_enhance。

本发明采用基于物理模型的复原方法，利用双边滤波做平滑处理具有保留边缘信息的特性，以单幅图像的信息进行去雾处理，并通过查表法实现快速双边滤波，其主要理论基础包括：大气光散射模型I(x)＝J(x)t(x)+A(1-t(x))、基于区域一致性的快速双边滤波以及本发明提出的空间连续性原理。本发明提出采用基于区域一致性的快速双边滤波、空间连续性滤波，在双边滤波处理时，采用查表法来降低计算复杂度，并将其转换为整数型查找表提高算法的实时性。

具体而言，本发明的主要优点是：

1、滑动窗口大小对应不同的算法计算量和性能，使算法复杂度可分级。

2、用整数型查找表代替复杂的指数函数浮点计算，提高算法的实时性。

3、发现和采用符合自然规律的空间连续性原理，使得去雾处理后图像细节更为清晰。

4、能提升图像亮度、提高复原图像的视觉效果，代价小效果好。

5、适用于彩色图像或灰度图像、适用于光学图像或其它图像，也适用于视频，具有普遍性和通用性。

附图说明

图1为本发明的流程示意图；

图2为本发明滑动窗口为5*5且σ_S＝10和m＝14时，空域滤波的查找表G_S[25]；

图3为本发明σ_R＝24和n＝10时，值域滤波的查找表G_R[256]。

以下结合附图和具体实施例对本发明作进一步详述。

具体实施方式

本发明一种基于空间连续性原理的快速图像去雾方法，首先根据选定的参数制备两个整数型高斯滤波器查找表，采用查找表方法实现快速整数定点计算，替代原始的浮点型函数计算；然后基于空间连续性原理对估计的大气光幕滤波进行模糊化处理，以及采用大气散射物理模型对雾气图像进行去雾还原处理；最后采用简单线性函数校正图像亮度，提升图像视觉效果。

首先定义如下变量以便于算法描述：

滤波处理时滑动窗口大小Win_size：实际值根据图像性质具体决定，取值范围为[5，25]；

待处理图片的大小Image_size：图片宽度weight*图片高度high；

空域滤波查找表G_S[Win_size*Win_size]：按照公式 $G_S(x,y;x_i,y_i)=\exp (-\frac{{(x-x_i)}^2+{(y-y_i)}^2}{2{{\mathrm{\&sigma;}}_S}^2})\&times;(2^m)$ 计算并取整，得到空域滤波的整数型查找表，其中参数σ_S和m根据图像性质事先预置；

值域滤波查找表G_R[256]：按照公式 $G_R(x,y;x_i,y_i)=\exp (-\frac{{\&lsqb;I(x,y)-I(x_i,y_i)\&rsqb;}^2}{2{{\mathrm{\&sigma;}}_R}^2})\&times;(2^n)$ 计算并取整，得到值域滤波的整数型查找表，其中参数σ_R和n根据图像性质事先预置；

原始有雾图像I_original：若为彩色图像，R、G、B三通道的值分别为I_{original_R}、I_{original_G}、I_{original_B}；若为灰度图像，则I_original为单通道；

大气光值A：大气光成分的强度，可由待处理图像统计计算得出；

透射率值t：光线通过大气环境干扰后没有被散射部分的比例，0≤t≤1；

参数ω：可调参数，范围为0.5≤ω≤1，根据图像性质事先预置；

参数p₁：可调参数，范围为0.6≤p₁≤1，根据图像性质事先预置；

参数p₂：可调参数，范围为0≤p₂≤0.2，根据图像性质事先预置；

参数p₃：可调参数，范围为0.8≤p₁≤1，根据图像性质事先预置。

下面以窗口大小Win_size＝5为例，对本发明做进一步详细说明。

如图所示，本发明一种基于空间连续性原理的快速图像去雾方法，具体包括如下步骤：

步骤1、制备两个整数型滤波器查找表：

(A)、在空域滤波中，以窗口大小为5*5为例则定义空域滤波查找表G_S[25]；在值域滤波中，定义一个大小为256个值的值域滤波查找表G_R[256]；不同的窗口大小对应后续不同的计算量，体现了本发明复杂度可分级的特点；

(B)、生成空域滤波查找表G_S[25]：

首先定义中心参考点坐标(x_i,y_i)＝(2,2)，其中0≤x＜5,0≤y<5，按照公式 $G_S(x\&times;5+y)=\exp (-\frac{{(x-2)}^2+{(y-2)}^2}{2{{\mathrm{\&sigma;}}_S}^2})\&times;(2^m)$ 计算并取整，得到空域滤波的整数型查找表G_S，其中x×5+y为查表的索引值；

(C)、生成值域滤波查找表G_R[256]：

按照公式 $G_R\left(\right|I(x,y)-I(x_i,y_i)\left|\right)=\exp (-\frac{{\&lsqb;I(x,y)-I(x_i,y_i)\&rsqb;}^2}{2{{\mathrm{\&sigma;}}_R}^2})\&times;(2^n)$ 计算并取整，得到值域滤波的整数型查找表G_R，|I(x,y)-I(x_i,y_i)|为查表的索引值；

图2为滑动窗口为5*5且σ_S＝10和m＝14时，空域滤波的查找表G_S[25]的值，图3为σ_R＝24和n＝10时，值域滤波的查找表G_R[256]的值。

步骤2、对有雾图像进行空域和值域滤波以及复原图像：

(1)计算雾气图像I_original的暗图像：若雾气图像为彩色图像，计算每一个像素点R、G、B三通道的最小值，得到暗图像I_dark＝min(I_{original_R},I_{original_G},I_{original_B})；若雾气图像为灰度图像，暗图像I_dark＝I_original；

(2)根据暗图像I_dark估算大气光值A：首先统计暗图像I_dark的直方图Histgram_I，然后计算直方图的累加和其中i是中间变量，其取值范围从0到j，而j等于Histgram_I的数组长度值-1，当对应的j₁即为大气光值A，其中p₁为设定的控制参数，0.6≤p₁≤1；

(3)将暗图像I_dark进行基于查表的双边滤波：在滑动窗口中，以各像素点与窗口中心的相对位置计算得到的索引值查询空域滤波查找表G_S，以各像素值与中心像素值的绝对差值为索引值查询值域滤波查找表G_R，然后代入双边滤波公式 $I_{Bilateral}(x,y)=\frac{\underset{i,j=-w}{\overset{w}{\&Sigma;}}{G}_S{G}_R{I}_{dark}(x_i,y_j)}{\underset{i,j=-w}{\overset{w}{\&Sigma;}}{G}_S{G}_R},$ 其中w＝(Win_size-1)/2，i和j都是公式中的中间变量，用于确定x和y方向上坐标(x_i,y_i)，计算得到当前像素滤波后的数值I_Bilateral(x,y)，并滑动窗口进行遍历滤波，得到暗图像滤波后数据矩阵，该数据矩阵为大气光幕估计图I_Bilateral；该基于查表的方法能将整数定点计算代替原始浮点函数计算，体现了本发明计算速度快、实时性好的特点；

(4)基于空间连续性原理进行模糊化处理，具有两种可选方法，该模糊化处理可以提高处理后图像的细节，体现了本发明符合雾气在物理空间的连续性规律，这是本发明的一个重要发现和特点；

第一种方法是先对大气光幕估计图I_Bilateral进行模糊化处理，该模糊化处理包括但不限于以下方法：均值滤波模糊化、高斯滤波模糊化、中值滤波模糊化等，然后得到I_Bilateral模糊化处理后的数据矩阵I_Blur；然后将数据矩阵I_Blur基于大气光值A进行归一化处理和计算透射率：归一化公式为透射率值t(x,y)＝1-ω*U(x,y)，其中ω为预置参数，0.5≤ω≤1；

第二种方法是先将大气光幕估计图I_Bilateral基于大气光值A进行归一化处理和计算透射率：归一化公式为透射率值t(x,y)＝1-ω*U(x,y)，其中ω取值范围为(0,1),为了保留部分远景中的雾气从而使处理后图像视觉效果更真实；然后对透射率值t(x,y)进行模糊化处理，该模糊化处理包括但不限于以下方法：均值滤波模糊化、高斯滤波模糊化、中值滤波模糊化等；

(5)将原始有雾图像进行复原处理：若原始有雾图像为彩色图像，根据复原公式分别将三通道的值I_{original_R}(x,y)、I_{original_G}(x,y)、I_{original_B}(x,y)以及大气光值A、透射率值t代入计算得到R、G、B三通道的复原值J_R(x,y)、J_G(x,y)、J_B(x,y)，得到复原后图像J；若原始有雾图像为灰度图像，根据复原公式将灰度图像亮度值I_original以及大气光值A、透射率值t代入计算得到复原值J(x,y)，得到复原后图像J；

步骤3、对复原后图像J进行增亮处理：

(1)对复原后图像J计算得到亮图像：若图像为彩色图像，各像素点的值选择原图像R、G、B三通道的最大值，得到亮图像J_light＝max(J_R,J_G,J_B)；若图像为灰度图像，亮图像J_light＝J；

(2)估算亮图像J_light的暗值J_min和亮值J_max：首先统计J_light的直方图Histgram_J，然后计算直方图的累加和其中i是中间变量，其取值范围从0到j，而j等于Histgram_J的数组长度值-1，当对应的j₂为亮图像J_light的暗值J_min，0≤p₂≤0.2；当对应的j₃即为亮图像J_light的暗值J_max，0.8≤p₁≤1，设定太大导致复原后的图片整体偏亮，设定太小复原后图片整体增亮效果不强；

(3)根据增强曲线进行图像增强：增强比例为若图像为彩色图像，根据增强公式J_enhance(x,y)＝K*(J(x,y)-J_min)+J_min，将J_R(x,y)、J_G(x,y)、J_B(x,y)代入计算R、G、B三通道的增强后值，即为增强图像J_enhance；若图像为灰度图像，根据公式将J代入计算得到增强后值，即为增强图像J_enhance；线性拉伸提高恢复图像的视觉效果，体现了本发明的简单和有效性；适用于彩色图像和灰度图像，体现了本发明的通用性。

以上所述，仅是本发明较佳实施例而已，并非对本发明的技术范围作任何限制，故凡是依据本发明的技术实质对以上实施例所作的任何细微修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (1)

1.一种基于空间连续性原理的快速图像去雾方法，其特征在于：首先根据选定的参数制备两个整数型滤波器查找表，进行基于查表的空域和值域双边滤波；然后基于空间连续性原理对大气光幕估计图进行模糊化处理，以及采用大气散射物理模型对雾气图像进行图像复原处理；最后对复原后图像进行增亮处理，具体包括如下步骤：

步骤1、制备两个整数型滤波器查找表：

(A1)在空域滤波中，以滑动窗口为大小，定义一个大小为Win_size*Win_size的空域滤波查找表G_S[Win_size*Win_size]；在值域滤波中，定义一个大小为256个值的值域滤波查找表G_R[256]；

(A2)生成空域滤波查找表G_S[Win_size*Win_size]：

首先定义中心参考点坐标 $(x_i,y_i)=(\frac{Win\_size-1}{2},\frac{Win\_size-1}{2}),$ 其中0≤x＜Win_size,0≤y<Win_size，根据预置的参数σ_S和m，按照公式 $G_S(x,y;x_i,y_i)=\exp (-\frac{{(x-x_i)}^2+{(y-y_i)}^2}{2{{\mathrm{\&sigma;}}_S}^2})\&times;(2^m)$ 计算并取整，得到空域滤波的整数型查找表G_S；

(A3)生成值域滤波查找表G_R[256]：

根据预置的参数σ_R和n，按照公式计算并取整，得到值域滤波的整数型查找表G_R；

步骤2、对有雾图像进行空域和值域滤波以及复原图像：

(1)计算雾气图像I_original的暗图像：若雾气图像为彩色图像，计算每一个像素点R、G、B三通道的最小值，得到暗图像I_dark＝min(I_{original_R},I_{original_G},I_{original_B})；若雾气图像为灰度图像，暗图像I_dark＝I_original；

(2)根据暗图像I_dark估算大气光值A：统计暗图像I_dark的直方图Histgram_I，然后计算直方图的累加和其中i是中间变量，其取值范围从0到j，而j等于Histgram_I的数组长度值-1，当时，其对应的j₁为大气光值A，其中p₁为预置的控制参数，0.6≤p₁≤1；

(3)将暗图像I_dark进行基于查表的双边滤波：在滑动窗口中，以各像素点与窗口中心的相对位置计算得到的索引值查询空域滤波查找表G_S，以各像素值与中心像素值的绝对差值为索引值查询值域滤波查找表G_R，然后代入公式 $I_{Bilateral}(x,y)=\frac{\underset{i,j=-w}{\overset{w}{\&Sigma;}}{G}_S{G}_R{I}_{dark}(x_i,y_j)}{\underset{i,j=-w}{\overset{w}{\&Sigma;}}{G}_S{G}_R},$ 其中w＝(Win_size-1)/2，i和j都是公式中的中间变量，用于确定x和y方向上坐标(x_i,y_i)，计算得到当前像素滤波后的数值I_Bilateral(x,y)，并滑动窗口进行遍历滤波，得到暗图像滤波后数据矩阵，该数据矩阵为大气光幕估计图I_Bilateral；

(4)基于空间连续性原理进行模糊化处理：

先对大气光幕估计图I_Bilateral进行模糊化处理，得到数据矩阵I_Blur,然后将数据矩阵I_Blur基于大气光值A进行归一化处理和计算透射率，归一化公式为透射率值t(x,y)＝1-ω*U(x,y)，其中ω为预置参数，0.5≤ω≤1；

或者，先将大气光幕估计图I_Bilateral基于大气光值A进行归一化处理和计算透射率，归一化公式为透射率值t(x,y)＝1-ω*U(x,y)，其中ω取值范围为(0,1),然后对透射率值t(x,y)进行模糊化处理；

(5)将原始有雾图像进行复原处理：若原始有雾图像为彩色图像，根据复原公式分别将三通道的值I_{original_R}(x,y)、I_{original_G}(x,y)、I_{original_B}(x,y)以及大气光值A、透射率值t(x,y)代入计算得到R、G、B三通道的复原值J_R(x,y)、J_G(x,y)、J_B(x,y)，得到复原后图像J；若原始有雾图像为灰度图像，根据复原公式将灰度图像亮度值I_original以及大气光值A、透射率值t(x,y)代入计算得到复原值J(x,y)，得到复原后图像J；

步骤3、对复原后图像J进行增亮处理：

(1)对复原后图像J计算得到亮图像：若图像为彩色图像，各像素点的值选择原图像R、G、B三通道的最大值，得到亮图像J_light＝max(J_R,J_G,J_B)；若图像为灰度图像，亮图像J_light＝J；

(2)估算亮图像J_light的暗值J_min和亮值J_max：统计J_light的直方图Histgram_J，计算直方图的累加和其中i是中间变量，其取值范围从0到j，而j等于Histgram_J的数组长度值-1，当其对应的j₂为亮图像J_light的暗值J_min，0≤p₂≤0.2；当 $\underset{i=0}{\overset{j_3}{\&Sigma;}}Histgram\_J\&lsqb;i\&rsqb;>\mathrm{Im}age\_size*p_3,$ 其对应的j₃为亮图像J_light的亮值J_max，0.8≤p₁≤1；

(3)根据增强曲线进行图像增强：增强比例为若图像为彩色图像，根据增强公式J_enhance(x,y)＝K*(J(x,y)-J_min)+J_min，将J_R(x,y)、J_G(x,y)、J_B(x,y)代入计算得到增强图像J_enhance；若图像为灰度图像，根据增强公式将J代入计算得到增强图像J_enhance。