CN103077504B - 一种基于自适应光照计算的图像去雾方法 - Google Patents

Abstract

一种基于自适应光照计算的图像去雾方法，涉及图像处理方法。计算有雾图像粗略提取的亮通道图像，再进行边缘信息保存处理，获得优化后的亮通道图像；计算有雾图像粗略提取的暗通道图像，再进行边缘信息保存处理，获得优化后的暗通道图像；根据大气散射物理模型，以及得到的亮通道图像和暗通道图像，推导出自适应的大气光照和大气传输系数表达式；根据大气散射物理模型中的有雾图像、大气光照和大气传输系数进行去雾复原处理。首次提出了图像的亮通道，对有雾图像进行亮通道的计算，并根据大气散射物理模型，推导出大气光照表达式，能够自适应地计算大气光照。相对于传统的去雾方法，能够提高复原后的图像的清晰化效果。

Description

一种基于自适应光照计算的图像去雾方法

技术领域

本发明涉及图像处理方法，具体涉及基于自适应光照计算的图像去雾方法。

背景技术

对有雾图像进行去雾可以改善图像的视觉效果，例如大多数的室外视频工作系统，如城市交通、车辆辅助系统、视频监控等，都要求对图像特征的检测达到清晰准确的效果，但是在雾天情况下，由于场景的能见度降低，以及大气中悬浮的大量小水滴、尘埃等的散射作用，导致采集到的图像严重降质，极大地限制和影响了系统的正常工作，因此实时消除图像中的雾气，使处理后的图像更加清晰化，才能适应实际应用的需求。

图像去雾过程是研究有雾图像退化的物理过程，即反演退化过程，以获得未经干扰的原始图像，其中，中国专利201010139441.1公开一种基于暗原色的自动图像去雾方法，该方法利用暗原色先验求取传输图像，多尺度Retinex求取亮度分量图像，其处理速度慢，传输函数的下限阈值不能动态自适应调整，处理后的天空区域的存在光晕。该方法对去雾有着一定的效果，但是此方法对大气光照的估计是利用常数来估计，不是自适应的，无法更好地处理有雾图像自身受到的光照影响，对复原图像的质量有一定影响。

发明内容

本发明的目的在于提供相对于传统的去雾方法，能够提高复原后的图像的清晰化效果的一种基于自适应光照计算的图像去雾方法。

本发明包括以下步骤：

1）计算有雾图像粗略提取的亮通道图像，再进行边缘信息保存处理，获得优化后的亮通道图像；

2）计算有雾图像粗略提取的暗通道图像，再进行边缘信息保存处理，获得优化后的暗通道图像；

3）根据大气散射物理模型，以及得到的亮通道图像和暗通道图像，推导出自适应的大气光照和大气传输系数表达式；

4）根据大气散射物理模型中的有雾图像、大气光照和大气传输系数进行去雾复原处理。

在步骤1）中，所述计算有雾图像粗略提取的亮通道图像，再进行边缘信息保存处理，获得优化后的亮通道图像的具体方法可采用图像的亮通道方法，即户外拍摄的正常天气下的白天的景物图像，至少有一个颜色通道的一些像素值比较大，也就是说，户外拍摄的正常天气的正常照度下的景物图像经过最大值滤波（包括图像的三个通道在内）后，整幅图像的像素值都会很大；亮通道图像各像素点的值按以下表达式确定：

$J^1(x,y)=\underset{c\∈\left\{\mathrm{RGB}\right\}}{\max }\left(\underset{(x_0,y_0)\∈\mathrm{\Ω}(x,y)}{\max }{J}^c(x_0,y_0)\right);$

其中，c为原彩色图像的颜色通道，Ω(x,y)是以坐标为(x，y)的像素点为中心的最大值滤波窗口，(x₀,y₀)为区域中各像素点的坐标值，具体步骤如下：

第一步：对原有雾图像RGB三个颜色通道的像素值进行最大值滤波，获得的图像为粗略提取的亮通道图像；

第二步：对粗提取的亮通道图像进行边缘保持平滑滤波，保存边缘信息，最后得到的就是优化后的亮通道图像，记为I_max。

在步骤2）中，所述暗通道图像各像素点的值按以下表达式确定：

$J^d(x,y)=\underset{c\∈\left\{\mathrm{RGB}\right\}}{\min }\left(\underset{(x_0,y_0)\∈\mathrm{\Ω}(x,y)}{\min }{J}^c(x_0,y_0)\right);$

其中，c为原彩色图像的颜色通道，Ω(x,y)是以坐标为(x，y)的像素点为中心的最小值滤波窗口，(x₀,y₀)为区域中各像素点的坐标值，具体步骤如下：

第一步：对原有雾图像RGB三个颜色通道的像素值进行最小值滤波，获得的图像为粗略提取的暗通道图像；

第二步：对粗提取的暗通道图像进行边缘保持平滑滤波，保存边缘信息，最后得到的就是优化后的暗通道图像，记为I_min。

在步骤3）中，所述根据大气散射物理模型，以及得到的亮通道图像和暗通道图像，推导出自适应的大气光照和大气传输系数表达式的具体方法可为：

对原有雾彩色图像的像素值进行归一化，将像素值从0～255映射到0～1范围内，显而易见：

当J(x,y)=0时，即原有雾图像的像素值最小时，为暗通道图像，可得：

I_min(x,y)＝A(x,y)(1-t(x,y))；

当J(x,y)=1时，即原有雾图像的像素值最大时，为亮通道图像，可得：

I_max(x,y)=t(x,y)+A(x,y)(1-t(x,y))；

由上述表达式可推导出：

大气传输系数表达式：t(x,y)＝I_max(x,y)-I_min(x,y)；

大气光照表达式： $A(x,y)=\frac{I_{\min }(x,y)}{1-I_{\max }(x,y)+I_{\min }(x,y)};$

以上即为自适应的大气光照和大气传输函数，根据每个像素点的具体的亮通道和暗通道的像素值进行自适应地估计。

在步骤4）中，所述大气散射物理模型为：

I(x,y)＝J(x,y)t(x,y)+A(x,y)(1-t(x,y))；

观测图像I(x,y)由“直接衰减”（Direct Attenuation）图像J(x,y)t(x,y)和“大气渗透”（Airlight Added）图像A(x,y)(1-t(x,y))组成；其中，(x,y)为图像中每一个像素点的坐标值，I为原有雾图像，t为大气传播系数，A为大气光照值，J为复原后的图像；

根据大气散射物理模型，去雾复原图像的表达式为：

$J(x,y)=A(x,y)+\frac{I(x,y)-A(x,y)}{t(x,y)},$

同时对公式右边第二项的分母进行阈值约束max(t(x,y),t₀)，目的是防止t趋于0，从而整个分数趋于无穷大，导致复原图像失真，t₀在这里的取值一般为0.1。

在步骤4）中，所述去雾复原处理后的图像表达式为：

$J(x,y)=A(x,y)+\frac{I(x,y)-A(x,y)}{t(x,y)};$

将自适应大气光照表达式大气传输系数表达式t(x,y)=I_max(x,y)-I_min(x,y)和阈值约束max(t(x,y),t₀)代入去雾复原图像的表达式，得到的图像上每一个像素点的具体大气光照估计同实际情况更为接近，与传统的常数估计法得到的大气光照相比，更加准确，去雾复原效果更好。

本发明建立在物理模型的基础上，去雾复原后的图像的清晰化效果要明显优于传统的去雾方法所得到的结果。

本发明的突出优点是首次提出了图像的亮通道，对有雾图像进行亮通道的计算，并根据大气散射物理模型，推导出大气光照表达式，能够自适应地计算大气光照，而传统的计算大气光照估计是人为的常数估计法，相比而言，本发明的方法能够更加精确地估计大气光照，去雾复原后的图像效果更加清晰。

附图说明

图1为去雾过程的整体流程图。

图2为计算亮通道图像的流程图。

图3为计算暗通道图像的流程图。

图4为原始图像。

图5为亮通道图像。

图6为暗通道图像。

图7为中南大学蔡自兴专利方法的去雾结果。

图8为本发明方法的去雾结果。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步的说明：

根据图1，去雾的实现方法主要有三个步骤：

步骤1：根据图2，求取亮通道图像I_max。

亮通道图像各像素点的值按以下表达式确定：

$J^1(x,y)=\underset{c\∈\left\{\mathrm{RGB}\right\}}{\max }\left(\underset{(x_0,y_0)\∈\mathrm{\Ω}(x,y)}{\max }{J}^c(x_0,y_0)\right);$

其中，c为原彩色图像的颜色通道，Ω(x,y)是以坐标为(x，y)的像素点为中心的最大值滤波窗口，(x₀,y₀)为区域中各像素点的坐标值。具体步骤如下：

1.将原有雾图像每个像素点RGB三个颜色通道中最大的像素值提取出来，作为之后guidedfilter滤波操作的引导图像；

2.对原有雾图像RGB三个颜色通道分别进行窗口大小为15×15的最大值滤波，将每个窗口内的最大值提取出来，来代替当前窗口中第一个像素点的像素值，再选取三个结果中的最大值，作为最终的结果，最后获得的图像为粗略提取的亮通道图像；

3.由于粗略提取的亮通道图像在景物边缘部分计算不准确，需要对图像进行优化，即对图像进行滤波，这里我们选择guidedfilter对粗略提取的亮通道图像进行优化滤波，保存边缘信息，最后得到的就是优化后的亮通道图像，即I_max

其中，guidedfilter的数学模型为：

一元线性回归模型：q_i＝a_kI_i+b_k, 作用是使待滤波的输入图像保存和引导图像相同的边缘信息,回归系数(a_k,b_k)可以利用常规最小二乘法进行估计。；

代价函数模型：作用是使滤波器的输出图像q_i同待滤波的输入图像p_i差值平方和最小，相当于判决条件；

其中，I_i为引导图像，p_i代表待滤波的输入图像，q_i为滤波后的输出图像，ω_k为滤波窗口，a_k和b_k为回归系数，ε是正则化系数，防止a_k的值过大。

最终确定回归系数(a_k,b_k)的解为：

$a_k=\frac{{\mathrm{\Σ}}_{i\∈w_k}{I}_i{p}_i-{\mathrm{\μ}}_k\stackrel{\‾}{p_k}}{{\mathrm{\σ}}_k^2+\mathrm{\ξ}}=\frac{n{\mathrm{\μ}}_k\stackrel{\‾}{p_k}-{\mathrm{\μ}}_k\stackrel{\‾}{p_k}}{{\mathrm{\σ}}_k^2+\mathrm{\ξ}}$

$b_k=\stackrel{\‾}{p_k}-a_k{\mathrm{\μ}}_k$

其中：

引导图像I_i在某局部邻域w_k内的均值；

引导图像I_i在某局部邻域w_k内的方差；

输入图像p_i在某局部邻域w_k内的均值。

步骤2：根据图3，求取暗通道图像I_min。

暗通道图像各像素点的值按以下表达式确定：

$J^d(x,y)=\underset{c\∈\left\{\mathrm{RGB}\right\}}{\min }\left(\underset{(x_0,y_0)\∈\mathrm{\Ω}(x,y)}{\min }{J}^c(x_0,y_0)\right);$

其中，c为原彩色图像的颜色通道，Ω(x,y)是以坐标为(x，y)的像素点为中心的最小值滤波窗口，(x₀,y₀)为区域中各像素点的坐标值。具体步骤如下：

1.将原有雾图像每个像素点RGB三个颜色通道中最小的像素值提取出来，作为之后guidedfilter滤波操作的引导图像；

2.对原有雾图像RGB三个颜色通道分别进行窗口大小为15×15的最小值滤波，将每个窗口内的最小值提取出来，来代替当前窗口中第一个像素点的像素值，再选取三个结果中的最小值，作为最终的结果，最后获得的图像为粗略提取的暗通道图像；

3.利用guided filter对粗略提取的暗通道图像进行优化滤波，保存边缘信息，最后得到的就是优化后的暗通道图像，即I_min。

步骤3：根据图1，用得到的亮通道图像I_max和暗通道图像I_min，计算出大气光照表达式：和大气传输系数表达式：t(x,y)＝I_max(x,y)-I_min(x,y)；

再将大气光照表达式和大气传输系数表达式代入去雾复原表达式：

$J(x,y)=A(x,y)+\frac{I(x,y)-A(x,y)}{t(x,y)};$

同时对t(x,y)进行阈值约束max(t(x,y),t₀)，即可计算出去雾后的原始图像。

图4～8分别给出原始图像、亮通道图像、暗通道图像、中南大学蔡自兴专利方法的去雾结果和本发明方法的去雾结果。

Claims (3)

1.一种基于自适应光照计算的图像去雾方法，其特征在于包括以下步骤：

1)计算有雾图像粗略提取的亮通道图像，再进行边缘信息保存处理，获得优化后的亮通道图像；所述计算有雾图像粗略提取的亮通道图像，再进行边缘信息保存处理，获得优化后的亮通道图像的具体方法可采用图像的亮通道方法，即户外拍摄的正常天气下的白天的景物图像，至少有一个颜色通道的一些像素值比较大，也就是说，户外拍摄的正常天气的正常照度下的景物图像经过最大值滤波后，整幅图像的像素值都会很大；亮通道图像各像素点的值按以下表达式确定：

$J^1(x,y)=\underset{c\∈\left\{\mathrm{RGB}\right\}}{\max }\left(\underset{(x_0,y_0)\∈\mathrm{\Ω}(x,y)}{\max }{J}^c(x_0,y_0)\right);$

其中，c为原彩色图像的颜色通道，Ω(x,y)是以坐标为(x，y)的像素点为中心的最大值滤波窗口，(x₀,y₀)为区域中各像素点的坐标值，具体步骤如下：

第一步：对原有雾图像RGB三个颜色通道的像素值进行最大值滤波，获得的图像为粗略提取的亮通道图像；

第二步：对粗提取的亮通道图像进行边缘保持平滑滤波，保存边缘信息，最后得到的就是优化后的亮通道图像，记为I_max；

2)计算有雾图像粗略提取的暗通道图像，再进行边缘信息保存处理，获得优化后的暗通道图像；所述暗通道图像各像素点的值按以下表达式确定：

$J^d(x,y)=\underset{c\∈\left\{\mathrm{RGB}\right\}}{\min }\left(\underset{(x_0,y_0)\∈\mathrm{\Ω}(x,y)}{\min }{J}^c(x_0,y_0)\right);$

其中，c为原彩色图像的颜色通道，Ω(x,y)是以坐标为(x，y)的像素点为中心的最小值滤波窗口，(x₀,y₀)为区域中各像素点的坐标值，具体步骤如下：

第一步：对原有雾图像RGB三个颜色通道的像素值进行最小值滤波，获得的图像为粗略提取的暗通道图像；

第二步：对粗提取的暗通道图像进行边缘保持平滑滤波，保存边缘信息，最后得到的就是优化后的暗通道图像，记为I_min；

3)根据大气散射物理模型，以及得到的亮通道图像和暗通道图像，推导出自适应的大气光照和大气传输函数表达式；所述根据大气散射物理模型，以及得到的亮通道图像和暗通道图像，推导出自适应的大气光照和大气传输函数表达式的具体方法为：

对原有雾彩色图像的像素值进行归一化，将像素值从0～255映射到0～1范围内，显而易见：

当J(x,y)＝0时，即原有雾图像的像素值最小时，为暗通道图像，得：

I_min(x,y)＝A(x,y₎(1-t(x,y))；

当J(x,y)＝1时，即原有雾图像的像素值最大时，为亮通道图像，得：

I_max(x,y)＝t(x,y)+A(x,y)(1-t(x,y))；

由上述表达式推导出：

大气传输函数表达式：t(x,y)＝I_max(x,y)-I_min(x,y)；

自适应大气光照表达式： $A(x,y)=\frac{I_{\min }(x,y)}{1-I_{\max }(x,y)+I_{\min }(x,y)};$

以上即为自适应的大气光照和大气传输函数，根据每个像素点的具体的亮通道和暗通道的像素值进行自适应地估计；

4)根据大气散射物理模型中的有雾图像、大气光照和大气传输函数进行去雾复原处理。

2.如权利要求1所述一种基于自适应光照计算的图像去雾方法，其特征在于在步骤4)中，所述大气散射物理模型为：

I(x,y)＝J(x,y)t(x,y)+A(x,y)(1-t(x,y))；

观测图像I(x,y)由“直接衰减”(Direct Attenuation)图像J(x,y)t(x,y)和“大气渗透”(Airlight Added)图像A(x,y)(1-t(x,y))组成；其中，(x,y)为图像中每一个像素点的坐标值，I为原有雾图像，t为大气传播系数，A为大气光照值，J为复原后的图像；

根据大气散射物理模型，去雾复原处理后的图像表达式为：

$J(x,y)=A(x,y)+\frac{I(x,y)-A(x,y)}{t(x,y)},$

同时对公式右边第二项的分母进行阈值约束max(t(x,y),t₀)，目的是防止t趋于0，从而整个分数趋于无穷大，导致复原图像失真，t₀在这里的取值一般为0.1。

3.如权利要求1所述一种基于自适应光照计算的图像去雾方法，其特征在于在步骤4)中，所述去雾复原处理后的图像表达式为：

$J(x,y)=A(x,y)+\frac{I(x,y)-A(x,y)}{t(x,y)};$

将自适应大气光照表达式大气传输函数表达式t(x,y)＝I_max(x,y)-I_min(x,y)和阈值约束max(t(x,y),t₀)代入去雾复原处理后的图像表达式，得到的图像上每一个像素点的具体大气光照估计同实际情况更为接近。