CN103226816A - 基于快速高斯滤波的雾霾图像介质传输率估算与优化方法 - Google Patents

Abstract

本发明公开了一种基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，包括传输率的估算和传输率的快速高斯滤波器优化；整个去雾流程包括：在每个像素点的三个颜色值中取最小值得到最小值亮度图；在最小值亮度图像中求取每个像素点邻域最小值得到暗通道图像；选取暗通道中0.1%个最大灰度值像素的均值作为大气光值；根据暗通道图像计算传输图像；采用快速高斯滤波器细化传输图；带入雾化成像模型恢复无雾场景。本发明采用递归高斯滤波方法优化传输率，优化结果良好，且容易采用可编程逻辑器件的快速实现。

Description

基于快速高斯滤波的雾霾图像介质传输率估算与优化方法

技术领域

本发明涉及一种基于快速高斯滤波的雾霾图像介质传输率估算与优化方法。

背景技术

在计算机视觉领域，对有雾场景下图像的清晰化处理是一个重要的问题，它对于后续的操作（如目视解译以及计算机视觉分析）来说至关重要。在可见光成像范围内，由于受到大气中雾、尘埃等微粒的影响，随着传输距离的增加，物体反射后到达相机感光片的光线很微弱，使得成像模糊不清，尤其是在大雾天气下，能见度很低，大雾天气下拍摄的图像雾霾情况更加严重。因此，需要通过去雾手段恢复出成像微弱的细节部分，具有重大的现实意义。

目前，在计算机视觉领域，对雾霾图像/视频的雾天清晰化处理方法大致分为两种：一种是通过提高对比度的增强方法，一种是基于物理模型的图像复原方法。由于通过提高对比度的增强方法是一种相对手段，尽管提高了图像清晰度，但是可能会丢失图像部分细节、颜色失真等。基于物理模型的图像复原技术从雾的产生机理出发去除图像中的雾霾影响，得到的图像具有无雾场景的真实感，如暗通道先验去雾技术，它是一种简单实用的去雾方法，但原算法计算复杂度高，运算速度慢，因而不容易硬件实现。

雾霾天气条件下单色大气散射模型可以用下式表示：I(x)=J(x)t(x)+A(1-t(x))。其中，I(x)表示观察到的亮度即观察到的图像，J(x)表示场景辐射亮度，也就是需要恢复的无雾图像，A表示整体大气光值，t(x)表示介质传输率，用以描述未经散射而直接到达传感器的辐射亮度。J(x)t(x)叫做直接衰减项(direct attenuation)，用以描述场景辐射亮度及其在介质中的衰减，可以看出场景辐射亮度是以场景深度d为幂的指数衰减函数；A(1-t(x))叫做大气散射光(airlight)，它造成场景的模糊和颜色的偏移失真。从几何学角度讲，方程I(x)=J(x)t(x)+A(1-t(x))意味着向量I(x)、J(x)和A在RGB彩色空间中是共面的，它们的终点在同一条直线上，因此，介质传输率t是两截线段之比：

其中，c∈{r，g，b)，是色彩通道的索引。

在介质传输率的估算过程中，必须计算大气光值A，然而，传统估算方法中，大气光值A的计算并不是在暗通道中完成的，因此会受到场景中白色轿车、白色建筑等高亮度像素的影响，导致图像复原效果不理想。另外，传统介质传输率的估算彻底去除图像中的雾霾，使得结果图像看起来很不自然且失去距离感。

对于传统的介质传输率计算方法，由于计算暗通道时使用模板窗口求得最小值，由于在每一个小块模块内，传输率结果也不一定都是常数，因此，计算的结果会出现块效应。何恺明等人用一种软抠像法(soft matting)优化了传输率

，但是这种传统软抠图的方法比较耗时，影响了系统去雾速度，不能适用于实时系统。

发明内容

本发明的目的在于克服现有技术的不足，提供一种新型的基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，在估算过程中大气光值在暗通道中计算得到；采用近似高斯滤波方法优化传输率，优化结果良好，且克服了现有技术优化速度慢、去雾速度慢、不能应用于实时系统等缺点。

本发明的目的是通过以下技术方案来实现的：基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，不仅适用于雾霾图像的处理，也同样适用于雾霾视频文件的处理。

当大气同质时，雾霾天气条件下单色大气散射模型用下式表示：

I(x)=J(x)t(x)+A(1-t(x))

其中，I(x)表示观察到的图像的亮度，J(x)表示需要恢复的无雾图像的场景辐射亮度，A表示整体大气光值，t(x)表示介质传输率；

J(x)t(x)为直接衰减项，用以描述场景辐射亮度及其在介质中的衰减；

A(1-t(x))为大气散射光，造成场景的模糊和颜色的偏移失真。

基于快速高斯滤波的雾霾图像介质传输率估算与优化方法包括一个传输率估算的步骤和一个传输率快速高斯滤波器优化的步骤：

所述的传输率估算的步骤包括以下子步骤：

S11：对三个通道的雾霾成像方程I(x)=J(x)t(x)+A(1-t(x))进行最小化操作得到最小值亮度图；

S12：对最小值亮度图每个像素点的矩形邻域最小值操作得到暗通道图像；

S13：选取暗通道中0.1%个最大灰度值像素的均值作为大气光值；

S14：根据暗通道图像计算得到传输图像：

其中，

为近似传输函数，ω为调节参数，min为取最小化操作，I^c(y)真实图像，A为大气光值，c表示三个通道，c∈(r,g,b)，Ω(x)为矩形邻域。

其具体步骤及原理为：

A.用表示局部块的传输率，对局部块的雾霾成像方程I(x)=J(x)t(x)+A(1-t(x))进行最小化操作，有：

$\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(I^c\left(y\right)\right)=\tilde{t}\left(x\right)\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(J^c\left(y\right)\right)+(1-\tilde{t}\left(x\right))A^c;$

由于最小化操作是在三个色彩通道上独立完成的，因此，上述方程等价于：

$\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)=\tilde{t}\left(x\right)\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)+(1-\tilde{t}\left(x\right));$

B.在步骤A所得方程的三个色彩通道之间进行最小化操作，得到：

$\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)=\tilde{t}\left(x\right)\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)+(1-\tilde{t}\left(x\right));$

C.根据暗通道先验，使无雾霾图片J的黑色通道J^dark趋于零，有：

$J^{\mathrm{dark}}\left(x\right)=\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(J^c\left(y\right)\right)\right)=0;$

又由于A^c恒为正，得：

$\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)=0;$

D.选取暗通道中0.1%个最大灰度值像素均值作为大气光值；

E.结合步骤C与步骤D得到的方程，即：将方程

代入方程 $\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)=\tilde{t}\left(x\right)\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)+(1-\tilde{t}\left(x\right)),$ 得到传输率

的值：

$\tilde{t}\left(x\right)=1-\underset{c}{\min }\left(\underset{y\∈\mathrm{\Ω}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right);$

F.通过给步骤E所得到的方程引入一个常参数ω(0<ω≤1)，为远距离物体保留适量的雾霾，得到介质传输率

的估算值为：

$\tilde{t}\left(x\right)=1-\mathrm{\&omega;}\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)$

传统的空域高斯滤波器平滑传输函数可用下式表示：T(x,y)=G(x,y)*t(x,y)，其中，G(x,y)表示二维高斯模板，t(x,y)表示粗糙的介质传输率，T(x,y)表示高斯滤波之后的二维图像数据。“*”表示空间卷积。

所述的传输率快速高斯滤波器优化的步骤为：在二维模板运算的高斯滤波器基础上，将二维模板转换为一维向量，可以有效加快传输率优化速度，其计算方式适合可编程逻辑器件实现，它包括以下两个步骤：

（1）按行进行前向和后向的一维滤波；

（2）按列进行前向和后向的一维滤波。

所述的前向一维滤波结果：

w[n]=Bin[n]+(b₁w[n-1]+b₂w[n-2]+b₃w[n-3])/b₀；

其中，w[n]表示进行前向一维滤波之后得到的像素值，in[n]表示图像n点的像素值，w[n-1]表示n点的前向一维滤波得到的上一个像素值，w[n-2]表示n-1点的前向一维滤波得到的上一个像素值；w[n-3]表示n-2点的前向一维滤波得到的上一个像素值。

所述的后向一维滤波结果：

out[n]=Bw[n]+(b₁out[n+1]+b₂out[n+2]+b₃out[n+3])/b₀；

其中，out[n]表示经过后向一维滤波后得到的像素值，w[n]表示进行前向一维滤波之后得到的像素值，out[n+1]表示n点的后向一维滤波得到的下一个像素值，out[n+2]表示n+1点的后向一维滤波得到的下一个像素值，out[n+3]表示n+2点的后向一维滤波得到的下一个像素值。

所述的b₀、b₁、b₂、b₃表示计算得到的系数：

b₀=1.57825+(2.44413q)+(1.4281q²)+(0.422205q³)^,

b₁=(2.44413q)+(2.85619q²)+(1.26661q³),

b₂=-((1.4281q²)+(1.26661q³)),

b₃=0.422205q³.

其中，q表示递归参数。

所述的q的计算方法为：

$q=\left\{\begin{array}{cc}0.98711{\mathrm{\&sigma;}}_0-0.96330,& {\mathrm{\&sigma;}}_0\&GreaterEqual;2.5,\\ 3.97156-4.14554\sqrt{1-0.26891{\mathrm{\&sigma;}}_0},& \\ 0.5\&le;{\mathrm{\&sigma;}}_0\&le;2.5;& \end{array}\right.$

其中，σ₀表示标准差。

本发明的有益效果是：

1）在估算过程中大气光值在暗通道中计算得到，减少操作步骤，有助于提高去雾速度；

2）采用近似高斯滤波（递归高斯滤波）方法优化传输率，优化结果良好，且能采用可编程逻辑器件快速实现，克服了现有技术优化速度慢、去雾速度慢、不能应用于实时系统等缺点。

附图说明

图1为基于快速高斯滤波的雾霾图像介质传输率估算与优化方法流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，不仅适用于雾霾图像的处理，也同样适用于雾霾视频文件的处理。

当大气同质时，雾霾天气条件下单色大气散射模型用下式表示：

I(x)=J(x)t(x)+A(1-t(x))

其中，I(x)表示观察到的图像的亮度，J(x)表示需要恢复的无雾图像的场景辐射亮度，A表示整体大气光值，表示介质传输率；

J(x)t(x)为直接衰减项，用以描述场景辐射亮度及其在介质中的衰减；

A(1-t(x))为大气散射光，造成场景的模糊和颜色的偏移失真；

如图1所示，雾霾图像介质传输率快速计算方法包括一个传输率估算的步骤和一个传输率快速高斯滤波器优化的步骤：

其中，传输率估算的步骤包括以下子步骤：

S11：对三个通道的雾霾成像方程I(x)=J(x)t(x)+A(1-t(x))进行最小化操作得到最小值亮度图；

S12：对最小值亮度图每个像素点的矩形邻域最小值操作得到暗通道图像；

S13：选取暗通道中0.1%个像素最大灰度值的均值作为大气光值；

S14：根据暗通道图像计算得到传输图像：

其中，为近似传输函数，ω为调节参数，min为取最小化操作，I^c(y)真实图像，A为大气光值，c表示三个通道，c∈(r,g,b)，Ω(x)为矩形邻域。

其具体步骤及原理为：

A.用

表示局部块的传输率，对局部块的雾霾成像方程I(x)=J(x)t(x)+A(1-t(x))进行最小化操作，有：

$\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(I^c\left(y\right)\right)=\tilde{t}\left(x\right)\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(J^c\left(y\right)\right)+(1-\tilde{t}\left(x\right))A^c;$

由于最小化操作是在三个色彩通道上独立完成的，因此，上述方程等价于：

$\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)=\tilde{t}\left(x\right)\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)+(1-\tilde{t}\left(x\right));$

B.在步骤A所得方程的三个色彩通道之间进行最小化操作，得到：

$\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)=\tilde{t}\left(x\right)\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)+(1-\tilde{t}\left(x\right));$

C.根据暗通道先验，使无雾霾图片J的黑色通道J^dark趋于零，有：

$J^{\mathrm{dark}}\left(x\right)=\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(J^c\left(y\right)\right)\right)=0;$

又由于A^c恒为正，得：

$\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)=0;$

D.选取暗通道中0.1%个最大灰度值像素均值作为大气光值；

E.结合步骤C与步骤D得到的方程，即：将方程

代入方程 $\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right)=\tilde{t}\left(x\right)\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{J^c\left(y\right)}{A^c}\right)\right)+(1-\tilde{t}\left(x\right)),$ 得到传输率

的值：

$\tilde{t}\left(x\right)=1-\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right);$

F.通过给步骤E所得到的方程引入一个常参数ω(0<ω≤1)，为远距离物体保留适量的雾霾，得到介质传输率

的估算值为：

$\tilde{t}\left(x\right)=1-\mathrm{\&omega;}\underset{c}{\min }\left(\underset{y\&Element;\mathrm{\&Omega;}\left(x\right)}{\min }\left(\frac{I^c\left(y\right)}{A^c}\right)\right).$

传统的空域高斯滤波器平滑传输函数可用下式表示：T(x,y)=G(x,y)*t(x,y)，其中，G(x,y)表示二维高斯模板，t(x,y)表示粗糙的介质传输率，T(x,y)表示高斯滤波之后的二维图像数据。“*”表示空间卷积。

所述的传输率快速高斯滤波器优化的步骤为：在二维模板运算的高斯滤波器基础上，将二维模板转换为一维向量，可以有效加快传输率优化速度，其计算方式适合可编程逻辑器件实现，它包括以下两个步骤：

（1）按行进行前向和后向的一维滤波；

（2）按列进行前向和后向的一维滤波。

所述的前向一维滤波结果：

w[n]=Bin[n]+(b₁w[n-1]+b₂w[n-2]+b₃w[n-3])/b₀

其中，w[n]表示进行前向一维滤波之后得到的像素值，in[n]表示图像n点的像素值，w[n-1]表示n点的前向一维滤波得到的上一个像素值，w[n-2]表示n-1点的前向一维滤波得到的上一个像素值；w[n-3]表示n-2点的前向一维滤波得到的上一个像素值。

所述的后向一维滤波结果：

out[n]=Bw[n]+(b₁out[n+1]+b₂out[n+2]+b₃out[n+3])/b₀

其中，out[n]表示经过后向一维滤波后得到的像素值，w[n]表示进行前向一维滤波之后得到的像素值，out[n+1]表示n点的后向一维滤波得到的下一个像素值，out[n+2]表示n+1点的后向一维滤波得到的下一个像素值，out[n+3]表示n+2点的后向一维滤波得到的下一个像素值。

所述的b₀、b₁、b₂、b₃表示计算得到的系数：

b₀=1.57825+(2.44413q)+(1.4281q²)+(0.422205q³),

b₁=(2.44413q)+(2.85619q²)+(1.26661q³),

b₂=-((1.4281q²)+(1.26661q³)),

b₃=0.422205q³.

其中，q表示递归参数。

所述的q的计算方法为：

$q=\left\{\begin{array}{cc}0.98711{\mathrm{\&sigma;}}_0-0.96330,& {\mathrm{\&sigma;}}_0\&GreaterEqual;2.5,\\ 3.97156-4.14554\sqrt{1-0.26891{\mathrm{\&sigma;}}_0},& \\ 0.5\&le;{\mathrm{\&sigma;}}_0\&le;2.5,& \end{array}\right.$

其中，σ₀表示标准差。

Claims (5)

1.基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，当大气同质时，雾霾天气条件下单色大气散射模型用下式表示：

I(x)＝J(x)t(x)+A(1-t(x))

其中，I(x)表示观察到的图像亮度，J(x)表示无雾图像的场景辐射亮度，A表示整体大气光值，t(x)表示介质传输率；

J(x)t(x)为直接衰减项，用以描述场景辐射亮度及其在介质中的衰减；

A(1-t(x))为大气散射光，造成场景的模糊和颜色的偏移失真；

其特征在于：所述的估算与优化方法包括一个传输率估算的步骤和一个传输率快速高斯滤波器优化的步骤：

所述的传输率估算的步骤包括以下步骤：

S11：对三个通道的雾霾成像方程I(x)＝J(x)t(x)+A(1-t(x))进行最小化操作得到最小值亮度图；

S12：对最小值亮度图每个像素点的矩形邻域取最小值操作得到暗通道图像；

S13：选取暗通道中0.1%个像素最大灰度值的均值作为大气光值；

S14：根据暗通道图像计算得到传输图像：

其中，

为近似传输函数，ω为调节参数，min为取最小化操作，I^c(y)真实图像，A为大气光值，c表示三个通道，c∈(r,g,b)，Ω(x)为矩形邻域；

所述的传输率快速高斯滤波器优化的步骤为：在二维模板运算的高斯滤波器基础上，将二维模板转换为一维向量，有效加快传输率优化速度，其计算方式适合可编程逻辑器件实现，它包括以下两个步骤：

（1）按行进行前向和后向的一维滤波；

（2）按列进行前向和后向的一维滤波。

2.根据权利要求1所述的基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，其特征在于：所述的前向一维滤波结果：

w[n]＝Bin[n]+(b₁w[n-1]+b₂w[n-2]+b₃w[n-3])/b₀；

其中，w[n]表示进行前向一维滤波之后得到的像素值，in[n]表示图像n点的像素值，w[n-1]表示n点的前向一维滤波得到的上一个像素值，w[n-2]表示n-1点的前向一维滤波得到的上一个像素值；w[n-3]表示n-2点的前向一维滤波得到的上一个像素值。

3.根据权利要求1所述的基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，其特征在于：所述的后向一维滤波结果：

out[n]＝Bw[n]+(b₁out[n+1]+b₂out[n+2]+b₃out[n+3])/b₀；

其中，out[n]表示经过后向一维滤波后得到的像素值，w[n]表示进行前向一维滤波之后得到的像素值，out[n+1]表示n点的后向一维滤波得到的下一个像素值，out[n+2]表示n+1点的后向一维滤波得到的下一个像素值，out[n+3]表示n+2点的后向一维滤波得到的下一个像素值。

4.根据权利要求2或3所述的基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，其特征在于：所述的b₀、b₁、b₂、b₃表示计算得到的系数：

b₀＝1.57825+(2.44413q)+(1.4281q²)+(0.422205q³),

b₁＝(2.44413q)+(2.85619q²)+(1.26661q³),

b₂＝-((1.4281q²)+(1.26661q³)),

b₃＝0.422205q³;

其中，q表示递归参数。

5.根据权利要求4所述的基于快速高斯滤波的雾霾图像介质传输率估算与优化方法，其特征在于：所述的q表示递归参数：

$q=\left\{\begin{array}{cc}0.98711{\mathrm{\&sigma;}}_0-0.96330,& {\mathrm{\&sigma;}}_0\&GreaterEqual;2.5,\\ 3.97156-4.14554\sqrt{1-0.26891{\mathrm{\&sigma;}}_0},& \\ 0.5\&le;{\mathrm{\&sigma;}}_0\&le;2.5.& \end{array}\right.$

其中，σ₀表示标准差。

Images