CN101950416B - 基于双边滤波的实时图像去雾增强方法 - Google Patents

Abstract

本发明公开一种基于双边滤波的实时图像去雾增强技术，特别适用于恶劣气象条件下图像及视频的去雾增强，属于数字图像处理领域；具体为，估计输入的带雾图像的大气光向量值A，并推导出大气光幕图V，根据计算出的大气光向量和大气光幕图解算去雾图像的辐照度R，最后对计算出的辐照度进行增强。本发明通过基于暗元素的方法能精确估计大气光向量、基于双边滤波方法估计大气光幕，降低了计算的复杂度，可以保证图像的去雾效果；同时对双边滤波的方法进行改进，使得图像处理速度上有了质的提升。

Description

基于双边滤波的实时图像去雾增强方法

技术领域

本发明涉及一种基于双边滤波的实时图像去雾增强方法，特别适用于恶劣气象条件下图像的去雾增强，属于数字图像处理领域。

背景技术

薄尘雾天气下，人们获取的室外图像是经过大气中薄雾、烟尘等微粒吸收及散射之后的退化图像，这些图像分辨率、对比度及颜色保真度均较差，这对图像解析及信息提取造成较大影响，降低了图像的应用价值，不利于图像特征的提取。

目前绝大多数的侦察、监控、智能车辆及目标跟踪等应用系统均需要充分提取图像特征，低能见度图像给户外机器视觉系统的正常工作带来很大困难，因此室外图像的去雾增强技术对提高视觉系统的可靠性和鲁棒性具有重要意义。同时对于智能监控、目标识别等应用领域，去雾算法的高效性和实时性同样至关重要。近年来，图像去雾增强逐渐成为图像处理与计算机视觉领域具有挑战性的前沿课题。

在目前已发展的图像去雾增强方法中，现有技术[1](参见S.G.Narasimhan and S.K.Nayar.Contrast restoration of weather degraded images.IEEETransactions on Pattern Analysis and Machine Intelligence，25：713-724，2003.)利用同一场景不同天气条件下的多幅图像求解深度估计中的欠约束问题。该方法虽然取得了一定的效果，但由于需要拍摄不同气象条件下的多幅图像，只能处理静态图像，在动态场景中难以应用，其实际应用价值不大。

现有技术[2](参见R.Fattal.Single image dehazing.In ACM SIGGRAPH，pages 1-9，2008.)首先假定透过率与表面阴影局部不相关，接着利用独立成分分析的方法估计场景表面反射率进而推导出介质透过率。该方法实现了单幅图像的自动去雾，是去雾技术的一大进步。对于薄雾图像，该方法能取得较好的效果，但对于较浓的带雾图像效果一般，同时该方法算法复杂度较高，处理速度较慢。

现有技术[3](参见K.He，J.Sun，and X.Tang.Single image haze removal using dark channel prior.In IEEE Conference on Computer Vision and PatternRecognition(CVPR’09)，pages 1956-1963，2009.)首次提出了一种基于物理模型的先验(dark channel prior)并基于该先验直接估计介质透过率，接着运用一种soft matting方法进行透过率参数的优化，进而实现单幅图像去雾。该方法对于较浓的带雾图像也具有较好的效果，其局限性在于算法复杂度极高，处理速度很慢，对硬件要求较高，在视频监控、目标跟踪及机器视觉等领域难以应用。

因此由于现有技术图像处理速度慢，而存在只能处理静态图像以及处理较浓带雾图像难的问题。

发明内容

本发明提出一种基于双边滤波的实时图像去雾增强方法，该方法对图片处理速度快，从而可以实时、快速、高效地实现对单幅图像信息的去雾增强。

本发明所述的基于双边滤波的实时图像去雾增强方法的具体实现步骤如下：

步骤一：根据输入带雾图像I计算带雾图像的暗元素图D并估计大气光向量A；

步骤二：根据暗元素图像推导大气光幕图V；

利用双边滤波估计暗元素图D中每一个点D(x，y)处的局部均值M(x，y)，即：

$M(x,y)={\mathrm{blfilter}}_{{\mathrm{\σ}}_s{\mathrm{\σ}}_r}\left[D(x,y)\right]$

其中，x，y为图像的像素坐标，σ_s，σ_r分别表示双边滤波器blfilter在图像空间域S及图像值域R上的滤波参数；

利用双边滤波估计暗元素图D中每一个点D(x，y)处的局部标准差N(x，y)，即：

$N(x,y)={\mathrm{blfilter}}_{{\mathrm{\σ}}_s{\mathrm{\σ}}_r}\left(\right|D(x,y)-M(x,y)\left|\right)$

将局部均值M(x，y)与局部标准差N(x，y)之差V_r(x，y)作为大气光幕的初步估计值，即：

V_r(x，y)＝M(x，y)-N(x，y)

通过设定阈值e得到最终的大气光幕估计值V(x，y)，即：

V(x，y)＝max(min(eV_r(x，y)，D(x，y))，0)

步骤三：通过带雾图像成像物理模型推导出去雾图像的辐照度R；

步骤四：对去雾图像的辐照度R进行基于直方图方法的增强，得到增强后去雾图像为R_r。

本发明所述的根据输入带雾图像I计算带雾图像的暗元素图D为：

当所述的输入带雾图像为彩色图像时，则D(x，y)为每个像素红绿蓝RGB三个通道的最小值；当所述的输入带雾图像为灰度图像时，则D(x，y)为每个像素灰度值本身。

本发明所述的估计大气光向量A为：

利用边长为patch_size的正方形窗口对暗元素图D进行分块，并对每一小块进行最小值腐蚀运算，得到腐蚀后的暗元素图D_erosion，即：

$D_{\mathrm{erosion}}(i,j)=\underset{\mathrm{pqtch}}{\min }\left(D(x,y)\right)=\underset{\mathrm{pqtch}}{\min }\left(\min \left(I(x,y)\right)\right)$

其中，(i，j)为每个小块的坐标，patch为所分成的小块的数目；

取腐蚀后的暗元素图D_erosion中的极大值点对应的带雾图像I的像素值作为大气光向量A。

本发明所述的通过带雾图像成像物理模型推导出去雾图像的辐照度R为：

带雾图像成像物理模型为：

I(x，y)＝R(x，y)t(x，y)+A[1-t(x，y)]

其中，R(x，y)为去雾图像的辐照度，t∈(0，1)为雾天大气透射率；

令V(x，y)＝A[1-t(x，y)]，则有：

$I(x,y)=R(x,y)(1-\frac{V(x,y)}{A})+V(x,y)$

$R(x,y)=\frac{I(x,y)-V(x,y)}{1-\frac{V(x,y)}{A}}.$

有益效果：

本发明通过基于暗元素的方法能估计大气光向量、基于双边滤波方法估计大气光幕，保证图像的去雾效果。

其次，本发明对双边滤波的方法进行改进，采用信号处理中香侬采样定理，降低了计算的复杂度，使得图像处理速度上有了质的提升。

再次，本发明实现了基于单幅图像信息的实时去雾增强运算，同时对于灰度图像和彩色图像均能处理，在图像侦察、视频监控、目标跟踪及智能车辆等领域具有很高的实用价值。

附图说明

图1为本发明基于双边滤波的实时图像去雾增强方法的流程图。

具体实施方式

为了更好地说明本发明的目的与优点，下面对本发明做进一步说明。

步骤1：根据输入带雾图像I计算带雾图像的暗元素图D并估计大气光向量A。

当所输入的图像为彩色图像时，D为输入图像每个像素RGB三个通道的最小值；

$D(x,y)=\underset{c}{\min }\left(I(x,y)\right)$

其中，x，y表示图像中像素坐标，c＝1，2，3为图像的颜色通道数。

当所输入的图像为灰度图像时，D为灰度图像每个像素灰度值本身；

D(x，y)＝I(x，y)

设D大小为I_width×I_height，取边长为patch_size的正方形窗口对暗元素图D进行分块，根据原始图像的大小patch_size的优选为取值范围为[3，100]的任一整数，对D进行分块得到(I_width/patch_size+1)×(I_height/patch_size+1)个小块，patch为所分成的小块的数目，设其坐标为(i，j)。对每一小块进行最小值腐蚀运算，得到腐蚀后的暗元素图D_erosion，即：

$D_{\mathrm{erosion}}(i,j)=\underset{\mathrm{pqtch}}{\min }\left(D(x,y)\right)=\underset{\mathrm{pqtch}}{\min }\left(\min \left(I(x,y)\right)\right)$

取腐蚀后的暗元素图D_erosion中的极大值点对应的带雾图像I像素点的颜色值作为大气光向量A。

步骤2：根据暗元素图像推导大气光幕V。

首先，利用双边滤波估计暗元素图D中每一个点D(x，y)处的局部均值M(x，y)，即：

$M(x,y)={\mathrm{blfilter}}_{{\mathrm{\σ}}_s{\mathrm{\σ}}_r}\left[D(x,y)\right]$

上式中，σ_s，σ_r分别表示双边滤波器blfilter在图像空间域

及图像值域

上的高斯滤波参数。

现有的一种双边滤波中对暗元素图D中的任意一点p进行双边滤波操作定义为下式：

${\mathrm{blfilter}}_{{\mathrm{\σ}}_s{\mathrm{\σ}}_r}{\left[D\right]}_p=\frac{1}{W_p}\underset{q\∈s}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|D_p-D_q\left|\right)D_q$

其中，q为点p高斯邻域内像素点， $W_p=\underset{q\∈s}{\mathrm{\Σ}}{G}_{{\mathrm{\σ}}_s}\left(\right||p-q|\left|\right)G_{{\mathrm{\σ}}_r}\left(\right|D_p-D_q\left|\right)$ 为归一化系数， $G_{\mathrm{\σ}}(x,y)=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}\exp (-\frac{{(x+y)}^2}{2{\mathrm{\σ}}^2})$ 为二维高斯核函数。

其次，利用双边滤波估计暗元素图D中每一个点D(x，y)的局部标准差N(x，y)，即：

$N(x,y)={\mathrm{blfilter}}_{{\mathrm{\σ}}_s{\mathrm{\σ}}_r}\left[\right|D-M\left|(x,y)\right]$

再次，利用D(x，y)的局部均值M(x，y)与局部标准差N(x，y)之差V_r(x，y)作为大气光幕的初步估计值，即：

V_r(x，y)＝M(x，y)-N(x，y)

对于彩色带雾图像，可认为其大气光向量的三个颜色通道分量近似相等，此时可将大气光幕V视为二维灰度图像。由步骤1中暗元素图D的求取可知，0＜V(x，y)≤D(x，y)。为了保持去雾图像的自然性，通过设定阈值e∈(0，1)得到最终的大气光幕估计值V(x，y)，即：

V(x，y)＝max(min(eV_r(x，y)，D(x，y))，0)

本发明为了能过快速实现基于双边滤波对图像去雾增强的计算，采用了改进双边滤波器的快速近似计算方法，下面具体说明：

首先、计算输入图像F灰度极小值；

$F_{\min }=\underset{(x,y)\∈S}{\min }F(x,y)$

根据得到的输入图像灰度极小值F_min计算空间中点(x，y，F(x，y))经过采样后的坐标值(x，y，ζ)：

$(x,y,\mathrm{\ζ})=\left(\mathrm{round}\right[\frac{x}{s_x}],\mathrm{round}[\frac{y}{s_s}],\mathrm{round}[\frac{F(x,y)-F_{\min }}{s_r}\left]\right)$

其中，

为像素点F(x，y)经过采样后的灰度值，round[]为舍入取整运算，s_s和s_r分别为空间和值域上的采样率；

其次、计算函数值wi(x，y，ζ)、w(x，y，ζ)：

$\left\{\begin{array}{c}w(x,y,\mathrm{\ζ})=1\\ \mathrm{wi}(x,y,\mathrm{\ζ})=I(x,y)\end{array}\right.$

得到：

$\left(\begin{array}{c}{W}_{\↓}{F_{\↓}}^T(x,y,\mathrm{\ζ})\\ {W_{\↓}}^T(x,y,\mathrm{\ζ})\end{array}\right)=\left(\begin{array}{c}{W}_{\↓}{F}_{\↓}(x,y,\mathrm{\ζ})\\ W_{\↓}(x,y,\mathrm{\ζ})\end{array}\right)+\left(\begin{array}{c}\mathrm{wi}(x,y,\mathrm{\ζ})\\ w(x,y,\mathrm{\ζ})\end{array}\right)$

$\left(\begin{array}{c}{W}_{\↓}{F}_{\↓}(x,y,\mathrm{\ζ})\\ W_{\↓}(x,y,\mathrm{\ζ})\end{array}\right)=\left(\begin{array}{c}{W}_{\↓}{F_{\↓}}^T(x,y,\mathrm{\ζ})\\ {W_{\↓}}^T(x,y,\mathrm{\ζ})\end{array}\right)$

其中，W_↓F_↓＝0、W_↓F_↓ ^T＝0、W_↓＝0、W_↓ ^T＝0为

空间定义L×H×P三维矩阵，L＝floor[l/s_s]+1，H＝floor[h/s_s]+1，P＝floor[F_delta/s_r]+1，floor[]为取整运算，l和h分别为图像宽和高， $F_{\mathrm{delta}}=F_{\max }-F_{\min },F_{\max }=\underset{(x,y)\∈S}{\max }F(x,y);$

在

空间进行三维高斯卷积运算，高斯核g的参数为σ_s/s_s及σ_r/s_r，即：

$(W_{\↓}^b{F}_{\↓}^b,W_{\↓}^b)=(W_{\↓}{F}_{\↓},W_{\↓})\⊗g$

再次、在图像的每个像素位置，对

和进行三线性插值求取W^bF^b和W^b，即：

$W^b{F}^b(x,y)=\mathrm{interpolate}3(W_{\↓}^b{F}_{\↓}^b,\frac{x}{s_s},\frac{y}{s_s},\frac{F(x,y)}{s_r})$

$W^b(x,y)=\mathrm{interpolate}3(W_{\↓}^b,\frac{x}{s_s},\frac{y}{s_s},\frac{F(x,y)}{s_r})$

对插值结果进行归一化运算，最终得到滤波图像F_bf：

$F_{\mathrm{bf}}(x,y)=\frac{W^b{F}^b(x,y)}{W^b(x,y)}$

当F(x，y)＝D(x，y)时，F_bf(x，y)＝M(x，y)；

当F(x，y)＝|D(x，y)-M(x，y)|时，F_bf(x，y)＝N(x，y)。

步骤3：通过带雾图像成像物理模型推导出去雾图像的辐照度R；带雾图像成像物理模型为：

I(x，y)＝R(x，y)t(x，y)+A[1-t(x，y)]

其中，R(x，y)为去雾图像的辐照度，t∈(0，1)为雾天大气透射率；

令V(x，y)＝A[1-t(x，y)]，则有：

$I(x,y)=R(x,y)(1-\frac{V(x,y)}{A})+V(x,y)$

$R(x,y)=\frac{I(x,y)-V(x,y)}{1-\frac{V(x,y)}{A}}.$

步骤4：对去雾图像的辐照度R进行基于直方图方法的增强，增强后去雾图像为R_r。

对于彩色图像，各颜色通道将分别单独处理。

为了排除去雾后图像的噪声点或者饱和点干扰，首先选取饱和水平阈值d∈(0，1)。建立输入图像R像素值的累积直方图，直方图横坐标表示亮度级别，纵坐标表示小于等于该亮度级别的像素点数目。

设图像像素个数为N，每个通道像素灰度值域为[min，max]，根据选取的饱和水平阈值d及累积直方图选取：V_min-直方图纵坐标大于N×d/2对应的最小横坐标值，V_max-直方图纵坐标小于或等于N×(1-d/2)对应的最大横坐标值。

对图像每个像素计算增强后的像素值：

$R_r(x,y)=\frac{(R(x,y)-V_{\min })\×(\max -\min )}{V_{\max }-V_{\min }}+\min .$

Claims (7)

1.一种基于双边滤波的实时图像去雾增强方法，其特征在于该方法的具体步骤为：

步骤一：根据输入带雾图像I计算带雾图像的暗元素图D并估计大气光向量A；

步骤二：根据暗元素图像推导大气光幕图V；

利用双边滤波估计暗元素图D中每一个点D(x，y)处的局部均值M(x，y)，即：

$M(x,y)={\mathrm{blfilter}}_{{\mathrm{\σ}}_s{\mathrm{\σ}}_r}\left[D(x,y)\right]$

其中，x，y为图像的像素坐标，σ_s，σ_r分别表示双边滤波器blfilter在图像空间域S及图像值域R上的滤波参数；

利用双边滤波估计暗元素图D中每一个点D(x，y)处的局部标准差N(x，y)，即：

$N(x,y)={\mathrm{blfilter}}_{{\mathrm{\σ}}_s{\mathrm{\σ}}_r}\left(\right|D(x,y)-M(x,y)\left|\right)$

将局部均值M(x，y)与局部标准差N(x，y)之差V_r(x，y)作为大气光幕的初步估计值，即：

V_r(x，y)＝M(x，y)-N(x，y)

通过设定阈值e得到最终的大气光幕估计值V(x，y)，即：

V(x，y)＝max(min(eV_r(x，y)，D(x，y))，0)

步骤三：通过带雾图像成像物理模型推导出去雾图像的辐照度R；

步骤四：对去雾图像的辐照度R进行基于直方图方法的增强，得到增强后去雾图像为R_r。

2.根据权利要求1所述的基于双边滤波的实时图像去雾增强方法，其特征在于，所述的根据输入带雾图像I计算带雾图像的暗元素图D为：

当所述的输入带雾图像为彩色图像时，则D(x，y)为每个像素红绿蓝RGB三个通道的最小值；当所述的输入带雾图像为灰度图像时，则D(x，y)为每个像素灰度值本身。

3.根据权利要求1所述的基于双边滤波的实时图像去雾增强方法，其特征在于，所述的估计大气光向量A为：

利用边长为patch_size的正方形窗口对暗元素图D进行分块，并对每一小块进行最小值腐蚀运算，得到腐蚀后的暗元素图D_erosion，即：

$D_{\mathrm{erosion}}(i,j)=\underset{\mathrm{pqtch}}{\min }\left(D(x,y)\right)=\underset{\mathrm{pqtch}}{\min }\left(\min \left(I(x,y)\right)\right)$

其中，(i，j)为每个小块的坐标，patch为所分成的小块的数目；

取腐蚀后的暗元素图D_erosion中的极大值点对应的带雾图像I的像素值作为大气光向量A。

4.根据权利要求3所述的基于双边滤波的实时图像去雾增强方法，其特征在于，所述的patch_size选取[3，100]中的任一整数。

5.根据权利要求1所述的基于双边滤波的实时图像去雾增强方法，其特征在于，所述的双边滤波的具体步骤为：

首先、计算输入图像F灰度极小值；

$F_{\min }=\underset{(x,y)\∈S}{\min }F(x,y)$

根据得到的输入图像灰度极小值F_min计算空间中点(x，y，F(x，y))经过采样后的坐标值(x，y，ζ)：

$(x,y,\mathrm{\ζ})=\left(\mathrm{round}\right[\frac{x}{s_x}],\mathrm{round}[\frac{y}{s_s}],\mathrm{round}[\frac{F(x,y)-F_{\min }}{s_r}\left]\right)$

其中，

为像素点F(x，y)经过采样后的灰度值，round[]为舍入取整运算，s_s和s_r分别为空间和值域上的采样率；

其次、计算函数值wi(x，y，ζ)、w(x，y，ζ)：

$\left\{\begin{array}{c}w(x,y,\mathrm{\ζ})=1\\ \mathrm{wi}(x,y,\mathrm{\ζ})=I(x,y)\end{array}\right.$

得到：

$\left(\begin{array}{c}{W}_{\↓}{F_{\↓}}^T(x,y,\mathrm{\ζ})\\ {W_{\↓}}^T(x,y,\mathrm{\ζ})\end{array}\right)=\left(\begin{array}{c}{W}_{\↓}{F}_{\↓}(x,y,\mathrm{\ζ})\\ W_{\↓}(x,y,\mathrm{\ζ})\end{array}\right)+\left(\begin{array}{c}\mathrm{wi}(x,y,\mathrm{\ζ})\\ w(x,y,\mathrm{\ζ})\end{array}\right)$

$\left(\begin{array}{c}{W}_{\↓}{F}_{\↓}(x,y,\mathrm{\ζ})\\ W_{\↓}(x,y,\mathrm{\ζ})\end{array}\right)=\left(\begin{array}{c}{W}_{\↓}{F_{\↓}}^T(x,y,\mathrm{\ζ})\\ {W_{\↓}}^T(x,y,\mathrm{\ζ})\end{array}\right)$

其中，W_↓F_↓＝0、W_↓F_↓ ^T＝0、W_↓＝0、W_↓ ^T＝0为

空间定义L×H×P三维矩阵，L＝floor[l/s_s]+1，H＝floor[h/s_s]+1，P＝floor[F_delta/s_r]+1，floor[]为取整运算，l和h分别为图像宽和高，F_delta＝F_max-F_min，

在

空间进行三维高斯卷积运算，高斯核g的参数为σ_s/s_s及σ_r/s_r，即：

$(W_{\↓}^b{F}_{\↓}^b,W_{\↓}^b)=(W_{\↓}{F}_{\↓},W_{\↓})\⊗g$

再次、在图像的每个像素位置，对

和

进行三线性插值求取W^bF^b和W^b，即：

$W^b{F}^b(x,y)=\mathrm{interpolate}3(W_{\↓}^b{F}_{\↓}^b,\frac{x}{s_s},\frac{y}{s_s},\frac{F(x,y)}{s_r})$

$W^b(x,y)=\mathrm{interpolate}3(W_{\↓}^b,\frac{x}{s_s},\frac{y}{s_s},\frac{F(x,y)}{s_r})$

对插值结果进行归一化运算，最终得到滤波图像F_bf：

$F_{\mathrm{bf}}(x,y)=\frac{W^b{F}^b(x,y)}{W^b(x,y)}$

当F(x，y)＝D(x，y)时，F_bf(x，y)＝M(x，y)；

当F(x，y)＝|D(x，y)-M(x，y)|时，F_bf(x，y)＝N(x，y)。

6.根据权利要求1所述的基于双边滤波的实时图像去雾增强方法，其特征在于，所述的通过带雾图像成像物理模型推导出去雾图像的辐照度R为：

带雾图像成像物理模型为：

I(x，y)＝R(x，y)t(x，y)+A[1-t(x，y)]

其中，R(x，y)为去雾图像的辐照度，t∈(0，1)为雾天大气透射率；

令V(x，y)＝A[1-t(x，y)]，则有：

$I(x,y)=R(x,y)(1-\frac{V(x,y)}{A})+V(x,y)$

$R(x,y)=\frac{I(x,y)-V(x,y)}{1-\frac{V(x,y)}{A}}.$

7.根据权利要求1所述的基于双边滤波的实时图像去雾增强方法，其特征在于，所述的步骤四中对去雾图像的辐照度R进行基于直方图方法的增强为：当处理的图像为彩色图像时，则各颜色通道将分别进行基于直方图方法的增强。

Images