CN103337061A - 一种基于多次引导滤波的图像去雨雪方法 - Google Patents

Abstract

一种基于多次引导滤波的图像去雨雪方法，涉及图像处理。提供可改善雨天、雪天条件下所摄取图像的视觉效果，提高视觉算法准确性的一种基于多次引导滤波的图像去雨雪方法。1）以图像本身为引导图像，对有雨或有雪的图像进行引导滤波，得到高频和低频部分；2）以边缘增强的低频部分为引导图像，对高频部分进行引导滤波后，加上低频部分得到恢复图像；3）在得到的恢复图像和输入图像取最小值，得到清晰的恢复图像；4）在清晰恢复图像和恢复图像取权衡，得到清晰度和去除效果较好的最终恢复图像。建立在模糊的雨线或雪花和背景边缘的区别的基础上，实现单一图像的去除雨和雪。

Description

一种基于多次引导滤波的图像去雨雪方法

技术领域

本发明涉及图像处理，尤其是涉及一种基于多次引导滤波的图像去雨雪方法。

背景技术

对雨天或者雪天拍摄的照片，通常在背景图片中叠加一些明亮的雨线或者雪花，这些雨线和雪花不仅影响了我们的视觉效果，而且还会降低一些计算机视觉算法的性能效果，例如物体识别，跟踪，图像检索等等。去雨雪在视频监控，城市交通，图像的检索有着很好的应用。

在计算机视觉领域中，视频中的去雨雪已经取得了很好的效果，但是在背景中有运动的物体，有些算法效果较差。单一图像去雨雪方法较少，Yu-Hsiang Fu等（Yu-Hsiang Fu,Li-WeiKang,Chia-Wen Lin,and Chiou-Ting Hsu,“SINGLE-FRAME-BASED RAIN REMOVAL VIAIMAGE DECOMPOSITION⁺”,in Proc.IEEE Int.Conf.Acoustics,Speech&Signal Processing,May2011,Prague,Czech Republic,pp.1453-1456）提出基于稀疏编码和字典学习的雨线去除的方法，该方法虽然能很好去除雨，但不能去雪，算法也相对复杂；Jing Xu等（Jing Xu,Wei Zhao,Peng Liu&Xianglong Tang,“An Improved Guidance Image Based Method to Remove Rain andSnow in a Single Image”,CCSE Computer and Information Science Journal,2012,vol.5,no.3,pp.49-55）提出基于雨雪成像模型同样用到引导滤波的去雨雪方法，虽然算法简单，但是去除效果较差，也很模糊。

发明内容

本发明的目的在于提供可改善雨天、雪天条件下所摄取图像的视觉效果，提高视觉算法准确性的一种基于多次引导滤波的图像去雨雪方法。

本发明包括以下步骤：

1）以图像本身为引导图像，对有雨或有雪的图像进行引导滤波，得到高频和低频部分；

2）以边缘增强的低频部分为引导图像，对高频部分进行引导滤波后，加上低频部分得到恢复图像；

3）在得到的恢复图像和输入图像取最小值，得到清晰的恢复图像；

4）在清晰恢复图像和恢复图像取权衡，得到清晰度和去除效果较好的最终恢复图像。

在步骤1）中，所述有雨或有雪的图像的数学模型为：

I_in＝I_b+I_r

观测图像I_in可以分解成两个部分：

一个部分称之为背景图像：I_b；

另一个部分称之为雨线（雪花）图像：I_r；

所述以图像本身为引导图像，对有雨或有雪的图像进行引导滤波，得到高频和低频部分的具体方法可为：

将所要处理的观测图像I_in作为guided filter的参考图像，同时作为guided filter输入图像进行guided filter处理，得到图像的低频部分I_LF，将输入图像减去低频图像得到高频部分I_HF：

$I_{\mathrm{LF}}=I_{\mathrm{in}}^{\mathrm{guide}}$

$I_{\mathrm{HF}}=I_{\mathrm{in}}-I_{\mathrm{in}}^{\mathrm{guide}}$

其中：

表示对I_in进行以自身为引导图像进行的guided filter处理，I_LF和I_HF分别是输入图像的低频和高频部分。

在步骤2）中，所述以边缘增强的低频部分为引导图像，对高频部分进行引导滤波后，加上低频部分得到恢复图像的具体方法可为：

对低频部分I_LF进行边缘增强，即将低频图像的梯度乘以一个系数加上低频图像，得到增强后的低频图像。再把增强后的低频图像作为参考图像，对高频部分进行guided filter处理，处理的结果加上低频部分，得到最初的恢复图像：

$I_{\mathrm{LF}}^{\′}=I_{\mathrm{LF}}+\mathrm{\ω}\·\▿I_{\mathrm{LF}}$

$I_r=I_{\mathrm{HF}}^{\mathrm{guide}1}+I_{\mathrm{LF}}$

其中：I'_LF是对低频部分进行边缘增强后的结果，ω是增强系数（常用0.1），

是I_LF的梯度，

表示以I'_LF为参考图像对I_HF进行guided filter处理，I_r为恢复图像。

在步骤3）中，所述在得到的恢复图像和输入图像取最小值，得到清晰的恢复图像的具体方法可为：

在输入图像和最初恢复的图像取最小值，即将图像每一像素点在rgb三通道的值分别进行比较，取最小值构成清晰的恢复图像：

I_cr＝min(I_in,I_r)

其中：min表示在I_r和I_in中取最小值，I_cr为清晰的恢复图像。

在步骤4）中，所述在清晰恢复图像和恢复图像取权衡，得到清晰度和去除效果较好的最终恢复图像的具体方法可为：

在清晰的恢复结果和最初的恢复结果加权求和，即把最初恢复图像乘以一个系数，把1减去这个系数的结果再乘以清晰的恢复图像，再把这两部分加起来，得到一个精确的参考图像，再将这一个参考图像作为guided filter的引导图像，对清晰的图像进行guided filter,得到最终的恢复图像：

I_ref＝βI_r+(1-β)I_cr

$I_{\mathrm{rr}}=I_{\mathrm{cr}}^{\mathrm{guide}2}$

其中：β表示权衡的权重系数（在去雨中取0.8，在去雪中取0.5）；I_ref取权衡得到的参考图像；表示以I_ref为参考图像对I_ref进行guided filter处理，I_rr为最终的恢复图像。

本发明提出了一种单一图像去雨雪的方法，不仅算法简单，而且相比Jing Xu的方法，去除雨雪的效果更好，清晰度也更好。

本发明提供一种基于多次引导滤波（引导滤波：Guided Filter）的图像中雨和雪去除的方法。该方法能够去除图像中的雨线和雪斑，主要是基于雨线和雪斑形成的边缘或者小块的亮度比周围背景亮度高的特性。实验结果证明本发明的方法能够很好的去除雨和雪。本发明提供的方法包括：

A、在亮度中分析模糊的雨雪和清晰背景边缘的区别。

B、求取低频部分过程中，雨雪和背景边缘的变化以及变化的区别，进行雨雪图像恢复。

C、根据清晰边缘的变化和引导滤波的影响，对恢复图像的清晰化。

D、在清晰度和去除效果中取权衡。

本发明建立在模糊的雨线或雪花和背景边缘的区别的基础上，实现单一图像的去除雨和雪。

附图说明

图1是本发明实施例的流程图。

图2是本发明实施例的去雨雪过程简化的步骤。

图3是本发明实施例的去雨结果。在图3中，a为原图，b为清晰的恢复图像，c为最终恢复的图像。

图4是本发明实施例的去雪结果。在图4中，a为原图，b为清晰的恢复图像，c为最终恢复的图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下实施例将结合附图对本发明作进一步的说明：

图1是本发明方法具体实施的流程图，描述了从图像输入到结果输出中的每一个步骤，箭头的方向表明了实施的方向和依赖关系，方框中内容表明过程中实施方法，同时也给出了中间结果（没有加框的文字）。图2则是这些步骤的简化过程，方框中内容是产生的中间结果。参见图1和2，去雨雪的实现方法主要有四个步骤：

步骤1：求取图像的低频部分和高频部分：

由于雨滴和雪花的大小和速度，一般以雨线和雪花的形式显示在图像中，从直观上看，雨线和雪花的亮度高，呈现白色，以边缘或者小块的形式显示在图像中。因为以边缘和小块的形式显示，所以我们认为雨线和雪花处在高频部分，低频部分是没有雨和雪。先对输入的图像I_in以本身为参考图像进行guided filter处理

求取低频部分I_LF,用输入图像I_in减去低频部分I_LF得到高频部分I_HF（如下表达式）（整个步骤如图1和图2从输入图像到高频和低频部分的过程）：

$I_{\mathrm{LF}}=I_{\mathrm{in}}^{\mathrm{guide}};$

I_HF＝I_in-I_LF

其中，guided filter的数学模型为：

定义输出的图像q是输入图像I的线性表示：

作用是使输入图像保留引导图像的边缘信息，同时根据引导图像的平滑区域对输入图像进行平滑，其中(a_k,b_k)可以利用最小二乘法进行求解。

构造代价函数：

来求解(a_k,b_k)，代价函数表示在a_k较小的情况下，输出图像q_i和输入图像p_i差值平方和最小，相当于判决条件；

其中，I_i为引导图像，p_i代表输入图像，q_i为输出图像，ω_k为滤波窗口，ε是正则化系数用于约束a_k的值。

最终确定(a_k,b_k)的解为：

$a_k=\frac{{\mathrm{\Σ}}_{i\∈w_k}{I}_i{p}_i-{\mathrm{\μ}}_k\stackrel{\‾}{p_k}}{{\mathrm{\σ}}_k^2+\mathrm{\ξ}}=\frac{n{\mathrm{\μ}}_k\stackrel{\‾}{p_k}-{\mathrm{\μ}}_k\stackrel{\‾}{p_k}}{{\mathrm{\σ}}_k^2+\mathrm{\ξ}}$

$b_k=\stackrel{\‾}{p_k}-a_k{\mathrm{\μ}}_k$

其中：

引导图像I_i在窗口w_k内的均值；

引导图像I_i在某窗口w_k内的方差；

输入图像p_i在窗口w_k内的均值。

步骤2：求取最初的恢复图像：

因为雨和雪的亮度较高，雨线或雪花的像素都比周围场景的大，在低频中会消失。而背景存在的边缘中有些边缘的像素都比周围场景的低，经过guided filter的低频处理，这些像素值低的边缘的值就会变大。而另一些背景边缘，周围的像素有些比它低，有些比它高，这些边缘在低频中能保存下来，只是稍微的平滑。当然也有些边缘像雨和雪一样，经过guided filter处理，因为雨或雪一般比较模糊，适应的调整guided filter参数，能保留一些类似于雨或雪的边缘，同样这些边缘变得平滑。所以要对低频部分进行边缘增强，增强的方式如下表达式（

是I_LF的梯度），其中我们常用ω＝0.1，I'_LF是增强后的低频部分：

$I_{\mathrm{LF}}^{\′}=I_{\mathrm{LF}}+\mathrm{\ω}\·\▿I_{\mathrm{LF}}$

再以增强后低频部分I'_LF为参考图像，高频部分I_HF作为输入图像，再次进行guided filter处理

得到没有雨或雪的高频部分I'_HF。再将没有雨或雪的高频部分加上低频部分。得到最初的恢复图像I_r（整个步骤如图1和图2从高低频部分到最初恢复图像的过程）：

$I_{\mathrm{HF}}^{\′}=I_{\mathrm{HF}}^{\mathrm{guide}1}$

I_r＝I′_HF+I_LF

步骤3：求取清晰的恢复图像：

由于像素值低的边缘在guided filter处理的后，像素值会变大，但是这种边缘不是雨和雪，并不希望改变这种边缘，另一方面，guided filter通过平滑去除雨雪的边缘，同样会使雨或雪的周围像素变高，同样不希望改变雨雪旁边的背景。通过对输入图像I_in和最初的恢复图像取最小值（min）得到清晰的恢复结果I_cr（整个步骤如图1从最初恢复图像到清晰恢复图像的过程）：

I_cr＝min(I_in,I_r)

步骤4：求取最终的恢复图像：

清晰的恢复图像由于取了最小值，雨和雪的部分没有用背景信息替代，有些地方，仍留下不平滑的白色痕迹。恢复的图像虽然清晰度好，但去除效果较差。为了解决不平滑的痕迹，在清晰图像和最初的恢复图像进行加权求和（权重系数为β，去雨中常用0.8，去雪中常用0.5），得到另一参考图像I_ref，用清晰的恢复图像作为guided filter的输入图像，进行又一次的guided filter处理

,得到最终的结果I_rr（整个步骤如图1从清晰恢复图像到最终恢复图像的过程）：

I_ref＝βI_r+(1-β)I_cr

$I_{\mathrm{rr}}=I_{\mathrm{cr}}^{\mathrm{guide}2}$

图3和4是本发明的去雨结果和去雪的结果，从输入图像和结果对比中明显看到，清晰恢复图像虽然不模糊，但去除的地方有些白斑，去除效果不是很好，最终恢复的图像有一点模糊，但去除效果很好。

本发明的创新点包括，首次采用guided filter对高频部分进行去雨雪和基于多次guidedfilter的高低频去雨雪，并在此基础上得到了去雨雪后的恢复图像，而且基于边缘的特性进一步对恢复图像的清晰化，之后还在清晰度和去除效果取权衡，得到最终的恢复图像。

Claims (5)

1.一种基于多次引导滤波的图像去雨雪方法，其特征在于包括以下步骤：

1）以图像本身为引导图像，对有雨或有雪的图像进行引导滤波，得到高频和低频部分；

2）以边缘增强的低频部分为引导图像，对高频部分进行引导滤波后，加上低频部分得到恢复图像；

3）在得到的恢复图像和输入图像取最小值，得到清晰的恢复图像；

4）在清晰恢复图像和恢复图像取权衡，得到清晰度和去除效果较好的最终恢复图像。

2.如权利要求1所述一种基于多次引导滤波的图像去雨雪方法，其特征在于在步骤1）中，所述有雨或有雪的图像的数学模型为：

I_in＝I_b+I_r

观测图像I_in分解成两部分：

一部分称之为背景图像：I_b；

另一部分称之为雨线（雪花）图像：I_r；

所述以图像本身为引导图像，对有雨或有雪的图像进行引导滤波，得到高频和低频部分的具体方法为：

将所要处理的观测图像I_in作为guided filter的参考图像，同时作为guided filter输入图像进行guided filter处理，得到图像的低频部分I_LF，将输入图像减去低频图像得到高频部分I_HF：

$I_{\mathrm{LF}}=I_{\mathrm{in}}^{\mathrm{guide}}$

$I_{\mathrm{HF}}=I_{\mathrm{in}}-I_{\mathrm{in}}^{\mathrm{guide}}$

其中：

表示对I_in进行以自身为引导图像进行的guided filter处理，I_LF和I_HF分别是输入图像的低频和高频部分。

3.如权利要求1所述一种基于多次引导滤波的图像去雨雪方法，其特征在于在步骤2）中，所述以边缘增强的低频部分为引导图像，对高频部分进行引导滤波后，加上低频部分得到恢复图像的具体方法为：

对低频部分I_LF进行边缘增强，即将低频图像的梯度乘以一个系数加上低频图像，得到增强后的低频图像；再把增强后的低频图像作为参考图像，对高频部分进行guided filter处理，处理的结果加上低频部分，得到最初的恢复图像：

$I_{\mathrm{LF}}^{\′}=I_{\mathrm{LF}}+\mathrm{\ω}\·\▿I_{\mathrm{LF}}$

$I_r=I_{\mathrm{HF}}^{\mathrm{guide}1}+I_{\mathrm{LF}}$

其中：I'_LF是对低频部分进行边缘增强后的结果，ω是增强系数，

是I_LF的梯度，

表示以I'_LF为参考图像对I_HF进行guided filter处理，I_r为恢复图像。

4.如权利要求1所述一种基于多次引导滤波的图像去雨雪方法，其特征在于在步骤3）中，所述在得到的恢复图像和输入图像取最小值，得到清晰的恢复图像的具体方法为：

在输入图像和最初恢复的图像取最小值，即将图像每一像素点在rgb三通道的值分别进行比较，取最小值构成清晰的恢复图像：

I_cr＝min(I_in,I_r)

其中：min表示在I_r和I_in中取最小值，I_cr为清晰的恢复图像。

5.如权利要求1所述一种基于多次引导滤波的图像去雨雪方法，其特征在于在步骤4）中，所述在清晰恢复图像和恢复图像取权衡，得到清晰度和去除效果较好的最终恢复图像的具体方法为：

在清晰的恢复结果和最初的恢复结果加权求和，即把最初恢复图像乘以一个系数，把1减去这个系数的结果再乘以清晰的恢复图像，再把这两部分加起来，得到一个精确的参考图像，再将这一个参考图像作为guided filter的引导图像，对清晰的图像进行guided filter,得到最终的恢复图像：

I_ref＝βI_r+(1-β)I_cr

$I_{\mathrm{rr}}=I_{\mathrm{cr}}^{\mathrm{guide}2}$

其中：β表示权衡的权重系数（在去雨中取0.8，在去雪中取0.5）；I_ref取权衡得到的参考图像；

表示以I_ref为参考图像对I_ref进行guided filter处理，I_rr为最终的恢复图像。

Images