CN104299199A - 一种基于小波变换的视频雨滴检测与去除方法 - Google Patents

Abstract

本发明公开了一种基于小波变换的视频雨滴检测与去除方法，包括：S1.小波域特征提取，得到当前帧图像I_m的图像边缘部分S2.先进行双边空间特征提取，再通过小波域特征提取，得到当前帧图像I_m的图像主要边缘部分S3.用图像边缘部分减去图像主要边缘部分得到当前帧图像I_m的图像细节边缘部分S4.在静止区域去除图像细节边缘部分的错误检测，检测出运动区域完成雨滴检测得到雨图S5.利用图像恢复方法进行雨滴的去除。本发明可以用于去除有运动物体的视频雨滴检测与去除，具有较好的运动鲁棒性。

Description

一种基于小波变换的视频雨滴检测与去除方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于小波变换的视频雨滴检测与去除方法。

背景技术

本发明主要用于计算机视觉中的图像恢复，户外视觉系统广泛应用于军事国防、医疗技术、智能交通、工业控制等领域，与我们的生活联系也越来越密切。但是恶劣天气严重影响了户外视觉系统的性能，所以对视频图像进行预处理，消除各种天气因素的影响，对于一个全天候的户外视觉系统来说是必不可少的。雨滴由于其复杂的光学、物理等特性对于雨天所摄取的视频质量造成很大的影响，去雨技术不仅可以恢复被雨滴影响的视频图像，而且有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。视频图像去雨技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来有关视频图像中雨滴检测与去除的研究越来越广泛。Starik等2003年最早提出中值法进行去雨，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到不受雨滴影响的原图像。这种方法简单快捷，但是只在雨势不大的情况下才能获得较为理想的效果。Garg和Nayar最先建立雨滴模型(K.Garg and S.K.Nayar,“Detection andremoval of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，而后提出了检测和去除的方法(K.Garg and S.K.Nayar,“Photorealistic rendering of rain streaks,”ACM Trans.Graph.,vol.25,no.3,pp.996–1002,Jul.2006；K.Garg and S.K.Nayar,“Vision and rain,”Int.J.Comput.Vis.,vol.75,no.1,pp.3–27,Oct.2007)，文中研究了雨的动力学和光学特性，提出一种帧差法进行雨滴检测，利用前后帧图像信息进行雨滴去除的方法。通过拟合同一雨滴中的像素在受雨滴影响前后的亮度差值与背景亮度的线性比值辨别是否雨滴，但雨滴通常面积较小，拟合易受噪声干扰，同时该方法还需已知摄像曝光时间。2006年Zhang等人(Zhang XP,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the2006International Conference on Multimedia and Expo.Toronto,Canada:IEEE,2006.461-464)提出K-means聚类的方法检测雨滴，并加入了雨滴的色彩特性来减少检测的误差，实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rain and snow in frequencyspace.International Journal of Computer Vision,2010,86(2：3):256-274)基于全局模型获取雨雪典型的频域特征，对降雨视频序列做三维傅里叶变换，在频域消除雨滴，再反变换至视频图像，但是这种方法要求雨雪有较高的下降速度，适用范围受限。2008年BrewerN等假设已知曝光时间、焦距等参数的前提下，提出利用雨的物理特征，如雨线长宽比、雨滴面积等来实现雨滴的检测(Brewer N,Liu N J.Using the shape characteristics of rain to identify and remove rain fromvideo.In:Proceedings of the2008Joint IAPR International Workshop on Structural,Syntactic,and Statistical Pattern Recognition.Berlin,Hei-delberg:Springer-Verlag,2008,5342:451-458)，但是由于噪声的影响，会对雨线长宽比等参数造成干扰，从而导致无法准确的进行雨滴检测。

之后出现了基于单幅图像去雨的方法，基于单幅图像去雨算法是其中一种较为新颖的算法，不仅可以对单幅图像进行去雨，也可应用到视频去雨当中，所以使用范围更广。Yu-Hsiang Fu等(Fu Y H,Kang L W,Lin C W,et al.Single-frame-based rain removal via imagedecomposition.In:Proceeding of2011IEEE International Conference on Acoustics,Speech and Signal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)和Li-Wei Kang等(Kang LW,Lin C W,Fu Y H.Automatic single-image-based rain streaks removalvia imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了通过图像分解的方法进行单幅图像去雨；De-An Huang等(Huang D A,KangL W,Yang M C,et al.Context-aware single image rain removal.In:Proceeding of2012IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了通过情景感知去雨；Jaina George等(George J,Bhavani S,Jaya J.Certain explorations on removal of rain streaks usingmorphological component analysis.International Journal of Engineering Research &Technology.2013,2(2).)提出使用形态学成分分析的方法进行去雨；Duan-Yu Chen等(Chen D Y,Chen C C,Kang L W.Visual depth guided image rain streaks removalvia sparse coding.In:Proceeding of2012International Symposium on IntelligentSignal Processing and Communications Systems.New Taipei,Taiwan:IEEE,2012:151-156.)通过引导滤波和稀疏编码进行去雨。

然而现有技术具有以下缺点：

在检测中需要很多帧来计算时间相关性，计算复杂度较高；

对于有运动物体的有雨视频，检测的准确率较低，经常会造成雨滴与运动物体的误检。

因此，针对上述技术问题，有必要提供一种基于小波变换的视频雨滴检测与去除方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于小波变换的视频雨滴检测与去除方法。

为了达到上述目的，本发明实施例提供的技术方案如下：

一种基于小波变换的视频雨滴检测与去除方法，所述方法包括：

S1、小波域特征提取，得到当前帧图像I_m的图像边缘部分

S2、先进行双边空间特征提取，再通过小波域特征提取，得到当前帧图像I_m的图像主要边缘部分

S3、用图像边缘部分减去图像主要边缘部分得到当前帧图像I_m的图像细节边缘部分

S4、在静止区域去除图像细节边缘部分的错误检测，检测出运动区域完成雨滴检测得到雨图

S5、利用图像恢复方法进行雨滴的去除。

作为本发明的进一步改进，所述步骤S1具体为：

将当前帧图像I_m转换至YUV色彩空间；

对Y通道亮度分量进行N级的小波变换，将当前帧图像I_m分解为高频部分与低频部分；

将低频部分置零，得到高频部分，再通过小波变换的反变换得到图像边缘部分

作为本发明的进一步改进，所述步骤S2中图像主要边缘部分通过双边滤波器提取。

作为本发明的进一步改进，所述双边滤波器的输入为当前帧图像I_m，对应于一个像素s的输出为：

$J_s=\frac{1}{k\left(s\right)}\underset{p\∈\mathrm{\Ω}}{\mathrm{\Σ}}f(p-s)g(P_p-P_s)P_p,$

其中k(s)是正规化项，P_p与P_s分别为当前帧图像I_m中像素点p与s的亮度值，f(p-s)衡量p与s中心处的几何相近程度，g(P_p-P_s)衡量两个点的光学近似程度。

作为本发明的进一步改进，所述步骤S4包括：

使当前帧图像I_m和相邻帧图像I_m-1满足约束条件I_m-I_m-1≥c，其中c是一个阈值，为在噪声存在的情况下雨滴存在带来的可检测到的亮度变化的最小值；

通过约束条件去除当前帧图像I_m的背景部分，再检测出运动区域完成雨滴检测得到雨图其中 $R_{I_m}=D_{I_m}\∩M_{I_m}.$

本发明具有以下有益效果：

可以用于去除有运动物体的视频雨滴检测与去除，具有较好的运动鲁棒性；

处理速度较快，雨滴的去除只使用当前一帧的图像信息，去除了运动物体的干扰，且所需的处理时间较短。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的一种基于小波变换的视频雨滴检测与去除方法流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

参图1所示，本发明公开了一种基于小波变换的视频雨滴检测与去除方法，包括：

S1、小波域特征提取，得到当前帧图像I_m的图像边缘部分

S2、先进行双边空间特征提取，再通过小波域特征提取，得到当前帧图像I_m的图像主要边缘部分

S3、用图像边缘部分减去图像主要边缘部分得到当前帧图像I_m的图像细节边缘部分

S4、在静止区域去除图像细节边缘部分的错误检测，检测出运动区域完成雨滴检测得到雨图

S5、利用图像恢复方法进行雨滴的去除。

本发明首先利用小波变换，将当前帧图像I_m转换至YUV色彩空间，对Y通道亮度分量进行N级的小波变换，将一帧图像分解为高频与低频部分，将低频部分置零，得到高频部分，再通过小波变换的反变换得到图像边缘信息；

然后使用双边滤波器提取图像主要边缘信息，图像细节被平滑，边缘部分得到保护；

在得到图像细节边缘部分之后，考虑到可能存在的检测误差，利用雨滴存在必会带来的亮度变化这一特征去除检测误差，使得检测结果更加准确；

完成雨滴检测之后，利用图像恢复方法进行雨滴的去除，消除了运动物体在不同帧状态不同对于雨滴去除效果的影响，具有较好的运动鲁棒性。

以下结合具体实施方式的各个步骤对本发明进行详细说明。

S1、小波域特征提取

小波变换可以将图像分解为高频部分和低频部分，而图像边缘会映射到高频部分。由于雨滴属于图像边缘部分，因此要得到雨线首先需要得到图像边缘信息。

首先，将当前帧图像I_m转换至YUV色彩空间，对Y通道亮度分量进行N级的小波变换。因此可以得到子频带LH_n,HL_n,HH_n,LL_n，其中n∈[0,N-1]。因此高频部分对应于图像的边缘信息，将低频部分LL_n置零，通过反转小波变换即可得到图像边缘信息。图像边缘图可以通过二值化得到，过程如下：

W_i＝DWT(I_m)       (1)

其中，I_m为视频中当前帧图像，W_i是输入图像的第i个小波系数。进而，将低频部分系数置零，如式(2)中所示：

W_i(i∈LL_n)＝0        (2)

最后，得到图像边缘部分构成，如式(3)中所示：

$E_{I_m}=\mathrm{binarize}\left(\mathrm{IDWT}\left(W_i^{\′}\right)\right)---\left(3\right)$

S2、双边空间特征提取

该模块用于提取图像的主要边缘信息。双边滤波器可对边缘进行保护和平滑，尤其是对于尖锐区域，它们对应于背景中主要物体和强边缘的轮廓。双边滤波器的输出称为图像的主要部分，其输入仍为当前帧图像I_m，对应于一个像素s的输出如式(4)中所示：

$J_s=\frac{1}{k\left(s\right)}\underset{p\∈\mathrm{\Ω}}{\mathrm{\Σ}}f(p-s)g(P_p-P_s)P_p---\left(4\right)$

其中k(s)是正规化项，定义如式(5)中所示：

$k\left(s\right)=\underset{p\∈\mathrm{\Ω}}{\mathrm{\Σ}}f(p-s)g(P_p-P_s)---\left(5\right)$

其中P_p与P_s分别为图像I_m中像素点p与s的亮度值，f(p-s)衡量p与s中心处的几何相近程度，g(P_p-P_s)衡量两个点的光学近似程度。实际中，对于空间域中的f和亮度g均各用不同的高斯函数来模拟。因此，对于一个像素点s的值主要受空间上接近且亮度相近的像素点的影响。

经双边滤波器处理图像细节被平滑，尖锐边缘得到保护，再通过小波域特征提取，得到图像主要边缘部分

S3、雨滴检测

之前已得到图像边缘部分与图像主要边缘部分二者做差得到当前帧图像I_m的图像细节边缘部分而雨滴属于图像细节边缘。

S4、从静止区域移除错误检测

在图像细节边缘部分中会存在一些错误检测，一般出现在静止区域。静止区域可认为是图像的背景部分，因此移除错误检测可以等价于检测图像背景，去除检测到的图像背景即可得到最终的雨图。在此用到当前帧图像I_m的相邻帧图像I_m-1，两帧之间必须满足式(6)中的约束条件。

I_m-I_m-1≥c          (6)

其中，c是一个阈值，为在噪声存在的情况下雨滴存在带来的可检测到的亮度变化的最小值。通过该约束条件去除背景部分，再检测出运动区域即可得到雨图如式(7)中所示：

$R_{I_m}=D_{I_m}\∩M_{I_m}---\left(7\right)$

S5、雨滴去除

由于运动物体的存在，不能简单的用帧时差法进行雨滴的去除，在此，将雨滴的去除等价为一种图像恢复的问题，只使用当前帧的信息，用相邻像素点获取被雨滴覆盖的像素信息。

与现有技术相比，本发明具有以下有益效果：

可以用于去除有运动物体的视频雨滴检测与去除，具有较好的运动鲁棒性；

处理速度较快，雨滴的去除只使用当前一帧的图像信息，去除了运动物体的干扰，且所需的处理时间较短。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种基于小波变换的视频雨滴检测与去除方法，其特征在于，所述方法包括：

S1、小波域特征提取，得到当前帧图像I_m的图像边缘部分

S2、先进行双边空间特征提取，再通过小波域特征提取，得到当前帧图像I_m的图像主要边缘部分

S3、用图像边缘部分减去图像主要边缘部分得到当前帧图像I_m的图像细节边缘部分

S4、在静止区域去除图像细节边缘部分的错误检测，检测出运动区域完成雨滴检测得到雨图

S5、利用图像恢复方法进行雨滴的去除。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1具体为：

将当前帧图像I_m转换至YUV色彩空间；

对Y通道亮度分量进行N级的小波变换，将当前帧图像I_m分解为高频部分与低频部分；

将低频部分置零，得到高频部分，再通过小波变换的反变换得到图像边缘部分

3.根据权利要求1所述的方法，其特征在于，所述步骤S2中图像主要边缘部分通过双边滤波器提取。

4.根据权利要求3所述的方法，其特征在于，所述双边滤波器的输入为当前帧图像I_m，对应于一个像素s的输出为：

$J_s=\frac{1}{k\left(s\right)}\underset{p\∈\mathrm{\Ω}}{\mathrm{\Σ}}f(p-s)g(P_p-P_s)P_p,$

其中k(s)是正规化项，P_p与P_s分别为当前帧图像I_m中像素点p与s的亮度值，f(p-s)衡量p与s中心处的几何相近程度，g(P_p-P_s)衡量两个点的光学近似程度。

5.根据权利要求1所述的方法，其特征在于，所述步骤S4包括：

使当前帧图像I_m和相邻帧图像I_m-1满足约束条件I_m-I_m-1≥c，其中c是一个阈值，为在噪声存在的情况下雨滴存在带来的可检测到的亮度变化的最小值；

通过约束条件去除当前帧图像I_m的背景部分，再检测出运动区域完成雨滴检测得到雨图其中