CN104966275B - 基于雨频率特性的单幅图像去除雨滴影响的方法和系统 - Google Patents

Abstract

本发明提供了一种基于雨频率特性的单幅图像去除雨滴影响的方法，通过对待去除雨滴图像进行频域分析，以确定雨线的方向，进而使用多尺度多方向的Gabor滤波进行图像滤波处理，获取雨线特征图，再将待去除雨滴图像与雨线特征图相减，得到去除雨滴后的图像，最终通过图像修复，实现了高效的单幅彩色图像的去雨处理，提高了去雨算法的使用范围，有效地改善了图像的质量。另外，本发明还提供了一种单幅图像去除雨滴影响的系统。

Description

基于雨频率特性的单幅图像去除雨滴影响的方法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于雨频率特性的单幅图像去除雨滴影响的方法和系统。

背景技术

户外计算机视觉系统由于拥有包括自动性、智能性、高效性等诸多优点被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像的质量造成较大程度的影响。图像雨滴去除技术通过使用雨的物理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，图像雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。遗憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”inProc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，分别建立了两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴(雨线)，其亮度由静态雨滴亮度、背景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好，但其对于严重失焦(远处)的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal in video by combiningtemporal and chromatic properties.In:Proceedings of the 2006InternationalConferenceon Multimedia and Expo.Toronto,Canada:IEEE,2006.461464)使用了雨的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰(分别代表雨滴亮度及背景亮度)，且近似构成高斯混合模型，故非监督学习方法——K-means聚类能够有效地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,KanadeT.Analysis of rainand snow in frequency space.Internatio-nal Journal ofComputer Vision,2010,86(23):256274)注意到之前的多数方法严重依赖于清晰雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此方法的时间复杂度过高，且对于不显眼的雨及雨势变化的处理，其会出现显著性能下降。

由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单幅图像(即无时域信息)时，频率特性能够发挥更大的作用。Yu-Hsiang Fu等(Fu Y H,KangL W,Lin C W,et al.Single-frame-based rain removal via imagedecomposition.In:Proceeding of 2011IEEE International Conference on Acoustics,Speech andSignal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)首先提出了基于MCA(形态学成分分析)及图像分解的单幅图像去雨算法，作者首先使用双边滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为0得到去雨图像，由于此方法存在字典选择非自动性的缺点；Li-Wei Kang等(Kang L W,Lin C W,Fu YH.Automatic single-image-based rain streaks removalvia imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了一种基于自学习的自动改进算法。之后，De-An Huang等(Huang D A,Kang L W,Yang MC,et al.Context-aware single image rain removal.In:Proceeding of 2012 IEEEInternational Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅图像进行学习工作，故可以大幅减少算法所需时间；而Duan-Yu Chen等(Chen D Y,ChenC C,Kang L W.Visual depth guided image rain streaks removal via sparsecoding.In:Proceeding of2012International Symposium on Intelligent SignalProcessing and Communications Systems.NewTaipei,Taiwan:IEEE,2012:151-156.)引入了DoD(深度差异)的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮助，同时，他们使用引导滤波替代原先使用的双边滤波因为其拥有更好的性能。

以上的基于单幅图像的去雨方法，多仅能处理灰度图像，且方法所需时间较长，处理特定单幅图像的时间在100s以上)，同时输出图像会出现一定程度上的模糊。

发明内容

有鉴于此，有必要提供一种算法简单、图像雨滴去除效果好的基于雨频率特性的单幅图像去除雨滴影响的方法。

为实现上述目的，本发明采用下述技术方案：

一种单幅图像中去除雨滴影响的方法，包括下述步骤：

步骤S110：对待去除雨滴图像进行频域分析，以确定雨线方向；

步骤S120：根据雨线方向，采用Gabor滤波，获取雨线特征图；

步骤S130：将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

在一些实施例中，步骤S110中，对待去除雨滴图像进行频域分析，以确定雨线方向，包括下述步骤：

步骤S111：根据观察待去除雨滴图像，其具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

步骤S112：对所述待去除雨滴图像进行傅里叶变换再进行处理，以在频谱图中形成特定方向的频率；

步骤S113：根据特定方向的频率通过霍夫变换确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

在一些实施例中，步骤S120中，根据雨线方向，采用Gabor滤波，获取雨线特征图，具体为：使用除pi/4方向上的窗口大小为6*6，尺度为6的Gabor滤波，并对得到的图像进行取交集操作，得到雨线特征图。

在一些实施例中，步骤S120中，所述Gabor为线性滤波器，所述线性滤波器为正弦平面波调制的高斯核函数。

在一些实施例中，在完成步骤S130后还包括下述步骤：

步骤S140：将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

另外，本发明还提供了一种单幅图像去除雨滴影响的系统，包括：

频域分析模块，用于对待去除雨滴图像进行频域分析，以确定雨线方向；

Gabor滤波模块，用于根据雨线方向，采用Gabor滤波，获取雨线特征图；及

图像处理模块，用于将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

在一些实施例中，所述频域分析模块包括：

雨线纹理获取单元，用于根据待去除雨滴图像获取具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

处理单元，用于对待去除雨滴图像进行傅立叶变换再进行处理，以在频谱图中形成特定方向的频率；及

方向确定单元，用于根据特定方向的频率确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

在一些实施例中，所述Gabor滤波模块为线性滤波器，所述线性滤波器为正弦平面波调制的高斯核函数。

在一些实施例中，还包括图像修复模块，用于将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

上述基于雨频率特性的单幅图像去除雨滴影响的方法和系统，通过对待去除雨滴图像进行频域分析，以确定雨线的方向，进而使用多尺度多方向的Gabor滤波进行图像滤波处理，获取雨线特征图，再将待去除雨滴图像与雨线特征图相减，得到去除雨滴后的图像，最终通过图像修复，实现了单幅彩色图像的去雨处理，提高了去雨算法的使用范围，有效地改善了图像的质量。

附图说明

图1为本发明提供的基于雨频率特性的单幅图像去除雨滴影响的方法的步骤流程图。

图2中(a)表示为被雨滴污染的原图，图2中(b)为原图进行傅立叶变换处理后的结果图。

图3为本发明实施例提供的霍夫变换的原理示意图。

图4为本发明实施例提供的经过霍夫变换的结果图。

图5为本发明实施例提供的雨线特征图。

图6为本发明实施例提供的原图和去除雨滴的结果图。

图7为本发明实施例提供的单幅图像去除雨滴影响的系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1为本发明提供的基于雨频率特性的单幅图像去除雨滴影响的方法步骤流程图100，包括下述步骤：

步骤S110：对待去除雨滴图像进行频域分析，以确定雨线方向；

具体地，对待去除雨滴图像进行频域分析，以确定雨线方向，包括下述步骤：

步骤S111：根据观察待去除雨滴图像，其具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息。

可以理解，对于单幅图像雨滴去除问题，由于没有时域信息可以使用，故雨的动态特性、光度特性、色彩特性、时域分布特性都无法进行使用，而此时，由于雨的纹理性，雨的频域信息变得更加重要，故可以通过使用这些信息，达到去除雨滴作用的目的；由于雨的纹理性，其在频域中表示为特定的高频信息，且能够体现在频域模图像上，如图2中(a)所示，表示为一幅被雨滴污染的原图，可以看到其中具有类似纹理的雨线。

步骤S112：对所述待去除雨滴图像进行傅里叶变换再进行处理，以在频谱图中形成特定方向的频率。

请参阅图2中(b)表示为将被雨滴污染的原图进行快速傅里叶变换并将频谱中心移动到矩阵中心、对数化后的结果，可以看到，在(a)图中存在的类似纹理的雨线，能够在(b)图(频谱图)中形成特定方向的频率，此特性能够帮助我们进行单幅图像中雨滴方向的确定。

步骤S113：根据特定方向的频率通过霍夫变换确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

具体地，霍夫变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。由于一条直线在直角坐标系下可以用y＝kx+b表示,霍夫变换的主要思想是将该方程的参数和变量交换，即用x,y作为已知量k,b作为变量坐标，所以直角坐标系下的直线y＝kx+b在参数空间表示为点(k,b)，而一个点(x1,y1)在直角坐标系下表示为一条直线y1＝x1·k+b，其中(k,b)是该直线上的任意点。为了计算方便，我们将参数空间的坐标表示为极坐标下的γ和θ。因为同一条直线上的点对应的(γ,θ)是相同的，因此可以先将图片进行边缘检测，然后对图像上每一个非零像素点，在参数坐标下变换为一条直线，那么在直角坐标下属于同一条直线的点便在参数空间形成多条直线并内交于一点，因此可用该原理进行直线检测，请参阅图3为霍夫的原理示意图。

可以理解，在应用中，霍夫变换提供了诸多参数进行选择，具体包括前期边缘检测算法的选择与后期交于同一点的直线个数的确定。对于边缘检测算法，本发明使用较快的Sobel算子，以显著缩小所需时间。对于直线个数确定，经过多次试验优化，最后确定为55。具体处理结果如图4所示。

从图4中可以看出，图4中右边的变换图识别了频谱图中的特定直线，故能够确定其角度，在此例中为pi/4，且频域中直线方向的确定等价于空域中的直线方向确定。

可以理解，通过上述步骤S111～S113可以确定雨线的方向。

步骤S120：根据雨线方向，采用Gabor滤波，获取雨线特征图。

可以理解，在获得了空域中的雨线方向后，可以使用特定方向的Gabor滤波，得到雨线特征图。在本实施例中，Gabor函数是一个用于边缘提取的线性滤波器，优选地，是一个由正弦平面波调制的高斯核函数。

在本实施例中，使用除pi/4方向上的窗口大小为6*6，尺度为6的Gabor滤波，并对得到的图像进行取交集操作，能够得到较为清晰的雨线特征图，最终得到的雨线特征图如图5所示。

步骤S130：将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

可以理解，根据已经获取了雨线特征图，通过原图与雨线特征图之间的相减即可以得到去除雨滴的结果图，请参阅图6表示原图和去除雨滴后的结果图。

可以理解，上述步骤S110～130相对于现有技术使用复杂的高斯混合模型进行雨线建模、形态学成分分析、稀疏编码等技术进行频域去雨，而仅使用了雨的纹理性及其在频域中的体现，大幅缩小了去除雨滴所需的时间。

进一步地，在完成上述步骤S130后还可以包括下述步骤：

步骤S140：将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

可以理解，在雨线特征图中包含了一些我们不想去除的图像特征，故可以在得到相减图后，将其与利用相应的轮廓识别算子进行识别的特征轮廓图相加，即能够得到修复后的去除雨滴的图像，能够得到具有更好视觉效果的去除雨滴的图像。

请参阅图7为本发明还提供的一种单幅图像去除雨滴影响的系统200，包括频域分析模块210、Gabor滤波模块220及图像处理模块230。

其中：

频域分析模块210用于对待去除雨滴图像进行频域分析，以确定雨线方向，包括：雨线纹理获取单元221，用于根据待去除雨滴图像获取具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；处理单元222，用于对待去除雨滴图像进行傅立叶变换再进行处理，以在频谱图中形成特定方向的频率；及方向确定单元223，用于根据特定方向的频率确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

Gabor滤波模块220用于根据雨线方向，采用Gabor滤波，获取雨线特征图，所述Gabor滤波模块220为线性滤波器，所述线性滤波器为正弦平面波调制的高斯核函数。

图像处理模块230用于将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

上述单幅图像去除雨滴影响的系统200还包括图像修复模块240，用于将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

上述基于雨频率特性的单幅图像去除雨滴影响的方法和系统，通过对待去除雨滴图像进行频域分析，以确定雨线的方向，进而使用多尺度多方向的Gabor滤波进行图像滤波处理，获取雨线特征图，再将待去除雨滴图像与雨线特征图相减，得到去除雨滴后的图像，最终通过图像修复，实现了高效的单幅彩色图像的去雨处理，提高了去雨算法的使用范围，有效地改善了图像的质量。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种单幅图像中去除雨滴影响的方法，其特征在于，包括下述步骤：

步骤S110：对待去除雨滴图像进行频域分析，以确定雨线方向；步骤S110中，对待去除雨滴图像进行频域分析，以确定雨线方向，包括下述步骤：

步骤S111：根据观察待去除雨滴图像获取具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

步骤S112：对所述待去除雨滴图像进行傅里叶变换再进行处理，以在频谱图中形成特定方向的频率；

步骤S113：根据特定方向的频率通过霍夫变换确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向；霍夫变换包括前期边缘检测算法的选择与后期交于同一点的直线个数的确定；

步骤S120：根据雨线方向，采用Gabor滤波，获取雨线特征图，具体为：使用除pi/4方向上的窗口大小为6*6，尺度为6的Gabor滤波，并对得到的图像进行取交集操作，得到雨线特征图；步骤S130：将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

2.如权利要求1所述的单幅图像中去除雨滴影响的方法，其特征在于，步骤S120中，所述Gabor为线性滤波器，所述线性滤波器为正弦平面波调制的高斯核函数。

3.如权利要求2所述的单幅图像中去除雨滴影响的方法，其特征在于，在完成步骤S130后还包括下述步骤：

步骤S140：将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

4.一种基于雨频率特性的单幅图像去除雨滴影响的系统，其特征在于，包括：

频域分析模块，用于对待去除雨滴图像进行频域分析，以确定雨线方向；所述频域分析模块包括：

雨线纹理获取单元，用于根据待去除雨滴图像获取具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

处理单元，用于对待去除雨滴图像进行傅立叶变换再进行处理，以在频谱图中形成特定方向的频率；及

方向确定单元，用于根据特定方向的频率确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向，霍夫变换包括前期边缘检测算法的选择与后期交于同一点的直线个数的确定；

Gabor滤波模块，用于根据雨线方向，采用Gabor滤波，获取雨线特征图，具体为：使用除pi/4方向上的窗口大小为6*6，尺度为6的Gabor滤波，并对得到的图像进行取交集操作，得到雨线特征图；及

图像处理模块，用于将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

5.如权利要求4所述的基于雨频率特性的单幅图像去除雨滴影响的系统，其特征在于，所述Gabor滤波模块为线性滤波器，所述线性滤波器为正弦平面波调制的高斯核函数。

6.如权利要求4所述的基于雨频率特性的单幅图像去除雨滴影响的系统，其特征在于，还包括图像修复模块，用于将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。