CN105139344A - 基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统 - Google Patents

Abstract

本发明提供了一种基于频域及相位一致性的单幅图像去除雨滴影响的方法，通过对待去除雨滴图像进行频域分析，以确定雨线的方向，进而使用相位一致性特征检测方法进行图像处理，获取雨线特征图，再将待去除雨滴图像与雨线特征图相减，得到去除雨滴后的图像，最终通过图像细节增强，实现了单幅彩色图像的去除雨滴，提高了去雨算法的使用范围，有效地改善了图像的质量。另外，本发明还提供了一种基于频域及相位一致性的单幅图像去除雨滴影响的系统。

Description

基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统。

背景技术

户外计算机视觉系统由于拥有包括自动性、智能性、高效性等诸多优点被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像的质量造成较大程度的影响。图像雨滴去除技术通过使用雨的物理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，图像雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。遗憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性(K.GargandS.K.Nayar,“Detectionandremovalofrainfromvideos,”inProc.IEEEConf.Comput.Vis.PatternRecognit.,Jun.2004,vol.1,pp.528–535)，分别建立了两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴(雨线)，其亮度由静态雨滴亮度、背景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好，但其对于严重失焦(远处)的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等人(ZhangXP,LiH,QiYY,LeowWK,NgTK.Rainremovalinvideobycombiningtemporalandchromaticproperties.In:Proceedingsofthe2006InternationalConferenceonMultimediaandExpo.Toronto,Canada:IEEE,2006.461464)使用了雨的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰(分别代表雨滴亮度及背景亮度)，且近似构成高斯混合模型，故非监督学习方法——K-means聚类能够有效地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(BarnumPC,NarasimhanSG,KanadeT.Analysisofrainandsnowinfrequencyspace.Internatio-nalJournalofComputerVision,2010,86(23):256274)注意到之前的多数方法严重依赖于清晰雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此方法的时间复杂度过高，且对于不显眼的雨及雨势变化的处理，其会出现显著性能下降。

由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单幅图像(即无时域信息)时，频率特性能够发挥更大的作用。Yu-HsiangFu等(FuYH,KangLW,LinCW,etal.Single-frame-basedrainremovalviaimagedecomposition.In:Proceedingof2011IEEEInternationalConferenceonAcoustics,SpeechandSignalProcessing(ICASSP).Prague,Czech:IEEEPress,2011:1453-1456.)首先提出了基于MCA(形态学成分分析)及图像分解的单幅图像去雨算法，作者首先使用双边滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为0得到去雨图像，由于此方法存在字典选择非自动性的缺点；Li-WeiKang等(KangLW,LinCW,FuYH.Automaticsingle-image-basedrainstreaksremovalviaimagedecomposition.ImageProcessing,IEEETransactionson,2012,21(4):1742-1755.)提出了一种基于自学习的自动改进算法。之后，De-AnHuang等(HuangDA,KangLW,YangMC,etal.Context-awaresingleimagerainremoval.In:Proceedingof2012IEEEInternationalConferenceonMultimediaandExpo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅图像进行学习工作，故可以大幅减少算法所需时间；而Duan-YuChen等(ChenDY,ChenCC,KangLW.Visualdepthguidedimagerainstreaksremovalviasparsecoding.In:Proceedingof2012InternationalSymposiumonIntelligentSignalProcessingandCommunicationsSystems.NewTaipei,Taiwan:IEEE,2012:151-156.)引入了DoD(深度差异)的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮助，同时，他们使用引导滤波替代原先使用的双边滤波因为其拥有更好的性能。以上的基于单幅图像的去雨方法，多仅能处理灰度图像，且方法所需时间较长，处理特定单幅图像的时间在100s以上)，同时输出图像会出现一定程度上的模糊。

发明内容

有鉴于此，有必要提供一种算法简单、图像雨滴去除效果好的基于频域及相位一致性的单幅图像去除雨滴影响的方法。

为实现上述目的，本发明采用下述技术方案：

一种基于频域及相位一致性的单幅图像去除雨滴影响的方法，包括下述步骤：

步骤S110：对待去除雨滴图像进行频域分析，以确定雨线方向；

步骤S120：根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图；

步骤S130：将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

在一些实施例中，步骤S110中，对待去除雨滴图像进行频域分析，以确定雨线方向，包括下述步骤：

步骤S111：根据观察待去除雨滴图像，其具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

步骤S112：对所述待去除雨滴图像进行傅里叶变换再进行处理，以在频谱图中形成特定方向的频率；

步骤S113：根据特定方向的频率通过霍夫变换确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

在一些实施例中，步骤S120中，根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图，具体为：已知雨线方向的角度为pi*3/4，而后在相位一致性计算中设置4个方向的滤波器，分别为0、pi/4、pi/2及pi*3/4，采用相位一致性特征检测算法分别计算在0、pi/4、pi/2及pi*3/4的相位一致性，并将除pi*3/4方向上所计算的相位一致性结果进行平均得到平均图，再通过在平均图中减去pi*3/4方向上的相位一致性，得到雨线特征图。

在一些实施例中，在完成步骤S130后还包括下述步骤：

步骤S140：将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

另外，本发明还提供了一种基于频域及相位一致性的单幅图像去除雨滴影响的系统，包括：

频域分析模块，用于对待去除雨滴图像进行频域分析，以确定雨线方向；

相位一致性特征检测模块，用于根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图；及

图像处理模块，用于将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

在一些实施例中，所述频域分析模块包括：

雨线纹理获取单元，用于根据待去除雨滴图像获取具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

处理单元，用于对待去除雨滴图像进行傅立叶变换再进行处理，以在频谱图中形成特定方向的频率；及

方向确定单元，用于根据特定方向的频率确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

在一些实施例中，还包括图像修复模块，用于将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

上述基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统，通过对待去除雨滴图像进行频域分析，以确定雨线的方向，进而使用相位一致性特征检测方法进行图像处理，获取雨线特征图，再将待去除雨滴图像与雨线特征图相减，得到去除雨滴后的图像，最终通过图像细节增强，实现了单幅彩色图像的去雨处理，提高了去雨算法的使用范围，有效地改善了图像的质量。

附图说明

图1为本发明提供的基于频域及相位一致性的单幅图像去除雨滴影响的方法的步骤流程图。

图2中(a)表示为被雨滴污染的原图，图2中(b)为原图进行傅立叶变换处理后的结果图。

图3为本发明实施例提供的霍夫变换的原理示意图。

图4为本发明实施例提供的经过霍夫变换的结果图。

图5为本发明实施例提供的傅里叶级数展开的示意图。

图6为本发明实施例提供的雨线特征图。

图7为本发明实施例提供的原图和去除雨滴的结果图。

图8为本发明实施例提供的基于频域及相位一致性的单幅图像去除雨滴影响的系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1为本发明提供的基于频域及相位一致性的单幅图像去除雨滴影响的方法步骤流程图100，包括下述步骤：

步骤S110：对待去除雨滴图像进行频域分析，以确定雨线方向；

具体地，对待去除雨滴图像进行频域分析，以确定雨线方向，包括下述步骤：

步骤S111：根据观察待去除雨滴图像，其具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息。

可以理解，对于单幅图像雨滴去除问题，由于没有时域信息可以使用，故雨的动态特性、光度特性、色彩特性、时域分布特性都无法进行使用，而此时，由于雨的纹理性，雨的频域信息变得更加重要，故可以通过使用这些信息，达到去除雨滴作用的目的；由于雨的纹理性，其在频域中表示为特定的高频信息，且能够体现在频域模图像上，如图2中(a)所示，表示为一幅被雨滴污染的原图，可以看到其中具有类似纹理的雨线。

步骤S112：对所述待去除雨滴图像进行傅里叶变换再进行处理，以在频谱图中形成特定方向的频率。

请参阅图2中(b)表示为将被雨滴污染的原图进行快速傅里叶变换并将频谱中心移动到矩阵中心、对数化后的结果，可以看到，在(a)图中存在的类似纹理的雨线，能够在(b)图(频谱图)中形成特定方向的频率，此特性能够帮助我们进行单幅图像中雨滴方向的确定。

步骤S113：根据特定方向的频率通过霍夫变换确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

具体地，霍夫变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。由于一条直线在直角坐标系下可以用y＝kx+b表示,霍夫变换的主要思想是将该方程的参数和变量交换，即用x,y作为已知量k,b作为变量坐标，所以直角坐标系下的直线y＝kx+b在参数空间表示为点(k,b)，而一个点(x1,y1)在直角坐标系下表示为一条直线y1＝x1·k+b，其中(k,b)是该直线上的任意点。为了计算方便，我们将参数空间的坐标表示为极坐标下的γ和θ。因为同一条直线上的点对应的(γ,θ)是相同的，因此可以先将图片进行边缘检测，然后对图像上每一个非零像素点，在参数坐标下变换为一条直线，那么在直角坐标下属于同一条直线的点便在参数空间形成多条直线并内交于一点，因此可用该原理进行直线检测，请参阅图3为霍夫的原理示意图。

可以理解，在应用中，霍夫变换提供了诸多参数进行选择，具体包括前期边缘检测算法的选择与后期交于同一点的直线个数的确定。对于边缘检测算法，本发明使用较快的Sobel算子，以显著缩小所需时间。对于直线个数确定，经过多次试验优化，最后确定为55。具体处理结果如图4所示。

从图4中可以看出，图4中右边的变换图识别了频谱图中的特定直线，故能够确定其角度，在此例中为pi/4，且频域中直线方向的确定等价于空域中的直线方向确定。

可以理解，通过上述步骤S111～S113可以确定雨线的方向。

步骤S120：根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图。

可以理解，相位一致性特征检测算法是一种新的可以检测各种特征点的方法，它不是基于亮度梯度的，而是假设图像中傅里叶级数分量和最大的点为特征点。观察一个由方波组成的傅里叶级数，所有的傅里叶分量都是正弦波，而一个由三角波组成的傅里叶级数，所有的傅里叶分量都是余弦波。如图5所示，其中方波图像中圆圈所在的相位一致位置表示阶跃的位置，三角方波图像中圆圈所在的相位一致位置表示峰值的位置。使用相位一致性标识感兴趣特征，其重要特点是不需对波形进行任何假设，只是在傅里叶变换域里简单地按相位一致的顺序寻找特征点。

通过使用基于相位一致性的图像特征检测算法及结合步骤S110得到的雨线方向，我们知道使用特定雨线方向上的相位一致性能够去除多数雨线，而使用另外几个方向上的相位一致性能够得到雨线及图像相关轮廓图，所以通过相关运算，能够得到纯雨线图。

具体为：在本发明实验中雨线角度为pi*3/4，则在相位一致性计算中设置4个方向的滤波器，分别为0、pi/4、pi/2及pi*3/4，分别在这些方向上计算相位一致性，并将除pi*3/4方向上所计算的相位一致性结果进行平均，得到检测到的雨线及非雨物体轮廓，最后通过在平均图中减去pi*3/4方向上的相位一致性，得到雨线特征图，具体见图6。

步骤S130：将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

可以理解，根据已经获取了雨线特征图，通过原图与雨线特征图之间的相减即可以得到去除雨滴的结果图，请参阅图6表示原图和去除雨滴后的结果图。

可以理解，上述步骤S110～130相对于现有技术使用复杂的高斯混合模型进行雨线建模、形态学成分分析、稀疏编码等技术进行频域去雨，而仅使用了雨的纹理性及其在频域中的体现，大幅缩小了去除雨滴所需的时间。

进一步地，在完成上述步骤S130后还可以包括下述步骤：

步骤S140：将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

可以理解，由于现在已经获取了雨线特征图，故通过原图与雨线特征图之间的相减即可以得到去雨结果图，值得注意的是，相减过程可能会造成部分图像信息的缺失，故可以在得到相减图后，将其与图像细节信息进行相加，从而得到修复后的去雨图像。本发明将得到的初步的去除雨滴的图像与利用相应的轮廓识别算子进行识别的特征轮廓图相加，即能够得到修复后的去除雨滴的图像，能够得到具有更好视觉效果的去除雨滴的图像。

请参阅图7为本发明还提供的一种基于频域及相位一致性的单幅图像去除雨滴影响的系统200，包括频域分析模块210、相位一致性特征检测模块220及图像处理模块230。

其中：

频域分析模块210用于对待去除雨滴图像进行频域分析，以确定雨线方向，包括：雨线纹理获取单元221，用于根据待去除雨滴图像获取具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；处理单元222，用于对待去除雨滴图像进行傅立叶变换再进行处理，以在频谱图中形成特定方向的频率；及方向确定单元223，用于根据特定方向的频率确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

相位一致性特征检测模块220用于根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图。

图像处理模块230用于将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

上述基于频域及相位一致性的单幅图像去除雨滴影响的系统200还包括图像修复模块240，用于将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

上述基于频域及相位一致性的单幅图像去除雨滴影响的方法和系统，通过对待去除雨滴图像进行频域分析，以确定雨线的方向，进而使用相位一致性特征检测方法进行图像处理，获取雨线特征图，再将待去除雨滴图像与雨线特征图相减，得到去除雨滴后的图像，从而实现了单幅彩色图像的去雨处理，提高了去雨算法的使用范围，有效地改善了图像的质量。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (7)

1.一种基于频域及相位一致性的单幅图像去除雨滴影响的方法，其特征在于，包括下述步骤：

步骤S110：对待去除雨滴图像进行频域分析，以确定雨线方向；

步骤S120：根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图；

步骤S130：将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

2.如权利要求1所述的基于频域及相位一致性的单幅图像去除雨滴影响的方法，其特征在于，步骤S110中，对待去除雨滴图像进行频域分析，以确定雨线方向，包括下述步骤：

步骤S111：根据观察待去除雨滴图像，其具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

步骤S112：对所述待去除雨滴图像进行傅里叶变换再进行处理，以在频谱图中形成特定方向的频率；

步骤S113：根据特定方向的频率通过霍夫变换确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

3.如权利要求1所述的基于频域及相位一致性的单幅图像去除雨滴影响的方法，其特征在于，步骤S120中，根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图，具体为：已知雨线方向的角度为pi*3/4，而后在相位一致性计算中设置4个方向的滤波器，分别为0、pi/4、pi/2及pi*3/4，采用相位一致性特征检测算法分别计算在0、pi/4、pi/2及pi*3/4的相位一致性，并将除pi*3/4方向上所计算的相位一致性结果进行平均得到平均图，再通过在平均图中减去pi*3/4方向上的相位一致性，得到雨线特征图。

4.如权利要求1所述的基于频域及相位一致性的单幅图像去除雨滴影响的方法，其特征在于，在完成步骤S130后还包括下述步骤：

步骤S140：将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。

5.一种基于频域及相位一致性的单幅图像去除雨滴影响的系统，其特征在于，包括：

频域分析模块，用于对待去除雨滴图像进行频域分析，以确定雨线方向；

相位一致性特征检测模块，用于根据雨线方向，使用相位一致性特征检测算法，获取雨线特征图；及

图像处理模块，用于将待去除雨滴图像与所述雨线特征图相减，得到去除雨滴后的图像。

6.如权利要求5所述的基于频域及相位一致性的单幅图像去除雨滴影响的系统，其特征在于，所述频域分析模块包括：

雨线纹理获取单元，用于根据待去除雨滴图像获取具有纹理的雨线，所述雨线的纹理线在频域中表示为特定的高频信息；

处理单元，用于对待去除雨滴图像进行傅立叶变换再进行处理，以在频谱图中形成特定方向的频率；及

方向确定单元，用于根据特定方向的频率确定频域中的直线方向，所述频域中的直线方向等价于空域中的直线方向。

7.如权利要求5所述的基于频域及相位一致性的单幅图像去除雨滴影响的系统，其特征在于，还包括图像修复模块，用于将得到的去除雨滴的图像与轮廓识别算子进行识别的特征轮廓相加，得到修复后的去除雨滴图像。