CN104537634A - 动态图像中去除雨滴影响的方法和系统 - Google Patents

Abstract

本发明提供了一种动态图像中去除雨滴影响的方法和系统，其方法包括：提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。本发明属于一种新的针对动态图像的雨滴去除技术，能够有效的提高运算速度，降低复杂度，并且还能有效的应用于针对视频数据的实时处理中。

Description

动态图像中去除雨滴影响的方法和系统

技术领域

本发明涉及视频雨滴去除技术，特别是涉及一种动态图像中去除雨滴影响的方法和系统。

背景技术

由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像的质量造成较大程度的影响。视频雨滴去除技术通过使用雨的物理、频率等特性，对视频帧中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，视频雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于视频及图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，该方法基于视频图像序列中少数几帧受雨滴对像素的影响的假设，可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。但是，该方法认为雨会对背景产生亮度加强，且造成一定程度上的模糊，最终产生的视觉效果是雨及被覆盖背景的空间混合。后期还逐步有人提出了诸如使用了雨的动态及光度特性分别建立了两种模型、并基于这两个模型提出了检测和去除雨的方法，以及使用了雨的时域分布及色彩特性，基于雨的时域分布直方图显示的两个峰(分别代表雨滴亮度及背景亮度)来构建高斯混合模型，利用非监督学习方法——K-means聚类方法从图像像素中分离雨滴像素，帧差法进行雨滴初检等等。以上方法中虽然能对图像中的雨滴进行去除，但是多数方法严重依赖于清晰雨线的提取，或是需要基于复杂的混合高斯模型，具有较高的时间复杂度，且在存在不显眼的雨(明亮背景下的雨)及雨势变化时，其处理性能会出现显著下降。

基于现有技术中基于频率的技术时间复杂度过高，不利于方法的推广，且现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低等问题，还有待进一步的提高目前针对动态图像的除去雨滴影响的技术。

发明内容

基于此，有必要针对现有技术中存在的问题，提供一种动态图像中去除雨滴影响的方法和系统，其属于一种新的针对动态图像的雨滴去除技术，能够有效的提高运算速度，降低复杂度，并且还能有效的应用于针对视频数据的实时处理中。

一种动态图像中去除雨滴影响的方法，其包括：

图像提取步骤：提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；

雨线分析步骤：提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；

背景提取步骤：对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；

滤波去噪步骤：基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；

去雨步骤：将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。

在其中一个实施例中，所述图像提取步骤之前还包括：获取连续的动态图像数据；

每隔所述预设帧数执行一次所述雨线分析步骤，并判断当前获得的雨线方向是否与前一次执行所述雨线分析步骤获得的雨线方向相同，若否，则基于所述当前获得的雨线方向，执行所述背景提取步骤，若是则基于前一次执行所述雨线分析步骤获得的雨线方向执行所述背景提取步骤，或者基于前一次执行所述背景提取步骤提取的背景图像、执行所述去雨步骤。

在其中一个实施例中，所述方法还包括：将RGB模式下的视频数据转换到YCbCr色彩空间，获得所述动态图像数据。

在其中一个实施例中，所述雨线分析步骤包括：

对所述其中一帧图像进行傅里叶变换，获得频谱图；

对所述频谱图进行边缘检测，形成第一图像；

基于霍夫变换检测所述第一图像中的直线；

确定检测到的直线方向，获得所述雨线方向。

在其中一个实施例中，所述去雨步骤中包括基于下述公式(1)对图像数据进行处理的步骤：

C＝αC_b+(1-α)C_r    (1)

其中，C_b表示所述背景图；C表示所述结果图像；C_r表示所述中间图像；α表示调节系数。

在其中一个实施例中，所述去雨步骤中还包括：

基于调整图像的像素值函数，构建调节灰度图像亮度的映射曲线；

设定所述映射曲线的参数值，获得表征预设范围的映射曲线；

利用所述映射曲线对所述结果图像进行亮度调节处理。

在其中一个实施例中，所述方法中还包括：每隔预设帧数执行一次所述雨线分析步骤，并基于当前获得的雨线方向执行所述背景提取步骤。

在其中一个实施例中，所述方法还包括：将所述多帧结果图像混合所述预设帧数对应的动态图像数据中除颜色亮度以外的图像信息，获得去除雨滴影响后的动态图像数据。

一种动态图像中去除雨滴影响的系统，其包括：

图像提取模块，用于提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；

雨线分析模块，用于提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；

背景提取模块，用于对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；

滤波去噪模块，用于基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；及

去雨模块，用于将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。

在其中一个实施例中，所述系统还包括：

图像获取模块，用于获取连续的动态图像数据；及

判断模块，用于每隔预设帧数执行一次所述雨线分析模块，并判断当前获得的雨线方向是否与前一次执行所述雨线分析模块获得的雨线方向相同，若否，则基于所述当前获得的雨线方向，调用所述背景提取模块；若是，则基于前一次调用所述雨线分析模块获得的雨线方向调用所述背景提取模块，或者基于前一次获得的背景图像调用所述去雨模块。

本发明不使用复杂的高斯混合模型进行雨线建模，也没有使用形态学成分分析、稀疏编码等技术进行频域去雨，而仅使用了雨的纹理性及其在频域中的体现，处理速度快，降低运算的复杂度。更进一步地，还可仅在YCbCr色彩空间的Y色彩通道上进行图像处理，大幅缩小了雨滴去除所需的时间；本发明还克服了基于稀疏编码及雨的频率特性的图像去雨算法的仅可处理灰度图像的缺点，能够对彩色图像进行处理，并能够获得较好的效果；本发明还通过间隔性的对雨的频率特性的分析(如每10帧进行再分析，重新确定雨下落方向)，能够实现对变化雨势的处理；本发明还在雨滴去除阶段使用了α混合及双边滤波技术，能够获得较好的效果。总之，本发明通过使用雨的频率特性、颜色空间转换技术、α混合技术及双边滤波技术等技术，提出了一种新的视频去雨方法。

附图说明

图1为本发明方法的一个实施例流程示意图；

图2为本发明一个实施例中图像处理过程的效果图，其中(a)为待处理灰度图像，(b)为频谱图，(c)为霍夫变换检测直线的效果图，(d)为背景图；

图3为霍夫变换的原理图；

图4为本发明方法的一个实施例中映射曲线的示意图；

图5为本发明方法的另一个实施例流程示意图；

图6为本发明方法的又一个实施例流程示意图；

图7为本发明系统的一个实施例结构示意图；

图8为利用本发明的方法和系统处理之后的图像对比图，其中(a)表示原始图像，(b)表示经过本发明方法处理之后的图像；

图9为本发明方法的同一背景下动态图像的处理流程图。

具体实施方式

基于视频数据的图像处理技术，本发明提供了一种动态图像中去除雨滴影响的方法和系统，其能够有效的提高运算速度，降低复杂度，并且还能有效的应用于针对视频数据的实时处理中。优选的可以针对RGB色彩空间的视频数据进行实时处理。以下结合附图详细说明本发明的各个实施例。

如图1所示，本发明提供一种动态图像中去除雨滴影响的方法，其包括以下步骤：

在图像提取步骤100中，提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像。例如，如果是针对RGB模式下的视频数据则优选将RGB模式下的视频数据转换到YCbCr色彩空间，获得上述动态图像数据。而在本发明的一个优选实施例中，上述表征颜色亮度的图像数据为YCbCr彩色空间的Y通道数据。当然本发明不限于只利用YCbCr色彩空间的Y通道数据，还可以是任何从动态图像数据中提取的表征颜色亮度的灰度图像数据。上述步骤100中的提取方式也可以有很多种，优选采用色彩空间转换的方式。

在雨线分析步骤200中，提取上述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向。

在本发明的一个实施例中，上述雨线分析步骤200包括以下步骤：

步骤201，对上述其中一帧图像进行傅里叶变换，获得频谱图；优选地，取上述预设帧数的灰度图像中的第一帧图像作为此其中一帧图像进行傅里叶变换。

步骤202，对上述频谱图进行边缘检测，形成第一图像；

步骤203，基于霍夫变换检测上述第一图像中的直线；

步骤204，确定检测到的直线方向，获得上述雨线方向。

例如，基于雨在图像中呈现的纹理特性，对于图2(a)所示的待处理图像经过傅里叶变换后，将频谱中心移动到矩阵中心对数化后可以看到如图2(b)所示的图像，图中呈现特定方向的频率。于是基于此频谱图利用霍夫变换能够有效检测出图像中的直线。霍夫变换运用两个坐标空间之间的变换将在一个空间中具有相同形状的曲线或直线映射到另一个坐标空间的一个点上形成峰值，从而把检测任意形状的问题转化为统计峰值问题。由于一条直线在直角坐标系下可以用y＝kx+b表示,霍夫变换的主要思想是将该方程的参数和变量交换，即用x,y作为已知量k,b作为变量坐标，所以直角坐标系下的直线y＝kx+b在参数空间表示为点(k,b)，而一个点(x1,y1)在直角坐标系下表示为一条直线y1＝x1·k+b，其中(k,b)是该直线上的任意点。为了计算方便，在本发明的一个实施例中，上述步骤203基于霍夫变换检测上述第一图像中的直线的步骤包括以下步骤：

首先，将图像中的每一个非零像素点从直角坐标系转换到参数空间，获得每一个非零像素点对应的极坐标参数(γ和θ)；

然后，选择参数空间中同时相交于一点的直线个数最多的交点位置；

其次，提取所述交点位置在参数空间中的极坐标参数(γ和θ)；

最后，将提取的极坐标参数(γ和θ)转换到直角坐标系下，获得所要检测得到的直线。又如，在本发明的其中一个实施例中，上述步骤203基于Prewitt算子进行图像检测，并基于霍夫变换确定待处理图像图2(a)中的雨线为图2(c)中的相交于于一点的直线，而对于参数空间中同时相交于一点的直线个数的确定，需要经过多次优化处理，且处理次数可选40、50、60、70或80次，并选择参数空间中同时相交于一点的直线个数最多时对应的处理次数。故经过60次的优化处理后获得图2(c)的结果。从图2(c)可以看到，识别了频谱图中的特定直线，故能够确定其角度，在此例中为直线方向为0度。且频域中直线方向的确定等价于空域中的直线方向确定。

结合上述步骤202中对上述频谱图进行边缘检测形成第一图像，则可以有效的获得如图2(c)所示的效果的处理结果，从中可以确定出一条直线，并基于参数空间坐标系下的角度来确定雨线的方向。

此外，在本发明的一个实施例中，上述步骤202中对上述频谱图进行边缘检测的过程采用基于梯度的边缘检测算法对图像进行边缘检测，优选基于图像灰度采用普里维特(Prewitt)算子对图像进行边缘检测，Prewitt算子比较适合用于图像边缘灰度值比较尖锐且图像噪声比较小的情况，且其处理速度较快。当然本发明也不限于只采用这一种方式进行边缘检测，例如还可以使用Roberts边缘算子、Sobel算子、Laplacian算子、Canny算子等方法中的一种来对待处理图像进行边缘检测。

在背景提取步骤300中，对上述预设帧数的灰度图像进行基于上述雨线方向上的滤波处理，获得背景图。具体的，这里的滤波处理方法包括：Gabor滤波、或者进行纹理表达和分离的频域滤波方法等方法中的一种，当然，优选地，本发明基于特定方向的Gabor滤波，得到某帧不含雨的背景图。在图像处理中，Gabor函数是一个用于边缘提取的线性滤波器。在空间域中，一个二维Gabor滤波器是一个由正弦平面波调制的高斯核函数。在本发明的一个优选实施例中，步骤300中使用位于雨线方向上的窗口大小为8*8，尺度为11的Gabor滤波，能够得到较好效果的去除了雨影响的背景图，例如基于图2(c)所示的雨线方向，使用位于0度方向上的窗口大小为8*8，尺度为11的Gabor滤波，获得如图2(d)所示的背景图。

在滤波去噪步骤400中，基于双边滤波对上述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像。由于原始动态图像数据(视频的某一帧)通常具有较为明显的雨线，不利于进一步的混合操作，故使用边保留滤波——双边滤波对原始动态图像数据进行处理。双边滤波是一种可以保边去噪的滤波器，之所以可以达到此去噪效果，是因为其由两个函数构成。一个函数是由几何空间距离决定滤波器系数。另一个由像素差值决定滤波器系数。双边滤波器中，输出像素的值依赖于邻域像素的值的加权组合，如下述公式(4)：

$g(i,j)=\frac{{\mathrm{\Σ}}_{k,l}f(k,l)w(i,j,k,l)}{{\mathrm{\Σ}}_{k,l}w(i,j,k,l)}---\left(4\right)$

权重系数w(i,j,k,l)取决于定义域核(式(5))和值域核(式(6))的乘积：

$d(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}),---\left(5\right)$

$r(i,j,k,l)=\exp (-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\σ}}_r^2})---\left(6\right)$

$r(i,j,k,l)=\exp (-\frac{{(i-k)}^2+{(j-l)}^2}{2{\mathrm{\σ}}_d^2}-\frac{{\left|\right|f(i,j)-f(k,l)\left|\right|}^2}{2{\mathrm{\σ}}_r^2}).---\left(7\right)$

其中，两像素点分别为(i,j)及(k,l)，d(i,j,k,l)表示由几何空间距离决定的滤波器系数，而r(i,j,k,l)表示由像素值差异决定的滤波器系数；f(i,j)和f(k,l)表示两像素点(i,j)和(k,l)的灰度值，σ_r表示值域核函数的核大小；σ_d表示定义域核函数的核大小；||||²表示二范数运算。

双边滤波同时考虑了空间域与值域的差别，故能够实现边保留的噪声去除。

在去雨步骤500中，将上述背景图和上述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。在获取了无雨的背景图后，可以通过相关操作利用其及原图得到最终去雨结果图。由背景部分可知，雨线最终产生的视觉效果是雨及被覆盖背景的空间混合，故使用更加柔和的去雨方法如α混合能够提升输出图像质量。所谓α混合，对于雨滴去除问题，即为将背景图与雨影响图进行混合，得到输出图像。因此，在本发明的一个实施例中，上述去雨步骤500中包括基于下述公式(1)对图像数据进行处理的步骤：

C＝αC_b+(1-α)C_r(1)

其中，C_b表示上述背景图；C表示上述结果图像；C_r表示上述中间图像；α表示调节系数。例如，上述步骤100中预设帧数的灰度图像采用YCbCr色彩空间的Y通道数据，则经过上述各个步骤的处理后，在步骤500中，基于获得的背景图像，可以将上述公式(1)中的C_b替换为背景图的Y通道值，C_r替换为雨影响图的Y通道值，则C为去雨后的多帧结果图像的Y通道值，从而实现基于α混合的Y通道的混合处理，但是简单的α混合技术处理会造成一定程度上的色彩失真，故使用图像亮度调整机制，具体为使用matlab中的imadjust函数，其语法为：g＝imadjust(f,[low_inhigh_in],[low_outhigh_out],gamma)，函数将对两个区间的值进行映射，区间外的将被剪掉。参数gamma指定了曲线的形状，该曲线用来映射f的亮度值，以便生成图像g。若gamma小于1，则映射被加权至更高(更亮)的输出值，若gamma大于1则更暗。若省略gamma，则默认值为1，为线性映射，曲线形状如图4所示。

因此，在本发明的一个实施例中，上述去雨步骤500中还包括：

首先，基于调整图像的像素值函数，构建调节灰度图像亮度的映射曲线；

其次，设定上述映射曲线的参数值，获得表征预设范围的映射曲线；

最后，利用上述映射曲线对上述结果图像进行亮度调节处理，将上述结果图像中像素亮度调整到上述预设范围中。这里的映射曲线如图4所示，45度的线表示输入＝输出，横坐标表示输入像素灰度值，纵坐标表示输出像素灰度值。

基于上述实施例，当针对连续获得的视频图像数据，则可能出现雨势的变化，则为了能使上述方法检测适用于这一情况，则在本发明的一个优选实施例中，如图5所示，上述图像提取步骤100之前还包括：获取连续动态图像数据；

则每隔预设帧数执行一次所述雨线分析步骤，并判断当前获得的雨线方向是否与前一次执行所述雨线分析步骤获得的雨线方向相同，若否，则基于当前获得的雨线方向，执行所述背景提取步骤300；若是，则可以基于前一次执行上述雨线分析步骤200获得的雨线方向，执行上述背景提取步骤300，或者基于前一次执行上述背景提取步骤300提取的背景图像、执行上述去雨步骤500。后者通常用于背景不变换的动态图像，即，如图5所示的虚线箭头走向和图9所示的示意图，在上述图像提取步骤100之前同一背景下的连续动态图像数据时，当每隔预设帧数执行一次所述雨线分析步骤，且当前获得的雨线方向与前一次执行所述雨线分析步骤获得的雨线方向相同，则基于前一次执行上述背景提取步骤300提取的背景图像、执行上述去雨步骤500，这样做可以简化处理步骤，在第一次获取背景图之后就可以不用再执行图像提取步骤100，而可以直接用第一次提出的背景图，从而简化计算过程，能够将图像处理时间降低50％左右。

当然，针对背景会变化的情况，则在本发明的一个优选实施例中，上述方法还包括：每隔预设帧数执行一次所述雨线分析步骤，并基于当前获得的雨线方向执行所述背景提取步骤300。本实施例通过间隔性的对雨的频率特性的分析(例如每10帧进行雨线再分析，重新确定雨下落方向)，能够实现对变化雨势的处理。

如图6所示，基于上述实施例，上述步骤100中仅提取了表征颜色亮度的灰度图像数据进行处理，则在获得完整的动态图像数据时，还需要将上述多帧结果图像混合上述预设帧数对应的动态图像数据中除颜色亮度以外的图像信息，获得去除雨滴影响后的动态图像数据。例如，将RGB模式下的视频数据转换到YCbCr色彩空间，以Y通道数据作为上述步骤100的灰度图像数据时，经过步骤500的处理后，得到的图像数据需要与Cb、Cr通道数据进行混合获得完整的视频数据，如果还需要转换到其他视频模式，则可以再进行一次色彩空间的转换。

图1、图5、图6、图9为本发明实施例的方法流程示意图。应该理解的是，虽然图1、图5、图6、图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图1、图5、图6、图9中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段可以与其他步骤或者其他步骤的子步骤或者阶段的组合实施或交换执行顺序。以上各个实施例在具体说明中仅只针对相应步骤的实现方式进行了阐述，然后在逻辑不相矛盾的情况下，上述各个实施例是可以相互组合的而形成新的技术方案的，而该新的技术方案依然在本具体实施方式的公开范围内。

基于上述方法，如图7所示，本发明还提供了一种动态图像中去除雨滴影响的系统800，其包括：

图像提取模块801，用于提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；

雨线分析模块802，用于提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；

背景提取模块803，用于对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；

滤波去噪模块804，用于基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；及

去雨模块805，用于将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。

上述功能模块801至805均分别用于执行上述步骤100至500，其具体实现方式可参见上述关于步骤100至500的相关说明，在此不再累述。

在本发明的一个实施例中，如图7所示，上述系统还包括：用于获取连续的动态图像数据的图像获取模块806，此外，还可以包括：判断模块807，该判断模块807用于每隔预设帧数执行一次所述雨线分析模块，并判断当前获得的雨线方向是否与前一次执行所述雨线分析模块802获得的雨线方向相同，若否，则基于所述当前获得的雨线方向，调用背景提取模块803；若是，则基于前一次调用所述雨线分析模块802获得的雨线方向调用所述背景提取模块，或者基于前一次获得的背景图像调用去雨模块805。

在本发明的一个实施例中，上述系统还包括：用于每隔预设帧数调用一次雨线分析模块802，并基于当前获得的雨线方向执行所述背景提取模块803的间隔分析单元。

在本发明的一个实施例中，上述系统还包括：用于色彩空间转换的单元，优选地，其用于将RGB模式下的视频数据转换到YCbCr色彩空间，获得所述动态图像数据。

在本发明的一个实施例中，上述系统还包括：用于将所述多帧结果图像混合所述预设帧数对应的动态图像数据中除颜色亮度以外的图像信息、获得去除雨滴影响后的动态图像数据的单元。

在本发明的一个实施例中，上述雨线分析模块802包括：

第一单元，用于对所述其中一帧图像进行傅里叶变换，获得频谱图；

第二单元，用于对所述频谱图进行边缘检测，形成第一图像；

第三单元，用于基于霍夫变换检测所述第一图像中的直线；及

第四单元，用于确定检测到的直线方向，获得所述雨线方向。

在本发明的其中一个实施例中，上述第三单元包括：

用于将图像中的每一个非零像素点从直角坐标系转换到参数空间、获得每一个非零像素点对应的极坐标参数(γ和θ)的单元；

用于选择参数空间中同时相交于一点的直线个数最多的交点位置的单元；

用于提取所述交点位置在参数空间中的极坐标参数(γ和θ)的单元；

用于将提取的极坐标参数(γ和θ)转换到直角坐标系下获得所要检测得到的直线的单元。上述雨线分析模块802的内部各个功能单元的具体实现方法具体参见上述有关步骤的说明，在此不再累述。

在本发明的一个实施例中，上述去雨模块805包括基于上述公式(1)对图像数据进行处理的α混合单元。

在本发明的一个实施例中，上述去雨模块805还包括：

构建单元，用于基于调整图像的像素值函数，构建调节灰度图像亮度的映射曲线；

映射单元，用于设定所述映射曲线的参数值，获得表征预设范围的映射曲线；及

调节单元，用于利用所述映射曲线对所述结果图像进行亮度调节处理，将上述结果图像中像素亮度调整到上述预设范围中。

上述动态图像中去除雨滴影响的系统800中的各个功能模块，分别用于执行上述动态图像中去除雨滴影响的方法中的各个步骤，其具体实现方式参见上述方法中相关步骤的解释说明，在此不累述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品承载在一个非易失性计算机可读存储载体(如ROM、磁碟、光盘，服务器存储空间)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的系统结构和方法。

综上所述，本发明提出了一种使用傅里叶变换的自适应性快速视频去雨方法，首先其通过提取色彩空间转换时获得的灰度图像数据，并通过对其中一帧的频域分析，确定雨的方向，进而使用多尺度多方向的Gabor滤波进行图像处理，同时在过程中间隔地进行帧频域分析，以适应雨势变化情况；最终通过α混合背景图及经过双边滤波处理的原图得到去雨图像，方法有效改善了图像效果。对于色彩空间，其为为了定量描述颜色而建立的支持数字图像的生成、存储、处理、显示的颜色模型。其中最出名的为RGB色彩空间，但由于在使用它进行图像处理时需要同时处理三个通道上的数据，造成了时间复杂度过高的现象；对于YCbCr色彩空间，其是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到的图像质量的变化，且通过计算，在被雨影响的图像中，雨的部分基本存在于Y部分，故在YCbCr空间中使用去雨算法，能够降低时间复杂度。本发明基于此理论基础，通过上述动态图像中去除雨滴影响的方法和系统，并结合特定方向的Gabor滤波进行图像处理，提高了图像处理速度，降低了运行的复杂度，并且还能有效的应用于针对视频数据的实时处理中。优选地，本发明还同时在图像处理过程中间隔地进行帧频域分析，以适应雨势变化情况，最终通过α混合背景图及经过双边滤波处理的原图得到去雨图像。本发明在图像频域分析时，不建立复杂模型，仅通过霍夫变换进行雨线方向识别。本发明还使用色彩空间转换，可以仅在YCbCr色彩空间的Y通道上进行图像处理，显著缩短了处理时间。本发明针对连续的雨势变化的场景，使用间隔性的对雨的频率特性的分析(如每10帧进行再分析，重新确定雨下落方向)，实现对变化雨势的处理，图像处理过程中使用多尺度多方向的Gabor滤波器进行帧背景图的获取，速度快，精度高。最后，还可以使用α混合及双边滤波技术进行雨滴去除，获得了较好的效果。

此外，本发明不使用复杂的高斯混合模型进行雨线建模，也没有使用形态学成分分析、稀疏编码等技术进行频域去雨，而仅使用了雨的纹理性及其在频域中的体现，且还可仅在YCbCr色彩空间的Y色彩通道上进行图像处理，大幅缩小了雨滴去除所需的时间；本发明还克服了基于稀疏编码及雨的频率特性的图像去雨算法的仅可处理灰度图像的缺点，能够对彩色图像进行处理，并能够获得较好的效果；本发明通过间隔性的对雨的频率特性的分析(如每10帧进行再分析，重新确定雨下落方向)，能够实现对变化雨势的处理；本发明在雨滴去除阶段使用了α混合及双边滤波技术，能够获得较好的效果。总之，本发明通过使用雨的频率特性、颜色空间转换技术、α混合技术及双边滤波技术等技术，提出了一种新的视频去雨方法，参见图8为利用本发明的方法和系统处理之后的图像对比图，其中(a)表示原始图像，(b)表示经过本发明方法处理之后的图像。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种动态图像中去除雨滴影响的方法，其包括：

图像提取步骤：提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；

雨线分析步骤：提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；

背景提取步骤：对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；

滤波去噪步骤：基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；

去雨步骤：将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。

2.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述图像提取步骤之前还包括：获取连续的动态图像数据；

每隔所述预设帧数执行一次所述雨线分析步骤，并判断当前获得的雨线方向是否与前一次执行所述雨线分析步骤获得的雨线方向相同，若否则基于所述当前获得的雨线方向，执行所述背景提取步骤，若是则基于前一次执行所述雨线分析步骤获得的雨线方向执行所述背景提取步骤，或者基于前一次执行所述背景提取步骤提取的背景图像、执行所述去雨步骤。

3.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述方法还包括：将RGB模式下的视频数据转换到YCbCr色彩空间，获得所述动态图像数据。

4.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述雨线分析步骤包括：

对所述其中一帧图像进行傅里叶变换，获得频谱图；

对所述频谱图进行边缘检测，形成第一图像；

基于霍夫变换检测所述第一图像中的直线；

确定检测到的直线方向，获得所述雨线方向。

5.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述去雨步骤中包括基于下述公式(1)对图像数据进行处理的步骤：

C＝αC_b+(1-α)C_r             (1)

其中，C_b表示所述背景图；C表示所述结果图像；C_r表示所述中间图像；α表示调节系数。

6.根据权利要求5所述的动态图像中去除雨滴影响的方法，其特征在于，所述去雨步骤中还包括：

基于调整图像的像素值函数，构建调节灰度图像亮度的映射曲线；

设定所述映射曲线的参数值，获得表征预设范围的映射曲线；

利用所述映射曲线对所述结果图像进行亮度调节处理。

7.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述方法中还包括：每隔预设帧数执行一次所述雨线分析步骤，并基于当前获得的雨线方向执行所述背景提取步骤。

8.根据权利要求1所述的动态图像中去除雨滴影响的方法，其特征在于，所述方法还包括：将所述多帧结果图像混合所述预设帧数对应的动态图像数据中除颜色亮度以外的图像信息，获得去除雨滴影响后的动态图像数据。

9.一种动态图像中去除雨滴影响的系统，其特征在于，所述系统包括：

图像提取模块，用于提取动态图像数据中表征颜色亮度的灰度图像数据，获得预设帧数的灰度图像；

雨线分析模块，用于提取所述预设帧数的灰度图像中的其中一帧图像进行频域分析，确定雨线方向；

背景提取模块，用于对所述预设帧数的灰度图像进行基于所述雨线方向上的滤波处理，获得背景图；

滤波去噪模块，用于基于双边滤波对所述预设帧数的灰度图像进行滤波去噪处理，获得多帧中间图像；及

去雨模块，用于将所述背景图和所述多帧中间图像进行混合，调整图像亮度，获得去雨后的多帧结果图像。

10.根据权利要求9所述的动态图像中去除雨滴影响的系统，其特征在于，所述系统还包括：

图像获取模块，用于获取连续的动态图像数据；及

判断模块，用于每隔预设帧数执行一次所述雨线分析模块，并判断当前获得的雨线方向是否与前一次执行所述雨线分析模块获得的雨线方向相同，若否，则基于所述当前获得的雨线方向，调用背景提取模块；若是，则基于前一次调用所述雨线分析模块获得的雨线方向调用所述背景提取模块，或者基于前一次获得的背景图像调用所述去雨模块。