CN104299234A - 视频数据中雨场去除的方法和系统 - Google Patents

Abstract

本发明涉及图像处理领域，提供了一种视频数据中雨场去除的方法和系统，其方法包括：提取初始视频数据中代表亮度信息的视频图像数据；提取所述视频图像数据中待处理的像素；判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围，若否，则统计所述偏度大于所述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对所述视频图像数据中的雨滴进行去除；若是，则计算表征雨势大小的参数值，依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。本发明可以处理彩色视频数据，通过在去雨处理前对视频进行判断选择合适的雨滴去除方法。

Description

视频数据中雨场去除的方法和系统

技术领域

本发明涉及图像处理领域，特别是涉及一种视频数据中雨场去除的方法和系统。

背景技术

由于计算机视觉技术的发展，人们对信息处理有着越来越高的要求，而且如今随着信息高速公路的建设和互联网的广泛使用以及人们获取信息的方式的智能化，图像信息就显得非常重要了。人类获取信息的途径主要是通过图像和语音，其中视觉信息占据了大约70％以上，所以图像的传递和处理技术的发展对智能交通、科学研究、军事国防、安全监控等领域都起着越来越重要的作用。由于计算机视觉系统在户外的日益普及，恶劣天气下雨场对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降，所以，恶劣天气下图像处理的研究就显得越来越重要，成功地消除雨场等恶劣天气对捕获的图像的影响将会带来更大的实用价值。

有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从2003年Starik等(Starik S,Werman M.Simulation of rain in videos[C]//Proceeding of Texture Workshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展，逐步的提出了帧差法等等方法，这些处理方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提高。而在众多的视频去雨算法中，利用帧间亮度差进行雨滴检测与去除是相当普遍的情况，其具体原理是基于图1所示的模型

如图1所示，被覆盖像素的亮度不仅受雨滴影响，也会受背景的影响。考虑相机曝光时间为T，假设雨滴在这段时间内覆盖某一像素的时间是τ，且τ远小于相机曝光时间T。图像上该像素在曝光时间T内的雨线亮度I_br由雨滴和背景亮度共同决定：

$I_{\mathrm{br}}={\∫}_0^{\mathrm{\τ}}{E}_r\mathrm{dt}+{\∫}_0^{\mathrm{\τ}}{E}_b\mathrm{dt}---\left(1\right)$

I_br＝I_b+△I   (2)

其中E_r是有雨滴覆盖时的瞬时雨滴亮度，而E_b代表无雨滴覆盖时的瞬时背景亮度。I_b是T时间内没有雨滴覆盖的背景亮度，△I是T时间内受雨滴影响的亮度变化量。雨线的亮度高于背景亮度主要是因为雨滴在成像的时候由于镜面反射、内反射、折射等作用汇聚了更广视场角范围内的光线，具体请见图1，进入到摄像机中成像的光线包括经过圆形状雨滴的镜面反射光线S、内反射光线P、折射光线R，则进入到摄像机中成像的光线总体表示为下述公式：

$L\left(\hat{n}\right)={\mathrm{RL}}_e\left(\hat{r}\right)+{\mathrm{SL}}_e\left(\hat{s}\right)+{\mathrm{PL}}_e\left(\hat{p}\right)---\left(3\right)$

其中，表示接收光；表示折射光线；表示镜面反射光；表示内反射光线。

利用帧间亮度差进行雨滴检测与去除时，如果帧数选的少时，雨大的时候就处理效果不好，比如利用两帧间的亮度差就无法处理像素连续两帧甚至更多帧被雨滴覆盖的情况；如果选用帧数过多的话会造成处理时间过长，实时性降低，特别是处理小雨的时候，还会浪费很多计算资源；另外如果选择其他的常用方法，则有些方法只适用于静态场景，并不适合所有场景情况下的视频图像处理。

基于上述现有技术中的问题，有待提出一种新的针对视频图像的去雨技术。

发明内容

基于此，有必要针对现有技术中无法有效针对视频图像中的实际情况进行有效的雨滴检测和去除的问题，提供了一种视频数据中雨场去除的方法和系统。

本发明提供了一种视频数据中雨场去除的方法，其包括：

提取初始视频数据中代表亮度信息的视频图像数据；

提取所述视频图像数据中待处理的像素；

判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围，若否，则统计所述偏度大于所述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对所述视频图像数据中的雨滴进行去除；

若是，则计算表征雨势大小的参数值，依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。

在其中一个实施例中，所述计算表征雨势大小的参数值、依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除的步骤包括：

计算所有像素在所述多帧图像中聚类得到的雨滴像素个数的平均值除以所述多帧图像的帧数，获得表征雨势大小的参数值；

判断所述参数值与第二预定值的大小，当所述参数值大于所述第二预定值时，基于K均值聚类的方法或采用引导滤波器的方法对所述视频图像数据中的雨滴进行去除；当所述参数值小于所述第二预定值时，基于帧间亮度差的方法对所述视频图像数据中的雨滴进行去除。

在其中一个实施例中，所述提取初始视频数据中代表亮度信息的视频图像数据的步骤包括：

将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV彩色空间中的视频数据，并提取代表亮度信息的Y分量，作为所述视频图像数据。

在其中一个实施例中，所述方法还包括：针对所述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将所述去雨的Y分量和所述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外两个分量进行结合，将所述结合后的结果转换成RGB色彩空间或或YUV彩色空间的视频数据，获得去雨后的彩色视频数据。

在其中一个实施例中，所述随机提取所述视频图像数据中待处理的像素的步骤包括：

利用视频稳定技术对所述视频图像数据进行相位对齐；

提取所述视频图像数据中的前N帧图像数据，利用帧高度和帧宽度值获得帧的总像素；

从所述总像素中随机抽取M个像素作为所述待处理像素。

在其中一个实施例中，所述获得表征雨势大小的参数值的步骤包括：

计算落入所述预设范围内的像素亮度的最大值和最小值；

以所述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和背景亮度值，基于K均值聚类方法将所述落入所述预设范围内的像素在所述多帧图像中进行聚类，分为雨滴像素和背景像素；

保存所述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨滴的像素聚类；

计算所述代表雨滴的像素聚类中雨滴像素的平均值，并除以所述多帧图像的帧数，获得代表雨势大小的参数值。

基于上述方法，本发明提供了一种视频数据中雨场去除的系统，其包括：

数据提取模块，用于提取初始视频数据中代表亮度信息的视频图像数据；

像素提取模块，用于提取所述视频图像数据中待处理的像素；

第一判断模块，用于判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围；

运动分割处理模块，用于统计所述偏度大于所述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对所述视频图像数据中的雨滴进行去除；及

第二判断模块，用于计算表征雨势大小的参数值，依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。

在其中一个实施例中，所述第二判断模块包括：

雨滴检测单元，用于计算所有像素在所述多帧图像中聚类得到的雨滴像素个数的平均值除以所述多帧图像的帧数，获得表征雨势大小的参数值；

判断单元，用于判断所述参数值与第二预定值的大小；

聚类处理单元，用于当所述参数值大于所述第二预定值时，基于K均值聚类的方法或采用引导滤波器的方法对所述视频图像数据中的雨滴进行去除；及

帧间亮度差处理单元，用于当所述参数值小于所述第二预定值，基于帧间亮度差的方法对所述视频图像数据中的雨滴进行去除。

在其中一个实施例中，所述数据提取模块包括：

图像数据转换单元，用于将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV彩色空间中的视频数据；及

Y分量提取单元，用于提取代表亮度信息的Y分量，作为所述视频图像数据。

在其中一个实施例中，所述系统还包括：

汇集模块，用于针对所述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将所述去雨的Y分量和所述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外两个分量进行结合；及

输出模块，用于将所述结合后的结果转换成RGB色彩空间或YUV彩色空间的视频数据，获得去雨后的彩色视频数据。

在其中一个实施例中，所述像素提取模块包括：

预处理单元，用于利用视频稳定技术对所述视频图像数据进行相位对齐；

帧图像提取单元，用于提取所述视频图像数据中的前N帧图像数据，利用帧高度和帧宽度值获得帧的总像素；及

像素抽取单元，用于从所述总像素中随机抽取M个像素作为所述待处理像素。

在其中一个实施例中，所述雨滴检测单元包括：

评估单元，用于计算落入所述预设范围内的像素亮度的最大值和最小值；

聚类分析单元，用于以所述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和背景亮度值，基于K均值聚类方法将所述落入所述预设范围内的像素在所述多帧图像中进行聚类，分为雨滴像素和背景像素；

存储单元，用于保存所述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨滴的像素聚类；及

计算单元，用于计算所述代表雨滴的像素聚类中雨滴像素的平均值，并除以所述多帧图像的帧数，获得代表雨势大小的参数值。

本发明的方法和系统可以处理彩色视频数据，通过在去雨处理前对视频进行判断，根据视频数据的实际情况选择较为合适的雨滴检测和去除方法，相比现有技术，其结合了各类方法，可以扬长避短，提高视频去雨的性能，本发明使用亮度通道可提高去雨的实时性，提高计算机处理效率，缩短处理时间。

附图说明

图1为雨滴影响下成像的示意图；

图2为本发明的方法流程示意图；

图3为本发明的方法的一最优实施例流程示意图；

图4为本发明系统的结构示意图；

图5为本发明第二判断模块和运动分割处理模块细化实施例的结构示意图；

图6为本发明数据提取模块细化实施例的结构示意图；

图7为本发明系统的雨滴检测单元细化实施例的结构示意图。

具体实施方式

本发明涉及图像信息处理技术，主要是对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，提高基于图像的目标检测、识别、追踪、分割和监控等技术的性能。

本实施例提供了一种视频数据中雨场去除的方法，其实际是根据视频图像的实际情况有选择的进行雨滴检测和去除的改性方法，有效的避免了现有技术中无法有效针对视频图像中的实际情况进行有效的雨滴检测和去除的问题。如图2所示，本实施例的视频数据中雨场去除的方法如下所示：

步骤110，提取初始视频数据中代表亮度信息的视频图像数据；

步骤120，提取上述视频图像数据中待处理的像素；

步骤130，判断上述像素在多帧图像中对应亮度值的偏度是否落入预设范围，若否，则执行步骤140；若是，则执行步骤150；

步骤140，统计上述偏度大于上述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对上述视频图像数据中的雨滴进行去除；当该像素个数未超过第一预定值时执行步骤150。

步骤150，计算表征雨势大小的参数值，依据该参数值的大小选择不同的方法对上述视频图像数据中的雨滴进行去除，这里可以根据值的大小比较结果从中值法，帧差法、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、亮度直方图、光流法、运动分割等方法中任选的两种，用于对上述视频图像数据中的雨滴进行去除。

如图2所示，上述步骤140实际具体可以包括：统计上述偏度大于上述预设范围上限的像素个数之后，执行步骤141：判断上述像素个数是否超过第一预定值，若是，则执行步骤142：基于运动分割的方法对上述视频图像数据中的雨滴进行去除；若否则返回至步骤150。

基于上述各个步骤，本实施例实际上首先通过步骤130有关亮度值偏度的判断来获知视频图像中是否存在雨滴之外的其他运动物体，如果存在则基于运动分割的方法对视频图像数据中的雨滴进行检测和处理，从而提高去雨处理的精确度；此外，基于步骤130的初验可以初步认定上述偏度落入预设范围内的像素为雨滴像素，然后依据步骤150通过计算获得的表征雨势大小的参数值与第二预定值的大小比较，来判断雨势的大小，从而根据雨势的大小选择不同的雨滴去除方法。本实施例通过两个判断步骤有效区分了视频图像中的实际情况，并针对实际情况的分类来选择有效的去雨技术实现有效的雨滴去除处理。本实施例在去雨前判断雨是大还是小，除了雨滴外是否还有其他运动物体，再选用不同的视频去雨算法，可以扬长避短，提高视频去雨效果。

基于上述各个实施例，本实施例中步骤130的像素在多帧图像中对应亮度值的偏度，是基于采样的N帧图像、将提取的待处理像素在这N帧图像中所对应的n个亮度值作为样本，利用概率分布统计学计算偏度估计而获得。具体参见下述公式(4)。

$\mathrm{Skew}(x_1,...,x_n)=\frac{1}{N}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{((x_i-\stackrel{\‾}{x})/s)}^3---\left(4\right)$

其中，x₁,...,x_n表示提取的某一待处理像素在其对应的N帧图像中所对应的n个亮度值；N表示图像的采样帧数；Skew(x₁,...,x_n)表示该像素在采样的N帧图像中所对应的亮度值的偏度；表示上述n个亮度值的平均值；s表示该像素对应的n个亮度值的均方差。

基于上述公式(4)计算的偏度值，基于经验值设定预设范围(Skewmin，Skewmax)，当像素的偏度位于预设范围(Skewmin，Skewmax)内时，初步判定为雨滴像素，记为R_r；大于上限Skewmax是被判定为属于运动物体的像素，记为R_y；小于下限阈值Skewmin为无雨滴覆盖的背景像素,记为R_b。本实施例中通过统计被判定为运动物体的像素个数是否超过一第一预定值，从而给出是否存在运动物体的判断，提高了本实施例雨场去除方法的精确度。当运动物体的像素达到一定的数量时，即R_y/N>C_y时，利用基于运动分割的视频去雨算法进行去雨，C_y为运动物体像素的阈值，即上述第一预定值。

基于上述各个实施例公开的方法步骤，如图3所示，在本实施例中，上述步骤150包括以下步骤：

步骤151，计算所有像素在上述多帧图像中聚类得到的雨滴像素个数的平均值除以所述多帧图像的帧数，获得表征雨势大小的参数值；

步骤152，判断该参数值与第二预定值的大小，当上述参数值大于上述第二预定值时，执行步骤153；当上述参数值小于上述第二预定值时，执行步骤154；

步骤153，基于K均值聚类的方法或采用引导滤波器的方法对上述视频图像数据中的雨滴进行去除；

步骤154，基于帧间亮度差的方法对上述视频图像数据中的雨滴进行去除。

上述步骤152主要是为了判断视频图像中雨势的大小，然后在雨势大时采用K均值聚类的方法或采用引导滤波器的方法对上述视频图像数据中的雨滴进行去除，而当雨势小时采用帧间亮度差的方法对上述视频图像数据中的雨滴进行去除，从而提高了视频去雨的效果，分视频图像的雨场影响情况选择不同的雨滴检测和去除方法，可以有效提高计算机运算的效率，避免在雨势较小时利用太多的计算资源。

在基于上述步骤130的预设范围对属于雨滴像素进行初步判定后，在本实施例通过增加步骤151对落入上述预设范围内的像素进行进一步地雨滴筛选，并计算表征雨势大小的参数值，并依据雨势大小选择不同的雨滴去除方法，可以获得更加精确的雨滴消除结果，从而提高本实施例方法的精度。这里的对落入上述预设范围内的像素进行雨滴检测获得表征雨势大小的参数值的方法可以采用中值法，帧差法、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、光流法、运动分割、亮度直方图等方法中的任意一种。本实施例中步骤151优选采用K均值聚类法，具体过程如下所示：

首先，计算落入上述预设范围内的像素亮度的最大值和最小值；

然后，以上述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和背景亮度值，基于K均值聚类方法将上述落入上述预设范围内的像素在上述多帧图像中进行聚类，分为雨滴像素和背景像素，同时上一步骤中计算的最大值和最小值同时也是雨滴像素聚类和背景像素聚类的中心值，k＝2。在本步骤中的分类过程具体如下所示：

分辨每一帧图像中的待处理像素，每次把剩余像素中的一个划分到雨滴像素聚类和背景像素聚类中的某一个类，并且更新对应类的中心值。划分像素时依据下述公式(5)计算像素分别与两类中心的距离d，将其划分到距离较近的一类：

d(I_p,ω)＝|I_p-ω|   (5)

其中，ω表示聚类中心值，I_p表示像素亮度值，d(I_p,ω)表示该像素与雨滴像素聚类或背景像素聚类中的某一个类别聚类中心值的距离。

聚类中心值ω更新时依据下述公式(6)：

$\mathrm{\ω}(t+1)\frac{1}{\left|C\left(t\right)\right|}\underset{I_p\∈C\left(t\right)}{\mathrm{\Σ}}{I}_p---\left(6\right)$

其中C(t)代表对应类中元素数目，ω(t+1)表示更新后的聚类中心值，聚类后保存雨滴像素个数和背景像素个数。

最后，保存上述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨滴的像素聚类，计算该代表雨滴的像素聚类中雨滴像素的平均值，并除以上述多帧图像的帧数，从而获得代表雨势大小的参数值。

上述实施例中步骤150中上述表征雨势大小的参数值与第二预定值的大小比较或者上述实施例中步骤151和152中在利用K均值聚类方法获得代表雨滴的像素聚类之后，即可计算代表雨势大小的参数值，具体参见下述公式(7)所示。首先，基于K均值聚类方法获得代表雨滴的像素聚类，在此过程中标记出第i个像素在N帧中被雨滴污染的帧数存于叠加M个样本像素聚类得到的雨滴像素，，然后除以单帧图像中抽样像素的总个数，获得所有像素在N帧图像中聚类得到的雨滴像素个数的平均值，最后再除以采样帧数N，就获得了用于判断雨势大小的参数值，这个参数值通过表征采样的N帧图像中每一帧图像中含有的代表雨滴的像素聚类的像素个数，来评价雨势大小。具体参加下述公式(7)。

$X=\frac{\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{C}_{R_i}\left(t\right)}{N\×M}---\left(7\right)$

其中，表示第i个抽样像素属于雨滴像素聚类中的元素数目；N表示采样帧数；X表示多帧图像中属于代表雨滴的像素聚类的像素个数的平均值，M表示单帧抽样像素的总个数；N*M表示待处理的所有像素个数；X在0到1之间。

对于计算出的X值，与基于经验值设定的第二预定值C_x进行比较，当X>C_x时，判定为初始视频图像中雨势较大，基于K均值聚类的方法或采用引导滤波器的方法对上述视频图像数据中的雨滴进行去除；当X<C_x时，判定为初始视频图像中雨势较小，基于帧间亮度差的方法对上述视频图像数据中的雨滴进行去除。

基于上述各个实施例的步骤，本实施例中步骤110提取初始视频数据中代表亮度信息的视频图像数据的步骤包括：将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV彩色空间中的视频数据，并提取代表亮度信息的Y分量，作为上述视频图像数据，用以进行下一步的图像处理。这里的RGB色彩空间的初始视频数据是指基于RGB色彩模式获得的图像数据，其使用RGB模型为图像中每一个像素的RGB分量分配一个0～255范围内的强度值，RGB图像只使用三种颜色，就可以使它们按照不同的比例混合，在屏幕上呈现16777216(256*256*256)种颜色。这里的YIQ色彩空间通常被北美的电视系统所采用，属于NTSC(National Television Standards Committee)系统，其包括：代表颜色的明视度(Luminance)，即亮度(Brightness)的Y分量(也就是指图像的灰度值(Grayvalue))、和代表色调(Chrominance)，即描述图像色彩及饱和度的属性的I和Q分量，其中，I分量代表从橙色到青色的颜色变化，而Q分量则代表从紫色到黄绿色的颜色变化。本实施例中不限于通过将RGB色彩空间转换到YIQ色彩空间获得代表亮度信息的视频图像数据，还可以通过转换到YUV彩色空间来实现，这里的YUV彩色空间是被欧洲电视系统所采用的一种颜色编码方法(属于PAL)，是PAL和SECAM模拟彩色电视制式采用的颜色空间，其通过RGB信号经过矩阵变换电路得到亮度信号Y分量和两个色差信号R－Y(即U)分量、B－Y(即V)分量。

基于上述各个实施例的步骤，本实施例还包括：对上述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将上述去雨的Y分量和上述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外两个分量进行结合，将上述结合后的结果转换成RGB色彩空间或YUV彩色空间的视频数据，从而获得去雨后的彩色视频数据。上述另外两个分量是指转换到YIQ色彩空间获得I和Q分量，或者转换到YUV彩色空间中的R－Y(即U)分量、B－Y(即V)分量。

基于上述各个实施例，本实施例中上述步骤120随机提取上述视频图像数据中待处理的像素的步骤包括：

利用视频稳定技术对上述视频图像数据进行相位对齐；

提取上述视频图像数据中的前N帧图像数据，利用帧高度和帧宽度值获得帧的总像素，这里的总像素为帧高度值和帧宽度值的乘积；

从上述总像素中随机抽取M个像素作为上述待处理像素。

提取的帧数决定了计算机处理时间的长短，为了提高本实施例方法的处理时间，这里提取前N帧图像数据，比如上述Y分量数据的前N帧图像作为待处理对象，从而提高了方法处理的实时性，缩短了处理周期。在读入被雨滴污染的初始视频数据时可以采用matlab的mmreader函数，其中mov.numberofframes即为视频总帧数S，在获取帧高度和帧宽度值时通过调用size函数来获得。

上述各个实施例中涉及到的基于运动分割的方法对所述视频图像数据中的雨滴进行去除的方法参照以下方式进行。先利用高斯混合模型来获得当前帧的相关参数，然后利用得到的参数作为下一帧最大期望迭代的初始值来判断运动区域，得到运动目标的似然函数，通过由最大期望迭代决定的每个高斯分量的混合系数来进行多次迭代，再利用K均值聚类对当前帧的特征向量进行处理，得到聚类结果，再用于下一帧的迭代，最后得到聚类的运动似然函数，定义为聚类中运动像素的数量除以聚类中像素总数，基于聚类的运动似然函数与运动目标的似然函数的组合条件概率分析，对运动似然函数进行仿真，对图像中动态场景的运动物体进行分割，区分出雨滴像素，用动态场景中的背景像素替换区分出的雨滴像素，完成动态场景下的雨滴去除处理。本发明简述了基于运动分割的方法对所述视频图像数据中的雨滴进行去除的一种方法，但本发明不限于只采用这一种方式，还可以基于其他方式来完成动态场景下的雨滴去除处理。本发明的重点不在于如何进行动态场景下的雨滴去除处理，而在于如何利用上述步骤110至150对图像进行甄别从而选择合适的雨滴去除方式，提高计算机的运行速度、及处理效果。

上述各个实施例中涉及到的采用K均值聚类的方法对上述视频图像数据中的雨滴进行去除的过程是指：首先基于K均值聚类方法(参见上述公式(5)和公式(6)的相关说明)，将所有像素在N帧图像上分为雨滴像素和背景像素，然后用背景像素的聚类中心值替代雨滴像素值进行图像修复。当然上述过程也可以简化为：首先计算所有像素在时域上的亮度直方图，因为相似像素的直方图具有相同特征，所以可以根据相似像素的亮度直方图计算它们被雨滴覆盖时的亮度区间(θ_-,θ₊)，得到这个区间之后，在视频每一帧判断这些像素是否为雨滴时不需要计算像素亮度与聚类中心的欧氏距离，只需要判断亮度是否在该区间即可，落入此亮度区间(θ_-,θ₊)的列为雨滴像素，反之列为背景像素，最后用背景像素的聚类中心值(参见上述有关公式(6)的相关说明)替代雨滴像素值进行图像修复。

上述各个实施例中涉及到的采用引导滤波器的方法对上述视频图像数据中的雨滴进行去除的过程是指：基于三次引导滤波方法根据基准图像和输入图像而获得输出图像的过程。具体参见下述说明。

I₀＝I_rs-max-I_rs-min＝(1-α)(I_b-max-I_b-min)   (8)

其中，I_rs-max和I_rs-min分别代表雨图中像素的RGB三通道中的最大值与最小值，I_b-max和I_b-min分别代表背景图中像素的RGB三通道中的最大值与最小值。权重α接近0，所以1-α趋近1，也即是说基准图I_f与背景图I_b相关。得到基准图I_f之后，通过下式计算过渡图I`：

$\left\{\begin{array}{c}{q}_i={\stackrel{\&OverBar;}{a}}_k{I}_i+{\stackrel{\&OverBar;}{b}}_k\\ a_k=\frac{\frac{1}{\left|W\right|}{\mathrm{\&Sigma;}}_{i\&Element;w_k}{I}_i{p}_i-{\mathrm{\&mu;}}_k{\stackrel{\&OverBar;}{p}}_k}{{\mathrm{\&sigma;}}_k^2+\mathrm{\&epsiv;}}\\ b_k={\stackrel{\&OverBar;}{p}}_k-a_k{\mathrm{\&mu;}}_k\end{array}\right.---\left(9\right)$

其中，μ_k表示I在窗口w_k中的平均值；表示p在窗口w_k中的平均值；w_k表示一个窗口。以基准图I_f为输入I_i，以雨图I_rs的三个通道分量分别为输入图像p_i，计算得到过渡图I`的三个通道图像q<sub>i</sub>。过渡图I`并不等于背景图像I_b，所以需要再次应用指导滤波，这一次将过渡图I`作为基准图，仍然以以雨图I<sub>rs</sub>为输入，就可以得到去除雨滴之后的图像。这样得到的图像较为模糊，在此基础上改进的一种算法，先后进行三次利用上述公式(9)的指导滤波。输入图像仍然为雨图I<sub>rs</sub>，第一次的基准图为计算得到的I<sub>f</sub>，第二次的基准图为I<sub>g</sub>＝(I<sub>f</sub>+J<sub>g</sub>)/2，其中J<sub>g</sub>是仅保留正值的灰度图I`-I_rs，得到的图像为J_ref；第三次的基准图为J_ref。多次应用指导滤波并优化基准图可以得到很好的去雨效果，细节保留效果也较好。上述各个实施例中涉及到的采用帧间亮度差的方法对上述视频图像数据中的雨滴进行去除的过程是指：如图1所示的模型，基于雨滴亮度特性，即被雨滴覆盖的像素其亮度高于背景的亮度，在静止场景下通过判断帧间亮度差值是否落入一设定的区间范围，用以判定该像素点是否为雨滴，在探测出雨滴之后，用帧间像素亮度值的平均值代替视频中被雨滴覆盖的像素亮度，从而实现去除雨滴覆盖的效果。

基于上述各个实施例提供的方法步骤，本实施例还提供了一种视频数据中雨场去除的系统，如图4所示，其包括：

数据提取模块210，用于提取初始视频数据中代表亮度信息的视频图像数据；

像素提取模块220，用于提取上述视频图像数据中待处理的像素；

第一判断模块230，用于判断上述像素在多帧图像中对应亮度值的偏度是否落入预设范围；

运动分割处理模块240，用于统计上述偏度大于上述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对上述视频图像数据中的雨滴进行去除；及

第二判断模块250，用于计算表征雨势大小的参数值，依据该参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。

基于上述各个模块，如图5所示，本实施例中的第二判断模块250可以包括：

雨滴检测单元251，用于计算所有像素在所述多帧图像中聚类得到的雨滴像素个数的平均值除以所述多帧图像的帧数，获得表征雨势大小的参数值；

判断单元252，用于判断上述参数值与第二预定值的大小；

聚类处理单元253，用于当上述参数值大于上述第二预定值时，基于K均值聚类的方法或采用引导滤波器的方法对上述视频图像数据中的雨滴进行去除；及

帧间亮度差处理单元254，用于当上述参数值小于上述第二预定值，基于帧间亮度差的方法对上述视频图像数据中的雨滴进行去除。

基于上述各个模块，如图5所示，本实施例中的运动分割处理模块240包括：

统计单元241，用于统计上述偏度大于上述预设范围上限的像素个数；

个数判断单元242，用于判断上述像素个数是否超过第一预定值；

运动处理单元243，用于在上述像素个数超过第一预定值时，基于运动分割的方法对上述视频图像数据中的雨滴进行去除。

基于上述各个模块，如图6所示，本实例中的上述数据提取模块210包括：

图像数据转换单元211，用于将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV彩色空间中的视频数据；及

Y分量提取单元212，用于提取代表亮度信息的Y分量，作为上述视频图像数据。

基于上述各个模块，如图6所示，本实例中的上述系统还包括：

汇集模块260，用于针对上述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将上述去雨的Y分量和上述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外两个分量进行结合；及

输出模块270，用于将上述结合后的结果转换成RGB色彩空间或YUV彩色空间的视频数据，获得去雨后的彩色视频数据。

基于上述各个模块，如图5所示，本实例中的上述像素提取模块220包括：

预处理单元221，用于利用视频稳定技术对上述视频图像数据进行相位对齐；

帧图像提取单元222，用于提取上述视频图像数据中的前N帧图像数据，利用帧高度和帧宽度值获得帧的总像素；及

像素抽取单元223，用于从上述总像素中随机抽取M个像素作为上述待处理像素。

基于上述各个模块，如图7所示，本实例中的上述雨滴检测单元251包括：

评估单元2511，用于计算落入上述预设范围内的像素亮度的最大值和最小值；

聚类分析单元2512，用于以上述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和背景亮度值，基于K均值聚类方法将上述落入上述预设范围内的像素在所述多帧图像中进行聚类，分为雨滴像素和背景像素；及

存储单元2513，用于保存上述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨滴的像素聚类；及

计算单元2514，用于计算上述代表雨滴的像素聚类中雨滴像素的平均值，并除以所述多帧图像的帧数，获得代表雨势大小的参数值X。具体计算公式可参见上述公式(7)所示

上述各个模块和单元的具体实现方法参见上述有关方法的论述，在此不再累述。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性计算机可读存储介质(如ROM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法，而构成了上述系统功能结构。

本发明的方法和系统可以处理彩色视频数据，通过在去雨处理前对视频进行判断，根据视频数据的实际情况选择较为合适的雨滴检测和去除方法，相比现有技术，其结合了各类方法，可以扬长避短，提高视频去雨的性能，本发明使用亮度通道可提高去雨的实时性，提高计算机处理效率，缩短处理时间。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频数据中雨场去除的方法，其特征在于，所述方法包括：

提取初始视频数据中代表亮度信息的视频图像数据；

提取所述视频图像数据中待处理的像素；

判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围，若否，则统计所述偏度大于所述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对所述视频图像数据中的雨滴进行去除；

若是，则计算表征雨势大小的参数值，依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。

2.根据权利要求1所述的视频数据中雨场去除的方法，其特征在于，所述计算表征雨势大小的参数值、依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除的步骤包括：

计算所有像素在所述多帧图像中聚类得到的雨滴像素个数的平均值除以所述多帧图像的帧数，获得表征雨势大小的参数值；

判断所述参数值与第二预定值的大小，当所述参数值大于所述第二预定值时，基于K均值聚类的方法或采用引导滤波器的方法对所述视频图像数据中的雨滴进行去除；当所述参数值小于所述第二预定值时，基于帧间亮度差的方法对所述视频图像数据中的雨滴进行去除。

3.根据权利要求1所述的视频数据中雨场去除的方法，其特征在于，所述提取初始视频数据中代表亮度信息的视频图像数据的步骤包括：

将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV彩色空间中的视频数据，并提取代表亮度信息的Y分量，作为所述视频图像数据。

4.根据权利要求3所述的视频数据中雨场去除的方法，其特征在于，所述方法还包括：针对所述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将所述去雨的Y分量和所述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外两个分量进行结合，将所述结合后的结果转换成RGB色彩空间或或YUV彩色空间的视频数据，获得去雨后的彩色视频数据。

5.根据权利要求2所述的视频数据中雨场去除的方法，其特征在于，所述获得表征雨势大小的参数值的步骤包括：

计算落入所述预设范围内的像素亮度的最大值和最小值；

以所述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和背景亮度值，基于K均值聚类方法将所述落入所述预设范围内的像素在所述多帧图像中进行聚类，分为雨滴像素和背景像素；

保存所述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨滴的像素聚类；

计算所述代表雨滴的像素聚类中雨滴像素的平均值，并除以所述多帧图像的帧数，获得代表雨势大小的参数值。

6.一种视频数据中雨场去除的系统，其特征在于，所述系统包括：

数据提取模块，用于提取初始视频数据中代表亮度信息的视频图像数据；

像素提取模块，用于提取所述视频图像数据中待处理的像素；

第一判断模块，用于判断所述像素在多帧图像中对应亮度值的偏度是否落入预设范围；

运动分割处理模块，用于统计所述偏度大于所述预设范围上限的像素个数，当该像素个数超过第一预定值时，则基于运动分割的方法对所述视频图像数据中的雨滴进行去除；及

第二判断模块，用于计算表征雨势大小的参数值，依据所述参数值的大小选择不同的方法对所述视频图像数据中的雨滴进行去除。

7.根据权利要求6所述的视频数据中雨场去除的系统，其特征在于，所述第二判断模块包括：

雨滴检测单元，用于计算所有像素在所述多帧图像中聚类得到的雨滴像素个数的平均值除以所述多帧图像的帧数，获得表征雨势大小的参数值；

判断单元，用于判断所述参数值与第二预定值的大小；

聚类处理单元，用于当所述参数值大于所述第二预定值时，基于K均值聚类的方法或采用引导滤波器的方法对所述视频图像数据中的雨滴进行去除；及

帧间亮度差处理单元，用于当所述参数值小于所述第二预定值，基于帧间亮度差的方法对所述视频图像数据中的雨滴进行去除。

8.根据权利要求6所述的视频数据中雨场去除的系统，其特征在于，所述数据提取模块包括：

图像数据转换单元，用于将RGB色彩空间的初始视频数据转换成YIQ色彩空间或YUV彩色空间中的视频数据；及

Y分量提取单元，用于提取代表亮度信息的Y分量，作为所述视频图像数据。

9.根据权利要求8所述的视频数据中雨场去除的系统，其特征在于，所述系统还包括：

汇集模块，用于针对所述视频图像数据中的雨滴进行去除后获得去雨的Y分量，将所述去雨的Y分量和所述初始视频数据转化到YIQ色彩空间或YUV彩色空间中所获得的另外两个分量进行结合；及

输出模块，用于将所述结合后的结果转换成RGB色彩空间或YUV彩色空间的视频数据，获得去雨后的彩色视频数据。

10.根据权利要求7所述的视频数据中雨场去除的系统，其特征在于，所述雨滴检测单元包括：

评估单元，用于计算落入所述预设范围内的像素亮度的最大值和最小值；

聚类分析单元，用于以所述最大值和最小值作为K均值聚类方法的初始雨滴亮度值和背景亮度值，基于K均值聚类方法将所述落入所述预设范围内的像素在所述多帧图像中进行聚类，分为雨滴像素和背景像素；

存储单元，用于保存所述雨滴像素及该雨滴像素所在的帧图像位置标注，获得代表雨滴的像素聚类；及

计算单元，用于计算所述代表雨滴的像素聚类中雨滴像素的平均值，并除以所述多帧图像的帧数，获得代表雨势大小的参数值。