CN104318537B - 大雨场景视频数据中雨滴的检测和去除方法及系统 - Google Patents

Abstract

本发明提供了一种大雨场景视频数据中雨滴的检测与去除方法和系统，其方法基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像；通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量对所述初检结果进行筛选。本发明的雨滴检测和去除方法及系统通过在大雨场景中可以利用改进两帧间的亮度差进行雨滴初检，再利用色彩特性进行约束排除非雨成分。

Description

大雨场景视频数据中雨滴的检测和去除方法及系统

技术领域

本发明涉及图像处理技术，特别是涉及一种大雨场景视频数据中雨滴的检测和去除方法及系统。

背景技术

由于计算机视觉技术的发展，人们对信息处理有着越来越高的要求，而且如今随着信息高速公路的建设和互联网的广泛使用以及人们获取信息的方式的智能化，图像信息就显得非常重要了。人类获取信息的途径主要是通过图像和语音，其中视觉信息占据了大约70％以上，所以图像的传递和处理技术的发展对智能交通、科学研究、军事国防、安全监控等领域都起着越来越重要的作用。由于计算机视觉系统在户外的日益普及，恶劣天气下雨场对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降，所以，恶劣天气下图像处理的研究就显得越来越重要，成功地消除雨场等恶劣天气对捕获的图像的影响将会带来更大的实用价值。

针对恶劣天气对视频图像造成影响的恢复中比较常见的就是，对受雨滴污染的视频图像进行修复处理的视频图像去雨技术，其有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。

有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从2003年Starik等(Starik S,Werman M.Simulation of rain in videos[C]//Proceeding of Texture Workshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，更多的方法已经应用到视频去雨。

现有技术大部分只利用雨滴的亮度特性或者几何特性检测雨滴，在初检时效果很好，但有些非雨成分去除的不够彻底，会造成误检，如基于引导滤波的视频去雨算法，就会导致图像模糊。

基于上述现有技术中存在的问题，有必要提供一种新的视频图像雨滴检测与去除方法。

发明内容

基于此，有必要针对现有技术中只利用雨滴的亮度特性或者几何特性进行雨滴检测和去除时出现误检等情况的问题，提供一种大雨场景视频数据中雨滴的检测与去除方法和系统。

本发明提供的一种大雨场景视频数据中雨滴的检测方法，其包括：

抽取初始彩色视频图像中待处理的像素；

基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像；

通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。

基于上述雨滴检测方法，本发明还提供了一种大雨场景视频数据中雨滴的去除方法，其包括：

上述的大雨场景视频数据中雨滴的检测方法，获得标记有雨滴像素的筛选结果；

对所述筛选结果中的像素进行雨滴去除处理，获得恢复后的彩色视频图像。

在其中一个实施例中，所述对所述筛选结果中的像素进行雨滴去除处理的过程中，利用所述标记的帧图像间的像素平均值对雨滴像素进行恢复。

基于上述雨滴检测方法，本发明还提供了一种大雨场景视频数据中雨滴的检测系统，其包括：

像素提取模块，用于抽取初始彩色视频图像中待处理的像素；

初检模块，用于基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像；

筛选模块，用于通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果。

基于上述雨滴检测方法与系统，本发明还提供了一种大雨场景视频数据中雨滴的去除系统，其包括：

上述的大雨场景视频数据中雨滴的检测系统，用以获得标记有雨滴像素的筛选结果；及

雨滴去除模块，用于对所述筛选结果中的像素进行雨滴去除处理，获得恢复后的彩色视频图像。

在其中一个实施例中，所述雨滴去除模块包括：

图像像素提取单元，用于针对所述筛选结果中的像素，提取所述初检模块标记的两帧图像；及

像素恢复单元，用于将所述当前帧图像中的雨滴像素替换为所述标记的帧图像间的像素平均值。

与现有技术相比，本发明提供的雨滴检测和去除方法及系统的方法简洁、系统结构简单，算法的时间和空间复杂度低，处理速度快，实时性好。本发明在大雨场景中利用改进的帧间亮度差算法和色彩特性能有效地检测出雨滴，检测的正确率高，误检率低，对视频造成的二次损害小。本发明可高效地处理大雨场景，同时适用于静态场景和动态场景，处理范围广，适用性高。

附图说明

图1为本发明小雨场景视频数据中雨滴的检测方法的流程示意图；图2为选择执行步骤301的本发明雨滴检测方法的流程示意图；图3为选择执行步骤302的本发明雨滴检测方法的流程示意图；图4为选择执行步骤301和步骤302的组合的本发明雨滴检测方法的流程示意图；图5至图6分别为本发明雨滴检测方法中细化步骤200后实施例的流程示意图；图7为本发明小雨场景视频数据中雨滴的去除方法的流程示意图；图8为本发明小雨场景视频数据中雨滴的检测系统700的结构示意图；图9至图10为本发明检测系统700中细化初检模块702的实施例的结构示意图；图11为本发明小雨场景视频数据中雨滴的去除系统800的结构示意图；图12为图11中细化雨滴去除模块801的实施例结构示意图；图13为视频图像中雨滴对像素亮度影响的变化曲线及)运动物体像素的亮度变化曲线。图14为雨滴覆盖对像素色彩分量的影响直方图。

具体实施方式

本发明涉及图像信息处理技术，主要是对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，提高基于图像的目标检测、识别、追踪、分割和监控等技术的性能。以下将结合各个实施例详细说明本发明方法和系统的实现方式。

如图1所示，本实施例提供了一种大雨场景视频数据中雨滴的检测方法，其包括：

步骤100，抽取初始彩色视频图像中待处理的像素；

步骤200，基于初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断上述像素在当前帧图像中的亮度值分别与该像素对应于上述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入上述预设范围，则将该像素纳入初检结果，同时标记此次判断中与当前帧图像作比较的上述连续多帧图像中的帧图像，纳入初检结果的像素作为候选雨滴进行下一步步骤300的筛选，而对于不满足判断条件、未落入预设范围的像素判定为背景像素，不纳入初检结果。这里的预设范围的上限表示雨滴给像素带来的最大亮度变化值，下限表示雨滴给像素带来的最小亮度变化值，具体可参见雨滴覆盖对像素亮度变化影响的曲线图来设定。

步骤300，通过比较上述像素分别对应在当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对上述初检结果进行筛选，获得标记有雨滴像素的筛选结果，用以检测雨滴像素。这里设定阈值表示表征像素颜色属性的通道值的变化量阈值，由于大气、光等因素存在，每个像素都会随着时间有亮度上的变化，但是被雨滴覆盖后的像素的变化量是近似相等的，因此，通过基于雨滴色彩特性的值与设定阈值的比较，将非雨的运动物体像素从上述初见结果中排除掉。

本实施例中根据雨滴的亮度特性在大雨场景中利用当前帧图像与相邻的连续多帧图像间的亮度差进行是否是雨滴像素的初检，初检的结果在有效检测出雨滴的同时也会将其他非雨滴运动物体判断为疑似雨滴，于是就需要继续进行下一步的筛选排除非雨成分。进一步筛选时，利用雨滴变化的色彩特性进行非雨成分的筛选。由于受到了雨滴的影响，对于初检之后，相邻帧图像中像素颜色分量的变化量差异不大，可以近似相等，于是本实施例通过有关设定阈值的判断比较，将利用雨滴变化的色彩特性对初检结果进行进一步的筛选，从初检结果中排除非雨成分，提高本实施例计算的精确度，避免现有技术中雨滴漏检或误检而导致恢复图像模糊。

本实施例中预设范围可参见图13中雨滴对像素亮度影响的变化曲线及运动物体像素的亮度变化曲线来设定，基于典型的静态场雨滴对像素亮度的影响可知，雨线的亮度高于背景亮度主要是因为雨滴在成像的时候由于镜面反射、内反射、折射等作用汇聚了更广视场角范围内的光线。但是随着时间变化，雨滴像素的亮度值在亮度平均值上下的波动范围较小，这是受运动物体影响的像素所不具备的特征。图13(a)表示的是视频图像中雨滴像素的亮度变化曲线，而图13(b)表示的是受运动物体像素的亮度变化曲线，能很明显的看出两者是有很大差别，所以基于图13展示的内容即可确定上述预设范围，通过预设范围的设定在初检中排除受运动物体的影响而造成的亮度变化。

上述实施例中，步骤300提到的单通道可以为上述初始彩色视频图像在RGB彩色空间中的R通道值、G通道值和B通道值；如果初始彩色视频图像是YIQ色彩空间中的视频数据，则上述单通道可以是I通道值和Q通道值，当然如果是其他制式的彩色视频数据，也可以是其他用于表征不同颜色属性的通道值。上述两通道变化量之间的差值具体是指：像素分别对应在上述两帧彩色图像中表征一类颜色属性的单通道的变化量、与该像素分别对应在上述两帧彩色图像中表征另一类颜色属性的单通道的变化量之间差的绝对值。如果单通道为上述初始彩色视频图像在RGB彩色空间中的R通道值、G通道值和B通道值，则像素分别对应在上述两帧彩色图像中表征颜色属性的单通道的变化量可以表示为R_n-R_m、G_n-G_m、B_n-B_m，而两通道变化量之间的差值可以表示为|(R_n-R_m)-(G_n-G_m)|、|(G_n-G_m)-(B_n-B_m)|、|(B_n-B_m)-(R_n-R_m)|，其中，R_n表示第n帧像素点的R通道值，R_m表示第m帧像素点的R通道值；G_n表示第n帧像素点的G通道值，G_m表示第m帧像素点的G通道值；B_n表示第n帧像素点的B通道值，B_m表示第m帧像素点的B通道值。如此设定变化量的计算公式，原因是被雨滴覆盖的像素的R、G、B变化量是近似相等的，可用以直接进行非雨像素的筛选。

上述实施例中，步骤200的判断可以基于从初始彩色视频图像中提取的代表亮度信息的视频图像，比如RGB模式的彩色视频数据转换到YIQ色彩空间后获得的Y分量，或者用灰度图像表示代表亮度信息的视频图像。

上述实施例中，步骤100中抽取初始彩色视频图像中待处理的像素可以是：

首先，利用视频稳定技术对上述视频图像进行相位对齐；

然后，提取上述视频图像中的前N帧图像数据，利用帧高度和帧宽度值获得帧的总像素，这里的总像素为帧高度值和帧宽度值的乘积；

其次，从上述总像素中随机抽取M个像素作为上述待处理像素。

提取的帧数决定了计算机处理时间的长短，为了提高本实施例方法的处理时间，这里提取前N帧图像数据，比如RGB模式下视频图像转化到YIQ彩色空间上的Y分量数据的前N帧图像作为待处理对象，从而提高了方法处理的实时性，缩短了处理周期。在读入被雨滴污染的初始视频数据时可以采用matlab的mmreader函数，其中mov.numberofframes即为视频总帧数S，在获取帧高度和帧宽度值时通过调用size函数来获得。

基于上述实施例，如图2至图4所示，本实施例的方法中步骤300通过比较像素分别对应在当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对上述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括以下步骤：

执行以下步骤301和302两个判断步骤中的任意一个或者两个的组合，对上述初检结果进行筛选：

步骤301，判断上述初检结果中像素分别对应在当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量是否大于第一阈值，

步骤302，判断上述初检结果中像素分别对应在当前帧图像和上述标记的帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值；

步骤303，若选择执行上述两个判断步骤中的任意一个，如图2(其执行步骤301)或图3(其执行步骤302)所示，则将上述初检结果中满足上述涉及上述第一阈值或第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值或第二阈值判断条件的像素列为非雨运动物体像素，从上述初检结果中排除；

若选择执行上述两个判断步骤的组合，如图4所示，则将上述初检结果中同时满足上述涉及上述第一阈值和第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值和第二阈值判断条件中任意一个判断条件的像素列为非雨运动物体像素，从上述初检结果中排除。

本实施例中在执行步骤301和/步骤302判断时，是基于上述步骤200中标记的连续多帧图像中的帧图像，比如可以选择通过步骤200进行标记的帧图像中的其中一帧图像，而这个帧图像主要是在执行步骤200时满足落入上述预设范围的判断过程中用于与当前帧图像进行对比的帧图像，具体实施可参见下述有关公式(1)或(2)的说明。

如果单通道为R通道值、G通道值和B通道值，则步骤301中像素分别对应在当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量的判断条件可以表示为以下公式(1)所示。

其中，R_n表示第n帧像素点的R通道值，R_m表示第m帧像素点的R通道值；G_n表示第n帧像素点的G通道值，G_m表示第m帧像素点的G通道值；B_n表示第n帧像素点的B通道值，B_m表示第m帧像素点的B通道值；C₃表示上述第一阈值，用于表征通道变化阈值，由于大气光等因素存在，每个像素都会随着时间有亮度上的变化，设定阈值用于区分。上述公式(1)中的R_m、G_m、B_m即为执行步骤200时被标记出的与当前帧图像作比较的连续多帧图像中的第m帧图像的R、G、B通道值。如果采用其他彩色空间的表征颜色属性的单通道可以参照上述公式(1)设置单通道的变化量。上述实施例中，上述第一阈值的设定可以依据雨滴覆盖对像素色彩分量影响的直方图获得，由于大气、光等因素的存在，每个像素都会随着时间有亮度上的变化，第一阈值的设定必须排除这类情况。

如果单通道为上述初始彩色视频图像在RGB彩色空间中的R通道值、G通道值和B通道值；则上述步骤302中两通道变化量之间的差值的判断条件可以表示为以下公式(2)所示。

其中，R_n表示第n帧像素点的R通道值，R_m表示第m帧像素点的R通道值；G_n表示第n帧像素点的G通道值，G_m表示第m帧像素点的G通道值；B_n表示第n帧像素点的B通道值，B_m表示第m帧像素点的B通道值；C₄表示上述第二阈值，表征通道值变化量的阈值，由于大气光和像素R、G、B通道本身的特性，ΔR、ΔG和ΔB并不严格相等，所以设定阈值C₄可以保证ΔR、ΔG和ΔB近似相等。这样上述公式(1)和(2)叠加的约束条件可以有效的将雨滴和非雨运动物体区分开来，从而筛选掉候选雨滴中的非雨成分。上述公式(2)中的R_m、G_m、B_m即为执行步骤200时被标记出的与当前帧图像作比较的连续多帧图像中的第m帧图像的R、G、B通道值。如果采用其他彩色空间的表征颜色属性的单通道可以参照上述公式(2)设置上述两通道变化量之间的差值。

由于受雨滴影响的像素在RGB三个颜色通道上的变化量取决于它的背景颜色。因为RGB三原色光的波长并不相同，所以相应的折射角有细微差别，但是三原色的雨滴可视角都在165度附近。当背景的颜色，即RGB分量的大小和比例不相同时，三个颜色分量的变化量ΔR、ΔG和ΔB也有相应的微小差别，如图14所示，图14(a)列中被白色边界围出的区域为进行颜色分析的区域，(b)列是被分析区域像素的平均RGB值，(c)列代表像素受雨滴影响时的RGB颜色分量的平均变化量ΔR、ΔG和ΔB，三者的大小与图14(b)列展示的平均RGB值相关。从上图14可以发现像素受雨滴影响时各个颜色分量的变化量差异不大，可以近似为相等。于是基于图14的直方图可以设定上述第一阈值和第二阈值，检测雨滴像素，用于排除初检结果中非雨成分。

基于上述各个实施例，如图5所示，本实施例中的步骤200基于初始彩色视频图像中相邻于当前帧图像的连续多帧图像、判断上述像素在当前帧图像中的亮度值分别与该像素对应于连续多帧图像中的亮度值之间的差值是否落入预设范围的过程，具体可以包括以下几个步骤：

步骤201，基于从上述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像，将m＝n-1和o＝n+1定为迭代的初始值，第n帧图像表示当前帧图像，n＝(1,…,N)，N表示从初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像的帧数，执行以下两个判断步骤；

步骤202，判断上述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值之间的差值是否落入预设范围；

步骤203，判断上述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值之间的差值是否落入预设范围；

在执行上述步骤202和步骤203的判断时，若有一次判断过程均满足两个判断条件，则执行步骤204，将同时满足上述两个判断条件的像素纳入上述初检结果，并标记与当前帧图像作比较的第m帧和/或第o帧图像。

在不满足上述步骤202的判断条件时，则执行步骤205：判断当前m值是否达到预设的迭代约束条件，当当前m值未达到迭代约束条件时，令当前m＝m-1(即当前m值减1)，返回迭代的初始步骤201，当当前m值达到迭代约束条件时，将该像素列为背景像素，不纳入初检结果；

在不满足上述步骤203的判断条件时，则执行步骤206：判断当前o值是否达到预设的迭代约束条件，当当前o值未达到所述迭代约束条件时，令o＝o+1(即当前o值加1)，返回迭代的初始步骤201，当达到迭代约束条件时，将该像素列为背景像素，不纳入初检结果。

上述过程中，步骤201中从上述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像为相邻于当前帧图像的前后2至6帧图像，优选前后相邻于当前帧图像的5帧图像，也就是，与当前帧图像前后相邻的5帧图像，即[n-5,…,n,…,n+5]范围内的连续多帧图像，n表示当前帧图像。那么步骤205和步骤206的预设迭代约束条件为当前m值是否大于n+k或当前o值是否大于n-k，这里的k即表示步骤201中从上述初始彩色视频图像中提取的前后相邻于当前帧图像的帧数，若步骤201中从上述初始彩色视频图像中提取[n-5,…,n,…,n+5]范围内的连续多帧图像，则该k值优选为5，那么步骤205的迭代约束条件为当前m值是否大于n+5，步骤206的迭代约束条件为当前o值是否大于n-5。

经过上述过程的判断后可能会被标记有两帧图像，即第m帧和第o帧图像，那么在执行上述步骤300的比较过程时，可选择标记图像的其中一帧图像，优选被标记的第m帧图像。

本实施例中基于以下原理实现。由于有雨滴的覆盖，像素点的亮度会有变化，根据这一特性可对雨滴进行初检，而且是在大雨场景中，所以基本不会出现连续两帧被雨滴覆盖的情况。所以获得初检结果的原理表现为以下公式(3)：

C₁＜I_n-I_m＜C₂&C₁＜I_n-I_o＜C₂ 公式(3)

其中I_n代表该像素在第n帧的亮度；I_m代表该像素在第m帧的亮度；I_o代表该像素在第o帧的亮度；m和o的迭代的初始值为m＝n-1和o＝n+1；C₁表示为雨滴给像素带来的最小亮度变化值，即上述预设范围的下限值；C₂表示为雨滴给像素带来的最大亮度变化值，即上述预设范围的上限值。由于在不同的时间，大气光或者其它反射光线会造成像素细微的变化，所以I_n-I_m不一定等于I_n-I_o。利用公式(3)式进行多次迭代计算，如果在多次迭代的过程中只要有一次满足上述公式(3)的条件，即可认为该像素为有效检测出的雨滴，当时同时也会将其它非雨滴运动物体判断为疑是雨滴，故将其总称为候选雨滴，纳入上述初检结果，用以执行上述步骤300的筛选，这是一种改进的利用帧间亮度差进行雨滴检测的方法，相比现有的方法更加可以避免漏检。

基于图5所示的雨滴检测方法，如图6所示，本实施例在执行上述步骤200的过程中还增加以下两个步骤：

在判断当前m值是否达到预设的迭代约束条件之前，增加判断上述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值是否近似相等的判断步骤215，当上述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值近似相等时执行判断当前m值是否达到预设的迭代约束条件的步骤，则如果该像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值近似相等，且未达到上述迭代约束条件时，令当前m＝m-1(即当前m值减1)，返回迭代的初始步骤201；反之，初检结束，将该像素列为背景像素；当上述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值不近似相等时，直接将该像素列为背景像素；

在判断当前o值是否达到预设的迭代约束条件之前，增加判断上述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值是否近似相等的判断步骤216，当上述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值近似相等时执行判断当前o值是否达到预设的迭代约束条件的步骤，则如果该像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值近似相等，且未达到上述迭代约束条件时，令当前o＝o+1(即当前o值加1)，返回迭代的初始步骤201，反之，初检结束，将该像素列为背景像素。当上述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值不近似相等时，直接将该像素列为背景像素。

本实施例中通过增加步骤215和216的近似相等的判断，可以更加精确的筛选出候选雨滴，提高计算处理的精度。这里的近似相等，即可以通过判断两者的差是否在预设范围内，或者两者的相似度估计是否在允许范围内来确定两者是否近似相等。

图6给出了本发明的最优实施例，其包括从上述步骤100、步骤201至206以及步骤300中选择执行步骤301和步骤302组合的方法过程，其完整的最优化的呈现了本发明大雨场景视频数据中雨滴的检测方法，提供了相比现有技术，雨滴检测精度更高、误检率低的检测方法。

基于上述各个实施提供的大雨场景视频数据中雨滴的检测方法，如图7所示，本实施例还提供一种大雨场景视频数据中雨滴的去除方法，具体包括：

上述大雨场景视频数据中雨滴检测方法的步骤，用以形成包含雨滴像素的筛选结果，雨滴检测方法的步骤包括以下步骤100至步骤300：

步骤100，抽取初始彩色视频图像中待处理的像素；

步骤200，基于初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断上述像素在当前帧图像中的亮度值分别与该像素对应于上述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入上述预设范围，则将该像素纳入初检结果，同时标记此次判断中与当前帧图像作比较的上述连续多帧图像中的帧图像，作为候选雨滴进行下一步步骤300的筛选，而对于不满足判断条件、未落入预设范围的像素判定为背景像素，不纳入初检结果。这里的预设范围的上限表示雨滴给像素带来的最大亮度变化值，下限表示雨滴给像素带来的最小亮度变化值，具体可参见雨滴覆盖对像素亮度变化影响的曲线图来设定。

步骤300，通过比较上述像素分别对应在当前帧图像和上述标记的帧图像中中的表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对上述初检结果进行筛选，检测雨滴像素，获得标记有雨滴像素的筛选结果。这里设定阈值表示表征像素颜色属性的通道值的变化量阈值，由于大气、光等因素存在，每个像素都会随着时间有亮度上的变化，因此，通过基于雨滴色彩特性的值与设定阈值的比较，将非雨的运动物体像素从上述初见结果中排除掉。

步骤400，对上述筛选结果中的像素进行雨滴去除处理，获得恢复后的彩色视频图像。

上述步骤400中的雨滴去除处理采用改进的中值法对上述雨滴检测结果中的像素进行处理，即利用所述标记的帧图像间的像素平均值对雨滴像素进行恢复。具体原理参见以下述公式(4)的相关说明。

由于是在大雨场景的情况下，所以雨滴很有可能会在连续两帧上出现，所以不能仅用前后两帧平均来恢复，需要利用经过上述步骤200筛选得到的m帧和o帧的平均进行雨滴像素恢复。利用改进的中值法对被雨滴影响的像素进行恢复，雨滴的恢复公式为：

其中，R_n为检测出来的雨滴像素的R通道值，恢复的时候用前后帧未被雨滴覆盖像素的R通道的平均值进行恢复；R_m为该像素对应于第m帧图像中未被雨滴覆盖像素的R通道值；R_o为该像素对应于第o帧图像中未被雨滴覆盖像素的R通道值。G_n为检测出来的雨滴像素的G通道值，恢复的时候用前后帧未被雨滴覆盖像素的G通道的平均值进行恢复；G_m为该像素对应于第m帧图像中未被雨滴覆盖像素的R通道值；G_o为该像素对应于第o帧图像中未被雨滴覆盖像素的R通道值。B_n为检测出来的雨滴像素的B通道值，恢复的时候用前后帧未被雨滴覆盖像素的B通道的平均值进行恢复；B_m为该像素对应于第m帧图像中未被雨滴覆盖像素的R通道值；B_o为该像素对应于第o帧图像中未被雨滴覆盖像素的R通道值。这里的第m帧图像和第o帧图像均为通过上述步骤200判断后从上述连续的多帧图像中选中并被标记的帧图像。而改进的中值法的即是利用上述步骤200的判断过程获得的标记帧图像间的像素平均值对雨滴像素进行恢复，而这里优选，将当前第n帧图像中的雨滴像素的单通道(即RGB通道值)替换为步骤200过程中标记的第m帧和第o帧图像间对应的像素平均值。这样做可以使的雨滴去除时更加贴近实际情况，更加精确的消除图像中的雨滴因素，相比传统的中值法更加精确、计算更加简单，直接利用上一步的计算结果就可以进行雨滴去除处理，将雨滴检测过程与去除过程的重要因素结合在一起，便于简化计算过程、提升计算速度。

基于图5和图6给出的雨滴检测方法中有关上述步骤200的细化，本实施例中雨滴去除方法中上述步骤200同样可以包括图5中步骤201至206；或者图6中的步骤201至206和步骤215和步骤216，其中各个步骤的详细说明参见上述针对图5和图6中有关雨滴检测方法的相关说明，在此不作累述。

本实施例基于图7所提供的大雨场景视频数据中雨滴的去除方法中，步骤300通过比较像素分别对应在当前帧图像和步骤200标记的帧图像中中的表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对上述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括上述有关图2至图4的步骤301、302、303的执行方式，具体解释为步骤300包括：

执行以下步骤301和302两个判断步骤中的任意一个或者两个的组合，对上述初检结果进行筛选：

步骤301，判断上述初检结果中像素分别对应在当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量是否大于第一阈值，

步骤302，判断上述初检结果中像素分别对应在当前帧图像和上述标记的帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值；

步骤303，若选择执行上述两个判断步骤中的任意一个，如图2(其执行步骤301)或图3(其执行步骤302)所示，则将上述初检结果中满足上述涉及上述第一阈值或第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值或第二阈值判断条件的像素列为非雨运动物体像素，从上述初检结果中排除；若选择执行上述两个判断步骤的组合，如图4所示，则将上述初检结果中同时满足上述涉及上述第一阈值和第二阈值判断条件的像素列为雨滴像素，进行标记，而将不满足上述涉及上述第一阈值和第二阈值判断条件中任意一个判断条件的像素列为非雨运动物体像素，从上述初检结果中排除。本实施例中的相邻两帧图像优选当前帧图像与前一帧图像，具体实施可参见上述有关公式(1)或(2)的说明。

上述各个实施例中有关步骤200的实现的最优实施例(参照上述有关图5和图6的解释说明)以及上述各个步骤中具体细节的解释说明请参照上述有关大雨场景视频数据中雨滴的检测方法中的相关说明，在此不作累述。

基于上述有关大雨场景视频数据中雨滴的检测方法，如图8所示，本实施例提供了一种大雨场景视频数据中雨滴的检测系统700，其包括：

像素提取模块701，用于抽取初始彩色视频图像中待处理的像素；

初检模块702，用于基于上述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断上述像素在当前帧图像中的亮度值分别与该像素对应于上述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入上述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的上述连续多帧图像中的帧图像；及

筛选模块703，用于通过比较上述像素分别对应在上述当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对上述初检结果进行筛选，获得标记有雨滴像素的筛选结果。

基于图8所示的系统结构和上述图2至图4的雨滴检测方法，上述筛选模块703包括以下两个单元中的任意一个或者两个的组合：

用于执行判断上述初检结果中像素分别对应在上述当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元、

用于判断上述初检结果中像素分别对应在上述当前帧图像和上述标记的帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值的单元；以及

用于在选择执行上述两个单元中的任意一个时，执行将上述初检结果中满足上述涉及上述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元；

用于在选择执行上述两个单元的组合时，执行将上述初检结果中同时满足上述涉及上述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。本实施例中有关筛选模块703内部功能单元的具体实现方式参见上述有关图2至图4的详细说明，在此不作累述。

基于图8所示的系统结构，如图9所示，上述初检模块702包括：

图像提取单元712，用于从上述初始彩色视频图像中提取相邻于当前帧图像的连续多帧图像；

第一判断单元722，用于判断上述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值之间的差值是否落入预设范围；

第二判断单元732，用于执行判断上述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值之间的差值是否落入预设范围；

迭代单元742，用于将m＝n-1和o＝n+1定为迭代的初始值，第n帧图像表示当前帧图像，n＝(1,…,N)，N表示从上述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像的帧数，调用执行上述第一判断单元和第二判断单元，在不满足上述前一个判断条件时，判断当前m值是否达到预设的迭代约束条件，当未达到上述迭代约束条件时，令当前m＝m-1(即当前m值减1)，返回迭代的初始步骤，在不满足上述第二判断单元时，判断当前o值是否达到预设的迭代约束条件，当未达到上述迭代约束条件时，令当前o＝o+1(即当前o值加1)，返回迭代的初始步骤；及

输出单元752，用于将同时满足上述第一判断单元和第二判断单元的像素纳入上述初检结果，并标记与当前帧图像作比较的第m帧和/或第帧o图像。

基于图9所示的初检模块702，如图10所示，本实施例中的初检模块702还包括：

第一近似相等判断单元762，用于在判断当前m值是否达到预设的迭代约束条件之前，执行判断上述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值是否近似相等的判断步骤；及

第二近似相等判断单元772，用于在判断当前o值是否达到预设的迭代约束条件之前，执行判断上述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值是否近似相等的判断步骤；

则上述迭代单元742中当上述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值近似相等或当上述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值近似相等，执行判断当前m值或当前o值是否达到预设的迭代约束条件的步骤。

上述各个实施例中有关系统中各个功能模块或单元中的具体细节的解释说明请参照上述有关大雨场景视频数据中雨滴的检测方法中的说明，在此不作累述。

基于上述图8至图10的大雨场景视频数据中雨滴的检测系统，如图11所示，本实施例还提供了一种大雨场景视频数据中雨滴的去除系统800，其包括：

上述有关大雨场景视频数据中雨滴的检测系统700的功能模块，获得标记有雨滴像素的筛选结果，雨滴检测系统700的功能模块包括以下模块701至模块703；

像素提取模块701，用于抽取初始彩色视频图像中待处理的像素；

初检模块702，用于基于上述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断上述像素在当前帧图像中的亮度值分别与该像素对应于上述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入上述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的上述连续多帧图像中的帧图像；

筛选模块703，用于通过比较上述像素分别对应在上述当前帧图像和上述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对上述初检结果进行筛选，获得标记有雨滴像素的筛选结果；和

雨滴去除模块801，用于对上述筛选结果中的雨滴像素进行雨滴去除处理，获得恢复后的彩色视频图像。

基于上述实施例，如图12所示，上述雨滴去除模块801包括：

图像像素提取单元811，用于针对上述筛选结果中的像素，提取所述初检模块标记的两帧图像；及

像素恢复单元821，用于将所述当前帧图像中的雨滴像素替换为所述标记的两帧图像间的像素平均值。这里的雨滴去除方法采用的是改进的中值法，即上述公式(4)所提供的恢复公式。

基于图11所示的系统结构，其中有关大雨场景视频数据中雨滴的检测系统700的结构及内部功能模块的细化，比如初检模块702和筛选模块703，均可以参见上述关于图8至图10和结合图2至图4的相关说明，在此不作累述。

上述各个实施例中有关各个步骤或者系统中各个功能模块或单元中的具体细节的解释说明请参照上述有关大雨场景视频数据中雨滴的检测方法中的说明，在此不作累述。

图6给出了本发明的最优实施例，其包括从上述步骤100、步骤201至204以及步骤300中选择执行步骤301和步骤302组合的方法过程，其完整的最优化的呈现了本发明大雨场景视频数据中雨滴的检测方法，根据图6获得的包含雨滴像素的筛选结果，在利用改进的中值法对检测出的雨滴像素进行处理，即针对上述筛选结果中的像素，提取多帧图像中对应像素未被标记为雨滴的任意连续的两帧图像，将上述筛选结果中的像素替换为上述两帧图像中对应像素的均值。在Matlab中编程可以实现利用图6流程和中值法去除雨滴的大雨场景视频数据中雨滴的去除方法，证明可行。

与现有技术相比，本发明提供的雨滴检测和去除方法及系统的方法简洁、系统结构简单，算法的时间和空间复杂度低，处理速度快，实时性好。本发明在大雨场景中利用改进的帧间亮度差算法和色彩特性能有效地检测出雨滴，检测的正确率高，误检率低，对视频造成的二次损害小。本发明可高效地处理大雨场景，同时适用于静态场景和动态场景，处理范围广，适用性高。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个非易失性计算机可读存储介质(如ROM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种大雨场景视频数据中雨滴的检测方法，其特征在于，所述方法包括：

抽取初始彩色视频图像中待处理的像素；

基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像；

通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果；

所述抽取初始彩色视频图像中待处理的像素的步骤包括：

对所述视频彩色图像进行相位对齐；

提取所述视频彩色图像中的前N帧图像数据，利用帧高度和帧宽度值获得帧的总像素，所述总像素为所述帧高度值和所述帧宽度值的乘积；

从所述总像素中随机抽取M个像素作为所述待处理的像素；

所述基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像、判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围的过程包括：

基于从所述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像，将m＝n-1和o＝n+1定为迭代的初始值，第n帧图像表示当前帧图像，n＝(1,…,N)，N表示从所述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像的帧数，执行以下两个判断步骤：

判断所述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值之间的差值是否落入预设范围；及

判断所述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值之间的差值是否落入预设范围；

将同时满足上述两个判断条件的像素纳入所述初检结果，并标记与当前帧图像作比较的第m帧和/或第o帧图像；

在不满足上述前一个判断条件时，判断当前m值是否达到预设的迭代约束条件，当未达到所述迭代约束条件时，令当前m值减1，返回迭代的初始步骤；

在不满足上述后一个判断条件时，判断当前o值是否达到预设的迭代约束条件，当未达到所述迭代约束条件时，令当前o值加1，返回迭代的初始步骤。

2.根据权利要求1所述的大雨场景视频数据中雨滴的检测方法，其特征在于，所述通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对所述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括：

执行以下两个判断步骤中的任意一个或者两个的组合，对所述初检结果进行筛选：

判断所述初检结果中像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量是否大于第一阈值，

判断所述初检结果中像素分别对应在所述当前帧图像和所述标记的帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值；

若选择执行上述两个判断步骤中的任意一个，则将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素；

若选择执行上述两个判断步骤的组合，则将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素。

3.根据根据权利要求1所述的大雨场景视频数据中雨滴的检测方法，其特征在于，所述基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像、判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围的过程还包括：

在判断当前m值是否达到预设的迭代约束条件之前，增加判断所述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值是否近似相等的判断步骤，当所述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值近似相等时执行判断当前m值是否达到预设的迭代约束条件的步骤；

在判断当前o值是否达到预设的迭代约束条件之前增加判断所述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值是否近似相等的判断步骤，当所述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值近似相等时执行判断当前o值是否达到预设的迭代约束条件的步骤。

4.一种大雨场景视频数据中雨滴的去除方法，其特征在于，所述方法包括：

权利要求1至3中任意一权利要求所述的大雨场景视频数据中雨滴的检测方法，获得标记有雨滴像素的筛选结果；

对所述筛选结果中的像素进行雨滴去除处理，获得恢复后的彩色视频图像。

5.根据权利要求4所述的大雨场景视频数据中雨滴的去除方法，其特征在于，所述对所述筛选结果中的像素进行雨滴去除处理的过程中，利用所述标记的帧图像间的像素平均值对雨滴像素进行恢复。

6.一种大雨场景视频数据中雨滴的检测系统，其特征在于，所述系统包括：

像素提取模块，用于抽取初始彩色视频图像中待处理的像素，所述像素提取模块具体用于：对所述视频彩色图像进行相位对齐；提取所述视频彩色图像中的前N帧图像数据，利用帧高度和帧宽度值获得帧的总像素，所述总像素为所述帧高度值和所述帧宽度值的乘积；从所述总像素中随机抽取M个像素作为所述待处理的像素；

初检模块，用于基于所述初始彩色视频图像中相邻于当前帧图像的连续多帧图像，判断所述像素在当前帧图像中的亮度值分别与该像素对应于所述连续多帧图像中的亮度值之间的差值是否落入预设范围，若有一次判断结果是落入所述预设范围，则将该像素纳入初检结果，并标记此次判断中与当前帧图像作比较的所述连续多帧图像中的帧图像；及

筛选模块，用于通过比较所述像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小，对所述初检结果进行筛选，获得标记有雨滴像素的筛选结果；

所述初检模块包括：

图像提取单元，用于从所述初始彩色视频图像中提取相邻于当前帧图像的连续多帧图像；

第一判断单元，用于判断所述像素在第n帧图像中的亮度值与该像素在第m帧图像中的亮度值之间的差值是否落入预设范围；

第二判断单元，用于执行判断所述像素在第n帧图像中的亮度值与该像素在第o帧图像中的亮度值之间的差值是否落入预设范围；

迭代单元，用于将m＝n-1和o＝n+1定为迭代的初始值，第n帧图像表示当前帧图像，n＝(1,…,N)，N表示从所述初始彩色视频图像中提取的相邻于当前帧图像的连续多帧图像的帧数，调用执行所述第一判断单元和第二判断单元，在不满足上述前一个判断条件时，判断当前m值是否达到预设的迭代约束条件，当未达到所述迭代约束条件时，令当前m值减一，返回迭代的初始步骤，在不满足所述第二判断单元时，判断当前o值是否达到预设的迭代约束条件，当未达到所述迭代约束条件时，令当前o值加1，返回迭代的初始步骤；及

输出单元，用于将同时满足所述第一判断单元和第二判断单元的像素纳入所述初检结果，并标记与当前帧图像作比较的第m帧和/或第o帧图像。

7.根据权利要求6所述的大雨场景视频数据中雨滴的检测系统，其特征在于，所述筛选模块包括以下两个单元中的任意一个或者两个的组合：

用于执行判断所述初检结果中像素分别对应在所述当前帧图像和所述标记的帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元；

用于判断所述初检结果中像素分别对应在所述当前帧图像和所述标记的帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值的单元；以及

用于在选择执行上述两个单元中的任意一个时，执行将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元；

用于在选择执行上述两个单元的组合时，执行将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。

8.一种大雨场景视频数据中雨滴的去除系统，其特征在于，所述系统包括：

权利要求6至7中任意一权利要求所述的大雨场景视频数据中雨滴的检测系统，用以获得标记有雨滴像素的筛选结果；及

雨滴去除模块，用于对所述筛选结果中的像素进行雨滴去除处理，获得恢复后的彩色视频图像。