CN104299214A - 小雨场景视频数据中雨滴的检测与去除方法和系统 - Google Patents

小雨场景视频数据中雨滴的检测与去除方法和系统 Download PDF

Info

Publication number
CN104299214A
CN104299214A CN201410527740.0A CN201410527740A CN104299214A CN 104299214 A CN104299214 A CN 104299214A CN 201410527740 A CN201410527740 A CN 201410527740A CN 104299214 A CN104299214 A CN 104299214A
Authority
CN
China
Prior art keywords
pixel
raindrop
initial survey
mentioned
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410527740.0A
Other languages
English (en)
Other versions
CN104299214B (zh
Inventor
朱青松
徐波
王磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN201410527740.0A priority Critical patent/CN104299214B/zh
Publication of CN104299214A publication Critical patent/CN104299214A/zh
Application granted granted Critical
Publication of CN104299214B publication Critical patent/CN104299214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提供了一种小雨场景视频数据中雨滴的检测与去除方法和系统,其雨滴检测方法为抽取初始彩色视频图像中待处理的像素;判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入所述预设范围的像素纳入初检结果;通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选,获得标记有雨滴像素的筛选结果。本发明的雨滴检测和去除方法及系统通过在小雨场景中可以利用两帧间的亮度差进行雨滴初检,再利用色彩特性进行约束排除非雨成分,检测出真实的雨滴,最后去雨恢复视频,提高雨滴检测的正确率并降低漏检率,提高视频恢复的质量。

Description

小雨场景视频数据中雨滴的检测与去除方法和系统
技术领域
本发明涉及图像处理技术,特别是涉及一种小雨场景视频数据中雨滴的检测与去除方法和系统。
背景技术
由于计算机视觉技术的发展,人们对信息处理有着越来越高的要求,而且如今随着信息高速公路的建设和互联网的广泛使用以及人们获取信息的方式的智能化,图像信息就显得非常重要了。人类获取信息的途径主要是通过图像和语音,其中视觉信息占据了大约70%以上,所以图像的传递和处理技术的发展对智能交通、科学研究、军事国防、安全监控等领域都起着越来越重要的作用。由于计算机视觉系统在户外的日益普及,恶劣天气下雨场对图像成像有很大的影响,会造成图像成像模糊和信息覆盖,其直接结果是视频图像的清晰度下降,视频图像的数字化处理也会受此影响而性能下降,所以,恶劣天气下图像处理的研究就显得越来越重要,成功地消除雨场等恶劣天气对捕获的图像的影响将会带来更大的实用价值。
针对恶劣天气对视频图像造成影响的恢复中比较常见的就是,对受雨滴污染的视频图像进行修复处理的视频图像去雨技术,其有利于图像的进一步处理,包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。
有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注,去雨算法的研究也从2003年Starik等(Starik S,Werman M.Simulation of rain in videos[C]//Proceeding of Texture Workshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展,处理的方法已经不再局限于最初简单的中值计算,更多的方法已经应用到视频去雨。
现有技术大部分只利用雨滴的亮度特性或者几何特性检测雨滴,在初检时效果很好,但有些非雨成分去除的不够彻底,会造成误检,如基于引导滤波的视频去雨算法,就会导致图像模糊。
基于上述现有技术中存在的问题,有必要提供一种新的视频图像雨滴检测与去除方法。
发明内容
基于此,有必要针对现有技术中只利用雨滴的亮度特性或者几何特性进行雨滴检测和去除时出现误检等情况的问题,提供一种小雨场景视频数据中雨滴的检测与去除方法和系统。
本发明提供了一种小雨场景视频数据中雨滴的检测方法,其包括:
抽取初始彩色视频图像中待处理的像素;
判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入所述预设范围的像素纳入初检结果;
通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选,获得标记有雨滴像素的筛选结果。
在其中一个实施例中,所述判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围、将落入所述预设范围的像素纳入初检结果的过程包括:
提取所述初始彩色视频图像中连续的三帧图像;
判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围;
判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围;
将同时满足上述两个判断条件的像素纳入所述初检结果。
在其中一个实施例中,所述通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对所述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括:
执行以下两个判断步骤中的任意一个或者两个的组合,对所述初检结果进行筛选:
判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值,
判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值;
若选择执行上述两个判断步骤中的任意一个,则将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素;若选择执行上述两个判断步骤的组合,则将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素。
在其中一个实施例中,所述两通道变化量之间的差值为像素分别对应在所述相邻两帧图像中表征一类颜色属性的单通道的变化量、与该像素分别对应在所述相邻两帧图像中表征另一类颜色属性的单通道的变化量之间差的绝对值。
在其中一个实施例中,基于所述单通道为所述初始彩色视频图像在RGB彩色空间中的R通道值、G通道值和B通道值,则所述涉及所述第一阈值和第二阈值的判断条件表示为下述公式:
| R n - R n - 1 | > C 3 | G n - G n - 1 | > C 3 | B n - B n - 1 | > C 3 | ( R n - R n - 1 ) - ( G n - G n - 1 ) | < C 4 | ( G n - G n - 1 ) - ( B n - B n - 1 ) | < C 4 | ( B n - B n - 1 ) - ( R n - R n - 1 ) | < C 4
其中,Rn表示第n帧像素点的R通道值,Rn-1表示第n-1帧像素点的R通道值;Gn表示第n帧像素点的G通道值,Gn-1表示第n-1帧像素点的G通道值;Bn表示第n帧像素点的B通道值,Bn-1表示第n-1帧像素点的B通道值;C3表示所述第一阈值;C4表示所述第二阈值。
基于上述雨滴检测方法,本发明还提供了一种小雨场景视频数据中雨滴的去除方法,其包括:
上述各个实施例的小雨场景视频数据中雨滴的检测方法,获得标记有雨滴像素的筛选结果;
对所述筛选结果中的雨滴像素进行雨滴去除处理,获得恢复后的彩色视频图像。
在其中一个实施例中,所述雨滴去除处理采用中值法对所述雨滴像素进行处理。
基于上述雨滴检测方法,本发明还提供了一种小雨场景视频数据中雨滴的检测系统,其包括:
像素提取模块,用于抽取初始彩色视频图像中待处理的像素;
初检模块,用于判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入所述预设范围的像素纳入初检结果;及
筛选模块,用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选,获得标记有雨滴像素的筛选结果。
在其中一个实施例中,所述筛选模块包括以下两个单元中的任意一个或者两个的组合:
用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元、
用于判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值;以及
用于在选择执行上述两个单元中的任意一个时,执行将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元;
用于在选择执行上述两个单元的组合时,执行将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。
在其中一个实施例中,所述初检模块还包括:
图像提取单元,用于提取所述初始彩色视频图像中连续的三帧图像;
第一判断单元,用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围;
第二判断单元,用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围;及
输出单元,用于将同时满足所述第一判断单元和第二判断单元判断条件的像素纳入所述初检结果。
基于上述检测系统,本发明还提供了一种小雨场景视频数据中雨滴的去除系统,其包括:
上述各个实施例的小雨场景视频数据中雨滴的检测系统,获得标记有雨滴像素的筛选结果;及
雨滴去除模块,用于对所述雨滴像素进行雨滴去除处理,获得恢复后的彩色视频图像。
本发明的雨滴检测和去除方法及系统通过在小雨场景中可以利用两帧间的亮度差进行雨滴初检,再利用色彩特性进行约束排除非雨成分,检测出真实的雨滴,最后去雨恢复视频,提高雨滴检测的正确率并降低漏检率,提高视频恢复的质量。
附图说明
图1为本发明小雨场景视频数据中雨滴的检测方法的流程示意图;
图2为选择执行步骤301的本发明雨滴检测方法的流程示意图;
图3为选择执行步骤302的本发明雨滴检测方法的流程示意图;
图4为选择执行步骤301和步骤302的组合的本发明雨滴检测方法的流程示意图;
图5为本发明雨滴检测方法中细化步骤200后的流程示意图;
图6为本发明小雨场景视频数据中雨滴的去除方法的流程示意图;
图7为本发明小雨场景视频数据中雨滴的检测系统700的结构示意图;
图8为本发明检测系统700中细化初检模块702的结构示意图;
图9为本发明小雨场景视频数据中雨滴的去除系统800的结构示意图;
图10为利用图5获得的包含雨滴像素的筛选结果,再利用中值法对检测出的雨滴像素进行处理之后的结果图;
图11为视频图像中雨滴对像素亮度影响的变化曲线及)运动物体像素的亮度变化曲线;
图12为雨滴覆盖对像素色彩分量的影响直方图。
具体实施方式
本发明涉及图像信息处理技术,主要是对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理,提高基于图像的目标检测、识别、追踪、分割和监控等技术的性能。以下将结合各个实施例详细说明本发明方法和系统的实现方式。
如图1所示,本实施例提供了一种小雨场景视频数据中雨滴的检测方法,其包括:
步骤100,抽取初始彩色视频图像中待处理的像素;
步骤200,判断上述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入预设范围的像素纳入初检结果,作为候选雨滴进行下一步步骤300的筛选,而对于不满足判断条件、未落入预设范围的像素判定为背景像素,不纳入初检结果。这里的预设范围的上限表示雨滴给像素带来的最大亮度变化值,下限表示雨滴给像素带来的最小亮度变化值,具体可参见雨滴覆盖对像素亮度变化影响的曲线图来设定。
步骤300,通过比较上述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对上述初检结果进行筛选,获得标记有雨滴像素的筛选结果,用以检测雨滴像素。这里设定阈值表示表征像素颜色属性的通道值的变化量阈值,由于大气、光等因素存在,每个像素都会随着时间有亮度上的变化,但是被雨滴覆盖后的像素的变化量是近似相等的,因此,通过基于雨滴色彩特性的值与设定阈值的比较,将非雨的运动物体像素从上述初见结果中排除掉。
本实施例中根据雨滴的亮度特性在小雨场景中利用相邻两帧间的亮度差进行是否是雨滴像素的初检,初检的结果在有效检测出雨滴的同时也会将其他非雨滴运动物体判断为疑似雨滴,于是就需要继续进行下一步的筛选排除非雨成分。进一步筛选时,利用雨滴变化的色彩特性进行非雨成分的筛选。由于受到了雨滴的影响,对于初检之后,相邻帧图像中像素颜色分量的变化量差异不大,可以近似相等,于是本实施例通过有关设定阈值的判断比较,将利用雨滴变化的色彩特性对初检结果进行进一步的筛选,从初检结果中排除非雨成分,提高本实施例计算的精确度,避免现有技术中雨滴漏检或误检而导致恢复图像模糊。
本实施例中预设范围可参见图11中雨滴对像素亮度影响的变化曲线及运动物体像素的亮度变化曲线来设定,基于典型的静态场雨滴对像素亮度的影响可知,雨线的亮度高于背景亮度主要是因为雨滴在成像的时候由于镜面反射、内反射、折射等作用汇聚了更广视场角范围内的光线。但是随着时间变化,雨滴像素的亮度值在亮度平均值上下的波动范围较小,这是受运动物体影响的像素所不具备的特征。图11(a)表示的是视频图像中雨滴像素的亮度变化曲线,而图11(b)表示的是受运动物体像素的亮度变化曲线,能很明显的看出两者是有很大差别,所以基于图11展示的内容即可确定上述预设范围,通过预设范围的设定在初检中排除受运动物体的影响而造成的亮度变化。
上述实施例中,步骤300提到的单通道可以为上述初始彩色视频图像在RGB彩色空间中的R通道值、G通道值和B通道值;如果初始彩色视频图像是YIQ色彩空间中的视频数据,则上述单通道可以是I通道值和Q通道值,当然如果是其他制式的彩色视频数据,也可以是其他用于表征不同颜色属性的通道值。上述两通道变化量之间的差值具体是指:像素分别对应在上述相邻两帧图像中表征一类颜色属性的单通道的变化量、与该像素分别对应在上述相邻两帧图像中表征另一类颜色属性的单通道的变化量之间差的绝对值。如果单通道为上述初始彩色视频图像在RGB彩色空间中的R通道值、G通道值和B通道值,则像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量可以表示为Rn-Rn-1、Gn-Gn-1、Bn-Bn-1,而两通道变化量之间的差值可以表示为|(Rn-Rn-1)-(Gn-Gn-1)|、|(Gn-Gn-1)-(Bn-Bn-1)|、|(Bn-Bn-1)-(Rn-Rn-1)|,其中,Rn表示第n帧像素点的R通道值,Rn-1表示第n-1帧像素点的R通道值;Gn表示第n帧像素点的G通道值,Gn-1表示第n-1帧像素点的G通道值;Bn表示第n帧像素点的B通道值,Bn-1表示第n-1帧像素点的B通道值。如此设定变化量的计算公式,原因是被雨滴覆盖的像素的R、G、B变化量是近似相等的,可用以直接进行非雨像素的筛选。
上述实施例中,步骤200的判断可以基于从初始彩色视频图像中提取的代表亮度信息的视频图像,比如RGB模式的彩色视频数据转换到YIQ色彩空间后获得的Y分量,或者用灰度图像表示代表亮度信息的视频图像。
上述实施例中,步骤100中抽取初始彩色视频图像中待处理的像素可以是:
首先,利用视频稳定技术对上述视频图像进行相位对齐;
然后,提取上述视频图像中的前N帧图像数据,利用帧高度和帧宽度值获得帧的总像素,这里的总像素为帧高度值和帧宽度值的乘积;
其次,从上述总像素中随机抽取M个像素作为上述待处理像素。
提取的帧数决定了计算机处理时间的长短,为了提高本实施例方法的处理时间,这里提取前N帧图像数据,比如RGB模式下视频图像转化到YIQ彩色空间上的Y分量数据的前N帧图像作为待处理对象,从而提高了方法处理的实时性,缩短了处理周期。在读入被雨滴污染的初始视频数据时可以采用matlab的mmreader函数,其中mov.numberofframes即为视频总帧数S,在获取帧高度和帧宽度值时通过调用size函数来获得。
基于上述实施例,如图2至图4所示,本实施例的方法中步骤300通过比较像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对上述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括以下步骤:
执行以下步骤301和302两个判断步骤中的任意一个或者两个的组合,对上述初检结果进行筛选:
步骤301,判断上述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值,
步骤302,判断上述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值;
步骤303,若选择执行上述两个判断步骤中的任意一个,如图2(其执行步骤301)或图3(其执行步骤302)所示,则将上述初检结果中满足上述涉及上述第一阈值或第二阈值判断条件的像素列为雨滴像素,进行标记,而将不满足上述涉及上述第一阈值或第二阈值判断条件的像素列为非雨运动物体像素,从上述初检结果中排除;
若选择执行上述两个判断步骤的组合,如图4所示,则将上述初检结果中同时满足上述涉及上述第一阈值和第二阈值判断条件的像素列为雨滴像素,进行标记,而将不满足上述涉及上述第一阈值和第二阈值判断条件中任意一个判断条件的像素列为非雨运动物体像素,从上述初检结果中排除。
本实施例中的相邻两帧图像优选当前帧图像与前一帧图像,具体实施可参见下述有关公式(1)或(2)的说明。
如果单通道为R通道值、G通道值和B通道值,则步骤301中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量的判断条件可以表示为以下公式(1)所示。
| R n - R n - 1 | > C 3 | G n - G n - 1 | > C 3 | B n - B n - 1 | > C 3                公式(1)
其中,Rn表示第n帧像素点的R通道值,Rn-1表示第n-1帧像素点的R通道值;Gn表示第n帧像素点的G通道值,Gn-1表示第n-1帧像素点的G通道值;Bn表示第n帧像素点的B通道值,Bn-1表示第n-1帧像素点的B通道值;C3表示上述第一阈值,用于表征通道变化阈值,由于大气光等因素存在,每个像素都会随着时间有亮度上的变化,设定阈值用于区分。如果采用其他彩色空间的表征颜色属性的单通道可以参照上述公式(1)设置单通道的变化量。上述实施例中,上述第一阈值的设定可以依据雨滴覆盖对像素色彩分量影响的直方图获得,由于大气、光等因素的存在,每个像素都会随着时间有亮度上的变化,第一阈值的设定必须排除这类情况。
如果单通道为上述初始彩色视频图像在RGB彩色空间中的R通道值、G通道值和B通道值;则上述步骤302中两通道变化量之间的差值的判断条件可以表示为以下公式(2)所示。
| ( R n - R n - 1 ) - ( G n - G n - 1 ) | < C 4 | ( G n - G n - 1 ) - ( B n - B n - 1 ) | < C 4 | ( B n - B n - 1 ) - ( R n - R n - 1 ) | < C 4            公式(2)
其中,Rn表示第n帧像素点的R通道值,Rn-1表示第n-1帧像素点的R通道值;Gn表示第n帧像素点的G通道值,Gn-1表示第n-1帧像素点的G通道值;Bn表示第n帧像素点的B通道值,Bn-1表示第n-1帧像素点的B通道值;C4表示上述第二阈值,表征通道值变化量的阈值,由于大气光和像素R、G、B通道本身的特性,△R、△G和△B并不严格相等,所以设定阈值C4可以保证△R、△G和△B近似相等。这样上述公式(1)和(2)叠加的约束条件可以有效的将雨滴和非雨运动物体区分开来,从而筛选掉候选雨滴中的非雨成分。如果采用其他彩色空间的表征颜色属性的单通道可以参照上述公式(2)设置上述两通道变化量之间的差值。
由于受雨滴影响的像素在RGB三个颜色通道上的变化量取决于它的背景颜色。因为RGB三原色光的波长并不相同,所以相应的折射角有细微差别,但是三原色的雨滴可视角都在165度附近。当背景的颜色,即RGB分量的大小和比例不相同时,三个颜色分量的变化量△R、△G和△B也有相应的微小差别,如图12所示,图12(a)列中被白色边界围出的区域为进行颜色分析的区域,(b)列是被分析区域像素的平均RGB值,(c)列代表像素受雨滴影响时的RGB颜色分量的平均变化量△R、△G和△B,三者的大小与图12(b)列展示的平均RGB值相关。从上图12可以发现像素受雨滴影响时各个颜色分量的变化量差异不大,可以近似为相等。于是基于图12的直方图可以设定上述第一阈值和第二阈值,检测雨滴像素,用于排除初检结果中非雨成分。
基于上述各个实施例,如图5所示,本实施例中的步骤200判断像素对应在相邻两帧图像中的亮度差是否落入预设范围、将落入预设范围的像素纳入初检结果的过程包括:
步骤201,提取上述初始彩色视频图像中连续的三帧图像;
步骤202,判断上述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入上述预设范围;
步骤203,判断上述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入上述预设范围;
步骤204,将同时满足上述步骤202和步骤203两个判断条件的像素纳入上述初检结果,而将不满足上述步骤202和步骤203中任意一个判断条件的像素列为背景像素。
本实施例中基于以下原理实现。由于有雨滴的覆盖,像素点的亮度会有变化,根据这一特性可对雨滴进行初检,而且是在小雨场景中,所以基本不会出现连续两帧被雨滴覆盖的情况。所以获得初检结果的原理表现为以下公式(3):
C1<In-In-1<C2&C1<In-In+1<C2            公式(3)
其中,In代表该像素在第n帧的亮度;In-1代表该像素在第n-1帧的亮度;In+1代表该像素在第n+1帧的亮度;C1表示为雨滴给像素带来的最小亮度变化值,即上述预设范围的下限值;C2表示为雨滴给像素带来的最大亮度变化值,即上述预设范围的上限值。由于在不同的时间,大气光或者其它反射光线会造成像素细微的变化,所以In-In-1不一定等于In-In+1。利用公式(3)式可以有效的检测出雨滴,同时也会将其它非雨滴运动物体判断为疑是雨滴,故将其总称为候选雨滴,纳入上述初检结果。
图5给出了本发明的最优实施例,其包括从上述步骤100、步骤201至204以及步骤300中选择执行步骤301和步骤302组合的方法过程,其完整的最优化的呈现了本发明小雨场景视频数据中雨滴的检测方法,提供了相比现有技术,雨滴检测精度更高、误检率低的检测方法。
基于上述各个实施提供的小雨场景视频数据中雨滴的检测方法,如图6所示,本实施例还提供一种小雨场景视频数据中雨滴的去除方法,具体包括:
上述小雨场景视频数据中雨滴检测方法的步骤,用以形成包含雨滴像素的筛选结果,雨滴检测方法的步骤包括以下步骤100至步骤300:
步骤100,抽取初始彩色视频图像中待处理的像素;
步骤200,判断上述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入预设范围的像素纳入初检结果,作为候选雨滴进行下一步步骤300的筛选,而对于不满足判断条件、未落入预设范围的像素判定为背景像素,不纳入初检结果。这里的预设范围的上限表示雨滴给像素带来的最大亮度变化值,下限表示雨滴给像素带来的最小亮度变化值,具体可参见雨滴覆盖对像素亮度变化影响的曲线图来设定。
步骤300,通过比较上述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对上述初检结果进行筛选,检测雨滴像素,获得标记有雨滴像素的筛选结果。这里设定阈值表示表征像素颜色属性的通道值的变化量阈值,由于大气、光等因素存在,每个像素都会随着时间有亮度上的变化,因此,通过基于雨滴色彩特性与设定阈值的比较,将非雨的运动物体像素从上述初见结果中排除掉。
步骤400,对上述筛选结果中的雨滴像素进行雨滴去除处理,获得恢复后的彩色视频图像。
上述步骤400中的雨滴去除处理采用中值法对上述雨滴检测结果中的像素进行处理,即针对雨滴检测结果中的像素,用前后两帧未被雨滴覆盖像素的平均值来替代该像素。具体原理参见以下述公式(4)的相关说明。
由于是在小雨场景的情况下,所以雨滴基本不会在连续两帧上出现,利用这一假设可以利用中值法对被雨滴影响的像素进行恢复。雨滴的恢复下述公式(4):
R n = ( R n + 1 + R n - 1 ) / 2 G n = ( G n + 1 + G n - 1 ) / 2 B n = ( B n + 1 + B n - 1 ) / 2            公式(4)
其中,Rn为检测出来的雨滴像素的R通道值,恢复的时候用前后帧未被雨滴覆盖像素的R通道的平均值进行恢复;Rn+1为该像素对应于第n+1帧图像中未被雨滴覆盖像素的R通道值;Rn-1为该像素对应于第n-1帧图像中未被雨滴覆盖像素的R通道值。Gn为检测出来的雨滴像素的G通道值,恢复的时候用前后帧未被雨滴覆盖像素的G通道的平均值进行恢复;Gn+1为该像素对应于第n+1帧图像中未被雨滴覆盖像素的R通道值;Gn-1为该像素对应于第n-1帧图像中未被雨滴覆盖像素的R通道值。Bn为检测出来的雨滴像素的B通道值,恢复的时候用前后帧未被雨滴覆盖像素的B通道的平均值进行恢复;Bn+1为该像素对应于第n+1帧图像中未被雨滴覆盖像素的R通道值;Bn-1为该像素对应于第n-1帧图像中未被雨滴覆盖像素的R通道值。
本实施例基于图6所提供的小雨场景视频数据中雨滴的去除方法中,步骤300通过比较像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对上述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括上述有关图2至图4的步骤301、302、303的执行方式,具体解释为步骤300包括:
执行以下步骤301和302两个判断步骤中的任意一个或者两个的组合,对上述初检结果进行筛选:
步骤301,判断上述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值,
步骤302,判断上述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值;
步骤303,若选择执行上述两个判断步骤中的任意一个,如图2(其执行步骤301)或图3(其执行步骤302)所示,则将上述初检结果中满足上述涉及上述第一阈值或第二阈值判断条件的像素列为雨滴像素,进行标记,而将不满足上述涉及上述第一阈值或第二阈值判断条件的像素列为非雨运动物体像素,从上述初检结果中排除;若选择执行上述两个判断步骤的组合,如图4所示,则将上述初检结果中同时满足上述涉及上述第一阈值和第二阈值判断条件的像素列为雨滴像素,进行标记,而将不满足上述涉及上述第一阈值和第二阈值判断条件中任意一个判断条件的像素列为非雨运动物体像素,从上述初检结果中排除。本实施例中的相邻两帧图像优选当前帧图像与前一帧图像,具体实施可参见上述有关公式(1)或(2)的说明。
上述各个实施例中有关步骤200的实现的最优实施例(参照上述有关图5的解释说明)以及上述各个步骤中具体细节的解释说明请参照上述有关小雨场景视频数据中雨滴的检测方法中的相关说明,在此不作累述。
基于上述有关小雨场景视频数据中雨滴的检测方法,如图7所示,本实施例提供了一种小雨场景视频数据中雨滴的检测系统700,其包括:
像素提取模块701,用于抽取初始彩色视频图像中待处理的像素;
初检模块702,用于判断该像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入预设范围的像素纳入初检结果;及
筛选模块703,用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选,获得标记有雨滴像素的筛选结果。
基于图7所示的系统结构和上述图2至图4的雨滴检测方法,上述筛选模块703包括以下两个单元中的任意一个或者两个的组合:
用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元、
用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值的单元;以及
用于在选择执行上述两个单元中的任意一个时,执行将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元;
用于在选择执行上述两个单元的组合时,执行将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。本实施例中有关筛选模块703内部功能单元的具体实现方式参见上述有关图2至图4的详细说明,在此不作累述。
基于图7所示的系统结构,如图8所示,上述初检模块702包括:
图像提取单元712,用于提取上述初始彩色视频图像中连续的三帧图像;
第一判断单元722,用于判断上述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入上述预设范围;
第二判断单元732,用于判断上述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入上述预设范围;及
输出单元742,用于将同时满足上述第一判断单元722和第二判断单元732判断条件的像素纳入上述初检结果。
上述各个实施例中有关系统中各个功能模块或单元中的具体细节的解释说明请参照上述有关小雨场景视频数据中雨滴的检测方法中的说明,在此不作累述。
基于上述图7至图8的小雨场景视频数据中雨滴的检测系统,如图9所示,本实施例还提供了一种小雨场景视频数据中雨滴的去除系统800,其包括:
上述有关小雨场景视频数据中雨滴的检测系统700的功能模块,获得标记有雨滴像素的筛选结果,雨滴检测系统700的功能模块包括以下模块701至模块703;
像素提取模块701,用于抽取初始彩色视频图像中待处理的像素;
初检模块702,用于判断该像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入预设范围的像素纳入初检结果;
筛选模块703,用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选;和
雨滴去除模块801,用于对上述筛选结果中的雨滴像素进行雨滴去除处理,获得恢复后的彩色视频图像。这里雨滴去除模块801采用上述中值法去除雨滴对像素的影响。
基于图9所示的系统结构,其中有关小雨场景视频数据中雨滴的检测系统700的结构及内部功能模块的细化,比如初检模块702和筛选模块703,均可以参见上述关于图7以及图8和结合图2至图4的相关说明,在此不作累述。
上述各个实施例中有关各个步骤或者系统中各个功能模块或单元中的具体细节的解释说明请参照上述有关小雨场景视频数据中雨滴的检测方法中的说明,在此不作累述。
图5给出了本发明的最优实施例,其包括从上述步骤100、步骤201至204以及步骤300中选择执行步骤301和步骤302组合的方法过程,其完整的最优化的呈现了本发明小雨场景视频数据中雨滴的检测方法,根据图5获得的包含雨滴像素的筛选结果,在利用中值法对检测出的雨滴像素进行处理,即用前后帧非雨像素的平均值代替来进行视频恢复。在Matlab中编程可以实现利用图5流程和中值法去除雨滴的小雨场景视频数据中雨滴的去除方法,证明可行。结果请见图10,分别取值三个不同场景的视频截图,第一行图为动态场景,有汽车运动,第二行和第三行为静态场景图。从左边开始向右,第一列(a)为原图,第二列(b)为雨滴初检结果的二值图像,第三列(c)为非雨成分筛选之后的二值图像,第四列(d)为去雨之后的图像。
与现有技术相比,本发明方法和系统步骤简洁、系统简单,方法的处理时间和空间复杂度低,处理速度快,实时性好。本发明在小雨场景中利用帧间亮度差和色彩特性能有效地检测出雨滴,检测的正确率高,误检率低,对视频造成的二次损害小。本发明可高效地处理小雨情况下的静态场景和动态场景,处理范围广,适用性高。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个非易失性计算机可读存储介质(如ROM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上上述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种小雨场景视频数据中雨滴的检测方法,其特征在于,所述方法包括:
抽取初始彩色视频图像中待处理的像素;
判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入所述预设范围的像素纳入初检结果;
通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选,获得标记有雨滴像素的筛选结果。
2.根据权利要求1所述的小雨场景视频数据中雨滴的检测方法,其特征在于,所述判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围、将落入所述预设范围的像素纳入初检结果的过程包括:
提取所述初始彩色视频图像中连续的三帧图像;
判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围;
判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围;
将同时满足上述两个判断条件的像素纳入所述初检结果。
3.根据权利要求1所述的小雨场景视频数据中雨滴的检测方法,其特征在于,所述通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小、对所述初检结果进行筛选获得标记有雨滴像素的筛选结果的过程包括:
执行以下两个判断步骤中的任意一个或者两个的组合,对所述初检结果进行筛选:
判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值,
判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值;
若选择执行上述两个判断步骤中的任意一个,则将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素;若选择执行上述两个判断步骤的组合,则将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素。
4.根据权利要求3所述的小雨场景视频数据中雨滴的检测方法,其特征在于,所述两通道变化量之间的差值为像素分别对应在所述相邻两帧图像中表征一类颜色属性的单通道的变化量、与该像素分别对应在所述相邻两帧图像中表征另一类颜色属性的单通道的变化量之间差的绝对值。
5.一种小雨场景视频数据中雨滴的去除方法,其特征在于,所述方法包括:
权利要求1至4所述任意一权利要求所述的小雨场景视频数据中雨滴的检测方法,获得标记有雨滴像素的筛选结果;
对所述筛选结果中的雨滴像素进行雨滴去除处理,获得恢复后的彩色视频图像。
6.根据权利要求5所述的小雨场景视频数据中雨滴的去除方法,其特征在于,所述雨滴去除处理采用中值法对所述雨滴像素进行处理。
7.一种小雨场景视频数据中雨滴的检测系统,其特征在于,所述系统包括:
像素提取模块,用于抽取初始彩色视频图像中待处理的像素;
初检模块,用于判断所述像素对应在相邻两帧图像中的亮度差是否落入预设范围,将落入所述预设范围的像素纳入初检结果;及
筛选模块,用于通过比较所述像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量和/或两通道变化量之间的差值与设定阈值的大小,对所述初检结果进行筛选,获得标记有雨滴像素的筛选结果。
8.根据权利要求7所述的小雨场景视频数据中雨滴的检测系统,其特征在于,所述筛选模块包括以下两个单元中的任意一个或者两个的组合:
用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征颜色属性的单通道的变化量是否大于第一阈值的单元、
用于执行判断所述初检结果中像素分别对应在相邻两帧图像中表征不同颜色属性的两通道变化量之间的差值是否小于第二阈值的单元;以及
用于在选择执行上述两个单元中的任意一个时,执行将所述初检结果中满足上述涉及所述第一阈值或第二阈值判断条件的像素列为雨滴像素的单元;
用于在选择执行上述两个单元的组合时,执行将所述初检结果中同时满足上述涉及所述第一阈值和第二阈值判断条件的像素列为雨滴像素的单元。
9.根据权利要求7所述的小雨场景视频数据中雨滴的检测系统,其特征在于,所述初检模块还包括:
图像提取单元,用于提取所述初始彩色视频图像中连续的三帧图像;
第一判断单元,用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在前一帧图像中的亮度值之间的差值是否落入所述预设范围;
第二判断单元,用于判断所述像素对应在当前帧图像中的亮度值与该像素对应在后一帧图像中的亮度值之间的差值是否落入所述预设范围;及
输出单元,用于将同时满足所述第一判断单元和第二判断单元判断条件的像素纳入所述初检结果。
10.一种小雨场景视频数据中雨滴的去除系统,其特征在于,所述系统包括:
权利要求7至9中任意一权利要求所述的小雨场景视频数据中雨滴的检测系统,获得标记有雨滴像素的筛选结果;及
雨滴去除模块,用于对所述雨滴像素进行雨滴去除处理,获得恢复后的彩色视频图像。
CN201410527740.0A 2014-09-30 2014-09-30 小雨场景视频数据中雨滴的检测与去除方法和系统 Active CN104299214B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410527740.0A CN104299214B (zh) 2014-09-30 2014-09-30 小雨场景视频数据中雨滴的检测与去除方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410527740.0A CN104299214B (zh) 2014-09-30 2014-09-30 小雨场景视频数据中雨滴的检测与去除方法和系统

Publications (2)

Publication Number Publication Date
CN104299214A true CN104299214A (zh) 2015-01-21
CN104299214B CN104299214B (zh) 2017-12-29

Family

ID=52318936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410527740.0A Active CN104299214B (zh) 2014-09-30 2014-09-30 小雨场景视频数据中雨滴的检测与去除方法和系统

Country Status (1)

Country Link
CN (1) CN104299214B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992420A (zh) * 2015-07-08 2015-10-21 中国科学院深圳先进技术研究院 一种视频雨滴去除方法
WO2017088564A1 (zh) * 2015-11-26 2017-06-01 努比亚技术有限公司 一种图像处理方法及装置、终端、存储介质
CN108029185A (zh) * 2015-09-24 2018-05-11 松下知识产权经营株式会社 照度取得装置、照明控制系统及程序
CN109636738A (zh) * 2018-11-09 2019-04-16 温州医科大学 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置
CN109949376A (zh) * 2019-02-25 2019-06-28 平安科技(深圳)有限公司 黑白图片的鉴别方法、装置、计算机设备和存储介质
CN113378635A (zh) * 2021-05-08 2021-09-10 北京迈格威科技有限公司 目标检测模型的目标属性边界条件搜索方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729828A (zh) * 2013-12-12 2014-04-16 中国科学院深圳先进技术研究院 视频去雨方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729828A (zh) * 2013-12-12 2014-04-16 中国科学院深圳先进技术研究院 视频去雨方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MIAO Y 等: "《Size and angle filter based rain removal in video for outdoor surveillance systems》", 《CONTROL CONFERENCE(ASCC),2011 8TH ASIAN》 *
张颖翔等: "《视频图像中雨滴检测与去除方法研究》", 《微型电脑应用》 *
蔡志祥等: "《一种雨景视频图像的复原方法》", 《电子测量与仪器学报》 *
陈春雨等: "《一种改进的视频图像中雨滴去除方法》", 《应用科技》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992420A (zh) * 2015-07-08 2015-10-21 中国科学院深圳先进技术研究院 一种视频雨滴去除方法
CN108029185A (zh) * 2015-09-24 2018-05-11 松下知识产权经营株式会社 照度取得装置、照明控制系统及程序
WO2017088564A1 (zh) * 2015-11-26 2017-06-01 努比亚技术有限公司 一种图像处理方法及装置、终端、存储介质
CN109636738A (zh) * 2018-11-09 2019-04-16 温州医科大学 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置
CN109636738B (zh) * 2018-11-09 2019-10-01 温州医科大学 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置
CN109949376A (zh) * 2019-02-25 2019-06-28 平安科技(深圳)有限公司 黑白图片的鉴别方法、装置、计算机设备和存储介质
CN113378635A (zh) * 2021-05-08 2021-09-10 北京迈格威科技有限公司 目标检测模型的目标属性边界条件搜索方法及装置

Also Published As

Publication number Publication date
CN104299214B (zh) 2017-12-29

Similar Documents

Publication Publication Date Title
CN104299214A (zh) 小雨场景视频数据中雨滴的检测与去除方法和系统
CN104318537A (zh) 大雨场景视频数据中雨滴的检测和去除方法及系统
CN104392468A (zh) 基于改进视觉背景提取的运动目标检测方法
CN107240084A (zh) 一种单幅图像去雨方法及装置
CN107818568A (zh) 一种视频马赛克检测方法
CN104599256A (zh) 基于单幅图像的去除图像雨线的方法和系统
CN104537634A (zh) 动态图像中去除雨滴影响的方法和系统
CN107705254A (zh) 一种基于街景图的城市环境评估方法
CN104182983B (zh) 基于角点特征的高速公路监控视频清晰度的检测方法
CN105447890A (zh) 一种抗光照影响的运动车辆检测方法
CN111815528A (zh) 基于卷积模型和特征融合的恶劣天气图像分类增强方法
CN110807406B (zh) 一种雾天检测方法及装置
Chen et al. Robust license plate detection in nighttime scenes using multiple intensity IR-illuminator
CN111145105A (zh) 一种图像快速去雾方法、装置、终端及存储介质
Zhao et al. Evaluation of defogging: A real-world benchmark dataset, a new criterion and baselines
CN102724541B (zh) 一种监控影像智能诊断恢复方法
CN112489055A (zh) 融合亮度-时序特征的卫星视频动态车辆目标提取方法
CN115527276A (zh) 基于面部光流场与纹理特性融合的深伪视频检测方法
CN105046670A (zh) 一种图像去雨方法及系统
CN114708532A (zh) 一种监控视频质量评估方法、系统及存储介质
Pal et al. Visibility enhancement techniques for fog degraded images: a comparative analysis with performance evaluation
CN104299234B (zh) 视频数据中雨场去除的方法和系统
Ding et al. Restoration of single sand-dust image based on style transformation and unsupervised adversarial learning
CN110264434B (zh) 一种基于低秩矩阵补全的单幅图像去雨方法
CN103942766A (zh) 一种基于时-空-频三域联合处理的雨天视频复原方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant