CN104331865A - 一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法 - Google Patents

Abstract

本发明公开了一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法，包括：S1、检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到雨候选像素集合中每个像素点对应的特征值；S2、使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像素点进行有雨区域和无雨区域的分类；S3、采用帧平均法进行雨滴去除，恢复被雨滴覆盖的像素点。本发明无需考虑降雨量大小不同的影响，对于雨滴形状、大小和速度等不同的情况均适用，应用范围较广；利用同一像素点在不同帧中仅亮度值发生波动这一特征，仅使用亮度值进行雨滴的检测，算法复杂度低。

Description

一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法。

背景技术

本发明主要用于计算机视觉中的图像恢复，户外视觉系统广泛应用于军事国防、医疗技术、智能交通、工业控制等领域，与我们的生活联系也越来越密切。但是恶劣天气严重影响了户外视觉系统的性能，所以对视频图像进行预处理，消除各种天气因素的影响，对于一个全天候的户外视觉系统来说是必不可少的。雨滴由于其复杂的光学、物理等特性对于雨天所摄取的视频质量造成很大的影响，去雨技术不仅可以恢复被雨滴影响的视频图像，而且有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。视频图像去雨技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来有关视频图像中雨滴检测与去除的研究越来越广泛。Starik等2003年最早提出中值法进行去雨，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到不受雨滴影响的原图像。这种方法简单快捷，但是只在雨势不大的情况下才能获得较为理想的效果。Garg和Nayar最先建立雨滴模型(K.Garg and S.K.Nayar,“Detection andremoval of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，而后提出了检测和去除的方法(K.Garg and S.K.Nayar,“Photorealistic rendering of rain streaks,”ACM Trans.Graph.,vol.25,no.3,pp.996–1002,Jul.2006；K.Garg and S.K.Nayar,“Vision and rain,”Int.J.Comput.Vis.,vol.75,no.1,pp.3–27,Oct.2007)文中研究了雨的动力学和光学特性，提出一种帧差法进行雨滴检测，利用前后帧图像信息进行雨滴去除的方法。通过拟合同一雨滴中的像素在受雨滴影响前后的亮度差值与背景亮度的线性比值辨别是否为雨滴，但雨滴通常面积较小，拟合易受噪声干扰，同时该方法还需已知摄像曝光时间。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,NgT K.Rain removal in video by combining temporal and chromatic properties.In:Proceedings of the 2006 International Conference on Multimedia and Expo.Toronto,Canada:IEEE,2006.461464)提出K-means聚类的方法检测雨滴，并加入了雨滴的色彩特性来减少检测的误差，实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rain and snow infrequency space.Internatio-nal Journal of Computer Vision,2010,86(23):256274)基于全局模型获取雨雪典型的频域特征，对降雨视频序列做三维傅里叶变换，在频域消除雨滴，再反变换至视频图像，但是这种方法要求雨雪有较高的下降速度，适用范围受限。2008年BrewerN等假设已知曝光时间、焦距等参数的前提下，提出利用雨的物理特征，如雨线长宽比、雨滴面积等来实现雨滴的检测(Brewer N,Liu N J.Using the shape characteristics of rain to identify andremove rain from video.In:Proceeding of the 2008 Joint IAPR InternationalWorkshop on Structural,Syntactic,and Statistical Pattern Recognition.Berlin,Hei-delberg:Springer-Verlag,2008,5342:451458)，但是由于噪声的影响，会对雨线长宽比等参数造成干扰，从而导致无法准确的进行雨滴检测。

之后出现了基于单幅图像去雨的方法，基于单幅图像去雨算法是其中一种较为新颖的算法，不仅可以对单幅图像进行去雨，也可应用到视频去雨当中，所以使用范围更广。Yu-Hsiang Fu等(Fu Y H,Kang L W,Lin C W,et al.Single-frame-based rain removal via image decomposition.In:Proceeding of 2011 IEEEInternatio nal Conference on Acoustics,Speech and Signal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)和Li-Wei Kang等(Kang L W,Lin CW,Fu Y H.Automatic single-image-based rain streaks removal via imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了使用图像分解的方法进行单幅图像去雨；De-An Huang等(Huang D A,KangL W,Yang M C,et al.Context-aware single image rain removal.In:Proceeding of2012 IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEE Press,2012:164-169.)提出了通过情景感知去雨；Jaina George等(George J,Bhavani S,Jaya J.Certain explorations on removal of rain streaks usingmorphological component analysis.International Journal of Engineering Research&Technology.2013,2(2).)提出使用形态学成分分析的方法进行去雨；Duan-Yu Chen等(Chen D Y,Chen C C,Kang L W.Visual depth guided image rain streaks removalvia sparse coding.In:Proceeding of2012 International Symposium on IntelligentSignal Processing and Communications Systems.New Taipei,Taiwan:IEEE,2012:151-156.)通过引导滤波和稀疏编码进行去雨。

然而现有技术具有以下缺点：

需要针对不同的降雨量使用不同的雨滴检测与去除方法，比如大雨、小雨需要使用不同的算法，适用性较差。

需要利用雨滴的色彩特性、亮度特性、时空特性等，在多维空间进行雨滴的检测，算法复杂度较高；

当视频中存在运动的物体时，雨滴的检测受到干扰，去雨效果受到影响。

因此，针对上述技术问题，有必要提供一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法。

发明内容

有鉴于此，本发明的目的在于提供了一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法，其不需要假定不同降雨量情况下雨滴的形状、大小和速度等，适用性高，且雨滴的漏检率较低。

为了达到上述目的，本发明实施例提供的技术方案如下：

一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法，所述方法包括：

S1、检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到雨候选像素集合中每个像素点对应的特征值；

S2、使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像素点进行有雨区域和无雨区域的分类；

S3、采用帧平均法进行雨滴去除，恢复被雨滴覆盖的像素点。

作为本发明的进一步改进，所述步骤S1包括：

获取视频中若干帧图像中像素的亮度值；

通过计算像素点偏度值，其中x₁,x₂,x₃,...,x_n为像素点的样本亮度，K为偏度值，为样本均值，s为样本的标准差；

设定偏度值阈值，将所有小于偏度值阈值的像素点构建为有雨候选像素集合。

作为本发明的进一步改进，所述步骤S1中特征值包括波动范围和传播非对称性。

作为本发明的进一步改进，所述波动范围和传播非对称性具体为：

$\mathrm{range}(m,n)=\underset{l}{\max }\left(p_l(m,n)\right)-\underset{l}{\min }\left(p_l(m,n)\right),$

spread asymmetry(m,n)＝|A-B|，

$A=\mathrm{std}\underset{l}{\mathrm{dev}}\left(p_l(m,n)\right|p_l(m,n)>c)$

$B=\mathrm{std}\underset{l}{\mathrm{dev}}\left(p_l(m,n)\right|p_l(m,n)<c),$

$C=\underset{l}{\mathrm{mean}}\left(p_l(m,n)\right)$

其中，p_l(m,n)是第l帧位于(m,n)处的亮度值，Std dev表示标准差，mean表示均值，波动范围和传播非对称性特征是在帧长l＝(2N+1)的距离上计算得出的，取中心帧和其前其后各N帧。

作为本发明的进一步改进，所述步骤S2中特征值的最小阈值：

波动范围最小阈值T₁，有雨区域像素点亮度最大值和最小值之间的差距；

传播非对称性最小阈值T₂，有雨区域亮度在均值之上或之下的像素点标准差之间差值的绝对值。

作为本发明的进一步改进，所述步骤S2中“使用朴素贝叶斯分类器优化特征值的最小阈值”为基于朴素贝叶斯概率模型进行：

$v_{\mathrm{NB}}=\arg \max P\left({\mathrm{\&omega;}}_j\right)\underset{i}{\mathrm{\&Pi;}}P({\mathrm{\&alpha;}}_i/{\mathrm{\&omega;}}_j),$

其中，V_NB表示像素类型，取值为雨或非雨；α_i表示波动范围和传播非对称性两个特征，ω_j为各特征对应的类别，P(ω_j)为先验概率，P(α_i/ω_j)为后验概率。

本发明具有以下有益效果：

无需考虑降雨量大小不同的影响，对于雨滴形状、大小和速度等不同的情况均适用，应用范围较广；

利用同一像素点在不同帧中仅亮度值发生波动这一特征，仅使用亮度值进行雨滴的检测，算法复杂度低；

雨滴的漏检率较低，使用连续多帧的图像信息进行雨滴的去除，恢复后的图像效果更好。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中视频雨滴检测与去除方法的流程示意图。

图2为本发明一具体实施方式中有雨区域(第一列)和无雨区域(第二列)像素点的亮度波形图。

图3(a)为本发明一具体实施方式中静态背静视频中连续15帧有雨区域和无雨区域波动范围和非对称性特征的像素分布；

图3(b)为本发明一具体实施方式中动态背静视频中连续15帧有雨区域和无雨区域波动范围和非对称性特征的像素分布。

图4(a)为本发明一具体实施方式中静态背静视频中连续15帧中有雨和无雨区域的波动范围概率分布；

图4(b)为本发明一具体实施方式中静态背静视频中连续15帧中有雨和无雨区域的传播非对称性概率分布。

图5(a)为本发明一具体实施方式中动态背静视频中连续15帧中有雨和无雨区域的波动范围概率分布；

图5(b)为本发明一具体实施方式中动态背静视频中连续15帧中有雨和无雨区域的传播非对称性概率分布。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明在已有视频去雨算法的基础上进行改进，针对已有算法往往需要区分不同的降雨量，无法适用于雨滴大小、形状不同情况的缺点，提出一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法。

参图1所示，本发明中的视频雨滴检测与去除方法主要包括以下步骤：

S1、特征检测：

检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到雨候选像素集合中每个像素点对应的特征值；

S2、朴素贝叶斯模型进行雨滴检测：

使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像素点进行有雨区域和无雨区域的分类；

S3、帧平均法进行雨滴去除：

采用帧平均法进行雨滴去除，恢复被雨滴覆盖的像素点。

其中，步骤S1包括：

获取视频中若干帧图像中像素的亮度值；

通过|计算像素点偏度值，其中x₁,x₂,x₃,...,x_n为像素点的样本亮度，K为偏度值，为样本均值，s为样本的标准差；

设定偏度值阈值，将所有小于偏度值阈值的像素点构建为有雨候选像素集合。

以下对本发明的具体原理进行进一步说明。

1)雨滴特性分析

经过验证得知，在视频连续多帧的图像中，雨滴的色彩特性等不会发生变化，而亮度特性会产生改变，因此利用连续多帧图像中雨滴亮度值的波动情况进行雨滴的检测。

观察不同帧中同一像素点的实时亮度波形，有雨区域(第一列)和无雨区域(第二列)像素点的亮度波形如图2所示，可以观察到有雨区域像素点的亮度在均值附近的分布更有规律，y轴的变化幅度表明有雨像素的亮度值变化更小。因此可知，有雨区域像素点的最大亮度值与最小亮度值的差别限定在一个更小的阈值中，相比之下，运动物体的亮度变化较大。

波形中偏离均值的程度用偏度进行衡量。数据样本x₁,x₂,x₃,...,x_n的偏度如式(1)中计算得出：

$K=\left|\underset{i=1}{\overset{n}{\mathrm{\&Sigma;}}}{\left(\frac{x_i-\stackrel{\&OverBar;}{x}}{s}\right)}^3\right|---\left(1\right)$

其中，K为偏度值，为样本均值，s为样本的标准差。

由图2可知，有雨区域像素点的偏度必小于无雨区域像素点的偏度，相比于无雨区域，有雨区域像素点的亮度波形有更好的对称性。

2)雨滴检测

在雨势较大的情况下，同一像素点可能在多帧中都受到影响，本实施方式中测试连续五帧图像中像素亮度的变化情况。由于有雨区域和无雨区域像素点的亮度变化可以根据波形的对称性来区分，定义波动范围(range)和传播非对称性(spreadasymmetry)两个特征量，分别如式(2)、式(3)中所示：

$\mathrm{range}(m,n)=\underset{l}{\max }\left(p_l(m,n)\right)-\underset{l}{\min }\left(p_l(m,n)\right)---\left(2\right)$

spread asymmetry(m,n)＝|A-B|     (3)

$A=\mathrm{std}\underset{l}{\mathrm{dev}}\left(p_l(m,n)\right|p_l(m,n)>c)$

$B=\mathrm{std}\underset{l}{\mathrm{dev}}\left(p_l(m,n)\right|p_l(m,n)<c)---\left(4\right)$

$C=\underset{l}{\mathrm{mean}}\left(p_l(m,n)\right)$

其中，p_l(m,n)是第l帧位于(m,n)处的亮度值，Std dev表示标准差，mean表示均值，以上特征是在帧长l＝(2N+1)的距离上计算得出的，取中心帧和其前其后各N帧。连续15帧中有雨区域和无雨区域像素点的两个特征显示如图3(a)、3(b)所示，由图中可以看出，利用波动范围与传播非对称性这两个特征足够将有雨像素和无雨像素区分开。

波动范围衡量有雨区域像素点亮度最大和最小值之间的差距，设定最小阈值为T₁。传播非对称性是亮度在均值之上或之下的像素点标准差之间差值的绝对值，有雨区域的最小阈值为T₂。为优化这两个阈值，采用朴素贝叶斯分类器。

朴素贝叶斯分类器是基于贝叶斯理论的简单的概率模型，有较强的独立性假设，更具体地说是更独立的特征模型。朴素贝叶斯分类器结合朴素贝叶斯概率模型和决策树，如最大后验或MAP决策树。

$v_{\mathrm{NB}}=\arg \max P\left({\mathrm{\&omega;}}_j\right)\underset{i}{\mathrm{\&Pi;}}P({\mathrm{\&alpha;}}_i/{\mathrm{\&omega;}}_j)---\left(5\right)$

其中，V_NB表示像素类型，取值为雨或非雨；α_i表示特征，这里波动范围与传播非对称性即为两个特征，ω_j为各特征对应的类别。P(ω_j)为先验概率，P(α_i/ω_j)为后验概率。关于分类(有雨区域和无雨区域)的决策依据MAP决策理论进行，其中C是目标分类集，P(α_i/ω_j)为特征α_i属于给定类型ω_j的概率。

有雨像素与无雨像素的先验概率之和是固定的，如果是大雨则有雨像素的先验概率大于无雨像素的先验概率，若是小雨则有雨像素的先验概率小于无雨像素的先验概率。从某特定的一帧中得到的后验概率分布适用于视频中其他所有的帧。本实施方式中有雨区域和无雨区域像素点的后验概率分布如图4(a)、4(b)以及5(a)、5(b)中所示。

3)图像恢复

由于同一像素点在连续不同帧中的亮度值关于均值是对称分布的，因此可以依据亮度波形中对应的均值来恢复被雨滴覆盖的像素点。本实施方式中采用连续2N+1帧连续图像进行雨滴的去除。

本发明一具体实施例中视频雨滴检测与去除的具体算法流程如下：

初始化相关值：k：检测窗长度(奇数)；l：恢复的窗长度(奇数)；L：

视频帧数目；P(rain)＝P(nonrain)＝0.5；

P(range/rain),P(range/nonrain),P(spread asymmetry/rain),P(spread asymmetry/nonrain)用预先计算得到的值进行初始化。

STEP1：由第i帧开始，

STEP2：检测连续k帧图像中像素的亮度变化，从第帧到帧，该亮度变化比从雨滴候选像素集(k＝5)的阈值TR大；

STEP3：从有雨候选像素(S_C)中移除所有静态和运动的边缘像素，并构成新的集合(S_p)；

STEP4：找到(S_p)中每个像素对应的特征(波动范围、传递非对称性)值；

STEP5：使用朴素贝叶斯分类器将各像素分到有雨区域和无雨区域两类；

STEP6：使用前后帧(从第帧到帧)的均值恢复被雨滴覆盖的像素；

STEP7：递增帧计数器i＝i+1，重复STEP2-7直到

按照此方法进行雨滴的去除，并恢复被雨滴覆盖的像素。

本发明对雨滴在连续多帧中的特性变化进行了检测，只使用不同帧间亮度值的改变来进行雨滴的检测，减少了算法的复杂度；使用朴素贝叶斯概率模型合理选定用于区分有雨像素和无雨像素的特征阈值，该模型可以根据雨势的大小对阈值参数自动调节，因此可以适用于不同的降雨量情况；利用前后多帧的平均亮度等信息进行雨滴的去除，使得恢复的图像准确率较高。

由以上技术方案可以看出，本发明具有以下有益效果：

无需考虑降雨量大小不同的影响，对于雨滴形状、大小和速度等不同的情况均适用，应用范围较广；

利用同一像素点在不同帧中仅亮度值发生波动这一特征，仅使用亮度值进行雨滴的检测，算法复杂度低；

雨滴的漏检率较低，使用连续多帧的图像信息进行雨滴的去除，恢复后的图像效果更好。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (6)

1.一种基于朴素贝叶斯概率模型的视频雨滴检测与去除方法，其特征在于，所述方法包括：

S1、检测视频中若干帧图像中像素点的亮度变化，构建有雨候选像素集合，并找到雨候选像素集合中每个像素点对应的特征值；

S2、使用朴素贝叶斯分类器优化特征值的最小阈值，将雨候选像素集合中的各像素点进行有雨区域和无雨区域的分类；

S3、采用帧平均法进行雨滴去除，恢复被雨滴覆盖的像素点。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：

获取视频中若干帧图像中像素的亮度值；

通过计算像素点偏度值，其中x₁，x₂，x₃，...，x_n为像素点的样本亮度，K为偏度值，为样本均值，s为样本的标准差；

设定偏度值阈值，将所有小于偏度值阈值的像素点构建为有雨候选像素集合。

3.根据权利要求1所述的方法，其特征在于，所述步骤S1中特征值包括波动范围和传播非对称性。

4.根据权利要求3所述的方法，其特征在于，所述波动范围和传播非对称性具体为：

$\mathrm{range}(m,n)=\underset{l}{\max }\left(p_l(m,n)\right)-\underset{l}{\min }\left(p_l(m,n)\right),$

spread asymmetry(m，n)＝|A-B|，

$A=\mathrm{std}\underset{l}{\mathrm{dev}}\left(p_l(m,n)\right|p_l(m,n)>c)$

$B=\mathrm{std}\underset{l}{\mathrm{dev}}\left(p_l(m,n)\right|p_l(m,n)<c),$

$C=\underset{l}{\mathrm{mean}}\left(p_l(m,n)\right)$

其中，p_l(m，n)是第1帧位于(m，n)处的亮度值，Std dev表示标准差，mean表示均值，波动范围和传播非对称性特征是在帧长l＝(2N+1)的距离上计算得出的，取中心帧和其前其后各N帧。

5.根据权利要求3所述的方法，其特征在于，所述步骤S2中特征值的最小阈值：

波动范围最小阈值T₁，有雨区域像素点亮度最大值和最小值之间的差距；

传播非对称性最小阈值T₂，有雨区域亮度在均值之上或之下的像素点标准差之间差值的绝对值。

6.根据权利要求5所述的方法，其特征在于，所述步骤S2中“使用朴素贝叶斯分类器优化特征值的最小阈值”为基于朴素贝叶斯概率模型进行：

$v_{\mathrm{NB}}=\arg \max P\left({\mathrm{\&omega;}}_j\right)\underset{i}{\mathrm{\&Pi;}}P({\mathrm{\&alpha;}}_i/{\mathrm{\&omega;}}_j),$

其中，V_NB表示像素类型，取值为雨或非雨；α_i表示波动范围和传播非对称性两个特征，ω_j为各特征对应的类别，P(ω_j)为先验概率，P(α_i/ω_j)为后验概率。