CN104021527B - 一种图像中雨雪的去除方法 - Google Patents

Abstract

本发明公开了一种图像雨雪去除方法，包括如下步骤，S1：获取视频帧，建立该视频帧颜色模型并将其转换为HIS颜色模型；S2：对S1中转换得到的HIS颜色模型中所有像素点的亮度值进行提取，得到亮度值矩阵；S3：对S2中得到的亮度值矩阵进行标量卡尔曼滤波处理；S4：利用S3滤波处理后的亮度矩阵，对S1得到的视频帧进行图像复原；S5：将复原后的视频帧转换成S1中获取的视频帧的颜色模型输出。本发明计算量小，能够实现静态场景下的视频图像处理后图像清晰、无雨雪点并且实用性强。

Description

一种图像中雨雪的去除方法

技术领域

本发明涉及视频图像处理技术领域，具体而言，是一种图像中雨雪的去除方法。

背景技术

随着计算机、网络、通信、流媒体等技术的日趋成熟与完善，视频在社会生产生活中的应用日益广泛。在智能视频监控、导航、遥感、车牌识别等计算机视觉系统中，视频是最主要的信息来源。然而这些系统功能都是基于正常的天气条件考虑设计的，尽管户外视频监控系统的应用领域非常广泛，但是在雨、雪等恶劣天气中不能很好地发挥其应有的作用。在雨雪天气情况下，从户外监控系统获取的视频图像中可以看到视频画面中出现了许多随机分布的亮点，这些亮点剧烈的冲击作用对人眼造成了视觉冲击，形成了雨雪降落的动态效果。总之，在雨雪天气下，空中的雨线和雪花使景物能见度大幅度降低，各种系统获取的图像模糊不清，对比度降低，视频图像出现严重的失真现象，大大降低了图像的使用价值。为了保证户外监控系统能够适应各种天气情况，在雨雪等恶劣条件下也能正常地工作，所以非常有必要对大气中的雨雪进行去除研究，对获取的图像进行修复，消除天气因素的干扰，提高系统的稳定性。

视频图像雨雪去除研究工作起步较晚，最近一段时间才逐渐被研究人员关注。目前已有的方法大多数集中在雨滴去除研究中，雪花去除研究较少，而且大部分对于大雨的去除效果不佳，现列举出几种现有的方法：1、Starik和Werman于2003年利用用时域上的中值滤波技术对视频图像中的雨滴进行了去除研究，在小雨情况下，这个方法可以成功地去除视频图像中的雨滴，但是在大雨情况下，该方法会导致图像细节模糊，并且处理后雨线依然很明显，去除效果较差。

2、Garg和Nayar于2004年提出了一种比较全面的雨滴去除方法理 论，他们认为视频图像中受雨滴影响的像素点的亮度值变化幅度较大，可以通过计算前后若干相邻帧的差值，并设定一定的阈值来检测雨滴像素点。为了去除误检雨滴，又利用雨滴亮度模型和雨滴动力模型进一步去除误检雨滴，。该算法仅适用于中小雨算法，在大雨或暴雨情况下，该方法不能很好地区分雨滴像素和运动物体像素，会产生很多误检。

3、Garg和Nayar于2005年提出了通过调节摄像头参数的方法进行去雨工作。但是仅是对摄像头参数的调节，但是雨雪天气时，还是会对暴漏在外部的镜头有影响，所以，单一的只调节摄像头参数，不能够充分地得到清晰、无雨雪点的图像，有时必须还要和上述方法相结合才能得到更清晰的图像。

另外，还有一些对图像雨雪的去除方法，Zhang于2006年提出了一种基于颜色模型的方法，该方法认为受到雨滴影响的像素值，R、G、B分量的变化量几乎是相同的，同时利用放大技术和高斯模糊技术来检测和去除雨线。Brewer于2008年提出了一种基于雨滴形状特征的算法，该方法通过定位呈现钉子状的区域的局部信息来检测和去除雨滴，能很好地检测出动态场景中的雨滴，但是在大雨情况下，该方法失效。Zhao于2008年同时也提出了一种直方图模型方法，该方法假设雨滴像素和非雨滴像素有着不同的直方图分布，利用K-Means算法对时间轴上的像素进行聚类(K＝2)。Barnum于2008年提出了一种基于频域的雨滴去除方法，该方法通过建立模糊高斯模型来估计雨滴产生的模糊情况，用频域滤波器来减弱雨滴的可见度。Bossu于2011年提出了一种基于混合高斯模型的方法。该方法先利用雨线的大小和亮度获取候选雨滴，然后利用混合高斯模型来估计雨线的方向。Y.H.Fu，L.W.Kang和C.W.Lin于2011年首次提出了单帧去雨算法，进行了理论上的创新。该方法首先通过MCA(形态分量分析)算法将单张视频图像分解成高频和低频两部分，然后利用字典学习和稀疏编码技术将高频成分解为雨滴成分和非雨滴成分，然后去除分解出来的雨滴成分。Tripathi和Mukhopadhyay于2012年提出了一 种时域统计模型来去除雨滴。为了区分雨滴和运动物体，该方法提取了时间轴上的两种属性特征，一个是像素波动范围，另一个是对称度。该方法认为雨滴像素的亮度变化曲线图是比较对称的，雨滴像素波动范围是比较小的，但是实验证明，如果背景比较暗，但是雨滴又特别亮，就会导致很多雨滴漏检。

发明内容

为了解决现有技术中对图像中雨雪处理的方法计算量大、操作方法繁复，只能应用于静态场等技术缺陷，本发明公开了一种图像中雨雪去除的方法，实现最大限度的降低计算量，简化方法，并且能够同时去除图像中雨雪的目的。

为达到上述目的，本发明提供一种视频图像雨雪去除方法，包括如下步骤，

S1：获取视频帧，建立该视频帧颜色模型并将其转换为HIS颜色模型；

RGB颜色模型主要用于计算机或电视机的颜色显示系统。在计算机上定量处理色彩时通常采用RGB颜色模板，但是在视觉上定性描述色彩时采用HIS颜色模型则更为直观。H、I、S分别表示色调、亮度或强度、饱和度，它们是人眼中认识颜色的三个特征。亮度是指人眼对光源或物体明亮的感觉，一种来说与物体的反射率成反比。雨雪点在视频图像HIS模型中表现最明显的是亮度值，因此本发明将视频图像的颜色模型转换为HIS颜色模型，对HIS颜色模型中的雨雪点亮度进行处理。

S2：对S1中转换得到的HIS颜色模型中所有像素点的亮度值进行提取，得到亮度值矩阵；雨雪点在HIS颜色模型的视频图像中亮度值变化程度特别高，因此仅仅将该HIS颜色模型中的像素点的亮度值进行提取，得到亮度矩阵，对该亮度矩阵中的像素点的亮度值变化范围大的像素点进行处理就能达到去除视频图像中的雨雪点。

S3：对S2中得到的亮度值矩阵进行标量卡尔曼滤波处理；

S4：利用S3滤波处理后的亮度矩阵，对S1转换得到的视频帧进行图像复原；

S5：将复原后的的视频帧转换成S1中获取的视频帧的颜色模型输出。

进一步地，S1中视频帧的颜色模型包括RGB颜色模型。

进一步地，将RGB颜色模型转换为HIS颜色模型的方法包括球体彩色转换方法、圆柱体彩色转换方法、三角转换方法。将RGB颜色模型转换为HIS颜色模型的方法有多种，球体彩色转换方法、圆柱体彩色转换方法、三角转换方法都是HIS颜色模型转换的较佳形式，其中，三角变换的HIS算法可以很好的保留源图像的源光谱信息和空间分辨率，运算量较小，且易于实现。

进一步地，S4的具体操作方法为：

(1)获取第一帧亮度矩阵中某个像素点的初始状态下亮度值X_K-1、及初始方差P_K-1、系统噪声Q；卡尔曼滤波包括两个过程，主要是预估与校正。本发明利用系统给出的上述三个初始值对下一帧中某一像素点的亮度值及方差进行预估和校正。要估算是第k帧一确定点的亮度值X_K，首先要根据前一帧(即k-1帧)的亮度值X_K-1来预测第k帧的亮度值X_K，系统给出了视频帧中的初始值，方便计算下一帧中的某一确定点的亮度值。计算下一帧中某一像素点的亮度值需要利用两个值：上一帧的该像素点的亮度值、以及上一帧计算方差，利用上一帧的像素点的亮度值以及方差求得下一帧该像素点的亮度值，并将下一帧的计算方差求得，为下下一帧的计算做准备。

(2)测量该像素点的亮度值Y_K；，测量亮度值Y_K与实际亮度值之间的偏差为R，并利用系统噪声Q、偏差R、以及初始方差P_K-1计算该像素点在第一帧及下一帧中的亮度值的变化幅度Kg；进行预估下一帧该像素点亮度值要利用该点的测量值，测量得到的该像素点的亮度值Y_K，本发明的算法是在静态场景下的对视频图像中的雨雪点进行的去除，因此每 一帧的亮度矩阵基本是恒定的，所以会得到第k帧的亮度值X_K和第k-1帧的亮度值X_K-1是基本一致的。而该像素点测量的亮度值与实际亮度值之间会存在误差，这个误差的比例幅度就是Kg。计算下一帧中该像素点的亮度值利用的是上一帧的方差、系统噪声、以及上一帧中的该像素点的亮度值与实际亮度值之间的误差，本发明中用R表示，且认为该误差在每一帧中的误差值都是不变的。

(3)估算该像素点在下一帧中的亮度值X_K；

(4)更新下一帧的方差P_K。更新下一帧的方差P_K为计算下下一帧的亮度值做铺垫。每一帧中像素点的亮度值计算都是利用上一帧中对应的像素点的亮度值及上一帧的计算方差。

进一步地，S4中步骤(2)中计算亮度值变化幅度Kg具体操作为

K_g ²＝(P_K-1+Q)/(P_K-1+Q+R²)，其中Q表示系统噪声，R表示测量偏差。

进一步地，S4中步骤(3)的具体操作如下

X_K＝X_K-1+Kg(Y_K-X_K-1)。

进一步地，更新下一帧的偏差P_K的具体操作为

P_K＝(P_K-1+Q)(1-K_g)。

本发明中，认为系统噪声Q以及偏差R是不变的。

综上，本发明计算量小，能够实现静态场景下的视频图像处理后图像清晰、无雨雪点并且实用性强。

附图说明

图1为本发明的流程示意图；

图2为本发明中标量卡尔曼滤波的流程示意图；

图3a为本发明处理视频帧图像前的像素点亮度值幅度示意图；

图3b为本发明处理视频帧图像后的像素点亮度值幅度示意图。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

如图1所示为一种图像中雨雪的去除方法，该方法包括如下步骤，S1：获取视频帧，建立该视频帧颜色模型并将其转换为HIS颜色模型；S2：对S1中转换得到的HIS颜色模型中所有像素点的亮度值进行提取，得到亮度值矩阵；S3：对S2中得到的亮度值矩阵进行标量卡尔曼滤波处理；S4：利用S3滤波处理后的亮度矩阵，对S1得到的视频帧进行图像复原；S5：将复原后的的视频帧转换成RGB颜色模型输出。S1中视频帧的颜色模型包括RGB颜色模型。将RGB颜色模型转换为HIS色彩模型的方法包括球体彩色转换方法、圆柱体彩色转换方法、三角转换方法。如图2所示，S4的具体操作方法为：(1)获取第一帧亮度矩阵中某个像素点的初始状态下亮度值X_K-1、及初始方差P_K-1、系统噪声Q；(2)测量该像素点的亮度值Y_K，测量得到的亮度值Y_K与实际亮度值之间的偏差为R，并利用系统噪声Q、偏差R、及初始方差P_K-1计算该像素点在第一帧及下一帧中的亮度值的变化幅度Kg；(3)估算该像素点在下一帧中的亮度值X_K；(4)更新下一帧的偏差P_K。S4中步骤(2)中计算亮度值变化幅度Kg具体操作为Kg²＝(P_K-1+Q)/(P_K-1+Q+R²)，其中Q表示系统噪声，R表示测量偏差。S4中步骤(3)的具体操作如下X_K＝X_K-1+Kg(Y_K-X_K-1)。更新下一帧的偏差PK的具体操作为P_K＝(P_K-1+Q)(1-Kg)。

相比较于其它算法，本发明的图像中雨雪去除方法处理视频图像中雨雪具有速度快、去除雨雪后图像清晰度高的特点。表1给出了不同算法处理Pool视频序列、Template视频序列、Forest视频帧序列、Night视频帧序列的处理时间对比。

表1

当且仅当视频帧的颜色空间格式为非HSI时进行转换。

本实施方式采用三角转换法将RGB颜色模型转换为HIS颜色模型为例进行讲解。

将RGB颜色模型转换为HIS颜色模型后提取视频帧中的亮度通道(即I通道)，得到亮度矩阵，即将HIS三通道的视频帧中的亮度(Intensity)通道提取出来，单独形成一个亮度矩阵。然后对该亮度矩阵进行卡尔曼滤波处理。假设该视频图像有N帧，那么该视频图像的第一帧的亮度值及方差将作为该系统的初始值获得。下面以估算第K帧中的某一个像素点的亮度值X_K进行说明。计算该像素点在第K帧的亮度值利用该像素点第K-1帧的亮度值X_K-1、第K-1帧的方差P_K-1。系统的噪声Q是已知且不变的。其次，测量该像素点第K帧的亮度像素值Y_K，假设测量值Y_K与该点实际值之间的偏差为R，那么可以得到该点实际值与估算 值之间的变化幅度Kg际可以利用第K-1帧的方差、系统噪声Q及偏差R得到，

即，K_g ²＝(P_K-1+Q)/(P_K-1+Q+R²)。

因为在静态场景下，每一帧的亮度矩阵基本是恒定的，所以会得到第k帧的亮度值X_K和第k-1帧的亮度值X_K-1是基本一致的。

那么该点在第K帧的亮度值为：X_K＝X_K-1+Kg(Y_K-X_K-1)。

图3a和图3b为利用本发明算法处理前后视频帧图像对比图。图3a中的曲线图表示雨或雪经过视频图像中像素点时像素点的亮度值变化。雨线或雪花经过的像素点光强增强，其对应的雨滴或雪花像素时域波动幅度较大。图3b为去除雨雪后的图像，由图中可明显看到图像中像素点雨滴或雪花像素时域波动幅度趋缓，此时人眼已无法看到雨滴。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种图像中雨雪的去除方法，其特征在于,该方法包括如下步骤，

S1：获取视频帧，建立该视频帧的颜色模型并将其转换为HIS颜色模型；

S2：对S1中转换得到的HIS颜色模型中所有像素点的亮度值进行提取，得到亮度值矩阵；

S3：对S2中得到的亮度值矩阵进行标量卡尔曼滤波处理；

S4：利用S3滤波处理后的亮度值矩阵，对S1转换得到的视频帧进行图像复原：(1)获取第一帧亮度值矩阵中某个像素点的初始状态下亮度值X_K-1、及初始方差P_K-1、系统噪声Q；(2)测量该像素点的亮度值Y_K，测量亮度值Y_K与实际亮度值之间的偏差为R，并利用系统噪声Q、偏差R、以及初始方差P_K-1计算该像素点在第一帧及下一帧中的亮度值的变化幅度K_g；(3)估算该像素点在下一帧中的亮度值X_K；(4)更新下一帧的方差P_K；其中，K_g的具体计算公式为：K_g ²＝(P_K-1+Q)/(P_K-1+Q+R²)，其中Q表示系统噪声，R表示测量偏差；

S5：将复原后的视频帧转换成S1中获取的视频帧的颜色模型输出。

2.根据权利要求1所述的图像中雨雪的去除方法，其特征在于，S1中建立视频帧的颜色模型包括RGB颜色模型。

3.根据权利要求2所述的图像中雨雪的去除方法，其特征在于，将RGB颜色模型转换为HIS颜色模型采用的方法包括球体彩色转换方法、圆柱体彩色转换方法、三角转换方法。

4.根据权利要求1所述的图像中雨雪的去除方法，其特征在于，S4中步骤(3)的具体操作如下

X_K＝X_K-1+K_g(Y_K-X_K-1)。

5.根据权利要求1所述的图像中雨雪的去除方法，其特征在于，更新下一帧的方差P_K的具体操作为

P_K＝(P_K-1+Q)(1-K_g)。