CN103942766A - 一种基于时-空-频三域联合处理的雨天视频复原方法 - Google Patents

Abstract

本发明提供种基于时-空-频三域联合的雨天视频复原方法，包括以下步骤：将输入视频序列转换到YCbCr空间；采用时域中值滤波法进行背景建模；计算帧间差序列，获得每帧图像对应的雨景区域；计算每帧图像雨景区域内各雨滴的最小外接矩形，计算每个雨滴的下落方向，构建雨滴下落方向直方图特征，得到每帧图像的雨滴下落方向特征；将每帧图像的Y通道变换到频域。根据雨滴下落方向特征，选取合适的楔形方向滤波器对图像的幅度谱进行滤波处理；将频域滤波结果反变换回空域，并结合原始图像帧的Cb和Cr通道图像，重新组合得到彩色图像。本发明能够明显提高视频视觉效果。

Description

一种基于时-空-频三域联合处理的雨天视频复原方法

所属技术领域

本发明涉及恶劣天气情况下的视频复原技术，特别涉及一种雨天视频的雨滴去除方法。

背景技术

恶劣的天气会严重干扰户外视觉系统的正常工作。比如雾、霾、雨、雪之类的天气，视觉系统将无法根据户外图像或视频提供的信息对场景进行可靠的目标检测、物体识别和跟踪、特征提取等基本操作，这是因为恶劣的天气因素导致所捕获的图像或视频产生严重的退化。因此，为了提高户外监视系统的稳定性和实用性，必须对受天气影响的图像进行复原，消除不良天气对图像应用的影响，以保证系统能够良好地工作。

随着计算机视觉系统应用越来越广泛，恶劣气象条件下图像的复原技术研究日益成为了当前该领域的热点之一，成功地解决该问题必然会给目标识别、遥感导航及军事国防等领域都带来巨大的实用价值。目前相关的国内外研究已开展了近二十年，研究者提供了各种方法。针对雨景视频的复原的方法大致可以分为两大类：空域-时域联合处理法和频域处理法。

Starik等[1]根据雨在视频中的时空特性对视频进行时间维上的中值滤波，成功复原了那些污染程度比较小的雨景视频，但该方法同时也增加了视频中动态目标的模糊程度。Garg等[2]总结出雨滴形状、速度、大小以及雨的光度的相应规律，阐述了视频中雨的时空上的分布情况以及图像中雨滴的视像，并建立了雨的动态模型和光度模型，然后基于所建物理模型，提出了雨检测和去除方法，最终复原出清晰的场景图像。但是该方法使用的模型限制性条件太多。Zhang等[3]从雨景图像的时间特性和色度特性入手，提出了一种对稳态场景进行处理的雨景复原方法。利用K均值聚类和雨区的色度判别方程，检测出视频中的雨区。实验结果表明，对于场景静止且色度分布满足条件的雨景视频来说，用这种方法就比简单的时间中值滤波效果好得多。Peng等[4]基于视频中雨景视频的色度特性构建雨景退化模型，该模型不考虑雨滴的速度和时空信息，有效地检测出视频所有的雨区，即使视频中存在动态的物体，其检测函数也是可以有效检测出图像中的雨区，从而为雨景视频中运动目标的有效检测去除了雨滴的干扰。张颖翔[5]根据雨滴的物理光学模型，分析了雨滴对视频中单帧图像的光强影响，利用改进的帧差法来检测视频中的雨区，并对其进行了帧间距扩展以适应雨点更加密集的情况。刘鹏[6]通过分析雨滴的物理成像模型，结合人类视觉系统对雨滴的分辨原理，发现受雨影响的像素与背景像素具有相同的色相值，为了兼顾到那些色相分量同时发生退化的图像，他在HSV空间建立了区分雨区和非雨区的度量函数，克服了已有模型的辨识局限性，有效抑制了雨滴对图像的干扰。Barnum等[7]在雨带物理特性和雨景统计特性分析的基础上，从频域的角度去考察雨景的整体特性，基于模糊高斯估计雨景频域模式，建立全局雨景的频域模型，并基于该频域模型开发出雨景的检测和去除方法，成功获得了清晰的视频。该方法与空域方法有着明显的区别，其频域模型并不关心图像中各个雨带的大小和位置，而是通过对雨的映射形状、场景景深以及雨的方向的估计建立针对具体雨景的频域模型，开发出基于该频域模型的雨景检测和去除算法，完成图像复原。但这种频域方法并不能够处理掉那些未知频率上的类似雨的信息，从而导致检测结果不正确，最终影响了复原效果。

参考文献：

[1]K.Starik,M.Werman.Simulation of Rain in Videos.Texture Workshop[C],in Proceeding of ICCV,2002

[2]K.Garg,S.K.Nayar.Detection and Removal of Rain from Videos[C].in Proceeding of CVPR,2004.

[3]X.Zhang,H.Li,Y.Qi et al.Rain removal in video by combining temporal and chromatic properties[C].in Proceeding of ICME,2006

[4]Peng Liu,Jing Xu,Jiafeng Liu,Xianglong Tang.Pixel Based Temporal Analysis using ChromaticProperty for Removing Rain from Videos[J].Computer and Information Science,2009.

[5]张颖翔,陈强,刘允才.视频图像中雨滴检测与去除方法研究[J].微型电脑应用,2007,23(12),16-20

[6]刘鹏,徐晶等.一种受雨滴污染视频的快速分析方法[J].自动化学报,2010,36(10),1371-1378

[7]P.C.Barnum,S.G.Narasimhan,Takeo Kanade.Analysis of Rain and Snow in Frequency Space[J].International Journal of Computer Vision,2010:256-274.

[8]梁莉莉,任意方向选择性滤波器组及其对图像表示的研究[D],西安电子科技大学博士论文,2012.

发明内容

本发明的目的是克服现有技术的上述不足，提出一种综合利用时域、空域和频域互补特征的雨天视频复原方法。本发明解决上述技术问题的方案如下：

一种基于时-空-频三域联合的雨天视频复原方法，包括以下步骤：

步骤1：将输入视频序列各帧图像由RGB颜色空间转换到YCbCr颜色空间，对Y通道图像序列进行步骤2至10的处理，对Cb和Cr两通道的图像进行步骤10的处理。

步骤2：采用时域中值滤波法进行背景建模，对于第k帧图像I_k，(x,y)位置上像素点灰度值用I_k(x,y)表示，经过时域中值滤波后得到对应的模板图像为B_k。

步骤3：利用背景图像，计算帧间差图像：预设帧间差阈值T₁，根据I_k和B_k，计算帧间差二值图D_k

步骤4：设定面积阈值，考察D_k(x,y)中各连通区域的面积，将面积小于面积阈值的区域作为干扰区域并去除，处理后的二值图像记为R_k，将R_k中取值为1的区域判为潜在的雨景区域，设总个数为S。

步骤5：对于R_k中的每一个子区域R_k(s)(s=1,2,...,S)，S计算R_k(s)对应的最小外接矩形（MBR），用MBR_k(s)表示。按逆时针方向，计算水平坐标轴到该外接矩形长边的角度，记为ANG_k(s)。ANG_k(s)的取值范围在0°～180°之间。

步骤6：根据第k帧图像中各ANG_k(s)的取值，计算方向直方图，用HIST_k(θ)，将θ的取值分为8种情况，分别对应着区间[0°,22.5°)、[22.5°,45°)、[45°,67.5°)、[67.5°,90°)、[90°,112.5°)、[112.5°,135°)、[135°,157.5°)、[157.5°,180°)，考察HIST_k(θ)中8个方向的取值，将取值最大的区间作为第k帧图像中雨滴下落的方向。

步骤7：使用二维傅里叶变换，将I_k变换到频率域，其幅度谱图像用F_k表示，相位谱用P_k表示，按照步骤6的8个方向在频域构造楔形滤波器。

步骤8：对于某一帧频域图像，根据前面步骤得到的雨滴下落方向特征，从步骤7得到的楔形滤波器中选择合适的一个，对F_k进行滤波处理，处理结果用F′_k表示。

步骤9：使用F′_k和P_k，通过二维傅里叶逆变换，反变换到空域，处理结果用I′_k表示。

步骤10：使用I′_k以及原始的Cb和Cr通道图像，重新组合得到彩色图像。

采用本发明所述方法，通过加入雨滴下落方向判断过程，在频域用楔形方向滤波器对雨滴的滤波处理，相对于已有在空域去除雨滴的方法，频域去除方法的边缘效应不明显，明显提高了的处理后的视频视觉效果。图3给出了部分实验结果。

附图说明

图1是本发明所提方法框图。

图2是本发明所采用的楔形滤波器幅频图，其中，(e)方向5(f)方向6(g)方向7(h)方向8(e)方向5(f)方向6(g)方向7(h)方向8。

图3部分去雨滴效果截图，其中，(a)原始视频帧(b)帧间差图像(c)图像频域幅度谱(d)所用的楔形方向滤波器(c)频域方向滤波结果(d)复原结果。

具体实施方式

下面结合附图和实施例对本发明进行说明。

参见图1，本发明的基于时-空-频三域联合的雨天视频复原方法，包括以下步骤：

步骤1：将输入视频序列各帧图像由RGB颜色空间转换到YCbCr颜色空间，只选取Y通道图像序列进行处理，Cb和Cr两通道的图像用于步骤10。

步骤2：采用时域中值滤波技术进行背景建模，所用的帧数为11帧。对于第k帧图像I_k，(x,y)位置上像素点灰度值用I_k(x,y)表示，将I_k(x,y)以及前后各帧对应位置上像素点的灰度值I_k-j(x,y)(j=-5,-4,...0,...,4,5)按照从小到大的顺序排序，使用它们的中值（排序结果中排在第6位置的值）来代替I_k(x,y)。遍历图像中的所有像素点，得到I_k对应的模板图像，用B_k表示。

步骤3：利用背景图像，计算帧间差图像。根据I_k和B_k，计算帧间差二值图D_k，得到：

$D_k(x,y)=\left\{\begin{array}{cc}1& I_k(x,y)-B_k(x,y)\&GreaterEqual;T_1\\ 0& I_k(x,y)-B_k(x,y)<T_1\end{array}\right.---\left(1\right)$

步骤4：考察D_k(x,y)中各连通区域的面积（即包含的像素点数目），将面积较小的区域作为干扰区域并去除。处理后的二值图像记为R_k，将R_k中取值为1的区域判为潜在的雨景区域。

步骤5：对于R_k中的每一个子区域R_k(s)(s=1,2,...,S)，计算R_k(s)对应的最小外接矩形（MBR），用MBR_k(s)表示。按逆时针方向，计算水平坐标轴到该外接矩形长边的角度，记为ANG_k(s)。ANG_k(s)的取值范围在0°～180°之间。

步骤6：根据第k帧图像中各ANG_k(s)的取值，计算方向直方图，用HIST_k(θ)，将θ的取值分为8种情况，分别对应着区间[0°,22.5°)、[22.5°,45°)、[45°,67.5°)、[67.5°,90°)、[90°,112.5°)、[112.5°,135°)、[135°,157.5°)、[157.5°,180°)。考察HIST_k(θ)中8个方向的取值，将取值最大的区间作为第k帧图像中雨滴下落的方向。

步骤7：使用二维傅里叶变换，将I_k变换到频率域，其幅度谱图像用F_k表示，相位谱用P_k表示。在频域构造楔形滤波器，分别对应着步骤6中的8个区间，具体步骤可参见文献[8]。

步骤8：对于某一帧频域图像，根据前面步骤得到的雨滴下落方向特征，从步骤7得到的楔形滤波器中选择合适的一个，对F_k进行滤波处理，处理结果用F′_k表示。

步骤9：使用F′_k和P_k，通过二维傅里叶逆变换，反变换到空域，处理结果用I′_k表示。

步骤10：使用I′_k以及原始的Cb和Cr通道图像，重新变换到RGB空间。

Claims (1)

1.一种基于时-空-频三域联合的雨天视频复原方法，包括以下步骤：

步骤1：将输入视频序列各帧图像由RGB颜色空间转换到YCbCr颜色空间，对Y通道图像序列进行步骤2至10的处理，对Cb和Cr两通道的图像进行步骤10的处理；

步骤2：采用时域中值滤波法进行背景建模，对于第k帧图像I_k，(x,y)位置上像素点灰度值用I_k(x,y)表示，经过时域中值滤波后得到对应的模板图像为B_k；

步骤3：利用背景图像，计算帧间差图像：预设帧间差阈值T₁，根据I_k和B_k，计算帧间差二值图D_k；

步骤4：设定面积阈值，考察D_k(x,y)中各连通区域的面积，将面积小于面积阈值的区域作为干扰区域并去除，处理后的二值图像记为R_k，将R_k中取值为1的区域判为潜在的雨景区域，设总个数为S；

步骤5：对于R_k中的每一个子区域R_k(s)(s=1,2,...,S)，S计算R_k(s)对应的最小外接矩形（MBR），用MBR_k(s)表示，按逆时针方向，计算水平坐标轴到该外接矩形长边的角度，记为ANG_k(s)，ANG_k(s)的取值范围在0°～180°之间；

步骤6：根据第k帧图像中各ANG_k(s)的取值，计算方向直方图，用HIST_k(θ)，将θ的取值分为8种情况，分别对应着区间[0°,22.5°)、[22.5°,45°)、[45°,67.5°)、[67.5°,90°)、[90°,112.5°)、[112.5°,135°)、[135°,157.5°)、[157.5°,180°)，考察HIST_k(θ)中8个方向的取值，将取值最大的区间作为第k帧图像中雨滴下落的方向；

步骤7：使用二维傅里叶变换，将I_k变换到频率域，其幅度谱图像用F_k表示，相位谱用P_k表示，按照步骤6的8个方向在频域构造楔形滤波器；

步骤8：对于某一帧频域图像，根据前面步骤得到的雨滴下落方向特征，从步骤7得到的楔形滤波器中选择合适的一个，对F_k进行滤波处理，处理结果用F′_k表示；

步骤9：使用F′_k和P_k，通过二维傅里叶逆变换，反变换到空域，处理结果用I′_k表示；

步骤10：使用I′_k以及原始的Cb和Cr通道图像，重新组合得到彩色图像。