CN105205791A - 一种基于高斯混合模型的视频雨滴去除方法及其系统 - Google Patents

Abstract

本发明提供了一种基于高斯混合模型的视频雨滴去除方法及系统，通过静态雨滴的光度特性进行雨滴初检，并利用雨滴的光度特性进行动态雨滴误检排除，再利用光流法对视频图像进行运动区域估计，利用混合高斯模型对估计结果进行优化，检测出运动物体区域，从而进一步排除运动物体，再根据检测结果获取受污染像素点，最后通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，从而能够准确有效地去除雨滴，提高了去雨算法的适应性。

Description

一种基于高斯混合模型的视频雨滴去除方法及其系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于高斯混合模型的视频雨滴去除方法及其系统。

背景技术

雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。

有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从2003年Starik等(StarikS,WermanM.Simulationofraininvideos[C]ProceedingofTextureWorkshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，偏度计算、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、HSV空间、光流法、运动分割等很多方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提高。Garg等最先提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直线性和方向一致的特点进一步筛选，最后根据前后帧的像素亮度去除雨滴影响，可以较好地满足雨滴不覆盖连续帧图像情况下的雨滴检测与去除；Zhang等将雨滴给像素带来的色彩影响考虑在内，从而提高雨滴检测的准确性，改善了基于亮度变化的去雨算法在彩色图像上的应用效果；Liu等将雨滴的亮度影响和色彩影响同时应用在算法中，用两帧检测雨滴并去除；Tripathi等先研究雨滴像素亮度变化的概率统计特性，然后利用雨滴像素亮度变化的对称性实现雨滴检测，仅基于时域和另外考虑空间位置的影响时效果不完全相同；Kang等首先利用双边滤波将雨图分成高频部分和低频部分，并对高频部分进一步处理得到非雨成分，结合低频部分得到去雨图；Huang等首先利用上下文约束进行图像分割，并利用上下文感知进行单幅图像去雨，并在此基础上提出了改进算法，文中首先用到了超完备的字典对高频部分进行处理。

特别是最近几年，视频图像去雨技术已成为新的研究热点。如何在保证高鲁棒性的前提下提高去雨的准确率和实时性，是目前视频图像去雨领域的焦点。所以我们在此基础上提出了一种利用高斯混合模型改进的有效去雨方法。该方案图像去雨算法具有很高的准确度，更具有鲁棒性。

目前存在的算法中，应用于静态场景视频雨滴检测与去除的算法有较为成熟的研究成果，但是应用在动态场景中的视频上时，算法考虑的是视频中出现运动物体所带来的干扰，对于与雨滴特性区别度不高的运动物体无法达到理想的检测效果。

发明内容

基于此，本发明提供了一种基于高斯混合模型的视频雨滴去除方法，以有效解决现有技术存在的问题。

一方面本发明提供了一种基于高斯混合模型的视频雨滴去除方法，包括下述步骤：

通过静态雨滴的光度特性对视频图像中雨滴进行初检；

利用雨滴的光度特性进行动态雨滴误检排除；

利用光流法对视频图像进行运动区域估计；

采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域；

将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域；

在所述纯雨滴区域中提取受雨滴污染的像素点；

通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除。

作为本发明较佳的一实施方式中，其中，通过静态雨滴的光度特性对视频图像雨滴进行初检，包括下述步骤：

从所述视频图像的第二帧开始读取帧及当前帧左右邻居帧；

通过使用雨滴的静态光度学特性，判断当前帧的某个像素是否为受雨影响的像素，当所述当前帧与前一帧及所述当前帧与后一帧的像素亮度的差值大于设定的阈值时，则认为当前帧中的某些像素为受雨或者运动物体影响的像素点，所述像素亮度为：

$I_r(x,y)={\∫}_0^{\mathrm{\τ}}{E}_r(x,y)dt+{\∫}_{\mathrm{\τ}}^T{E}_b(x,y)dt$

I_r(x,y)表示像素位置(x,y)的像素亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，E_r(x,y)表示雨滴经过像素位置(x,y)的辐照度,E_b(x,y)为背景像素的平均辐照度。

作为本发明较佳的一实施方式中，其中，利用雨滴的光度特性进行动态雨滴误检排除，具体为：分析所述视频图像中每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系成立，则确定其为受雨影响的像素；否则为运动物体上的像素，将其从候选者中去掉。

作为本发明较佳的一实施方式中，其中，利用光流法对视频图像进行运动区域估计，具体为：

将图像(x,y)位置像素在时间t时的亮度值记为I(x,y,t)；

通过构造下述公式计算二进制像素图像I_m(x,y)；

所述构造公式为： $I_m(x,y)=\left\{\begin{array}{cc}0& f(x,y)\&GreaterEqual;\mathrm{\&rho;}m\\ 1& f(x,y)<\mathrm{\&rho;}m\end{array}\right.,$ $f(x,y)=\sqrt{u{(x,y)}^2+v{(x,y)}^2};$

其中，E_xu+E_yv+E_t＝0，E_x，E_y和E_t分别是图像亮度I(x,y,t)对x,y和t的偏导数，m是运动区域f(x,y)亮度的平均强度，ρ参数根据根据雨势的大小程度来人工调节，合理范围在0.01到0.1之间。

作为本发明较佳的一实施方式中，其中，采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域，具体为：

通过假设K个高斯分布存在于光流区域中，再采用最大期望算法用来计算每个高斯分布的最优化均值和方差。

作为本发明较佳的一实施方式中，其中，在所述纯雨滴区域中提取受雨滴污染的像素点，具体为：

在所述纯雨滴区域中，根据雨滴的直线性来与其他快速运动物体相区别，最终得出受雨滴污染的像素点。

作为本发明较佳的一实施方式中，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，具体为：

将替代雨滴的像素设为I_mix，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中α是背景色B中数目占总数目k的权重。

另一方面本发明还提供了一种基于高斯混合模型的视频雨滴去除系统，包括：

静态雨滴初检单元，通过静态雨滴的光度特性对视频图像中雨滴进行初检；

动态雨滴误检排除单元，利用雨滴的光度特性进行动态雨滴误检排除；

运动区域估计单元，利用光流法对视频图像进行运动区域估计；

运动区域检测单元，采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域；

纯雨滴区域单元，将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域；

像素点提取单元，在所述纯雨滴区域中提取受雨滴污染的像素点；

雨滴去除单元，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除。

本发明采用上述技术方案具有下述有益效果：

本发明提供的一种基于高斯混合模型的视频雨滴去除方法及系统，通过静态雨滴的光度特性进行雨滴初检，并利用雨滴的光度特性进行动态雨滴误检排除，再利用光流法对视频图像进行运动区域估计，利用混合高斯模型对估计结果进行优化，检测出运动物体区域，从而进一步排除运动物体，再根据检测结果获取受污染像素点，最后通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，从而能够准确有效地去除雨滴，提高了去雨算法的适应性。

另外，本发明提供的一种基于高斯混合模型的视频雨滴去除方法及系统，利用光流法进行运动目标检测，并利用混合高斯模型进行优化，得到的运动目标区域更加准确；此外，本发明利用α混合进行雨滴去除，保证了雨滴去除以后不会留下尖锐的边缘，增加了算法的鲁棒性。

附图说明

图1为本发明实施例提供的基于高斯混合模型的视频雨滴去除方法的步骤流程图；

图2为本发明实施例提供的基于高斯混合模型的视频雨滴去除系统的结构示意图。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施方式。以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施方式的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。

请参阅图1，本发明实施例提供的基于高斯混合模型的视频雨滴去除方法的步骤流程图，包括下述步骤：

步骤S110：通过静态雨滴的光度特性对视频图像中雨滴进行初检；

优选地，上述步骤S110，包括下述步骤：

步骤S111：从所述视频图像的第二帧开始读取帧及当前帧左右邻居帧；

步骤S112：通过使用雨滴的静态光度学特性，判断当前帧的某个像素是否为受雨影响的像素，当所述当前帧与前一帧及所述当前帧与后一帧的像素亮度的差值大于设定的阈值时(优选地本发明选取阈值为3)，则认为当前帧中的某些像素为受雨或者运动物体影响的像素点，所述像素亮度为：

$I_r(x,y)={\&Integral;}_0^{\mathrm{\&tau;}}{E}_r(x,y)dt+{\&Integral;}_{\mathrm{\&tau;}}^T{E}_b(x,y)dt---\left(1\right)$

I_r(x,y)表示像素位置(x,y)的像素亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，E_r(x,y)表示雨滴经过像素位置(x,y)的辐照度,E_b(x,y)为背景像素的平均辐照度。

可以理解，由于雨滴下落速度快,在正常曝光速度下,图像上观测不到球形的雨滴,而是雨滴由于快速运动形成的雨线.在自然环境下,式(1)可描述雨滴的物理成像过程,并可以定量描述雨滴下落时产生的模糊。

步骤S120：利用雨滴的光度特性进行动态雨滴误检排除；

优选地，上述步骤S120具体采用下述步骤实现：

分析所述视频图像中每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系成立，则确定其为受雨影响的像素；否则为运动物体上的像素，将其从候选者中去掉。

步骤S130：利用光流法对视频图像进行运动区域估计；

优选地，上述步骤S130具体采用下述步骤实现：

步骤S131：将图像(x,y)位置像素在时间t时的亮度值记为I(x,y,t)；

步骤S132：通过构造下述公式计算二进制像素图像I_m(x,y)；

所述构造公式为： $I_m(x,y)=\left\{\begin{array}{cc}0& f(x,y)\&GreaterEqual;\mathrm{\&rho;}m\\ 1& f(x,y)<\mathrm{\&rho;}m\end{array}\right.,$ $f(x,y)=\sqrt{u{(x,y)}^2+v{(x,y)}^2};$

其中，E_xu+E_yv+E_t＝0，E_x，E_y和E_t分别是图像亮度I(x,y,t)对x,y和t的偏导数，m是运动区域f(x,y)亮度的平均强度，ρ参数根据雨势的大小程度来人工调节，合理范围在0.01到0.1之间。

可以理解，光流法能够准确地在两个相邻帧之间估计大部分物体的相对位移，对于可以被看作是小的雨点以很高的速度落下的雨滴而言，它的作用可以通过设置阈值加以消除。

步骤S140：采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域；

优选地，上述步骤S140具体通过下述步骤实现：

通过假设K个高斯分布存在于光流区域中，再采用最大期望算法用来计算每个高斯分布的最优化均值和方差。

可以理解，采用光流法只能检测到物体边缘明显的颜色亮度变化，而物体内部亮度变化不能被有效的检测出来，这导致了所谓的“光圈”问题。为了解决这个问题，我们可以利用参数化的混合高斯模型来模拟运动区域像素的分布。首先，假设K个高斯分布存在于光流区域中。然后，最大期望算法被用来计算每个高斯分布的的最优化均值和方差。通过简单的假设每个高斯分布的均值和方差也是运动目标的中心和大致波动。运动目标的似然函数可以表示如下：

$p\left(F_1\right(i,j\left)\right|C_1)=\underset{k=1}{\overset{K}{\&Sigma;}}{\mathrm{\&pi;}}_{k}N\left(\right(i,j\left)\right|{\mathrm{\&mu;}}_k,{\mathrm{\&Sigma;}}_k)$

π_k是每个高斯分布的混合系数，其值由最大期望迭代决定，F₁(i,j)表示运动线索，C₁代表前景中物体的像素类，C₂代表背景的像素类。

我们利用二值图像来计算运动像素的个数，运动像素的个数占总的聚类像素的个数的比例作为运动聚类似然函数：

其中F₂(i,j)代表位置线索，假设F₁(i,j)和F₂(i,j)相互独立，得到组合条件概率：

$p\left(A\right|C_i)=\underset{k=1}{\overset{2}{\&Pi;}}p\left(F_k\right|C_i)$

于是前景运动目标的后验概率可以表示为：

$p\left(C_1\right|A)=\frac{p\left(A\right|C_1)p\left(C_1\right)}{p\left(A\right|C_1)p\left(C_1\right)+p\left(A\right|C_2)p\left(C_2\right)}$

其中p(C₁)，p(C₂)为各类的先验概率，我们可以通过令两类后验概率相等来作为判别边界，将得到的二值判别图像用来更新I_m。

可以理解，本发明提供的一种基于高斯混合模型的视频雨滴去除方法及系统，利用光流法进行运动目标检测，并利用混合高斯模型进行优化，得到的运动目标区域更加准确。

步骤S150：将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域；

可以理解，将帧差法和雨滴的光学和色彩特性初检得到的雨滴区域，减去光流法检测出的运动物体区域得到纯雨滴区域。

步骤S160：在所述纯雨滴区域中提取受雨滴污染的像素点；

可以理解，由于雨滴的下落轨迹为直线,在成像时以雨线的形式出现在投影平面,因此可以用雨滴的直线性来与雪或者水花等其他快速运动物体相区别，最终得出受雨滴污染的像素点。

步骤S170：通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除。

优选地，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，具体为：

将替代雨滴的像素设为I_mix，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中α是背景色B中数目占总数目k的权重。

可以理解，当成功检测出雨区后，可以通过用雨滴与背景色之间的混合值取代检测到的雨滴的像素来达到去除效果。依据统计特性，将替代雨滴的像素设为I_mix，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中α是背景类B中数目占总数目k的权重。因为在保留背景强度值I_Bcenter的基础上，混合了雨滴的平均强度值I_Rcenter，保证了雨滴去除后不会留下尖锐的边缘，起到了平滑的效果。

请参阅图2，本发明还提供了一种基于高斯混合模型的视频雨滴去除系统，包括：

静态雨滴初检单元210，通过静态雨滴的光度特性对视频图像中雨滴进行初检；动态雨滴误检排除单元220，利用雨滴的光度特性进行动态雨滴误检排除；运动区域估计单元230，利用光流法对视频图像进行运动区域估计；运动区域检测单元240，采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域；纯雨滴区域单元250，将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域；像素点提取单元260，在所述纯雨滴区域中提取受雨滴污染的像素点；雨滴去除单元270，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除。上述系统的详细实现步骤可参阅上文所述，在这里不再赘述。

本发明提供的一种基于高斯混合模型的视频雨滴去除方法及系统，通过静态雨滴的光度特性进行雨滴初检，并利用雨滴的光度特性进行动态雨滴误检排除，再利用光流法对视频图像进行运动区域估计，利用混合高斯模型对估计结果进行优化，检测出运动物体区域，从而进一步排除运动物体，再根据检测结果获取受污染像素点，最后通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，从而能够准确有效地去除雨滴，提高了去雨算法的适应性。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于高斯混合模型的视频雨滴去除方法，其特征在于，包括下述步骤：

通过静态雨滴的光度特性对视频图像中雨滴进行初检；

利用雨滴的光度特性进行动态雨滴误检排除；

利用光流法对视频图像进行运动区域估计；

采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域；

将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域；

在所述纯雨滴区域中提取受雨滴污染的像素点；

通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除。

2.根据权利要求1所述的基于高斯混合模型的视频雨滴去除方法，其特征在于，其中，通过静态雨滴的光度特性对视频图像雨滴进行初检，包括下述步骤：

从所述视频图像的第二帧开始读取帧及当前帧左右邻居帧；

通过使用雨滴的静态光度学特性，判断当前帧的某个像素是否为受雨影响的像素，当所述当前帧与前一帧及所述当前帧与后一帧的像素亮度的差值大于设定的阈值时，则认为当前帧中的某些像素为受雨或者运动物体影响的像素点，所述像素亮度为：

$I_r(x,y)={\&Integral;}_0^{\mathrm{\&tau;}}{E}_r(x,y)dt+{\&Integral;}_{\mathrm{\&tau;}}^T{E}_b(x,y)dt$

I_r(x,y)表示像素位置(x,y)的像素亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，E_r(x,y)表示雨滴经过像素位置(x,y)的辐照度,E_b(x,y)为背景像素的平均辐照度。

3.如权利要求1所述的基于高斯混合模型的视频雨滴去除方法，其特征在于，其中，利用雨滴的光度特性进行动态雨滴误检排除，具体为：分析所述视频图像中每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系成立，则确定其为受雨影响的像素；否则为运动物体上的像素，将其从候选者中去掉。

4.如权利要求1所述的基于高斯混合模型的视频雨滴去除方法，其特征在于，其中，利用光流法对视频图像进行运动区域估计，具体为：

将图像(x,y)位置像素在时间t时的亮度值记为I(x,y,t)；

通过构造下述公式计算二进制像素图像I_m(x,y)；

所述构造公式为： $I_m(x,y)=\left\{\begin{array}{cc}0& f(x,y)\&GreaterEqual;\mathrm{\&rho;}m\\ 1& f(x,y)<\mathrm{\&rho;}m\end{array}\right.,f(x,y)=\sqrt{u{(x,y)}^2+v{(x,y)}^2};$

其中，E_xu+E_yv+E_t＝0，E_x，E_y和E_t分别是图像亮度I(x,y,t)对x,y和t的偏导数，m是运动区域f(x,y)亮度的平均强度，ρ在0.01到0.1之间。

5.如权利要求1所述的基于高斯混合模型的视频雨滴去除方法，其特征在于，其中，采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域，具体为：

通过假设K个高斯分布存在于光流区域中，再采用最大期望算法用来计算每个高斯分布的最优化均值和方差。

6.如权利要求1所述的基于高斯混合模型的视频雨滴去除方法，其特征在于，在所述纯雨滴区域中提取受雨滴污染的像素点，具体为：

在所述纯雨滴区域中，根据雨滴的直线性来与其他快速运动物体相区别，最终得出受雨滴污染的像素点。

7.如权利要求1所述的基于高斯混合模型的视频雨滴去除方法，其特征在于，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除，具体为：

将替代雨滴的像素设为I_mix，令I_mix＝αI_Bcenter+(1-α)I_Rcenter，其中α是背景色B中数目占总数目k的权重。

8.一种基于高斯混合模型的视频雨滴去除系统，其特征在于，包括：

静态雨滴初检单元，通过静态雨滴的光度特性对视频图像中雨滴进行初检；

动态雨滴误检排除单元，利用雨滴的光度特性进行动态雨滴误检排除；

运动区域估计单元，利用光流法对视频图像进行运动区域估计；

运动区域检测单元，采用高斯混合模型对上述估计结果进行优化，检测出运动物体区域；

纯雨滴区域单元，将上述初检得到的雨滴区域减去运动物体区域得到纯雨滴区域；

像素点提取单元，在所述纯雨滴区域中提取受雨滴污染的像素点；

雨滴去除单元，通过用雨滴与背景色之间的混合值取代检测到受雨滴污染的像素点实现雨滴的去除。