CN103714518A - 视频去雨方法 - Google Patents

Abstract

本发明提出一种视频去雨方法，其包括如下步骤：S11、运用基于频域的模糊高斯模型对视频进行初步去雨，获得初步去雨视频；S12、运用模糊生长法对所述初步去雨视频进行雨滴的精确探测，获得被雨滴覆盖的像素；S13、以前后两帧对应像素的亮度均值代替所述被雨滴覆盖的像素的亮度。所述视频去雨方法可以达到更精确的去雨效果。

Description

视频去雨方法

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于模糊连接度、结合基于模糊高斯模型的视频去雨方法。

背景技术

雨对视频图像成像有很大的影响，会造成视频图像成像的模糊和信息的覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于视频图像的进一步处理。而视频图像的目标检测、跟踪、识别或者分割技术在现代军事、交通以及安全监控等多个领域都得到广泛应用。

视频去雨技术从2003年提出到现在已经取得了长足的发展，各种基于不同数学物理模型的方法被学者们先后提出，雨滴去除的效果也逐渐被提高。基于频域的模糊高斯模型以及基于模糊连接度的模糊生长法是其中两种较为新颖的方法。

基于频域的模糊高斯模型方法假设雨线亮度在空间的分布服从模糊高斯分布，并转换到频域：

$\begin{array}{c}G(u,v;b,l)={\∫}_0^1\exp \left({-b}^2(u^2+v^2)\right)\exp \left(2\mathrm{\πiyv}\right)\mathrm{dy}\\ =\left\{\begin{array}{cc}i\frac{\exp \left({-b}^2(u^2+v^2)\right)(1-\exp \left(2\mathrm{\πilv}\right))}{2\mathrm{\πv}}& ,v\≠0\\ \exp \left({-b}^2{u}^2\right)l& ,v=0\end{array}\right.\end{array}---\left(1\right)$

其中，u和v分别代表空间的行频与列频，而b和l代表的是雨线的宽度和长度。考虑到雨线的倾斜角度θ以及时间频率w，分布模型可以写为：

$R(u,v,w;\mathrm{\α},\widetilde{\mathrm{\θ}})=\mathrm{\αR}(u,v,w;\widetilde{\mathrm{\θ}})---\left(2\right)$

$R(u,v,w;\widetilde{\mathrm{\θ}})=\underset{\mathrm{\θ}\∈\widetilde{\mathrm{\θ}}}{\mathrm{\Σ}}{\∫}_{.1}^3{\∫}_{Z_{\min }}^{Z_{\max }}G(u,v;b(a,z),l(a,z))\mathrm{dzda}---\left(3\right)$

其中，α由降雨率决定。

假设雨图m由背景图c和雨滴层r叠加而成：

m(x,y,t)=c(x,y,t)+r(x,y,t)  （4）

其中，M是m的傅里叶变换，

是估计频率，通过计算T帧图像的标准差而得：

$\tilde{R}(u,v)=\sqrt{\frac{1}{T}\underset{t=1}{\overset{T}{\mathrm{\Σ}}}{\left(\right|\left|M(u,v,t)\right||-|\left|\tilde{M}(u,v)\right|\left|\right)}^2}---\left(5\right)$

方法第一步是单独考虑每一帧，根据下式计算像素(x，y，t)是雨滴的概率（归一化至[01]区间）：

$p\left(\mathrm{rain}\right|k=0)=F^{-1}\left\{\frac{R(u,v,w;\mathrm{\α},\widetilde{\mathrm{\θ}})}{\left|M(u,v)\right|}\exp \left(\mathrm{i\φ}\right\{M(u,v)\left\}\right)\right\}---\left(6\right)$

第二步考虑连续数帧，修正像素(x，y，t)的雨滴概率:

$p\left(\mathrm{rain}\right|k=1)=F^{-1}\left\{\frac{R(u,v,w;\mathrm{\α},\widetilde{\mathrm{\θ}})}{\left|p\left(\mathrm{rain}\right|k=0)\right|}\exp \left(\mathrm{i\φ}\right\{M(u,v)\left\}\right)\right\}---\left(7\right)$

第三步是得到像素的雨滴概率p(x，y，t)之后，对像素进行亮度修复：

c(x,y,t)=m(x,y,t)-p(x,y,t)  （8）

模糊生长去雨方法的原理主要如下：

两个像素c和d之间的模糊邻接关系定义为：

${\mathrm{\μ}}_a(c,d)=\left\{\begin{array}{cc}1,& \left|\right|c-d\left|\right|\≤2\\ 0,& \mathrm{other}\end{array}\right.---\left(9\right)$

吸引子μ_k(c，d)可以显示两个像素c和d之间的相似性，其定义如下：

μ_k(c，d)=h(μ_a(c，d)，f(c)，f(d)，c，d)  （10）

其中f(c)和f(d)可以用高斯函数表示，因此上式又可以改写成：

${\mathrm{\μ}}_k(c,d)={\mathrm{\μ}}_a(c,d)[w_1\exp (-\frac{1}{2}{\left(\frac{\frac{f\left(c\right)-f\left(d\right)}{2}-m_1}{{\mathrm{\σ}}_1}\right)}^2)+w_2\exp (-\frac{1}{2}{\left(\frac{\frac{f\left(c\right)-f\left(d\right)}{2}-m_2}{{\mathrm{\σ}}_2}\right)}^2)]---\left(11\right)$

两个像素c和d之间的模糊连接度计算基于下式：

μ_ε(r_cd)=min(μ_k(c₁，c₂)，μ_k(c₂，c₃)"μ_k(c_m-1，c_m))  （12）

${\mathrm{\μ}}_x(c,d)=\underset{r_{\mathrm{cd}}\∈p_{\mathrm{cd}}}{\max }\left[{\mathrm{\μ}}_{\mathrm{\ϵ}}\left(r_{\mathrm{cd}}\right)\right]---\left(13\right)$

其中，r_cd是一系列连通两个像素c和d的路径。

该方法分为以下两步：

1）选择进行模糊生长的种子点。

由于被雨滴覆盖的像素点的亮度值要高于背景，因此种子点像素的亮度要显著高于前一帧。首先，计算整个视频中每个像素帧间亮度差值，找出最大值；之后，将帧间亮度差值大于最大值1/3的像素点作为种子点。初始化所有像素点的模糊连接度；将种子点的模糊连接度初始化为1。

2）计算其8个相邻像素点的模糊连接度。

方法设定只扩张模糊连接度大于阈值T₁的像素点，为防止过连接的问题，大于阈值T₂(T₂>T₁)的像素点被排除在种子点考虑范围之外。这样直至没有像素点符合阈值要求时结束。找出所有雨滴像素之后，采用简单的在前后相邻帧取最小亮度值替代雨滴像素亮度的方法修复雨图。

但是，现有技术中，存在以下缺点：其一、模糊高斯模型方法假设视频图像中的雨线亮度分布服从模糊高斯分布，这一假设在光照来自空间环境整体时是大致符合的，但是在存在点光源时就难以符合，经过理论计算所得的雨滴概率也就不完全准确，因此，视频图像中的少量雨线将无法完全去除。其二、基于模糊连接度的方法在选取模糊生长的种子点时，如果雨滴在时间尺度上较密集，同一像素连续两帧被雨滴覆盖时利用帧差法很容易造成种子点的漏判，因而造成雨滴的大量漏检。

发明内容

针对上述问题，本发明的目的是提供一种基于模糊连接度的视频去雨方法，其结合基于模糊高斯模型的视频去雨方法的特点，可以达到更精确的去雨效果。

一种视频去雨方法，其包括如下步骤：

S11、运用基于频域的模糊高斯模型对视频进行初步去雨，获得初步去雨视频；

S12、运用模糊生长法对所述初步去雨视频进行雨滴的精确探测，获得被雨滴覆盖的像素；

S13、以前后两帧对应像素的亮度均值代替所述被雨滴覆盖的像素的亮度。

本发明一较佳实施方式中，步骤S11中，进一步包括：

S111、针对所述视频中的每一帧，利用基于频域的模糊高斯模型计算像素被雨滴覆盖的概率；

S112、结合时间因素，针对所述视频中的连续多帧，利用基于频域的模糊高斯模型计算像素被雨滴覆盖的修正概率；

S113、根据所述修正概率，利用基于模糊高斯模型对所述视频进行初步去雨，获得所述初步去雨视频。

本发明一较佳实施方式中，步骤S111中，根据基于频域的模糊高斯模型第一步的公式计算像素被雨滴覆盖的概率。

本发明一较佳实施方式中，步骤S112中，根据基于频域的模糊高斯模型第二步的公式计算像素被雨滴覆盖的修正概率。

本发明一较佳实施方式中，步骤S113中，利用基于频域的模糊高斯模型第三步的公式对所述视频进行初步去雨。

本发明一较佳实施方式中，步骤S12中，根据帧间亮度差值法寻找模糊生长的种子点。

本发明一较佳实施方式中，步骤S121中，进一步包括：

S121、计算所述视频中每个像素与前后两帧对应像素的亮度差值，并求最大值；

S122、所述亮度差值大于所述最大值的1/3时，对应像素作为种子点，否则为非种子点；

S123、初始化所有像素的模糊连接度；及

S124、将所述种子点的模糊连接度初始化为1。

本发明一较佳实施方式中，步骤S11之前，还包括：S10、读入所述视频。

相较于现有技术，本发明提供的视频去雨方法具有如下优点：其一、采用模糊生长法进一步处理基于模糊高斯模型去雨后的视频，可以去除后者因模型缺陷导致的去除不净的雨滴。其二、运用模糊高斯模型进行雨滴去除之后，视频中剩余雨线数量稀少，可以认为不存在同一像素连续多帧被雨滴覆盖的情况，因而避免了模糊生长种子点的漏检。其三、运用模糊高斯模型进行雨滴去除之后，视频中剩余雨线数量稀少，因而模糊生长的种子点也很少，与直接运用模糊生长法相比大大减少了计算量。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举实施例，并配合附图，详细说明如下。

附图说明

图1为本发明一较佳实施例提供的视频去雨方法的流程图；

图2为图1所示视频去雨方法中步骤S11的流程图；

图3为图1所示视频去雨方法中步骤S12的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步详细的说明。

请参阅图1，本发明一较佳实施例提供一种视频去雨方法，其包括如下步骤：

S10、读入视频。

即读入需要进行去雨处理的视频，可以理解的是，所述视频包括多个帧，每个帧又包括多个像素。

S11、运用基于频域的模糊高斯模型对视频进行初步去雨，获得初步去雨视频。

请参阅图2，具体地，包括：

S111、针对所述视频中的每一帧，利用基于频域的模糊高斯模型计算像素被雨滴覆盖的概率。

本实施例中，根据基于频域的模糊高斯模型第一步的公式计算像素被雨滴覆盖的概率，即根据本发明背景技术中的公式（1）～（6）计算像素被雨滴覆盖的概率，此处不再赘述。

S112、结合时间因素，针对所述视频中的连续多帧，利用基于频域的模糊高斯模型计算像素被雨滴覆盖的修正概率。

本实施例中，根据基于频域的模糊高斯模型第二步的公式计算像素被雨滴覆盖的修正概率，即根据本发明背景技术中的公式（7）计算像素被雨滴覆盖的修正概率，此处不再赘述。

可以理解的是，计算像素被雨滴覆盖的修正概率时，考虑到了时间因素。

S113、根据所述修正概率，利用基于模糊高斯模型对所述视频进行初步去雨，获得所述初步去雨视频。

本实施例中，利用基于频域的模糊高斯模型第三步的公式对所述视频进行初步修复，即根据本发明背景技术中的公式（8）对所述视频进行初步修复，此处不再赘述。

S12、运用模糊生长法对所述初步去雨视频进行雨滴的精确探测，获得被雨滴覆盖的像素。

本实施例中，根据帧间亮度差值法寻找模糊生长的种子点。

请参阅图3，具体地，包括：

S121、计算所述初步去雨视频中每个像素与前后两帧对应像素的亮度差值（ΔI_n和ΔI'_n），并求最大值max。

S122、所述亮度差值（ΔI_n和ΔI'_n）大于所述最大值max的1/3时，对应像素作为种子点，否则为非种子点。

即比较判断ΔI_n、ΔI'_n与1/3max，如果ΔI_n>1/3max、ΔI'_n>1/3max，则对应所述亮度差值的所述像素作为种子点，否则对应所述亮度差值的所述像素为非种子点。

S123、初始化所有像素的模糊连接度。

S124、将所述种子点的模糊连接度初始化为1。

由此，后续可以以所述种子点和所述非种子点采用模糊生长法对初步修复后的所述视频进行雨滴探测，获得被雨滴覆盖的像素。

S13、以前后两帧对应像素的亮度均值代替所述被雨滴覆盖的像素的亮度。

本实施例中，利用模糊生长法探测出被雨滴所覆盖的像素，并以所述被雨滴所覆盖的像素相邻两帧的对应像素的亮度均值进行代替，即对所述初步去雨视频中被雨滴覆盖的像素进行雨滴去除。

可以理解的是，采用模糊生长法进行视频去雨的主要原理可以参照本发明背景技术，此处不再赘述。

所述视频去雨方法将模糊生长法作为基于模糊高斯模型视频去雨方法的后续步骤，进行雨滴的精确去除。由于模糊生长法的种子点使用帧间亮度差值法寻找，在运用模糊高斯模型去除雨滴之后，雨滴的时间密集度很低，可以认为不会存在同一个像素连续两帧被雨滴覆盖的情况，因而种子点很少存在漏检。可以理解的是，所述视频去雨方法适用于静止背景，即不存在相机移动、且雨滴是视频中唯一的运动物体。

相较于现有技术，所述视频去雨方法具有如下优点：其一、采用模糊生长法进一步处理基于模糊高斯模型去雨后的视频，可以去除后者因模型缺陷导致的去除不净的雨滴。其二、运用模糊高斯模型进行雨滴去除之后，视频中剩余雨线数量稀少，可以认为不存在同一像素连续多帧被雨滴覆盖的情况，因而避免了模糊生长种子点的漏检。其三、运用模糊高斯模型进行雨滴去除之后，视频中剩余雨线数量稀少，因而模糊生长的种子点也很少，与直接运用模糊生长法相比大大减少了计算量。

以上所述，仅是本发明的实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (8)

1.一种视频去雨方法，其特征在于，包括如下步骤：

S11、运用基于频域的模糊高斯模型对视频进行初步去雨，获得初步去雨视频；

S12、运用模糊生长法对所述初步去雨视频进行雨滴的精确探测，获得被雨滴覆盖的像素；

S13、以前后两帧对应像素的亮度均值代替所述被雨滴覆盖的像素的亮度。

2.如权利要求1所述的视频去雨方法，其特征在于，步骤S11中，进一步包括：

S111、针对所述视频中的每一帧，利用基于频域的模糊高斯模型计算像素被雨滴覆盖的概率；

S112、结合时间因素，针对所述视频中的连续多帧，利用基于频域的模糊高斯模型计算像素被雨滴覆盖的修正概率；

S113、根据所述修正概率，利用基于模糊高斯模型对所述视频进行初步去雨，获得所述初步去雨视频。

3.如权利要求2所述的视频去雨方法，其特征在于，步骤S111中，根据基于频域的模糊高斯模型第一步的公式计算像素被雨滴覆盖的概率。

4.如权利要求2所述的视频去雨方法，其特征在于，步骤S112中，根据基于频域的模糊高斯模型第二步的公式计算像素被雨滴覆盖的修正概率。

5.如权利要求2所述的视频去雨方法，其特征在于，步骤S113中，利用基于频域的模糊高斯模型第三步的公式对所述视频进行初步去雨。

6.如权利要求1所述的视频去雨方法，其特征在于，步骤S12中，根据帧间亮度差值法寻找模糊生长的种子点。

7.如权利要求1所述的视频去雨方法，其特征在于，步骤S12中，进一步包括：

S121、计算所述初步去雨视频中每个像素与前后两帧对应像素的亮度差值，并求最大值；

S122、所述亮度差值大于所述最大值的1/3时，对应像素作为种子点，否则为非种子点；

S123、初始化所有像素的模糊连接度；及

S124、将所述种子点的模糊连接度初始化为1。

8.如权利要求1所述的视频去雨方法，其特征在于，步骤S11之前，还包括：S10、读入所述视频。

Images