CN102254149B - 视频图像雨滴的检测及识别方法 - Google Patents

Abstract

本发明公开了一种视频图像雨滴检测及识别方法，其特征在于包括以下步骤：首先，根据雨滴运动的特点，采用FastICA算法进行雨滴检测；然后，为了获取雨滴特征参数，采用基于边缘信息引导的方法进行图像二值化；最后，根据二值图像中联通区域的面积、方向角和宽度的统计特征进行雨滴识别。本发明实现了视频图像中雨滴的检测和识别，对大雨、小雨、动态和静态场景均适用，为视频图像雨滴的去除奠定了基础。

Description

视频图像雨滴的检测及识别方法

技术领域

本发明涉及一种模式识别、计算机视觉等领域中的图像雨滴检测与识别方法，属于图像处理技术领域。

背景技术

计算机视觉系统在军事领域中获得了广泛应用。然而，视觉系统却存在一个关键性的问题-对恶劣天气非常敏感。阴雨天气往往会导致大气能见度降低，视觉系统的成像质量下降，给依赖于视觉系统的监控、导航制导、目标跟踪、识别系统等带来巨大的困难。恢复阴雨天气下图像对视觉系统的全天候工作有着重要的意义。其中，雨滴的检测与识别是图像去雨的关键。

经过对现有技术的文献检索发现，没有关于图像雨滴检测和识别的发明专利，只有国内外少部分学者对雨滴的检测、识别和去除技术进行了初步的研究。

Garg等(Garg et al.，IEEE Conference on Computer Visionand Pattern Recognition，2004：528-535)首先利用雨滴光学模型初步检测雨滴；其次，利用雨滴像素灰度变化值与背景灰度值呈现线性关系这个约束条件，去除第一步中误检的雨滴；最后，基于雨滴运动方向上有较强的时空关联这一特点再次对雨滴进行识别。但是该方法检测雨滴的效果并不理想，且识别过程需要31帧图像，实时性较差。

Zhang等(Zhang et al.，IEEE International Conference onMultimedia and Expo，2006：461-464)首先对每个像素沿着时间轴方向进行K-means聚类(K＝2)以检测雨滴；然后，利用雨滴的色彩属性对上步检测的雨滴再次进行识别以剔除误检的雨滴。该方法检测雨滴需要利用全部视频帧，实时性较差。同时，由于该方法是基于单个像素进行真实雨滴的识别，故识别效果并不理想。

Brewer等(Brewer et al.，Lecture Notes in Computer Science，2008，5342：451-458)首先利用Garg的光学模型初步检测雨滴；然后，利用雨滴的长宽比和方向约束去除上一步误检的雨滴。该方法处理时仅需三帧图像，实时性较好。缺点是同样无法克服光学模型检测雨滴所存在的缺陷，而且雨滴长宽比这一约束条件并不理想，会将部分非雨物体误识别为雨滴。

发明内容

本发明所要解决的技术问题是提供一种视频图像雨滴检测和识别方法，快速、准确的实现图像中雨滴的检测。

为解决上述技术问题，本发明是采取以下的技术方案来实现的：

视频图像雨滴的检测及识别方法，其特征在于包括以下步骤：

(1)根据雨滴运动的特点，采用FastICA算法进行雨滴检测；

(2)为了获取雨滴形状特征参数，采用基于边缘信息引导的方法对检测的雨滴图像进行二值化；

(3)根据二值图像中联通区域的面积、方向角和宽度的统计特征进行雨滴识别。

前述的视频图像雨滴检测及识别方法，其特征在于：在所述步骤(1)中，根据雨滴运动的特点，采用FastICA算法进行雨滴检测，固定摄像头下拍摄的视频图像可以理解为背景分量与运动分量的叠加，背景基本不变，是一个独立分量，运动物体在图像中处于不同的位置并发生变换，是独立于背景图像的多个分量。FastICA算法能够将混合的独立分量分离开来，提取出图像的运动分量。根据雨滴运动的特点，采用FastICA算法提取出相对于背景不断变化的运动分量，即实现雨滴的检测，具体包括以下步骤：

(11)将每帧图像逐行按像素位置首尾相接构成一个向量，作为一个观测信号；

(12)三帧图像为一组，即三个向量作为一组混合的观测信号[x₁，x₂，x₃]^T，其中x₁，x₂，x₃分别代表三帧图像，每帧图像按行首尾相接成一个向量(T是线性代数里的基本符号)；用FastICA算法对这一组信号进行分离，得到三个独立分量[y₁，y₂，y₃]^T，其中y₁，y₂，y₃中的任两个为运动分量，另一个为背景分量；

(13)寻找三个独立分量中的背景分量，将其置零，假设y₃为背景分量，则令y₃＝0；

(14)利用混合矩阵对背景置零后的独立分量进行逆运算，得到每帧图像运动分量x₁′，x₂′，x₃′，其中A是3×3混合矩阵，a₁₁，...，a₃₃为混合矩阵元素，如式(1)所示；

${[{x_1}^{\′},{x_2}^{\′},{x_3}^{\′}]}^T=A*y=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ 0\end{array}\right]---\left(1\right)$

(15)将向量x₁′，x₂′，x₃′还原成矩阵形式，得到检测的雨滴图像。

前述的视频图像雨滴检测及识别方法，其特征在于：在所述步骤(13)中，寻找三个独立分量中的背景分量，将其置零，假设y₃为背景分量，则令y₃＝0。

由于固定摄像头下拍摄的每帧图像的背景相差不大，因此在FastICA分离后的混合矩阵中，背景分量对应列的数值绝对值应差别最小。以标准差作为相似的度量标准。标准差定义如式(2)所示：

$\mathrm{std}(x_1,x_2,...,x_n)={\left(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2\right)}^{\frac{1}{2}},$ $\stackrel{\‾}{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i---\left(2\right)$

若y₃为背景分量，则std(|a₁₃|，|a₂₃|，|a₃₃|)的标准差应最小，小于混合矩阵A中其余列的绝对值标准差。以此提取出独立分量中的背景分量。

前述的视频图像雨滴检测及识别方法，其特征在于：在所述步骤(2)中，检测出来的雨滴虽然整体上呈现出较小的灰度值，但从局部来看，雨滴与其周边像素的灰度仍然存在一定的对比度，而图像的边缘可以反映图像局部灰度变化情况，因此，先利用边缘检测的方法提取出灰度值较弱的雨滴边缘，然后在边缘信息的引导下实现图像二值化，二值化具体步骤如下：

(21)利用prewwit算子提取出雨滴的边缘，再利用数学形态学中的膨胀操作连接断开的边缘点；

(22)填充闭合边缘包围的内部区域；

(23)利用腐蚀运算缩小膨胀后的联通区域，去除联通区域边缘的毛刺，实现基于边缘信息引导的图像二值化。

前述的视频图像雨滴检测及识别方法，其特征在于：在所述步骤(3)中，不同的雨滴在图像中呈现较一致的方向角，并且宽度近似相等，基于此特点，采用联通区域的面积、方向角和宽度的统计特征识别出二值图像中的真实雨滴，剔除误检的非雨物体，具体步骤如下：

(31)由于部分雨滴区域的面积过小、呈零散的点状分布，点状区域的方向角随机性大，会对雨滴的整体方向角分布造成一定的干扰。因此，联通区域的面积小于图像整体面积0.01％的区域的直接判断为雨滴覆盖区域；

(32)对上步识别后的剩余联通区域提取方向角，方向角范围为[0°，180°)。由于雨滴的降落方向为0°的可能性极低，将方向角为0°的联通区域判定为非雨物体，对方向角非零的联通区域进行方向角统计，统计间隔为5°，总共划分为36个区间，将统计频率低于3％的方向角区间对应的联通区域判定为非雨的物体；

(33)根据不同帧内雨滴方向角近似相等的特点，对连续三帧去除统计低频后的方向角统计图R₁′，R₂′，R₃′利用式(3)求取雨滴方向角分布范围，再利用式(4)对方向角分布范围进行优化。不落在雨滴方向角范围内的区域判定为非雨物体；

region_rain＝(R₁′&R₂′)|(R₂′&R₃′)|(R₁′&R₃′)        (3)

region_rain-mean(region_rain)≤45°                      (4)

(34)雨滴虽然长度不尽相同，但宽度却近似相等。基于此特点，采用宽度统计的方法对方向统计后识别出的雨滴进行再次识别，筛选出真实的雨滴。

前所述的视频图像雨滴检测及识别方法，其特征在于：在所述步骤(34)中，雨滴虽然长度不尽相同，但宽度却近似相等。基于宽度统计的雨滴识别包括以下步骤：

(341)对方向统计后识别出的雨滴进行宽度统计，连续三帧中宽度的最小值为宽度统计的起点，最大值为统计的终点，将起点到终点间的区间划分为十等份；

(342)对连续三帧分别统计每个等分区间内相应宽度出现的次数，将出现频率高于9％的宽度区间内所对应的联通区域判定为雨滴；反之，为非雨物体。

前述的视频图像雨滴检测及识别方法，其特征在于：联通区域的面积即是联通区域内的像素个数，方向角是与联通区域具有相同二阶矩的椭圆的长轴与水平轴的夹角，宽度是该椭圆的短轴长度。

至此，一个完整的视频图像雨滴的检测和识别过程执行完毕。

本发明首先利用独立分量分析的方法检测出雨滴，然后利用面积、方向和宽度统计信息识别真实的雨滴，从而快速、准确的实现了图像中雨滴的检测，为图像去雨奠定基础。

附图说明

图1为本发明视频图像雨滴的检测和识别算法流程图；

图2为基于面积、方向角和宽度统计信息识别雨滴过程图；

图3为提取区域的方向角和宽度特征示意图。

具体实施方式

下面结合具体实施方式对本发明做进一步的详细说明。

参照图1，视频图像雨滴检测和识别包括以下步骤：

第一步，根据雨滴运动的特点，采用FastICA算法进行雨滴检测；

第二步，为了获取雨滴形状特征参数，采用基于边缘信息引导的方法对检测的雨滴图像进行二值化；

第三步，根据二值图像中联通区域的面积、方向角和宽度的统计特征进行雨滴识别。

根据雨滴运动的特点，采用FastICA算法进行雨滴检测。固定摄像头下拍摄的视频图像可以理解为背景分量与运动分量的叠加。背景基本不变，是一个独立分量，运动物体在图像中处于不同的位置并发生变换，是独立于背景图像的多个分量。FastICA算法能够将混合的独立分量分离开来，提取出图像的运动分量，即实现雨滴的检测。

不同的雨滴在图像中呈现较一致的方向角，并且宽度近似相等。基于此特点，采用联通区域的面积、方向角和宽度的统计特征识别出二值图像中的真实雨滴，剔除误检的非雨物体。参照图2，雨滴的识别过程具体步骤如下：

(1)由于部分雨滴区域的面积过小、呈零散的点状分布，点状区域的方向角随机性大，会对雨滴的整体方向角分布造成一定的干扰。因此，联通区域的面积小于图像整体面积0.01％的区域的直接判断为雨滴覆盖区域；

(2)对上步识别后的剩余联通区域提取方向角，方向角范围为[0°，180°)。由于雨滴的降落方向为0°的可能性极低，将方向角为0°的联通区域判定为非雨物体。对方向角非零的联通区域进行方向角统计，统计间隔为5°，总共划分为36个区间。将统计频率低于3％的方向角区间内的联通区域判定为非雨的物体；

(3)根据不同帧内雨滴方向角近似相等的特点，对连续三帧去除统计低频后的方向角统计图R₁′，R₂′，R₃′利用式(3)求取雨滴方向角分布范围，再利用式(4)对方向角分布范围进行优化。不落在雨滴方向角范围内的区域判定为非雨物体；

region_rain＝(R₁′&R₂′)|(R₂′&R₃′)|(R₁′&R₃′)        (3)

region_rain-mean(region_rain)≤45°                      (4)

(4)雨滴虽然长度不尽相同，但宽度却近似相等。基于此特点，采用宽度统计的方法对方向统计后识别出的雨滴进行再次识别，筛选出真实的雨滴。

雨滴虽然长度不尽相同，但宽度却近似相等。基于宽度统计识别雨滴具体包括以下步骤：

(1)对方向统计后识别出的雨滴进行宽度统计，连续三帧中宽度的最小值为宽度统计的起点，最大值为统计的终点。将起点到终点间的区间划分为十等份；

(2)对连续三帧分别统计每个等分区间内相应宽度出现的次数，将出现频率高于9％的宽度区间内所对应的联通区域判定雨滴；反之，为非雨物体。

参照图3，雨滴覆盖的像素不是单个像素，通常是一片区域，在二值图像中称之为连通区域。连通区域的面积就是连通区域内的像素个数；连通区域的方向角可以用与连通区域具有相同标准二阶矩的椭圆的长轴与水平轴的夹角来表述，方向角范围为[0°，180°)；连通区域的宽度用椭圆的短轴来描述。

综上所述，本发明利用雨滴的运动和形状特性实时、准确地实现了雨滴的检测和识别，为视频图像雨滴去除领域提供了一种新的解决思路和方法。

上述具体实施方式不以任何形式限制本发明的技术方案，凡是采用等同替换或等效变换的方式所获得的技术方案均落在本发明的保护范围。

Claims (4)

1.一种视频图像雨滴检测及识别方法，其特征在于，包括以下步骤：

（1）根据雨滴运动的特点，采用FastICA算法进行雨滴检测；

（2）为了获取雨滴形状特征参数，采用基于边缘信息引导的方法对检测的雨滴图像进行二值化；

（3）根据二值图像中联通区域的面积、方向角和宽度的统计特征进行雨滴识别，

在所述步骤（1）中，具体包括以下步骤：

（11）将每帧图像逐行按像素位置首尾相接构成一个向量，作为一个观测信号；

（12）三帧图像为一组，即三个向量作为一组混合的观测信号[x₁,x₂,x₃]^T，其中x₁，x₂，x₃分别代表三帧图像，每帧图像按行首尾相接成一个向量，用FastICA算法对这一组信号进行分离,得到三个独立分量[y₁,y₂,y₃]^T，其中y₁、y₂、y₃中的任两个为运动分量，另一个为背景分量；

（13）寻找三个独立分量中的背景分量，将其置零，假设y₃为背景分量，则令y₃=0；

（14）利用混合矩阵对背景置零后的独立分量进行逆运算，得到每帧图像运动分量x₁′,x₂′,x₃′，如式（1）所示；

${[{x_1}^{\′},{x_2}^{\′},{x_3}^{\′}]}^T=A*y=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]\left[\begin{array}{c}{y}_1\\ y_2\\ 0\end{array}\right]---\left(1\right)$

（15）将向量x₁′,x₂′,x₃′还原成矩阵形式，得到检测的雨滴图像，

其中A是3×3混合矩阵，a₁₁，...,a₃₃为混合矩阵元素；

在所述步骤（2）中，先利用边缘检测的方法提取出灰度值较弱的雨滴边缘，然后在边缘信息的引导下实现图像二值化，二值化具体步骤如下：

（21）利用prewwit算子提取出雨滴的边缘，再利用数学形态学中的膨胀操作连接断开的边缘点；

（22）填充闭合边缘包围的内部区域；

（23）利用腐蚀运算缩小膨胀后的联通区域，去除联通区域边缘的毛刺，实现基于边缘信息引导的图像二值化；

在所述步骤（3）中，具体步骤如下：

（31）联通区域的面积小于图像整体面积0.01%的区域直接判断为雨滴覆盖区域；

（32）对上步识别后的剩余联通区域提取方向角，方向角范围为[0°,180°)，由于雨滴的降落方向为0°的可能性极低，将方向角为0°的联通区域判定为非雨物体，对方向角非零的联通区域进行方向角统计，统计间隔为5°，总共划分为36个区间，将统计频率低于3%的方向角区间对应的联通区域判定为非雨的物体；

（33）根据不同帧内雨滴方向角近似相等的特点，对连续三帧去除统计低频后的方向角统计图R₁'，R₂'，R₃'利用式（3）求取雨滴方向角分布范围，再利用式（4）对方向角分布范围进行优化，不落在雨滴方向角范围内的区域判定为非雨物体；

region_rain=(R₁'&R₂')|(R₂′&R₃')|(R₁′&R₃′)    （3）

region_rain-mean(region_rain)45°                （4）

（34）采用宽度统计的方法对方向统计后识别出的雨滴进行再次识别，筛选出真实的雨滴。

2.根据权利要求1所述的视频图像雨滴检测及识别方法，其特征在于：在所述步骤（13）中，以标准差作为相似的度量标准，标准差定义如式（2）所示：

$\mathrm{std}(x_1,x_2,...,x_n)={\left(\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{(x_i-\stackrel{\‾}{x})}^2\right)}^{\frac{1}{2}},\stackrel{\‾}{x}=\frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{x}_i---\left(2\right)$

若y₃为背景分量，则std(|a₁₃|,|a₂₃|,|a₃₃|)的标准差应最小，小于混合矩阵A中其余列的绝对值标准差，以此提取出独立分量中的背景分量。

3.根据权利要求1所述的视频图像雨滴检测及识别方法，其特征在于：在所述步骤（34）中，基于宽度统计的雨滴识别包括以下步骤：

(341)对方向统计后识别出的雨滴进行宽度统计，连续三帧中宽度的最小值为宽度统计的起点，最大值为统计的终点，将起点到终点间的区间划分为十等份；

(342)对连续三帧分别统计每个等分区间内相应宽度出现的次数，将出现频率高于9%的宽度区间内所对应的联通区域判定为雨滴；反之，为非雨物体。

4.根据权利要求1所述的视频图像雨滴检测及识别方法，其特征在于：联通区域的面积即是联通区域内的像素个数，方向角是与联通区域具有相同二阶矩的椭圆的长轴与水平轴的夹角，宽度是该椭圆的短轴长度。

Images