CN105046670A - 一种图像去雨方法及系统 - Google Patents

Abstract

本发明属于图像处理技术领域，尤其涉及一种图像去雨方法及系统。所述图像去雨方法包括：步骤a：输入视频帧图像，并将视频帧图像从RGB色彩空间转换到HSL色彩空间；步骤b：提取HSL色彩空间的H和S通道参数，利用H和S通道参数检测出运动物体边缘，并筛选出受雨滴污染的像素点；步骤c：利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除，得到去雨图像。本发明实施例的图像去雨方法及系统通过将视频帧从RGB色彩空间转换到HSL色彩空间，降低算法的时间复杂度，提高算法的使用范围及实时性，避免雨滴和运动物体的误判；并利用各向异性扩散边缘保护算法进行雨滴的去除，得到较好的去雨效果，提高了算法的准确度和鲁棒性。

Description

一种图像去雨方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种图像去雨方法及系统。

背景技术

雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。

有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从2003年Starik等(StarikS,WermanM.Simulationofraininvideos[C]ProceedingofTextureWorkshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，偏度计算、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、HSV空间、光流法及运动分割等很多方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提高。Garg等最先提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直线性和方向一致的特点进一步筛选，最后根据前后帧的像素亮度去除雨滴影响，可以较好地满足雨滴不覆盖连续帧图像情况下的雨滴检测与去除；Zhang等将雨滴给像素带来的色彩影响考虑在内，从而提高雨滴检测的准确性，改善了基于亮度变化的去雨算法在彩色图像上的应用效果；Liu等将雨滴的亮度影响和色彩影响同时应用在算法中，用两帧检测雨滴并去除；Tripathi等先研究雨滴像素亮度变化的概率统计特性，然后利用雨滴像素亮度变化的对称性实现雨滴检测，仅基于时域和另外考虑空间位置的影响时效果不完全相同；Kang等首先利用双边滤波将雨图分成高频部分和低频部分，并对高频部分进一步处理得到非雨成分，结合低频部分得到去雨图；Huang等首先利用上下文约束进行图像分割，并利用上下文感知进行单幅图像去雨，并在此基础上提出了改进算法，文中首先用到了超完备的字典对高频部分进行处理。

特别是最近几年，视频图像去雨技术已成为新的研究热点。如何在保证高鲁棒性的前提下提高去雨的准确率和实时性，是目前视频图像去雨领域的焦点。目前存在的算法中，应用于静态场景视频雨滴检测与去除的算法有较为成熟的研究成果，但是应用在动态场景中的视频上时，算法考虑的是视频中出现运动物体所带来的干扰，对于与雨滴特性区别度不高的运动物体无法达到理想的检测效果。此外，实时处理在多项技术应用的自动导航系统、安全监控系统等场合中有很大的应用需求。这些应用场合中往往需要及时得到处理结果，反馈给用户，视频处理的滞后有可能导致用户做出错误的判断。因此视频中雨滴检测与去除不仅需要提高精度，也需要提高处理速度，而且需要找到二者之间最佳平衡点。但是当前算法还无法兼顾各种场景的处理速度和精度，实现去雨算法的实时性是当前研究面对的一个重要课题。

综上所述，现有的图像去雨技术存在的缺点在于：现有的图像去雨算法需要大量的视频图像作为统计对象，使用范围受到一定的限制，不适用于对算法实时性要求高的场景；同时，现有的图像去雨技术虽然能处理视频和图像，但是对于动态场景在区分雨滴和运动物体时存在误判，去雨效果不是很理想。

发明内容

本发明提供了一种图像去雨方法及系统，旨在解决现有的图像去雨技术实时性不高，且对于动态场景的去雨效果存在误判的技术问题。

本发明是这样实现的，一种图像去雨方法，包括：

步骤a：输入视频帧图像，并将视频帧图像从RGB色彩空间转换到HSL色彩空间；

步骤b：提取HSL色彩空间的H和S通道参数，利用H和S通道参数检测出运动物体边缘，并筛选出受雨滴污染的像素点；

步骤c：利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除，得到去雨图像。

本发明实施例采取的技术方案还包括：在所述步骤a中，所述将视频帧图像从RGB色彩空间转换到HSL色彩空间的转换公式为：

$s=\left\{\begin{array}{ccc}0,& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if& 0<l\&le;1/2\\ \frac{\max -\min }{2-(\max +\min )},& if& l>1/2\end{array}\right.$

$l=\frac{1}{2}(max+min)$

在上述公式中，max为像素r、g、b中最大值，min为像素r、g、b中最小值。

本发明实施例采取的技术方案还包括：在所述步骤b中，所述筛选出受雨滴污染的像素点具体包括：根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标记，其余的像素亮度差值较大的像素点为初步筛选出的受雨滴污染的像素点；并通过动态雨滴的光度特性对初步筛选出的受雨滴污染的像素点进行误检排除，得到最终的受雨滴污染的像素点。

本发明实施例采取的技术方案还包括：所述对初步筛选出的受雨滴污染的像素点进行误检排除具体为：分析每个被雨滴影响的像素，判断该像素是否与前一帧上的背景亮度呈线性关系，如果该像素与前一帧上的背景亮度呈线性关系，则确定该像素为受雨影响的像素；否则确定该像素为运动物体上的像素，将该像素从初步筛选出的受雨滴污染的像素点中去掉；并用雨滴的直线性与其他快速运动物体相区别，得到最终的受雨滴污染的像素点。

本发明实施例采取的技术方案还包括：在所述步骤c中，所述利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除的具体公式为：

$I_n^{t+1}(x,y)=\left\{\begin{array}{cc}\frac{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)I_n^{t+1}(x,y)}{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)},& I_n^{t+1}(x,y)>I_n^t(x,y)\\ I_n^t(x,y),& \end{array}\right.$

在上述公式中，w_x,y(i,j)表示扩散系数，V表示3×3邻域空间，t为扩散运行时间，v_m(x,y)表示每个像素的位置向量；扩散系数的大小由下式决定：

$w_{x,y}(i,j)=\frac{1}{A}\exp (-\frac{d\left(v_n\right(x,y),v_m(i,j\left)\right)}{4t}),\&ForAll;v_m(i,j)\&Element;V$

在上述公式中，A是标准化常量，d(v_n(x,y),v_m(i,j))＝(v_n(x,y)-v_m(i,j))^TΨ^-1(v_n(x,y)-v_m(i,j))，扩散张量Ψ表示多方条件约束。

本发明实施例采取的技术方案还包括：在所述步骤c后还包括：将去雨图像转换为RGB色彩空间图像并输出图像。

本发明实施例采取的另一技术方案为：一种图像去雨系统，包括空间转换模块、雨滴筛选模块和图像去雨模块；

所述空间转换模块用于输入视频帧图像，并将视频帧图像从RGB色彩空间转换到HSL色彩空间；

所述雨滴筛选模块用于提取HSL色彩空间的H和S通道参数，利用H和S通道参数检测出运动物体边缘，并筛选出受雨滴污染的像素点；

所述图像去雨模块用于利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除，得到去雨图像。

本发明实施例采取的技术方案还包括：所述空间转换模块将视频帧图像从RGB色彩空间转换到HSL色彩空间的转换公式为：

$s=\left\{\begin{array}{ccc}0,& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if& 0<l\&le;1/2\\ \frac{\max -\min }{2-(\max +\min )},& if& l>1/2\end{array}\right.$

$l=\frac{1}{2}(max+min)$

在上述公式中，max为像素r、g、b中最大值，min为像素r、g、b中最小值。

本发明实施例采取的技术方案还包括：所述图像去雨模块利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除的具体公式为：

$I_n^{t+1}(x,y)=\left\{\begin{array}{cc}\frac{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)I_n^{t+1}(x,y)}{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)},& I_n^{t+1}(x,y)>I_n^t(x,y)\\ I_n^t(x,y),& \end{array}\right.$

在上述公式中，w_x,y(i,j)表示扩散系数，V表示3×3邻域空间，t为扩散运行时间，v_m(x,y)表示每个像素的位置向量；扩散系数的大小由下式决定：

$w_{x,y}(i,j)=\frac{1}{A}\exp (-\frac{d\left(v_n\right(x,y),v_m(i,j\left)\right)}{4t}),\&ForAll;v_m(i,j)\&Element;V$

在上述公式中，A是标准化常量，d(v_n(x,y),v_m(i,j))＝(v_n(x,y)-v_m(i,j))^TΨ^-1(v_n(x,y)-v_m(i,j))，扩散张量Ψ表示多方条件约束。

本发明实施例采取的技术方案还包括：还包括雨滴排除模块和图像输出模块；所述雨滴筛选模块根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标记，初步筛选出受雨滴污染的像素点，所述雨滴排除模块通过动态雨滴的光度特性对初步筛选出的受雨滴污染的像素点进行误检排除，得到最终的受雨滴污染的像素点；所述图像输出模块将去雨图像转换为RGB色彩空间图像并输出图像。

本发明实施例的图像去雨方法及系统通过将视频帧从RGB色彩空间转换到HSL色彩空间，降低算法的时间复杂度，提高算法的使用范围及实时性，避免雨滴和运动物体的误判；并利用各向异性扩散边缘保护算法进行雨滴的去除，得到较好的去雨效果，提高了算法的准确度和鲁棒性。

附图说明

图1是本发明实施例的图像去雨方法的流程图；

图2是本发明实施例的基于连续三帧的时空相关性进行雨滴去除的去雨效果图；

图3(a)为原始视频图像；

图3(b)为利用本发明处理后的去雨图像；

图3(c)为Garg的去雨图像。

图4是本发明实施例的图像去雨系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明实施例的图像去雨方法的流程图。本发明实施例的图像去雨方法包括以下步骤：

步骤100：输入视频帧图像，并根据雨滴的色彩特性，将视频帧图像从RGB色彩空间转换到HSL色彩空间；

在步骤100中，雨滴的色彩特性具体为：由于雨滴下落速度快，在正常曝光速度下，图像上观测不到球形的雨滴，而是雨滴由于快速运动形成的雨线，在自然环境下，通过下式可描述雨滴的物理成像过程，并可以定量描述雨滴下落时产生的模糊：

$\begin{array}{c}{I}_r(x,y)={\&Integral;}_0^{\mathrm{\&tau;}}{E}_r(x,y)dt+{\&Integral;}_{\mathrm{\&tau;}}^T{E}_b(x,y)dt\\ ={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})I_b(x,y)\end{array}---\left(1\right)$

在式(1)中，I_r(x,y)表示像素位置(x,y)的像素亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，E_r(x,y)表示雨滴经过像素位置(x,y)的辐照度，E_b(x,y)为背景像素的平均辐照度。

实际上自然光线是由不同频率的光混合而成的，因此雨滴成像的光学模型在基于任一颜色分量的通道内仍然成立。因此，式(1)各个变量用其在R、G和B三个通道的分量表示后仍然成立。将R、G和B三个分量用矢量表示，即：

${\stackrel{\&RightArrow;}{I}}_r(x,y)=\mathrm{\&alpha;}{\stackrel{\&RightArrow;}{I}}_E(x,y)+(1-\mathrm{\&alpha;}){\stackrel{\&RightArrow;}{I}}_b(x,y)---\left(2\right)$

$\left\{\begin{array}{c}{R}_r(x,y)={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})R_b(x,y)\\ G_r(x,y)={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})G_b(x,y)\\ B_r(x,y)={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})B_b(x,y)\end{array}\right.---\left(3\right)$

而由于HSL色彩空间模型是由色调(H)、饱和度(S)和明度(L)组成，所以利用雨滴的亮度特性可进行去雨的特性，将RGB色彩空间转换成HSL色彩空间，在去雨过程中只需对HSL色彩空间表示亮度的L通道进行去雨，H和S通道分别为色调和饱和度，与亮度无关，在去雨过程中可保持不变，可以大大减少算法的复杂度。在本发明实施例中，将RGB色彩空间转换成HSL色彩空间的转换公式为：

$s=\left\{\begin{array}{ccc}0,& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if& 0<l\&le;1/2\\ \frac{\max -\min }{2-(\max +\min )},& if& l>1/2\end{array}\right.$

$l=\frac{1}{2}(max+min)---\left(4\right)$

在公式(4)中，max为像素r、g、b中最大值，min为像素r、g、b中最小值。

步骤200：分别提取HSL色彩空间的H和S通道参数，利用H和S通道参数检测出运动物体边缘，并根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标记，初步筛选出受雨滴污染的像素点；

在步骤200中，因为α＝τ/T,所以α/(1-α)，于是由式(3)和式(4)可知，受雨滴影响的像素点中，H_r-H_b和S_r-S_b也都趋近零；利用H和S通道在运动物体与雨滴在帧差法上会有很大差异的特性，检测出运动物体边缘。具体检测方法为，先构造度量函数：

$F(x,y)=\frac{1}{2}\left(\right|H_r(x,y)-H_b(x,y)|+|S_r(x,y)-S_b(x,y)\left|\right)\&times;\left|\right|{\stackrel{\&RightArrow;}{I}}_r(x,y)-{\stackrel{\&RightArrow;}{I}}_b(x,y)\left|\right|---\left(5\right)$

在式(5)中，右侧第一项的物理意义是雨滴不会改变背景像素的色相值。但由于受不同视频质量以及远景雨雾形成模糊效应的影响，无法获得准确的雨滴区域和背景区域的像素值，因此单一使用色相值无法准确判定雨滴和运动区域，因此结合饱和度以及亮度值来构造度量函数。

根据雨滴的色彩特性可以得出，雨滴像素的度量函数是趋近零的，而运动物体的边缘色相和饱和度都会发生明显变化，度量函数是一个比较大的值。由于受不同视频质量以及远景雨雾形成模糊效应的影响，无法获得准确的雨滴区域和背景区域的像素值，故可根据实际应用设置一个阈值从而来筛选出运动物体边缘。然后根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标号，其余的像素亮度差值较大的点则为初步筛选出的受雨滴污染的像素点。H和S通道虽然不受雨滴影响，但是可以用来进行运动物体边缘检测，从而进行雨滴识别，避免雨滴和运动物体的误判，降低算法的时间复杂度，提高算法的实时性。

步骤300：通过动态雨滴的光度特性对初步筛选出的受雨滴污染的像素点进行误检排除，得到最终的受雨滴污染的像素点；

在步骤300中，对初步筛选出的受雨滴污染的像素点进行误检排除具体为：首先，分析每个被雨滴影响的像素，看其是否与前一帧上的背景亮度呈线性关系，如果与前一帧上的背景亮度呈线性关系，则确定该像素为受雨影响的像素；否则确定该像素为运动物体上的像素，将其从初步筛选出的受雨滴污染的像素点中去掉。然后，由于雨滴的下落轨迹为直线，在成像时以雨线的形式出现在投影平面，因此可以用雨滴的直线性来与雪或者水花等其他快速运动物体相区别，得到最终的受雨滴污染的像素点。

步骤400：利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除，得到去雨图像；

在步骤400中，本发明实施例采用基于连续三帧的时空相关性进行雨滴去除，在本发明其他实施例中，也可采用其他帧数进行雨滴去除。具体如图2所示，是本发明实施例的基于连续三帧的时空相关性进行雨滴去除的去雨效果图。可以看到关于中心像素的三维26邻域像素，对于第n帧图像每个位置(x,y)上的像素v_n(x,y)，它的26邻域像素组成了一个基于前后帧同一位置的3×3邻域空间。雨滴去除，是通过利用每个雨滴区域像素的领域像素加权平均方式来替换雨滴像素，具体公式为：

$I_n^{t+1}(x,y)=\left\{\begin{array}{cc}\frac{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)I_n^{t+1}(x,y)}{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)},& I_n^{t+1}(x,y)>I_n^t(x,y)\\ I_n^t(x,y),& \end{array}\right.---\left(6\right)$

在式(6)中，w_x,y(i,j)表示扩散系数，V表示3×3邻域空间，t为扩散运行时间，v_m(x,y)表示每个像素的位置向量。只有当前帧像素比前一帧像素大时才更新，因为背景像素亮度比雨滴像素亮度小。雨滴区域的所有像素按照光栅扫描的顺序更新，这种平滑处理即使在雨线宽的大于一个像素事也会有作用。扩散系数的大小由下式决定：

$w_{x,y}(i,j)=\frac{1}{A}\exp (-\frac{d\left(v_n\right(x,y),v_m(i,j\left)\right)}{4t}),\&ForAll;v_m(i,j)\&Element;V---\left(7\right)$

在式(7)中，A是标准化常量，d(v_n(x,y),v_m(i,j))＝(v_n(x,y)-v_m(i,j))^TΨ^-1(v_n(x,y)-v_m(i,j))，扩散张量Ψ表示多方条件约束，它跟时空导数特性相关。

处理结果如图3所示，图3(a)为原始视频图像，图3(b)为利用本发明处理后的去雨图像，图3(c)为Garg的去雨图像。可以看出，本发明利用各向异性扩散边缘保护算法进行雨滴去除，由于扩散过程中包含了相邻帧数据，去雨效果较好，边缘信息被完好的保留下来，有利于提高算法的准确度和鲁棒性。

步骤500：将去雨图像转换为RGB色彩空间图像并输出图像。

请参阅图4，是本发明实施例的图像去雨系统的结构示意图。本发明实施例的图像去雨系统包括空间转换模块、雨滴筛选模块、雨滴排除模块、图像去雨模块和图像输出模块；具体地：

空间转换模块用于输入视频帧图像，并根据雨滴的色彩特性，将视频帧图像从RGB色彩空间转换到HSL色彩空间；其中，雨滴的色彩特性具体为：由于雨滴下落速度快，在正常曝光速度下，图像上观测不到球形的雨滴，而是雨滴由于快速运动形成的雨线，在自然环境下，通过下式可描述雨滴的物理成像过程，并可以定量描述雨滴下落时产生的模糊：

$\begin{array}{c}{I}_r(x,y)={\&Integral;}_0^{\mathrm{\&tau;}}{E}_r(x,y)dt+{\&Integral;}_{\mathrm{\&tau;}}^T{E}_b(x,y)dt\\ ={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})I_b(x,y)\end{array}---\left(1\right)$

在式(1)中，I_r(x,y)表示像素位置(x,y)的像素亮度，τ表示雨滴下落经过像素位置(x,y)所需要的时间，T为相机曝光时间，E_r(x,y)表示雨滴经过像素位置(x,y)的辐照度，E_b(x,y)为背景像素的平均辐照度。

实际上自然光线是由不同频率的光混合而成的，因此雨滴成像的光学模型在基于任一颜色分量的通道内仍然成立。因此，式(1)各个变量用其在R、G和B三个通道的分量表示后仍然成立。将R、G和B三个分量用矢量表示，即：

${\stackrel{\&RightArrow;}{I}}_r(x,y)=\mathrm{\&alpha;}{\stackrel{\&RightArrow;}{I}}_E(x,y)+(1-\mathrm{\&alpha;}){\stackrel{\&RightArrow;}{I}}_b(x,y)---\left(2\right)$

$\left\{\begin{array}{c}{R}_r(x,y)={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})R_b(x,y)\\ G_r(x,y)={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})G_b(x,y)\\ B_r(x,y)={\mathrm{\&alpha;I}}_E(x,y)+(1-\mathrm{\&alpha;})B_b(x,y)\end{array}\right.---\left(3\right)$

而由于HSL色彩空间模型是由色调(H)、饱和度(S)和明度(L)组成，所以利用雨滴的亮度特性可进行去雨的特性，将RGB色彩空间转换成HSL色彩空间，在去雨过程中只需对HSL色彩空间表示亮度的L通道进行去雨，H和S通道分别为色调和饱和度，与亮度无关，在去雨过程中可保持不变，可以大大减少算法的复杂度。在本发明实施例中，将RGB色彩空间转换成HSL色彩空间的公式为：

$s=\left\{\begin{array}{ccc}0,& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if& 0<l\&le;1/2\\ \frac{\max -\min }{2-(\max +\min )},& if& l>1/2\end{array}\right.$

$l=\frac{1}{2}(max+min)---\left(4\right)$

在公式(4)中，max为像素r、g、b中最大值，min为像素r、g、b中最小值。

雨滴筛选模块用于分别提取HSL色彩空间的H和S通道参数，利用H和S通道参数检测出运动物体边缘，并根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标记，初步筛选出受雨滴污染的像素点；其中，因为α＝τ/T,所以α/(1-α)，于是由式(3)和式(4)可知，受雨滴影响的像素点中，H_r-H_b和S_r-S_b也都趋近零；利用H和S通道在运动物体与雨滴在帧差法上会有很大差异的特性，检测出运动物体边缘。具体检测方法为，先构造度量函数：

$F(x,y)=\frac{1}{2}\left(\right|H_r(x,y)-H_b(x,y)|+|S_r(x,y)-S_b(x,y)\left|\right)\&times;\left|\right|{\stackrel{\&RightArrow;}{I}}_r(x,y)-{\stackrel{\&RightArrow;}{I}}_b(x,y)\left|\right|---\left(5\right)$

在式(5)中，右侧第一项的物理意义是雨滴不会改变背景像素的色相值。但由于受不同视频质量以及远景雨雾形成模糊效应的影响，无法获得准确的雨滴区域和背景区域的像素值，因此单一使用色相值无法准确判定雨滴和运动区域，因此结合饱和度以及亮度值来构造度量函数。根据雨滴的色彩特性可以得出，雨滴像素的度量函数是趋近零的，而运动物体的边缘色相和饱和度都会发生明显变化，度量函数是一个比较大的值。由于受不同视频质量以及远景雨雾形成模糊效应的影响,无法获得准确的雨滴区域和背景区域的像素值，故可根据实际应用设置一个阈值从而来筛选出运动物体边缘。然后根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标号，其余的像素亮度差值较大的点则为初步筛选出的受雨滴污染的像素点。H和S通道虽然不受雨滴影响，但是可以用来进行运动物体边缘检测，从而进行雨滴识别，避免雨滴和运动物体的误判，降低算法的时间复杂度，提高算法的实时性。

雨滴排除模块用于通过动态雨滴的光度特性对初步筛选出的受雨滴污染的像素点进行误检排除，得到最终的受雨滴污染的像素点；其中，对初步筛选出的受雨滴污染的像素点进行误检排除具体为：首先，分析每个被雨滴影响的像素，看其是否与前一帧上的背景亮度呈线性关系，如果与前一帧上的背景亮度呈线性关系，则确定该像素为受雨影响的像素；否则确定该像素为运动物体上的像素，将其从初步筛选出的受雨滴污染的像素点中去掉。然后，由于雨滴的下落轨迹为直线，在成像时以雨线的形式出现在投影平面，因此可以用雨滴的直线性来与雪或者水花等其他快速运动物体相区别，得到最终的受雨滴污染的像素点。

图像去雨模块用于利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除，得到去雨图像；其中，本发明实施例采用基于连续三帧的时空相关性进行雨滴去除。具体如图2所示，是本发明实施例的基于连续三帧的时空相关性进行雨滴去除的去雨效果图。可以看到关于中心像素的三维26邻域像素，对于第n帧图像每个位置(x,y)上的像素v_n(x,y)，它的26邻域像素组成了一个基于前后帧同一位置的3×3邻域空间。雨滴去除，是通过利用每个雨滴区域像素的领域像素加权平均方式来替换雨滴像素，具体公式为：

$I_n^{t+1}(x,y)=\left\{\begin{array}{cc}\frac{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)I_n^{t+1}(x,y)}{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)},& I_n^{t+1}(x,y)>I_n^t(x,y)\\ I_n^t(x,y),& \end{array}\right.---\left(6\right)$

在式(6)中，w_x,y(i,j)表示扩散系数，V表示3×3邻域空间，t为扩散运行时间，v_m(x,y)表示每个像素的位置向量。只有当前帧像素比前一帧像素大时才更新，因为背景像素亮度比雨滴像素亮度小。雨滴区域的所有像素按照光栅扫描的顺序更新，这种平滑处理即使在雨线宽的大于一个像素事也会有作用。扩散系数的大小由下式决定：

$w_{x,y}(i,j)=\frac{1}{A}\exp (-\frac{d\left(v_n\right(x,y),v_m(i,j\left)\right)}{4t}),\&ForAll;v_m(i,j)\&Element;V---\left(7\right)$

在式(7)中，A是标准化常量，d(v_n(x,y),v_m(i,j))＝(v_n(x,y)-v_m(i,j))^TΨ^-1(v_n(x,y)-v_m(i,j))，扩散张量Ψ表示多方条件约束，它跟时空导数特性相关。

处理结果如图3所示，图3(a)为原始视频图像，图3(b)为利用本发明处理后的去雨图像，图3(c)为Garg的去雨图像。可以看出，本发明利用各向异性扩散边缘保护算法进行雨滴去除，由于扩散过程中包含了相邻帧数据，去雨效果较好，边缘信息被完好的保留下来，有利于提高算法的准确度和鲁棒性。

图像输出模块用于将去雨图像转换为RGB色彩空间图像并输出图像。

本发明实施例的图像去雨方法及系统通过将视频帧从RGB色彩空间转换到HSL色彩空间，降低算法的时间复杂度，提高算法的使用范围及实时性，避免雨滴和运动物体的误判；并利用各向异性扩散边缘保护算法进行雨滴的去除，得到较好的去雨效果，提高了算法的准确度和鲁棒性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像去雨方法，包括：

步骤a：输入视频帧图像，并将视频帧图像从RGB色彩空间转换到HSL色彩空间；

步骤b：提取HSL色彩空间的H和S通道参数，利用H和S通道参数检测出运动物体边缘，并筛选出受雨滴污染的像素点；

步骤c：利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除，得到去雨图像。

2.根据权利要求1所述的图像去雨方法，其特征在于，在所述步骤a中，所述将视频帧图像从RGB色彩空间转换到HSL色彩空间的转换公式为：

$s=\left\{\begin{array}{ccc}0,& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if& 0<l\&le;1/2\\ \frac{\max -\min }{2-(\max +\min )},& if& l>1/2\end{array}\right.$

$l=\frac{1}{2}(max+min)$

在上述公式中，max为像素r、g、b中最大值，min为像素r、g、b中最小值。

3.根据权利要求1所述的图像去雨方法，其特征在于，在所述步骤b中，所述筛选出受雨滴污染的像素点具体包括：根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标记，其余的像素亮度差值较大的像素点为初步筛选出的受雨滴污染的像素点；并通过动态雨滴的光度特性对初步筛选出的受雨滴污染的像素点进行误检排除，得到最终的受雨滴污染的像素点。

4.根据权利要求3所述的图像去雨方法，其特征在于，所述对初步筛选出的受雨滴污染的像素点进行误检排除具体为：分析每个被雨滴影响的像素，判断该像素是否与前一帧上的背景亮度呈线性关系，如果该像素与前一帧上的背景亮度呈线性关系，则确定该像素为受雨影响的像素；否则确定该像素为运动物体上的像素，将该像素从初步筛选出的受雨滴污染的像素点中去掉；并用雨滴的直线性与其他快速运动物体相区别，得到最终的受雨滴污染的像素点。

5.根据权利要求1所述的图像去雨方法，其特征在于，在所述步骤c中，所述利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除的具体公式为：

$I_n^{t+1}(x,y)=\left\{\begin{array}{cc}\frac{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)I_n^{t+1}(x,y)}{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)},& I_n^{t+1}(x,y)>I_n^t(x,y)\\ I_n^t(x,y),& \end{array}\right.$

在上述公式中，w_x,y(i,j)表示扩散系数，V表示3×3邻域空间，t为扩散运行时间，v_m(x,y)表示每个像素的位置向量；扩散系数的大小由下式决定：

$w_{x,y}(i,j)=\frac{1}{A}\exp (-\frac{d\left(v_n\right(x,y),v_m(i,j\left)\right)}{4t}),\&ForAll;v_m(i,j)\&Element;V$

在上述公式中，A是标准化常量，d(v_n(x,y),v_m(i,j))＝(v_n(x,y)-v_m(i,j))^TΨ^-1(v_n(x,y)-v_m(i,j))，扩散张量Ψ表示多方条件约束。

6.根据权利要求1所述的图像去雨方法，其特征在于，在所述步骤c后还包括：将去雨图像转换为RGB色彩空间图像并输出图像。

7.一种图像去雨系统，其特征在于，包括空间转换模块、雨滴筛选模块和图像去雨模块；

所述空间转换模块用于输入视频帧图像，并将视频帧图像从RGB色彩空间转换到HSL色彩空间；

所述雨滴筛选模块用于提取HSL色彩空间的H和S通道参数，利用H和S通道参数检测出运动物体边缘，并筛选出受雨滴污染的像素点；

所述图像去雨模块用于利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除，得到去雨图像。

8.根据权利要求7所述的图像去雨系统，其特征在于，所述空间转换模块将视频帧图像从RGB色彩空间转换到HSL色彩空间的转换公式为：

$s=\left\{\begin{array}{ccc}0,& if& l=0or\max =\min \\ \frac{\max -\min }{\max +\min },& if& 0<l\&le;1/2\\ \frac{\max -\min }{2-(\max +\min )},& if& l>1/2\end{array}\right.$

$l=\frac{1}{2}(max+min)$

在上述公式中，max为像素r、g、b中最大值，min为像素r、g、b中最小值。

9.根据权利要求8所述的图像去雨系统，其特征在于，所述图像去雨模块利用各向异性扩散边缘保护算法将受雨滴污染的像素点进行去除的具体公式为：

$I_n^{t+1}(x,y)=\left\{\begin{array}{cc}\frac{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)I_n^{t+1}(x,y)}{\underset{v_m(i,j)\&Element;V}{\&Sigma;}{w}_{x,y}(i,j)},& I_n^{t+1}(x,y)>I_n^t(x,y)\\ I_n^t(x,y),& \end{array}\right.$

在上述公式中，w_x,y(i,j)表示扩散系数，V表示3×3邻域空间，t为扩散运行时间，v_m(x,y)表示每个像素的位置向量；扩散系数的大小由下式决定：

$w_{x,y}(i,j)=\frac{1}{A}\exp (-\frac{d\left(v_n\right(x,y),v_m(i,j\left)\right)}{4t}),\&ForAll;v_m(i,j)\&Element;V$

在上述公式中，A是标准化常量，d(v_n(x,y),v_m(i,j))＝(v_n(x,y)-v_m(i,j))^TΨ^-1(v_n(x,y)-v_m(i,j))，扩散张量Ψ表示多方条件约束。

10.根据权利要求7所述的图像去雨系统，其特征在于：还包括雨滴排除模块和图像输出模块；所述雨滴筛选模块根据检测出的运动物体边缘，采用彩色聚类图像分割方法将运动物体内部点进行标记，初步筛选出受雨滴污染的像素点，所述雨滴排除模块通过动态雨滴的光度特性对初步筛选出的受雨滴污染的像素点进行误检排除，得到最终的受雨滴污染的像素点；所述图像输出模块将去雨图像转换为RGB色彩空间图像并输出图像。