CN105046653B - 一种视频雨滴去除方法及系统 - Google Patents

Abstract

本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法及系统。所述视频雨滴去除方法包括：步骤a：读取视频帧，并将视频帧进行色彩空间转换；步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；步骤c：通过去噪算法及雨滴面积约束，得到最终检测雨滴，并通过去雾方程及动态雨滴光度特性去除雨滴，得到最终去雨结果。本发明大幅缩小了雨滴去除所需的时间，提高去雨效率，减少误检雨滴像素，避免引入人工噪声，并结合去雾方程及动态雨滴的光度特性对图像进行去雨处理，有效提升图像质量，获得较好的去雨效果。

Description

一种视频雨滴去除方法及系统

技术领域

本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法及系统。

背景技术

由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像质量造成较大程度的影响。视频雨滴去除技术通过使用雨的物理、频率等特性，对视频帧中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，视频雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于视频及图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。同时，他们认为雨会对背景产生亮度加强，且造成一定程度上的模糊，最终产生的视觉效果是雨及被覆盖背景的空间混合。对于远处的雨，由于失焦效果，会呈现雾状特征。遗憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”inProc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，分别建立了两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴(雨线)，其亮度由静态雨滴亮度、背景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好，但其对于严重失焦(远处)的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal in video by combiningtemporal and chromatic properties.In:Proceedings of the 2006 InternationalConferenceon Multimedia and Expo.Toronto,Canada:IEEE,2006.461)使用了雨的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰(分别代表雨滴亮度及背景亮度)，且近似构成高斯混合模型，故非监督学习方法——K-means聚类算法能够有效地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,KanadeT.Analysis of rainand snow in frequency space.Internatio-nal Journal ofComputer Vision,2010,86)注意到之前的多数方法严重依赖于清晰雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此方法由于算法较为简单，容易出现过多错误检测；同时，由于使用了混合高斯模型，具有较高的时间复杂度，且在存在不显眼的雨(明亮背景下的雨)及雨势变化时，其处理性能会出现显著下降。

由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单幅图像(即无时域信息)时，频率特性能够发挥更大的作用。Yu-Hsiang Fu等(Fu Y H,KangL W,Lin C W,et al.Single-frame-based rain removal via imagedecomposition.In:Proceeding of 2011IEEE International Conference on Acoustics,Speech andSignal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)首先提出了基于MCA(形态学成分分析)及图像分解的单幅图像去雨算法，作者首先使用双边滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为0得到去雨图像。由于此方法存在字典选择非自动性的缺点，Li-Wei Kang等(Kang L W,Lin C W,Fu YH.Automatic single-image-based rain streaks removalvia imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了一种基于自学习的自动改进算法。之后，De-An Huang等(Huang D A,Kang L W,Yang MC,et al.Context-aware single image rain removal.In:Proceeding of 2012 IEEEInternational Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅图像进行学习工作，故可以大幅减少算法所需时间。而Duan-Yu Chen等(Chen D Y,ChenC C,Kang L W.Visual depth guided image rain streaks removal via sparsecoding.In:Proceeding of2012 International Symposium on Intelligent SignalProcessing and Communications Systems.NewTaipei,Taiwan:IEEE,2012:151-156.)引入了DoD(深度差异)的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮助，同时，他们使用引导滤波替代原先使用的双边滤波，因为其拥有更好的性能。

现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低；而对于远处的失焦的雨，现有的去雨算法大多选择忽略或者进行额外的去雾操作，但此种方法存在如缺乏图像整体特性考虑等缺点，对图像的质量提升不明显。

发明内容

本发明提供了一种视频雨滴去除方法及系统，旨在解决现有的基于雨光度特性的去雨算法处理时间较长，计算效率不高，不利于实时应用的技术问题。

本发明提供的视频雨滴去除方法及系统还可以解决以下技术问题：

现有的基于静态雨滴光度特性的去雨算法较为简单，容易出现过多错误检测点，且时间复杂度较高；

现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低；

现有技术大多忽略远处的失焦雨或对其进行额外的去雾操作，忽略远处的失焦雨对图像的质量提升不明显，进行额外的去雾操作存在如缺乏图像整体特性考虑等缺点。

本发明是这样实现的，一种视频雨滴去除方法，包括：

步骤a：读取视频帧，并将视频帧进行色彩空间转换；

步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；

步骤c：通过去噪算法及雨滴面积约束，得到最终检测雨滴，并通过去雾方程及动态雨滴光度特性去除雨滴，得到最终去雨结果。

本发明实施例采取的技术方案还包括：在所述步骤a中，所述将视频帧进行色彩空间转换具体包括：

步骤a1：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

步骤a2：将步骤a1的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，步骤a1的公式重写为:

其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；

步骤a3：雨滴引起的ΔR、ΔG及ΔB近似相等，步骤a2中的公式变换为:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

本发明实施例采取的技术方案还包括：在所述步骤b中，所述通过基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨滴初检结果。

本发明实施例采取的技术方案还包括：在所述步骤b中，所述通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴具体包括：通过引导滤波器得到原图像的高频部分及低频部分，通过将雨滴初检结果及高频部分取交集操作，得到雨滴初检结果中的图像的边缘部分，并从雨滴初检结果中减去边缘部分，得到优化的候选雨滴。

本发明实施例采取的技术方案还包括：在所述步骤c中，所述通过去噪算法及雨滴面积约束得到最终检测雨滴具体为：通过BM3D去噪算法及雨滴面积约束得到最终检测雨滴；所述通过去雾方程及动态雨滴光度特性去除雨滴的具体公式为：

在上述公式中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因子，L为图像的拉普拉斯矩阵，U为与L相同尺寸的稀疏单位矩阵，λ为归一化系数，ω为引进来的修正参数，用于表征图像受静态雨滴像素影响的程度。

本发明实施例采取的另一技术方案为：一种视频雨滴去除系统，包括空间转换模块、雨滴初检模块、图像滤波模块、图像去噪模块和图像去雨模块；

所述空间转换模块用于读取视频帧，并将视频帧进行色彩空间转换；

所述雨滴初检模块用于通过基于静态雨滴的光度特性进行雨滴初检；

所述图像滤波模块用于通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；

所述图像去噪模块用于通过去噪算法及雨滴面积约束得到最终检测雨滴；

所述图像去雨模块用于通过去雾方程及动态雨滴光度特性去除雨滴，得到最终去雨结果。

本发明实施例采取的技术方案还包括：所述所述空间转换模块将视频帧进行色彩空间转换具体为：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

上述公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，上述公式重写为如下形式:

在上述重写公式中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；雨滴引起的ΔR、ΔG及ΔB近似相等，上述公式可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

本发明实施例采取的技术方案还包括：所述雨滴初检模块通过基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨滴初检结果。

本发明实施例采取的技术方案还包括：所述图像滤波模块通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴具体包括：通过引导滤波器得到原图像的高频及低频部分，通过将雨滴初检结果及高频部分取交集操作，得到雨滴初检结果中的图像的边缘部分，并从雨滴初检结果中减去边缘部分，得到优化的候选雨滴；

所述图像去噪模块通过去噪算法及雨滴面积约束得到最终检测雨滴具体为：通过BM3D去噪算法及雨滴面积约束得到最终检测雨滴。

本发明实施例采取的技术方案还包括：所述图像去雨模块通过去雾方程及动态雨滴光度特性去除雨滴的具体公式为：

在上述公式中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因子，L为图像的拉普拉斯矩阵，U为与L相同尺寸的稀疏单位矩阵，λ为归一化系数，ω为引进来的修正参数，用于表征图像受静态雨滴像素影响的程度。

本发明实施例的视频雨滴去除方法及系统将视频帧从RGB色彩空间转换到YCbCr色彩空间，大幅缩小了雨滴去除所需的时间，提高去雨效率；通过加入引导滤波进行运动物体轮廓获取，从而减少误检雨滴像素；通过BM3D去噪算法对图像进行去噪处理，避免引入人工噪声；通过结合去雾方程及动态雨滴的光度特性对图像进行去雨处理，有效提升图像质量；通过引进修正参数对图像亮度进行矫正，能够获得较好的去雨效果。

附图说明

图1是本发明实施例的视频雨滴去除方法的流程图；

图2是RGB色彩空间图像处理示意图；

图3雨滴视野图；

图4是雨滴反射、折射图；

图5是雨滴像素的灰度值变化示意图；

图6(a)是原始图像，图6(b)是去雨后的图像；

图7是本发明实施例的视频雨滴去除系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明实施例的视频雨滴去除方法的流程图。本发明实施例的视频雨滴去除方法包括以下步骤：

步骤100：读取视频帧，并将视频帧从RGB色彩空间转换到YCbCr色彩空间；

在步骤100中，对于色彩空间，其是为了定量描述颜色而建立的支持数字图像的生成、存储、处理及显示的颜色模型。其中最出名的为RGB色彩空间，RGB色彩空间建立的主要依据是人的眼睛有红、绿和蓝三种色感细胞，它们的最大感光灵敏度分别落在红色、蓝色和绿色区域，其合成的光谱响应就是视觉曲线，由此推出任何彩色都可以用红、绿、蓝三种基色来配置；但由于在使用RGB色彩空间进行图像处理时需要同时处理红、绿、蓝三个通道上的数据，造成了时间复杂度过高的现象，具体如图2所示，是RGB色彩空间图像处理示意图；而对于YCbCr色彩空间，其是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr不是一种绝对色彩空间，是YUV(YUV是被欧洲电视系统所采用的一种颜色编码方法)压缩和偏移的版本。YCbCr色彩空间中的Y指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y亮度分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到图像质量的变化，且通过计算，在被雨影响的图像中，雨的部分基本存在于Y亮度分量，Cb蓝色色度分量及Cr红色色度分量并不受雨滴的影响，故在YCbCr色彩空间中使用去雨算法，只需去除Y亮度分量中雨场，能够降低时间复杂度。具体地，从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

对于有雨的一幅图像，每个像素在R、G、B三个分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于雨滴折射作用引起的背景强度值的增量。将公式(1)的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，重写(1)式为如下形式:

在公式(2)中，Rbg、Gbg、Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，雨滴引起的ΔR、ΔG、ΔB应近似相等，所以公式(2)可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

(3)

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

通过公式(3)可以看出，通过色彩空间转换后，受雨滴影响图像仅Y亮度分量含有雨滴成分，Cb蓝色色度分量和Cr红色色度分量自动消去了雨滴引起的强度变化部分，使得其不受雨滴的存在与否的影响，因此，在图像去雨过程中，只需去除Y分量中雨场，能够大幅缩短处理时间。

步骤200：从第2帧开始读取当前视频帧的左右邻居帧，并通过基于静态雨滴的光度特性对视频帧进行雨滴初检；

在步骤200中，较之其他恶劣天气状况，雨拥有较大半径的粒子，且由于单个雨滴拥有似镜头的特性及较大的视野(能够从较大范围进行光线的收集，并集中到雨滴内部，具体如图3所示，图3为雨滴视野图)，故其会比其所覆盖的背景拥有较高的亮度(具体如图4所示，图4为雨滴反射、折射图)，且距离镜头较近的雨滴会形成雨线，雨滴的亮度比其所覆盖的背景的亮度高很多，这即为静态雨滴的光度特性；对于动态雨滴的光度特性，可以总结为：一个雨线(动态雨滴)上的光强值，由静态雨滴的亮度、背景亮度及相机的曝光时间决定：

I_bg＝E_bgT (6)

在公式(4)中，Ir,Id及Ibg分别为被雨影响的像素的亮度、静态雨滴的亮度及被覆盖的背景的亮度；Ed及Ebg为静态雨滴的辐照度及背景的辐照度；τ为从雨滴到相机的投射时间。通过使用公式(5)带入公式(4)，可以得到公式(7)，可以看到，一个雨线上的由雨滴造成的亮度变化，与背景的亮度呈线性关系，同时α与β认为在同一雨线上是恒定的。

在本发明实施例中，通过基于静态雨滴的光度特性识别像素具体包括：在读入视频帧后，从第二帧开始读取帧及当前帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧的某个像素是否为受雨影响的像素点，即如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值(在本发明实施例中，该阈值设置为3，具体可根据实际应用进行设置)，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，即得到雨滴初检结果图If，进入下一步处理。

步骤300：通过边缘保留的引导滤波器识别出图像的边缘部分，并与初检结果作差，从初检结果中减去边缘部分，得到优化的候选雨滴；

在步骤300中，滤波是图像处理和计算机视觉中最基础的操作。对其最宽泛的理解，即滤波后的图像在某一指定位置的像素值是输入图像在同一位置的某邻域内的所有像素值的函数。对于如高斯滤波器等滤波，其较弱空间变化的假定在边缘处失效，从而造成边缘的模糊。为了在平均平滑区域的同时防止跨越边缘的平均，设计了双边滤波器。而对于双边滤波的复杂性，本发明通过使用同样具有保持边缘特性的引导滤波器，利用其快速及边保留的滤波特性进行运动物体轮廓获取，从而减少误检雨滴像素。引导滤波器认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数就可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并作平均即可。这种模型，在表示非解析函数上，非常有用。

同理，可以认为图像是一个二维函数，而且没法写出解析表达式，因此假设该函数的输出与输入在一个二维窗口内满足线性关系，公式如下：

在公式(8)中，q是输出像素的值，I是输入图像的值，i和k是像素索引，a和b是当窗口中心位于k时该线性函数的系数；其实，输入图像不一定是待滤波的图像本身，也可以是其他图像即引导图像，这也是为何称为引导滤波的原因。对上式两边取梯度，可以得到：

即当输入图像I有梯度时，输出q也有类似的梯度。下一步是求出线性函数的系数，也就是线性回归，即希望拟合函数的输出值与真实值p之间的差距最小，也就是让下式最小：

在公式(10)中，p只能是待滤波图像，并不像I那样可以是其他图像。同时，a之前的系数(以后都写为e)用于防止求得的a过大，也是调节滤波器滤波效果的重要参数。通过最小二乘法可以得到以下公式：

在公式(11)中，μ_k是I在窗口w_k中的平均值，是I在窗口w_k中的方差，|ω|是窗口w_k中像素的数量，是待滤波图像p在窗口w_k中的均值。

在计算每个窗口的线性系数时，可以发现一个像素会被多个窗口包含，也就是说，每个像素都由多个线性函数所描述。因此，如之前所说，要具体求某一点的输出值时，只需将所有包含该点的线性函数值平均即可，公式如下：

在公式(12)中，w_k是所有包含像素i的窗口，k是其中心位置。在本发明实施例中，窗口半径为2，正则化参数为0.1的平方。通过引导滤波(引导图像与参考图像为同一幅)，能够得到原图像的高频及低频部分，高频部分记为Ih。通过雨滴初检结果图If及高频部分Ih取交集操作，得到检测到的雨滴部分中的图像边缘部分It，从而从雨滴初检结果图中减去边缘部分，得到优化的候选雨滴。

步骤400：通过BM3D(三维块匹配算法)去噪算法及雨滴(连通域)面积约束，得到最终检测雨滴；

在步骤400中，在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，所以为了获取高质量数字图像，很有必要对图像进行降噪处理，尽可能的保持原始信息完整性(即主要特征)的同时，又能够去除信号中无用的信息。现有的图像视频去噪算法主要包括：中值滤波法、维纳滤波法及均值滤波法等。然而，现有的图像视频去噪算法会在滤除噪声的同时引入人工噪声，存在很大的局限性。而BM3D算法提出了一种新的图像去噪策略，其本质为基于块匹配的三维变换域滤波，将图像按照滑窗的操作方式，分成若干个块，然后对每个参考块进行搜索，在整幅图像中搜索其相似块。根据块的相似程度，将匹配块进行组合形成一个三维矩阵。该矩阵的数据具有很高的相关性，通过三维酉变换可以有效地降低其相关性。同时，通过对变换域系数的滤波，可以大幅度降低噪声。随后的三维反变换可以得到每个相似块的预估值。对整幅图像的每个参考块都进行搜索、变换、滤波及反变换的操作。最终将所有相似块的预估值进行重构加权，得到最终的去噪结果。

步骤500：通过去雾方程及动态雨滴光度特性去除雨滴，并得到去除雨滴影响的原图；

在步骤500中，雨场由大量分布在不同景深的雨滴组成，且存在大量雨滴形成模糊，进而导致图像背景损失细节和色彩信息。因此将一幅雨滴图像的污染来源分为两部分：1)动态雨滴像素；2)静态雨滴像素。现有的视频去雨算法仅考虑动态的雨滴像素的影响，大量被模糊的背景细节无法重新恢复，因此无法满足大型雨场视频的去雨要求。由于静态雨滴形成类似雾霾颗粒的视觉效果，使用去雾算法与去雨算法结合是可能的。具体如图5所示，为雨滴像素的灰度值变化示意图；可以定义Ir＝TEr，且Ir相当于像素点在曝光时间T内一直被雨滴遮挡时得到的灰度值，称为雨滴的静止灰度值，并令u＝1-t/T，从而改写公式(4)为下式：

I_s＝(1-u)I_r+uI_b (13)

另一方面，从去雾算法中得到启发，将去雾方程引入到视频去雨过程中，用于去除静态雨滴的影响。对于去雾方程，其具有以下的形式：

I＝(1-v)A+vJ (14)

在公式(14)中，J为清晰图像，A为大气光线，v为转化因子即退化因子。雨滴视频的污染来源分为两部分：1)静态雨滴像素；2)动态雨滴像素即雨线。因此可将公式(13)和公式(14)结合起来，得到初步的去雨方程：

由于静态雨滴与雾霾的视觉相似性，易知Ib＝Iblur，故公式(15)可以改写为：

在公式(16)中，0<u<1，其他参数与上文出现的意义相同；通过对u、v、Ir和A参数值的估计，该方程可以用于不同天气因素的去除。

对于方程参数的确定，参数Ir由于代表一个雨滴在相机曝光时间内的总辐射的累积，假设n为某雨线所占像素的总数，一个雨滴在相机曝光时间内产生的灰度值等于其所形成的雨线像素的灰度值总和。假设雨滴经过一个像素的时间为t，背景辐射为Eb，则可以改写公式(4)为：

∑I_s＝∑tE_r+∑(T-t)E_b＝TE_r+∑I_b-∑tE_b (17)

Ib可以由左右邻居帧获得，近似为平均值，而∑tE_b近似等于同一个雨线中的背景平均像素值，由此可以确定参数Ir。对于参数u，由于雨场中雨滴的物理特性存在差异，并不完全一致，因此雨滴经过一个像素的时间t对于不同的雨滴存在差异。根据定义u＝1-t/T，雨滴对应的u值可以通过该雨滴产生的雨线中得到，t与雨滴经过的像素数量n有关系，并存在对应的比例关系即：1/n＝t/T。因此一旦检测出每一个雨线的位置，则可以大致估算出每一个雨线对应的u的值，即：u＝1-1/n。对于参数v和A，其由于为去雾方程中的重要参数，已经存在了许多成熟的估计算法，例如He等(He K,Sun J,Tang X.Single image hazeremoval using dark channel prior.In:Proceedings of the 2009IEEE Conference onComputer Vision and Pattern Recognition.Miami,Florida,USA:IEEE,2009.1956-1963.)的基于暗通道先验的估计算法，对于参数A，He的算法是用对图像的暗通道进行极大值处理得到；对于参数v，其表征了图像中静态雨滴的分布信息，本发明通过以下公式进行v值估计：

在公式(18)中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因子，L为图像的拉普拉斯矩阵(Matting Laplacian matrix)，U为与L相同尺寸的稀疏单位矩阵，λ为归一化系数，这里ω为引进来的修正参数，用于表征图像受静态雨滴像素影响的程度，ω的取值将影响静态雨滴去除的效果(尤其是亮度)，在本发明实施例中，ω参数设为0.95，代表保留百分之5的雾霾视觉效果，具体可根据应用需求进行设置。本发明通过引进修正参数对图像亮度进行矫正，能够获得较好的去雨效果，具体如图6所示，图6(a)为原始图像，图6(b)为去雨后的图像。

请参阅图7，是本发明实施例的视频雨滴去除系统的结构示意图。本发明实施例的视频雨滴去除系统包括空间转换模块、雨滴初检模块、图像滤波模块、图像去噪模块和图像去雨模块；具体地：

空间转换模块用于读取视频帧，并将视频帧从RGB色彩空间转换到YCbCr色彩空间；其中，对于色彩空间，其是为了定量描述颜色而建立的支持数字图像的生成、存储、处理及显示的颜色模型。其中最出名的为RGB色彩空间，RGB色彩空间建立的主要依据是人的眼睛有红、绿和蓝三种色感细胞，它们的最大感光灵敏度分别落在红色、蓝色和绿色区域，其合成的光谱响应就是视觉曲线，由此推出任何彩色都可以用红、绿、蓝三种基色来配置；但由于在使用RGB色彩空间进行图像处理时需要同时处理红、绿、蓝三个通道上的数据，造成了时间复杂度过高的现象；而对于YCbCr色彩空间，其是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr色彩空间中的Y指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y亮度分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到图像质量的变化，且通过计算，在被雨影响的图像中，雨的部分基本存在于Y亮度分量，Cb蓝色色度分量及Cr红色色度分量并不受雨滴的影响，故在YCbCr色彩空间中使用去雨算法，只需去除Y亮度分量中雨场，能够降低时间复杂度。具体地，从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

对于有雨的一幅图像，每个像素在R、G、B三个分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于雨滴折射作用引起的背景强度值的增量。将公式(1)的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，重写(1)式为如下形式:

在公式(2)中，Rbg、Gbg、Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，雨滴引起的ΔR、ΔG、ΔB应近似相等，所以公式(2)可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

(3)

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

通过公式(3)可以看出，通过色彩空间转换后，受雨滴影响图像仅Y亮度分量含有雨滴成分，Cb蓝色色度分量和Cr红色色度分量自动消去了雨滴引起的强度变化部分，使得其不受雨滴的存在与否的影响，因此，在图像去雨过程中，只需去除Y分量中雨场，能够大幅缩短处理时间。

雨滴初检模块用于从第2帧开始读取当前视频帧的左右邻居帧，并通过基于静态雨滴的光度特性识别像素，进行雨滴的初检；其中，较之其他恶劣天气状况，雨拥有较大半径的粒子，且由于单个雨滴拥有似镜头的特性及较大的视野，故其会比其所覆盖的背景拥有较高的亮度，且距离镜头较近的雨滴会形成雨线，雨滴的亮度比其所覆盖的背景的亮度高很多，这即为静态雨滴的光度特性；对于动态雨滴的光度特性，可以总结为：一个雨线上的光强值，由静态雨滴的亮度、背景亮度及相机的曝光时间决定：

I_bg＝E_bgT (6)

在公式(4)中，Ir,Id及Ibg分别为被雨影响的像素的亮度、静态雨滴的亮度及被覆盖的背景的亮度；Ed及Ebg为静态雨滴的辐照度及背景的辐照度；τ为从雨滴到相机的投射时间。通过使用公式(5)带入公式(4)，可以得到公式(7)，可以看到，一个雨线上的由雨滴造成的亮度变化，与背景的亮度呈线性关系，同时α与β认为在同一雨线上是恒定的。

在本发明实施例中，通过基于静态雨滴的光度特性识别像素具体包括：在读入视频帧后，从第二帧开始读取帧及当前帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧的某个像素是否为受雨影响的像素点，即如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值(在本发明实施例中，该阈值设置为3，具体可根据实际应用进行设置)，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，即得到雨滴初检结果图If，进入下一步处理。

图像滤波模块用于通过边缘保留的引导滤波器识别出图像的边缘部分，并与初检结果作差，从初检结果中减去边缘部分，得到优化的候选雨滴；其中，滤波是图像处理和计算机视觉中最基础的操作。对其最宽泛的理解，即滤波后的图像在某一指定位置的像素值是输入图像在同一位置的某邻域内的所有像素值的函数。对于如高斯滤波器等滤波，其较弱空间变化的假定在边缘处失效，从而造成边缘的模糊。为了在平均平滑区域的同时防止跨越边缘的平均，设计了双边滤波器。而对于双边滤波的复杂性，本发明通过使用同样具有保持边缘特性的引导滤波器，利用其快速及边保留的滤波特性进行运动物体轮廓获取，从而减少误检雨滴像素。引导滤波器认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数就可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并作平均即可。这种模型，在表示非解析函数上，非常有用。

同理，可以认为图像是一个二维函数，而且没法写出解析表达式，因此假设该函数的输出与输入在一个二维窗口内满足线性关系，公式如下

在公式(8)中，q是输出像素的值，I是输入图像的值，i和k是像素索引，a和b是当窗口中心位于k时该线性函数的系数；其实，输入图像不一定是待滤波的图像本身，也可以是其他图像即引导图像，这也是为何称为引导滤波的原因。对上式两边取梯度，可以得到：

即当输入图像I有梯度时，输出q也有类似的梯度。下一步是求出线性函数的系数，也就是线性回归，即希望拟合函数的输出值与真实值p之间的差距最小，也就是让下式最小：

在公式(10)中，p只能是待滤波图像，并不像I那样可以是其他图像。同时，a之前的系数(以后都写为e)用于防止求得的a过大，也是调节滤波器滤波效果的重要参数。通过最小二乘法可以得到以下公式：

在公式(11)中，μ_k是I在窗口w_k中的平均值，是I在窗口w_k中的方差，|ω|是窗口w_k中像素的数量，是待滤波图像p在窗口w_k中的均值。

在计算每个窗口的线性系数时，可以发现一个像素会被多个窗口包含，也就是说，每个像素都由多个线性函数所描述。因此，如之前所说，要具体求某一点的输出值时，只需将所有包含该点的线性函数值平均即可，公式如下：

在公式(12)中，w_k是所有包含像素i的窗口，k是其中心位置。在本发明实施例中，窗口半径为2，正则化参数为0.1的平方。通过引导滤波(引导图像与参考图像为同一幅)，能够得到原图像的高频及低频部分，高频部分记为Ih。通过雨滴初检结果图If及高频部分Ih取交集操作，得到雨滴初检结果图中的图像的边缘部分It，从而从雨滴初检结果图中减去边缘部分，得到优化的候选雨滴。

图像去噪模块用于通过BM3D去噪算法及雨滴面积约束，得到最终检测雨滴；其中，在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，所以为了获取高质量数字图像，很有必要对图像进行降噪处理，尽可能的保持原始信息完整性(即主要特征)的同时，又能够去除信号中无用的信息。现有的图像视频去噪算法主要包括：中值滤波法、维纳滤波法及均值滤波法等。然而，现有的图像视频去噪算法会在滤除噪声的同时引入人工噪声，存在很大的局限性。而BM3D算法提出了一种新的图像去噪策略，其本质为基于块匹配的三维变换域滤波，将图像按照滑窗的操作方式，分成若干个块，然后对每个参考块进行搜索，在整幅图像中搜索其相似块。根据块的相似程度，将匹配块进行组合形成一个三维矩阵。该矩阵的数据具有很高的相关性，通过三维酉变换可以有效地降低其相关性。同时，通过对变换域系数的滤波，可以大幅度降低噪声。随后的三维反变换可以得到每个相似块的预估值。对整幅图像的每个参考块都进行搜索、变换、滤波及反变换的操作。最终将所有相似块的预估值进行重构加权，得到最终的去噪结果。

图像去雨模块用于通过去雾方程及动态雨滴光度特性去除雨滴，并得到去除雨滴影响的原图；其中，雨场由大量分布在不同景深的雨滴组成，且存在大量雨滴形成模糊，进而导致图像背景损失细节和色彩信息。因此将一幅雨滴图像的污染来源分为两部分：1)动态雨滴像素；2)静态雨滴像素。现有的视频去雨算法仅考虑动态的雨滴像素的影响，大量被模糊的背景细节无法重新恢复，因此无法满足大型雨场视频的去雨要求。由于静态雨滴形成类似雾霾颗粒的视觉效果，使用去雾算法与去雨算法结合是可能的。可以定义Ir＝TEr，且Ir相当于像素点在曝光时间T内一直被雨滴遮挡时得到的灰度值，称为雨滴的静止灰度值，并令u＝1-t/T，从而改写公式(4)为下式：

I_s＝(1-u)I_r+uI_b (13)

另一方面，从去雾算法中得到启发，将去雾方程引入到视频去雨过程中，用于去除静态雨滴的影响。对于去雾方程，其具有以下的形式：

I＝(1-v)A+vJ (14)

在公式(14)中，J为清晰图像，A为大气光线，v为转化因子即退化因子。雨滴视频的污染来源分为两部分：1)静态雨滴像素；2)动态雨滴像素即雨线。因此可将公式(13)和公式(14)结合起来，得到初步的去雨方程：

由于静态雨滴与雾霾的视觉相似性，易知Ib＝Iblur，故公式(15)可以改写为：

在公式(16)中，0<u<1，其他参数与上文出现的意义相同；通过对u、v、Ir和A参数值的估计，该方程可以用于不同天气因素的去除。

对于方程参数的确定，参数Ir由于代表一个雨滴在相机曝光时间内的总辐射的累积，假设n为某雨线所占像素的总数，一个雨滴在相机曝光时间内产生的灰度值等于其所形成的雨线像素的灰度值总和。假设雨滴经过一个像素的时间为t，背景辐射为Eb，则可以改写公式(4)为：

∑I_s＝∑tE_r+∑(T-t)E_b＝TE_r+∑I_b-∑tE_b (17)

Ib可以由左右邻居帧获得，近似为平均值，而∑tE_b近似等于同一个雨线中的背景平均像素值，由此可以确定参数Ir。对于参数u，由于雨场中雨滴的物理特性存在差异，并不完全一致，因此雨滴经过一个像素的时间t对于不同的雨滴存在差异。根据定义u＝1-t/T，雨滴对应的u值可以通过该雨滴产生的雨线中得到，t与雨滴经过的像素数量n有关系，并存在对应的比例关系即：1/n＝t/T。因此一旦检测出每一个雨线的位置，则可以大致估算出每一个雨线对应的u的值，即：u＝1-1/n。对于参数v和A，其由于为去雾方程中的重要参数，已经存在了许多成熟的估计算法，例如He等(He K,Sun J,Tang X.Single image hazeremoval using dark channel prior.In:Proceedings of the 2009 IEEE Conferenceon Computer Vision and Pattern Recognition.Miami,Florida,USA:IEEE,2009.1956-1963.)的基于暗通道先验的估计算法，对于参数A，He的算法是用对图像的暗通道进行极大值处理得到；对于参数v，其表征了图像中静态雨滴的分布信息，本发明通过以下公式进行v值估计：

在公式(18)中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因子，L为图像的拉普拉斯矩阵(Matting Laplacian matrix)，U为与L相同尺寸的稀疏单位矩阵，λ为归一化系数，这里ω为引进来的修正参数，用于表征图像受静态雨滴像素影响的程度，ω的取值将影响静态雨滴去除的效果(尤其是亮度)，在本发明实施例中，ω参数设为0.95，代表保留百分之5的雾霾视觉效果，具体可根据应用需求进行设置。本发明通过引进修正参数对图像亮度进行矫正，能够获得较好的去雨效果。

本发明实施例的视频雨滴去除方法及系统将视频帧从RGB色彩空间转换到YCbCr色彩空间，大幅缩小了雨滴去除所需的时间，提高去雨效率；通过加入引导滤波进行运动物体轮廓获取，从而减少误检雨滴像素；通过BM3D去噪算法对图像进行去噪处理，避免引入人工噪声；通过结合去雾方程及动态雨滴的光度特性对图像进行去雨处理，有效提升图像质量；通过引进修正参数对图像亮度进行矫正，能够获得较好的去雨效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种视频雨滴去除方法，包括：

步骤a：读取视频帧，并将视频帧进行色彩空间转换；

步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；

步骤c：通过去噪算法及雨滴面积约束，得到最终检测雨滴，并通过去雾方程及动态雨滴光度特性去除雨滴，得到最终去雨结果；

在所述步骤c中，所述通过去噪算法及雨滴面积约束得到最终检测雨滴具体为：通过BM3D去噪算法及雨滴面积约束得到最终检测雨滴；所述通过去雾方程及动态雨滴光度特性去除雨滴的具体公式为：

在上述公式中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因子，L为图像的拉普拉斯矩阵，U为与L相同尺寸的稀疏单位矩阵，λ为归一化系数，ω为引进来的修正参数，用于表征图像受静态雨滴像素影响的程度。

2.根据权利要求1所述的视频雨滴去除方法，其特征在于，在所述步骤a中，所述将视频帧进行色彩空间转换具体包括：

步骤a1：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

步骤a2：将步骤a1的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，步骤a1的公式重写为：

其中，R_bg、G_bg与B_bg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；

步骤a3：雨滴引起的ΔR、ΔG及ΔB近似相等，步骤a2中的公式变换为：

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg 。

3.根据权利要求1所述的视频雨滴去除方法，其特征在于，在所述步骤b中，所述通过基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨滴初检结果。

4.根据权利要求1所述的视频雨滴去除方法，其特征在于，在所述步骤b中，所述通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴，具体包括：通过引导滤波器得到原图像的高频部分及低频部分，通过将雨滴初检结果及高频部分取交集操作，得到雨滴初检结果中的图像边缘部分，并从雨滴初检结果中减去边缘部分，得到优化的候选雨滴。

5.一种视频雨滴去除系统，其特征在于，包括空间转换模块、雨滴初检模块、图像滤波模块、图像去噪模块和图像去雨模块；

所述空间转换模块用于读取视频帧，并将视频帧进行色彩空间转换；

所述雨滴初检模块用于通过基于静态雨滴的光度特性进行雨滴初检；

所述图像滤波模块用于通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；

所述图像去噪模块用于通过去噪算法及雨滴面积约束得到最终检测雨滴；

所述图像去雨模块用于通过去雾方程及动态雨滴光度特性去除雨滴，得到最终去雨结果；

所述图像去雨模块通过去雾方程及动态雨滴光度特性去除雨滴的具体公式为：

在上述公式中，J_dark为图像的暗原色先验结果，v为由J_dark得到的退化因子，L为图像的拉普拉斯矩阵，U为与L相同尺寸的稀疏单位矩阵，λ为归一化系数，ω为引进来的修正参数，用于表征图像受静态雨滴像素影响的程度。

6.根据权利要求5所述的视频雨滴去除系统，其特征在于，所述所述空间转换模块将视频帧进行色彩空间转换具体为：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

上述公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，上述公式重写为如下形式:

在上述重写公式中，R_bg、G_bg与B_bg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；雨滴引起的ΔR、ΔG及ΔB近似相等，上述公式可以变换为如下形式：

Cb＝128-0.1485R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg 。

7.根据权利要求5所述的视频雨滴去除系统，其特征在于：

所述雨滴初检模块通过基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨滴初检结果。

8.根据权利要求5所述的视频雨滴去除系统，其特征在于：

所述图像滤波模块通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴，具体包括：通过引导滤波器得到原图像的高频及低频部分，通过将雨滴初检结果及高频部分取交集操作，得到雨滴初检结果中的图像边缘部分，并从雨滴初检结果中减去边缘部分，得到优化的候选雨滴；

所述图像去噪模块通过去噪算法及雨滴面积约束得到最终检测雨滴具体为：通过BM3D去噪算法及雨滴面积约束得到最终检测雨滴。