CN104992420A - 一种视频雨滴去除方法 - Google Patents

Abstract

本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法。所述视频雨滴去除方法包括：步骤a：读取视频帧，并将视频帧进行色彩空间转换；步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；步骤c：利用Canny边缘检测算法在上述候选雨滴的基础上得到初检雨滴，及利用动态雨滴的光度学特性进行误检消除；步骤d：在误检消除的初检雨滴上利用α混合及图像亮度矫正技术得到最终去雨结果图。本发明大幅缩小了雨滴去除所需的时间，提高去雨效率，得到了更好的雨滴初检结果，使用了α混合及图像亮度矫正技术获得较好的去雨效果。

Description

一种视频雨滴去除方法

技术领域

本发明属于视频雨滴去除技术领域，尤其涉及一种视频雨滴去除方法。

背景技术

由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。所以消除恶劣天气影响的有效方法，对于一个全天候的户外视觉系统来说必不可少。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像质量造成较大程度的影响。视频雨滴去除技术通过使用雨的物理、频率等特性，对视频帧中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，视频雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于视频及图像中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。同时，他们认为雨会对背景产生亮度加强，且造成一定程度上的模糊，最终产生的视觉效果是雨及被覆盖背景的空间混合。对于远处的雨，由于失焦效果，会呈现雾状特征。遗憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，分别建立了两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴(雨线)，其亮度由静态雨滴亮度、背景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好，但其对于严重失焦(远处)的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,Ng T K.Rainremoval in video by combining temporal and chromatic properties.In:Proceedingsof the 2006International Conferenceon Multimedia and Expo.Toronto,Canada:IEEE,)使用了雨的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰(分别代表雨滴亮度及背景亮度)，且近似构成高斯混合模型，故非监督学习方法——K-means聚类算法能够有效地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum P C,Narasimhan S G,Kanade T.Analysis of rainand snow infrequency space.Internatio-nal Journal of Computer Vision,2010,)注意到之前的多数方法严重依赖于清晰雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此方法由于算法较为简单，容易出现过多错误检测；同时，由于使用了混合高斯模型，具有较高的时间复杂度，且在存在不显眼的雨(明亮背景下的雨)及雨势变化时，其处理性能会出现显著下降。

由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单幅图像(即无时域信息)时，频率特性能够发挥更大的作用。Yu-Hsiang Fu等(Fu Y H,Kang L W,Lin C W,et al.Single-frame-based rainremoval via imagedecomposition.In:Proceeding of 2011IEEE InternationalConference on Acoustics,Speech and Signal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)首先提出了基于MCA(形态学成分分析)及图像分解的单幅图像去雨算法，作者首先使用双边滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为0得到去雨图像。由于此方法存在字典选择非自动性的缺点，Li-Wei Kang等(Kang L W,Lin C W,Fu Y H.Automatic single-image-based rain streaks removalvia imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了一种基于自学习的自动改进算法。之后，De-An Huang等(Huang DA,Kang L W,Yang M C,et al.Context-aware single image rain removal.In:Proceeding of 2012IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅图像进行学习工作，故可以大幅减少算法所需时间。而Duan-Yu Chen等(Chen D Y,Chen C C,Kang L W.Visual depth guided image rain streaks removal via sparse coding.In:Proceedingof2012International Symposium on Intelligent Signal Processing andCommunications Systems.NewTaipei,Taiwan:IEEE,2012:151-156.)引入了DoD(深度差异)的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮助，同时，他们使用引导滤波替代原先使用的双边滤波，因为其拥有更好的性能。

现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低；而对于远处的失焦的雨，现有的去雨算法大多选择忽略或者进行额外的去雾操作，但此种方法存在如缺乏图像整体特性考虑等缺点，对图像的质量提升不明显。

发明内容

本发明提供了一种视频雨滴去除方法，旨在解决现有的基于雨光度特性的去雨算法处理时间较长，计算效率不高，不利于实时应用的技术问题。

本发明提供的视频雨滴去除方法还可以解决以下技术问题：

现有的基于静态雨滴光度特性的去雨算法较为简单，容易出现过多错误检测点，且时间复杂度较高；

现有技术在雨滴去除时大量使用值简单替换法，会对输出视频的质量造成降低；

现有技术大多忽略远处的失焦雨或对其进行额外的去雾操作，忽略远处的失焦雨对图像的质量提升不明显，进行额外的去雾操作存在如缺乏图像整体特性考虑等缺点。

本发明是这样实现的，一种视频雨滴去除方法，包括：

步骤a：读取视频帧，并将视频帧进行色彩空间转换；

步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；

步骤c：利用Canny边缘检测算法在上述候选雨滴的基础上得到初检雨滴，及利用动态雨滴的光度学特性进行误检消除；

步骤d：在误检消除的初检雨滴上利用α混合及图像亮度矫正技术得到最终去雨结果图。

本发明实施例采取的技术方案还包括：在所述步骤a中，所述将视频帧进行色彩空间转换具体包括：

步骤a1：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

步骤a2：将步骤a1的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，步骤a1的公式重写为:

$\left[\begin{array}{c}Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{bg}+\mathrm{\Δ}R\\ G_{bg}+\mathrm{\Δ}G\\ B_{bg}+\mathrm{\Δ}B\end{array}\right]$

其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；

步骤a3：雨滴引起的ΔR、ΔG及ΔB近似相等，步骤a2中的公式变换为:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

本发明实施例采取的技术方案还包括：在所述步骤b中，所述通过基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨滴初检结果。

本发明实施例采取的技术方案还包括：在所述步骤b中，所述通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴具体包括：通过引导滤波器得到原图像的高频部分及低频部分，通过将雨滴初检结果及高频部分取交集操作，得到雨滴初检结果中的图像的边缘部分，并从雨滴初检结果中减去边缘部分，得到优化的候选雨滴。

本发明实施例采取的技术方案还包括：在所述步骤c中利用Canny边缘检测算法在候选雨滴的基础上得到初检雨滴具体为：取上述得到的优化的候选雨滴中的不位于使用Canny边缘检测算子得到的结果中的像素，得到初检雨滴。

本发明实施例采取的技术方案还包括：在所述步骤c中利用动态雨滴的光度学特性进行误检消除具体为：分析每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系成立，则确定其为受雨影响的像素，否则为运动物体上的像素，将其从候选者中去掉。

本发明实施例采取的技术方案还包括：所述步骤d中的α混合具体包括：将背景图与雨影响图进行混合，得到输出图像，具体使用如下公式：C＝αC_b+(1-α)C_r，其中，C代表输出图Y通道值，Cb代表背景图的Y通道值，Cr代表雨影响图的Y通道值。

本发明实施例采取的技术方案还包括：所述步骤d中的图像亮度矫正具体包括：使用matlab中的imadjust函数，将两个区间的值进行映射，剪掉区间外的值。

本发明一种视频雨滴去除方法，首先进行从RGB到YCbCr色彩空间的转换，并从第2帧开始读取左右邻居帧，通过基于静态雨滴的雨光度特性进行雨滴的初检，之后通过边缘保留的引导滤波器分离出当前帧的高频部分，进而得到雨滴及运动物体边缘图，通过使用图像边界识别技术，能够得到纯雨滴成分。然后使用动态雨滴的雨光度特性进行雨滴进一步检测，最终通过α混合原图及无雨背景图，提出了一种新的视频去雨方法，能够获得较好的去雨效果。

附图说明

图1是本发明实施例的视频雨滴去除方法的流程图；

图2是RGB色彩空间图像处理示意图；

图3雨滴视野图；

图4是雨滴反射、折射图；

图5是图像亮度调节的曲线图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明实施例的视频雨滴去除方法的流程图。本发明实施例的视频雨滴去除方法包括以下步骤：

步骤100：读取视频帧，并将视频帧从RGB色彩空间转换到YCbCr色彩空间；

在步骤100中，对于色彩空间，其是为了定量描述颜色而建立的支持数字图像的生成、存储、处理及显示的颜色模型。其中最出名的为RGB色彩空间，RGB色彩空间建立的主要依据是人的眼睛有红、绿和蓝三种色感细胞，它们的最大感光灵敏度分别落在红色、蓝色和绿色区域，其合成的光谱响应就是视觉曲线，由此推出任何彩色都可以用红、绿、蓝三种基色来配置；但由于在使用RGB色彩空间进行图像处理时需要同时处理红、绿、蓝三个通道上的数据，造成了时间复杂度过高的现象，具体如图2所示，是RGB色彩空间图像处理示意图；而对于YCbCr色彩空间，其是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr不是一种绝对色彩空间，是YUV(YUV是被欧洲电视系统所采用的一种颜色编码方法)压缩和偏移的版本。YCbCr色彩空间中的Y指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y亮度分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到图像质量的变化，且通过计算，在被雨影响的图像中，雨的部分基本存在于Y亮度分量，Cb蓝色色度分量及Cr红色色度分量并不受雨滴的影响，故在YCbCr色彩空间中使用去雨算法，只需去除Y亮度分量中雨场，能够降低时间复杂度。具体地，从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

$\left[\begin{array}{c}Y\\ Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

对于有雨的一幅图像，每个像素在R、G、B三个分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于雨滴折射作用引起的背景强度值的增量。将公式(1)的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，重写(1)式为如下形式:

$\left[\begin{array}{c}Cb\\ Cr\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{bg}+\mathrm{\Δ}R\\ G_{bg}+\mathrm{\Δ}G\\ B_{bg}+\mathrm{\Δ}B\end{array}\right]---\left(2\right)$

在公式(2)中，Rbg、Gbg、Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，雨滴引起的ΔR、ΔG、ΔB应近似相等，所以公式(2)可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

                                                    (3)

Cr＝128+0.4391R_bg-0.3678G_bg-0.0714B_bg

通过公式(3)可以看出，通过色彩空间转换后，受雨滴影响图像仅Y亮度分量含有雨滴成分，Cb蓝色色度分量和Cr红色色度分量自动消去了雨滴引起的强度变化部分，使得其不受雨滴的存在与否的影响，因此，在图像去雨过程中，只需去除Y分量中雨场，能够大幅缩短处理时间。

步骤200：从第2帧开始读取当前视频帧的左右邻居帧，并通过基于静态雨滴的光度特性对视频帧进行雨滴初检；

在步骤200中，较之其他恶劣天气状况，雨拥有较大半径的粒子，且由于单个雨滴拥有似镜头的特性及较大的视野(能够从较大范围进行光线的收集，并集中到雨滴内部，具体如图3所示，图3为雨滴视野图)，故其会比其所覆盖的背景拥有较高的亮度(具体如图4所示，图4为雨滴反射、折射图)，且距离镜头较近的雨滴会形成雨线，雨滴的亮度比其所覆盖的背景的亮度高很多，这即为静态雨滴的光度特性；对于动态雨滴的光度特性，可以总结为：一个雨线(动态雨滴)上的光强值，由静态雨滴的亮度、背景亮度及相机的曝光时间决定：

$\begin{array}{c}{I}_r={\∫}_0^{\mathrm{\τ}}{E}_{d}dt+{\∫}_{\mathrm{\τ}}^T{E}_{bg}dt=\frac{\mathrm{\τ}}{T}{I}_d\\ +(1-\frac{\mathrm{\τ}}{T})I_{bg}={\mathrm{\αI}}_d+(1-\mathrm{\α})I_{bg}\end{array}---\left(4\right)$

$I_d=\left(\frac{1}{\mathrm{\τ}}{\∫}_0^{\mathrm{\τ}}{E}_{d}dt\right)T={\stackrel{\‾}{E}}_{d}T---\left(5\right)$

I_bg＝E_bgT  (6)

$\begin{array}{c}\mathrm{\Δ}I=-{\mathrm{\αI}}_{bg}+{\mathrm{\αI}}_d\\ =-{\mathrm{\βI}}_{bg}+{\mathrm{\α}}^{\′},\mathrm{\β}=\frac{\mathrm{\τ}}{T},{\mathrm{\α}}^{\′}=\mathrm{\τ}{\stackrel{\‾}{E}}_d\end{array}---\left(7\right)$

在公式(4)中，Ir,Id及Ibg分别为被雨影响的像素的亮度、静态雨滴的亮度及被覆盖的背景的亮度；Ed及Ebg为静态雨滴的辐照度及背景的辐照度；τ为从雨滴到相机的投射时间。通过使用公式(5)带入公式(4)，可以得到公式(7)，可以看到，一个雨线上的由雨滴造成的亮度变化，与背景的亮度呈线性关系，同时α与β认为在同一雨线上是恒定的。

在本发明实施例中，通过基于静态雨滴的光度特性识别像素具体包括：在读入视频帧后，从第二帧开始读取帧及当前帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧的某个像素是否为受雨影响的像素点，即如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值(在本发明实施例中，该阈值设置为3，具体可根据实际应用进行设置)，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，即得到雨滴初检结果图If，进入下一步处理。

步骤300：通过边缘保留的引导滤波器识别出图像的边缘部分，并与初检结果作差，从初检结果中减去边缘部分，得到优化的候选雨滴；

在步骤300中，滤波是图像处理和计算机视觉中最基础的操作。对其最宽泛的理解，即滤波后的图像在某一指定位置的像素值是输入图像在同一位置的某邻域内的所有像素值的函数。对于如高斯滤波器等滤波，其较弱空间变化的假定在边缘处失效，从而造成边缘的模糊。为了在平均平滑区域的同时防止跨越边缘的平均，设计了双边滤波器。而对于双边滤波的复杂性，本发明通过使用同样具有保持边缘特性的引导滤波器，利用其快速及边保留的滤波特性进行运动物体轮廓获取，从而减少误检雨滴像素。引导滤波器认为，某函数上一点与其邻近部分的点成线性关系，一个复杂的函数就可以用很多局部的线性函数来表示，当需要求该函数上某一点的值时，只需计算所有包含该点的线性函数的值并作平均即可。这种模型，在表示非解析函数上，非常有用。

同理，可以认为图像是一个二维函数，而且没法写出解析表达式，因此假设该函数的输出与输入在一个二维窗口内满足线性关系，公式如下：

$q_i=a_k{I}_i+b_k,\∀i\∈{\mathrm{\ω}}_k,---\left(8\right)$

在公式(8)中，q是输出像素的值，I是输入图像的值，i和k是像素索引，a和b是当窗口中心位于k时该线性函数的系数；其实，输入图像不一定是待滤波的图像本身，也可以是其他图像即引导图像，这也是为何称为引导滤波的原因。对上式两边取梯度，可以得到：

$\▿q=a\▿I---\left(9\right)$

即当输入图像I有梯度时，输出q也有类似的梯度。下一步是求出线性函数的系数，也就是线性回归，即希望拟合函数的输出值与真实值p之间的差距最小，也就是让下式最小：

$E(a_k,b_k)=\underset{i\∈{\mathrm{\ω}}_k}{\Σ}({(a_k{I}_i+b_k-p_i)}^2+{\mathrm{\ϵa}}_k^2).---\left(10\right)$

在公式(10)中，p只能是待滤波图像，并不像I那样可以是其他图像。同时，a之前的系数(以后都写为e)用于防止求得的a过大，也是调节滤波器滤波效果的重要参数。通过最小二乘法可以得到以下公式：

$\begin{array}{c}{a}_k=\frac{\frac{1}{\left|\mathrm{\ω}\right|}{\mathrm{\Σ}}_{i\∈{\mathrm{\ω}}_k}{I}_i{p}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{p}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}}\\ b_k={\stackrel{\‾}{p}}_k-a_k{\mathrm{\μ}}_k.\end{array}---\left(11\right)$

在公式(11)中，μ_k是I在窗口w_k中的平均值，是I在窗口w_k中的方差，|ω|是窗口w_k中像素的数量，是待滤波图像p在窗口w_k中的均值。

在计算每个窗口的线性系数时，可以发现一个像素会被多个窗口包含，也就是说，每个像素都由多个线性函数所描述。因此，如之前所说，要具体求某一点的输出值时，只需将所有包含该点的线性函数值平均即可，公式如下： $\begin{array}{c}{q}_i=\frac{1}{\left|\mathrm{\ω}\right|}\underset{k:i\∈{\mathrm{\ω}}_k}{\mathrm{\Σ}}(a_k{I}_i+b_k)\\ ={\stackrel{\‾}{a}}_i{I}_i+{\stackrel{\‾}{b}}_i\end{array}---\left(12\right)$

在公式(12)中，w_k是所有包含像素i的窗口，k是其中心位置。在本发明实施例中，窗口半径为2，正则化参数为0.1的平方。通过引导滤波(引导图像与参考图像为同一幅)，能够得到原图像的高频及低频部分，高频部分记为Ih。通过雨滴初检结果图If及高频部分Ih取交集操作，得到检测到的雨滴部分中的图像边缘部分It，从而从雨滴初检结果图中减去边缘部分，得到优化的候选雨滴。

步骤400：利用Canny边缘检测算法得到初检雨滴，及利用动态雨滴的光度学特性进行误检消除；

Canny边缘检测算法是John F.Canny于1986年开发出来的一个多级边缘检测算法，包括四个步骤：用高斯滤波器平滑图象、用一阶偏导的有限差分来计算梯度的幅值和方向、对梯度幅值进行非极大值抑制及用双阈值算法检测和连接边缘。通过从It中减去由If检测完成的边缘结果，得到雨滴部分Irf。

由于初检难以准确将雨滴影响像素进行分离，故利用动态雨滴的光度学特性进行误检消除，具体为分析每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系成立，则确定其为受雨影响的像素，否则为运动物体上的像素，将其从候选者中去掉，得到Irfi。

步骤500：利用α混合及图像亮度矫正技术得到最终去雨结果图；

在获取了无雨背景图后(通过原图乘以取反的Irfi得到)，可以通过相关操作利用其及原图得到最终去雨结果图。由背景部分可知，雨线最终产生的视觉效果是雨及被覆盖背景的空间混合，故使用更加柔和的去雨方法如α混合能够提升输出图像质量。所谓α混合，对于雨滴去除问题，即为将背景图与雨影响图进行混合，得到输出图像，具体使用如下公式：

C＝αC_b+(1-α)C_r  (13)

其中，C代表输出图Y通道值，Cb代表背景图的Y通道值，Cr代表雨影响图的Y通道值，在本实施例中，α通道的值可以由局部亮度均值动态确定，而本处仅简单设置为0.85。值得注意的是，仅简单实用α混合技术处理Y通道会造成一定程度上的色彩失真，故使用图像亮度调整机制，具体为使用matlab中的imadjust函数，其语法为：g＝imadjust(f,[low_inhigh_in],[low_outhigh_out],gamma)，函数将对两个区间的值进行映射，区间外的将被剪掉。参数gamma指定了曲线的形状，该曲线用来映射f的亮度值，以便生成图像g。若gamma小于1，则映射被加权至更高(更亮)的输出值，若gamma大于1则更暗。若省略gamma，则默认值为1，为线性映射。曲线形状如图5所示。

由于在进行α混合后会出现较大程度上的亮度降低，故将0-0.5区间上的值映射到0-1，能够获得较好的效果。最终将处理完成的图像转换到RGB空间，即能够得到修复后的去雨图像。

本发明一种视频雨滴去除方法，首先进行从RGB到YCbCr色彩空间的转换，并从第2帧开始读取左右邻居帧，通过基于静态雨滴的雨光度特性进行雨滴的初检，之后通过边缘保留的引导滤波器分离出当前帧的高频部分，进而得到雨滴及运动物体边缘图，通过使用图像边界识别技术，能够得到纯雨滴成分。然后使用动态雨滴的雨光度特性进行雨滴进一步检测，最终通过α混合原图及无雨背景图，提出了一种新的视频去雨方法，能够获得较好的去雨效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种视频雨滴去除方法，包括：

步骤a：读取视频帧，并将视频帧进行色彩空间转换；

步骤b：通过基于静态雨滴的光度特性进行雨滴初检，通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴；

步骤c：利用Canny边缘检测算法在上述候选雨滴的基础上得到初检雨滴，及利用动态雨滴的光度学特性进行误检消除；

步骤d：在误检消除的初检雨滴上利用α混合及图像亮度矫正技术得到最终去雨结果图。

2.根据权利要求1所述的方法，其特征在于，在所述步骤a中，所述将视频帧进行色彩空间转换具体包括：

步骤a1：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

步骤a2：将步骤a1的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，步骤a1的公式重写为:

其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；

步骤a3：雨滴引起的ΔR、ΔG及ΔB近似相等，步骤a2中的公式变换为:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714b_bg。

3.根据权利要求1所述的方法，其特征在于，在所述步骤b中，所述通过基于静态雨滴的光度特性进行雨滴初检具体包括：在读入视频帧后，从第2帧开始读取当前视频帧的左右邻居帧，通过使用静态雨滴的光度学特性，判断当前帧与前一帧及当前帧与后一帧的亮度差值是否大于一定阈值，如果当前帧与前一帧及当前帧与后一帧的亮度差值大于一定阈值，则认为当前帧中的某个像素为受雨或者运动物体影响的像素点，得到雨滴初检结果。

4.根据权利要求1所述的方法，其特征在于，在所述步骤b中，所述通过引导滤波器进行图像边缘部分识别，并从初检结果中减去边缘部分，得到优化的候选雨滴，具体包括：通过引导滤波器得到原图像的高频部分及低频部分，通过将雨滴初检结果及高频部分取交集操作，得到雨滴初检结果中的图像边缘部分，并从雨滴初检结果中减去边缘部分，得到优化的候选雨滴。

5.根据权利要求1所述的方法，其特征在于，在所述步骤c中利用Canny边缘检测算法在候选雨滴的基础上得到初检雨滴具体为：

取上述得到的优化的候选雨滴中的不位于使用Canny边缘检测算子得到的结果中的像素，得到初检雨滴。

6.根据权利要求1所述的方法，其特征在于，在所述步骤c中利用动态雨滴的光度学特性进行误检消除具体为：

分析每个雨线，看其是否与前一帧上的背景亮度呈线性关系，如果关系成立，则确定其为受雨影响的像素，否则为运动物体上的像素，将其从候选者中去掉。

7.根据权利要求1所述的方法，其特征在于，所述步骤d中的α混合具体包括：

将背景图与雨影响图进行混合，得到输出图像，具体使用如下公式：

C＝αC_b+(1-α)C_r，

其中，C代表输出图Y通道值，Cb代表背景图的Y通道值，Cr代表雨影响图的Y通道值。

8.根据权利要求1所述的方法，其特征在于，所述步骤d中的图像亮度矫正具体包括：

使用matlab中的imadjust函数，将两个区间的值进行映射，剪掉区间外的值。