CN104978718A - 一种基于图像熵的视频雨滴去除方法及系统 - Google Patents

Abstract

本发明属于视频雨滴去除技术领域，尤其涉及一种基于图像熵的视频雨滴去除方法及系统。所述方法包括：步骤a：通过图像特定阈值及窗口大小计算图像局部熵；步骤b：根据图像局部熵结合面积及角度滤波确定图像含雨部分，使用多个邻居帧的图像局部熵均值检测运动物体部分，并利用雨的时域分布特性得到雨滴部分；步骤c：采用相邻帧均值替换法去除雨滴部分，得到去雨图像。本发明通过色彩空间转换大幅缩小了雨滴去除所需的时间；通过使用图像局部熵计算得到雨滴部分及运动物体部分，并使用雨的时域分布特性得到检测雨滴，避免雨滴误检；通过相邻帧均值替换法去除雨滴，并通过各向异性滤波对去雨图像进行修复处理，以获得更高质量的图像效果。

Description

一种基于图像熵的视频雨滴去除方法及系统

技术领域

本发明属于视频雨滴去除技术领域，尤其涉及一种基于图像熵的视频雨滴去除方法及系统。

背景技术

由于拥有包括自动性、智能性、高效性等诸多优点，户外计算机视觉系统被广泛使用在军事国防、医疗技术、智能交通等领域。但是恶劣天气会严重影响其性能，甚至导致其完全失效。在诸多恶劣天气情况中，雨由于拥有较大粒子(雨滴)半径及其他复杂物理特性，会对视觉系统所摄取的图像的质量造成较大程度的影响。视频雨滴去除技术通过使用雨的物理、频率等特性，对图像中的雨滴进行识别、去除。其不仅能够显著提升图像质量，还有利于图像的进一步处理。因此，视频雨滴去除技术已经成为计算机视觉领域不可缺少的关键性技术。

近些年来关于视频中雨滴检测与去除的研究已然成为热点。Starik等在2003年最早提出了时域均值的雨滴去除策略，作者认为在视频图像序列中，雨滴对像素的影响只存在于少数几帧中，故可直接对视频帧进行平均就可以得到去除了雨的影响的原图像。遗憾的是，他们并没有对方法进行试验验证。Garg和Nayar最早使用了雨的动态及光度特性(K.Garg and S.K.Nayar,“Detection and removal of rain from videos,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Jun.2004,vol.1,pp.528–535)，分别建立了两种模型，并基于这两个模型提出了检测和去除雨的方法。对于雨的动态模型，其表明了雨在其下落方向具有时域相关性；对于光度模型，其分为静态雨及动态雨模型。对于静态雨滴，其亮度显著高于其覆盖的背景；对于动态雨滴(雨线)，其亮度由静态雨滴亮度、背景亮度及相机曝光时间决定。之后，作者提出了一种使用帧差法进行雨滴初检，使用两种特性进行误检去除，并最终利用前后帧图像信息进行雨滴去除的方法。虽然此方法性能较好，但其对于严重失焦(远处)的雨、明亮背景上的雨及雨势变化无法处理。2006年Zhang等人(Zhang X P,Li H,Qi Y Y,Leow W K,Ng T K.Rain removal invideo by combining temporal and chromatic properties.In:Proceedings of the2006 International Conferenceon Multimedia and Expo.Toronto,Canada:IEEE,2006.)使用了雨的时域分布及色彩特性。由于雨的时域分布直方图显示两个峰(分别代表雨滴亮度及背景亮度)，且近似构成高斯混合模型，故非监督学习方法——K-means聚类能够有效地对之进行分离。之后，作者发现被雨滴影响像素的帧间RGB值的变化基本相同，故误检能够进一步被去除。此方法实验效果较好，但是在整个视频利用聚类的方法辨别雨滴和背景，计算效率不高，不能进行实时的处理。2007年Barnum等人(Barnum PC,Narasimhan S G,Kanade T.Analysis of rainand snow in frequency space.Internatio-nal Journal of Computer Vision,2010,)注意到之前的多数方法严重依赖于清晰雨线的提取，而雨线由于会造成重复的模式，在频域中对雨进行分析是合理的。作者建立高斯模型来近似雨的影响，并通过求在三维傅里叶变换中的模型所占比例进行雨滴检测，进而通过迭代去雨，最后反变换至视频图像。实验结果表明此种方法拥有较好的处理性能，但此方法的时间复杂度过高，且对于不显眼的雨及雨势变化的处理，其会出现显著性能下降。

由于使用雨的频率特性能够在特定情况下显著提升算法去雨性能，且在仅处理单幅图像(即无时域信息)时，频率特性能够发挥更大的作用。Yu-Hsiang Fu等(Fu Y H,Kang L W,Lin C W,et al.Single-frame-based rainremoval via imagedecomposition.In:Proceeding of 2011IEEE InternationalConference on Acoustics,Speech and Signal Processing(ICASSP).Prague,Czech:IEEE Press,2011:1453-1456.)首先提出了基于MCA(形态学成分分析)及图像分解的单幅图像去雨算法，作者首先使用双边滤波将图像分为高频及低频部分，之后进行字典学习，并通过将雨部分字典系数设置为0得到去雨图像。由于此方法存在字典选择非自动性的缺点，Li-Wei Kang等(Kang L W,Lin C W,Fu Y H.Automatic single-image-based rain streaks removalvia imagedecomposition.Image Processing,IEEE Transactions on,2012,21(4):1742-1755.)提出了一种基于自学习的自动改进算法。之后，De-An Huang等(Huang DA,Kang L W,Yang M C,et al.Context-aware single image rain removal.In:Proceeding of 2012 IEEE International Conference on Multimedia and Expo(ICME).Melbourne,Australia:IEEEPress,2012:164-169.)提出了基于上下文感知的单幅图像去雨算法，此方法仅需要单幅图像进行学习工作，故可以大幅减少算法所需时间。而Duan-Yu Chen等(Chen D Y,Chen C C,Kang L W.Visual depth guided image rain streaks removal via sparse coding.In:Proceedingof2012 International Symposium on Intelligent Signal Processing andCommunications Systems.NewTaipei,Taiwan:IEEE,2012:151-156.)引入了DoD(深度差异)的概念，深度差异能够衡量图像的局部相关性信息，故能够为单幅图像去雨提供帮助，同时，他们使用引导滤波替代原先使用的双边滤波，因为其拥有更好的性能。

综上所述，现有的视频雨滴去除技术存在以下缺点：

现有视频雨滴去除技术较少使用图像局部特性，常进行图像的整体考虑，计算效率不高；

现有视频雨滴去除技术常在多个色彩空间上进行处理，拥有较高的时间复杂度；

现有视频雨滴去除技术在雨滴去除时大量使用邻域两帧的值替换法，会对输出图像的质量造成影响。

发明内容

本发明提供了一种基于图像熵的视频雨滴去除方法及系统，旨在解决现有的视频雨滴去除技术较少使用图像局部特性，计算效率不高的技术问题。

本发明提供的基于图像熵的视频雨滴去除方法及系统还可以解决以下技术问题：

现有视频雨滴去除技术常在多个色彩空间上进行处理，拥有较高的时间复杂度；

现有视频雨滴去除技术在雨滴去除时大量使用邻域两帧的值替换法，会对输出图像的质量造成影响。

本发明是这样实现的，一种基于图像熵的视频雨滴去除方法，包括：

步骤a：通过图像特定阈值及窗口大小计算图像局部熵；

步骤b：根据图像局部熵结合面积及角度滤波确定图像含雨部分，使用多个邻居帧的图像局部熵均值检测运动物体部分，并利用雨的时域分布特性得到雨滴部分；

步骤c：采用相邻帧均值替换法去除雨滴部分，得到去雨图像。

本发明实施例采取的技术方案还包括：所述步骤a还包括：读取视频帧，并对视频帧进行色彩空间转换；所述对视频帧进行色彩空间转换具体包括：

步骤a1：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

步骤a2：将步骤a1的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，步骤a1的公式重写为:

$\left[\begin{array}{c}\mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{\mathrm{bg}}+\mathrm{\ΔR}\\ G_{\mathrm{bg}}+\mathrm{\ΔG}\\ B_{\mathrm{bg}}+\mathrm{\ΔB}\end{array}\right]$

其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；

步骤a3：雨滴引起的ΔR、ΔG及ΔB近似相等，步骤a2中的公式变换为:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

本发明实施例采取的技术方案还包括：在所述步骤a中，所述通过图像特定阈值及窗口大小计算图像局部熵具体为：通过图像Y亮度分量的特定阈值及窗口大小计算图像局部熵。

本发明实施例采取的技术方案还包括：在所述步骤b中，所述利用雨的时域分布特性得到雨滴部分还包括：利用雨的时域分布特性进一步分离运动物体部分；具体为：计算从n-7帧到n+7帧的亮度最大值减去亮度最小值的值，如果该值大于一定阀值，则设置为运动物体部分，并通过结合图像局部熵均值检测出的运动物体得到全部的运动物体部分，通过从图像含雨部分中除去全部的运动物体部分，得到最终的雨滴部分。

本发明实施例采取的技术方案还包括：在所述步骤c中，所述采用相邻帧均值替换法去除雨滴部分具体为：通过邻域15帧均值替换法去除雨滴部分。

本发明实施例采取的技术方案还包括：在所述步骤c后还包括：通过各向异性滤波对去雨图像进行修复处理，并将修复处理后的图像转换到RGB色彩空间，得到最终的去雨图像。

本发明实施例采取的另一技术方案为：一种基于图像熵的视频雨滴去除系统，包括熵值计算模块、图像检测模块、雨滴检测模块和图像去雨模块；

所述熵值计算模块用于通过图像特定阈值及窗口大小计算图像局部熵；

所述图像检测模块用于根据图像局部熵结合面积及角度滤波确定图像含雨部分，并使用多个邻居帧的图像局部熵均值检测运动物体部分；

所述雨滴检测模块用于利用雨的时域分布特性得到雨滴部分；

所述图像去雨模块用于采用相邻帧均值替换法去除雨滴部分，得到去雨图像。

本发明实施例采取的技术方案还包括：还包括空间转换模块，所述空间转换模块用于读取视频帧，并将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述将视频帧从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

上述公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，上述公式重写为如下形式:

$\left[\begin{array}{c}\mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{\mathrm{bg}}+\mathrm{\ΔR}\\ G_{\mathrm{bg}}+\mathrm{\ΔG}\\ B_{\mathrm{bg}}+\mathrm{\ΔB}\end{array}\right]$

在上述重写公式中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；雨滴引起的ΔR、ΔG及ΔB近似相等，上述公式可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

本发明实施例采取的技术方案还包括：所述雨滴检测模块利用雨的时域分布特性得到雨滴部分具体为：计算从n-7帧到n+7帧的亮度最大值减去亮度最小值的值，如果该值大于一定阀值，则设置为运动物体部分，并通过结合图像局部熵均值检测出的运动物体得到全部的运动物体部分，通过从图像含雨部分中除去全部的运动物体部分，得到最终的雨滴部分。

本发明实施例采取的技术方案还包括：还包括图像修复模块，所述图像修复模块用于采用各向异性滤波对去雨图像进行修复处理，并将修复处理后的图像转换到RGB色彩空间，得到最终的去雨图像。

本发明实施例的基于图像熵的视频雨滴去除方法及系统将视频帧从RGB色彩空间转换到YCbCr色彩空间，大幅缩小了雨滴去除所需的时间；通过使用图像局部熵计算得到雨滴部分及运动物体部分，并使用雨的时域分布特性得到检测雨滴，避免雨滴误检；通过相邻帧均值替换法去除雨滴，并通过各向异性滤波对去雨图像进行修复处理，以获得更高质量的图像效果。

附图说明

图1是本发明实施例基于图像熵的视频雨滴去除方法的流程图；

图2是RGB色彩空间图像处理示意图；

图3是雨的时域分布特性效果图；

图4是本发明实施例的基于图像熵的视频雨滴去除系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明实施例的基于图像熵的视频雨滴去除方法的流程图。本发明实施例的基于图像熵的视频雨滴去除方法包括以下步骤：

步骤100：读取视频帧，并将视频帧从RGB色彩空间转换到YCbCr色彩空间；

在步骤100中，对于色彩空间，其是为了定量描述颜色而建立的支持数字图像的生成、存储、处理及显示的颜色模型。其中最出名的为RGB色彩空间，RGB色彩空间建立的主要依据是人的眼睛有红、绿和蓝三种色感细胞，它们的最大感光灵敏度分别落在红色、蓝色和绿色区域，其合成的光谱响应就是视觉曲线，由此推出任何彩色都可以用红、绿、蓝三种基色来配置；但由于在使用RGB色彩空间进行图像处理时需要同时处理红、绿、蓝三个通道上的数据，造成了时间复杂度过高的现象，具体如图2所示，是RGB色彩空间图像处理示意图；而对于YCbCr色彩空间，其是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr不是一种绝对色彩空间，是YUV(YUV是被欧洲电视系统所采用的一种颜色编码方法)压缩和偏移的版本。YCbCr色彩空间中的Y指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y亮度分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到图像质量的变化，且通过计算，在被雨影响的图像中，雨的部分基本存在于Y亮度分量，Cb蓝色色度分量及Cr红色色度分量并不受雨滴的影响，故在YCbCr色彩空间中使用去雨算法，只需去除Y亮度分量中雨场，能够降低时间复杂度。具体地，从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

对于有雨的一幅图像，每个像素在R、G、B三个分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于雨滴折射作用引起的背景强度值的增量。将公式(1)的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，重写(1)式为如下形式:

$\left[\begin{array}{c}\mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{\mathrm{bg}}+\mathrm{\ΔR}\\ G_{\mathrm{bg}}+\mathrm{\ΔG}\\ B_{\mathrm{bg}}+\mathrm{\ΔB}\end{array}\right]---\left(2\right)$

在公式(2)中，Rbg、Gbg、Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，雨滴引起的ΔR、ΔG、ΔB应近似相等，所以公式(2)可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

                           (3)

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

通过公式(3)可以看出，通过色彩空间转换后，受雨滴影响图像仅Y亮度分量含有雨滴成分，Cb蓝色色度分量和Cr红色色度分量自动消去了雨滴引起的强度变化部分，使得其不受雨滴的存在与否的影响，因此，在图像去雨过程中，只需去除Y分量中雨场，能够大幅缩短处理时间。

步骤200：通过图像Y亮度分量的特定阈值及窗口大小计算图像局部熵；

在步骤200中，熵(entropy)指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯(Rudolf Clausius)提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农(Claude Elwood Shannon)第一次将熵的概念引入到信息论中来。在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。信息论中，Shannon用事件发生概率的倒数来表示该事件的信息。如系统某一状态i(i＝0,1,k,n)发生的概率为p_i，则该状态具备的信息可描述为：

$\mathrm{\ΔI}\left(p_i\right)=\log \left(p_i^{-1}\right)=-\log \left(p_i\right)---\left(4\right)$

$\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{p}_i=1,(0\≤p_i\≤1)---\left(5\right)$

$H=E\left(\mathrm{\ΔI}\right)=-\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{p}_i\log \left(p_i\right)---\left(6\right)$

在此，熵关于信息量的定义不是对于所有状态都存在，由公式(4)知：

为此，重新定义指数形式的信息熵，用以下公式所示的指数关系式计算某一状态的信息量：

ΔI(p_i)＝exp(1-p_i)   (8)

$H=E\left(\mathrm{\ΔI}\right)=\underset{i=0}{\overset{n}{\mathrm{\Σ}}}{p}_i\log \left(p_i\right)---\left(9\right)$

在公式(8)及公式(9)中，ΔI(pi)在区间[0,1]所有的点都存在且连续；ΔI(pi＝0)＝K1，K1≥0为有限值；ΔI(pi＝1)＝K2，0≤K2<K1；随着pi的增大，ΔI(pi)按指数规律减小；由此以信息熵的定义来计算图像的熵，设图像中像素(i,j)的灰度值为f0，它的某种邻域内的像素的灰度值分别为:f1，f2，…，fi，…fn，且这n+1个像素构成一个局部图像窗口，其熵按公式(6)计算，但其中的pi被定义为窗口中某一像素灰度与窗口中各像素灰度之和的比值：

$p_i=f_i/\underset{j=0}{\overset{n}{\mathrm{\&Sigma;}}}{f}_j---\left(10\right)$

步骤300：根据图像局部熵结合面积及角度滤波确定图像含雨部分，并使用多个邻居帧的图像局部熵均值，检测出帧中部分运动物体；

在步骤300中，图像局部熵能够在图像所包含信息量的情况下，突出反映图像中像素位置的灰度信息及在像素邻域内灰度分布的综合特征，且在边界集中或者边界明显区域能够得到更高的局部熵值；具体计算方法为：对第n帧使用5*5的窗口大小计算局部熵，选择大于2.7的图像部分，得到图像含雨部分，并将图像含雨部分记为Ien；由于雨具有动态性及高亮度性等特性，使用面积及角度滤波器对图像进行噪声去除(具体为通过角度、面积直方图确定阈值，并将不满足阈值的部分去除)；而由于运动物体在邻居帧中表现出更高的局部熵，利用时域的局部熵均值可以检测出部分运动物体(具体检测方式为：选择大于一定阀值的运动物体；在本发明实施例中，该阀值为4.4，具体可根据实际应用进行设定)，并将该部分运动物体记为mo1；在本发明实施方式中，使用邻域5帧的图像局部熵均值检测出帧中部分运动物体，具体也可使用其他数量的邻居帧进行检测。

步骤400：利用雨的时域分布特性进一步分离运动物体部分，并从图像含雨部分中除去运动物体部分，得到最终的雨滴部分；

在步骤400中，对于雨滴来说，静态雨滴具有似镜头的特性，从周围环境中大量吸收、折射光源，造成其亮度明显增加；又由于其半径较大，在重力的作用下，其会拥有较大的下落速度，故雨滴经常被摄像机捕捉为光亮雨线。且由于其高速性，在时域雨滴总会造成有规律性的亮度波动，且波动幅度较于运动物体来说明显较小，具体如图3所示，为雨的时域分布特性效果图。因为雨的时域亮度波动幅度较小，利用此特性进一步分离运动物体部分，并得到最终的雨滴部分；具体算法为：计算从n-7帧到n+7帧的亮度最大值减去亮度最小值的值，如果值大于一定阀值，则设置为运动物体部分，将该运动物体部分记为mo2，并通过结合mo1及mo2得到全部的运动物体部分，通过从图像含雨部分Ien中除去全部的运动物体部分，得到最终的雨滴部分；在本发明实施例中，该阀值设为35，具体可根据实际应用进行设定。

步骤500：采用相邻帧均值替换法去除雨滴部分，得到去雨图像；

在步骤500中，由于现在已经获取了标识图像含雨部分的二值图及原图，又由于雨仅影响有限相邻帧，使用相邻帧均值替换进行最终去雨；由于雨势存在变化情况，现有的视频去雨技术通常仅在邻域3帧之中进行均值替换，去雨效果不佳，本发明实施例使用邻域15帧均值替换，以获取更好的图像效果，在本发明其他实施例中，也可使用其他数量的邻域帧均值替换。

步骤600：通过各向异性滤波对去雨图像进行修复处理，并将修复处理后的图像转换到RGB色彩空间，得到最终的去雨图像。

在步骤600中，在使用均值替换法去除雨滴之后，会对输出图像的质量造成降低，本发明通过使用进一步的图像修复机制以获取更好的图像效果。在各种图像处理方法中，我们能够将图像看做矩阵、图、随机过程、力场(如光流场)等等；各项异性滤波将图像看做热量场，每个像素看做热流，根据当前像素和周围像素的关系，来确定是否要向周围扩散；比如某个邻域像素和当前像素差别较大，则代表这个邻域像素很可能是个边界，那么当前像素就不向这个方向扩散了，这个边界也就得到保留了，即其为边保留平滑滤波，且克服了高斯模糊的缺陷。一维热传导方程，也称一维扩散方程，其为各向异性滤波方程的基础。热能是由分子的不规则运动产生的，在热能流动中有两种基本过程：传导和对流；传导由相邻分子的碰撞产生，一个分子的振动动能被传送到其最近的分子；这种传导导致了热能的传播，即便分子本身的位置没有什么移动，热能也传播了；此外，如果振动的分子从一个区域运动到另一个区域，它会带走其热能，这种类型的热能运动称为对流；以此为基础，基于扩散方程的滤波方法是近年来出现的一种新的图像滤波技术，即求解初始值为输入图像的非线性热扩散方程。在扩散方程中，通过引入图像特征，设计合适的扩散系数来控制扩散方程的扩散行为，使得在平滑图像的同时能够保留甚至增强图像的特征信息，以以获得更高质量的图像效果。

请参阅图4，是本发明实施例的基于图像熵的视频雨滴去除系统的结构示意图。本发明实施例的基于图像熵的视频雨滴去除系统包括空间转换模块、熵值计算模块、图像检测模块、雨滴检测模块、图像去雨模块和图像修复模块；具体地：

空间转换模块用于读取视频帧，并将视频帧从RGB色彩空间转换到YCbCr色彩空间；其中，对于色彩空间，其是为了定量描述颜色而建立的支持数字图像的生成、存储、处理及显示的颜色模型。其中最出名的为RGB色彩空间，RGB色彩空间建立的主要依据是人的眼睛有红、绿和蓝三种色感细胞，它们的最大感光灵敏度分别落在红色、蓝色和绿色区域，其合成的光谱响应就是视觉曲线，由此推出任何彩色都可以用红、绿、蓝三种基色来配置；但由于在使用RGB色彩空间进行图像处理时需要同时处理红、绿、蓝三个通道上的数据，造成了时间复杂度过高的现象；而对于YCbCr色彩空间，其是DVD、摄像机、数字电视等消费类视频产品中，常用的色彩编码方案。YCbCr不是一种绝对色彩空间，是YUV压缩和偏移的版本。YCbCr色彩空间中的Y指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量。人的肉眼对视频的Y亮度分量更敏感，因此在通过对色度分量进行子采样来减少色度分量后，肉眼将察觉不到图像质量的变化，且通过计算，在被雨影响的图像中，雨的部分基本存在于Y亮度分量，Cb蓝色色度分量及Cr红色色度分量并不受雨滴的影响，故在YCbCr色彩空间中使用去雨算法，只需去除Y亮度分量中雨场，能够降低时间复杂度。具体地，从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}65.481& 128.553& 24.966\\ -37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]---\left(1\right)$

对于有雨的一幅图像，每个像素在R、G、B三个分量上的强度值可以认为由两部分组成，一部分是不被雨滴覆盖的背景强度值，另一部分是由于雨滴折射作用引起的背景强度值的增量。将公式(1)的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，重写(1)式为如下形式:

$\left[\begin{array}{c}\mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{c}128\\ 128\end{array}\right]+\frac{1}{255}\left[\begin{array}{ccc}-37.797& -74.203& 112.000\\ 112.000& -93.786& -18.214\end{array}\right]\left[\begin{array}{c}{R}_{\mathrm{bg}}+\mathrm{\&Delta;R}\\ G_{\mathrm{bg}}+\mathrm{\&Delta;G}\\ B_{\mathrm{bg}}+\mathrm{\&Delta;B}\end{array}\right]---\left(2\right)$

在公式(2)中，Rbg、Gbg、Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG、ΔB是雨滴引起的背景强度在R、G、B分量上的增量。若像素未被雨滴覆盖，则ΔR，ΔG，ΔB均为零；反之，均不为零。结合雨滴的色彩属性，雨滴引起的ΔR、ΔG、ΔB应近似相等，所以公式(2)可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

                              (3)

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg

通过公式(3)可以看出，通过色彩空间转换后，受雨滴影响图像仅Y亮度分量含有雨滴成分，Cb蓝色色度分量和Cr红色色度分量自动消去了雨滴引起的强度变化部分，使得其不受雨滴的存在与否的影响，因此，在图像去雨过程中，只需去除Y分量中雨场，能够大幅缩短处理时间。

熵值计算模块用于通过图像Y亮度分量的特定阈值及窗口大小计算图像局部熵；其中，熵指的是体系的混乱的程度，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。熵由鲁道夫·克劳修斯(RudolfClausius)提出，并应用在热力学中。后来在，克劳德·艾尔伍德·香农(Claude Elwood Shannon)第一次将熵的概念引入到信息论中来。在信息论中，熵表示的是不确定性的量度。信息论的创始人香农在其著作《通信的数学理论》中提出了建立在概率统计模型上的信息度量。他把信息定义为“用来消除不确定性的东西”。信息论中，Shannon用事件发生概率的倒数来表示该事件的信息。如系统某一状态i(i＝0,1,k,n)发生的概率为p_i，则该状态具备的信息可描述为：

$\mathrm{\&Delta;I}\left(p_i\right)=\log \left(p_i^{-1}\right)=-\log \left(p_i\right)---\left(4\right)$

$\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}{p}_i=1,(0\&le;p_i\&le;1)---\left(5\right)$

$H=E\left(\mathrm{\&Delta;I}\right)=-\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}{p}_i\log \left(p_i\right)---\left(6\right)$

在此，Shannon熵关于信息量的定义不是对于所有状态都存在，由式(4)知

为此，有学者重新定义了指数形式的信息熵,用式(8)所示的指数关系式计算某一状态的信息量：

ΔI(p_i)＝exp(1-p_i)   (8)

$H=E\left(\mathrm{\&Delta;I}\right)=\underset{i=0}{\overset{n}{\mathrm{\&Sigma;}}}{p}_i\log \left(p_i\right)---\left(9\right)$

式中,ΔI(pi)在区间[0,1]所有的点都存在且连续；ΔI(pi＝0)＝K1，K1≥0为有限值；ΔI(pi＝1)＝K2，0≤K2<K1；随着pi的增大，ΔI(pi)按指数规律减小。而后有学者提出以SHANNON熵的定义来计算图像的熵。设图像中像素(i,j)的灰度值为f0，它的某种邻域内的像素的灰度值分别为:f1，f2，…，fi，…fn，且这n+1个像素构成一个局部图像窗口,其熵按式(6)计算,但其中的pi被定义为窗口中某一像素灰度与窗口中各像素灰度之和的比值：

$p_i=f_i/\underset{j=0}{\overset{n}{\mathrm{\&Sigma;}}}{f}_j---\left(10\right)$

图像检测模块用于根据图像局部熵结合面积及角度滤波确定图像含雨部分，并使用多个邻居帧的图像局部熵均值，检测出帧中部分运动物体；其中，图像局部熵能够在图像所包含信息量的情况下，突出反映图像中像素位置的灰度信息及在像素邻域内灰度分布的综合特征。且在边界集中或者边界明显区域能够得到更高的局部熵值。具体计算方法为对第n帧使用5*5的窗口大小计算局部熵，选择大于2.7的图像部分，得到图像含雨部分，并将图像含雨部分记为Ien；由于雨具有动态性及高亮度性等特性，使用面积及角度滤波器对图像进行噪声去除(具体为通过角度、面积直方图确定阈值，并将不满足阈值的部分去除)；而由于运动物体在邻居帧中表现出更高的局部熵，利用时域的局部熵均值可以检测出部分运动物体(具体检测方式为：选择大于一定阀值的运动物体；在本发明实施例中，该阀值为4.4，具体可根据实际应用进行设定)，并将该部分运动物体记为mo1；在本发明实施例中，使用邻域5帧的图像局部熵均值检测出帧中部分运动物体，具体也可使用其他数量的邻居帧进行检测。

雨滴检测模块用于利用雨的时域分布特性进一步分离运动物体部分，并从图像含雨部分中除去运动物体部分，得到最终的雨滴部分；其中，对于雨滴来说，静态雨滴具有似镜头的特性，从周围环境中大量吸收、折射光源，造成其亮度明显增加；又由于其半径较大，在重力的作用下，其会拥有较大的下落速度，故雨滴经常被摄像机捕捉为光亮雨线。且由于其高速性，在时域雨滴总会造成有规律性的亮度波动，且波动幅度较于运动物体来说明显较小，具体雨的时域分布特性如图3所示，为雨的时域分布特性效果图。因为雨的时域亮度波动幅度较小，利用此特性进一步分离运动物体部分。具体为计算从n-7帧到n+7帧的亮度最大值减去亮度最小值的值，如果值大于35，则设置为运动物体部分，将该运动物体部分记为mo2，并通过结合mo1及mo2得到全部的运动物体部分，通过从图像含雨部分Ien中除去运动物体部分，得到最终的雨滴部分。

图像去雨模块用于采用相邻帧均值替换法去除雨滴部分，得到去雨图像；其中，由于现在已经获取了标识图像含雨部分的二值图及原图，又雨仅影响有限相邻帧，我们可以使用相邻帧均值替换进行最终去雨。值得注意的是，由于雨势存在变化情况，仅在邻域3帧之中进行均值替换去雨不能够得到很好的效果，故在本发明中使用邻域15帧均值替换，以获取更好的图像效果。

图像修复模块用于通过各向异性滤波对去雨图像进行修复处理，并将修复处理后的图像转换到RGB色彩空间，得到最终的去雨图像；其中，在使用均值替换法去除雨滴之后，会对输出图像的质量造成降低，本发明通过使用进一步的图像修复机制以获取更好的图像效果。在各种图像处理方法中，我们能够将图像看做矩阵、图、随机过程、力场(如光流场)等等；各项异性滤波将图像看做热量场，每个像素看做热流，根据当前像素和周围像素的关系，来确定是否要向周围扩散。比如某个邻域像素和当前像素差别较大，则代表这个邻域像素很可能是个边界，那么当前像素就不向这个方向扩散了，这个边界也就得到保留了。即其为边保留平滑滤波，且克服了高斯模糊的缺陷。一维热传导方程，也称一维扩散方程，其为各向异性方程的基础。热能是由分子的不规则运动产生的。在热能流动中有两种基本过程：传导和对流。传导由相邻分子的碰撞产生，一个分子的振动动能被传送到其最近的分子。这种传导导致了热能的传播，即便分子本身的位置没有什么移动，热能也传播了。此外，如果振动的分子从一个区域运动到另一个区域，它会带走其热能。这种类型的热能运动称为对流。以此为基础，基于扩散方程的滤波方法是近年来出现的一种新的图像滤波技术,即求解初始值为输入图像的非线性热扩散方程。在扩散方程中，通过引入图像特征,设计合适的扩散系数来控制扩散方程的扩散行为,使得在平滑图像的同时能够保留甚至增强图像的特征信息，以以获得更高质量的图像效果。

本发明实施例的基于图像熵的视频雨滴去除方法及系统将视频帧从RGB色彩空间转换到YCbCr色彩空间，大幅缩小了雨滴去除所需的时间；通过使用图像局部熵计算得到雨滴部分及运动物体部分，并使用雨的时域分布特性得到检测雨滴，避免雨滴误检；通过相邻帧均值替换法去除雨滴，并通过各向异性滤波对去雨图像进行修复处理，以获得更高质量的图像效果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像熵的视频雨滴去除方法，包括：

步骤a：通过图像特定阈值及窗口大小计算图像局部熵；

步骤b：根据图像局部熵结合面积及角度滤波确定图像含雨部分，使用多个邻居帧的图像局部熵均值检测运动物体部分，并利用雨的时域分布特性得到雨滴部分；

步骤c：采用相邻帧均值替换法去除雨滴部分，得到去雨图像。

2.根据权利要求1所述的一种基于图像熵的视频雨滴去除方法，其特征在于，所述步骤a还包括：读取视频帧，并对视频帧进行色彩空间转换；所述对视频帧进行色彩空间转换具体包括：

步骤a1：将视频帧从RGB色彩空间转换到YCbCr色彩空间；所述色彩空间转换公式为：

步骤a2：将步骤a1的公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，步骤a1的公式重写为:

其中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；

步骤a3：雨滴引起的ΔR、ΔG及ΔB近似相等，步骤a2中的公式变换为:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg。

3.根据权利要求2所述的一种基于图像熵的视频雨滴去除方法，其特征在于，在所述步骤a中，所述通过图像特定阈值及窗口大小计算图像局部熵具体为：通过图像Y亮度分量的特定阈值及窗口大小计算图像局部熵。

4.根据权利要求1所述的一种基于图像熵的视频雨滴去除方法，其特征在于，在所述步骤b中，所述利用雨的时域分布特性得到雨滴部分还包括：利用雨的时域分布特性进一步分离运动物体部分；具体为：计算从n-7帧到n+7帧的亮度最大值减去亮度最小值的值，如果该值大于一定阀值，则设置为运动物体部分，并通过结合图像局部熵均值检测出的运动物体得到全部的运动物体部分，通过从图像含雨部分中除去全部的运动物体部分，得到最终的雨滴部分。

5.根据权利要求1所述的一种基于图像熵的视频雨滴去除方法，其特征在于，在所述步骤c中，所述采用相邻帧均值替换法去除雨滴部分具体为：通过邻域15帧均值替换法去除雨滴部分。

6.根据权利要求1所述的一种基于图像熵的视频雨滴去除方法，其特征在于，在所述步骤c后还包括：通过各向异性滤波对去雨图像进行修复处理，并将修复处理后的图像转换到RGB色彩空间，得到最终的去雨图像。

7.一种基于图像熵的视频雨滴去除系统，其特征在于，包括熵值计算模块、图像检测模块、雨滴检测模块和图像去雨模块；

所述熵值计算模块用于通过图像特定阈值及窗口大小计算图像局部熵；

所述图像检测模块用于根据图像局部熵结合面积及角度滤波确定图像含雨部分，并使用多个邻居帧的图像局部熵均值检测运动物体部分；

所述雨滴检测模块用于利用雨的时域分布特性得到雨滴部分；

所述图像去雨模块用于采用相邻帧均值替换法去除雨滴部分，得到去雨图像。

8.根据权利要求7所述的一种基于图像熵的视频雨滴去除系统，其特征在于，还包括空间转换模块，所述空间转换模块用于读取视频帧，并将视频 帧从RGB色彩空间转换到YCbCr色彩空间；所述将视频帧从RGB色彩空间转换到YCbCr色彩空间的转换公式为：

上述公式的R、G、B分量写成两部分的组合，且提取出Cb和Cr分量，上述公式重写为如下形式:

在上述重写公式中，Rbg、Gbg与Bbg分别是没有被雨滴覆盖的像素在三个分量上的背景强度值，ΔR、ΔG与ΔB是雨滴引起的背景强度在R、G与B分量上的增量；若像素未被雨滴覆盖，则ΔR、ΔG及ΔB均为零；反之，均不为零；雨滴引起的ΔR、ΔG及ΔB近似相等，上述公式可以变换为如下形式:

Cb＝128-0.1482R_bg-0.2910G_bg+0.4392B_bg

Cr＝128+0.4392R_bg-0.3678G_bg-0.0714B_bg。

9.根据权利要求7所述的一种基于图像熵的视频雨滴去除系统，其特征在于：所述雨滴检测模块利用雨的时域分布特性得到雨滴部分具体为：计算从n-7帧到n+7帧的亮度最大值减去亮度最小值的值，如果该值大于一定阀值，则设置为运动物体部分，并通过结合图像局部熵均值检测出的运动物体得到全部的运动物体部分，通过从图像含雨部分中除去全部的运动物体部分，得到最终的雨滴部分。

10.根据权利要求7所述的一种基于图像熵的视频雨滴去除系统，其特征在于：还包括图像修复模块，所述图像修复模块用于采用各向异性滤波对 去雨图像进行修复处理，并将修复处理后的图像转换到RGB色彩空间，得到最终的去雨图像。