CN106067163A - 一种基于小波分析的图像去雨方法及系统 - Google Patents

Abstract

本发明属于图像处理技术领域，尤其涉及一种基于小波分析的图像去雨方法及系统。所述基于小波分析的图像去雨方法包括：步骤a：根据小波分析对视频帧图像进行图层分解，并分析各个分解图层的图像信息；步骤b：计算融合系数矩阵，根据所述融合系数矩阵对不同图像信息的分解图层分别进行小波融合，并根据融合结果进行图像重构得到去雨图像；步骤c：利用各向异性扩散滤波对所述去雨图像进行滤波处理。本发明的实施可以避免受到动态特性的干扰，更加准确有效的去除雨滴，提高了去雨算法的使用范围，在雨势很大的情况下也能有良好的去雨效果；并通过各向异性扩散滤波对去雨图像进行滤波处理，使图像更加清晰自然，并使得去雨算法更加具有实用性。

Description

一种基于小波分析的图像去雨方法及系统

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于小波分析的图像去雨方法及系统。

背景技术

雨对图像成像有很大的影响，会造成图像成像模糊和信息覆盖，其直接结果是视频图像的清晰度下降，视频图像的数字化处理也会受此影响而性能下降。对受雨滴污染的视频图像进行修复处理有利于图像的进一步处理，包括基于图像的目标检测、识别、追踪、分割和监控等技术的性能提高。而且视频基于小波分析的图像去雨技术在现代军事、交通以及安全监控等领域都有广泛的应用前景。

有关视频图像中雨滴特性的研究已受到国际学术界的广泛关注，去雨算法的研究也从2003年Starik等(Starik S,Werman M.Simulation of rainin videos[C]Proceedingof Texture Workshop,ICCV.Nice,France:2003,2:406-409)提出的中值法开始得到了迅速的发展，处理的方法已经不再局限于最初简单的中值计算，偏度计算、K均值聚类、卡尔曼滤波、字典学习和稀疏编码、引导滤波、帧间亮度差、HSV空间、光流法、运动分割等很多方法也逐渐开始应用在视频图像中雨滴检测与去除的算法中，雨滴去除的效果也逐渐被提高。Garg等最先提出利用雨滴带来的帧间亮度差进行雨滴初检，然后利用雨滴的直线性和方向一致的特点进一步筛选，最后根据前后帧的像素亮度去除雨滴影响，可以较好地满足雨滴不覆盖连续帧图像情况下的雨滴检测与去除；Zhang等将雨滴给像素带来的色彩影响考虑在内，从而提高雨滴检测的准确性，改善了基于亮度变化的去雨算法在彩色图像上的应用效果；Liu等将雨滴的亮度影响和色彩影响同时应用在算法中，用两帧检测雨滴并去除；Tripathi等先研究雨滴像素亮度变化的概率统计特性，然后利用雨滴像素亮度变化的对称性实现雨滴检测，仅基于时域和另外考虑空间位置的影响时效果不完全相同；Kang等首先利用双边滤波将雨图分成高频部分和低频部分，并对高频部分进一步处理得到非雨成分，结合低频部分得到去雨图；Huang等首先利用上下文约束进行图像分割，并利用上下文感知进行单幅基于小波分析的图像去雨，并在此基础上提出了改进算法，文中首先用到了超完备的字典对高频部分进行处理。

特别是最近几年，视频图像去雨技术已成为新的研究热点。如何在保证高鲁棒性的前提下提高去雨的准确率和实时性，是目前视频图像去雨领域的焦点。目前存在的算法中，应用于静态场景视频雨滴检测与去除的算法有较为成熟的研究成果，但是应用在动态场景中的视频上时，算法考虑的是视频中出现运动物体所带来的干扰，对于与雨滴特性区别度不高的运动物体无法达到理想的检测效果。此外，实时处理在多项技术应用的自动导航系统、安全监控系统等场合中有很大的应用需求。这些应用场合中往往需要及时得到处理结果，反馈给用户，视频处理的滞后有可能导致用户做出错误的判断。因此视频中雨滴检测与去除不仅需要提高精度，也需要提高处理速度，而且需要找到二者之间最佳平衡点。但是当前算法还无法兼顾各种场景的处理速度和精度，实现去雨算法的实时性是当前研究面对的一个重要课题。

综上所述，现有的图像去雨技术存在的缺点在于：现有的图像去雨算法基本是基于像素亮度和雨滴形态特征进行去雨，去雨效果不是很理想；同时，现有的图像去雨技术对于动态场景的去雨效果不是很理想，算法复杂度和算法实时性也不能很好地兼顾。

发明内容

本发明提供了一种基于小波分析的图像去雨方法及系统，旨在解决现有的图像去雨技术对于动态场景的去雨效果不是很理想，且算法复杂度和算法实时性不能兼顾的技术问题。

本发明是这样实现的，一种基于小波分析的图像去雨方法，包括：

步骤a：根据小波分析对视频帧图像进行图层分解，并分析各个分解图层的图像信息；

步骤b：计算融合系数矩阵，根据所述融合系数矩阵对不同图像信息的分解图层分别进行小波融合，并根据融合结果进行图像重构得到去雨图像；

步骤c：利用各向异性扩散滤波对所述去雨图像进行滤波处理。

本发明实施例采取的技术方案还包括：在所述步骤a中，所述根据小波分析对视频帧图像进行图层分解具体为：基于小波分析的Malla算法将所述视频帧图像分解为十层，Malla算法的分解公式为：

C_i＝H_cH_rC_i-1

$D_i^1=G_c{H}_r{C}_{i-1}$

$D_i^2=H_c{G}_r{C}_{i-1}$

$D_i^3=G_c{G}_r{C}_{i-1}$

在上述公式中，H和G分别是尺度函数φ(x)和小波函数ψ(x)的系数矩阵，C_i、和分别对应图像C_i-1的低频部分、垂直方向的高频部分、竖直方向的高频部分以及对角线方向的高频部分。

本发明实施例采取的技术方案还包括：在所述步骤a中，所述分析各个分解图层的图像信息具体包括：所述图层包括包含雨滴噪声的图层、包含背景与颜色信息的图层以及包含图像纹理与物体边缘信息的图层，所述包含雨滴噪声的图层为第二到第四高频系数图层，所述包含图像背景与颜色信息的图层为第五到第十高频系数图层，所述包含图像纹理与物体边缘信息的图层为第一层图层。

本发明实施例采取的技术方案还包括：在所述步骤b中，所述计算融合系数矩阵的计算方式为：根据雨滴的亮度特性定义雨滴污染程度系数，根据雨滴污染程度系数计算融合系数矩阵；所述计算融合系数矩阵具体为：令雨滴污染程度系数S＝G×E，其中，G为局部梯度，E为局部能量，局部梯度和局部能量两个参数相乘得到一个新的变量S，S值越大污染越严重；对S矩阵进行归一化处理得到S’，系数矩阵和S’矩阵用于对图像重构算法进行加权优化得到融合系数矩阵。

本发明实施例采取的技术方案还包括：所述局部梯度G定义为：

$G=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{\mathrm{\Δ}xf{(i,j)}^2-\mathrm{\Δ}yf{(i,j)}^2}$

在上述公式中，Δxf(i,j)和Δyf(i,j)分别为点(i，j)的水平和垂直方向，M和N分别为区域的边长；

所述像素的局部能量E表示为：

$E=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}f{(i,j)}^2.$

本发明实施例采取的另一技术方案为：一种基于小波分析的图像去雨系统，包括小波分解模块、矩阵计算模块、小波融合模块和图像滤波模块；所述小波分解模块用于根据小波分析对视频帧图像进行图层分解，并分析各个分解图层的图像信息；所述矩阵计算模块用于计算融合系数矩阵；所述小波融合模块用于根据所述融合系数矩阵对不同图像信息的分解图层分别进行小波融合，并根据融合结果进行图像重构得到去雨图像；所述图像滤波模块用于利用各向异性扩散滤波对所述去雨图像进行滤波处理。

本发明实施例采取的技术方案还包括：所述小波分解模块根据小波分析对视频帧图像进行小波分解具体为：基于小波分析的Malla算法将所述视频帧图像分解为十层，Malla算法的分解公式为：

C_i＝H_cH_rC_i-1

$D_i^1=G_c{H}_r{C}_{i-1}$

$D_i^2=H_c{G}_r{C}_{i-1}$

$D_i^3=G_c{G}_r{C}_{i-1}$

在上述公式中，H和G分别是尺度函数φ(x)和小波函数ψ(x)的系数矩阵，C_i、和分别对应图像C_i-1的低频部分、垂直方向的高频部分、竖直方向的高频部分以及对角线方向的高频部分。

本发明实施例采取的技术方案还包括：所述小波分解模块分析各个分解图层的图像信息具体包括：所述图层包括包含雨滴噪声的图层、包含背景与颜色信息的图层以及包含图像纹理与物体边缘信息的图层，所述包含雨滴噪声的图层为第二到第四高频系数图层，所述包含图像背景与颜色信息的图层为第五到第十高频系数图层，所述包含图像纹理与物体边缘信息的图层为第一层图层。

本发明实施例采取的技术方案还包括：所述矩阵计算模块计算融合系数矩阵的计算方式为：根据雨滴的亮度特性定义雨滴污染程度系数，根据雨滴污染程度系数计算融合系数矩阵；所述计算融合系数矩阵具体为：令雨滴污染程度系数S＝G×E，其中，G为局部梯度，E为局部能量，局部梯度和局部能量两个参数相乘得到一个新的变量S，S值越大污染越严重；对S矩阵进行归一化处理得到S’，系数矩阵和S’矩阵用于对图像重构算法进行加权优化得到融合系数矩阵。

本发明实施例采取的技术方案还包括：所述局部梯度G定义为：

$G=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{\mathrm{\Δ}xf{(i,j)}^2-\mathrm{\Δ}yf{(i,j)}^2}$

在上述公式中，Δxf(i,j)和Δyf(i,j)分别为点(i，j)的水平和垂直方向，M和N分别为区域的边长；

所述像素的局部能量E表示为：

$E=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}f{(i,j)}^2.$

相对于现有技术，本发明产生的有益效果在于：本发明实施例的基于小波分析的图像去雨方法及系统采用小波多级分解对图像进行图层分解，分析各个图层的图像信息，并根据雨滴影响的程度定义小波融合的规则，根据小波融合的规则对不同图像信息的图层分别进行小波融合进行雨滴去除，从而可以避免受到动态特性的干扰，更加准确有效的去除雨滴，提高了去雨算法的使用范围，在雨势很大的情况下也能有良好的去雨效果；并通过各向异性扩散滤波对去雨图像进行滤波处理，使图像更加清晰自然，并使得去雨算法更加具有实用性。

附图说明

图1是本发明实施例的基于小波分析的图像去雨方法的流程图；

图2是小波分解示意图；其中，图2(a)为原始图像，图2(b)是图像的低频信息，图2(c)至图2(l)是图像的第十到第一层的高频结构；

图3是小波分解重构流程图；

图4是本发明实施例的基于小波分析的图像去雨系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

请参阅图1，是本发明实施例的基于小波分析的图像去雨方法的流程图。本发明实施例的基于小波分析的图像去雨方法包括以下步骤：

步骤S100：输入视频帧图像；

步骤S200：根据小波分析对图像进行小波多层分解，并分析各个图层的图像信息，分别得到包含背景与颜色信息的图层、包含雨滴噪声的图层以及包含图像纹理与物体边缘信息的图层；

在步骤S200中，小波分析具有很好的时间频率定位特性，能够把信号分解成多个具有不同子频段，频率特性和方向特性的子频段，所以小波分析又被称作数学显微镜。受图像分解和重构算法的启发，Mallat提出了基于小波分析的Malla算法，即图像多分辨分解和重构金字塔算法。重构算法是分解算法的逆过程，经过逆滤波就能恢复出原始的信号序列。空间的投影f(x,y)可以用来表示二维图像信号：

$f(x,y)=A_{i}f(x,y)+D_{i+1}^{1}f+D_{i+1}^{2}f+D_{i+1}^{3}f---\left(1\right)$

$A_{i+1}f=\underset{m_1,m_2\∈Z}{\Σ}{C}_{i+1,m_1,m_2}{\mathrm{\φ}}_{i+1,m_1,m_2}---\left(2\right)$

$D_{i+1}^{\mathrm{\ϵ}}f=\underset{m_1,m_2\∈Z}{\Σ}{D}_{i+1,m_1,m_2}^{\mathrm{\ϵ}}{\mathrm{\ψ}}_{i+1,m_1,m_2}^{\mathrm{\ϵ}},(\mathrm{\ϵ}=1,2,3)---\left(3\right)$

如果尺度函数φ(x)和小波函数ψ(x)的系数矩阵分别是H和G，Malla算法得分解公式为：

C_i＝H_cH_rC_i-1

$D_i^1=G_c{H}_r{C}_{i-1}$

$D_i^2=H_c{G}_r{C}_{i-1}$

$D_i^3=G_c{G}_r{C}_{i-1}---\left(4\right)$

在式(4)中，C_i、和分别对应图像C_i-1的低频部分、垂直方向的高频部分、竖直方向的高频部分以及对角线方向的高频部分。Malla算法的重构算法可以表示为：

$C_{i-1}=H_r^{*}{H}_c^{*}{C}_i+H_r^{*}{G}_c^{*}{D}_i^1+G_r^{*}{H}_c^{*}{D}_i^2+G_r^{*}{G}_c^{*}{D}_i^3---\left(5\right)$

在式(5)中，H^*、G^*分别为H、G的逆矩阵。

所述图层包括包含背景与颜色信息的图层、包含雨滴噪声的图层以及包含图像纹理与物体边缘信息的图层。小波分析能够分别对图像进行线性、高通和低通滤波。在原始图像上进行行和列的低通滤波，可以得到第一层的低频系数近似分量C₁，它包括图像背景与颜色信息。在原始图像上进行行和列的高通滤波，可以得到水平高频细节系数垂直高频细节系数和对角线高频细节系数它们包括不同方向的图像纹理与物体边缘信息。上述分界操作重复在C₁低频分量上进行操作，可以得到相对应的第二层的各频率分量C₂、和如果上述分界操作重复在第m-1层进行的话，能够得到C_m、和

雨滴噪声的频率很高，而图像纹理与物体边缘的噪声比雨滴还要高，图像背景与颜色信息的频率很低。所以，由受雨滴污染图像的基于小波分析多层分解，可以发现雨滴噪声应该被包含在低图层的高频系数部分，更大的分解层数通常被用来确保去雨后图像的细节信息。在本发明实施例中，对图像进行小波多层分解的分解层数为十层。具体如图2所示，是小波分解示意图；其中，图2(a)为原始图像，图2(b)是图像的低频信息，图2(c)至图2(l)是图像的第十到第一层的高频结构。由分析可知，大部分的雨滴噪声集中在第二到第四高频系数图层上，而第五到第十高频系数图层则包含绝大部分图像背景与颜色信息，第一层包含图像纹理与物体边缘信息。

步骤S300：根据雨滴的亮度特性定义雨滴污染程度系数，根据雨滴污染程度系数计算融合系数矩阵；

在步骤S300中，由于被雨滴覆盖的像素的灰度等级比背景灰度大，会产生边缘效应，于是，局部梯度能够用来测量灰度的变化，局部梯度定义为：

$G=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{\mathrm{\Δ}xf{(i,j)}^2-\mathrm{\Δ}yf{(i,j)}^2}---\left(10\right)$

式(10)中，Δxf(i,j)和Δyf(i,j)分别为点(i，j)的水平和垂直方向，M和N分别为区域的边长。由于雨滴亮度是基本不变的，雨滴像素具有更高和更稳定的能量，像素的局部能量可以表示为：

$E=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}f{(i,j)}^2---\left(11\right)$

令雨滴污染程度系数S＝G×E，即局部梯度和局部能量两个参数相乘得到一个新的变量S，S值越大污染越严重。对S矩阵进行归一化处理得到S’，系数矩阵和S’矩阵用于对图像重构算法进行加权优化得到融合系数矩阵.

步骤S400：根据融合系数矩阵对包含背景与颜色信息的图层、包含雨滴噪声的图层以及包含图像纹理与物体边缘信息的图层分别进行小波融合，并通过融合结果进行图像重构，得到去雨图像；

在步骤S400中，根据融合系数矩阵对包含背景与颜色信息、雨滴噪声和图像纹理与物体边缘信息的图层分别进行小波融合，最后将三部分融合结果进行图像重构得到去雨图像，这样可以使图像的颜色和细节不失真。在本发明实施例中，为了去除雨滴，对于雨滴噪声所在的图层，融合系数矩阵的权值应该小于1；而对于没有被雨滴污染的图层，融合系数矩阵的权值设成大于1；具体如图3所示，是小波分解重构流程图。

在进行不同图像信息的图层分别进行小波融合之后，再对连续的9个视频帧图像进行图像融合，融合后的去雨图像代替中间第五帧图像，以达到去雨效果。

步骤S500：利用各向异性扩散滤波对去雨图像进行滤波处理，得到优化的去雨图像；

在步骤S500中，各向异性扩散滤波方法可以实现图像的非线性滤波操作，使得在消噪的同时，能够很好的保持图像边缘。一维热传导方程，也称一维扩散方程，其为各向异性扩散方程的基础。热能是由分子的不规则运动产生的。在热能流动中有两种基本过程：传导和对流。传导由相邻分子的碰撞产生，一个分子的振动动能被传送到其最近的分子。这种传导导致了热能的传播，即便分子本身的位置没有什么移动，热能也传播了。此外，如果振动的分子从一个区域运动到另一个区域，它会带走其热能。这种类型的热能运动称为对流。以此为基础，基于各向异性扩散方程的滤波方法是近年来出现的一种新的图像滤波技术，即求解初始值为输入图像的非线性热扩散方程。在扩散方程中，通过引入图像特征,设计合适的扩散系数来控制扩散方程的扩散行为，使得在平滑图像的同时能够保留甚至增强图像的特征信息。本发明在得到小波融合去雨图像之后，通过使用各向异性扩散滤波处理去雨图像，优化了图像的视觉效果，使图像更加清晰自然，并使得去雨算法更加具有实用性。

步骤S600：输出去雨图像。

请参阅图4，是本发明实施例的基于小波分析的图像去雨系统的结构示意图。本发明实施例的基于小波分析的图像去雨系统包括图像输入模块、小波分解模块、矩阵计算模块、小波融合模块、图像滤波模块和图像输出模块；具体地：

图像输入模块用于输入视频帧图像；

小波分解模块用于根据小波分析对图像进行小波多层分解，并分析各个图层的图像信息，分别得到包含背景与颜色信息的图层、包含雨滴噪声的图层以及包含图像纹理与物体边缘信息的图层；其中，小波分析具有很好的时间频率定位特性，能够把信号分解成多个具有不同子频段，频率特性和方向特性的子频段，所以小波分析又被称作数学显微镜。受图像分解和重构算法的启发，Mallat提出了基于小波分析的Malla算法，即图像多分辨分解和重构金字塔算法。重构算法是分解算法的逆过程，经过逆滤波就能恢复出原始的信号序列。空间的投影f(x,y)可以用来表示二维图像信号：

$f(x,y)=A_{i}f(x,y)+D_{i+1}^{1}f+D_{i+1}^{2}f+D_{i+1}^{3}f---\left(1\right)$

$A_{i+1}f=\underset{m_1,m_2\∈Z}{\Σ}{C}_{i+1,m_1,m_2}{\mathrm{\φ}}_{i+1,m_1,m_2}---\left(2\right)$

$D_{i+1}^{\mathrm{\ϵ}}f=\underset{m_1,m_2\∈Z}{\Σ}{D}_{i+1,m_1,m_2}^{\mathrm{\ϵ}}{\mathrm{\ψ}}_{i+1,m_1,m_2}^{\mathrm{\ϵ}},(\mathrm{\ϵ}=1,2,3)---\left(3\right)$

如果尺度函数φ(x)和小波函数ψ(x)的系数矩阵分别是H和G，Malla算法得分解公式为：

C_i＝H_cH_rC_i-1

$D_i^1=G_c{H}_r{C}_{i-1}$

$D_i^2=H_c{G}_r{C}_{i-1}$

$D_i^3=G_c{G}_r{C}_{i-1}---\left(4\right)$

在式(4)中，C_i、和分别对应图像C_i-1的低频部分、垂直方向的高频部分、竖直方向的高频部分以及对角线方向的高频部分。Malla算法的重构算法可以表示为：

$C_{i-1}=H_r^{*}{H}_c^{*}{C}_i+H_r^{*}{G}_c^{*}{D}_i^1+G_r^{*}{H}_c^{*}{D}_i^2+G_r^{*}{G}_c^{*}{D}_i^3---\left(5\right)$

在式(5)中，H^*、G^*分别为H、G的逆矩阵。

所述图层包括包含背景与颜色信息的图层、包含雨滴噪声的图层以及包含图像纹理与物体边缘信息的图层。小波分析能够分别对图像进行线性、高通和低通滤波。在原始图像上进行行和列的低通滤波，可以得到第一层的低频系数近似分量C₁，它包括图像背景与颜色信息。在原始图像上进行行和列的高通滤波，可以得到水平高频细节系数垂直高频细节系数和对角线高频细节系数它们包括不同方向的图像纹理与物体边缘信息。上述分界操作重复在C₁低频分量上进行操作，可以得到相对应的第二层的各频率分量C₂、和如果上述分界操作重复在第m-1层进行的话，能够得到C_m、和

雨滴噪声的频率很高，而图像纹理与物体边缘的噪声比雨滴还要高，图像背景与颜色信息的频率很低。所以，由受雨滴污染图像的基于小波分析多层分解，可以发现雨滴噪声应该被包含在低图层的高频系数部分，更大的分解层数通常被用来确保去雨后图像的细节信息。在本发明实施例中，对图像进行小波多层分解的分解层数为十层。具体如图2所示，是小波分解示意图；其中，图2(a)为原始图像，图2(b)是图像的低频信息，图2(c)至图2(l)是图像的第十到第一层的高频结构。由分析可知，大部分的雨滴噪声集中在第二到第四高频系数图层上，而第五到第十高频系数图层则包含绝大部分图像背景与颜色信息，第一层包含图像纹理与物体边缘信息。

矩阵计算模块用于根据雨滴的亮度特性定义雨滴污染程度系数，根据雨滴污染程度系数计算融合系数矩阵；其中，由于被雨滴覆盖的像素的灰度等级比背景灰度大，会产生边缘效应，于是，局部梯度能够用来测量灰度的变化，局部梯度定义为：

$G=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{\mathrm{\Δ}xf{(i,j)}^2-\mathrm{\Δ}yf{(i,j)}^2}---\left(10\right)$

式(10)中，Δxf(i,j)和Δyf(i,j)分别为点(i，j)的水平和垂直方向，M和N分别为区域的边长。由于雨滴亮度是基本不变的，雨滴像素具有更高和更稳定的能量，像素的局部能量可以表示为：

$E=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}f{(i,j)}^2---\left(11\right)$

令雨滴污染程度系数S＝G×E，即局部梯度和局部能量两个参数相乘得到一个新的变量S，S值越大污染越严重。对S矩阵进行归一化处理得到S’，系数矩阵和S’矩阵用于对图像重构算法进行加权优化得到融合系数矩阵.

小波融合模块用于根据融合系数矩阵对包含背景与颜色信息的图层、包含雨滴噪声的图层以及包含图像纹理与物体边缘信息的图层分别进行小波融合，并通过融合结果进行图像重构，得到去雨图像；其中，根据融合系数矩阵对包含背景与颜色信息、雨滴噪声和图像纹理与物体边缘信息的图层分别进行小波融合，最后将三部分融合结果进行图像重构得到去雨图像，这样可以使图像的颜色和细节不失真。在本发明实施例中，为了去除雨滴，对于雨滴噪声所在的图层，融合系数矩阵的权值应该小于1；而对于没有被雨滴污染的图层，融合系数矩阵的权值设成大于1；具体如图3所示，是小波分解重构流程图。在进行不同图像信息的图层分别进行小波融合之后，再对连续的9个视频帧图像进行图像融合，融合后的去雨图像代替中间第五帧图像，以达到去雨效果。

图像滤波模块用于利用各向异性扩散滤波对去雨图像进行滤波处理，得到优化的去雨图像；其中，各向异性扩散滤波方法可以实现图像的非线性滤波操作，使得在消噪的同时，能够很好的保持图像边缘。一维热传导方程，也称一维扩散方程，其为各向异性扩散方程的基础。热能是由分子的不规则运动产生的。在热能流动中有两种基本过程：传导和对流。传导由相邻分子的碰撞产生，一个分子的振动动能被传送到其最近的分子。这种传导导致了热能的传播，即便分子本身的位置没有什么移动，热能也传播了。此外，如果振动的分子从一个区域运动到另一个区域，它会带走其热能。这种类型的热能运动称为对流。以此为基础，基于各向异性扩散方程的滤波方法是近年来出现的一种新的图像滤波技术，即求解初始值为输入图像的非线性热扩散方程。在扩散方程中，通过引入图像特征,设计合适的扩散系数来控制扩散方程的扩散行为，使得在平滑图像的同时能够保留甚至增强图像的特征信息。本发明在得到小波融合去雨图像之后，通过使用各向异性扩散滤波处理去雨图像，优化了图像的视觉效果，使图像更加清晰自然，并使得去雨算法更加具有实用性。

图像输出模块用于输出去雨图像。

本发明实施例的基于小波分析的图像去雨方法及系统采用小波多级分解对图像进行图层分解，分析各个图层的图像信息，并根据雨滴影响的程度定义小波融合的规则，根据小波融合的规则对不同图像信息的图层分别进行小波融合进行雨滴去除，从而可以避免受到动态特性的干扰，更加准确有效的去除雨滴，提高了去雨算法的使用范围，在雨势很大的情况下也能有良好的去雨效果；并通过各向异性扩散滤波对去雨图像进行滤波处理，使图像更加清晰自然，并使得去雨算法更加具有实用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于小波分析的图像去雨方法，其特征在于，包括：

步骤a：根据小波分析对视频帧图像进行图层分解，并分析各个分解图层的图像信息；

步骤b：计算融合系数矩阵，根据所述融合系数矩阵对不同图像信息的分解图层分别进行小波融合，并根据融合结果进行图像重构得到去雨图像；

步骤c：利用各向异性扩散滤波对所述去雨图像进行滤波处理。

2.根据权利要求1所述的基于小波分析的图像去雨方法，其特征在于，在所述步骤a中，所述根据小波分析对视频帧图像进行图层分解具体为：基于小波分析的Malla算法将所述视频帧图像分解为十层，Malla算法的分解公式为：

C_i＝H_cH_rC_i-1

$D_i^1=G_c{H}_r{C}_{i-1}$

$D_i^2=H_c{G}_r{C}_{i-1}$

$D_i^3=G_c{G}_r{C}_{i-1}$

在上述公式中，H和G分别是尺度函数φ(x)和小波函数ψ(x)的系数矩阵，C_i、和分别对应图像C_i-1的低频部分、垂直方向的高频部分、竖直方向的高频部分以及对角线方向的高频部分。

3.根据权利要求2所述的基于小波分析的图像去雨方法，其特征在于，在所述步骤a中，所述分析各个分解图层的图像信息具体包括：所述图层包括包含雨滴噪声的图层、包含背景与颜色信息的图层以及包含图像纹理与物体边缘信息的图层，所述包含雨滴噪声的图层为第二到第四高频系数图层，所述包含图像背景与颜色信息的图层为第五到第十高频系数图层，所述包含图像纹理与物体边缘信息的图层为第一层图层。

4.根据权利要求1所述的基于小波分析的图像去雨方法，其特征在于，在所述步骤b中，所述计算融合系数矩阵的计算方式为：根据雨滴的亮度特性定义雨滴污染程度系数，根据雨滴污染程度系数计算融合系数矩阵；所述计算融合系数矩阵具体为：令雨滴污染程度系数S＝G×E，其中，G为局部梯度，E为局部能量，局部梯度和局部能量两个参数相乘得到一个新的变量S，S值越大污染越严重；对S矩阵进行归一化处理得到S’，系数矩阵和S’矩阵用于对图像重构算法进行加权优化得到融合系数矩阵。

5.根据权利要求4所述的基于小波分析的图像去雨方法，其特征在于，所述局部梯度G定义为：

$G=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{\mathrm{\Δ}xf{(i,j)}^2-\mathrm{\Δ}yf{(i,j)}^2}$

在上述公式中，Δxf(i,j)和Δyf(i,j)分别为点(i，j)的水平和垂直方向，M和N分别为区域的边长；

所述像素的局部能量E表示为：

$E=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}f{(i,j)}^2.$

6.一种基于小波分析的图像去雨系统，其特征在于，包括小波分解模块、矩阵计算模块、小波融合模块和图像滤波模块；所述小波分解模块用于根据小波分析对视频帧图像进行图层分解，并分析各个分解图层的图像信息；所述矩阵计算模块用于计算融合系数矩阵；所述小波融合模块用于根据所述融合系数矩阵对不同图像信息的分解图层分别进行小波融合，并根据融合结果进行图像重构得到去雨图像；所述图像滤波模块用于利用各向异性扩散滤波对所述去雨图像进行滤波处理。

7.根据权利要求6所述的基于小波分析的图像去雨系统，其特征在于，所述小波分解模块根据小波分析对视频帧图像进行小波分解具体为：基于小波分析的Malla算法将所述视频帧图像分解为十层，Malla算法的分解公式为：

C_i＝H_cH_rC_i-1

$D_i^1=G_c{H}_r{C}_{i-1}$

$D_i^2=H_c{G}_r{C}_{i-1}$

$D_i^3=G_c{G}_r{C}_{i-1}$

在上述公式中，H和G分别是尺度函数φ(x)和小波函数ψ(x)的系数矩阵，C_i、和分别对应图像C_i-1的低频部分、垂直方向的高频部分、竖直方向的高频部分以及对角线方向的高频部分。

8.根据权利要求7所述的基于小波分析的图像去雨系统，其特征在于，所述小波分解模块分析各个分解图层的图像信息具体包括：所述图层包括包含雨滴噪声的图层、包含背景与颜色信息的图层以及包含图像纹理与物体边缘信息的图层，所述包含雨滴噪声的图层为第二到第四高频系数图层，所述包含图像背景与颜色信息的图层为第五到第十高频系数图层，所述包含图像纹理与物体边缘信息的图层为第一层图层。

9.根据权利要求6所述的基于小波分析的图像去雨系统，其特征在于，所述矩阵计算模块计算融合系数矩阵的计算方式为：根据雨滴的亮度特性定义雨滴污染程度系数，根据雨滴污染程度系数计算融合系数矩阵；所述计算融合系数矩阵具体为：令雨滴污染程度系数S＝G×E，其中，G为局部梯度，E为局部能量，局部梯度和局部能量两个参数相乘得到一个新的变量S，S值越大污染越严重；对S矩阵进行归一化处理得到S’，系数矩阵和S’矩阵用于对图像重构算法进行加权优化得到融合系数矩阵。

10.根据权利要求9所述的基于小波分析的图像去雨系统，其特征在于，所述局部梯度G定义为：

$G=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}\sqrt{\mathrm{\Δ}xf{(i,j)}^2-\mathrm{\Δ}yf{(i,j)}^2}$

在上述公式中，Δxf(i,j)和Δyf(i,j)分别为点(i，j)的水平和垂直方向，M和N分别为区域的边长；

所述像素的局部能量E表示为：

$E=\frac{1}{MN}\underset{i=1}{\overset{M}{\Σ}}\underset{j=1}{\overset{N}{\Σ}}f{(i,j)}^2.$