CN107657593B - 一种单幅图像去雨方法 - Google Patents

Abstract

本发明公开了一种单幅图像去雨方法，首先，基于双边滤波将有雨图像分解为高频图像与低频图像。然后，在字典学习阶段，为降低有雨原子与无雨原子间的相似性，引入字典的非相干性，构建了新的目标函数，不仅可以保证聚类时有雨字典与无雨字典的可分性，而且学习的非相干字典具有类似于紧框架的性质，可以逼近等角紧框架。通过有雨字典与无雨字典对高频图像的稀疏表示，能够更好分离出高频图像中的有雨分量与无雨分量，将高频无雨分量与低频图像叠加实现图像去雨。实验结果表明，本发明方法所学习的非相干字典具有较好的稀疏表示性能，去雨后的图像雨线残留较少，边缘细节保持较好，视觉效果更为清晰自然。

Description

一种单幅图像去雨方法

技术领域

本发明涉及图像处理领域，特别是一种单幅图像去雨方法。

背景技术

在雨天情况下，雨滴颗粒一般大于100μm，容易被镜头捕捉。因此，受有雨天气状况的影响，户外镜头所采集图像的部分纹理与细节信息容易被雨线遮挡，造成局部区域过亮，背景图像模糊等问题。雨天图像质量的退化极大制约了如视觉监控、视觉导航与目标跟踪等户外智能视觉系统的功能。且雨滴颗粒状态多变，不同情形下的雨线方向和粗细均不相同，因此，研究如何从各类雨天降质图像中恢复出高质量的图像具有极高的研究与应用价值。

图像去雨研究主要包括视频图像去雨与单幅图像去雨。视频图像目前取得了较大的进展，基于雨线动态模型与亮度模型实现雨线检测，利用图像帧之间的雨线亮度差异与背景亮度存在一定的线性关系，并通过对亮度取平均值消除雨线。利用受雨滴遮挡像素的RGB三个通道的亮度变化值基本不变，提出了一种色度约束模型解决雨滴的误检测问题，并采用K-means聚类实现视频去雨。基于HSV空间分析雨滴成像特性，构造了如何区分雨滴与其他运动目标的度量函数，大大提高了视频去雨的实时性。将灰色调代替亮度值，实现雨滴候选区域的提取，建立了雨滴方向的概率密度，并采用方向约束实现视频去雨，但去雨效果易受雨滴下降速度、风向及其他运动目标的影响。基于高斯混合模型拟合雨线方向直方图，并利用雨滴大小与亮度实现雨滴候选区域检测，但是雨线方向的变化或者交叠会造成很高的误检率。利用视频图像中雨滴像素的局部时空差异特征，提出了一种粘附雨滴的建模、检测及去除的方法，但该方法并不适合于非粘附的雨滴。

与视频图像去雨相比，单幅图像去雨可利用的先验知识较少，其研究更具挑战性并迅速受到国内外研究人员的关注。Wu等结合雨滴的颜色、纹理和形状特征构建雨滴显著图，实现候选雨滴区域的确定，提出一种基于学习的雨滴判断方法，并采用图像修复技术实现交通监控图像的去雨。然而，该方法认为雨滴在拍摄镜头玻璃上呈现出圆形具有一定的局限性，且无法适用风势和雨势较大的情况。Kim等假设雨滴呈椭圆形且雨线方向为垂直向下，利用椭圆核的形状与方向实现雨滴检测，并基于非局部均值滤波方法实现单幅图像去雨。Chen等利用图像中雨线呈现出较高的相似性与降雨图像的退化原理，基于雨线的时空相关性提出一种低秩模型实现单幅(视频)图像去雨，但这一方法并未考虑降雨时大风、雨雾等外界因素的影响。Li等基于图块的先验知识，提出一种混合高斯模型实现图像有雨层与无雨层的分离，预训练的高斯混合模型可以去除不同方向、尺度的雨线去除，但该方向适合背景较为平滑的图像。以上单幅单幅图像去雨方法均基于雨天成像的物理模型，然而降雨图像物理退化过程复杂，受大风、大雨过程形成雾气等因素的影响，雨线方向与形状均会发生一定程度的变化，故其利用的各类先验条件均存在一定的局限性。Kang等提出一种基于字典学习及稀疏表示的单幅图像去雨框架，该框架首先利用双边滤波将有雨图像分为高频图像与低频图像，基于字典学习实现高频图像的稀疏表示，结合方向梯度直方图(Histogram of Oriented Gradient,HOG)特征实现学习字典的原子分类，得到无雨字典与有雨字典，通过稀疏重构获得高频图像的有雨分量与无雨分量，将高频图像的无雨分量与低频图像叠加得到去雨后的图像。该方法去雨后图像易模糊。Huang等采用仿射传播方法实现字典原子的聚类，每类字典原子包含相似的边缘与纹理信息，且利用无雨原子类的方差较大得到高频无雨分量，再与低频图像叠加实现图像去雨，该方法图像边缘保持有所提高，但有一定的雨线残留，而且字典聚类方法导致算法实时性差。Luo等利用PS(Phtoshop)中的滤色原理提出一种非线性雨图模型，并利用判别性稀疏编码实现图像去雨，该方法通过约束无雨图像与有雨分量的稀疏表示系数间的相关性实现图像去雨，雨线残留现象严重，去雨不彻底。

基于字典学习及稀疏表示实现图像去雨取得了一定的效果，但仍然存在以下问题：(1)有雨图像中雨线与背景图像纹理之间存在重叠现象，现有的字典学习方法得到的字典原子间相似度较高。因此，难以对字典原子准确分类，容易将背景图像中与雨线结构相似的纹理误判别为雨线，去雨后的图像产生过度平滑现象，或者把雨线判别为背景图像，去雨不彻底；(2)无雨图像与有雨层图像使用同一个字典进行稀疏表示，仅通过间接约束无雨图像与有雨层图像的稀疏表示系数间的相关性，无法保证有雨层与无雨层的分离，去雨后的图像雨线残留严重。

深度学习近年来在图像处理领域内得到了广泛的应用,因此不少学者研究并提出了基于深度学习的单幅图像去雨方法。Yang等提出了一种新的去雨模型，并采用深度学习方法实现图像去雨，主要解决了大雨下受不同方向与形状的雨线影响的图像去雨问题。Fu等基于深度卷积神经网络实现图像去雨，通过学习高频图像的非线性映射关系，并利用图像的先验知识改进目标函数，取得较好的去雨效果。但是，基于深度学习的图像去雨训练时间长，对网络深度及相关参数的调节缺乏理论性指导。

近几年来，字典学习及稀疏表示的理论研究引起了广大学者的关注，并迅速应用于信号与图像处理、分类、聚类等相关领域。字典学习是一种极为简洁且自适应的数据表示形式，仅仅需要通过学习的字典中较少的几个原子的线性组合来逼近样本数据。

给定训练样本集

字典学习的目的即要找到一个合适的字典

使得

的线性组合可逼近信号y_i∈Y，即

并且保证x_j中大部分元素为0或接近于0，则字典学习的模型定义如下：

其中，||d_j||₂＝1,1≤j≤m。一般情况下，字典D是过完备字典，即字典原子的个数m远远大于信号的维数n，同时用||x_i||₁来代替||x_i||₀。

利用传统的字典学习进行图像去雨，如K-SVD(K-Singular ValueDecomposition，K-SVD)、在线字典学习方法(online dictionary learning)等方法学习的字典可以较好的保证样本数据的稀疏性，但因学习字典中有雨原子与无雨原子间相似度较高，无法有效区分有雨分量与无雨分量，造成去雨残留或者过度平滑。而非相干字典的学习可以提高数据样本的稀疏表示性能，并且能降低特征信息的冗余性，同时加快字典学习的速度。字典的相干性作为过完备字典D中原子间相似程度的度量，其定义如下：

μ(D)＝max|<d_i,d_j>|,i≠j (2)

其中，d_i,d_j表示字典中两个不同原子。μ(D)值越大，原子间相似程度越强；反之，μ(D)值越小，原子间相似程度越弱,则D为非相干字典。正交基相干性等于0，但是正交基无法保证样本表示的稀疏性。

框架是基的过完备字典，而紧框架是正交基的过完备字典。更进一步，等角紧框架(Equiangular Tight Frame，ETF)能获得过完备字典相干性的最小边界

其定义如下：

定义1矩阵

其中n<m，列向量f₁,f₂,…f_m，矩阵F为等角紧框架需满足以下三个条件：

(1)列向量具有单位范数，即||f_j||₂＝1,1≤j≤m；

(2)

(3)

I_n是一个n×n的单位阵

由定义1可知，若F为ETF，则F为行满秩矩阵，具有n个非零的奇异值且都等于

发明内容

本发明所要解决的技术问题是，针对现有技术不足，提供一种单幅图像去雨方法。

为解决上述技术问题，本发明所采用的技术方案是：一种单幅图像去雨方法，包括以下步骤：

1)将有雨图像分为高频图像和低频图像；

2)获取包括有雨分量与恢复图像的边缘及纹理信息的高频图像

3)将所述高频图像分块，随机取p个图块作为训练样本，基于非相干字典学习模型，得到学习的非相干字典D；

4)提取所述非相干字典原子的HOG特征，对非相干字典原子进行聚类，将非相干字典D分为有雨字典D_r与无雨字典D_n；

5)基于学习非相干字典D对高频图像进行稀疏表示，求得对应有雨字典D_r与无雨字典D_n的稀疏表示系数，将有雨字典D_r对应的稀疏表示系数置0，得到高频图像的有雨分量和无雨分量；

6)将所述高频图像的有雨分量和无雨分量相加，得到去雨后的图像；

非相干字典D的获取过程包括以下步骤：

1)初始化给定的训练样本集，初始化字典D并对字典D的列向量进行归一化，初始化最大迭代次数；

2)求解字典D的稀疏表示系数；

3)设计字典更新目标函数如下：

其中，y_i是第i个训练样本；x_i是样本y_i对应的稀疏表示系数；m为字典D的原子个数；n为字典D的维度；I_n是一个n×n的单位矩阵；α是字典相干性的惩罚系数；mim表示最小化目标函数；

4)利用LBFGS方法求解所述字典更新目标函数，得到D’，并对D’的列向量进行归一化处理；

5)将迭代次数加1，判断是否收敛，若是，则输出D’，D*＝D’；否则，返回步骤2)。

字典D的稀疏表示系数求解过程包括：

1)定义稀疏编码：

β是稀疏度的惩罚系数；p表示训练样本的个数；

2)设

其中，η＞0表示步长，k表示迭代次数；x^(k)是第k次迭代时的x值；Y是由所有的训练样本构造的矩阵，Y＝{y₁,y₂,…y_p}

3)定义邻近算子

其中

定义了第k次迭代时x_i中每个元素的绝对值；

4)结合步骤2)和步骤3)，求得稀疏表示系数x_i。

利用K-means方法对非相干字典原子进行聚类。

与现有技术相比，本发明所具有的有益效果为：本发明构建了一个非相干字典学习的模型，该模型引入了字典的非相干性，抑制了原子间的相似性，能够降低有雨原子与无雨原子间的相似性，能保证聚类时有雨字典与无雨字典的可分性；另一方面，学习的非相干字典具有类似于紧框架的性质，可以逼近等角紧框架，因此，基于本发明学习的非相干字典对图像具有更好的稀疏表示性能，其稀疏表示系数正好与图像的规则具有密切关联。实验结果表明，结合非相干字典学习及稀疏表示可以有效提高图像去雨的性能，同时具有较好的实时性。

附图说明

图1(a)无雨图像；图1(b)有雨图像；图1(c)高频图像；图1(d)低频图像；

图2(a)Kang等算法恢复的高频图像有雨分量；图2(b)Huang等算法恢复的高频图像有雨分量；图2(c)本发明算法恢复的高频图像有雨分量；

图3(a)Kang等算法恢复的高频图像无雨分量；图3(b)Huang等算法恢复的高频图像无雨分量；图3(c)本发明算法恢复的高频图像无雨分量；

图4(a)～图4(c)为图1(d)与图3(a)～图3(c)相加得到不同算法的图像去雨结果；

图5(a)～图5(f)为不同算法的图像去雨结果；图5(a)无雨图像；图5(b)有雨图像；图5(c)Kang等算法的去雨结果；图5(d)Huang等算法的去雨结果；图5(e)Luo等算法的去雨结果；图5(f)本文算法的去雨结果；图5(g)为图5(c)方框中内容；图5(h)为图5(d)方框中内容；图5(i)为图5(e)方框中内容；图5(j)为图5(f)方框中内容；

图6(a)为标准图像；图6(b)为合成有雨图像；图6(c)为Kang等算法的去雨结果；图6(d)Huang等算法的去雨结果；图6(e)Luo等算法的去雨结果；图6(f)本发明算法的去雨结果；

图7(a)～图7(e)基于真实雨图的不同图像去雨算法的结果；图7(a)真实雨图；图7(b)Kang等算法；图7(c)Huang等算法；图7(d)Luo等算法；图7(e)本文算法。

具体实施方式

基于字典学习的图像去雨可视为一个二分类问题，通过对高频图像的字典学习及其稀疏表示，将学习的字典分为有雨字典与无雨字典，背景图像具有与雨线结构相似的区域，则字典原子间的相似程度较高，因此我们希望构建的模型获得以下性能：

(1)学习的字典原子具有较好的可分性，即原子间的相似性较低，可以较大地提高原子分类性能，从而保证了高频无雨分量与有雨分量的分离；

(2)学习的字典具有一定的单位紧框架性，能获得较好的稀疏重构性能，且表示系数能反映一定图像的规则；

然而，基于定义1直接构造D的等角紧框架非常困难，因此，本发明提出一种新的非相干字典学习的模型，同时联合优化字典的稀疏表示性能这一策略，其目的是为了保证学习字典尽量逼近ETF结构，模型的定义如下：

其中，y_i是第i个训练样本，即有雨图像块内像素展开的列向量，

是过完备字典，

x_i是样本y_i对应的稀疏表示系数。目标函数的第一项是稀疏重构性，第二项是学习字典的紧框架约束项，第三项控制稀疏表示系数的稀疏度，α与β平衡了重构误差、字典的相干性与稀疏度三者之间的权重。

式(3)中的第二项约束了学习字典的紧框架性，实质上也是降低学习字典的相干性，其证明过程如下：

证明：

令DD^T＝S，

则式(3)中的第二项则可写为：

其中，

结合式(5)与式(6)，式(4)可重新定义如下：

由此可见，最小化式(7)实际上优化了字典的格拉姆矩阵中元素。若字典原子为单位范数，即满足

最小化式(7)意味着最小化字典格拉姆矩阵中非对角线上的元素

即字典原子间的相干性(式(2))。同时，

目标函数中第二项即为所求。

在本发明的模型中，一方面约束了字典的单位范数紧框架性，可以最大化稀疏编码的支撑集，保证了字典的稀疏表示性能；另一方面字典原子间相干性得到有效抑制，进一步保证原子间的可分性，从而有利于后一阶段的有雨字典与无雨字典的分离。

式(3)中的(D，X)是一个组合的非凸优化问题，其求解一般采用交替最小化进行迭代更新，通过反复执行稀疏编码与字典更新直到满足收敛条件或迭代次数完成。

(1)稀疏编码：固定字典D，式(3)的稀疏编码可重新定义如下：

式(3)的求解直接采用前向后向算子分裂法，将目标函数分解Ω(x)和Θ(x)之和，目标函数问题可转化为对Ω(x)的前向步(梯度下降)与对Θ(x)后向步(邻近算子)的迭代求解。

梯度下降：

其中，η＞0表示步长，k表示迭代次数。

邻近算子：

采用软阈值方法(shink{·})定义邻近算子，则式(10)转化为：

其中

定义了第k次迭代时x_i中每个元素的绝对值。结合式(9)与式(11)可求得稀疏表示系数x_i。值得注意的是，为保证算法的稳定性，在本发明中的步长

(2)固定稀疏编码系数矩阵X，则字典更新目标函数如下：

将式(12)写成矩阵形式，其定义如下：

结合式(14)与式(15)，将式(13)对D求导，其梯度可定义为：

2(DXX^T-YX^T)+4αλ(DD^TD-D) (16)

每次字典的迭代更新中，本发明采用LBFGS(Limited-memory BFGS)方法求解式(12)。

由此可知，字典学习过程包括如下步骤：

(1)初始化给定训练样本集，初始化字典D并对列向量进行归一化，最大迭代次数；

(2)根据式(8)进行稀疏编码求解：

利用式(9)求式(8)的梯度，利用式(11)更新X；

(3)根据式(12)进行字典更新：

利用LBFGS方法求解(12)，得到D，并对列向量归一化处理；

(4)更新迭代次数，迭代次数+1，判断是否小于最大迭代数，若不满足转到稀疏编码，否则输出字典D。

本发明采用与现有技术类似的去雨框架，具体实现步骤如下：

(1)图1(b)为有雨图像，基于双边滤波将图1(b)分为高频图像与低频图像。高频图像(图1(c))包含了图像的有雨分量与恢复图像的边缘及纹理信息，而低频图像(图1(d))包含无雨图像的基本信息。

(2)本发明将高频图像分块，随机取p个图块作为训练样本，基于本发明提出的非相干字典学习模型(式3)，执行本发明3.3节步骤，得到学习的非相干字典。

(3)非相干字典原子的聚类：首先提取字典原子的HOG特征，利用K-means方法对字典原子聚类，则字典D可分为有雨字典D_r与无雨字典D_n两部分。非相干字典学习大大降低原子间相似程度，使得原子间的可分性更好；而且非相干字典学习最大程度得降低原子冗余性，大大加快图像去雨的速。

(3)基于学习的非相干字典的稀疏重构：利用聚类后的非相干字典对样本进行稀疏表示，分别可求得对应有雨字典D_r与无雨字典D_n的稀疏表示系数，直接将有雨字典D_r部分对应的稀疏表示系数置0，则分别得到高频图像的有雨分量如图2所示，高频图像的无雨分量如图3所示。

(4)将高频图像的无雨分量(图3)与低频图像(图1(d))相加，则得到图像去雨的结果如图4所示。

为了验证本发明算法的有效性与实时性，本发明分别对合成雨图与真实雨图进行了仿真实验。硬件平台为Intel Core i3，3.70GHz CPU，内存4GB，软件平台为Matlab2014a。

为对比基于不同字典学习算法的图像去雨效果，本节首先比较了本发明算法与Kang等算法、Huang等算法实现图像去雨的中间结果可视图。其原因在于这三种算法都采用双边滤波对有雨图像进行分解，分解后获得相同的高频图像与低频图像，分别如图1(c)、图1(d)所示。基于以上不同算法所学习的字典对高频图像进行稀疏表示，利用其表示系数可重构出相应的高频有雨与高频无雨分量。其中，图2(a)是基于Kang等算法重构的高频有雨分量，图2(b)是基于Huang等算法重构的高频有雨分量，与图2(a)、图2(b)相比，基于本发明算法重构的高频有雨分量雨线与背景图像纹理分离更彻底，分离的有雨层图像更完整，如图2(c)所示。图3(a)是基于Kang等算法重构的高频无雨分量，从图像中可以看出其仍含有较多雨线的残留。图3(b)是基于Huang等算法重构的高频无雨分量，与图3(a)相比，图3(b)的高频无雨分量虽无明显雨线残留，但同时也丢失了一部分图像的纹理与边缘细节信息。由图3(c)不难发现，基于本发明算法重构的高频无雨分量不仅无明显雨线残留，而且具有更为丰富的背景纹理。由此可知，本发明结合字典的相干性，提出的非相干性字典学习模型有效降低了原子间的相似性，提高了有雨原子与无雨原子的可分性，同时也提高了稀疏表示性能。与其他字典学习算法相比，本发明的算法更能正确区分高频图像中的有雨分量与无雨分量。最后，将重构的高频无雨图像(图3)与低频图像(图1(d))叠加，得到了不同算法的图像去雨结果。由图4(a)、(b)、(c)可知，Kang等算法虽然去雨较为彻底，但产生较多的人工模糊边缘；Huang等算法去雨后仍然存在一定的有雨分量；本发明算法不仅能有效去除有雨分量，同时能够较好的保持图像背景纹理及其边缘细节，去雨后的图像较为清晰自然，视觉效果更好。

特别说明的是，与以上三种算法不同，Luo等认为有雨图像是由无雨图像和有雨分量按滤色模型非线性叠加而成，并以此模型为基础构建了一个判别性稀疏编码的图像去雨模型。该模型中无雨图像和有雨分量共享同一个字典，通过约束无雨图像和有雨分量的表示系数之间的相干性实现图像去雨，但无法通过稀疏表示系数重构出高频有雨分量与无雨分量。因此，图5(a)～图5(j)给出了Kang等算法、Huang等算法、Luo等算法与本发明算法的去雨效果对比。从细节图(如衣服、背包等同时含有较多纹理及雨线的区域)对比分析可知，如图5(g)所示，Kang等算法去除了背景图像中与雨线相同的部分纹理，去雨后的图像产生了过度平滑现象，其主要原因在于该方法学习的字典重构后的图像不能有效分开雨线与背景区域。如图5(h)所示，Huang等算法去雨后的图像有一定有雨分量的残留，边缘轮廓产生一定的模糊。如图5(i)所示，Luo等算法去雨后的图像虽然清晰，但雨线残留最为严重，原因在于该方法仅通过无雨图像与有雨分量的共享字典重构图像，无法较好的实现这两部分图像的分离。如图5(j)所示，本发明算法去雨后的图像基本无雨线残留，且没有产生过度平滑与人工边缘的现象，具有一定清晰的图像边缘轮廓。与其他算法相比，本发明提出的非相干字典学习模型，保证了有雨分量与无雨分量的可分性，从而具有更好的去雨效果。

为进一步验证本发明方法的有效性，本发明采用四种不同的合成雨图，分别含有不同粗细及方向的雨线。Kang等算法、Huang等算法、Luo等算法与本发明算法的去雨结果如图6(a)～图6(f)所示，由图6(a)～图6(f)可知，本发明提出的去雨算法可实现对不同方向与粗细的雨线的去除。

目前，单幅图像去雨算法缺乏一个标准性的评价指标。针对合成雨图，主要通过对比去雨前后图像之间的相似度来定量评估不同算法的去雨性能。本发明采用峰值信噪比(Peak Signal to Noise ratio，PSNR)与图像结构相似质量指数(Structrual SimilarityIndex Metric，SSIM)。其中，PSNR值越大，则代表图像去雨后失真度越小；而SSIM取值范围为[0，1]，指标值越接近于1，则代表图像去雨前后图像相似度越高，表示去雨算法性能越好；反之，则代表图像去雨前后图像相似度越低，表示去雨算法性能越弱。表1、表2分别给出Kang等、Huang等算法、Luo等算法算法与本发明算法的性能指标的对比效果。

表1给出了四种不同字典学习算法对多个测试图像去雨得到的SSIM值。由表1可知，本发明算法可以获得最高的SSIM值，说明去雨后的图像与标准图像更为相似，并保持了与视觉一致的效果。表2给出了四种不同字典学习算法对多个测试图像去雨得到的PSNR值，由表2可知，Luo等算法在测试图像3、4上获得了较高的PSNR值，但去雨后的图像有较多有雨分量的残留(图6(d))，平均来说，本发明算法具有更高的PSNR值。

表1基于合成雨图不同图像去雨方法的SSIM指标

表2基于合成雨图不同图像去雨方法的PSNR指标

为进一步验证本发明算法的普适性，采用真实雨图对本发明算法的去雨性能进行测试，并与Kang等算法、Huang等算法、Luo等算法进行对比，图7(a)～7(e)给出了基于真实雨图采用不同算法的图像去雨结果。如图7(b)所示Kang等算法去雨后的图像边缘细节出现失真现象，较为模糊；如图7(c)、图7(d)所示，Huang等算法与Luo等算法去雨后的图像包含较多的雨线，去雨不彻底，比较适用于雨量较小的图像；如图7(e)所示，本发明算法去雨更为彻底，且没有明显的人工边缘，纹理信息与边缘细节得到了较好的保持。

表3列出了不同算法进行图像去雨的运行时间。其中，M×N为图像尺寸，每个尺寸的图像取10幅，运行时间对10幅图像的去雨时间取平均值。由表3可以看出，随着图像尺寸增大，与其他算法，Luo等算法时间开销最大，这是由于其算法的复杂度远高于其他三种算法，且通过实验发现，该算法对内存占用度极高。不论图像尺寸大小，本发明算法运行时间均明显优于其他3种方法，在保证去雨质量的同时具有较好的实时性。其关键原因在于本发明提出的非相干字典学习模型，避免了原子间的过度冗余，从而加快了字典学习速度。

表3不同算法的去雨时间对比(单位：秒)

本发明提出一种非相干字典学习及稀疏表示的单幅图像去雨方法。通过引入字典的非相干性，能够降低有雨原子与无雨原子间的相似性，大大提升了聚类时有雨字典与无雨字典的可分性。其次，本发明学习的字典具有类似于紧框架的性质，可以逼近等角紧框架。通过有雨字典与无雨字典对高频图像的稀疏表示，能获得更完整的高频有雨图像与高频无雨图像。实验结果表明，基于本发明学习的非相干字典对测试图像具有较好的稀疏表示性能，去雨后的图像雨线残留较少，边缘细节保持能力较好，同时具有较好的实时性。

Claims (4)

1.一种单幅图像去雨方法，其特征在于，包括以下步骤：

1)将有雨图像分为高频图像和低频图像；

2)获取包括有雨分量与恢复图像的边缘及纹理信息的高频图像

3)将所述高频图像分块，随机取p个图块作为训练样本，基于非相干字典学习模型，得到学习的非相干字典D；

4)提取所述非相干字典原子的HOG特征，对非相干字典原子进行聚类，将非相干字典D分为有雨字典D_r与无雨字典D_n；

5)基于学习非相干字典D对高频图像进行稀疏表示，求得对应有雨字典D_r与无雨字典D_n的稀疏表示系数，将有雨字典D_r对应的稀疏表示系数置0，得到高频图像的有雨分量和无雨分量；

6)将低频图像和高频图像的无雨分量相加，得到去雨后的图像；

非相干字典D的获取过程包括以下步骤：

1)初始化给定的训练样本集，初始化字典D并对字典D的列向量进行归一化，初始化最大迭代次数；

2)求解字典D的稀疏表示系数；

3)设计字典更新目标函数如下：

其中，y_i是第i个训练样本；x_i是样本yi对应的稀疏表示系数；m为字典D的原子个数；n为字典D的维度；I_n是一个n×n的单位矩阵；α是字典相干性的惩罚系数；mim表示最小化目标函数；

4)利用LBFGS方法求解所述字典更新目标函数，得到D’，并对D’的列向量进行归一化处理；

5)将迭代次数加1，判断是否收敛，若是，则输出D’，D*＝D’；否则，返回步骤2)。

2.根据权利要求1所述的单幅图像去雨方法，其特征在于，字典D的稀疏表示系数求解过程包括：

1)定义稀疏编码：

β是稀疏度的惩罚系数；p表示训练样本的个数；

2)设

其中，η＞0表示步长，k表示迭代次数；

是第k次迭代时的x_i 值；Y是由所有的训练样本构造的矩阵，Y＝{y₁,y₂,…y_p}；

3)定义邻近算子

其中

定义了第k次迭代时x_i中每个元素的绝对值；

4)结合步骤2)和步骤3)，求得稀疏表示系数x_i。

3.根据权利要求2所述的单幅图像去雨方法，其特征在于，

4.根据权利要求1所述的单幅图像去雨方法，其特征在于，利用K-means方法对非相干字典原子进行聚类。

Images