CN106504204A - 一种基于稀疏表示的单幅图像去雨方法 - Google Patents

Abstract

本发明涉及一种基于稀疏表示的单幅图像去雨方法，包括：得到原始图像的低频部分和高频部分；对高频部分进行无重叠的分块；并做在线字典学习，得到所对应的由多个子块构成得字典D_HF；利用近邻传播聚类方法将D_HF每个子块分为两类，一类表示高频部分的几何分量信息，另一类表示高频部分中雨分量信息；提取每个子块的颜色分布和边缘方向，对已经形成的高频部分的雨字典的每个子块再做一次分类；恢复高频部分中的雨分量；得到高频部分的几何分量；得到去雨后的图像。本发明具有较好去雨效果。

Description

一种基于稀疏表示的单幅图像去雨方法

技术领域

本发明属于计算机视觉领域，涉及单幅图像去雨方法.

背景技术

近年来，随着计算机科学与技术的飞速发展，室外视觉系统被广泛的应用于交通监控、驾驶辅助系统等领域。但是恶劣天气，例如雨、雪、雾等，会导致拍摄得到的图像对比度降低、图像模糊、细节信息丢失，严重影响了户外视觉系统的性能。其中，雨天作为生活中一种常见的恶劣天气，对雨天中拍摄得到的图像进行去雨等清晰化处理具有重要的现实意义和广泛的应用价值。

根据研究去雨的不同方法，可以把这些方法分为两个方向：基于视频的去雨方法和基于单幅图像的去雨方法。其中，基于视频的去雨方法通常需要大量连续帧的图像信息。

Garg和Nayar[1]-[2]提出了一种基于视频检测和去除雨痕迹的方法。他们通过雨滴的光学特性和时空相关特性检测视频中受雨影响的像素，这种方法需要多帧图像信息并且在检测雨痕迹时很耗时，在大雨情况下检测效果较差。此后，很多研究工作将基于他们提出的方法，并且在视频去雨中取得了较好的结果。

但是，当仅能提供单幅图像时，比如由相机拍摄得到的图片，基于视频的方法就不适用了。相比于视频去雨方法，单幅图像没有多帧图像信息可以利用并且缺少时域信息，使其具有较大的难度。但是日常生活中，我们很多图像都是单幅的，而非一系列视频图像。因此，对基于单幅图像进行去雨研究就显得很有必要且很有实际意义。

Kang等人[3]于2012年首先提出了基于稀疏表示单幅图像的雨水去除方法。首先使用双边滤波器将图像分解为低频(LF)和高频(HF)部分。将高频(HF)部分图像再分为许多小块。然后通过字典学习和稀疏表示将高频部分图像分解成“雨的部分”和“几何部分”。具体过程是通过学习得到一个字典，再通过聚类，将字典分为两类，分别为用于表示“雨的部分”的雨的字典和“几何部分”的几何字典。然后利用这些字典表示高频(HF)图像的各个小块。最后，不同块中用雨字典表示的部分将会被去除，剩余几何部分信息将被保留。虽然这种方法在一定程度上能很好的去除雨的影响，但这种方法的性能很大程度上取决于最终字典学习和聚类的结果。如果字典不能很好的表示雨的部分而导致信息损失，最终的效果会受到一定影响。一些研究[4]表明方向梯度直方图(HOG)特征不能保证分类的准确性，Huang等[5]人又在字典学习中引入情景感知。2014年，Huang等人[6]在发表的文章中又利用相似性传播对指定字典进行无监督聚类。同年，Sun等人[7]提出利用结构相似性的集群字典。但是，上述所提的方法有一些不足之处。第一，单幅图像最终的去雨效果依赖于字典分类的效果，而且大多数情况下，由字典恢复出图像的过程会有较大的残差，从而造成信息的损失，这会严重影响最终的去雨效果。其次，字典聚类的过程采用的特征并没有针对雨本身的特点进行优化，而是采用一些经典的图像特征，比如HOG等。这会造成字典聚类的效果不够好，有些本应该是几何字典的原子被错分进雨字典，导致最终得到的图像丢失了一些细节信息，边缘信息不够明显。因此，需要减小残差并且构造更加合适的特征，以此来提升去雨效果。

参考文献

[1]K.Garg and S.K.Nayar.Detection and removal of rain from videos[C].IEEE International conference on Computer Vision and Pattern Recognition,2004.

[2]K.Garg and S.K.Nayar.When does a camera see rain？[C].IEEEInternational conference on Computer Vision and Pattern Recognition,2005.

[3]L.W.Kang,C.W.Lin andY.H.Fu.Automatic single-image-based rainstreaks removal via image decomposition[J].IEEE Transcations on ImageProcessing,2012,21(4):1742-1755.

[4]N.Dalal and B.Triggs.Histograms of oriented gradients for humandetection.in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,vol.1,pp.886-893,Jun.2005.

[5]D.A.Huang,L.W.Kang,M.C.Yang,C.W.Lin andY.C.F.Wang.Context-awaresingle image rain removal[C].IEEE International Conference on Multimedia andExpo,2012.

[6]D.A.Huang,L.W.Kang,Y.C.F.Wang and C.W.Lin.Self-learning basedimage decomposition with applications to single image denoising[J].IEEETranscations on Multimedia,2014,16(1):83-93.

[7]S.H.Sun,S.P.Fan,Y.C.F.Wang.Exploiting image structural similarityfor single image rain removal[C].IEEE International conference on ImageProcessing,2014.

[8]Luo Y，Xu Y，Ji H.Removing Rain From a Single Image viaDiscriminative Sparse Coding[C]//Proceedings ofthe IEEE InternationalConference on Computer Vision.Santiago，Chile，2015：3397-3405.

发明内容

本发明的目的是提出一种去除单幅图像中雨痕迹的方法，并克服以往方法中的缺点，提出一种具有更好去除雨痕效果的方法，使其具有更好的效果、更强的鲁棒性和更广的适用范围等优点。本发明的技术方案如下：

一种基于稀疏表示的单幅图像去雨方法，包括下列步骤：

步骤1：输入原始图像I；

步骤2：利用双边滤波器得到原始图像的低频部分I_LF和高频部分I_HF；

步骤3：对高频部分I_HF进行无重叠的分块b^k∈Rⁿ,k＝1,2,...,p，然后计算每块的HOG特征值；

步骤4：对I_HF做在线字典学习，得到I_HF对应的字典D_HF，D_HF由多个子块构成，并得到字典学习的稀疏系数；

步骤5：利用近邻传播聚类方法将D_HF每个子块分为两类，一类表示高频部分的几何分量信息，另一类表示高频部分中雨分量信息，形成高频部分的雨字典其中，几何分量具有较复杂的信息，从而子块的几何分量方差应该比雨分量方差大，方差大的一类为几何分量；

步骤6：提取每个子块的颜色分布和边缘方向，对已经形成的高频部分的雨字典的每个子块再做一次分类，使经过步骤5中误分类或遗漏的子块能够被正确地分类；

步骤7：根据步骤4中字典学习的稀疏系数，恢复高频部分I_HF中的雨分量

步骤8：用并进行双边滤波和BM3D平滑，最终的结果作为高频部分的几何分量

步骤9：通过公式得到去雨后的输出图像。

本发明的基于稀疏表示的单幅图像去雨改进方法。首先，利用双边滤波器将原始图像分为高频和低频两个部分。其次，对高频部分进行分块和字典学习，采取合适的特征对字典进行聚类，将子块分为雨的部分和几何部分。最后，将低频部分与几何部分相加，得到最终的输出图像。具有下列的一些有益效果：

1、实现了单幅图像的去雨操作，无需额外的数据用于预训练。

2、不同于传统方法，本专利所提出的方法能避免传统方法字典学习残差较大的缺点，并构建了更合适的特征完善字典聚类的效果。

3、本专利提出的方法想比之前的方法能够更好的保留图像的细节信息。由图3和图4可见，从评价标准和视觉观察两方面来看，本专利方法都具有优越性且有实际应用价值。

附图说明

图1：传统单幅图像去雨方法流程图

图2：本专利单幅图像去雨方法流程图

图3.已有技术与本方法的实验结果比较。(a)加雨的原始图像；(b)清晰的原始图像；(c)低频部分；(d)高频部分；(e)高频部分的雨分量；(f)传统方法高频部分的几何分量；(g)本专利方法高频部分的几何分量；(h)文献[6]方法的去雨结果；(i)文献[8]方法的去雨结果；(j)本专利方法的去雨结果；

图4.已有技术与本方法的实验结果比较。(a)原始有雨图像；(b)文献[6]方法的去雨结果；(c)文献[8]方法的去雨结果；(d)本专利方法的去雨结果；

具体实施方式

下面是本专利提出的具体技术方案。

由之前的方法可见，去雨的性能主要依赖于字典的学习和聚类，因此本专利从字典学习的残差以及雨线特征入手，针对这两部分进行改进，以此来提升单幅图像去雨的效果。

传统单幅图像的去雨方法，主要包含的技术有图像分解、稀疏表示、字典学习，下面分别对这三个技术进行简要介绍。

1、图像分解

图像分解的理论基础是形态学成分分析，它利用数据中不同特征的形态多样性，将其分解，并把每个形态学成分同字典中的原子相结合。假设一幅有N个像素的图像I，它由K个形态学成分构成，可表示为k代表第k个成分，共计K个。为了将图像I分解为K个成分，MCA需要做的是最小化以下能量函数：

其中，θ_k代表第k个成分I_k关于字典D_k的稀疏系数，τ是正则化稀疏。E表示能量函数。

MCA算法通过迭代来求解(1)，最终得到各个成分I_k。主要包括以下两步：

(1)成分I_k固定，更新稀疏系数θ_k：对I_k取块，采用稀疏编码来求解θ_k，I_k不变的情况下，使E(I_k,θ_k)最小。

(2)稀疏系数θ_k固定，更新成分I_k：θ_k不变的情况下，不断更新I_k，使E(I_k,θ_k)最小。

去雨过程中，先用合适的低通滤波器把雨图像的高频部分I_HF提取出来，再将I_HF分为两个形态学成分：雨成分I_HF ^R，代表图像中的雨，是要去除的部分；几何成分I_HF ^G，代表图像自身的纹理，是要保留的部分。

2、稀疏表示

稀疏编码是通过字典中一系列基础信号或原子的复杂线性组合来表示信号的技术。其目的就是在给定的超完备字典中用尽可能少的原子来表示信号，可以获得信号更为简洁的表示方式，从而更容易地获取信号中所蕴含的信息，更方便进一步对信号进行加工处理，如压缩、编码等。

信号稀疏表示的主要任务就是信号的稀疏分解和字典学习。对图像I中的某块I^P，在字典D存在的情况下，可用式(2)求解出其稀疏系数θ^p。

其中，λ是正则化系数。式(2)可通过正交匹配追踪(OMP)算法来求解。

3、字典学习

对图像进行稀疏表示，还需要取块并学习出字典D，用一系列图像块I^P来建立字典。为了进行稀疏表示，字典学习是必要步骤，其过程就是求解如下的优化问题：

其中，θ^p代表图像块I^P在字典D下的稀疏系数，λ是正则化系数。

常用的字典学习算法包括K-SVD算法和在线字典学习。

在去雨过程中，对雨图像的高频部分I_HF做稀疏编码，并采用在线字典学习得到D_HF。对于得到的高频字典D_HF，提取HOG特征，并通过聚类算法分成两类，一类为雨字典D_HF ^R，一类为几何字典D_HF ^G，分别简记为D_R和D_G。然后，采用OMP算法，求雨字典和几何字典各自的稀疏系数，并恢复出图像的雨分量I_HF ^R和几何分量I_HF ^G。

通过对已有的的去雨算法进行实验，发现了其中的不足之处并做出改进，最终获得了更好的效果，以下是本专利的两个创新点：

(1)由D_R通过稀疏编码恢复出I_HF ^R，用I_HF-I_HF ^R作为新的几何分量I_HF ^G ₁，并对I_HF ^G ₁做平滑处理f。最终，将处理后的I_HF-I_HF ^R作为新的几何分量，并把它加回到原来的I_LF中，得到去雨结果。

(2)引入雨的先验特征，颜色分布和雨线方向。若D_R中某个原子二值化后黑色像素点占绝大多数，则可判断为其中雨分量很少，将其归类到几何字典D_G中；若D_R中某个原子的边缘方向与其它原子的边缘方向差距很大，则可以判断出该原子包含的边缘并非雨线，即该原子是误分类的原子，将其归类到几何字典D_G中。

通过以上两点，避免了由字典恢复图像的过程中较大的残差并且构造了更合适的特征，更好地保留图像的信息。

图1所示的是现有方法的流程图，图2所示的是本专利所提出方法的流程图。下面将简述本方法的几个步骤：

第1步：对雨图像I用双边滤波f_b1，得到低频部分I_LF，用I-I_LF得到图像的高频部分I_HF。

第2步：对I_HF取块并进行字典学习得到字典D。

第3步：将字典D分为两类，雨字典D_R1和几何字典D_G1。

第4步：根据雨的先验信息对雨字典D_R1再次分类，将误分进D_R1的原子移除，得到最终的雨字典D_R。

第5步：由雨字典D_R用恢复出高频图像I_HF的雨成分I_HF ^R。

第6步：用I_HF-I_HF ^R得到I_HF ^G ₁，并对I_HF ^G ₁做双边滤波f_b2，并用较弱的BM3D进行去噪处理，得到新的几何分量I_HF ^G。

第7步：将I_HF ^G与I_LF相加，得到最终的去雨结果I^Non-Rain。

总体来讲，本算法的创新点是采用I_HF-I_HF ^R并做去噪来代替传统方法的几何分量I_HF ^G，使其包含的纹理信息更多并通过引入雨本身的先验特征对已分类的字典再次分类，使雨字典D_R更完善，恢复出的I_HF ^R效果更好，最终获得更加理想的去雨结果。

下面是本专利所提出的方法与已有方法的一些性能比较，选取的对比方法是文献[6]和文献[8]中的算法，均是目前最新的单幅图像去雨算法。实验结果证明了本专利所提方法的有效性。

在我们的实验中，首先利用人工合成的图片来评价所提出的方法和现有的方法，如图3。选用的评价指标为：特征相似度(FSIM)。其值介于0和1之间，值越大表示性能越好。

通过下表，我们的方法相比之前的方法具有更高的值。这表示所提出的方法能够更好的恢复原图像。

表1.已有方法与所提出方法的性能比较表

其次，为证明本专利的实际应用价值，选取日常生活中的真实图像，来对我们的方法和现有方法进行比较，如图4。

Claims (1)

1.一种基于稀疏表示的单幅图像去雨方法，包括下列步骤：

步骤1：输入原始图像I；

步骤2：利用双边滤波器得到原始图像的低频部分I_LF和高频部分I_HF；

步骤3：对高频部分I_HF进行无重叠的分块b^k∈Rⁿ,k＝1,2,...,p，然后计算每块的HOG特征值；

步骤4：对I_HF做在线字典学习，得到I_HF对应的字典D_HF，D_HF由多个子块构成，并得到字典学习的稀疏系数；

步骤5：利用近邻传播聚类方法将D_HF每个子块分为两类，一类表示高频部分的几何分量信息，另一类表示高频部分中雨分量信息，形成高频部分的雨字典其中，几何分量具有较复杂的信息，从而子块的几何分量方差应该比雨分量方差大，方差大的一类为几何分量；

步骤6：提取每个子块的颜色分布和边缘方向，对已经形成的高频部分的雨字典的每个子块再做一次分类，使经过步骤5中误分类或遗漏的子块能够被正确地分类；

步骤7：根据步骤4中字典学习的稀疏系数，恢复高频部分I_HF中的雨分量

步骤8：用并进行双边滤波和BM3D平滑，最终的结果作为高频部分的几何分量

步骤9：通过公式得到去雨后的输出图像。