CN106971377A - 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 - Google Patents

一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 Download PDF

Info

Publication number
CN106971377A
CN106971377A CN201610705681.0A CN201610705681A CN106971377A CN 106971377 A CN106971377 A CN 106971377A CN 201610705681 A CN201610705681 A CN 201610705681A CN 106971377 A CN106971377 A CN 106971377A
Authority
CN
China
Prior art keywords
rain
low
sparse
dictionary
matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610705681.0A
Other languages
English (en)
Inventor
邓君坪
吴晓良
崔维成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Maritime University
Shanghai Ocean University
Original Assignee
Shanghai Maritime University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Maritime University filed Critical Shanghai Maritime University
Priority to CN201610705681.0A priority Critical patent/CN106971377A/zh
Publication of CN106971377A publication Critical patent/CN106971377A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，具有这样的特征，包括以下步骤：步骤一，输入含雨图像，先将含雨图像分解成8×8的图像小块，取以图像小块中心为原点，4个像素偏移的8个图像小块共同组成输入矩阵，对输入矩阵进行稀疏与低秩矩阵分解，低秩矩阵作为第低频成分，稀疏矩阵作为高频成分；步骤二，将高频成分分为若干互有重叠的高频子块，通过字典学习方法学习出一个字典,再将字典根据HOG特征分成雨部分字典和几何部分字典；步骤三，当得到雨部分字典和几何部分字典后，将高频图像分为若干无重叠的图像子块，每一个图像子块都会被表示成几何成分和雨成分，再将几何成分和雨成分中的几何部分相加，合并成为去雨后的输出图像。

Description

一种基于稀疏与低秩矩阵分解的单幅图像去雨方法
技术领域
本发明涉及计算机视觉领域，特别涉及一种基于稀疏与低秩矩阵分解的单幅图像去雨方法。
背景技术
近年来，随着计算机科学与技术的飞速发展，室外视觉系统被广泛的应用于交通监控、驾驶辅助系统等领域。但是恶劣天气，例如雨、雪、雾等，会导致拍摄得到的图像对比度降低、图像模糊、细节信息丢失，严重影响了户外视觉系统的性能。其中，雨天作为生活中一种常见的恶劣天气，对雨天中拍摄得到的图像进行去雨等清晰化处理具有重要的现实意义和广泛的应用价值。
根据研究去雨的不同方法，可以把这些方法分为两个方向：基于视频的去雨方法和基于单幅图像的去雨方法。其中，基于视频的去雨方法通常需要大量连续帧的图像信息。
Garg和Nayar[1-2]提出了一种基于视频检测和去除雨痕迹的方法。他们通过雨滴的光学特性和时空相关特性检测视频中受雨影响的像素，这种方法需要多帧图像信息并且在检测雨痕迹时很耗时，在大雨情况下检测效果较差。此后，很多研究工作将基于他们提出的方法，并且在视频去雨中取得了较好的结果。
但是，当仅能提供单幅图像时，比如由相机拍摄得到的图片，基于视频的方法就不适用了。相比于视频去雨方法，单幅图像没有多帧图像信息可以利用并且缺少时域信息，使其具有较大的难度。但是日常生活中，我们很多图像都是单幅的，而非一系列视频图像。因此，对基于单幅图像进行去雨研究就显得很有必要且很有实际意义。
Kang等人[3]于2012年首先提出了基于稀疏表示单幅图像的雨水去除方法。首先使用双边滤波器将图像分解为低频(LF)和高频(HF)部分。将高频(HF)部分图像再分为许多小块。然后通过字典学习和稀疏表示将高频部分图像分解成“雨的部分”和“几何部分”。Huang等[4]人又在字典学习中引入情景感知。2014年，Huang等人[5]在发表的文章中又利用相似性传播对指定字典进行无监督聚类。同年，Sun等人[6]提出利用结构相似性的集群字典。但是，上述所提的方法有一些共同的不足之处:第一，单幅图像最终的去雨效果严重依赖字典分类；第二点上述方法都要经过一次滤波，滤波参数的大小直接影响到最后的重建效果，而传统方法往往基于经验，对参数赋予固定值，无法根据图像的具体情况进行调节。因此如何有效的将图像分解成低频与高频成分是有重要意义的。
如图1所示，现有的利用稀疏表示的单幅图像去雨方法，单幅图像去雨的第一步主要采用滤波的方式进行，存在适应性不强等问题。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种鲁棒性强，适用范围广的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法。
本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，具有这样的特征，包括以下步骤：步骤一，输入含雨图像，先将含雨图像分解成8×8的图像小块，取以图像小块中心为原点，4个像素偏移的8个图像小块共同组成输入矩阵，对输入矩阵进行稀疏与低秩矩阵分解，低秩矩阵作为第低频成分，稀疏矩阵作为高频成分；
步骤二，将高频成分分为若干互有重叠的高频子块，通过字典学习方法学习出一个字典,再将字典根据HOG特征分成雨部分字典和几何部分字典；以及
步骤三，当得到雨部分字典和几何部分字典后，将高频图像分为若干无重叠的图像子块，每一个图像子块都会被表示成几何成分和雨成分，再将几何成分和雨成分中的几何部分相加，合并成为去雨后的输出图像。
本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，还具有这样的特征：其中，稀疏与低秩矩阵分解的目标函数为：
D表示一组输入数据，Z表示低秩矩阵，E表示稀疏矩阵。
本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，还具有这样的特征：其中，每一个含雨的高频子块与其周围的高频子块组成输入数据，分解出的低秩矩阵作为低频成分，而稀疏矩阵作为高频成分，在得到高频成分之后，再进行字典学习算法。
本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，还具有这样的特征：其中，HOG的基本思想是，通常局部对象外观和形状可以通过局部强度的梯度来表示，无需精确地知道相应的梯度。
本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，还具有这样的特征：其中，HOG的基本思想是，通常局部对象外观和形状可以通过边缘位置来表示，无需精确地知道相应的边缘位置。
本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，还具有这样的特征：其中，将高频成分分成若干个单元，将每个单元的像素点的局部一维HOG方向叠加，将所有单元的HOG方向值组合，用来表示高频成分的HOG特征。
本发明提供的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，还具有这样的特征：其中，将高频成分分成若干个单元，将每个单元的像素点的边缘方向值叠加，将所有单元的HOG方向值组合，用来表示高频成分的HOG特征。
发明作用和效果
根据本发明所涉及一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，实现了单幅图像的去雨操作，无需额外的数据用于预训练；整个过程实现了自动化处理，无需人工干预；本专利提出的方法想比之前的方法能够更好的保留图像的细节信息。而且具有很好的延展性。
附图说明
图1是现有的利用稀疏表示的单幅图像去雨方法的流程图；
图2是本发明在实施例中的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法的流程图；以及
图3显示了在通过滤波以后重建图像与通过稀疏与低秩矩阵分解的结果。
具体实施方式
以下参照附图及实施例对本发明所涉及的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法作详细的描述。
实施例
图2是本发明在实施例中的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法的流程图。
如图2所示，一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，具有以下步骤：
步骤一：给定输入含雨图像I，先将含雨图像分解成8×8的图像小块，对于任意一个图像小块而言，再取以图像小块中心为原点，4个像素偏移的8个图像小块共同组成输入矩阵，对输入矩阵进行稀疏与低秩矩阵分解，然后每个原始小块在低秩矩阵中对应的部分相当于第低频成分，稀疏矩阵中对应的部分相当于高频成分，进入步骤二。
稀疏与低秩矩阵分解的主要目的在于将给定的目标分解成一个稀疏矩阵和一个低秩矩阵。低秩矩阵只要保留目标间的相似成分，稀疏矩阵主要表示目标间的差异部分。
其中，稀疏与低秩矩阵分解的目标函数为：
D表示一组输入数据，Z表示低秩矩阵，E表示稀疏矩阵。每一个含雨的高频子块与其周围的高频子块组成输入数据，分解出的低秩矩阵作为低频成分，而稀疏矩阵作为高频成分，在得到高频成分之后，再进行字典学习算法。
步骤二，得到的含雨图像的高频成分后，先将高频成分分为若干互有重叠的高频子块。然后通过字典学习方法学习出一个字典,再将字典根据HOG特征分成雨部分字典和几何部分字典，进入步骤三。
其中，HOG的基本思想是，通常局部对象外观和形状可以通过局部强度的梯度或边缘位置来表示，无需精确地知道相应的梯度或边缘位置。将高频成分分成若干个单元，将每个单元的像素点的局部一维HOG方向叠加，将所有单元的HOG方向或边缘方向值组合，用来表示高频成分的HOG特征。
步骤三，当得到雨部分字典和几何部分字典后，将高频图像分为若干无重叠的图像子块，每一个图像子块都会被表示成几何成分和雨成分，再将几何成分和雨成分中的几何部分相加，合并成为去雨后的输出图像。
下面是本专利所提出的方法与已有方法的一些性能比较。实验结果证明了本专利所提方法的有效性。
在我们的实验中，我们利用人工合成的图片来评价所提出的方法和现有的方法。在這里我们只比较了仅通过滤波和稀疏与低秩矩阵分解的结果，并未加字典学习部分。
如图3所述，(a)是原始图像；(b)是滤波的结果；(c)是稀疏与低秩矩阵分解的结果。图3显示了在通过滤波以后重建图像与通过稀疏与低秩矩阵分解的结果，我们可以看出，通过稀疏与低秩矩阵分解得到的结果更加清晰。选用的评价指标为：特征相似度(FSIM)，相似度(SIM)。这些方法的值介于0和1之间，值越大表示性能越好。通过下表，我们的方法相比之前的方法具有更高的值。这表示所提出的方法能够更好的恢复原图像。
FSIM SR_SIM
滤波 0.965 0.956
稀疏与低秩矩阵分解 0.988 0.974
表1.已有方法与所提出方法的性能比较表
实施例的作用与效果
根据本实施例所涉及一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，实现了单幅图像的去雨操作，无需额外的数据用于预训练；整个过程实现了自动化处理，无需人工干预；本专利提出的方法想比之前的方法能够更好的保留图像的细节信息。而且具有很好的延展性。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (7)

1.一种基于稀疏与低秩矩阵分解的单幅图像去雨方法,其特征在于，包括以下步骤：
步骤一，输入含雨图像，先将所述含雨图像分解成8×8的图像小块，取以所述图像小块中心为原点，4个像素偏移的8个所述图像小块共同组成输入矩阵，对所述输入矩阵进行稀疏与低秩矩阵分解，低秩矩阵作为第低频成分，稀疏矩阵作为高频成分；
步骤二，将所述高频成分分为若干互有重叠的高频子块，通过字典学习方法学习出一个字典,再将所述字典根据HOG特征分成雨字典和几何部分字典；以及
步骤三，当得到所述雨字典和所述几何部分字典后，将高频图像分为若干无重叠的图像子块，每一个所述图像子块都会被表示成几何成分和雨成分，再将所述几何成分和所述雨成分中的几何部分相加，合并成为去雨后的输出图像。
2.根据权利要求1所述的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，其特征在于：
其中，所述稀疏与低秩矩阵分解的目标函数为：
m i n Z , E | | Z | | * + λ | | E | | 0 , s . t . D = Z + E ,
D表示一组输入数据，
Z表示低秩矩阵，
E表示稀疏矩阵。
3.根据权利要求2所述的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，其特征在于：
其中，每一个含雨的所述高频子块与其周围的所述高频子块组成输入数据，分解出的所述低秩矩阵作为所述低频成分，而稀疏矩阵作为所述高频成分，在得到所述高频成分之后，再进行所述字典学习算法。
4.根据权利要求1所述的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，其特征在于：
其中，HOG的基本思想是，通常局部对象外观和形状可以通过局部强度的梯度来表示，无需精确地知道相应的所述梯度。
5.根据权利要求1所述的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，其特征在于：
其中，HOG的基本思想是，通常局部对象外观和形状可以通过边缘位置来表示，无需精确地知道相应的所述边缘位置。
6.根据权利要求4所述的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，其特征在于：
其中，将所述高频成分分成若干个单元，将每个所述单元的像素点的局部一维HOG方向叠加，将所有所述单元的HOG方向值组合，用来表示所述高频成分的所述HOG特征。
7.根据权利要求5所述的一种基于稀疏与低秩矩阵分解的单幅图像去雨方法，其特征在于：
其中，将所述高频成分分成若干个单元，将每个所述单元的像素点的边缘方向值叠加，将所有所述单元的HOG方向值组合，用来表示所述高频成分的所述HOG特征。
CN201610705681.0A 2016-08-22 2016-08-22 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法 Pending CN106971377A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610705681.0A CN106971377A (zh) 2016-08-22 2016-08-22 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610705681.0A CN106971377A (zh) 2016-08-22 2016-08-22 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法

Publications (1)

Publication Number Publication Date
CN106971377A true CN106971377A (zh) 2017-07-21

Family

ID=59334711

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610705681.0A Pending CN106971377A (zh) 2016-08-22 2016-08-22 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法

Country Status (1)

Country Link
CN (1) CN106971377A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110146853A (zh) * 2019-06-03 2019-08-20 浙江大学 一种飞行器旋翼微动特征提取方法
CN110264434A (zh) * 2019-05-20 2019-09-20 广东工业大学 一种基于低秩矩阵补全的单幅图像去雨方法
CN110570376A (zh) * 2019-09-10 2019-12-13 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN111210394A (zh) * 2020-01-03 2020-05-29 北京智云视图科技有限公司 一种基于深度分解合成网络的图像增强技术
CN113902931A (zh) * 2021-09-17 2022-01-07 淮阴工学院 基于学习型卷积稀疏编码的图像去雨方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337061A (zh) * 2013-07-18 2013-10-02 厦门大学 一种基于多次引导滤波的图像去雨雪方法
CN104112255A (zh) * 2014-06-19 2014-10-22 中国科学院深圳先进技术研究院 单幅图像去雨方法和系统
CN105303530A (zh) * 2015-09-30 2016-02-03 天津大学 基于低秩稀疏矩阵分解的织物图像摩尔纹消除方法
CN105678788A (zh) * 2016-02-19 2016-06-15 中原工学院 一种基于hog和低秩分解的织物疵点检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337061A (zh) * 2013-07-18 2013-10-02 厦门大学 一种基于多次引导滤波的图像去雨雪方法
CN104112255A (zh) * 2014-06-19 2014-10-22 中国科学院深圳先进技术研究院 单幅图像去雨方法和系统
CN105303530A (zh) * 2015-09-30 2016-02-03 天津大学 基于低秩稀疏矩阵分解的织物图像摩尔纹消除方法
CN105678788A (zh) * 2016-02-19 2016-06-15 中原工学院 一种基于hog和低秩分解的织物疵点检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LI-WEI KANG等: "Automatic Single-Image-Based Rain Streaks", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264434A (zh) * 2019-05-20 2019-09-20 广东工业大学 一种基于低秩矩阵补全的单幅图像去雨方法
CN110264434B (zh) * 2019-05-20 2022-12-30 广东工业大学 一种基于低秩矩阵补全的单幅图像去雨方法
CN110146853A (zh) * 2019-06-03 2019-08-20 浙江大学 一种飞行器旋翼微动特征提取方法
CN110570376A (zh) * 2019-09-10 2019-12-13 广州工程技术职业学院 一种图像去雨方法、装置、设备和计算机可读存储介质
CN111210394A (zh) * 2020-01-03 2020-05-29 北京智云视图科技有限公司 一种基于深度分解合成网络的图像增强技术
CN113902931A (zh) * 2021-09-17 2022-01-07 淮阴工学院 基于学习型卷积稀疏编码的图像去雨方法
CN113902931B (zh) * 2021-09-17 2022-07-12 淮阴工学院 基于学习型卷积稀疏编码的图像去雨方法

Similar Documents

Publication Publication Date Title
CN106971377A (zh) 一种基于稀疏与低秩矩阵分解的单幅图像去雨方法
CN107240084B (zh) 一种单幅图像去雨方法及装置
CN103578119B (zh) 基于超像素的Codebook动态场景中目标检测方法
CN107220611B (zh) 一种基于深度神经网络的空时特征提取方法
US20150178899A1 (en) Non-local mean-based video denoising method and apparatus
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN106971378A (zh) 一种基于深度去噪自编码器的单幅图像去雨方法
CN103049888A (zh) 基于暗原色结合大气散射光的图像/视频去雾方法
CN110503613A (zh) 基于级联空洞卷积神经网络的面向单幅图像去雨方法
CN110310238B (zh) 一种基于重用原始信息的压缩奖惩神经网络的单幅图像去雨方法
CN110751612A (zh) 多通道多尺度卷积神经网络的单幅图像去雨方法
CN109102475B (zh) 一种图像去雨方法及装置
CN104966054B (zh) 无人机可见光图像中的弱小目标检测方法
CN105023256A (zh) 一种图像去雾方法及系统
CN105046664A (zh) 一种基于自适应epll算法的图像去噪方法
CN106251315A (zh) 一种基于全变分的图像去噪方法
CN106504204A (zh) 一种基于稀疏表示的单幅图像去雨方法
CN105913392A (zh) 复杂环境下退化图像综合质量提升方法
CN110288535B (zh) 一种图像去雨方法和装置
CN108875645B (zh) 一种煤矿井下复杂光照条件下的人脸识别方法
CN109064419A (zh) 一种基于wls滤波和多尺度稀疏表达的单幅图像去雨方法
CN104112138A (zh) 物体颜色分类方法及装置
CN105701783A (zh) 一种基于环境光模型的单幅图像去雾方法及装置
CN112115871B (zh) 适用于行人目标检测的高低频交织边缘特征增强方法
CN107481211B (zh) 一种基于梯度域融合的夜间交通监控增强方法

Legal Events

Date Code Title Description
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170721