CN109636738B - 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置 - Google Patents

基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置 Download PDF

Info

Publication number
CN109636738B
CN109636738B CN201811330161.1A CN201811330161A CN109636738B CN 109636738 B CN109636738 B CN 109636738B CN 201811330161 A CN201811330161 A CN 201811330161A CN 109636738 B CN109636738 B CN 109636738B
Authority
CN
China
Prior art keywords
rain
double
wavelet transformation
image
rain noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811330161.1A
Other languages
English (en)
Other versions
CN109636738A (zh
Inventor
张鑫
陈伟斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wenzhou Medical University
Original Assignee
Wenzhou Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wenzhou Medical University filed Critical Wenzhou Medical University
Priority to CN201811330161.1A priority Critical patent/CN109636738B/zh
Publication of CN109636738A publication Critical patent/CN109636738A/zh
Application granted granted Critical
Publication of CN109636738B publication Critical patent/CN109636738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置,对含有雨噪声的图像进行小波变换,雨噪声信息通常以不同的分辨率包含在垂直细节分量和近似分量中,从而实现雨噪声分离;然后采用双保真项单变分正则模型对含有雨噪声的分量进行雨噪声抑制处理,数值算法通过增广拉格朗日算法实现,与现有方法不同,该方法考虑了双保真项和单向变分的优点,同时,本发明将提出的模型与小波变换相结合,在进行雨噪声抑制处理时不仅很好地去除了雨噪声,且保留了图像的更多细节。实验表明该方法计算所需时间较短,计算量较小,将该发明提出的去雨方法应用于受雨天气影响下的图像中可以明显提高视觉质量,并能提高后续许多计算机视觉算法的性能。

Description

基于小波变换的双保真项正则模型的单幅图像雨噪声去除方 法与装置
技术领域
本发明涉及图像噪声处理技术领域,特别涉及一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置。
背景技术
随着人工智能技术的飞速发展,户外视觉系统的应用越来越广泛。它在目标识别与跟踪、交通监控、遥感监测、军事监控等领域发挥着重要作用。然而,在恶劣的天气条件下,户外视觉系统的鲁棒性和实用性将受到很大影响。下雨是最常见的动态天气,在成像系统中,雨滴主要以雨条纹的形式显示,这极大地影响图像的视觉效果。因此,研究如何从含有雨噪声的图像中恢复出高质量的图像也具有极大的使用价值。
图像去雨技术的研究主要分为两大类,一类是基于视频的图像去雨研究;另一类是基于单幅图像的图像去雨研究。目前,大多数图像去除雨噪声算法都侧重于视频去噪。视频雨去除算法通常采用时域信息去除雨噪声,但如果相机移动或场景中含有动态信息,时域信息则不可靠。因此,在某些情况下,只能使用单幅图像。基于此,单幅图像雨噪声去除算法研究具有十分广泛的应用价值和重要的研究意义。
针对单幅图像的去雨研究,国内外的方法大致可以分为两类:1)基于模型的去雨方法;2)基于机器学习的去雨方法。单幅图像的去雨方法取得了一些成果,但仍然存在一些问题,主要表现为:1)图像去雨后仍然残留雨痕或者图像去雨后变得较模糊;2)由于图像去雨算法较复杂,使算法的实时性不高。
发明内容
为了得到更好的单幅图像去雨效果同时不增加算法的复杂度,本发明的目的在于提供一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置,能够提高去雨后图像质量,达到理想的实用效果。
本发明采用的技术解决方案是:一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法,所述的方法由以下步骤组成:
(1)小波变换:对含有雨噪声的图像进行小波变换操作,通过小波变换,可以得到一个近似分量和三个细节分量,分别表示为A1,H1,V1,D1,所述的三个细节分量分别为水平、垂直和对角的细节分量,雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中,从而实现雨噪声分离;
(2)构建双保真单变分正则去雨模型:构建该模型的目的是在约束图像水平梯度信息的同时尽可能地保持图像的垂直梯度信息,考虑到雨噪声偶尔偏离垂直方向,在构造能量函数时使用了双保真项,构建模型,如下式所示:
其中,是双保真项。τ和λ是正参数,用来合理平衡三项,A1为近似分量或可为细节分量V1
(3)将近似分量或细节分量A1,V1,分别代入去雨模型,求出去雨模型式中的最小分量,即雨噪声去除后的分量
(4)图像重构:利用小波变换将图像从小波域变换到空域,得到去雨图像。
所述的双保真单变分正则去雨模型通过构建增广拉格朗日方程进行求解:
其中,X,Y,Z是三个等价变量。λxyz代表三个拉格朗日乘子,a1,a2,a3是正罚参数。
所述的增广拉格朗日方程通过ADMM方法优化,该优化问题可以分解为四个子问题,即X,Y,Z;
其中,
并通过以下方式更新拉格朗日乘子,得到雨噪声去除后的分量
一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除装置,所述的装置由小波变换模块、双保真单变分正则去雨模型、图像重构模块组成,
小波变换模块:对含有雨噪声的图像进行小波变换操作,通过小波变换,可以得到一个近似分量和三个细节分量,分别表示为A1,H1,V1,D1,所述的三个细节分量分别为水平、垂直和对角的细节分量,雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中;
双保真单变分正则去雨模型:通过将近似分量和细节分量A1,V1,分别代入去雨模型,求出去雨模型中的最小分量,即雨噪声去除后的分量
图像重构模块:利用小波变换将图像从小波域变换到空域,得到去雨图像。
所述的双保真单变分正则去雨模型如下式所示:
其中,是双保真项。τ和λ是正参数,用来合理平衡三项,A1为近似分量或可为细节分量V1,。
本发明的有益效果是:本发明提供了一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置,对含有雨噪声的图像进行小波变换,因为雨通常自上而下下降,因此雨噪声信息通常以不同的分辨率包含在垂直细节分量和近似分量中,从而实现雨噪声分离;然后采用双保真项单变分正则模型对含有雨噪声的分量进行雨噪声抑制处理,其中数值算法通过增广拉格朗日算法实现,与现有方法不同,该方法考虑了双保真项和单向变分的优点,同时,本发明将提出的模型与小波变换相结合,在进行雨噪声抑制处理时不仅很好地去除了雨噪声,而且保留了图像的更多细节。实验表明该方法计算所需时间较短,计算量较小,将该发明提出的去雨方法应用于受雨天气影响下的图像中可以明显提高视觉质量,并能提高后续许多计算机视觉算法的性能。
附图说明
图1为本发明方法的基本流程图。
图2为本发明小波变换结果图。
图3为使用本发明方法完成雨噪声图像噪声去除的例子;其中(a)为仿真图像数据集中彩色图像雨噪声处理结果;(b)为仿真图像数据集中灰度图像雨噪声处理结果;(c)为真实场景图像雨噪声去除结果。
具体实施方式
为了更清楚地说明本发明内容,用具体实施例说明如下,具体实施例不限定本发明内容范围。
用于实施的硬件环境是:CPU:Intel(R)Core(TM)i7-5820K3.30GHz;显卡:NvidiaTitan X GPU 1G显存;内存:4G;硬盘:希捷500G,运行的软件环境是:MATLAB(R2015b)。
本发明的基本流程如附图1所示,具体实施如下:
1、小波变换:对含有雨噪声的图像进行小波变换操作,通过小波变换,可以得到一个近似分量和三个细节分量,即水平、垂直和对角的细节分量。分别表示为A1,H1,V1,D1。雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中,从而实现雨噪声分离,如附图2所示。
2、构建双保真单变分正则去雨模型:构建该模型的目的是在约束图像水平梯度信息的同时尽可能地保持图像的垂直梯度信息。考虑到雨噪声偶尔偏离垂直方向,在构造能量函数时使用了双保真项,以近似分量为例,构建模型如下式所示:
其中,是双保真项。τ和λ是正参数,用来合理平衡三项。
3、雨噪声抑制处理:采用双保真单变分正则模型对经过小波变换后的垂直细节分量和近似分量进行雨噪声抑制处理。求出(1)式的最小分量,得到近似的分量即雨噪声去除后分量。对于(1)式可以构建增广拉格朗日方程进行求解,如下所示:
其中,X,Y,Z是三个等价变量。λxyz代表三个拉格朗日乘子,a1,a2,a3是正罚参数。采用ADMM方法解决式(2)的优化问题,该优化问题可以分解为四个子问题,即X,Y,Z。
其中,
通过以下方式更新拉格朗日乘子:
类似地,也可以获得去除雨噪声后的垂直细节分量。
4、图像重构:利用小波变换将图像从小波域变换到空域,得到去雨图像。
附图3为使用本发明方法实现的雨噪声图像处理结果图。图3a为仿真图像数据集中彩色图像雨噪声处理结果;图3b为仿真图像数据集中灰度图像雨噪声处理结果;图3c为真实场景图像雨噪声去除结果。
将本发明方法所得到的噪声去除结果与其他去噪方法所得到的的结果进行对比,选用的对比方法为基于混合模型的方法、稀疏表示法、ROF模型法,分别记为方法1、方法2、方法3。评价结果如表1所示,采用峰值信噪比(PSNR)、结构相似度(SSIM)、运行时间(t)对本发明方法进行评价。
表1 性能比较结果
本发明的基本思想在于:首先对含有雨噪声的图像进行小波变换,因为雨通常自上而下下降,因此雨噪声信息通常以不同的分辨率包含在垂直细节分量和近似分量中,从而实现雨噪声分离;然后采用双保真项单变分正则模型对含有雨噪声的分量进行雨噪声抑制处理,其中数值算法通过增广拉格朗日算法实现。
各位技术人员须知:虽然本发明已按照上述具体实施方式做了描述,但是本发明的发明思想并不仅限于此发明,任何运用本发明思想的改装,都将纳入本专利专利权保护范围内。
以上所述仅是本发明的优选实施方式,本发明的保护范围并不仅局限于上述实施例,凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理前提下的若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法,其特征在于,所述的方法由以下步骤组成:
(1)小波变换:对含有雨噪声的图像进行小波变换操作,通过小波变换,可以得到一个近似分量和三个细节分量,分别表示为A1,H1,V1,D1,所述的三个细节分量分别为水平、垂直和对角的细节分量,雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中,从而实现雨噪声分离;
(2)构建双保真单变分正则去雨模型:构建该模型的目的是在约束图像水平梯度信息的同时尽可能地保持图像的垂直梯度信息,考虑到雨噪声偶尔偏离垂直方向,在构造能量函数时使用了双保真项,构建模型,如下式所示:
其中,是双保真项,τ和λ是正参数,用来合理平衡三项,A1为近似分量或可为细节分量V1
(3)将近似分量A1或细节分量V1,分别代入去雨模型,求出去雨模型式中的最小分量,即雨噪声去除后的分量
(4)图像重构:利用小波变换将图像从小波域变换到空域,得到去雨图像。
2.根据权利要求1所述的基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法,其特征在于,所述的双保真单变分正则去雨模型通过构建增广拉格朗日方程进行求解:
其中,X,Y,Z是三个等价变量,λxyz代表三个拉格朗日乘子,a1,a2,a3是正罚参数。
3.根据权利要求2所述的基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法,其特征在于,所述的增广拉格朗日方程通过ADMM方法优化,该优化问题可以分解为四个子问题,即X,Y,Z;
其中,
并通过以下方式更新拉格朗日乘子,得到雨噪声去除后的分量
4.一种基于小波变换的双保真项正则模型的单幅图像雨噪声去除装置,其特征在于,所述的装置由小波变换模块、双保真单变分正则去雨模型、图像重构模块组成,
小波变换模块:对含有雨噪声的图像进行小波变换操作,通过小波变换,可以得到一个近似分量和三个细节分量,分别表示为A1,H1,V1,D1,所述的三个细节分量分别为水平、垂直和对角的细节分量,雨噪声信息以不同的分辨率包含在垂直细节分量和近似分量中;
双保真单变分正则去雨模型:通过将近似分量或细节分量A1,V1,分别代入去雨模型,求出去雨模型中的最小分量,即雨噪声去除后的分量
图像重构模块:利用小波变换将图像从小波域变换到空域,得到去雨图像。
5.根据权利要求4所述的基于小波变换的双保真项正则模型的单幅图像雨噪声去除装置,其特征在于,所述的双保真单变分正则去雨模型如下式所示:
其中,是双保真项,τ和λ是正参数,用来合理平衡三项,A1为近似分量或可为细节分量V1
CN201811330161.1A 2018-11-09 2018-11-09 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置 Active CN109636738B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811330161.1A CN109636738B (zh) 2018-11-09 2018-11-09 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811330161.1A CN109636738B (zh) 2018-11-09 2018-11-09 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置

Publications (2)

Publication Number Publication Date
CN109636738A CN109636738A (zh) 2019-04-16
CN109636738B true CN109636738B (zh) 2019-10-01

Family

ID=66067643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811330161.1A Active CN109636738B (zh) 2018-11-09 2018-11-09 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置

Country Status (1)

Country Link
CN (1) CN109636738B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539889B (zh) * 2020-04-24 2023-05-30 南京理工大学 一种基于多重卷积下确界振荡广义全变分的图像去雨方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188493A (ja) * 2006-01-13 2007-07-26 Seiko Epson Corp 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
CN104112255A (zh) * 2014-06-19 2014-10-22 中国科学院深圳先进技术研究院 单幅图像去雨方法和系统
CN104299214A (zh) * 2014-09-30 2015-01-21 中国科学院深圳先进技术研究院 小雨场景视频数据中雨滴的检测与去除方法和系统
CN105184761A (zh) * 2015-08-28 2015-12-23 中国科学院深圳先进技术研究院 一种基于小波分析的图像去雨方法及系统
CN106530258A (zh) * 2016-11-22 2017-03-22 哈尔滨工业大学 基于高阶全变分正则化的快速迭代磁共振图像重建方法
CN106934778A (zh) * 2017-03-10 2017-07-07 北京工业大学 一种基于小波域结构和非局部分组稀疏的mr图像重建方法
CN107240084A (zh) * 2017-06-14 2017-10-10 湘潭大学 一种单幅图像去雨方法及装置
CN107909548A (zh) * 2017-05-09 2018-04-13 西安交通大学 一种基于噪声建模的视频去雨方法
CN108416723A (zh) * 2018-02-07 2018-08-17 南京理工大学 基于全变分正则化和变量分裂的无透镜成像快速重构方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709877B (zh) * 2016-11-11 2019-10-22 天津大学 一种基于多参数正则优化模型的图像去模糊方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007188493A (ja) * 2006-01-13 2007-07-26 Seiko Epson Corp 動きボケ画像中の動きボケを減らす方法、それぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する方法、動きボケ画像中の動きボケを減らす装置、およびそれぞれが各自のボケ・パラメータを持つ複数の動きボケ画像を用いて動きボケの減らされた画像を生成する装置
CN104112255A (zh) * 2014-06-19 2014-10-22 中国科学院深圳先进技术研究院 单幅图像去雨方法和系统
CN104299214A (zh) * 2014-09-30 2015-01-21 中国科学院深圳先进技术研究院 小雨场景视频数据中雨滴的检测与去除方法和系统
CN105184761A (zh) * 2015-08-28 2015-12-23 中国科学院深圳先进技术研究院 一种基于小波分析的图像去雨方法及系统
CN106530258A (zh) * 2016-11-22 2017-03-22 哈尔滨工业大学 基于高阶全变分正则化的快速迭代磁共振图像重建方法
CN106934778A (zh) * 2017-03-10 2017-07-07 北京工业大学 一种基于小波域结构和非局部分组稀疏的mr图像重建方法
CN107909548A (zh) * 2017-05-09 2018-04-13 西安交通大学 一种基于噪声建模的视频去雨方法
CN107240084A (zh) * 2017-06-14 2017-10-10 湘潭大学 一种单幅图像去雨方法及装置
CN108416723A (zh) * 2018-02-07 2018-08-17 南京理工大学 基于全变分正则化和变量分裂的无透镜成像快速重构方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
LiWei Kang.et.Automatic Single-Image-Based Rain Streaks Removal via Image Decomposition.《IEEE Transacions on Image Processing》.2012,第21卷(第4期),第1742-1755页. *
周俊.基于稀疏表示的单幅图像去雨雪算法.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018,(第5期),第I138-492页. *
庞彦伟等.基于图像分解与字典分类的单幅图像去雨算法.《天津大学学报(自然科学与工程技术版)》.2017,第50卷(第4期),第391-398页. *

Also Published As

Publication number Publication date
CN109636738A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN108090919B (zh) 一种基于超像素光流和自适应学习因子改进的核相关滤波跟踪方法
CN107358623B (zh) 一种基于显著性检测和鲁棒性尺度估计的相关滤波跟踪方法
CN106780576B (zh) 一种面向rgbd数据流的相机位姿估计方法
CN111080675B (zh) 一种基于时空约束相关滤波的目标跟踪方法
CN103258332B (zh) 一种抗光照变化的运动目标的检测方法
CN109685045B (zh) 一种运动目标视频跟踪方法及系统
CN104408742B (zh) 一种基于空间‑时间频谱联合分析的运动目标检测方法
CN108122206A (zh) 一种低照度图像降噪方法及装置
CN110060286B (zh) 一种单目深度估计方法
CN112132058A (zh) 一种基于多层级图像特征精炼学习的头部姿态估计方法及其实现系统、存储介质
CN103984955B (zh) 基于显著性特征和迁移增量学习的多摄像机目标识别方法
CN110675422B (zh) 一种基于广义非凸鲁棒主成分分析的视频前背景分离方法
CN110827320B (zh) 基于时序预测的目标跟踪方法和装置
CN113763427A (zh) 一种基于从粗到精遮挡处理的多目标跟踪方法
Liu et al. Scene background estimation based on temporal median filter with Gaussian filtering
CN109636738B (zh) 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置
Li et al. A full-process optimization-based background subtraction for moving object detection on general-purpose embedded devices
CN111899278B (zh) 基于移动端的无人机图像快速目标跟踪方法
Ding et al. Sparse codes fusion for context enhancement of night video surveillance
CN108460751A (zh) 基于视觉神经的4k超高清图像质量评价方法
CN108573217B (zh) 一种结合局部结构化信息的压缩跟踪方法
Murdock et al. Building dynamic cloud maps from the ground up
CN115953312A (zh) 一种基于单幅图像的联合去雾检测方法、装置及存储介质
CN109087334A (zh) 基于显著语境稀疏表示的目标追踪方法
Shu et al. Real time target tracking scale adaptive based on LBP operator and nonlinear meanshift

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant