CN111539889B - 一种基于多重卷积下确界振荡广义全变分的图像去雨方法 - Google Patents

一种基于多重卷积下确界振荡广义全变分的图像去雨方法 Download PDF

Info

Publication number
CN111539889B
CN111539889B CN202010332386.1A CN202010332386A CN111539889B CN 111539889 B CN111539889 B CN 111539889B CN 202010332386 A CN202010332386 A CN 202010332386A CN 111539889 B CN111539889 B CN 111539889B
Authority
CN
China
Prior art keywords
rain
image
model
generalized
variation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010332386.1A
Other languages
English (en)
Other versions
CN111539889A (zh
Inventor
刘海蓉
谷亚楠
杨孝平
高益铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202010332386.1A priority Critical patent/CN111539889B/zh
Publication of CN111539889A publication Critical patent/CN111539889A/zh
Application granted granted Critical
Publication of CN111539889B publication Critical patent/CN111539889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多重卷积下确界振荡广义全变分的图像去雨的新方法，包括以下步骤：(1)输入待去除雨水的雨图像；(2)利用多重卷积下确界振荡广义变分正则项来表征多方向的雨纹，利用广义变分来正则化无雨图像背景，建立单幅雨图像去除雨水的高阶变分模型；(3)将高阶变分模型转化为等价的鞍点问题，并采用原始对偶算法求解该鞍点问题，得到去除雨水后的复原图像。本发明能够针对不同的场景设计不同方向强度的雨线条纹层先验，处理各种真实复杂场景的雨图并得到很好的视觉效果。

Description

一种基于多重卷积下确界振荡广义全变分的图像去雨方法
技术领域
本发明属于图像处理技术领域，具体涉及一种图像去雨的方法。
背景技术
恶劣的天气条件会降低图像的视觉质量，并且改变图像真实的内容和颜色。在有雨的场景下，雨纹会导致图像处理和计算机视觉在应用上的失败，例如目标检测、跟踪、识别以及监视[1]。因此，去除有雨图像中的雨纹是各个领域的重要任务。
在过去的几十年里，许多研究人员致力于改善雨天图像的视觉质量。
最常用的描述雨图像的模型是：O＝B+R，其中B∈Rd是无雨的背景图，R∈Rd是雨条纹图层，O∈Rd是我们观察到的雨图像。
在此基础上，将去雨看作是一个信号分离问题，即给定图像O，去除雨纹就是根据无雨图层和雨纹的不同特征来估计背景B和雨纹R。为解决这个问题，就需要很多基于对有雨的自然图像的观察所得到的先验知识。
一般将单幅图像的去雨看作为一个雨纹层与背景层(无雨图像)的信号分离问题，该问题是基于这两个图层的纹理表现模式来建模的。我们经常用特定的正则化方法来建立一个变分问题。但由于雨纹的特征非常复杂，在真实的雨景中很难获得它的先验信息。Kang等人[2]使用的是基于MCA和稀疏编码的词典学习来将雨纹从高频信息中分离出来，然而，仅学习图像的高频信息通常会导致图像细节的丢失。Chen等人在文献[3]中不仅考虑了背景层的光滑性，还考虑了雨纹层的纹理模式，但其目标函数的约束条件不够强。Luo等人[4]采用有区别的稀疏编码来保护图像的背景信息。Li等人[5]利用高斯混合模型(GMM)先验来去除不同方向和尺度的雨纹，然而他们的方法容易导致图像的过度光滑。为了解决这一问题，Zhu等人在文献[6]中提出了一种联合双层优化方法，逐步将雨纹从背景细节中分离出来。Deng等人[7]利用了雨纹的方向特性。文献[8]和[9]中构造了一个以图像细节层为输入并预测负残差的深度网络。文献[10]也提出了一种用深度网络来去除暴雨的方法，该网络联合了检测雨纹和去除雨纹任务，来提高雨景的能见度。文献[11]提出了一种新的密度感知多路密集卷积神经网络(MDCNN)，用于雨纹密度估计和雨纹去除。文献[12]单向全变差(UTV)随然先验刻画了雨条纹层的方向特征，但是该模型只利用了一个方向的信息。
引用的参考文献如下：
[1]Wang Y,Liu S,Chen C,et al.A Hierarchical Approach for Rain or SnowRemoving in A Single Color Image[J].IEEE Transactions on Image Processing,2017,(99):1–1.
[2]Kang L W,Lin C W,Fu Y H.Automatic single-image-based rain streaksremoval via image decomposition[J].IEEE transactions on image processing,2011,21(4):1742–1755.
[3]Chen Y L,Hsu C T.A Generalized Low-Rank Appearance Model forSpatiotemporally Correlated Rain Streaks[C],Sydney,NSW,Australia:IEEE,2013:1968–1975.
[4]Luo Y,Xu Y,Ji H.Removing rain from a single image viadiscriminative sparse coding[C],Proceedings of the IEEE InternationalConference on Computer Vision.Santiago,Chile:IEEE,2015:3397–3405.
[5]Li Y,Tan R T,Guo X,et al.Rain streak removal using layer priors[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.Las Vegas,NV,USA:IEEE,2016:2736–2744.
[6]Zhu L,Fu C W,Lischinski D,et al.Joint bi-layer optimization forsingle-image rain streak removal[C],Proceedings of the IEEE internationalconference on computer vision.Venice,Italy:IEEE,2017:2526–2534.
[7]Deng L J,Huang T Z,Zhao X L,et al.A directional global sparsemodel for single image rain removal[J],Applied Mathematical Modelling,2018,59.
[8]Fu X,Huang J,Ding X,et al.Clearing the Skies:A Deep NetworkArchitecture for Single-Image Rain Removal[J].IEEE Transactions on ImageProcessing,2016,PP.
[9]Fu X,Huang J,Zeng D,et al.Removing Rain from Single Images via aDeep Detail Network[C]，IEEE Conference on Computer Vision and PatternRecognition.Honolulu,HI,USA:IEEE,2017.
[10]Yang W,Tan R T,Feng J,et al.Deep Joint Rain Detection and RemovalFrom a Single Image[C],The IEEE Conference on Computer Vision and PatternRecognition(CVPR).Honolulu,HI,USA:IEEE,2017.
[11]He Z,Patel V M.Density-aware Single Image De-raining using aMulti-stream Dense Network[J].2018.
[12]Liang-Jian Deng,Ting-Zhu Huang,Xi-Le Zhao,and Tai-Xiang Jiang.Adirectional global sparse model for single image rain removal.AppliedMathematical Modelling,59,03 2018.
以上文献对于改善雨天图像的视觉质量取得了相应的成果和进步。但是，上述方法中没有综合考虑雨线条纹的方向，强度等性质，一般不适用于复杂的真实雨场景的图像去除雨水。
发明内容
发明目的：针对现有技术的缺陷和不足，本发明提出一种基于多重卷积下确界振荡广义全变分的图像去雨的新方法，可以有效地去除真实场景中的多方向雨纹。
技术方案：本发明提出了一种基于多重卷积下确界振荡广义全变分的图像去雨方法，包括以下步骤：
(1)输入待去除雨水的雨图像；
(2)利用多重卷积下确界振荡广义变分(Infinal convolution of oscillationtotal generalized variation，简记为ICTGVosci)正则项来表征多方向的雨纹，利用广义变分(total generalized variation，简记为TGV)来正则化无雨图像背景，建立单幅雨图像去除雨水的高阶变分模型；
(3)将高阶变分模型转化为等价的鞍点问题，并采用原始对偶算法求解该鞍点问题，得到去除雨水后的复原图像。
其中，所述步骤(2)中图像去雨高阶变分模型记为：
Figure BDA0002465428130000031
式中
Figure BDA0002465428130000032
是范数，
Figure BDA0002465428130000033
是关于输入图像和复原图像之间的保真项，O表示输入的雨图像，B表示无雨背景图层，R表示雨条纹图层，
Figure BDA0002465428130000034
为关于B的正则化约束，TGV2表示二阶广义变分模型，γ是固定参数，
Figure BDA0002465428130000035
为关于R的正则化约束，ICTGVosci表示多重卷积下确界振荡广义全变分模型，
Figure BDA0002465428130000036
是向量形式的权重，
Figure BDA0002465428130000037
为向量形式的纹理方向。
进一步地，所述二阶广义变分模型定义如下：
Figure BDA0002465428130000038
式中u∈L1(Ω)，L1(Ω)表示可积空间，Sym2(Rd)表示Rd上的2阶对称张量空间，γi是固定正参数，
Figure BDA00024654281300000411
表示区域Ω上具有紧支撑的连续可微函数空间，||·||∞表示最大模范数，div v表示v的散度。
进一步地，所述多重卷积下确界振荡广义全变分模型定义如下：
Figure BDA0002465428130000041
式中m表示m重卷积，inf表示下确界，TGVosci表示振荡广义全变差，其定义为：
Figure BDA0002465428130000042
其中u∈L1(Ω)，L1(Ω)表示可积空间，权重参数α,β＞0，BD(Ω)表示向量场的有界形变空间，算子▽定义为弱导数，E为对称弱导数且
Figure BDA0002465428130000043
||·||M表示Radon范数，c∈Rd×d，且cu对应于矩阵域的(cu)ij＝ciju,i,j＝1,…,d；则
Figure BDA0002465428130000044
是向量形式的权重，向量元素均为正，
Figure BDA0002465428130000045
进一步地，所述步骤(2)还包括：将雨纹层R看成多个方向的雨纹Ri的合成，将建立的单幅雨图像去除雨水的高阶变分模型(*)转换为如下形式的变分模型：
Figure BDA0002465428130000046
式中||·||1是L1范数,μi为权重参数，μ1,…,μm≥0。
进一步地，所述步骤(3)将高阶变分模型转化为等价的鞍点问题包括：
将区域
Figure BDA00024654281300000412
离散成单位长度的长方形网格Ω＝{(i,j):1≤i≤N1,1≤j≤N2}，N1、N2分别表示该长方形网格水平方向和垂直方向的网格节点数，引入向量函数空间U＝{u:Ω→R}，记V＝U×U,W＝U×U×U；
由约束条件
Figure BDA0002465428130000047
得到离散化的
Figure BDA0002465428130000048
Figure BDA0002465428130000049
利用指标函数得到：
Figure BDA00024654281300000410
同样地，得到：
Figure BDA0002465428130000051
将步骤(2)的变分模型(**)转化为如下的鞍点问题：
Figure BDA0002465428130000052
λ为预先指定的参数，||·||∞表示张量意义下的∞-范数，I表示单位矩阵，q2,i、p2,i表示对偶变量，是在原始对偶算法中求解的。
有益效果：本发明的去雨水变分模型的建立是基于雨纹层的多重卷积下确界振荡广义全变分(ICTGVosci)先验和背景层的广义全变分(TGV)先验，利用ICTGVosci达到可以处理多方向的雨纹的目的。与传统的方法相比，本发明的多重卷积下确界振荡广义全变分模型，可以针对不同的场景设计不同方向强度的雨线条纹层先验，处理各种复杂场景的雨图并得到很好的视觉效果。
附图说明
图1为本发明的图像去雨方法整体流程图；
图2为本发明与现有技术在多方向合成雨图像的实验去雨的效果的比较示意图；
图3为图2的局部放大图；
图4为本发明与现有技术在四幅自然带雨水的图像去雨的效果的比较示意图；
图5为图4的局部放大图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步的详细描述。
本发明利用多重卷积下确界振荡广义全变分来正则化多方向雨条纹层，得到在保真的前提下去除图像中雨水的目的。如图1所示，发明的一种基于多重卷积下确界振荡广义全变分的图像去雨方法，包括以下步骤：
(1)输入待去除雨的图像，表示为：O＝B+R，其中B∈Rd是无雨的背景图，R∈Rd是雨条纹图层，O∈Rd是输入的雨图像，Rd表示d维实数空间，在本发明中d＝2；
(2)定义二阶广义全变分(TGV)：
Figure BDA0002465428130000061
其中u∈L1(Ω)，L1(Ω)表示可积空间，Sym2(Rd)是Rd上的2阶对称张量空间，γi是固定正参数，
Figure BDA0002465428130000062
表示Ω上具有紧支撑的连续可微函数空间。采用广义全变差(TGV)作为正则化项对背景图层进行约束，使得原本有雨纹存在的无雨背景层得到了恢复，并减少了阶梯效应。
(3)定义多重卷积下确界振荡广义全变分(ICTGVosci)：
首先定义振荡广义全变差(oscillation TGV)如下：
Figure BDA0002465428130000063
其中u∈L1(Ω)，α,β＞0，BD(Ω)表示向量场的有界形变空间，算子▽定义为弱导数，E为对称弱导数且
Figure BDA0002465428130000064
||·||M表示Radon范数。另外，c∈Rd×d，且cu对应于矩阵域的(cu)ij＝ciju,i,j＝1,…,d。
针对具有多尺度和多方向振荡纹理的图像，本发明定义m重卷积下确界oscillation TGV(ICTGVosci)为：
Figure BDA0002465428130000065
其中
Figure BDA0002465428130000066
是向量形式的权重，元素都是正的，
Figure BDA0002465428130000067
Figure BDA0002465428130000068
向量中的每个分量都对应一个纹理方向，ui表示u的分量。这样的正则项可以检测出多个方向的纹理特征，这对于现实中大雨或者暴雨场景是非常合适的，因为在这些场景中往往会出现多方向雨纹。
(4)在步骤(2)、(3)的基础上建立单幅雨图像去除雨水的高阶变分模型如下：
Figure BDA0002465428130000069
其中
Figure BDA00024654281300000610
是范数，
Figure BDA00024654281300000611
是关于输入图像和复原图像之间的保真项，前两项分别是关于B，R上的正则化约束。
为了得到所提模型最优解的存在性，将雨纹层R看成多个方向的雨纹Ri的合成，将变分问题(*)转换成如下问题：
Figure BDA0002465428130000071
其中||·||1是L1范数,μi表示权重参数，μ1,…,μm≥0。
(5)将步骤(4)的变分模型转化为鞍点问题，详细过程如下：
首先，将区域
Figure BDA00024654281300000713
离散成单位长度的长方形网格Ω＝{(i,j):1≤i≤N1,1≤j≤N2}，N1、N2分别表示该长方形网格水平方向和垂直方向的网格节点数。引入向量函数空间U＝{u:Ω→R}，记V＝U×U,W＝U×U×U。
根据TGV定义中的散度算子，由于在原始对偶算法中引入了中间变量，因此可以将中间变量作为约束条件加入到优化算法中去。由约束条件
Figure BDA0002465428130000072
可以得到离散化的
Figure BDA0002465428130000073
Figure BDA0002465428130000074
利用指标函数得到
Figure BDA0002465428130000075
为：
Figure BDA0002465428130000076
v是V中的元素，对应测试函数test function。
类似地，得到离散化的
Figure BDA0002465428130000077
Figure BDA0002465428130000078
Figure BDA0002465428130000079
这里，
Figure BDA00024654281300000710
Figure BDA00024654281300000711
Figure BDA00024654281300000712
利用指标函数得到：
Figure BDA0002465428130000081
其中的指标函数定义如下：
Figure BDA0002465428130000082
D表示一个给定的集合。
将步骤(4)的变分模型转化为如下的鞍点问题：
Figure BDA0002465428130000083
式中，λ是提前指定好的参数，I为单位矩阵。q2,i、p2,i是对偶变量，是在下面算法中求解的。
(6)采用原始对偶算法求解步骤(5)的鞍点问题，详细过程如下：
初始化：
Figure BDA0002465428130000084
按照如下步骤完成一个迭代过程：
对于n＝0，作
Figure BDA0002465428130000085
对于i＝1,…,m，作
Figure BDA0002465428130000086
Figure BDA0002465428130000087
对于i＝1,…,m，作
Figure BDA0002465428130000088
Figure BDA0002465428130000089
Figure BDA0002465428130000091
对于i＝1,…,m，作
Figure BDA0002465428130000092
一个完整的迭代过程结束。其中σ、τ表示步长参数，n表示迭代轮次。
上述迭代中的投影算子Pr和Shrink算子分别定义为：
Figure BDA0002465428130000093
η表示投影算子和Shrink算子中的常用参数。
以上描述了本发明所提的一种基于多重卷积下确界振荡广义全变分的图像去雨方法的详细实现步骤，为了更清楚地了解本发明的优点，下面分别针对合成雨图像和自然雨图像进行实验，并与目前文献里其他的方法去除雨水的结果进行对比说明。对比的试验分别是：(1)2015年的DSC模型[4]，(2)2016年的用GMM作为正则化项的LP模型[5]，(3)2016年的Derain Net模型[8]，(4)2018年的UGSM模型[7]，(5)2017年的JORDER模型[10]。
其中方法(1)、(2)是目前最广泛应用的变分方法，用到了字典学习的方法，(4)UGSM模型是单向TV的方法，(3)和(5)是深度学习的方法。
以下实验是在Intel 2.50GHz、8gb的RAM的PC上实现的，软件是MATLAB R2015b。在所有的实验中，为了使实验有最佳视觉效果，选择α＝0.009，β＝0.01，γ＝0.008作为本发明模型的参数。对于其他拿来做比较的模型，使用他们相应的论文(或程序)中给出的参数范围，并选择使结果有最佳的视觉效果的参数值。
实例1：多方向合成雨图像的实验对比及主客观质量评价
如图2中所示，本实例对四种不同场景的图像分别加不同方向的雨线条纹，第一列是干净图像，第二列是合成的多方向雨图，雨的方向不同强度也不同。第三列是DSC模型[4]，第四列是GMM作为正则化项的LP模型[5]，第五列是Derain Net模型[8]，第六列是UGSM模型[7]，第七列是JORDER模型[10]，最后一列是本发明的模型。
首先看第一幅图2-(1)“umbrella”，DSC模型，LP模型和UGSM模型的结果没有完成去雨的任务，图像中还保留了大量的雨线条纹。Derain Net模型的结果清晰度很高，对比度很强，但是放大图像就可以看到它的雨线条纹也没有处理干净的，仍然留有肉眼可见的雨线痕迹，并且图像过度锐化，导致失真，同样影响了视觉效果，这是恢复图像所不想要的结果。而JORDER方法和本发明的方法将雨线基本处理干净，从右上角黑色部分可以看到，前面几种方法在这个黑色部分都残留有雨线条纹。由于JORDER方法是新发表的深度学习的方法，它的去雨结果毋庸置疑非常好，但是在某些细节部分会出现扭曲或伪色带。这点可以在局部放大图和其余的例子中看到。而本发明使用的是变分的方法，恢复图像的清晰度还有待提高，但是在去雨和保真方面它的效果是很好的，这点可以从后面客观质量评价指标看出。
再看第二幅图2-(2)“boat”，同样的，DSC模型，Derain Net模型和UGSM模型的结果都还残留雨线条纹，而LP模型虽然将雨线条纹去除干净，保留了图像本身结构信息，但是将所有的雨线磨平，使整幅图仿佛产生了一层水气。JORDER的去雨结果依然很好，去雨干净，清晰度高，但是它在船桅杆顶端的部分出现黑色伪影，从局部放大图中看的更清晰一些。本发明模型的处理结果还残留了一些雨线痕迹，这与图像中有大量水面波纹结构有关。这点在第四幅图2-(4)“river”中得到了印证，虽然关于这幅图的结果，所有的方法几乎都失效了。从背景黑色部分可以看到前面几种方法的雨线都没有被去除，只有JORDER模型和本发明的方法做到了。但是依然是在湖面大量波纹的地方，本发明的效果不如JORDER，这与我们模型中有条纹提取的先验项有关。
第三幅图2-(3)“deer”可以看出，DSC模型，LP模型和UGSM模型的结果没有完成去雨的任务；Derain Net的结果和UGSM的结果中的雨线同样没有去除。JORDER模型关于图“deer”处理结果中的背景稍微偏暗。
图3是图2的局部放大。DSC模型在这四幅图的结果都没有完成去雨任务。LP模型处理的所有结果都将雨线条纹进行了磨光处理，但是都还残留很明显的雨线痕迹；只有图“boat”的结果保留了原本图像结构信息，附带产物就是整张图像蒙了一层水气，这对于原始干净图像来说也是一种噪声，即使它并不影响整张图的结构信息。从放大图像就可以明显地看到Derain Net的结果要不就是雨没有去除干净，要不就是图像失真，对比度过高。UGSM模型处理结果不稳定，受合成雨线方向的影响比较大，如果合成雨线方向接近90度的时候，它的去雨效果就会比较好，但是整体也会形成水气。JORDER的去雨能力是非常强的，缺陷就是容易产生图像扭曲和伪色带，例如“umbrella”右边的牛仔裤发生了扭曲，“boat”上方船桅杆周围产生了黑色伪色带。它还会将图像恢复得过暗，例如“deer”中小鹿旁的叶子就不太明显了。而本发明的模型在大部分图像都具备相对优秀的去雨能力，同时还能保持图像的真实度。
表1 图2的实验结果峰值信噪比(PSNR)
Figure BDA0002465428130000111
表2 图2的实验结果结构相似度(SSIM)
Figure BDA0002465428130000112
表1和表2给出了这几种方法关于这四幅图的客观质量评价，这里采用最常用的峰值信噪比PSNR和结构相似度SSIM。见表1，这里最好的结果用粗体来表示，本发明的方法具有明显优势，关于所有的图像，本发明的结果的信噪比是最高的，说明本发明的结果含的噪声及雨线是最少的。表2中每幅图的最高值用粗体来表示，次高值用灰色背景来表示。本发明结果的结构相似度在大部分依然是最优的，只有图“boat”和图“river”。然而这两幅图的最高值分别来自LP模型和UGSM模型，甚至比深度学习的方法JORDER的结果要高得多，这与我们的视觉主观评价不符。这两幅图有一个共性就是都将雨线磨光，还原了原始图像的结构信息，但是它们将磨光的雨线形成一层水气，类似一种特别的噪声，同样影响了视觉效果，这也就是这两幅图的SSIM值很高，但是PSNR值却很低的原因。
综上所述，对于多方向的合成雨图，在去除雨条纹和保持图像真实度两个方面，本发明方法所得的结果是平衡这两点最好的。从客观质量评价指标上看，本发明的结果也是也是综合峰值信噪比和结构相似度两者来说最好的。
本模型的卷积下确界oscillation TGV模型可看为多个方向的oscillation TGV模型，方向可以自由设定，在上述表1和表2中也给出了这两种oscillation TGV模型去雨结果的客观质量评价。可以看出针对于目前三个方向的合成雨图，本发明在三个方向的oscillation TGV和五个方向的oscillation TGV模型不相上下，但是五个方向的oscillation TGV模型计算时间略长。
表3 合成雨图的实验计算时间(秒)
Figure BDA0002465428130000121
在表3中给出了DSC模型、LP模型、DerainNet模型、UGSM模型、JORDER模型和本发明的模型对所有图像的运行时间。所有的方法都是在MATLABR2015b中实现。虽然学习的方法是使用训练好的模型参数进行测试，但是对比模型的运行时间并没有比本发明的模型有压倒性的优势。而传统的字典学习的方法因为是在线字典学习，所以处理起来非常慢。这里给出的UGSM模型的运行时间是它自带的计时器给出的，虽然它只计算了去雨步骤的运行时间，总得来说仍然是最快速的去雨模型。本发明的模型是两个变量的变分模型，但处理速度并不是很慢，总体而言处于中上水平。
实例2：自然图像的实验结果
本实例将对自然有雨的图像进行处理，选取了四个不同场景的有雨图像，包括近景，远景，人物，景物和交通图像等。这些场景里的雨包括单方向的小雨，多方向的大雨和多方向大雨积累所致的雨雾。
如图4所示，一组真实自然图像去雨的视觉效果对比。四幅图像每一幅都用8种模型处理，每幅图像使用的模型第一行从左至右依次是：(a)Rainy，(b)MUL-GUIDE，(c)DSC，(d)LP，第二行从左至右依次是：(e)DerainNet，(f)JORDER，(g)UGSM，(h)本发明的模型。
首先看第一幅图，一个近景的屋檐的雨图，可以看到在屋檐上方有细密的大雨，在屋檐下方，可以看到稀疏的雨线条纹。DSC模型，LP模型，DerainNet模型和UGSM模型并没有将屋檐下的雨滴去除干净。而JORDER和本发明的模型去除掉了屋檐下的雨滴，但是JORDER方法恢复的图像过暗，可见屋檐上方的部分。
第二幅大佛的图像，是细密的大雨，并有复杂纹理的树叶为背景。这幅图很显然DSC模型，LP模型，DerainNet模型和UGSM模型并没有将大雨或者大雨积累所产生的水气去除，JORDER和本发明的模型做到了。
第三幅是街上的暴雨图，并且雨的方向非常混乱。从去雨结果上看前几种方法都没有将这里的雨线去掉。DerainNet模型处理的结果虽然清晰度很高，但是雨线痕迹仍然有些残留，可参见左黑衣人衣服上。JORDER和本发明的模型处理的结果相对的干净一些。但是JORDER模型的结果出现了图像扭曲，可见图5中的放大图像。
第四幅图是最常见的交通图像，DSC模型，LP模型和UGSM模型并没有很好的改善图像的质量，使处理后的图像中仍然有可见的雨线残留或者整张图像都笼罩在水气下，影响视觉效果。Derain Net模型，JORDER模型和本发明的模型显然改善了图像的效果，但在Derain Net模型的结果中出现了伪色带，JORDER模型的结果出现了模糊的效果，可见图5中放大图像。
综上所述，在处理自然复杂情况下的雨图像时，本发明的模型不论在去除不同类型的雨线能力还是保留细节信息的能力都是比较优秀的。自然的大部分场景都不会是单一方向的规则的雨线图像，它们可能方向不同，强度不同，疏密程度不同，背景纹理细节产生的影响不同，而这些差异性会同时出现在一幅图像上。这对建立模型造成了非常大的影响，传统方法的模型显然不满足这种复杂的自然场景，深度学习方法由于它学习的数据大部分都是单方向的合成雨图，这就导致了如测试中所见的对复杂场景的雨图失效。而本发明建立的多重卷积下确界振荡广义全变分模型，可以针对不同的场景设计不同方向强度的雨线条纹层先验，处理各种复杂场景的雨图并得到很好的视觉效果。

Claims (3)

1.一种基于多重卷积下确界振荡广义全变分的图像去雨方法，其特征在于，包括以下步骤：
(1)输入待去除雨水的雨图像；
(2)利用多重卷积下确界振荡广义变分正则项来表征多方向的雨纹，利用广义变分来正则化无雨图像背景，建立单幅雨图像去除雨水的高阶变分模型，图像去雨高阶变分模型记为：
Figure FDA0004153190850000011
式中
Figure FDA0004153190850000012
是范数，
Figure FDA0004153190850000013
是关于输入图像和复原图像之间的保真项，O表示输入的雨图像，B表示无雨背景图层，R表示雨条纹图层，
Figure FDA0004153190850000014
为关于B的正则化约束，TGV2表示二阶广义变分模型，γ是固定参数，
Figure FDA0004153190850000015
为关于R的正则化约束，ICTGVosci表示多重卷积下确界振荡广义全变分模型，
Figure FDA0004153190850000016
是向量形式的权重，
Figure FDA0004153190850000017
为向量形式的纹理方向；多重卷积下确界振荡广义全变分模型定义如下：
Figure FDA0004153190850000018
式中m表示m重卷积，inf表示下确界，TGVosci表示振荡广义全变差，其定义为：
Figure FDA0004153190850000019
其中u∈L1(Ω)，L1(Ω)表示可积空间，权重参数α,β＞0，BD(Ω)表示向量场的有界形变空间，算子
Figure FDA00041531908500000110
定义为弱导数，E为对称弱导数且
Figure FDA00041531908500000111
||·||M表示Radon范数，c∈Rd×d，且cu对应于矩阵域的(cu)ij＝ciju,i,j＝1,…,d；则
Figure FDA00041531908500000112
是向量形式的权重，向量元素均为正，
Figure FDA00041531908500000113
将雨纹层R看成多个方向的雨纹Ri的合成，将建立的单幅雨图像去除雨水的高阶变分模型(*)转换为如下形式的变分模型：
Figure FDA00041531908500000114
式中||·||1是L1范数,μi表示权重参数，μ1,…,μm≥0；
(3)将高阶变分模型转化为等价的鞍点问题，并采用原始对偶算法求解该鞍点问题，得到去除雨水后的复原图像，其中将高阶变分模型转化为等价的鞍点问题包括：
将区域
Figure FDA0004153190850000029
离散成单位长度的长方形网格Ω＝{(i,j):1≤i≤N1,1≤j≤N2}，N1、N2分别表示该长方形网格水平方向和垂直方向的网格节点数，引入向量函数空间U＝{f:Ω→R}，记V＝U×U,W＝U×U×U；
由约束条件
Figure FDA0004153190850000021
得到离散化的
Figure FDA0004153190850000022
Figure FDA0004153190850000023
利用指标函数得到：
Figure FDA0004153190850000024
同样地，得到：
Figure FDA0004153190850000025
将步骤(2)的变分模型(**)转化为如下的鞍点问题：
Figure FDA0004153190850000026
λ为提前给定的参数，·∞表示张量意义下的∞-范数，I表示单位矩阵，q2,i、p2,i表示对偶变量，是在原始对偶算法中求解的。
2.根据权利要求1所述的基于多重卷积下确界振荡广义全变分的图像去雨方法，其特征在于，所述二阶广义变分模型定义如下：
Figure FDA0004153190850000027
式中u∈L1(Ω)，L1(Ω)表示可积空间，Sym2(Rd)表示Rd上的2阶对称张量空间，γi是固定正参数，
Figure FDA0004153190850000028
表示区域Ω上具有紧支撑的连续可微函数空间，||·||∞表示最大模范数，div g表示g的散度。
3.根据权利要求1所述的基于多重卷积下确界振荡广义全变分的图像去雨方法，其特征在于，所述指标函数定义如下：
Figure FDA0004153190850000031
D表示一个给定的集合。
CN202010332386.1A 2020-04-24 2020-04-24 一种基于多重卷积下确界振荡广义全变分的图像去雨方法 Active CN111539889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010332386.1A CN111539889B (zh) 2020-04-24 2020-04-24 一种基于多重卷积下确界振荡广义全变分的图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010332386.1A CN111539889B (zh) 2020-04-24 2020-04-24 一种基于多重卷积下确界振荡广义全变分的图像去雨方法

Publications (2)

Publication Number Publication Date
CN111539889A CN111539889A (zh) 2020-08-14
CN111539889B true CN111539889B (zh) 2023-05-30

Family

ID=71977241

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010332386.1A Active CN111539889B (zh) 2020-04-24 2020-04-24 一种基于多重卷积下确界振荡广义全变分的图像去雨方法

Country Status (1)

Country Link
CN (1) CN111539889B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002225778A1 (en) * 2000-11-29 2002-08-15 Solid Systems Engineering Company Roller bed for a conveyor belt system
CN105608679A (zh) * 2016-01-28 2016-05-25 重庆邮电大学 一种融合结构张量与非局域全变分的图像去噪方法
CN109636738A (zh) * 2018-11-09 2019-04-16 温州医科大学 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1213926C (zh) * 2000-11-29 2005-08-10 立体系统工程公司 传送带系统及辊床组件

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002225778A1 (en) * 2000-11-29 2002-08-15 Solid Systems Engineering Company Roller bed for a conveyor belt system
CN105608679A (zh) * 2016-01-28 2016-05-25 重庆邮电大学 一种融合结构张量与非局域全变分的图像去噪方法
CN109636738A (zh) * 2018-11-09 2019-04-16 温州医科大学 基于小波变换的双保真项正则模型的单幅图像雨噪声去除方法与装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
《A tensor-based low-rank model for single-image rain streaks removal》;Wang Y等;《IEEE Access》;20191231;全文 *
《Infimal convolution of oscillation total generalized variation for the recovery of images with structured texture》;Gao Y等;《SIAM Journal on Imaging Sciences》;20181231;全文 *
《Rain streak removal using layer priors》;Li Y等;《Proceedings of the IEEE conference on computer vision and pattern recognition》;20161231;第2736-2744页，附图1 *
《几类图像恢复的高阶TGV变分模型和算法研究》;高益铭;《中国硕博论文全文库》;20190715;第19-126页，附图4.3 *
联合深度去噪先验图像盲去模糊;杨爱萍等;《光学学报》;20180524(第10期);全文 *
郑勋烨.小波理论及其在图像处理中的应用.《小波理论及其在图像处理中的应用》.2018,第65页. *

Also Published As

Publication number Publication date
CN111539889A (zh) 2020-08-14

Similar Documents

Publication Publication Date Title
CN109360155B (zh) 基于多尺度特征融合的单帧图像去雨方法
Fu et al. Clearing the skies: A deep network architecture for single-image rain removal
Pan et al. Learning dual convolutional neural networks for low-level vision
Luo et al. Removing rain from a single image via discriminative sparse coding
CN111242864B (zh) 一种基于Gabor纹理约束的手指静脉图像修复方法
Hassan et al. Real-time image dehazing by superpixels segmentation and guidance filter
CN109509163B (zh) 一种基于fgf的多聚焦图像融合方法及系统
Matsui et al. GAN-based rain noise removal from single-image considering rain composite models
Guo et al. R2N: a novel deep learning architecture for rain removal from single image
CN109215053A (zh) 一种无人机航拍视频中含暂停状态的运动车辆检测方法
Fan et al. Multiscale cross-connected dehazing network with scene depth fusion
CN115861359B (zh) 一种水面漂浮垃圾图像自适应分割提取方法
Luo et al. Fast removal of rain streaks from a single image via a shape prior
Yuan et al. Perona–malik model with a new diffusion coefficient for image denoising
Qu et al. An interpretable unsupervised unrolling network for hyperspectral pansharpening
Wang et al. Video deraining via nonlocal low-rank regularization
Wang et al. Rain streaks removal for single image via directional total variation regularization
Yang et al. Detail-aware near infrared and visible fusion with multi-order hyper-Laplacian priors
CN112734675B (zh) 一种基于金字塔模型和非局部增强密集块的图像去雨方法
CN111539889B (zh) 一种基于多重卷积下确界振荡广义全变分的图像去雨方法
Matsui et al. Single-image rain removal using residual deep learning
Gong et al. Wavelet based deep recursive pyramid convolution residual network for single image rain removal
Zhai et al. Progressive image restoration through hybrid graph Laplacian regularization
Parihar et al. ConvNet based single image deraining methods: A comparative analysis
Zheng et al. Single image deraining via rain-steaks aware deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220628

Address after: 210094 Xuanwu District, Jiangsu, Xiaolingwei 200, Nanjing

Applicant after: NANJING University OF SCIENCE AND TECHNOLOGY

Address before: Longpan road Xuanwu District of Nanjing city of Jiangsu Province, No. 159 210037

Applicant before: NANJING FORESTRY University

GR01 Patent grant
GR01 Patent grant