CN113450278B - 一种基于跨域协同学习的图像去雨方法 - Google Patents

一种基于跨域协同学习的图像去雨方法 Download PDF

Info

Publication number
CN113450278B
CN113450278B CN202110742059.8A CN202110742059A CN113450278B CN 113450278 B CN113450278 B CN 113450278B CN 202110742059 A CN202110742059 A CN 202110742059A CN 113450278 B CN113450278 B CN 113450278B
Authority
CN
China
Prior art keywords
image
rain
branch
domain
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110742059.8A
Other languages
English (en)
Other versions
CN113450278A (zh
Inventor
潘在宇
王军
李玉莲
申政文
韩淑雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202110742059.8A priority Critical patent/CN113450278B/zh
Publication of CN113450278A publication Critical patent/CN113450278A/zh
Application granted granted Critical
Publication of CN113450278B publication Critical patent/CN113450278B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于跨域协同学习的图像去雨方法，构建基于多尺度注意力残差模块的双分支图像去雨网络，通过面向合成领域的跨域协同学习策略，减少不同合成领域雨纹信息分布差异对于双分支图像去雨模型去雨效果的影响，通过面向真实领域的跨域学习策略，降低真实领域和合成领域雨纹信息分布差异对于双分支图像去雨模型去雨表现的影响。本发明提高了图像去雨模型对于不同领域样本雨纹信息的学习能力，减少了不同领域雨纹信息分布差异对于图像去雨模型去雨表现的影响，增强了图像去雨模型的鲁棒性和泛化能力。

Description

一种基于跨域协同学习的图像去雨方法
技术领域
本发明涉及图像修复与增强领域，具体涉及一种基于跨域协同学习的图像去雨方法。
背景技术
在雨天气候条件下拍摄的照片经常是低质量的，这些由于雨纹而导致的图像质量退化将影响一系列计算机视觉任务，例如，目标检测，图像识别等。因此，设计有效的图像去雨算法对计算机视觉算法的实际应用至关重要。
目前，深度学习已经在图像去雨任务上取得优异的表现。例如，Zhang等人提出一个基于条件生成对抗网络的单张图像去雨模型，并利用感知损失函数进一步提高去雨效果(He Zhang,Vishwanath Sindagi,and Vishal M.Patel，“Image de-raining using aconditional generative adversarial network”，IEEE Transactions on Circuits andSystems for Video Technology,2020，30(11)：3943-3956)。Yang等人设计一个基于深度循环空洞网络的雨纹检测模型和去雨模型，来提高网络的图像去雨表现(Wenhan Yang,Robby T.Tan,Jiashi Feng,Jiaying Liu,Zong ming Guo,and Shuicheng Yan，“DeepJoint Rain Detection and Removal from a Single Image”，In2017IEEE Conferenceon Computer Vision and Pattern Recognition，June 2017)。但是，目前基于深度学习的图像去雨模型仍存在两大不足之处：第一，真实环境中很难获得充足的成对的图像去雨数据，因此，无法直接利用现有的基于监督学习的合成图像去雨模型实现真实图像去雨任务。第二，真实雨纹信息和合成雨纹信息存在一定分布差异，直接利用在合成数据上训练好的图像去雨模型测试真实图像去雨数据，很难得到满意的结果。因此，如何利用现有的成对的合成图像去雨数据和无标签的真实图像去雨数据构建一个真实图像去雨模型是目前图像去雨领域亟待解决的重要问题之一。
为解决上述问题，Yasarla等人设计了一种基于高斯过程的半监督图像去雨方法，使得在合成数据集上训练的去雨网络对真实环境含雨图像具有很好的泛化能力(R.Yasarla,V.A.Sindagi,and V.M.Patel,“Syn2real transfer learning for imagederaining using gaussian processes,”in The IEEE/CVF Conference on ComputerVision and Pattern Recognition(CVPR),June 2020.)。但是上述方法只考虑考到合成域和真实域中雨纹信息的分布差异，没有考虑不同合成域之间雨纹信息的分布偏差。
发明内容
本发明的目的在于提供一种基于跨域协同学习的图像去雨方法，同时解决不同合成域之间与合成域和真实域之间的雨纹信息分布差异对于图像去雨模型的去雨表现的影响，提高图像去雨模型的鲁棒性和泛化能力。
实现本发明目的的技术解决方案为：一种基于跨域协同学习的图像去雨方法，包括以下步骤：
步骤1、采集N张真实环境下含雨图像，进行归一化处理，将像素大小统一为h×w，作为真实域训练样本集R，100＜N＜10000，选择Rain200L合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第一合成域训练样本集S1，选择Rain1200合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第二合成域训练样本集S2，转入步骤2；
步骤2、基于多尺度注意力残差模块构建双分支图像去雨网络模型；
步骤3、利用面向合成领域的跨域协同学习策略，基于第一合成域训练样本集S1和第二合成域训练样本集S2训练双分支图像去雨网络模型，得到初始双分支图像去雨网络模型，转入步骤4；
步骤4、利用面向真实领域的跨域学习策略，基于真实域训练样本集R训练初始双分支图像去雨网络模型；当达到预定的训练次数E时，获得训练好的双分支图像去雨网络模型，转入步骤5；否则返回步骤3；
步骤5、采集M张真实环境下含雨图像，100＜M＜10000，分别通过归一化处理，得到像素大小为h×w的M张真实含雨图像，构成测试样本集；
步骤6、将测试样本集中的真实含雨图像输入到训练好的双分支图像去雨网络模型，去除真实含雨图像中的雨纹信息。
与现有技术相比，本发明的优点在于：
1)相比现有的图像去雨方法，只考虑真实域和合成域之间的雨纹信息分布差异，忽略了不同合成域雨纹信息分布偏差，本发明所述的一种基于跨域协同学习的图像去雨方法同时解决不同合成域之间与合成域和真实域之间的雨纹信息分布差异对于图像去雨模型的去雨表现的影响，提高图像去雨模型的鲁棒性和泛化能力；
2)本发明提出了面向合成域的跨域协同学习方法，构建了跨域协同损失函数，实现了不同合成域之间雨纹信息的知识迁移，提高了双分支图像去雨网络对于不同合成域含雨图像的去雨能力。
3)本发明首次提出了一种针对真实域含雨图像的伪标签生成方法，构建了面向真实域的跨域协同学习，实现了合成域和真实域之间雨纹信息的知识迁移，提高了双分支图像去雨网络阵对于真实域含雨图像的去雨能力。
附图说明
图1为本发明基于跨域协同学习的图像去雨方法的流程图。
图2为本发明基于跨域协同学习的图像去雨方法的模型图。
图3为合成域和真实域含雨图像，其中图(a)和(b)为第一合成域训练样本集S1中含雨图像，图(c)和(d)为第二合成域训练样本集S2中的含雨图像，图(e)和(f)为真实域训练样本集R中的含雨图像。
图4为两种半监督图像去雨算法SIRR和Syn2Real在真实域含雨图像样本上与本发明提出方法的对比实验结果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。
结合图1，一种基于跨域协同学习的图像去雨方法，包括以下步骤：
步骤1、采集N张真实环境下含雨图像，进行归一化处理，将像素大小统一为h×w，作为真实域训练样本集R，100＜N＜10000，选择Rain200L合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第一合成域训练样本集S1，选择Rain1200合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第二合成域训练样本集S2，转入步骤2。
步骤2、利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，构建多尺度注意力残差模块，并基于多尺度注意力残差模块搭建双分支图像去雨网络模型，具体如下：
通过局部最大池化方法获取输入图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征。通过多分支跨尺度信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，通过特征级联的方式对多尺度特征进行融合，得到多尺度融合特征。
多尺度特征融合模块具体表示如下，使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(1)所示：
Figure BDA0003141708280000041
其中，S1是第一合成域训练样本集；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；
Figure BDA0003141708280000042
是指输出的
Figure BDA0003141708280000043
尺度的深度特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度输入图像的高级语义特征；在每个尺度分支中，将高级语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(2)所示：
Figure BDA0003141708280000044
其中，
Figure BDA0003141708280000045
为
Figure BDA0003141708280000046
当k＝1时对应的值。
Figure BDA0003141708280000047
Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；
Figure BDA0003141708280000048
表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数；C(·)特征级联函数，k为步长。
然后通过特征级联的方式对三个跨尺度特征进行融合，如式(3)所示：
Figure BDA0003141708280000049
其中，Z是所提出的多尺度融合连接之后的卷积块输出，F(·)表示特征通道层面的融合函数，C(·)特征级联函数。
利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得多尺度注意力残差模块，通道注意力机制主要用于筛选两个多尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(4)所示：
Z′＝SE(Z) (4)
其中，Z表示第二个多尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作。
通过将输入的图像与通道注意力机制SE输出的特征进行跳跃连接，与多尺度特征融合模块构成残差结构；
MSARB1＝Res(S1) (5)
其中，S1是第一合成域训练样本集，MSARB1表示第一个多尺度注意力残差模块的输出，Res(·)为残差网络结构。
连续连接H个多尺度注意力残差模块，10≤H≤12，得到第H个多尺度注意力残差模块的输出结果为MSARBH，将输入的样本图像与其进行跳跃连接，构建单分支图像去雨网络。随后，由两个单分支图像去雨网络搭建双分支图像去雨网络模型。
进一步地，H优选10。
步骤3、利用面向合成领域的跨域协同学习策略，基于第一合成域训练样本集S1和第二合成域训练样本集S2训练双分支图像去雨网络模型，得到初始双分支图像去雨网络模型，以减少不同合成领域雨纹信息分布差异对于双分支图像去雨模型去雨效果的影响，转入步骤4。
针对双分支图像去雨网络模型中第一个分支网络的协同学习策略如下：
将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000051
的输出结果为
Figure BDA0003141708280000052
第二个分支网络
Figure BDA0003141708280000053
的输出结果为
Figure BDA0003141708280000054
将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000055
的输出结果为
Figure BDA0003141708280000056
第二个分支网络
Figure BDA0003141708280000057
的输出结果为
Figure BDA0003141708280000058
通过构建损失函数L1实现第一个分支网络的协同学习，损失函数L1如公式(6)所示：
Figure BDA0003141708280000059
其中，
Figure BDA00031417082800000510
是第一个分支网络
Figure BDA00031417082800000511
的重建损失函数，
Figure BDA00031417082800000512
是第一个分支网络
Figure BDA00031417082800000513
的协同损失函数，
Figure BDA00031417082800000514
是一个超参数，用来权衡重建损失函数
Figure BDA00031417082800000515
和协同损失函数
Figure BDA00031417082800000516
的比重，
Figure BDA00031417082800000517
为第一合成域训练样本集S1对应标签图像，即为合成含雨图像对应的清晰图像。
重建损失函数
Figure BDA0003141708280000061
如公式(7)所示：
Figure BDA0003141708280000062
其中，|…|1表示为机器学习中L1损失函数。
协同损失函数
Figure BDA0003141708280000063
如公式(8)所示：
Figure BDA0003141708280000064
其中，|…|1表示为机器学习中L1损失函数。
针对双分支图像去雨网络模型中第二个分支网络的协同学习策略如下：
将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000065
的输出结果为
Figure BDA0003141708280000066
第二个分支网络
Figure BDA0003141708280000067
的输出结果为
Figure BDA0003141708280000068
将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000069
的输出结果为
Figure BDA00031417082800000610
第二个分支网络
Figure BDA00031417082800000611
的输出结果为
Figure BDA00031417082800000612
通过构建损失函数L2实现第二个分支网络的协同学习，损失函数L2如公式(9)所示：
Figure BDA00031417082800000613
其中，
Figure BDA00031417082800000614
是第二个分支网络
Figure BDA00031417082800000615
的重建损失函数，
Figure BDA00031417082800000616
是第二个分支网络
Figure BDA00031417082800000617
的协同损失函数，
Figure BDA00031417082800000618
是一个超参数，用来权衡重建损失函数
Figure BDA00031417082800000619
和协同损失函数
Figure BDA00031417082800000620
的比重，
Figure BDA00031417082800000621
为第二合成域训练样本集S2对应标签图像，即为合成含雨图像对应的清晰图像。
重建损失函数
Figure BDA00031417082800000622
如公式(10)所示：
Figure BDA00031417082800000623
其中，|…|1表示为机器学习中L1损失函数。
协同损失函数
Figure BDA00031417082800000624
如公式(11)所示：
Figure BDA00031417082800000625
其中，|…|1表示为机器学习中L1损失函数。
步骤4、利用面向真实领域的跨域学习策略，基于真实域训练样本集R训练初始双分支图像去雨网络模型以降低真实领域和合成领域雨纹信息分布差异对于双分支图像去雨模型去雨表现的影响；当达到预定的训练次数E时，获得训练好的双分支图像去雨网络模型，转入步骤5；否则返回步骤3。
构建面向真实领域的跨域学习策略，需要先设计真实域中含雨图像的伪标签生成方法，具体如下：
将真实域训练样本集R中图像输入初始双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000071
的输出结果为
Figure BDA0003141708280000072
第二个分支网络
Figure BDA0003141708280000073
的输出结果为
Figure BDA0003141708280000074
分别如公式(12)和公式(13)所示：
Figure BDA0003141708280000075
Figure BDA0003141708280000076
基于初始双分支图像去雨网络模型的输出结果
Figure BDA0003141708280000077
和
Figure BDA0003141708280000078
利用公式(14)获取真实含雨图像的伪标签信息；
Figure BDA0003141708280000079
其中，Y′R是最后生成的伪标签图像，min(…)表示最小值运算，mean(…)表示均值运算,|…|表示欧式距离计算，(i,j,k)分别表示输出特征图
Figure BDA00031417082800000710
和
Figure BDA00031417082800000711
的宽、高和通道数，T为实验过程中设置的阈值。
获得真实域训练样本集R中的真实含雨图像的伪标签信息后，通过构建损失函数L3来训练初始双分支图像去雨网络模型，使得网络模型对于雨纹信息的学习能力从合成域逐步迁移到真实域，损失函数L3如公式(15)所示：
Figure BDA00031417082800000712
其中，
Figure BDA00031417082800000713
为基于真实含雨图像的伪标签训练第一分支网络
Figure BDA00031417082800000714
的重损失函数，
Figure BDA00031417082800000715
为基于真实含雨图像的伪标签训练第二分支网络
Figure BDA00031417082800000716
的重损失函数。
重建损失函是
Figure BDA00031417082800000717
如公式(16)所示：
Figure BDA00031417082800000718
其中，|…|1表示为机器学习中L1损失函数。
其中双分支图像去雨网络模型的整体训练损失函数Ltotal如公式(17)所示：
Ltotal＝L1+L2+λRL3 (17)
其中，λR是一个超参数，用来平衡合成域损失函数和真实域损失函的比重。
步骤5、采集M张真实环境下含雨图像，100＜M＜10000，分别通过归一化处理，得到像素大小为h×w的M张真实含雨图像，构成测试样本集；
步骤6、将测试样本集中的真实含雨图像输入到训练好的双分支图像去雨网络模型，去除真实含雨图像中的雨纹信息。
实施例1
结合图1和图2，本发明所述的一种基于跨域协同学习的图像去雨方法，步骤如下：
步骤1、采集1800张真实环境下含雨图像，进行归一化处理，将像素大小统一为384×384，作为真实域训练样本集R，选择Rain200L合成图像去雨数据中的1800张图像，进行归一化处理，将像素大小统一为384×384，作为第一合成域训练样本集S1，选择Rain1200合成图像去雨数据中的1800张图像，进行归一化处理，将像素大小统一为384×384，作为第二合成域训练样本集S2，训练样本集如图3所示，转入步骤2。
步骤2、利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，构建多尺度注意力残差模块，并基于多尺度注意力残差模块搭建双分支图像去雨网络模型，具体如下：
通过局部最大池化方法获取输入图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征；通过多分支跨尺度信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，通过特征级联的方式对多尺度特征进行融合。
多尺度特征融合模块的具体表示如下所述。使用局部最大池化的方法获取不同尺度的图像，构建不同尺度的特征提取分支，如下式(1)所示：
Figure BDA0003141708280000081
其中，S1是第一合成域训练样本集；K是使用的最大尺度；Pk(·)是局部最大池化函数，函数中卷积核大小为k×k，k为步长；
Figure BDA0003141708280000091
是指输出的
Figure BDA0003141708280000092
尺度的深度特征；K的取值是2的幂函数，故相邻尺度分支之间的大小相差2倍。
通过局部最大池化方法获取3个不同尺度的分支后，对3个不同尺度分支的图像同时进行3×3卷积操作提取特征，得到不同尺度输入图像的高级语义特征；在每个尺度分支中，将高级语义特征与相邻分支的低级输入特征进行跨尺度连接，如式(2)所示：
Figure BDA0003141708280000093
其中，
Figure BDA0003141708280000094
为
Figure BDA0003141708280000095
当k＝1时对应的值。
Figure BDA0003141708280000096
Hn(·)是使用3×3卷积核操作之后的n组非线性激活函数；
Figure BDA0003141708280000097
表示使用3×3卷积核操作之后得到的特征；Uk(·)表示具有k×因子的上采样操作函数；F(·)表示特征通道层面的融合函数；C(·)特征级联函数，k为步长。
然后通过特征级联的方式对三个跨尺度特征进行融合，如式(3)所示：
Figure BDA0003141708280000098
其中，Z是所提出的多尺度融合连接之后的卷积块输出，F(·)表示特征通道层面的融合函数，C(·)特征级联函数。
利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，获得多尺度注意力残差模块，通道注意力机制主要用于筛选两个多尺度融合模块的特征，增大有效特征，减少冗余特征带来的计算量，注意力机制操作具体如表达式(4)所示：
Z′＝SE(Z) (4)
其中，Z表示第二个多尺度特征融合模块的输出，Z′表示通道注意力机制SE的输出，SE(·)表示SE操作。
通过将输入的样本图像与通道注意力机制SE输出的特征进行跳跃连接，与多尺度特征融合模块构成残差结构；
MSARB1＝Res(S1) (5)
其中，S1是第一合成域训练样本集，MSARB1表示第一个多尺度注意力残差模块的输出，Res(·)为残差网络结构。
连续连接10个多尺度注意力残差模块，得到第10个多尺度注意力残差模块的输出结果为MSARB10，将输入的样本图像与其进行跳跃连接，构建单分支图像去雨网络。随后，由两个单分支图像去雨网络搭建双分支图像去雨网络模型。
步骤3、利用面向合成领域的跨域协同学习策略，基于第一合成域训练样本集S1和第二合成域训练样本集S2训练双分支图像去雨网络模型，得到初始双分支图像去雨网络模型，以减少不同合成领域雨纹信息分布差异对于双分支图像去雨模型去雨效果的影响，转入步骤4。
针对双分支图像去雨网络模型中第一个分支网络的协同学习策略如下：
将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000101
的输出结果为
Figure BDA0003141708280000102
第二个分支网络
Figure BDA0003141708280000103
的输出结果为
Figure BDA0003141708280000104
将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000105
的输出结果为
Figure BDA0003141708280000106
第二个分支网络
Figure BDA0003141708280000107
的输出结果为
Figure BDA0003141708280000108
通过构建损失函数L1实现第一个分支网络的协同学习，损失函数L1如公式(6)所示：
Figure BDA0003141708280000109
其中，
Figure BDA00031417082800001010
是第一个分支网络
Figure BDA00031417082800001011
的重建损失函数，
Figure BDA00031417082800001012
是第一个分支网络
Figure BDA00031417082800001013
的协同损失函数，
Figure BDA00031417082800001014
是一个超参数，用来权衡重建损失函数
Figure BDA00031417082800001015
和协同损失函数
Figure BDA00031417082800001016
的比重，
Figure BDA00031417082800001017
为第一合成域训练样本集S1对应标签图像，即为合成含雨图像对应的清晰图像。
重建损失函数
Figure BDA00031417082800001018
如公式(7)所示：
Figure BDA00031417082800001019
其中，|…|1表示为机器学习中L1损失函数。
协同损失函数
Figure BDA00031417082800001020
如公式(8)所示：
Figure BDA00031417082800001021
其中，|…|1表示为机器学习中L1损失函数。
针对双分支图像去雨网络模型中第二个分支网络的协同学习策略如下：
将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000111
的输出结果为
Figure BDA0003141708280000112
第二个分支网络
Figure BDA0003141708280000113
的输出结果为
Figure BDA0003141708280000114
将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure BDA0003141708280000115
的输出结果为
Figure BDA0003141708280000116
第二个分支网络
Figure BDA0003141708280000117
的输出结果为
Figure BDA0003141708280000118
通过构建损失函数L2实现第二个分支网络的协同学习，损失函数L2如公式(9)所示：
Figure BDA0003141708280000119
其中，
Figure BDA00031417082800001110
是第二个分支网络
Figure BDA00031417082800001111
的重建损失函数，
Figure BDA00031417082800001112
是第二个分支网络
Figure BDA00031417082800001113
的协同损失函数，
Figure BDA00031417082800001114
是一个超参数，用来权衡重建损失函数
Figure BDA00031417082800001115
和协同损失函数
Figure BDA00031417082800001116
的比重，
Figure BDA00031417082800001117
为第二合成域训练样本集S2对应标签图像，即为合成含雨图像对应的清晰图像；
重建损失函数
Figure BDA00031417082800001118
如公式(10)所示：
Figure BDA00031417082800001119
其中，|…|1表示为机器学习中L1损失函数。
协同损失函数
Figure BDA00031417082800001120
如公式(11)所示：
Figure BDA00031417082800001121
其中，|…|1表示为机器学习中L1损失函数。
步骤4、利用面向真实领域的跨域学习策略，基于真实域训练样本集R训练初始双分支图像去雨网络模型以降低真实领域和合成领域雨纹信息分布差异对于双分支图像去雨模型去雨表现的影响；当达到预定的训练次数E时，获得训练好的双分支图像去雨网络模型，转入步骤5；否则返回步骤3。
构建面向真实领域的跨域学习策略，需要先设计真实域中含雨图像的伪标签生成方法，具体如下：
将真实域训练样本集R中图像输入初始双分支图像去雨网络模型中，第一个分支网络
Figure BDA00031417082800001122
的输出结果为
Figure BDA00031417082800001123
第二个分支网络
Figure BDA00031417082800001124
的输出结果为
Figure BDA00031417082800001125
分别如公式(12)和公式(13)所示：
Figure BDA00031417082800001126
Figure BDA0003141708280000121
基于初始双分支图像去雨网络模型的输出结果
Figure BDA0003141708280000122
和
Figure BDA0003141708280000123
利用公式(14)获取真实含雨图像的伪标签信息：
Figure BDA0003141708280000124
其中，Y′R是最后生成的伪标签图像，min(…)表示最小值运算，mean(…)表示均值运算,|…|表示欧式距离计算，(i,j,k)分别表示输出特征图
Figure BDA0003141708280000125
和
Figure BDA0003141708280000126
的宽、高和通道数，T为实验过程中设置的阈值。
获得真实域训练样本集R中的真实含雨图像的伪标签信息后，通过构建损失函数L3来训练初始双分支图像去雨网络模型，使得网络模型对于雨纹信息的学习能力从合成域逐步迁移到真实域。损失函数L3如公式(15)所示：
Figure BDA0003141708280000127
其中，
Figure BDA0003141708280000128
为基于真实含雨图像的伪标签训练第一分支网络
Figure BDA0003141708280000129
的重损失函数，
Figure BDA00031417082800001210
为基于真实含雨图像的伪标签训练第二分支网络
Figure BDA00031417082800001211
的重损失函数。
重建损失函是
Figure BDA00031417082800001212
如公式(16)所示：
Figure BDA00031417082800001213
其中，|…|1表示为机器学习中L1损失函数。
其中双分支图像去雨网络模型的整体训练损失函数Ltotal如公式(17)所示：
Ltotal＝L1+L2+λRL3 (17)
其中，λR是一个超参数，用来平衡合成域损失函数和真实域损失函的比重。
步骤5、采集800张真实环境下含雨图像，分别通过归一化处理，得到像素大小为384×384的800张真实含雨图像，构成测试样本集；
步骤6、将测试样本集中的真实含雨图像输入到训练好的双分支图像去雨网络模型，去除真实含雨图像中的雨纹信息。
本发明方法在Nvidia 2080Ti GPU主机上采用python编程语言和keras框架语言搭建网络框架进行相关实验。在多尺度特征融合模块中使用ReLU激活函数，在SE注意力机制中使用sigmoid激活函数。在网络训练的过程中，输入图像的大小被归一化为384x384，多尺度注意力残差模块被设置为10个，卷积层特征图被设置为64个。网络的学习率被设置为0.0001，权值衰减系数被设置为0.5。在真实域和合成域训练样本集上共训练80次，得到双分支图像去雨网络模型。
为了更好地体现本发明提出算法对于真实含雨图像去雨效果，本小节设计了模型去雨可视化实验。通过可视化每个图像去雨模型的已去雨图像，利用视觉判断每种模型对于真实图像去雨图像的去雨表现。采用目前最新的两种半监督去雨去雨算法SIRR和Syn2Real作为对比算法，来评估提出模型的去雨效果。每种去雨模型在真实含雨图像上的去雨效果如图4所示。由图4可以看出，由于真实含雨图像与合成含雨图像存在领域偏移，进而导致三种半监督真实图像去雨模型都没有彻底去除雨纹信息。但是相比较其他两种真实图像去雨算法，本发明提出的基于跨域协同学习的图像去雨模型在真实含雨图像上具有更好的去雨效果，比如图4中第一张图中右侧柱子上的雨纹信息，其他两种真实图像算法都没有有效去除，而本发明提出的图像去雨算法进行了有效的去除，进而表明设计的去雨网络具有很强的泛化能力。
综上所述，本发明能提高了图像去雨模型对于不同领域样本雨纹信息的学习能力，减少了不同领域雨纹信息分布差异对于图像去雨模型去雨表现的影响，增强了图像去雨模型的泛化能力和去雨效果。

Claims (6)

1.一种基于跨域协同学习的图像去雨方法，其特征在于，包括以下步骤：
步骤1、采集N张真实环境下含雨图像，进行归一化处理，将像素大小统一为h×w，作为真实域训练样本集R，100＜N＜10000，选择Rain200L合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第一合成域训练样本集S1，选择Rain1200合成图像去雨数据中的N张图像，进行归一化处理，将像素大小统一为h×w，作为第二合成域训练样本集S2，转入步骤2；
步骤2、基于多尺度注意力残差模块构建双分支图像去雨网络模型，转入步骤3；
步骤3、利用面向合成领域的跨域协同学习策略，基于第一合成域训练样本集S1和第二合成域训练样本集S2训练双分支图像去雨网络模型，得到初始双分支图像去雨网络模型，转入步骤4：
针对双分支图像去雨网络模型中第一个分支网络的协同学习策略如下：
将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure FDA0003380496570000011
的输出结果为
Figure FDA0003380496570000012
第二个分支网络
Figure FDA0003380496570000013
的输出结果为
Figure FDA0003380496570000014
将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure FDA0003380496570000015
的输出结果为
Figure FDA0003380496570000016
第二个分支网络
Figure FDA0003380496570000017
的输出结果为
Figure FDA0003380496570000018
通过构建损失函数L1实现第一个分支网络的协同学习，损失函数L1如下：
Figure FDA0003380496570000019
其中，
Figure FDA00033804965700000110
是第一个分支网络
Figure FDA00033804965700000111
的重建损失函数，
Figure FDA00033804965700000112
是第一个分支网络
Figure FDA00033804965700000113
的协同损失函数，
Figure FDA00033804965700000114
是一个超参数，用来权衡重建损失函数
Figure FDA00033804965700000115
和协同损失函数
Figure FDA00033804965700000116
的比重；
Figure FDA00033804965700000117
为第一合成域训练样本集S1对应标签图像，即为合成含雨图像对应的清晰图像；
重建损失函数
Figure FDA00033804965700000118
如下：
Figure FDA00033804965700000119
其中，|...|1表示为机器学习中L1损失函数；
协同损失函数
Figure FDA00033804965700000120
如下：
Figure FDA0003380496570000021
其中，|...|1表示为机器学习中L1损失函数；
针对双分支图像去雨网络模型中第二个分支网络的协同学习策略如下：
将第一合成域训练样本集S1中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure FDA0003380496570000022
的输出结果为
Figure FDA0003380496570000023
第二个分支网络
Figure FDA0003380496570000024
的输出结果为
Figure FDA0003380496570000025
将第二合成域训练样本集S2中图像输入双分支图像去雨网络模型中，第一个分支网络
Figure FDA0003380496570000026
的输出结果为
Figure FDA0003380496570000027
第二个分支网络
Figure FDA0003380496570000028
的输出结果为
Figure FDA0003380496570000029
通过构建损失函数L2实现第二个分支网络的协同学习，损失函数L2如下：
Figure FDA00033804965700000210
其中，
Figure FDA00033804965700000211
是第二个分支网络
Figure FDA00033804965700000212
的重建损失函数，
Figure FDA00033804965700000213
是第二个分支网络
Figure FDA00033804965700000214
的协同损失函数，
Figure FDA00033804965700000215
是一个超参数，用来权衡重建损失函数
Figure FDA00033804965700000216
和协同损失函数
Figure FDA00033804965700000217
的比重；
Figure FDA00033804965700000218
为第二合成域训练样本集S2对应标签图像，即为合成含雨图像对应的清晰图像；
重建损失函数
Figure FDA00033804965700000219
如下：
Figure FDA00033804965700000220
其中，|...|1表示为机器学习中L1损失函数；
协同损失函数
Figure FDA00033804965700000221
如下：
Figure FDA00033804965700000222
其中，|...|1表示为机器学习中L1损失函数；
步骤4、利用面向真实领域的跨域学习策略，基于真实域训练样本集R训练初始双分支图像去雨网络模型；当达到预定的训练次数E时，获得训练好的双分支图像去雨网络模型，转入步骤5；否则返回步骤3；
步骤5、采集M张真实环境下含雨图像，100＜M＜10000，分别通过归一化处理，得到像素大小为h×w的M张真实含雨图像，构成测试样本集；
步骤6、将测试样本集中的真实含雨图像输入到训练好的双分支图像去雨网络模型，去除真实含雨图像中的雨纹信息。
2.根据权利要求1所述的一种基于跨域协同学习的图像去雨方法，其特征在于，步骤2中，多尺度注意力残差模块的构建方法如下：
通过局部最大池化方法获取图像的三个尺度分支，得到低级输入特征，每个分支采用相同的卷积网络对不同尺度的低级输入特征进行特征映射，提取高级语义特征；通过多分支跨尺度域信息融合方法，将不同分支之间的低级输入特征和高级语义特征进行跨尺度连接，提取到三个分支的跨尺度特征之后，通过特征级联的方式对三个跨尺度特征进行融合，得到多尺度融合特征；利用多尺度特征融合模块代替基本残差模块中的卷积层，并加入注意力机制，构建多尺度注意力残差模块。
3.根据权利要求2所述的一种基于跨域协同学习的图像去雨方法，其特征在于，步骤2中，双分支图像去雨网络模型的构建方法如下：
连续连接H个多尺度注意力残差模块，10≤H≤12，得到第H个多尺度注意力残差模块的输出结果为MSARBH，将输入的样本图像与其进行跳跃连接，构建单分支图像去雨网络；由两个单分支图像去雨网络搭建双分支图像去雨网络模型。
4.根据权利要求3所述的一种基于跨域协同学习的图像去雨方法，其特征在于，H＝10。
5.根据权利要求1所述的一种基于跨域协同学习的图像去雨方法，其特征在于，步骤4中，构建面向真实领域的跨域学习策略，需要先设计真实域中含雨图像的伪标签生成方法，具体的方法阐述如下：
将真实域训练样本集R中图像输入初始双分支图像去雨网络模型中，第一个分支网络
Figure FDA0003380496570000031
的输出结果为
Figure FDA0003380496570000032
第二个分支网络
Figure FDA0003380496570000033
的输出结果为
Figure FDA0003380496570000034
分别如下：
Figure FDA0003380496570000035
Figure FDA0003380496570000036
基于初始双分支图像去雨网络模型的输出结果
Figure FDA0003380496570000037
和
Figure FDA0003380496570000038
利用下式获取真实含雨图像的伪标签信息：
Figure FDA0003380496570000041
其中，Y′R是最后生成的伪标签图像，min(…)表示最小值运算，mean(…)表示均值运算，|...|表示欧式距离计算，(i，j，k)分别表示输出特征图
Figure FDA0003380496570000042
和
Figure FDA0003380496570000043
的宽、高和通道数，T为实验过程中设置的阈值。
6.根据权利要求5所述的一种基于跨域协同学习的图像去雨方法，其特征在于，步骤4中，针对双分支图像去雨网络模型构建的面向真实领域的跨域学习策略如下：
获得真实域训练样本集R中的真实含雨图像的伪标签信息后，通过构建损失函数L3来训练初始双分支图像去雨网络模型，使得网络模型对于雨纹信息的学习能力从合成域逐步迁移到真实域，损失函数L3如下式：
Figure FDA0003380496570000044
其中，
Figure FDA0003380496570000045
为基于真实含雨图像的伪标签训练第一分支网络
Figure FDA0003380496570000046
的重损失函数，
Figure FDA0003380496570000047
为基于真实含雨图像的伪标签训练第二分支网络
Figure FDA0003380496570000048
的重损失函数；Y′R是最后生成的伪标签图像；
重建损失函是
Figure FDA0003380496570000049
如下式：
Figure FDA00033804965700000410
其中，|...|x表示为机器学习中L1损失函数；
双分支图像去雨网络模型的整体训练损失函数Ltotal如式：
Ltotal＝L1+L2+λRL3
其中，λR是一个超参数，用来平衡合成域损失函数和真实域损失函数的比重。
CN202110742059.8A 2021-06-30 2021-06-30 一种基于跨域协同学习的图像去雨方法 Active CN113450278B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110742059.8A CN113450278B (zh) 2021-06-30 2021-06-30 一种基于跨域协同学习的图像去雨方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110742059.8A CN113450278B (zh) 2021-06-30 2021-06-30 一种基于跨域协同学习的图像去雨方法

Publications (2)

Publication Number Publication Date
CN113450278A CN113450278A (zh) 2021-09-28
CN113450278B true CN113450278B (zh) 2022-02-18

Family

ID=77814638

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110742059.8A Active CN113450278B (zh) 2021-06-30 2021-06-30 一种基于跨域协同学习的图像去雨方法

Country Status (1)

Country Link
CN (1) CN113450278B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677306B (zh) * 2022-03-29 2022-11-15 中国矿业大学 一种基于边缘信息引导的上下文聚合图像去雨方法
CN114972105B (zh) * 2022-06-10 2024-03-29 江苏海洋大学 一种基于多尺度融合残差网络的单幅图像去雨方法
CN116681625B (zh) * 2023-07-04 2024-02-02 广州工程技术职业学院 基于多尺度对比学习的无监督图像去雨方法、装置及终端

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法
CN112907479A (zh) * 2021-03-05 2021-06-04 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
CN110651310B (zh) * 2017-04-05 2023-09-08 卡内基梅隆大学 估计对象密度和/或流量的深度学习方法及相关方法和软件
CN110728640B (zh) * 2019-10-12 2023-07-18 合肥工业大学 一种双通道单幅图像精细去雨方法
CN110992275B (zh) * 2019-11-18 2023-05-23 天津大学 一种基于生成对抗网络的细化单幅图像去雨方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360155A (zh) * 2018-08-17 2019-02-19 上海交通大学 基于多尺度特征融合的单帧图像去雨方法
CN111462013A (zh) * 2020-04-03 2020-07-28 西安交通大学 一种基于结构化残差学习的单图去雨方法
CN112907479A (zh) * 2021-03-05 2021-06-04 西安电子科技大学 基于注意力机制的残差单幅图像去雨方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Single-Image Deraining via Recurrent Residual Multiscale Networks;Yupe Zheng et al;《IEEE Transactions on Neural Networks and Learning Systems》;20201230;1-14页 *
基于深度学习的非局部注意力增强网络图像去雨算法研究;盖杉等;《电子学报》;20201031;第48卷(第10期);1989-1908页 *

Also Published As

Publication number Publication date
CN113450278A (zh) 2021-09-28

Similar Documents

Publication Publication Date Title
CN113450278B (zh) 一种基于跨域协同学习的图像去雨方法
CN110135366B (zh) 基于多尺度生成对抗网络的遮挡行人重识别方法
Zhou et al. Uncertainty-aware consistency regularization for cross-domain semantic segmentation
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
Zhou et al. FSAD-Net: feedback spatial attention dehazing network
CN112884758B (zh) 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
Yin et al. Visual attention dehazing network with multi-level features refinement and fusion
Fu et al. Twice mixing: a rank learning based quality assessment approach for underwater image enhancement
CN112488025A (zh) 基于多模态特征融合的双时相遥感影像语义变化检测方法
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN114004766A (zh) 一种水下图像增强方法、系统和设备
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
CN116935043A (zh) 一种基于多任务生成对抗网络的典型地物遥感图像生成方法
Kan et al. A GAN-based input-size flexibility model for single image dehazing
Zheng et al. Double-branch dehazing network based on self-calibrated attentional convolution
Ran et al. RGAN: Rethinking generative adversarial networks for cloud removal
Zhang et al. LiteEnhanceNet: A lightweight network for real-time single underwater image enhancement
Su et al. Physical model and image translation fused network for single-image dehazing
Yin et al. Adams-based hierarchical features fusion network for image dehazing
Mi et al. Dense residual generative adversarial network for rapid rain removal
Zhang et al. MFFE: multi-scale feature fusion enhanced net for image dehazing
CN113962332B (zh) 基于自优化融合反馈的显著目标识别方法
Wang et al. A multi-scale attentive recurrent network for image dehazing
Qiao et al. Mutual channel prior guided dual-domain interaction network for single image raindrop removal
Mandal et al. Neural architecture search for image dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant