CN113191969A - 一种基于注意力对抗生成网络的无监督图像除雨方法 - Google Patents
一种基于注意力对抗生成网络的无监督图像除雨方法 Download PDFInfo
- Publication number
- CN113191969A CN113191969A CN202110422977.2A CN202110422977A CN113191969A CN 113191969 A CN113191969 A CN 113191969A CN 202110422977 A CN202110422977 A CN 202110422977A CN 113191969 A CN113191969 A CN 113191969A
- Authority
- CN
- China
- Prior art keywords
- generator
- rain
- network
- attention
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 43
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 238000011084 recovery Methods 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 21
- 238000005070 sampling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 12
- 230000007787 long-term memory Effects 0.000 claims description 12
- 230000006403 short-term memory Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- VHYFNPMBLIVWCW-UHFFFAOYSA-N 4-Dimethylaminopyridine Chemical compound CN(C)C1=CC=NC=C1 VHYFNPMBLIVWCW-UHFFFAOYSA-N 0.000 claims description 6
- 238000007476 Maximum Likelihood Methods 0.000 claims description 6
- 238000002790 cross-validation Methods 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 6
- 238000003062 neural network model Methods 0.000 abstract description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于注意力对抗生成网络的无监督图像除雨方法,涉及计算机视觉领域,主要涉及是一种可以进行无监督学习并且能够提高图片除雨效果的神经网络模型。可有效克服在生成对抗网络训练时所要求成对数据获取困难的问题,并引入了注意力机制,使得网络在处理图像时聚焦于有雨区域,输出更为理想无雨图像。步骤1、构建数据集;步骤2、搭建卷积神经网络;步骤3、训练;步骤4、实际使用。采用一个判别器代替原循环对抗生成网络的两个判别器,将网络精简且减少计算量,提高判别器的判别能力,进而提升生成器的图像恢复能力。使得网络在处理图像时聚焦于有雨区域,输出更为理想无雨图像。
Description
技术领域
本发明涉及计算机视觉领域,主要涉及是一种可以进行无监督学习并且能够提高图片除雨效果的神经网络模型,经过网络模型处理后的图像可见度得到显著提升。主要应用于图像风格转换和自动驾驶目标识别的数据增强等方面。
背景技术
雨水会导致捕获的图像和视频的视觉质量下降。雨水条纹(尤其是在大雨中)会对背景造成严重的遮挡。雨水堆积会导致无法单独看到远处的雨水条纹,并且与水颗粒一起在背景上形成一层面纱,这大大降低了背景的对比度和可见度。人类视觉和许多计算机视觉算法都遭受这种图像损坏的困扰,因为常见的计算机算法假定天气晴朗,不会单独考虑雨水条纹和雨水堆积的干扰。但在实际应用工况下,雨天是尤为常见的的一种天气状况,因此,提高有雨图像的质量对于后续图像的应用非常必要。
传统的除雨方法使用简单的线性映射转换,对输入的变化没有鲁棒性。雨水又具有不同的方向,密度和大小会导致传统的方法无法达到理想效果。近年来,基于深度学习的卷积层和非线性层的方法比传统方法具有明显的优势。这些方法在特征表示和处理效果都有了较大的提高。对于输入的变化有了更高的鲁棒性。但是神经网络的训练依托于大量的数据,并且绝大多数的网络需要输入相互匹配的同场景有雨与清晰图像样本对,这对数据集的构建增加了难度。
发明内容
本发明针对以上问题,提出了一种引入注意力机制的对抗生成网络无监督除雨方法,可有效克服在生成对抗网络训练时所要求成对数据获取困难的问题,并引入了注意力机制,使得网络在处理图像时聚焦于有雨区域,输出更为理想无雨图像。
本发明的技术方案为:按以下步骤进行图像处理:
步骤1、构建数据集:收集具有信息相关性的类似场景雨图和清晰图片作为网络训练数据集,并对所有图片做预处理;
步骤2、搭建卷积神经网络:构建的卷积神经网络包括三个子网络:生成器G、生成器F,判别器D;生成器G输入源域无雨图片x和目标域非对应有雨图像r,输出生成目标域有雨图片G(x,r);生成器F输入是生成器G生成的有雨图片G(x,r)和源域无雨图像x,输出生成的源域无雨图片F(G(x,r),x);生成器F的生成过程是源域图片x的重建过程,设计生成器F的重构损失使F(G(x,r),x′)和源域图片x相似,这样一张源域图片经过G变为目标域图片,目标域图片再经过F转换回源域图片;G和F为一个互逆的过程,一张图片依次经过G和F,图片保持不变;
步骤3、训练:训练判别器D,训练生成器G,训练生成器F;
步骤4、实际使用:训练完成后,将生成器F单独采用,完成输入有雨图像完成交叉验证与测试,得到处理完后无雨图像。
步骤2中生成器F详细参数如下:生成器F由两个子网络组成:注意力循环网络和语义自动编码器;
注意力循环网络详细参如下:将注意力循环网络的循环参数设定为5,每一次循环中包括残差网络、卷积长短期记忆网络两个部分,图像首先进入残差网络中,残差网络共有9层,第一层是32个具有3*3卷积核大小的滤波器,填充方式为SAME,对四维张量图做滑步为1的滑动卷积提取特征,第一层卷积后接Leaky-relu激活函数层。之后的八层同样是32个具有3*3卷积核大小的滤波器,填充方式为SAME,滑步为1的卷积层和Leaky-relu激活函数层;每两层做一次同等映射。随后将卷积后的特征图输入到卷积长短期记忆网络中;卷积长短期记忆网络包含一个输入门一个输入门it,一个遗忘门ft,一个输出门ot和一个细胞状态Ct组成。他们在时间维度上的相互关系如下:
语义自编码器详细参数如下:语义自编码器由上采样与下采样两部分构成;上采样首先经过四层卷积核为3*3,步长为2的卷积层,滤波器的个数分别为64,128,256,填充方式为SAME,每一层都接Leaky-Relu激活函数层并做实例归一化的处理。然后经过三层具有256个卷积核为3*3滤波器的空洞卷积,扩张率分别为2,4,8,16。空洞卷积在不通过池化层;不降低分辨率,不引入额外的参数与计算量的情况下增大感受野。之后再经过两层具有256个卷积核为3*3滤波器的卷积层;下采样包换2个反卷积层,第一层为128个卷积核为4*4的滤波器做步长为1/2的分步卷积,接着一层平均池化层,并做实例归一化的处理;然后将上采样第二层输出与此层输出合并成下一层输入。第二层为64个卷积核为4*4的滤波器做步长为1/2的分步卷积,随后接一层平均化层并做实例归一化;然后将上采样第一层输出与此层输出合并成下一层输入;在经历完上下采样后最后通过一个具有3个3*3卷积核的滤波器,且步长为1的卷积层作为F生成器的输出。
步骤2中生成器G的详细参数如下:生成器G与F的差异体现在注意力机制,生成器G的输入是源域无雨图像和并非相对应的目标域有雨图像,为生成器G与判别器D提供成对的数据集,使整个除雨网络实现无监督学习;相较于生成器F生成器G去除了卷积长短期记忆网络,也去除了注意力机制。
判别器D的详细参数如下:首先是7个卷积层,每个卷积层卷积核模板大小都为5*5,步长都为1,激活函数都为Leakey-ReLU,从最后三个卷积层提取特征并进行对应元素相乘生成注意力图。
步骤3中训练判别器D具体为,判别器输入为G生成的有雨图片作为标签,与真实无语图片和生成器F输出无雨图片;在注意力图指导下,采用极大似然估计来描述图像之间的差距,其损失函数可以表示为:
LD(O,X,AN)=-log(D(X))-log(1-D(O))+γLmap(O,X,AN)
其中O是生成器F语义自编码器的输出,X是原域真实无雨图像X,AN是真实的注意力图,Lmap代表的从辨别器内部各层注意力特征图与真实的注意图之间的损失量可表示为:
Lmap(O,X,AN)=LMSE(Dmap(O),AN)+LMSE(Dmap(X),0)。
步骤3中训练生成器G具体为,将真实源域图像X与非对应有雨图像输入,同时利用上一步训练的判别器D来训练生成器G,判别器D参数固定。生成器G的损失如下面公式所示:LG=10-2log(1-D(R))。
步骤3中训练生成器F具体为,生成器F的输入是G生成器产生的有雨图像和源域真实无雨图像以及二进制掩码M,二进制掩码M产生是有两张图像的灰度图相减所得到;利用注意力循环网络时间维度上输出的注意力图At与掩码M去的均方差值去引导生成器聚焦与有雨区域,以产生更好的局部图像恢复,也可以用于判别网络的聚焦评估;同时利用上一步训练的判别器D来训练生成器F;训练生成器G时,判别器D的参数固定;判别器D的输入语义自编码器产生的无雨图像O;为保证输入输出图像的一致性,加入循环一致性损失;生成器F的的损失函数可以表示为:
LF=10-2Lgan(O)+LATT({A},M)+λLcyc(X,O)
其中LATT是注意力损失,指的是注意力循环网络生成的注意力图At与掩码M均方差值。Lcyc是循环一致性损失;O是生成器F的输出。λ对循环一致性损失项的平滑加权系数;各项详细表达如下:
Lgan(O)=log(1-D(O))
Lcyc(X,O)=||X-O||1。
发明的有益效果为:
一、将循环对抗生成网络应用于除雨任务之中,使网络可以输入非匹配图像进行非监督训练。
二、将注意力机制引入到生成器F,使网络可以产生更好的局部图像恢复,也可以用于判别网络的聚焦评估。
三、在语义自编码器使用三层空洞卷积,在不通过池化层;不降低分辨率;不引入额外的参数与计算量的情况下增大网络的感受野。
四、采用一个判别器代替原循环对抗生成网络的两个判别器,将网络精简且减少计算量,提高判别器的判别能力,进而提升生成器的图像恢复能力。
五、可有效克服在生成对抗网络训练时所要求成对数据获取困难的问题,使得网络在处理图像时聚焦于有雨区域,输出更为理想无雨图像。
附图说明
图1为本发明注意力循环生成对抗除网络的模型示意图;
图2为本发明生成器F中注意力循环网络示意图;
图3为本发明生成器F中语义自编器网络示意图;
图4为重建损失示意图。
具体实施方式
为能清楚说明本专利的技术特点,下面通过具体实施方式,并结合其附图,对本专利进行详细阐述。
本发明如图1-4所示,按以下步骤进行图像处理:
首先通过步骤1进行数据集的搭建以及预处理,将数据集按照比例70%,15%,15%划分为训练集,验证集与训练集。之后步骤2搭建好网络模型,步骤3对判别器D进行训练,并分别对生成器G与F进行训练。步骤4从训练好的模型中单独提取出生成器F进行交叉验证与测试。
步骤1、构建数据集:收集具有信息相关性的类似场景雨图和清晰图片作为网络训练数据集,数据来源包括网上开源图片数据库以及自建图片数据集,并对所有图片做预处理;步骤1中的预处理包括利用pytorch中的transforms模块将图片数据尺寸调整为240*360,并且利用transform模块将图片随机裁剪与翻转和归一化,提高网络的鲁邦性。将两类图片数据按照相关度划分为不同的批次,每批次图像对的数量相当。
步骤2、搭建卷积神经网络:构建的卷积神经网络包括三个子网络:生成器G、生成器F,判别器D;生成器G输入源域无雨图片x和目标域非对应有雨图像r,输出生成目标域有雨图片G(x,r);生成器F输入是生成器G生成的有雨图片G(x,r)和源域无雨图像x,输出生成的源域无雨图片F(G(x,r),x);生成器F的生成过程是源域图片x的重建过程,设计生成器F的重构损失使F(G(x,r),x′)和源域图片x相似,这样一张源域图片经过G变为目标域图片,目标域图片再经过F转换回源域图片;G和F为一个互逆的过程,一张图片依次经过G和F,图片保持不变;保证图片在源域和目标域转换的过程中,重要特征不会丢失;因为如果G输出生成目标域有雨图片G(x,r)的过程中,如果生成器G不保留源域图片x的重要特征,F生成的源域图片F(G(x,r),x)将会和源域图片x有很大的不同;所以只有G和F在生成过程中都保留输入图片的重要特征,这种重建才能完成,这样背景重要信息才得以保留。判别器有两个作用:(1)使得生成器F生成的源域无雨图片F(G(x,r),x)和源域图片x在真实性方面尽量一致,即生成的源域无雨图片F(G(x,r),x)通过判别器的真假判别输出为真,提升图像的除雨效果;(2)使得生成器G生成的目标域有雨图片G(x,r)尽可能属于目标域,产生更为真实的下雨效果。
步骤2中生成器F详细参数如下:生成器F由两个子网络组成:注意力循环网络和语义自动编码器;注意力循环网络的目的是在输入图像中寻找需要注意的区域,这些区域主要是雨点区域及其周围的结构,这同样是语义自编码器需要聚焦的区域,使得生成器可以产生更好的局部图像恢复,也可以用于判别网络的聚焦评估。
注意力循环网络详细参如下:本发明中将注意力循环网络的循环参数设定为5,每一次循环中包括残差网络、卷积长短期记忆网络两个部分,图像首先进入残差网络中,残差网络共有9层,第一层是32个具有3*3卷积核大小的滤波器,填充方式为SAME,对四维张量图做滑步为1的滑动卷积提取特征,第一层卷积后接Leaky-relu激活函数层。之后的八层同样是32个具有3*3卷积核大小的滤波器,填充方式为SAME,滑步为1的卷积层和Leaky-relu激活函数层;每两层做一次同等映射。随后将卷积后的特征图输入到卷积长短期记忆网络中;卷积长短期记忆网络包含一个输入门一个输入门it,一个遗忘门ft,一个输出门ot和一个细胞状态Ct组成。他们在时间维度上的相互关系如下:
语义自编码器详细参数如下:语义自编码器由上采样与下采样两部分构成;上采样首先经过四层卷积核为3*3,步长为2的卷积层,滤波器的个数分别为64,128,256,填充方式为SAME,每一层都接Leaky-Relu激活函数层并做实例归一化的处理。然后经过三层具有256个卷积核为3*3滤波器的空洞卷积,扩张率分别为2,4,8,16。空洞卷积在不通过池化层;不降低分辨率,不引入额外的参数与计算量的情况下增大感受野。之后再经过两层具有256个卷积核为3*3滤波器的卷积层;下采样包换2个反卷积层,第一层为128个卷积核为4*4的滤波器做步长为1/2的分步卷积,接着一层平均池化层,并做实例归一化的处理;然后将上采样第二层输出与此层输出合并成下一层输入。第二层为64个卷积核为4*4的滤波器做步长为1/2的分步卷积,随后接一层平均化层并做实例归一化;然后将上采样第一层输出与此层输出合并成下一层输入;在经历完上下采样后最后通过一个具有3个3*3卷积核的滤波器,且步长为1的卷积层作为F生成器的输出。
步骤2中生成器G的详细参数如下:生成器G与F的差异体现在注意力机制,生成器G的输入是源域无雨图像和并非相对应的目标域有雨图像,为生成器G与判别器D提供成对的数据集,使整个除雨网络实现无监督学习;相较于生成器F生成器G去除了卷积长短期记忆网络,也去除了注意力机制。具体来说就是上述残差网络和自编码器所组成。
判别器D的详细参数如下:首先是7个卷积层,每个卷积层卷积核模板大小都为5*5,步长都为1,激活函数都为Leakey-ReLU,从最后三个卷积层提取特征并进行对应元素相乘生成注意力图。旨在指导判别器在聚焦局部区域判别输出图片是真是假。最后进入输出维度为1024的全连接层。
步骤3、训练:训练判别器D,训练生成器G,训练生成器F;
步骤3中训练判别器D具体为,判别器输入为G生成的有雨图片作为标签,与真实无语图片和生成器F输出无雨图片;在注意力图指导下,采用极大似然估计来描述图像之间的差距,其损失函数可以表示为:
LD(O,X,AN)=-log(D(X))-log(1-D(O))+γLmap(O,X,AN)
其中O是生成器F语义自编码器的输出,X是原域真实无雨图像X,AN是真实的注意力图,Lmap代表的从辨别器内部各层注意力特征图与真实的注意图之间的损失量可表示为:
Lmap(O,X,AN)=LMSE(Dmap(O),AN)+LMSE(Dmap(X),0)。
步骤3中训练生成器G具体为,将真实源域图像X与非对应有雨图像输入,同时利用上一步训练的判别器D来训练生成器G,判别器D参数固定。生成器G的损失如下面公式所示:LG=10-2log(1-D(R))。
步骤3中训练生成器F具体为,生成器F的输入是G生成器产生的有雨图像和源域真实无雨图像以及二进制掩码M,二进制掩码M产生是有两张图像的灰度图相减所得到;利用注意力循环网络时间维度上输出的注意力图At与掩码M去的均方差值去引导生成器聚焦与有雨区域,以产生更好的局部图像恢复,也可以用于判别网络的聚焦评估;同时利用上一步训练的判别器D来训练生成器F;训练生成器G时,判别器D的参数固定;判别器D的输入语义自编码器产生的无雨图像O;为保证输入输出图像的一致性,加入循环一致性损失;生成器F的的损失函数可以表示为:
LF=10-2Lgan(O)+LATT({A},M)+λLcyc(X,O)
其中LATT是注意力损失,指的是注意力循环网络生成的注意力图At与掩码M均方差值。Lcyc是循环一致性损失;O是生成器F的输出。λ对循环一致性损失项的平滑加权系数;各项详细表达如下:
Lgan(O)=log(1-D(O))
Lcyc(X,O)=||X-O||1。
步骤4、实际使用:训练完成后,将生成器F单独采用,完成输入有雨图像完成交叉验证与测试,得到处理完后无雨图像。
具体来说,根据网络模型与损失函数的设计使用Python语言与Pytorch深度学习框架实现图2和图3所示组成生成器F的循环网络和语义自编码器的模型,以及上述生成器G和辨别器D的模型。之后将划分好的训练集输入网络中进行训练,当损失函数很小或者不变化时候表示训练完成。最后将生成器F单独采用,完成输入有雨图像完成交叉验证与测试,得到处理完后无雨图像。
本发明具体实施途径很多,以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以作出若干改进,这些改进也应视为本发明的保护范围。
Claims (7)
1.一种基于注意力对抗生成网络的无监督图像除雨方法,其特征在于,按以下步骤进行图像处理:
步骤1、构建数据集:收集具有信息相关性的类似场景雨图和清晰图片作为网络训练数据集,并对所有图片做预处理;
步骤2、搭建卷积神经网络:构建的卷积神经网络包括三个子网络:生成器G、生成器F,判别器D;生成器G输入源域无雨图片x和目标域非对应有雨图像r,输出生成目标域有雨图片G(x,r);生成器F输入是生成器G生成的有雨图片G(x,r)和源域无雨图像x,输出生成的源域无雨图片F(G(x,r),x);生成器F的生成过程是源域图片x的重建过程,设计生成器F的重构损失使F(G(x,r),x′)和源域图片x相似,这样一张源域图片经过G变为目标域图片,目标域图片再经过F转换回源域图片;G和F为一个互逆的过程,一张图片依次经过G和F,图片保持不变;
步骤3、训练:训练判别器D,训练生成器G,训练生成器F;
步骤4、实际使用:训练完成后,将生成器F单独采用,完成输入有雨图像完成交叉验证与测试,得到处理完后无雨图像。
2.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法,其特征在于,步骤2中生成器F详细参数如下:生成器F由两个子网络组成:注意力循环网络和语义自动编码器;
注意力循环网络详细参如下:将注意力循环网络的循环参数设定为5,每一次循环中包括残差网络、卷积长短期记忆网络两个部分,图像首先进入残差网络中,残差网络共有9层,第一层是32个具有3*3卷积核大小的滤波器,填充方式为SAME,对四维张量图做滑步为1的滑动卷积提取特征,第一层卷积后接Leaky-relu激活函数层。之后的八层同样是32个具有3*3卷积核大小的滤波器,填充方式为SAME,滑步为1的卷积层和Leaky-relu激活函数层;每两层做一次同等映射。随后将卷积后的特征图输入到卷积长短期记忆网络中;卷积长短期记忆网络包含一个输入门一个输入门it,一个遗忘门ft,一个输出门ot和一个细胞状态Ct组成。他们在时间维度上的相互关系如下:
语义自编码器详细参数如下:语义自编码器由上采样与下采样两部分构成;上采样首先经过四层卷积核为3*3,步长为2的卷积层,滤波器的个数分别为64,128,256,填充方式为SAME,每一层都接Leaky-Relu激活函数层并做实例归一化的处理。然后经过三层具有256个卷积核为3*3滤波器的空洞卷积,扩张率分别为2,4,8,16。空洞卷积在不通过池化层;不降低分辨率,不引入额外的参数与计算量的情况下增大感受野。之后再经过两层具有256个卷积核为3*3滤波器的卷积层;下采样包换2个反卷积层,第一层为128个卷积核为4*4的滤波器做步长为1/2的分步卷积,接着一层平均池化层,并做实例归一化的处理;然后将上采样第二层输出与此层输出合并成下一层输入。第二层为64个卷积核为4*4的滤波器做步长为1/2的分步卷积,随后接一层平均化层并做实例归一化;然后将上采样第一层输出与此层输出合并成下一层输入;在经历完上下采样后最后通过一个具有3个3*3卷积核的滤波器,且步长为1的卷积层作为F生成器的输出。
3.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法,其特征在于,步骤2中生成器G的详细参数如下:生成器G与F的差异体现在注意力机制,生成器G的输入是源域无雨图像和并非相对应的目标域有雨图像,为生成器G与判别器D提供成对的数据集,使整个除雨网络实现无监督学习;相较于生成器F生成器G去除了卷积长短期记忆网络,也去除了注意力机制。
4.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法,其特征在于,判别器D的详细参数如下:首先是7个卷积层,每个卷积层卷积核模板大小都为5*5,步长都为1,激活函数都为Leakey-ReLU,从最后三个卷积层提取特征并进行对应元素相乘生成注意力图。
5.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法,其特征在于,步骤3中训练判别器D具体为,判别器输入为G生成的有雨图片作为标签,与真实无语图片和生成器F输出无雨图片;在注意力图指导下,采用极大似然估计来描述图像之间的差距,其损失函数可以表示为:
LD(O,X,AN)=-log(D(X))-log(1-D(O))+γLmap(O,X,AN)
其中O是生成器F语义自编码器的输出,X是原域真实无雨图像X,AN是真实的注意力图,Lmap代表的从辨别器内部各层注意力特征图与真实的注意图之间的损失量可表示为:
Lmap(O,X,AN)=LMSE(Dmap(O),AN)+LMSE(Dmap(X),0)。
6.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法,其特征在于,步骤3中训练生成器G具体为,将真实源域图像X与非对应有雨图像输入,同时利用上一步训练的判别器D来训练生成器G,判别器D参数固定。生成器G的损失如下面公式所示:LG=10-2log(1-D(R))。
7.根据权利要求1所述的一种基于注意力对抗生成网络的无监督图像除雨方法,其特征在于,步骤3中训练生成器F具体为,生成器F的输入是G生成器产生的有雨图像和源域真实无雨图像以及二进制掩码M,二进制掩码M产生是有两张图像的灰度图相减所得到;利用注意力循环网络时间维度上输出的注意力图At与掩码M去的均方差值去引导生成器聚焦与有雨区域,以产生更好的局部图像恢复,也可以用于判别网络的聚焦评估;同时利用上一步训练的判别器D来训练生成器F;训练生成器G时,判别器D的参数固定;判别器D的输入语义自编码器产生的无雨图像O;为保证输入输出图像的一致性,加入循环一致性损失;生成器F的的损失函数可以表示为:
LF=10-2Lgan(O)+LATT({A},M)+λLcyc(X,O)
其中LATT是注意力损失,指的是注意力循环网络生成的注意力图At与掩码M均方差值。Lcyc是循环一致性损失;O是生成器F的输出。λ对循环一致性损失项的平滑加权系数;各项详细表达如下:
Lgan(O)=log(1-D(O))
Lcyc(X,O)=||X-O||1。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110422977.2A CN113191969A (zh) | 2021-04-17 | 2021-04-17 | 一种基于注意力对抗生成网络的无监督图像除雨方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110422977.2A CN113191969A (zh) | 2021-04-17 | 2021-04-17 | 一种基于注意力对抗生成网络的无监督图像除雨方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113191969A true CN113191969A (zh) | 2021-07-30 |
Family
ID=76977554
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110422977.2A Pending CN113191969A (zh) | 2021-04-17 | 2021-04-17 | 一种基于注意力对抗生成网络的无监督图像除雨方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191969A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554568A (zh) * | 2021-08-03 | 2021-10-26 | 东南大学 | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 |
CN113807497A (zh) * | 2021-09-02 | 2021-12-17 | 电子科技大学 | 一种增强纹理细节的非配对图像翻译方法 |
CN113989605A (zh) * | 2021-09-29 | 2022-01-28 | 天津大学 | 基于自适应归一化的无监督注意力生成网络结构及方法 |
CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
CN114493781A (zh) * | 2022-01-25 | 2022-05-13 | 工银科技有限公司 | 用户行为预测方法、装置、电子设备及存储介质 |
CN114693744A (zh) * | 2022-02-18 | 2022-07-01 | 东南大学 | 一种基于改进循环生成对抗网络的光流无监督估计方法 |
CN114820379A (zh) * | 2022-05-12 | 2022-07-29 | 中南大学 | 基于注意力对偶残差生成对抗网络的图像类雨层去除方法 |
CN115818166A (zh) * | 2022-11-15 | 2023-03-21 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
CN115908387A (zh) * | 2022-12-23 | 2023-04-04 | 北京市农林科学院信息技术研究中心 | 生猪养殖场污点监控图像去污方法、装置及电子设备 |
CN115496989B (zh) * | 2022-11-17 | 2023-04-07 | 南京硅基智能科技有限公司 | 一种生成器、生成器训练方法及避免图像坐标粘连方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085678A (zh) * | 2020-09-04 | 2020-12-15 | 国网福建省电力有限公司检修分公司 | 一种适用于电力设备机巡图像去雨滴的方法及系统 |
CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
-
2021
- 2021-04-17 CN CN202110422977.2A patent/CN113191969A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085678A (zh) * | 2020-09-04 | 2020-12-15 | 国网福建省电力有限公司检修分公司 | 一种适用于电力设备机巡图像去雨滴的方法及系统 |
CN112508083A (zh) * | 2020-12-02 | 2021-03-16 | 南京邮电大学 | 基于无监督注意力机制的图像去雨雾方法 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554568A (zh) * | 2021-08-03 | 2021-10-26 | 东南大学 | 一种基于自监督约束和不成对数据的无监督循环去雨网络方法 |
CN113807497B (zh) * | 2021-09-02 | 2023-09-15 | 电子科技大学 | 一种增强纹理细节的非配对图像翻译方法 |
CN113807497A (zh) * | 2021-09-02 | 2021-12-17 | 电子科技大学 | 一种增强纹理细节的非配对图像翻译方法 |
CN113989605A (zh) * | 2021-09-29 | 2022-01-28 | 天津大学 | 基于自适应归一化的无监督注意力生成网络结构及方法 |
CN114332460A (zh) * | 2021-12-07 | 2022-04-12 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
CN114332460B (zh) * | 2021-12-07 | 2024-04-05 | 合肥工业大学 | 一种半监督单图像去雨处理方法 |
CN114493781A (zh) * | 2022-01-25 | 2022-05-13 | 工银科技有限公司 | 用户行为预测方法、装置、电子设备及存储介质 |
CN114693744A (zh) * | 2022-02-18 | 2022-07-01 | 东南大学 | 一种基于改进循环生成对抗网络的光流无监督估计方法 |
CN114820379A (zh) * | 2022-05-12 | 2022-07-29 | 中南大学 | 基于注意力对偶残差生成对抗网络的图像类雨层去除方法 |
CN114820379B (zh) * | 2022-05-12 | 2024-04-26 | 中南大学 | 基于注意力对偶残差生成对抗网络的图像类雨层去除方法 |
CN115818166B (zh) * | 2022-11-15 | 2023-09-26 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
CN115818166A (zh) * | 2022-11-15 | 2023-03-21 | 华能伊敏煤电有限责任公司 | 轮斗连续系统无人值守自动控制方法及其系统 |
CN115496989B (zh) * | 2022-11-17 | 2023-04-07 | 南京硅基智能科技有限公司 | 一种生成器、生成器训练方法及避免图像坐标粘连方法 |
US12056903B2 (en) | 2022-11-17 | 2024-08-06 | Nanjing Silicon Intelligence Technology Co., Ltd. | Generator, generator training method, and method for avoiding image coordinate adhesion |
CN115908387A (zh) * | 2022-12-23 | 2023-04-04 | 北京市农林科学院信息技术研究中心 | 生猪养殖场污点监控图像去污方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113191969A (zh) | 一种基于注意力对抗生成网络的无监督图像除雨方法 | |
Tian et al. | Deep learning on image denoising: An overview | |
CN109035149B (zh) | 一种基于深度学习的车牌图像去运动模糊方法 | |
CN111274921B (zh) | 一种利用姿态掩模进行人体行为识别的方法 | |
CN111127354B (zh) | 一种基于多尺度字典学习的单图像去雨方法 | |
CN110070517B (zh) | 基于退化成像机理和生成对抗机制的模糊图像合成方法 | |
CN115908187A (zh) | 基于快速去噪扩散概率模型的图像特征分析与生成方法 | |
CN106157332A (zh) | 一种基于ViBe算法的运动检测优化方法 | |
CN113011357A (zh) | 基于时空融合的深度伪造人脸视频定位方法 | |
CN111275638A (zh) | 基于多通道注意力选择生成对抗网络的人脸修复方法 | |
CN115358952B (zh) | 一种基于元学习的图像增强方法、系统、设备和存储介质 | |
CN110610458A (zh) | 一种基于岭回归的gan图像增强交互处理方法及系统 | |
CN116309062A (zh) | 一种遥感图像超分辨率重建方法 | |
Nair et al. | T2v-ddpm: Thermal to visible face translation using denoising diffusion probabilistic models | |
Lu et al. | Image-specific prior adaptation for denoising | |
Babu et al. | An efficient image dahazing using Googlenet based convolution neural networks | |
CN112541566B (zh) | 一种基于重构损失的图像翻译方法 | |
CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
CN113807237A (zh) | 活体检测模型的训练、活体检测方法、计算机设备及介质 | |
CN116452469B (zh) | 一种基于深度学习的图像去雾处理方法及装置 | |
CN116563103A (zh) | 一种基于自适应神经网络的遥感图像时空融合方法 | |
CN114821174A (zh) | 一种基于内容感知的输电线路航拍图像数据清洗方法 | |
CN115393491A (zh) | 一种基于实例分割和参考帧的水墨视频生成方法及装置 | |
CN114332460B (zh) | 一种半监督单图像去雨处理方法 | |
CN117036893B (zh) | 一种基于局部跨阶段和快速下采样的图像融合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |