CN112184577A - 基于多尺度自注意生成对抗网络的单幅图像去雾方法 - Google Patents

基于多尺度自注意生成对抗网络的单幅图像去雾方法 Download PDF

Info

Publication number
CN112184577A
CN112184577A CN202010981997.9A CN202010981997A CN112184577A CN 112184577 A CN112184577 A CN 112184577A CN 202010981997 A CN202010981997 A CN 202010981997A CN 112184577 A CN112184577 A CN 112184577A
Authority
CN
China
Prior art keywords
image
input
loss
feature
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010981997.9A
Other languages
English (en)
Other versions
CN112184577B (zh
Inventor
石争浩
周昭润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Qianxi Network Technology Co ltd
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010981997.9A priority Critical patent/CN112184577B/zh
Publication of CN112184577A publication Critical patent/CN112184577A/zh
Application granted granted Critical
Publication of CN112184577B publication Critical patent/CN112184577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开的基于多尺度自注意生成对抗网络的单幅图像去雾方法,通过将图像归化成的训练集对将图像进行两次下采样构建的生成对抗网络模型进行训练,得到训练后的生成对抗网络模型,训练过程中对去雾结果用损失函数进行优化,最后将有雾图像输入到生成对抗网络模型中,得到去雾图像。本发明提供的单幅图像去雾方法,解决了现有技术中去雾图像质量差的问题。

Description

基于多尺度自注意生成对抗网络的单幅图像去雾方法
技术领域
本发明属于图像处理技术领域,涉及一种基于多尺度自注意生成对抗网络的单幅图像去雾方法。
背景技术
单幅图像去雾的目的是从有雾图像中恢复干净的图像,这对于后续的高级别任务(如对象识别和场景理解)是必不可少的。因此,图像去雾在计算机视觉领域得到了广泛的关注。根据物理模型,图像去雾过程可以用公式表示为
I(x)=J(x)t(x)+A(1-t(x)) (1);
其中I(x)和J(x)分别表示有雾图像和清晰图像。A表示全局大气光,t(x)表示传输映射。传输映射可以表示为t(x)=e-βd(x),d(x)和β分别表示景深和大气散射系数。定义一张有雾图像I(x),大多数算法通过估计t(x)和A来恢复清晰图像J(x)。
然而,从有雾图像中估计传输映射和全局大气光通常是一个不适定的问题。早期基于先验的方法试图利用清晰图像的统计特性来估计传输映射,如暗通道先验和颜色线先验,这些图像先验很容易产生和真实图像不一致的情况,导致传输估计不准确,因此,恢复的图像质量通常不准确。
随着深度学习的兴起,透射图或大气光的估计由卷积神经网络来估计,而不是依赖先验。为了解决这一问题,研究人员采用卷积神经网络(CNN)直接估计传输映射、全局大气光或预测清晰图像,这种方法具有显著的性能改进。但是,无论是估计传输映射和全局大气光还是基于深度学习,都几乎取决于物理散射模型,大气光和透射图的估计精度对去雾图像的质量有很大的影响,从而影响了最终清晰图像的获取。
发明内容
本发明的目的是提供一种基于多尺度自注意生成对抗网络的单幅图像去雾方法,解决了现有技术中存在的去雾图像质量差的问题。
本发明所采用的技术方案是,基于多尺度自注意生成对抗网络的单幅图像去雾方法,包括以下步骤:
步骤1、获取图像数据集,对图像数据集中的每个有雾图像的像素值归一化为[-1,1],得到训练集;
步骤2、将输入的有雾图像进行两次下采样得到两个尺度的缩放图像,构建生成对抗网络模型,生成对抗网络模型由生成网络和判别网络组成;
步骤3、利用步骤1得到的训练集对步骤2构建的生成对抗网络模型进行训练,得到训练后的生成对抗网络模型,训练过程中对去雾结果采用损失函数进行优化;
步骤4、将有雾图像输入到步骤3训练后的生成对抗网络模型中,得到去雾图像。
本发明的特点还在于,
步骤2构建生成对抗网络模型的步骤为:将输入原始大小有雾图像的路径作为生成器的主干网络,下采样后两个尺度缩放图像的路径作为分支输入到主干网络中,每一个分支都采用自注意力机制;
对于生成器生成的去雾图像,和输入图像尺寸大小相同的输出作为最终的去雾结果,将得到的分支去雾结果作为监督学习的一部分,来约束生成器模型。
构建生成对抗网络模型步骤中:
自注意力机制首先对输入的特征映射X进行线性映射,然后得到特征θ,
Figure BDA0002687862070000036
g;
通过调整特征映射的维度,合并上述的三个特征除通道数外的维度,然后对θ和
Figure BDA0002687862070000037
进行矩阵点乘操作并经过softmax函数处理得到注意力特征映射;将得到的注意力特征映射与特征g进行点乘,然后将点乘后的结果经过线性变换后与输入的特征进行相加得到自注意力特征Z;
残差块主要包括卷积层和激活函数两个部分,输入特征首先经过卷积层得到特征映射,然后将得到的特征映射输入到激活函数中进行激活,将激活后的特征映射再次输入到卷积层中进行卷积,将卷积得到的特征映射与输入进行相加,并将相加的结果经过激活函数处理后输出最终的特征映射;
卷积残差块首先将输入的特征分为五个部分,每个部分根据卷积核的大小按不同的比例分配输入的特征映射,然后每个卷积层对分配的特征映射进行卷积得到对应卷积核的特征映射,最后将得到的5个部分的特征映射进行通道连接,得到与输入特征映射通道数相同的结果。
构建生成对抗网络模型具体操作为:
a.将训练集中的图像Ix使用双线性插值进行下采样得到图像尺度为Ix
Figure BDA0002687862070000031
大小的
Figure BDA0002687862070000032
和图像尺度为Ix
Figure BDA0002687862070000033
Figure BDA0002687862070000034
b.对于输入为
Figure BDA0002687862070000035
的分支,我们首先将输入的图像经过一个由卷积、实例归一化和激活函数组成的网络层进行特征提取得到处理后的特征映射O1
c.将特征映射O1输入到自注意力模块Attention中,得到具有全局注意力的特征映射O2
d.将自注意力特征O2经过一个残差块进行特征矫正;
e.对于输入为
Figure BDA0002687862070000041
的分支采用和输入为
Figure BDA0002687862070000042
分支相同的操作得到O6
f.对于主干分支,我们首先将输入的
Figure BDA0002687862070000043
经过一个卷积核大小为3、步长为1的卷积层,输出特征映射O7
g.将特征映射O7依次经过三个残差块来提取浅层特征;
h.使用卷积核大小为3,步长为2的卷积层对特征映射O10进行下采样得到特征映射O11
i.将特征O11与输入为
Figure BDA0002687862070000044
的分支的特征O3进行通道连接,并使用两个残差块来整合特征;
j.使用卷积核大小为3,步长为2的卷积层将特征O12进行下采样,进一步扩大网络的感受野;
k.将特征O13与输入为
Figure BDA0002687862070000045
的分支的特征O6进行通道连接,并使用四个金字塔卷积残差块来充分利用深层特征;
l.将特征O17使用卷积核为3,步长为2的反卷积层进行上采样得到特征映射O18
m.将特征O18与跳跃链接O12进行通道连接,并用两个残差块进行整合;
n.将深层特征O19输入卷积核为3、步长为2的反卷积层进行上采样,输出特征O20
o.通过跳过连接将特征O20与浅层特征O10进行通道连接得到组合特征,并将组合特征输入三个残差块进行整合,输出特征O21
p.将特征O21使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像RX
q.将特征O19与特征O3进行通道连接,并使用一个残差块进行整合得到输出特征O22
r.将特征O22使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像
Figure BDA0002687862070000051
s.将特征O17与特征O6进行通道连接,并使用一个残差块进行整合得到输出特征O23
t.将特征O23使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像
Figure BDA0002687862070000052
残差块采用金字塔卷积残差块。
步骤3中的损失函数具体为:去雾结果
Figure BDA0002687862070000053
和去雾结果
Figure BDA0002687862070000054
采用L1损失和结构相似性损失,去雾结果RX采用对抗损失、感知损失、L1损失和结构相似性损失进行优化,网络的总损失函数为:
Figure BDA0002687862070000055
上式中,LossL1为L1损失,LossSSIM为结构相似性损失,LossVGG为感知损失。参数为λ1=10,λ2=0.00001,λ3=10。
结构相似性损失函数中,设x和y分别表示观察到的图像和输出图像,R(x)表示输入x的去雾结果,因此,R(x)和y之间的SSIM如下所示:
SSIM=[l(R(x),y)]α·[c(R(x),y)]β·s(R(x),y)γ;其中,l、c和分别表示亮度、对比度和结构,α,β和γ是系数,SSIM损失可以定义为:LossSSIM=1-SSIM(R(x),y);
对抗性损失为在去雾结果中,采用的具有梯度惩罚的WGAN(WGAN-GP),损失函数为:
Figure BDA0002687862070000061
Figure BDA0002687862070000062
其中RX为去雾后的结果,J为清晰图像,
Figure BDA0002687862070000063
定义为来自真实数据分布和生成器分布的点对之间沿直线的样本,λGP作为权重因子;
感知损失为引入了预先训练的VGG19网络的感知损失,函数为:
Figure BDA0002687862070000064
其中φi()表示VGG19网络第i层的激活。W,H和C分别表示图像的宽度,高度和通道数;
L1损失为为了捕获图像中的低电平频率所使用的函数,函数为:
Figure BDA0002687862070000065
本发明的有益效果是:
本发明提出的基于多尺度自注意生成对抗网络的单幅图像去雾方法,首先将有雾图像进行两次下采样,从而产生三种尺度的有雾图像,对于下采样后两个尺度的图像,首先经过自注意力机制,然后对应的特征映射输入到生成器的主干网络中。对于不同尺度的图像采用自注意力机制可以在扩大感受野的同时提高网络的特征提取能力。对于生成器,用残差块替代了传统的卷积块,并且在生成器的中间部分采用金字塔卷积残差块来提高网络的性能;判别器采用PatchGANs的判别网络,最终提高了去雾图像的质量。
附图说明
图1是本发明单幅图像去雾方法的流程图;
图2是本发明单幅图像去雾方法中自注意力机制的结构示意图;
图3是本发明单幅图像去雾方法中残差块的结构示意图;
图4是本发明单幅图像去雾方法中金字塔卷积残差块的结构示意图;
图5是本发明单幅图像去雾方法中生成器的结构示意图;
图6是本发明单幅图像去雾方法实施例的流程示意图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于多尺度自注意生成对抗网络的单幅图像去雾方法,生成器网络输入包括三个不同的图像尺度,对于两个分支网络,通过采用自注意力机制考虑每个像素与所有其他像素的关系来计算非局部增强特征,并将得到的增强的特征输入到主干网络中,增强主干网络的图像去雾能力。目前自注意力机制的存放位置一般为网络的前端,而注意力由于计算复杂,因此通用的做法是在主干网络中对特征映射进行下采样后再引入自注意力机制,但是这种方法不能直接从图像中通过自注意力机制得到增强特征,因此我们采用了先对图像进行下采样,然后直接使用自注意力机制的方法来充分提取图像的增强特征。在网络的末端我们将对网络中不同的分辨率的特征映射都卷积为一个去雾图像,通过不同尺度的监督学习来进一步提高和输入图像尺寸相同的去雾结果。
利用训练集对生成对抗网络模型进行训练,得到训练后的生成对抗网络模型,训练过程中不同的尺度的去雾结果采用不同的损失函数进行优化。去雾结果Ri和去雾结果Rj采用L1损失和结构相似性损失,去雾结果Rk采用对抗损失、感知损失、L1损失和结构相似性损失进行优化,k=2j=4i。
如图6所示,以尺寸为256x 256x 3的有雾图像为实施例,本发明基于多尺度自注意生成对抗网络的单幅图像去雾方法。
如图1所示,包括以下步骤:
步骤1、获取图像数据集,对图像数据集中的每个有雾图像的像素值归一化为[-1,1],得到训练集;
步骤2、将输入的尺寸为256x 256x 3的有雾图像进行两次下采样得到尺寸为128x128x 3和64x64 x 3,构建生成对抗网络模型,生成对抗网络模型包括生成网络和判别网络;
将输入有雾图像尺寸为256x 256x 3的路径作为生成器的主干网络,尺寸为128x128x 3和尺寸为64x 64x 3的路径作为的分支输入到主干网络中,并且每一个分支都采用自注意力机制;
对于生成器生成的去雾图像,将和输入图像尺寸256x256x3大小相同的输出作为最终的去雾结果,将得到的分支去雾结果作为监督学习的一部分,来约束生成器模型。
如图2所示,自注意力机制首先对输入的特征映射X进行线性映射,然后得到特征θ,
Figure BDA0002687862070000081
g。
通过调整特征映射的维度,合并上述的三个特征除通道数外的维度,然后对θ和
Figure BDA0002687862070000082
进行矩阵点乘操作并经过softmax函数处理得到注意力特征映射;
将得到的注意力特征映射与特征g进行点乘,然后将点乘后的结果经过线性变换后与输入的特征进行相加得到自注意力特征Z;
如图3所示,残差块主要包括卷积层和激活函数两个部分,输入特征首先经过卷积层得到特征映射,然后将得到的特征映射输入到激活函数中进行激活,将激活后的特征映射再次输入到卷积层中进行卷积,将卷积得到的特征映射与输入进行相加,并将相加的结果经过激活函数处理后输出最终的特征映射。
如图4所示,金字塔卷积残差块是以残差块的结构为主干,改进了卷积层的处理方式。金字塔卷积首先将输入特征映射根据卷积核尺寸1、3、5、7、9按1:1:2:4:8的比例划分为五个部分,然后每个卷积层对分配的特征映射进行卷积得到对应卷积核的特征映射,最后将得到的5个部分的特征映射进行通道连接,得到与输入特征映射通道数相同的结果。
如图5所示,生成网络的具体操作如下:
a.将训练集中的图像I256使用双线性插值进行下采样得到图像尺度为128x128x3的I128和图像尺度为64x64x3的I64
I128=DownSmaple(I256) (1);
I64=DownSmaple(I128) (2);
b.对于输入为I128的分支,我们首先将输入的图像经过一个由卷积、实例归一化和激活函数组成的网络层进行特征提取得到处理后的特征映射O1:
O1=relu(instance_norm(conv(I128))) (3);
c.将O1输入到自注意力模块Attention中,得到具有全局注意力的特征映射O2:
O2=Attention(O1) (4);
d.将自注意力特征O2经过一个残差块进行特征矫正;
O3=ResBlock(O2) (5);
e.对于输入为I64的分支采用和输入为I128分支相同的操作得到O6
O4=relu(instance_norm(conv(I64))) (6);
O5=Attention(O4) (7);
O6=ResBlock(O5) (8);
f.对于主干分支,我们首先将输入的I256经过一个卷积核大小为3,步长为1的卷积层,输出特征映射O7
O7=conv(I256) (9);
g.将特征映射O7依次经过三个残差块来提取浅层特征;
O8=ResBlock(O7) (10);
O9=ResBlock(O8) (11);
O10=ResBlock(O9) (12);
h.使用卷积核大小为3,步长为2的卷积层对特征映射O10进行下采样得到特征映射O11
O11=relu(instance_norm(conv(O10))) (13);
i.将特征O11与输入为I128的分支的特征O3进行通道连接,并使用两个残差块来整合特征;
O12=ResBlock(ResBlock(concat(O11,O3))) (14);
j.使用卷积核大小为3,步长为2的卷积层将特征O12进行下采样,进一步扩大网络的感受野;
O13=relu(instance_norm(conv(O12))) (15);
k.将特征O13与输入为I64的分支的特征O6进行通道连接,并使用四个金字塔卷积残差块来充分利用深层特征;
O14=concat(O13,O6) (16);
O15=PyResBlock(O14) (17);
O16=PyResBlock(O15) (18);
O17=PyResBlock(O16) (19);
l.将特征O17使用卷积核为3,步长为2的反卷积层进行上采样得到特征映射O18
O18=relu(instance_norm(deconv(O17))) (20);
m.将特征O18与跳跃链接O12进行通道连接,并用两个残差块进行整合;
O19=ResBlock(ResBlock(concat(O18,O12))) (21);
n.将深层特征O19输入卷积核为3、步长为2的反卷积层进行上采样,输出特征O20
O20=relu(instance_norm(deconv(O19))) (22);
o.通过跳过连接将特征O20与浅层特征O10进行通道连接得到组合特征,并将组合特征输入三个残差块进行整合,输出特征O21
O21=ResBlock(ResBlock(ResBlock(concat(O20,O10)))) (23);
p.将特征O21使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像R256
Figure BDA0002687862070000112
q.将特征O19与特征O3进行通道连接,并使用一个残差块进行整合得到输出特征O22
O22=ResBlock(concat(O19,O3)) (25);
r.将特征O22使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像R128
Figure BDA0002687862070000113
s.将特征O17与特征O6进行通道连接,并使用一个残差块进行整合得到输出特征O23
O23=ResBlock(concat(O17,O6)) (27);
t.将特征O23使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像R64
Figure BDA0002687862070000111
步骤3、利用训练集对生成对抗网络模型进行训练,得到训练后的生成对抗网络模型,训练过程中不同的尺度的去雾结果采用不同的损失函数进行优化。去雾结果R64和去雾结果R128采用L1损失和结构相似性损失,去雾结果R256采用对抗损失、感知损失、L1损失和结构相似性损失进行优化。网络的总损失函数为:
Figure BDA0002687862070000121
上式中,LossL1为L1损失,LossSSIM为结构相似性损失,LossVGG为感知损失,根据多次的实验调参,我们在λ1=10,λ2=0.00001,λ3=10时的去雾结果最好。
结构相似性损失:我们使用结构相似性损失来提高每个尺度去雾图像的结构质量。设x和y分别表示观察到的图像和输出图像,R(x)表示输入x的去雾结果,因此,R(x)和y之间的SSIM如下所示:
SSIM=[l(R(x),y)]α·[c(R(x),y)]β·s(R(x),y)γ (1);
上式中,l、c和s分别表示亮度、对比度和结构,α,β和γ是系数,SSIM损失可以定义为:
LossSSIM=1-SSIM(R(x),y) (2);
对抗性损失:在尺寸为256x256x3的去雾结果中,采用的具有梯度惩罚的WGAN(WGAN-GP),损失函数如下:
Figure BDA0002687862070000122
R256表示去雾后的结果,J为清晰图像,
Figure BDA0002687862070000123
定义为来自真实数据分布和生成器分布的点对之间沿直线的样本,λGP作为权重因子。
感知损失:为了尽量减少融合解码器结果的感知特征与真实图像的感知特征之间的差异,引入了预先训练的VGG19网络的感知损失,公式如下:
Figure BDA0002687862070000124
上式中,φi()表示VGG19网络第i层的激活。W,H和C分别表示图像的宽度,高度和通道数。
L1损失:为了使生成的多尺度去雾图像更真实,使用L1损失函数来捕获图像中的低电平频率。L1的损失为:
LossL1=||R64-J64||1+||R128-J128||1+||R256-J256||1 (6)。
步骤4、将有雾图像输入训练后的生成对抗网络模型中,得到去雾图像。
本发明方法得到的去雾图像可以分别采用峰值信噪比、结构相似性与清晰图像进行对比,来评价去雾结果。本方法提高了去雾图像与清晰图像之间的结构相似性和峰值信噪比,使得去雾结果更逼近真实的清晰图像。

Claims (9)

1.基于多尺度自注意生成对抗网络的单幅图像去雾方法,其特征在于,包括以下步骤:
步骤1、获取图像数据集,对图像数据集中的每个有雾图像的像素值归一化为[-1,1],得到训练集;
步骤2、将输入的有雾图像进行两次下采样得到两个尺度的缩放图像,构建生成对抗网络模型,生成对抗网络模型由生成网络和判别网络组成;
步骤3、利用步骤1得到的训练集对步骤2构建的生成对抗网络模型进行训练,得到训练后的生成对抗网络模型,训练过程中对去雾结果采用损失函数进行优化;
步骤4、将有雾图像输入到步骤3训练后的生成对抗网络模型中,得到去雾图像。
2.根据权利要求1所述的单幅图像去雾方法,其特征在于,所述步骤2构建生成对抗网络模型的步骤为:将输入原始大小有雾图像的路径作为生成器的主干网络,下采样后两个尺度缩放图像的路径作为分支输入到主干网络中,每一个分支都采用自注意力机制;
对于生成器生成的去雾图像,和输入图像尺寸大小相同的输出作为最终的去雾结果,将得到的分支去雾结果作为监督学习的一部分,来约束生成器模型。
3.根据权利要求2所述的单幅图像去雾方法,其特征在于,所述构建生成对抗网络模型步骤中:
自注意力机制首先对输入的特征映射X进行线性映射,然后得到特征θ,
Figure FDA0002687862060000011
g;
通过调整特征映射的维度,合并上述的三个特征除通道数外的维度,然后对θ和
Figure FDA0002687862060000021
进行矩阵点乘操作并经过softmax函数处理得到注意力特征映射;将得到的注意力特征映射与特征g进行点乘,然后将点乘后的结果经过线性变换后与输入的特征进行相加得到自注意力特征Z;
残差块主要包括卷积层和激活函数两个部分,输入特征首先经过卷积层得到特征映射,然后将得到的特征映射输入到激活函数中进行激活,将激活后的特征映射再次输入到卷积层中进行卷积,将卷积得到的特征映射与输入进行相加,并将相加的结果经过激活函数处理后输出最终的特征映射;
卷积残差块首先将输入的特征分为五个部分,每个部分根据卷积核的大小按不同的比例分配输入的特征映射,然后每个卷积层对分配的特征映射进行卷积得到对应卷积核的特征映射,最后将得到的5个部分的特征映射进行通道连接,得到与输入特征映射通道数相同的结果。
4.根据权利要求3所述的单幅图像去雾方法,其特征在于,所述构建生成对抗网络模型具体操作为:
a.将训练集中的图像Ix使用双线性插值进行下采样得到图像尺度为Ix
Figure FDA0002687862060000022
大小的
Figure FDA0002687862060000023
和图像尺度为Ix
Figure FDA0002687862060000024
Figure FDA0002687862060000025
b.对于输入为
Figure FDA0002687862060000026
的分支,我们首先将输入的图像经过一个由卷积、实例归一化和激活函数组成的网络层进行特征提取得到处理后的特征映射O1
c.将特征映射O1输入到自注意力模块Attention中,得到具有全局注意力的特征映射O2
d.将自注意力特征O2经过一个残差块进行特征矫正;
e.对于输入为
Figure FDA0002687862060000031
的分支采用和输入为
Figure FDA0002687862060000032
分支相同的操作得到O6
f.对于主干分支,我们首先将输入的
Figure FDA0002687862060000033
经过一个卷积核大小为3、步长为1的卷积层,输出特征映射O7
g.将特征映射O7依次经过三个残差块来提取浅层特征;
h.使用卷积核大小为3,步长为2的卷积层对特征映射O10进行下采样得到特征映射O11
i.将特征O11与输入为
Figure FDA0002687862060000034
的分支的特征O3进行通道连接,并使用两个残差块来整合特征;
j.使用卷积核大小为3,步长为2的卷积层将特征O12进行下采样,进一步扩大网络的感受野;
k.将特征O13与输入为
Figure FDA0002687862060000035
的分支的特征O6进行通道连接,并使用四个金字塔卷积残差块来充分利用深层特征;
l.将特征O17使用卷积核为3,步长为2的反卷积层进行上采样得到特征映射O18
m.将特征O18与跳跃链接O12进行通道连接,并用两个残差块进行整合;
n.将深层特征O19输入卷积核为3、步长为2的反卷积层进行上采样,输出特征O20
o.通过跳过连接将特征O20与浅层特征O10进行通道连接得到组合特征,并将组合特征输入三个残差块进行整合,输出特征O21
p.将特征O21使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像RX
q.将特征O19与特征O3进行通道连接,并使用一个残差块进行整合得到输出特征O22
r.将特征O22使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像
Figure FDA0002687862060000041
s.将特征O17与特征O6进行通道连接,并使用一个残差块进行整合得到输出特征O23
t.将特征O23使用卷积核为3,步长为1的卷积操作来恢复通道数,并使用tanh激活函数激活,得到最终的去雾图像
Figure FDA0002687862060000042
5.根据权利要求1所述的单幅图像去雾方法,其特征在于,所述的判别网络为PatchGAN的判别网络。
6.根据权利要求4所述的单幅图像去雾方法,其特征在于,所述的残差块采用金字塔卷积残差块。
7.根据权利要求1所述的单幅图像去雾方法,其特征在于,所述步骤3中的损失函数具体为:去雾结果
Figure FDA0002687862060000043
和去雾结果
Figure FDA0002687862060000044
采用L1损失和结构相似性损失,去雾结果RX采用对抗损失、感知损失、L1损失和结构相似性损失进行优化,网络的总损失函数为:
Figure FDA0002687862060000045
上式中,LossL1为L1损失,LossSSIM为结构相似性损失,LossVGG为感知损失。
8.根据权利要求6所述的单幅图像去雾方法,其特征在于,所述参数为λ1=10,λ2=0.00001,λ3=10。
9.根据权利要求6所述的单幅图像去雾方法,其特征在于,所述结构相似性损失函数中,设x和y分别表示观察到的图像和输出图像,R(x)表示输入x的去雾结果,因此,R(x)和y之间的SSIM如下所示:
SSIM=[l(R(x),y)]α·[c(R(x),y)]β·s(R(x),y)γ;其中,l、c和分别表示亮度、对比度和结构,α,β和γ是系数,SSIM损失可以定义为:LossSSIM=1-SSIM(R(x),y);
所述的对抗性损失为在去雾结果中,采用的具有梯度惩罚的WGAN(WGAN-GP),损失函数为:
Figure FDA0002687862060000051
Figure FDA0002687862060000052
其中RX为去雾后的结果,J为清晰图像,
Figure FDA0002687862060000053
定义为来自真实数据分布和生成器分布的点对之间沿直线的样本,λGP作为权重因子;
所述感知损失为引入了预先训练的VGG19网络的感知损失,函数为:
Figure FDA0002687862060000054
其中φi()表示VGG19网络第i层的激活。W,H和C分别表示图像的宽度,高度和通道数;
所述L1损失为为了捕获图像中的低电平频率所使用的函数,函数为:
Figure FDA0002687862060000055
CN202010981997.9A 2020-09-17 2020-09-17 基于多尺度自注意生成对抗网络的单幅图像去雾方法 Active CN112184577B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010981997.9A CN112184577B (zh) 2020-09-17 2020-09-17 基于多尺度自注意生成对抗网络的单幅图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010981997.9A CN112184577B (zh) 2020-09-17 2020-09-17 基于多尺度自注意生成对抗网络的单幅图像去雾方法

Publications (2)

Publication Number Publication Date
CN112184577A true CN112184577A (zh) 2021-01-05
CN112184577B CN112184577B (zh) 2023-05-26

Family

ID=73921629

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010981997.9A Active CN112184577B (zh) 2020-09-17 2020-09-17 基于多尺度自注意生成对抗网络的单幅图像去雾方法

Country Status (1)

Country Link
CN (1) CN112184577B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767275A (zh) * 2021-01-25 2021-05-07 中国人民解放军火箭军工程大学 一种基于人工稀疏标注信息引导的单张图像去雾方法
CN112801902A (zh) * 2021-01-29 2021-05-14 福州大学 一种基于改进生成对抗网络的交通图像去雾方法
CN112884680A (zh) * 2021-03-26 2021-06-01 南通大学 一种利用端到端神经网络的单幅图像去雾方法
CN112950498A (zh) * 2021-02-24 2021-06-11 苏州加乘科技有限公司 一种基于对抗网络和多尺度密集特征融合图像去雾方法
CN112950521A (zh) * 2021-04-27 2021-06-11 上海海事大学 一种图像去雾方法及生成器网络
CN113066025A (zh) * 2021-03-23 2021-07-02 河南理工大学 一种基于增量学习与特征、注意力传递的图像去雾方法
CN113487571A (zh) * 2021-07-07 2021-10-08 天津大学 一种基于图像质量评价的自监督异常检测方法
CN113537397A (zh) * 2021-08-11 2021-10-22 大连海事大学 基于多尺度特征融合的目标检测与图像清晰联合学习方法
CN114004760A (zh) * 2021-10-22 2022-02-01 北京工业大学 图像去雾方法、电子设备、存储介质和计算机程序产品
CN114202481A (zh) * 2021-12-13 2022-03-18 贵州大学 一种基于图像高频信息融合的多尺度特征去雾网络及方法
CN114548153A (zh) * 2022-01-21 2022-05-27 电子科技大学 基于残差-胶囊网络的行星齿轮箱故障诊断方法
CN114897732A (zh) * 2022-05-19 2022-08-12 华南农业大学 基于物理模型与特征稠密关联的图像去雾方法及装置
CN116681625A (zh) * 2023-07-04 2023-09-01 广州工程技术职业学院 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN117597703A (zh) * 2021-07-01 2024-02-23 谷歌有限责任公司 用于图像分析的多尺度变换器
CN118333898A (zh) * 2024-03-22 2024-07-12 安庆师范大学 基于改进型生成对抗网络的图像去雾方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859120A (zh) * 2019-01-08 2019-06-07 北京交通大学 基于多尺度残差网络的图像去雾方法
US20190236411A1 (en) * 2016-09-14 2019-08-01 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN110097609A (zh) * 2019-04-04 2019-08-06 上海凌笛数码科技有限公司 一种基于样本域的精细化绣花纹理迁移方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190236411A1 (en) * 2016-09-14 2019-08-01 Konica Minolta Laboratory U.S.A., Inc. Method and system for multi-scale cell image segmentation using multiple parallel convolutional neural networks
CN109859120A (zh) * 2019-01-08 2019-06-07 北京交通大学 基于多尺度残差网络的图像去雾方法
CN110097609A (zh) * 2019-04-04 2019-08-06 上海凌笛数码科技有限公司 一种基于样本域的精细化绣花纹理迁移方法
CN111199522A (zh) * 2019-12-24 2020-05-26 重庆邮电大学 一种基于多尺度残差生成对抗网络的单图像盲去运动模糊方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HAN ZHANG等: ""Self-Attention Generative Adversarial Networks"", 《ARXIV:1805.08318V2》 *
T. R. SHAHAM等: ""SinGAN: Learning a Generative Model From a Single Natural Image"", 《2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV)》 *
刘遵雄等: ""多尺度生成对抗网络的图像超分辨率算法"", 《科学技术与工程》 *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112767275B (zh) * 2021-01-25 2021-10-22 中国人民解放军火箭军工程大学 一种基于人工稀疏标注信息引导的单张图像去雾方法
CN112767275A (zh) * 2021-01-25 2021-05-07 中国人民解放军火箭军工程大学 一种基于人工稀疏标注信息引导的单张图像去雾方法
CN112801902B (zh) * 2021-01-29 2022-06-21 福州大学 一种基于改进生成对抗网络的交通图像去雾方法
CN112801902A (zh) * 2021-01-29 2021-05-14 福州大学 一种基于改进生成对抗网络的交通图像去雾方法
CN112950498A (zh) * 2021-02-24 2021-06-11 苏州加乘科技有限公司 一种基于对抗网络和多尺度密集特征融合图像去雾方法
CN113066025A (zh) * 2021-03-23 2021-07-02 河南理工大学 一种基于增量学习与特征、注意力传递的图像去雾方法
CN113066025B (zh) * 2021-03-23 2022-11-18 河南理工大学 一种基于增量学习与特征、注意力传递的图像去雾方法
CN112884680A (zh) * 2021-03-26 2021-06-01 南通大学 一种利用端到端神经网络的单幅图像去雾方法
CN112950521A (zh) * 2021-04-27 2021-06-11 上海海事大学 一种图像去雾方法及生成器网络
CN112950521B (zh) * 2021-04-27 2024-03-01 上海海事大学 一种图像去雾方法及生成器网络
CN117597703A (zh) * 2021-07-01 2024-02-23 谷歌有限责任公司 用于图像分析的多尺度变换器
CN113487571A (zh) * 2021-07-07 2021-10-08 天津大学 一种基于图像质量评价的自监督异常检测方法
CN113537397B (zh) * 2021-08-11 2024-04-19 大连海事大学 基于多尺度特征融合的目标检测与图像清晰联合学习方法
CN113537397A (zh) * 2021-08-11 2021-10-22 大连海事大学 基于多尺度特征融合的目标检测与图像清晰联合学习方法
CN114004760A (zh) * 2021-10-22 2022-02-01 北京工业大学 图像去雾方法、电子设备、存储介质和计算机程序产品
CN114202481A (zh) * 2021-12-13 2022-03-18 贵州大学 一种基于图像高频信息融合的多尺度特征去雾网络及方法
CN114548153B (zh) * 2022-01-21 2023-06-02 电子科技大学 基于残差-胶囊网络的行星齿轮箱故障诊断方法
CN114548153A (zh) * 2022-01-21 2022-05-27 电子科技大学 基于残差-胶囊网络的行星齿轮箱故障诊断方法
CN114897732A (zh) * 2022-05-19 2022-08-12 华南农业大学 基于物理模型与特征稠密关联的图像去雾方法及装置
CN114897732B (zh) * 2022-05-19 2024-09-06 华南农业大学 基于物理模型与特征稠密关联的图像去雾方法及装置
CN116681625A (zh) * 2023-07-04 2023-09-01 广州工程技术职业学院 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN116681625B (zh) * 2023-07-04 2024-02-02 广州工程技术职业学院 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN118333898A (zh) * 2024-03-22 2024-07-12 安庆师范大学 基于改进型生成对抗网络的图像去雾方法及系统

Also Published As

Publication number Publication date
CN112184577B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN112233038B (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
CN109493303B (zh) 一种基于生成对抗网络的图像去雾方法
CN110992275B (zh) 一种基于生成对抗网络的细化单幅图像去雨方法
CN112507997B (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN111340738B (zh) 一种基于多尺度渐进融合的图像去雨方法
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN111899168B (zh) 一种基于特征增强的遥感影像超分辨率重建方法和系统
CN111626993A (zh) 一种基于嵌入式FEFnet网络的图像自动检测计数方法及系统
CN109559315B (zh) 一种基于多路径深度神经网络的水面分割方法
CN113066025B (zh) 一种基于增量学习与特征、注意力传递的图像去雾方法
CN111861906A (zh) 一种路面裂缝图像虚拟增广模型建立及图像虚拟增广方法
CN111008664A (zh) 一种基于空谱联合特征的高光谱海冰检测方法
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
CN114048822A (zh) 一种图像的注意力机制特征融合分割方法
CN113449691A (zh) 一种基于非局部注意力机制的人形识别系统及方法
CN116645287B (zh) 一种基于扩散模型的图像去模糊方法
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN111652273A (zh) 一种基于深度学习的rgb-d图像分类方法
CN114943893A (zh) 一种土地覆盖分类的特征增强网络
CN116385281A (zh) 一种基于真实噪声模型与生成对抗网络的遥感图像去噪方法
CN115953311A (zh) 基于Transformer的多尺度特征表示的图像去雾方法
CN118172283A (zh) 基于改进gUNet模型的海上目标图像去雾方法
CN114140361A (zh) 融合多级特征的生成式对抗网络图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240612

Address after: 712000 Room 802, 8 / F, building 14, West Yungu phase I, Fengxi new town, Xixian New District, Xi'an City, Shaanxi Province

Patentee after: Xi'an Qianxi Network Technology Co.,Ltd.

Country or region after: China

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Patentee before: XI'AN University OF TECHNOLOGY

Country or region before: China