CN112070688A - 一种基于上下文引导生成对抗网络的单幅图像去雾方法 - Google Patents

一种基于上下文引导生成对抗网络的单幅图像去雾方法 Download PDF

Info

Publication number
CN112070688A
CN112070688A CN202010844333.8A CN202010844333A CN112070688A CN 112070688 A CN112070688 A CN 112070688A CN 202010844333 A CN202010844333 A CN 202010844333A CN 112070688 A CN112070688 A CN 112070688A
Authority
CN
China
Prior art keywords
convolution
characteristic
layer
feature
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010844333.8A
Other languages
English (en)
Inventor
石争浩
周昭润
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010844333.8A priority Critical patent/CN112070688A/zh
Publication of CN112070688A publication Critical patent/CN112070688A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法，生成网络包括特征提取编码器、上下文信息提取解码器及融合解码器，通过金字塔解码器捕捉特征提取编码器提取的深层特征，提取深层特征中隐含的上下文信息，得到粗去雾图像；通过融合解码器对特征提取编码器、上下文信息提取解码器获取的图像特征进行融合，得到质量优良的细去雾图像。生成对抗网络模型网络结构操作简单，易于实现；通过不同的损失函数对上下文信息提取解码器、融合解码器参数进行迭代优化，丰富融合网络的语义信息，产生更清晰的去雾结果。

Description

一种基于上下文引导生成对抗网络的单幅图像去雾方法
技术领域
本发明属于图像处理方法技术领域，涉及一种基于上下文引导生成对抗网络的单幅图像去雾方法。
背景技术
在雾霾天气中，在室外拍摄的图像通常会受到严重的退化，如对比度差和颜色失真。这将给进一步的图像感知和理解带来很大的困难。
雾霾是一种典型的大气现象，其中灰尘、烟雾和其他粒子极大地降低了捕获图像的质量和能见度，从而使进一步的感知和理解变得困难。因此，去除雾霾，特别是单一图像去霾具有很高的实用性和现实性，具有广泛的学术和行业价值。
在雾、霾天气条件下，大气中悬浮微粒的散射作用使户外采集图像对比度降低，图像质量下降，严重影响了道路监控、环境监测、目标识别等户外计算机视觉系统的应用。
随着计算机技术的不断发展，越来越多的计算机视觉系统运用到人们的日常生活中，我们需要它们可以直接、实时、清晰准确的满足我们的需求。但是在有雾的环境中，现有的室外的计算机视觉系统的作用会大打折扣。由于有雾图像光照不均匀、对比度较低且色偏严重，许多现有的算法并不能表现出良好的去雾结果。
为了解决这一问题，近年来提出了许多图像去雾方法。这些方法大致分为两类：基于图像增强的方法和基于图像恢复的方法。
基于图像增强的方法，如直方图均衡化和Retinex，使用图像对比度增强或亮度增强。虽然这种方法可以在一定程度上提高退化图像的视觉感知，但由于这些方法没有考虑图像退化的原因和机制，因此无法解决图像的颜色失真和图像噪声放大问题，去雾图像质量较差，特别是对雾霾严重的图像。
与基于图像增强的方法不同，基于图像恢复的方法如暗通道先验、颜色衰减先验去雾算法和稀疏先验去雾算法，考虑了图像退化的根本原因，并解决了图像退化的逆过程，得到了增强图像。然而，现有的方法不能很好地解决复杂雾霾场景或不规则光照的图像中的雾霾信息，导致传输映射估计不准确，从而无法恢复具有天空区域或明亮物体的雾霾图像，导致去雾图像质量较差。
近年来，深度学习在图像去雾方向上得到的极大的关注。越来越多的基于深度学习的图像去雾方法被提出。这些方法虽然在单幅图像去雾方面有不同程度的成功，但都存在以下局限性：(1)未能恢复雾霾严重的图像，在雾霾严重的条件下，大多数光线被大气粒子散射和吸收，导致不准确的环境光和传输估计。(2)由于对传输的估计不准确，无法自然恢复长景图像，特别是对天空区域，导致去雾图像质量较差。
发明内容
本发明的目的是提供一种基于上下文引导生成对抗网络的单幅图像去雾方法，解决了现有技术中存在的去雾图像质量差的问题。
本发明所采用的技术方案是，一种基于上下文引导生成对抗网络的单幅图像去雾方法，包括以下步骤：
步骤1、获取图像数据集，对图像数据集中的每个图像进行归一化处理，得到训练集；
步骤2、构建生成对抗网络模型，生成对抗网络模型包括生成网络和判别网络，生成网络包括：
特征提取编码器：逐层提取有雾图像的浅层特征、深层特征；
上下文信息提取解码器：通过自下而上的金字塔模型对多个级联卷积层提取的深层特征进行尺度增强，提取深层特征中隐含的上下文信息，得到粗去雾图像；
融合解码器：先通过跳过连接将浅层特征与反卷积层获得的特征对称连接得到组合特征，并通过卷积层对组合特征进行整合；再通过跳过连接将上下文信息提取解码器得到的对称特征与校正后的组合特征进行融合，得到细去雾图像；
步骤3、利用训练集对生成对抗网络模型进行训练，得到训练后的生成对抗网络模型；
步骤4、将有雾图像输入训练后的生成对抗网络模型中，得到细去雾图像。
本发明的特点还在于：
特征提取编码器的具体操作为：
a.将训练集中的图像经过一个卷积核大小为3、步长为1的卷积层输出浅层特征O1，卷积层包括卷积操作、实例归一化和激活函数ReLU；
b.将浅层特征O1输入到由三个卷积层组成的卷积块CB1，输出浅层特征O2；
c.将浅层特征O2输入卷积核大小为3、步长为2的卷积层进行下采样处理，输出浅层特征O3；
d.将浅层特征O3经过三个卷积层组成的卷积块CB2，输出浅层特征O4；
e.将浅层特征O4输入卷积核大小为3、步长为2的卷积层进行下采样处理，输出浅层特征O5；
f.将浅层特征O5经过一个卷积核大小为3，步长为1的卷积层，输出深层特征O6；
g.将深层特征O6依次经过三个由两个卷积层组成的卷积块CB3、CB4和CB5，输出深层特征O7、深层特征O8、深层特征O9。
上下文信息提取解码器的具体操作为：
h.将深层特征O6、深层特征O7进行通道连接，并将连接后的特征映射输入到一个由两个卷积层组成的卷积块CB6中，输出特征O10；
i.将特征O10输入卷积核大小为3、步长为2的反卷积层进行上采样，并使用一个卷积层来整合特征，输出特征O11；
j.将特征O11与深层特征O8进行通道连接，并将连接后的特征映射输入到一个由两个卷积层组成的卷积块CB7，输出特征O12；
k.将特征O12输入卷积核为3、步长为2的反卷积层进行上采样层，输出特征O13；
l.将特征O13与深层特征O9进行通道连接，并使用一个卷积块CB8进行整合，输出特征O14；
m.将特征O14输入卷积核大小为3、步长为1的卷积层，得到粗去雾图像。
融合解码器的具体操作如下：
n.将深层特征O9输入卷积核为3、步长为2的反卷积层进行上采样，输出特征O15；
o.通过跳过连接将特征O15与浅层特征O4进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB9进行整合，输出特征O16；
p.将特征O16和用于切断反向传播的特征O12进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB10进行整合，输出特征O17；
q.将特征O17输入卷积核为3、步长为2的反卷积层进行上采样输出特征O18；
r.通过跳过连接将将特征O18和浅层特征O2进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB11进行整合，输出特征O19；
s.将特征O19和用于切断反向传播的特征O14进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB12进行整合，输出特征O20；
t.将特征O20通过卷积核大小为3、步长为1的卷积核，得到细去雾图像。
步骤3训练过程中采用的损失函数包括第一损失函数和第二损失函数，粗去雾图像采用第一损失函数，第一损失函数为LossMSE、LossSSIM之和；细去雾图像采用第二损失函数采用对抗损失、感知损失LossVGG和平均绝对误差损失LossMAD之和，总损失函数为：
Figure BDA0002642529910000061
上式中，LossMSE为均方误差损失，LossSSIM为结构相似性损失，LossMAD为平均绝对偏差损失，LossVGG为感知损失。
还包括步骤5、分别采用峰值信噪比、结构相似性将细去雾图像与清晰图像进行对比，评价去雾结果。
本发明的有益效果是：
本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法，生成网络包括特征提取编码器、上下文信息提取解码器及融合解码器，通过金字塔解码器捕捉特征提取编码器提取的深层特征，提取深层特征中隐含的上下文信息，得到粗去雾图像，能将有雾图像的结构、纹理恢复到最大，与现有的通过增加深层特征的接受场或修改特征融合来捕捉上下文信息的方法完全不同；通过融合解码器对特征提取编码器、上下文信息提取解码器获取的图像特征进行融合，进一步补偿图像去视觉中丢失的上下文语义信息，得到质量优良的细去雾图像；生成对抗网络模型网络结构操作简单，易于实现；通过不同的损失函数对上下文信息提取解码器、融合解码器参数进行迭代优化，丰富融合网络的语义信息，产生更清晰的去雾结果。
附图说明
图1是本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法的流程图；
图2是本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法中上下文信息提取解码器的结构示意图；
图3是本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法中生成对抗网络模型的结构示意图；
图4是本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法在合成有雾图像数据集的去雾结果对比图；
图5是本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法中在真实有雾图像数据集的去雾结果对比图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
一种基于上下文引导生成对抗网络的单幅图像去雾方法，如图1所示，包括以下步骤：
步骤1、获取图像数据集，对图像数据集中的每个有雾图像的像素值归一化为[-1，1]，并裁剪为256x256x3，得到训练集；
步骤2、构建生成对抗网络模型，生成对抗网络模型包括生成网络和判别网络，生成网络包括一个特征提取编码器、一个上下文信息提取解码器及一个融合解码器。
特征提取编码器用于逐层提取有雾图像的浅层特征、深层特征；
特征提取编码器的第一部分以有雾图像为输入，逐层提取有雾图像的浅层特征；第二部分通过多个级联卷积层提取深层特征，同时多个级联卷积层作为平行金字塔的骨干网络，为平行金字塔结构的解码部分提供必要的特征；
如图2所示，上下文信息提取解码器为平行金字塔解码器，通过自下而上的金字塔模型对多个级联卷积层提取的深层特征进行尺度增强，提取深层特征中隐含的上下文信息，得到粗去雾图像；粗去雾图像在确保融合解码器的结果达到去雾效果的同时，能将有雾图像的结构、纹理恢复到最大。
融合解码器用于先通过跳过连接将浅层特征与反卷积层获得的特征对称连接得到组合特征，并通过卷积层对组合特征进行整合；再通过跳过连接将上下文信息提取解码器得到的对称特征与校正后的组合特征进行融合，以进一步补偿图像去视觉中丢失的上下文语义信息，得到细去雾图像。
如图3所示，生成网络的具体操作如下：
a.将训练集中的图像经过一个卷积核大小为3、步长为1的卷积层输出浅层特征O1，卷积层包括卷积操作、实例归一化和激活函数ReLU；
F＝ReLU(Instance_norm(Conv(x))) (1)；
O1＝F1(x) (2)；
b.将浅层特征O1输入到由三个卷积层组成的卷积块CB1，输出浅层特征O2；
O2＝CB1(O1) (3)；
c.将浅层特征O2输入卷积核大小为3、步长为2的卷积层进行下采样处理，输出浅层特征O3；
O3＝DownSample1(O2) (4)；
d.将浅层特征O3经过三个卷积层组成的卷积块CB2，输出浅层特征O4；
O4＝CB2(O3) (5)；
e.将浅层特征O4输入卷积核大小为3、步长为2的卷积层进行下采样处理，输出浅层特征O5；
O5＝DownSample2(O4) (6)；
f.将浅层特征O5经过一个卷积核大小为3，步长为1的卷积层，输出深层特征O6；
O6＝F2(O5) (7)；
g.将深层特征O6依次经过三个由两个卷积层组成的卷积块CB3、CB4和CB5，输出深层特征O7、深层特征O8、深层特征O9；
O7＝CB3(O6) (8)；O8＝CB4(O7) (9)；O9＝CB5(O8) (10)；
h.将深层特征O6、深层特征O7进行通道连接，并将连接后的特征映射输入到一个由两个卷积层组成的卷积块CB6中，输出特征O10；
O1o＝CB6(concat(O6，O7)) (11)；
i.将特征O10输入卷积核大小为3、步长为2的反卷积层进行上采样，并使用一个卷积层来整合特征，输出特征O11；
O11＝F3(deconv(O10)) (12)；
j.将特征O11与深层特征O8进行通道连接，并将连接后的特征映射输入到一个由两个卷积层组成的卷积块CB7，输出特征O12；
O12＝CB7(concat(O11，UpSample 1(O8))) (13)；
k.将特征O12输入卷积核为3、步长为2的反卷积层进行上采样层，输出特征O13；
O13＝ReLU(Instance_norm(deconv(O12)) (14)；
l.将特征O13与深层特征O9进行通道连接，并使用一个卷积块CB8进行整合，输出特征O14；
O14＝CB8(concat(O13，UpSample 2(O9))) (15)；
m.将特征O14输入卷积核大小为3、步长为1的卷积层，得到粗去雾图像；
Figure BDA0002642529910000101
n.将深层特征O9输入卷积核为3、步长为2的反卷积层进行上采样，输出特征O15；
O15＝ReLU(Instance_norm(deconv(O9)) (17)；
o.通过跳过连接将特征O15与浅层特征O4进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB9进行整合，输出特征O16；
O16＝CB9(concat(O4，O15)) (18)；
p.将特征O16和用于切断反向传播的特征O12进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB10进行整合，输出特征O17；
O17＝CB10(concat(O16，O12)) (19)；
q.将特征O17输入卷积核为3、步长为2的反卷积层进行上采样输出特征O18；
O18＝ReLU(Instance_norm(deconv(O17)) (20)；
r.通过跳过连接将将特征O18和浅层特征O2进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB11进行整合，输出特征O19；
O19＝CB11(concat(O18，O2)) (21)；
s.将特征O19和用于切断反向传播的特征O14进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB12进行整合，输出特征O20；
O20＝CB12(concat(O19，O14)) (22)；
t.将特征O20通过卷积核大小为3、步长为1的卷积核，得到细去雾图像；
Figure BDA0002642529910000121
步骤3、利用训练集对生成对抗网络模型进行训练，得到训练后的生成对抗网络模型，训练过程中采用的损失函数包括第一损失函数和第二损失函数，粗去雾图像采用第一损失函数与清晰图像进行误差计算，对上下文信息提取解码器的参数进行优化，第一损失函数为LossMSE、LossSSIM之和；细去雾图像采用第二损失函数与清晰图像进行误差计算，对融合解码器的参数进行优化，网络的总损失函数为：
Figure BDA0002642529910000122
上式中，LossMSE为均方误差损失，LossSSIM为结构相似性损失，LossMAD为平均绝对偏差损失，LossVGG为感知损失。
MSE损失：利用MSE损失优化上下文信息提取解码器结果的保真度，均方误差是测量上下文信息提取解码器结果偏移真实图像的平方和的平均值：
Figure BDA0002642529910000131
其中N表示像素的总数，
Figure BDA0002642529910000132
表示粗去雾结果，J表示真实无雾图像。
SSIM损失：由于上下文信息提取解码器的解码特征映射将被传输到融合解码器，因此我们希望让上下文信息提取解码器学会提取更多有用的特征信息，并产生视觉上令人愉悦的图像。因此，我们使用SSIM损失来提高上下文信息提取网络的图像恢复质量。设x和y分别表示观察到的图像和输出图像，
Figure BDA0002642529910000133
表示输入x的上下文信息提取解码器的输出。因此，
Figure BDA0002642529910000134
和y之间的SSIM如下所示：
Figure BDA0002642529910000135
上式中，l、c和s分别表示亮度、对比度和结构，α，β和γ是系数，SSIM损失可以定义为：
Figure BDA0002642529910000136
对抗性损失：在我们的融合解码器中，我们采用了具有梯度惩罚的WGAN(WGAN-GP)，损失函数如下：
Figure BDA0002642529910000137
Figure BDA0002642529910000138
表示融合解码器去雾后的结果，
Figure BDA0002642529910000139
定义为来自真实数据分布和生成器分布的点对之间沿直线的样本，λGP作为权重因子。
感知损失：为了尽量减少融合解码器结果的感知特征与真实图像的感知特征之间的差异，我们引入了预先训练的VGG19网络的感知损失，公式如下：
Figure BDA00026425299100001310
上式中，φi()表示VGG19网络第i层的激活。W，H和C分别表示图像的宽度，高度和通道数。
平均绝对偏差损失：为了使融合解码器生成的图像更真实，我们使用平均绝对偏差损失函数来捕获图像中的低电平频率。平均绝对偏差损失表示融合解码器结果与真实图像之间L1损失的平均值，平均绝对偏差的损失为：
Figure BDA0002642529910000141
步骤4、将有雾图像输入训练后的生成对抗网络模型中，得到细去雾图像。
对本发明去雾方法的性能进行测试，并且对结果做了进一步的定量分析，测试结果如下：
如图4所示，第一列表示输入的合成的有雾图像，第二列为本发明去雾方法的去雾结果，第三列为有雾图像。
如图5所示，第一列表示输入的真实的有雾图像，第二列为本发明去雾方法的去雾结果。
还包括步骤5、分别采用峰值信噪比、结构相似性将细去雾图像与清晰图像进行对比，评价去雾结果，表1展示了本发明在解决单幅图像去雾问题上得到很好的结果：
Figure BDA0002642529910000142
通过以上方式，本发明一种基于上下文引导生成对抗网络的单幅图像去雾方法，生成网络包括特征提取编码器、上下文信息提取解码器及融合解码器，通过金字塔解码器捕捉特征提取编码器提取的深层特征，提取深层特征中隐含的上下文信息，得到粗去雾图像，能将有雾图像的结构、纹理恢复到最大，与现有的通过增加深层特征的接受场或修改特征融合来捕捉上下文信息的方法完全不同；通过融合解码器对特征提取编码器、上下文信息提取解码器获取的图像特征进行融合，进一步补偿图像去视觉中丢失的上下文语义信息，得到质量优良的细去雾图像；生成对抗网络模型网络结构操作简单，易于实现；通过不同的损失函数对上下文信息提取解码器、融合解码器参数进行迭代优化，丰富融合网络的语义信息，产生更清晰的去雾结果。

Claims (6)

1.一种基于上下文引导生成对抗网络的单幅图像去雾方法，其特征在于，包括以下步骤：
步骤1、获取图像数据集，对所述图像数据集中的每个图像进行归一化处理，得到训练集；
步骤2、构建生成对抗网络模型，所述生成对抗网络模型包括生成网络和判别网络，所述生成网络包括：
特征提取编码器：逐层提取有雾图像的浅层特征、深层特征；
上下文信息提取解码器：通过自下而上的金字塔模型对多个级联卷积层提取的深层特征进行尺度增强，提取深层特征中隐含的上下文信息，得到粗去雾图像；
融合解码器：先通过跳过连接将所述浅层特征与反卷积层获得的特征对称连接得到组合特征，并通过卷积层对组合特征进行整合；再通过跳过连接将所述上下文信息提取解码器得到的对称特征与校正后的组合特征进行融合，得到细去雾图像；
步骤3、利用训练集对所述生成对抗网络模型进行训练，得到训练后的生成对抗网络模型；
步骤4、将有雾图像输入所述训练后的生成对抗网络模型中，得到细去雾图像。
2.根据权利要求1所述的一种基于上下文引导生成对抗网络的单幅图像去雾方法，其特征在于，所述特征提取编码器的具体操作为：
a.将所述训练集中的图像经过一个卷积核大小为3、步长为1的卷积层输出浅层特征O1，所述卷积层包括卷积操作、实例归一化和激活函数ReLU；
b.将所述浅层特征O1输入到由三个卷积层组成的卷积块CB1，输出浅层特征O2；
c.将所述浅层特征O2输入卷积核大小为3、步长为2的卷积层进行下采样处理，输出浅层特征O3；
d.将所述浅层特征O3经过三个卷积层组成的卷积块CB2，输出浅层特征O4；
e.将所述浅层特征O4输入卷积核大小为3、步长为2的卷积层进行下采样处理，输出浅层特征O5；
f.将所述浅层特征O5经过一个卷积核大小为3，步长为1的卷积层，输出深层特征O6；
g.将所述深层特征O6依次经过三个由两个卷积层组成的卷积块CB3、CB4和CB5，输出深层特征O7、深层特征O8、深层特征O9。
3.根据权利要求2所述的一种基于上下文引导生成对抗网络的单幅图像去雾方法，其特征在于，所述上下文信息提取解码器的具体操作为：
h.将所述深层特征O6、深层特征O7进行通道连接，并将连接后的特征映射输入到一个由两个卷积层组成的卷积块CB6中，输出特征O10；
i.将所述特征O10输入卷积核大小为3、步长为2的反卷积层进行上采样，并使用一个卷积层来整合特征，输出特征O11；
j.将所述特征O11与深层特征O8进行通道连接，并将连接后的特征映射输入到一个由两个卷积层组成的卷积块CB7，输出特征O12；
k.将所述特征O12输入卷积核为3、步长为2的反卷积层进行上采样层，输出特征O13；
l.将所述特征O13与深层特征O9进行通道连接，并使用一个卷积块CB8进行整合，输出特征O14；
m.将所述特征O14输入卷积核大小为3、步长为1的卷积层，得到粗去雾图像。
4.根据权利要求3所述的一种基于上下文引导生成对抗网络的单幅图像去雾方法，其特征在于，所述融合解码器的具体操作如下：
n.将所述深层特征O9输入卷积核为3、步长为2的反卷积层进行上采样，输出特征O15；
o.通过跳过连接将所述特征O15与浅层特征O4进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB9进行整合，输出特征O16；
p.将所述特征O16和用于切断反向传播的特征O12进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB10进行整合，输出特征O17；
q.将所述特征O17输入卷积核为3、步长为2的反卷积层进行上采样输出特征O18；
r.通过跳过连接将将所述特征O18和浅层特征O2进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB11进行整合，输出特征O19；
s.将所述特征O19和用于切断反向传播的特征O14进行通道连接得到组合特征，并将组合特征输入包含两个卷积层的卷积块CB12进行整合，输出特征O20；
t.将所述特征O20通过卷积核大小为3、步长为1的卷积核，得到细去雾图像。
5.根据权利要求1所述的一种基于上下文引导生成对抗网络的单幅图像去雾方法，其特征在于，步骤3所述训练过程中采用的损失函数包括第一损失函数和第二损失函数，所述粗去雾图像采用第一损失函数，所述第一损失函数为LossMSE、LossSSIM之和；所述细去雾图像采用第二损失函数采用对抗损失、感知损失LossVGG和平均绝对误差损失LossMAD之和，所述总损失函数为：
Figure FDA0002642529900000051
上式中，LossMSE为均方误差损失，LossSSIM为结构相似性损失，LossMAD为平均绝对偏差损失，LossVGG为感知损失。
6.根据权利要求1所述的一种基于上下文引导生成对抗网络的单幅图像去雾方法，其特征在于，还包括，分别采用峰值信噪比、结构相似性将所述细去雾图像与清晰图像进行对比，评价去雾结果。
CN202010844333.8A 2020-08-20 2020-08-20 一种基于上下文引导生成对抗网络的单幅图像去雾方法 Pending CN112070688A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010844333.8A CN112070688A (zh) 2020-08-20 2020-08-20 一种基于上下文引导生成对抗网络的单幅图像去雾方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010844333.8A CN112070688A (zh) 2020-08-20 2020-08-20 一种基于上下文引导生成对抗网络的单幅图像去雾方法

Publications (1)

Publication Number Publication Date
CN112070688A true CN112070688A (zh) 2020-12-11

Family

ID=73660758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010844333.8A Pending CN112070688A (zh) 2020-08-20 2020-08-20 一种基于上下文引导生成对抗网络的单幅图像去雾方法

Country Status (1)

Country Link
CN (1) CN112070688A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112837240A (zh) * 2021-02-02 2021-05-25 北京百度网讯科技有限公司 模型训练方法、分数提升方法、装置、设备、介质和产品
CN113487571A (zh) * 2021-07-07 2021-10-08 天津大学 一种基于图像质量评价的自监督异常检测方法
WO2021248938A1 (zh) * 2020-06-10 2021-12-16 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN114331821A (zh) * 2021-12-29 2022-04-12 中国人民解放军火箭军工程大学 一种图像转换方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal
CN111383192A (zh) * 2020-02-18 2020-07-07 清华大学 一种融合sar的可见光遥感图像去雾方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111383192A (zh) * 2020-02-18 2020-07-07 清华大学 一种融合sar的可见光遥感图像去雾方法
AU2020100274A4 (en) * 2020-02-25 2020-03-26 Huang, Shuying DR A Multi-Scale Feature Fusion Network based on GANs for Haze Removal

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHAORUN ZHOU等: "CGGAN: A Context Guided Generative Adversarial Network For Single Image Dehazing", HTTPS://ARXIV.ORG/ABS/2005.13884 *
贾绪仲;文志强;: "一种基于条件生成对抗网络的去雾方法", 信息与电脑(理论版), no. 09 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021248938A1 (zh) * 2020-06-10 2021-12-16 南京邮电大学 一种融合特征金字塔的生成对抗网络图像去雾方法
CN112837240A (zh) * 2021-02-02 2021-05-25 北京百度网讯科技有限公司 模型训练方法、分数提升方法、装置、设备、介质和产品
CN112837240B (zh) * 2021-02-02 2023-08-04 北京百度网讯科技有限公司 模型训练方法、分数提升方法、装置、设备、介质和产品
CN113487571A (zh) * 2021-07-07 2021-10-08 天津大学 一种基于图像质量评价的自监督异常检测方法
CN114331821A (zh) * 2021-12-29 2022-04-12 中国人民解放军火箭军工程大学 一种图像转换方法及系统
CN114331821B (zh) * 2021-12-29 2023-09-22 中国人民解放军火箭军工程大学 一种图像转换方法及系统

Similar Documents

Publication Publication Date Title
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN108921799B (zh) 基于多尺度协同学习卷积神经网络的遥感图像薄云去除方法
CN112070688A (zh) 一种基于上下文引导生成对抗网络的单幅图像去雾方法
CN112184577B (zh) 基于多尺度自注意生成对抗网络的单幅图像去雾方法
CN111161360B (zh) 基于Retinex理论的端到端网络的图像去雾方法
CN108269244B (zh) 一种基于深度学习和先验约束的图像去雾系统
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
CN110675340A (zh) 一种基于改进的非局部先验的单幅图像去雾方法及介质
CN114742719B (zh) 一种基于多特征融合的端到端图像去雾方法
CN111709888B (zh) 一种基于改进的生成对抗网络的航拍图像去雾方法
CN112270654A (zh) 基于多通道gan的图像去噪方法
CN111861896A (zh) 一种面向uuv的水下图像色彩补偿与恢复方法
CN112365414A (zh) 一种基于双路残差卷积神经网络的图像去雾方法
CN113284070A (zh) 基于传递注意力机制的非均匀雾图去雾算法
CN112419163B (zh) 一种基于先验知识和深度学习的单张图像弱监督去雾方法
CN112164010A (zh) 一种多尺度融合卷积神经网络图像去雾方法
CN115272072A (zh) 一种基于多特征图像融合的水下图像超分辨率方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN113628143A (zh) 一种基于多尺度卷积的加权融合图像去雾方法及装置
CN111626944B (zh) 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法
CN117391920A (zh) 基于rgb通道差分平面的大容量隐写方法及系统
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN117333359A (zh) 基于可分离卷积网络的山水画图像超分辨率重建方法
CN115760640A (zh) 基于含噪Retinex模型的煤矿低光照图像增强方法
CN112070693B (zh) 一种基于灰度世界自适应网络的单幅沙尘图像恢复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination