CN115578280A - 一种双分支遥感图像去雾网络的构建方法 - Google Patents

一种双分支遥感图像去雾网络的构建方法 Download PDF

Info

Publication number
CN115578280A
CN115578280A CN202211274638.5A CN202211274638A CN115578280A CN 115578280 A CN115578280 A CN 115578280A CN 202211274638 A CN202211274638 A CN 202211274638A CN 115578280 A CN115578280 A CN 115578280A
Authority
CN
China
Prior art keywords
image
layer
module
convolution
defogging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211274638.5A
Other languages
English (en)
Inventor
孙航
方帅领
但志平
李勃辉
蒋保洋
张紫燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Three Gorges University CTGU
Original Assignee
China Three Gorges University CTGU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Three Gorges University CTGU filed Critical China Three Gorges University CTGU
Priority to CN202211274638.5A priority Critical patent/CN115578280A/zh
Publication of CN115578280A publication Critical patent/CN115578280A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)

Abstract

一种双分支遥感图像去雾网络的构建方法，它包括以下步骤：S1、构建U型下分支图像去雾子网；S2、构建非U型上分支图像去雾子网，该子网包含两个卷积层和多尺度残差空洞卷积模块，其中第一个卷积层用于增加输入图像的通道数，第二个卷积层用于将特征图的通道数恢复成原始输入图像的通道数；S3、构建图像融合模块，用于将U型下分支图像去雾子网的输出和非U型上分支图像去雾子网的输出进行融合；S4、将有雾图像送入U型下分支图像去雾子网和非U型上分支图像去雾子网，图像融合模块会将两个分支的输出进行融合，输出清晰的遥感图像，最后利用输出的清晰遥感图像来计算损失，从而约束网络的训练；通过以上步骤对双分支遥感图像去雾网络进行构建。

Description

一种双分支遥感图像去雾网络的构建方法
技术领域
本发明属于图像处理领域，具体涉及一种双分支遥感图像去雾网络的构建方法。
背景技术
随着遥感技术的快速发展，遥感图像被广泛应用于气象、测绘、灾害监测与预警等领域。然而，受雾霾等天气的影响，悬浮在空气中的粒子，如水蒸气、云和雾霾，会导致遥感卫星和无人机在获取遥感图像的过程中出现图像模糊、色彩失真、对比度下降等问题，严重影响高阶任务的决策指挥。因此，对遥感图像有效去雾以及恢复图像细节信息具有重要意义。
在早期的去雾算法中，大多数方法通过先验信息估计传输图和全球大气光值等中间参数，再利用大气散射模型实现图像去雾。虽然基于先验的方法取得了显著的进展，但是，这些方法通常在无约束条件下，会发生不准确的估计，从而导致恢复出无雾图像的质量不够理想。随着深度学习的发展，越来越多的学者通过设计端到端的去雾网络模型，直接输出清晰图像，而不需要估计大气散射模型的中间参数。基于深度学习的去雾方法使用U型架构和非U型架构设计网络模型。例如Qu等人发表的《Enhanced Pix2pix Dehazing Network》基于U型结构提出增强的pix2pix去雾网络，该网络独立于大气散射模型，通过设计多分辨率生成器、多尺度判别器和一个增强网络直接将有雾图像恢复成清晰图像；Dong等人发表的《FD-GAN:Generative Adversarial N etworks with Fusion-Discriminator forSingle Image Dehazing》提出了一种完全端到端的具有融合判别器的生成对抗网络进行图像去雾，该方法使用U型结构设计网络模型，并且将频率信息作为附加先验信息融合到判别器中，使生成器网络模型恢复的清晰图像更加真实自然；同时，许多研究人员基于非U型结构设计网络模型。Li等人发表的《A Coarse-to-Fine Two-Stage A ttentive Networkfor Haze Removal of Remote Sensing Image》提出了从粗到细的两阶段图像去雾网络，该方法基于非U型结构设计网络模型，其核心结构由密集残差块组成，通过堆叠大量的密集残差块结构增加网络的深度。类似地，Qin等人发表的《FFA-Net:Feature FusionAttention Networ k for Single Image Dehazing》提出基于特征融合注意力的图像去雾网络，并且利用残差学习的特性堆叠大量的通道注意力和像素注意力块，从而实现了较好的去雾效果。
虽然基于深度学习的端到端去雾方法取得了比基于物理模型更好的去雾效果。然而，当使用U型网络和非U型网络进行图像去雾时，依然存在以下几个问题：
1)基于U型网络的算法直接将编码层的特征传递到对应解码层，缺乏浅层特征和深层特征之间的信息交互。此外，基于u型网络结构模型的下采样会破坏图像的空间细节信息，从而使恢复的无雾图像缺乏纹理结构信息。
2)基于非U型网络的去雾方法感受野受限，从而无法获取更多对于遥感图像去雾至关重要的上下文信息，导致去雾效果存在不足。
发明内容
本发明的目的是为了解决现有技术在使用U型网络和非U型网络进行图像去雾时，基于U型网络的算法直接将编码层的特征传递到对应解码层，缺乏浅层特征和深层特征之间的信息交互，基于u型网络结构模型的下采样会破坏图像的空间细节信息，从而使恢复的无雾图像缺乏纹理结构信息，基于非U型网络的去雾方法感受野受限，从而无法获取更多对于遥感图像去雾至关重要的上下文信息，从而造成去雾效果不佳的技术问题。
一种双分支遥感图像去雾网络的构建方法，它包括以下步骤：
S1、构建U型下分支图像去雾子网，该子网包含：编码层特征提取模块、层级特征交互融合模块、解码层图像恢复模块；
S2、构建非U型上分支图像去雾子网，该子网包含两个卷积层和多尺度残差空洞卷积模块，其中第一个卷积层用于增加输入图像的通道数，第二个卷积层用于将特征图的通道数恢复成原始输入图像的通道数；
S3、构建图像融合模块，用于将U型下分支图像去雾子网的输出和非U型上分支图像去雾子网的输出进行融合；
S4、将有雾图像送入U型下分支图像去雾子网和非U型上分支图像去雾子网，图像融合模块会将两个分支的输出进行融合，输出清晰的遥感图像，最后利用输出的清晰遥感图像来计算损失，从而约束网络的训练；
通过以上步骤对双分支遥感图像去雾网络进行构建。
如图2所示，在步骤S1中，构建的U型下分支图像去雾子网如下：
编码层特征提取模块的第一层→编码层特征提取模块的第二层→编码层特征提取模块的第三层→编码层特征提取模块的第四层→解码层图像恢复模块的第一层→解码层图像恢复模块的第二层；
编码层特征提取模块的第三层，编码层特征提取模块的第四层→第一个层级特征交互融合模块；
编码层特征提取模块的第二层，第一个层级特征交互融合模块→第二个层级特征交互融合模块；
编码层特征提取模块的第一层，第二个层级特征交互融合模块→第三个层级特征交互融合模块；
解码层图像恢复模块的第二层，第一个层级特征交互融合模块→第一次Concat操作→解码层图像恢复模块的第三层；
解码层图像恢复模块的第三层，第二个层级特征交互融合模块→第二次Concat操作→解码层图像恢复模块的第四层；
解码层图像恢复模块的第四层，第三个层级特征交互融合模块→第三次Concat操作→解码层图像恢复模块的第五层→解码层图像恢复模块的第六层。
第一个层级特征交互融合模块、第二个层级特征交互融合模块、第三个层级特征交互融合模块的结构如图3所示，低层特征→普通卷积操作→第一次1×1卷积操作→第一次RELU操作→第二次1×1卷积操作→第一次sigmoid操作；
高层特征→普通反卷积操作→全局平均池化操作→第三次1×1卷积操作→第二次RELU操作→第四次1×1卷积操作→第二次sigmoid操作；
第一次sigmoid操作，普通反卷积操作→第一次逐像素乘法操作；
第二次sigmoid操作，普通卷积操作→第二次逐像素乘法操作；
第一次逐像素乘法操作，第二次逐像素乘法操作→逐像素相加操作。
如图2所示，在步骤S2中，构建的非U型上分支图像去雾子网的结构如下：
第一个卷积层→N个多尺度残差空洞卷积模块→逐元素相加操作→第二个卷积层；N表示多尺度残差空洞卷积模块的个数。
多尺度残差空洞卷积模块的结构如图4所示；
输入层→d(1,1)子模块；输入层→d(1,2)子模块；输入层→d(1,2,3)子模块；
d(1,1)子模块，d(1,2)，d(1,2，3)子模块→Concat操作→全局平均池化操作→第一次1×1卷积操作→RELU操作→第二次1×1卷积操作→sigmoid操作；
Concat操作，sigmoid操作→逐元素相乘操作；
输入层，逐元素相乘操作→逐元素相加操作。
所述d(1,1)子模块的结构为：输入层→第一次普通3×3卷积操作→RELU操作→第二次普通3×3卷积操作；输入层，第二次3×3卷积操作→逐元素相加操作；
所述d(1,2)子模块的结构为：输入层→普通3×3卷积操作→RELU操作→空洞率为2的3×3卷积操作；输入层，空洞率为2的3×3卷积操作→逐元素相加操作；
所述d(1,2，3)子模块的结构为：输入层→普通3×3卷积操作→RELU操作→空洞率为2的3×3卷积操作→RELU操作→空洞率为3的3×3卷积操作；输入层，空洞率为3的3×3卷积操作→逐元素相加操作。
在步骤S3中，所构建的图像融合模块的结构为：卷积操作→Tanh激活操作；
图像融合模块的在使用时如下：
下分支解码层图像恢复模块的第六层，上分支第二个卷积层→Concat操作→图像融合模块。
在步骤S4中，所述基于层级特征交互与增强感受野的双分支遥感图像去雾网络包括U型下分支图像去雾子网、非U型上分支图像去雾子网；基于层级特征交互与增强感受野的双分支遥感图像去雾网络在使用时采用以下步骤：
步骤1)将有雾图像输入U型下分支图像去雾子网，得到下分支输出图像；
步骤2)将有雾图像输入非U型上分支图像去雾子网，得到上分支输出图像；
步骤3)将下分支输出图像和上分支输出图像输入图像融合模块，得到网络最后的输出清晰遥感图像；
步骤4)使用四种损失约束网络训练的过程。
在步骤4)中，四种损失约束如下：
(1)平滑L1损失，具体公式为：
Figure BDA0003896546820000041
Figure BDA0003896546820000042
其中，
Figure BDA0003896546820000047
与
Figure BDA0003896546820000048
分别表示去雾后清晰图像和真实清晰图像第c个通道上像素点i的值；N表示每个通道中像素的个数；Lsmooth-L1为平滑L1损失；α()为平滑函数。
(2)感知损失，使用VGG16在ImageNet上的预训练模型进行计算感知损失；具体公式为：
Figure BDA0003896546820000043
其中，
Figure BDA0003896546820000044
表示获取VGG16预训练模型中第j层的长度为Hj，宽度为Wj，通道数为Cj的特征图；N表示在感知损失函数中使用VGG16预训练模型特征层的数量；I*表示网络去雾后的图像，Igt表示真实清晰图像；Lp为感知损失。
(3)多尺度结构相似度损失，具体公式为：
Figure BDA0003896546820000045
其中，μp，μg分别表示去雾后图像和清晰图像的均值；σp，σg分别表示去雾后图像和清晰图像的标准差；σpg表示去雾后图像和清晰图像之间的协方差；βm，γm表示两项之间的相对重要性，C1，C2为常数项，防止除数为0；Lms-ssim为多尺度结构相似度损失。
(4)对抗损失，具体公式为：
Figure BDA0003896546820000046
其中，D(I*)表示将去雾后的图像I*判断为清晰图像的概率；N表示网络中设置Batchsize的大小；Ladv为对抗损失。
整体网络的损失函数表示为：
Ltotal＝Lsmooth-L1+αms-ssim+βLp+γLadv
其中α，β，γ为每个损失函数的超参数。
与现有技术相比，本发明具有如下技术效果：
1)本发明提出一种双分支遥感图像去雾网络的构建方法。通过双分支的架构，每个分支可以单独处理输入网络的图像，使网络能够从相同的输入中提取不同的信息。考虑到遥感图像中场景复杂多变，使用双分支网络能够提供比单分支网络更全面的信息，从而提高图像去雾的性能。
2)本发明提出了一种层级特征交互融合模块，该模块将编码阶段的深层语义信息逐步和浅层细节纹理信息交互融合，以此增强网络的表达能力，恢复出质量更高的清晰图像。
3)本发明提出了一种多尺度残差空洞卷积模块，该模块能够在不改变特征图尺寸的同时增加网络的感受野，并且融合不同尺度的上下文信息。
附图说明
下面结合附图和实施例对本发明作进一步说明：
图1为本发明实施例的图像去雾流程图；
图2为本发明实施例的整体网络结构图；
图3为图2中层级特征交互融合模块HFIM的结构图；
图4为图3中多尺度残差空洞卷积模块的结构图。
具体实施方式
如图1至图4所示，一种双分支遥感图像去雾网络的构建方法，包括以下步骤：
S1、构建U型下分支图像去雾子网，该子网包含：编码层特征提取模块、层级特征交互融合模块、解码层图像恢复模块。
S2、构建非U型上分支图像去雾子网，该子网包含两个卷积层和多尺度残差空洞卷积模块。其中第一个卷积层用于增加输入图像的通道数，第二个卷积层用于将特征图的通道数恢复成原始输入图像的通道数。
S3、构建图像融合模块，负责将U型下分支图像去雾子网的输出和非U型上分支图像去雾子网的输出进行融合。
S4、将有雾图像送入U型下分支图像去雾子网和非U型上分支图像去雾子网，图像融合模块会将两个分支的输出进行融合，输出清晰的遥感图像，最后利用输出清晰遥感图像计算损失用于约束网络的训练过程。
步骤S1具体包括：
如图2中①所示，编码层特征提取模块，使用去除全连接层的Res2Net网络作为编码层特征提取模块，并加载Res2Net网络在ImageNet数据集的预训练模型。
如图2中②所示，层级特征交互融合模块，具体的网络结构如图3。层级特征交互融合模块的输入可以表示为S＝[s1,s2,..sn,..sN]，D＝[d1,d2,..dm,..dM]。其中，S表示浅层特征，D表示深层特征，N与M表示输入特征的通道数。首先将浅层特征和深层特征经过卷积和反卷积操作，调整其特征图的长宽为H，W，调整其通道数为N。具体公式为：
S*＝Conv(S)
D*＝Deconv(D)
其中，S*与D*均为长宽为H，W，通道数为N的特征图。为了提取深层特征中的语义信息，本发明将深层特征按照通道维度压缩，其中每个通道代表一种语义信息。具体的做法是，首先将深层特征经过全局平均池化函数，具体公式为：
Figure BDA0003896546820000061
其中d* n(i,j)表示第n个单通道特征图d* n在位置(i,j)处的值，Hgap表示全局平均池化函数。特征图的形状从H×W×C变成1×1×C。然后，将通道向量f经过带有Sigmoid激活的简单门控机制(Jie等，2017),确保允许强调多个通道(而不是强制执行单热激活)。整个过程可以表示为：
CRB＝σ(C2(δ(C1(f))))
其中σ，δ分别表示Sigmoid和Relu激活函数。C1,C2表示两次卷积，并且分别把特征图的通道数转换成N/8和N。
为了提取浅层特征中的空间细节信息，本发明直接将浅层特征S*输入到具有Relu和Sigmoid激活函数的两个卷积层中。具体公式为：
SRB＝σ(C4(δ(C3(S*))))
特征图的形状由H×W×C变成1×H×W，这是将从深层特征中提取到的语义信息嵌入到浅层特征中，并且将浅层特征中提取到的空间细节信息嵌入到深层特征中。最后，通过将这两个加权特征进行融合。具体公式为：
Figure BDA0003896546820000062
经过上述推理和分析可知，本发明在浅层特征中引入了更深层的语义信息，并且在深层特征中引入了空间细节信息，然后再将浅层特征与深层特征进行融合。通过层级特征交互融合的方式，有利于充分利用网络提取到的信息，进而恢复出质量更好的清晰图像。
如图2中③所示，解码层图像恢复模块，该模块由pixel-shuffle操作和注意力块组成。其中，注意力块由全局平均池化、卷积层、RELU激活层、卷积层、Sigmoid激活层组成。该模块最后连接两个卷积层。
步骤S2具体包括：
非U型上分支图像去雾子网包含两个卷积层和多尺度残差空洞卷积模块。其中，多尺度残差空洞卷积模块如图2中④所示，具体的网络结构图如图4。图4上半部分展示是Resnet网络中的残差块结构，残差块结构能够解决深层神经网络产生的退化问题，该结构由两个3×3的卷积、一个激活层和一个跳跃连接组成。本发明在残差块结构中使用了不同空洞率的卷积，如图4下半部分所示：d(1,1)表示在残差块中使用两个3×3的卷积，每个卷积的空洞率都为1；d(1,2)表示在残差块中使用两个3×3的卷积，第一个卷积的空洞率为1，第二个卷积的空洞率为2；d(1,2,3)表示在残差块中使用三个3×3的卷积，第一个卷积的空洞率为1，第二个卷积的空洞率为2，第三个卷积的空洞率为3。
步骤S3具体包括：
如图2中⑤所示，图像融合模块包含Concat操作、卷积层和Tanh激活层。其中Concat操作将U型下分支网络的输出和非U型上分支网络的输出在通道维度上进行相加，卷积层将输入的通道数转换为3，最后经过Tanh激活层，输出清晰的遥感图像。
步骤S4具体包括：
将有雾图像输入U型下分支图像去雾子网，得到下分支输出图像；将有雾图像输入非U型上分支图像去雾子网，得到上分支输出图像；将下分支输出图像和上分支输出图像输入图像融合模块，得到网络最后的输出清晰遥感图像。最后，使用四种损失约束网络训练的过程，第一种为平滑L1损失，具体公式为：
Figure BDA0003896546820000071
Figure BDA0003896546820000072
其中，
Figure BDA0003896546820000073
与
Figure BDA0003896546820000074
分别表示去雾后清晰图像和真实清晰图像第c个通道上像素点i的值。N表示每个通道中像素的个数。
第二种是感知损失，使用VGG16在ImageNet预训练模型的第3、5、15层进行计算感知损失。具体公式为：
Figure BDA0003896546820000075
其中，
Figure BDA0003896546820000076
表示获取VGG16预训练模型中第j层的长度为Hj，宽度为Wj，通道数为Cj的特征图。N表示在感知损失函数中使用VGG16预训练模型特征层的数量。
第三种是多尺度结构相似度损失，具体公式为：
Figure BDA0003896546820000077
其中，μp，μg分别表示去雾后图像和清晰图像的均值。σp，σg分别表示去雾后图像和清晰图像的标准差。σpg表示去雾后图像和清晰图像之间的协方差。βm，γm表示两项之间的相对重要性，C1，C2为常数项，防止除数为0。
第四种为对抗损失，具体公式为：
Figure BDA0003896546820000078
其中，D(I*)表示将去雾后的图像I*判断为清晰图像的概率。
整体网络的损失函数表示为：
Ltotal＝Lsmooth-L1+αms-ssim+βLp+γLadv
其中α，β，γ为每个损失函数的超参数，将α，β，γ分别设置为0.2,0.001,0.005。
实施例
1.参数设置
本发明的代码基于Pytorch框架实现，在Ubuntu环境下使用NVIDIA 2080Ti GPU训练网络模型。采用Adam优化器进行优化网络，其动量衰减指数，初始学习率设置为0.001，使用多步长衰减方式调整学习率，Gamma＝0.5。此外，本发明在公开遥感数据集SateHaze1k上评估发明的有效性。在SateHaze1k数据集中，包含三个子数据集，每个子数据集中图像的雾浓度不同。Thin子数据集中图像的雾浓度为薄雾，Moderate子数据集中图像的雾浓度为中等雾，Thick子数据集中图像的雾浓度为浓雾。在每个子数据集中，训练集包含320张图像，验证集包含35张图像，测试集包含45张图像。为了验证本发明方法的正确性和有效性，增加目前优秀的去雾算法和本发明方法进行对比，这些方法如下：
类型一：基于先验知识的图像去雾方法，如基于暗通道先验的图像去雾方法(DCP)。
类型二：基于U型结构设计网络模型的图像去雾方法，如增强Pix2Pix图像去雾网络(EPDN)、基于条件生成对抗网络的SAR图像先验的卫星图像去雾(Huang)、基于对比学习的图像去雾网络(AECR)。
类型三：基于非U型结构设计网络模型的图像去雾方法，如基于特征融合注意的图像去雾网络(FFA)、基于粗到细的两阶段遥感图像去雾网络(FCTF)。
2.实验结果
为了评估各种方法的性能，本发明采用峰值信噪比(PSNR)和结构相似性指数(SSIM)作为评估指标，这两个指标通常用于图像去雾任务中评估算法恢复图像质量。本发明提出的方法和其他去雾方法的评估指标如表1所示。
表1各种算法在SateHaze1k数据集上的定量评估
Figure BDA0003896546820000081
实验结果表明，本发明提出的方法在SateHaze1k数据集取得了优异的性能，并且在PSNR和SSIM方面取得了最好的效果。其中，与基于U型结构设计网络模型的算法EPDN、Huang、AECR相比，本发明的方法在Thin fog子数据集上的PSNR分别提高了5.622dB，3.199dB，4.457dB，SSIM分别提高了0.0464，0.0224，0.0507。与基于非U型结构设计网络模型的算法FFA，FCTF相比，本发明的方法在Moderate fog子数据集上的PSNR分别提高了1.668dB，3.977dB，SSIM分别提高了0.0068，0.0191。此外，在对比算法中，Huang.SAR表示在去雾网络中引入了雷达数据作为辅助信息来指导网络恢复出清晰图像，并且取得了较好的性能提升。然而，雷达数据的获取相对较难，并且，本发明提出的方法在没有雷达数据的情况下也取得了比Huang.SAR更好的定量指标。
3.消融分析
为了验证提出的去雾方法中各个模块的有效性，本发明按照网络结构和模块创新的思路设计了消融实验，共包含6个实验：(1)OUB(ordinary up branch)表示仅包含上分支的网络模型，其中上分支中仅采用普通的残差块结构。(2)ODB(ordinary down branch)表示仅包含下分支的网络模型，其中下分支为普通的U型网络，没有加入层级特征融合模块。(3)OTB(ordinary two branch)表示双分支网络，其中上分支网络采用普通的残差块结构，下分支网络中采用普通的U型网络(4)OTB_MRDCB(ordinary two branch,Multiscaleresidual dilated convolution block)表示在(3)的基础上加入多尺度残差空洞卷积模块。(5)OTB_HFIM(ordinary two branch,Hierarchical feature interaction block)表示在(3)的基础上加入层级特征交互模块。(6)OTB_MRDCB_HFIM(ordinary two branch,Multiscale residual dilated convolution block,Hierarchical featureinteraction block)表示在(3)的基础上既加入了多尺度残差空洞卷积块，又加入了层级特征交互模块，该模型也是本发明使用的最终模型。
表2在Thick子数据集上的PSNR和SSIM结果
Figure BDA0003896546820000091
消融实验是在SateHaze1k的Thick子测试集上进行，本发明对比了上述6种实验，PSNR和SSIM的结果如表2所示。通过比较表2前三个模型可以发现，双分支网络可以在一定程度上能够提高模型在PSNR和SSIM方面的性能。此外，通过观察第三个模型和第四个模型，加入多尺度空洞卷积模块的模型在PSNR和SSIM上分别较未加入的模型提高了1.501dB和0.0064。这是由于多尺度空洞卷积模块在不改变输入图像结构信息的同时，增强了网络的感受野，并且融合了上下文信息。此外，为了验证层级特征融合模块的有效性，本发明在普通的双分支网络中加入了层级特征融合模块，通过对比表2的第三个模型和第五个模型，可以发现，层级特征融合模块在改善PSNR和SSIM方面起着重要作用，增加的PSNR和SSIM也表明，将编码阶段的深层语义信息逐步和浅层细节纹理信息融合对于提高去雾性能起着重要作用。
本发明提供一种基于层级特征交互与增强感受野的双分支图像去雾方法，与现有基于U型结构设计网络的模型不同，本发明能够在U型网络中加强编码层特征信息的交互，充分利用网络提取到的浅层和深层的特征信息，从而增强网络的表达能力。同时本发明能够在不改变特征图尺寸的同时增加网络的感受野，并且融合不同尺度的上下文信息，从而提升网络的去雾性能，有效的提升去雾效果，恢复出质量更高的清晰遥感图像。

Claims (9)

1.一种双分支遥感图像去雾网络的构建方法，其特征在于，它包括以下步骤：
S1、构建U型下分支图像去雾子网，该子网包含：编码层特征提取模块、层级特征交互融合模块、解码层图像恢复模块；
S2、构建非U型上分支图像去雾子网，该子网包含两个卷积层和多尺度残差空洞卷积模块，其中第一个卷积层用于增加输入图像的通道数，第二个卷积层用于将特征图的通道数恢复成原始输入图像的通道数；
S3、构建图像融合模块，用于将U型下分支图像去雾子网的输出和非U型上分支图像去雾子网的输出进行融合；
S4、将有雾图像送入U型下分支图像去雾子网和非U型上分支图像去雾子网，图像融合模块会将两个分支的输出进行融合，输出清晰的遥感图像，最后利用输出的清晰遥感图像来计算损失，从而约束网络的训练；
通过以上步骤对双分支遥感图像去雾网络进行构建。
2.根据权利要求1所述的方法，其特征在于，在步骤S1中，构建的U型下分支图像去雾子网如下：
编码层特征提取模块的第一层(1)→编码层特征提取模块的第二层(2)→编码层特征提取模块的第三层(3)→编码层特征提取模块的第四层(4)→解码层图像恢复模块的第一层(5)→解码层图像恢复模块的第二层(6)；
编码层特征提取模块的第三层(3)，编码层特征提取模块的第四层(4)→第一个层级特征交互融合模块(7)；
编码层特征提取模块的第二层(2)，第一个层级特征交互融合模块(7)→第二个层级特征交互融合模块(8)；
编码层特征提取模块的第一层(1)，第二个层级特征交互融合模块(8)→第三个层级特征交互融合模块(9)；
解码层图像恢复模块的第二层(6)，第一个层级特征交互融合模块(7)→第一次Concat操作(10)→解码层图像恢复模块的第三层(11)；
解码层图像恢复模块的第三层(11)，第二个层级特征交互融合模块(8)→第二次Concat操作(12)→解码层图像恢复模块的第四层(13)；
解码层图像恢复模块的第四层(13)，第三个层级特征交互融合模块(9)→第三次Concat操作(14)→解码层图像恢复模块的第五层(15)→解码层图像恢复模块的第六层(16)。
3.根据权利要求2所述的方法，其特征在于，第一个层级特征交互融合模块(7)、第二个层级特征交互融合模块(8)、第三个层级特征交互融合模块(9)的结构如图3所示，低层特征→普通卷积操作(23)→第一次1×1卷积操作(24)→第一次RELU操作→第二次1×1卷积操作→第一次sigmoid操作(25)；
高层特征→普通反卷积操作(26)→全局平均池化操作(27)→第三次1×1卷积操作→第二次RELU操作→第四次1×1卷积操作→第二次sigmoid操作(28)；
第一次sigmoid操作(25)，普通反卷积操作(26)→第一次逐像素乘法操作；
第二次sigmoid操作(28)，普通卷积操作(23)→第二次逐像素乘法操作；
第一次逐像素乘法操作，第二次逐像素乘法操作→逐像素相加操作(29)。
4.根据权利要求1所述的方法，其特征在于，在步骤S2中，构建的非U型上分支图像去雾子网的结构如下：
第一个卷积层(17)→N个多尺度残差空洞卷积模块(18)→逐元素相加操作(19)→第二个卷积层(20)；N表示多尺度残差空洞卷积模块的个数。
5.根据权利要求1所述的方法，其特征在于，多尺度残差空洞卷积模块的结构为：
输入层→d(1,1)子模块；输入层→d(1,2)子模块；输入层→d(1,2,3)子模块；
d(1,1)子模块，d(1,2)，d(1,2，3)子模块→Concat操作→全局平均池化操作→第一次1×1卷积操作→RELU操作→第二次1×1卷积操作→sigmoid操作；
Concat操作，sigmoid操作→逐元素相乘操作；
输入层，逐元素相乘操作→逐元素相加操作。
6.根据权利要求5所述的方法，其特征在于，
所述d(1,1)子模块的结构为：输入层→第一次普通3×3卷积操作→RELU操作→第二次普通3×3卷积操作；输入层，第二次3×3卷积操作→逐元素相加操作；
所述d(1,2)子模块的结构为：输入层→普通3×3卷积操作→RELU操作→空洞率为2的3×3卷积操作；输入层，空洞率为2的3×3卷积操作→逐元素相加操作；
所述d(1,2，3)子模块的结构为：输入层→普通3×3卷积操作→RELU操作→空洞率为2的3×3卷积操作→RELU操作→空洞率为3的3×3卷积操作；输入层，空洞率为3的3×3卷积操作→逐元素相加操作。
7.根据权利要求1所述的方法，其特征在于，在步骤S3中，所构建的图像融合模块(21)的结构为：
卷积操作→Tanh激活操作；
图像融合模块(21)的在使用时如下：
下分支解码层图像恢复模块的第六层(16)，上分支第二个卷积层(20)→Concat操作(22)→图像融合模块(21)。
8.根据权利要求1所述的方法，其特征在于，在步骤S4中，所述基于层级特征交互与增强感受野的双分支遥感图像去雾网络包括U型下分支图像去雾子网、非U型上分支图像去雾子网；基于层级特征交互与增强感受野的双分支遥感图像去雾网络在使用时采用以下步骤：
步骤1)将有雾图像输入U型下分支图像去雾子网，得到下分支输出图像；
步骤2)将有雾图像输入非U型上分支图像去雾子网，得到上分支输出图像；
步骤3)将下分支输出图像和上分支输出图像输入图像融合模块，得到网络最后的输出清晰遥感图像；
步骤4)使用四种损失约束网络训练的过程。
9.根据权利要求8所述的方法，其特征在于，在步骤4)中，四种损失约束如下：
(1)平滑L1损失，具体公式为：
Figure FDA0003896546810000031
Figure FDA0003896546810000032
其中，
Figure FDA0003896546810000033
与
Figure FDA0003896546810000034
分别表示去雾后清晰图像和真实清晰图像第c个通道上像素点i的值；N表示每个通道中像素的个数；Lsmooth-L1为平滑L1损失；α()为平滑函数；
(2)感知损失，使用VGG16在ImageNet上的预训练模型进行计算感知损失；具体公式为：
Figure FDA0003896546810000035
其中，
Figure FDA0003896546810000036
表示获取VGG16预训练模型中第j层的长度为Hj，宽度为Wj，通道数为Cj的特征图；N表示在感知损失函数中使用VGG16预训练模型特征层的数量；I*表示网络去雾后的图像，Igt表示真实清晰图像；Lp为感知损失；
(3)多尺度结构相似度损失，具体公式为：
Figure FDA0003896546810000037
其中，μp，μg分别表示去雾后图像和清晰图像的均值；σp，σg分别表示去雾后图像和清晰图像的标准差；σpg表示去雾后图像和清晰图像之间的协方差；βm，γm表示两项之间的相对重要性，C1，C2为常数项，防止除数为0；Lms-ssim为多尺度结构相似度损失；
(4)对抗损失，具体公式为：
Figure FDA0003896546810000038
其中，D(I*)表示将去雾后的图像I*判断为清晰图像的概率；N表示网络中设置Batchsize的大小；Ladv为对抗损失；
整体网络的损失函数表示为：
Ltotal＝Lsmooth-L1+αms-ssim+βLp+γLadv
其中α，β，γ为每个损失函数的超参数。
CN202211274638.5A 2022-10-18 2022-10-18 一种双分支遥感图像去雾网络的构建方法 Pending CN115578280A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211274638.5A CN115578280A (zh) 2022-10-18 2022-10-18 一种双分支遥感图像去雾网络的构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211274638.5A CN115578280A (zh) 2022-10-18 2022-10-18 一种双分支遥感图像去雾网络的构建方法

Publications (1)

Publication Number Publication Date
CN115578280A true CN115578280A (zh) 2023-01-06

Family

ID=84585047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211274638.5A Pending CN115578280A (zh) 2022-10-18 2022-10-18 一种双分支遥感图像去雾网络的构建方法

Country Status (1)

Country Link
CN (1) CN115578280A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116681625A (zh) * 2023-07-04 2023-09-01 广州工程技术职业学院 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN117036952A (zh) * 2023-08-15 2023-11-10 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309150A (zh) * 2023-03-14 2023-06-23 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116309150B (zh) * 2023-03-14 2023-09-22 中国科学院空天信息创新研究院 一种sar辅助下光学遥感影像修复方法
CN116681625A (zh) * 2023-07-04 2023-09-01 广州工程技术职业学院 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN116681625B (zh) * 2023-07-04 2024-02-02 广州工程技术职业学院 基于多尺度对比学习的无监督图像去雨方法、装置及终端
CN117036952A (zh) * 2023-08-15 2023-11-10 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法
CN117036952B (zh) * 2023-08-15 2024-04-12 石河子大学 基于rgb图像重建高光谱图像的红枣水分含量等级检测方法

Similar Documents

Publication Publication Date Title
CN111915592B (zh) 基于深度学习的遥感图像云检测方法
CN115578280A (zh) 一种双分支遥感图像去雾网络的构建方法
CN111915530B (zh) 一种基于端到端的雾霾浓度自适应神经网络图像去雾方法
CN110503613B (zh) 基于级联空洞卷积神经网络的面向单幅图像去雨方法
CN111833277A (zh) 一种具有非配对多尺度混合编解码结构的海上图像去雾方法
CN113313644A (zh) 一种基于残差双注意力网络的水下图像增强方法
CN109410144A (zh) 一种基于深度学习的端到端图像去雾处理方法
CN115293992B (zh) 基于无监督权重深度模型的偏振图像去雾方法及装置
CN116311254B (zh) 一种恶劣天气情况下的图像目标检测方法、系统及设备
CN114120036A (zh) 一种轻量化的遥感图像云检测方法
CN115330620A (zh) 一种基于循环生成对抗网络的图像去雾方法
CN112184573A (zh) 基于卷积神经网络的上下文聚合残差单幅图像去雨方法
CN114299286A (zh) 一种异常天气下基于类别分组的道路场景语义分割方法
CN116205962A (zh) 基于完整上下文信息的单目深度估计方法及系统
CN115527096A (zh) 一种基于改进YOLOv5的小目标检测方法
CN115311508A (zh) 一种基于深度u型网络的单帧图像红外弱小目标检测方法
CN112927236B (zh) 一种基于通道注意力和自监督约束的服装解析方法及系统
CN114155165A (zh) 一种基于半监督的图像去雾方法
CN116703750A (zh) 基于边缘注意力和多阶微分损失的图像去雾方法及系统
CN115578638A (zh) 一种基于U-Net的多层次特征交互去雾网络的构建方法
CN117036182A (zh) 一种单幅图像去雾方法及系统
CN115937048A (zh) 基于无监督视层嵌入与视觉转换模型的光照可控去雾方法
CN113744152A (zh) 一种潮水图像去噪处理方法、终端及计算机可读存储介质
Chen et al. Multi‐scale single image dehazing based on the fusion of global and local features
CN114140334A (zh) 一种基于改进生成对抗网络的复杂煤矿图像去雾方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination