CN116343052A - 一种基于注意力和多尺度的双时相遥感图像变化检测网络 - Google Patents

一种基于注意力和多尺度的双时相遥感图像变化检测网络 Download PDF

Info

Publication number
CN116343052A
CN116343052A CN202310618715.2A CN202310618715A CN116343052A CN 116343052 A CN116343052 A CN 116343052A CN 202310618715 A CN202310618715 A CN 202310618715A CN 116343052 A CN116343052 A CN 116343052A
Authority
CN
China
Prior art keywords
attention
feature
channel
network
method comprises
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310618715.2A
Other languages
English (en)
Other versions
CN116343052B (zh
Inventor
刘伟
林奕渊
刘家伟
郑宇超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202310618715.2A priority Critical patent/CN116343052B/zh
Publication of CN116343052A publication Critical patent/CN116343052A/zh
Application granted granted Critical
Publication of CN116343052B publication Critical patent/CN116343052B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

一种基于注意力和多尺度的双时相遥感图像变化检测网络。所述变化检测网络采用CNN‑transformer结构，使用CNN从输入的双时相图像对中提取多尺度特征；然后使用注意力和transformer模块进一步对双时相图像中的特征上下文信息进行建模；此外使用特征交换操作，部分交换孪生网络两个分支之间的双时相特征。本发明一方面基于注意力的多尺度transformer网络，它结合卷积神经网络、transformer、多尺度模块和注意力机制的优势；另一方面其在本变化检测的框架中使用特征交换模块，提高变化检测的性能；再一方面其设计了通道注意力模块可突出与变化相关的通道。

Description

一种基于注意力和多尺度的双时相遥感图像变化检测网络
技术领域
本发明涉及遥感图像处理技术领域，特别涉及一种基于注意力和多尺度的双时相遥感图像变化检测网络。
背景技术
双时相变化检测是遥感图像处理的一个重要方向，目标是分析同一位置不同时相的遥感图像的地物变化。遥感图像的双时相变化检测在灾害评估、城市规划、农业调查、资源管理和环境监测等应用中具有重要意义。对地观测技术的快速发展提供了大量高分辨率光学遥感图像，同时使变化检测技术受到越来越广泛关注。大规模高分辨率遥感图像的出现和深度学习技术的快速发展，推动了变化检测技术取得重大进展的同时，也对变化检测技术提出了新的要求。由于复杂的纹理、季节变化、气候变化和新的需求等各种因素，双时相遥感图像变化检测仍然被认为是高分辨率光学遥感数据分析中最具挑战性的任务之一。
近几十年来，许多研究人员一直在设计面向光学遥感图像变化检测的方法，以解决变化检测中的挑战。具有手工特征的传统变化检测方法可以在一些简单场景中获得良好的效果，但在复杂场景中通常表现不佳。基于深度学习的变化算法比传统算法表现更好，因为它们可以从大量高质量样本中学习判别特征。在这些基于深度学习的算法中，基于深度卷积神经网络或transformer网络的变化检测算法性能更好。因此，深度卷积神经网络被广泛应用于变化检测任务，以提取具有高度判别性的特征。这些深度特征提取器包括经典的深度卷积神经网络及其扩展架构。目前常用的特征提取策略有单分支结构和孪生网络两种。单分支变化网络采用早期融合策略，将输入图像在输入变化检测网络之前进行融合。孪生网络是一种后期融合策略，通常融合从两个独立的子网络中提取的特征。与单支结构相比，孪生网络由于其更好的性能，近年来得到了更广泛的应用。
为了捕捉遥感图像的变化，深度卷积网络在空间和时间域上对上下文信息进行建模是至关重要的。对上下文信息建模已经做了很多工作。这些方法将特征聚合或注意力机制集成到卷积神经网络中，进一步提高变化检测性能。单分支结构通常使用拼接、差分或求和操作执行图像级特征融合。双分支孪生网络结构通常使用单尺度或多尺度来融合特征。
注意力机制可以使网络关注与变化区域相关的信息，以改善特征表示。基于注意力的变化检测网络可以自动突出与变化区域相关的重要信息，并在位置或通道中抑制与不变区域相关的特征。因此，近年来，一系列研究工作将注意力机制引入变化检测任务。这些注意力机制通常以三种方式实现:包括空间注意力、通道注意力和自注意力。仅使用空间注意力或者通道注意力无法有效建模图像中的全局上下文信息。以往研究中使用自注意力机制建模长期依赖关系得到了很好的结果，但计算效率非常低。
随着transformer在图像分类、语义分割、目标检测等计算机视觉任务中的成功，transformer结构在变化检测中受到越来越多的关注。与纯卷积神经网络相比，transformer结构可以使用编码器-解码器结构有效建模图像的全局上下文信息。受transformer在计算机视觉任务中成功应用的激励，一些基于transformer的变化检测算法最近也出现了令人印象深刻的结果。相对于在自然语义处理中transformer结构的广泛应用，其在变化检测中的应用还有待改进。特别是将多尺度策略和注意力机制与transformer结构结合需要进一步研究。
发明内容
基于此，提出了一种基于注意力和多尺度的双时相遥感图像变化检测网络，该网络基于注意力的多尺度transformer网络，结合了卷积神经网络、transformer、多尺度模块和注意力机制的优势。
本发明提供一种基于注意力和多尺度的双时相遥感图像变化检测网络，采用CNN-transformer结构，使用卷积神经网络（残差网ResNet）作为主干网络，从输入的双时相图像对中提取多尺度特征；
然后，使用注意力和transformer模块对双时相图像中的特征上下文信息进行建模，所述注意力包括空间注意力和通道注意力；
此外，使用特征交换操作，部分交换孪生网络两个分支之间的双时相特征，以弥合不同时相图像域之间的领域差距。
进一步的，令
Figure SMS_1
和/>
Figure SMS_2
别表示在两个不同时间拍摄的同一区域的图像，令
Figure SMS_3
表示图像/>
Figure SMS_4
的输入特征，其中/>
Figure SMS_5
、/>
Figure SMS_6
和/>
Figure SMS_7
分别表示图像的高、宽和通道数；
对于图像输入特征
Figure SMS_8
，使用主干网络ResNet提取出三个不同尺度的特征图/>
Figure SMS_9
、/>
Figure SMS_10
和/>
Figure SMS_11
；
将上述的
Figure SMS_12
与孪生网络另一个分支的相同尺度的特征图进行部分交换，然后将经过特征交换的/>
Figure SMS_13
输入到空间注意力模块（SAM），得到特征图/>
Figure SMS_14
；
将特征图
Figure SMS_15
与另外两个从输入图像/>
Figure SMS_16
导出的不同尺度的特征图使用采样和加法融合，获得融合后的特征图/>
Figure SMS_17
；
特征图
Figure SMS_18
依次输入到transformer和通道注意力模块（CAM），得到特征图/>
Figure SMS_19
；
来自两个子网络的相同尺度的特征图沿着通道维度方向拼接，并输入到相应的基于CNN的分类器中，得到三个预测变化图
Figure SMS_20
、/>
Figure SMS_21
和/>
Figure SMS_22
，在变化检测网络的训练阶段，/>
Figure SMS_23
、/>
Figure SMS_24
和/>
Figure SMS_25
被赋予相同的权重以构造训练算法的总损失函数；在测试阶段中，只有变化图/>
Figure SMS_26
会被用作预测预测结果。
进一步的，将上述的
Figure SMS_27
与孪生网络另一个分支的相同尺度的特征图进行部分交换，交换两个特征图对应位置的元素，这两个特征图分辨率大小相同，来自孪生网络的不同分支（例如/>
Figure SMS_28
和/>
Figure SMS_29
）；特征图/>
Figure SMS_30
和/>
Figure SMS_31
在通道或空间中的部分特征交换可以表述为：
Figure SMS_32
。
其中
Figure SMS_33
和/>
Figure SMS_34
分别对应于批次、通道、高度和宽度维度；/>
Figure SMS_35
尺寸大小为
Figure SMS_36
,是仅由1和0组成的交换掩模，表示是否进行特征交换操作。
特征图
Figure SMS_38
和/>
Figure SMS_41
、/>
Figure SMS_44
和/>
Figure SMS_39
、/>
Figure SMS_42
和/>
Figure SMS_43
两两之间实施特征交换；对于分辨率高的特征图/>
Figure SMS_45
，采用空间上的特征交换操作；对于分辨率低的特征图/>
Figure SMS_37
和/>
Figure SMS_40
，在通道维度上采用特征交换操作。
进一步的，特征图
Figure SMS_46
经过特征交换后，再由空间注意模块（SAM）处理；空间注意力模块用于在空间位置上自动强调特征图/>
Figure SMS_47
中与变化相关的重要信息；
特征图为在
Figure SMS_48
的每个通道上使用二维的空间注意力矩阵
Figure SMS_49
加权特征图，特征图/>
Figure SMS_50
中与位置变化相关的有意义的特征被赋予更大的权重；这样，空间注意力模块有效地突出了双时相图像中与变化区域相关的特征并抑制了不相关区域的特征；
为了获得与
Figure SMS_51
相关的空间注意力/>
Figure SMS_52
沿通道轴的方向实施平均池化和最大池化操作，然后连接池化操作的结果以生成/>
Figure SMS_53
；令MaxPool和AvgPool分别表示最大池化和平均池化；计算 />
Figure SMS_54
的空间注意力过程可以表述为：
Figure SMS_55
；
其中
Figure SMS_56
示 Sigmoid 函数，/>
Figure SMS_57
表示使用边界填充宽度为3的/>
Figure SMS_58
卷积核；
Figure SMS_59
通过SAM得到特征图/>
Figure SMS_60
可以如下表示：
Figure SMS_61
;
其中
Figure SMS_62
表示两个矩阵之间的逐元素乘法；对于特征图的每个通道，我们使用相同的权重矩阵/>
Figure SMS_63
来突出显示信息。
进一步的，将特征图
Figure SMS_64
与同一孪生网络分支上另外两个特征图使用采样（上采样或下采样）和加法进行融合，生成融合后的特征图/>
Figure SMS_65
；之后，融合后的特征图/>
Figure SMS_66
通过transformer模块和通道注意力模块生成特征图/>
Figure SMS_67
；transformer由编码器和解码器块组成；通道注意力模块通过突出显示与变化相关的通道以建模通道上下文信息；以下详细描述本发明设计的通道注意力模块；
多个特征共享相同通道注意力
Figure SMS_68
；为了计算通道注意力，首先，通过逐元素求和来融合两个孪生分支的相同分辨率的特征图，然后沿着融合结果的空间维度应用最大池化。接下来，再次使用逐元素求和融合最大池化操作的多尺度结果，并将融合结果通过多层感知（MLP）传递以获得通道注意力/>
Figure SMS_69
；多层感知器由一个全卷积层和一个ReLU激活函数以及一个全卷积层和一个Sigmoid激活函数组成；下面使用公式阐述相关过程；
令
Figure SMS_70
表示通过transformer模块输入/>
Figure SMS_71
得到的特征图；使用最大池化，
Figure SMS_72
和/>
Figure SMS_73
的融合结果可以表示为：
Figure SMS_74
，
其中
Figure SMS_75
表示使用逐元素求和融合相关特征图；令/>
Figure SMS_76
表示通道数量的缩减比例，使用ReLU作为激活函数，通道注意力图可以表示为：
Figure SMS_77
；
其中
Figure SMS_78
和/>
Figure SMS_79
；最后通过通道注意力后得到特征图/>
Figure SMS_80
可以表示为：
Figure SMS_81
。
进一步的，将两个孪生网络分支的相同分辨率的特征图沿通道维度拼接起来；通过成对拼接，获得三个融合特征图
Figure SMS_82
、/>
Figure SMS_83
和/>
Figure SMS_84
；然后，这三个融合的特征图被上采样到原始图像大小/>
Figure SMS_85
，并分别输入到对应的基于CNN 的分类器中；三个分类器包含两个卷积层；
最后，从基于CNN的分类器中获得三个关于双时相遥感图像的变化预测图
Figure SMS_86
、/>
Figure SMS_87
、
Figure SMS_88
；
设
Figure SMS_89
表示真值，那么基于交叉熵（CE）损失的变化检测任务的总损失函数是：
Figure SMS_90
其中
Figure SMS_91
是预测变化图/>
Figure SMS_92
和真实值/>
Figure SMS_93
之间的CE损失，/>
Figure SMS_94
和
Figure SMS_95
的定义类似。
与现有技术相比，本发明的优势如下：本发明的基于注意力和多尺度的双时相遥感图像变化检测网络，一方面，基于注意力的多尺度transformer网络，它结合了卷积神经网络、transformer、多尺度模块和注意力机制的优势；另一方面，其在本变化检测的框架中使用特征交换模块，提高变化检测的性能；再一方面，其设计了通道注意力模块，可以突出与变化相关的通道。
本发明的基于注意力和多尺度的双时相遥感图像变化检测网络，一方面，使用了双时特征间的特征交换和空间注意力机制，这使两个分支的特征之间的分布更加相似，并且在一定程度上增加了样本的多样性同时还强调了特征的位置信息；另一方面，本发明将Transformer结构和通道注意力机制相结合，可以减少在特征提取过程中丢失的上下文信息和选择性加强重要的特征，忽略不重要的特征。有利于提高模型在数据集上的检测结果；再一方面，本发明设计的算法可以充分利用各个阶段提取出的图像特征。
附图说明
图1为本发明的基于注意力和多尺度的双时相遥感图像变化检测的网络框架图；
图2为图1所示基于注意力和多尺度的双时相遥感图像变化检测的特征交换示意图；
图3为图1所示基于注意力和多尺度的双时相遥感图像变化检测的空间注意力模块示意图；
图4为图1所示基于注意力和多尺度的双时相遥感图像变化检测的通道注意力模块示意图；
图5为图1所示基于注意力和多尺度的双时相遥感图像变化检测的基于CNN的变化检测分类器。
具体实施方式
下面将结合本发明实例中的附图，对本发明实例中的技术方案进行清楚，完整的描述，所描述的实例仅仅是本发明一方面实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
网络结构及算法
请参阅图1，本发明提供一种基于注意力和多尺度的双时相遥感图像变化检测网络，结合了卷积神经网络（CNN）、多尺度、transformer和注意力机制等结构的优势。首先，它使用残差网ResNet作为CNN主干网络，从输入的双时相图像对中提取多尺度特征。然后，它使用注意力和transformer模块进一步对双时相图像中的特征上下文信息进行建模。此外，我们使用特征交换操作，部分交换孪生网络两个分支之间的双时相特征，以弥合不同时相图像域之间的领域差距。
具体地，令
Figure SMS_96
和/>
Figure SMS_97
分别表示在两个不同时间拍摄的同一区域的图像，令
Figure SMS_98
表示图像/>
Figure SMS_99
的输入特征，其中/>
Figure SMS_100
、/>
Figure SMS_101
和/>
Figure SMS_102
分别表示图像的高、宽和通道数。变化检测网络的两个子网络的CNN主干共享相同的权重。
本发明的变化检测网络使用ResNet移除初始全连接层作为主干，从输入图像
Figure SMS_103
和
Figure SMS_104
中提取多尺度特征。如图1所示，ResNet主干网络包含五个主要块，包括一个/>
Figure SMS_105
卷积层和四个残差块。为简单起见，这五个构建基块将分别称为卷积层1、残差块2、残差块3、残差块4和残差块5。其中，残差块3和残差块4执行步幅（stride）为2的下采样。对于输入双时相图像的输入特征/>
Figure SMS_106
，从残差块2、残差块3和残差块5三个模块中分别提取出三个尺度不同的特征图/>
Figure SMS_107
、/>
Figure SMS_108
和/>
Figure SMS_109
。
以下总结本算法的主要流程：
（1）首先，对于图像的输入特征
Figure SMS_110
，使用主干网络提ResNet取出三个不同尺度的特征图/>
Figure SMS_111
、/>
Figure SMS_112
和/>
Figure SMS_113
；
（2）接下来，将上述的
Figure SMS_114
与孪生网络另一个分支的相同尺度（即相同空间分辨率）的特征图进行部分交换，然后将经过特征交换的/>
Figure SMS_115
输入到空间注意力模块（SAM），得到特征图/>
Figure SMS_116
；
（3）然后，将特征图
Figure SMS_117
与另外两个从输入图像/>
Figure SMS_118
导出的不同尺度的特征图使用采样（上采样或下采样）和加法融合，获得融合后的特征图/>
Figure SMS_119
；
（4）之后，特征图
Figure SMS_120
依次输入到transformer和通道注意力模块（CAM），得到特征图/>
Figure SMS_121
；
（5）最后，来自两个子网络的相同尺度的特征图沿着通道维度方向拼接，并输入到相应的基于CNN的分类器中，得到三个预测变化图
Figure SMS_122
、/>
Figure SMS_123
和/>
Figure SMS_124
。在变化检测网络的训练阶段，/>
Figure SMS_125
、/>
Figure SMS_126
和/>
Figure SMS_127
被赋予相同的权重以构造训练算法的总损失函数。在测试阶段中，只有变化图/>
Figure SMS_128
会被用作预测预测结果。
特征交换与空间注意力
由于太阳光照、观测天气、传感器或季节等差异，通常会在不同时相的图像之间产生领域偏移。为了解决这个问题，我们利用无参数特征交换在通道或空间维度上的两个孪生网络分支之间部分交换具有相同比例的双时相特征。这种特征的混合导致两个分支之间的特征分布更加相似，并有助于弥合领域偏移。
如图2所示，我们交换两个特征图对应位置的元素，这两个特征图分辨率大小相同，来自孪生网络的不同分支（例如
Figure SMS_129
和/>
Figure SMS_130
）。特征图/>
Figure SMS_131
和/>
Figure SMS_132
在通道或空间中的部分特征交换可以表述为：
Figure SMS_133
；
其中
Figure SMS_134
和/>
Figure SMS_135
分别对应于批次、通道、高度和宽度维度。/>
Figure SMS_136
尺寸大小为
Figure SMS_137
，是仅由1和0组成的交换掩模，表示是否进行特征交换操作。
我们为特征图
Figure SMS_140
和/>
Figure SMS_141
、/>
Figure SMS_145
和/>
Figure SMS_139
、/>
Figure SMS_142
和/>
Figure SMS_144
两两之间实施特征交换。对于分辨率高的特征图/>
Figure SMS_146
，我们采用空间上的特征交换操作。对于分辨率低的特征图
Figure SMS_138
和/>
Figure SMS_143
，我们在通道维度上采用特征交换操作。
特征图
Figure SMS_147
经过特征交换后，再由空间注意模块（SAM）处理。空间注意力模块用于在空间位置上自动强调特征图/>
Figure SMS_148
中与变化相关的重要信息。
如图3所示，在
Figure SMS_149
的每个通道上使用二维的空间注意力矩阵
Figure SMS_150
加权特征图。特征图/>
Figure SMS_151
中与位置变化相关的有意义的特征被赋予更大的权重。这样，空间注意力模块有效地突出了双时相图像中与变化区域相关的特征并抑制了不相关区域的特征。
为了获得与
Figure SMS_152
相关的空间注意力/>
Figure SMS_153
，我们沿通道轴的方向实施平均池化和最大池化操作，然后连接池化操作的结果以生成/>
Figure SMS_154
。令MaxPool和AvgPool分别表示最大池化和平均池化。计算/>
Figure SMS_155
的空间注意力过程可以表述为：
Figure SMS_156
；
其中
Figure SMS_157
表示 Sigmoid 函数，/>
Figure SMS_158
表示使用边界填充宽度为3的 />
Figure SMS_159
卷积核。
Figure SMS_160
通过SAM得到特征图/>
Figure SMS_161
可以如下表示：
Figure SMS_162
；
其中
Figure SMS_163
表示两个矩阵之间的逐元素乘法。对于特征图的每个通道，我们使用相同的权重矩阵/>
Figure SMS_164
来突出显示信息。
通道注意力模块
如图1所示，将特征图
Figure SMS_165
与同一孪生网络分支上另外两个特征图使用采样（上采样或下采样）和加法进行融合，生成融合后的特征图/>
Figure SMS_166
。之后，融合后的特征图/>
Figure SMS_167
通过transformer模块和通道注意力模块生成特征图/>
Figure SMS_168
。transformer由编码器和解码器块组成。如何设计编码器和解码器不属于本框架的创新点，不在本发明的讨论范围内。常用的编解码器可以在本发明的变换检测框架中使用。本发明使用空间注意力模块和transformer分别对空间上下文信息和全局上下文信息进行建模。通道注意力模块通过突出显示与变化相关的通道以建模通道上下文信息。以下详细描述本发明设计的通道注意力模块。
如图4所示，多个特征共享相同通道注意力
Figure SMS_169
。为了计算通道注意力，首先，我们通过逐元素求和来融合两个孪生分支的相同分辨率的特征图，然后沿着融合结果的空间维度应用最大池化。接下来，我们再次使用逐元素求和融合最大池化操作的多尺度结果，并将融合结果通过多层感知（MLP）传递以获得通道注意力/>
Figure SMS_170
。多层感知器由一个全卷积层和一个ReLU激活函数以及一个全卷积层和一个Sigmoid激活函数组成。下面使用公式阐述相关过程。
令
Figure SMS_171
表示通过transformer模块输入/>
Figure SMS_172
得到的特征图。使用最大池化，
Figure SMS_173
和/>
Figure SMS_174
的融合结果可以表示为：
Figure SMS_175
；
其中
Figure SMS_176
表示使用逐元素求和融合相关特征图。令/>
Figure SMS_177
表示通道数量的缩减比例，使用ReLU作为激活函数，通道注意力图可以表示为：
Figure SMS_178
；
其中
Figure SMS_179
和/>
Figure SMS_180
。最后通过通道注意力后得到特征图/>
Figure SMS_181
可以表示为：
Figure SMS_182
。
CNN分类器和总损失函数
如图1所示，我们将两个孪生网络分支的相同分辨率的特征图沿通道维度拼接起来。通过成对拼接，获得三个融合特征图
Figure SMS_183
、/>
Figure SMS_184
和/>
Figure SMS_185
。然后，这三个融合的特征图被上采样到原始图像大小/>
Figure SMS_186
，并分别输入到对应的基于CNN 的分类器中。三个分类器具有如图5所示相同的结构，该分类器包含两个卷积层。
最后，从基于CNN的分类器中获得三个关于双时相遥感图像的变化预测图
Figure SMS_187
、/>
Figure SMS_188
和/>
Figure SMS_189
。
该
Figure SMS_190
表示真值，那么基于交叉熵（CE）损失的变化检测任务的总损失函数是：
Figure SMS_191
，其中/>
Figure SMS_192
是预测变化图/>
Figure SMS_193
和真实值/>
Figure SMS_194
之间的CE损失；/>
Figure SMS_195
和/>
Figure SMS_196
的定义类似。
本发明的基于注意力和多尺度的双时相遥感图像变化检测网络，一方面，基于注意力的多尺度transformer网络，它结合了卷积神经网络、transformer、多尺度模块和注意力机制的优势；另一方面，其在本变化检测的框架中使用特征交换模块，提高变化检测的性能；再一方面，其设计了通道注意力模块，可以突出与变化相关的通道。
本发明的基于注意力和多尺度的双时相遥感图像变化检测网络，一方面，使用了双时特征间的特征交换和空间注意力机制，这使两个分支的特征之间的分布更加相似，并且在一定程度上增加了样本的多样性同时还强调了特征的位置信息；另一方面，本专利将Transformer结构和通道注意力机制相结合，可以减少在特征提取过程中丢失的上下文信息和选择性加强重要的特征，忽略不重要的特征。有利于提高模型在数据集上的检测结果；再一方面，本发明设计的算法可以充分利用各个阶段提取出的图像特征。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不限于本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述实施例所记载的技术方案进行修改，或者对其中方面技术特征进行等同替换，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于注意力和多尺度的双时相遥感图像变化检测网络，其特征在于，采用CNN-transformer结构，使用卷积神经网络作为主干网络，从输入的双时相图像对中提取多尺度特征；
然后，使用注意力和transformer模块对双时相图像中的特征上下文信息进行建模，所述注意力包括空间注意力和通道注意力；
此外，使用特征交换操作，部分交换孪生网络两个分支之间的双时相特征，以弥合不同时相图像域之间的领域差距。
2.根据权利要求1所述的基于注意力和多尺度的双时相遥感图像变化检测网络，其特征在于，令
Figure QLYQS_1
和/>
Figure QLYQS_2
分别表示在两个不同时间拍摄的同一区域的图像，令
Figure QLYQS_3
表示图像/>
Figure QLYQS_4
,其中/>
Figure QLYQS_5
、/>
Figure QLYQS_6
和/>
Figure QLYQS_7
分别表示图像的高、宽和通道数；
对于图像输入特征
Figure QLYQS_8
，使用主干网络ResNet提取出三个不同尺度的特征图/>
Figure QLYQS_9
、/>
Figure QLYQS_10
和/>
Figure QLYQS_11
；
将上述的
Figure QLYQS_12
与孪生网络另一个分支的相同尺度的特征图进行部分交换，然后将经过特征交换的/>
Figure QLYQS_13
输入到空间注意力模块，得到特征图/>
Figure QLYQS_14
；
将特征图
Figure QLYQS_15
与另外两个从输入图像/>
Figure QLYQS_16
导出的不同尺度的特征图使用采样和加法融合，获得融合后的特征图/>
Figure QLYQS_17
；
特征图
Figure QLYQS_18
依次输入到transformer和通道注意力模块，得到特征图/>
Figure QLYQS_19
；
来自两个子网络的相同尺度的特征图沿着通道维度方向拼接，并输入到相应的基于CNN的分类器中，得到三个预测变化图
Figure QLYQS_20
、/>
Figure QLYQS_21
和/>
Figure QLYQS_22
；在变化检测网络的训练阶段，/>
Figure QLYQS_23
、/>
Figure QLYQS_24
和/>
Figure QLYQS_25
被赋予相同的权重以构造训练算法的总损失函数；在测试阶段中，只有变化图/>
Figure QLYQS_26
会被用作预测预测结果。
3.根据权利要求2所述的基于注意力和多尺度的双时相遥感图像变化检测网络，其特征在于，将上述的
Figure QLYQS_27
与孪生网络另一个分支的相同尺度的特征图进行部分交换，交换两个特征图对应位置的元素，这两个特征图分辨率大小相同，来自孪生网络的不同分支；特征图/>
Figure QLYQS_28
和/>
Figure QLYQS_29
在通道或空间中的部分特征交换表述为：
Figure QLYQS_30
；
其中
Figure QLYQS_31
和/>
Figure QLYQS_32
分别对应于批次、通道、高度和宽度维度尺寸大小为；/>
Figure QLYQS_33
尺寸大小为 />
Figure QLYQS_34
，是仅由1和0组成的交换掩模，表示是否进行特征交换操作；
特征图
Figure QLYQS_36
和/>
Figure QLYQS_40
、/>
Figure QLYQS_42
和/>
Figure QLYQS_37
、/>
Figure QLYQS_39
和/>
Figure QLYQS_41
两两之间实施特征交换；对于分辨率高的特征图/>
Figure QLYQS_43
，采用空间上的特征交换操作；对于分辨率低的特征图/>
Figure QLYQS_35
和/>
Figure QLYQS_38
，在通道维度上采用特征交换操作。
4.根据权利要求2所述的基于注意力和多尺度的双时相遥感图像变化检测网络，其特征在于，特征图
Figure QLYQS_44
经过特征交换后，再由空间注意模块处理；空间注意力模块用于在空间位置上自动强调特征图/>
Figure QLYQS_45
中与变化相关的重要信息；
特征图为在
Figure QLYQS_46
的每个通道上使用二维的空间注意力矩阵/>
Figure QLYQS_47
加权特征图，特征图/>
Figure QLYQS_48
中与位置变化相关的有意义的特征被赋予更大的权重；这样，空间注意力模块有效地突出了双时相图像中与变化区域相关的特征并抑制了不相关区域的特征；
为了获得与
Figure QLYQS_49
相关的空间注意力/>
Figure QLYQS_50
，沿通道轴的方向实施平均池化和最大池化操作，然后连接池化操作的结果以生成/>
Figure QLYQS_51
；令MaxPool和AvgPool分别表示最大池化和平均池化；计算 />
Figure QLYQS_52
的空间注意力过程表述为：
Figure QLYQS_53
；
其中
Figure QLYQS_54
表示 Sigmoid 函数，/>
Figure QLYQS_55
表示使用边界填充宽度为3的/>
Figure QLYQS_56
卷积核；
Figure QLYQS_57
通过SAM得到特征图/>
Figure QLYQS_58
如下表示：
Figure QLYQS_59
；
其中
Figure QLYQS_60
表示两个矩阵之间的逐元素乘法；对于特征图的每个通道，我们使用相同的权重矩阵/>
Figure QLYQS_61
来突出显示信息。
5.根据权利要求2所述的基于注意力和多尺度的双时相遥感图像变化检测网络，其特征在于，将特征图
Figure QLYQS_62
与同一孪生网络分支上另外两个特征图使用采样和加法进行融合，生成融合后的特征图/>
Figure QLYQS_63
；之后，融合后的特征图/>
Figure QLYQS_64
通过transformer模块和通道注意力模块生成特征图/>
Figure QLYQS_65
；transformer由编码器和解码器块组成；通道注意力模块通过突出显示与变化相关的通道以建模通道上下文信息；以下详细描述本发明设计的通道注意力模块；
多个特征共享相同通道注意力
Figure QLYQS_66
；为了计算通道注意力，首先，通过逐元素求和来融合两个孪生分支的相同分辨率的特征图，然后沿着融合结果的空间维度应用最大池化；接下来，再次使用逐元素求和融合最大池化操作的多尺度结果，并将融合结果通过多层感知传递以获得通道注意力/>
Figure QLYQS_67
；多层感知器由一个全卷积层和一个ReLU激活函数以及一个全卷积层和一个Sigmoid激活函数组成；下面使用公式阐述相关过程；
令
Figure QLYQS_68
表示通过transformer模块输入/>
Figure QLYQS_69
得到的特征图；使用最大池化，
Figure QLYQS_70
和/>
Figure QLYQS_71
的融合结果表示为：
Figure QLYQS_72
，
其中
Figure QLYQS_73
表示使用逐元素求和融合相关特征图；令/>
Figure QLYQS_74
表示通道数量的缩减比例，使用ReLU作为激活函数，通道注意力图表示为：
Figure QLYQS_75
，
其中
Figure QLYQS_76
和/>
Figure QLYQS_77
；最后通过通道注意力后得到特征图/>
Figure QLYQS_78
表示为；
Figure QLYQS_79
。
6.根据权利要求2所述的基于注意力和多尺度的双时相遥感图像变化检测网络，其特征在于，将两个孪生网络分支的相同分辨率的特征图沿通道维度拼接起来；通过成对拼接，获得三个融合特征图
Figure QLYQS_80
、/>
Figure QLYQS_81
和/>
Figure QLYQS_82
；然后，这三个融合的特征图被上采样到原始图像大小
Figure QLYQS_83
，并分别输入到对应的基于CNN 的分类器中；三个分类器具有相同的网络结构，包含两个卷积层；
最后，从基于CNN的分类器中获得三个关于双时相遥感图像的变化预测图
Figure QLYQS_84
、/>
Figure QLYQS_85
和/>
Figure QLYQS_86
；
设
Figure QLYQS_87
表示真值，那么基于交叉熵损失的变化检测任务的总损失函数是：
Figure QLYQS_88
；
其中
Figure QLYQS_89
是预测变化图/>
Figure QLYQS_90
和真实值/>
Figure QLYQS_91
之间的CE损失，/>
Figure QLYQS_92
和
Figure QLYQS_93
的定义类似。
CN202310618715.2A 2023-05-30 2023-05-30 一种基于注意力和多尺度的双时相遥感图像变化检测网络 Active CN116343052B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310618715.2A CN116343052B (zh) 2023-05-30 2023-05-30 一种基于注意力和多尺度的双时相遥感图像变化检测网络

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310618715.2A CN116343052B (zh) 2023-05-30 2023-05-30 一种基于注意力和多尺度的双时相遥感图像变化检测网络

Publications (2)

Publication Number Publication Date
CN116343052A true CN116343052A (zh) 2023-06-27
CN116343052B CN116343052B (zh) 2023-08-01

Family

ID=86879086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310618715.2A Active CN116343052B (zh) 2023-05-30 2023-05-30 一种基于注意力和多尺度的双时相遥感图像变化检测网络

Country Status (1)

Country Link
CN (1) CN116343052B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN115424145A (zh) * 2022-09-19 2022-12-02 中国科学院国家空间科学中心 一种基于深度学习的行星遥感影像地表地形变化检测方法
CN115601661A (zh) * 2022-10-31 2023-01-13 湖北工业大学（Cn） 一种用于城市动态监测的建筑物变化检测方法
CN115690002A (zh) * 2022-10-11 2023-02-03 河海大学 一种基于Transformer和密集特征融合的遥感图像变化检测方法及系统
CN115713529A (zh) * 2022-11-30 2023-02-24 河南大学 基于高效注意力的轻量级光学遥感图像变化检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022073452A1 (zh) * 2020-10-07 2022-04-14 武汉大学 一种基于自注意力上下文网络的高光谱遥感图像分类方法
CN113420662A (zh) * 2021-06-23 2021-09-21 西安电子科技大学 基于孪生多尺度差异特征融合的遥感影像变化检测方法
CN115424145A (zh) * 2022-09-19 2022-12-02 中国科学院国家空间科学中心 一种基于深度学习的行星遥感影像地表地形变化检测方法
CN115690002A (zh) * 2022-10-11 2023-02-03 河海大学 一种基于Transformer和密集特征融合的遥感图像变化检测方法及系统
CN115601661A (zh) * 2022-10-31 2023-01-13 湖北工业大学（Cn） 一种用于城市动态监测的建筑物变化检测方法
CN115713529A (zh) * 2022-11-30 2023-02-24 河南大学 基于高效注意力的轻量级光学遥感图像变化检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
陈科峻;张叶;: "循环神经网络多标签航空图像分类", 光学精密工程, no. 06 *
雷鹏程;刘丛;唐坚刚;彭敦陆;: "分层特征融合注意力网络图像超分辨率重建", 中国图象图形学报, no. 09 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117830875A (zh) * 2024-03-05 2024-04-05 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法
CN117830875B (zh) * 2024-03-05 2024-05-24 山东科技大学 一种基于时空鲁棒表征提取的遥感变化检测方法

Also Published As

Publication number Publication date
CN116343052B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Wang et al. Ultra-dense GAN for satellite imagery super-resolution
CN113673590B (zh) 基于多尺度沙漏密集连接网络的去雨方法、系统和介质
Cao et al. Deconvolutional neural network for image super-resolution
Cheng et al. Zero-shot image super-resolution with depth guided internal degradation learning
Couturier et al. Image denoising using a deep encoder-decoder network with skip connections
Ma et al. Learning a 3D-CNN and transformer prior for hyperspectral image super-resolution
CN116309648A (zh) 一种基于多注意力融合的医学图像分割模型构建方法
Liu et al. An attention-based multiscale transformer network for remote sensing image change detection
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN116343052B (zh) 一种基于注意力和多尺度的双时相遥感图像变化检测网络
Khan et al. An encoder–decoder deep learning framework for building footprints extraction from aerial imagery
Chen et al. MICU: Image super-resolution via multi-level information compensation and U-net
Rad et al. Benefiting from multitask learning to improve single image super-resolution
CN114638768B (zh) 一种基于动态关联学习网络的图像去雨方法、系统及设备
CN115908772A (zh) 一种基于Transformer和融合注意力机制的目标检测方法及系统
Meng et al. Gradient information distillation network for real-time single-image super-resolution
Mishra et al. Self-FuseNet: data free unsupervised remote sensing image super-resolution
CN116665065A (zh) 基于十字交叉注意力的高分辨率遥感影像变化检测方法
Ma et al. Multi-task interaction learning for spatiospectral image super-resolution
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Zhao et al. High resolution remote sensing bitemporal image change detection based on feature interaction and multi-task learning
Gao A method for face image inpainting based on generative adversarial networks
Zhang et al. Dense haze removal based on dynamic collaborative inference learning for remote sensing images
Zhu et al. MDAFormer: Multi-level difference aggregation transformer for change detection of VHR optical imagery
Zhao et al. Improved edge-guided network for single image super-resolution

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant