CN116030357A - 一种高分辨率遥感图像变化检测深度网络及检测方法 - Google Patents

Abstract

本发明属于遥感变化检测技术领域，公开了一种高分辨率遥感图像变化检测深度网络及检测方法。所述深度网络为注意力引导的多级特征融合网络(AGMFFNet)。在特征编码阶段，同时采用早期融合结构和晚期融合结构提取双时相图像的上下文特征和局部相关特征。在特征融合阶段，在每一层网络结构之间提出了一种早晚期混合特征融合模块(ELMFFM)，用于融合并增强图像的差异特征。此外，在特征解码阶段，进一步提出了一种多级辅助特征重建模块(MAFRM)来弥补传统直接上采样方法造成的空间信息损失。通过在2个公开的数据集中证明了所提出网络和方法的有效性。

Description

一种高分辨率遥感图像变化检测深度网络及检测方法

技术领域

本发明属于遥感变化检测技术领域，具体为一种高分辨率遥感图像变化检测深度网络及检测方法。

背景技术

遥感变化检测是一种通过联合处理在同一地理区域采集的双时相或多时相图像来识别地球表面发生变化的过程。它已经广泛应用于城市规划、灾害评估、植被覆盖等领域。随着卫星成像技术的快速发展，各种数据源类型的传感器层出不穷，高分辨率遥感图像由于其覆盖范围广、时空分辨率高，已被证明是变化检测的主要数据源。

传统的变化检测方法可以分为基于像素的方法和基于对象的方法。基于像素的变化检测方法通过比较相邻相位中像素或区域之间的差异来测量图像的变化，如变化向量分析(CVA)、主成分分析(PCA)等。但是，此类方法计算量大且仅根据单个像素的光谱值变化，难以处理具有复杂数据源和特征的图像。基于对象的变化检测方法利用光谱、纹理等特征信息将图像分割成不同类别，然后通过比较对应区域得到变化检测结果，如支持向量机(SVM)、马尔科夫随机场(MRF)等。此类方法综合考虑了图像的光谱和空间等信息，但是最终检测结果依赖于每个特征提取和分类单元的结果，容易造成错误信息积累，从而限制检测精度。随着卫星成像技术和变化检测技术的快速发展，传统变化检测方法已经不能满足于对检测精度的要求。深度学习方法由于其强大的特征提取能力和优越的效果，已被广泛应用于变化检测，并在变化检测任务中表现出良好的性能。

基于深度学习的变化检测方法可以粗略地分为早期融合方法和晚期融合方法，分别在特定位置融合来自不同数据源的特征。早期融合方法在提取变化特征之前融合双时相图像，对融合后的图像进行特征提取和变化图生成操作。该方法能够自适应地提取图像变化前后的信息，同时能够获取到变化区域的时空上下文信息。但是，将两张图像融合为一张后，可能会造成图像细节信息的丢失或产生新的噪声影响，从而导致变化图精度降低。因此，晚期融合方法是通过边提取特征边进行融合或先提取特征再进行融合的方式来实现变化检测的。具体来说，双时相图像分别被送入两个相同的编码器网络，然后再通过差异度量或融合的方法获得变化图。基于差异度量的方法通常采用计算对应特征像素之间的差异值来判断变化区域。该方法计算简单，但是仅通过计算局部像素之间的差异性，忽略了邻域上下文信息对变化区域的影响，从而在生成最终的变化图时可能会造成双时相图像之间相关信息的缺失。基于融合的方法通常将对应层的语义特征进行融合后，再通过一系列的卷积操作生成变化图。然而，该方法面临的问题依然是时空上下文信息不足。

发明内容

变化检测旨在从双时相图像中识别地表发生的变化。近年来，基于深度学习的方法在变化检测领域取得了突破性的进展。现有方法大多通过单一的早期融合结构或晚期融合结构来提取双时相图像的多尺度特征。然而，晚期融合方法没有考虑到邻域的上下文信息，且只能通过融合或度量的方式获得差异图，导致提取的差异特征较为单一；而早期融合方法缺乏对单个原始图像的深层特征提取能力，在重建变化图时容易缺乏细节特征。因此，针对上述问题本发明提供了一种高分辨率遥感图像变化检测深度网络及检测方法。

为了达到上述目的，本发明采用了下列技术方案：

本发明提供了一种高分辨率遥感图像变化检测深度网络，所述深度网络为注意力引导的多级特征融合网络(AGMFFNet)，主要由三部分组成：特征提取网络(FeatureExtraction,FE)、早晚期混合特征融合模块(ELMFFM)和多级辅助特征重建模块(MAFRM)；所述FE用于提取图像的上下文特征和局部相关特征信息；所述ELMFFM用于融合并增强FE所提取的图像的差异特征；所述MAFRM用于恢复特征图大小，同时弥补传统直接上采样方法造成的空间信息损失。

进一步，所述FE包括早期融合子网络(FE1)和晚期融合子网络(FE2)，分别用于提取图像的上下文特征和局部相关特征，由一个空洞卷积模块、一个最大池化层和四个残差模块组成，空洞卷积模块由4个连续的空洞卷积组成。FE是基于SE-ResNet50构建的，为保证在特征解码阶段，每一层特征在上采样时都有高分辨率特征进行辅助，将原SE-ResNet50中第一个7×7的卷积层替换为一个空洞卷积模块，该模块由4个连续的空洞卷积组成。

进一步，所述ELMFFM在FE的池化层及其之后的每一层之间均具有一个，用来有效融合FE所提取的语义特征信息，ELMFFM包括邻域自注意力模块(NSAM)和通道自注意力模块(CSAM)，NSAM用于融合提取的差异信息和全局信息，CSAM用于增强NSAM融合信息中对变化目标有用的通道信息。

进一步，所述MAFRM用于特征解码，恢复特征图的大小，包括空间注意力模块(SAM)和通道注意力模块(CAM)，分别用于整合局部特征信息和通道依赖关系，以达到更好的特征重建效果。

本发明还提供一种基于前文所述深度网络的高分辨率遥感图像变化检测方法，包括以下步骤：

步骤1，训练前文所述的深度网络；

步骤2，将图像送入特征提取网络，以提取多级深度特征；

步骤3，将特征提取网络中第二层和之后每一层的输出作为早晚期混合特征融合模块的输入，通过分层地进行多级混合特征融合，以生成有效的差异特征；

步骤4，结合早晚期混合特征融合模块每一层的差异特征，使用多级辅助特征重建模块以辅助上采样的方式将特征图逐层恢复到输入图像的大小，预测最终的变化图。由于直接上采样可能会造成空间分层信息的损失。

进一步，所述步骤1中深度网络的训练是利用训练图像和相对应的真实值来优化精确网络的目标函数，具体过程为：

先使用交叉熵损失函数，测量预测值与真实值之间的差异，确保变化图尽可能的接近真实值，其定义如下：

其中，n表示样本数，y_k表示给定样本的真实值，

表示预测概率值；

再增加骰子损失，克服样本不平衡的问题，其定义如下：

其中，

和_y分别表示预测图和真实标签；

最后，将两种损失函数混合作为所述网络的优化目标，表示为：

L＝L_CE+L_Dice                           (3)。

在变化检测中，未变化区域像素的数量往往大于变化区域像素的数量，在样本类别不平衡的影响下，网络模型的训练方向通常被大多数未变化像素引导，从而忽略了少数变化像素的信息，导致效率较低。因此，我们增加了骰子损失，以克服样本不平衡的问题。

进一步，所述步骤2的具体过程为：首先将特征提取网络空洞卷积模块的4个连续空洞卷积的空洞率设置为1、2、1、2，将最大池化层的步距改为1，并将第一个残差模块的步距改为2，使得特征图在通过每一个残差模块后的大小压缩为上一层的1/2；然后将双时相图像T0和T1分别送入早期融合子网络FE1和晚期融合子网络FE2中，以提取多级深度特征，分别为早期融合特征F^E和成对晚期融合特征F₀ ^L和F₁ ^L。

进一步，所述步骤3的具体过程为：

将早期融合特征F^E和成对晚期融合特征F₀ ^L和F₁ ^L输入ELMFFM，对F₀ ^L和F₁ ^L进行加法操作，以获得双时相图像中的相关信息；同样，对F₀ ^L和F₁ ^L进行减法操作，以获得双时相图像的差异信息F_diff，然后将F₀ ^L和F₁ ^L相加后的特征与F^E进行级联操作，以获得双时相图像的全局信息F_C，从而增强局部信息的相关性；

为了进一步融合差异信息和全局信息，采用NSAM发掘全局信息与差异信息之间的异同性，获得增强后的差异信息F’；

采用CSAM，用于增强F’中对变化目标有用的通道信息，从而生成加权融合后的差异特征F”。

更进一步，所述采用NSAM发掘全局信息与差异信息之间的异同性，获得增强后的差异信息F’的具体过程为：

首先对全局信息F_C和差异信息F_diff分别进行1×1的卷积操作，将其映射到三个不同的特征空间K、Q、V；

对K和Q分别进行3×3的卷积操作，得到聚集邻域信息的特征K’和Q’，然后，对K’和Q’执行乘法操作并通过softmax函数，得到注意力权重W；由于目标对象的大小是不确定的，仅通过像素点计算全局特征和差异特征的注意力权重容易受到噪声数据的干扰，因此用3×3的邻域信息代替中心像素点，可以在提高注意力权重置信度的同时去除椒盐噪声的影响。

为了突出显示变化区域，对W进行反向操作，并与V相乘，再将其送入1×1的卷积层，生成增强后的差异信息F’。

进一步，所述步骤4的具体过程为：

首先将当前层的差异特征F_c”∈R^H×W×C1与上一层的重建特征F_L ^up∈R^H×W×C1进行级联；通过3×3的转置卷积对级联后的特征进行上采样，得到特征F_trans∈R^2H×2W×C2；

然后，将上一层的差异特征F_L”∈R^2H×2W×C2与F_trans进行加法操作，并送入空间注意力模块，以弥补上采样造成的空间信息损失并增强目标对象的位置信息；同时，将F_trans送入通道注意力模块CAM，以增强与目标对象有关的特征通道信息；

最后，我们对F_trans、F_CAM和F_SAM进行级联，并通过1×1的卷积得到重建特征F_C ^up∈R^{2H ×2W×C2}。

与现有技术相比本发明具有以下优点：

1)本发明提出了一种注意力引导的多级特征融合网络(AGMFFNet)，通过结合早期融合结构与晚期融合结构，可以更完善的提取图像的上下文特征和局部相关特征。同时提出了早晚期混合特征融合模块(ELMFFM)，充分利用图像的全局信息、局部信息和差异信息，有效并完善的提取多级特征中的变化信息。

2)在早晚期混合特征融合模块(ELMFFM)，本发明提出了邻域自注意力模块(NSAM)，NSAM通过对全局特征和差异特征进行自注意力操作，可以增强变化区域的特征；同时还在NSAM后引入了通道自注意力模块(CSAM)，有助于增强与变化信息相关的通道特征。

3)本发明提出了多级辅助特征重建模块(MAFRM)。MAFRM使得各级特征在进行上采样时，拥有高分辨率特征作为辅助特征，从而弥补低分辨率特征在直接上采样时造成的空间信息损失。

4)本发明网络及方法很好地解决了现有早期融合方法和晚期融合方法所存在的不足。在LEVIR-CD和CDD上进行的对比实验得出：AGMFFNet在两个数据集上的3个综合评价指标F1、OA和mIoU中都获得了最佳结果，这证明了AGMFFNet对于不同类型变化目标的适应性。最后，通过在LEVIR-CD中进行消融实验验证了AGMFFNet中各个模块的有效性。

附图说明

图1为本发明注意力引导的多级特征融合网络AGMFFNet的结构图。

图2为本发明网络中早晚期混合特征融合模块的结构；其中(a)ELMFFM，(b)NSAM，(c)CSAM。

图3为3×3卷积感受野示意图。

图4为多级辅助特征重建模块MAFRM的结构。

图5为不同方法在LEVIR-CD数据集上的检测结果。

图6为不同方法在CDD数据集上的检测结果。

图7为本发明注意力引导的多级特征融合网络AGMFFNet中关键模块的特征可视化结果。

具体实施方式

下面结合本发明实施例和附图，对本发明的技术方案进行具体、详细的说明。应当指出，对于本领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干变型和改进，这些也应视为属于本发明的保护范围。

实施例1

一种高分辨率遥感图像变化检测深度网络，即注意力引导的多级特征融合网络AGMFFNet的结构如图1所示，主要由三部分组成：特征提取网络、早晚期混合特征融合模块和多级辅助特征重建模块。

所述特征提取网络包括早期融合子网络和晚期融合子网络，分别用于提取图像的上下文特征和局部相关特征，是基于SE-ResNet50构建的，如图1所示，由一个空洞卷积模块、一个最大池化层和四个残差模块组成，空洞卷积模块由4个连续的空洞卷积组成；为保证在特征解码阶段，每一层特征在上采样时都有高分辨率特征进行辅助，将原SE-ResNet50中第一个7×7的卷积层替换为一个空洞卷积模块，该模块由4个连续的空洞卷积组成；

所述早晚期混合特征融合模块在特征提取网络的池化层及其之后的每一层之间均具有一个，用来有效融合特征提取网络所提取的语义特征信息，早晚期混合特征融合模块包括邻域自注意力模块和通道自注意力模块，邻域自注意力模块用于融合提取的差异信息和全局信息，通道自注意力模块用于增强邻域自注意力模块融合信息中对变化目标有用的通道信息；

所述多级辅助特征重建模块用于特征解码，恢复特征图的大小，包括空间注意力模块和通道注意力模块，分别用于整合局部特征信息和通道依赖关系，以达到更好的特征重建效果。

实施例2

基于上述网络的高分辨率遥感图像变化检测方法

1、深度网络的训练：

给定一组训练图像和相对应的真实值，目标是优化精确变化检测网络的目标函数。由于变化检测任务可以被视为像素化的二进制分类任务，因此，我们在训练阶段使用了常用的交叉熵损失函数，可以测量预测值与真实值之间的差异，以确保变化图尽可能的接近真实值，其定义如下：

其中，n表示样本数，yk表示给定样本的真实值，

表示预测概率值；

此外，在变化检测中，未变化区域像素的数量往往大于变化区域像素的数量。在样本类别不平衡的影响下，模型的训练方向通常被大多数未变化像素引导，从而忽略了少数变化像素的信息，导致效率较低。因此，增加了骰子损失，以克服样本不平衡的问题，其定义如下：

其中，

和y分别表示预测图和真实标签；

最后，将两种损失函数混合作为所述网络的优化目标，表示为：

L＝L_CE+L_Dice (3)。

2、特征编码

首先将特征提取网络空洞卷积模块的4个连续空洞卷积的空洞率设置为1、2、1、2，将最大池化层的步距改为1，并将第一个残差模块的步距改为2，使得特征图在通过每一个残差模块后的大小压缩为上一层的1/2；然后将双时相图像T0和T1分别送入早期融合子网络FE1和晚期融合子网络FE2中，以提取多级深度特征，分别为早期融合特征F^E和成对晚期融合特征F₀ ^L和F₁ ^L。

3、特征融合

当前大部分变化检测网络中的特征融合方式为晚期融合，即双时相图像首先通过孪生网络结构分别提取特征，然后对不同层之间的成对特征进行融合。使用晚期融合可以集成成对特征之间的局部相关信息，但是忽略了邻域的上下文信息，而早期融合能够提取时空上下文信息。因此，我们同时引入早期融合结构(FE1)和晚期融合结构(FE2)，并行地获取上下文特征和局部相关特征。我们在特征提取网络中池化层及其之后的每一层之间提出了一个早晚期混合特征融合模块来有效融合三种多尺度语义特征信息，ELMFFM的结构如图2(a)所示。

将早期融合特征F^E和成对晚期融合特征F₀ ^L和F₁ ^L输入早晚期混合特征融合模块，对于这三种特征的输入，分别设计了三种不同的操作，用于提取图像的局部信息、全局信息和差异信息。如图2(a)所示，对F₀ ^L和F₁ ^L进行加法操作，以获得双时相图像中的相关信息；同样，对F₀ ^L和F₁ ^L进行减法操作，以获得双时相图像的差异信息F_diff，然后将F₀ ^L和F₁ ^L相加后的特征与F^E进行级联操作，以获得双时相图像的全局信息F_C，从而增强局部信息的相关性；

为了进一步融合差异信息和全局信息，采用邻域自注意力模块发掘全局信息与差异信息之间的异同性，获得增强后的差异信息F’；NSAM的结构如图2(b)所示，首先对全局信息F_C和差异信息F_diff分别进行1×1的卷积操作，将其映射到三个不同的特征空间K、Q、V；由于目标对象的大小是不确定的，仅通过像素点计算全局特征和差异特征的注意力权重容易受到噪声数据的干扰，因此用3×3的邻域信息代替中心像素点，可以在提高注意力权重置信度的同时去除椒盐噪声的影响。具体而言，我们使用3×3的卷积操作来聚集每个像素点3×3邻域的特征信息。如图3所示，特征图经过3×3的卷积后可以获得3×3的感受野，即经过3×3卷积后的特征图中每个像素点可以表征原特征图中3×3大小区域的特征信息。因此，对K和Q分别进行3×3的卷积操作，得到聚集邻域信息的特征K’和Q’，然后，对K’和Q’执行乘法操作并通过softmax函数，得到注意力权重W；由于K’和Q’分别为全局特征和差异特征，相乘后会增强未变化区域的权重。然而，对于变化检测任务，我们更希望突出显示变化区域。因此，对W进行反向操作，并与V相乘，可突出显示变化区域的信息。再将其送入1×1的卷积层，生成增强后的差异特征。

同时采用通道自注意力模块，用于增强F’中对变化目标有用的通道信息，从而生成加权融合后的差异特征F”。CSAM的结构如图2(c)所示。

4、特征解码

在特征解码阶段，最直接的方法是通过上采样逐层恢复特征图的大小。然而，直接上采样可能会造成空间分层信息的损失。因此，提出了一种多级辅助特征重建模块，在对每一层特征进行上采样时，提供上一层的高分辨率特征作为辅助信息，以减少直接上采样造成的空间信息损失。同时，我们引入了空间注意力模块和通道注意力模块，分别用于整合局部特征信息和通道依赖关系，以达到更好的特征重建效果。

MAFRM的结构如图4所示，首先将当前层的差异特征(F_c”∈R^H×W×C1)与上一层的重建特征(F_L ^up∈R^H×W×C1)进行级联；为避免传统插值法在上采样时容易增强噪声和生成低质量图片的问题，通过3×3的转置卷积对级联后的特征进行上采样，得到特征F_trans∈R^2H×2W×C2；然后，将上一层的差异特征(F_L”∈R^2H×2W×C2)与F_trans进行加法操作，并送入空间注意力模块，以弥补上采样造成的空间信息损失并增强目标对象的位置信息；同时，将F_trans送入通道注意力模块，以增强与目标对象有关的特征通道信息；最后，我们对F_trans、F_CAM和F_SAM进行级联，并通过1×1的卷积得到重建特征(F_C ^up∈R^2H×2W×C2)。

实施例3

网络和检测方法的验证

1、数据集

为了验证AGMFFNet的有效性，我们在两个具有代表性的高分辨率遥感图像变化检测数据集上进行了实验。每个数据集包含一张变化图和两张在同一地区不同时间拍摄的高分辨率遥感图像，两个数据集的详细信息如下：

(1)LEVIR-CD数据集：LEVIR-CD数据集由637对大小为1024×1024的高分辨率遥感图像组成，这些图像来自于德克萨斯州几个城市的20个不同地区，空间分辨率为0.5米，主要变化类型为建筑物变化。实验中，我们将每张图像裁剪为256×256大小且不重叠的图像块，分别选取7120、1024、2048对图像用于训练、验证和测试。

(2)CDD数据集：CDD数据集由16000对大小为256×256的图像组成，包含了10000对训练集，3000对验证集和3000对测试集。CDD的空间分辨率为0.3-1米，包含了建筑物、道路、车辆等不同对象的变化，并忽略了季节差异、亮度等因素引起的变化。

2、实验设置

(1)对比方法

为了验证所提出的AGMFFNet的有效性，我们选择了七种最先进的变化检测方法进行比较，包括FC-EF、FC-Siam-conc、FC-Siam-diff、STANet、DTCDSCN、SRCDNet和MSPSNet。每种方法的介绍如下。

FC-EF是一个基于U-Net模型的全卷积早期融合网络，其中双时相图像级联后作为网络的输入。它采用跳跃连接机制将多尺度特征从编码器传输到解码器，以恢复每个级别的空间特征信息。

FC-Siam-conc是FC-EF的变体，FC-Siam-conc采用晚期融合结构，将编码器扩展为权重共享的孪生网络，以并行的提取双时相图像的特征。它采用跳跃连接将不同级别的双时相特征输入到解码器，以集成不同尺度的时空特征。

FC-Siam-diff与FC-Siam-conc采用相同的孪生网络结构，不同的是，孪生网络结构中相同级别的特征在传输到解码器之前先进行差分操作，以获得双时相图像的多尺度差异特征。

STANet是一种基于时空注意力机制的变化检测网络模型，它利用时空注意力机制获得对光照变化和配准错误具有鲁棒性的长期时空特征，并基于度量的方法来学习双时相图像的变化图。

DTCDSCN是一种双任务约束的深度孪生卷积网络模型，该网络采用SE-ResNet作为骨干网络，并引入双注意力模块，以进一步提高特征的辨别能力。同时，该网络为解决样本不平衡问题提出了改进的焦点损失函数。

SRCDNet是一种具有堆叠注意力模块(SAM)的基于超分辨率的变化检测网络，其中将由5个卷积块注意力模块(CBAM)组成的SAM集成到特征提取器中，通过基于度量学习的变化策略获得变化图。

MSPSNet是一种具有并行卷积结构和自注意力的深度多尺度孪生网络，其中通过并行卷积结构来整合不同的时间特征，并采用自注意力模块来提高特征的表征能力。

(2)实现细节(Implementation Details)

我们的网络模型在PyTorch上实现，并使用单个NVIDIA RTX3090 GPU进行训练和测试。我们使用学习速率为0.001的Adam优化器来优化模型，并设置训练周期为100，批次大小为4。每个训练周期结束后进行验证，验证集上的最佳模型用于测试集的评估。

(3)评价指标(Evaluation Metrics)

我们采用精确度(P)、召回率(Re)、F1、总体准确率(OA)和平均交并比(mIoU)5个评价指标对实验结果进行评估。上述各指标的定义如下：

其中，TP、FP、TN和FN分别指真正例、假正例、真负例和假负例的个数。

3、性能比较

(1)LEVIR-CD数据集上的结果和讨论

各方法在LEVIR-CD数据集中的检测结果和评价指标如图5和表1所示。为了显示地分析各方法的检测效果，我们选择了不同大小的变化目标进行比较。如图5中(a)和(b)的小目标区域，由于光照条件和阴影角度的影响，除DTCDSCN外，其余对比方法都存在漏检和误检的情况，同时对于小目标的轮廓信息定位也较为模糊。相对来说，AGMFFNet在对小目标及其轮廓信息的检测中表现出更显著的效果。在图5(d)中，当目标为大型且连续的区域时，FC-Siam-diff和STANet出现了较大面积的缺失，其余各方法也出现了不同程度的缺失。对于排列较为复杂和密集的建筑物来说，各个建筑物的边界是否完整且平滑能够直观的体现出检测方法的好坏。如图5中(c)、(e)和(f)，各个对比方法都存在误检和漏检的情况，同时，STANet和SRCDNet中出现建筑物粘连的情况，SRCDNet尤为明显。总的来说，AGMFFNet在对目标的完整性和边界精确度方面表现出更优越的性能。

同时，从表1中可以看出，各方法的评价指标表现出与检测结果图类似的结论。SRCDNet的三个综合评价指标F1、OA和mIoU是所有对比方法中最低的，分别为85.72％、98.46％和86.70％。STANet的召回率较高，为90.45％，但是由于其存在目标对象粘连的情况，使得精确度只有83.43％。并且STANet的三个综合评价指标F1、OA和mIoU也仅高于SRCDNet，分别为86.80％、98.60％和87.60。MSPSNet的三个综合评价指标F1、OA和mIoU达到了89.72％、98.96％和90.13％，高于其他所有的对比方法。在所有的方法中，AGMFFNet在5个评价指标中都获得了最佳的结果，并且F1和mIoU分别达到了91.2％和91.53％，分别比MSPSNet高出1.48％和1.4％。这也证明了AGMFFNet相较于其他对比方法更为优越的变化检测性能。

表1LEVIR-CD数据集的实验结果

注：最优值用加粗表示

(2)CDD数据集上的结果和讨论

各方法在CDD数据集中的检测结果和评价指标如图6和表2所示。由于CDD的变化类型相较于LEVIR-CD更多且更复杂，因此，部分对比方法表现出了相对于LEVIR-CD中较差的检测性能。如图6中(a)和(b)所示，对于小目标区域，FC-EF、FC-Siam-conc、FC-Siam-diff和MSPSNet存在明显的漏检情况。STANet、DTCDSCN和SRCDNet中存在误检的情况，并且STANet和DTCDSCN中存在变化目标粘连。对于较为复杂的变化目标，由于变化区域较为稀疏或分布不均匀，各个方法更容易受到噪声的影响。如图6中(c)和(d)，FC-EF、FC-Siam-conc、FC-Siam-diff、STANet和MSPSNet存在明显的误检、漏检和粘连情况。与其他网络相比，AGMFFNet中稀疏目标的边界较为清晰，且具有更少的误检和漏检区域，表现出更好的检测结果。此外，在图6中(e)和(f)的大目标区域中，由于光照和季节等因素的影响，导致这些方法中检测到的目标区域存缺失的情况。相比之下，AGMFFNet对于检测变化种类更为丰富的变化目标表现出更好的适应性。

此外，从表2中也可以看出，FC-EF、FC-Siam-conc、FC-Siam-diff和MSPSNet的各项评价指标明显低于LEVIR-CD。其中，FC-Siam-conc的三个综合评价指标F1、OA和mIoU的数值最低，分别为70.21％、94.23％和73.95％。而STANet、DTCDSCN、SRCDNet和AGMFFNet的三个综合评价指标相对于LEVIR-CD具有提升，表现出对变化种类较为复杂的数据集的较好的适应性。其中，所提出的AGMFFNet在P、F1、OA和mIoU上取得了最佳结果，分别比第二优的值高出1.1％、0.66％、0.2％和0.68％。在召回率方面，虽然AGMFFNet的Re比DTCDSCN低，但是AGMFFNet的精确度比DTCDSCN高3.07％。这证明了AGMFFNet在差异增强和多级辅助上采样中的有效性。

表2CDD数据集的实验结果

注：最优值用加粗表示

实施例4

AGMFFNet中各个模块的有效性验证，为了验证AGMFFNet中各个模块的有效性，我们在LEVIR-CD数据集上进行了一系列的消融实验，实验结果如表3所示。其中，Baseline表示仅使用SE-ResNet50作为早晚期融合结构中的特征提取网络，DCM表示空洞卷积模块。

在对Baseline进行消融实验时，我们使用级联操作和双线性插值法替换ELMFFM模块和MAFRM模块。如表3所示，Baseline在LEVIR-CD中表现最差，相较于AGMFFNet，Baseline的三个综合评价指标F1、OA和mIoU分别降低了2.11％、0.19％和1.84％。同时也可以看出，网络中每一个模块相较于Baseline的变化检测性能都有所提升，间接证明了所提出的每一个模块的有效性。为了研究早期融合结构对网络的影响，我们删除了FE1，仅使用晚期融合子网络作为特征提取网络。可以看出，AGMFFNet在F1、OA和mIoU三个综合评价指标上获得了更高的值，分别提高了0.51％、0.04％和0.44％，证明了结合早晚期融合结构的有效性。在特征融合阶段，分别删除ELMFFM模块中的NSAM和CSAM，可以看出各个评价指标都有所下降，从而证明了两个注意力模块对增强差异信息和相关特征通道信息的有效性。

在特征解码阶段，我们使用几个连续的双线性插值操作替换MAFRM模块。从表3可以看出，AGMFFNet在F1、OA和mIoU三个综合评价指标上分别提高了0.45％、0.2％和0.48％，证明了MAFRM模块对直接上采样方法起到了辅助提升的作用。此外，为了证明DCM未对网络性能造成消极影响，我们使用原SE-ResNet50中第一层卷积层替换DCM。可以看出，DCM在保持感受野和分辨率的同时，对于网络性能的提升也起到了一定的积极作用，AGMFFNet在各个评价指标上都有所提升。通过上述消融实验可以看出，AGMFFNet具有显著提升的变化检测性能，进一步证明了所提出方法的有效性。

表3LEVIR-CD数据集的消融实验结果

注：最优值用加粗表示

实施例5

AGMFFNet在各阶段的学习效果检测：为了更好的显示AGMFFNet在各阶段的学习效果，我们使用测试集中的一个样本来可视化AGMFFNet中各个阶段的热力图，通过热力图可以直观地解释网络各阶段对图像中变化目标的学习情况，可视化结果如图7所示。给定双时相图像，FE1和FE2分别逐层生成包含上下文信息和局部信息的高级语义特征图。然后，ELMFFM对FE1和FE2的每一层特征图进行融合增强，从而生成细化的差异特征。可以观察到，随着网络深度的增加，ELMFFM提取到的差异特征逐渐增强，对差异图中目标轮廓和位置信息的定位也逐渐细化，这表明ELMFFM可以进一步增强变化目标所在的区域。在特征解码阶段，MAFRM对变化区域的突出显示随着解码的深入逐渐清晰。同时，MAFRM对未变化目标的关注也逐层减少。最后，变化预测图和变化图都准确的显示了双时相图像之间的差异。总体来说，AGMFFNet的每个阶段都在学习区分变化目标，以完成对变化区域的突出显示。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

Claims (10)

1.一种高分辨率遥感图像变化检测深度网络，其特征在于：所述深度网络为注意力引导的多级特征融合网络，主要由三部分组成：特征提取网络、早晚期混合特征融合模块和多级辅助特征重建模块；所述特征提取网络用于提取图像的上下文特征和局部相关特征信息；所述早晚期混合特征融合模块用于融合并增强特征提取网络所提取的图像的差异特征；所述多级辅助特征重建模块用于恢复特征图大小，同时弥补传统直接上采样方法造成的空间信息损失。

2.根据权利要求1所述的一种高分辨率遥感图像变化检测深度网络，其特征在于：所述特征提取网络包括早期融合子网络和晚期融合子网络，分别用于提取图像的上下文特征和局部相关特征，由一个空洞卷积模块、一个最大池化层和四个残差模块组成，空洞卷积模块由4个连续的空洞卷积组成。

3.根据权利要求2所述的一种高分辨率遥感图像变化检测深度网络，其特征在于：所述早晚期混合特征融合模块在特征提取网络的池化层及其之后的每一层之间均具有一个，用来有效融合特征提取网络所提取的语义特征信息，早晚期混合特征融合模块包括邻域自注意力模块和通道自注意力模块，邻域自注意力模块用于融合提取的差异信息和全局信息，通道自注意力模块用于增强邻域自注意力模块融合信息中对变化目标有用的通道信息。

4.根据权利要求2所述的一种高分辨率遥感图像变化检测深度网络，其特征在于：所述多级辅助特征重建模块用于特征解码，恢复特征图的大小，包括空间注意力模块和通道注意力模块，分别用于整合局部特征信息和通道依赖关系，以达到更好的特征重建效果。

5.一种基于权利要求1-4任一项所述深度网络的高分辨率遥感图像变化检测方法，其特征在于，包括以下步骤：

步骤1，训练权利要求1所述的深度网络；

步骤2，将图像送入特征提取网络，以提取多级深度特征；

步骤3，将特征提取网络中第二层和之后每一层的输出作为早晚期混合特征融合模块的输入，通过分层地进行多级混合特征融合，以生成有效的差异特征；

步骤4，结合早晚期混合特征融合模块每一层的差异特征，使用多级辅助特征重建模块以辅助上采样的方式将特征图逐层恢复到输入图像的大小，预测最终的变化图。

6.根据权利要求5所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述步骤1中深度网络的训练是利用训练图像和相对应的真实值来优化精确网络的目标函数，具体过程为：

先使用交叉熵损失函数，测量预测值与真实值之间的差异，确保变化图尽可能的接近真实值，其定义如下：

其中，n表示样本数，y_k表示给定样本的真实值，

表示预测概率值；

再增加骰子损失，克服样本不平衡的问题，其定义如下：

其中，

和y分别表示预测图和真实标签；

最后，将两种损失函数混合作为所述网络的优化目标，表示为：

L＝L_CE+L_Dice                    (3)。

7.根据权利要求5所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述步骤2的具体过程为：首先将特征提取网络空洞卷积模块的4个连续空洞卷积的空洞率设置为1、2、1、2，将最大池化层的步距改为1，并将第一个残差模块的步距改为2，使得特征图在通过每一个残差模块后的大小压缩为上一层的1/2；然后将双时相图像T0和T1分别送入早期融合子网络FE1和晚期融合子网络FE2中，以提取多级深度特征，分别为早期融合特征F^E和成对晚期融合特征F₀ ^L和F₁ ^L。

8.根据权利要求7所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述步骤3的具体过程为：

将早期融合特征F^E和成对晚期融合特征F₀ ^L和F₁ ^L输入早晚期混合特征融合模块，对F₀ ^L和F₁ ^L进行加法操作，以获得双时相图像中的相关信息；同样，对F₀ ^L和F₁ ^L进行减法操作，以获得双时相图像的差异信息F_diff，然后将F₀ ^L和F₁ ^L相加后的特征与F^E进行级联操作，以获得双时相图像的全局信息F_C，从而增强局部信息的相关性；

采用邻域自注意力模块发掘全局信息与差异信息之间的异同性，获得增强后的差异信息F’；

采用通道自注意力模块，用于增强F’中对变化目标有用的通道信息，从而生成加权融合后的差异特征F”。

9.根据权利要求8所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述采用邻域自注意力模块发掘全局信息与差异信息之间的异同性，获得增强后的差异信息F’的具体过程为：

首先对全局信息F_C和差异信息F_diff分别进行1×1的卷积操作，将其映射到三个不同的特征空间K、Q、V；

对K和Q分别进行3×3的卷积操作，得到聚集邻域信息的特征K’和Q’，然后，对K’和Q’执行乘法操作并通过softmax函数，得到注意力权重W；

对W进行反向操作，并与V相乘，再将其送入1×1的卷积层，生成增强后的差异信息F’。

10.根据权利要求5所述的一种高分辨率遥感图像变化检测方法，其特征在于，所述步骤4的具体过程为：

首先将当前层的差异特征F_c”∈R^H×W×C1与上一层的重建特征F_L ^up∈R^H×W×C1进行级联；通过3×3的转置卷积对级联后的特征进行上采样，得到特征F_trans∈R^2H×2W×C2；

然后，将上一层的差异特征F_L”∈R^2H×2W×C2与F_trans进行加法操作，并送入空间注意力模块，以弥补上采样造成的空间信息损失并增强目标对象的位置信息；同时，将F_trans送入通道注意力模块，以增强与目标对象有关的特征通道信息；

最后，我们对F_trans、F_CAM和F_SAM进行级联，并通过1×1的卷积得到重建特征F_C ^up∈R^{2H ×2W×C2}。

Images