CN116343034A - 一种遥感图像的变化检测方法、系统、电子设备及介质 - Google Patents

Abstract

本发明提供一种遥感图像的变化检测方法、系统、电子设备及介质，包括：获取预设的训练图像集及多个变化标签图；对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集；将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入变化检测网络模型的编码器结构，以输出前时态特征图及后时态特征图；基于解码器结构，对每对所述前时态特征图与后时态特征图之间的差异特征进行融合处理，以生成变化预测图像。基于所述变化预测图像与对应的所述变化标签图的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型。本发明能够提高遥感图像变化检测的效率与准确度。

Description

一种遥感图像的变化检测方法、系统、电子设备及介质

技术领域

本发明涉及图像检测技术领域，特别是涉及一种遥感图像的变化检测方法、系统、电子设备及介质。

背景技术

遥感图像的变化检测是分析地表变化的重要方法，该方法主要通过分析同一地表地域在不同时间的遥感图像，从而获取地表区域的变化信息。在分析遥感图像的变化信息时，由于地表区域内复杂的场景条件以及不同的成像条件，会导致同一地表区域在不同时间表现出不同的光谱特性，造成遥感图像出现一些无关变化。例如，季节变化、建筑阴影、大气变化、光照条件变化或者其他无关变化条件引起的图像变化。此类图像中的无关变化影响着遥感图像的真实变化检测。因此，目前遥感图像的变化检测集中于识别遥感图像的真实变化信息，以得到准确的地表变化信息。

然而目前，检测人员在进行遥感图像的变化检测任务时，面对大量的数据量与计算量，难以高效准确的识别出遥感图像的真实变化信息。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种遥感图像的变化检测方法、系统、电子设备及介质，本发明能够提高遥感图像变化检测的效率与准确度。

为实现上述目的及其他相关目的，本发明提供一种遥感图像的变化检测方法，包括：

获取预设的训练图像集及多个变化标签图，其中，所述训练图像集包括多个前时态遥感图像以及每个所述前时态遥感图像对应的后时态遥感图像，每个所述变化标签图用于指示每个所述前时态遥感图像以及对应的后时态遥感图像之间的图像变化数据；

对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集；

建立变化检测网络模型，其中，所述变化检测网络模型包括编码器结构与解码器结构；

将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图；

基于所述解码器结构，对每对所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像；

基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型；

将预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，以输出目标变化图。

在本发明一实施例中，所述对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集的步骤包括：

对所述训练图像集中的所有图像数据及对应的所述变化标签图进行裁剪处理；

对裁剪处理后的所有所述图像数据进行预处理操作，以生成输入图像集，其中，所述预处理操作包括灰度化处理、几何变换处理以及图像增强处理。

在本发明一实施例中，所述将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图的步骤包括：

基于所述编码器结构，对所述输入图像集中某个前时态遥感图像与对应的后时态遥感图像进行块分割处理，以生成前时态分块图像与后时态分块图像；

对所述前时态分块图像与所述后时态分块图像进行线性映射，以调整所述前时态分块图像与所述后时态分块图像的图像维度；

在所述编码器结构的每个编码阶段，对维度调整后的所述前时态分块图像与所述后时态分块图像进行下采样操作；

对下采样后的所述前时态分块图像与所述后时态分块图像进行窗口分割操作；

对窗口分割后的所述前时态分块图像与所述后时态分块图像进行窗口内的自注意力机制操作；

对自注意力机制操作后的所述前时态分块图像与所述后时态分块图像进行移位窗口注意力操作，以生成所述每个编码阶段对应的每对不同分辨率的前时态特征图及对应的后时态特征图。

在本发明一实施例中，所述对窗口分割后的所述前时态分块图像与所述后时态分块图像进行窗口内的自注意力机制操作的步骤包括：

对窗口分割后的所述前时态分块图像与所述后时态分块图像进行采样处理，以生成样本向量；

基于所述样本向量，对预设的初始近邻亲和矩阵进行线性映射，以生成目标近邻亲和矩阵，其中，所述初始近邻亲和矩阵表示为

φ_q和φ_k表示线性映射，z表示输入向量，且z∈R^N×d，q∈R^N×d，k∈R^N×d，N表示输入图像的数量，d表示向量的维数，K表示内积函数，所述目标近邻亲和矩阵表示为

q_l∈R^l×d，k_l∈R^l×d。

在本发明一实施例中，所述基于所述解码器结构，对每个所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像的步骤包括：

基于所述解码器结构的差分模块，对每对不同分辨率的前时态特征图及对应的后时态特征图进行差异特征提取操作，以获取多个不同分辨率的差异特征图；

对多个所述差异特征图进行通道数转换处理，以将多个所述差异特征图的通道数统一化；

对通道数统一化的多个所述差异特征图进行融合处理，以生成融合特征图；

对所述融合特征图进行二维转置卷积操作，以生成上采样后的所述融合特征图；

基于多层感知机层，对上采样后的所述融合特征图进行处理，以生成变化预测图像。

在本发明一实施例中，所述基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型的步骤包括：

获取所述变化预测图像与对应的所述变化标签图的所有像素点的标签值；

基于预设的损失函数，计算所述变化预测图像与对应的所述变化标签图之间的损失值，其中，所述损失函数表示为

N表示所述变化预测图像中所有像素点的个数，y_i表示所述变化标签图中第i个像素点的标签值，p_i表示所述变化预测图像中第i个像素点预测为正类的概率；

基于所述损失值，对所述变化检测网络模型进行参数更新。

在本发明一实施例中，所述基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型的步骤之后，还包括：

将预设的测试图像集输入所述变化检测网络模型，以输出测试变化图，其中，所述测试图像集包括前时态测试图像与后时态测试图像；

对所述测试变化图与所述测试图像集对应的测试标签图进行比较，以获取所述变化检测网络模型的面积交并比，其中，所述面积交并比表示为IoU＝(area_i∩area_j)/(area_i∪area_j)，area_i表示所述测试标签图中真实变化区域的面积，area_j表示所述测试变化图中预测变化区域的面积，IoU表示所述测试标签图与所述测试变化图的变化区域的面积交并比；

基于所述面积交并比对所述变化检测网络模型进行性能分析。

本发明还提供一种遥感图像的变化检测系统，包括：

数据采集模块，用于获取预设的训练图像集及多个变化标签图，其中，所述训练图像集包括多个前时态遥感图像以及每个所述前时态遥感图像对应的后时态遥感图像，每个所述变化标签图用于指示每个所述前时态遥感图像以及对应的后时态遥感图像之间的图像变化数据；

数据处理模块，用于对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集；

模型建立模块，用于建立变化检测网络模型，其中，所述变化检测网络模型包括编码器结构与解码器结构；

编码结构模块，用于将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图；

解码结构模块，用于基于所述解码器结构，对每对所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像；

模型训练模块，用于基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型；

数据检测模块，用于将预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，以输出目标变化图。

本发明还提供一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现上述的遥感图像的变化检测方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行上述的遥感图像的变化检测方法。

如上所述，本发明提供一种遥感图像的变化检测方法、系统、电子设备及介质，本发明能够提高遥感图像变化检测的效率与准确度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的示出的遥感图像的变化检测方法的流程图；

图2是本申请的变化检测网络模型的整体结构示意图；

图3是本申请进行窗口自注意力前的窗口分割策略；

图4是本申请的移位窗口自注意力操作的窗口划分策略；

图5是本申请的连续的两个孪生近邻滑窗Transformer模块；

图6是本申请的图1中步骤S20的流程图；

图7是本申请的图1中步骤S40的流程图；

图8是本申请的图7中步骤S45的流程图；

图9是本申请的图1中步骤S50的流程图；

图10是本申请的图1中步骤S60的流程图；

图11是本申请的示出的遥感图像的变化检测系统的框图；

图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-12。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本发明实施例提供了一种遥感图像的变化检测方法，可应用于遥感图像的实际检测中。该方法可以是预先准备多个表示变化前图像的前时态遥感图像，以及多个表示变化后图像的后时态遥感图像，作为训练图像集。并且，可以预先准备用于标识每对前时态遥感图像与后时态遥感图像的变化的变化标签图。进一步的，该方法可以建立用于检测的变化检测网络模型，此变化检测网络模型可以是基于孪生网络、近邻亲和矩阵以及滑动窗口法的Transformer网络模型，该网络模型可进一步表示为孪生近邻滑窗Transformer网络模型。将训练图像集中的图像输入网络模型后，该变化检测网络模型的编码器部分可以在每个编码阶段提取不同分辨率的前时态特征图及对应的后时态特征图。并且变化检测网络模型的解码器结构可以提取每阶段的前时态特征图与后时态特征图的差异特征，通过融合每阶段的差异特征可以输出变化预测图像。最后可以通过计算变化预测图像与变化标签图之间的损失值，以更新变化检测网络模型的参数，最终可以得到训练好的变化检测网络模型。通过训练好的变化检测网络模型可以快速准确的对遥感图像进行变化检测。

请参阅图1所示，本发明提供的遥感图像的变化检测方法可以包括如下步骤：

步骤S10、获取预设的训练图像集及多个变化标签图，其中，所述训练图像集包括多个前时态遥感图像以及每个所述前时态遥感图像对应的后时态遥感图像，每个所述变化标签图用于指示每个所述前时态遥感图像以及对应的后时态遥感图像之间的图像变化数据；

步骤S20、对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集；

步骤S30、建立变化检测网络模型，其中，所述变化检测网络模型包括编码器结构与解码器结构；

步骤S40、将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图；

步骤S50、基于所述解码器结构，对每对所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像；

步骤S60、基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型；

步骤S70、将预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，以输出目标变化图。

在本发明的一个实施例中，在执行步骤S10时，即获取预设的训练图像集及多个变化标签图。具体的，训练图像集可以包括多个前时态遥感图像以及每个所述前时态遥感图像对应的后时态遥感图像，每个前时态遥感图像可以表示地表区域变化前的遥感图像，每个后时态遥感图像可以表示地表区域变化后的遥感图像。每个所述变化标签图可用于指示每个所述前时态遥感图像以及对应的后时态遥感图像之间的图像变化数据。例如，训练图像集可以包含M张前时态遥感图像X＝{X₁,X₂,…,X_m,…,X_M}，以及M张对应变化后的后时态遥感图像Y＝{Y₁,Y₂,…,Y_m,…,Y_M}。同时，还可预先准备M张与变化前和变化后的遥感图像对应的变化标签图Z＝{Z₁,Z₂,…,Z_m,…,Z_M}。该变化标签图可以是黑白二值图，具体的，变化标签图中的黑色部分可以表示背景部分，白色部分可以表示前时态遥感图像与对应的后时态遥感图像之间的变化部分。进一步的，可以预先设置验证图像集，用于在模型训练时验证变化检测网络模型的测试情况，并基于测试情况调整变化检测网络模型的超参数。并且，还可以预先设置测试图像集，用于测试经过训练图像集训练后的变化检测网络模型的性能。

请参阅图6所示，在本发明的一个实施例中，在执行步骤S20时，即对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集。具体的，步骤S20可以包括如下步骤：

步骤S21、对所述训练图像集中的所有图像数据及对应的所述变化标签图进行裁剪处理；

步骤S22、对裁剪处理后的所有所述图像数据进行预处理操作，以生成输入图像集，其中，所述预处理操作包括灰度化处理、几何变换处理以及图像增强处理。

在本发明的一个实施例中，在执行步骤S21时，即对所述训练图像集中的所有图像数据及对应的所述变化标签图进行裁剪处理。具体的，由于目前的主流公开数据集包括1024×1024尺寸的，512×512尺寸的，256×256尺寸的或者其他尺寸的数据集。为了满足绝大多数数据集的使用，该变化检测网络模型使用的输入图片尺寸可设定为256×256。进一步的，输入图片尺寸也可设定为其他尺寸，在此不加以限定。需要说明的是，对于尺寸过大的图像数据需要进行相应的图像裁剪操作，以保证该图像数据可正常的输入网络模型。

在本发明的一个实施例中，在执行步骤S22时，即对裁剪处理后的所有所述图像数据进行预处理操作，以生成输入图像集。具体的，预处理操作可以包括灰度化处理、几何变换处理、图像增强处理或者其他图像预处理操作。灰度化处理可以是指根据预设的目标条件按一定变换关系逐点改变输入图像中每一个像素灰度值的方法，通过灰度化处理可以改善画质，使图像的显示效果更加清晰。几何变换处理可以是指将原图像中的坐标映射到新图像中的新坐标位置，其不改变原图像的像素值，只是改变像素所在的几何位置，用于修正图像采集时产生的随机误差。通过图像增强处理可以增强图像特征。

在本发明的一个实施例中，在执行步骤S30时，即建立变化检测网络模型。该变化检测网络模型可以表示为孪生近邻滑窗Transformer模型。具体的，所述变化检测网络模型可以包括编码器结构10与解码器结构11。编码器结构10的每个阶段可输出前时态遥感图像的前时态特征图与对应的后时态遥感图像的后时态特征图；解码器结构11可用于对每个阶段的前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像。进一步的，在此变化检测网络模型进行训练时，可以采用自适应矩估计AdamW优化器，用于更新模型训练时的参数。该优化器的初始学习率可设定为6×10^-5或者其他学习率数值，在此可不加限制。进一步的，优化器的权重衰减可设定为0.01或者其他数值，在此可不加限制。同时，在随机水平翻转、比例范围内[0.5,2.0]的随机重新缩放和随机光度失真中可以采用默认设置。变化检测网络模型可以采用比值为0.2的随机深度。

在本发明的一个实施例中，在执行步骤S40时，即将所述输入图像集中的某个前时态遥感图像21与对应的后时态遥感图像22输入所述编码器结构10，以输出多个不同分辨率的前时态特征图及对应的后时态特征图。具体的，这个编码器结构10可用于对前时态遥感图像21以及对应的后时态遥感图像22进行编码，并获得前时态遥感图像21对应的多个分辨率的不同尺寸的前时态特征图，以及后时态遥感图像22对应的多个分辨率的不同尺寸的后时态特征图。在此类特征图中，不仅具有高分辨率的粗糙特征，也具有低分辨率的细粒度特征。需要说明的是，输入图像的初始尺寸可以是H×W×3，此变化检测网络模型的编码器每阶段输出的图像尺寸可以基于公式

进行计算。具体的，i的值可以是i∈{1,2,3,4}，且C_i+1>C_i。在编码过程中可以得到4个特征图，通过差分模块可以获取每个阶段的每对前时态特征图与后时态特征图的差异特征，最后对每个阶段的差异特征在解码器结构11中进行多层感知机、特征融合等处理可以输出变化预测图。

请参阅图7所示，在本发明的一个实施例中，在执行步骤S40时，即将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构10，以输出多个不同分辨率的前时态特征图及对应的后时态特征图。具体的，步骤S40可以包括如下步骤：

步骤S41、基于所述编码器结构，对所述输入图像集中某个前时态遥感图像与对应的后时态遥感图像进行块分割处理，以生成前时态分块图像与后时态分块图像；

步骤S42、对所述前时态分块图像与所述后时态分块图像进行线性映射，以调整所述前时态分块图像与所述后时态分块图像的图像维度；

步骤S43、在所述编码器结构的每个编码阶段，对维度调整后的所述前时态分块图像与所述后时态分块图像进行下采样操作；

步骤S44、对下采样后的所述前时态分块图像与所述后时态分块图像进行窗口分割操作；

步骤S45、对窗口分割后的所述前时态分块图像与所述后时态分块图像进行窗口内的自注意力机制操作；

步骤S46、对自注意力机制操作后的所述前时态分块图像与所述后时态分块图像进行移位窗口注意力操作，以生成所述每个编码阶段对应的每对不同分辨率的前时态特征图及对应的后时态特征图。

在本发明的一个实施例中，在执行步骤S41时，即基于所述编码器结构10，对所述输入图像集中某个前时态遥感图像21与对应的后时态遥感图像22进行块分割处理，以生成前时态分块图像与后时态分块图像。具体的，通过对训练图像集的预处理操作后，图像可变换为H×W×3的尺寸。首先，可以对预处理后的某个前时态遥感图像21与对应的后时态遥感图像22进行块分割操作。具体的，块分割操作可以是将H×W×3尺寸的输入图片划分成(4，4)的小块，分块后的图片尺寸可以是

需要说明的是，为了可以实现按照一个块的大小进行不重叠卷积，以将图像分为多个不重叠的块，需要保证卷积核的大小等于块的大小，并且卷积的步长等于块的大小。

在本发明的一个实施例中，在执行步骤S42时，即对所述前时态分块图像与所述后时态分块图像进行线性映射，以调整所述前时态分块图像与所述后时态分块图像的图像维度。具体的，通过线性映射可以将前时态分块图像与所述后时态分块图像映射至96维度，以使得图像变成

维度。在本次过程中，输入的图像大小可以为(256，256，3)，块的大小可以为(4，4)，图像进一步经过块分割后可以得到(64，64，48)，然后再经过线性映射可以得到(64，64，96)。此时，可以对图像数据进行张量自带的展平操作，以将该张量展平成(4096，96)。此时的张量与自然语言处理里的语句极为相似，其中，96可以相当于一个单词的维度，而4096可以相当于单词的数量。通过上述操作，可以将(256，256，3)的图像转换为可以进一步输入编码器的(4096，96)张量。由于Transformer网络模型一般用于自然语言处理中，其对于文字输入的处理是将语句中的每个单词转化为令牌，即一个语句由多个令牌组成。而上述操作可以将二维的图像转化成一维的向量，使其可以进一步输入Transformer网络模型的编码器。

在本发明的一个实施例中，在执行步骤S43时，即在所述编码器结构10的每个编码阶段，对维度调整后的所述前时态分块图像与所述后时态分块图像进行下采样操作。具体的，将图像处理成一个一个块之后，接下来需要对图像进行块融合操作。该操作用于在每一阶段结束之后对图像下采样两倍，在缩小图像分辨率的同时，也可以调整通道数，形成层次化的运算设计，同时也能节省运算量。具体的，在进行下采样两倍操作时，每次在图像行方向和列方向上，可以间隔1个单位选取元素，然后拼接在一起作为一整个张量，接着展开。此时，由于图像的行数与列数各缩小两倍，图像的通道维度可以变成原先的4倍。进一步的，通过一个全连接层调整通道维度为原来的2倍。这样就实现对原来图像的下采样操作。

具体的来说，例如，若在上述下采样过程中，对于一个尺寸为4*4*1的张量，在行方向和列方向上都间隔一个单位选取元素，则可以等到4个2*2*1的张量。然后将这四个张量按照通道那一维度拼接成一个张量(2*2*4)，再经过一个全连接层将通道维度转换成2，最后得到的张量尺寸为(2*2*2)。因此，实现了尺寸(H，W，C)到尺寸(H/2，W/2，2*C)的转变。

在本发明的一个实施例中，在执行步骤S44时，即对下采样后的所述前时态分块图像与所述后时态分块图像进行窗口分割操作。具体的，进行阶段性的下采样之后，可以进行窗口分割和复原窗口操作，以实现窗口自注意力操作。具体的来说，在进行窗口自注意力操作前，可以进行窗口分割操作30，如图3所示，以将多个块划分为一个窗口。在窗口内进行了自注意力操作之后再进行复原窗口操作，以将图片还原成正常的块形式。需要进一步解释的是，正常图片的张量尺寸是(B，H，W，C)，其中B是批处理大小，即训练时一次性获取的图片个数。分割窗口可以表示将原图划分成多个window_size的窗口，其在张量尺寸上可以体现于将(B，H，W，C)的张量划分成(num_windows*B，window_size,window_size，C)。复原窗口可以表示进行分割窗口的逆操作，即将多个窗口再恢复为一整个图片，在张量尺寸上可以体现于将(num_windows*B，window_size，window_size,C)的张量划分成(B，H，W，C)。

需要进一步解释的是，对于传统的Transformer网络模型，例如，ViT网络模型中的注意力机制是在原图的一整张图上进行全局自注意力，此注意力操作需要极大的运算量。本发明提出的变化检测网络模型是在图像进行注意力机制之前将图像划分成一个一个的小窗口，每次计算只需要在窗口里进行注意力机制，减少了计算量，提高了模型的训练和检测速度，降低了模型的训练成本，使其能够更好的应用于实际检测中。值得说明的是，由于本发明的变化检测网络模型每次只是在小的窗口里进行自注意力，会导致特征提取的感受野变小。因此，需要在后续过程中扩大特征提取的感受野。

请参阅图8所示，在本发明的一个实施例中，在执行步骤S45时，即对窗口分割后的所述前时态分块图像与所述后时态分块图像进行窗口内的自注意力机制操作。具体的，步骤S45可以包括如下步骤：

步骤S451、对窗口分割后的所述前时态分块图像与所述后时态分块图像进行采样处理，以生成样本向量。

步骤S452、基于所述样本向量，对预设的初始近邻亲和矩阵进行线性映射，以生成目标近邻亲和矩阵。

在本发明的一个实施例中，在执行步骤S451及步骤S452时，具体的，在对图像进行窗口分割操作后，可以继续进行窗口内的自注意力机制操作。本发明中使用的自注意力机制与传统的注意力机制不同，该自注意力机制操作无需计算高维向量之间的相似性，而是通过更加简单高效的方式获得目标近邻亲和矩阵。此注意力机制的主要方式是将图像的高维表示向量z映射到低维编码空间。

对于本发明的自注意力机制，首先需要说明的是，初始近邻亲和矩阵可以表示为

其中，φ_q(·)和φ_k(·)可以表示两个线性映射，通过该线性映射可以将输入z∈R^N×d映射成q,k∈R^N×d，N可以表示输入图像的数量，d可以表示向量的维数。K(·,·)可以表示典型的内积函数。对于将初始近邻亲和矩阵转化为目标近邻亲和矩阵的方式，具体的来说，在对图像进行向量化之后，注意力机制的输入可以表示为z∈R^N×d。然后在输入中随机采样l个样本，例如，z_l∈R^l×d。接着利用三个不同的线性映射将输入z映射成q,k∈R^N×d，同时利用同样的三个映射将z_l映射成q_l和k_l矩阵，其中，q_l,k_l∈R^l×d，接着利用q_l和k_l矩阵将原始的q和k映射到l-dim空间，即/>

其中/>

可以表示表征向量l∈{1,...,N}和边界动因j∈{1,...,l}之间的相似性。经过以上推导，初始近邻亲和矩阵可变换为目标近邻亲和矩阵。目标近邻亲和矩阵可表示为/>

基于上述过程，获取亲和矩阵的算法复杂度从O(N²d)显著降低到O(N²l)，并且，在测试过程中，d的数值是远小于l的数值，使得算法的复杂度与计算量也大大降低，提高了模型的训练和检测速度，降低了模型训练的成本，提高了模型的实用性。

在本发明的一个实施例中，在执行步骤S46时，即对自注意力机制操作后的所述前时态分块图像与所述后时态分块图像进行移位窗口注意力操作，以生成所述每个编码阶段对应的每对不同分辨率的前时态特征图及对应的后时态特征图。如图5所示，为连续的两个孪生近邻滑窗Transformer模块。具体的，在对每个窗口内进行自注意力操作之后，模型的计算量大大降低。但由于每个窗口和其周围窗口的信息没有交互，使得感受野大大降低，因此需要扩大特征提取的感受野。具体的来说，扩大特征提取的感受野可以是如图4所示进行移位窗口注意力操作31，此操作首先可以是对原本划分好的窗口进行转换，向着图像的左上角进行移动一半窗口大小的距离，并将左上角多出的部分补到右下角，再按照当前的窗口进行自注意力。此时窗口包含的内容就是将之前窗口与其旁边窗口的信息进行组合，使得当前窗口和周围窗口可以进行信息交互，从而扩大特征提取的感受野。此种方式通过在窗口内进行自注意力减少了计算量，同时移位窗口注意力操作可以获得更大的感受野，提高检测的准确性。

在本发明的一个实施例中，在执行步骤S50时，即基于所述解码器结构11，对每个所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像23。具体的，该解码器结构11可以通过聚合每个阶段的每对前时态特征图与后时态特征图的差异特征来预测变化图。解码器部分每阶段对前时态特征图与后时态特征图的差异特征进行差异提取，解码器前三阶段的差异提取之后的差异特征图进行线性插值上采样二倍，将上采样之后的差异特征图与下一阶段的差异特征图进行融合，从而达到融合高分辨率和低分辨率的差异特征，获取图像更细粒度的特征。解码器结构11可以包括第一部分的多层感知器及上采样，第二部分的拼接与融合，第三部分的拼接、分类及对等近邻归一化指数函数。

请参阅图9所示，在本发明的一个实施例中，在执行步骤S50时，即基于所述解码器结构11，对每个所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像23。具体的，步骤S50可以包括如下步骤：

步骤S51、基于所述解码器结构的差分模块，对每对不同分辨率的前时态特征图及对应的后时态特征图进行差异特征提取操作，以获取多个不同分辨率的差异特征图；

步骤S52、对多个所述差异特征图进行通道数转换处理，以将多个所述差异特征图的通道数统一化；

步骤S53、对通道数统一化的多个所述差异特征图进行融合处理，以生成融合特征图；

步骤S54、对所述融合特征图进行二维转置卷积操作，以生成上采样后的所述融合特征图；

步骤S55、基于多层感知机层，对上采样后的所述融合特征图进行处理，以生成变化预测图像。

在本发明的一个实施例中，在执行步骤S51时，即基于所述解码器结构11的差分模块12，对每对不同分辨率的前时态特征图及对应的后时态特征图进行差异特征提取操作，以获取多个不同分辨率的差异特征图。具体的，首先可以在编码器部分的四个阶段，通过差分模块12提取每个阶段的前时态特征图以及后时态特征图的差异特征，以获取不同分辨率不同尺寸的差异特征。该差异特征提取过程可以是基于孪生网络结构，变化前图像经过其中一个网络，变化后图像经过另一个网络，接着通过差分模块12提取每阶段的差异特征。

需要说明的是，差分模块12可以包括二维卷积(Conv2D)，修正线性单元(ReLU)以及批归一化(BN)。具体的来说，差分模块12可以表示为

其中，/>

和/>

可以表示第i层前时态特征图及对应的后时态特征图，cat可以表示张量连接。此差分模块12并不是简单的计算/>

和/>

的绝对差异值，而是在训练期间学习每个尺度的最优距离度量，从而获得更好的变化检测效果。

在本发明的一个实施例中，在执行步骤S52时，即对多个所述差异特征图进行通道数转换处理，以将多个所述差异特征图的通道数统一化。具体的，对各阶段的前时态特征图与对应的后时态特征图进行差异提取之后，可以得到多个不同分辨率的差异特征图。接着，可以通过线性层将所有差异特征图的通道数转换成一个统一的通道数词嵌入维度。例如，词嵌入维度可以设置为256，即图像的输入输出尺寸。最后，对每个维度进行上采样到H/4×W/4的大小。具体过程可以表示为，

/>

其中，C_ebd可以表示嵌入维数，即上述词嵌入维度。

在本发明的一个实施例中，在执行步骤S53时，即对通道数统一化的多个所述差异特征图进行融合处理，以生成融合特征图。具体的，经过通道数统一化操作后可以得到四个不同尺度对应的同通道数的张量，接着通过拼接可以得到一个四倍C_ebd的张量。由于该张量是由四个不同尺度差异图融合而得，因此，其融合了高分辨率的粗糙特征和低分辨率的细粒度特征。最后，通过多层感知机层可以将4倍C_ebd的张量转化成1倍C_ebd的张量，即最后输出图像的256尺寸。具体过程可以表示为，

在本明的一个实施例中，在执行步骤S54及步骤S55时，具体的，在最后的上采样过程中，利用与S＝4和K＝3的二维转置卷积，可以将融合的特征图上采样到H×W的大小。最后，对上采样的融合特征图通过一个多层感知机层进行处理，可以预测分辨率为H×W×n_cls的变化掩模图片，即变化预测图像23。其中，n_cls可以为2，以表示图像中类别的数量，在本发明的变化检测过程中n_cls＝2可以表示变化和无变化这两个类别。具体过程可以表示为，

其中，ConvTranspose2D表示转置卷积。需要说明的是，通过上述解码器部分的简单的多层感知机层来替代原始卷积网络，可以快速完成变化检测，从而降低了模型的复杂度，并提高了模型的检测效率。

对于解码器结构11中的对等近邻归一化指数函数(Softmax)，需要说明的是，原始的归一化指数函数(Softmax)是聚合所有样本，但不相关样本的显著存在会对最终计算产生负面影响。并且，除了最终的输出表示有负面影响外，表示聚合的计算复杂度为O(N²d)，由于输入规模N较大，计算负担也较大。因此，可以使用对等近邻归一化指数函数Softmax(RNS)，用对等近邻掩码强制对少数相关的注意力权重进行稀疏化。例如，假设如果两幅图像在特征空间中互为邻域，则它们很可能是相关的。为此，可以从近邻亲和矩阵

计算一个前k个邻居掩码M^k，通过关注每行的前k个亲和值，同时将A矩阵中每行注意力权重s前k个最大的置为1，其余的置为0。其公式可以表示为，/>

通过该公式可以计算得到近邻掩码M。M_ij＝M^k°M^kT。对于每个元素M_ij，若i和j都是彼此的前k个近邻，则该值将被设为1，否则为0。通过将该掩模M添加到常规的归一化指数函数(Softmax)中，从而实现了只发生在近邻中的稀疏注意，以增加对更相关图像的关注。对等近邻归一化指数函数Softmax(RNS)计算公式可以表示为/>

由于大多数注意值设置为零，则该计算公式中的聚合性更加集中，鲁棒性更好。由于无需对零权值的表示进行加法操作，因此特征聚合的时间复杂度由O(N²d)降低为O(Nkd)。

在本发明的一个实施例中，对于步骤S60，即基于所述变化预测图像23与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型。具体的，前时态待测图像与对应的后时态待测图像输入变化检测网络模型后，可得到损失数据。通过梯度反向传播算法可利用损失数据更新变化检测网络模型的参数，以完成训练。

请参阅图10所示，在本发明的一个实施例中，当执行步骤S60时，即基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型。具体的，步骤S60可以包括如下步骤：

步骤S61、获取所述变化预测图像与对应的所述变化标签图的所有像素点的标签值；

步骤S62、基于预设的损失函数，计算所述变化预测图像与对应的所述变化标签图之间的损失值；

步骤S63、基于所述损失值，对所述变化检测网络模型进行参数更新。

在本发明的一个实施例中，当执行步骤S61及步骤S62时，具体的，所述损失函数可以表示为

其中，N可以表示所述变化预测图像中所有像素点的个数，y_i可以表示所述变化标签图中第i个像素点的标签值，p_i可以表示所述变化预测图像中第i个像素点预测为正类的概率。通过上述损失函数可以计算出变化预测图像与对应的所述变化标签图之间的损失值。

在本发明的一个实施例中，当执行步骤S63时，即基于所述损失值，对所述变化检测网络模型进行参数更新。具体的，通过梯度反向传播算法可利用损失值更新变化检测网络模型的参数，以完成训练。

在本发明的一个实施例中，在步骤S60之后，即基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型的步骤之后，还可以包括如下步骤：

步骤S64、将预设的测试图像集输入所述变化检测网络模型，以输出测试变化图，其中，所述测试图像集包括前时态测试图像与后时态测试图像；

步骤S65、对所述测试变化图与所述测试图像集对应的测试标签图进行比较，以获取所述变化检测网络模型的面积交并比，其中，所述面积交并比表示为IoU＝(area_i∩area_j)/(area_i∪area_j)，area_i表示测试标签图中真实变化区域的面积，area_j表示测试变化图中预测变化区域的面积，IoU为测试标签图与测试变化图的变化区域的面积交并比；

步骤S66、基于面积交并比对所述变化检测网络模型进行性能分析。

在本发明的一个实施例中，在执行步骤S64时，即将预设的测试图像集输入所述变化检测网络模型，以输出测试变化图，其中，所述测试图像集包括前时态测试图像与后时态测试图像。具体的，可以使用预设的测试图像集进行测试。例如，可以使用Q对前时态测试图像与对应的后时态测试图像进行测试，Q张前时态测试图像可表示为

Q张后时态测试图像可表示为

其中，/>

可以表示第q张前时态测试图像，/>

可以表示第q张图片后时态测试图像。

在本发明的一个实施例中，在执行步骤S65及步骤S66时，具体的，可以将测试图像输入训练后的变化检测网络模型，在测试时图像在网络模型中进行前向传播，网络模型根据之前训练得到的参数对图片进行特征提取以及差异提取，然后将多个阶段的差异特征图进行融合得到测试变化图。最后将模型预测得到的测试变化图与对应的测试标签图进行比较，根据比较结果判断模型的好坏。

具体的来说，上述比较过程可基于面积交并比对变化检测网络模型的准确度进行分析。面积交并比计算过程可表示为IoU＝(area_i∩area_j)/(area_i∪area_k)。其中，area_i可以表示测试标签图中真实变化区域的面积，area_j可以表示测试变化图中预测变化区域的面积，IoU可以表示测试标签图与测试变化图的变化区域的面积交并比。

在本发明的一个实施例中，对于步骤S70，即将预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，以输出目标变化图。具体的，在变化检测网络模型检测完成后，可以预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，在检测时图像在网络模型进行前向传播，变化检测网络模型根据之前训练得到的参数对图片进行特征提取以及差异提取，然后将多个阶段的差异特征图进行融合得到最后的目标变化图。从而可实现快速准确的变化检测。

可见，在上述方案中，将Transformer网络模型应用到变化检测任务中，将全图自注意力改变为窗口内自注意力，大大减少了模型的计算量，从而提高了模型的训练和检测速度，使得其更好地应用于实际使用中。本发明的网络模型无需大量数据进行训练，降低了训练成本。并且本发明使用滑动窗口，在窗口内进行自注意力，同时会将窗口进行变换移动，然后再进行自注意力的计算。此滑动窗口方式使得当前窗口和其周围窗口进行很好的交互，从而在特征提取的时候获得更大的感受野，在减少计算量的同时大大提高了检测的准确性。同时，本发明使用的注意力机制通过更高效的方式获得近邻亲和矩阵，将高维表示向量z映射到低维编码空间，使得注意力计算复杂度降低，提高模型的运行效率。进一步的，在本发明的模型架构中，通过多个阶段的层次性结构，获取多个不同尺寸的特征图，实现建模的灵活性。在本发明网络模型的解码器部分，使用了多层感知机来代替卷积网络，在提升模型效率的同时大大降低了模型复杂度。

请参阅图11所示，本发明还提供了一种遥感图像的变化检测系统，该变化检测系统与上述实施例中的变化检测方法一一对应。该变化检测系统可以包括数据采集模块101、数据处理模块102、模型建立模块103、编码结构模块104、解码结构模块105、模型训练模块106以及数据检测模块107。

在本发明的一个实施例中，数据采集模块101可用于获取预设的训练图像集及多个变化标签图，其中，所述训练图像集包括多个前时态遥感图像以及每个所述前时态遥感图像对应的后时态遥感图像，每个所述变化标签图用于指示每个所述前时态遥感图像以及对应的后时态遥感图像之间的图像变化数据；

在本发明的一个实施例中，数据处理模块102可用于对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集。具体的，数据处理模块20可具体用于对所述训练图像集中的所有图像数据及对应的所述变化标签图进行裁剪处理；对裁剪处理后的所有所述图像数据进行预处理操作，以生成输入图像集，其中，所述预处理操作包括灰度化处理、几何变换处理以及图像增强处理。

在本发明的一个实施例中，模型建立模块103可用于建立变化检测网络模型，其中，所述变化检测网络模型包括编码器结构与解码器结构。

在本发明的一个实施例中，编码结构模块104可用于将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图。具体的，编码结构模块可具体用于基于所述编码器结构，对所述输入图像集中某个前时态遥感图像与对应的后时态遥感图像进行块分割处理，以生成前时态分块图像与后时态分块图像；对所述前时态分块图像与所述后时态分块图像进行线性映射，以调整所述前时态分块图像与所述后时态分块图像的图像维度；在所述编码器结构的每个编码阶段，对维度调整后的所述前时态分块图像与所述后时态分块图像进行下采样操作；对下采样后的所述前时态分块图像与所述后时态分块图像进行窗口分割操作；对窗口分割后的所述前时态分块图像与所述后时态分块图像进行窗口内的自注意力机制操作；对自注意力机制操作后的所述前时态分块图像与所述后时态分块图像进行移位窗口注意力操作，以生成所述每个编码阶段对应的每对不同分辨率的前时态特征图及对应的后时态特征图。

在发明的一个实施例中，编码结构模块104还可具体用于对窗口分割后的所述前时态分块图像与所述后时态分块图像进行采样处理，以生成样本向量；基于所述样本向量，对预设的初始近邻亲和矩阵进行线性映射，以生成目标近邻亲和矩阵，其中，所述初始近邻亲和矩阵表示为

φ_q和φ_k表示线性映射，z表示输入向量，且z∈R^N×d，q∈R^N×d，k∈R^N×d，N表示输入图像的数量，d表示向量的维数，K表示内积函数，所述目标近邻亲和矩阵表示为/>

q_l∈R^l×d，k_l∈R^l×d。

在本发明的一个实施例中，解码结构模块105可用于基于所述解码器结构，对每个所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像；具体的，解码结构模块50可具体用于基于所述解码器结构的差分模块，对每对不同分辨率的前时态特征图及对应的后时态特征图进行差异特征提取操作，以获取多个不同分辨率的差异特征图；对多个所述差异特征图进行通道数转换处理，以将多个所述差异特征图的通道数统一化；对通道数统一化的多个所述差异特征图进行融合处理，以生成融合特征图；对所述融合特征图进行二维转置卷积操作，以生成上采样后的所述融合特征图；基于多层感知机层，对上采样后的所述融合特征图进行处理，以生成变化预测图像。

在本发明的一个实施例中，模型训练模块106可用于基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型；具体的，模型训练模块60可具体用于获取所述变化预测图像与对应的所述变化标签图的所有像素点的标签值；基于预设的损失函数，计算所述变化预测图像与对应的所述变化标签图之间的损失值，其中，所述损失函数表示为

N表示所述变化预测图像中所有像素点的个数，y_i表示所述变化标签图中第i个像素点的标签值，p_i表示所述变化预测图像中第i个像素点预测为正类的概率；基于所述损失值，对所述变化检测网络模型进行参数更新。/>

在本发明的一个实施例中，模型训练模块106还可具体用于将预设的测试图像集输入所述变化检测网络模型，以输出测试变化图，其中，所述测试图像集包括前时态测试图像与后时态测试图像；对所述测试变化图与所述测试图像集对应的测试标签图进行比较，以获取所述变化检测网络模型的面积交并比，其中，所述面积交并比数据表示为IoU＝(area_i∩area_j)/(area_i∪area_j)，area_i表示所述测试标签图中真实变化区域的面积，area_j表示所述测试变化图中预测变化区域的面积，IoU表示所述测试标签图与所述测试变化图的变化区域的面积交并比；基于所述面积交并比对所述变化检测网络模型进行性能分析。

在本发明的一个实施例中，数据检测模块107可用于将预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，以输出目标变化图。

需要说明的是，上述实施例所提供的遥感图像的变化检测系统，与上述实施例所提供的遥感图像的变化检测方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。上述实施例所提供的遥感图像的变化检测系统在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能，本处也不对此进行限制。

本申请的实施例还提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得电子设备实现上述各个实施例中提供的遥感图像的变化检测方法。

图12示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。需要说明的是，图12示出的电子设备的计算机系统仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，计算机系统包括中央处理单元(Central Processing Unit，CPU)1201，其可以根据存储在只读存储器(Read-Only Memory，ROM)1202中的程序或者从储存部分1208加载到随机访问存储器(Random Access Memory，RAM)1203中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1203中，还存储有系统操作所需的各种程序和数据。CPU 1201、ROM1202以及RAM 1203通过总线1204彼此相连。输入/输出(Input/Output，I/O)接口1205也连接至总线1204。

以下部件连接至I/O接口1205：包括键盘、鼠标等的输入部分1206；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1207；包括硬盘等的储存部分1208；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1209。通信部分1209经由诸如因特网的网络执行通信处理。驱动器1210也根据需要连接至I/O接口1205。可拆卸介质1211，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1210上，以便于从其上读出的计算机程序根据需要被安装入储存部分1208。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1209从网络上被下载和安装，和/或从可拆卸介质1211被安装。在该计算机程序被中央处理单元(CPU)1201执行时，执行本申请的系统中限定的各种功能。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前所述的遥感图像的变化检测方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

上述实施例仅示例性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，但凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种遥感图像的变化检测方法，其特征在于，包括：

获取预设的训练图像集及多个变化标签图，其中，所述训练图像集包括多个前时态遥感图像以及每个所述前时态遥感图像对应的后时态遥感图像，每个所述变化标签图用于指示每个所述前时态遥感图像以及对应的后时态遥感图像之间的图像变化数据；

对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集；

建立变化检测网络模型，其中，所述变化检测网络模型包括编码器结构与解码器结构；

将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图；

基于所述解码器结构，对每对所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像；

基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型；

将预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，以输出目标变化图。

2.根据权利要求1所述的遥感图像的变化检测方法，其特征在于，所述对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集的步骤包括：

对所述训练图像集中的所有图像数据及对应的所述变化标签图进行裁剪处理；

对裁剪处理后的所有所述图像数据进行预处理操作，以生成输入图像集，其中，所述预处理操作包括灰度化处理、几何变换处理以及图像增强处理。

3.根据权利要求1所述的遥感图像的变化检测方法，其特征在于，所述将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图的步骤包括：

基于所述编码器结构，对所述输入图像集中某个前时态遥感图像与对应的后时态遥感图像进行块分割处理，以生成前时态分块图像与后时态分块图像；

对所述前时态分块图像与所述后时态分块图像进行线性映射，以调整所述前时态分块图像与所述后时态分块图像的图像维度；

在所述编码器结构的每个编码阶段，对维度调整后的所述前时态分块图像与所述后时态分块图像进行下采样操作；

对下采样后的所述前时态分块图像与所述后时态分块图像进行窗口分割操作；

对窗口分割后的所述前时态分块图像与所述后时态分块图像进行窗口内的自注意力机制操作；

对自注意力机制操作后的所述前时态分块图像与所述后时态分块图像进行移位窗口注意力操作，以生成所述每个编码阶段对应的每对不同分辨率的前时态特征图及对应的后时态特征图。

4.根据权利要求3所述的遥感图像的变化检测方法，其特征在于，所述对窗口分割后的所述前时态分块图像与所述后时态分块图像进行窗口内的自注意力机制操作的步骤包括：

对窗口分割后的所述前时态分块图像与所述后时态分块图像进行采样处理，以生成样本向量；

基于所述样本向量，对预设的初始近邻亲和矩阵进行线性映射，以生成目标近邻亲和矩阵，其中，所述初始近邻亲和矩阵表示为A_ij＝K(φ_q(z_i),φ_k(z_j))/

φ_q和φ_k表示线性映射，z表示输入向量，且z∈R^N×d，q∈R^N×d，k∈R^N×d，N表示输入图像的数量，d表示向量的维数，K表示内积函数，所述目标近邻亲和矩阵表示为

q_l∈R^l×d，k_l∈R^l×d。

5.根据权利要求1所述的遥感图像的变化检测方法，其特征在于，所述基于所述解码器结构，对每个所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像的步骤包括：

基于所述解码器结构的差分模块，对每对不同分辨率的前时态特征图及对应的后时态特征图进行差异特征提取操作，以获取多个不同分辨率的差异特征图；

对多个所述差异特征图进行通道数转换处理，以将多个所述差异特征图的通道数统一化；

对通道数统一化的多个所述差异特征图进行融合处理，以生成融合特征图；

对所述融合特征图进行二维转置卷积操作，以生成上采样后的所述融合特征图；

基于多层感知机层，对上采样后的所述融合特征图进行处理，以生成变化预测图像。

6.根据权利要求1所述的遥感图像的变化检测方法，其特征在于，所述基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型的步骤包括：

获取所述变化预测图像与对应的所述变化标签图的所有像素点的标签值；

基于预设的损失函数，计算所述变化预测图像与对应的所述变化标签图之间的损失值，其中，所述损失函数表示为

N表示所述变化预测图像中所有像素点的个数，y_i表示所述变化标签图中第i个像素点的标签值，p_i表示所述变化预测图像中第i个像素点预测为正类的概率；

基于所述损失值，对所述变化检测网络模型进行参数更新。

7.根据权利要求1所述的遥感图像的变化检测方法，其特征在于，所述基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型的步骤之后，还包括：

将预设的测试图像集输入所述变化检测网络模型，以输出测试变化图，其中，所述测试图像集包括前时态测试图像与后时态测试图像；

对所述测试变化图与所述测试图像集对应的测试标签图进行比较，以获取所述变化检测网络模型的面积交并比，其中，所述面积交并比表示为IoU＝(area_i∩area_j)/(area_i∪area_j)，area_i表示所述测试标签图中真实变化区域的面积，area_j表示所述测试变化图中预测变化区域的面积，IoU表示所述测试标签图与所述测试变化图的变化区域的面积交并比；

基于所述面积交并比对所述变化检测网络模型进行性能分析。

8.一种遥感图像的变化检测系统，其特征在于，包括：

数据采集模块，用于获取预设的训练图像集及多个变化标签图，其中，所述训练图像集包括多个前时态遥感图像以及每个所述前时态遥感图像对应的后时态遥感图像，每个所述变化标签图用于指示每个所述前时态遥感图像以及对应的后时态遥感图像之间的图像变化数据；

数据处理模块，用于对所述训练图像集中的所有图像数据进行图像预处理，以生成输入图像集；

模型建立模块，用于建立变化检测网络模型，其中，所述变化检测网络模型包括编码器结构与解码器结构；

编码结构模块，用于将所述输入图像集中的某个前时态遥感图像与对应的后时态遥感图像输入所述编码器结构，以输出多个不同分辨率的前时态特征图及对应的后时态特征图；

解码结构模块，用于基于所述解码器结构，对每对所述前时态特征图与对应的后时态特征图之间的差异特征进行融合处理，以生成变化预测图像；

模型训练模块，用于基于所述变化预测图像与对应的所述变化标签图之间的损失值，对所述变化检测网络模型进行参数更新，以建立训练完成的变化检测网络模型；

数据检测模块，用于将预设的前时态待测图像与对应的后时态待测图像输入训练完成的所述变化检测网络模型，以输出目标变化图。

9.一种电子设备，其特征在于，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如权利要求1至7中任一项所述的遥感图像的变化检测方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行权利要求1至7中任一项所述的遥感图像的变化检测方法。

Images