CN116385881A - 遥感图像地物变化检测方法及装置 - Google Patents

Abstract

本发明涉及遥感图像地物变化检测方法及装置，包括获取同一区域不同时相的两幅图像；利用两个共享权重的U‑Net作为主干网络，对输入的两个时相的遥感图像，经过主干网络的两个分支进行特征提取；对两个分支提取的特征进行局部交换；通过多头自注意力机制，对交换后得到的特征进行全尺度的特征提取；再对两个分支的遥感图像恢复空间尺度，然后对特征进行融合，得到新的融合分支；利用U‑Net网络的两个分支和融合分支进行地物变化检测，得到遥感图像地物变化检测结果。本发明能够有效提高遥感图像地物变化的检测精度。

Description

遥感图像地物变化检测方法及装置

技术领域

本发明涉及遥感图像领域，具体涉及一种遥感图像地物变化检测方法及装置。

背景技术

遥感图像变化检测是指以一个时相的遥感图像为参考，检测出另一个时相相对参考图像的差异。随着对地观测技术的快速发展，遥感成像时间分辨率得到快速提升，为遥感地物变化监测提供了丰富的数据源。目前，遥感图像变化检测技术已广泛应用于国土资源调查、生态环境监测、农林牧渔以及国防安全等领域。现有的遥感图像变化检测方法以深度学习算法为主，基于深度学习的多时相遥感图像变化检测方法在特定场景、特定成像条件下可以实现对特定目标的变化检测，然而对于真实的复杂的成像环境的适应性仍然不足，主要表现在：(1)在不同角度成像条件下，影像中感兴趣目标的纹理、几何结构相较正射影像存在较大差异；2)在复杂气候环境和不同时间、不同光照条件、不同大气条件下(云、雾、湍流等)，获取的遥感图像呈现出高度的异质性。

发明内容

为了解决上述问题，本发明提出一种遥感图像地物变化检测方法及装置，使用多个分支中丰富的空间和语义信息进行综合判断，提高了遥感图像地物变化检测精度，可应用于高分辨率遥感图像中的建筑物、植被等地物的变化检测。

第一方面，本发明实施例提出一种遥感图像地物变化检测方法，所述遥感图像地物变化检测方法包括：

S100，获取同一区域在两个不同时相的遥感图像，分别为第一图像和第二图像，并对所述第一图像和所述第二图像进行图像预处理；

S200，构建由两个共享权重的U-Net分支网络并行的主干网络，其中所述U-Net分支网络包括第一分支网络和第二分支网络；

S300，分别对所述第一图像和所述第二图像进行感兴趣特征的提取，并将提取的感兴趣特征进行局部交换；

S400，对所述第一图像和所述第二图像交换之后的特征，分别进行全尺度的特征提取；

S500，根据所述第一分支网络和所述第二分支网络恢复所述第一图像和所述第二图像的空间尺度；

S600，对所述第一图像和所述第二图像恢复空间尺度之后的特征进行融合，得到融合分支网络；

S700，使用标签对所述第一分支网络、所述第二分支网络和所述融合分支网络进行同步训练，得到变化检测模型；

S800，根据所述变化检测模型对相同区域的其他不同时相的遥感图像进行变化检测，得到相应区域的遥感图像地物变化检测结果。

优选地，所述S100中，所述图像预处理包括：

将所述第一图像和所述第二图像分块处理成大小为1024×1024的图像切片，以及对所述图像切片进行标准差归一化处理。

优选地，所述S300中：

由所述第一分支网络的编码器部分对所述第一图像进行感兴趣特征提取，由所述第二分支网络的编码器部分对所述第二图像进行感兴趣特征提取；

所述局部交换在所述第一图像和所述第二图像的同一尺度的特征之间展开，对于所述第一图像和所述第二图像的同一尺度的特征，采取间隔交换的形式进行特征交换。

优选地，所述S400中，所述全尺度的特征提取包括：

将所述第一图像和所述第二图像交换之后的特征，在空间上划分为多个固定大小的网格状块，并通过卷积将每个所述网格状块转化为输入到transformer的token，在transformer部分，输入的token和位置编码经过transformer的编码器和解码器部分，通过transformer的多头自注意力机制进行全尺度的特征提取。

优选地，所述S500中：

由所述第一分支网络的解码器部分恢复所述第一图像的空间尺度，由所述第二分支网络的解码器部分恢复所述第二图像的空间尺度。

优选地，所述S600包括：

S610，对所述第一分支网络和所述第二分支网络的解码器部分进行通道的叠合，得到叠合后特征；

S620，根据通道注意力机制，对所述叠合后特征进行融合，得到融合特征；

S630，将所述融合特征进行上采样处理，并与下一层的融合特征进行拼接，通过卷积融合，将最后得到的融合特征上采样至原图大小，得到所述融合分支网络。

优选地，所述S700包括：

S710，将人工标注制作的变化检测数据集，按照7：1：2的比例划分为训练集、验证集和测试集；

S720，对所述训练集中的遥感图像进行噪声干扰和数据增强，得到数据增强后的图像；

S730，以二分类交叉熵损失函数和dice损失函数之和作为损失函数，根据所述训练集进行模型训练，得到所述变化检测模型；

S740，根据所述验证集对所述变化检测模型进行验证。

优选地，所述S720包括：

S721，根据输入的遥感图像准备尺度相同的白色图像和云雾掩膜，其中所述云雾掩膜中包含云雾的形状信息和透明度信息，将所述白色图像与所述云雾掩膜相乘，再与输入的遥感图像相加；和/或

S722，根据不同季节下的遥感图像的色彩风格特点，使用风格迁移模型对输入的遥感图像进行风格迁移；和/或

S733，对输入的遥感图像的特征，按照预定的概率进行平移、翻转、旋转和缩放之中的至少一个操作；和/或

S744，对输入的遥感图像加入高斯噪声；和/或

S745，对输入的遥感图像进行高斯模糊；和/或

S746，对输入的遥感图像进行色彩变换和通道交换数据增强处理。

优选地，所述S740中，验证指标采用precision、recall、F1-score和IoU，计算公式如下：

其中，TP为被正确分类的正例，TN为被正确分类的负例，FP为被错误分类的正例，FN为被错误分类的负例。

第二方面，本发明实施例还一种遥感图像地物变化检测装置，用于如第一方面中任一项所述的遥感图像地物变化检测方法，所述遥感图像地物变化检测装置包括：

获取单元，用于获取所述第一图像和所述第二图像；

编码单元，用于对所述第一图像和所述第二图像进行特征提取，得到特征图；

解码单元，用于根据所述第一图像和所述第二图像的特征图以及所述融合分支网络的特征图，构建所述变化检测模型，并根据同步训练方法，生成遥感图像地物变化检测模型；

处理单元，用于根据所述遥感图像地物变化检测模型，对同一区域在不同时相的两幅遥感图像进行处理，得到变化检测结果。

本发明实施例的遥感图像地物变化检测方法及装置，通过两个共享权重的U-Net，结合Transformer模块，实现两个时相遥感影像特征的提取，进而通过两个U-Net分支的解码器部分和解码器特征的融合部分，构建变化检测模型；由于引入了Transformer多头自注意力机制，使得模型具备全局的特征提取能力，同时，还引入了解码器特征融合部分，使得变化检测模型相比于现有的模型能够更为准确地对变化区域进行提取。除此之外，为了更一步地提高变化检测地精度，对模型训练数据进行噪声干扰和数据增强，使得训练的模型不是基于单一成像模式下的数据，从而进一步提升了模型的泛化能力，对提高变化检测精度和实际应用效能具有重要意义。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的遥感图像地物变化检测方法的流程示意图；

图2-4为本发明实施例的遥感图像地物变化检测方法的子流程示意图；

图5本发明实施例的遥感图像地物变化检测方法的原理示意图；

图6本发明实施例的特征交换与融合示意图；

图7本发明实施例的融合分支网络示意图。

具体实施方式

此说明书实施方式的描述应与相应的附图相结合，附图应作为完整的说明书的一部分。在附图中，实施例的形状或是厚度可扩大，并以简化或是方便标示。再者，附图中各结构的部分将以分别描述进行说明，值得注意的是，图中未示出或未通过文字进行说明的元件，为所属技术领域中的普通技术人员所知的形式。

此处实施例的描述，有关方向和方位的任何参考，均仅是为了便于描述，而不能理解为对本发明保护范围的任何限制。以下对于优选实施方式的说明会涉及到特征的组合，这些特征可能独立存在或者组合存在，本发明并不特别地限定于优选的实施方式。本发明的范围由权利要求书所界定。

如图1所示，是本发明实施例的遥感图像地物变化检测方法的流程示意图，所述遥感图像地物变化检测方法包括：

S100，获取同一区域在两个不同时相的遥感图像，分别为第一图像和第二图像，并对所述第一图像和所述第二图像进行图像预处理。

在本实施例中，获取同一区域不同时相两幅高分辨率卫星遥感影像，将影像分块处理成大小为1024×1024的图像切片，对图像切片进行标准差归一化处理，作为变化检测模型的输入。

S200，构建由两个共享权重的U-Net分支网络并行的主干网络，其中所述U-Net分支网络包括第一分支网络和第二分支网络。

在本实施例中，第一分支网络和第二分支网络如图5的分支一和分支二所示。

S300，分别对所述第一图像和所述第二图像进行感兴趣特征的提取，并将提取的感兴趣特征进行局部交换。

在本实施例中，构建由两个共享权重的U-Net并行的主干网络，对两个时相遥感影像分别进行特征提取。如图6和图7所示，在网络的编码器部分，针对编码器两个分支的同一尺度特征，间隔交换两个分支的特征，使得交换比例为1/2，实现两个特征之间的充分交换，此时两个分支的特征既保留有自己时相的独特信息，又包含另外一个时相的额外信息，得到了具有全新信息的特征。

S400，对所述第一图像和所述第二图像交换之后的特征，分别进行全尺度的特征提取。

在本实施例中，将第一分支网络和第二分支网络的编码器部分提取的特征(间隔交换并融合后的特征)输入到transformer模块，将提取得到的特征在空间上划分为固定大小的网格状小块，并通过卷积将每个小块转化为输入到transformer的token，随后在transformer部分，输入的token和位置编码经过transformer的编码器和解码器部分，通过多头自注意力机制使得网络具备全局的感受野，能够综合更大的区域判断真实变化或伪变化，并关注到特征中重要的部分，抑制多角度变化和不同大气环境造成的伪变化影响，识别出地物发生的真实变化。

S500，根据所述第一分支网络和所述第二分支网络恢复所述第一图像和所述第二图像的空间尺度。

在本实施例中，利用主干网络的两个U-Net分支的解码器部分恢复空间尺度。

S600，对所述第一图像和所述第二图像恢复空间尺度之后的特征进行融合，得到融合分支网络。

如图2所示，在本实施例中，S600包括：

S610，对所述第一分支网络和所述第二分支网络的解码器部分进行通道的叠合，得到叠合后特征；

S620，根据通道注意力机制，对所述叠合后特征进行融合，得到融合特征；

S630，将所述融合特征进行上采样处理，并与下一层的融合特征进行拼接，通过卷积融合，将最后得到的融合特征上采样至原图大小，得到所述融合分支网络。

S700，使用标签对所述第一分支网络、所述第二分支网络和所述融合分支网络进行同步训练，得到变化检测模型。

如图3所示，在本实施例中，S700包括：

S710，将人工标注制作的变化检测数据集，按照7：1：2的比例划分为训练集、验证集和测试集，以分层采样的方式保证不同部分有着同样的样本分布；

其中，人工标注制作的变化检测数据集可以是利用多时相高分辨率卫星遥感数据，采用人工目视解译判读和标注所制作出来的。

S720，对所述训练集中的遥感图像进行噪声干扰和数据增强，得到数据增强后的图像；

如图4所示，在本实施例中，S720包括：

S721，对同一区域不同时相的遥感图像进行云雾模拟，得到存在云雾干扰现象的图像；准备与输入遥感影像尺度相同的白色图像和云雾掩膜，云雾掩膜中包含云雾的形状信息和透明度信息，值越高表示云雾越重，白色图像与遥感影像融合时白色图像的透明度越低，随后将白色图像与云雾掩膜相乘，并与输入遥感影像相加，从而在遥感影像部分出现模拟的云雾状部分；和/或

S722，对同一区域不同时相的遥感图像进行季节模拟，得到存在季节变化干扰现象的图像；使用特定的风格迁移模型，针对不同季节下遥感影像的风格特点，将输入的遥感影像进行风格迁移，使得遥感影像具备对应季节下的色彩风格；其中，风格迁移模型是通过调整遥感影像的颜色风格，使得遥感影像呈现出不同的季节效果，从而模拟出不同季节情况下的遥感影像；和/或

S733，对输入的遥感图像的特征，按照预定的概率进行平移、翻转、旋转和缩放之中的至少一个操作；和/或

S744，对输入的遥感图像加入高斯噪声，模拟遥感影像成像时存在的噪声；和/或

S745，对输入的遥感图像进行高斯模糊，模拟大气辐射传输中各类散射导致的图像模糊；和/或

S746，对输入的遥感图像进行色彩变换和通道交换数据增强处理，为原图像增加更多的扰动信息，得到数据增强后的图像。

S730，选取二分类交叉熵损失函数和dice损失函数之和为损失函数，二分类交叉熵损失函数更加关注局部的损失，而dice损失函数更加关注全局的损失，从而使得训练过程能够同时关注到局部和整体的损失，并采用训练集进行模型训练；

S740，根据所述验证集对所述变化检测模型进行验证。

验证指标采用precision、recall、F1-score和IoU，计算公式如下：

其中，TP为被正确分类的正例，TN为被正确分类的负例，FP为被错误分类的正例，FN为被错误分类的负例。

S800，根据所述变化检测模型对相同区域的其他不同时相的遥感图像进行变化检测，得到相应区域的遥感图像地物变化检测结果。

另外，本发明实施例还提供一种遥感图像地物变化检测装置，用于实现如上述的遥感图像地物变化检测方法，所述遥感图像地物变化检测装置包括：

获取单元，用于获取所述第一图像和所述第二图像；

编码单元，用于对所述第一图像和所述第二图像进行特征提取，得到特征图；

解码单元，用于根据所述第一图像和所述第二图像的特征图以及所述融合分支网络的特征图，构建所述变化检测模型，并根据同步训练方法，生成遥感图像地物变化检测模型；

处理单元，用于根据所述遥感图像地物变化检测模型，对同一区域在不同时相的两幅遥感图像进行处理，得到变化检测结果。

本发明的遥感图像地物变化检测方法及装置，通过两个共享权重的U-Net，结合Transformer模块，实现两个时相遥感影像特征的提取，进而通过两个U-Net分支的解码器部分和解码器特征的融合部分，构建变化检测模型；由于引入了Transformer多头自注意力机制，使得模型具备全局的特征提取能力，同时，还引入了解码器特征融合部分，使得变化检测模型相比于现有的模型能够更为准确地对变化区域进行提取。除此之外，为了更一步地提高变化检测地精度，对模型训练数据进行噪声干扰和数据增强，使得训练的模型不是基于单一成像模式下的数据，从而进一步提升了模型的泛化能力，对提高变化检测精度和实际应用效能具有重要意义。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种遥感图像地物变化检测方法，其特征在于，所述遥感图像地物变化检测方法包括：

S100，获取同一区域在两个不同时相的遥感图像，分别为第一图像和第二图像，并对所述第一图像和所述第二图像进行图像预处理；

S200，构建由两个共享权重的U-Net分支网络并行的主干网络，其中所述U-Net分支网络包括第一分支网络和第二分支网络；

S300，分别对所述第一图像和所述第二图像进行感兴趣特征的提取，并将提取的感兴趣特征进行局部交换；

S400，对所述第一图像和所述第二图像交换之后的特征，分别进行全尺度的特征提取；

S500，根据所述第一分支网络和所述第二分支网络恢复所述第一图像和所述第二图像的空间尺度；

S600，对所述第一图像和所述第二图像恢复空间尺度之后的特征进行融合，得到融合分支网络；

S700，使用标签对所述第一分支网络、所述第二分支网络和所述融合分支网络进行同步训练，得到变化检测模型；

S800，根据所述变化检测模型对相同区域的其他不同时相的遥感图像进行变化检测，得到相应区域的遥感图像地物变化检测结果。

2.根据权利要求1所述的遥感图像地物变化检测方法，其特征在于，所述S100中，所述图像预处理包括：

将所述第一图像和所述第二图像分块处理成大小为1024×1024的图像切片，以及对所述图像切片进行标准差归一化处理。

3.根据权利要求1所述的遥感图像地物变化检测方法，其特征在于，所述S300中：

由所述第一分支网络的编码器部分对所述第一图像进行感兴趣特征提取，由所述第二分支网络的编码器部分对所述第二图像进行感兴趣特征提取；

所述局部交换在所述第一图像和所述第二图像的同一尺度的特征之间展开，对于所述第一图像和所述第二图像的同一尺度的特征，采取间隔交换的形式进行特征交换。

4.根据权利要求1所述的遥感图像地物变化检测方法，其特征在于，所述S400中，所述全尺度的特征提取包括：

将所述第一图像和所述第二图像交换之后的特征，在空间上划分为多个固定大小的网格状块，并通过卷积将每个所述网格状块转化为输入到transformer的token，在transformer部分，输入的token和位置编码经过transformer的编码器和解码器部分，通过transformer的多头自注意力机制进行全尺度的特征提取。

5.根据权利要求1所述的遥感图像地物变化检测方法，其特征在于，所述S500中：

由所述第一分支网络的解码器部分恢复所述第一图像的空间尺度，由所述第二分支网络的解码器部分恢复所述第二图像的空间尺度。

6.根据权利要求5所述的遥感图像地物变化检测方法，其特征在于，所述S600包括：

S610，对所述第一分支网络和所述第二分支网络的解码器部分进行通道的叠合，得到叠合后特征；

S620，根据通道注意力机制，对所述叠合后特征进行融合，得到融合特征；

S630，将所述融合特征进行上采样处理，并与下一层的融合特征进行拼接，通过卷积融合，将最后得到的融合特征上采样至原图大小，得到所述融合分支网络。

7.根据权利要求1所述的遥感图像地物变化检测方法，其特征在于，所述S700包括：

S710，将人工标注制作的变化检测数据集，按照7：1：2的比例划分为训练集、验证集和测试集；

S720，对所述训练集中的遥感图像进行噪声干扰和数据增强，得到数据增强后的图像；

S730，以二分类交叉熵损失函数和dice损失函数之和作为损失函数，根据所述训练集进行模型训练，得到所述变化检测模型；

S740，根据所述验证集对所述变化检测模型进行验证。

8.根据权利要求7所述的遥感图像地物变化检测方法，其特征在于，所述S720包括：

S721，根据输入的遥感图像准备尺度相同的白色图像和云雾掩膜，其中所述云雾掩膜中包含云雾的形状信息和透明度信息，将所述白色图像与所述云雾掩膜相乘，再与输入的遥感图像相加；和/或

S722，根据不同季节下的遥感图像的色彩风格特点，使用风格迁移模型对输入的遥感图像进行风格迁移；和/或

S733，对输入的遥感图像的特征，按照预定的概率进行平移、翻转、旋转和缩放之中的至少一个操作；和/或

S744，对输入的遥感图像加入高斯噪声；和/或

S745，对输入的遥感图像进行高斯模糊；和/或

S746，对输入的遥感图像进行色彩变换和通道交换数据增强处理。

9.根据权利要求7所述的遥感图像地物变化检测方法，其特征在于，所述S740中，验证指标采用precision、recall、F1-score和IoU，计算公式如下：

其中，TP为被正确分类的正例，TN为被正确分类的负例，FP为被错误分类的正例，FN为被错误分类的负例。

10.一种遥感图像地物变化检测装置，用于如权利要求1-9任一项所述的遥感图像地物变化检测方法，其特征在于，所述遥感图像地物变化检测装置包括：

获取单元，用于获取所述第一图像和所述第二图像；

编码单元，用于对所述第一图像和所述第二图像进行特征提取，得到特征图；

解码单元，用于根据所述第一图像和所述第二图像的特征图以及所述融合分支网络的特征图，构建所述变化检测模型，并根据同步训练方法，生成遥感图像地物变化检测模型；

处理单元，用于根据所述遥感图像地物变化检测模型，对同一区域在不同时相的两幅遥感图像进行处理，得到变化检测结果。

Images