CN114549945A - 遥感影像变化检测方法及相关装置 - Google Patents

Abstract

本申请公开了一种遥感影像变化检测方法及相关装置，该方法包括：获取不同时刻下具有相同区域的第一遥感影像和第二遥感影像，并对所述第一遥感影像和所述第二遥感影像分别进行特征提取以获得第一特征图和第二特征图；利用所述第二特征图对所述第一特征图进行处理以获得处理后的第一特征图，对所述第二特征图进行处理以获得处理后的第二特征图；基于至少部分所述第一特征图、所述第二特征图、所述处理后的第一特征图和所述处理后的第二特征图获得所述第一遥感影像和所述第二遥感影像中的差异区域。通过上述方法，本申请能够提高特征提取效率，进而提升遥感影像变化检测的精度。

Description

遥感影像变化检测方法及相关装置

技术领域

本申请涉及遥感影像检测技术领域，特别是涉及一种遥感影像变化检测方法及相关装置。

背景技术

遥感影像变化检测是利用遥感卫星、无人机、飞机等设备，获取同一地区多个时相的影像数据，并采用一定的技术手段，分析得到地区的地表属性发生了变化的区域。现有的遥感影像变化检测方法主要是通过两个孪生的特征提取分支，在特征提取的过程中是完全独立的，导致特征提取的效率较低。

发明内容

本申请主要解决的技术问题是提供一种遥感影像变化检测方法，能够提高特征提取的效率，从而提升变化检测任务的精度。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种遥感影像变化检测方法，包括：获取不同时刻下具有相同区域的第一遥感影像和第二遥感影像，并对所述第一遥感影像和所述第二遥感影像分别进行特征提取以获得第一特征图和第二特征图；利用所述第二特征图对所述第一特征图进行处理以获得处理后的第一特征图，对所述第二特征图进行处理以获得处理后的第二特征图；基于至少部分所述第一特征图、所述第二特征图、所述处理后的第一特征图和所述处理后的第二特征图获得所述第一遥感影像和所述第二遥感影像中的差异区域。

为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，包括相互耦接的存储器和处理器，所述处理器中存储有程序指令，所述处理器用于执行所述程序指令以实现上述实施例中所述的遥感影像变化检测方法。

为解决上述技术问题，本申请采用的又一技术方案是：提供一种存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述任一实施例所述的遥感影像变化检测方法。

本申请的有益效果是：区别于现有技术的情况，本申请提出一种遥感影像变化检测方法，对遥感影像变化检测网络的结构进行了优化，增加了遥感影像变化检测网络中特征提取分支之间的信息交流，提高了特征提取的效率，进而提升了遥感影像变化检测的精度。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：

图1是本申请遥感影像变化检测方法一实施方式的流程示意图；

图2是图1中步骤S102对应一实施方式的拓扑图；

图3是步骤S102中获得处理后的第一特征图的一实施方式的流程示意图；

图4是步骤S102中获得处理后的第二特征图的一实施方式的流程示意图；

图5是本申请提出的交叉处理网络模型一实施方式的结构示意图；

图6是本申请遥感影像变化检测装置一实施方式的框架结构示意图；

图7是本申请电子设备一实施方式的结构示意图；

图8是本申请存储装置一实施方式的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，图1是本申请遥感影像变化检测方法一实施方式的流程示意图，该方法包括：

S101：获取不同时刻下具有相同区域的第一遥感影像和第二遥感影像，并对第一遥感影像和第二遥感影像分别进行特征提取以获得第一特征图和第二特征图。

具体地，在本实施中，第一遥感影像和第二遥感影像可以利用遥感卫星、无人机、飞机等设备对同一个地区进行采集获得；且可选地，上述第一遥感影像的获取时间可以早于第二遥感影像的获取时间，第一遥感影像和第二遥感影像之间的时间间隔大小可以根据实际进行设定。

进一步地，在实现上述步骤S101时可以通过卷积层对第一遥感影像和第二遥感影像进行特征提取，以获得对应的第一特征图和第二特征图。

S102：利用第二特征图对第一特征图进行处理以获得处理后的第一特征图，对第二特征图进行处理以获得处理后的第二特征图。

在一应用场景中，当步骤S102中获得处理后的第二特征图的过程为利用第一特征图对第二特征图进行处理以获得处理后的第二特征图时，此时请参阅图2，图2为图1中步骤S102对应一实施方式的拓扑图。如图2所示，通过对步骤S101中获得的第一特征图和第二特征图同时进行线性映射处理，分别获得第一特征图和第二特征图的第一矩阵、第二矩阵以及第三矩阵。进一步地，利用第二特征图的第一矩阵与第一特征图的第二矩阵进行矩阵相乘并进行归一化；将归一化的结果和第一特征图的第三矩阵进行矩阵相乘，并将获得的结果与第一特征图进行矩阵相加以获得处理后的第一特征图。同时，利用第一特征图的第一矩阵与第二特征图的第二矩阵进行矩阵相乘并进行归一化；将归一化的结果和第二特征图的第三矩阵进行矩阵相乘，并将获得的结果与第二特征图相加以获得处理后的第二特征图。在本应用场景中，利用第二特征图对第一特征图进行处理以获得处理后的第一特征图、以及利用第一特征图对第二特征图进行处理以获得处理后的第二特征图，增加了第一特征图与第二特征图之间的信息交流，以助于获取第一特征图和第二特征图之间的差异区域。

具体地，下面分别说明获得处理后的第一特征图以及获得处理后的第二特征图的过程。其中，请参阅图3，图3为步骤S102中获得处理后的第一特征图的一实施方式的流程示意图，该过程包括：

S201：利用第二特征图的第一矩阵和第一特征图的第二矩阵获得第一权重矩阵。

具体地，步骤S201的实施过程包括：对第一特征图和第二特征图分别进行线性映射处理，分别得到第一特征图和第二特征图的多个特征矩阵，包括：第一矩阵、第二矩阵、第三矩阵。

进一步地，将第二特征图的第一矩阵和第一特征图的第二矩阵相乘，并进行归一化，获得第一权重矩阵。其中，进行归一化的方式可以通过引入SoftMax的计算方式实现。该过程实现了在第一特征图上寻找与第二特征图相似特征的目的。可选地，也可以引入额外的神经网络来计算第二特征图的第一矩阵和第一特征图的第二矩阵的相似性，再进行归一化，获得第一权重矩阵。

S202：利用第一权重矩阵和第一特征图的第三矩阵获得第一加权特征图。

具体地，上述步骤S202的具体实现步骤包括：将上述步骤S201中获得的第一权重矩阵对第一特征图的第三矩阵进行加权(即进行矩阵相乘)，生成第一加权特征图。该步骤将第一特征图中与第二特征图具有差异的特征突出显示，并将相似特征忽略。

S203：利用第一加权特征图和第一特征图获得处理后的第一特征图。

具体地，上述步骤S203的具体实现步骤包括：将上述步骤S202中获得的第一加权特征图与第一特征图相加以获得处理后的第一特征图。该过程对步骤S202中的第一加权特征图进行进一步地优化，并将结果作为处理后的第一特征图，能有效减小误差带来的影响。

可选地，也可以将上述步骤S202中获得的第一加权特征图作为处理后的第一特征图，即不进行利用第一加权特征图和第一特征图相加的过程。

另外，基于处理后的第二特征图是利用第一特征图对第二特征图进行处理获得的。请参阅图4，图4为步骤S102中获得处理后的第二特征图的一实施方式的流程示意图，该过程包括：

S301：利用第一特征图的第一矩阵和第二特征图的第二矩阵获得第二权重矩阵。

具体地，步骤S301的实施过程包括：对第一特征图和第二特征图分别进行线性映射处理以获得第一特征图和第二特征图的多个特征矩阵，包括：第一矩阵、第二矩阵和第三矩阵。进一步地，将第一特征图的第一矩阵和第二特征图的第二矩阵相乘，并进行归一化，获得第二权重矩阵。

S302：利用第二权重矩阵和第二特征图的第三矩阵获得第二加权特征图。

具体地，上述步骤S302的具体实施过程包括：将步骤S301中获得的第二权重矩阵和第二特征图的第三矩阵进行加权，生成第二加权特征图。

S303：利用第二加权特征图和第二特征图获得处理后的第二特征图。

具体地，上述步骤S303的具体实施过程包括：将上述步骤S302中获得的第二加权特征图与第二特征图相加以获得处理后的第二特征图。

可选地，也可以将上述步骤S302中获得第二加权特征图作为处理后的第二特征图，即不进行利用第二加权特征图和第二特诊图进行相加的过程。

上述步骤S301至S303通过利用第一特征图对第二特征图进行处理能将第二特征图中与第一特征图具有差异的特征进行突出显示，并忽略相似特征。

可选地，在另一应用场景中，上述步骤S102中对第二特征图进行处理以获得处理后的第二特征图的步骤也可以包括：利用第二特征图自身的特征矩阵对第二特征图进行处理以获得处理后的第二特征图。具体地，对第二特征图进行线性映射处理以获得第二特征图的第一矩阵、第二矩阵和第三矩阵，将第二特征图的第一矩阵和第二特征图的第二矩阵相乘，并进行归一化，获得第二权重矩阵。利用第二权重矩阵对第二特征图的第三矩阵进行加权，以生成第二加权特征图。进一步地，将第二加权特征图与第二特征图进行相加。可选地，可以将第二加权特征图作为处理后的第二特征图，也可以将第二加权特征图与第二特征图进行相加后获得的特征图作为处理后的第二特征图。通过利用第二特征图自身的信息对第二特征图进行处理，以对第二特征图中的特征点进行识别提取并获得处理后的第二特征图，以助于结合处理后的第一特征图获得第一遥感影像和第二遥感影像之间的差异区域。

可选地，在步骤S102中也可以对第一特征图和/或第二特征图进行线性映射处理以获得多个特征矩阵，如第一矩阵、第二矩阵、第三矩阵、第四矩阵等，并挑选其中最能突出第一特征图和/或第二特征图中特征的至少部分特征矩阵来执行利用第二特征图对第一特征图进行处理以获得处理后的第一特征图、以及对第二特征图进行处理以获得处理后的第二特征图的过程。

此外，在本实施例中，经过步骤S102可以获得一组处理后的第一特征图和处理后的第二特征图；当然，在其他实施例中经过步骤S102也可以获得多组处理后的第一特征图和处理后的第二特征图；具体而言，上述步骤S102和步骤S103之间还可以包括：

A、将获得的处理后的第一特征图和处理后的第二特征图输出；具体可以将处理后的第一特征图和处理后的第二特征图输出至步骤S103中。

B、对获得的处理后的第一特征图进行特征提取以获得第三特征图，并将第三特征图作为第一特征图、以及对处理后的第二特征图进行特征提取以获得第四特征图，并将第四特征图作为第二特征图。具体地，可以通过利用多个不同的卷积层分别对处理后的第一特征图和处理后的第二特征图进行特征提取，以获得对应的第三特征图和第四特征图。

C、重复执行利用第二特征图对第一特征图进行处理以获得处理后的第一特征图、以及对第二特征图进行处理以获得处理后的第二特征图的步骤；即返回至步骤S102，以获得下一组处理后的第一特征图和处理后的第二特征图。

经过上述多次重复执行的过程可以获得不同尺度上的多组处理后的第一特征图和多组处理后的第二特征图，该方式可以提升每个分支网络特征提取的能力，使得后续步骤S103所提取出的差异区域更为准确。其中上述重复执行的次数与每个分支网络中的特征提取模块数量一致；并且根据重复执行次数的不同，也可以改变进行特征提取的卷积层的参数。

S103：基于至少部分第一特征图、第二特征图、处理后的第一特征图和处理后的第二特征图获得第一遥感影像和第二遥感影像中的差异区域。

具体地，上述步骤S103的具体实施过程包括：可以将上述获得的第一特征图、第二特征图、所有处理后的第一特征图和所有处理后的第二特征图输出至特征融合模块，并对其中至少部分特征图进行融合，以获得特征融合图。进一步地，由解码器对上述特征融合图进行处理以获得第一遥感影像和第二遥感影像中的差异区域。可选地，可以采用叠加、做差、求特征距离等方式对输出至特征融合模块中的至少部分特征图进行融合处理以获得特征融合图。

在上述实施例中，本申请所提供的遥感影像变化检测方法通过构建一种交叉处理网络，增加了其特征提取分支之间的信息交流，充分利用了前后时相影像之间的相关性信息，提高了特征提取的效率，从而提升了变化检测的精度。

在一个应用场景中，本申请所提供的遥感图像检测方法可以通过交叉处理网络模型实现，例如，当交叉处理网络每个分支网络包含四个特征提取模块时，如图5所示，图5为本申请提出的交叉处理网络模型一实施方式的结构示意图，该交叉处理网络模型包括两个分支网络，且每个分支网络包括多个特征提取模块10，每个分支网络的第一个特征提取模块10的输入为第一遥感图像或第二遥感图像，输出为第一特征图或第二特征图；第一个特征提取模块10外的其余特征提取模块的输入为相邻的同一个分支网络上的前一个特征提取模块10输出的特征图；每个特征提取模块10用于基于输入的特征图获得处理后的第一特征图或处理后的第二特征图。即上述分支网络用于实现上述方法中的部分步骤S101和步骤S102。

进一步，该交叉处理网络模型还可以包括：特征融合模块20和解码器30。该特征融合模块20的输入为上述所有特征提取模块10的输出，该特征融合模块20用于将至少部分特征提取模块10的输出进行融合以输出融合特征图。该解码器30的输入为上述特征融合模块20的输出，用于从上述融合特征图中获得第一遥感影像和第二遥感影像中的差异区域。即上述特征融合模块20和解码器30用于实现上述方法中的步骤S103。

需要说明的是，如图5中所示，图5中每个分支网络仅示意画出四个特征提取模块10，本领域技术人员可以根据实际需要设计每个分支网络的特征提取模块10的个数；例如，每个分支网络可以仅包括一个特征提取模块10；又例如，每个分支网络可以包含三个、四个、五个等特征提取模块10。

以图5中为例，该交叉注意力的孪生网络模型的工作流程包括：

1)第一遥感图像输入至分支网络A上的第一个特征提取模块10，经过第一个特征提取模块10处理后可以获得第一特征图；同样地，第二遥感图像输入至分支网络B上的第一个特征提取模块10，经过第一个特征提取模块10处理后可以获得第二特征图；将第一特征图和第二特征图传输至特征融合模块20中。

2)将第一特征图输入至分支网络A上的第二个特征提取模块10中，以获得对应的处理后的第一特征图；将第二特征图输入至分支网络B上的第二个特征提取模块10中，以获得对应的处理后的第二特征图；将第二个特征提取模块10获得的处理后的第一特征图或处理后的第二特征图传输至特征融合模块20中。

3)将分支网络A上第二个特征提取模块10获得的处理后的第一特征图输入至分支网络A上第三个特征提取模块10中，以获得对应的新的处理后的第一特征图；将分支网络B上第二个特征提取模块10获得的处理后的第二特征图输入至分支网络B上第三个特征提取模块10中，以获得对应的新的处理后的第二特征图；将第三个特征提取模块10获得的处理后的第一特征图或处理后的第二特征图传输至特征融合模块中。

4)重复类似上述步骤3)的过程，直至位于分支网络上的最后一个特征提取模块10获得对应的处理后的第一特征图或处理后的第二特征图；

5)特征融合模块20将接收到的第一特征图、第二特征图、所有处理后的第一特征图和所有处理后的第二特征图中的至少部分特征图进行融合以输出融合特征图。

6)解码器30从上述融合特征图中获得第一遥感影像和第二遥感影像中的差异区域。

请参阅图6，图6为本申请遥感影像变化检测装置一实施方式的框架结构示意图，遥感影像变化检测装置包括第一获得模块35、第二获得模块36和第三获得模块37。其中，第一获得模块35用于通过获取不同时刻下具有相同区域的第一遥感影像和第二遥感影像，并对该第一遥感影像和所述第二遥感影像分别进行特征提取以获得第一特征图和第二特征图；第二获得模块36用于利用第二特征图对第一特征图进行处理以获得处理后的第一特征图，以及对第二特征图进行处理以处理后的获得第二特征图；第三获得模块37用与基于至少部分第一特征图、第二特征图、处理后的第一特征图和处理后的第二特征图获得第一遥感影像和第二遥感影像中的差异区域。

请参阅图7，图7为本申请电子设备一实施方式的结构示意图，该电子设备包括相互耦接的存储器50和处理器40，存储器50中存储有程序指令，处理器40用于执行程序指令以实现上述任一实施例中的遥感影像变化检测方法。具体地，电子设备包括但不限于：台式计算机、笔记本电脑、平板电脑、服务器等，在此不做限定。此外，处理器40还可以称为CPU(Central Processing Unit，中央处理单元)。处理器40可能是一种集成电路芯片，具有信号的处理能力。处理器40还可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器40可以由集成电路芯片共同实现。

请参阅图8，图8为本申请存储装置一实施方式的结构示意图，该存储装置70存储有能够被处理器运行的程序指令80，程序指令80用于实现上述任一遥感影像变化检测方法中的步骤。

以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种遥感影像变化检测方法，其特征在于，包括：

获取不同时刻下具有相同区域的第一遥感影像和第二遥感影像，并对所述第一遥感影像和所述第二遥感影像分别进行特征提取以获得第一特征图和第二特征图；

利用所述第二特征图对所述第一特征图进行处理以获得处理后的第一特征图，对所述第二特征图进行处理以获得处理后的第二特征图；

基于至少部分所述第一特征图、所述第二特征图、所述处理后的第一特征图和所述处理后的第二特征图获得所述第一遥感影像和所述第二遥感影像中的差异区域。

2.根据权利要求1所述的遥感影像变化检测方法，其特征在于，所述利用所述第二特征图对所述第一特征图进行处理以获得处理后的第一特征图的步骤，包括：

获取第二特征图的第一矩阵，利用所述第二特征图的第一矩阵对所述第一特征图进行处理以获得处理后的第一特征图。

3.根据权利要求2所述的遥感影像变化检测方法，其特征在于，所述利用第二特征图的第一矩阵对所述第一特征图进行处理以获得处理后的第一特征图的步骤，包括：

获取所述第一特征图的第二矩阵，利用所述第二特征图的第一矩阵和所述第一特征图的第二矩阵获得第一权重矩阵；

获取所述第一特征图的第三矩阵，利用所述第一权重矩阵和所述第一特征图的第三矩阵获得第一加权特征图；

利用所述第一加权特征图和所述第一特征图获得所述处理后的第一特征图。

4.根据权利要求1所述的遥感影像变化检测方法，其特征在于，对所述第二特征图进行处理以获得处理后的第二特征图的步骤，包括：

利用所述第一特征图对所述第二特征图进行处理以获得处理后的第二特征图。

5.根据权利要求1所述的遥感影像变化检测方法，其特征在于，所述基于至少部分所述第一特征图、所述第二特征图、所述处理后的第一特征图和所述处理后的第二特征图获得所述第一遥感影像和所述第二遥感影像中的差异区域的步骤之前，包括：

将所述第一特征图、所述第二特征图、所述处理后的第一特征图和所述处理后的第二特征图输出；

对所述处理后的第一特征图进行特征提取以获得第三特征图，并将所述第三特征图作为所述第一特征图，对所述处理后的第二特征图进行特征提取以获得第四特征图，将所述第四特征图作为所述第二特征图，重复执行所述利用所述第二特征图对所述第一特征图进行处理以获得处理后的第一特征图、以及对所述第二特征图进行处理以获得处理后的第二特征图的步骤。

6.根据权利要求5所述的遥感影像变化检测方法，其特征在于，

所述遥感影像变化检测方法利用交叉处理网络实现，所述交叉处理网络包括：

两个分支网络，且每个所述分支网络包括多个特征提取模块，每个所述分支网络的第一个特征提取模块的输入为第一遥感图像或第二遥感图像，输出为第一特征图或第二特征图；所述第一个特征提取模块外的其余特征提取模块的输入为相邻的同一个分支网络上的前一个特征提取模块输出的特征图；每个所述特征提取模块用于基于输入的特征图获得所述处理后的第一特征图或所述处理后的第二特征图。

7.根据权利要求5所述的遥感影像变化检测方法，其特征在于，所述基于至少部分所述第一特征图、所述第二特征图、所述处理后的第一特征图和所述处理后的第二特征图获得所述第一遥感影像和所述第二遥感影像中的差异区域的步骤，包括：

将所述第一特征图、所述第二特征图、所有所述处理后的第一特征图和所有所述处理后的第二特征图中的至少部分进行融合以获得融合特征图；

从所述融合特征图中获得所述第一遥感影像和所述第二遥感影像中的差异区域。

8.根据权利要求6所述的遥感影像变化检测方法，其特征在于，所述交叉处理网络还包括：

特征融合模块，所述特征融合模块的输入为每个所述特征提取模块的输出，用于将所述第一特征图、所述第二特征图、所有所述处理后的第一特征图和所有所述处理后的第二特征图中的至少部分进行融合以获得融合特征图；

解码器，所述解码器的输入为所述特征融合模块的输出，用于从所述融合特征图中获得所述第一遥感影像和所述第二遥感影像中的差异区域。

9.一种电子设备，其特征在于，包括相互耦接的存储器和处理器，所述处理器中存储有程序指令，所述处理器用于执行所述程序指令以实现权利要求1至8任一项所述的遥感影像变化检测方法。

10.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至8任一项所述的遥感影像变化检测方法。

Images