CN112132867A - 一种遥感影像变换检测方法及装置 - Google Patents

Abstract

本发明实例提供了一种遥感影像变化检测的方法及装置，方法包括：基于训练后的深度卷积神经网络，预测两期影像发生变化的区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像进行有监督训练得到的。本发明实例提供的遥感影像变化检测的方法及装置，对不同时期相同地点成像的影像对预测发生变化的区域效果较好，且本发明对于相同季度的影像对和不同季度的影像对在预测变化区域时没有差别，在训练时是同等对待的，显著提高了变化检测的精度和召回率。

Description

一种遥感影像变换检测方法及装置

技术领域

本发明涉及遥感影像信息自动提取技术领域，尤其涉及一种遥感影像变化检测方法及装置。

背景技术

变化检测的目的是通过对同一地理区域内不同时间获取的遥感影像进行对比识别区域变化，是遥感的重要任务之一。广泛应用于遥感自然资源监测、地理国情数据更新和防震减灾等任务中，有着巨大的经济和社会价值。

近年来，已经提出了几种基于卷积神经网络(CNN)的变化检测方法，并取得了一些结果。常用的方法是构造一个来卷积神经网络提取特征，然后对这些特征进行处理，得到一个变化的二值映射。然而，对于这些基于深度学习的变化检测，一方面，由于训练样本中没有相似的样本，很多明显的变化区域容易被忽略，导致召回率较低，但这些区域用人工设计特征确能检测出来；另一方面，不同时期的影像会出现同一地物的不同光谱或不同地物的相同光谱的现象。这将导致检测到大量错误。

总的来说，基于人工设计的特征方法的变化检测召回率较高，但对颜色、梯度等一些简单的变化过于敏感，导致大量的错误检测。基于卷积神经网络方法的变化检测质量与训练样本的分布密切相关。

因此，现在亟需一种遥感影像变化检测方法及装置来解决上述问题。

发明内容

本发明提供一种遥感影像变化检测方法及装置，用以解决现有技术中基于人工设计的特征方法对颜色、梯度等一些简单的变化过于敏感，导致大量的错误检测的问题。

第一方面，本发明实施例提供一种遥感影像变化检测方法，包括：

基于训练后的深度卷积神经网络，预测前后期影像对的变化区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像对进行有监督训练得到的。

进一步，所述基于训练后的深度卷积神经网络，预测前后期影像对的变化区域，包括：

基于训练后的深度卷积神经网络，预测与原始影像尺寸相同的像素级变化概率图；

将所述变化概率图按概率大小进行分类，获得前后期影像对发生变化的区域。

进一步，所述预测与原始影像尺寸相同的变化图，包括：

基于预训练的编码结构，从输入的遥感影像中提取影像特征；

基于高层-低层特征结合的解码结构，预测像素级的变化概率图。

进一步，所述高层-低层特征结合的解码结构，通过以下步骤获得：

基于通道信息融合分别提取高低层特征的权重；

基于不同的权重对高-低层特征进行融合。

进一步，所述深度卷积神经网络的损失函数为：

其中，S′为预测像素的变化概率(0～1)，S为真实像素的标签(0或1)，p为变化图上每个像素位置，N为所有像素个数。

第二方面，本发明实施例还提供一种遥感影像变化检测装置，包括：

预测模块，用于基于训练后的深度卷积神经网络，预测影像发生变化的区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像进行有监督训练得到的。

进一步，所述预测模块包括：

变化概率图预测单元，用于基于训练后的深度卷积神经网络，预测与原始影像尺寸相同的像素级变化概率图；

分类单元，用于将所述变化概率图按概率大小进行分类，获得前后期影像对发生变化的区域。

第三方面，本发明实施例提供了一种电子设备，包括处理器、存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述遥感影像变化检测方法。

第四方面，本发明实施例提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述遥感影像变化检测方法。

本发明实例提供了一种遥感影像变化检测的方法及装置，对不同时期相同地点成像的影像对预测发生变化的区域效果较好，且本发明对于相同季度的影像对和不同季度的影像对在预测变化区域时没有差别，在训练时是同等对待的，显著提高了变化检测的精度和召回率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种遥感影像变化检测方法流程示意图；

图2是本发明实施例提供的遥感影像变化检测方法的另一流程示意图；

图3是本发明实施例提供的一种电子设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

目前，常用基于卷积神经网络(CNN)的变化检测方法是构造一个来卷积神经网络提取特征，然后对这些特征进行处理，得到一个变化的二值映射。然而，对于这些基于深度学习的变化检测，一方面，由于训练样本中没有相似的样本，很多明显的变化区域容易被忽略，导致召回率较低，但这些区域用人工设计特征确能检测出来；另一方面，不同时期的影像会出现同一地物的不同光谱或不同地物的相同光谱的现象。这将导致检测到大量错误。

针对现有技术的上述问题，本发明实施例提供的一种遥感影像变化检测方法。图1是本发明实施例提供的一种遥感影像变化检测方法流程示意图，首先对本发明实施例提供的方法的整体原理进行简要说明，遥感影像变化检测方法包括：

100，基于训练后的深度卷积神经网络，预测前后期影像对发生变化的区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像对进行有监督训练得到的。

其中，变化检测(change detection)指的是使用相同区域不同时期的遥感影像对，提取在前后时期中发生了显著变化的区域，该技术可以应用在土地督察、城市规划、自然灾害评估等领域。

需要说明的是，本发明实施例为了克服现有技术中对于变化检测方法存在精度和召回率不能同时兼顾的不足，设计了一种基于高层-低层特征融合的遥感影像变化检测方法。相比基于人工设计特征的传统方法和卷积神经网络的变化检测方法，本发明认为低层的特征代表低阶的图像特征，如纹理，梯度等，这些特征能提升变化检测的召回率，但会出现虚景；高层特征代表着图像的高阶信息，如语义信息等，这些能提升变化检测的精度，因此本发明将这两种特征进行有效结合。

具体的，在执行步骤100之前，本发明实施例对已标注真实变化区域的高分辨率遥感影像对进行有监督训练，得到了训练后的深度卷积神经网络，神经网络的编码部分对两期影像进行逐层提取特征，然后获取逐层的特征差，图像的特征差越大，表示变化的概率越大。

进一步的，本发明实施例根据已经提取的逐层的特征差，进行高层-低层特征融合，加入到训练后的深度卷积神经网络解码部分，预测影像变化的概率，得到像素级的变化概率图，根据概率进行分类，最后提取变化的区域。可以理解的是，本发明实施例中训练后的深度卷积神经网络包括编码结构以及高层-低层特征结合的解码结构。

本发明实施例提供的遥感影像变化检测方法，对图像的高层-低层特征进行融合，显著的提升了变化检测的效果，且本发明对于相同季度的影像对和不同季度的影像对在预测变化区域时没有差别，在训练时是同等对待的，显著提高了变化检测的精度和召回率。

在一个实施例中，深度卷积神经网络的损失函数为：

其中，S′为预测像素的变化概率(0～1)，S为真实像素的标签(0或1)，p为变化图上每个像素位置，N为所有像素个数。本发明实施例将已标注真实变化区域的高分辨率遥感影像对作为训练样本集，根据上述损失函数对深度卷积神经网络进行训练，得到训练后的深度卷积神经网络。

在一个实施例中，图2是本发明实施例提供的遥感影像变化检测方法的另一流程示意图，参照图2，步骤100中所述基于训练后的深度卷积神经网络，预测两期影像对的变化区域，包括：

110，基于训练后的深度卷积神经网络，预测与原始影像尺寸相同的像素级变化概率图；

120，将所述变化概率图按概率大小进行分类，获得前后期影像对发生变化的区域。

具体地，首先，在步骤110中，利用预训练的编码结构从输入的两期遥感影像中逐层提取特征，然后将特征做差，根据逐层的特征差进行高层-低层的特征融合，加入到解码结构，最后得到变化概率图。

然后，在步骤120中，将得到的变化概率图进行归一化。具体的，在得到的变化概率图中，用两个通道分别表现变化和未变化的概率，即0(未变化)，或1(变化)。在对变化概率图进行归一化后，取概率较大的输出，得到了前后期影像对的变化区域。

在一个实施例中，步骤110中所述预测与原始影像尺寸相同的像素级变化概率图，包括：

111，基于预训练的编码结构，从输入的遥感影像中提取影像特征；

112，基于高层-低层特征结合的解码结构，预测像素级的变化概率图。

具体的，在步骤111中，需要提取两期遥感影像的影像特征。将两期遥感影像作为输入，将预训练的全卷积网络(FCN)基础网络作为主干网络。在遥感影像中，一副影像有不同尺度大小的变化区域，因此需要关注不同尺度的特征，通过不同层的卷积和降采样操作，在编码阶段，得到了一系列尺度不同的特征图

其中w和h分别代表原输入遥感影像图像的宽度和高度。

然后，步骤112中，将高层特征图(i＝4,分辨率为

)和低层特征图(i＝1,分辨率为

)结合，通过解码，预测像素级的变化概率图。

在一个实施例中，步骤112中，所述高层-低层特征结合的解码结构，通过以下步骤获得：

1121，基于通道信息融合分别提取高低层特征的权重；

1122，基于不同的权重对高-低层特征进行融合。

具体地，步骤1121中，将得到的高层和低层特征，用通道信息融合的方法分别得到权重，具体的，先用16*16*c(高层c＝128,低层c＝16)的平均池化层对特征图进行降采样，其次用1*1*c的卷积进行通道融合，得到通道数为1的特征图，最后再用16*16*c的上采样得到与输入特征图分辨率及通道数一样的权重图；

然后，将上述步骤1121中得到的权重图分别与对应的特征图相乘(element-wisemultiplication)，再与原来的特征图进行相加(element-wise sum)得到通道信息融合后的高低特征图；其次，对低层特征，用卷积和降采样操作得到与高层特征分辨率一样的特征图然后与高层特征进行通道拼接；对高层特征则相反，即用卷积和上采样操作得到与低层特征分率一样的特征图然后进行通道拼接。最后，将结合后的高-低层特征与i＝2，3的特征图进行逐层解码操作。输出分辨率w×h×2像素级变化概率图。

综上所述，本发明实施例提供的遥感影像检测方法，与现有技术相比，具有以下有益效果：

1、端对端训练，无需后处理。

本发明实施例利用预训练的编码结构从输入的两期遥感影像中逐层提取特征，得到特征做差，将逐层的特征差进行高层-低层的特征融合加入到解码结构，最后得到变化概率图。将得到的概率图进行归一化，然后取概率大的作为变化和未变化的分类结果。无需任何后处理。另外，本发明实施例设计的网络结构简单，复杂度低，并且易于训练。

2、对不同季度的影像变化检测精度较高。

本发明实施例通过对高层特征的处理，对不同季节，如春天和秋天不同影像风格的变化检测，在训练和预测时同等对待，显著的提高了变化检测的精度。

3、小目标变化区域召回率显著。

对于基于深度学习神经卷积网络的变化检测来说，由于一些变化区域占比小，如果没有足够的正样本，很难在兼顾精度的同时考虑召回率。本发明通过对低层特征的处理，提升了一般的纹理变化的敏感度，再结合高层特征，加强了对小目标的变化区域，显著的提高了召回率。

在一个实施例中，本发明实施例提供了一种遥感影像变化检测装置，该装置包括：

预测模块，用于基于训练后的深度卷积神经网络，预测前后期影像对的变化区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像进行有监督训练得到的。

具体的如何通过预测模块进行遥感影像变化检测，可以参照上述方法实施例，本发明实施例在此不再赘述。

本发明实例提供的遥感影像变化检测装置，对不同时期相同地点成像的影像对预测发生变化的区域效果较好，且本发明对于相同季度的影像对和不同季度的影像对在预测变化区域时没有差别，在训练时是同等对待的，显著提高了变化检测的精度和召回率。

在一个实施例中，所述预测模块具体包括：

变化概率图预测单元，用于基于训练后的深度卷积神经网络，预测与原始影像尺寸相同的像素级变化概率图；

分类单元，用于将所述变化概率图按概率大小进行分类，获得前后期影像对发生变化的区域。

在一个实施例中，所述变化概率图预测单元具体包括：

影像特征提取子单元，用于基于预训练的编码结构，从输入的遥感影像中提取影像特征；

预测子单元，用于基于高层-低层特征结合的解码结构，预测像素级的变化概率图。

在一个实施例中，基于相同的构思，本发明实施例提供了本发明实施例提供了一种电子设备，如图3所示，该电子设备可以包括：处理器(processor)301、通信接口(Communications Interface)202、存储器(memory)203和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信。处理器301可以调用存储器203中的逻辑指令，以执行上述各实施例提供的遥感影像变换检测方法，例如包括：基于训练后的深度卷积神经网络，预测前后期影像对发生变化的区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像对进行有监督训练得到的。

在一个实施例中，基于相同的构思，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的遥感影像变换检测方法，例如包括：基于训练后的深度卷积神经网络，预测前后期影像对发生变化的区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像对进行有监督训练得到的。

本发明的各实施方式可以任意进行组合，以实现不同的技术效果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种遥感影像变换检测方法，其特征在于，包括：

基于训练后的深度卷积神经网络，预测前后期影像对的变化区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像对进行有监督训练得到的。

2.根据权利要求1所述的遥感影像变化检测方法，其特征在于，所述基于训练后的深度卷积神经网络，预测前后期影像对的变化区域，包括：

基于训练后的深度卷积神经网络，预测与原始影像尺寸相同的像素级变化概率图；

将所述变化概率图按概率大小进行分类，获得前后期影像对发生变化的区域。

3.根据权利要求2所述的遥感影像变化检测方法，其特征在于，所述预测与原始影像尺寸相同的变化图，包括：

基于预训练的编码结构，从输入的遥感影像中提取影像特征；

基于高层-低层特征结合的解码结构，预测像素级的变化概率图。

4.根据权利要求3所述的遥感影像变化检测方法，其特征在于，所述高层-低层特征结合的解码结构，通过以下步骤获得：

基于通道信息融合分别提取高低层特征的权重；

基于不同的权重对高-低层特征进行融合。

5.根据权利要求1或2所述的遥感影像变化检测方法，其特征在于，所述深度卷积神经网络的损失函数为：

其中，S′为预测像素的变化概率(0～1)，S为真实像素的标签(0或1)，p为变化图上每个像素位置，N为所有像素个数。

6.一种遥感影像变化检测装置，其特征在于，包括：

预测模块，用于基于训练后的深度卷积神经网络，预测影像发生变化的区域，所述深度卷积神经网络是对已标注真实变化区域的高分辨率遥感影像进行有监督训练得到的。

7.根据权利要求6所述的遥感影像变化检测装置，其特征在于，所述预测模块包括：

变化概率图预测单元，用于基于训练后的深度卷积神经网络，预测与原始影像尺寸相同的像素级变化概率图；

分类单元，用于将所述变化概率图按概率大小进行分类，获得前后期影像对发生变化的区域。

8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述遥感影像变化检测方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至5任一项所述遥感影像变化检测方法的步骤。

Images