CN111325771A - 基于影像融合框架的高分辨率遥感影像变化检测方法 - Google Patents

Abstract

本发明公开了一种基于影像融合框架的高分辨率遥感影像变化检测方法。该方法通过一个预训练的深度特征提取网络提取双时相影像的高维特征，再将提取出的原始影像高维特征放入一个变化检测网络中进行变化检测。本发明提出的用于变化检测的网络框架在变化结果图重建过程中融入了原始影像的多级高维特征，使得产生的变化结果图具有较高的轮廓一致性和内部一致性，通过在变化检测网络中引入多级深度监督，实现比已有方法更高的变化区域精确率和召回率。

Description

基于影像融合框架的高分辨率遥感影像变化检测方法

发明领域

本发明属于遥感图像处理领域，涉及计算机深度学习领域，特别是涉及一种基于影像融合框架的高分辨率遥感影像监督变化检测方法。具体地说是一种基于深度卷积神经网络的遥感影像变化检测方法，该方法将双时相遥感影像特征进行提取和融合，通过多级高维特征融合实现对图像上变化区域的检测。

背景技术

自然环境演变与人类行为的相互作用导致地球表面无时无刻不在发生着变化。对地表覆盖变化的及时发现以及周期性关注，对于人与自然和谐相处有着重要意义。基于遥感影像的地表变化检测是实现地表观测的重要途经和手段。随着近些年来高精度传感器技术和无人机、航拍技术的快速发展，遥感图像的空间分辨率越来越高，图像的地物特征越来越精细，数据量越来越大，传统的基于代数运算、图像转换和分类后比较的遥感影像变化检测方法在高分图像上难以获得较好的变化检测结果。近些年来随着深度学习技术以及计算机视觉分析能力的提升，利用深度学习的高层次特征提取能力进行高分辨率遥感影像变化检测任务成为一种高效可行的方案。

目前，主流的利用深度学习进行高分辨率遥感影像监督变化检测的方法分为两类：一类是早期融合方法，该方法将两张不同时间段采集到的遥感影像，按照波段数目进行组合，合成为一张具有多个波段的输入影像数据，然后将该多波段数据放入到一个接收单个数据输入的神经网络中进行变化像素点和非变化像素点的区分，目前该方法获得的变化检测结果精度最高，但是由于在输入数据中将两张原始影像的多个波段进行了叠加，在网络的后端进行变化图重建的过程中缺乏原始图像信息，导致生成的变化检测结果图具有较差的轮廓一致性和内部一致性；第二类是后期融合方法，该方法分别将两张影像作为一个深度学习网络的两个输入，利用网络的高维特征提取能力实现变化像素点的识别，该方法将深度学习网络作为一个黑盒子，将特征提取和变化区域识别作为一个整体任务来实现，但是由于该方法将特征提取与变化区域识别任务混合在了一起，网络的学习目标较为模糊，导致网络有较差的泛化能力。

发明内容

本发明要解决的技术问题在于针对上述方法的不足，提出了一个基于影像融合框架的高分辨率遥感影像监督变化检测方法，实现精度、轮廓一致性和内部一致性更高的变化检测结果。

为解决上述问题，该方法主要包括以下步骤：

步骤1，构建训练样本集与对应的真值标签，训练样本集中包括若干影像样本对，每个影像样本对包括两张不同时相的影像，真值标签包括五张不同大小的变化结果图；

步骤2，构建一个预训练的原始影像高维特征提取网络，该网络由VGG16的第五池化层之前的网络层构成；

步骤3，将两个不同时相的影像分别放入该预训练的特征提取网络中，每张原始影像获得五组高维特征，这五组高维特征是分别从特征提取网络的不同层抽取出的高维特征，即conv1_2，conv2_2，conv3_3，conv4_3，conv5_3，两张遥感影像一共获得五对影像高维特征；

步骤4，将步骤3提取出的双时相影像的高维特征放入到变化检测网络中进行变化区域检测；

所述变化检测网络的输入来自特征提取网络的5对影像高维特征，其中，最深层特征层对T1_conv5_3和T2_conv5_3作为该网络的初始输入特征，剩余的4对浅层特征层对(T1_conv4_3，T2_conv4_3)、(T1_conv3_3，T2_conv3_3)、(T1_conv2_2，T2_conv2_2)、(T1_conv1_2，T2_conv1_2)作为网络的中间层输入，T1、T2分别表示两个不同的时相；

所述变化检测网络的主体结构由1个初始变化检测模块和4个依次连接的结构相同的后续变化检测模块组成，每个后续变化检测模块之后连接一个分支，其中，初始变化检测模块包括两张高维特征输入图、依次连接的三个卷积层和一个空间注意力模块，得到初始的变化特征融合图；每个后续变化检测模块包括依次连接的上采样层、特征融合层、通道注意力模块、三个卷积层和一个空间注意力模块，得到经过原始影像的低维特征融合的变化特征融合图，其中特征融合层用于融合浅层特征层对中的特征来优化变化影像重建效果，经过五个模块的处理之后，变化检测网络最后输出一张与原始影像大小相同的变化检测结果图；分支的网络结构包括一个卷积核为3*3的卷积层和一个sigmoid激活层，每个分支输出不同大小的低空间分辨率的变化影像；

步骤5，训练变化检测网络的参数，利用训练好的网络完成双时相高分辨率遥感影像的变化检测任务。

进一步的，步骤1所述的五张不同大小的变化结果图中，其中一张是与原始影像大小相等的变化检测结果图，另外四张分别为原始影像大小1/256、1/64、1/16和1/4的变化图。

进一步的，步骤2中在进行特征提取时，固定高维特征提取网络的参数。

本发明与现有技术相比，提出了一个基于影像融合框架的高分辨率遥感影像变化检测方法，提出将特征提取与变化检测分别切分为两个子网络，在变化检测网络中引入注意力模块实现对融合特征在空间域和通道域上的优化，并且在网络的多个层中间引入了多个分支进行网络的深度监督训练，使得网络的所有层均能获得较好的更新梯度。本发明方法相比于已有的基于深度学习框架的早期融合方法和后期融合方法，该方法很好的保留了原始影像的高维特征，因此获得的变化结果图具有更好的轮廓一致性和内部一致性；此外，通过引入分支进行深度监督以及对融合特征的优化，该方法对于变化区域的检测精度以及召回率比已有方法也更高。

附图说明

图1是本发明提出的用于高分辨率遥感影像变化检测的深度学习网络框架图。

图2是该深度学习网络框架图中的变化检测子网络图。

具体实施方式

下面对结合附图对本发明作进一步的说明。

如图1所示，本发明提出了一种基于影像融合框架的高分辨率遥感影像变化检测方法，包括以下步骤：

步骤1，构建训练样本集与对应的真值标签，训练样本集中包括若干影像样本对，每个影像样本对包括两张不同时相的影像，真值标签包括五张不同大小的变化结果图；五张不同大小的变化结果图中，其中一张是与原始影像大小相等的变化检测结果图，另外四张分别为原始影像大小1/256、1/64、1/16和1/4的变化图。

步骤2，构建一个预训练的原始影像高维特征提取网络，该网络由VGG16的第五池化层之前的网络层构成，网络的参数由训练好的网络参数得到，在做特征提取时，固定预训练网络的参数；

步骤3，将两个不同时相的影像分别放入该预训练的特征提取网络中，每张原始影像获得五组高维特征，如图1所示，这五组高维特征是分别从特征提取网络的不同层(conv1_2，conv2_2，conv3_3，conv4_3，conv5_3)抽取出的高维特征。两张遥感影像一共获得五对影像高维特征；

步骤4，将步骤3提取出的双时相影像的高维特征放入到变化检测网络中进行变化区域检测。如图1所示，所述变化检测网络的输入来自特征提取网络提取出的5对高维特征，其中，最深层特征对T1_conv5_3和T2_conv5_3作为该网络的初始输入特征，剩余的4对浅层特征对(T1_conv4_3，T2_conv4_3)、(T1_conv3_3，T2_conv3_3)、(T1_conv2_2，T2_conv2_2)、(T1_conv1_2，T2_conv1_2)作为网络的中间层输入T1、T2分别表示两个不同时相。

变化检测网络包括五张不同大小的变化结果图作为网络的输出，其中一张与原始影像大小相等的变化检测结果图作为网络的最终输出；其余四张大小不同的变化结果图是网络的四个分支输出的副产物，用于帮助训练网络，不作为最终的输出产品图。

所述变化检测网络的主体结构由1个初始变化检测模块和4个结构相同的后续变化检测模块依次连接组成，受纸张长度所限，我们在图2中仅展示了初始变化检测模块和第一个后续变化检测模块。如图2所示，初始变化检测模块包括两张高维特征输入图、依次连接的三个卷积层和一个空间注意力模块(SAM_1)，得到初始的变化特征融合图IDF_1；后续变化检测模块包括依次连接的上采样层(Up_IDF_1)、特征融合层(该层用于融合多维度特征来优化变化影像重建效果，即融合4对浅层特征对，每个后续变化检测模块融合一对浅层特征对)、通道注意力模块(CAM_1)、三个卷积层和一个空间注意力模块(SAM_2)，得到经过原始影像的低维特征融合的变化特征融合图IDF_2。第二、三、四个后续变化检测模块网络与第一个后续变化检测模块拥有相同的网路设置。经过五个模块的处理之后，网络最后输出一张与原始影像大小相同的变化检测结果图。为了更好地训练该变化检测网络的中间层网络，我们在该网络中加入了四个网络输出分支，如图2所示，DS_1为该网络的第一个输出分支，该分支的网络结构包括一个卷积核为3*3的卷积层和一个sigmoid激活层，该分支输出一张大小为原始影像大小1/256的变化图；DS_2为该网络的第二个输出分支，该分支输出的变化图为原始影像大小的1/64；类似地，DS_3和DS_4分别输出一张大小为原始影像大小1/16和1/4的变化图。通过对该网络引入多个深度监督层来提升网络对变化区域的检测能力。

步骤5，网络按照图1和图2构建完成后开始训练。在训练过程中，我们固定特征提取网络的参数，仅训练变化检测网络的参数，使其具有较好的泛化能力。

步骤6，网络训练完成后即可用于双时相高分辨率遥感影像的变化检测任务。

将本发明方法与已有的方法在自我采集的数据集上取两景影像作为训练数据进行了变化检测结果精度测试，自我采集的数据集通过谷歌地球数据采集，该数据集包括了中国六个城市(西安，北京，上海，广州，武汉，成都)的不同时相的高空间分辨率数据(空间分辨率为2米)，变化检测的测试结果如下：

表1变化检测精度比较

表1中的Unet++_MSOF为目前公开发表的检测结果精度最高的图像变化检测方法，与Unet++_MSOF相比，本发明方法在准确率上获得了7.28％的提升，在召回率上获得了1.63％的提升，在F1指数上取得了0.046的提升，在总体精度上取得了2.08％的提升；FCN-PP为基于金字塔池化层的全卷积神经网络，FC-Siam-conc与FC-Siam-diff为典型的后期融合变化检测方法，与这三种已有的流行方法比较，本发明方法在准确率、召回率、F1指数以及总体精度上均获得了较大提升。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (3)

1.一种基于影像融合框架的高分辨率遥感影像变化检测方法，其特征在于，包括如下步骤：

步骤1，构建训练样本集与对应的真值标签，训练样本集中包括若干影像样本对，每个影像样本对包括两张不同时相的影像，真值标签包括五张不同大小的变化结果图；

步骤2，构建一个预训练的原始影像高维特征提取网络，该网络由VGG16的第五池化层之前的网络层构成；

步骤3，将两个不同时相的影像分别放入该预训练的特征提取网络中，每张原始影像获得五组高维特征，这五组高维特征是分别从特征提取网络的不同层抽取出的高维特征，即conv1_2，conv2_2，conv3_3，conv4_3，conv5_3，两张遥感影像一共获得五对影像高维特征；

步骤4，将步骤3提取出的双时相影像的高维特征放入到变化检测网络中进行变化区域检测；

所述变化检测网络的输入来自特征提取网络的5对影像高维特征，其中，最深层特征层对T1_conv5_3和T2_conv5_3作为该网络的初始输入特征，剩余的4对浅层特征层对(T1_conv4_3，T2_conv4_3)、(T1_conv3_3，T2_conv3_3)、(T1_conv2_2，T2_conv2_2)、(T1_conv1_2，T2_conv1_2)作为网络的中间层输入，T1、T2分别表示两个不同的时相；

所述变化检测网络的主体结构由1个初始变化检测模块和4个依次连接的结构相同的后续变化检测模块组成，每个后续变化检测模块之后连接一个分支，其中，初始变化检测模块包括两张高维特征输入图、依次连接的三个卷积层和一个空间注意力模块，得到初始的变化特征融合图；每个后续变化检测模块包括依次连接的上采样层、特征融合层、通道注意力模块、三个卷积层和一个空间注意力模块，得到经过原始影像的低维特征融合的变化特征融合图，其中特征融合层用于融合浅层特征层对中的特征来优化变化影像重建效果，经过五个模块的处理之后，变化检测网络最后输出一张与原始影像大小相同的变化检测结果图；分支的网络结构包括一个卷积核为3*3的卷积层和一个sigmoid激活层，每个分支输出不同大小的低空间分辨率的变化影像；

步骤5，训练变化检测网络的参数，利用训练好的网络完成双时相高分辨率遥感影像的变化检测任务。

2.如权利要求1所述的一种基于影像融合框架的高分辨率遥感影像变化检测方法，其特征在于：步骤1所述的五张不同大小的变化结果图中，其中一张是与原始影像大小相等的变化检测结果图，另外四张分别为原始影像大小1/256、1/64、1/16和1/4的变化图。

3.如权利要求1所述的一种基于影像融合框架的高分辨率遥感影像变化检测方法，其特征在于：步骤2中在进行特征提取时，固定高维特征提取网络的参数。

Images