CN110136170A - 一种基于卷积神经网络的遥感影像建筑物变化检测方法 - Google Patents

Abstract

本发明提供一种基于卷积神经网络的遥感影像建筑物变化检测方法，包括如下步骤：步骤1，根据已有的影像及地表覆盖矢量文件构建样本库，该样本库包括建筑物分类数据集，建筑物变化检测模拟数据集；步骤2，利用步骤1构建的样本库中的建筑物分类数据集对建筑物提取网络(Mask R‑CNN或多尺度全卷积网络)进行训练，学习高分辨率遥感影像中的建筑物特征，然后使用训练好的网络提取变化区域的多时相建筑物二值分类图；步骤3，利用步骤1构建的样本库中的模拟数据集训练变化检测网络Mask CD‑net，然后直接使用Mask CD‑net预测建筑物变化检测数据集，得到变化检测结果。若包含真实变化数据集，则用来进一步训练并精化Mask CD‑net，得到更好的变化检测效果。

Description

一种基于卷积神经网络的遥感影像建筑物变化检测方法

技术领域

本发明涉及一种用于高分辨率遥感影像建筑物变化检测的深度学习方法，尤其是提出了一种可自我训练的变化检测网络。此方法可用于两期遥感影像的建筑物变化检测。

背景技术

变化检测指的是通过在不同时间观察同一区域来识别物体或现象状态差异的过程。变化检测框架使用多时相数据集来定性分析现象的时间效应并量化变化。在遥感应用中，变化被视为具有不同速率的表面成分变化。土地覆盖和土地利用的变化信息非常重要，它在各种应用中具有实际用途，例如GIS数据库更新，城市发展趋势，自然灾害评估和森林火灾、砍伐等。

变化检测分析通常分为三个层级，即像素级，特征级和目标级。其中像素级的变化检测是指直接对两期影像的像素检测其变化，这种方法有很多局限性，但是像素信息表示的是图像最原始的信息，能够提供细微的信息。特征级变化检测是指先通过一些手段提取图像中的特征，例如边缘、纹理、形状、轮廓等，然后结合特征综合分析变化，通过这样的处理方式得到的变化检测结果具有更高的置信度和准确性，但是在提取特征的过程中可能会损失一些信息。目标级变化检测指针对图像中的某一类变化对象进行具体分析，例如建筑物，道路，森林，水域等，这一级别的变化检测分析前提是能够很好地提取出感兴趣区域。三个级别的变化检测分析方法各有优势，在实际应用中，需要根据不同的目的和数据条件选择最合适的分析方法。

传统的变化检测方法分为基于像素的方法和基于对象的方法，基于像素的方法以像素为变化检测分析的基本单元，通过利用像素的光谱特征等信息来检测变化，不考虑像素之间的空间关系。基于对象的方法处理高分辨率多光谱影像的能力通过从图像中提取的对象来体现。基于像素的方法主要有直接比较、影像转换、基于分类的变化检测和机器学习方法等。其中直接比较有影像差值、影像比值、回归分析。影像转换有植被指数差分、变化矢量分析法(CVA)、主成分分析法(PCA)、缨帽变换法等。基于对象的方法主要有基于对象的分类比较和基于堆叠的多时相影像比较。机器学习方法主要有人工神经网络、支持向量机和决策树等。

随着近些年来深度学习技术的发展，一些基于深度学习的变化检测方法也被陆续提出。然而，这些方法有些只在非常小的范围进行测试，缺乏统计意义；有些方法的精度较差；最重要的是：对于充足的训练样本极度依赖，但实际情况是：变化的样本非常难以得到。

发明内容

本发明提出了一个新的基于CNN的框架，用于高分辨率航空影像的建筑物变化检测。整个框架分为建筑物提取网络和建筑物变化检测网络两部分。首先采用建筑物提取网络对多时相影像进行分类，提取高精度的建筑物信息，然后以分类结果为输入，采用建筑物变化检测网络识别建筑物的变化。该网络通过模拟建筑物变化数据集，可以在不提供真实训练数据的情况下，得到良好的变化检测结果。该网络同时通过模拟建筑物的视差变化进行自我训练，解决了不同视角的高分辨率航空影像上建筑物难以完全配准的问题。最后，若提供了真实的变化样本，则用来进一步训练并精化变化检测网络，得到更好的变化检测效果。

实现本发明采用的技术方案是：步骤1，根据已有的影像及地表覆盖矢量文件构建样本库，该样本库包括建筑物分类数据集，建筑物变化检测模拟数据集和建筑物变化检测真实数据集(可选)；步骤2，利用步骤1构建的样本库中的建筑物分类数据集对建筑物提取网络(Mask R-CNN或多尺度全卷积网络(Multi-Scale FCN,MS-FCN))进行训练，学习高分辨率遥感影像中的建筑物特征，然后使用训练好的网络提取变化区域的多时相建筑物二值分类图；步骤3，利用步骤1自动生成的建筑物变化模拟检测数据集预训练变化检测网络MaskCD-net，然后直接使用Mask CD-net预测待检测遥感影像，得到变化检测结果。若提供了建筑物变化检测真实数据集，使用预训练的Mask CD-net再进一步训练模型，得到精度更高的变化检测网络。

进一步的，步骤1的具体实现包括如下子步骤：

步骤1.1，影像拼接与裁剪；若待处理影像为分幅影像，则对分景和分幅的影像进行拼接，得到完整的影像；然后根据已有的地表覆盖文件所覆盖的区域为可用作训练的影像范围，将完整影像按地表覆盖范围进行裁剪；

步骤1.2，影像重采样；以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.3，制作标签数据；将矢量文件进行栅格化，转换成与对应影像分辨率相同的栅格影像，栅格化的地表覆盖影像即为影像所对应的地物类型标签数据；

步骤1.4，样本分割；将裁剪、重采样后的影像及对应的标签数据分割为一定大小的样本数据。

进一步的，步骤2所述的Mask R-CNN为已有网络，无需介绍。所述MS-FCN包括第一编码(encoding stage)、第一解码(decoding stage)以及第一输出(output)3个部分，其中第一编码部分由5个卷积层(Convolution Layer)、4个最大池化层(Max Pooling Layer)组成，其中4个最大池化层分别位于5个卷积层之间；第一解码部分由4个卷积层，4个反卷积层(Deconvolution Layer)组成，其中4个反卷积层分别位于4个卷积层之前；第一输出部分由Sigmoid函数组成。

上述第一编码部分的5个卷积层都由两组连续堆叠的卷积，修正线性单元(Rectified Linear Unit,ReLU)组成，卷积核大小均为3×3，卷积步长均为1。

上述第一编码部分的最大池化层步长都为2×2，经过池化层后，输出特征图的高度与宽度变为输入的二分之一。

上述第一解码部分的4个卷积层都由2组连续堆叠的卷积(Convolution)和修正线性单元(Rectified Linear Unit,ReLU)组成。卷积核大小均为3×3，卷积步长均为1。第一解码部分每个卷积层最后得到一个1通道的特征图，由Sigmoid函数激活得到对应尺度的预测图。串联各个尺度上最后的1通道的特征图，得到一个4通道的特征图。

上述第一解码部分的每一个卷积层，其输入为反卷积后得到的特征图与第一编码部分对应大小特征图的串联。

经过编码与解码后，最终由Sigmoid输出层输出最后的建筑物语义分割结果。

进一步的，步骤3所述的Mask CD-net包括第二输入(input)、第二编码(encodingstage)、第二解码(decoding stage)以及第二输出(output)4个部分。其中第二输入为不同时相的两期建筑物二值分类图，并将它们进行串联。第二编码部分包括5个卷积层(Convolution Layer)、4个最大池化层(Max Pooling Layer)组成，其中4个最大池化层分别位于5个卷积层之间；第二解码部分由4个卷积层，4个反卷积层(Deconvolution Layer)组成，其中4个反卷积层分别位于4个卷积层之前；第二输出部分由Sigmoid函数组成。

上述第二编码部分的5个卷积层都由两组连续堆叠的卷积，修正线性单元(Rectified Linear Unit,ReLU)组成，卷积核大小均为3×3，卷积步长均为1。

上述第二编码部分的最大池化层步长都为2×2，经过池化层后，输出特征图的高度与宽度变为输入的二分之一。

上述第二解码部分的4个卷积层都由2组连续堆叠的卷积(Convolution)和修正线性单元(Rectified Linear Unit,ReLU)组成。卷积核大小均为3×3，卷积步长均为1。

上述第二解码部分的每一个卷积层，其输入为反卷积后再进行一次卷积得到的特征图与编码部分对应大小特征图的串联。

经过编码与解码后，最终由Sigmoid输出层输出最后的建筑物变化检测结果。

本发明具有如下优点：1)提出了一个新的基于CNN的框架，用于高分辨率遥感影像的建筑物变化检测。2)无需任何真实变化样本，也能得到很好的自我训练模型。3)选择大范围、样本多样性高的城市地区进行实验，使得测试结果更具有数学上的统计意义。4)由于高分辨率航空影像上不同视角建筑物高度所对应的视差难以消除，无法实现图像的精确配准，导致不可忽略的像素位移。我们采用模拟不同视差下的训练样本，通过训练使得我们的变化检测网络对此具有很强的鲁棒性。

附图说明

图1是本发明的总体流程框架。

图2是Mask R-CNN。

图3是MS-FCN。

图4是Mask CD-net。

具体实施方式

以下通过实施例和附图说明本发明的具体实施方式。

实施例：首先根据图1我们可知本发明的整体框架由建筑物提取网络和建筑物变化检测网络两部分组成。为了训练网络模型，我们需要训练数据。首先第一步是根据已有的航空影像和矢量标签数据，没有标签数据覆盖的区域需要制作标签数据，生成我们的样本库。为了训练建筑物提取网络，我们整理得到建筑物分类数据集，为了训练我们所提出的自我训练建筑物变化检测网络，我们整理得到建筑物变化检测模拟数据集。为了进一步训练变化检测网络，使得变化检测结果精度得到进一步提升，我们整理得到建筑物变化检测真实数据集(可选)。这里所有的数据最终为了方便输入到网络中，都被分割为512×512的小图。

第二步就是通过建筑物分类数据集训练建筑物提取网络直至收敛，然后预测得到变化检测数据区域的两期建筑物二值分类图。此处建筑物提取网络是Mask R-CNN或者MS-FCN。Mask R-CNN预测的结果在对象级别上精度更高，MS-FCN预测的结果在像素级别上精度更高。

所述MS-FCN包括第一编码(encoding stage)、第一解码(decoding stage)以及第一输出(output)3个部分，其中第一编码部分由5个卷积层(Convolution Layer)、4个最大池化层(Max Pooling Layer)组成，其中4个最大池化层分别位于5个卷积层之间；第一解码部分由4个卷积层，4个反卷积层(Deconvolution Layer)组成，其中4个反卷积层分别位于4个卷积层之前；第一输出部分由Sigmoid函数组成。

上述第一编码部分的5个卷积层都由两组连续堆叠的卷积，修正线性单元(Rectified Linear Unit,ReLU)组成，卷积核大小均为3×3，卷积步长均为1。

上述第一编码部分的最大池化层步长都为2×2，经过池化层后，输出特征图的高度与宽度变为输入的二分之一。

上述第一解码部分的4个卷积层都由2组连续堆叠的卷积(Convolution)和修正线性单元(Rectified Linear Unit,ReLU)组成。卷积核大小均为3×3，卷积步长均为1。第一解码部分每个卷积层最后得到一个1通道的特征图，由Sigmoid函数激活得到对应尺度的预测图。串联各个尺度上最后的1通道的特征图，得到一个4通道的特征图。

上述第一解码部分的每一个卷积层，其输入为反卷积后得到的特征图与第一编码部分对应大小特征图的串联。

经过编码与解码后，最终由Sigmoid输出层输出最后的建筑物语义分割结果。

第三步有两种策略，第一种策略是直接使用建筑物变化检测模拟数据集训练MaskCD-net，此时Mask CD-net不需要任何地面真实变化数据就可以预测得到变化检测区域的真实变化。第二种策略是先使用建筑物变化检测模拟数据集预训练Mask CD-net，然后再使用一部分真实变化的建筑物变化检测真实数据集进行训练，最后使用Mask CD-net进行预测，得到变化检测结果，第二种策略需要使用真实数据，但是精度同样也得到了提升。

所述的Mask CD-net包括第二输入(input)、第二编码(encoding stage)、第二解码(decoding stage)以及第二输出(output)4个部分。其中第二输入为不同时相的两期建筑物二值分类图，并将它们进行串联。第二编码部分包括5个卷积层(Convolution Layer)、4个最大池化层(Max Pooling Layer)组成，其中4个最大池化层分别位于5个卷积层之间；第二解码部分由4个卷积层，4个反卷积层(Deconvolution Layer)组成，其中4个反卷积层分别位于4个卷积层之前；第二输出部分由Sigmoid函数组成。

上述第二编码部分的5个卷积层都由两组连续堆叠的卷积，修正线性单元(Rectified Linear Unit,ReLU)组成，卷积核大小均为3×3，卷积步长均为1。

上述第二编码部分的最大池化层步长都为2×2，经过池化层后，输出特征图的高度与宽度变为输入的二分之一。

上述第二解码部分的4个卷积层都由2组连续堆叠的卷积(Convolution)和修正线性单元(Rectified Linear Unit,ReLU)组成。卷积核大小均为3×3，卷积步长均为1。

上述第二解码部分的每一个卷积层，其输入为反卷积后再进行一次卷积得到的特征图与编码部分对应大小特征图的串联。

经过编码与解码后，最终由Sigmoid输出层输出最后的建筑物变化检测结果。

为了验证和说明本发明方法的有效性，通过与现有的两种基于深度学习方法FC-EF和GAN进行对比，表1为本发明方法与其他基于深度学习方法的精度比较。

表1本发明方法与另外两种基于深度学习方法FC-EF和GAN的对比

其中：Simulated表示只利用模拟样本；1/2表示用一半训练样本；FULL表示用全部样本。

从表1中可以看出，我们的方法全面优于其他方法：即使不采用任何真实样本，我们的方法得到的结果(63％AP)也远远优于在足够真实变化检测数据集上训练的其他方法(不超过30％AP)。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (9)

1.一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于，包括如下步骤：

步骤1，根据已有的影像及地表覆盖矢量文件构建样本库，该样本库包括建筑物分类数据集，建筑物变化检测模拟数据集；

步骤2，利用步骤1构建的样本库中的建筑物分类数据集对建筑物提取网络进行训练，学习高分辨率遥感影像中的建筑物特征，然后使用训练好的建筑物提取网络提取变化区域的多时相建筑物二值分类图，所述建筑物提取网络为Mask R-CNN或多尺度全卷积网络(Multi-Scale FCN,MS-FCN)；

步骤3，利用步骤1自动生成的建筑物变化检测模拟数据集预训练变化检测网络MaskCD-net，然后直接使用预训练的Mask CD-net预测待检测遥感影像，得到影像中建筑物变化检测结果。

2.如权利要求1所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：所述步骤1中还包括建筑物变化检测真实数据集；步骤3中使用预训练的Mask CD-net在建筑物变化检测真实数据集上再进一步训练模型，得到精度更高的变化检测网络，并通过其预测得到待检测遥感影像中建筑物变化检测结果。

3.如权利要求1或2所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：步骤1的具体实现包括如下子步骤，

步骤1.1，影像拼接与裁剪；若待处理影像为分幅影像，则对分景和分幅的影像进行拼接，得到完整的影像；然后根据已有的地表覆盖文件所覆盖的区域为可用作训练的影像范围，将完整影像按地表覆盖范围进行裁剪；

步骤1.2，影像重采样；以某一影像分辨率为基准，对其它影像进行重采样；

步骤1.3，制作标签数据；将矢量文件进行栅格化，转换成与对应影像分辨率相同的栅格影像，栅格化的地表覆盖影像即为影像所对应的地物类型标签数据；

步骤1.4，样本分割；将裁剪、重采样后的影像及对应的标签数据分割为一定大小的样本数据。

4.如权利要求1或2所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：所述MS-FCN包括第一编码(encoding stage)、第一解码(decoding stage)以及第一输出(output)3个部分，其中第一编码部分由5个卷积层(Convolution Layer)、4个最大池化层(Max Pooling Layer)组成；第一解码部分由4个卷积层，4个反卷积层(Deconvolution Layer)组成；第一输出部分由Sigmoid函数组成。

5.如权利要求4所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：第一编码部分的5个卷积层都由两组连续堆叠的卷积，修正线性单元(RectifiedLinear Unit,ReLU)组成，卷积核大小均为3×3，卷积步长均为1。

6.如权利要求4所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：第一解码部分的4个卷积层都由2组连续堆叠的卷积(Convolution)和修正线性单元(Rectified Linear Unit,ReLU)组成。

7.如权利要求1或2所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：所述的Mask CD-net包括第二输入(input)、第二编码(encoding stage)、第二解码(decoding stage)以及第二输出(output)4个部分；其中第二输入为步骤2中不同时相的建筑物二值分类图，并将它们进行串联；第二编码部分包括5个卷积层(ConvolutionLayer)、4个最大池化层(Max Pooling Layer)组成；第二解码部分由4个卷积层，4个反卷积层(Deconvolution Layer)组成；第二输出部分由Sigmoid函数组成。

8.如权利要求7所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：第二编码部分的5个卷积层都由两组连续堆叠的卷积，修正线性单元(RectifiedLinear Unit,ReLU)组成，卷积核大小均为3×3，卷积步长均为1。

9.如权利要求7所述的一种基于卷积神经网络的遥感影像建筑物变化检测方法，其特征在于：第二解码部分的4个卷积层都由2组连续堆叠的卷积(Convolution)和修正线性单元(Rectified Linear Unit,ReLU)组成。