CN109886106A - 一种基于深度学习的遥感图像建筑物变化检测方法 - Google Patents

Abstract

本发明公开了一种遥感图像建筑物变化检测方法，包括：(1)对前后时相遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理；(2)标注经预处理后的前后时相遥感图像中建筑物更新部分，得到变化Label图；(3)叠加前后时相遥感图像，并切割叠加后的遥感图像和变化Label图，得到训练样本；(4)构建和训练建筑物变化检测网络，得到建筑物变化检测模型；(5)将待检测的前后时相遥感图像经预处理、叠加、切割获得待测样本；(6)将待测样本输入至建筑物变化检测模型中，经计算输出检测结果图。该方法能够实现对建筑物变化信息进行精准、快速的提取。

Description

一种基于深度学习的遥感图像建筑物变化检测方法

技术领域

本发明应用于遥感图像建筑物变化检测领域，具体来说，是利用深度学习技术进行建筑物变化信息提取，从而为国土监测等具体业务提供服务。

背景技术

随着我国经济的飞速发展，城市化和工业化程度不断提高。建筑物是组成城市的重要元素之一，城市化过程中伴随着大量的建筑物新建、拆除情况，对建筑物更新状况的动态监控对于国土部门开展具体业务具有重要意义。现实当中，还是以人工实地调查等方法为对城区建筑物展开调查和筛选，人工实地调查的方法虽然精度高但是效率相当低下，对于飞速变化的城市而言，该方法实用性不高。当前，拥有宏观性、实时性、高分辨率等优势的卫星遥感技术为建筑物变化检测提供了新的技术手段。

高光谱分辨率、高空间分辨率、高时间分辨率和多平台、多传感器、多角度是目前遥感技术的发展趋势。首先，遥感图像的空间分辨率已经有了亚米级的突破，如美国Digital Global公司的QuickBird、GeoEye系列卫星，法国的SPOT-5/6/7系列，影像包含丰富的地物细节特征，可以精细的描述地表目标。其次，对地卫星支持大角度侧摆观测的特性使得对地重访周期缩短至3-5天。此外，我国于2010年启动实施了高分辨率对地观测卫星系统重大专项，高分等一系列的国产卫星的圆满发射全面提升了我国高分辨率数据的自给率，并且有力的保障和满足了地理测绘、海洋和气候气象观测、城市和交通精细化管理等领域的应用需求。数据级别趋于海量的高分辨率遥感影像为各种实际应用提供了丰富多样的数据源，但同时也给诸如建筑物变化检测等实际应用带来了新的挑战。

研究表明，遥感图像空间分辨率的提高，并不意味着解译精度的提高。高分辨率遥感影像所含的信息量巨大，但背景信息和噪声干扰严重，空间信息充足但光谱信息又相对不足。对于建筑物变化检测这一课题而言，建筑物的形状、色调、尺寸各异，难以对其进行规范化的描述；其次，在遥感影像中，其他地物往往与建筑物相互混杂，如因被邻近树木遮挡而造成形状缺失、色调改变等。但是，当前深度学习技术发展火热，为遥感研究提供了新的技术手段。深度学习模型在遥感图像识别和检测领域具有天然优势，可以提取复杂特征的同时也可以提升识别的精度。目前，深度学习理论和模型被广泛应用于遥感领域，用来解决使用传统方法很难得到有效提升的课题。

综上所述，在城市区域，建筑物作为相当重要的人工地物目标，如何利用深度学习技术对高分辨率遥感影像上的建筑物变化信息进行快速、精准的提取，不管对于实际应用还是对于理论研究都有着相当重要的意义。从理论研究角度来看，有效的建筑物变化信息提取进一步表明了深度学习技术的普适性，也将为其他地物目标信息的提取提供具有普适性的理论和方法；从实际应用角度来看，精准、快速的建筑物变化信息提取可以为地理信息更新、城市规划管理等业务提供便捷的信息支撑。

发明内容

针对传统建筑物变化检测方法所存在的不足，以及遥感图像信息量大但是干扰众多的问题，本发明提供了一种基于深度学习的遥感图像建筑物变化检测方法，对建筑物变化信息进行精准、快速的提取，从而为地理信息更新、城市规划管理等具体业务提供便捷的信息支撑。

本发明的技术方案为：

一种基于深度学习的遥感图像建筑物变化检测方法，包括以下步骤：

(1)对前后时相遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理，从而得到数据分布较为一致的遥感图像；

(2)比对经预处理后的前后时相遥感图像，标注遥感图像中建筑物更新部分，得到对应的变化Label图；

(3)叠加预处理后的前后时相遥感图像，采用同一尺寸对叠加后的遥感图像和变化Label图进行切割，得到训练样本；

(4)构建建筑物变化检测网络，该建筑物变化检测网络以Unet网络为基础，在网络收缩路径的每个卷积后添加BN层，在网络扩张路径上采样阶段添加Dropout层，将FlowNet的Refinement模块迁移到Unet的上采样阶段，并基于多层级预测的结果计算损失函数；

(5)利用训练样本训练建筑物变化检测网络，获得建筑物变化检测模型；

(6)将待检测的前后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理后，再经叠加、切割获得待测样本；

(7)将待测样本输入至建筑物变化检测模型中，经计算输出检测结果图。

优选地，所述正射校正包括：

采用有理函数模型对遥感图像中的明显的几何畸变进行纠正，其中，有理函数模型为如下多项式的比值：

式中：

式(1)为由地面点坐标计算对应像点坐标的关系式，称之为正解有理函数模型；式(2)为由像点坐标计算对应点地面坐标的公式，称之为反解有理函数模型；(P,L,H)为正则化的地面坐标；(X，Y)为正则化的影像坐标；a_ijk(i，j，k＝0,1,2,3)为有理多项式系数，b_ijk为反解RPC有理多项式系数；

则利用已知的遥感影像的RPC参数和地面点的三维坐标，利用式(1)可以建立地面点坐标与其对应像点坐标之间的函数关系式，从而对遥感图像进行正射校正。

正射校正可以实现对由地形、相机几何特性以及与传感器相关的误差所造成的遥感图像上的明显的几何畸变进行纠正。

优选地，所述图像配准包括：

(a)以前后时相遥感图像中的任意一个遥感图像作为参考，建立参考坐标系；

(b)采用Forstner角点算子获取特征点，利用一次多项式全局变换模型对特征点进行筛选，并使用互相关匹配操作进行特征点匹配，利用获得匹配特征点即匹配关系进行投影变换模型参数的估计；

(c)根据步骤(b)获得的投影变换模型参建立投影变换模型；

(d)利用步骤(c)建立的投影变换模型对前后时相遥感图像进行几何变换和插值处理，获得配准图像。

优选地，所述图像拉伸包括：

将前后时相遥感图像按照波段进行展开，统计每个波段下，遥感图像每个像素点的亮度值，删除离散的亮度值，以实现对遥感图像的拉伸。

所述图像数值归一化包括：

将前后时相遥感图像按照波段进行展开，对每个波段下，遥感图像的亮度值做归一化处理。

遥感图像一般包含4个通道(也就是4个波段)，分别为R通道、G通道、B通道以及红外通道。在图像拉伸和图像数值归一化处理时，分通道进行，这样能够提升图像拉伸和图像数值归一化处理的效果。

优选地，在对前后时相遥感图像和变化Label图进行切割获得训练样本后，还包括：

通过图像旋转、尺度变换、添加随机噪声、颜色变换中的至少一种方式对训练样本进行数据量增广。

对于遥感图像上建筑物变化检测而言，目前没有公开的数据集，导致训练样本数量不够，因此对获得的训练样本做增广处理，以增加训练样本的多样性，以此提升建筑物变化检测模型的检测准确度。

优选地，建筑物变化检测网络的损失函数Loss为：

其中，n表示网络深度，w_k表示基于第k层网络输出图设计的损失函数所占的权重，pred_k表示网络第k层的输出图，Loss(y,pred_k)表示基于对变化Label图切割获得的标签图y和第k层网络输出图实现的交叉熵损失函数；

在计算Loss(y,pred_k)时，采用双线性插值法将第k层的输出图重新拉伸至与标签图y相同的尺寸。

这样的损失函数能够整体提升建筑物变化检测模型的预测效果。

优选地，对叠加后的待检测的前后时相遥感图像进行切割时，相邻的图像块之间，后一图像块中至少保留前一图像块的1/3区域，即相邻的图像块之间至少存在1/3重复区域。

由于测试前对遥感图像进行了切割，每个图像块边缘的预测效果较差，这样在对检测结果图进行拼接，获得最终的整个遥感图像中建筑物变化检测图时，会直接影响结果，因此切割时保留一部分重叠区域，即只保留预测结果中间区域位置的像素，来消除单个图块边缘预测效果较差的现象。

优选地，在获得检测结果图后，还包括：

采用形态学图像方法对检测结果图进行形态学滤波处理。

由于获得的检测结果图中标记的建筑物变化区域可能会存在黑点，或变化区域边界不明显，因此，采用形态学图像方法(如开运算或闭运算)对检测结果图进行滤波处理，这样可以消除大块建筑物变化区域的黑点，同时使建筑物边缘更加饱满，得到更符合实际业务的分割图像。

与现有技术相比，本发明具有的有益效果为：

本发明提供的遥感图像建筑物变化检测方法，利用深度学习技术对遥感图像上的建筑物变化信息进行精准、快速的提取，从而为地理信息更新、城市规划管理等具体业务提供便捷的信息支撑。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。

图1是实施例提供的遥感图像建筑物变化检测方法的流程框图；

图2是实施例提供的建筑物变化检测网络的结构示意图；

图3是实施例提供的FlowNet网络中Refinement模块的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

基于深度学习的遥感图像建筑物变化检测方法流程如图1所示，针对同一地区的前后时相遥感图像，首先对两幅遥感图像进行正射校正、影像配准等预处理操作；其次，对遥感图像进行分块，标注关于建筑物新建、拆除情况的变化样本来制作训练数据集，并以此对改进的Unet模型进行训练；最后，利用已训练模型对经过预处理的前后时相遥感图像进行预测，并利用形态学滤波等方法对预测结果进行后处理，得到最终的建筑物变化检测结果。接下来结合具体步骤来描述本方法的具体实施过程。

步骤1，遥感图像预处理

结合QuickBird和高分二号卫星图像的特点，本实施例设计的图像预处理流程如下：

(1)正射校正：利用有理函数模型对由地形、相机几何特性以及与传感器相关的误差所造成的遥感图像上的明显的几何畸变进行纠正。其中有理函数模型为如下多项式的比值：

式中：

式(1)为由地面点坐标计算对应像点坐标的关系式，称之为正解有理函数模型；式(2)为由像点坐标计算对应点地面坐标的公式，称之为反解有理函数模型。式中，(P,L,H)为正则化的地面坐标；(X，Y)为正则化的影像坐标；a_ijk(i，j，k＝0，1，2，3)为有理多项式系数，b_ijk为反解RPC有理多项式系数。

则利用已知的高分辨率微信遥感影像的RPC参数和地面点的三维坐标，利用式(1)可以建立地面点坐标与其对应像点坐标之间的函数关系式，从而对图像进行正射校正。

(2)图像配准：对于两幅来自不同采集设备，取自不同时间，不同拍摄视角的遥感图像，以其中一副为基准，对另一幅进行配准。具体步骤如下：

(a)建立参考坐标系统。以一幅遥感图像为参考，建立参考坐标系统。

(b)利用特征提取以及匹配算法选择连接点。同一地理位置的前后时相遥感图像中包含部分存在对应关系的像素点，因此可以提取图像中的角点等不会发生变化的特征，之后通过特征匹配算法来建立所提取特征的对应关系。本步骤中使用Forstner角点算子获取特征点，利用一次多项式(First-Order Polynomial)全局变换模型(Fitting GlobalRransform)对特征点进行筛选，并使用互相关(Cross Correlation)匹配操作进行匹配，获得匹配的特征点。

(c)变换模型估计。利用步骤(b)得到的特征点进行投影变换模型参数的估计，本步骤选用投影变换模型，在二维空间中，将点(x1,y1)变换至(x2,y2)的变换公式为：

其中，m0～m7为投影变换模型参数，形成的矩阵为投影变换模型参数矩阵；

然后，根据投影变换模型参数矩阵构建投影变换模型。

(d)坐标变换与插值。使用投影变换模型完成图像的几何变换之后，涉及输入图像变换后所得点坐标不一定是整数像素，则应进行插值处理，得到最后的配准图像。本步骤采用多项式模型进行几何变换，采用三次卷积进行插值。

(3)图像拉伸：对遥感图像的每个波段的数值进行展开，去除其中的离群的异常值，使得遥感图像得到拉伸。具体地，可以将遥感图像的4个通道(也就是4个波段)数据进行单独统计，统计每个通道下，遥感图像每个像素点对应亮度值的分布情况，将离散的像素点对应的亮度值去除，以实现对遥感图像的拉伸。

(4)图像数值归一化：对遥感图像每个通道的数值进行归一化，使得之后的神经网络模型训练时能够快速的收敛。

通过上述的预处理流程，可以得到在数据分布方面具有一致性的遥感图像，从而在一定程度上减少了训练样本中所存在的“伪变化”。

步骤2，数据标注及样本增广

对于遥感图像上建筑物变化检测而言，目前并没有公开的数据集，因此需要针对经过预处理的同一地点的两幅遥感图像设计标注、数据增广方案。具体步骤如下：

(1)图像标注：对比前后时相两幅遥感图像，利用标注工具以多边形的形式标注图像中建筑物变化(新增、拆除)部分。

(2)Label图像处理：创建一张与原遥感图像大小相同的两通道Label图像，基于标注信息将建筑物变化区域对Label图像进行one-hot处理。

(3)样本图像分割：首先将预处理后的两幅四通道遥感图像进行图像叠加得到8通道待切割样本，利用滑动窗口以及随机窗口切割方法对待切割样本以及对应的Label图像进行切割。

(4)数据增强：通过图像旋转、尺度变换、添加随机噪声、颜色变换等方式对进行训练样本增强。

通过以上操作，可以得到相对丰富的训练样本，在一定程度上解决了深度学习模型的训练过程中通常会遇到的过拟合问题，增强了模型的鲁棒性。

步骤3，模型结构设计及训练

本方法对原始的Unet网络结构进行改进，在网络收缩路径的卷积阶段添加BN层(Batch-Normalization)，在网络扩张路径上采样阶段添加Dropout层，将FlowNet的细化模块迁移到Unet的上采样阶段，FlowNet是一种光流场检测模型，它以前后帧图像以及目标光流场图作为输入，分为收缩以及放大两个部分。网络的收缩部分借助卷积的方式进行特征图提取即运动目标的相关性计算，网络的放大部分借助反卷积以及线性插值的方式进行运动目标光流场图的检测与放大。FlowNet网络由FlowNet Correlation(FN-C)和Refinement两部分组成，其中FN-C作为网络的收缩部分，Refinement作为网络的放大以及精调部分。Refinement模块的作用是在特征图上完成光流场的检测并将特征图逐步放大、精细至输入图像尺寸。图3展示了Refinement模块的结构细节，由反卷积层、卷积层、拼接层组成。反卷积层用来放大输入图像的尺寸，该层的通道数同收缩架构的偶数卷积层一致。卷积层用来进行光流场检测，通道数为2，分别对应成光流场的2个分量即方向和速度。拼接层用来将多个来源的特征图进行拼接，包含收缩部分对应层、反卷积层和卷积层得到的特征图，这种操作即保留了检测信息又结合了特征图信息，底层特征和高层特征相互融合，有利于提升变换检测的精度。本实施例受到Renfinement精细化模块设计思路的启发，基于该结构对U-Net网络的放大部分进行改进，完成语义分割结果的边缘细化工作。

然后基于多层级预测的结果计算损失函数，从而提升建筑物变化信息的提取精度。本方法使用网络扩张阶段的多个层级的预测结果设计Loss函数，来提升模型整体的预测效果，基于目前最常用的交叉熵(Cross Entropy)函数，Loss函数的具体设计如下：

其中，n表示网络深度，w_k表示基于第k层网络输出图设计的损失函数所占的权重，pred_k表示网络第k层的输出图，Loss(y,pred_k)表示基于建筑物变化标注图y和第k层网络输出图实现的交叉熵损失函数。

当网络的输入输出图的尺寸为m×m时，网络每层输出的特征图尺寸随层数变化，第k层的网络输出图尺寸为因此不能直接将第k层的输出图与变化标注图用于损失函数计算，本文使用双线性插值法将第k层的输出图重新拉伸至m×n大小。

具体地，本发明构建的筑物变化检测网络F-Unet具体结构如图2所示，其以由前后时相的遥感图像叠加的八通道遥感图像以及变化Label图像作为输入，和U-Net模型类似，网络结构分为收缩和放大两部分。网络的收缩路径采用卷积和池化的形式完成特征图的获取，网络的扩张部分采用反卷积以及拼接的方式在特征图上完成变化检测并逐步精细、放大至输入图像尺寸。

利用构建好的训练样本对筑物变化检测网络进行训练，当模型收敛时，获得筑物变化检测模型。

步骤4，变化分析

(1)对待检测的前后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理。

(2)再将预处理后的4通道前后时相遥感图像叠加成8通道的遥感图像。

(3)对8通道的遥感图像进行切割，相邻的图像块之间，后一图像块中至少保留前一图像块的1/3区域，即相邻的图像块之间至少存在1/3重复区域。

例如，对于一个尺寸为90×90的8通道的遥感图像，假设图像块的尺寸为30×30，假设第一图像块4个顶角的坐标为{(0,0),(30,0),(0,30),(30,30)}，与第一图图像块相邻的第二图像块和第三图像块的4个顶角的坐标分别为{(20,0),(50,0),(20,30),(50,30)}，{(0,20),(30,20),(0,50),(30,50)}。这样相邻的图像块保留了预测结果中间区域位置的像素，来消除单个图像块边缘预测效果较差的现象，最后根据窗口位置对预测结果进行拼接。

(4)将步骤(3)获得的图像块作为待测样本输入到建筑物变化检测模型中，经计算输出检测结果图。

(5)后处理：通过形态学滤波等操作，对检测结果图像进行形态学滤波处理，消除大块建筑物变化区域的黑点，同时使建筑物边缘更加饱满，得到更符合实际业务的分割图像。

通过以上操作，可以得到效果相当不错的变化检测结果，更符合建筑物变化检测在实际中的应用，该方法规避了传统方法的人工调参过程，具有泛化能力强、自动化程度高等特点。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种遥感图像建筑物变化检测方法，包括以下步骤：

(1)对前后时相遥感图像依次进行正射校正、图像配准、图像拉伸以及图像数值归一化预处理，从而得到数据分布较为一致的遥感图像；

(2)比对经预处理后的前后时相遥感图像，标注遥感图像中建筑物更新部分，得到对应的变化Label图；

(3)叠加预处理后的前后时相遥感图像，采用同一尺寸对叠加后的遥感图像和变化Label图进行切割，得到训练样本；

(4)构建建筑物变化检测网络，该建筑物变化检测网络以Unet网络为基础，在网络收缩路径的每个卷积后添加BN层，在网络扩张路径上采样阶段添加Dropout层，将FlowNet的Refinement模块迁移到Unet的上采样阶段，并基于多层级预测的结果计算损失函数；

(5)利用训练样本训练建筑物变化检测网络，获得建筑物变化检测模型；

(6)将待检测的前后时相遥感图像依次经正射校正、图像配准、图像拉伸以及图像数值归一化预处理后，再经叠加、切割获得待测样本；

(7)将待测样本输入至建筑物变化检测模型中，经计算输出检测结果图。

2.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，所述正射校正包括：

采用有理函数模型对遥感图像中的明显的几何畸变进行纠正，其中，有理函数模型为如下多项式的比值：

式中：

式(1)为由地面点坐标计算对应像点坐标的关系式，称之为正解有理函数模型；式(2)为由像点坐标计算对应点地面坐标的公式，称之为反解有理函数模型；(P,L,H)为正则化的地面坐标；(X，Y)为正则化的影像坐标；a_ijk(i，j，k＝0,1,2,3)为有理多项式系数，b_ijk为反解RPC有理多项式系数；

则利用已知的遥感影像的RPC参数和地面点的三维坐标，利用式(1)可以建立地面点坐标与其对应像点坐标之间的函数关系式，从而对遥感图像进行正射校正。

3.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，所述图像配准包括：

(a)以前后时相遥感图像中的任意一个遥感图像作为参考，建立参考坐标系；

(b)采用Forstner角点算子获取特征点，利用一次多项式全局变换模型对特征点进行筛选，并使用互相关匹配操作进行特征点匹配，利用获得匹配特征点即匹配关系进行投影变换模型参数的估计；

(c)根据步骤(b)获得的投影变换模型参建立投影变换模型；

(d)利用步骤(c)建立的投影变换模型对前后时相遥感图像进行几何变换和插值处理，获得配准图像。

4.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，所述图像拉伸包括：

将前后时相遥感图像按照波段进行展开，统计每个波段下，遥感图像每个像素点的亮度值，删除离散的亮度值，以实现对遥感图像的拉伸。

5.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，所述图像数值归一化包括：

将前后时相遥感图像按照波段进行展开，对每个波段下，遥感图像的亮度值做归一化处理。

6.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，在对前后时相遥感图像和变化Label图进行切割获得训练样本后，还包括：

通过图像旋转、尺度变换、添加随机噪声、颜色变换中的至少一种方式对训练样本进行数据量增广。

7.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，建筑物变化检测网络的损失函数Loss为：

其中，n表示网络深度，w_k表示基于第k层网络输出图设计的损失函数所占的权重，pred_k表示网络第k层的输出图，Loss(y,pred_k)表示基于对变化Label图切割获得的标签图y和第k层网络输出图实现的交叉熵损失函数；

在计算Loss(y,pred_k)时，采用双线性插值法将第k层的输出图重新拉伸至与标签图y相同的尺寸。

8.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，对叠加后的待检测的前后时相遥感图像进行切割时，相邻的图像块之间，后一图像块中至少保留前一图像块的1/3区域，即相邻的图像块之间至少存在1/3重复区域。

9.如权利要求1所述的遥感图像建筑物变化检测方法，其特征在于，在获得检测结果图后，还包括：

采用形态学图像方法对检测结果图进行形态学滤波处理。