CN112949407A - 一种基于深度学习和点集优化的遥感影像建筑物矢量化方法 - Google Patents

Abstract

本发明一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，用于遥感影像建筑物矢量化。本发明提出了一种新颖的建筑物矢量化提取框架，该框架包括：(1)语义分割网络，(2)矢量点集预处理模块以及(3)矢量点集优化模块。首先，将影像输入语义分割网络中获取建筑物掩膜，基于此得到的建筑物掩膜边缘是不规则的，通常存在许多冗余的矢量点；其次，基于边缘跟踪算法和等间距点采样算法将建筑物掩膜转换成矢量点集。第三，在得到预测的矢量点集后，将预测值输入矢量点集优化模块，同时进行点分类和点坐标回归，并对两个分支进行联合优化。最后，输出高精度的建筑物矢量化结果，对遥感影像建筑物进行矢量化解译。

Description

一种基于深度学习和点集优化的遥感影像建筑物矢量化方法

技术领域

本发明属于高分辨率遥感影像识别领域，特别涉及遥感深度学习目标矢量化方法。

背景技术

随着IKONOS、Worldview、国产的资源三号和高分一/二号等高分辨率遥感卫星影像的大量获取，基于高分辨率遥感影像进行精细地物感知和认知越来越普及。海量遥感数据中，地物类别相当丰富。遥感数据体系中，道路作为系统的骨架，建筑物是血肉，在地物要素中所占比重非常大。高分辨率遥感数据支持精细的建筑物语义信息表达，为基础测绘工作、地理国情监测、城市规划等相关部门精细化制图提供了数据基础。近年来深度学习技术的不断发展，给遥感影像建筑物提取提供夯实的算法基础。传统的深度学习建筑物提取方法是将遥感影像输入深度学习模型，通过特征编码和特征解码得到建筑物掩膜。该掩膜可以叠加到原始影像上进行建筑物制图，但仅仅实现建筑物制图是不够的。实际生产部门除了制图外，更关心的是地理要素更新，即：建筑物矢量更新。这一需求的核心技术就依赖于建筑物矢量化。矢量化是将建筑物栅格掩膜转换成矢量格式的点和边表示，这一表征方式相比于栅格表示，更加轻量而且方便编辑，是生产单位地理要素更新的常用数据格式。

建筑物矢量化提取的本质是一类矢量点集优化问题，现在已经有一些相关研究。Lin通过传统基于几何的算法进行建筑物边缘检测，通过对原始影像进行梯度计算，得到梯度变化大的区域，从而构造边缘；并通过感知编组将同一个建筑物的不同边缘组合起来，构成一个多边形。Ahmadi将建筑物轮廓构造成一个封闭的多边形区域，矢量点首尾相连构成一个闭环，通过主动轮廓线算法进行整体多边形点集优化，实现基于全局信息的建筑物矢量提取。随着深度卷积神经网络技术的发展，Wang提出基于实例分割和道格拉斯-普克后处理算法的建筑物矢量化框架。首先，通过深度学习实例分割算法得到每个建筑物实例的掩膜。实例分割算法首先在影像上对建筑物目标进行检测，然后在检测框内进行语义分割，从而区分不同的建筑物；再基于这些不同建筑物的掩膜，分别通过道格拉斯-普克算法进行建筑物边缘点集规则化运算，从而得到边缘更加规则的矢量结果。Lu通过对水平方向和垂直方向进行基于深度学习的边缘提取，从而构造成建筑物的完整多边形轮廓。再对该轮廓进行点采样和后处理算法，得到精确建筑物矢量结果。

尽管上述方法已大大提升了建筑物矢量化的性能，但由于传统方法特征提取能力有限、深度卷积神经网络仅仅适用于栅格结果输出，导致建筑物矢量化仍然是待解决问题。为了解决建筑物矢量化问题，提出新颖的建筑物矢量化框架来实现建筑物矢量化提取。

发明内容

为了克服背景技术中存在的问题，本发明的目的在于提出一种基于深度学习和点集优化的遥感影像建筑物矢量化方法。本发明提出了一种新颖的建筑物矢量化提取框架，该框架包括：(1)语义分割网络，(2)矢量点集预处理模块以及(3)矢量点集优化模块。首先，将影像输入语义分割网络中获取建筑物掩膜，基于此得到的建筑物掩膜边缘是不规则的，通常存在许多冗余的矢量点；其次，基于边缘跟踪算法和等间距点采样算法将建筑物掩膜转换成矢量点集。第三，在得到预测的矢量点集后，将预测值输入矢量点集优化模块，同时进行点分类和点坐标回归，并对两个分支进行联合优化。最后，输出高精度的建筑物矢量化结果，对遥感影像建筑物进行矢量化解译。

本发明提供一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，实现步骤如下：

步骤1，获取高分辨率遥感影像建筑物矢量数据集，将其拆分为两部分，即：训练集和测试集，并对训练集进行归一化与数据增强；

步骤2，构建基于点集优化的深度学习模型，包括以下子步骤：

步骤2.1，构建语义分割模型，得到建筑物掩膜，再基于边缘跟踪算法和等间距点采样算法得到相同间距的建筑物矢量点集；

步骤2.2，构建矢量点集优化网络，实现建筑物矢量点集的更新，所述矢量点集优化网络包括矢量点集分类子网络和回归子网络；

步骤3，基于训练收敛后的深度学习模型，对建筑物样本进行预测，得到矢量输出。

进一步的，步骤1的具体实现包括如下子步骤，

步骤1.1，利用无人机或者高分卫星进行拍摄获取大量高空间分辨率影像；

步骤1.2，采集遥感影像中居民区的建筑物作为样本，将样本腌膜与对应区域影像制作成深度学习建筑物矢量数据集；

步骤1.3，将深度学习建筑物矢量数据集划均等分成两个部分，用于拟合模型参数的训练集A与用于模型精度评定的测试集B；

步骤1.4，将训练集A进行归一化，并利用水平翻转、垂直翻转、随机旋转进行数据增强。

进一步的，步骤2.1的具体实现包括如下子步骤；

步骤2.1.1，构建基于分层多尺度特征融合网络的语义分割模型，对建筑物进行语义级分割得到建筑物掩膜；

所述分层多尺度特征融合网络包含大、中、小三个尺度的网络分支：1)大尺度网络分支由9个卷积层连接，没有池化层，从而保证特征尺度不会缩小，特征分辨率始终保持较高水平；2)中尺度网络分支的特征来自于大尺度网络分支的第二个卷积层，首先对这第二个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入6个卷积层进行卷积运算，最后，通过2倍上采样得到和大尺度网络分支相同尺寸的特征；3)小尺度网络分支的特征来自于中尺度网络分支的第三个卷积层，首先对第三个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入3个卷积层进行卷积运算，最后，通过4倍上采样得到和大尺度网络分支相同尺寸的特征，最后，将来自大、中、小网络分支的三组等大的特征进行叠加，得到最终特征输出；

再将分层多尺度特征融合网络的输出特征输入到语义分割分支，得到建筑物掩膜；

步骤2.1.2，基于边缘跟踪算法和等间距点采样算法得到相同间距的建筑物矢量点集；首先，基于边缘跟踪算法对建筑物掩膜进行运算，得到密集的建筑物边缘点集；然后，基于等间距点采样算法按照固定间距对建筑物边缘点集进行采样，得到相同间距的建筑物矢量点集。

进一步的，步骤2.2的具体实现包括如下子步骤，

步骤2.2.1，建筑物矢量点集真实标签预处理：基于建筑物掩膜真实标签，通过边缘检测算子检测到建筑物边缘，从边缘上任意选取的一个点开始，按照一定方向遍历边缘上所有点，直到返回起始点，记录边缘上的点集；再将点集输入道格拉斯-普克算法，以点集上任意相邻三个点为一体，如果中间点与其余两点连线的距离小于一定阈值，则剔除中间点；否则，保留中间点，继续执行接下来三个点，直到遍历所有点；

建筑物矢量点集预处理：获取的建筑物矢量点集是以影像坐标为基准，为了能够实现坐标回归，通过将坐标数值除以影像长宽，将坐标数值归一化为区间0-1；

步骤2.2.2，构建矢量点集优化网络，所述矢量点集优化分支包括分类子网络和回归子网络；

基于建筑物矢量点集的特征选择：其作用是选择每个点所对应的特征并输入给矢量点集优化网络，将分层多尺度特征融合网络的输出特征作为输入，利用建筑物矢量点集的坐标，在特征上选择对应坐标位置的特征值，输出建筑物矢量特征；

其中分类子网络由一个全连接层构成，将建筑物矢量特征的固定维度映射到新的类别空间，空间维度为2，然后将类别特征输入到Softmax激活层，得到最终的分类结果；回归子网络首先将建筑物矢量特征输入全连接层得到低维度特征，再将低维度特征输入坐标回归层，该层为一个多层感知机，用于坐标点回归；

建筑物预测点生成：结合建筑物矢量点集的点坐标，通过矢量点集优化网络得到的分类预测结果和坐标预测偏移值，通过分类预测结果判断是否是建筑物上的矢量点，并通过坐标预测偏移值进行坐标偏移，得到建筑物预测点；

步骤2.2.3，基于匈牙利算法进行真实点和建筑物预测点匹配，同时对分类子网络和回归子网络进行联合优化，实现建筑物矢量点集的更新。

进一步的，步骤2.2.3的具体实现方式如下；

匈牙利算法的本质是寻找最大匹配，匹配项包括类别置信度和距离，其中类别置信度来自于点集分类子网络，距离是计算真实点和建筑物预测点的欧氏距离，置信度越高，距离越小，匹配越好，最终的匹配度是基于置信度和距离的加权求和，公式如下：

匹配度＝α×类别置信度+β×距离

其中，α和β分别表示权重参数，取值均为0-1，以协调类别置信度和距离的权重关系；

将建筑物预测点和真实点匹配完成后，进行损失函数计算，针对点集分类子网络，采用交叉熵损失函数衡量差距；针对点集回归子网络，采用SmoothL1损失函数衡量差距，通过模型拟合和参数优化，实现建筑物矢量点集更新。

与现有技术相比，本发明的优点和有益效果为：本方法可以得到更加规则的建筑物边缘，且能得到代表建筑物矢量多边形点集，可应用于实际部门应用。

附图说明

图1是本发明实施例1中分层多尺度特征融合网络的结构图。

图2是本发明实施例1中设计的矢量点集优化网络结构图。

图3是本发明实施例1中设计的匈牙利算法示意图。

图4是本发明实施例1中最终得到的建筑物矢量结果图。

具体实施方式

下面通过实施例，进一步阐明本发明的突出特点和显著进步，仅在于说明本发明而决不限制本发明。

实施例1

步骤1，获取高分辨率遥感影像建筑物矢量数据集，将其拆分为两部分，即：训练集和测试集，对输入数据进行归一化与数据增强；步骤1的具体实现包括如下子步骤，

步骤1.1，利用无人机或者高分卫星进行拍摄获取大量高空间分辨率影像；

步骤1.2，采集遥感影像中居民区的建筑物作为样本，将样本腌膜与对应区域影像制作成深度学习建筑物矢量数据集；

步骤1.3，将深度学习建筑物矢量数据集划均等分成两个部分，用于拟合模型参数的训练集A与用于模型精度评定的测试集B；

步骤1.4，将训练集A进行归一化，并利用水平翻转、垂直翻转、随机旋转进行数据增强。

使用自己标注的高空间分辨率遥感影像建筑物矢量数据集，训练集和测试集分别为9800张和6230张，其大小为1024×1024像素，该数据集覆盖美国波士顿区域。利用Python编写数据增强算法，实现影像0.5概率的水平翻转、上下翻转以及旋转等操等，并完成输入影像的归一化操作。

步骤2，构建基于点集优化的深度学习模型，包括以下子步骤：

步骤2.1，构建语义分割模型，得到建筑物掩膜，再基于边缘跟踪算法和等间距点采样算法得到相同间距的建筑物矢量点集；

步骤2.1的具体实现包括如下子步骤，

步骤2.1.1，构建基于分层多尺度特征融合网络的语义分割模型，输入训练集A，得到建筑物掩膜。本方案采用分层多尺度特征融合网络结合语义分割分支的方法，对建筑物进行语义级分割得到建筑物掩膜，该网络能最大程度保留影像高分辨率信息，有助于提取到高精度建筑物掩膜。

如图1所示，所述分层多尺度特征融合网络包含大、中、小三个尺度的网络分支：1)大尺度网络分支由9个卷积层连接，没有池化层，从而保证特征尺度不会缩小，特征分辨率始终保持较高水平；2)中尺度网络分支的特征来自于大尺度网络分支的第二个卷积层，首先对这第二个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入6个卷积层进行卷积运算，最后，通过2倍上采样得到和大尺度网络分支相同尺寸的特征；3)小尺度网络分支的特征来自于中尺度网络分支的第三个卷积层，首先对第三个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入3个卷积层进行卷积运算，最后，通过4倍上采样得到和大尺度网络分支相同尺寸的特征，最后，将来自大、中、小网络分支的三组等大的特征进行叠加，得到最终特征输出。

再将分层多尺度特征融合网络的输出特征输入到语义分割分支，得到建筑物掩膜；步骤2.1.2，基于边缘跟踪算法和等间距点采样算法得到相同间距的建筑物矢量点集。首先，基于边缘跟踪算法对建筑物掩膜进行运算，得到密集的建筑物边缘点集。但由于点集密度过高，使得无法直接应用于点集优化。然后，基于等间距点采样算法按照固定间距对矢量点集(建筑物边缘点集)进行采样。

步骤2.2，构建矢量点集优化网络，实现建筑物矢量点集的更新，所述矢量点集优化网络包括矢量点集分类子网络和回归子网络；

步骤2.2的具体实现包括如下子步骤，

步骤2.2.1，建筑物矢量点集预处理。矢量点集真实标签预处理：基于建筑物掩膜真实标签，通过边缘检测算子检测到建筑物边缘，从边缘上任意选取的一个点开始，按照一定方向遍历边缘上所有点，直到返回起始点，记录边缘上的点集(边缘跟踪算法)。再将点集输入道格拉斯-普克算法，以点集上任意相邻三个点为一体，如果中间点与其余两点连线的距离小于一定阈值(说明中间点存在与否对整体形状影响不大)，则剔除中间点；否则，保留中间点，继续执行接下来三个点，直到遍历所有点。

建筑物矢量点集预处理：获取的建筑物矢量点集是以影像坐标为基准(左上角坐标为0，0)。为了能够实现坐标回归，通过将坐标数值除以影像长宽，将坐标数值归一化为区间0-1。

步骤2.2.2，构建矢量点集优化网络。在本方案中，矢量点集优化分支包括矢量点集分类子网络和回归子网络，如图2所示。

基于建筑物矢量点集的特征选择：其作用是选择每个点所对应的特征并输入给矢量点集优化网络，将上述分层多尺度特征融合网络的输出特征作为输入，利用建筑物矢量点集的坐标，在特征上选择对应坐标位置的特征值，输出建筑物矢量特征。

点集分类子网络：其作用为判断每个点是前景点还是背景点，前景点是最终留下来的矢量点，背景点是需要删去的冗余点。该子网络由一个全连接层构成，将建筑物矢量特征的固定维度映射到新的类别空间，空间维度为2。然后将类别特征输入到Softmax激活层，得到最终的分类结果。点集回归子网络：其作用为修正点集的坐标，使得点回归到建筑物角点位置，提升矢量点集的位置精度。该子网络首先将建筑物矢量特征输入全连接层得到低维度特征。再将该特征输入坐标回归层，该层为一个多层感知机，用于坐标点回归。

建筑物预测点生成：结合建筑物矢量点集的点坐标，通过矢量点集优化网络得到的分类预测结果和坐标预测偏移值进行点分类(判断是否是建筑物上的矢量点)和点位移(通过坐标预测偏移值进行坐标偏移)，得到建筑物预测点。

步骤2.2.3，基于匈牙利算法进行真实点和建筑物预测点匹配，同时对分类子网络和回归子网络进行联合优化，实现建筑物矢量点集的更新。单幅遥感影像中可能存在多个建筑物目标，引入了点匹配问题：影像中第N个建筑物的第M个预测点应该与真实标签中的哪个点进行匹配，从而计算损失值进行模型优化。为了解决该问题，本方案采用匈牙利算法进行点匹配，如图3所示。

匈牙利算法的本质是寻找最大匹配，在本方案中，匹配项包括类别置信度(来自于点集分类子网络)和距离(计算真实点和建筑物预测点的欧氏距离)。置信度越高，距离越小，匹配越好，最终的匹配度是基于置信度和距离的加权求和。公式如下：

匹配度＝α×类别置信度+β×距离

其中，α和β分别表示权重参数，可选择0-1的任意数值，以协调类别置信度和距离的权重关系。

基于匹配度从高到低选择一定数量(可调节，和模型大小及影像中建筑物数量有关)的对应点进行一一关联，即完成匹配。将预测点和真实点匹配完成后，进行损失函数计算。针对点集分类子网络，采用交叉熵损失函数衡量差距；针对点集回归子网络，采用SmoothL1损失函数衡量差距；通过模型拟合和参数优化，实现建筑物矢量点集的更新。

步骤3，基于训练收敛后的深度学习模型，对建筑物样本进行预测，得到矢量输出。步骤3的具体实现如下；

基于训练收敛后的深度学习模型，对建筑物样本进行预测，得到矢量输出，如图4所示。

本方法相比于传统语义分割方法的不同点在于，本方法将建筑物掩膜处理成建筑物矢量点集，并提出矢量点集优化网络实现建筑物矢量点集优化，通过对比分析可以看出，本方法可以得到更加规则的建筑物边缘。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，其特征在于，包括以下步骤：

步骤1，获取高分辨率遥感影像建筑物矢量数据集，将其拆分为两部分，即：训练集和测试集，并对训练集进行归一化与数据增强；

步骤2，构建基于点集优化的深度学习模型，包括以下子步骤：

步骤2.1，构建语义分割模型，得到建筑物掩膜，再基于边缘跟踪算法和等间距点采样算法得到相同间距的建筑物矢量点集；

步骤2.2，构建矢量点集优化网络，实现建筑物矢量点集的更新，所述矢量点集优化网络包括矢量点集分类子网络和回归子网络；

步骤3，基于训练收敛后的深度学习模型，对建筑物样本进行预测，得到矢量输出。

2.根据权利要求1所述的一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，其特征在于：步骤1的具体实现包括如下子步骤，

步骤1.1，利用无人机或者高分卫星进行拍摄获取大量高空间分辨率影像；

步骤1.2，采集遥感影像中居民区的建筑物作为样本，将样本腌膜与对应区域影像制作成深度学习建筑物矢量数据集；

步骤1.3，将深度学习建筑物矢量数据集划均等分成两个部分，用于拟合模型参数的训练集A与用于模型精度评定的测试集B；

步骤1.4，将训练集A进行归一化，并利用水平翻转、垂直翻转、随机旋转进行数据增强。

3.根据权利要求1所述的一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，其特征在于：步骤2.1的具体实现包括如下子步骤；

步骤2.1.1，构建基于分层多尺度特征融合网络的语义分割模型，对建筑物进行语义级分割得到建筑物掩膜；

所述分层多尺度特征融合网络包含大、中、小三个尺度的网络分支：1)大尺度网络分支由9个卷积层连接，没有池化层，从而保证特征尺度不会缩小，特征分辨率始终保持较高水平；2)中尺度网络分支的特征来自于大尺度网络分支的第二个卷积层，首先对这第二个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入6个卷积层进行卷积运算，最后，通过2倍上采样得到和大尺度网络分支相同尺寸的特征；3)小尺度网络分支的特征来自于中尺度网络分支的第三个卷积层，首先对第三个卷积层得到的特征进行池化，得到缩小一倍的特征，然后输入3个卷积层进行卷积运算，最后，通过4倍上采样得到和大尺度网络分支相同尺寸的特征，最后，将来自大、中、小网络分支的三组等大的特征进行叠加，得到最终特征输出；

再将分层多尺度特征融合网络的输出特征输入到语义分割分支，得到建筑物掩膜；

步骤2.1.2，基于边缘跟踪算法和等间距点采样算法得到相同间距的建筑物矢量点集；首先，基于边缘跟踪算法对建筑物掩膜进行运算，得到密集的建筑物边缘点集；然后，基于等间距点采样算法按照固定间距对建筑物边缘点集进行采样，得到相同间距的建筑物矢量点集。

4.根据权利要求3所述的一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，其特征在于：步骤2.2的具体实现包括如下子步骤，

步骤2.2.1，建筑物矢量点集真实标签预处理：基于建筑物掩膜真实标签，通过边缘检测算子检测到建筑物边缘，从边缘上任意选取的一个点开始，按照一定方向遍历边缘上所有点，直到返回起始点，记录边缘上的点集；再将点集输入道格拉斯-普克算法，以点集上任意相邻三个点为一体，如果中间点与其余两点连线的距离小于一定阈值，则剔除中间点；否则，保留中间点，继续执行接下来三个点，直到遍历所有点；

建筑物矢量点集预处理：获取的建筑物矢量点集是以影像坐标为基准，为了能够实现坐标回归，通过将坐标数值除以影像长宽，将坐标数值归一化为区间0-1；

步骤2.2.2，构建矢量点集优化网络，所述矢量点集优化分支包括分类子网络和回归子网络；

基于建筑物矢量点集的特征选择：其作用是选择每个点所对应的特征并输入给矢量点集优化网络，将分层多尺度特征融合网络的输出特征作为输入，利用建筑物矢量点集的坐标，在特征上选择对应坐标位置的特征值，输出建筑物矢量特征；

其中分类子网络由一个全连接层构成，将建筑物矢量特征的固定维度映射到新的类别空间，空间维度为2，然后将类别特征输入到Softmax激活层，得到最终的分类结果；回归子网络首先将建筑物矢量特征输入全连接层得到低维度特征，再将低维度特征输入坐标回归层，该层为一个多层感知机，用于坐标点回归；

建筑物预测点生成：结合建筑物矢量点集的点坐标，通过矢量点集优化网络得到的分类预测结果和坐标预测偏移值，通过分类预测结果判断是否是建筑物上的矢量点，并通过坐标预测偏移值进行坐标偏移，得到建筑物预测点；

步骤2.2.3，基于匈牙利算法进行真实点和建筑物预测点匹配，同时对分类子网络和回归子网络进行联合优化，实现建筑物矢量点集的更新。

5.根据权利要求4所述的一种基于深度学习和点集优化的遥感影像建筑物矢量化方法，其特征在于：步骤2.2.3的具体实现方式如下；

匈牙利算法的本质是寻找最大匹配，匹配项包括类别置信度和距离，其中类别置信度来自于点集分类子网络，距离是计算真实点和建筑物预测点的欧氏距离，置信度越高，距离越小，匹配越好，最终的匹配度是基于置信度和距离的加权求和，公式如下：

匹配度＝α×类别置信度+β×距离

其中，α和β分别表示权重参数，取值均为0-1，以协调类别置信度和距离的权重关系；

将建筑物预测点和真实点匹配完成后，进行损失函数计算，针对点集分类子网络，采用交叉熵损失函数衡量差距；针对点集回归子网络，采用SmoothL1损失函数衡量差距，通过模型拟合和参数优化，实现建筑物矢量点集更新。

Images