CN110675408A - 基于深度学习的高分辨率影像建筑物提取方法及系统 - Google Patents

Abstract

本发明公开了基于深度学习的高分辨率影像建筑物提取方法及系统，包括采集高分辨率影像建筑物图像数据；预处理数据得到训练集、验证集和测试集，分别用于训练、验证和测试特征金字塔U型网络；每层特征金字塔网络的输出接入包围框子网络，用于确定建筑物个数和位置；利用分割子网络对特征图层输出进行语义分割，用于提取建筑物边界和轮廓信息；利用包围框子网络和分割子网络的输出获得建筑物提取结果；本方法及系统采用一次提取策略明显提升神经网络的预测速度；采用特征金字塔骨干网络结构，大幅提高建筑物提取的准确率；采用U型网络作为上采样网络，明显提高对不同大小不同形状建筑物的适应性；实现实例级分割，有助于面积统计和建筑物计数。

Description

基于深度学习的高分辨率影像建筑物提取方法及系统

技术领域

本发明涉及图像处理与识别领域，具体地，涉及基于深度学习的高分辨率影像建筑物提取方法及系统。

背景技术

建筑物提取或识别一直是遥感应用的一个重要方向。目前主流方法主要包括两种，一种是基于特征算子的传统图像处理方法结合决策树、随机森林等分类器对感兴趣的特征相似区域进行划分，从而实现从遥感影像中提取地物。另一种是利用深度神经网络强大的编码和特征抽取能力，逐层对图像特征进行处理，在输出层接上对应的目标函数通过梯度下降来自动优化和更新神经网络的每个参数，这样既避免对人工设计特征算子的依赖，又能识别出细微特征之间的差异，比传统方法的准确率有较大提高。基于深度学习的方法通常需要大量标注样本进行训练，并且要求计算能力很高。

发明内容

本发明的目的旨在解决传统遥感处理方法在不同地域建筑物数据集之间泛化能力差和深度学习方法训练速度较慢、实例之间粘连的问题。

为实现上述发明目的，本发明一方面提供了基于深度学习的高分辨率影像建筑物提取方法，所述方法包括：

步骤1：构建特征金字塔网络，使用深度残差网络作为特征金字塔网络的特征抽取器；融合深度残差网络低层级特征图与对应的上采样后的高层级特征图作为高层级特征金字塔网络的输出；

步骤2：将每一层特征金字塔网络的输出接入包围框子网络；在每层特征金字塔网络输出后添加一个U型网络融合上采样和不同层级特征，融合后的不同层级特征通过特征金字塔网络的特征图层输出，利用分割子网络对特征图层的输出进行语义分割；

步骤3：优化分割子网络输出的包围框分类和位置：

步骤4：利用分割子网络对特征图层输出的原始尺寸特征图进行语义分割，得到图中每个像素的类别；

步骤5：利用步骤3得到的包围框分类和位置结果，以及步骤4得到的像素类别结果，得到包围框类别和包围框内部的分割结果，进而获得遥感影像建筑物的提取结果。

基于卫星遥感影像建筑物提取对于3D建模、城市规划、违章违建监管有重大意义。由于不同城市的建筑风格差异和不同建筑物本身颜色、大小、纹理之间的差异，以及中低分遥感影像清晰度不足等问题，建筑物提取一直是遥感影像处理的一个难点。

本发明利用亚米级的高分遥感影像结合深度学习对于微小纹理特征的辨别能力，实现了准确、快速提取建筑物。本发明采用一次提取策略明显提升神经网络的预测速度；采用特征金字塔(Feature Pyramid Network)作为骨干网络，大幅提高建筑物提取的准确率；采用U型网络(U-Net)作为上采样网路，明显提高对不同大小不同形状的适应性。此外，普通深度学习方法提取建筑物是通过单独的语义分割实现，尽管在地理上相距较远的建筑能被区分成两个实例，但距离较近的建筑通常会粘连在一起，这样对于后续建筑数量计数等任务有明显影响。本发明利用目标识别的视网膜网络(RetinaNet)和U型网络(U-Net)实现建筑物实例级分割，有助于面积统计和建筑物计数等。

优选的，所述方法还包括步骤：采集高分辨率影响建筑物图像数据；构造建筑物数据集；预处理建筑物数据得到训练集、验证集和测试集，并存储；利用训练集、验证集和测试集进行训练、验证和测试，利用本步骤可以对本方法进行可靠性验证和测试。

优选的，包围框子网络用于确定建筑物个数和位置。

优选的，分割子网络用于提取建筑物边界和轮廓信息。

优选的，步骤3具体为：使用聚焦损失和平滑L1损失函数分别优化包围框分类和位置定位。

优选的，使用聚焦损失和平滑L1损失函数分别优化包围框分类和位置定位，包括：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t) (1)

其中，p_t是第t个样本经过网络输出层后的输出概率，γ,α是超参数，分别用于控制易分类包围框和难分类包围框的权重。

where z_i is given by:

其中，x是预测包围框的坐标位置，y是目标包围框的坐标位置，i表示第i个样本，Z表示平滑后的预测坐标和目标坐标之间的距离。

优选的，使用聚焦损失和SoftDice损失函数对特征图层输出的原始尺寸特征图进行语义分割。

优选的，使用聚焦损失和SoftDice损失函数对特征图层输出的原始尺寸特征图进行语义分割，具体为：

其中，A与B分别表示该类别预测为正例的特征区域和该类标签的区域，ε为一个平滑参数。

优选的，本方法使用的遥感图像为RGB三通道遥感影像。

另一方面，本发明还提供了一种基于深度学习的高分辨率影像建筑物提取系统，所述系统包括：

特征金字塔网络构建单元，用于构建特征金字塔网络，使用深度残差网络作为特征金字塔网络的特征抽取器；融合深度残差网络低层级特征图与对应的上采样后的高层级特征图作为高层级特征金字塔网络的输出；

接入与融合单元，用于将每层特征金字塔网络的输出接入包围框子网络；在每层特征金字塔网络输出后添加一个U型网络融合上采样和不同层级特征，融合后的不同层级特征通过特征金字塔网络的特征图层输出，利用分割子网络对特征图层的输出进行语义分割；

优化单元，用于优化分割子网络输出的包围框分类和位置：

语义分割单元，用于利用分割子网络对特征图层输出的原始尺寸特征图进行语义分割，得到图中每个像素的类别；

提取单元，用于利用优化单元得到的包围框分类和位置结果，以及语义分割单元得到的像素类别结果，得到包围框类别和包围框内部的分割结果，进而获得遥感影像建筑物的提取结果。

本申请提供的一个或多个技术方案，至少具有如下技术效果或优点：

遥感影像建筑物颜色、尺寸、纹理等差异很大，相比于传统方法，该方法对大空间尺度(全市及以上)建筑物提取效果有了明显提升。相比于同样是深度学习方法的Mask-RCNN等网络，该发明的网络模型不仅提取准确率更高，且训练速度有明显优势。同时因为引入实例分割，对于极紧密的建筑物，建筑物与建筑物之间边缘粘连的情况明显减少，同时不用任何后处理便可通过目标包围框个数来统计目标的个数以及面积。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定；

图1是本发明中特征金字塔U型网络结构示意图；

图2是本发明中系统组成示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在相互不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

本发明采用图1所示神经网络自动识别切片后的遥感影像建筑物，其中包围框子网络用于确定建筑物个数和位置，分割子网络用于提取建筑物边界和轮廓信息。

本发明方法具体实施过程包含以下几个步骤：

步骤1：数据采集和存储，下载SpaceNet公开的建筑物数据集，筛选出符合中国建筑风格的区域(上海地区)共6万余张高清影像(分辨率0.3m)。对6万余张高清影像进行划分，得到训练集(约5万张)、验证集(约5000张)、测试集(约5000张)，并存储于云端服务器，步骤1采集的数据主要用于对方法进行验证和测试。

步骤2：构建特征金字塔网络：

1)使用深度残差网络(ResNet)作为特征金字塔网络的特征抽取器；

2)融合深度残差网络低层级特征图与之相对应的上采样后的高层级特征图作为该层级(高)特征金字塔的输出(如图1所示)。

步骤3：将每层特征金字塔的输出接入包围框子网络，用于计算框内区域分类结果和矩形包围框的位置(如图1所示)。该子网络用于预测目标实例的类别和包围目标的矩形框位置。在每层特征金字塔输出后加一个U型网络融合上采样和不同层级特征，最终把恢复到原始尺寸的特征图层输入分割子网络进行语义分割(如图1所示)。

步骤4：使用聚焦损失(Focal loss公式1)和平滑L1损失函数(SmoothL1 loss公式2)分别优化包围框分类和位置定位：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t) (1)

其中，p_t是第t个样本经过网络输出层后的输出概率，γ,α是超参数，分别用于控制易分类包围框和难分类包围框的权重。

where z_i is given by:

其中，x是预测包围框的坐标位置，y是目标包围框的坐标位置，i表示第i个样本，Z表示平滑后的预测坐标和目标坐标之间的距离。

类似聚焦损失，平滑L1损失函数也给予绝对值误差大的样本更高的权重，削减了小误差样本的权重，从而迫使模型去学习更难以学习的样本类型。

步骤5：使用聚焦损失和SoftDice损失函数(公式3)对本发明网络输出的原始尺寸特征图进行语义分割，得到图中每个像素的类别，通过像素类别在遥感影像中找到感兴趣的区域，如建筑。

其中A与B分别表示该类别预测为正例的特征区域和该类标签的区域；ε是一个平滑参数，用于防止分母为0的情况。该损失函数侧重从区域面积来优化正确预测类别，相较于对单像素进行交叉熵损失的优化方法，更侧重全局像素信息，能更好分割出实例目标的轮廓。

步骤6：利用步骤4得到的包围框和步骤5得到的像素类别，融合两阶段结果得到包围框类别和包围框内部的分割结果，从而实现对建筑物的实例分割。

请参考图2，本发明实施例提供了一种基于深度学习的高分辨率影像建筑物提取系统，所述系统包括：

特征金字塔网络构建单元，用于构建特征金字塔网络，使用深度残差网络作为特征金字塔网络的特征抽取器；融合深度残差网络低层级特征图与对应的上采样后的高层级特征图作为高层级特征金字塔网络的输出；

接入与融合单元，用于将每层特征金字塔网络的输出接入包围框子网络；在每层特征金字塔网络输出后添加一个U型网络融合上采样和不同层级特征，融合后的不同层级特征通过特征金字塔网络的特征图层输出，利用分割子网络对特征图层的输出进行语义分割；

优化单元，用于优化分割子网络输出的包围框分类和位置：

语义分割单元，用于通过分割子网络对特征图层输出的原始尺寸特征图进行语义分割，得到图中每个像素的类别；

提取单元，用于利用优化单元得到的包围框分类和位置结果，以及语义分割单元得到的像素类别结果，得到包围框类别和包围框内部的分割结果，进而获得遥感影像建筑物的提取结果。

本发明原始数据来源于SpaceNet建筑物检测大赛上海区域数据集，每张图包含多个光谱波段。为了适应中距离遥感，如无人机或航拍影像，本发明训练深度神经网络只使用了RGB三通道遥感影像。除了随机旋转、随机裁剪、随机色彩扰动外，训练模型时没有使用其他数据增强方式。还利用高分卫星遥感数据测试了该模型，IoU(交比并)等指标上明显优于现有流行方法。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.基于深度学习的高分辨率影像建筑物提取方法，其特征在于，所述方法包括：

步骤1：构建特征金字塔网络，使用深度残差网络作为特征金字塔网络的特征抽取器；融合深度残差网络低层级特征图与对应的上采样后的高层级特征图作为高层级特征金字塔网络的输出；

步骤2：将每一层特征金字塔网络的输出接入包围框子网络；在每一层特征金字塔网络输出后添加一个U型网络融合上采样和不同层级特征，融合后的不同层级特征通过特征金字塔网络特征图层输出，利用分割子网络对特征图层的输出进行语义分割；

步骤3：优化分割子网络输出的包围框分类和位置：

步骤4：利用分割子网络对特征图层输出的原始尺寸特征图进行语义分割，得到图中每个像素的类别；

步骤5：利用步骤3得到的包围框分类和位置结果，以及步骤4得到的像素类别结果，得到包围框类别和包围框内部的分割结果，进而获得遥感影像建筑物的提取结果。

2.根据权利要求1所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，所述方法还包括步骤：采集建筑物图像数据；构造建筑物数据集；预处理建筑物数据集得到训练集、验证集和测试集，并存储；利用训练集、验证集和测试集进行训练、验证和测试。

3.根据权利要求1所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，包围框子网络用于确定建筑物个数和位置。

4.根据权利要求1所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，分割子网络用于提取建筑物边界和轮廓信息。

5.根据权利要求1所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，步骤3具体为：使用聚焦损失和平滑L1损失函数分别优化包围框分类和位置定位。

6.根据权利要求5所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，使用聚焦损失和平滑L1损失函数分别优化包围框分类和位置定位，包括：

FL(p_t)＝-α_t(1-p_t)^γlog(p_t) (1)

其中，p_t是第t个样本经过网络输出层后的输出概率，γ,α是超参数，分别用于控制易分类包围框和难分类包围框的权重；

where z_i is given by:

其中，x是预测包围框的坐标位置，y是目标包围框的坐标位置，i表示第i个样本，Z表示平滑后的预测坐标和目标坐标之间的距离。

7.根据权利要求1所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，使用聚焦损失和SoftDice损失函数对特征图层输出的原始尺寸特征图进行语义分割。

8.根据权利要求7所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，使用聚焦损失和SoftDice损失函数对特征图层输出的原始尺寸特征图进行语义分割，具体为：

其中，A与B分别表示该类别预测为正例的特征区域和该类标签的区域，ε为一个平滑参数。

9.根据权利要求1所述的基于深度学习的高分辨率影像建筑物提取方法，其特征在于，本方法使用的遥感图像为RGB三通道遥感影像。

10.一种基于深度学习的高分辨率影像建筑物提取系统，其特征在于，所述系统包括：

特征金字塔网络构建单元，用于构建特征金字塔网络，使用深度残差网络作为特征金字塔网络的特征抽取器；融合深度残差网络低层级特征图与对应的上采样后的高层级特征图作为高层级特征金字塔网络的输出；

接入与融合单元，用于将每一层特征金字塔网络的输出接入包围框子网络；在每一层特征金字塔网络输出后添加一个U型网络融合上采样和不同层级特征，融合后的不同层级特征通过特征金字塔网络的特征图层输出，利用分割子网络对特征图层的输出进行语义分割；

优化单元，用于优化分割子网络输出的包围框分类和位置：

语义分割单元，用于利用分割子网络对特征图层输出的原始尺寸特征图进行语义分割，得到图中每个像素的类别；

提取单元，用于利用优化单元得到的包围框分类和位置结果，以及语义分割单元得到的像素类别结果，得到包围框类别和包围框内部的分割结果，进而获得遥感影像建筑物的提取结果。

Images