CN113011288A - 一种基于Mask RCNN算法的遥感建筑物检测方法 - Google Patents

Abstract

本发明提供了一种基于Mask RCNN算法的遥感建筑物检测方法，具体包括：利用labelme工具对遥感数据进行标注；将标注好的数据集进行数据增强，并抽取其中一部分作为训练集，另一部分作为测试集；将训练集输入改进MaskRCNN算法的网络结构中进行训练，得到遥感数据检测模型；将测试集输入遥感数据检测模型进行检测，得到检测结果，并评价网络训练能力的优劣。本发明针对不规则建筑物检测难度大的现状，提出了基于深度学习的Mask RCNN改进算法，以修改RPN网络、改进mask掩膜为方向，得到一种适合不规则遥感建筑物检测的网络模型，加强了对不规则建筑物的检测分割能力，在满足了高检测精度的基础上，有效解决了遥感图像中不规则建筑物分割效果低的问题。

Description

一种基于Mask RCNN算法的遥感建筑物检测方法

技术领域

本发明属于机器视觉技术领域，具体涉及一种基于Mask RCNN算法的遥感建筑物检测方法。

背景技术

随着遥感技术的发展，高分辨率遥感影像在在城市规划、智慧城市建设等领域得到了广泛应用。其中建筑物是最普遍且最复杂的地物信息之一，因此建筑物提取是城市遥感影像的主要研究方向，一方面，对遥感影像制图、城市变化监测、三维建模、地理信息系统的数据获取、城市空间数据库的更新和建设“数字化城市”具有重要的应用价值；另一方面，遥感影像中纹理和特征丰富,建筑物的检测和分割提取方法种类繁多，过程具有很大相似性和通用性，可以为其他图像的目标检测和语义分割提供借鉴，因此建筑物提取方法的研究具有重要的科学意义。

目前基于深度学习的目标检测方法分为两类，一类是以RCNN系列为代表的基于候选区域的检测算法，另一类是以Yolo系列为代表的可以端到端学习的检测算法。RCNN系列算法的流程一般是：首先使用神经网络表征图像纹理、颜色、形状等底层特征，然后根据这些底层特征进行语义分割，最后对分割好的结果进行类别标注。Girshick等人于2014年提出了RCNN方法，这是一种基于候选框的目标检测分割算法，该方法在PASCAL VOC 2011竞赛中拿到了47.9％的准确率，也启发了后面一系列基于RCNN的方法；2015年，Girshick等人借鉴He的思想，提出了Fast RCNN，该模型每张图片只进行一次计算来提取特征图，进一步降低了算法的时间复杂度，但是候选区域生成的速度依然是瓶颈；Ren等人于2016年又提出了Faster RCNN，在Fast RCNN的基础上加了区域建议网络(Region Proposal Network，简称RPN)，使得全局特征图中的目标可以在各个候选框共享，极大的提高了候选框生成的效率；2017年，在Faster RCNN的基础上He等人增加了一个进行语义分割的分支得到了MaskRCNN，并且将原来的ROI(Regions of Interest)Pooling改为了ROIAlign策略，使得MaskRCNN可以保持Faster RCNN快速的同时，可以完成包括目标分类、目标检测、语义分割、人体关键点识别等多种任务，刷新了COCO数据集上的记录。

在复杂的城市地表遥感建筑物检测中，传统的矩形识别框已无法满足对不规则遥感建筑物的精确检测需求，在原先“分类+回归”模式下的检测已经不适用，基于FasterRCNN的Mask RCNN以“分类+回归+分割”的特性广泛应用于遥感建筑物的检测中。

发明内容

本发明提供了一种基于Mask RCNN算法的遥感建筑物检测方法，针对固定地表中的不规则建筑物检测，以基于深度学习的目标检测算法Mask RCNN为基础，并以RPN网络的改进及掩模mask的改进为方向，加强对不规则建筑物的检测分割，生成更适合遥感建筑物检测的网络模型。

为解决上述技术问题，本发明采用的技术方案为：

一种基于Mask RCNN算法的遥感建筑物检测方法，将高精度遥感图像进行检测识别，包含以下步骤：

步骤1：利用labelme工具对遥感数据原图进行标注，得到标注数据集；

步骤2：将步骤1得到的标注数据集进行数据增强，得到增强后的数据集，并抽取其中一部分作为训练集，另一部分作为测试集；

步骤3：将训练集输入改进Mask RCNN算法的网络结构中进行训练，得到遥感数据检测模型；

步骤4：将测试集输入遥感数据检测模型进行检测，得到检测结果，并评价网络训练能力的优劣。

进一步，所述步骤2中数据增强的具体方法为：先将遥感数据原图以及标注数据集切割成大小均为512×512像素的图片；再对每张切割后的图片进行旋转、翻转、模糊、高斯滤波、双边滤波及添加白噪声，得到增强之后的数据集。

进一步，所述步骤3中改进的Mask RCNN算法主要分为四个方面：卷积层FPN(特征金字塔网络)、RPN(区域候选网络)、ROIAlign和输出分支；首先，输入一幅预处理后的图片，将其输入到一个预训练好的神经网络中(FPN)获得对应的特征图(feature map)；然后，对这个feature map中的每一点设定预定个的ROI，从而获得多个候选ROI，将这些候选的ROI送入RPN网络进行二值分类(前景或背景)，过滤掉一部分候选的ROI，得到最有可能的目标区域；接着，对这些剩下的ROI进行ROIAlign操作映射成固定维数的特征向量；最后，通过相应全连接层及卷积运算，得到三个输出分支，实现分类、定位及分割任务。

进一步，所述RPN网络中，训练集遥感影像尺寸分别修改为64×64、128×128、256×256,长宽比皆为1:1；所述掩模mask中，14×14像素与28×28像素分别修改为32×32与64×64像素。

传统的Mask RCNN网络功能强大，是一个实例分割框架，通过增加不同的分支可以完成目标分类，目标检测，语义分割，实例分割，人体姿态估计等多种任务。但是网络的主要模块RPN存在着运算量大,效率不高的问题,FPN网络特征图中的最高层级特征和较低层级特征之间的路径太长,不利于信息的有效融合；mask预测仅在单个视野上执行,无法获得更加多样化的信息,针对于特殊目标的检测和分割效果欠佳。本发明在继承Mask RCNN优点的同时,根据遥感影像中建筑物的特殊性，存在以下两方面进行改进：一是RPN网络的改进，本发明考虑训练集遥感影像尺寸大小,分别修改为64×64、128×128、256×256,长宽比皆为1:1，改进后的RPN大大减少了估计目标区域,多种分割方法相当于构建了多种尺度的RPN,计算的效率更高,使用更少的内存空间；二是掩模mask的改进，将原始网络中mask大小14×14像素与28×28像素分别修改为32×32与64×64像素，经修改后，增大像素有利于提取更多的细节信息，优化分割效果，大大提升了掩膜效果。

进一步，所述步骤4中对于遥感图像检测，其本质上属于一个分类任务，检测结果可分为四种情况：true positive(TP)、false positive(FP)、true negative(TN)和falsenegative(FN)；Iou为计算真实值和预测值两个集合的交集和并集之比，采用以下公式表示：

所述网络训练能力优劣的评价指标为：检测精度precision、召回率recall以及平均检测时间time；所述检测精度precision表示已识别为建筑物的检测精度，采用以下公式表示：

检测精度precision则是对所有类的一个考量，将每一个类别的Iou进行相加之后平均，得到的即是基于全局的评价。

所述召回率recall表示能够正确识别建筑物的概率，采用以下公式表示：

与现有技术相比，本发明具有以下有益效果：

本发明针对遥感建筑物的检测，对不规则建筑物检测难度大的问题进行研究，提出了基于深度学习的Mask RCNN改进算法，以修改RPN网络、改进mask掩膜为方向，得到一种适合不规则遥感建筑物检测的网络模型，加强了对不规则建筑物的检测分割能力。实验结果表明，本发明提出的方法在满足了高检测精度的基础上，有效解决了遥感图像中不规则建筑物分割效果低的问题。

附图说明

图1为本发明实施例数据集标注界面图；

图2为本发明实施例RPN网络结构图；

图3为本发明实施例掩膜mask图；

图4为本发明实施例网络训练过程中损失值曲线；

图5为本发明实施例测试用遥感图像原图；

图6为本发明实施例检测结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例提供了一种基于Mask RCNN算法的遥感建筑物检测方法，将高精度像进行检测识别，具体步骤如下：

步骤1，数据集标注：通过对收集到的高精度遥感图像利用专业的labelme软件进行标注，标注完成后得到对应的数据集图片。

步骤2，对步骤1中得到的标注结果进行数据增强：将遥感数据原图(见图5)以及标注好的数据集(见图1)进行切割，每次切割得到的图片大小均为512×512像素。之后对每张切割好的图片进行旋转、翻转、模糊、高斯滤波、双边滤波及添加白噪声得到增强之后的数据集。

其中，选择数据增强前

作为训练集，

作为测试集。高斯滤波、双边滤波等为现有技术，此处不再做具体阐述。

步骤3，将步骤2中数据增强后的训练集读入改进Mask RCNN算法的网络结构中进行训练，得到遥感数据检测模型：以800张遥感图像为训练集，200张做测试集，epoch设置为2000，batchsize设置为3，初始阶段学习率为0.001。参阅图4，在网络训练过程中，为使损失函数进一步收敛，当训练迭代次数为25000次时，学习率降低为0.0001。最终，loss值稳定在0.05左右，迭代至30000次停止。

其中，改进的Mask RCNN算法中网络结构设计为：卷积层FPN(特征金字塔网络)、RPN(区域候选网络)、ROIAlign和输出分支。首先，输入一幅预处理后的图片，将其输入到一个预训练好的神经网络中(FPN)获得对应的特征图(feature map)；然后，对这个featuremap中的每一点设定预定个的ROI，从而获得多个候选ROI，将这些候选的ROI送入RPN网络进行二值分类(前景或背景)，过滤掉一部分候选的ROI，得到最有可能的目标区域；接着，对这些剩下的ROI进行ROIAlign操作映射成固定维数的特征向量；最后，通过相应全连接层及卷积运算，得到三个输出分支，实现分类、定位及分割任务。

图2为RPN网络结构图，其中训练集遥感影像尺寸分别修改为64×64、128×128、256×256,长宽比皆为1:1；如图3所示，掩模mask中14×14像素与28×28像素分别修改为32×32与64×64像素。

传统的Mask RCNN网络功能强大，是一个实例分割框架，通过增加不同的分支可以完成目标分类，目标检测，语义分割，实例分割，人体姿态估计等多种任务。但是网络的主要模块RPN存在着运算量大,效率不高的问题,FPN网络特征图中的最高层级特征和较低层级特征之间的路径太长,不利于信息的有效融合；mask预测仅在单个视野上执行,无法获得更加多样化的信息,针对于特殊目标的检测和分割效果欠佳。本实施例在继承Mask RCNN优点的同时,根据遥感影像中建筑物的特殊性，存在以下两方面进行改进：一是RPN网络的改进，本发明考虑训练集遥感影像尺寸大小,分别修改为64×64、128×128、256×256,长宽比皆为1:1，改进后的RPN大大减少了估计目标区域,多种分割方法相当于构建了多种尺度的RPN,计算的效率更高,使用更少的内存空间；二是掩模mask的改进，将原始网络中mask大小14×14像素与28×28像素分别修改为32×32与64×64像素，经修改后，增大像素有利于提取更多的细节信息，优化分割效果，大大提升了掩膜效果。

步骤4，将测试集输入遥感数据检测模型进行检测，得到检测结果(见图6)，并评价网络训练能力的优劣。对于遥感图像检测，其本质上属于一个分类任务，检测结果可分为四种情况：true positive(TP)、false positive(FP)、true negative(TN)和false negative(FN)；Iou为计算真实值和预测值两个集合的交集和并集之比，采用以下公式表示：

所述网络训练能力优劣的评价指标为：检测精度precision、召回率recall以及平均检测时间time；所述检测精度precision表示已识别为建筑物的检测精度，采用以下公式表示：

检测精度precision则是对所有类的一个考量，将每一个类别的Iou进行相加之后平均，得到的即是基于全局的评价。

所述召回率recall表示能够正确识别建筑物的概率，采用以下公式表示：

本发明针对遥感建筑物的检测，对不规则建筑物检测难度大的问题进行研究，提出了基于深度学习的Mask RCNN改进算法，以修改RPN网络、改进mask掩膜为方向得到一种适合不规则遥感建筑物检测的网络模型，加强了对不规则建筑物的检测分割能力。实验结果表明，本发明提出的方法在满足了高检测精度的基础上，有效解决了遥感图像中不规则建筑物分割效果低的问题。

表1效率分析

如表1所示，在平均检测精度(mAp)方面，原Mask RCNN算法的平均精度为98.26％，Yolo v3算法的平均精度为86.47％，Faster rcnn算法的平均精度为97.54％，本发明改进网络结构(Article method)平均精度为99.80％，检测精度是最高的；而在检测时间(time)方面，原Mask RCNN算法的检测时间为1.48s,Yolo v3算法的检测时间为0.32s，Fasterrcnn算法的检测时间为2.09s，本发明改进网络结构(Article method)的检测时间为1.19s，较原Mask RCNN算法和Faster rcnn算法快了0.29s和0.9s；在召回率(recall)方面，原Mask RCNN算法的召回率为96.23％，Yolo v3算法的召回率为84.69％，Faster rcnn算法的召回率为96.14％，本发明改进网络结构(Article method)的召回率为97.88％，较原Mask RCNN算法、Yolo v3算法和Faster rcnn算法提高了1.65％、13.19％和1.74％。故本发明改进网络结构(Article method)在优化了分割效果的基础上，提高了平均检测精度和召回率，所以本发明提出的基于Mask RCNN的改进网络模型对遥感建筑物检测效果更好。

上述内容对实施例做了详细的说明，但本发明不受上述实施方式和实施例的限制，在不脱离本发明宗旨的前提下，在本领域技术人员所具备的知识范围内还可以对其进行各种变化和改进，这些变化和改进均落入本发明要保护的范围之内。

Claims (5)

1.一种基于Mask RCNN算法的遥感建筑物检测方法，其特征在于，具体包括以下步骤：

步骤1：利用labelme工具对遥感数据原图进行标注，得到标注数据集；

步骤2：将步骤1得到的标注数据集进行数据增强，得到增强后的数据集，并抽取其中一部分作为训练集，另一部分作为测试集；

步骤3：将训练集输入改进Mask RCNN算法的网络结构中进行训练，得到遥感数据检测模型；

步骤4：将测试集输入遥感数据检测模型进行检测，得到检测结果，并评价网络训练能力的优劣。

2.根据权利要求1所述的一种基于Mask RCNN算法的遥感建筑物检测方法，其特征在于，所述步骤2中数据增强的具体方法为：先将遥感数据原图以及标注数据集切割成大小均为512×512像素的图片；再对每张切割后的图片进行旋转、翻转、模糊、高斯滤波、双边滤波及添加白噪声，得到增强后的数据集。

3.根据权利要求1所述的一种基于Mask RCNN算法的遥感建筑物检测方法，其特征在于：所述步骤3中改进的Mask RCNN算法主要分为四个方面：卷积层FPN(特征金字塔网络)、RPN(区域候选网络)、ROIAlign和输出分支；首先，输入一幅预处理后的图片，将其输入到一个预训练好的神经网络中(FPN)获得对应的特征图(feature map)；然后，对这个featuremap中的每一点设定预定个的ROI，从而获得多个候选ROI，将这些候选的ROI送入RPN网络进行二值分类(前景或背景)，过滤掉一部分候选的ROI，得到最有可能的目标区域；接着，对这些剩下的ROI进行ROIAlign操作映射成固定维数的特征向量；最后，通过相应全连接层及卷积运算，得到三个输出分支，实现分类、定位及分割任务。

4.根据权利要求3所述的一种基于Mask RCNN算法的遥感建筑物检测方法，其特征在于：所述RPN网络中，训练集遥感影像尺寸分别修改为64×64、128×128、256×256,长宽比皆为1:1；所述掩模mask中，14×14像素与28×28像素分别修改为32×32与64×64像素。

5.根据权利要求1所述的一种基于Mask RCNN算法的遥感建筑物检测方法，其特征在于：所述步骤4中检测结果可分为四种情况：true positive(TP)、false positive(FP)、true negative(TN)和false negative(FN)；Iou为计算真实值和预测值两个集合的交集和并集之比，采用以下公式表示：

所述网络训练能力优劣的评价指标为：检测精度precision、召回率recall以及平均检测时间time；所述检测精度precision表示已识别为建筑物的检测精度，采用以下公式表示：

所述召回率recall表示能够正确识别建筑物的概率，采用以下公式表示：

Images