CN112347927A - 基于卷积神经网络概率决策融合的高分影像建筑提取方法 - Google Patents

Abstract

本发明提供了一种基于卷积神经网络概率决策融合的高分影像建筑提取方法，将不同神经网络模型的类别分割概率在决策层进行融合作为最终建筑提取的依据，以实现不同模型之间的优势互补，最后采用形态学后处理方法进一步优化建筑提取结果。本发明优于单一卷积神经网络模型的结果，提升了建筑提取的精度。

Description

基于卷积神经网络概率决策融合的高分影像建筑提取方法

技术领域

本发明属于摄影测量与遥感领域，特别是涉及一种基于卷积神经网络概率决策融合的高分影像建筑提取方法。

背景技术

建筑是城市最主要的地物类型之一，建筑信息的准确提取对城市规划管理、人口密度估计和自然灾害评估等方面具有重要意义。高分辨率影像具有丰富的地物细节信息，能够区分建筑、道路等城市基本地物，为大范围的建筑物提取提供了可能性。

当前，高分辨率影像建筑提取的方法主要包括自动提取方法，传统的监督分类方法和深度学习方法。建筑的自动提取主要采用基于知识和规则的方法，根据建筑物的光谱、纹理、形状、空间关系等基本特征，构建建筑提取的规则。监督分类方法依赖于一定人力的样本标记和搜集，由于可以从训练样本中获得先验知识，监督分类方法能够更好地应对复杂场景下的建筑提取。传统的监督分类方法多采用多特征融合的机器学习方法，其关键也是在于设计有效的特征来描述建筑的属性。除了光谱特征之外，空间特征常常被用来弥补高分辨率影像上光谱特征对建筑属性描述的不足。常用的空间特征包括形态学差分谱(differential morphological profiles，DMP)，灰度共生矩阵(gray-level co-occurance matrix,GLCM)等。然而，以上方法主要采用人工设计特征，依赖于专家知识。而且，由于建筑自身和环境的复杂性，人为设计的底层特征在描述建筑属性时，依然存在巨大挑战。

近些年来，基于卷积神经网络(convolutional neural network,CNN)的深度学习方法已经越来越多地应用于计算机视觉和图像处理领域。众多典型的CNN模型，如FCN(fully convolutional network)，Segnet，U-net，Deeplab系列等模型，已经成功应用于影像的语义分割任务。在遥感领域，基于深度学习的高分辨率影像建筑提取研究，也取得了一定进展。然而，CNN模型众多，不同模型的构建方式也不尽相同，对于同一个任务场景，可能会表现出不同的效果。针对高分辨率影像上建筑提取这个特定任务，我们需要探究如何有效地融合不同的CNN模型，实现模型之间的优势互补，进一步提升建筑提取精度。

发明内容

有鉴于此，本发明旨在克服上述现有技术中存在的缺陷，提供一种基于卷积神经网络概率决策融合的高分影像建筑提取方法，通过融合不同卷积神经网络模型在建筑提取任务中的优势，优化建筑提取结果，该方法在决策层融合不同卷积神经网络模型的类别概率来实现不同模型的优势互补，提升建筑提取精度。最后根据建筑物的几何信息，采用必要的后处理操作对建筑提取结果进一步优化，得到比较纯净的建筑信息。

为达到上述目的，本发明的技术方案是这样实现的：

步骤一：获取实验区域的高分辨率影像与相应的标记数据，影像空间分辨率最好优于1米，至少包含可见光三个波段，能够支撑单个建筑物的提取。

步骤二：数据预处理，将影像裁剪成多个小影像块(如500×500大小)、并将数据集划分成训练集、验证集和测试集。

步骤三：分别采用Segnet和Deeplab v3+两种卷积神经网络模型对影像进行独立的语义分割。两种模型在训练集上训练，训练过程中采用验证集进行精度验证，最后在测试集上进行模型预测，得到对应的建筑分类概率图。

步骤四：概率决策融合，将步骤三中得到的两种分类概率进行决策层的融合，得到融合后的建筑分类概率。概率融合公式表示如下：

其中，

和

分别表示Segnet网络和Deeplab v3+网络对第i个类别的分类概率，C表示语义分割中的类别总数(本研究中是2个类别，即建筑与背景)，

表示两种模型概率融合后的结果。

建筑提取在计算机视觉领域可以看成是一个语义分割任务，用于语义分割的卷积神经网络模型众多，不同的模型实现方式有着较大的区别，针对建筑提取这个任务，不同的网络模型可能拥有各自的优势。因此，本发明在决策层融合不同卷积神经网络模型的分类概率，实现模型之间的优势互补，进一步提升模型的影像分割精度。需要说明的是，概率决策融合方法可以看成是一种框架，它可以融合不同的语义分割模型，本发明中，只是以Segnet和Deeplab v3+这两种典型的语义分割网络为例，表现模型融合的有效性。

步骤五：对融合后的建筑分类概率进行阈值分割，得到初始建筑提取结果。建筑提取可以看成是一种二类分类任务，融合后的分类概率图记录了每个像素属于建筑的分类概率为R，则属于背景的分类概率为1-R。因此，当某个像素的建筑分类概率R>0.5时，该像素被划分为建筑。

步骤六：形态学后处理，包括去除面积小的噪声对象，填充建筑内部的小孔洞，得到比较纯净的建筑提取结果。具体的，若某一探测的建筑对象的面积小于给定阈值s，则该对象被标记为背景；若建筑孔洞局部半径小于给定阈值r，则对该孔洞进行形态学重构运算进行填充并且保持该建筑对象的边缘。形态学孔洞填充表示如下：

f＝ε_b(δ_b(X))

其中，X表示初始建筑提取结果，ε_b(δ_b(X))表示对图像先进行膨胀运算，然后再进行腐蚀运算，b为结构元素参数，得到的f为即为闭运算图像。

表示形态学重构运算，c表示对图像进行取反操作，g为最终填充了建筑孔洞的图像。

初始的建筑提取结果一般会包含细小的噪声，对象孔洞等，影响了建筑提取的精度。根据建筑属性认知，我们采用面积约束和建筑孔洞填充进一步对初始建筑提取结果进行形态学后处理优化。面积约束能够减少建筑提取的错分误差，建筑孔洞填充能够减少建筑提取的遗漏误差，从而整体上提高建筑提取的精度。

相对于现有技术，本发明的有益效果是：

本方法考虑不同卷积神经网络模型在建筑提取任务中可能具有不同的优势，在决策层融合不同网络模型的分类概率，实现了模型的优势互补，提升了建筑提取的精度。此外，根据建筑属性信息，对初始建筑提取结果进行形态学后处理操作，进一步优化了建筑提取结果。

附图说明

构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

在附图中：

图1为本发明所述的一种基于卷积神经网络概率决策融合的高分影像建筑提取方法的流程图；

图2为本发明所述的一种基于卷积神经网络概率决策融合的高分影像建筑提取方法的Segnet卷积神经网络模型训练图；

图3为本发明所述的一种基于卷积神经网络概率决策融合的高分影像建筑提取方法的Deeplab v3+卷积神经网络模型训练图；

图4为本发明所述的一种基于卷积神经网络概率决策融合的高分影像建筑提取方法与单一模型的精度对比图；

图5为本发明所述的一种基于卷积神经网络概率决策融合的高分影像建筑提取方法的最终建筑提取结果图；

图6为本发明所述的一种基于卷积神经网络概率决策融合的高分影像建筑提取方法的原始图像。

具体实施方式

除有定义外，以下实施例中所用的技术术语具有与本发明所属领域技术人员普遍理解的相同含义。

本发明在决策层融合不同卷积神经网络模型的分类概率进行建筑物提取，实现了不同模型之间的优势互补，同时采用形态学后处理方法进一步优化了建筑提取结果(图1)。为了更好地理解本发明的技术方案，下面结合附图和具体实例对本发明作进一步详细说明：

(1)数据获取：获取目标区域的高分辨率影像和标记数据，影像空间分辨率最好优于1米，至少包含可见光三个波段，能够支撑单个建筑物的提取。本发明采用了武汉大学团队生产的建筑数据集(WHU Building)，分辨率0.3米，包含可见光三个波段。

(2)数据预处理：将影像裁剪成512×512大小，划分成训练样本集(4736个影像块)、验证样本集(1036个影像块)和测试样本集(2416个影像块)。

(3)建筑语义分割：分别采用Segnet和Deeplab v3+两种神经网络模型对影像进行独立的语义分割，得到对应的建筑分类概率图。模型训练过程中对训练参数进行调试优化，动量参数(momentum)设为0.9，初始学习率为0.001，batch size大小为4，训练轮数(epoch)为100，在训练过程中，每500次迭代做一次精度验证。两种神经网络模型的训练过程如图2和图3所示。

(4)概率决策融合：将Segnet和Deeplab v3+两种神经网络模型得到的建筑分类概率图进行深度融合，得到融合后的建筑分类概率。Segnet和Deeplab v3+模型在高分辨率影像建筑识别的任务中，提取到的信息能够互补。考虑到深度学习在预测时不仅能够直接输出类别标签，也能够得到每个像素属于每个类别的概率信息，因此，我们将不同语义分割模型独立输出的类别概率进行决策层的概率融合，概率融合公式表示如下：

其中，

和

分别表示Segnet网络和Deeplab v3+网络对第i个类别的分类概率，C表示语义分割中的类别总数(本研究中是2个类别，即建筑与背景)，

表示两种模型概率融合后的结果。

(5)初始建筑提取：对融合后的建筑分类概率进行阈值分割，得到初始建筑提取结果。Segnet和Deeplab v3+融合后的分类概率图记录了每个像素属于建筑与背景的概率。在该二分类任务中，记每个像素属于建筑类别的概率为R，则该像素属于背景的概率为1-R。因此，当某个像素的建筑分类概率R>0.5时，该像素被划分为建筑。

(6)建筑提取结果优化：初始的建筑提取结果一般会包含细小的噪声，对象孔洞等，影响了建筑提取的精度。根据建筑属性认知，我们采用面积约束和建筑孔洞填充，进一步对初始建筑提取结果进行后处理优化。具体的，若某一探测的建筑对象的面积小于给定阈值c，则该对象被标记为背景；若建筑孔洞局部半径小于给定阈值r，则对该孔洞进行形态学重构运算进行填充并且保持该建筑对象的边缘。形态学孔洞填充表示如下：

f＝ε_b(δ_b(X))

其中，X表示初始建筑提取结果，ε_b(δ_b(X))表示先对图像进行膨胀运算，然后再进行腐蚀运算，b为结构元素参数，得到的f为即为闭运算图像。

表示形态学重构运算，c表示对图像进行取反操作，g为最终填充了建筑孔洞的图像。本实验数据中，最小建筑的面积阈值s设为5m²，建筑孔洞局部半径阈值r设为2m，r对应形态学重构运算的圆形结构元素b的半径大小。

(7)精度评价：本发明采用准确率(Precision,P),召回率(Recall,R)和F指数(F-score)三个常用的指标来衡量建筑提取的精度。其中，准确率可以衡量建筑提取的正确率，召回率反映建筑提取的完备率，F指数是同时考虑建筑提取准确性与完备性的综合指标。三个指标的定义公式如下：

其中，TP表示正类预测为正类(true positive)，即正确检测的建筑，FP表示将负类预测为正类(false positive)，即错误检测的建筑，对应错分误差，FN表示正类预测为负类(false negative)，即遗漏的建筑，对应漏分误差，||·||表示像素个数。

图4展示了两种独立神经网络模型、概率融合模型以及形态学后处理模型的精度统计，图中，Precision表示准确率，Recall表示召回率，F表示F-score指数。从综合指标F指数来看，本发明提出的概率融合模型优于单一模型的精度(融合模型的F指数为90.13％，Segnet模型和Deeplab v3+模型分别为88.61％和89.48％)，并且形态学后处理进一步优化了建筑提取结果(F指数为90.56％)。图5展示了几个典型场景下的建筑提取结果，图6展示了了场景的原始图像，这些场景中建筑分布不尽相同，建筑尺寸大小不一，本发明方法都取得了满意的结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于卷积神经网络概率决策融合的高分辨率影像建筑提取方法，其特征在于：该方法包括以下步骤：

步骤一：获取实验区域的高分辨率影像与相应的标记数据；

步骤二：数据预处理，将影像裁剪成多个小影像块，并将数据集划分成训练集、验证集和测试集；

步骤三：分别采用Segnet和Deeplab v3+两种卷积神经网络模型对影像进行独立的语义分割，得到对应的建筑分类概率图；

步骤四：概率决策融合，将步骤三中得到的两种分类概率进行决策层的融合，得到融合后的建筑分类概率；

概率融合公式表示如下：

其中，

和

分别表示Segnet网络和Deeplab v3+网络对第i个类别的分类概率，C表示语义分割中的类别总数，

表示两种模型概率融合后的结果；

步骤五：对融合后的建筑分类概率进行阈值分割，得到初始建筑提取结果；

步骤六：形态学后处理，包括去除面积小的噪声对象，填充建筑内部的小孔洞，得到纯净的建筑提取结果；

形态学孔洞填充表示如下：

f＝ε_b(δ_b(X))

其中，X表示初始建筑提取结果，ε_b(δ_b(X))表示对建筑提取结果先进行膨胀运算，然后再进行腐蚀运算，b为结构元素参数，得到的f为即为闭运算图像，

表示形态学重构运算，c表示对图像进行取反操作，g为填充了孔洞的图像，即最终的建筑提取结果。

2.根据权利要求1所述的基于卷积神经网络概率决策融合的高分辨率影像建筑提取方法，其特征在于：步骤一中，所述影像的空间分辨率优于1米，至少包含可见光三个波段。

3.根据权利要求1所述的基于卷积神经网络概率决策融合的高分辨率影像建筑提取方法，其特征在于：步骤三中，两种模型在训练集上训练，训练过程中采用验证集进行精度验证，最后在测试集上进行模型预测，得到对应的建筑分类概率图。

4.根据权利要求1所述的基于卷积神经网络概率决策融合的高分辨率影像建筑提取方法，其特征在于：步骤五中，融合后的分类概率图记录了每个像素属于建筑的分类概率为R，则属于背景的分类概率为1-R，当某个像素的建筑分类概率R>0.5时，该像素被划分为建筑。

5.根据权利要求1所述的基于卷积神经网络概率决策融合的高分辨率影像建筑提取方法，其特征在于：步骤五中，采用准确率,召回率和F指数三个指标来衡量建筑提取的精度，三个指标的定义公式如下：

其中，TP表示正类预测为正类，即正确检测的建筑，FP表示将负类预测为正类，即错误检测的建筑，对应错分误差，FN表示正类预测为负类，即遗漏的建筑，对应漏分误差，||·||表示像素个数。

6.根据权利要求1所述的基于卷积神经网络概率决策融合的高分辨率影像建筑提取方法，其特征在于：步骤六中，采用面积约束和建筑孔洞填充，进一步对初始建筑提取结果进行形态学后处理。

Images