CN113822999A - 一种数字乡村三维模型的建筑物分割方法 - Google Patents

Abstract

本发明涉及一种数字乡村三维模型的建筑物分割方法。该方法对数字乡村三维网格模型中的建筑物实例进行自动分割的方法，通过少量的人工交互从三维网格模型中分割出完整的建筑物，包括以下步骤：从模型中框出目标建筑物作为待分割区域；提取待分割区域内的建筑物屋顶面片和地面面片；提取待分割区域的边界面片；对上述面片进行检查和调整；计算屋顶范围多边形；构建待分割区域网格面片的邻接图模型；根据提取的数据初始化图模型的边的权重；设计能量函数，对图模型进行图割，得到最终的建筑模型分割结果。本发明的优点在于：本方法只需少量简单的人工交互，高效地从三维场景中分割出建筑物实例，降低了人工标注建筑网格面片的成本。

Description

一种数字乡村三维模型的建筑物分割方法

技术领域

本发明是一种利用计算技术对数字乡村三维网格模型中的建筑物实例进行自动分割的方法，能够通过少量的人工交互从三维网格模型中分割出完整的建筑物。

背景技术

近年来，基于多视角图像的三维重建技术越来越成熟，该技术能够从多张不同视角的航拍图像中重建出大型建筑场景的稠密三维网格模型。大型建筑场景的三维模型在许多虚拟环境中有着非常重要的应用，比如虚拟现实漫游系统、3D游戏等。

然而，原始的三维重建模型缺乏语义信息。这种语义理解在许多智能城市应用中具有重要的意义，比如城市规划、增强现实、智能导航等。三维模型的语义理解包括目标检测、语义分割与分类等，采用人工标注的方式给三维场景模型添加语义信息，如分割出场景中的每一个建筑物，需要耗费大量的精力，并且效率低下。

随着深度学习技术在3D数据上的应用越来越广泛，大型三维场景的语义分割、实例分割和全景分割任务成为越来越热门的话题。数字乡村三维场景的分割中最重要的一部分就是建筑物的识别和分割。基于监督学习的深度神经网络需要大量的3D标注数据作为训练集，然而与2D图像数据的标注不同，3D网格数据的标注更加繁琐、更加耗时费力，因为3D数据的数据量大且不规则，网格面片之间在不同视角上还存在着空间遮挡关系，无法像2D图像的标注那样通过简单的描点方式勾勒出物体的多边形边界从而标注物体实例。因此，亟需一种简单、高效的数字乡村三维模型的建筑物分割方法，降低三维建筑场景网格数据集的标注成本。

发明内容

为提高标注3D网格模型建筑物的效率，本发明提供了一种利用计算机技术，基于图割的数字乡村三维模型中建筑物的自动分割方法，在马尔科夫随机场中增加角度约束项和距离约束项，使得图分割结果更加准确，能够通过少量的人工交互从三维网格模型中自动分割出完整的建筑实例。

该方法的具体步骤如下：

步骤1、利用矩形框工具从数字乡村三维模型中框出目标建筑物的大致范围作为待分割区域。

步骤2、自动提取待分割区域内的建筑物屋顶面片和地面面片。

步骤3、自动提取待分割区域的边界面片。

步骤4、用户对自动提取的屋顶面片、地面面片和边界面片进行简单的检查和调整。

步骤5、计算屋顶范围多边形。

步骤6、构建待分割区域网格面片的邻接图模型。

步骤7、根据步骤3、4中提取的屋顶面片、地面面片和边界面片初始化图模型的边的权重。

步骤8、设计能量函数，利用Max-Flow算法对图模型进行图割，即最小化图割的能量函数，得到最终的建筑模型分割结果。

本发明的技术构思是：利用对建筑物的先验知识，构建合理的马尔科夫随机场图模型，并在该模型上设计了角度约束项和距离约束项，实现自动分割复杂的三维网格模型中的建筑物实例的目的。

本发明的优点在于：本方法只需少量简单的人工交互，利用图割算法，高效地从三维场景中分割出建筑物实例，大大降低了人工标注建筑网格面片的成本。

附图说明

图1为本发明的总的流程图

图2为图割算法图模型的示意图

图3为屋顶范围多边形示意图

图4为单个建筑分割结果图

图5为数字乡村场景中建筑分割结果图

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方案并参照附图，对本发明进行详细说明。

图1所示为本发明的整体技术流程图，具体步骤为：

步骤1、利用矩形框工具从数字乡村三维模型中框出目标建筑物的大致范围作为待分割区域。

步骤2、自动提取待分割区域内的建筑物屋顶面片和地面面片。

步骤3、自动提取待分割区域的边界面片。

步骤4、用户对自动提取的屋顶面片、地面面片和边界面片进行简单的检查和调整。

步骤5、计算屋顶范围多边形。

步骤6、构建待分割区域网格面片的邻接图模型。

步骤7、根据步骤3、4中提取的屋顶面片、地面面片和边界面片初始化图模型的边的权重。

步骤8、设计能量函数，利用Max-Flow算法对图模型进行图割，即最小化图割的能量函数，得到最终的建筑模型分割结果。

进一步，所述步骤1中，用户使用矩形框工具在模型展示窗口上框出目标建筑物的位置，得到2D屏幕矩形框范围Box，然后对于3D场景模型的每个面片，判断其中心点在当前虚拟相机参数下的屏幕投影点是否落在矩形框范围Box内。如果是，则该面片为待分割区域面片。

进一步，所述步骤2中，对于待分割区域的屋顶面片提取，首先筛选与水平面之间夹角小于45度的面片(记为面片集合F)，这一步的目的是为了去除相对竖直的建筑物立面。然后，对集合F中的面片按边连通性分组，得到若干组空间上相互不连通的面片组{G}。接着，为了去除面积较小的阳台等水平区域，以及相对高度较低的地面水平区域，取{G}中包含面片数量最多且平均高度高于待分割区域平均高度H的面片组作为屋顶面片,H指待分割区域面片最高点高度和最低点高度的平均值。最后，取{G}中平均高度最低的面片组作为地面面片集合F_g，然后取与F_g高度相差不超过1米的水平面片组加入地面面片集合F_g中。

进一步，所述步骤3中，首先计算待分割区域每条边所属的面片数量K，然后对每个面片进行如下判断：面片的边中是否存在K值为1的边，若是，则该面片为边界面片。

进一步，所述步骤4中，对于一些特殊的案例，例如圆锥形、半圆形等建筑屋顶等未能成功提取屋顶面片的，用户可以选择笔刷工具在屋顶上刷出大致的屋顶面片；选中并删除错误提取的屋顶面片组或地面面片组为待分割面片。由于不是对每个面片进行操作，而是对面片组或笔刷范围内的少量面片进行批量操作，这样的调整只需花费极少的时间。

进一步，所述步骤5中，屋顶多边形范围指屋顶在XY平面上的投影的范围多边形，记为P，如附图3框线所示，为方便观察，附图3中将屋顶多边形与屋顶等高绘制，P为XY平面上的多边形。P的计算如下：首先将屋顶网格的三维顶点投影到XY平面，并利用alpha-shape算法(Edelsbrunner H.Alpha shapes—a survey[J].Tessellations in the Sciences,2010,27:1-25.)求屋顶投影点的二维多边形范围，然后利用RANSAC算法(Schnabel R,WahlR,Klein R.Efficient RANSAC for point-cloud shape detection.Computer graphicsforum.Oxford,UK:Blackwell Publishing Ltd,2007,26(2):214-226.)简化屋顶范围多边形，得到屋顶范围多边形P。

进一步，所述步骤6中，需要构建的无向图模型如附图2所示，该图模型由节点和边组成，为了避免歧义，记3D网格模型中的多边形网格的边为物理边，附图2中图模型的边记为图边。图的节点包括普通节点、源点S和汇点T，图边包括普通图边n-link(实线)、与S连接的图边s-t-link(虚线)和与T连接的图边t-t-link(双实线)。其中普通节点为待分割区域中的网格面片，源点S表示前景(即建筑物网格)，汇点T表示背景(即非建筑物网格)；普通图边n-link表示面片的物理边邻接关系，即任意两个共享同一条物理边(而非物理顶点)的网格面片之间存在一条图边。

进一步，所述步骤7中，在进行图割之前，为每一条图边进行权重赋值是分割的关键:

1)对于普通图边n-link，其权值大小表示将两个物理边相邻的网格分割开的惩罚，其值为图边的两个节点(即两个物理边相邻的网格面片)法向量之间夹角的cos值。注意，当两个面片趋于水平且法向量之间夹角为钝角/锐角，其cos值趋于-1/1；当两个面片趋于垂直，其法向量之间夹角的cos值趋于0。这表示图割算法倾向于在网格模型的尖锐转折处分割，而非在平滑的平面处做分割。

2)对于与源点S连接的图边s-t-link，其权值为表示将该网格面片划分为背景的惩罚，对其进行赋值包括以下三种情况：

a)对于步骤2中提取的屋顶面片，其与源点S连接的图边s-t-link的权值为+∞，因为屋顶面片必然属于建筑物，将其分割为背景(即将该图边切割)的惩罚无穷大；

b)对于步骤2中提取的地面面片和步骤3中提取的边界面片，其与源点S连接的图边s-t-link的权值为0；

c)对于其他待分割的面片，其与源点S连接的图边s-t-link的权值为(1+nd_i)+θ_i·(1+nd_i)。其中距离约束项nd_i为面片i的中心点在XY平面上的投影到屋顶多边形P的归一化距离，-1＜nd_i＜1。处于屋顶多边形内的面片的归一化距离为负，处于屋顶多边形外的面片的归一化距离为正，nd_i计算公式如下:

其中i，j为面片索引，||d_i||表示面片i到多边形P的距离的绝对值，S_in表示处于多边形P内的面片索引集合，S_out表示处于多边形P外的面片索引集合。距离约束项使得靠近屋顶多边形P和在屋顶多边形P内的面片被分割为前景(建筑物)的惩罚小，从而有利于使其被正确分割为建筑面片。

s-t-link的权值(1+nd_i)+θ_i·(1+nd_i)中的θ_i是角度约束项，它的计算方法如下：

其中i为面片索引，n_i表示面片i的法向量，ls_i表示距离面片i最近的多边形P中的线段，

表示与线段ls_i垂直并指向多边形外部的法向量。角度约束项使得属于墙面的立面被分割为前景(建筑物)的惩罚小，从而有利于使墙体被正确分割为建筑面片。

本发明待分割面片与源点S之间图边的权重(1+nd_i)+θ_i·(1+nd_i)不仅考虑了面片位置与屋顶范围多边形P的关系以及墙面等立面与P的关系，同时使距离P越远的面片其角度约束越小。

3)对于与汇点T连接的图边t-t-link,其权值为表示将该网格面片划分为前景的惩罚，对其进行赋值包括以下三种情况：1、对于步骤2中提取的屋顶面片，其与汇点T连接的图边t-t-link的权值为0；2、对于步骤2中提取的地面面片和步骤3中提取的边界面片，其与汇点T连接的图边t-t-link的权值为+∞；3、对于其他待分割的面片，其与汇点T连接的图边t-t-link的权值为1。

进一步，所述步骤8中，对于步骤6中构建的图模型，求图的最小割，即最小化能量函数：

其中N表示待分割区域的网格面片集合,即图模型中的节点集合，E表示图边，i、j表示节点索引。l_i表示节点i在图割后被赋予的标签，l_i＝1表示前景(建筑面片)，l_i＝0表示背景(非建筑面片)。数据项

和平滑项

的定义即步骤6中图边的权重。

最后，使用Max-Flow算法(Boykov Y Y,Jolly M P.Interactive graph cuts foroptimal boundary&region segmentation of objects in ND images.Proceedingseighth IEEE international conference on computer vision.2001,1:105-112.)求解图模型的最小割，图割完成后与源点S连接的普通节点即属于建筑物的面片，与汇点T连接的普通节点即非建筑物面片。

目前，数字乡村三维模型的建筑物分割依赖于大量的人工交互，阻碍了数字乡村三维应用的构建，也为三维建筑物的人工智能数据集的标注带来了极大的困难。本发明提出了一种数字乡村三维模型的建筑物分割方法，在马尔科夫随机场中引入反映建筑特征的角度约束项和距离约束项，显著提高分割精度，使得在少量用户交互的前提下实现高精度的三维建筑物分割。

本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (2)

1.一种数字乡村三维模型的建筑物分割方法，包括以下步骤：

步骤1、利用矩形框工具从数字乡村三维模型中框出目标建筑物的大致范围作为待分割区域。用户使用矩形框工具在模型展示窗口上框出目标建筑物的位置，得到2D屏幕矩形框范围Box，然后对于3D场景模型的每个面片，判断其中心点在当前虚拟相机参数下的屏幕投影点是否落在矩形框范围Box内。如果是，则该面片为待分割区域面片。

步骤2、自动提取待分割区域内的建筑物屋顶面片和地面面片。对于待分割区域的屋顶面片提取，首先筛选与水平面之间夹角小于45度的面片(记为面片集合F)，这一步的目的是为了去除相对竖直的建筑物立面。然后，对集合F中的面片按边连通性分组，得到若干组空间上相互不连通的面片组{G}。接着，为了去除面积较小的阳台等水平区域，以及相对高度较低的地面水平区域，取{G}中包含面片数量最多且平均高度高于待分割区域平均高度H的面片组作为屋顶面片,H指待分割区域面片最高点高度和最低点高度的平均值。最后，取{G}中平均高度最低的面片组作为地面面片集合F_g，然后取与F_g高度相差不超过1米的水平面片组加入地面面片集合F_g中。

步骤3、自动提取待分割区域的边界面片。首先计算待分割区域每条边所属的面片数量K，然后对每个面片进行如下判断：面片的边中是否存在K值为1的边，若是，则该面片为边界面片。

步骤4、用户对自动提取的屋顶面片、地面面片和边界面片进行简单的检查和调整。对于一些特殊的案例，例如圆锥形、半圆形等建筑屋顶等未能成功提取屋顶面片的，用户可以选择笔刷工具在屋顶上刷出大致的屋顶面片；选中并删除错误提取的屋顶面片组或地面面片组为待分割面片。由于不是对每个面片进行操作，而是对面片组或笔刷范围内的少量面片进行批量操作，这样的调整只需花费极少的时间。

步骤5、计算屋顶范围多边形。屋顶多边形范围指屋顶在XY平面上的投影的范围多边形，记为P，如附图3框线所示，为方便观察，附图3中将屋顶多边形与屋顶等高绘制，P为XY平面上的多边形。P的计算如下：首先将屋顶网格的三维顶点投影到XY平面，并利用alpha-shape算法(Edelsbrunner H.Alpha shapes—a survey[J].Tessellations in theSciences,2010,27:1-25.)求屋顶投影点的二维多边形范围，然后利用RANSAC算法(Schnabel R,Wahl R,Klein R.Efficient RANSAC for point-cloud shapedetection.Computer graphics forum.Oxford,UK:Blackwell Publishing Ltd,2007,26(2):214-226.)简化屋顶范围多边形，得到屋顶范围多边形P。

步骤6、构建待分割区域网格面片的邻接图模型。需要构建的无向图模型如附图2所示，该图模型由节点和边组成，为了避免歧义，记3D网格模型中的多边形网格的边为物理边，附图2中图模型的边记为图边。图的节点包括普通节点、源点S和汇点T，图边包括普通图边n-link(实线)、与S连接的图边s-t-link(虚线)和与T连接的图边t-t-link(双实线)。其中普通节点为待分割区域中的网格面片，源点S表示前景(即建筑物网格)，汇点T表示背景(即非建筑物网格)；普通图边n-link表示面片的物理边邻接关系，即任意两个共享同一条物理边(而非物理顶点)的网格面片之间存在一条图边。

步骤7、根据步骤3、4中提取的屋顶面片、地面面片和边界面片初始化图模型的边的权重。

步骤8、设计能量函数，利用Max-Flow算法对图模型进行图割，即最小化图割的能量函数，得到最终的建筑模型分割结果。对于步骤6中构建的图模型，求图的最小割，即最小化能量函数：

其中N表示待分割区域的网格面片集合,即图模型中的节点集合，E表示图边，i、j表示节点索引。l_i表示节点i在图割后被赋予的标签，l_i＝1表示前景(建筑面片)，l_i＝0表示背景(非建筑面片)。数据项

和平滑项

的定义即步骤6中图边的权重。最后，使用Max-Flow算法(Boykov Y Y,Jolly M P.Interactive graph cuts foroptimal boundary&region segmentation of objects in ND images.Proceedingseighth IEEE international conference on computer vision.2001,1:105-112.)求解图模型的最小割，图割完成后与源点S连接的普通节点即属于建筑物的面片，与汇点T连接的普通节点即非建筑物面片。

2.如权利要求1所述的一种基于建筑物特征的三维建筑物图模型构建方法，在步骤5的屋顶范围多边形的基础上引入角度约束项和距离约束项，保证分割精度，其特征在于：步骤7所述的每一条图边进行权重赋值是三维建筑物分割的关键，步骤7的具体步骤包括：

1)对于普通图边n-link，其权值大小表示将两个物理边相邻的网格分割开的惩罚，其值为图边的两个节点(即两个物理边相邻的网格面片)法向量之间夹角的cos值。注意，当两个面片趋于水平且法向量之间夹角为钝角/锐角，其cos值趋于-1/1；当两个面片趋于垂直，其法向量之间夹角的cos值趋于0。这表示图割算法倾向于在网格模型的尖锐转折处分割，而非在平滑的平面处做分割。

2)对于与源点S连接的图边s-t-link，其权值为表示将该网格面片划分为背景的惩罚，对其进行赋值包括以下三种情况：

a)对于步骤2中提取的屋顶面片，其与源点S连接的图边s-t-link的权值为+∞，因为屋顶面片必然属于建筑物，将其分割为背景(即将该图边切割)的惩罚无穷大；

b)对于步骤2中提取的地面面片和步骤3中提取的边界面片，其与源点S连接的图边s-t-link的权值为0；

c)对于其他待分割的面片，其与源点S连接的图边s-t-link的权值为(1+nd_i)+θ_i·(1+nd_i)。其中距离约束项nd_i为面片i的中心点在XY平面上的投影到屋顶多边形P的归一化距离，-1＜nd_i＜1。处于屋顶多边形内的面片的归一化距离为负，处于屋顶多边形外的面片的归一化距离为正，nd_i计算公式如下:

其中i，j为面片索引，||d_i||表示面片i到多边形P的距离的绝对值，S_in表示处于多边形P内的面片索引集合，S_out表示处于多边形P外的面片索引集合。距离约束项使得靠近屋顶多边形P和在屋顶多边形P内的面片被分割为前景(建筑物)的惩罚小，从而有利于使其被正确分割为建筑面片。

s-t-link的权值(1+nd_i)+θ_i·(1+nd_i)中的θ_i是角度约束项，它的计算方法如下：

其中i为面片索引，n_i表示面片i的法向量，ls_i表示距离面片i最近的多边形P中的线段，

表示与线段ls_i垂直并指向多边形外部的法向量。角度约束项使得属于墙面的立面被分割为前景(建筑物)的惩罚小，从而有利于使墙体被正确分割为建筑面片。

本发明待分割面片与源点S之间图边的权重(1+nd_i)+θ_i·(1+nd_i)不仅考虑了面片位置与屋顶范围多边形P的关系以及墙面等立面与P的关系，同时使距离P越远的面片其角度约束越小。

3)对于与汇点T连接的图边t-t-link,其权值为表示将该网格面片划分为前景的惩罚，对其进行赋值包括以下三种情况：1、对于步骤2中提取的屋顶面片，其与汇点T连接的图边t-t-link的权值为0；2、对于步骤2中提取的地面面片和步骤3中提取的边界面片，其与汇点T连接的图边t-t-link的权值为+∞；3、对于其他待分割的面片，其与汇点T连接的图边t-t-link的权值为1。

Images