CN110222642B - 一种基于全局图聚类的平面建筑构件点云轮廓提取方法 - Google Patents

Abstract

本发明涉及一种基于全局图聚类的平面建筑构件点云轮廓提取方法，该方法包括以下步骤：步骤1：对原始平面建筑三维点云数据采用超体素的几何特征进行表征，获得通过超体素的几何特征进行表征的点云数据；步骤2：针对通过超体素的几何特征进行表征的点云数据构建全局图模型；步骤3：针对全局图模型进行聚类优化并进一步提取得到平面片段；步骤4：从平面片段中提取最终面建筑构件点云轮廓。与现有技术相比，本发明具有轮廓提取精确度高，适用范围广等优点。

Description

一种基于全局图聚类的平面建筑构件点云轮廓提取方法

技术领域

本发明涉及计算机技术领域，尤其是涉及一种基于全局图聚类的平面建筑构件点云轮廓提取方法。

背景技术

LiDAR技术已广泛用于在城市场景中获取地理空间信息。通常，非结构化三维点云用于表示所获取的地理空间信息，其通常具有高密度和大体积的特征。然而由于缺少拓扑信息，使用单个点直接描述三维场景是一种不实际的解决方案，无法满足对城市场景进行描述的需求。此外，大尺度的场景和海量的点云数据也让点云的数据处理面临巨大的挑战。与单纯的点和线相比，平面以及其边缘轮廓可以被视为对三维场景的一种更好的表达，尤其是在拥有许多规则形状的人造建筑结构的城市场景中。目前，从二维图像中检测线段和轮廓的技术已经比较成熟，但是要从三维点云中提取线段和轮廓，在技术领域仍有改进的余地。

要从非结构化点云中提取这些线段或轮廓，有多种不同的思路，可以概括为两个主要的策略：基于点的策略和基于面的策略。基于点的策略将直接检测属于边和边界的点，然后将它们连接起来以形成线或轮廓。通过设计的特征和分类器对特征空间中的整个点云进行分类是提取边缘点的典型方法之一。在过去的几十年中，针对边界/非边界点云的分类已经开发了各种各样的特征算法，但是该方法极易受到数据质量的影响，噪声和局外点都会对分类的效果产生严重的影响。基于面的策略是提取线条和轮廓的替代方案。该策略的假设是两个面的交线可以构造成直线和曲线。如果可以找到相交曲面，则也可以找到对应的曲线或直线。然而对于基于表面的方法，通常难以确定交叉线的起止范围并且难以应用于小曲面的边缘提取场景。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于全局图聚类的平面建筑构件点云轮廓提取方法，该方法为一种自下而上的分割方法，该方法利用超体素结构和全局图模型的优化技术，实现了三维点云的自动和无监督分割，然后对分割得到的片段进行基于平面度的检测，仅选择平面片段以及它们的邻域作为平面拟合的候选者，并通过平面度计算给出的参数模型来识别平面的点。之后通过Alpha形提提取平面的边界点。最后，该方法还可以通过使用所构建图模型的能量最小化来拟合和优化线段。

本发明的目的可以通过以下技术方案来实现：

一种基于全局图聚类的平面建筑构件点云轮廓提取方法，该方法包括以下步骤：

步骤1：对原始平面建筑三维点云数据采用超体素的几何特征进行表征，获得通过超体素的几何特征进行表征的点云数据；

步骤2：针对通过超体素的几何特征进行表征的点云数据构建全局图模型；

步骤3：针对全局图模型进行聚类优化并进一步提取得到平面片段；

步骤4：从平面片段中提取最终面建筑构件点云轮廓。

进一步地，所述的步骤1中具体包括以下分步骤：

步骤11：通过八叉树分割将原始平面建筑三维点云数据划分为三维立方网络；

步骤12：将三维立方网络的每个节点分成多个相等的子节点以生成基于八叉树的超体素结构，即通过超体素的几何特征进行表征的点云数据，所述超体素结构中每个超体素的几何属性由空间位置、方向信息和局部几何特征组成。

进一步地，所述步骤12中每个超体素对应的结构块由所述点云数据集形成的近似曲面的法线向量和质心表示近似平面，由所述点云数据集表示所述结构块中的点，所述方向信息由所述点云数据集形成的近似曲面的法线向量表示，所述局部几何特征包括线性度、平面度、曲率变化和球形度。

进一步地，所述步骤3中的包括以下分步骤：

步骤31：识别全局图模型中所有超体素之间的连接关系；

步骤32：通过深度优先搜寻方法将经过连接关系识别的所有超体素聚集成片段；

步骤33：通过交叉验证检验连接关系正确性；

步骤34：循环执行步骤31至步骤33后对给定平滑度和曲率阈值的片段进行提取并最终获得所有超体素对应的平面片段。

进一步地，所述步骤32中的片段对应曲面的平滑度和曲率通过三维结构张量的EVD特征值得出，其描述公式为：

M_e＝(e1-e2)/e1

C_e＝e3/(e1+e2+e3)

式中，M_e表示片段对应曲面的平滑度，C_e表示片段对应曲面的曲率，e1、e2和e3为三维结构张量不同的EVD特征值。

进一步地，所述步骤4包括以下分步骤：

步骤41：使用变换矩阵将原始平面建筑三维点云数据的三维点集投影至所述平面片段的二维平面上；

步骤42：采用Alpha形状算法从二维平面上的投影点中提取出二维轮廓分段；

步骤43：通过变换矩阵的逆矩阵和二维轮廓分段进一步得到三维轮廓的点，对其进行组合并得到最终面建筑构件点云轮廓。

进一步地，该方法还包括步骤5：针对最终面建筑构件点云轮廓进行检测以减少异常值和精化结果的影响，该步骤包括以下分步骤：

步骤51：通过RANSAC算法拟合最终面建筑构件点云轮廓中潜在的直线线段；

步骤52：确定直线线段片段的方向；

步骤53：对确定方向后的直线线段片段通过Graph-Cuts算法进行标记分类并检测。

进一步地，所述步骤52具体包括：对所有直线线段片段首先定义一组方向角，然后通过使用原点线的中心和方向角中的方位角形成设置候选线段，最后通过建立考虑相邻平滑度和取向度的能量函数以确定适当的取向角度，即直线线段片段的方向。

进一步地，所述能量函数为：

式中，E表示能量函数，λ表示比例因子，D(p,θ)表示线段与估计的方向角的拟合程度，N表示在线段方向所代表的特征空间中的标签集，S(θ_p,θ_q)表示线段对相似方向角的平滑程度，P表示候选线段集合，Φ表示定义的方向角组，p与q代表一组两个相邻线段的方向标签在集合N中的序号。

进一步地，所述线段与估计的方向角的拟合程度的计算公式为：

式中，

表示候选线段p中的点i到候选线段p在垂直方向上的拟合残差的和。此处pi代表候选线段p中的点i到候选线段p的垂直距离。在拟合过程中，候选点i与最终拟合得到的直线p之间有残差d。拟合程度的估计，即为所有候选点残差的总和。

与现有技术相比，本发明具有以下优点：

(1)精度高，本发明利用超体素结构和基于全局图的优化的自下而上的点云分割方法。通过使用超体素结构而不是点来组织整个点云，过分割的超级体素可以识别三维对象的边界。基于超体素的几何特征构建全局图形模型。这里的无监督聚类是通过优化全局图来进行的。

(2)适应度强，本发明开发了基于平面度的选择和基于模型拟合的平面表面检测和提取细化，为使用Alpha形的轮廓提取提供了精确的边界。与传统的基于模型拟合的平面提取方法不同，在没有迭代过程的情况下，本发明的平面提取方法更有效，更适应城市场景的实际情况，平滑度和平面度的计算可以提供平面模型的系数估计。

附图说明

图1为本发明的整体轮廓提取流程示意图；

图2为本发明全局聚类点云分割流程图；

图3为本发明Alpha形状算法的步骤状态示意图，其中(a)为构成平面点的状态示意图，(b)为轮廓alpha值为0.5的状态示意图，(c)为轮廓alpha值为0.1的状态示意图，(d)表示Alpha形状算法最终拟合线段的状态示意图；

图4为本发明实施例所使用的数据集，其中(a)为TUM场景(Arcisstrasse街)数据集，(b)为St.Gallen教堂场景数据集，(c)为诚镇广场场景数据集；

图5为本发明方法针对数据集进行处理的结果示意图，其中，(a)为TUM场景(Arcisstrasse街)的分割结果，(b)为诚镇广场场景的分割结果，(c)为St.Gallen教堂场景的分割结果，(d)为TUM场景(Arcisstrasse街)的平面，(e)为诚镇广场场景的平面，(f)为St.Gallen教堂场景的平面，(g)为TUM场景(Arcisstrasse街)的轮廓，(h)为诚镇广场场景的轮廓，(i)为St.Gallen教堂场景的轮廓。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明提出的平面重建方法的实现包括两个主要阶段：平面段的检测和提取以及平面段的几何建模。具体而言，第一阶段可以分为点云的分割和平面的检测。对于分割，提出了一种自下而上的点云分割方法，该方法利用超体素结构和基于全局图的优化，实现点云的自动和无监督分割。在随后的步骤中对分段进行基于平面度的提取，并且仅选择平面分段以及它们的邻域作为平面拟合的候选者。可以通过平面度计算给出的参数模型来识别平面的点。然后通过Alpha形提取平面的边界点。得到的基础线段由均值移位聚类提取和合并。对于平面的几何建模，采用单元分解方法得到提取平面的多边形表示。在图1展现了本发明的整体处理工作流程，并说明了所涉及的方法和样本结果的核心步骤。以下各节将介绍每个步骤的详细说明。

1)超体素的几何特征

为了将整个点云组织成一个超体素结构，首先通过八叉树分割将空间划分为一个小的三维立方网格，将每个节点分成八个相等的子节点，以生成基于八叉树的体素结构，即基于超体素的表征(Supervoxel-based representation)，然后每个超体素的几何属性由三部分定义组成：空间位置，方向信息和局部几何特征，这些均是由对每个超体素中的点计算得到的属性。为了对属性进行合理的表达，采用隐式平面来表示每个超体素对应的结构块，通过法线向量和质心来定义近似平面，而结构块中的点由集表示：

式中，

表示从原点到近似平面的距离，

表示法线向量，

表示质心。

表示空间位置的质心的空间坐标。方向信息由超体素中点集P_i形成的近似曲面的法线向量表示。而局部几何特征指的是四个基于特征值的协方差特征，包括线性度L_e，平面度P_e，曲率变化C_e和球形度S_e，它们由通过三维结构张量的特征值分解(EVD)获得的特征值计算而得，即超体素的几何属性(Geometric feature of supervoxels)。

2)构建全局图模型(Global graph-based clustering)

为了对于三维点进行分析，本发明使用全局图模型来表示通过边连接的节点之间的相似性。在该全局图模型中，节点代表从点生成的超体素，而连接节点的边则分配了不同的权重。图的结构使得三维场景的拓扑关系的表示成为了可能，为了简化图模型结构，基于超级体素之间的空间连接构建了邻接图，这里使用的是基于相邻超体素的属性生成的KNN(k-NearestNeighbor：k最近邻分类算法)图，通过检查共享边界来识别超级体素之间的连接情况。

3)基于全局图的聚类

在计算机视觉领域，点的聚类也被表述为图构造和分区问题。图形模型可以利用上下文从给定的观察中推断隐藏信息。基于图形的聚类旨在将数据集划分为不相交的子集，其中成员彼此相似。传统的局部图结构仅可以编码局部几何信息，其几乎不能代表全局尺度中的最优，因此当处理具有不规则几何形状(例如，植被点)的表面时经常发生过分割。为了解决局部图模型的缺点，本发明开发了基于全局图的聚类模型，构建了一个全局图模型来描述具有不同复杂性的三维场景的局部特征，并且在聚类节点之间保留了对象的细节。通过将节点V聚类到团C中，聚集在相同团中的超体素并将其合并为单个的分段S。在图2中，说明了这种基于全局图的聚类过程，图2中，Original point clouds表示原始点云，Supervoxels表示所有超体素，Voxel表示结构块，Supervoxel表示单个超体素，Centroidof supervoxel表示单个超体素的质心，Global graph clustering表示全局图模型聚类优化，Node表示节点，Segment表示单个分段，Segments表示平面片段，Edge表示连接关系。

一旦构建了所有超体素的全局图，就可以通过聚类构造的全局图的节点来优化两个超体素之间的连接。在这里本发明使用基于图的分割方法来解决此聚类问题。在识别出所有超体素之间的连接之后，将连接的超体素聚集成一个片段。通过使用深度优先策略遍历所有体素来重复执行该聚类过程，使所有连接的超体素被聚合成一个片段(Extractionof planes)。此外，需要交叉验证过程来检查连接的正确性：对于相邻的V_i和V_j，在分割V_i的图形之后，如果V_i被识别为连接到V_j，那么在V_j的图分块中，V_j应该依次连接到V_i。否则，它们将被识别为不连接的。

在获得片段后，对于每个片段，其对应的曲面的平滑度和曲率将通过三维结构张量的EVD的特征值计算得出：

M_e＝(e1-e2)/e1

C_e＝e3/(e1+e2+e3)

式中，M_e表示片段对应曲面的平滑度，C_e表示片段对应曲面的曲率，e1、e2和e3为三维结构张量不同的EVD特征值。

平面片段的超体素将被视为平面超体素，并且这些超体素内的点被视为提取平面的候选点。通过EVD计算，可以得到片段的质心和法向量，将其用作平面模型的系数。使用这些系数作为初始值，使候选点都经过RANSAC过程检查，以此来估计平面片段的优化平面模型。由于初始值大致与平面模型相吻合，因此RANSAC过程可以有效地找到内点。在这里应注意，对于一个平面片段对应的平面超体素，本发明使用包括位于片段的外边界处的它们的相邻超体素的点作为用于细化提取的平面的候选点。这是为了克服由基于体素的分割方法引起的“锯齿形”边缘的缺点。优化过的平面模型系数将通过RANSAC过程得到的内点，以最小二乘算法来进行计算。最后应用平面分组的方法来合并这些具有共面性的相邻平面。

4)从平面线段中提取轮廓(Contour extraction from planes)

对于提取的平面线段，将首先使用变换矩阵

将三维点集P₃投影到该线段的二维平面。使用Alpha形状算法，可以从这些投影的二维点P₂中提取出二维的轮廓B₂的分段。然后，分段的三维轮廓B₃的点可以通过

来实现。这里，Alpha形状算法被用于确定二维分段的边界点，尤其是凸对象的边界。在本实施例中，Alpha形状算法可以减少初始线性结构的冗余，这有利于随后的线性提取和细化。对于Alpha形状算法，Alpha值是判定最终边界精度的参数。较大的Alpha值会产生凸包的Alpha边界，而较小的值则表示每个点都可以是边界点。在图3中，本实施例用不同的Alpha值说明了Alpha形状算法检测到的边界点。

5)检测的线段(Detection of lines(Optional))

在前面步骤中的得到的分段的轮廓点，本步骤中会再次使用RANSAC(随机采样一致性)算法以拟合潜在的直线线段。为了减少异常值和精化结果(例如，二维平面图中的不规则凸起和凹坑)的影响，本步骤中会舍弃支撑点小于某一设定阈值的线段，定义L作为检测到的来自轮廓点的线段候选者设置B₃。对于每个线段l，在给定邻域中具有相似角度的所有相邻线段将被视为相邻集合N(l)。

为了消除冗余线段候选并获得真实和简洁的线段表示，进一步细化了拟合线段的方向，以便细化后的线段可以合并成具有平滑连接的完整线。在这里本发明使用方向的正则化来细化检测到的线段。第一步是确定线段片段的方向。然后，在第二步中，将进行这些取向的分类(即，标记任务)，其可以被表达为MRF(马尔科夫随机场)问题并且通过Graph-Cuts算法来解决。具体而言，对于每个线段，候选线段p方向θ_p直接通过其线模型的方向参数来实现。这里假设构成相同多边形的线段可能仅具有有限数量的定向角(即，能量函数中的标记)。换句话说，鼓励边缘与较长的边缘形成平行或垂直的方向。此外，还假设细化后的线段角度不应与其初始角度有较大偏差。基于这两个假设，首先为所有线段定义一组方向角。然后通过使用原点线的中心和方向角中的方位角形成设置L的候选线段来增强每个线段l。在此之后，建立考虑相邻平滑度和取向度的能量函数以帮助线段确定适当的取向角度。能量函数如下所示：

式中，E表示能量函数，λ表示比例因子，D(p,θ)表示线段与估计的方向角的拟合程度，N表示在方向领域中设置的线段，其包括具有相似方位角的线段对，S(θ_p,θ_q)表示线段对相似方向角的平滑程度，P表示候选线段集合，Φ表示定义的方向角组。

在能量函数中，数据项反映了数据拟合残差，其中线段与估计的方向角的拟合程度如下所示：

式中，

表示候选线段p中的点i到候选线段p在垂直方向上的拟合残差的和，方向角为θ，在平滑项中，对具有相似初始角度的线段进行不同的标记，线段对相似方向角的平滑程度为：

式中，θ_p和θ_q表示线段对的相似方向角，δ²表示残差。

在使用Graph-Cuts算法最小化能量函数之后，标记结果被转换为相应的方向角。具有相同取向角的那些线段被合并以形成新的线段，并且拐角是两个非平行或垂直线段的交叉点。

在实际实验过程中，本实施例使用了不同的激光扫描数据来对结果进行验证。图4给出了本实施例所使用的数据集，而图5给出了使用不同数据集下，本实施例所得到的各个步骤的详细结果。由结果中可以看出本发明的方法可以有效的提取城市场景中平面建筑结构的轮廓和边缘信息。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，该方法包括以下步骤：

步骤1：对原始平面建筑三维点云数据采用超体素的几何特征进行表征，获得通过超体素的几何特征进行表征的点云数据；

步骤2：针对通过超体素的几何特征进行表征的点云数据构建加权全局邻接图模型；

步骤3：针对以几何特征为权重的全局邻接图模型进行聚类分割以提取得到平面片段；

步骤4：从平面片段中提取片段点云边缘作为平面建筑构件轮廓；

所述步骤3中的包括以下分步骤：

步骤31：识别全局图模型中所有超体素之间的连接关系；

步骤32：通过深度优先搜寻方法将经过连接关系识别的所有超体素聚集成片段；

步骤33：通过交叉验证检验连接关系正确性；

步骤34：循环执行步骤31至步骤33后对给定平滑度和曲率阈值的片段进行提取并最终获得所有超体素对应的平面片段；

所述步骤4包括以下分步骤：

步骤41：使用变换矩阵将原始平面建筑三维点云数据的三维点集投影至所述平面片段的二维平面上；

步骤42：采用Alpha形状算法从二维平面上的投影点中提取出二维轮廓分段；

步骤43：通过变换矩阵的逆矩阵和二维轮廓分段进一步得到三维轮廓的点，对其进行组合并得到最终平面建筑构件点云轮廓。

2.根据权利要求1所述的一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，所述的步骤1中具体包括以下分步骤：

步骤11：通过八叉树分割将原始平面建筑三维点云数据划分为三维立方网络；

步骤12：将三维立方网络的每个节点分成多个相等的子节点以生成基于八叉树的超体素结构，即通过超体素的几何特征进行表征的点云数据，所述超体素结构中每个超体素的几何属性由空间位置、方向信息和局部几何特征组成。

3.根据权利要求2所述的一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，所述步骤12中每个超体素对应的结构块由所述点云数据集形成的近似曲面的法线向量和质心表示近似平面，由所述点云数据集表示所述结构块中的点，所述方向信息由所述点云数据集形成的近似曲面的法线向量表示，所述局部几何特征包括线性度、平面度、曲率变化和球形度。

4.根据权利要求1所述的一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，所述步骤32中的片段对应曲面的平滑度和曲率通过三维结构张量的EVD特征值得出，其描述公式为：

M_e＝(e1-e2)/e1

C_e＝e3/(e1+e2+e3)

式中，M_e表示片段对应曲面的平滑度，C_e表示片段对应曲面的曲率，e1、e2和e3为三维结构张量不同的EVD特征值。

5.根据权利要求1所述的一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，该方法还包括步骤5：针对最终面建筑构件点云轮廓进行检测以减少异常值和精化结果的影响，该步骤包括以下分步骤：

步骤51：通过RANSAC算法拟合最终面建筑构件点云轮廓中潜在的直线线段；

步骤52：确定直线线段片段的方向；

步骤53：对确定方向后的直线线段片段通过Graph-Cuts算法进行标记分类并检测。

6.根据权利要求5所述的一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，所述步骤52具体包括：对所有直线线段片段首先定义一组方向角，然后通过使用原点线的中心和方向角中的方位角形成设置候选线段，最后通过建立考虑相邻平滑度和取向度的能量函数以确定适当的取向角度，即直线线段片段的方向。

7.根据权利要求6所述的一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，所述能量函数为：

式中，E表示能量函数，λ表示比例因子，D(p,θ)表示线段与估计的方向角的拟合程度，N表示在线段方向所代表的特征空间中的标签集，S(θ_p,θ_q)表示线段对相似方向角的平滑程度，P表示候选线段集合，Φ表示定义的方向角组，p与q代表一组两个相邻线段的方向标签在集合N中的序号。

8.根据权利要求7所述的一种基于全局图聚类的平面建筑构件点云轮廓提取方法，其特征在于，所述线段与估计的方向角的拟合程度的计算公式为：

式中，

表示候选线段p中的点i到候选线段p在垂直方向上的拟合残差的和。

Images