CN111429563B - 基于深度学习的管道三维重建方法、系统、介质及设备 - Google Patents

Abstract

本公开提供了一种基于深度学习的管道三维重建方法、系统、介质及设备，涉及管道三维重建技术领域，利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；用实际的三维组件模型替代图中的节点以完成整个管道重建；本公开解决了现有的管道三维重建准确度较低的问题，将普通的管道重建问题的复杂度降为组件检测和模型拟合问题的组合，实现了管道的准确三维重建。

Description

基于深度学习的管道三维重建方法、系统、介质及设备

技术领域

本公开涉及管道三维重建技术领域，特别涉及一种基于深度学习的管道三维重建方法、系统、介质及设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

发电厂、石化厂及其他工厂的高质量三维模型在许多应用中都是至关重要的，包括灾难模拟、监测和执行培训。工业基地是根据特定的规划建造的，通常结合3D CAD模型。然而，建立一个完整而精确的三维模型是一项艰巨的任务。此外，这些模型可能不存在于较老的设施中，或者不能反映场地的当前外观。如今，现代激光扫描仪可以高精度地捕捉三维表面和几何图形，生成密集的点云采样。然而，在三维管道的场景中，捕获表面几何形状是特别具有挑战性的。

本公开发明人发现，由于管道在功能上的重要性和普遍性，它是许多工业场所的主要结构。它们是由长圆柱体定义的薄结构，这些长圆柱体组织在稠密而复杂的结构中。虽然管道仅仅是圆柱形的基本形状，可以很容易地定义为其轴线和半径，但它们往往包含额外的部件，如法兰、阀门、进气口、弯头、三通等。因此，管道表面小，结构复杂导致的自遮挡严重，部分缺失，采样不足等问题都容易造成管道三维扫描及重建的误差。

目前，点云三维管道重建的一种常见方法是基于几何处理和拟合。

这类的方法的关键是找到圆柱的半径和轴线的位置。常采用的方法是使用RanSac，霍夫变换等方法进行拟合以检测圆柱，主要是对工业厂房中的圆柱管道进行恢复。

有技术人员提出了将三维工厂重建问题简化为将管道投影到平面后二维圆的检测问题。但是，这种方法仅限于与地面垂直或平行的管道。这一类的工作只检测到直管道，而弯管等关节的地方无法自动恢复。虽然改进的霍夫变换实现了对点云中柱面参数的自动检测，之后重建圆柱之间的连接关系形成一个连续的网络，最后使用智能工厂3D(SP3D)处理数据从而重建整个管道，但是连接关系的恢复是依靠预定义的几种连接规则进行推测，有较高的不确定性。而且这种方法存在局部性问题，很少能够重建具有精确连通性的完整的火电厂等模型。自底向上的原始拟合技术也对噪声和异常值很敏感，因为它们缺乏全局和内容感知方面的考虑。虽然圆柱形通常是这些位置的主要几何形状，但实际数据包含大量其他结构，如法兰、阀门、进气口、弯头、三通等，如图1所示。商业软件EdgeWise也可用于交互式地重构管道运行，然而，这些软件产品通常需要大量的手工工作。

发明内容

为了解决现有技术的不足，本公开提供了一种基于深度学习的管道三维重建方法、系统、介质及设备，将普通的管道重建问题的复杂度降为组件检测和模型拟合问题的组合，实现了管道的准确三维重建。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种基于深度学习的管道三维重建方法。

一种基于深度学习的管道三维重建方法，包括以下步骤：

获取管道的点云数据，利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；

利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；

用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；

用实际的三维组件模型替代图中的节点以完成整个管道重建。

本公开第二方面提供了一种基于深度学习的管道三维重建系统，包括：

点云学习模块，被配置为：获取管道的点云数据，利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；

候选实例获取模块，被配置为：利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；

图结构构件模块，被配置为：用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；

管道重建模块，被配置为：用实际的三维组件模型替代图中的节点以完成整个管道重建。

本公开第三方面提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的基于深度学习的管道三维重建方法中的步骤。

本公开第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的基于深度学习的管道三维重建方法中的步骤进行管道三维模型的重建。

与现有技术相比，本公开的有益效果是：

1、本公开所述的方法、系统、介质及电子设备，将普通的管道重建问题的复杂度降为组件检测和模型拟合问题的组合，鲁棒性高，实现了管道的准确三维重建。

2、本公开所述的方法、系统、介质及电子设备，采用了聚类和图相结合的技术来过滤检测结果，并生成类图全局管道模型，有效的防止了生成训练集和设计训练网络等先验检测带来的误差。

3、本公开所述的方法、系统、介质及电子设备，将初始的不可靠的局部先验检测嵌入到一个处理框架中，该框架考虑全局属性和语义结构，从而较好地从工业结构点云重构完整的管道结构，实现更准确的管道三维重建。

4、本公开所述的方法、系统、介质及电子设备，所述的半径和方向向量采用权重共享的框架进行回归计算，可以有更好的准确率和收敛性。

附图说明

图1为背景技术中提供的现有的管道结构示意图。

图2为本公开实施例1提供的基于深度学习的管道三维重建方法的流程示意图。

图3为本公开实施例1提供的所属组件的半径和点的方向向量示意图。

图4为本公开实施例1提供的网络框架的结构示意图。

图5为本公开实施例1提供的带噪声的点云和预测的组件类别的结果示意图。

图6为本公开实施例1提供的原始的点云和经过预测特征计算出来的对应的轴线点的示意图。

图7为本公开实施例1提供的不同类型组件的骨架示意图。

图8为本公开实施例1提供的合成场景的重建示意图。

图9为本公开实施例1提供的与其他方法的重建结果对比示意图。

图10为本公开实施例1提供的不同缺失程度的点云下的重建结果示意图。

图11为本公开实施例1提供的真实点云数据下的重建结果示意图。

具体实施方式

应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1：

在管道设计中，管道场景是由管道组件和管道支撑组装成的。在本实施例中，由于问题的复杂性，主要考虑管道组件，忽略地板，栅栏等支撑件。

选取六种类型的组件作为基本件：管道、法兰、弯管、异径管、三通和四通。用额外的一个标签来标注不属于这六类组件的点。在本实施例中，学习了组件的类别，因此，将普通的管道重建问题的复杂度降为组件检测和模型拟合问题的组合。

本实施例采用了一种基于先验的学习方法，训练了一个深度学习网络来学习3D点云的候选特征。生成训练集和设计训练网络这种先验检测通常是有误差的，因此采用了聚类和图相结合的技术来过滤检测结果，并生成类图全局管道模型。将初始的不可靠的局部先验检测嵌入到一个处理框架中，该框架考虑全局属性和语义结构。

如图2所示，本公开实施例1提供了一种基于深度学习的管道三维重建方法，给定管道的扫描点云，该方法分四步完成重建：

(1)用深度学习技术学习点云的特征：点所属组件的类别c，点所属组件的半径r，点的方向向量o；利用点所属组件的类别可以将点分到对应的预定义的组件类别中；

在管道设计中，组件的类别和半径可以唯一确定组件的形状。由于管道重建更多关注的是管道的几何特征，所以这里通过检测组件的类别和半径来获取组件的形状信息。根据管道设计标准，组件的半径是预先规定好的离散的数值。如上所述，选取六种类型的组件作为基本件：管道、法兰、异径管、弯管、三通和四通，此外额外加一个类型标签用来区分非组件点。

因此，通过学习的方法来预测每个点(p∈P)的特征：点所属组件的类型c，点所属组件的半径r，和点的方向向量o。由于点所属组件的类型和半径是离散的，所以用分类进行预测，使用离散的类别预测比回归连续值有更好的准确性；点的方向向量是连续的，因此用回归进行预测。利用点的方向向量和半径，可以计算扫描点对应的轴线点的位置。

(1-1)训练集的生成

本实施例实现了管道生成器来模拟类似真实场景模型，并在合成的管道模型上训练网络。为了模拟真实的管道场景，通过组装组件的方式生成合成的管道。

具体步骤如下所述：

在设定的场景范围中先生成随机的骨架图，对于每个图节点，随机装配组件的类型、半径和朝向以得到整个管道场景。之后，用虚拟扫描库对管道表面进行采样，模拟扫描点云。结合网络学习所需的标签，对于每个扫描点，获取它所属组件的类型，所属组件的半径和点的方向向量，产生关于扫描点的groundtruth。其中组件的类型标签为0，1，2，3，4，5，6，0-直管，1-法兰，2-弯管，3-三通，4-四通，5-异径管，6-噪声点；组件的半径范围为0.365-4.6，共有23中不同的尺寸，即共有23个半径标签，分别为0.365，…，4.6.

(1-2)网络设计

如上所述，本实施例通过网络学习来预测点所属组件的类别c，点所属组件的半径r，点的方向向量o。使用PointCNN卷积神经网络来实现分类和回归任务。网络的输入是扫描的点云，每个点含有(x,y,z)坐标信息，输出是上述的三个标签。如图3所示，r表示点所属组件的半径，o表示点的方向向量。

具体的网络框架如图4所示。网络的输入是包含位置信息的点云P，用左上角的网络预测每个点的组件类别，该网络包含四层卷积，四层反卷积和两层MLP得到7个channel的特征映射，并紧跟一个softmax激活层。然后用该分类器来过滤掉噪声，即不属于六类组件的点。

然后定义了一个多任务网络来处理分类和回归，用右上角的网络来预测每个点所属组件的半径，右下角的网络来预测朝向。半径的范围是0.365-4.6米，共23个尺寸大小。因此右上角分类的分支经四层卷积，四层反卷积和两层MLP输出23个channel的特征向量，后跟softmax层，回归分支经四层卷积，四层反卷积和两层MLP输出3个channel的特征向量，即对应方向向量,其中两个分支的卷积层和反卷积层是共享的。

本实施例中执行多任务训练来同时训练整个网络。在分类任务中，用交叉熵损失函数；在回归任务中，使用L2 loss，因为半径和方向向量和扫描点到组件轴线的偏移向量有关，这两个任务采用权重共享的框架，可以有更好的准确率和收敛性。

(1-3)测试步骤

输入带有坐标信息的点云，经过分类网络得到每个点所属组件的类别标签c；然后利用此类别标签过滤掉非预定义组件类型的点，这里为类别标签c＝6的点；将剩余的点作为输入，经过多任务网络得到每个点所属组件的半径r和点的方向向量o；

测试结果展示如图5所示，左侧是输入的带噪声的点云，右侧是预测的组件类别的结果。其中右侧图中，不同的颜色深度表示不同类别的组件。

(2)利用点所属组件的半径r和点的方向向量o计算轴线点，结合点所属组件的类别标签c对轴线点进行聚类得到候选实例；

具体步骤为：

(2-1)计算扫描点对应的轴线点

上面依据网络预测得到每个点所属组件类别，所属组件的半径以及点的方向向量，即点的具体表示为：

L＝{(p₁,c₁,r₁,o₁),(p₂,c₂,r₂,o₂),…(p_n,c_n,r_n,o_n)}；

首先利用预测的组件半径和点的方向向量，计算每个点对应的轴线上的点；

对于点p_i，利用预测的组件半径r_i和方向向量o_i，使用如下公式计算对应的轴线点a_i：

a_i＝p_i+o_i×r_i；

轴线点的具体表示为：

L₂＝{(a₁,c₁,r₁),(a₂,c₂,r₂),…(a_n,c_n,r_n)}；

其中c_i∈{0,1,2,3,4,5}，其中0表示直管，1表示法兰，2表示弯管，3表示三通，4表示四通，5表示异径管；r_i∈{0,1,2,3,…,21,22}；其中0-22分别对应不同尺寸的半径大小。

(2-2)使用聚类算法DBSCAN对轴线点进行聚类

利用类型标签c_i，使用聚类算法DBSCAN对轴线点进行聚类。

具体步骤为：

取出类型标签为c_i＝0的轴线点，使用聚类算法进行聚类得到直管的候选实例集合；同理依次取出类别标签分别为1，2，3，4，5的点，分别聚类得到法兰实例集合，弯管实例集合，三通实例集合，四通实例集合，异径管实例集合，至此可得到场景中所有的候选实例集合。可以知道每个轴线点所在的实例编号，也可以知道每个实例对应的轴线点。

如图6所示，左图为原始的点云，右图为经过预测特征计算出来的对应的轴线点。同样，不同颜色深度的点表示不同的组件类型。

(3)用基于图的方法得到不同组件实例之间的连接关系，过程包含增删实例以得到合理的实例，实例及它们的连接关系最终以图的形式表示；

依据网络学习到的特征，经过第二步处理得到了对应的轴线点和候选组件实例集合，本步主要得到不同组件之间的连接关系。通过迭代求最小生成树的最长路径的方法得到管道的整体骨架，进而初步得到组件之间的连接关系。由于网络预测存在一定的误差，本实施例使用规则优化图结构，得到实例之间合理的连接关系。最后依据实例之间的连接关系得到整体骨架。

具体步骤为：

(3-1)针对每一个候选的组件实例，得到候选骨架。

将模板骨架和实例的轴线点利用ICP算法进行匹配，得到实例的候选骨架。模板的骨架是由端点和线表示的，为了将模板匹配到合适的位置，首先根据实例的轴线点数加密模板骨架上的点数，使得模板骨架上的点数和实例的轴线点数是一样的。然后利用匹配算法将模板的骨架放置合适的位置，得到实例的候选骨架。

(3-2)MST_D得到整体的框架。

给定轴线点，

L₂＝{(a₁,c₁,r₁),(a₂,c₂,r₂),…(a_n,c_n,r_n)}；

通过迭代提取最小生成树的最长路径的方法得到整体的框架。并用此连接关系指导得到实例之间的连接关系。

具体步骤如下：

初始化图G；

对于每个轴线点a，计算k近邻，并且距离小于ε，这里k＝20；ε＝0.7；满足条件的邻居与此轴线点有边相连，以此构成图G；

计算最小生成树森林T；

foreach t∈T do

计算t中最长路径d

将d加入D

从L中删除d中的节点

更新T

至此得到所有点的连接关系，构成管道的框架。

(3-3)根据聚类情况，得到实例之间的初始连接关系。

本步利用上面得到的轴线点之间的连接关系和聚类得到的实例信息，得到实例之间的连接关系；

D表示的管道框架是由多条无环路径d组成的，d是由轴线点组成的路径。遍历每条路径d，结合聚类结果，得到路径d上的实例之间的连接关系。

具体步骤如下：

首先根据每个轴线点对应的实例标签得到路径上的所有实例；

然后得到每个实例在路径上的起始和结束位置；

根据起始和结束位置得到在此路径上实例之间的连接关系；如果一个实例的起始和结束区间在另一个实例区间之内，则删掉此实例；如果两个实例的起始和结束区间重合度高于阈值ε，这里ε＝0.98，则删掉拥有点数少的实例；

依次处理完所有的无环路径，便可得到所有实例之间的初始关系。

(3-4)根据规则优化图架构，使得组件之间的连接关系合理。

根据观察可得不同类型的组件有特定的邻居关系。此步结合步骤(3-1)中得到的每个组件实例的模板信息，并利用这些连接规则来优化图架构，得到准确的实例之间的连接关系。规则如下：

直管：至多有两个邻居，且邻居实例的朝向需要相同；

法兰：至多有两个邻居，且邻居实例的朝向需要相同；

弯管：至多有两个邻居，与此组件相接的两个邻居端点的法向相互垂直；

三通：有三个邻居，与此组件相邻接的三个邻居端点需要构成三通的布局；

四通：有四个邻居，与此组件相邻接的四个邻居端点需要构成四通的布局；

若是不满足规则，则判定网络预测的组件类别标签出错，则进行标记；

最后检测根据标记更新实例之间的连接关系，如果邻接的端点的方向向量成垂直的状态，则在两个实例之间添加弯管实例。

(3-5)依据连接关系和轴线点计算骨架。

上面得到了实例之间的连接关系，并知道实例点云对应的模板骨架，接下来利用连接关系再次优化模板骨架的位置；现在便可得到最终的实例以及实例之间的连接关系，以实例为节点，以图的形式表示实例的连接关系，相邻接的实例之间有边。

(3-6)依据实例骨架得整体框架。

(4)用实际的三维组件模型替代图中的节点以完成整个管道重建。

本实施例所述的技术重构了遵循连接规则和管道中的语义关系的局部结构，结果表明，该方法能较好地从工业结构点云重构完整的管道结构。

每个轴线点带有预测的半径大小，根据这些点的半径大小取投票数最多的半径作为组件实例的半径；已知实例对应的模板的类别，半径以及模板的位置，现在用模板代替图中的节点完成整个管道的重建。

(5)结果展示

如图8所示为合成场景的重建，从左到右依次是输入的点云、用所属组件类别标记颜色的轴线点、管道的骨架、重建的管道。

如图9所示，从左到右是：输入的点云、本实施例方法得到的骨架、本实施例方法的重建结果、Huang等人得到的骨架(L1-medial skeleton of point cloud)、Liu等人的方法(Cylinder detection in large-scale point cloud of pipeline plant)的重建结果(将三维工厂重建问题简化为将管道投影到平面后二维圆的检测问题)、EdgeWise软件得到的重建结果和groundtruth(正确的重建结果)。

比较包含四种不同规模和复杂度的场景，从简单小场景到复杂大场景。当点云的密度和管道的复杂度增加的时候，Huang等人和Liu等人的方法会丢失组件，并且Liu等人的方法不能重建弯管等一些关节，只能重建出直的管道。商业软件EdgeWise需要大量的人工交互完成重建，交互时间越长，越能得到较好的结果，但是是一件非常耗时的事情。

为了评估方法的鲁棒性，对加入噪声和不同稀疏程度的点云进行了测试。这个实验模拟了在真实管道场景中会出现的问题：像自遮挡，弱光照和反射导致的高噪声和缺失。

从一个密集的扫描开始，通过控制虚拟扫描的参数逐渐增加每个点的噪声和稀疏程度。稀疏程度通过扫描相机的个数和每个相机的视角的个数进行控制。然后通过调整高斯参数加入不同程度的高斯噪声。图9展示了扫描稀疏程度和噪声程度从上到下不断增加，密集程度分别是100％，80％，65％，50％。

图11为真实点云数据下的重建结果，从左到右为输入的点云、本实施例方法重建的结果、Liu等人的方法重建的结果、EdgeWise软件重建的结果。

实施例2：

本公开实施例2提供了一种基于深度学习的管道三维重建系统，包括：

点云学习模块，被配置为：利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；

候选实例获取模块，被配置为：利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；

图结构构件模块，被配置为：用基于图的方法得到不同组件实例之间的连接关系，以组件为节点构成图的结构；

管道重建模块，被配置为：用实际的三维组件模型替代图中的节点以完成整个管道重建。

具体的三维重建系统的工作方法与实施例1所述的三维重建方法相同，这里不再赘述。

实施例3：

本公开实施例3提供了一种介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例1所述的基于深度学习的管道三维重建方法中的步骤。

实施例4：

本公开实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例1所述的基于深度学习的管道三维重建方法中的步骤进行管道三维模型的重建。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (12)

1.一种基于深度学习的管道三维重建方法，其特征在于，包括以下步骤：

获取管道的点云数据，利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；

利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；

用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；具体为：

针对每一个候选的组件实例，得到候选骨架；

通过迭代求最小生成树的最长路径的方法得到管道的整体骨架；

根据聚类情况，将初始的不可靠的局部先验检测嵌入到一个处理框架中，该框架考虑全局属性和语义结构，采用了聚类和图相结合的技术来过滤检测结果，使用规则优化图结构，得到实例之间的初始连接关系；

根据规则优化图架构，使得组件之间的连接关系合理；

依据连接关系和轴线点计算骨架；

依据实例骨架得到整体框架；

用实际的三维组件模型替代图中的节点以完成整个管道重建。

2.如权利要求1所述的基于深度学习的管道三维重建方法，其特征在于，采用PointCNN卷积神经网络来实现点云的特征学习，输出点所属组件的类别、点所属组件的半径和点的方向向量。

3.如权利要求1所述的基于深度学习的管道三维重建方法，其特征在于，所述轴线点的计算方法，具体为：

a_i＝p_i+o_i×r_i

其中，p_i为扫描点，r_i为点所属组件的半径，o_i为点的方向向量。

4.如权利要求1所述的基于深度学习的管道三维重建方法，其特征在于，利用点所属组件的类别标签，使用聚类算法DBSCAN对轴线点进行聚类，得到场景中各个候选实例集合，进而得到每个轴线点所在的实例编号和每个实例对应的轴线点。

5.如权利要求1所述的基于深度学习的管道三维重建方法，其特征在于，针对每一个候选的组件实例，得到候选骨架，具体为：

模板的骨架通过端点和线表示的，首先根据实例的轴线点数加密模板骨架上的点数，使得模板骨架上的点数和实例的轴线点数一样；

利用ICP匹配算法将模板的骨架放置合适的位置，得到实例的候选骨架。

6.如权利要求1所述的基于深度学习的管道三维重建方法，其特征在于，根据聚类情况，得到实例之间的初始连接关系，具体为：

根据每个轴线点对应的实例标签得到路径上的所有实例，得到每个实例在路径上的起始和结束位置；

根据起始和结束位置得到在此路径上实例之间的连接关系；如果一个实例的起始和结束区间在另一个实例区间之内，则删掉此实例；如果两个实例的起始和结束区间重合度高于阈值，则删掉拥有点数少的实例；

依次处理完所有的无环路径，得到所有实例之间的初始关系。

7.如权利要求1所述的基于深度学习的管道三维重建方法，其特征在于，

根据规则优化图架构，使得组件之间的连接关系合理，所述规则具体为：

直管：至多有两个邻居，且邻居实例的朝向需要相同；

法兰：至多有两个邻居，且邻居实例的朝向需要相同；

弯管：至多有两个邻居，与此组件相接的两个邻居端点的法向相互垂直；

三通：有三个邻居，与此组件相邻接的三个邻居端点需要构成三通的布局；

四通：有四个邻居，与此组件相邻接的四个邻居端点需要构成四通的布局；

若是不满足规则，则判定网络预测的组件类别标签出错，则进行标记；根据标记更新实例之间的连接关系，如果邻接的端点的方向向量成垂直的状态，则在两个实例之间添加弯管实例。

8.如权利要求5所述的基于深度学习的管道三维重建方法，其特征在于，

依据连接关系和轴线点计算骨架，具体为：

利用实例连接关系再次优化模板骨架的位置，得到最终的实例以及实例之间的连接关系，以实例为节点，以图的形式表示实例的连接关系，相邻接的实例之间有边。

9.如权利要求1所述的基于深度学习的管道三维重建方法，其特征在于，每个轴线点带有预测的半径大小，根据这些点的半径大小取投票数最多的半径作为组件实例的半径；

根据得到的实例对应的模板的类别、半径以及模板的位置，用模板代替图中的节点完成整个管道的重建。

10.一种基于深度学习的管道三维重建系统，其特征在于，包括：

点云学习模块，被配置为：获取管道的点云数据，利用深度学习方法学习点云的特征，至少得到点所属组件的类别、点所属组件的半径和点的方向向量；

候选实例获取模块，被配置为：利用点所属组件的半径和点的方向向量计算轴线点，结合点所属组件的类别标签对轴线点进行聚类得到候选实例；

图结构构件模块，被配置为：用基于图的方法得到不同候选实例之间的连接关系，以组件为节点构成图的结构；具体为：

针对每一个候选的组件实例，得到候选骨架；

通过迭代求最小生成树的最长路径的方法得到管道的整体骨架；

根据聚类情况，将初始的不可靠的局部先验检测嵌入到一个处理框架中，该框架考虑全局属性和语义结构，采用了聚类和图相结合的技术来过滤检测结果，使用规则优化图结构，得到实例之间的初始连接关系；

根据规则优化图架构，使得组件之间的连接关系合理；

依据连接关系和轴线点计算骨架；

依据实例骨架得到整体框架；

管道重建模块，被配置为：用实际的三维组件模型替代图中的节点以完成整个管道重建。

11.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-9任一项所述的基于深度学习的管道三维重建方法中的步骤。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9任一项所述的基于深度学习的管道三维重建方法中的步骤进行管道三维模型的重建。

Images