CN115131560A

CN115131560A - 基于全局特征学习和局部特征判别聚合的点云分割方法

Info

Publication number: CN115131560A
Application number: CN202210740591.0A
Authority: CN
Inventors: 孙海丽; 张振鑫; 李金城; 钟若飞; 邹建军; 许正文; 陆悦; 韩玉龙; 任晓旭
Original assignee: Shanghai Bofa Space Information Technology Co ltd; Capital Normal University
Current assignee: Shanghai Bofa Space Information Technology Co ltd; Capital Normal University
Priority date: 2022-06-28
Filing date: 2022-06-28
Publication date: 2022-09-30

Abstract

本发明介绍了基于全局特征学习和局部特征判别聚合的点云分割方法，其包括以下步骤：步骤S1、设计FPE模块，丰富每个点云的特征并扩展全局感受野；步骤S2、设计LFDA模块，学习更具有区别性的局部特征；步骤S3、基于胶囊网络设计GFC模块；步骤S4、设计GCM模块，用于构建全局相关性；步骤S5、通过级联多个全局和局部信息编码模块，在下采样的同时，不断扩展点的感受野；步骤S6、改进加权交叉熵损失函数，解决盾构隧道典型要素类别数据分布不均衡的问题；步骤S7、通过三个全连接层与一个Dropout层获得最后的语义预测。本申请直接对大规模3D盾构隧道点云数据进行语义分割，避免任何的预处理或后处理，进而实现快速分割盾构隧道典型要素。

Description

基于全局特征学习和局部特征判别聚合的点云分割方法

技术领域

本发明属于计算机视觉技术领域，具体涉及基于全局特征学习和局部特征判别聚合的点云分割方法。

背景技术

盾构地铁隧道作为重要的城市基础设施，需要快速、高效的检测方法来维护隧道的正常运营，在盾构地铁隧道中，部分典型要素如纵向和环向接缝、螺栓孔等由于隧道结构设计，比其它地方更容易产生变形、裂缝等问题，威胁隧道安全，因而成为隧道安全监测中需要重点关注的对象。目前传统的地铁隧道测量和监测任务中，主要是通过全站仪、断面仪等仪器或者摄影测量等方式来获取隧道3D点云，这种获取隧道点云的方式存在的缺陷为：(1)密度不均，传统扫描仪手动操作的模式使得生成的点云密度并不均匀；(2)低效率，传统扫描仪固定采集的方式使得隧道点云的生成效率低下；(3)工作量巨大，传统仪器通常需要手动搬动更换地点进行测量。

相较而言，移动激光扫描技术具有工作效率高，采集规模大，数据精度高等优势，其克服了传统方法的缺点，因而被广泛应用于地铁隧道监测的相关工作中。

同时，近些年来，深度学习受到了各研究领域的广泛关注。它通过使用反向传播算法发现大型数据集的复杂模式并大大提升深度模型的拟合速度。虽然现在有很多针对3D点云的深度学习模型，且在公开数据集上取得了十分不错的效果，但是这些模型在盾构隧道 3D点云数据中分割效果较差。随着三维采集技术的飞速发展，许多研究者将深度学习应用到了3D数据相关任务中，2D图像的典型深度学习方法由于其固有的数据不规则性而不能直接应用于三维点云；PointNet(Qi et al.，2017a)直接以点云为输入，通过对称函数实现置换不变性，具体来说，PointNet通过多个MLP层独立学习逐点特征，并通过最大池层提取全局特征。但由于PointNet自身结构原因它并不能捕捉局部邻域信息，因此，Qi etal.(2017b) 提出了一个多层次神经网络PointNet++，通过组合采样层，分组层并使用PointNet从每个点的几何邻域中捕捉精细的邻域特征。在PointConv(Wu et al.，2019)中，卷积被定义为关于重要抽样的3D卷积的蒙特卡洛估计(Monte Carlo estimation)，卷积核由加权函数(通过 MLP层学习)和密度函数(通过核密度估计和MLP层学习)组成。为了优化内存和提高计算效率，作者通过矩阵乘法和2D卷积进一步优化3D卷积，在相同的参数设置下，内存消耗可减少约64倍，通过建立邻居点的局部坐标系，PointCNN(Li et al.，2018)提出χ-conv(which is imple-mented through MLP)算子，通过χ-conv变换将输入点转换为潜在的标准顺序，然后对变换后的特征应用典型卷积算子。为了对大规模点云进行高效，快速的分割，(Hu et al.， 2020)提出了一种高效、轻量级的网络RandLA-Net，用于3D点云分割，该网络采用随机采样技术，降低了内存消耗并提升了运算效率。此外，该网络还进一步提出了局部特征聚合模块来捕捉局部几何特征并提升感受野，同样为了对大规模点云进行快速处理， FG-Net(Liu et al.，2020)通过新的滤波方法来处理噪声和离群值，并为了进一步学习输入点云的潜在特征，作者设计了相关特征挖掘模块和基于变形卷积的几何感知建模(correlated feature mining and deformable convolution basedgeometric-aware modelling)来充分挖掘局部特征依赖和几何模式。Zhao et al.(2019)提出了3D胶囊网络(3D Point Capsule Networks)，输入数据首先经过带有不同权重矩阵的独立卷积层挖掘深层特征，然后经过池化和拼接操作组合为初级点胶囊。最后，通过动态路由机制将初级点胶囊映射为潜在胶囊，高级胶囊是对初级胶囊中特征信息的更高层次的概括总结。该方法可以在多个领域使用，比如对象分类，对象重建和部分分割。在PointASNL(Yan et al.2020)中，作者利用自适应采样模块 (Adaptive Sampling(AS)module)自适应调整通过最远点采样算法(Furthest Point Sampling (FPS)algorithm)采样到的点的坐标和特征。并通过局部非局部(local-nonlocal，L-NL)模块来捕获这些采样点的局部特征和远距离依赖(long range dependencies)。Engel et al.(2021)提出了Point Transformer，作者通过建立局部矢量注意力并同时使用位置编码来对邻居点特征进行辨别性的学习，该模型在Stanford 3D Indoor Scene Dataset(S3DIS)(Armeni etal.，2016) 取得了state-of-the-art的结果。清华大学研究团队提出的Point CloudTransformer(PCT)(Guo et al.，2021)，该方法将应用于Nature Lanuage Process(NLP)并取得显著效果的Transformer (Vaswani et al.，2017)拓展到了3D点云数据任务中，并结合3D数据特点进行了改进，该方法也取得了不错的效果。为了同时使用3D点云的坐标信息和特征信息，BAAF-Net(Qiu et al.，2021)提出了双边上下文模块，该模块从坐标信息和特征信息互相学习偏移量来扩充每个点的局部上下文，为了构建一个可以全面解释每个点信息的特征图，该论文还提出了自适应融合模块，该模块从不同分辨率进行上采样得到不同表达的原始点信息，然后利用注意力机制将不同表达的原始点信息融合得到最终输出的原始点信息。SCF-Net(Fan et al.， 2021)为局部邻域构建不受Z轴旋转影响的局部极坐标系表示，并通过双距离注意力池化模块(Dual-Distance Attentive Pooling)聚合邻居信息。虽然应用于点云数据的深度学习网络模型已经十分广泛，但是目前最先进的网络模型不能很好的解决盾构隧道真实点云的要素分割任务。

中国专利CN111489358A公开一种基于深度学习的三维点云语义分割方法，属于三维点云与模式识别领域。包括：使用三维点云训练集训练语义分割神经网络模型，标签为真实语义类别，语义分割神经网络模型包括：特征提取网络和语义分割网络；特征提取网络用于提取三维点云的全局特征和局部特征；语义分割网络用于融合点云的全局特征和局部特征，输出的特征图对应各点属于各个语义类别的概率；将待测点云输入训练好的语义分割神经网络模型，得到点云的分割结果。其设计的方法使用局部特征提取模块对点云的多个尺度局部特征进行提取，使用通道注意提升模块提升重要特征通道的注意力，抑制不重要特征通道，使用加权重的多类别损失函数优化训练效果，提高了语义分割方法的精度。

中国专利CN113449744A公开了一种基于深度特征表达的三维点云语义分割方法，包括步骤1：搜集三维点云相关的数据集进行处理，用于模型的训练；步骤2：在模型训练过程中，对数据进行预处理；步骤3：建立深度网络模型，将点云数据输入到边缘特征模块获得边缘特征输入到U-Inception模块得到的特征张量输入到注意力权重模块；如上操作重复多次，每次得到的结果整合后输入到语义分割模块，得到最终的语义标签赋予结果；步骤4：将步骤2处理后得到的数据送入步骤3建立的网络的参数进行训练；步骤5：模型进行测试。其设计的方法实现了对点云中隐含信息的充分提取，解决了三维点云特征处理过程中的局部信息丢失问题，减少了所需参数量，精度高，速度快。

但是，虽然现在已经有很多深度学习模型应用于3D数据，并且很多模型都在具有挑战性的大型公开数据集上取得了不错的效果，但是这些模型并不能直接应用到盾构隧道3D 点云数据中。主要面临两个挑战：需要设计一个网络架构用于高效捕捉盾构隧道3D数据的隐藏特征和几何模式；以及盾构隧道典型要素之间存在严重数量分布不均衡问题，所以网络设计中需要同时解决这个问题。

发明内容

为解决上述问题，以求设计了一个高效的深度学习网络结构，它可以直接对大规模3D 盾构隧道点云数据进行语义分割，进而实现不再需要任何的预处理或后处理，最终实现快速分割盾构隧道典型要素。

为达到上述效果，本发明设计了基于全局特征学习和局部特征判别聚合的点云分割方法。

基于全局特征学习和局部特征判别聚合的点云分割方法，其包括以下步骤：

步骤S1、设计特征感知增强FPE模块，丰富每个点云的特征并扩展全局感受野；

步骤S2、设计局部信息挖掘LFDA模块，学习更具有区别性的局部特征；

步骤S3、基于胶囊网络设计全局特征捕捉GFC模块；

步骤S4、设计基于自注意力的全局相关建模GCM模块，用于构建全局相关性；

步骤S5、全局和局部信息捕捉模块由FPE、LFDA、GFC组成，通过级联多个全局和局部信息编码模块，在下采样的同时，不断扩展点的感受野；

步骤S6、改进加权交叉熵损失函数，解决盾构隧道典型要素类别数据分布不均衡的问题；

步骤S7、通过三个全连接层与一个Dropout层获得最后的语义预测。

优选地，所述步骤S1中，所述FPE模块包括相似性特征编码模块和混合池化模块。

优选地，所述相似性特征编码模块的网络输入原始点云P∈R^N×(3+d)包含3D坐标以及特征信息，

所述3D坐标：(S∈R^N×3,S＝{s₁,…,s_i,…,s_N},s_i∈R^1×3)，

所述特征信息：(F∈R^N×d,F＝{f₁,…,f_i,…,f_N},f_i∈R^1×d)，

式中P表示所有输入点云，N表示输入点的数量，d是输入点云特征信息的维度；P中的第i个点可以看作是p_i＝(s_i,f_i)^T。

优选地，使用相似性特征编码模块的方法为：

步骤S101、在相似性特征编码模块中，首先采用欧氏距离相似度基于特征空间和欧氏空间度量点的相似程度，并构建相似度矩阵，计算公式(1)所示：

式中Θ表示p_i,p_j的维度，x_i，y_i表示向量p_i和p_j在第i维度的值；

步骤S102、根据相似度矩阵，为每个点选择最相似的κ个邻近点

为了使邻近点有丰富的空间信息，重新编码邻近点的特征，编码方式如公式(2)：

式中[,]表示拼接操作，

表示中心点i的第k个邻近点的编码后的特征，s_i表示中心点 i的空间坐标，

表示中心点i的第k个邻近点的输入特征，

表示中心点i的第k个邻近点的空间坐标；

步骤S103、通过多层感知机器(MLP)操作学习邻近点特征的高维表示：

，式中

表示中心点i的第k个邻近点的特征经过学习后的特征。

优选地，所述使用混合池化模块的方法包括：

步骤S111、直接使用最大值池化来获取邻居点的显著特征Η_max；

步骤S112、使用平均值池化获取邻居点的整体特征Η_mean；

步骤S113、从邻居点特征

本身出发，通过学习邻居点特征的高维映射并通过标准化函数Softmax得到邻居点逐特征的注意力得分

计算过程如公式(3)：

式中W∈R^d’×d’，d'表示

的维度，是全连接层中可学习的权重；

步骤S114、利用注意力得分

对邻居特征加权求和得到

步骤S115、通过残差连接的方式将

和

连接，得到

步骤S116、通过逐通道求和的方式得到聚合后的特征Η_w，以学习邻居点的局部差异；

步骤S117、将三部分的池化结果拼接在一起得到最终输出Η_out＝[Η_w,Η_max,Η_mean]。

优选地，所述步骤S2中，局部信息挖掘模块的原理为：

步骤S21、对于输入点云P，首先通过K-Nearest Neighbors(KNN)算法寻找欧式空间中距离最近的K个邻居点；

步骤S22、将中心点与邻居点视为图结构：G＝{V,E}，式中V表示节点，E表示连接中心点与邻居点的边，V＝{1,2,…,N}，

步骤S23、然后通过顶点的空间坐标和特征得到邻边特征

邻边特征可以视为中心点与邻居点的连接关系，邻边特征按照公式(4)编码得到：

式中

表示中心点i的第k个邻居点的邻边特征，

表示中心点i的第k个邻居点的逆距离系数，该系数会随着距离的增加而减小，逆距离系数的计算如公式(5-6)：

公式(5)中s_i和

分别表示中心点i和第k邻居点的空间坐标值；

式中

表示中心点i第k个邻居点的特征；

式中

表示中心点i的k^th邻居点的三维坐标，p_i表示中心节点i；同时得到新的邻居点特征

步骤S24、对于邻边特征集

设计一个共享函数g(·)来学习每个特征的注意力分值s，共享函数g(·)是由一个线性变换后接一个softmax函数组成，它的定义如公式(7)：

式中W是可学习的权重；学习到的注意力得分

可以被认为是一个可以自动选择邻居点特征的掩膜，表示了中心点i与k^th邻居点在对应特征维度上相关性的强弱；

步骤S25、特征按照公式(8)加权并求和：

式中·表示点乘；

步骤S26、为了在保留每个点本身的特征的同时又可以学习到邻居点的特征，通过以下操作输出提取到的特征：

式中f_i表示本模块中心点i的输入特征，f_out表示本模块中心点i的输出特征。

优选地，所述步骤S3中，基于胶囊网络进行全局特征捕捉的方法为基于胶囊网络设计了Global Feature Capture模块；

具体方法为：

步骤S31、通过MLP逐点提取输入特征的高维表示，并将这些特征图输入到多个具有不同权重的独立卷积层中，每个层都能从不同的角度对输入点云特征图进行学习；

步骤S32、通过Max Pooling来获取他们的全局潜在表示；

步骤S33、将这些全局潜在表示拼接为名为初级点胶囊(Primary PointCapsules)的特征向量集F，F∈R^v×μ；F的大小取决于每个独立卷积层的输出维度μ和独立卷积层的个数v；

步骤S34、使用动态路由算法(如算法1所示)将初级点胶囊嵌入为更高特征级别的高级点胶囊F'，F'∈R^ζ×η。

优选地，所述步骤S4中，设计基于自注意力的全局相关建模，用于构建全局相关性的具体方法为：

步骤S41、设计基于自注意力的全局相关建模来计算输入特征F^G的全局语义相关性并建立全局依赖关系；

步骤S42、通过全局相关建模建立全局相关性后，将会自动捕捉特征和几何中的全局关系，然后自适应地获得具有局部和全局语义上下文关联的特征表示，以便于后续的分割任务；

步骤S43、对于输入的特征F^G∈R^N’×L，式中

L＝1024.经过线性变换分别获得

d₁＝256，

和v∈R^N’×L；

步骤S44、通过l₁和l₂的转置点乘得到相关性分数矩阵G^R∈R^N’×N’，如公式(9)：

式中@表示矩阵乘法；G^R中的每一个元素给出了l₁和l₂之间的相关性分数；

步骤S45、然后对G^R中的每一个元素进行同样的放缩操作，如公式(10)：

式中d_k＝256；

步骤S46、紧接着通过Softmax函数标准化放缩后的相关性分数矩阵G^s来获得潜在表示F^G最终的自相关权重G^A∈R^N’×N’；G^A中的每一个元素g_y,z按照公式(11)计算：

式中s_y,z表示G^A中的元素，g_y,z体现了元素y与元素z之间的相关性程度；

步骤S47、最后，通过注意力分数对输入特征F^G按照公式(12)计算得到

最终，计算了F^G元素之间的相关性并建立了全局依赖关系，得到了经过相关性加权的结果

语义分割结果可以直接通过对聚合的潜在特征

上采样的方式获得。

优选地，所述步骤S6中，通过级联多个该模块，在下采样的同时不断的扩展点的感受野的具体方法为：首先按照公式(13)计算每个类别数据量的占比，然后通过公式(14)计算最终的权重；

w_i＝exp(-r_i) (14)；

式中n_i表示类别i的点云数量，r_i表示类别i在所有类别的总量的占比，w_i表示类别i 的权重系数；

最终的加权交叉熵损失函数l_w如公式(15)所示；

式中c是类别数量，y是标签，当类别为i时，y_i＝1，否者y_i＝0，p_i表示神经网络输出的类别i的概率。

本申请的优点和效果如下：

(1)本申请提出了针对盾构隧道3D点云数据语义分割的网络模型，通过Globaland local feature encoder block在学习全局描述子的同时差异性的聚合局部特征，然后通过GCM模块建立全局相关性，并且针对盾构隧道类别数量不平衡的问题改进了加权交叉熵损失函数，直接对大规模3D盾构隧道点云数据进行语义分割，进而实现不再需要任何的预处理或后处理，最终实现快速分割盾构隧道典型要素。

(2)本申请通过对盾构地铁隧道真实场景3D点云数据典型要素进行标注，构建了盾构隧道数据集，便于后期的数据整理。

(3)本申请通过与现有的最先进的语义分割网络模型比较，GL-Net在盾构隧道3D点云数据语义分割任务上获得了最优的结果，在目前的实验中，至少提升了14.5％。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，从而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下以本申请的较佳实施例并配合附图详细说明如后。

根据下文结合附图对本申请具体实施例的详细描述，本领域技术人员将会更加明了本申请的上述及其他目的、优点和特征。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。

图1为特征感知增强的结构；左边是相似特征编码模块，右边是混合池化模块；

图2为FPE到LFDA的特征增强图；

图3为局部信息挖掘流程图；

图4为全局特征捕捉流程图；

图5为全局相关建模流程图；

图6为本发明提供的盾构隧道图；

图7为本发明提供的原始盾构隧道点云，盾构隧道标签化点云，GL-Net分割结果；

图8为κ与K的比较实验结果图；

图9为真实值和对不同结构的预测图；

图10为不同网络对盾构隧道数据及的语义分割结果图，绿色方框代表分割失败案例；

图11为本发明的整体设计图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本申请的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本申请的范围和精神。另外，为了清楚和简洁，实施例中省略了对已知功能和构造的描述。

应该理解，说明书通篇中提到的“一个实施例”或“本实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“一个实施例”或“本实施例”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。

此外，本申请可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身并不指示所讨论各种实施例和/或设置之间的关系。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。

本文中术语“至少一种”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和B的至少一种，可以表示：单独存在A，同时存在A和B，单独存在B 这三种情况。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含。

实施例1

本实施例主要介绍基于全局特征学习和局部特征判别聚合的点云分割方法的基础设计，具体设计请参考图11，其包括以下步骤：

步骤S3、基于胶囊网络设计全局特征捕捉GFC模块；

进一步的，所述步骤S1中，所述FPE模块包括相似性特征编码模块和混合池化模块。

进一步的，所述相似性特征编码模块的网络输入原始点云P∈R^N×(3+d)包含3D坐标以及特征信息，

所述3D坐标：(S∈R^N×3,S＝{s₁,…,s_i,…,s_N},s_i∈R^1×3)，

所述特征信息：(F∈R^N×d,F＝{f₁,…,f_i,…,f_N},f_i∈R^1×d)，

进一步的，使用相似性特征编码模块的方法为：

式中[,]表示拼接操作，

表示中心点i的第k个邻近点的输入特征，

表示中心点i的第k个邻近点的空间坐标；

步骤S103、通过多层感知机(MLP)操作学习邻近点特征的高维表示：

式中

表示中心点i的第k个邻近点的特征经过学习后的特征。

进一步的，所述使用混合池化模块的方法包括：

步骤S112、使用平均值池化获取邻居点的整体特征Η_mean；

步骤S113、从邻居点特征

计算过程如公式(3)：

式中W∈R^d’×d’，d'表示

的维度，是全连接层中可学习的权重；

步骤S114、利用注意力得分

对邻居特征加权求和得到

步骤S115、通过残差连接的方式将

和

连接，得到

进一步的，所述步骤S2中，局部信息挖掘模块的原理为：

步骤S23、然后通过顶点的空间坐标和特征得到邻边特征

式中

表示中心点i的第k个邻居点的邻边特征，

公式(5)中s_i和

分别表示中心点i和第k邻居点的空间坐标值；

式中

表示中心点i第k个邻居点的特征；

式中

步骤S24、对于邻边特征集

式中W是可学习的权重；学习到的注意力得分

步骤S25、特征按照公式(8)加权并求和：

式中·表示点乘；

进一步的，所述步骤S3中，基于胶囊网络进行全局特征捕捉的方法为基于胶囊网络设计了Global Feature Capture模块；

具体方法为：

步骤S32、通过Max Pooling来获取他们的全局潜在表示；

步骤S33、将这些全局潜在表示拼接为名为初级点胶囊(Primary PointCapsules)的特征向量集F，F∈R^ν×μ；F的大小取决于每个独立卷积层的输出维度μ和独立卷积层的个数ν；

进一步的，所述步骤S4中，设计基于自注意力的全局相关建模，用于构建全局相关性的具体方法为：

步骤S43、对于输入的特征F^G∈R^N’×L，式中

L＝1024.经过线性变换分别获得

d₁＝256，

和v∈R^N’×L；

式中d_k＝256；

语义分割结果可以直接通过对聚合的潜在特征

上采样的方式获得。

进一步的，所述步骤S6中，通过级联多个该模块，在下采样的同时不断的扩展点的感受野的具体方法为：首先按照公式(13)计算每个类别数据量的占比，然后通过公式(14)计算最终的权重；

w_i＝exp(-r_i) (14)；

最终的加权交叉熵损失函数l_w如公式(15)所示；

本申请提出了针对盾构隧道3D点云数据语义分割的网络模型，通过Global andlocal feature encoder block在学习全局描述子的同时差异性的聚合局部特征，然后通过GCM模块建立全局相关性，并且针对盾构隧道类别数量不平衡的问题改进了加权交叉熵损失函数，直接对大规模3D盾构隧道点云数据进行语义分割，进而实现不再需要任何的预处理或后处理，最终实现快速分割盾构隧道典型要素。

实施例2

基于上述实施例1，本实施例主要针对盾构隧道点云的语义分割，将隧道点云中的典型要素分割出来，主要包括纵向和环向接缝、螺栓孔等。由于隧道结构设计，接缝处比其它地方更容易产生变形、裂缝等问题，威胁隧道安全，因而成为隧道安全监测中需要重点关注的对象。其中，隧道接缝是隧道渗漏水的易发部位，而螺栓孔处则容易产生应力集中损伤和混凝土渗漏，这些问题将严重影响隧道质量，降低隧道使用年限。因此，隧道典型要素的准确分割对于隧道健康监测、变形监测、裂缝定位分析、错台分析、隧道断面提取以及三维可视化盾构隧道数据模型的建立等任务都非常重要。为此设计了一个高效的深度学习网络结构，它可以直接对大规模3D盾构隧道点云数据进行语义分割，而不需要任何的预处理或后处理。

具体包括以下方法：

1、特征感知增强(FPE)

在进行全局特征和局部特征提取前，结合盾构隧道点云数据特点，设计了一个FPE模块用于丰富每个点的特征并扩展全局感受野，如图1所示，FPE模块由相似性特征编码(Similarity Feature Encoding，SFE)和混合池化(Hybrid Pooling，HP)两部分组成。

1.1、相似性特征编码(SFE)

SFE模块如图1左图所示。网络输入的原始点云

包含3D坐标

和特征信息

式中P表示所有输入点云，N表示输入点的数量，d是输入点云特征信息的维度。P中的第i个点可以看作是p_i＝(s_i,f_i)^T。在SFE中，首先采用欧氏距离相似度度量基于特征空间的点和点之间的相似程度，并构建相似度矩阵，计算公式(1)所示。

式中Θ表示p_i,p_j的维度，x_i，y_i表示向量p_i和p_j在第i维度的值。然后，根据相似度矩阵，为每个点选择最相似的κ个邻近点

为了使邻近点有丰富的空间信息，重新编码了邻近点的特征，编码方式如公式(2)。

式中[,]表示拼接操作，

表示中心点i的第k个邻近点的输入特征，

表示中心点i的第k个邻近点的空间坐标。紧接着，通过多层感知(MLP)操作学习邻近点特征的高维表示：

式中

表示中心点i的第k个邻近点的特征经过学习后的特征。最后，通过设计的混合池化模块对邻边特征进行聚合，在尽可能多的保留邻近点的显著特征的同时学习他们的局部差异。

1.2、混合池化(Hybrid Pooling,HP)

PointNet(Qietal.，2017a)中提出用对称函数聚合邻居点的特征，如Max-Pooling和 Mean-Pooling等。Qiuetal.(2021)提出，逐点特征的准确提取对于语义分割任务非常重要。虽然无参数对称函数可以有效的聚合每个点的局部信息，但是他们并不能有效反映局部差异，当点云分布趋于集中时这个问题尤为明显。在图2(c)中解释了该问题，图2为FPE模块到LFDA的特征学习流程图，图2(a)代表输入点云；图2(b)代表相似矩阵过滤的k个点，不同颜色代表不同点的邻居(c)显示了LFDA对局部信息的聚合过程。此外，当点的分布趋于密集时，最近的点会找到相似的邻居点，例如子图(c)中的绿点和蓝点；此时，通过对称函数会学习到相同的特征。

为了能够捕捉充分点云的局部差异和显著特征，设计了一种混合局部信息聚合方法来有效的捕捉局部特征。如图1右图所示，首先，直接使用最大值池化来获取邻居点的显著特征Η_max。接着，使用平均值池化获取邻居点的整体特征Η_mean。然后，从邻居点特征

计算过程如公式(3)。

式中

d'表示

的维度，是全连接层中可学习的权重。然后利用注意力得分

对邻居特征加权求和得到

然后通过残差连接的方式将

和

连接，得到

紧接着通过逐通道求和的方式得到聚合后的特征Η_w，以学习邻居点的局部差异。最后，将三部分的池化结果拼接在一起得到最终输出Η_out＝ [Η_w,Η_max,Η_mean]。Η_out中既包含了通过注意力方式得到能反映局部差异的池化信息，也包含了能反映显著特征和整体特征的池化信息。

2、局部信息辨别性聚合(LFDA)

局部信息的正确学习有助于网络学习到更具有区别性的特征。为了捕捉到更具区别性的局部信息，如图3，设计了一个考虑邻居点与中心点相关性程度的局部信息挖掘模块： Local Feature Discriminative Aggregation(LFDA)。距离中心点更近的邻居点对中心点有更大的影响，同时中心点与邻居点特征差异和空间分布模式也会从不同的角度影响中心点与邻居点的相互关系。基于此，设计了本模块。对于输入点云P，首先通过K-Nearest Neighbors(KNN)算法寻找欧式空间中距离最近的K个邻居点。将中心点与邻居点视为图结构：G＝{V,E}，式中V表示节点，E表示连接中心点与邻居点的边，V＝{p₁,p₂,…,p_N}，

然后通过顶点的空间坐标和特征得到邻边特征

式中

表示中心点i的第k个邻居点的邻边特征，

公式(5)中s_i和

分别表示中心点i和第k邻居点的空间坐标值。

式中

表示中心点i第k个邻居点的特征。

式中

表示中心点i的k^th邻居点的三维坐标，p_i表示中心节点i。同时得到新的邻居点特征

紧接着，对于邻边特征集

设计了一个共享函数g(·)来学习每个特征的注意力分值s，共享函数g(·)是由一个线性变换后接一个softmax函数组成，它的定义如公式(7)：

式中W是可学习的权重。学习到的注意力得分

可以被认为是一个可以自动选择邻居点特征的掩膜，表示了中心点i与第k个邻居点在对应特征维度上相关性的强弱。然后，特征按照公式(8)加权并求和：

式中·表示点乘。最后，为了在保留每个点本身的特征的同时又可以学习到邻居点的特征，通过以下操作输出提取到的特征：

式中f_i表示本模块输入特征，f_out表示本模块输出特征。

3、全局特征捕捉(GFC)

3.1、胶囊网络(Capsule Network)

胶囊(Hinton等人，2011年)由一组载体组成。这些向量集是通过对输入数据执行内部操作和封装获得的，可以表示同一实体的不同属性信息(Ahmad et al.，2018)。一般来说， CNN对特征是不变的，但不是等变的。等变指的是检测可以相互转换的对象的特征。例如，如果对象以某个角度旋转，则胶囊可以通过等变特性识别对象以该角度旋转，而无需单独训练更改。与CNN相比，这是胶囊的一个独特特性，因为CNN需要训练对象的所有变化，例如比例、像素强度、方向等。胶囊有两个主要成分。一个是实体存在的局部不变概率。第二个是一组描述实体等变性的参数，也称为姿势。拥有这两个组件很重要，因为它们有助于有效识别实体。

3.2、挤压函数(Squashing Function)

挤压功能对胶囊也很重要，它应用于胶囊的输出，以规范化胶囊的向量。与ReLU(Krizhevsky et al.，2012)和Sigmoid(Mount，2011)类似，它也是一个非线性函数。然而，与ReLU不同，ReLU可以很好地处理标量，而挤压函数已被证明可以更好地处理胶囊输出的向量。如果输入向量长度较短，则函数会将该向量压缩为接近于0，如果向量长度较长，则尝试将输出向量约束为接近于1。挤压函数在算法1步骤5中定义。

3.3、动态路由算法(Dynamic Routing Algorithm)

动态路由算法(Sabour et al.，2017)应用于从主胶囊到高级胶囊的转换过程，主要用于解决高级胶囊如何使用初级胶囊中的向量，并通过使用动态路由算法帮助提高预测值。较低级别的胶囊将其输入发送到与其输入一致的较高级别。重量矩阵将通过两个胶囊之间的协议进行更新。路由算法执行类似于最大池的功能。然而，最大池层将在选择最重要的特征时消除不重要的特征。动态路由算法不会这样做，但会将主胶囊中的所有特征分配给高级胶囊的正确特征。算法1描述了动态路由算法的计算过程。该算法的输入和分别代表主胶囊中的向量、迭代次数和层。是计算过程中的临时变量，初始化为0。在步骤1中，首先通过可学习矩阵，获得初级胶囊中向量的高级表示。第3步到第7步迭代多次，以连续分配主胶囊中的特征。在步骤3中，通过softmax函数计算用于分配特征的耦合系数，然后在步骤4中，通过耦合系数对高级表示进行加权以获得。然后使用挤压函数对其进行归一化以获得。最后，和用于更新。r在本发明中设置为3时，循环结束，将作为最终结果输出。

3.4、基于胶囊的全局特征捕捉(GFC)

为了更好的计算全局描述信息，基于胶囊网络设计了Global Feature Capture模块。如图4，首先，通过MLP逐点提取输入特征的高维表示，为了使网络可以全面学习输入点云的特征，将这些特征图输入到多个具有不同权重的独立卷积层中，每个层都能从不同的角度对输入点云特征图进行学习。然后，通过Max Pooling来获取他们的全局潜在表示。紧接着，将这些全局潜在表示拼接为名为初级点胶囊(Primary Point Capsules)的特征向量集F，

F的大小取决于每个独立卷积层的输出维度μ和独立卷积层的个数v。然后，使用动态路由算法(如算法1所示)将初级点胶囊嵌入为更高特征级别的高级点胶囊(Advanced Point Capsules)，F’，

潜在点胶囊是对初级点胶囊的更高维的总结，含有丰富的全局特征。最后，通过HP将潜在点胶囊的特征进一步总结为全局特征描述子，X，

4、全局相关建模(GCM)

由于前文计算感受野的方法限制，并不能很好的获得全局相关性，此时的点之间缺乏相互依赖关系。在进行上采样之前，需要构建点与点之间的全局相关性和相互依赖关系，因此设计了基于自注意力的全局相关建模来计算输入特征F^G的全局语义相关性并建立全局依赖关系。通过GCM模块建立全局相关性后，将会自动捕捉特征中的全局关系，然后自适应地获得具有局部和全局语义上下文关联的特征表示，以便于后续的分割任务。如图5所示，首先，对于输入的特征

式中

L＝1024.经过线性变换分别获得

d₁＝256，

和

通过l₁和l₂的转置点乘得到相关性分数矩阵

如公式(9)：

式中@表示矩阵乘法。G^R中的每一个元素给出了l₁和l₂之间的相关性分数。然后对G^R中的每一个元素进行同样的放缩操作，如公式(10)：

式中d_k＝256。紧接着通过Softmax函数标准化放缩后的相关性分数矩阵G^s来获得潜在表示F^G最终的自相关权重

G^A中的每一个元素g_y,z按照公式(11)计算：

式中s_y,z表示G^A中的元素。g_y,z体现了元素y与元素z之间的相关性程度。即使在非邻域环境下，也可以有效捕捉更相关的分布式特征关系，并分配更大的注意力权重，在g_y,z中增强其相似的语义上下文。最后，通过注意力分数对输入特征F^G按照公式(12)计算得到c。

语义分割结果可以直接通过对聚合的潜在特征

上采样的方式获得。

5、优化的加权交叉熵损失函数

数据不均衡问题存在于各种数据集中，数据量大的样本会主导网络的训练过程，导致对小样本量的数据识别不佳。针对该问题可以通过损失函数对小数据量样本施加更大的惩罚来优化数据量的不均衡。加权交叉熵损失函数是解决数据不平衡的常用方法，其通过衡量每个类别样本数据量，为每个类别给出一个权重系数，使得大数据量样本会获得一个较小的惩罚权重，小数据量样本会获得一个较大的惩罚权重，使网络可以将训练重点放在小样本类别上。在本发明中，设计使用了一种适合各类别数据量不均匀的盾构隧道点云数据的权重计算方式。如公式(13-14)所示，首先按照公式(13)计算每个类别数据量的占比，然后通过公式(14)计算最终的权重。当不同类别间数据量差异过大时，这样的计算方式会使得权重保持在0-1之间，不会差异过大。

w_i＝exp(-r_i)#(14)

w_i2＝1/(r_i+0.02)#(15)

式中n_i表示类别i的点云数量，r_i表示类别i在所有类别的总量的占比，w_i表示类别i 的权重系数。最终的加权交叉熵损失函数l_w如公式(16)所示。

本申请通过对盾构地铁隧道真实场景3D点云数据典型要素进行标注，构建了盾构隧道数据集。

本申请通过与现有的最先进的语义分割网络模型比较，GL-Net在盾构隧道3D点云数据语义分割任务上获得了最优的结果，在目前的实验中，至少提升了14.5％。

实施例3

基于上述实施例1-2，本实施例主要介绍基于全局特征学习和局部特征判别聚合的点云分割方法的具体实施以及对比试验。

1、实验准备

1.1、数据集

盾构隧道数据集是从真实的盾构隧道场景中采集得到的3D点云数据，如图6所示，在成都地铁盾构隧道中利用FARO激光扫描设备得到原始点云扫描数据，数据包含三维坐标信息和强度信息。隧道的设计半径为2.7m，隧道总长度约1000m，在标注前去除了噪声点和轨道部分。此外，将数据集标注为7类：横缝，环缝，螺栓孔，注浆孔，电线-1，电线-2和杂类.并将数据集中的大约80％作为训练数据，20％作为测试数据。关于STDS各类别的数量对比如表1所示。从表1可以看出，除杂类的其他类别占总数据的约7.73％，且各类别间的点云数量也有较大的差距，如环缝的点云数量约是电线-1点云数量的约40 倍。

表1盾构隧道细节

	横缝	环缝	螺栓孔	注浆孔	电线-1	电线-2	杂类
								类别数量	2251	475	15375	2107	22	80	13
点数量	5050581	12661172	5963842	1286557	296302	1550687	341521213
								相对占比	0.01479	0.03707	0.01746	0.00377	0.00087	0.00454	1.000

1.2、实验环境

为了使用GL-Net来训练盾构隧道点云的语义分割，实验被部署在一个配备一个Intel Core i9-9900K中央处理器(CPU)，32GB的随机存取存储器(RAM)，和一个NVIDIARTX2080Ti GPU(16GB图形处理器)的环境下进行训练和测试。算法运行环境为Python3.6.10，CUDA 9.0.176，和cuDNN 6.0。在训练过程中，设置原始学习率为5e-3，以每个epoch 5％的速度衰减。使用默认设置的Adam优化器，并使用同步随机梯度下降 (SGD)(LeCun et al.，1998)在GPU上训练模型。

1.3、分割算法的度量

Accuracy和IoU(Shelhamer et al.，2015称为IU)是点云语义分割任务中常用的度量指标。然而，由于盾构隧道数据集的类别数量不均衡，Accuracy不能真正反映语义分割效果，本发明仅使用IoU作为度量指标。Mean IoU(mIoU)是每一类别的平均IoU。在计算单个类别的IoU时，将点云划分为目标类，即属于该类别的点云，以及背景类，即所有其他类别的点云。目标类被正确分割为目标类的事件情况为真阳性(TP)，背景类被正确分割为背景类的事件情况为真阴性(TN)，背景类分割作为目标类表示为假阳性(FP)，目标类被分割为背景类的事件被标记为假阴性(FN)。IoU按照公式(17)获得：

其中TP，FP and FN代表TPs，FPs and FNs的数量。

2对比试验

为了得到GL-Net的最佳效果，通过实验对比，得到了一些参数的最佳设置。这些实验是在盾构隧道数据集上进行的。

(1)FPE中的κ

首先研究了最近邻数的设置，在FPE中，最近邻数表示为相似矩阵中的最近邻数。本实验中k＝6，是LFDA中最近的邻居。结果如图8所示。当设置为6时，可获得最佳性能。较小时，模型可能没有足够的相似点来增强中心点的特征，从而导致语义分割性能较低。当相似度较大时，模型可能会使用相似度较低的点来降低模型的性能。

(2)LFDA中的K

和前面一样，研究了最近邻居数K的设置，在LFDA中表示为欧几里德空间的最近邻居数。当邻域更小时，模型可能没有足够的上下文来进行预测。当邻域较大时，每个LFDA 都使用大量的数据点，其中许多数据点可能不太相关，这可能会在处理中引入过多的噪声，降低模型的准确性。

(3)GFC中的υ,μ,ζ和η

对GFC的参数设置进行了对比实验。表示PPC的形状，表示APC的形状。考虑时间成本和内存消耗，设置四组实验。如表3所示。达到最佳性能时。PPC和APC维度(如) 的增加会导致模型性能较差，这可能是由于引入了过多无用信息造成的。

表3 GFC与损耗函数的比较实验结果

Paremeters	mIoU(％)
		16×512,16×64	71.87
8×512,32×64	72.21
		8×512,16×64	73.02
16×512,32×64	72.36
		divide	65.65
Foca lLoss(gam1ma＝1)	68.74
		Foca lLoss(gamma＝2)	71.5
Focal Loss(gamma＝3)	69.34
		ours(exp)	73.02

(4)损失函数

在这个实验中，比较了不同的损耗函数对的网络分割能力的影响。结果如表3所示。表示根据Eq.(13)和Eq.(15)计算权重，表示根据Eq.(13)和Eq.(14)计算权重。 Alpha和gamma是focal loss的参数(Lin et al.，2020)，Alpha和gamma分别用于解决类不平衡问题和分割困难问题。由于类别失衡在所有实验中都是相同的，所以在所有实验中都保持了alpha一致性，gamma值分别为1、2和3。通过exp计算权重的加权损失函数性能最好。而使用其他的损失函数会使mIoU减少1.5％～7.4％，这说明通过exp计算权重的减重函数对模型的性能至关重要。

在盾构隧道数据集上测试了网络的分割性能。此外，还通过盾构隧道数据集测试了一些最先进的点云语义分割网络。在测试这些网络时，保证了训练数据的数量和参数与原文一致，但会根据实际的训练结果调整相应网络的学习率，以达到最佳的分割性能。分割的定量结果如表2所示。显然，尽管许多方法已经在数据集上取得了最先进的结果，如Stanford 大规模3D室内空间(S3DIS)(armeni et al.，2016)和semantic3D(semantic3D)(hacker et al.， 2017)，但在盾构隧道上的结果并不具有优势。一方面，这些方法的特征学习方法可能不适用于隧道场景，因为隧道场景中的典型元素虽然分布均匀，但特征更难捕捉。另一方面，这些方法可能无法处理盾构隧道数据集中类别数量的不平衡，因为盾构隧道数据集中的元素之间存在严重的数据不平衡。如表2所示，本申请的网络优势明显。

表2盾构隧道语义分割结果

Method	mIoU	横缝	环缝	螺栓孔	注浆孔	无支撑电缆	弱电缆	杂类
									RandLANet	54.59	26.48	43.96	58.26	33.01	64.44	65.98	89.98
BAAFNet	51.99	33.25	36.53	50.27	30.81	62.07	63.68	87.33
									SCFNet	58.48	40.65	46.28	63.04	35.68	63.71	68.33	91.68
GL-Net	73.02	51.76	59.12	76.29	60.08	82.95	84.97	95.98

在图9中，定性地展示了的网络/没有部分结构的网络的分割结果。如图9所示，的网络可以清晰的分割典型的元素。被分割的典型单元清晰完整，对相邻单元没有明显的侵占。当去除一些模块，特别是LFDA时，网络的分割能力明显下降，分割后的典型元素的完整性下降。在图10中，定性地展示了不同网络在盾构隧道数据集上的分割效果。与GL-Net 相比，其他3种网络对相邻单元存在明显的侵蚀，可能导致纵向接头和周向接头的位置偏移以及相邻螺栓孔的连接，不利于进一步使用。同时一些典型元素的完整性也很差。

3、消融实验

由于网络的模块化设计，每个模块都可以很容易地与其他模块结合或从整体架构中移除。消融研究的目的是验证各个模块、混合池化和所采用的边缘特征采集方法的有效性和必要性。

4、模型有效性

为了验证各个模块对网络分割的有效性，设计了以下消融实验来验证模块的有效性。在实际实验中，会逐一关闭各个模块的输入和输出。试验方案如下：

(1)只有GFC，FDA和GCM，没有FPE；

(2)只有FPE，LFDA和GCM，没有GFC；

(3)只有GFC，FPE和GCM，没有LDFA；

(4)只有GFC，FPE和LFDA，没有GCM；

表4网络结构消融实验

如表4所示。当在网络结构中关闭LFDA时，模型的性能会下降约18.6％，这说明相邻点的显著特征的聚集对于整个网络的分割结果是非常重要的，在区分相邻点的特征时，它可以逐渐扩大感受野。此外，当关闭FPE和GCM模块时，网络分割mIoU分别下降了 1.5％和2％，这说明增加全局接受域和建立全局依赖可以有效提高网络分割任务的效果。最后，GFC的关闭导致大部分类目的分割能力下降，特别是纵向接缝和注浆孔。分割性能分别下降3.3％和2.1％。同时，GFC的关闭也导致mIoU下降约1％。这说明全局描述符的加入有助于提高网络对一些典型元素的分割能力。

3.2、LFDA中的边界特征

在5.2节介绍了如何获取边缘特征。进一步研究了框架中不同编码方法的影响。特别地，对边缘特征进行了以下更消融的实验：

(1)只编码相关邻域特征f_ik；

(2)编码反距离系数

和相关位置p_ik；

(3)编码

和p_ik；

(4)编码f_ik和p_ik；

(5)编码相关f_ik，p_ik和

表5 LFDA消融实验：用GL-Net编码不同边缘特征的mIoU结果

表5比较了不同边缘特征组合下mIoU的得分。可以看到1)同步编码，并导致最佳性能的73.02％。2)在LFDA有效聚合邻居信息中起着非常重要的作用。反距离系数能反映不同距离邻居对中心点的影响，去除反距离系数会使mIoU分数降低约1.1％。相对邻域特征可以反映邻域点与中心点之间的特征差异，去除相对邻域特征会使评分降低1.7％左右。相对位置在该组件中起着重要的作用，主要是因为相对点位置使网络能够感知局部的几何图案。3)当代码边缘特征仅为时，分割mIoU得分下降了3.3％左右，因为仅为不能准确反映相邻点对中心点的影响。

3.3、混合池化

现在研究选择混合池化的必要性。根据以下实验思路设计实验：

(1)只使用最大池化；

(2)只使用平均池化；

(3)只使用权重池化；

(4)使用最大池化和权重池化；

(5)使用平均池化和权重池化；

(6)使用权重池化，最大池化和平均池化；

表6混合池化的消融实验

Pooling method	mIoU(％)
		Only max pooling	71.76
Only mean pooling	71.56
		Only weighted pooling	71.01
Max pooling+weighted pooling	72.74
		Mean pooling+weighted pooling	72.09
ours	73.02

表6比较了STDS数据集上所有被消融网络的mIoU得分。可以看到：1)显式编码所有池化方法可以获得最佳mIoU性能。2)加权池化在该组件中起着重要的作用，主要是因为加权池化使网络能够感知局部差异。3)仅使用对称函数，如max pooling和mean pooling，不太可能提高性能，因为对称函数不能学习独特的局部特征。

以上所述仅为本发明的优选实施例而已，其并非因此限制本发明的保护范围，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，通过常规的替代或者能够实现相同的功能在不脱离本发明的原理和精神的情况下对这些实施例进行变化、修改、替换、整合和参数变更均落入本发明的保护范围内。