CN113361538A - 一种基于自适应选择邻域的点云分类和分割方法及系统 - Google Patents

Abstract

本发明涉及一种基于自适应选择邻域的点云分类和分割方法及系统，其方法包括：S1：获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点；S2：将中心点和邻居点经过两个局部特征学习模块，得到中心点的第一层和第二层局部特征；S3：将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与其他点进行全局信息交互，输出中心点全局特征；S4：将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出点云的分类和分割结果。本发明提供的方法选取出最合适的邻域点，丢弃冗余的邻域点，降低算法复杂度。

Description

一种基于自适应选择邻域的点云分类和分割方法及系统

技术领域

本发明涉及人工智能与点云分类分割技术领域，具体涉及一种基于自适应选择邻域的点云分类和分割方法及系统。

背景技术

近年来随着自动驾驶技术和机器人领域的不断发展，3D点云受到越来越多的关注。点云是无序点的集合，点云中的点主要由三维坐标表示，有时也会包括颜色信息和强度信息。点云相较于2D图像的优势在于提供了丰富的三维空间结构信息，对于自动驾驶等技术的发展很重要，因此对于3D点云的研究是十分必要的。目前点云在3D物体识别、分割、目标检测等领域进行了大量的研究，但由于点云自身的无序性和数据结构不规则，使得点云的分类和分割等任务面临着很大的挑战。

当前对于点云的处理主要有三种方法：三维体素法、多视图法、基于点的深度学习的方法。三维体素法将点云转换为三维体素网格，然后使用三维卷积神经网络进行处理，但是这种数据格式的转换会造成大量的冗余数据，要求很高的分辨率，使得计算量大大增加，同时，如果追求计算效率，采用低分辨率的体素网格，局部结构信息又会丢失。多视图法将点云转换成多个视角的二维图片，然后使用二维卷积神经网络处理，这种方法是以二维图像的形式来处理点云，这不可避免地会丢失三维结构信息，同时对于点云的分割任务，这种很难取得理想的效果。基于点的深度学习的方法相较于前两种方法的优势很明显，这种方法直接以点云作为输入，不经过预处理，计算量相对较小，因此成为当前的主流方向。斯坦福大学提出的PointNet是这一方向的开创性工作，它直接以点云作为输入，使用共享的多层感知机(MLP)和对称的Max Pooling函数解决了点云的无序性和排列不变性。在点云的分类分割任务上取得了较为理想的效果。但PointNet只是独立地处理点云中的各个点，点与点之间的联系没有考虑，因此缺失了捕捉局部结构信息的能力。后续的PointNet++虽然能够提取出局部特征，但是在局部区域内使用了Max Pooling得到局部特征，并没有考虑局部区域内点间的交互。DGCNN通过考虑中心点和邻居点的联系，提出了边缘卷积的方法；RSCNN通过中心点和邻居点间的几何位置关系学习相应点的权值系数，更好地学习到点云的几何形状；PointWeb是通过考虑局部区域内任意两点间的相互影响去更好地改善局部特征；GAC通过结合点间坐标差信息和特征差信息为不同的邻居点赋予不同的权重系数；这些方法都是先使用K-nearest neighbor(KNN)算法或球查询算法得到固定的邻域，然后专注于如何通过点间的关系来有效地提取局部特征，但是这些方法没有选取出最合适的邻域点并丢弃冗余的邻域点。因此，如何选取出最合适、最具代表性的邻域成为一个亟待解决的问题。

发明内容

为了解决上述技术问题，本发明提供一种基于自适应选择邻域的点云分类和分割方法及系统。

本发明技术解决方案为：一种基于自适应选择邻域的点云分类和分割方法，包括：

步骤S1：获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息自适应地选取中心点的邻居点；

步骤S2：将所述中心点和所述邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据所述中心点和所述邻居点的相对位置关系计算所述邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将所述中心点第一层局部特征输入第二局部特征学习模块，并根据所述中心点和所述邻居点的相对位置与所述邻居点的特征信息计算权重，最后输出中心点第二层局部特征；

步骤S3：将所述中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得所述中心点与所述点云中其他点进行全局信息交互，输出中心点全局特征；

步骤S4：将所述中心点第一层局部特征、中心点第二层局部特征和所述中心点全局特征进行连接，经过卷积、池化和全连接层，输出所述点云的分类和分割结果。

本发明与现有技术相比，具有以下优点：

本发明提出一种自适应选择邻域的点云分类和分割方法，为中心点选出关系最相近，最具代表性的邻居点，并丢弃冗余点，以降低算法复杂度。本发明采用局部特征提取模块和全局信息交互模块相融合的方法，不仅能有效捕捉点的局部信息，也能在整个点云中捕捉到特性相近的点，增强了特征表示。本发明提出的方法提高了在点云分类和分割任务上的精度。

附图说明

图1为本发明实施例中一种基于自适应选择邻域的点云分类和分割方法的流程图；

图2为本发明实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S1：获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点的流程图；

图3A为本发明实施例中是经过KNN算法所得到邻域的示意图；

图3B为本发明实施例中是经过本发明方法经过自适应选择得到邻域的示意图；

图4为本发明实施例中的自适应选择邻域模块的结构示意图；

图5为本发明实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S2：将中心点和邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征的流程图；

图6为本发明实施例中第一局部特征学习模块和第二局部特征学习模块的结构示意图；

图7为本发明实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S3：将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与点云中其他点进行全局信息交互，输出中心点全局特征的流程图；

图8为本发明实施例中一种基于自适应选择邻域的点云分类和分割方法中步骤S4：将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出点云的分类和分割结果的流程图；

图9A是本发明实施例中ground truth的示意图；

图9B是本发明实施例的模型预测的结果的示意图；

图9C是本发明实施例中误差图的示意图；

图10为本发明实施例中一种基于自适应选择邻域的点云分类和分割系统的结构框图。

具体实施方式

本发明提供了一种基于自适应选择邻域的点云分类和分割方法，选取出最合适的邻域点，丢弃冗余的邻域点，降低算法复杂度，并且有利于点的特征学习。

如图1所示，本发明实施例提供的一种基于自适应选择邻域的点云分类和分割方法，包括下述步骤：

步骤S1：获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点；

步骤S2：将中心点和邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据中心点和邻居点的相对位置关系计算邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将中心点第一层局部特征输入第二局部特征学习模块，并根据中心点和邻居点的相对位置与邻居点的特征信息计算权重，最后输出中心点第二层局部特征；

步骤S3：将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与点云中其他点进行全局信息交互，输出中心点全局特征；

步骤S4：将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出点云的分类和分割结果。

为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。

实施例一

如图1所示，本发明实施例提供的一种基于自适应选择邻域的点云分类和分割方法，包括下述步骤：

步骤S1：获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点；

步骤S2：将中心点和邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据中心点和邻居点的相对位置关系计算邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将中心点第一层局部特征输入第二局部特征学习模块，并根据中心点和邻居点的相对位置与邻居点的特征信息计算权重，最后输出中心点第二层局部特征；

步骤S3：将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与点云中其他点进行全局信息交互，输出中心点全局特征；

步骤S4：将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出点云的分类和分割结果。

本发明实施例首先自适应地选择特性最相近的邻居点进行特征学习，由于最接近中心点特性的点还是欧几里得距离上相对较近的点，因此在全局点云上搜索相近点是不太合理的，所以本发明实施例首先利用KNN算法为中心点选取一个相对较大的邻域，然后在这个邻域中挑选出最具代表性的点，同时也能扩大感受野。具体步骤如下：

如图2所示，在一个实施例中，上述步骤S1：获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息选取中心点及其邻居点，具体包括：

步骤S11：根据公式(1)获得中心点和邻居点特征：

f_i＝δ{bn{MLP(p_i)}}，f_j＝δ{bn{MLP(p_j)}}f_i，f_j∈R^C (1)

其中，将点云中的每个点作为中心点i，其初始的邻居点i是通过K-nearestneighbor(KNN)算法获得的，p_i，p_j分别是中心点和邻居点的原始三维坐标，中心点特征f_i和邻居点特征f_j由其原始三维坐标通过MLP转换所得，输出的f_i和f_j是实数域R的长度为C的特征向量，MLP(Multi-layer Perceptron)为多层感知机；δ是激活函数，bn是BatchNorm函数；

步骤S12：根据公式(2)计算邻居点的权重：

w_ij ^(a)＝MLP{(p_j-P_i)，(f_j-f_i)} (2)

其中，w_ij ^(a)∈ R^C是邻居点j的权重向量；f_j-f_i是邻居点和中心点的特征差；{，}表示特征维度上进行拼接；

步骤S13：将w_ii ^(a)值从大到小排序，取前K个点作为中心点的自适应邻居点；该K个自适应邻居点作为中心点的最终邻居点输入到后续的网络中；

步骤S14：根据公式(3)聚合邻居点特征，得到中心点的特征：

f_iout＝A(w_ij ^(a)·f_j)，f_iout∈R^C (3)

其中，.是向量对应元素相乘；A是聚合函数，用于将中心点的邻居点的特征聚合成中心点的特征，输出f_iout是所有点云中所有点的特征，即i＝1，2，3...N，N是点云中点的数目。

本发明实施例的中心点和邻居点是互为中心点和邻居点的关系，因此经过自适应选择邻域模块，对于点云中所有的点选择其对应的邻居点计算其特征并进行聚合，作为该中心点的特征。由于本发明实施例中的权重计算是由每个邻域内中心点和邻居点的位置差和特征差所得，因此本发明实施例对于不同的邻域都能自适应地选择期望的邻居点，所选取的邻居点最能反映出中心点所处邻域的特性。图3A是经过KNN算法所得到的邻域，图3B是本发明提供的方法经过自适应选择得到的邻域，可以看出自适应选择出的邻域形成了轮廓，而往往只需要轮廓就可以用来辨识物体的形状信息，这也是本发明在选取数量较少的邻居点和降低复杂度的情况下仍能保持很好实验效果的原因。图4展示了本发明实施例的自适应选择邻域模块的结构示意图。

如图5所示，在一个实施例中，上述步骤S2：将中心点和邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据中心点和邻居点的相对位置关系计算邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将中心点第一层局部特征输入第二局部特征学习模块，并根据中心点和邻居点的相对位置与邻居点的特征信息计算权重，最后输出中心点第二层局部特征，具体包括：

步骤S21：根据下述公式(4)，计算中心点和邻居点间的位置关系：

p_ij＝(dist_3D，p_j-p_i，p_i，p_j) (4)

其中，dist_3D是两点间的几何距离；

步骤S22：第一局部特征学习模块中权重系数以及邻居点加权特征的计算公式(5)～(6)如下所示；

w_ij ^(c1)＝MLP{(p_ij)} (5)

其中，第一层局部特征学习模块的输入特征f_1j是自适应选择邻域模块中相应点的输出特征，即对点j，f_1j＝f_jout，j＝1，2，3，...N，为区分模块的层数，记特征维度数C＝c1；w_ij ^(c1)∈R^c1，f_1j∈R^c1为邻居点第一层特征；

为邻居点第一层加权特征；

步骤S23：利用聚合函数对

进行聚合，得到中心点特征f_1i′，利用下述公式(7)计算中心点i第一层局部特征f_iout1：

f_iout1＝δ{bn{MLP(f_1i′，f_1i′-f_1i)}}，f_iout1∈R^c2 (7)

其中，f_1i∈R^c1＝f_iout∈R^C为中心点i的第一层局部特征，即为上述自适应选择邻域模块的输出特征，整个点云的第一层局部特征是f_out1∈R^N×c2，N为点云中点的个数；本发明实施例的聚合函数采用max pooling或者求和函数对所有的

进行聚合；

步骤S24：第二局部特征学习模块中权重系数以及邻居点加权特征的计算公式(8)～(9)如下所示：

w_1j ^(c2)＝MLP{(p_ij，f_2j)} (8)

其中，第二层局部特征学习模块的输入特征f_2j是第一层局部特征学习模块的输出特征，w_ij ^(c1)∈R^c2，f_2j∈R^c2是邻居点第二层特征；

为邻居点第二层加权特征；

步骤S25：利用聚合函数对

进行聚合，得到中心点特征f_2i′，利用下述公式(10)计算中心点i第二层局部特征f_iout2：

f_iout2＝δ{bn{MLP(f_2i，f_2i-f_iout1)}} (10)

其中，f_iout2为中心点i的第二层局部特征；整个点云的第二层局部特征是f_out2∈R^{N ×D}；N是所述点云中点的数目，D是特征通道数。

图6展示了第一局部特征学习模块和第二局部特征学习模块的结构示意图，其中，d是特征维度数，3是表示三维坐标特征，K是邻居点的个数。

本发明实施例的第一局部特征学习模块输入的是点云的浅层特征，只使用点间的相对位置关系有助于模型学习到邻域的形状结构信息，而第二局部特征学习模块输入的是高维语义特征，将点间位置信息和语义特征结合起来有助于模型更关注于语义特性更相关的邻居点。经过两个局部特征学习模块进行特征提取后，模型能够学习到丰富的局部特征表示。

如图7所示，在一个实施例中，上述步骤S3：将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与点云中其他点进行全局信息交互，输出中心点全局特征，具体包括：

步骤S31：根据下述公式(11)，计算任意两点间的注意力系数：

其中，

和ψ是两个线性函数；()^T是矩阵转置；*是矩阵乘法；weights∈R^N×N是N×N的矩阵；

步骤S32：根据下述公式(12)，计算中心点的加权特征：

f_w＝weights*f_out2，f_w∈R^NxD (12)

步骤S33：根据下述公式(13)，将特征差和全局加权特征进行级联，经过MLP输出最终的中心点全局特征：

f_out3＝δ{bn{MLP(f_w，f_w-f_out2)}} (13)。

现有的点云特征学习方法，主要是针对局部区域内的邻居点，没有考虑到整个点云范围内的全局上下文的信息交互。因此，本发明实施例设计一个全局信息交互模块来进行全局信息的学习。同时，由于自注意力机制能够很好的捕捉长距离范围信息，本发明实施例在全局信息交互模块中引用了自注意力机制。

如图8所示，在一个实施例中，上述步骤S4：将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出点云的分类和分割结果，具体包括：

步骤S41：将f_out1、f_out2和f_out3进行连接，即f_z＝{f_out1，f_out2，f_out3}，得到最终的特征f_z；

步骤S42：将f_z经过MLP网络，输出N×1024维特征，再经过一个最大池化函数输出1×1024维全局特征，经过两层全连接层，输出点云的分类结果；

步骤S43：将1×1024维的全局特征f_out3扩展成N×1024维特征，并与每个点的1024维特征连接得到2048维特征，同时，将物体的标签进行one-hot编码，将one-hot通过MLP编码转换成N×64维特征表示，并与2048维特征进行连接，经过三层全连接层，输出点云的分割结果。

将本发明实施例提供的模型应用在ShapeNet Part数据集上进行实验，图9A是ground truth，图9B是本发明的模型预测的结果，图9C是误差图。图9A和图9B中颜色的深浅表示不同的标签，图9C误差图中深色点表示预测错误的点，浅色点表示预测正确的点。由此可以看出本发明提供模型的分割效果是非常好，该模型在减小复杂度的情况下依然有理想的实验结果。

本发明提出一种自适应选择邻域的点云分类和分割方法，为中心点选出关系最相近，最具代表性的邻居点，并丢弃冗余点，以降低算法复杂度。本发明采用局部特征提取模块和全局信息交互模块相融合的方法，不仅能有效捕捉点的局部信息，也能在整个点云中捕捉到特性相近的点，增强了特征表示。本发明提出的方法提高了在点云分类和分割任务上的精度。

实施例二

如图10所示，本发明实施例提供了一种基于自适应选择邻域的点云分类和分割系统，包括下述模块：

选取邻居点模块，用于获取物体的点云三维坐标，将点云三维坐标输入自适应选择邻域模块，利用点云间的位置信息和特征信息自适应地选取中心点的邻居点；

获取中心点局部特征模块，用于将中心点和邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据中心点和邻居点的相对位置关系计算邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将中心点第一层局部特征输入第二局部特征学习模块，并根据中心点和邻居点的相对位置与邻居点的特征信息计算权重，最后输出中心点第二层局部特征；

获取中心点全局特征模块，用于将中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得中心点与点云中其他点进行全局信息交互，输出中心点全局特征；

点云的分类和分割模块，用于将中心点第一层局部特征、中心点第二层局部特征和中心点全局特征进行连接，经过卷积、池化和全连接层，输出所述点云的分类和分割结果。

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (6)

1.一种基于自适应选择邻域的点云分类和分割方法，其特征在于，包括：

步骤S1：获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息自适应地选取中心点的邻居点；

步骤S2：将所述中心点和所述邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据所述中心点和所述邻居点的相对位置关系计算所述邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将所述中心点第一层局部特征输入第二局部特征学习模块，并根据所述中心点和所述邻居点的相对位置与所述邻居点的特征信息计算权重，最后输出中心点第二层局部特征；

步骤S3：将所述中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得所述中心点与所述点云中其他点进行全局信息交互，输出中心点全局特征；

步骤S4：将所述中心点第一层局部特征、中心点第二层局部特征和所述中心点全局特征进行连接，经过卷积、池化和全连接层，输出所述点云的分类和分割结果。

2.根据权利要求1所述的基于自适应选择邻域的点云分类和分割方法，其特征在于，所述步骤S1：获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息自适应地选取中心点的邻居点，具体包括：

步骤S11：根据公式(1)获得所述中心点和邻居点特征：

f_i＝δ{bn{MLP(p_i)}}，f_j＝δ{bn{MLP(p_j)}}f_i，f_j∈R^C (1)

其中，将点云中的每个点作为中心点i，其初始的邻居点j是通过K-nearest neighbor(KNN)算法获得的，p_i，p_j分别是所述中心点和所述邻居点的原始三维坐标，所述中心点特征f_i和所述邻居点特征f_j由其原始三维坐标通过MLP转换所得，f_i和f_j是实数域R的长度为C的特征向量，MLP为多层感知机；δ是激活函数，bn是BatchNorm函数；

步骤S12：根据公式(2)计算所述邻居点的权重：

w_ij ^(a)＝MLP{(p_j-p_i)，(f_j-f_i)} (2)

其中，w_ij ^(a)∈R^C是邻居点j的权重向量；f_j-f_i是所述邻居点和所述中心点的特征差；{，}表示特征维度上进行拼接；

步骤S13：将w_ij ^(a)值从大到小排序，取前K个点作为所述中心点的自适应邻居点，该K个自适应邻居点作为所述中心点的最终邻居点输入到后续的网络中；

步骤S14：根据公式(3)聚合所述邻居点特征，得到所述中心点的特征：

f_iout＝A(w_ij ^(a)·f_j)，f_iout∈R^C (3)

其中，.是向量对应元素相乘；A是聚合函数，用于将所述中心点的邻居点的特征聚合成中心点的特征，输出f_iout是所有点云中所有点的特征，即i＝1，2，3...N，N是点云中点的数目。

3.根据权利要求1所述的基于自适应选择邻域的点云分类和分割方法，其特征在于，所述步骤S2：将所述中心点和所述邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据所述中心点和所述邻居点的相对位置关系计算所述邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将所述中心点第一层局部特征输入第二局部特征学习模块，并根据所述中心点和所述邻居点的相对位置与所述邻居点的特征信息计算权重，最后输出中心点第二层局部特征，具体包括：

步骤S21：根据下述公式(4)，计算所述中心点和所述邻居点间的位置关系：

p_ij＝(dist_3D，p_j-p_i，p_i，p_j) (4)

其中，dist_3D是两点间的几何距离；

步骤S22：所述第一局部特征学习模块中权重系数以及所述邻居点加权特征的计算公式(5)～(6)如下所示；

w_ij ^(c1)＝MLP{(p_ij)} (5)

其中，所述第一层局部特征学习模块的输入特征f_1j是所述自适应选择邻域模块中相应点的输出特征，即对点j，f_1j＝f_jout，j＝1，2，3，...N，为区分模块的层数，记特征维度数C＝c1；w_ij ^(c1)∈R^c1，f_1j∈R^c1为邻居点第一层特征；

为邻居点第一层加权特征；

步骤S23：利用聚合函数对

进行聚合，得到中心点特征f_1i′，利用下述公式(7)计算中心点i第一层局部特征f_iout1：

f_iout1＝δ{bn{MLP(f_1i′，f_1i′-f_iout)}}，f_iout1∈R^c2 (7)

其中，f_iout1为中心点i的第一层局部特征，整个点云的第一层局部特征是f_out1∈R^N×c2，N为所述点云中点的个数；

步骤S24：所述第二局部特征学习模块中权重系数以及所述邻居点加权特征的计算公式(8)～(9)如下所示：

w_ij ^(c2)＝MLP{(p_ij，f_2j)} (8)

其中，所述第二层局部特征学习模块的输入特征f_2j是所述第一层局部特征学习模块的输出特征，w_ij ^(c2)∈R^c2，f_2j∈R^c2是邻居点第二层特征；

为邻居点第二层加权特征；

步骤S25：利用聚合函数对

进行聚合，得到中心点特征f_2i′，利用下述公式(10)计算中心点i第二层局部特征f_iout2：

f_iout2＝δ{bn{MLP(f_2i′，f_2i′-f_iout1)}} (10)

其中，f_iout2为中心点i的第二层局部特征；整个点云的第二层局部特征是f_out2∈R^N×D；N是所述点云中点的数目，D是特征通道数。

4.根据权利要求1所述的基于自适应选择邻域的点云分类和分割方法，其特征在于，所述步骤S3：将所述中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得所述中心点与所述点云中其他点进行全局信息交互，输出中心点全局特征，具体包括：

步骤S31：根据下述公式(11)，计算任意两点间的注意力系数：

其中，

和ψ是两个线性函数；()^T是矩阵转置；*是矩阵乘法；weights∈R^N×N是N×N的矩阵；

步骤S32：根据下述公式(12)，计算所述中心点的加权特征：

f_w＝weights*f_out2，f_w∈R^NxD (12)

步骤S33：根据下述公式(13)，将特征差和所述全局加权特征进行级联，经过MLP输出最终的中心点全局特征：

f_out3＝δ{bn{MLP(f_w，f_w-f_out2)}} (13)。

5.根据权利要求1所述的基于自适应选择邻域的点云分类和分割方法，其特征在于，所述步骤S4：将所述中心点第一层局部特征、所述中心点第二层局部特征和所述中心点全局特征进行连接，经过卷积、池化和全连接层，输出所述点云的分类和分割结果，具体包括：

步骤S41：将f_out1、f_out2和f_out3进行连接，即f_z＝{f_out1，f_out2，f_out3}，得到最终的特征f_z；

步骤S42：将f_z经过MLP网络，输出N×1024维特征，再经过一个最大池化函数输出1x1024维全局特征，经过两层全连接层，输出所述点云的分类结果；

步骤S43：将1×1024维的所述全局特征扩展成N×1024维特征，并与每个点的1024维特征连接得到2048维特征，同时，将所述物体的标签进行one-hot编码，将所述one-hot通过MLP编码转换成N×64维特征表示，并与所述2048维特征进行连接，经过三层全连接层，输出所述点云的分割结果。

6.一种基于自适应选择邻域的点云分类和分割系统，其特征在于，包括下述模块：

选取邻居点模块，用于获取物体的点云三维坐标，将所述点云三维坐标输入自适应选择邻域模块，利用所述点云间的位置信息和特征信息自适应地选取中心点的邻居点；

获取中心点局部特征模块，用于将所述中心点和所述邻居点经过两个局部特征学习模块，得到具有局部特征的中心点特征；其中，第一局部特征学习模块根据所述中心点和所述邻居点的相对位置关系计算所述邻居点的权重，将加权后的邻居点特征聚合后，输出中心点第一层局部特征；将所述中心点第一层局部特征输入第二局部特征学习模块，并根据所述中心点和所述邻居点的相对位置与所述邻居点的特征信息计算权重，最后输出中心点第二层局部特征；

获取中心点全局特征模块，用于将所述中心点第二层局部特征输入全局信息交互模块，通过自注意力机制，使得所述中心点与所述点云中其他点进行全局信息交互，输出中心点全局特征；

点云的分类和分割模块，用于将所述中心点第一层局部特征、所述中心点第二层局部特征和所述中心点全局特征进行连接，经过卷积、池化和全连接层，输出所述点云的分类和分割结果。

Images