CN113393474B - 一种基于特征融合的三维点云的分类和分割方法 - Google Patents

Abstract

本发明提供了一种基于特征融合的三维点云的分类和分割方法。该方法包括：将三维点云划分为多个局部区域，对每个局部区域内通过KNN算法建立多尺度区域，通过图注意力卷积层提取尺度区域的细粒度尺度特征，为局部区域的每个尺度特征分配注意力权重，对局部区域的各个尺度特征按照注意力权重进行加权融合，得到包含细粒度几何信息的点云的局部区域特征；通过双向长短期记忆网络获取不同局部区域特征之间的上下文信息，将各个局部区域特征进行融合，得到点云的全局语义特征，对三维点云进行分类与分割。本发明挖掘不同局部区域的细粒度多尺度信息，结合不同尺度区域之间的相关性捕获局部区域信息，提升了三维点云场景理解中分类与分割任务的精确度。

Description

一种基于特征融合的三维点云的分类和分割方法

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种基于特征融合的三维点云的分类和分割方法。

背景技术

三维点云场景理解的典型任务包括目标检测、形状分类和目标分割等，其中分类与分割任务已成为测绘地理、导航定位、自动驾驶等领域的研究重点，在现实场景中得到了广泛的应用：根据分类与分割后的树木点云数据实现树木的建模，有助于掌握森林资源的信息，进行高效的森林资源管理与决策；通过点云分类与分割技术识别蔬菜大棚中的杂草，有利于保障农作物的品质；通过对医学点云数据进行分类与分割，可以更好地辅助医生进行更为准确的诊断和治疗；通过对残缺的历史文物进行分割与重建，有利于历史文物的研究与保护。在这些复杂的应用场景中，捕获点云的细粒度局部几何信息(如距离、方向等信息)和上下文信息(点对之间以及不同区域之间的关联关系)尤为关键。

表观相似目标不能有效区分是指相邻的两个或者多个目标，由于外观形状十分相似，导致目标之间不能正确分类和分割的现象。例如：横梁、房柱、墙这类物体，它们的外观形状十分相似，只有局部几何结构和上下文细节信息有所差异，如果不能充分挖掘这些细节信息，则容易导致目标分类和分割错误。

小目标误分割是指复杂环境下，由于目标尺寸有较大差异，导致体积较小且表观细节不明显的目标，在分割过程中被误分割的现象。

分割边缘粗糙是指紧挨或重叠的目标，由于忽略了相邻目标边缘点之间的结构关系，导致目标分割轮廓不清晰的现象。

三维点云场景理解的分类与分割技术的实际应用可以有效辅助不同领域的研究工作，但是由于复杂的真实环境中存在多种因素的制约，三维点云的分类与分割方法仍有很多值得深入研究的问题，具有重要的研究价值。如何充分捕获点云的细粒度局部几何信息和上下文信息，应对复杂场景中表观相似目标不能有效区分、小目标误分割、分割边缘粗糙等问题，是一个亟待解决的问题。

现有技术中的点云分类与分割方法大多通过手工提取的方式提取点云特征，然后通过构建相应的的判别模型实现点云的分类与分割。但这些传统方法在面对种类和数量越来越多的点云数据时，存在计算成本高、细节信息丢失、准确率低等问题。

现有技术中的第一种点云分类与分割方法包括：注意力机制(AttentionMechanism)能够让网络忽略无用信息而重点关注有用信息，为了捕获更多点云的重要信息，将注意力机制引入至点云的分类与分割算法中。基于注意力机制的方法能够捕获点云的不同层次特征之间的关联关系，聚集重要信息并剔除无用信息，相比于基于RNN的方法，在捕获特征间的长期依赖关系时不受输入序列的长度限制，并且参数量少，模型更简单。

注意力机制主要通过概率分布计算注意力权重，使网络忽略无关信息而关注重点信息。图1为现有技术中的一种注意力机制的通用形式示意图。注意力机制可以看成查询(Query)到键值对(Key-vaiue)的映射，注意力权重则是指Query和每个Key的相似度。图1中，K＝(k₁，k₂，...，k_N)表示键序列，V＝(v₁，v₂，...，v_N)表示值序列，Q＝(q₁，q₂，...，q_M)表示查询序列，计算过程可分为以下三步：

(1)计算注意力得分e_ti。使用点积、缩放点积、拼接以及相加等方式计算查询q_t和每个键k_i的注意力得分，如公式(2-1)所示。

(2)计算注意力权重α_ti。使用Softmax函数归一化注意力得分e_ti，如公式(2-2)所示。

(3)计算注意力输出Attention。将注意力权重α_ti和其对应的值v_i进行加权求和，如公式(2-3)所示。

Attention(q_t，K，V)＝∑_i α_ti v_i (2-3)

上述现有技术中的第一种点云分类与分割方法的缺点为：注意力机制无法学习特征序列中的前后顺序关系，而点云的分类与分割中点之间以及区域之间的前后顺序中也包含了一部分重要信息，所以仍会造成点云的部分重要信息丢失

上述现有技术中的第二种点云分类与分割方法包括：双向长短期记忆网络(Bi-directional Long Short-Term Memory，Bi-LSTM)是一种双向的长短期记忆网络(LongShort-Term Memory，LSTM)，本节将分别介绍LSTM和Bi-LSTM。

长短期记忆网络(LSTM)是一种改进的RNN网络，它在隐藏层中增加了分别用于记忆、更新和传递的门结构，并且添加了一个核心的记忆单元用来存储历史信息，其内部结构如图2所示。图2中，x_t表示输入序列值；h_t-1表示在t-1时刻的隐藏层状态；记忆单元c用于控制信息的传递，是网络的核心；输入门i决定当前x_t保留多少信息给c_t；遗忘门f决定保存多少前一时刻的c_t-1至当前的c_t；输出门o决定c_t传递多少至当前状态的输出h_t。

双向长短期记忆网络(Bi-LSTM)网络，同时考虑了前一时刻信息和后一时刻信息对当前时刻信息的影响，可以合理有效的解决不同时刻信息前后关联的问题，其内部结构如图3所示。输入层通过序列编码将输入数据编码成符合网络输入要求的序列；前向LSTM层通过LSTM从前往后获取历史信息；后向LSTM层通过LSTM从后往前获取未来信息；输出层通过序列连接将前向LSTM层的输出和后向LSTM层的输出进行整合。

上述现有技术中的第二种点云分类与分割方法的缺点为：LSTM通过记忆单元和门结构控制历史信息的更新与传递，能够处理与预测时间序列，有效缓解RNN和CNN的长距离依赖问题。但是如果输入信息序列过长，仍会导致远距离记忆丢失和梯度消失问题。Bi-LSTM同时考虑了历史信息和未来信息对当前信息的影响，可以合理有效的解决信息前后关联的问题，但是如果特征序列长度过长，仍会导致梯度衰减较大，输入序列前端的有效信息丢失。

发明内容

本发明提供了一种基于特征融合的三维点云的分类和分割方法，以实现有效地对三维点云场景进行理解、分类和分割。

为了实现上述目的，本发明采取了如下技术方案。

一种基于特征融合的三维点云的分类和分割方法，包括：

将三维点云划分为多个局部区域，对每个局部区域内通过KNN搜索算法建立多尺度区域，通过图注意力卷积层提取多尺度区域的细粒度多尺度特征；

通过空间注意力机制为局部区域的每个尺度特征分配注意力权重，对局部区域的各个尺度特征按照注意力权重进行加权融合，得到包含细粒度几何信息的点云的局部区域特征；

通过双向长短期记忆网络获取点云的不同局部区域特征之间的上下文信息，根据不同局部区域特征之间的上下文信息将各个局部区域特征进行融合，得到所述点云的全局语义特征；

根据所述点云的全局语义特征，对三维点云进行分类与分割。

优选地，所述的对点云中的每个局部区域内通过KNN搜索算法建立多尺度区域，包括：

通过迭代最远点采样算法和KNN搜索算法将输入的三维点云划分为M个局部区域{L₁，L₂，...，L_M}，在每个局部区域L_M中分别采用KNN搜索算法构建T个尺度区域，将局部区域L_M划分为T个不同尺度的尺度区域{S_M1，S_M2，...，S_MT}，根据所有的尺度区域建立多尺度区域。

优选地，所述的通过图注意力卷积层提取多尺度区域的细粒度多尺度特征，包括：

在每个尺度区域内，通过融合空间位置信息和特征属性信息的图卷积层提取不同邻域点与中心点之间的关联信息，并捕获点云的局部几何信息，得到每个尺度区域的细粒度几何特征，通过图注意力卷积层提取T个不同的尺度区域的细粒度尺度特征，根据每个尺度区域的细粒度尺度特征得到多尺度区域的细粒度多尺度特征。

优选地，所述的通过空间注意力机制为局部区域的每个尺度特征分配注意力权重，对局部区域的各个尺度特征按照注意力权重进行加权融合，得到包含细粒度几何信息的点云的局部区域特征，包括：

采用空间注意力机制为来自不同邻域点的信息分配不同的权重，为每个局部区域的T个尺度区域的尺度特征分别分配注意力权值，将每个局部区域的邻域点信息聚合到中心点，将每个局部区域的T个尺度区域的尺度特征按照注意力权重进行加权融合，得到1个局部区域特征，该局部区域特征包含点云细粒度局部几何信息和点对关联信息。

优选地，所述的通过双向长短期记忆网络获取点云的不同局部区域特征之间的上下文信息，包括：

利用双向长短期记忆网络Bi-LSTM和分组注意力模块构成上下文注意力编码层的编码器，通过所述编码器将点云的M个局部区域特征抽象为一个局部特征序列R＝{r₁，r₂，...，r_m，...r_M}，利用局部特征序列R进行不同局部区域特征之间的上下文信息提取，输出包含上下文信息的局部区域特征h_m，计算方法如公式(4-1)所示：

其中，W_a是一个可学习的权值矩阵；

表示Bi-LSTM输出层的结合方式，LSTM表示非线性激活函数。

优选地，所述的根据不同局部区域特征之间的上下文信息将各个局部区域特征进行融合，得到所述点云的全局语义特征，包括：

将Bi-LSTM编码后的包含上下文信息的所有局部区域特征h_m组成局部特征序列H＝{h₁，h₂，...，h_m，...h_m}；

采用分组注意力模块为不同局部区域特征h_m分配不同的注意力权重，根据局部特征序列H和其转置计算不同局部区域特征之间的关联关系，并应用Softmax函数对关系图进行归一化处理，得到分组注意力矩阵G，用G_j，i表示第i个局部区域特征对第j个局部区域特征的影响，即注意力权重，如公式(4-2)所示：

将局部特征序列H和分组注意力矩阵G之间利用矩阵乘法进行加权融合，使用跳跃链接将加权融合的结果与原始输入的局部特征序列H连接起来，输出三维点云的全局语义特征C，如公式(4-3)所示：

由上述本发明的实施例提供的技术方案可以看出，本发明实施例的方法既能挖掘不同局部区域的细粒度多尺度信息，又能通过结合不同尺度区域之间的相关性捕获局部区域信息，解决了局部区域特征表达能力不足的问题，增强了网络对于表观相似目标的区分能力，提升了三维点云场景理解中分类与分割任务的精确度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中的一种注意力机制的通用形式示意图；

图2为现有技术中的一种长短期记忆网络(Long Short-Term Memory，LSTM)的内部结构示意图；

图3为现有技术中的一种双向长短期记忆网络(Bi-LSTM)网络的内部结构图；

图4为本发明实施例提供的一种基于特征融合的三维点云场景理解方法的实现原理图；

图5为本发明实施例提供的一种基于特征融合的三维点云场景理解方法的具体处理流程图；

图6为本发明所提出的融合细粒度多尺度信息的特征提取方法的实现原理图；

图7为本发明实施例提供的一种图注意力卷积层的结构图；

图8为本发明实施例提供的一种空间注意力模块的内部结构图；

图9为本发明实施例提出的一种基于上下文注意力RNN的特征融合方法的实现原理图；

图10为本发明实施例提出的一种上下文注意力RNN编码层的内部结构图；

图11为本发明实施例提供的一种分组注意力模块的内部结构图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

本发明实施例基于对现有三维点云场景理解算法的研究与分析，主要研究基于特征融合的三维点云场景理解，实现三维场景理解中的形状分类、零件分割和语义分割任务。

本发明实施例通过不同层次的特征融合，充分捕获点云的几何形状信息、空间位置信息、上下文信息等重要的语境信息，提高学习特征的识别率，解决复杂场景下表观相似目标不能有效区分、小目标误分割以及分割边缘粗糙等问题，进而提高形状分类、零件分割与语义分割等三维场景理解任务的性能。

图4为本发明实施例提供的一种基于特征融合的三维点云场景理解方法的实现原理图，具体处理流程如图5所示，包括如下的处理步骤：

步骤S10、将三维点云划分为多个局部区域，对每个局部区域内通过KNN算法建立多尺度区域。

本发明所提出的融合细粒度多尺度信息的特征提取方法的实现原理图如图6所示。处理过程包括：通过迭代最远点采样算法和KNN搜索算法将输入的三维点云划分为M个局部区域{L₁，L₂，...，L_M}，在每个局部区域L_M中分别采用KNN搜索算法构建T个尺度区域，T值视具体任务而定，此处初始设置为T＝4，KT＝[16，32，64，128])，将局部区域L_M划分为T个不同尺度的尺度区域{S_M1，S_M2，...，S_MT}，根据所有的尺度区域建立多尺度区域。

步骤S20、通过图注意力卷积层提取多尺度区域的细粒度多尺度特征。

为了充分捕获点云的细粒度局部几何信息，在多尺度特征提取阶段，本发明提出了一种基于图注意力卷积层的多尺度特征提取方法。在每个尺度区域内，通过融合空间位置信息和特征属性信息的图卷积层提取不同邻域点与中心点之间的关联信息，并捕获点云的局部几何信息，得到每个尺度区域的细粒度几何特征。通过图注意力卷积层提取T个不同的尺度区域的细粒度尺度特征，根据每个尺度区域的细粒度尺度特征得到多尺度区域的细粒度多尺度特征。

本发明实施例提供的一种图注意力卷积层的结构如图7所示，图中，P_t＝{P_m，P_m1，P_m2，...，P_mk}表示局部区域L_m内的第t个尺度区域内的点集，P_m表示中心点，P_mk表示中心点m的第k个最近邻域点；用K近邻图G＝(V，E)表示中心点与邻域点之间的关系，其中，V表示图的顶点集合，E表示图的边缘集合；用e_mk表示图边缘系数，α_mk表示图注意力权重。

为了充分捕获点云的细粒度局部几何信息，本发明在计算图边缘系数e_mk时，同时考虑了点云的空间位置信息和特征属性信息；为了重点捕获有用信息，避免无用信息冗余，本发明还采用注意力聚集的方式代替传统的最大池化聚集方式(Max-pooling)。

步骤S30、通过空间注意力机制为每个局部区域的尺度特征分配注意力权重，对各个局部区域的尺度特征按照注意力权重进行加权融合，得到包含细粒度几何信息的点云的局部区域特征。

在多尺度特征融合阶段，强调不同尺度特征的重要性，采用空间注意力机制为来自不同邻域点的信息分配不同的权重，为每个局部区域的T个尺度区域的尺度特征分别分配注意力权值，将每个局部区域的邻域点信息聚合到中心点，将每个局部区域的T个尺度区域的尺度特征按照注意力权重进行加权融合，得到1个局部区域特征，该局部区域特征包含点云细粒度局部几何信息和点对关联信息。

为了有选择性地聚集多尺度特征，图8为本发明实施例提供的一种空间注意力模块的内部结构图，该空间注意力模块利用注意力机制思想来强调不同尺度特征的重要性，动态分配适当的注意力权重，将多尺度特征和注意力权重进行加权融合得到局部区域特征。

如图8所示，首先使用两个MLP(Multi-Layer Perceptron，多层神经网络)层将多尺度特征S映射为两个新的特征表示F1和F2，然后根据F1的转置和F2计算不同尺度特征之间的关联关系，并应用Softmax函数对关系图进行归一化处理，得到空间注意力矩阵A。本发明用a_ij表示空间注意力权重，如公式(3-4)所示，其中i和j分别表示尺度特征在F1和F2中的位置，两个特征的依赖关系越高，值越高，同时它也代表了特征之间的长期依赖关系。

同时，通过MLP层将多尺度特征S转化为新的特征D，然后在D和空间注意力矩阵A之间运用矩阵乘法加权融合多尺度特征，最后使用跳跃链接将加权融合的结果与原始输入的多尺度特征S连接起来，输出最终的局部区域特征L，如公式(3-5)所示。

L＝A·D+s (3-5)

综上，本发明直接从F1的转置和F2中计算特征之间的空间相关性，不改变矩阵，从而保持了点云原始的空间分布，能够更好地捕获点云的细粒度多尺度特征。与基于最大池化(MaxPooling)的特征融合相比，本发明所提的基于空间注意力的多尺度特征融合方法能够有选择性地聚集多尺度特征，避免尺度特征之间的特征污染。

步骤S40、通过双向长短期记忆网络获取点云的不同局部区域特征之间的上下文信息。

本发明实施例提出的一种基于上下文注意力RNN的特征融合方法的实现原理图如图9所示，首先通过Bi-LSTM模型提取局部区域特征间的前后关联性，捕获不同局部区域间的上下文信息；然后引入分组注意力机制，增加对局部区域特征重要性的考虑；最后通过池化层将局部区域特征融合为全局特征。

由于每个局部区域不仅与前面的局部区域具有相关性，与其后面的局部区域也有一定的关系，所以本发明选择RNN的衍生网络Bi-LSTM作为上下文注意力编码层的编码器。但Bi-LSTM模型容易造成先输入特征携带的信息会被后输入特征稀释掉，导致全局特征向量得不到合理表示。为了解决该问题，本发明考虑在Bi-LSTM模型基础上引入了分组注意力模块来突出不同的局部区域特征对整个输入点云的全局特征的重要程度，使模型重点关注有用特征信息，避免无用特征信息冗余，这样可以有效解决长序列前端语义信息丢失的问题。本发明实施例提出的一种上下文注意力RNN编码层的内部结构如图10所示，主要包括Bi-LSTM和分组注意力两部分，其主要计算流程如下：首先将M个局部区域特征抽象为一个局部特征序列R＝{r₁，r₂，...，r_m，...r_M}，然后采用Bi-LSTM编码器进行局部区域间的上下文信息提取，最后输出包含上下文信息的局部区域特征h_m，计算方法如公式(4-1)所示。

其中，W_a是一个可学习的权值矩阵；

表示Bi-LSTM输出层的结合方式，本发明采用concat结合的方式，concat表示向量间首尾拼接处理函数；LSTM表示非线性激活函数。

步骤S50：根据不同局部区域特征之间的上下文信息将各个局部区域特征进行融合，得到点云的全局语义特征。

图11为本发明实施例提供的一种分组注意力模块的内部结构图。获取到Bi-LSTM编码后的局部特征序列H＝{h₁，h₂，...，h_m，...h_M}，本发明采用一个分组注意力模块为不同局部区域特征h_m分配不同的注意力权重，强调不同局部区域特征的重要性。分组注意力模块一开始不需要卷积操作，因为特征融合阶段的注意力模块输入的是每个局部区域的特征，包含了许多点云之间的关联信息，运用卷积会破坏这些关联关系。

如图11所示，首先根据局部特征序列H和其转置计算不同局部区域特征之间的关联关系，并应用Softmax函数对关系图进行归一化处理，得到分组注意力矩阵G。本发明用G_j，i表示第i个局部区域特征对第j个局部区域特征的影响，即注意力权重，如公式(4-2)所示，两个特征的依赖关系越高，值越高，同时它也代表了局部区域特征之间的长期依赖关系。

然后将局部特征序列H和分组注意力矩阵G之间运用矩阵乘法加权融合，最后使用跳跃链接将加权融合的结果与原始输入的局部特征序列H连接起来，输出最终的三维点云的全局语义特征C，如公式(4-3)所示。

步骤S60：后续可以根据三维点云的全局语义特征，对三维点云进行分类与分割。

综上所述，本发明实施例所提出的融合细粒度多尺度信息的特征提取方法，既能挖掘不同局部区域的细粒度多尺度信息，又能通过结合不同尺度区域之间的相关性捕获局部区域信息，解决了局部区域特征表达能力不足的问题，并增强了网络对于表观相似目标的区分能力，在保证时间复杂度和空间复杂度适中的情况下，提升了三维点云场景理解中分类与分割任务的精确度。

本发明实施例所提出的基于上下文注意力RNN编码的特征融合方法，能够充分捕获局部区域间的相关性，获取细粒度的局部几何信息和空间上下文信息，有效改善了复杂环境中表观相似目标不能有效区分、小目标误分割以及分割边缘粗糙等问题，在保证时间复杂度和空间复杂度适中的情况下，提升了点云分类与分割任务的精确度。

本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于特征融合的三维点云的分类和分割方法，其特征在于，包括：

将三维点云划分为多个局部区域，对每个局部区域内通过KNN搜索算法建立多尺度区域，通过图注意力卷积层提取多尺度区域的细粒度多尺度特征；

通过空间注意力机制为局部区域的每个尺度特征分配注意力权重，对局部区域的各个尺度特征按照注意力权重进行加权融合，得到包含细粒度几何信息的点云的局部区域特征；

通过双向长短期记忆网络获取点云的不同局部区域特征之间的上下文信息，根据不同局部区域特征之间的上下文信息将各个局部区域特征进行融合，得到所述点云的全局语义特征；

根据所述点云的全局语义特征，对三维点云进行分类与分割；

所述的对每个局部区域内通过KNN搜索算法建立多尺度区域，包括：

通过迭代最远点采样算法和KNN搜索算法将输入的三维点云划分为M个局部区域{L₁，L₂，...，L_M}，在每个局部区域L_M中分别采用KNN搜索算法构建T个尺度区域，将局部区域L_M划分为T个不同尺度的尺度区域{S_M1，S_M2，...，S_MT}，根据所有的尺度区域建立多尺度区域。

2.根据权利要求1所述的方法，其特征在于，所述的通过图注意力卷积层提取多尺度区域的细粒度多尺度特征，包括：

在每个尺度区域内，通过融合空间位置信息和特征属性信息的图卷积层提取不同邻域点与中心点之间的关联信息，并捕获点云的局部几何信息，得到每个尺度区域的细粒度几何特征，通过图注意力卷积层提取T个不同的尺度区域的细粒度尺度特征，根据每个尺度区域的细粒度尺度特征得到多尺度区域的细粒度多尺度特征。

3.根据权利要求1所述的方法，其特征在于，所述的通过空间注意力机制为局部区域的每个尺度特征分配注意力权重，对局部区域的各个尺度特征按照注意力权重进行加权融合，得到包含细粒度几何信息的点云的局部区域特征，包括：

采用空间注意力机制为来自不同邻域点的信息分配不同的权重，为每个局部区域的T个尺度区域的尺度特征分别分配注意力权值，将每个局部区域的邻域点信息聚合到中心点，将每个局部区域的T个尺度区域的尺度特征按照注意力权重进行加权融合，得到1个局部区域特征，该局部区域特征包含点云细粒度局部几何信息和点对关联信息。

4.根据权利要求1所述的方法，其特征在于，所述的通过双向长短期记忆网络获取点云的不同局部区域特征之间的上下文信息，包括：

利用双向长短期记忆网络Bi-LSTM和分组注意力模块构成上下文注意力编码层的编码器，通过所述编码器将点云的M个局部区域特征抽象为一个局部特征序列R＝{r₁，r₂，...，r_m，...r_M}，利用局部特征序列R进行不同局部区域特征之间的上下文信息提取，输出包含上下文信息的局部区域特征h_m，计算方法如公式(4-1)所示：

其中，W_a是一个可学习的权值矩阵；

表示Bi-LSTM输出层的结合方式，LSTM表示非线性激活函数。

5.根据权利要求4所述的方法，其特征在于，所述的根据不同局部区域特征之间的上下文信息将各个局部区域特征进行融合，得到所述点云的全局语义特征，包括：

将Bi-LSTM编码后的包含上下文信息的所有局部区域特征h_m组成局部特征序列H＝{h₁，h₂，...，h_m，...h_M}；

采用分组注意力模块为不同局部区域特征h_m分配不同的注意力权重，根据局部特征序列H和其转置计算不同局部区域特征之间的关联关系，并应用Softmax函数对关系图进行归一化处理，得到分组注意力矩阵G，用G_j，i表示第i个局部区域特征对第j个局部区域特征的影响，即注意力权重，如公式(4-2)所示：

将局部特征序列H和分组注意力矩阵G之间利用矩阵乘法进行加权融合，使用跳跃链接将加权融合的结果与原始输入的局部特征序列H连接起来，输出三维点云的全局语义特征C，如公式(4-3)所示：

Images