CN114677508A - 一种基于动态滤波和逐点相关的点云实例语义分割方法 - Google Patents

Abstract

本发明涉及一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。

Description

一种基于动态滤波和逐点相关的点云实例语义分割方法

技术领域

本发明涉及计算机视觉领域，尤其涉及一种基于动态滤波和逐点相关的点云实例语义分割方法。

背景技术

点云实例语义联合分割的主要思想是利用语义特征和实例嵌入特征的优势相互促进，提高语义分割和实例分割的结果。这是因为语义分割和实例分割在某些方面是有共同之处的，例如：属于不同语义类别的点一定是属于不同的实例，属于同一个实例的点也一定属于同一个语义类别。下面将从点云实例语义分割和点云上下文信息建模两个方面对相关背景技术进行介绍。

近年来，基于深度学习的方法已经被广泛应用到点云的处理中。Pham等人提出了一种基于多任务的逐点网络来分别预测点云的语义类别和实例嵌入向量，然后使用一个多值条件随机场作为后处理来生成实例对象。然而，将条件随机场作为卷积神经网络的后处理，很难去探索这两者组合的性能是怎样的，并且该方法也没有对语义分割和实例分割能否相互促进进行研究。同期，Wang等人也提出了一种在点云中联合分割实例和语义的方法。该方法通过全连接层将语义特征转换到实例特征空间和实例特征融合，同时通过K近邻将实例特征聚合到语义特征空间和语义特征进行融合。然而，该方法在训练过程中会生成一个高阶的稀疏矩阵，带来巨大的显存消耗。Liu等人借用半监督的思想将点云样本划分到两个子集中，在给定其中一个子集的标签的情况下使用标签传播算法来预测另一个子集的标签。然而，该方法需要构建稠密图来实现标签从一个子集到另一个子集的传播，当点云中点的数量以及特征维度较大时，构建的稠密图将会变得非常复杂，不利于存储和计算。He等人提出一种记忆增强网络来解决点云分割任务中的类别不平衡和模式不平衡问题，该方法通过学习和记忆具有代表性的覆盖广泛的不同样本的原型来解决所提到的两个不平衡问题。然而，该方法需要存储和记忆大量的不同实例样本的原型，需要消耗更多的显存。

此前的大多数方法仅考虑了中心点及其邻居点的关系，并以此来建模点云中的局部上下文信息。Zhao等人通过使用MLP(Multilayer Perceptron，多层感知机)对局部邻域中所有的点对的边进行加权来建模点云的局部相关性。然而，该方法仅对点云中的局部相关性进行了建模。此外，在计算过程中需要所有的点对的边，带来了巨大的存储和计算开销。Wang等人提出一种基于图的注意卷积来捕捉点云中的结构特征。进一步的，Han等人通过构造一个局部和非局部邻接矩阵来分别对对应区域中的每个节点进行加权，从而实现对点云的局部和全局相关进行建模。然而，该方法仅考虑了空间的逐点相关，而忽略了通道特征上的逐点相关建模。

发明内容

本发明针对现有技术中存在的技术问题，提供一种基于动态滤波和逐点相关的点云实例语义分割方法，采用动态滤波提取点云特征；二是对点云的进行逐点相关建模，并利用语义特征和实例嵌入特征的优势进行互补，进一步提高点云分割的准确率。

根据本发明的第一方面，提供了一种基于动态滤波和逐点相关的点云实例语义分割方法，包括：步骤1，对输入的点云进行预处理和采样得到输入点云；

步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器；

步骤3，提取点云的实例嵌入特征和语义特征；

步骤4，利用所述语义特征和实例嵌入特征对点云进行逐点相关建模；

步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。

在上述技术方案的基础上，本发明还可以作出如下改进。

可选的，所述步骤1中对输入的点云进行预处理的过程包括：

对点云的坐标进行归一化处理；

对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，所述设定步长小于所述设定大小；

对每个所述重叠块进行随机采样得到设定数量的点云作为输入点云。

可选的，所述步骤2中计算点云密度信息的过程包括：

采用球半径查询每个点在球内的近邻点，使用核密度估计方法估计得到该点的密度；

得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。

可选的，所述步骤2中根据点云的几何信息和密度信息生成所述滤波器的过程包括：

获取点云的空间几何坐标信息

N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻N_i＝{N_ij|j＝1,2,…K,andK≤N}，计算每个近邻点的相对位移N_ij-P_i，对所述相对位移N_ij-P_i应用MLP生成几何信息的滤波器mlp(N_ij-P_i)；

对点云的密度信息

应用MLP生成密度信息的滤波器mlp(S_ij)；

将两种滤波器相加融合得到所述滤波器f_ij＝mlp(N_ij-P_i)+mlp(S_ij)。

可选的，所述步骤3中提取点云的实例特征和语义特征的过程包括：

步骤301，通过特征编码器对点云的特征进行变换，利用所述滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取；

步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。

可选的，所述步骤301中所述特征编码器对点云的特征进行变换的过程包括：对点云的特征

查找近邻特征H_i＝{H_ij|j＝1,2,…,KandK≤N}，并对所述近邻特征H_i使用MLP进行变换得到mlp(H_ij)；

所述步骤301中对点云的特征进行提取表示为：

⊙表示深度分离卷积；

所述步骤302中，所述特征解码器使用基于三近邻的逆距离平方加权来实现点云的上采样后，使用MLP进一步对点云的特征进行抽象。

可选的，所述步骤4中对点云逐点相关建模的过程包括：分别从全局和局部去建模点云的空间相关和通道特征相关，并利用所述语义特征和实例嵌入特征的优势相互融合促进。

可选的，所述步骤4中进行点云局部相关建模的过程包括：

以点云中每个点为中心，计算所述步骤4中提取的语义特征

的K近邻特征

C表示特征维度；

使用MLP变换特征维度到两个低维空间

和

α设置为8：

对空间相关权重

使用Softmax进行归一化，并更新语义特征F_sem,k为

使用MLP对

和

进行变换得到

和

并计算和通道特征相关权重

对通道相关权重同样使用Softmax进行归一化，并更新语义特征

为

对空间相关性和通道相关性进行融合：

对融合后的语义特征

使用最大值池化聚合到中心点上并和所述步骤4中提取的实例特征F_ins相融合得到实例嵌入特征

可选的，所述步骤4中进行点云全局相关建模的过程包括：

计算所述实例嵌入特征F_ins,s的空间相关和特征通道相关性；

计算得到的空间相关权重和通道相关权重分别为

和

后对所述实例嵌入特征F_ins,s进行加权得到

将加权后的实例嵌入特征

和所述步骤4中提取的语义特征F_sem相融合得到

可选的，所述步骤5中生成点云实例分割结果和语义分割结果的过程包括：

对于实例分割结果，使用一个MLP将F_ins,s变换到

E是嵌入特征的维度，使用均值漂移算法生成实例对象，并使用块合并算法来合并不同块中的实例对象；

对于语义分割结果，使用一个MLP将F_sem,i映射到

C等于语义类别数，对最终输出的语义特征F_s应用一个ARGMAX操作生成语义预测结果。

本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。

附图说明

图1为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例的流程图；

图2为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中动态滤波特征提取框图；

图3为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中点云逐点相关建模框图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

现有技术是将点云的语义分割和实例分割看作是两个独立的任务，或者将实例分割任务作为语义分割任务的一个后处理阶段；另外，现有的点云实例语义联合分割方法存在显存消耗大，准确率低等问题。考虑到现有技术的方法仅使用点云的几何信息来构造特征，而忽略了密度信息，并且固定的特征构造方式限制了对点云的几何信息和密度信息的挖掘，因此本发明的动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。在此基础上，本发明分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取点云的特征的判别力，进一步提升点云分割的准确率。

图1为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例的流程图，如图1所示，本算法最大的贡献在于将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。此外，分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。在图1中，核心创新包括两大部分：一是采用动态滤波提取点云特征；二是对点云的进行逐点相关建模，并利用语义特征和实例嵌入特征的优势进行互补，进一步提高点云分割的准确率。具体的，该语义分割方法包括：

步骤1，对输入的点云进行预处理和采样得到输入点云。

步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器。

步骤3，提取点云的实例嵌入特征和语义特征。

步骤4，利用语义特征和实例嵌入特征对点云进行逐点相关建模。

步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。

实施例1

本发明提供的实施例1为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割的实施例，结合图1可知，该语义分割方法的实施例包括：

步骤1，对输入的点云进行预处理和采样得到输入点云。

在一种可能的实施例方式中，步骤1中对输入的点云进行预处理的过程包括：

对点云的坐标进行归一化处理。

对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，设定步长小于设定大小。

对每个重叠块进行随机采样得到设定数量的点云作为输入点云。

具体实施中，将点云的XYZ坐标减去其对应坐标的最小值，然后计算新坐标的最大值。由于室内单个点云较稠密且场景范围比较大，因此对场景进行分块处理。本发明提供的实施例中，设定大小可以为1m×1m，设定步长可以为0.5m，将点云划分为1m×1m的重叠块。设定数量可以为4096，对每个重叠块随机采样4096个点作为输入的样本点。除了点云坐标和RGB颜色值外，点云的归一化坐标也作为点云的初始特征输入到算法中进行后续处理。

步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器。如图2所示为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中动态滤波特征提取框图，结合图1和图2可知，在一种可能的实施例方式中，步骤2中计算点云密度信息的过程包括：

在给定球半径前提下，采用球半径查询每个点在球内的近邻点，然后使用核密度估计方法估计得到该点的密度。

得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。

在一种可能的实施例方式中，步骤2中根据点云的几何信息和密度信息生成滤波器的过程包括：

获取点云的空间几何坐标信息

N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻N_i＝{N_ij|j＝1,2,…K,andK≤N}，K表示一个样本附近的K个最近样本，计算每个近邻点的相对位移N_ij-P_i，对相对位移N_ij-P_i应用MLP生成几何信息的滤波器mlp(N_ij-P_i)。

对点云的密度信息

应用MLP生成密度信息的滤波器mlp(S_ij)。

将两种滤波器相加融合得到滤波器f_ij＝mlp(N_ij-P_i)+mlp(S_ij)。

步骤3，提取点云的实例嵌入特征和语义特征。

在一种可能的实施例方式中，步骤3中提取点云的实例特征和语义特征的过程中，点云的特征提取器包括一个共享的特征编码器和两个平行的特征解码器，其中一个解码器用于解码点云的语义特征，另一个解码器用于解码点云的实例嵌入特征，包括：

步骤301，通过特征编码器对点云的特征进行变换，利用滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取。

在一种可能的实施例方式中，步骤301中特征编码器对点云的特征进行变换的过程包括：对点云的特征

查找近邻特征H_i＝{H_ij|j＝1,2,…,KandK≤N}，并对近邻特征H_i使用MLP进行变换得到mlp(H_ij)。

步骤301中对点云的特征进行提取表示为：

⊙表示深度分离卷积。

具体实施中，可以在编码过程中使用迭代最远点采样对点云进行采样，并重复步骤2和步骤301四次来不断的获取高层语义信息。

步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。

在一种可能的实施例方式中，步骤302中，语义特征解码器和实例特征解码器有着相同的结构，特征解码器使用基于三近邻的逆距离平方加权来实现点云的上采样后，使用MLP进一步对点云的特征进行抽象。

具体实施中，可以重复该步骤302四次逐步恢复点云中点的数量，最后得到点云的语义特征和实例特征。

步骤4，利用语义特征和实例嵌入特征对点云进行逐点相关建模。

如图3所示为本发明提供的一种基于动态滤波和逐点相关的点云实例语义分割方法的实施例中点云逐点相关建模框图，结合图1－图3可知，在一种可能的实施例方式中，步骤4中对点云逐点相关建模的过程包括：分别从全局和局部去建模点云的空间相关和通道特征相关，并利用语义特征和实例嵌入特征的优势相互融合促进。从而有效的增强所提取的语义特征和实例嵌入特征的判别力，进一步提升点云分割的准确率。

在一种可能的实施例方式中，步骤4中进行点云局部相关建模的过程包括：

以点云中每个点为中心，计算步骤4中提取的语义特征

的K近邻特征

C表示特征维度。

并计算其空间相关性，然后对语义特征F_sem,k进行加权。具体过程为：使用MLP变换特征维度到两个低维空间

和

α设置为8以减少计算量：

接下来计算空间相关权重

对空间相关权重

使用Softmax进行归一化，并更新语义特征F_sem,k为

接下来再次使用MLP对

和

进行变换得到

和

并计算和通道特征相关权重

对通道相关权重同样使用Softmax进行归一化，并更新语义特征

为

对空间相关性和通道相关性进行融合：

对融合后的语义特征

使用最大值池化聚合到中心点上并和步骤4中提取的实例特征F_ins相融合得到实例嵌入特征

以提高实例嵌入特征的判别力。

在一种可能的实施例方式中，步骤4中进行点云全局相关建模的过程包括：

计算实例嵌入特征F_ins,s的空间相关和特征通道相关性。

在计算过程中，我们采用和局部相关建模过程中类似的计算方式，由于是针对全局相关性进行计算，因此不需要查找特征K近邻以及特征聚合的操作。

计算得到的空间相关权重和通道相关权重分别为

和

后对实例嵌入特征F_ins,s进行加权得到

将加权后的实例嵌入特征

和步骤4中提取的语义特征F_sem相融合得到

以提高语义特征的判别力。

步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。

在一种可能的实施例方式中，步骤5中生成点云实例分割结果和语义分割结果的过程包括：

对于实例分割结果，使用一个MLP将F_ins,s变换到

E是嵌入特征的维度，使用一个简单的均值漂移算法生成实例对象，并使用块合并算法来合并不同块中的实例对象。

对于语义分割结果，使用一个MLP将F_sem,i映射到

C等于语义类别数，对最终输出的语义特征F_s应用一个ARGMAX操作生成语义预测结果。

本发明实施例提供的一种基于动态滤波和逐点相关的点云实例语义分割方法，不同于现有技术中的点云实例语义联合分割方法，通过动态滤波将点云的空间几何位置信息和密度信息都置于可学习的范围内，所学习到的滤波器可以更少的资源消耗捕捉点云的动态信息。进一步地，本方法中的逐点相关可分别从全局和局部去建模点云的空间相关和通道特征相关，从而有效的增强所提取的点云特征的判别力，进一步提升点云分割的准确率。基于动态滤波和逐点相关的三维点云实例语义分割方法，不仅能很好的捕获点云的空间和密度信息，并且能够分别从全局和局部对点云的空间相关和通道特征相关进行建模，从而实现更加准确的点云实例语义分割结果。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种基于动态滤波和逐点相关的点云实例语义分割方法，其特征在于，所述语义分割方法包括：

步骤1，对输入的点云进行预处理和采样得到输入点云；

步骤2，计算点云密度信息，根据点云的几何信息和密度信息生成滤波器；

步骤3，提取点云的实例嵌入特征和语义特征；

步骤4，利用所述语义特征和实例嵌入特征对点云进行逐点相关建模；

步骤5，基于建模结果分别生成点云实例分割结果和语义分割结果。

2.根据权利要求1所述的语义分割方法，其特征在于，所述步骤1中对输入的点云进行预处理的过程包括：

对点云的坐标进行归一化处理；

对场景进行分块处理，按照设定大小和设定步长将点云划分为各个重叠块，所述设定步长小于所述设定大小；

对每个所述重叠块进行随机采样得到设定数量的点云作为输入点云。

3.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2中计算点云密度信息的过程包括：

采用球半径查询每个点在球内的近邻点，使用核密度估计方法估计得到该点的密度；

得到点云的密度信息之后，可以很方便的得到其逆密度信息，使用点云的逆密度信息来补偿点云的非均匀采样。

4.根据权利要求1所述的语义分割方法，其特征在于，所述步骤2中根据点云的几何信息和密度信息生成所述滤波器的过程包括：

获取点云的空间几何坐标信息

N为点云中点的数量，以点云中每个点为中心，查找各个点的K近邻N_i＝{N_ij|j＝1，2，...K，and K≤N}，计算每个近邻点的相对位移N_ij-P_i，对所述相对位移N_ij-P_i应用MLP生成几何信息的滤波器mlp(N_ij-P_i)；

对点云的密度信息

应用MLP生成密度信息的滤波器mlp(S_ij)；

将两种滤波器相加融合得到所述滤波器f_ij＝mlp(N_ij-P_i)+mlp(S_ij)。

5.根据权利要求1所述的语义分割方法，其特征在于，所述步骤3中提取点云的实例特征和语义特征的过程包括：

步骤301，通过特征编码器对点云的特征进行变换，利用所述滤波器和变换后的特征进行深度分离卷积计算，有效捕捉点云的空间信息和密度信息，对点云的特征进行提取；

步骤302，使用两个平行的特征解码器分别解码点云的语义特征和实例嵌入特征。

6.根据权利要求5所述的语义分割方法，其特征在于，所述步骤301中所述特征编码器对点云的特征进行变换的过程包括：对点云的特征

查找近邻特征H_i＝{H_ij|j＝1，2，...，K and K≤N}，并对所述近邻特征H_i使用MLP进行变换得到mlp(H_ij)；

所述步骤301中对点云的特征进行提取表示为：

⊙表示深度分离卷积；

所述步骤302中，所述特征解码器使用基于三近邻的逆距离平方加权来实现点云的上采样后，使用MLP进一步对点云的特征进行抽象。

7.根据权利要求1所述的语义分割方法，其特征在于，所述步骤4中对点云逐点相关建模的过程包括：分别从全局和局部去建模点云的空间相关和通道特征相关，并利用所述语义特征和实例嵌入特征的优势相互融合促进。

8.根据权利要求7所述的语义分割方法，其特征在于，所述步骤4中进行点云局部相关建模的过程包括：

以点云中每个点为中心，计算所述步骤4中提取的语义特征

的K近邻特征

C表示特征维度；

使用MLP变换特征维度到两个低维空间

和

α设置为8：

对空间相关权重

使用Soffmax进行归一化，并更新语义特征F_sem，k为

使用MLP对

和

进行变换得到

和

并计算和通道特征相关权重

对通道相关权重同样使用Soffmax进行归一化，并更新语义特征

为

对空间相关性和通道相关性进行融合：

对融合后的语义特征

使用最大值池化聚合到中心点上并和所述步骤4中提取的实例特征F_ins相融合得到实例嵌入特征

9.根据权利要求8所述的语义分割方法，其特征在于，所述步骤4中进行点云全局相关建模的过程包括：

计算所述实例嵌入特征F_ins，s的空间相关和特征通道相关性；

计算得到的空间相关权重和通道相关权重分别为

和

后对所述实例嵌入特征F_ins，s进行加权得到

将加权后的实例嵌入特征

和所述步骤4中提取的语义特征F_sem相融合得到

10.根据权利要求1所述的语义分割方法，其特征在于，所述步骤5中生成点云实例分割结果和语义分割结果的过程包括：

对于实例分割结果，使用一个MLP将F_ins，s变换到

E是嵌入特征的维度，使用均值漂移算法生成实例对象，并使用块合并算法来合并不同块中的实例对象；

对于语义分割结果，使用一个MLP将F_sem，i映射到

C等于语义类别数，对最终输出的语义特征F_s应用一个ARGMAX操作生成语义预测结果。

Images