CN111047596A - 一种三维点云实例分割方法、系统及电子设备 - Google Patents

Abstract

本申请涉及一种三维点云实例分割方法、系统及电子设备。包括：步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。本申请通过加入种子点选择网络，对点云数据中的各个点进行“种子性”判断，进而选择出较好的种子点生成proposal，从而实现更好的实例分割，对网络模型的后处理有明显的提速作用，解决了当前点云实例分割技术准确率不高、效率低下的问题。

Description

一种三维点云实例分割方法、系统及电子设备

技术领域

本申请属于三维点云数据处理技术领域，特别涉及一种三维点云实例分割方法、系统及电子设备。

背景技术

近年来由于图像分割技术与神经网络的快速发展，针对2D图像的语义分割技术和实例分割技术已经相当成熟，FCN[Long,J.,Shelhamer,E.,&Darrell,T.(2015).Fullyconvolutional networks for semantic segmentation.In Proceedings of the IEEEconference on computer vision and pattern recognition(pp.3431-3440).]、SegNet[Badrinarayanan,V.,Kendall,A.,&Cipolla,R.(2017).Segnet:A deep convolutionalencoder-decoder architecture for image segmentation.IEEE transactions onpattern analysis and machine intelligence,39(12),2481-2495.]等文章的问世给图像分割带来了基于深度学习模型的方法。但是现实世界中，2D图像能够包含的信息远远不如点云数据来的多，点云数据所能包含的信息不仅有RGB信息、坐标信息还有深度信息以及反射强度信息等，不同的点云数据采集设备也会得到不同的额外信息。更重要的是点云数据在当前人工智能时代的作用非常巨大，三维重建、工业建模分析以及火热的自动驾驶等，所以对点云数据的处理与分析也成了重点问题和难点之一。

由于点云数据的无序性以及点与点之间存在空间关系，一直在PointNet[Qi,C.R.,Su,H.,Mo,K.,&Guibas,L.J.(2017).Pointnet:Deep learning on point sets for3d classification and segmentation.In Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition(pp.652-660).]出现才有了直接对点云数据进行处理的方法。其提取特征的方式是对所有点云数据提取一个全局特征，和目前流行的卷积神经网络逐层提取局部特征的方式不一样，其能够在不同尺度提取局部特征，通过对多层网络得到深层特征。基于此，对于点云数据的语义分割和实例分割技术也随即开始发展。相对于语义分割已经较为成熟，目前实例分割的技术还相对处在拓荒期间，较为经典的是2018年提出的SGPN(相似群建议网络)，其使用单个网络来预测点云聚类和每个聚类对应的分割结果，最后可以直接得到实例分割结果。该技术提出了相似举证，其表示的是每个点在嵌入特征空间中的相似度，将其用于表达实例分割的结果，一方面提高了网络的效率，另一方面则提供精度更高的聚类分割结果。

后来又提出了ASIS(关联分段实例和语义)[Wang,X.,Liu,S.,Shen,X.,Shen,C.,&Jia,J.(2019).Associatively Segmenting Instances and Semantics in PointClouds.In Proceedings of the IEEE Conference on Computer Vision and PatternRecognition(pp.4096-4105).]，提出了利用实例分割和语义分割的性质相互利用实现双赢的方法。实例分割和语义分割在某些方面是相互冲突的，前者清楚地区分同一类的不同实例，而后者希望它们具有相同的标签，但是这两项任务可以通过寻求共同点来相互合作，语义分割区分不同类的点，实施例分割的目的之一，因为不同的类必须属于不同的实例。实例分割将相同的标签分配给属于同一实例的点，却与语义分割一致，因为同一实例必须属于同一类别。因此两项任务的相互联系促使ASIS提出了两种方法，具体说来就是通过学习语义的point-level实例嵌入，使实例分割受益于语义分割，同时将属于同一实例的点的语义特征融合在一起，从而对每个点进行更准确的语义预测，实现实例分割和语义分割两个任务的共赢。

综上所述，当前主流的点云实例分割方法主要分为两步，首先借助度量学习将各个实例的点在特征空间中进行聚合，使得同一实例的特征尽可能相似，然后将聚合后的向量簇进行分割，构建出每个实例的proposal。现在技术主要将工作重心放在了更为基础的向量聚合，而对聚合后实例如何进行划分只进行了简单的处理，由此实例分割的准确率(重要指标)并不是很高，且对分类的速度也有较大的影响。

发明内容

本申请提供了一种三维点云实例分割方法、系统及电子设备，旨在至少在一定程度上解决现有技术中的上述技术问题之一。

为了解决上述问题，本申请提供了如下技术方案：

一种三维点云实例分割方法，包括以下步骤：

步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

本申请实施例采取的技术方案还包括：在所述步骤a中，所述分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签具体为：所述模型使用pointnet++进行特征提取，并在特征提取完成后通过ins.decoder和seg.Decoder作为两个不同的分支进行解码，分别处理语义分割问题和实例分割问题；所述模型的特征编码与pointnet++中最后一个setabstraction模块输出的特征矩阵相同，并且ins.decoder和seg.Decoder两个分支均使用pointnet++中的特征插值模块进行解码；语义分支解码完成后，输出大小为N_P×N_F的语义特征矩阵F_sem，之后输出大小为N_P×N_C的语义分割预测结果，其中N_C为语义预测的类别数，Np为输入点云数据的点数；实例分支解码完成后，输出大小为N_P×N_F的实例特征矩阵F_sim，用于解决实例分割问题。

本申请实施例采取的技术方案还包括：在所述步骤b中，所述对每个点的物体类别进行预测，将点嵌入至高维向量中具体包括：输入点云的位置信息，其矩阵大小为N_P×3，首先通过接入Pointnet中使用的T-net进行点云位置的仿射变换，将点映射至权威坐标系中，并在点特征卷积后再次使用T-net进行变换，起到规范特征向量的作用；在进行实例分割预测时，将网络输出的实例特征矩阵F_sim与仿射变换后的点云位置以及特征向量连接在一起，进行点实例特征的学习。

本申请实施例采取的技术方案还包括：在所述步骤c中，所述通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签具体为：每个点的“种子性”预测即为对网络基本收敛后点在特征空间中“位置”的判断，若点处于相对“中心”的位置，则其种子性较高，反之，则种子性较低；将每个点的实例特征矩阵F_sim和语义特征矩阵F_sem连接在一起，作为种子点选择网络的输入，将该点预测的proposal与ground truth之间的iou作为软标签，并根据预设值对iou进行划分，若iou小于预设值，则将其硬标签置成0，反之置为1；在得到语义特征向量、种子点选择向量、语义预测向量后，使用非极大值进行后处理，完成实例标签的预测。

本申请实施例采取的另一技术方案为：一种三维点云实例分割系统，包括：

特征提取模块：用于向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

类别预测模块：用于对每个点的物体类别进行预测，将点嵌入至高维向量中；

种子点选择模块：用于在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

本申请实施例采取的技术方案还包括：所述特征提取模块对点云数据进行特征提取，并输出点云数据的语义分割标签具体为：使用pointnet++进行特征提取，并在特征提取完成后通过ins.decoder和seg.Decoder作为两个不同的分支进行解码，分别处理语义分割问题和实例分割问题；所述模型的特征编码与pointnet++中最后一个setabstraction模块输出的特征矩阵相同，并且ins.decoder和seg.Decoder两个分支均使用pointnet++中的特征插值模块进行解码；语义分支解码完成后，输出大小为N_P×N_F的语义特征矩阵F_sem，之后输出大小为N_P×N_C的语义分割预测结果，其中N_C为语义预测的类别数，Np为输入点云数据的点数；实例分支解码完成后，输出大小为N_P×N_F的实例特征矩阵F_sim，用于解决实例分割问题。

本申请实施例采取的技术方案还包括：所述类别预测模块对每个点的物体类别进行预测，将点嵌入至高维向量中具体包括：输入点云的位置信息，其矩阵大小为N_P×3，首先通过接入Pointnet中使用的T-net进行点云位置的仿射变换，将点映射至权威坐标系中，并在点特征卷积后再次使用T-net进行变换，起到规范特征向量的作用；在进行实例分割预测时，将网络输出的实例特征矩阵F_sim与仿射变换后的点云位置以及特征向量连接在一起，进行点实例特征的学习。

本申请实施例采取的技术方案还包括：所述种子点选择模块通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签具体为：每个点的“种子性”预测即为对网络基本收敛后点在特征空间中“位置”的判断，若点处于相对“中心”的位置，则其种子性较高，反之，则种子性较低；将每个点的实例特征矩阵F_sim和语义特征矩阵F_sem连接在一起，作为种子点选择网络的输入，将该点预测的proposal与ground truth之间的iou作为软标签，并根据预设值对iou进行划分，若iou小于预设值，则将其硬标签置成0，反之置为1；在得到语义特征向量、种子点选择向量、语义预测向量后，使用非极大值进行后处理，完成实例标签的预测。

本申请实施例采取的又一技术方案为：一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的三维点云实例分割方法的以下操作：

步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的三维点云实例分割方法、系统及电子设备通过加入种子点选择网络，对点云数据中的各个点进行“种子性”判断，进而选择出较好的种子点生成proposal，从而实现更好的实例分割，对网络模型的后处理有明显的提速作用；此外通过对已经生成实例的点以及“种子性”过低的点进行快速处理，有效的提高了实例分割的速度，解决了当前点云实例分割技术准确率不高、效率低下的问题。同时，本申请提出的种子点选择网络和种子性判断方法具有良好的鲁棒性和移植性，可以适用于其他满足条件的实例分割技术。

附图说明

图1是本申请实施例的三维点云实例分割方法的流程图；

图2为点云实例分割模型的网络结构示意图；

图3是本申请实施例的三维点云实例分割系统的结构示意图；

图4是本申请实施例提供的三维点云实例分割方法的硬件设备结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

请参阅图1，是本申请实施例的三维点云实例分割方法的流程图。本申请实施例的三维点云实例分割方法包括以下步骤：

步骤100：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤100中，如果多个点属于同一个实例，则其在高维空间中的向量十分相似；如果属于不同实例，则其高维向量会有较大差异。

本申请实施例中，点云实例分割模型的网络结构如图2所示。模型使用pointnet++[Qi,C.R.,Yi,L.,Su,H.,&Guibas,L.J.(2017).Pointnet++:Deep hierarchical featurelearning on point sets in a metric space.In Advances in neural informationprocessing systems(pp.5099-5108).]进行特征的提取，并在特征提取完成后通过ins.decoder和seg.Decoder作为两个不同的分支进行解码，分别处理语义分割问题和实例分割问题。具体的，点云实例分割模型的特征编码与pointnet++中最后一个setabstraction(集合抽象)模块输出的特征矩阵相同，并且ins.decoder和seg.Decoder两个分支均使用pointnet++中的特征插值模块进行解码。语义分支解码完成后，输出大小为N_P×N_F的语义特征矩阵F_sem，之后输出大小为N_P×N_C的语义分割预测结果，其中N_C为语义预测的类别数，Np为输入点云数据的点数。实例分支解码完成后，输出大小为N_P×N_F的实例特征矩阵F_sim，用于解决实例分割问题。

步骤200：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤200中，对于点云实例分割，最大的难点在于同一类别下的实例分割，本申请实施例中，通过添加空间信息特征进行同一类别下的实例分割。同一类别下，两个物体最大的不同在于所处的位置不同，通过对两个物体位置信息的引入，可有效提升实例分割效果。空间信息网络的输入为点云的位置信息，其矩阵大小为N_P×3，首先通过接入Pointnet中使用的T-net进行点云位置的仿射变换，将点映射至权威坐标系中，并在点特征卷积后再次使用T-net进行变换，起到规范特征向量的作用。在进行实例分割预测时，将网络输出的实例特征矩阵F_sim与仿射变换后的点云位置以及特征向量连接在一起，进行点实例特征的学习。

步骤300：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点生成实例，得到每个点的实例标签；

步骤300中，种子点选择网络的作用是对点云数据中的各个点进行“种子性”评估，选择出“种子性”较高的种子作为基准点生成实例，从而完成实例分割，并分别对已经生成实例的点和“种子性”过低的点进行快速处理，有效的提高了实例分割的速度。

具体的，每个点的“种子性”的评估，即是对网络基本收敛后点在特征空间中“位置”的判断，若点处于相对“中心”的位置，则其种子性较高，反之，则种子性较低。本申请实施例通过将每个点的实例特征矩阵F_sim和语义特征矩阵F_sem连接在一起，作为种子点选择网络的输入。将该点预测的proposal与ground truth之间的iou作为软标签，并根据预设值(本申请预设值为0.8，具体可根据实际应用进行设定)对iou进行划分，若iou小于预设值，则将其硬标签置成0，反之置为1。

在得到了语义特征向量、种子点选择向量、语义预测向量后，使用非极大值进行后处理，完成实例标签的预测。如果当前点已存在实例标签，则在原proposal的基础上快速处理，同时由于每个点云中实例数远小于具体的点数，因此本申请的后处理过程具有较高效率。同时在后处理的过程中，将预测标签为0的点设置为噪声点，不参与NMS(目标检测中的选择proposal的方法)的过程，进一步加速网络的后处理过程。

本申请实施例提出的种子点选择网络及种子性判断方法具有良好的鲁棒性和移植性，可以嫁接到其他点云实例分割模型中，提高原模型的点云分割效率和准确率，具有较好的移植性。

请参阅图3，是本申请实施例的三维点云实例分割系统的结构示意图。本申请实施例的三维点云实例分割系统包括特征提取模块、类别预测模块、种子点选择模块。

特征提取模块：用于向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；如果多个点属于同一个实例，则其在高维空间中的向量十分相似；如果属于不同实例，则其高维向量会有较大差异。

本申请实施例中，点云实例分割模型使用pointnet++[Qi,C.R.,Yi,L.,Su,H.,&Guibas,L.J.(2017).Pointnet++:Deep hierarchical feature learning on point setsin a metric space.In Advances in neural information processing systems(pp.5099-5108).]进行特征的提取，并在特征提取完成后通过ins.decoder和seg.Decoder作为两个不同的分支进行解码，分别处理语义分割问题和实例分割问题。具体的，点云实例分割模型的特征编码与pointnet++中最后一个setabstraction(集合抽象)模块输出的特征矩阵相同，并且ins.decoder和seg.Decoder两个分支均使用pointnet++中的特征插值模块进行解码。语义分支解码完成后，输出大小为N_P×N_F的语义特征矩阵F_sem，之后输出大小为N_P×N_C的语义分割预测结果，其中N_C为语义预测的类别数，Np为输入点云数据的点数。实例分支解码完成后，输出大小为N_P×N_F的实例特征矩阵F_sim，用于解决实例分割问题。

类别预测模块：用于对每个点的物体类别进行预测，将点嵌入至高维向量中；对于点云实例分割，最大的难点在于同一类别下的实例分割，本申请实施例中，通过添加空间信息特征进行同一类别下的实例分割。同一类别下，两个物体最大的不同在于所处的位置不同，通过对两个物体位置信息的引入，可有效提升实例分割效果。空间信息网络的输入为点云的位置信息，其矩阵大小为N_P×3，首先通过接入Pointnet中使用的T-net进行点云位置的仿射变换，将点映射至权威坐标系中，并在点特征卷积后再次使用T-net进行变换，起到规范特征向量的作用。在进行实例分割预测时，将网络输出的实例特征矩阵F_sim与仿射变换后的点云位置以及特征向量连接在一起，进行点实例特征的学习。

种子点选择模块：用于在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点生成实例，得到每个点的实例标签；种子点选择网络的作用是对点云数据中的各个点进行“种子性”评估，选择出“种子性”较高的种子作为基准点生成实例，从而完成实例分割，并分别对已经生成实例的点和“种子性”过低的点进行快速处理，有效的提高了实例分割的速度。

具体的，每个点的“种子性”的评估，即是对网络基本收敛后点在特征空间中“位置”的判断，若点处于相对“中心”的位置，则其种子性较高，反之，则种子性较低。本申请实施例通过将每个点的实例特征矩阵F_sim和语义特征矩阵F_sem连接在一起，作为种子点选择网络的输入。将该点预测的proposal与ground truth之间的iou作为软标签，并根据预设值(本申请预设值为0.8，具体可根据实际应用进行设定)对iou进行划分，若iou小于预设值，则将其硬标签置成0，反之置为1。

在得到了语义特征向量、种子点选择向量、语义预测向量后，使用非极大值进行后处理，完成实例标签的预测。如果当前点已存在实例标签，则在原proposal的基础上快速处理，同时由于每个点云中实例数远小于具体的点数，因此本申请的后处理过程具有较高效率。同时在后处理的过程中，将预测标签为0的点设置为噪声点，不参与NMS(目标检测中的选择proposal的方法)的过程，进一步加速网络的后处理过程。

为了验证本申请的可行性和有效性，以下实施例通过在S3DIS(Stanford large-scale 3D Indoor Space Datasets)数据集上与当前较好的SGPN网络进行了效果对比，S3DIS数据集是斯坦福大学开发的带有像素级语义标注的语义数据集，包含了rgb、depth(深度)，3D点云、mesh等，本申请与SGPN对比的指标为AP与mAP，分别衡量模型在单个类别上的性能和所有类别上的性能。

效果对比结果如下表1所示：

表1：本申请与SGPN网络的效果对比结果

Method	mAP(％)	ceiling	floor		wall	beam	column	window	door	table	chair	sofa	bookcase	board	clutter
																SGPN	61.9	72.3	92.8		58.2	70.1	19.4	1	87.2	55.8	47.4	37.5	54.2	73.8	37.1
Ours	74.1	87.1	79.2		68.3	70.2	55.2	1	87.1	43.5	84.3	1	54.2	1	35.2

有对比结果可以看出，本申请依靠种子点提取和分类之后对网络模型的后处理有明显的提速作用，能够实现更好的实例分割。

图4是本申请实施例提供的三维点云实例分割方法的硬件设备结构示意图。如图4所示，该设备包括一个或多个处理器以及存储器。以一个处理器为例，该设备还可以包括：输入系统和输出系统。

处理器、存储器、输入系统和输出系统可以通过总线或者其他方式连接，图4中以通过总线连接为例。

存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例的处理方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入系统可接收输入的数字或字符信息，以及产生信号输入。输出系统可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器中，当被所述一个或者多个处理器执行时，执行上述任一方法实施例的以下操作：

步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例提供的方法。

本申请实施例提供了一种非暂态(非易失性)计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行以下操作：

步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行以下操作：

步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

本申请实施例的三维点云实例分割方法、系统及电子设备通过加入种子点选择网络，对点云数据中的各个点进行“种子性”判断，进而选择出较好的种子点生成proposal，从而实现更好的实例分割，对网络模型的后处理有明显的提速作用；此外通过对已经生成实例的点以及“种子性”过低的点进行快速处理，有效的提高了实例分割的速度，解决了当前点云实例分割技术准确率不高、效率低下的问题。同时，本申请提出的种子点选择网络和种子性判断方法具有良好的鲁棒性和移植性，可以适用于其他满足条件的实例分割技术。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本申请中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本申请所示的这些实施例，而是要符合与本申请所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种三维点云实例分割方法，其特征在于，包括以下步骤：

步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

2.根据权利要求1所述的三维点云实例分割方法，其特征在于，在所述步骤a中，所述分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签具体为：所述模型使用pointnet++进行特征提取，并在特征提取完成后通过ins.decoder和seg.Decoder作为两个不同的分支进行解码，分别处理语义分割问题和实例分割问题；所述模型的特征编码与pointnet++中最后一个setabstraction模块输出的特征矩阵相同，并且ins.decoder和seg.Decoder两个分支均使用pointnet++中的特征插值模块进行解码；语义分支解码完成后，输出大小为N_P×N_F的语义特征矩阵F_sem，之后输出大小为N_P×N_C的语义分割预测结果，其中N_C为语义预测的类别数，Np为输入点云数据的点数；实例分支解码完成后，输出大小为N_P×N_F的实例特征矩阵F_sim，用于解决实例分割问题。

3.根据权利要求2所述的三维点云实例分割方法，其特征在于，在所述步骤b中，所述对每个点的物体类别进行预测，将点嵌入至高维向量中具体包括：输入点云的位置信息，其矩阵大小为N_P×3，首先通过接入Pointnet中使用的T-net进行点云位置的仿射变换，将点映射至权威坐标系中，并在点特征卷积后再次使用T-net进行变换，起到规范特征向量的作用；在进行实例分割预测时，将网络输出的实例特征矩阵F_sim与仿射变换后的点云位置以及特征向量连接在一起，进行点实例特征的学习。

4.根据权利要求1至3任一项所述的三维点云实例分割方法，其特征在于，在所述步骤c中，所述通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签具体为：每个点的“种子性”预测即为对网络基本收敛后点在特征空间中“位置”的判断，若点处于相对“中心”的位置，则其种子性较高，反之，则种子性较低；将每个点的实例特征矩阵F_sim和语义特征矩阵F_sem连接在一起，作为种子点选择网络的输入，将该点预测的proposal与ground truth之间的iou作为软标签，并根据预设值对iou进行划分，若iou小于预设值，则将其硬标签置成0，反之置为1；在得到语义特征向量、种子点选择向量、语义预测向量后，使用非极大值进行后处理，完成实例标签的预测。

5.一种三维点云实例分割系统，其特征在于，包括：

特征提取模块：用于向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

类别预测模块：用于对每个点的物体类别进行预测，将点嵌入至高维向量中；

种子点选择模块：用于在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

6.根据权利要求5所述的三维点云实例分割系统，其特征在于，所述特征提取模块对点云数据进行特征提取，并输出点云数据的语义分割标签具体为：使用pointnet++进行特征提取，并在特征提取完成后通过ins.decoder和seg.Decoder作为两个不同的分支进行解码，分别处理语义分割问题和实例分割问题；所述模型的特征编码与pointnet++中最后一个setabstraction模块输出的特征矩阵相同，并且ins.decoder和seg.Decoder两个分支均使用pointnet++中的特征插值模块进行解码；语义分支解码完成后，输出大小为N_P×N_F的语义特征矩阵F_sem，之后输出大小为N_P×N_C的语义分割预测结果，其中N_C为语义预测的类别数，Np为输入点云数据的点数；实例分支解码完成后，输出大小为N_P×N_F的实例特征矩阵F_sim，用于解决实例分割问题。

7.根据权利要求6所述的三维点云实例分割系统，其特征在于，所述类别预测模块对每个点的物体类别进行预测，将点嵌入至高维向量中具体包括：输入点云的位置信息，其矩阵大小为N_P×3，首先通过接入Pointnet中使用的T-net进行点云位置的仿射变换，将点映射至权威坐标系中，并在点特征卷积后再次使用T-net进行变换，起到规范特征向量的作用；在进行实例分割预测时，将网络输出的实例特征矩阵F_sim与仿射变换后的点云位置以及特征向量连接在一起，进行点实例特征的学习。

8.根据权利要求5至7任一项所述的三维点云实例分割系统，其特征在于，所述种子点选择模块通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签具体为：每个点的“种子性”预测即为对网络基本收敛后点在特征空间中“位置”的判断，若点处于相对“中心”的位置，则其种子性较高，反之，则种子性较低；将每个点的实例特征矩阵F_sim和语义特征矩阵F_sem连接在一起，作为种子点选择网络的输入，将该点预测的proposal与ground truth之间的iou作为软标签，并根据预设值对iou进行划分，若iou小于预设值，则将其硬标签置成0，反之置为1；在得到语义特征向量、种子点选择向量、语义预测向量后，使用非极大值进行后处理，完成实例标签的预测。

9.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述1至4任一项所述的三维点云实例分割方法的以下操作：

步骤a：向点云实例分割模型输入点云数据，分割模型对点云数据进行特征提取，并输出点云数据的语义分割标签，以及每个点的高维向量；

步骤b：对每个点的物体类别进行预测，将点嵌入至高维向量中；

步骤c：在完成向量嵌入后，通过种子点选择网络对每个点的“种子性”进行预测，选取较好的种子点作为基准点生成实例，得到每个点的实例标签。

Images