CN116091777A - 点云全景分割及其模型训练方法、电子设备 - Google Patents

Abstract

本申请实施例提供了一种点云全景分割及其模型训练方法、电子设备，其中，点云全景分割方法包括：获得待分割的点云数据对应的点云特征；基于预设的多个分类器，将所述点云特征划分至不同的多个分类集合中；以分类集合为单位，根据所述多个分类集合中包含的点云特征，进行所述多个分类集合的点云语义识别，获得点云语义识别结果；根据点云语义识别结果和对应的分类集合的信息，获得所述点云数据的全景分割结果。通过本申请实施例，提升了点云全景分割效果，避免了计算资源浪费。

Description

点云全景分割及其模型训练方法、电子设备

技术领域

本申请实施例涉及点云处理技术领域，尤其涉及一种点云全景分割方法、一种点云全景分割模型训练方法、对应的电子设备。

背景技术

全景分割是语义分割和实例分割两个任务的结合，而点云全景分割则是基于点云数据的语义分割和实例分割的结合，是对三维环境的一种较为完整的描述。其中，语义分割描述了环境中有哪些类型的物体，如车、人、地面、树木、建筑等；实例分割描述了环境中可数目标的个数，如车1、车2、人1、人2等。

一种相关的点云全景分割的实现方式如图1所示，该方式中，分别通过两个分支各自实现点云语义分割和实例分割的任务，然后通过后处理融合的方式得到全景分割结果。但是，因语义分割和实例分割在任务类型和难度上的差异，使得两者的实现也存在较大差异。语义分割只需对点云做分类，例如，通过卷积层进行分类即可获得相应的结果。而实例分割则更类似于目标检测任务，可实现为基于锚框加NMS（Non-Maximum Suppression，非极大值抑制）后处理的方案，或者实现为无锚框加聚类后处理的方案。

但是，这种方式中，两个任务分支相互独立，导致计算资源浪费；并且，语义分割结果和实例分割结果是通过生硬拼接结合在一起的，不能实现两个任务的有效融合，导致全景分割效果不佳。

发明内容

有鉴于此，本申请实施例提供一种点云全景分割及其模型训练方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种点云全景分割方法，包括：获得待分割的点云数据对应的点云特征；基于预设的多个分类器，将所述点云特征划分至不同的多个分类集合中；以分类集合为单位，根据所述多个分类集合中包含的点云特征，进行所述多个分类集合的点云语义识别，获得点云语义识别结果；根据点云语义识别结果和对应的分类集合的信息，获得所述点云数据的全景分割结果。

根据本申请实施例的第二方面，提供了一种点云全景分割模型训练方法，包括：获取用于对点云全景分割模型进行训练的训练样本，其中，所述训练样本包括点云样本数据和所述点云样本数据对应的真值数据；通过所述点云全景分割模型，获得所述训练样本对应的点云样本特征；基于预设的多个分类器，将所述点云样本特征划分至不同的多个分类集合中；以分类集合为单位，根据所述多个分类集合中包含的点云样本特征，进行所述多个分类集合的点云语义识别，获得点云样本语义识别结果；根据所述点云样本语义识别结果、所述分类集合的信息和所述真值数据，对所述点云全景分割模型进行训练。

根据本申请实施例的第三方面，提供了另一种点云全景分割方法，包括：获得采集的车辆所在环境的点云数据；对所述点云数据进行特征提取，获得对应的点云特征；基于预设的多个分类器，将所述点云特征划分至不同的多个分类集合中；以分类集合为单位，根据所述多个分类集合中包含的点云特征，进行所述多个分类集合的点云语义识别，获得点云语义识别结果；根据点云语义识别结果和对应的分类集合的信息，获得点云数据的全景分割结果；根据所述全景分割结果，对所述车辆进行行驶规划。

根据本申请实施例的第四方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面或第三方面所述方法对应的操作。

根据本申请实施例的第五方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面或第三方面所述的方法。

根据本申请实施例提供的方案，在对点云数据进行全景分割时，将传统的语义分割和实例分割整合为一个任务。具体地，可预设多个分类器，能够使得点云数据中的多个目标对象的点云特征划分到不同的分类集合上。在此基础上，再以分类集合为单位，对多个分类集合分别进行点云语义识别，以识别出各分类集合对应的语义类别，即目标对象的具体类别。由此，即可识别出点云数据中都包括哪些类别的目标对象，又可基于类别，确定出相同类别的目标对象的数量，从而得到全景分割结果。可见，通过本申请实施例将语义分割和实例分割整合为一个任务的方案，一方面，使得语义分割数据可以和实例分割数据有效融合，使得两个任务之间的信息可以有效交互和利用，以提升全景分割效果；另一方面，因将语义分割和实例分割融合为一个任务，为其统一分配相应的计算资源即可，无需分别分配用于两个任务的计算资源，从而避免了计算资源浪费。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为相关技术中的一种点云全景分割的示意图；

图2为适用本申请实施例方案的示例性系统的示意图；

图3A为根据本申请实施例的一种点云全景分割模型训练方法的步骤流程图；

图3B为图3A所示实施例中的一种模型结构的示意图；

图4A为根据本申请实施例的一种点云全景分割方法的步骤流程图；

图4B为图4A所示实施例的点云全景分割整体流程的示意图；

图4C为图4A所示实施例中的一种场景示例的示意图；

图4D为图4A所示实施例中的另一种场景示例的示意图；

图5为根据本申请实施例的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

图2示出了一种适用本申请实施例方案的示例性系统。如图2所示，该系统100可以包括云服务端102、通信网络104和/或一个或多个用户设备106。其中，用户设备106可以实现为具有自动驾驶功能的设备（如车辆、自动行走机器人等），也可实现为AR(AugmentedReality，增强现实)设备。此外，图2中的用户设备106示例为多个用户设备。

在一种可行方式中，本申请实施例的方案可在用户设备106中实现。在另一种可行方式中，本申请实施例的方案可由用户设备106和云服务端102协同实现。

当采用由用户设备106实现的方式时，该用户设备106可以采集点云数据并获得对应的点云特征，进而将这些点云特征通过分类器分至不同的分类集合中；再按照分类集合进行点云特征的语义识别；基于语义识别结果和对应的分类集合的信息，获得点云数据对应的全景分割结果。作为可选的示例，在一些实施例中，用户设备106中还设置有点云全景分割模型，用户设备106基于该点云全景分割模型，实施上述点云全景分割方案。

在一些实施例中，通信网络104可以是一个或多个有线和/或无线网络的任何适当的组合。例如，通信网络104能够包括以下各项中的任何一种或多种：互联网、内联网、广域网(Wide Area Network，WAN)、局域网(Local Area Network ,LAN)、无线网络、数字订户线路(Digital Subscriber Line，DSL)网络、帧中继网络、异步转移模式(AsynchronousTransferMode ,ATM)网络、虚拟专用网(VirtualPrivateNetwork，VPN)和/或任何其它合适的通信网络。用户设备106能够通过一个或多个通信链路(例如，通信链路112)连接到通信网络104，该通信网络104能够经由一个或多个通信链路(例如，通信链路114)被链接到云服务端102。通信链路可以是适合于在用户设备106和云服务端102之间传送数据的任何通信链路，诸如网络链路、拨号链路、无线链路、硬连线链路、任何其它合适的通信链路或此类链路的任何合适的组合。

云服务端102可以是用于存储信息、数据、程序和/或任何其他合适类型的内容的任何适当的设备，包括但不限于分布式存储系统设备、服务器集群、计算云服务端集群等。当采用用户设备106和云服务端102协同实现本申请实施例的方案时，可以由用户设备106采集点云数据，并将该点云数据发送至云服务端102。进而，由云服务端102获得对应的点云特征，进而将这些点云特征通过分类器分至不同的分类集合中；再按照分类集合进行点云特征的语义识别；基于语义识别结果和对应的分类集合的信息，获得点云数据对应的全景分割结果；并将该全景分割结果发送给用户设备106。在一些实施例中，云服务端102中还设置有点云全景分割模型，云服务端102基于该点云全景分割模型，实施上述点云全景分割方案。作为可选的示例，在一些实施例中，云服务端102还对该点云全景分割模型进行训练。

基于上述系统，以下通过多个实施例对本申请方案进行说明。

为便于理解本申请实施例的方案，以下首先对点云全景分割模型及其训练过程进行说明。在此基础上，再对使用该点云全景分割模型实现的点云全景分割方法进行说明。

参照图3A，示出了根据本申请实施例的一种点云全景分割模型训练方法的步骤流程图。

本实施例的点云全景分割模型训练方法包括以下步骤：

步骤S202：获取用于对点云全景分割模型进行训练的训练样本。

其中，训练样本包括点云样本数据和点云样本数据对应的真值数据。该真值数据用于标记点云样本数据中的至少一个目标对象，即，点云样本数据对应的标记（label）数据。本申请实施例中，该真值数据可以包括语义真值数据和类别真值数据，其中，语义真值数据用于指示标记的对象的类别，类别真值数据用于指示标记的点云样本特征归属于该标记所标记的对象。

点云样本数据用于描述三维物理环境，在该物理环境中通常存在一个或多个（两个及两个以上）不同的物理对象。示例性地，如机动车辆、行人、非行动车辆、固定障碍物等等。点云样本数据对应的真值数据可以认为是对点云样本数据所表示的物理环境中的物理对象的标记，如标记框等。

本申请实施例中，点云样本数据及其对应的真值数据可采用任意适当方式获得，如，从已有数据集中获得，或者通过收集的历史数据获得，等等，本申请实施例对训练样本的具体获得方式不作限制。

虽然，获得的原始的训练样本即可用于点云全景分割模型的训练，但为了提升模型训练效果，在一种可行方式中，可以先获取初始训练样本（包括初始的点云样本数据及其对应的真值数据），以及，预设的、可数点云语义类别的点云实例样本；进而，将点云实例样本粘贴至初始训练样本，形成用于对点云全景分割模型进行训练的训练样本。

与图像类似，由点云数据形成的点云帧也具有前景和背景之分。其中，前景多指易被关注到的对象部分，如行人、车辆、交通灯、路障等，而背景则是作为前景的衬托的对象部分，如道路、天空，等等。前景中存在的对象通常为可数对象，而背景中存在的对象多为不可数对象。因语义识别的结果为对象类别，因此，可将可数点云语义类别理解为对应于前景对象的对象类别，如前述行人、车辆、交通灯、路障等。点云实例样本即为这些对象类别对应的样本。因可在一个初始训练样本中添加至少一个这样的、与已有对象的对象类别相同或不同的样本，因此，本申请实施例中，也将这些单个对象的样本称为点云实例样本，如一个车辆的样本，或者一个行人的样本等。类似地，可将不可数点云语义类别理解为对应于背景对象的对象类别。

示例性地，可将初始训练样本所在训练数据集中的所有前景类对象剪切形成一个数据库。再从该数据库中进行采样，将采样获得的点云实例样本粘贴（如随机粘贴等）到当前点云帧中，以平衡前景类对象的数量和点的数量，使得全景点云分割模型中的多个分类器得到充分的训练。

虽然，采用上述方式即可提升模型尤其是模型中的分类器的训练效果，但为了使得粘贴更为合理，粘贴效果更好，进而使得训练效果更好。在一种可行方式中，将点云实例样本粘贴至初始训练样本可以实现为：根据初始训练样本中的真值数据，确定点云实例样本在初始训练样本的点云样本数据中的粘贴位置；将点云实例样本粘贴至点云样本数据中的粘贴位置上。

真值数据能够指示初始训练样本对应的点云帧中的前、背景对象的所在位置和范围，基于此，可通过任意适当的增加对象的算法，确定点云实例样本所应粘贴的位置。又因本方式中的点云实例样本为前景对象的样本，因此，该位置多与背景对象有关，可基于背景对象进行粘贴。如，将一个车辆样本作为前景对象粘贴于道路上的某一位置。由此，即增加了点云样本数据中的前景对象的数量，又充分考虑了粘贴上下文（前、背景对象关系），使得粘贴后的点云样本数据中的对象布局更为合理，可以在增大训练样本数据量的同时，保持前景类对象与背景类对象的分布。

在一种可行方式中，还可以根据初始训练样本中的前景对象所对应的真值数据，来确定前景对象的数量，进而，基于该数量从存储有前景类对象的数据库中采集数量较少的前景对象所对应的类别的点云实例样本，以更好地平衡当前点云样本数据中的各前景对象的数量。例如，当前点云样本数据中的车辆为一辆，则，可从数据库的车辆类别的点云实例样本中选择一个或多个样本，并将该样本粘贴至当前点云样本数据中，使得当前点云样本数据中包括至少两个车辆。本申请实施例中，若无特殊说明，“多个”、“多种”等与“多”有关的数量，均意指两个或两个以上。

可选地，还可基于待粘贴的点云实例样本与初始的点云样本数据之间的大小比例关系，对点云实例样本进行尺寸调整，使其与点云样本数据的尺寸相匹配，并在调整后再粘贴至点云样本数据中，以进一步提升粘贴效果和后续训练效果。

步骤S204：通过点云全景分割模型，获得训练样本对应的点云样本特征。

本申请实施例中，一个示例性的点云全景分割模型如图3B所示，其至少包括：特征提取层、分类层、调整层和二分匹配层。

其中，特征提取层用于对输入的点云样本数据进行特征提取，获得对应的点云样本特征；分类层用于基于预设的多个分类器，将点云样本特征划分至不同的多个分类集合中；并以分类集合为单位，根据多个分类集合中包含的点云样本特征，进行多个分类集合的点云语义识别；调整层用于根据进行的所述点云语义识别，获得初始识别结果；基于初始识别结果，对多个分类集合中包含的点云样本特征进行注意力处理，获得点云样本语义识别结果；二分匹配层用于对点云样本语义识别结果、分类集合的信息和真值数据，进行二分匹配，获得二分匹配结果。

除此之外，该点云全景分割模型还包括输入层和输出层。其中，输入层用于接收输入的、向量形式的点云样本数据。输出层，用于输出某一次训练的点云样本数据对应的全景分割结果。

其中，特征提取层可采用任意适当的算法或主干网络，实现对点云样本数据的特征提取，包括但不限于，深度神经网络方式、PCL（Point Cloud Library，点云库）方式等。

在分类层中，设置有多个分类器，以将点云样本特征划分至不同的多个分类集合中，该多个分类集合分别对应于预设的前景对象和背景对象。一般情况下，该“多个分类器”的数量可根据常规情况下的物理环境中的对象的数量设置，能够覆盖到可能出现的对象范围即可。示例性地，可为100个。本申请实施例中，对分类器的具体实现不作限制，可由本领域技术人员根据实际需求灵活选择算法或模型结构实现，如，线性分类器、支持向量机分类器、二次分类器，等等。

而在多个分类集合中，一部分为用于背景对象的分类集合，一部分为用于前景对象的分类集合。如前所述，前景对象通常可数，而背景对象通常不可数。因此，用于前景对象的分类集合作为对应于可数的点云语义类别的第一类分类集合，用于背景对象的分类集合作为对应于不可数的点云语义类别的第二类分类集合。但需要说明的是，不管是第一类分类集合，还是第二类分类集合，不同的分类集合可以对应于相同的点云语义类别，也可以对应于不同的点云语义类别。可将分类集合看作一个容器，用于区分点云样本特征，该分类集合对应于何种点云语义类别，最终可由点云语义识别结果确定。如，通过点云语义识别，确定第一个分类集合对应于道路、第二个分类集合对应于建筑物、第三个、第四个和第五个分类集合均对应于车辆，等。

调整层可认为是对分类层获得的初始识别结果的进一步修正和调整，以使点云样本特征划分入分类集合的分配结果、以及分类集合的语义识别结果更为准确。调整层可基于注意力机制实现，其通过对不同分类集合之间及分类集合自身的点云样本特征之间的注意力计算，使得不同分类集合间可互相感知，而当前分类集合自身更聚焦自身的点云样本特征。

二分匹配层主要在点云全景分割模型的训练阶段发挥作用，通过二分匹配，可以使得一个真值数据对应于一个预测结果（即预测出的点云样本语义识别结果和分类集合的信息），形成真值数据与预测结果之间的一对一关系，而不会出现一个真值数据对应于多个预测结果，从而让模型的训练过程可以端到端地进行，并且避免了后处理的去重操作，节省后处理所产生的计算资源。二分匹配层也可由本领域技术人员根据实际需求灵活实现，如，采用匈牙利算法实现，或者采用其它的二分图匹配方式实现等。

基于上述点云全景分割模型可见，本步骤获得训练样本对应的点云样本特征可由模型的特征提取层实现，特征提取层在接收到输入层输入的点云样本数据后，对其进行特征提取，即可获得点云样本数据对应的点云样本特征。

步骤S206：基于预设的多个分类器，将点云样本特征划分至不同的多个分类集合中。

如前所述，多个分类集合一部分为对应于可数的点云语义类别的第一类分类集合，另一部分为对应于不可数的点云语义类别的第二类分类集合。因不可数的点云语义类别数量相对较少，且类别较为稳定，因此，在一种可行方式中，可为分类集合设置顺序，第二类分类集合整体（如20个）位于第一类分类集合（如80个）之前，以提升分类效率。但本领域技术人员应当明了的是，不设顺序，或者第一类分类集合整体位于第二类分类集合之前的方式也同样适用于本申请实施例的方案。

而分类器可基于任意适当的分类算法或分类模型结构实现，为了提升分类效率，在一种可行方式中，可以基于预设的多个分类器，获得点云样本特征相对于多个分类集合的分类信息；根据分类信息，将点云样本特征划分至不同的多个分类集合中。其中，分类信息可以为分数信息，也可以为分类集合标识信息，等。

示例性地，如图3B所示，模型中预设了N个（N为大于等于2的整数）具有可学习参数的分类器（Classifiers），图中表示为。这N个分类器与经过特征提取层提取的K个点云样本特征（Kx C维，其中，C表示用于特征提取的卷积通道数）进行分类计算，得到KxN个分类信息，如KxN个用于表征点云样本特征属于某一分类集合的分数G（图中示意为分类分数G），再基于softmax函数进行计算后，就可以获得N个分类集合。由此，可以尽可能地将归属于同一对象的点云特征分至同一个分类集合。

步骤S208：以分类集合为单位，根据多个分类集合中包含的点云样本特征，进行多个分类集合的点云语义识别，获得点云样本语义识别结果。

在进行了点云样本特征的划分后，一个分类集合中会包含多个点云样本特征。基于此，可分别对这些分类集合进行点云语义识别，以获得相应的识别结果。

在一种可行方式中，可以根据多个分类集合中包含的点云样本特征，按照预设的语义类别，获得多个分类集合相对于不同语义类别的类别信息；根据类别信息，对多个分类集合进行点云语义识别。由此，简化了多个分类集合的点云语义识别的实现，提高了识别效率。其中，类别信息可以为分数信息或者为指示语义类别的标识信息，等。

示例性地，如图3B中所示，在基于softmax函数进行计算，获得N个分类集合后，可对这N个分类集合进行语义类别识别，得到NxT个类别信息，如NxT个类别分数，也基于softmax函数进行计算后，可以得到N个分类集合对应的语义类别。其中，T表示语义类别的数量。

通过这种方式，可获得初始的点云语义识别结果。但该初始的点云语义识别结果较为粗糙，为了使得对点云样本特征的划分结果及语义识别结果更为精准，在一种可行方式中，在根据进行的点云语义识别，获得初始识别结果之后，还可以基于初始识别结果，对多个分类集合中包含的点云样本特征进行注意力处理，获得点云语义识别结果。

其中，注意力处理意指通过注意力计算方式，对点云样本特征进行处理。通过注意力处理，可以使得有助于完成相应任务的那些点云样本特征更为突出，并且能够实现不同特征间交互。

基于此，在一种可行方式中，上述基于初始识别结果，对多个分类集合中包含的点云样本特征进行注意力处理，获得点云语义识别结果可以实现为：对初始识别结果对应的多个分类集合中的点云样本特征，进行分类集合间点云样本特征的交叉注意力处理，和分类集合内部的点云样本特征的自注意力处理；根据交叉注意力处理结果和自注意力处理结果，获得点云语义识别结果。由此，使得多个分类集合间既可互相感知，又可使得不同分类集合更聚焦各自自身的点云样本特征。

此外，对多个分类集合中包含的点云样本特征进行注意力处理可以分为多个阶段实现，前一阶段的处理结果作为后一阶段的输入。示例性地，如图3B中所示，该注意力处理过程可由模型的调整层实现。该过程包括S个阶段，图中示意为阶段1、2、…S，在实际应用中，S可以为大于等于2的整数。本示例中，调整层对点云样本特征的处理仍会使用N个分类器实现，该部分分类器的模型参数可能与特征提取层之后的分类器不同，为便于区别，将该部分分类器也称为微调分类器，此处使用表示调整层的N个微调分类器，其中，表示第i个阶段使用的分类器，1≤i≤S。

在S个阶段的各阶段中，首先，之前获得的N个分类集合对应的点云样本特征之间会作一个注意力交互（即交叉注意力处理），使得这N个分类集合对应的点云样本特征之间是相互感知的，具备更全局的特征信息，并且可支撑后续二分匹配去重处理。其次，各分类集合还会基于自注意力机制，通过分类分数G加权得到该分类集合对应的点云样本特征的新特征，使得每个分类集合更聚焦于其自身的点云样本特征，进一步细化点云样本特征的分类结果和语义预测结果，直至基于末级阶段的微调分类器输出的分类集合的信息和语义识别结果，即各分类集合的类别信息。

步骤S210：根据点云样本语义识别结果、分类集合的信息和真值数据，对点云全景分割模型进行训练。

在训练阶段，一方面，在获得了基于末级阶段的微调分类器输出的分类集合的信息和语义识别结果后，可基于这两部分信息进行输出处理，如，通过模型的输出层，针对各分类集合的分类分数G，基于argmax函数进行计算，为其对应的分类结果取大值；并且，针对各分类集合的类别分数，基于argmax函数进行计算，为其对应的语义识别结果取大值；然后，根据取大值后的两个结果，即可获得输出结果，也即全景分割结果。另一方面，通过调整层获得的各分类集合的语义识别结果及其对应的分类集合的信息会被输出二分匹配层进行计算，以根据计算结果对模型参数进行调整。也即，对点云样本语义识别结果、分类集合的信息和真值数据，进行二分匹配；根据二分匹配结果，对点云全景分割模型进行训练。二分匹配也称二分图匹配，意指给定一个二分图G，在G的一个子图M中，M的边集{E}中的任意两条边都不依附于同一个顶点，则M为一个匹配。

在一种可行方式中，在获得了调整层末级阶段输出的各分类集合及其对应的语义识别结果后，可通过二分匹配，示例性如通过匈牙利算法，将获得的分类信息与真值数据中的类别真值数据进行二分匹配，并且，将获得的类别信息与真值数据中的语义真值数据进行二分匹配，获得匹配结果。进而，可将该匹配结果作为训练损失Loss，据此对点云全景分割模型进行训练。通过这种方式，可以减少模型训练的数据计算量。

在另一种可行方式中，如图3B中所示，调整层的各阶段输出的各分类集合及其对应的语义识别结果，均可输入二分匹配层，分别与对应的真值数据中的类别真值数据和语义真值数据进行二分匹配，获得匹配结果，再以该匹配结果为依据，对点云全景分割模型进行训练。通过这种方式，能够对模型进行更高精度的参数调整和模型训练，获得更好的训练效果。

此外，通过二分匹配的方式，可以保证一个真值数据有且仅有一个模型输出结果与其匹配，这样配对之后，不同的分类器学习到的真值数据是完全不同的。由此，可以使分类器之间形成一定的分工合作能力，以避免输出重复的结果，节省传统方式中的后处理去除重复结果所需要的计算资源。

可见，通过本实施例，将传统全景分割的语义分割和实例分割整合为一个任务，在基于该任务进行点云全景分割模型的训练时，将点云样本数据中的多个目标对象的点云样本特征划分到不同的分类集合上。在此基础上，再以分类集合为单位，对多个分类集合分别进行点云语义识别，以识别出各分类集合对应的语义类别，即目标对象的具体类别。由此，即可识别出点云样本数据中都包括哪些类别的目标对象，又可基于类别，确定出相同类别的目标对象的数量。由此，一方面，使得语义分割数据可以和实例分割数据有效融合，使得两个任务之间的信息和参数可以有效交互和利用，以提升全景分割效果，并提升模型训练性能。另一方面，因将语义分割和实例分割融合为一个任务，为其统一分配相应的计算资源即可，无需分别分配用于两个任务的计算资源，从而避免了计算资源浪费。再一方面，基于调整层的注意力机制和二分匹配层的二分匹配方式，实现了模型的端到端的训练与优化，避免了传统方式中针对实例分割的后处理所带来的计算负担，节省了计算资源。

在训练完成的点云全景分割模型的基础上，本申请实施例还提供了一种点云全景分割方法。该方法的整体流程的简单示意如图4B所示，在接收到点云数据后，采用整合了传统语义分割和实例分割的单任务，对该点云数据进行全景分割，获得相应的全景分割结果。因全景分割的本质是把相近或相似的点云划分到同一个集合中，基于此，本方案预设了N个分类集合（Group），把这N个分类集合分配给不同的点云，然后再对这N个分类集合分别预测一个语义类别，即可完成全景分割过程。在该过程中，某个分类集合可以是一个可数类别的实例，也可以是一个不可数类别的实例，由此整合了语义分割任务和实例分割任务。

该过程的具体实现参照图4A，其示出了根据本申请实施例的一种点云全景分割方法的步骤流程图。该点云全景分割方法包括以下步骤：

步骤S302：获得待分割的点云数据对应的点云特征。

其中，待分割的点云数据可以为实际应用中采集的物理环境中的点云数据，如，具有自动驾驶功能的设备（车辆、飞行器、行走机器人等）在行驶过程中采集的其所在物理环境的点云数据，或者，AR设备采集的其所处物理环境的点云数据，等等，本申请实施例对点云数据的具体来源及获取形式不作限制。

通过对点云数据进行点云特征提取，可获得点云数据对应的点云特征。示例性地，当采用训练完成的图3B所示的点云全景分割模型时，本步骤可由该模型的特征提取层实现。如，通过特征提取层对输入的点云数据进行特征提取，获得对应的点云特征。

步骤S304：基于预设的多个分类器，将点云特征划分至不同的多个分类集合中。

其中，分类器可采用诸如，线性分类器、支持向量机分类器、二次分类器，等任意适当方式实现。分类器的数量可根据常规情况下的物理环境中的对象的数量设置，能够覆盖到可能出现的对象范围即可。示例性地，可为100个。

通过分类器，可将点云特征划分至多个分类集合中。因本申请实施例中，点云数据中既有前景对象，也有背景对象。基于此，可将分类集合划分为：对应于可数的点云语义类别（前景对象）的第一类分类集合，和，对应于不可数的点云语义类别（背景对象）的第二类分类集合，以提升分类效率。需要说明的是，在实际应用中，也可不作区分。在区分的情况下，一种可行方式中，可为分类集合设置顺序，第二类分类集合整体（如20个）位于第一类分类集合（如80个）之前，以提升分类效率。但本领域技术人员应当明了的是，不设顺序，或者第一类分类集合整体位于第二类分类集合之前的方式也同样适用于本申请实施例的方案。

不管是否区分分类集合，在一种可行方式中，可以基于预设的多个分类器，获得点云特征相对于多个分类集合的分类信息；根据分类信息，将点云特征划分至不同的多个分类集合中。其中，分类信息可以为分数信息，也可以为分类集合标识信息，等。

示例性地，可将N个分类器与经过特征提取获得的K个点云特征进行分类计算，得到KxN个分类信息，如KxN个用于表征点云特征属于某一分类集合的分数G，再基于softmax函数进行计算后，就可以获得N个分类集合。当采用训练完成的图3B所示的点云全景分割模型时，本步骤可由该模型的分类层实现。

步骤S306：以分类集合为单位，根据多个分类集合中包含的点云特征，进行多个分类集合的点云语义识别，获得点云语义识别结果。

在获得多个分类集合后，以单个分类集合为单位，分别对各分类集合进行点云语义识别，获得对应的结果。

一个分类集合中包含多个点云特征，在一种可行方式中，可根据多个分类集合中包含的点云特征，按照预设的语义类别，获得多个分类集合相对于不同语义类别的类别信息；根据该类别信息，对多个分类集合进行点云语义识别，以提高识别效率，简化识别实现。示例性地，在前述获得N个分类集合后，可对这N个分类集合进行语义识别，得到NxT个类别信息，如NxT个分数，也基于softmax函数进行计算后，可以得到N个分类集合对应的语义类别。其中，T表示语义类别的数量。当采用训练完成的图3B所示的点云全景分割模型时，本步骤可由该模型的分类层实现。

通过上述方式，可获得初始的点云语义识别结果。但该初始的点云语义识别结果较为粗糙，为了使得对点云特征的划分结果及语义识别结果更为精准，在一种可行方式中，在根据进行的点云语义识别，获得初始识别结果之后，还可以基于初始识别结果，对多个分类集合中包含的点云特征进行注意力处理，获得点云语义识别结果。

其中，注意力处理意指通过注意力计算方式，对点云特征进行处理。通过注意力处理，可以使得有助于完成相应任务的那些点云特征更为突出，并且能够实现不同特征间交互。

基于此，在一种可行方式中，上述基于初始识别结果，对多个分类集合中包含的点云特征进行注意力处理，获得点云语义识别结果可以实现为：对初始识别结果对应的多个分类集合中的点云特征，进行分类集合间点云特征的交叉注意力处理，和分类集合内部的点云特征的自注意力处理；根据交叉注意力处理结果和自注意力处理结果，获得点云语义识别结果。由此，使得多个分类集合间既可互相感知，又可使得不同分类集合更聚焦各自自身的点云特征。

当采用训练完成的图3B所示的点云全景分割模型时，本步骤可由该模型的调整层实现。

步骤S308：根据点云语义识别结果和对应的分类集合的信息，获得所述点云数据的全景分割结果。

示例性地，可在获得了分类集合的信息及其对应的语义识别结果后，可基于这两部分信息进行输出处理，如，针对各分类集合，为其对应的语义识别结果取大值后，再结合分类集合的分类信息如分类分数G，获得输出结果，也即全景分割结果。

当采用训练完成的图3B所示的点云全景分割模型时，在获得了基于调整层输出的分类集合的信息和语义识别结果后，可基于这两部分信息进行输出处理，如，通过模型的输出层，针对各分类集合，为其对应的语义识别结果取大值后，再结合分类集合的分类分数G，获得输出结果，也即全景分割结果。

可见，通过本实施例，在对点云数据进行全景分割时，将传统的语义分割和实例分割整合为一个任务。具体地，可预设多个分类器，能够使得点云数据中的多个目标对象的点云特征划分到不同的分类集合上。在此基础上，再以分类集合为单位，对多个分类集合分别进行点云语义识别，以识别出各分类集合对应的语义类别，即目标对象的具体类别。由此，即可识别出点云数据中都包括哪些类别的目标对象，又可基于类别，确定出相同类别的目标对象的数量，从而得到全景分割结果。可见，通过本申请实施例将语义分割和实例分割整合为一个任务的方案，一方面，使得语义分割数据可以和实例分割数据有效融合，使得两个任务之间的信息可以有效交互和利用，以提升全景分割效果；另一方面，因将语义分割和实例分割融合为一个任务，为其统一分配相应的计算资源即可，无需分别分配用于两个任务的计算资源，从而避免了计算资源浪费。

以下，以具体场景为示例，对上述过程进行示例性说明，分别如图4C和图4D所示。

图4C中示出了上述点云全景分割方法在自动驾驶技术中的应用，可实现为：获得采集的车辆所在环境的点云数据；对点云数据进行特征提取，获得对应的点云特征；基于预设的多个分类器，将点云特征划分至不同的多个分类集合中；以分类集合为单位，根据多个分类集合中包含的点云特征，进行多个分类集合的点云语义识别，获得点云语义识别结果；根据点云语义识别结果和对应的分类集合的信息，获得点云数据的全景分割结果；根据全景分割结果，对车辆进行行驶规划。

假设，该行驶规划为车辆行驶路径规划，示例性地，车辆X实时采集其所在的交通环境的点云数据，再通过车辆X本地设置的点云全景分割模型，依次执行：通过特征提取层对点云数据进行特征提取，获得对应的点云特征--->通过分类层基于预设的N个分类器，将点云特征划分至不同的N个分类集合中；以分类集合为单位，根据N个分类集合中包含的点云特征，进行多个分类集合的点云语义识别，获得初始识别结果--->通过调整层基于初始识别结果，对N个分类集合中包含的点云特征进行注意力处理，获得点云语义识别结果--->通过输出层根据点云语义识别结果和对应的分类集合的信息，获得点云数据的全景分割结果，本示例中，设定为车辆X的右前方有一个行人。基于此，对车辆X进行行驶规划，生成指示车辆X向左侧车道变道的指示。进而，车辆X将根据该指示，向左侧变道。

可见，通过本示例，可高效、快速地实现了对车辆所在环境的点云数据的全景分割，进而，为车辆的自动行驶决策提供依据，保障自动行驶安全。

图4D中示出了上述点云全景分割方法在AR技术中的应用，可实现为：获得采集的AR设备所在环境的点云数据；对点云数据进行特征提取，获得对应的点云特征；基于预设的多个分类器，将点云特征划分至不同的多个分类集合中；以分类集合为单位，根据多个分类集合中包含的点云特征，进行多个分类集合的点云语义识别，获得点云语义识别结果；根据点云语义识别结果和对应的分类集合的信息，获得点云数据的全景分割结果；根据全景分割结果，对AR设备进行增强现实处理。其中，该增强现实处理包括但不限于以下至少之一：信息提示处理、图像和/或文字添加处理、任务决策处理，等。

假设，该增强现实处理为AR设备（图中示例为AR眼镜）的任务决策处理，示例性地，AR设备实时采集其所在环境的点云数据，再通过AR设备中的点云全景分割模型，依次执行：通过特征提取层对点云数据进行特征提取，获得对应的点云特征--->通过分类层基于预设的N个分类器，将点云特征划分至不同的N个分类集合中；以分类集合为单位，根据N个分类集合中包含的点云特征，进行多个分类集合的点云语义识别，获得初始识别结果--->通过调整层基于初始识别结果，对N个分类集合中包含的点云特征进行注意力处理，获得点云语义识别结果--->通过输出层根据点云语义识别结果和对应的分类集合的信息，获得点云数据的全景分割结果，本示例中，设定为AR设备前方及左侧均为建筑物，右方存在通道。基于此，对AR设备的任务决策处理示例为指示AR设备的佩戴者向右侧通道方向行走。

可见，通过本示例，可高效、快速地实现了对AR设备所在环境的点云数据的全景分割，进而，实现各种所需的增强现实处理。

需要说明的是，上述点云全景分割方法及其在具体应用场景中的实现，都描述较为简单，本领域技术人员可参照前述点云全景分割模型训练方法中的相关部分参照实现，只需将其中的样本数据替换为应用数据即可。如，将点云样本数据替换为点云数据，将点云样本特征替换为点云特征，等等。

参照图5，示出了根据本申请实施例的一种电子设备的结构示意图。如前所述，该电子设备可实现为用户设备（如，具有自动驾驶功能的车辆或AR设备等），也可实现为云服务端的设备（如服务器等），本申请具体实施例并不对电子设备的具体实现做限定。

如图5所示，该电子设备可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。

其中：

处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。

通信接口404，用于与其它电子设备进行通信。

处理器402，用于执行程序410，具体可以执行上述任一方法实施例中的相关步骤。

具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。

处理器402可能是CPU，或者是特定集成电路ASIC（Application SpecificIntegrated Circuit），或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

程序410可包括多条计算机指令，程序410具体可以通过多条计算机指令使得处理器402执行前述多个方法实施例中任一实施例所描述方法对应的操作。

程序410中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘（Compact Disc Read-Only Memory ，CD-ROM）、随机存储器（RandomAccess Memory ，RAM）、软盘、硬盘或磁光盘等。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。

此外，需要说明的是，本申请实施例所涉及到的与用户有关的信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质（诸如CD-ROM、RAM、软盘、硬盘或磁光盘）中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件（诸如专用集成电路（Application Specific Integrated Circuit，ASIC）或现场可编辑门阵列（Field Programmable Gate Array，FPGA））的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件（例如，随机存储器（Random Access Memory，RAM）、只读存储器（Read-Only Memory，ROM）、闪存等），当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (14)

1.一种点云全景分割方法，包括：

获得待分割的点云数据对应的点云特征；

基于预设的多个分类器，将所述点云特征划分至不同的多个分类集合中；

以分类集合为单位，根据所述多个分类集合中包含的点云特征，进行所述多个分类集合的点云语义识别，获得点云语义识别结果；

根据点云语义识别结果和对应的分类集合的信息，获得所述点云数据的全景分割结果。

2.根据权利要求1所述的方法，其中，所述多个分类集合包括：对应于可数的点云语义类别的第一类分类集合，和，对应于不可数的点云语义类别的第二类分类集合。

3.根据权利要求1或2所述的方法，其中，所述基于预设的多个分类器，将所述点云特征划分至不同的多个分类集合中，包括：

基于预设的多个分类器，获得所述点云特征相对于多个分类集合的分类信息；

根据所述分类信息，将所述点云特征划分至不同的多个分类集合中。

4.根据权利要求3所述的方法，其中，所述以分类集合为单位，根据所述多个分类集合中包含的点云特征，进行所述多个分类集合的点云语义识别，包括：

根据所述多个分类集合中包含的点云特征，按照预设的语义类别，获得所述多个分类集合相对于不同语义类别的类别信息；

根据所述类别信息，对所述多个分类集合进行点云语义识别。

5.根据权利要求1或2所述的方法，其中，所述获得点云语义识别结果，包括：

根据进行的所述点云语义识别，获得初始识别结果；

基于所述初始识别结果，对所述多个分类集合中包含的点云特征进行注意力处理，获得点云语义识别结果。

6.根据权利要求5所述的方法，其中，所述基于所述初始识别结果，对所述多个分类集合中包含的点云特征进行注意力处理，获得点云语义识别结果，包括：

对所述初始识别结果对应的多个分类集合中的点云特征，进行分类集合间点云特征的交叉注意力处理，和分类集合内部的点云特征的自注意力处理；

根据交叉注意力处理结果和自注意力处理结果，获得点云语义识别结果。

7.一种点云全景分割模型训练方法，包括：

获取用于对点云全景分割模型进行训练的训练样本，其中，所述训练样本包括点云样本数据和所述点云样本数据对应的真值数据；

通过所述点云全景分割模型，获得所述训练样本对应的点云样本特征；

基于预设的多个分类器，将所述点云样本特征划分至不同的多个分类集合中；

以分类集合为单位，根据所述多个分类集合中包含的点云样本特征，进行所述多个分类集合的点云语义识别，获得点云样本语义识别结果；

根据所述点云样本语义识别结果、所述分类集合的信息和所述真值数据，对所述点云全景分割模型进行训练。

8.根据权利要求7所述的方法，其中，所述根据所述点云样本语义识别结果、所述分类集合的信息和所述真值数据，对所述点云全景分割模型进行训练，包括：

对所述点云样本语义识别结果、所述分类集合的信息和所述真值数据，进行二分匹配；

根据二分匹配结果，对所述点云全景分割模型进行训练。

9.根据权利要求7或8所述的方法，其中，所述获得点云样本语义识别结果，包括：

根据进行的所述点云语义识别，获得初始识别结果；

基于所述初始识别结果，对所述多个分类集合中包含的点云样本特征进行注意力处理，获得点云样本语义识别结果。

10.根据权利要求7或8所述的方法，其中，所述获取用于对点云全景分割模型进行训练的训练样本，包括：

获取初始训练样本，以及，预设的、可数点云语义类别的点云实例样本；

将所述点云实例样本粘贴至所述初始训练样本，形成用于对点云全景分割模型进行训练的训练样本。

11.根据权利要求10所述的方法，其中，所述将所述点云实例样本粘贴至所述初始训练样本，包括：

根据所述初始训练样本中的真值数据，确定所述点云实例样本在所述初始训练样本的点云样本数据中的粘贴位置；

将所述点云实例样本粘贴至所述点云样本数据中的粘贴位置上。

12.根据权利要求7或8所述的方法，其中，所述点云全景分割模型中设置有：特征提取层、分类层、调整层和二分匹配层；

其中：

所述特征提取层，用于对所述点云样本数据进行特征提取，获得对应的点云样本特征；

所述分类层，用于基于预设的多个分类器，将所述点云样本特征划分至不同的多个分类集合中；以分类集合为单位，根据所述多个分类集合中包含的点云样本特征，进行所述多个分类集合的点云语义识别；

所述调整层，用于根据进行的所述点云语义识别，获得初始识别结果；基于所述初始识别结果，对所述多个分类集合中包含的点云样本特征进行注意力处理，获得点云样本语义识别结果；

所述二分匹配层，用于对所述点云样本语义识别结果、所述分类集合的信息和所述真值数据，进行二分匹配，获得二分匹配结果。

13.一种点云全景分割方法，包括：

获得采集的车辆所在环境的点云数据；

对所述点云数据进行特征提取，获得对应的点云特征；

基于预设的多个分类器，将所述点云特征划分至不同的多个分类集合中；

以分类集合为单位，根据所述多个分类集合中包含的点云特征，进行所述多个分类集合的点云语义识别，获得点云语义识别结果；

根据点云语义识别结果和对应的分类集合的信息，获得点云数据的全景分割结果；

根据所述全景分割结果，对所述车辆进行行驶规划。

14.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-13中任一项所述的方法对应的操作。

Images