CN117593749A - 点云全景分割、数据处理方法、装置、设备、介质及产品 - Google Patents

Abstract

本公开提供了一种点云全景分割、数据处理方法、装置、设备、介质及产品，涉及人工智能领域，尤其涉及自动驾驶、智能交通和深度学习技术领域。具体实现方案为：基于三维点云中识别的多个前景点，确定多个所述前景点在二维网格图像中对应的至少一个投影点，所述二维网格图像包括至少一个前景网格，所述前景网格包括至少一个所述投影点；基于所述前景网格中的至少一个所述投影点，确定所述前景网格的网格中心点，获得至少一个所述网格中心点；对至少一个所述网格中心点进行冗余去除处理，获得至少一个实例中心点；根据至少一个所述实例中心点，对多个所述前景点分别进行实例分割，获得多个所述前景点分别对应的目标实例中心点。

Description

点云全景分割、数据处理方法、装置、设备、介质及产品

技术领域

本公开涉及人工智能领域，尤其涉及一种点云全景分割、数据处理方法、装置、设备、介质及产品，可用于自动驾驶、智能交通和深度学习技术领域。

背景技术

点云全景分割可以包括实例分割和语义分割。实例分割可以是指对同一类别中不同对象进行实例标识确定的分割方法。语义分割是指对点云中每个点分类的分割方法。语义分割可以获得每个点的类别，同一类别之间的对象不区分。实例分割可以确定点的实例标识，同一类的不同对象使用不同实例标识区分。

相关技术中，一般可以采用深度学习算法、神经网络等完成对点云全景分割。但是目前的全景分割效果较差，经常出现将一个车识别为多个车的现象，获得的全局分割效果较差，导致后续通过各个点的实例标识执行自动驾驶、避障等下游任务时出现较多误差。

发明内容

本公开提供了一种用于三维点云的点云全景分割、数据处理方法、装置、设备、介质及产品。

根据本公开的第一方面，提供了一种点云全景分割方法，包括：

基于三维点云中识别的多个前景点，确定多个所述前景点在二维网格图像中对应的至少一个投影点，所述二维网格图像包括至少一个前景网格，所述前景网格包括至少一个所述投影点；

基于所述前景网格中的至少一个所述投影点，确定所述前景网格的网格中心点，获得至少一个所述网格中心点；

对至少一个所述网格中心点进行冗余去除处理，获得至少一个实例中心点；

根据至少一个所述实例中心点，对多个所述前景点分别进行实例分割，获得多个所述前景点分别对应的目标实例中心点。

根据本公开的第二方面，提供了一种数据处理方法，用于训练目标实例预测模型，所述方法包括：

确定训练数据集，所述训练数据集包括多个训练样本，所述训练样本包括训练点云中多个训练点和所述训练点与对应真实实例中心的中心偏移量；

以拉普拉斯算子作为损失函数，构建实例预测模型；

通过所述训练数据集，训练所述实例预测模型，获得目标实例预测模型。

根据本公开的第三方面，提供了一种点云全景分割装置，包括：

投影单元，用于基于三维点云中识别的多个前景点，确定多个所述前景点在二维网格图像中对应的至少一个投影点，所述二维网格图像包括至少一个前景网格，所述前景网格包括至少一个所述投影点；

中心单元，用于基于所述前景网格中的至少一个所述投影点，确定所述前景网格的网格中心点，获得至少一个所述网格中心点；

去冗单元，用于对至少一个所述网格中心点进行冗余去除处理，获得至少一个实例中心点；

目标单元，用于根据至少一个所述实例中心点，对多个所述前景点分别进行实例分割，获得多个所述前景点分别对应的目标实例中心点。

根据本公开的第四方面，提供了一种数据处理装置，包括：

数据确定单元，用于确定训练数据集，所述训练数据集包括多个训练样本，所述训练样本包括训练点云中多个训练点和所述训练点与对应真实实例中心的中心偏移量；

模型构建单元，用于以拉普拉斯算子作为损失函数，构建实例预测模型；

模型训练单元，用于通过所述训练数据集，训练所述实例预测模型，获得目标实例预测模型。

根据本公开的第五方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。

根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面或第二方面的方法。

根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。

根据本公开的技术方案中，基于三维点云中识别的多个前景点，可以确定多个前景点在二维网格图像对应的至少一个投影点，二维网格图像包括至少一个前景网格，使得前景点映射到二维网格图像中，获得位于各前景网格的投影点，通过映射可以减少参与后续实例中心的投影点数量，降低后续实例分割过程的复杂度。此外，通过以前景网格为分析对象，对前景网格内的至少一个投影点进行中心点计算，可以获得各前景网格的网格中心点，实现网格中心点的获取。在此基础上，对至少一个网格中心点进行冗余去除处理，可以获得至少一个实例中心点，通过冗余的网格中心点的去除，可以减少同一个实例被分割为多个实例的概率。至少一个实例中心点能够更准确地表征点云中各实例的中心点，因此，从至少一个实例中心点中确定与前景点相匹配的目标实例中心点，可以提高目标实例中心点的获取准确性。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开实施例提供的一种用于实现点云全景分割方法的应用示例性；

图2是根据本公开第一实施例的示意图；

图3是根据本公开第二实施例的示意图；

图4是根据本公开第三实施例的示意图；

图5是根据本公开实施例提供的一种实例中心点的获取的示例图；

图6是根据本公开第四实施例的示意图；

图7是根据本公开第五实施例的示意图；

图8是根据本公开第六实施例的示意图；

图9是用来实现本公开实施例的点云全景分割或数据处理方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

本公开提供一种点云全景分割、数据处理方法、装置、设备、介质及产品，应用于人工智能领域，可用于自动驾驶、智能交通和深度学习等技术领域，以达到提高全局分割精度的目的。

相关技术中，自动驾驶场景中，通过雷达激光传感器采集三维点云，并对三维点云进行视觉分析，以识别三维点云中的车辆、行人、建筑物、道路、树木等实例，并通过识别的实例执行路径导航、避障、自动驾驶控制等处理。其中，识别三维点云中的实例时，可以识别三维点云中的背景点和前景点。背景点可以是指三维点云中的背景所对应的点，例如树木、建筑物等对象的点可以作为背景点。前景点可以是指识别的对象所对应的点，例如行人、车辆等对象的点可以作为前景点。获得点云中的前景点之后，可以对前景点中的对象进行实例分割，例如，可以识别前景点中的多个实例，每个实例具备不同的实例标识。例如，从前景点中识别获得两个车，分别为车A和车B，车A和车B的语义类别相同但实例ID不同。目前，通过前景点分割实例，一般是通过目标检测算法等深度学习算法进行实例分割获得。但是实例分割的结果往往不够准确。

其中，本公开中考虑到，点云的点的数量非常多，即便仅针对前景点，前景点的数量也非常大，而大量的前景点参与到实例分割时，可能会导致一个实例被分割为多个。例如，体积较大的公交车辆往往被识别为多个车辆，这就导致了识别的不准确性。

为了解决上述问题，本公开的技术方案中，考虑将多个前景点映射到二维网格图像中，获得投影点，投影点的数量远小于投影前的前景点。此外，将二维网格图像中可以包括多个网格，网格中存在投影点的可以称为前景网格。因此，可以以前景网格中的至少一个投影点作为整体进行分析，获得各前景网格的网格中心，获得至少一个网格中心点。对于至少一个网格中心点进行冗余去除处理，可以获得至少一个实例中心点。从至少一个实例中心点中确定与前景点相匹配的目标实例中心点。先确定实例中心点，再以中心点为基础为各前景点分配相应的中心点。通过为各个前景点分配对应的目标实例中心点，可以实现各个实例中心点的准确获取，完成各前景点的实例分割，获得更准确的分割效果。

图1为本公开实施例提供的一种用于实现点云全景分割方法的应用示例性，参考图1，该系统可以包括：目标车辆11、服务器12。其中目标车辆11上可以配置雷达激光传感器110，雷达激光传感器110可以采集车辆行驶前方的实景，获得三维点云，并将三维点云发送至服务器12。

服务器12可以配置本公开的点云全景分割方法，可以基于三维点云中识别的多个前景点，确定多个前景点在二维网格图像中对应的至少一个投影点，二维网格图像包括至少一个前景网格，前景网格包括至少一个投影点。基于前景网格中的至少一个投影点，确定前景网格的网格中心点，获得至少一个网格中心点。对至少一个网格中心点进行冗余去除处理，获得至少一个实例中心点。从至少一个实例中心点中确定与前景点相匹配的目标实例中心点。

图2为本公开提供的第一实施例的示意图，如图2所示的点云全景分割方法，该方法可以包括：

步骤201、基于三维点云中识别的多个前景点，确定多个前景点在二维网格图像中对应的至少一个投影点，二维网格图像包括至少一个前景网格，前景网格包括至少一个投影点。

本实施例的执行主体为点云全景分割装置，该全景分割装置可以耦合于电子设备中，电子设备例如可以为计算机、服务器或云服务器、掌上终端、超级个人计算机、VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强显示)、车载终端、车机、辅助驾驶模块等任意设备，本实施例中对电子设备的具体类型并不过多限定。

在本实施方式中，目标车辆在行驶的过程中，用户可以触发自动驾驶请求，对于全景分割装置而言，可以检测用户触发的自动驾驶请求，并启动自身的雷达激光传感器采集三维点云，并获取到雷达激光传感器采集的三维点云，执行本公开的点云全景分割方法。

在本实施例方式中，目标车辆在行驶的过程中，用户可以触发自动驾驶请求，对于车机、车载终端或者辅助驾驶模块而言，可以检测用户触发的自动驾驶请求，并启动自身的雷达激光传感器采集的三维点云，并将三维点云发送至云服务器。云服务器可以接收三维点云，从而执行本公开的点云全景分割方法。

可选地，步骤201之前，还包括：从三维点云中识别多个前景点。前景点可以是指三维点云中代表实例的点。

可选地，二维网格图像的网格大小可以预先设置，例如可以设置为0.2*0.2，单位为厘米。

步骤202、基于前景网格中的至少一个投影点，确定前景网格的网格中心点，获得至少一个网格中心点。

可选地，前景网格可以为二维网格图像中存在至少一个投影点的网格。

本实施例中，基于前景网格中的至少一个投影点，确定前景网格的网格中心点，获得至少一个网格中心点，可以包括：根据前景网格的至少一个投影点进行均值计算，获得前景网格的网格中心点。将至少一个前景网格分别对的网格中心点确定为至少一个网格中心点。

至少一个网格中心点可以包括至少一个前景网格分别对应的网格中心点。

网格中心点可以为实例在前景网格映射的中心点。

本实施例方式中，二维网格图像可以通过与三维点云对应的点云鸟瞰图(BEV，brid’s eye view)确定，点云鸟瞰图可以是指将三维点云中的点投影到二维平面获得的图像。具体可以通过将三维点云对应的点云鸟瞰图中的前景点进行偏移，获得偏移后的投影点。当然，也可以先将三维点云中的前景点偏移后，再确定偏移后的点云的鸟瞰图，本实施例中对前景点的偏移和映射的具体步骤并不过多限定。

步骤203、对至少一个网格中心点进行冗余去除处理，获得至少一个实例中心点。

可选地，步骤203可以包括：对至少一个网格中心点进行聚类处理，获得至少一个聚类中心点，并将至少一个聚类中心点确定为至少一个实例中心点。

其中，对至少一个网格中心点进行聚类处理，获得至少一个聚类中心点，可以包括：通过聚类算法对至少一个网格中心点进行聚类处理，获得至少一个聚类中心点。进一步地，聚类算法例如可以为K均值聚类算法等，本实施例中对此并不过多限定。

步骤204、根据至少一个实例中心点，对多个前景点进行实例分割，获得多个前景点分别对应的目标实例中心点。

可选地，步骤204，可以包括：从至少一个实例中心点中确定与前景点相匹配的目标实例中心点，以获得多个前景点分别对应的实例中心点。

进一步地，可以将前景点转换为二维坐标点，计算二维坐标与至少一个实例中心分别对应的坐标距离，将最小坐标距离对应的实例中心确定为前景点的目标实例中心。

其中，将前景点转换为二维坐标点可以包括：将前景点的三维坐标中的Z轴坐标去除，保留X轴和Y轴各自的坐标值为该前景点的二维坐标点。

本公开的技术方案中，基于三维点云中识别的多个前景点，可以确定多个前景点在二维网格图像对应的至少一个投影点，二维网格图像包括至少一个前景网格，使得前景点映射到二维网格图像中，获得位于各前景网格的投影点，通过映射可以减少参与后续实例中心的投影点数量，降低后续实例分割过程的复杂度。此外，通过以前景网格为分析对象，对前景网格内的至少一个投影点进行中心点计算，可以获得各前景网格的网格中心点，实现网格中心点的获取。在此基础上，对至少一个网格中心点进行冗余去除处理，可以获得至少一个实例中心点，通过冗余的网格中心点的去除，可以减少同一个实例被分割为多个实例的概率。至少一个实例中心点能够更准确地表征点云中各实例的中心点，因此，从至少一个实例中心点中确定与前景点相匹配的目标实例中心点，可以提高目标实例中心点的获取准确性。

为使读者更深刻地理解本公开的实现原理，现结合以下图3-图5对图2所示的实施例进行进一步细化。

三维点云中的前景点偏移之后可以投影到二维网格图像中。

进一步地，在上述任一实施例的基础上，基于三维点云中的多个前景点，确定多个前景点在二维网格图像中对应的至少一个投影点，包括：

基于三维点云中识别的多个前景点，确定多个前景点分别对应的偏移点。

将多个前景点分别对应的偏移点映射到二维网格图像中，获得至少一个投影点。

可选地，基于三维点云中识别的多个前景点，确定多个前景点分别对应的偏移点，可以包括：获取三维点云中多个前景点分别对应的实例偏移量，实例偏移量可以为前景点和实例中心的距离。将多个前景点分别对应的坐标和实例偏移量相加，获得多个前景点分别对应的偏移点。

本实施方式中，将多个前景点分别对应的偏移点映射到二维网格图像中，获得至少一个投影点，可以包括：将多个前景点分别对应的偏移点中的Z轴坐标删除，保留X轴坐标值和Y轴坐标值构成的投影点，获得至少一个投影点。

进一步地，获得至少一个投影点，可以包括：将多个前景点分别对应的投影点进行去重处理，获得去重处理后的至少一个投影点。

本公开的技术方案中，在从前景点映射到二维网格图像的过程中，先需要计算前景点分别对应的偏移点，通过各个前景点的偏移点对前景点进行修正，获得聚焦到中心的偏移点。将多个前景点分别对应的偏移点映射到二维网格图像中，获得至少一个投影点，实现以聚焦到中心的偏移点的投影，可以使得至少一个投影点可以分别指代中心点，获得的至少一个投影点参与到中心选择时，具备更可靠的选择前景，提高实例中心点的选择准确度。

其中，各个前景点的偏移点可以通过偏移计算获得。

进一步地，在上述任一实施例的基础上，确定多个前景点分别对应的偏移点，可以包括：

以三维点云中的多个点作为输入数据，输入到训练获得的目标实例预测模型，获得目标实例预测模型为多个点分别预测的实例偏移量。

基于三维点云中的多个前景点，确定多个前景点分别对应的目标实例偏移量。

将前景点的坐标和实例偏移量相加，获得前景点对应的偏移点。

可选地，实例偏移量可以是指点到该点所在实例中心的偏移量。

可选地，基于三维点云中的多个前景点，确定多个前景点分别对应的目标实例偏移量，可以包括：基于三维点云中的多个前景点，生成前景标识掩码，将前景标识掩码和多个点分别对应的实例偏移量卷积计算，获得多个前景点分别对应的目标实例偏移量。

其中，基于三维点云中的多个前景点，生成前景标识掩码，可以包括：基于三维点云的多个前景点分别对应的坐标位置，将三维点云中存在前景点的坐标位置上将第一数值确定为该坐标位置的目标数值，以及不存在前景点的坐标位置上将第二数值确定为该坐标位置的目标数值，获得三维点云中各坐标位置分别对应的目标数值。

目标实例预测模型的训练步骤可以参考下列实施例的描述，在此不再赘述。

本实施方式中，将前景点的坐标和实例偏移量相加，获得前景点对应的偏移点，可以包括将前景点的坐标和实例偏移量在X轴、Y轴和Z轴上分别相加，获得前景点对应的偏移点。

本公开的技术方案中，以三维点云中的多个点作为输入数据，输入到训练获得的目标实例预测模型，可以获得目标实例预测模型为多个点分别预测的实例偏移量，获得各个点的偏移量。偏移量可以是指点距离中心点的偏移量。将前景点的坐标和其实例偏移量相加，获得的该前景点对应的偏移点，该偏移点可以为前景点向实例中心偏移后的点。因此，通过偏移量的偏移，可以使得前景点向中心聚焦，获得的偏移点可以更准确地指示实例中心，从而使得实例中心具备更多的选择可能性，扩展实例中心的选择范围，从而获得更准确的实例中心点。

本公开的技术方案中，可以通过池化计算获得各个网格的中心点。

图3示出了本公开第二实施例的示意图，参考图4所示的点云全景分割方法，基于前景网格中的至少一个投影点，确定前景网格的网格中心点，包括：

步骤301、确定投影点的点信息，点信息包括投影点对应前景点的语义类别、投影点在二维网格图像中的坐标以及投影点对应前景点的不确定性。

可选地，投影点的点信息可以通过投影点对应的前景点确定。

进一步地，步骤301，可以包括：获取投影点对应前景点的点信息，前景点的点信息可以包括：前景点的语义类别、前景点的坐标以及前景点的不确定性。将前景点的语义类别确定为该投影点的语义类别，将前景点的不确定性确定为投影点的不确定定。

其中，不确定性可以是指前景点的预测的准确性或者稳定性，不确定性也可以称为置信度。

本公开中，各前景点的点信息可以通过训练获得的语义分割模型预测获得，关于此部分内容可以参考下列实施例的描述。

步骤302、根据前景网格中的至少一个投影点的点信息，确定前景网格的中心点信息。

可选地，步骤302，可以包括对前景网格中的至少一个投影点的点信息进行点信息综合处理，获得前景网格的中心点信息。

本实施方式中，中心点信息可以包括中心点坐标、平均置信度以及目标语义类别。

步骤303、确定与中心点信息对应的网格中心点。

可选地，步骤303，可以包括：根据中心点信息中的中心点坐标，确定该中心点坐标对应坐标点为网格中心点，并确定中心点信息为网格中心点的点信息。

本公开的技术方案中，投影点的点信息可以包括前景点的语义类别、投影点在二维网格图像中的坐标点以及投影点对应前景点的不确定性。通过平均池化算法，对前景网格中至少一个投影点的点信息进行池化计算，可以获得前景网格的中心点信息，实现中心点信息的准确获取。通过池化计算可以使得网格中心点确定过程中综合至少一个投影点，从网格内代表中心的至少一个投影点聚类，可以使得各个前景网格内中的网格中心点综合了至少一个投影点的表征效果，获得的各前景网格的网格中心点的准确度更高。

进一步地，在上述任一实施例的基础上，根据前景网格中的至少一个投影点的点信息，确定前景网格的中心点信息，包括：

通过平均池化算法，对前景网格中至少一个投影点各自的点信息中的坐标进行均值计算，获得目标坐标点；

根据前景网格中至少一个投影点各自点信息中的语义类别，确定投影点数量最大的语义类别为前景网络的目标语义类别。

通过平均池化算法，前景网格中至少一个投影点各自的点信息中的不确定性进行均值计算，获得平均置信度；

将目标坐标点、目标语义类别以及平均置信度确定为前景网格的中心点信息。

可选地，根据前景网格中至少一个投影点各自点信息中的语义类别，确定投影点数量最大的语义类别为前景网络的目标语义类别，可以包括：根据前景网格中至少一个投影点分别对应的语义类别，确定前景网格中至少一个语义类别分别对应的投影点数量；确定投影点数量最大的语义类别为前景网络的目标语义类别。

本公开的技术方案中，为了获得前景网格的中心点信息，可以通过平均池化算法，对至少一个投影点的坐标进行池化计算，获得中心点坐标，使得中心点坐标综合了前景网格中至少一个投影点的坐标，获得的中心点更准确。此外，还通过平均池化算法，对至少一个投影点的不确定性进行池化计算，获得平均置信度，获得的平均置信度能够表征前景网格中至少一个投影点的整体的不确定性。而将投影点数量最大的语义类别确定为前景网格的目标语义类别，使得前景网格的目标语义类别代表网格中大部分的投影点的语义类别，使得前景网格的语义类别更准确。在获得上述目标坐标点、目标语义类别以及平均置信度之后，可以将获得的目标坐标点、目标语义类别以及平均置信度确定为前景网格的中心点信息，使得中心点信息的信息内容更丰富的情况下，准确度更高。进而各个前景网格参与到后续的中心点冗余去除之后，获得的实例中心点更准确。

图4示出了本公开第三实施例的示意图，参考图4所示的点云全景分割方法，与前述实施例的不同之处在于，对至少一个网格中心点进行冗余去除处理，获得至少一个实例中心点，可以包括：

步骤401、从至少一个网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点，待比对网格中心点为至少一个网格中心中除目标网格中心点之外的网格中心点。

可选地，至少一个网格中心点可以为至少一个前景网格分别对应的网格中心点，也可以为前一次获得的不满足先验条件的网格中心点。

步骤402、将目标网格中心点确定为实例中心点。

步骤403、从待比对网格中心点中选择不满足目标网格中心点的先验条件的网格中心点。

可选地，步骤403可以包括：判断待比对网格中心点是否满足目标网格中心点的先验条件。若是，则确定待比对网格中心点为满足目标网格中心点的先验条件的网格中心点。若否，则确定待比对网格中心点为不满足目标网格中心点的先验条件的网格中心点。

步骤404、判断不满足先验条件的待比对网格中心点是否为空，若是，则执行步骤405，若否，则执行步骤406。

可选地，判断不满足先验条件的待比对网格中心点是否为空，可以包括：确定不满足先验条件的待比对网格中心点的中心点数量，判断中心点数量是否为零。若是，则不满足先验条件的待比对网格中心点为空，若否，则不满足先验条件的待比对网格中心点不为空。

步骤405、确定遍历结束，获得被确定为实例中心点的至少一个实例中心点。

可选地，步骤401为一轮新的遍历，每次遍历可以确定一个目标网格中心点，进而将目标网格中心点确定为实例中心，从而在一轮或多伦遍历的基础上，可以确定至少一个实例中心。

步骤406、将不满足先验条件的网格中心点确定为至少一个网格中心点，返回步骤401继续执行。

本公开的技术方案中，对至少一个网格中心点进行去冗余处理时，可以确定置信度最高的目标网格中心点，并以目标网格中心点作为比对基准，将待比对网格中心点与目标网格中心点进行先验比对，获得不满足目标网格中心点的先验条件的网格中心点。不满足目标网格中心点的先验条件的网格中心点即为与目标网格中心点属于不同实例的中心点，相应地，满足目标网格中心点的先验条件的网格中心点即为与目标网格中心点属于相同实例的中心点。保留不满足目标网格中心点的先验条件的网格中心点即可。不满足目标网格中心点的先验条件的网格中心点不为空时，可以作为至少一个网格中心点参与到下一轮的冗余去除，而为空时，即可以确定遍历结束，从而获得遍历结束时的至少一个实例中心点。使得至少一个实例中心点各不相同且属于同类网格中心点中置信度最高的中心点，确保实例中心点更全面的情况下，提高至少一个实例中心点的决策精度。

进一步地，在上述任一实施例的基础上，将目标网格中心点确定为实例中心点之后，还包括：

基于目标网格中心点的中心点信息中的目标语义类别，获取为目标语义类别预先设置的先验半径。

计算待比对网格中心点与目标网格中心点的中心点距离。

若中心点距离小于先验半径且待比对网格中心点的目标语义类别与目标网格中心点的目标语义类别相同，则确定待比对网格中心点为满足目标网格中心点的先验条件的网格中心点。

若中心点距离大于或等于先验半径或待比对网格中心点的目标语义类别与目标网格中心点的目标语义类别不同，则确定待比对网格中心点为不满足目标网格中心点的先验条件的网格中心点。

可选地，可以预先为不同语义类别设置对应的先验半径。先验半径可以是指该语义类别的实例在实际中的半径。例如，语义类别为车辆，则语义类别对应的先验半径可以为车辆的半径，例如可以为2米。语义类别为行人，则语义类别对应的先验半径可以为行人的半径，例如可以为0.8米。当然不同语义类别可以根据对应实例具体设置。

而获取为目标语义类别预先设置的先验半径，可以包括：获取预先为多个语义类别分别设置的先验半径，从为多个语义类别分别设置的先验半径中查询目标语义类别的先验半径。

本实施例中，计算待比对网格中心点与目标网格中心点的中心点距离，可以包括：计算待比对网格中心点的坐标与目标网格中心点的坐标之间的坐标距离，并将坐标距离确定为待比对网格中心点与目标网格中心点的中心点距离。

本公开的技术方案中，可以目标网格中心点的中心点信息中的目标语义类别，确定为该目标语义类别设置的先验半径。在计算待比对网格中心点与目标网格中心点的中心点距离之后，通过中心点距离与先验半径的比较。若中心点距离小于先验半径，则说明该待比对网格中心点与目标网格中心点的距离较近，属于同一实例的可能性较高。而在此基础上，若待比对网格中心点的目标语义类别与目标网格中心点的目标语义类别相同，则说明待比对网格中心点与目标网格中心点属于相同类型的实例，因此，在距离较近且实例类型相同情况下，可以判定待比对网格中心点与目标网格中心点属于同一实例，因此，可以将待比对网格中心点确定为满足目标网格中心点的先验条件的网格中心点。而若中心点距离大于先验半径，则说明该待比对中心点距离与目标中心点距离的距离较远，二者属于同一实例的可能性较低。或者，若待比对网格中心点的目标语义类别与目标网格中心点的目标语义类别，则说明说明待比对网格中心点与目标网格中心点属于不同类型的实例。在属于同一实例的可能性较低的情况下，或者在属于不同语义类型的情况下，可以确定待比对网格中心点为不满足目标网格中心点的先验条件的网格中心点。实现对待比对网格中心点是否满足目标网格中心点的先验条件的准确判断。

进一步地，在上述任一实施例的基础上，从至少一个网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点，可以包括：

确定至少一个网格中心点分别对应的中心点信息，中心点信息包括平均置信度。

将至少一个网格中心点分别对应的平均置信度进行降序排序，获得排序后的至少一个网格中心点。

从排序后的至少一个网格中心点中确定第一个网格中心点为目标网格中心点。

可选地，将至少一个网格中心点分别对应的平均置信度进行降序排序，获得排序后的至少一个网格中心点，可以包括将至少一个网格中心点分别对应的平均置信度按照从大到小的顺序进行排序，获得排序后的至少一个网格中心点。

本公开的技术方案中，确定置信度最高的目标网格中心点时，可以将至少一个网格中心点分别对应的平均置信度进行降序排序，获得排序后的至少一个网格中心点。通过降序排序，可以快速从排序后的至少一个网格中心点中确定第一个网格中心点为目标网格中心点，提高目标网格中心点的获取效率和准确性。

为了便于理解本公开的技术方案，图5示出了一种实例中心点的获取的示例图。

参考图5，以三维点云拍摄对象为501中的人和红绿灯为例。可以从拍摄获得的三维点云中识别多个前景点。识别的多个前景点可以如502所示。将502中的多个前景点偏移计算后，映射到二维网格图像中，可以获得至少一个投影点。位于二维网格图像中的至少一个投影点可以如503所示。二维网格图像中包含至少一个投影点的网格可以称为前景网格，例如503中的5031即可以为一个前景网格。前景网格中可以包括至少一个投影点，每个投影点可以指示其对应前景点偏移后的中心点。通过对前景网格中至少一个投影点进行池化计算，可以获得各个前景网格的网格中心点。各前景网格的网格中心点可以如504所示，例如前景网格5031池化之后获得的网格中心点为5041。获得的至少一个前景网格分别对应的投影点的基础上，进行去冗余处理，获得至少一个实例中心点。获得的至少一个实例中心点可以如505所示。之后可以根据至少一个实例中心定，对多个前景点分别进行实例分割，获得多个前景点分别对应的目标实例中心点。

进一步地，对至少一个网格中心点进行冗余去除处理，获得至少一个实例中心点之后还包括：

为至少一个实例中心点分别确定实例标识。

根据至少一个实例中心点，对多个前景点分别进行实例分割，获得多个前景点分别对应的目标实例中心点之后，还包括：

将前景点关联的目标实例中心点的实例标识确定为前景点的目标实例标识。

可选地，为至少一个实例中心点分别确定实例标识，可以包括：根据各实例中心点的语义类型以及中心数量，确定各实例中心点的实例标识。进一步地，可以将各实例中心点中同一语义类型的实例中心点划分为一组，获得多组实例中心点，对每组实例中心点中的实例中心点进行编号并为每组实例纵向点设置语义标识，对于同一组实例中心点内的实例中心点可以将该实例中心点的编号和该组语义标识拼接，获得该实例中心点的实例标识。

示例性地，假设存在5个实例中心点，具体可以分为2组，分别为行人语义类别和车辆语义类别。行人语义类别所对应的一组实例中心点包含三个实例中心点，车辆语义类别所对应的一组实例中心点包含2个实例中心点。可以为行人语义类别设置语义标识A，将该组内三个实例中心点分别编码为001、002和003，则该组内三个实例中心点的实例标识可以由语义标识和编码拼接为：A001、A002以及A003。同样地，为车辆语义类别设置语义标识B，将该组内2个实例中心点分别编码为001和002，则该组内两个实例中心的实例标识可以由语义标识和编码拼接为B001和B002。

本公开的技术方案中，在获得至少一个实例中心点之后，可以为至少一个实例中心点分别确定实例标识，通过实例标识可以更明确地标识不同的实例。从而在根据至少一个实例中心点，对多个前景点分别进行实例分割，获得多个前景点分别对应的目标实例中心点之后，可以将前景点关联的目标实例中心点的实例标识确定为该前景点的目标实例标识，获得多个前景点分别对应的目标实例标识。通过目标实例标识的获取充分完成多个前景点的实例分割，获得更准确的实例分割效果。

进一步地，将目标实例中心点的实例标识确定为前景点的目标实例标识之后，还包括：

将多个前景点分别对应的目标实例标识输入到自动驾驶系统，多个前景点分别对应的目标实例标识指示自动驾驶系统生成对应的行驶路径。

基于自动驾驶系统提供的行驶路径，控制目标车辆按照行驶路径行驶。

可选地，自动驾驶系统可以为预先设置的用于辅助驾驶的应用程序，可以用于接收多个前景点分别对应的目标实例标识，并根据多个前景点分别对应的目标实例标识，生成对应的行驶路径。

其中，控制目标车辆按照行驶路径行驶，可以包括：根据行驶路径，生成目标车辆的行驶指令，行驶指令例如可以包括驾驶方向、驾驶速度、偏移角度等信息，控制目标车辆按照行驶指令行驶。

本公开的技术方案中，在获得多个前景点分别对应的目标实例标识之后，可以将多个前景点分别对应的目标实例标识输入到自动驾驶系统，指示自动驾驶系统生成对应的行驶路径，进而基于自动驾驶系统提供的行驶路径，控制目标车辆按照行驶路径行驶。在多个前景点分别对应的目标实例标识的基础上，行驶路径自动生成，进而通过全景分割实现自动驾驶，扩展了点云全景分割的应用场景，获得更具精细化的驾驶效果。

进一步地，在上述任一实施例的基础上，基于三维点云中识别的多个前景点，确定多个前景点在二维网格图像中对应的至少一个投影点之前，还包括：

接收目标车辆的激光雷达传感器发送的三维点云。

通过训练获得的语义分析模型，识别三维点云中的多个前景点，并确定多个前景点分别对应的语义类别。

可选地，语义分析模型可以预先训练获得。语义分析模型可以对点云中的前景点进行预测，获得点云中的前景点，并对前景点的语义类别进行预测，获得多个前景点分别对应的语义类别。

本公开的技术方案中，通过与目标车辆的交互可以接收目标车辆的激光雷达传感器发送的三维点云，实现对目标车辆的实时交互以及三维点云的接收。进而通过训练获得的语义分析模型，识别三维点云中的多个前景点，并确定多个前景点分别对应的语义类别，通过训练获得的语义分析模型对三维点云的前景点和各前景点的语义类别的识别，实现了对三维点云的语义预识别，便于在此基础上进行更详细的实例分割，提高实例分割效率和精度。

图6为本公开第四实施例的示意图，参考图6所示的数据处理方法，可以用于训练前述任意实施例中的目标实例预测模型，该方法可以包括：

步骤601、确定训练数据集，训练数据集包括多个训练样本，训练样本包括训练点云中多个训练点和训练点与对应真实实例中心的中心偏移量。

步骤602、以拉普拉斯算子作为损失函数，构建实例预测模型。

步骤603、通过训练数据集，训练实例预测模型，获得目标实例预测模型。

本公开的技术方案中，在构建实例预测模型时，使用拉普拉斯算子作为损失函数，进而在模型训练过程中，使得实例预测模型预测的结果受到拉普拉斯算子的影响，从而使得模型预测的结果服从拉普拉斯分布，获得能够预测更准确的偏移量的目标实例预测模型。

进一步地，通过训练数据集，训练实例预测模型，获得目标实例预测模型，包括：

确定实例预测模型的模型参数，获得待训练实例预测模型。

将训练点输入到待训练实例预测模型，获得待训练实例预测模型为训练点预测的预测偏移量和不确定性。

基于拉普拉斯算子对应的损失函数，计算训练点的中心偏移量和预测偏移量之间的偏移误差，并计算训练点的不确定性对应的不确定性误差，并将训练点的偏移误差和不确定性误差相加，获得训练点的整体误差。

若根据多个训练点分别对应的整体误差，确定待训练实例预测模型满足收敛条件，则确定待训练实例预测模型为训练获得的目标实例预测模型。

本实施方式中，待训练实例预测模型为训练点预测的预测偏移量和不确定性可以分别使用符号：μ_offset,σ_offset表示。其中，μ_offset为预测偏移量，σ_offset为预测的不确定性。

使用拉普拉斯算子作为损失函数时，损失函数的公式可以表示为：

其中，e_i-p_i为训练点与对应真实实例中心的中心偏移量。而在实际应用中μ_offset越接近于中心偏移量，σ_offset越接近于1，则说明预测的实例中心越稳定。

可选地，若检测多个训练点分别对应的整体误差不满足收敛条件，则更新实例预测模型的模型参数，获得待训练实例预测模型，返回至将训练点输入到待训练实例预测模型继续执行。

本实施例中，根据多个训练点分别对应的整体误差，确定待训练实例预测模型满足收敛条件，可以包括：将多个训练点分别对应的整体误差相加求和，获得训练点云的点云误差，将多个训练点云分别对应的点云误差相加求和，获得待训练实例预测模型的训练误差。若检测训练误差小于预设误差阈值，则确定待训练实例预测模型满足收敛条件。

进一步地，若检测训练误差大于或等于预设误差阈值，则确定待训练实例预测模型不满足收敛条件。

本公开的技术方案中，可以通过待训练实例预测模型预测训练点预测的预测偏移量和不确定性，从而通过拉普拉斯算子对应的损失函数，计算训练点的偏移误差和不确定性误差，进而将训练点的不确定性误差和偏移误差相加，获得训练点的整体误差，完成利用拉普拉斯算子计算训练点的整体误差。从而若根据多个训练点分别对应的整体误差，确定待训练实例预测模型满足收敛条件，则确定待训练实例预测模型为训练获得的目标实例预测模型，通过收敛条件的设置可以使得待训练实例预测模型快速进行收敛检测，避免出现多次迭代，提高目标实例预测模型的训练效率和精度。

图7为本公开第五实施例的示意图，参考图7所示的点云全景分割装置700可以包括：投影单元701、中心单元702、去冗单元703以及目标单元704。

投影单元701、用于基于三维点云中识别的多个前景点，确定多个前景点在二维网格图像中对应的至少一个投影点，二维网格图像包括至少一个前景网格，前景网格包括至少一个投影点。

中心单元702、用于基于前景网格中的至少一个投影点，确定前景网格的网格中心点，获得至少一个网格中心点。

去冗单元703、用于对至少一个网格中心点进行冗余去除处理，获得至少一个实例中心点。

目标单元704、用于根据至少一个实例中心点，对多个前景点分别进行实例分割，获得多个前景点分别对应的目标实例中心点。

进一步地，在上述任一实施例的基础上，投影单元，包括：

前景偏移模块，用于基于三维点云中识别的多个前景点，确定多个前景点分别对应的偏移点；

偏移投影模块，用于将多个前景点分别对应的偏移点映射到二维网格图像中，获得至少一个投影点。

进一步地，在上述任一实施例的基础上，前景偏移模块，包括：

偏移预测子模块，用于以三维点云中的多个点作为输入数据，输入到训练获得的目标实例预测模型，获得目标实例预测模型为多个点分别预测的实例偏移量；

偏移确定子模块，用于基于三维点云中的多个前景点，确定多个前景点分别对应的实例偏移量；

坐标偏移子模块，用于将前景点的坐标和实例偏移量相加，获得前景点对应的偏移点。

进一步地，在上述任一实施例的基础上，中心单元，包括：

信息确定模块，用于确定投影点的点信息，点信息包括投影点对应前景点的语义类别、投影点在二维网格图像中的坐标以及投影点对应前景点的不确定性；

中心聚类模块，用于根据前景网格中的至少一个投影点的点信息，确定前景网格的中心点信息；

中心确定模块，用于确定与中心点信息对应的网格中心点。

进一步地，在上述任一实施例的基础上，中心聚类模块，包括：

第一池化子模块，用于通过平均池化算法，对前景网格中的至少一个投影点的点信息中的坐标进行池化计算，获得中心点坐标；

类别确定子模块，用于根据前景网格中至少一个投影点分别对应的语义类别，将投影点数量最大的语义类别对应的投影点关联的语义类别确定为目标语义类别；

第二池化子模块，用于通过平均池化算法，前景网格中至少一个投影点各自的点信息中的不确定性进行均值计算，获得平均置信度；

中心确定子模块，用于将中心点坐标、目标语义类别以及平均置信度确定为前景网格的中心点信息。

进一步地，在上述任一实施例的基础上，去冗单元，包括：

目标确定模块，用于从至少一个网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点，待比对网格中心点为至少一个网格中心中除目标网格中心点之外的网格中心点；

实例确定模块，用于将目标网格中心点确定为实例中心点；

先验判定模块，用于从待比对网格中心点中选择不满足目标网格中心点的先验条件的网格中心点；

中心确定模块，用于若不满足先验条件的网格中心点为空，则确定遍历结束，获得被确定为实例中心点的至少一个实例中心点。

进一步地，在上述任一实施例的基础上，还包括：

循环判定模块，用于若不满足先验条件的网格中心点不为空，则将不满足先验条件的网格中心点确定为至少一个网格中心点，返回至从至少一个网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点继续执行。

进一步地，在上述任一实施例的基础上，还包括：

半径确定单元，用于基于目标网格中心点的中心点信息中的目标语义类别，获取为目标语义类别预先设置的先验半径；

距离计算单元，用于计算待比对网格中心点与目标网格中心点的中心点距离；

第一比对单元，用于若中心点距离小于先验半径且待比对网格中心点的目标语义类别与目标网格中心点的目标语义类别相同，则确定待比对网格中心点为满足目标网格中心点的先验条件的网格中心点；

第二比对单元，用于若中心点距离大于或等于先验半径或待比对网格中心点的目标语义类别与目标网格中心点的目标语义类别不同，则确定待比对网格中心点为不满足目标网格中心点的先验条件的网格中心点。

进一步地，在上述任一实施例的基础上，目标确定模块，包括：

置信确定子模块，用于确定至少一个网格中心点分别对应的中心点信息，中心点信息包括平均置信度；

中心排序子模块，用于将至少一个网格中心点分别对应的平均置信度进行降序排序，获得排序后的至少一个网格中心点；

目标确定子模块，用于从排序后的至少一个网格中心点中确定第一个网格中心点为目标网格中心点。

进一步地，在上述任一实施例的基础上，还包括：

标识单元，用于为至少一个实例中心点分别确定实例标识；

确定单元，用于将前景点关联的目标实例中心点的实例标识确定为前景点的目标实例标识。

进一步地，在上述任一实施例的基础上，还包括：

实例输入单元，用于将多个前景点分别对应的目标实例标识输入到自动驾驶系统，多个前景点分别对应的目标实例标识指示自动驾驶系统生成对应的行驶路径；

路径控制单元，用于基于自动驾驶系统提供的行驶路径，控制目标车辆按照行驶路径行驶。

进一步地，在上述任一实施例的基础上，还包括：

接收单元，用于接收目标车辆的激光雷达传感器发送的三维点云；

语义单元，用于通过训练获得的语义分析模型，识别三维点云中的多个前景点，并确定多个前景点分别对应的语义类别。

图8为本公开第六实施例的示意图，参考图8所示的数据处理装置800，可以包括：数据确定单元801、模型构建单元802以及模型训练单元803。

其中，数据确定单元801，用于确定训练数据集，训练数据集包括多个训练样本，训练样本包括训练点云中多个训练点和训练点与对应真实实例中心的中心偏移量；模型构建单元802，用于以拉普拉斯算子作为损失函数，构建实例预测模型；模型训练单元803，用于通过训练数据集，训练实例预测模型，获得目标实例预测模型。

进一步地，在上述任一实施例的基础上，模型训练单元，包括：

参数确定模块，用于确定实例预测模型的模型参数，获得待训练实例预测模型；

点云预测模块，用于将训练点输入到待训练实例预测模型，获得待训练实例预测模型为训练点预测的预测偏移量和不确定性；

损失计算模块，用于基于拉普拉斯算子对应的损失函数，计算训练点的中心偏移量和预测偏移量之间的偏移误差，并计算训练点的不确定性对应的不确定性误差，并将训练点的偏移误差和不确定性误差相加，获得训练点的整体误差；

收敛判断模块，用于若根据多个训练点分别对应的整体误差，确定待训练实例预测模型满足收敛条件，则确定待训练实例预测模型为训练获得的目标实例预测模型。

需要说明的是，本实施例中的语义分析模型、实例预测模型并不是针对某一特定用户的点云数据，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的训练点云来自于公开数据集。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。

图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

设备900中的多个部件连接至I/O接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如点云全景分割方法或数据处理方法。例如，在一些实施例中，点云全景分割方法或数据处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时，可以执行上文描述的点云全景分割方法或数据处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行点云全景分割方法或数据处理方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (31)

1.一种点云全景分割方法，包括：

基于三维点云中识别的多个前景点，确定多个所述前景点在二维网格图像中对应的至少一个投影点，所述二维网格图像包括至少一个前景网格，所述前景网格包括至少一个所述投影点；

基于所述前景网格中的至少一个所述投影点，确定所述前景网格的网格中心点，获得至少一个所述网格中心点；

对至少一个所述网格中心点进行冗余去除处理，获得至少一个实例中心点；

根据至少一个所述实例中心点，对多个所述前景点分别进行实例分割，获得多个所述前景点分别对应的目标实例中心点。

2.根据权利要求1所述的方法，其中，所述基于三维点云中的多个前景点，确定多个前景点在二维网格图像中对应的至少一个投影点，包括：

基于所述三维点云中识别的多个所述前景点，确定多个所述前景点分别对应的偏移点；

将多个所述前景点分别对应的偏移点映射到二维网格图像中，获得至少一个所述投影点。

3.根据权利要求2所述的方法，其中，所述确定多个所述前景点分别对应的偏移点，包括：

以所述三维点云中的多个点作为输入数据，输入到训练获得的目标实例预测模型，获得所述目标实例预测模型为多个所述点分别预测的实例偏移量；

基于所述三维点云中的多个所述前景点，确定多个所述前景点分别对应的实例偏移量；

将所述前景点的坐标和所述实例偏移量相加，获得所述前景点对应的偏移点。

4.根据权利要求1-3任一项所述的方法，其中，所述基于所述前景网格中的至少一个所述投影点，确定所述前景网格的网格中心点，包括：

确定所述投影点的点信息，所述点信息包括所述投影点对应前景点的语义类别、所述投影点在所述二维网格图像中的坐标以及所述投影点对应前景点的不确定性；

根据所述前景网格中的至少一个所述投影点的点信息，确定所述前景网格的中心点信息；

确定与中心点信息对应的网格中心点。

5.根据权利要求4所述的方法，其中，所述根据所述前景网格中的至少一个所述投影点的点信息，确定所述前景网格的中心点信息，包括：

通过平均池化算法，对所述前景网格中的至少一个所述投影点的点信息中的坐标进行池化计算，获得中心点坐标；

根据所述前景网格中至少一个所述投影点分别对应的语义类别，将投影点数量最大的语义类别对应的投影点关联的语义类别确定为目标语义类别；

通过所述平均池化算法，所述前景网格中至少一个所述投影点各自的点信息中的不确定性进行均值计算，获得平均置信度；

将所述中心点坐标、所述目标语义类别以及所述平均置信度确定为所述前景网格的中心点信息。

6.根据权利要求1-5任一项所述的方法，其中，所述对至少一个所述网格中心点进行冗余去除处理，获得至少一个实例中心点，包括：

从至少一个所述网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点，所述待比对网格中心点为至少一个所述网格中心中除所述目标网格中心点之外的网格中心点；

将所述目标网格中心点确定为实例中心点；

从所述待比对网格中心点中选择不满足所述目标网格中心点的先验条件的网格中心点；

若所述不满足所述先验条件的网格中心点为空，则确定遍历结束，获得被确定为实例中心点的至少一个所述实例中心点。

7.根据权利要求6所述的方法，其中，所述从所述待比对网格中心点中选择不满足所述先验条件的待比对网格中心点之后，还包括：

若所述不满足所述先验条件的网格中心点不为空，则将所述不满足所述先验条件的网格中心点确定为至少一个所述网格中心点，返回至所述从至少一个所述网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点继续执行。

8.根据权利要求6或7所述的方法，其中，所述将所述目标网格中心点确定为实例中心点之后，还包括：

基于所述目标网格中心点的中心点信息中的目标语义类别，获取为所述目标语义类别预先设置的先验半径；

计算所述待比对网格中心点与所述目标网格中心点的中心点距离；

若所述中心点距离小于所述先验半径且所述待比对网格中心点的目标语义类别与所述目标网格中心点的目标语义类别相同，则确定所述待比对网格中心点为满足所述目标网格中心点的先验条件的网格中心点；

若所述中心点距离大于或等于所述先验半径或所述待比对网格中心点的目标语义类别与所述目标网格中心点的目标语义类别不同，则确定所述待比对网格中心点为不满足所述目标网格中心点的先验条件的网格中心点。

9.根据权利要求6-8任一项所述的方法，其中，所述从至少一个所述网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点，包括：

确定至少一个所述网格中心点分别对应的中心点信息，所述中心点信息包括平均置信度；

将至少一个所述网格中心点分别对应的平均置信度进行降序排序，获得排序后的至少一个所述网格中心点；

从排序后的至少一个所述网格中心点中确定第一个网格中心点为目标网格中心点。

10.根据权利要求1-9任一项所述的方法，其中，所述对至少一个所述网格中心点进行冗余去除处理，获得至少一个实例中心点之后，还包括：

为至少一个所述实例中心点分别确定实例标识；

所述根据至少一个所述实例中心点，对多个所述前景点分别进行实例分割，获得多个所述前景点分别对应的目标实例中心点之后，还包括：

将所述前景点关联的目标实例中心点的实例标识确定为所述前景点的目标实例标识。

11.根据权利要求10所述的方法，其中，所述将所述目标实例中心点的实例标识确定为所述前景点的目标实例标识之后，还包括：

将多个所述前景点分别对应的目标实例标识输入到自动驾驶系统，所述多个所述前景点分别对应的目标实例标识指示所述自动驾驶系统生成对应的行驶路径；

基于所述自动驾驶系统提供的所述行驶路径，控制目标车辆按照所述行驶路径行驶。

12.根据权利要求1-11任一项所述的方法，其中，所述基于三维点云中识别的多个前景点，确定多个前景点在二维网格图像中对应的至少一个投影点之前，还包括：

接收目标车辆的激光雷达传感器发送的所述三维点云；

通过训练获得的语义分析模型，识别所述三维点云中的多个所述前景点，并确定多个所述前景点分别对应的语义类别。

13.一种数据处理方法，用于训练权利要求1-12中任一项所述的目标实例预测模型，所述方法包括：

确定训练数据集，所述训练数据集包括多个训练样本，所述训练样本包括训练点云中多个训练点和所述训练点与对应真实实例中心的中心偏移量；

以拉普拉斯算子作为损失函数，构建实例预测模型；

通过所述训练数据集，训练所述实例预测模型，获得目标实例预测模型。

14.根据权利要求13所述的方法，其中，所述通过所述训练数据集，训练所述实例预测模型，获得目标实例预测模型，包括：

确定所述实例预测模型的模型参数，获得待训练实例预测模型；

将所述训练点输入到所述待训练实例预测模型，获得所述待训练实例预测模型为所述训练点预测的预测偏移量和不确定性；

基于所述拉普拉斯算子对应的损失函数，计算所述训练点的中心偏移量和预测偏移量之间的偏移误差，并计算所述训练点的不确定性对应的不确定性误差，并将所述训练点的偏移误差和不确定性误差相加，获得所述训练点的整体误差；

若根据多个所述训练点分别对应的整体误差，确定所述待训练实例预测模型满足收敛条件，则确定所述待训练实例预测模型为训练获得的目标实例预测模型。

15.一种点云全景分割装置，包括：

投影单元，用于基于三维点云中识别的多个前景点，确定多个所述前景点在二维网格图像中对应的至少一个投影点，所述二维网格图像包括至少一个前景网格，所述前景网格包括至少一个所述投影点；

中心单元，用于基于所述前景网格中的至少一个所述投影点，确定所述前景网格的网格中心点，获得至少一个所述网格中心点；

去冗单元，用于对至少一个所述网格中心点进行冗余去除处理，获得至少一个实例中心点；

目标单元，用于根据至少一个所述实例中心点，对多个所述前景点分别进行实例分割，获得多个所述前景点分别对应的目标实例中心点。

16.根据权利要求15所述的装置，其中，所述投影单元，包括：

前景偏移模块，用于基于所述三维点云中识别的多个所述前景点，确定多个所述前景点分别对应的偏移点；

偏移投影模块，用于将多个所述前景点分别对应的偏移点映射到二维网格图像中，获得至少一个所述投影点。

17.根据权利要求16所述的装置，其中，所述前景偏移模块，包括：

偏移预测子模块，用于以所述三维点云中的多个点作为输入数据，输入到训练获得的目标实例预测模型，获得所述目标实例预测模型为多个所述点分别预测的实例偏移量；

偏移确定子模块，用于基于所述三维点云中的多个所述前景点，确定多个所述前景点分别对应的实例偏移量；

坐标偏移子模块，用于将所述前景点的坐标和所述实例偏移量相加，获得所述前景点对应的偏移点。

18.根据权利要求15-17任一项所述的装置，其中，所述中心单元，包括：

信息确定模块，用于确定所述投影点的点信息，所述点信息包括所述投影点对应前景点的语义类别、所述投影点在所述二维网格图像中的坐标以及所述投影点对应前景点的不确定性；

中心聚类模块，用于根据所述前景网格中的至少一个所述投影点的点信息，确定所述前景网格的中心点信息；

中心确定模块，用于确定与中心点信息对应的网格中心点。

19.根据权利要求18所述的装置，其中，所述中心聚类模块，包括：

第一池化子模块，用于通过平均池化算法，对所述前景网格中的至少一个所述投影点的点信息中的坐标进行池化计算，获得中心点坐标；

类别确定子模块，用于根据所述前景网格中至少一个所述投影点分别对应的语义类别，将投影点数量最大的语义类别对应的投影点关联的语义类别确定为目标语义类别；

第二池化子模块，用于通过所述平均池化算法，所述前景网格中至少一个所述投影点各自的点信息中的不确定性进行均值计算，获得平均置信度；

中心确定子模块，用于将所述中心点坐标、所述目标语义类别以及所述平均置信度确定为所述前景网格的中心点信息。

20.根据权利要求15-19任一项所述的装置，其中，所述去冗单元，包括：

目标确定模块，用于从至少一个所述网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点，所述待比对网格中心点为至少一个所述网格中心中除所述目标网格中心点之外的网格中心点；

实例确定模块，用于将所述目标网格中心点确定为实例中心点；

先验判定模块，用于从所述待比对网格中心点中选择不满足所述目标网格中心点的先验条件的网格中心点；

中心确定模块，用于若所述不满足所述先验条件的网格中心点为空，则确定遍历结束，获得被确定为实例中心点的至少一个所述实例中心点。

21.根据权利要求20所述的装置，其中，还包括：

循环判定模块，用于若所述不满足所述先验条件的网格中心点不为空，则将所述不满足所述先验条件的网格中心点确定为至少一个所述网格中心点，返回至所述从至少一个所述网格中心点中，确定置信度最高的目标网格中心点以及待比对网格中心点继续执行。

22.根据权利要求20或21所述的装置，其中，还包括：

半径确定单元，用于基于所述目标网格中心点的中心点信息中的目标语义类别，获取为所述目标语义类别预先设置的先验半径；

距离计算单元，用于计算所述待比对网格中心点与所述目标网格中心点的中心点距离；

第一比对单元，用于若所述中心点距离小于所述先验半径且所述待比对网格中心点的目标语义类别与所述目标网格中心点的目标语义类别相同，则确定所述待比对网格中心点为满足所述目标网格中心点的先验条件的网格中心点；

第二比对单元，用于若所述中心点距离大于或等于所述先验半径或所述待比对网格中心点的目标语义类别与所述目标网格中心点的目标语义类别不同，则确定所述待比对网格中心点为不满足所述目标网格中心点的先验条件的网格中心点。

23.根据权利要求20-22任一项所述的装置，其中，所述目标确定模块，包括：

置信确定子模块，用于确定至少一个所述网格中心点分别对应的中心点信息，所述中心点信息包括平均置信度；

中心排序子模块，用于将至少一个所述网格中心点分别对应的平均置信度进行降序排序，获得排序后的至少一个所述网格中心点；

目标确定子模块，用于从排序后的至少一个所述网格中心点中确定第一个网格中心点为目标网格中心点。

24.根据权利要求15-23任一项所述的装置，其中，还包括：

标识单元，用于为至少一个所述实例中心点分别确定实例标识；

确定单元，用于将所述前景点关联的目标实例中心点的实例标识确定为所述前景点的目标实例标识。

25.根据权利要求24所述的装置，其中，还包括：

实例输入单元，用于将多个所述前景点分别对应的目标实例标识输入到自动驾驶系统，所述多个所述前景点分别对应的目标实例标识指示所述自动驾驶系统生成对应的行驶路径；

路径控制单元，用于基于所述自动驾驶系统提供的所述行驶路径，控制目标车辆按照所述行驶路径行驶。

26.根据权利要求15-25任一项所述的装置，其中，还包括：

接收单元，用于接收目标车辆的激光雷达传感器发送的所述三维点云；

语义单元，用于通过训练获得的语义分析模型，识别所述三维点云中的多个所述前景点，并确定多个所述前景点分别对应的语义类别。

27.一种数据处理装置，包括：

数据确定单元，用于确定训练数据集，所述训练数据集包括多个训练样本，所述训练样本包括训练点云中多个训练点和所述训练点与对应真实实例中心的中心偏移量；

模型构建单元，用于以拉普拉斯算子作为损失函数，构建实例预测模型；

模型训练单元，用于通过所述训练数据集，训练所述实例预测模型，获得目标实例预测模型。

28.根据权利要求27所述的装置，其中，所述模型训练单元，包括：

参数确定模块，用于确定所述实例预测模型的模型参数，获得待训练实例预测模型；

点云预测模块，用于将所述训练点输入到所述待训练实例预测模型，获得所述待训练实例预测模型为所述训练点预测的预测偏移量和不确定性；

损失计算模块，用于基于所述拉普拉斯算子对应的损失函数，计算所述训练点的中心偏移量和预测偏移量之间的偏移误差，并计算所述训练点的不确定性对应的不确定性误差，并将所述训练点的偏移误差和不确定性误差相加，获得所述训练点的整体误差；

收敛判断模块，用于若根据多个所述训练点分别对应的整体误差，确定所述待训练实例预测模型满足收敛条件，则确定所述待训练实例预测模型为训练获得的目标实例预测模型。

29.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-12或13-14中任一项所述的方法。

30.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-12或13-14中任一项所述的方法。

31.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-12或13-14中任一项所述方法的步骤。