CN114882046A - 三维点云数据的全景分割方法、装置、设备及介质 - Google Patents

三维点云数据的全景分割方法、装置、设备及介质 Download PDF

Info

Publication number
CN114882046A
CN114882046A CN202210324291.4A CN202210324291A CN114882046A CN 114882046 A CN114882046 A CN 114882046A CN 202210324291 A CN202210324291 A CN 202210324291A CN 114882046 A CN114882046 A CN 114882046A
Authority
CN
China
Prior art keywords
target
offset
point
pixel
target center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210324291.4A
Other languages
English (en)
Other versions
CN114882046B (zh
Inventor
李金珂
何潇
程晓强
张丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uisee Technologies Beijing Co Ltd
Original Assignee
Uisee Technologies Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uisee Technologies Beijing Co Ltd filed Critical Uisee Technologies Beijing Co Ltd
Priority to CN202210324291.4A priority Critical patent/CN114882046B/zh
Publication of CN114882046A publication Critical patent/CN114882046A/zh
Application granted granted Critical
Publication of CN114882046B publication Critical patent/CN114882046B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种三维点云数据的全景分割方法、装置、设备及介质。三维点云数据的全景分割方法，包括：获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量；基于偏移量和目标点，获得偏移点；将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值；根据像素值，获取预设区域里像素值最高的像素；根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识；根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。本发明实施例的技术方案能够在保证系统运行效果的前提下，降低数据配置复杂度，高效精准的实现全景分割。

Description

三维点云数据的全景分割方法、装置、设备及介质
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种三维点云数据的全景分割方法、装置、设备及介质。
背景技术
对周围环境的感知是人工智能领域的核心技术，包围框常被描述为检测到的目标，例如在自动驾驶领域中包围框的描述可以适用于形状相对规整的物体，如汽车、公交车等，对于形状非规则的部分，如植被、可行驶区域以及路沿等，包围框的描述就不再适用。细粒度的语义分割任务对这些形状非规则的区域能够做到有效的表述，但语义分割任务缺乏对相同类别不同实例的建模，如无法区分不同的车辆，往往还需要引入实例分割来区分不同的实例，能够实现语义分割以及实例分割的全景分割应运而生域，在很多领域(如安保布控、工业机器人应用以及汽车自动驾驶等)有重要的应用价值和发展前景。
在现有技术中，全景分割分为基于目标检测的全景分割和不基于目标检测的全景分割。在对点云完成语义分割后，基于目标检测的全景分割方法会引入一个目标检测网络对当前帧点云做目标检测，目标检测网络输出候选框，进而将落入不同候选框的点云赋予不同的实例标识(也即实例ID)。基于目标检测的全景分割方法往往依赖于目标检测网络的性能，如果目标检测网络预测失败，全景分割任务就会失败，而引入目标检测网络一方面会严重增加系统耗时，还需要训练数据具备目标级别的标注信息。而不基于目标检测的全景分割方法，通常在完成语义分割的点云挑选出需要进行实例分割的点，对于这些需要进行实例分割的点应用启发式的聚类算法(如Mean Shift、DBSCAN等)来分配实例标识，启发式的聚类算法往往耗时严重并且依赖于经验性较强的参数调整。
发明内容
本发明实施例提供一种三维点云数据的全景分割方法、装置、设备及介质，能够在保证系统运行效果的前提下，降低数据配置复杂度，高效精准的实现全景分割。
第一方面，本发明实施例提供了一种三维点云数据的全景分割方法，包括：
获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量；
基于偏移量和目标点，获得偏移点；
将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值；
根据像素值，获取预设区域里像素值最高的像素；
根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识；
根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。
第二方面，本发明实施例还提供了一种三维点云数据的全景分割装置，包括：
偏移量获取模块，用于获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量；
偏移点获得模块，用于基于偏移量和目标点，获得偏移点；
像素值获得模块，用于将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值；
峰值像素获取模块，用于根据像素值，获取预设区域里像素值最高的像素；
第一实例标识分配模块，用于根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识；
第二实例标识分配模块，用于根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所提供的三维点云数据的全景分割方法。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的三维点云数据的全景分割方法。
本实施例的技术方案，通过获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量，从而基于偏移量和目标点，获得偏移点，进一步将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值，进而根据像素值，获取预设区域里像素值最高的像素，并根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识，以根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。在本方案中偏移点俯视投影后，根据预设区域里像素值最高的像素确定目标中心，可以使目标中心与偏移点具有良好的对应关系，还可以使目标点所在点云确定唯一的中心。根据目标中心的实例标识，获得属于目标中心的目标点的实例标识，可以高效准确的确定属于目标中心的目标点的实例标识，解决了现有技术中目标检测网络检测出的目标中心的数量存在误差，导致目标中心与偏移点的对应关系无法得到保证、系统耗时增加以及数据预准备的复杂度高的问题，还解决了引入启发式聚类算法导致的耗时严重以及参数调整复杂的问题，能够在保证系统运行效果的前提下，降低数据配置复杂度，高效精准的实现全景分割。
附图说明
图1是本发明实施例提供的一种三维点云数据的全景分割方法的流程图；
图2是本发明实施例提供的另一种三维点云数据的全景分割方法的流程图；
图3是本发明实施例提供的一种视野空间的示意图；
图4是本发明实施例提供的一种语义分割结果的示意图；
图5是本发明实施例提供的一种偏移点的点云示意图；
图6是本发明实施例提供的一种伪热力图的示意图；
图7是本发明实施例提供的一种实例ID预测结果的示意图；
图8是本发明实施例提供的一种中心重组后的结果展示图；
图9是本发明实施例提供的一种全景分割系统的数据处理的流程图；
图10是本发明实施例提供的一种三维点云数据的全景分割装置的示意图；
图11为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1是本发明实施例提供的一种三维点云数据的全景分割方法的流程图，本实施例可适用于高效精准的全景分割的情况，该方法可以由三维点云数据的全景分割装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在电子设备中。该电子设备可以是终端设备，也可以是服务器设备等，本发明实施例并不对执行三维点云数据的全景分割方法的电子设备的类型进行限定。相应的，如图1所示，该方法包括如下操作：
S110、获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量。
其中，目标点可以是区别于背景的需要进行实例分割的点。示例性的，在汽车自动驾驶领域中，目标点可以是点云中表征车和/或人的点。本发明实施例对目标点表征的具体实体类型不作限定。偏移量预测神经网络可以是用于确定点云中的点在中心聚类时，各点偏移量的神经网络。本发明实施例并不对偏移量预测神经网络的具体类型进行限定。
在本发明实施例中，可以首先对点云进行语义分割，获取带有语义类型的点云，进而从带有语义类型的点云中确定需要进行实例分割的各目标点，从而将点云中的各目标点输入至已训练好的偏移量预测神经网络中，并根据偏移量预测神经网络对各目标点进行中心聚类，获得各目标点的偏移量。
示例性的，可以将语义类型为车和行人的点云中的点作为目标点，进而将车和行人的点云中的点输入至已经训练好的偏移量预测神经网络，偏移量预测神经网络可以将各点云中的点向所属的点云中心进行聚类，得到目标点向各自点云中心的偏移量。
S120、基于偏移量和目标点，获得偏移点。
其中，偏移点可以是根据偏移量对目标点进行位置偏移后的点。
在本发明实施例中，可以根据与各目标点匹配的偏移量，对各目标点分别进行位置偏移处理，得到各偏移点。
S130、将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值。
其中，预设的图像可以是预先设定的二维图像，预设的图像的尺寸可以根据展示需要进行自行设定。
在本发明实施例中，可以先根据需要获取预设的图像，进而将偏移点向预设的图像进行俯视投影，从而根据俯视投影时预设的图像中每个像素点落入的偏移点的数量，确定预设的图像中每个像素的像素值。
S140、根据像素值，获取预设区域里像素值最高的像素。
其中，预设区域可以是预设的图像中的区域。可选的，可以按照需要对预设的图像进行划分得到多个预设区域，还可以将整个预设的图像作为一个预设区域。示例性的，假设预设的图像的尺寸为3dm*7dm，若将预设的图像划分成100个尺寸相同的预设区域，则预设区域的尺寸为0.3dm*0.7dm。
在本发明实施例中，可以根据预设的图像中每个像素的像素值以及预设的图像的预设区域，确定预设区域中像素值最高的像素。具体的，当预设的图像划分为一个预设区域时，将预设的图像中像素值最高的像素，作为预设区域里像素值最高的像素。当预设的图像划分为多个预设区域时，分别获取各预设区域中像素值最高的像素。
S150、根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识。
其中，目标中心可以是预设区域里像素值最高的像素在预设的图像中的位置，用于代表实例中心。可选的，当预设的图像划分为一个预设区域时，目标中心唯一，当预设的图像划分为多个预设区域时，每个预设区域存在一个目标中心。实例标识可以是用于区分不同实例的标记。
在本发明实施例中，可以将像素值最高的像素在预设的图像的位置作为目标中心，从而建立目标中心与预设区域的一对一匹配关系，进而为目标中心分配匹配的实例标识。具体的，当预设的图像划分为一个预设区域时，仅需为一个目标中心分配实例标识。当预设的图像划分为多个预设区域时，需要为与各预设区域分别对应的各目标中心分配匹配的实例标识。
S160、根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。
在本发明实施例中，可以将目标中心的实例标识分配至目标中心所在点云的其他目标点，也即将目标中心的实例标识分配至属于目标中心的目标点，以使属于目标中心的目标点获得实例标识。
本实施例的技术方案，通过获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量，从而基于偏移量和目标点，获得偏移点，进一步将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值，进而根据像素值，获取预设区域里像素值最高的像素，并根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识，以根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。在本方案中偏移点俯视投影后，根据预设区域里像素值最高的像素确定目标中心，可以使目标中心与偏移点具有良好的对应关系，还可以使目标点所在点云确定唯一的中心。根据目标中心的实例标识，获得属于目标中心的目标点的实例标识，可以高效准确的确定属于目标中心的目标点的实例标识，解决了现有技术中目标检测网络检测出的目标中心的数量存在误差，导致目标中心与偏移点的对应关系无法得到保证、系统耗时增加以及数据预准备的复杂度高的问题，还解决了引入启发式聚类算法导致的耗时严重以及参数调整复杂的问题，能够在保证系统运行效果的前提下，降低数据配置复杂度，高效精准的实现全景分割。
图2是本发明实施例提供的另一种三维点云数据的全景分割方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了将偏移点向预设的图像进行俯视投影的具体的可选的实施方式，将偏移点向预设的图像进行俯视投影的具体过程，可以为：获取偏移点的预设的空间尺寸；基于预设的空间尺寸，获得预设的图像；其中，预设的空间尺寸与预设的图像中的每个像素匹配；将偏移点向预设的图像进行俯视投影。相应的，如图2所示，该方法包括如下操作：
S210、获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量。
在本发明的一个可选实施例中，获取带有语义类型的点云，可以包括：获取激光雷达扫描得到的点云；将点云输入至预先训练的语义分割神经网络中，获取带有语义类型的点云。
其中，语义分割神经网络可以是任意类型的神经网络，只要能对点云进行语义分割即可，本发明实施例并不对语义分割神经网络的具体类型进行限定。
在本发明实施例中，可以基于激光雷达对需要扫描的空间进行扫描，得到点云，进而将点云输入至预先训练的语义分割神经网络中，以通过语义分割神经网络对点云的语义类型进行识别，得到带有语义类型的至少一个点云。
S220、基于偏移量和目标点，获得偏移点。
S230、获取偏移点的预设的空间尺寸。
其中，预设的空间尺寸可以是预先设定的二维空间尺寸。可选的，预设的空间尺寸可以是一个a*b的二维空间尺寸，a与b的大小可以相同或不同，a与b的度量单位可以是分米或米等，本发明实施例并不对a与b的度量单位进行限定。
在本发明实施例中，可以根据预设的图像的分辨率要求，对俯视视角下的偏移点的俯视二维图像进行划分，确定偏移点的预设的空间尺寸。
S240、基于预设的空间尺寸，获得预设的图像。
其中，预设的空间尺寸与预设的图像中的每个像素匹配，预设的图像的一个像素与二维空间中预设的空间尺寸相对应。
在本发明实施例中，可以基于预设的空间尺寸，获得像素与预设的空间尺寸匹配的预设的图像。
示例性的，假设预设的空间尺寸为0.2m*0.3m，则预设的图像的每个像素与一个0.2m*0.3m的空间尺寸对应。
S250、将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值。
在本发明实施例中，可以将偏移点向预设的图像进行俯视投影，在俯视投影时可以统计预设的图像的每个像素中投影的偏移点的数量，进而将预设的图像的每个像素中投影的偏移点的数量作为每个像素点的特征信息，从而确定每个像素的像素值。
S260、根据像素值，获取预设区域里像素值最高的像素。
在本发明的一个可选实施例中，根据像素值，获取预设区域里像素值最高的像素，可以包括：比较预设区域中每个像素的像素值，获取预设区域像素值最高的像素。
具体的，当预设的图像划分为一个预设区域时，比较预设的图像中每个像素的像素值，将预设的图像中像素值最高的像素作为预设区域里像素值最高的像素。当预设的图像划分为多个预设区域时，分别获取各预设区域中每个像素的像素值，进而以预设区域为单位对各预设区域中每个像素的像素值进行比较(仅对属于相同预设区域内像素的像素值进行比较)，从而获得取各预设区域像素值最高的像素。
S270、根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识。
在本发明的一个可选实施例中，并为目标中心分配匹配的实例标识，可以包括：获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；根据当前目标中心以及先验尺寸数据，获取与当前目标中心匹配的待检测范围；在确定待检测范围内不存在其他目标中心时，不更新当前目标中心的实例标识。
其中，待处理语义类型可以是与当前目标中心匹配的语义类型，也即需要对实体标识进行更新判别的点云的语义类型。先验尺寸数据可以是用于表征根据经验确定的实体半径。待检测范围可以是以当前目标中心为原点，以先验尺寸数据为半径确定的区域范围。
在本发明实施例中，可以首先获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据，进一步以当前目标中心为圆心，先验尺寸数据为半径，获取与当前目标中心匹配的待检测范围，进而遍历待检测范围内的目标中心，当待检测范围内不存在其他目标中心时，当前目标中心的实例标识不变，也不利用当前目标中心的实例标识对其他目标中心的实例标识进行更新处理。
在本发明的一个可选实施例中，并为目标中心分配匹配的实例标识，可以包括：获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；根据当前目标中心以及先验尺寸数据，获取与当前目标中心匹配的待检测范围；在确定待检测范围内存在其他目标中心时，将待检测范围内存的目标中心的实例标识进行合并处理。
在本发明实施例中，获取与当前目标中心匹配的待检测范围之后，进一步遍历待检测范围内的目标中心，当待检测范围内存在其他目标中心时，可以将当前目标中心的实例标识作为待检测范围内的其他目标中心的实例标识。
在本发明的一个可选实施例中，并为目标中心分配匹配的实例标识，可以包括：获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；根据当前目标中心以及先验尺寸数据，获取与当前目标中心匹配的待检测范围；在确定待检测范围内存在的其他目标中心，并与当前目标中心的语义类型相同时，将待检测范围内存的目标中心的实例标识进行合并处理。
在本发明实施例中，获取与当前目标中心匹配的待检测范围之后，进一步遍历待检测范围内的目标中心，当待检测范围内存在其他目标中心时，可以进一步获取待检测范围内其他目标中心的语义类型，从而将当前目标中心的实例标识作为待检测范围内，与当前目标中心的语义类型相同的其他目标中心的实例标识。
S280、根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。
在一个具体的例子中，执行三维点云数据的全景分割方法的全景分割系统，可以用于确定点云的语义类型以及不同实例的实例标识，全景分割系统可以包括语义分割模块、中心回归模块、聚类伪热力图生成模块以及中心重组模块。将无人车的激光雷达扫描的如图3所示的当前视野空间的点云，输入至全景分割系统的语义分割模块，基于语义分割模块的语义分割神经网络(如现有的PointNet、PolarNet等)对点云的语义类型进行识别，得到带有语义类型的点云，并将带有语义类型的点云输入至中心回归模块，语义分割结果参照图4。
中心回归模块用于根据逐点的语义类型，筛选出属于前景点(目标点)类型的点云，如行人、车辆的点云(此时还无法区分属于不同实例的点，如属于两辆不同车辆的点云无法被区分开)，进而将前景点输入至已训练好的偏移量预测神经网络，得到前景点的偏移量ΔP＝(Δx，Δy，Δz)，从而基于前景点的位置坐标P＝(x，y，z)以及前景点的偏移量，对前景点进行位置偏移，也即对前景点进行中心回归，得到偏移点的点云，(偏移点的点云示意图可参见图5)，将三维空间的偏移点发送至聚类伪热力图生成模块。经过上述处理个前景点都向各自实例发生了聚集，不同实例点间的空间距离也被增大。其中，ΔP表示前景点的偏移量，Δx表示前景点在x轴上的偏移量，Δy表示前景点在y轴上的偏移量，Δz表示前景点在z轴上的偏移量。P表示前景点的位置前景点的位置坐标，x表示前景点在x轴上的坐标，y表示前景点在y轴上的坐标，z表示前景点在z轴上的坐标。
聚类伪热力图生成模块，用于将三维空间的偏移点的俯视视角下的二维图像投影到预设的图像，并根据预设的图像中每个像素中偏移点的数量，绘制伪热力图。该伪热力图与目标检测网络预测目标的作用相似，但不需要通过训练一个神经网络来获得。在现实中，不同的前景点在俯视视角下极少发生重叠，所以俯视图是相对理想的处理不同实例信息的空间，信息被降到2D后，一些高效的计算机视觉算子能够被加以利用。在投影过程中，定义2D照片(预设的图像)的每一个像素对应偏移点的俯视视角下的二维图像的中0.2m*0.2m的空间尺寸，所有偏移点都可以被投影到一张尺寸为(H，W)的2D照片中，记录每一个像素落入的偏移点的个数，简单的以点的个数为像素的特征信息，一张聚类的伪热力图便被生成了，如图6所示。基于这张伪热力图，可以将局部峰值最高的像素(预设区域像素值最高的像素)表示目标中心。可选的，可以基于滑窗式的2D最大池化操作，高效的提取出2D照片中像素的局部峰值的位置，得到目标中心。在获得目标中心后，可以为每一个目标中心分配一个实例ID，所有偏移点都将基于最紧邻的原则被分配为距离自身最近的目标中心的实例ID(如果偏移点距离多个目标中心的距离相同，则将与偏移点距离相同的一个目标中心的实例ID作为该偏移点的实例)，所有的前景点便获得了实例ID，且不依赖于启发式的聚类算法，加上语义分割模块中已经预测出的所有点云的语义类型，即可完成高效的全景分割任务。
在获得三维空间的偏移点后，还可以通过目标检测网络基于目标级别的信息对这些前景点做划分，若已经检测出空间中存在若干个车辆、行人，可以根据目标检测网络，判断前景点具体属于哪一个物体即可完成实例分割的任务，而通过一个目标检测网络来预测目标级别的信息，一方面增加了系统耗时，另一方面，目标检测网络预测出的目标在数量和位置上可能存在与聚集的点簇不一致的结果。而聚类伪热力图生成模块确定的目标中心与被平移后的前景点簇(偏移点构成的簇)有着天然的对应关系，只要有前景点聚集的地方，就一定有一个目标中心被生成。相比之下，基于目标检测网络来确定目标中心，检测出的目标物体的数量无法保证，检测出来的目标中心与聚集的点簇信息在位置上无法保证有良好的对应关系。
目标中心的产生基于前景点向实例中心的聚集，在驾驶场景中，属于小目标的点云向中心回归的效果会普遍优于大目标，大目标在激光雷达传感器中更容易只被观察到局部信息，如图7中一辆小车预测出一个实例ID，公交车预测出多个实例ID，即属于小车的点向小车中心的聚集效果较好，经过上述操作获得了正确的实例ID，而属于公交车的点，当公交车离激光雷达较近时，公交车只有一面被激光雷达扫描到，偏移量预测神经网络没有足够的信息准确推理属于公交车点的偏移量，参照公交车放大图形中的点云的分段结果可以确定属于公交车的点会被预测出了4个目标中心，从而产生了4个实例ID，而不是期望的单实例ID。
为了在中心回归不理想的情况下也能良好分割大目标，通过中心重分组模块，可以对目标中心做一次分组，被划分为相同组的目标中心具备相同的实例ID。具体做法如下：
1、基于伪热力图，利用窗口2D均值池化操作统计每一个像素附近(滑窗内)不同语义类别点的个数，基于最大个数投票的原则确定每个像素的语义类别。
2、赋予每个语义类别一个先验的尺寸(先验尺寸数据)，这个尺寸来源于目标检测数据集的统计，如针对小车，可以基于数据集统计小车的平均尺寸，基于这个尺寸确立每个语义类别的最小半径R＝0.5*min(L,W)，其中W，L代表了目标的平均宽和长。
3、经过以上步骤，每个目标中心都有各自的最小半径，可以视为各自的带宽，从某一个目标中心开始遍历，在这次遍历中其被视为基础中心Cb，实例ID为Gb，最小带宽为Bb，若在带宽内存在另一个目标中心Ct，其ID为Gt，则所有ID为Gt的中心都将被重新分配为基础中心的实例ID，即Gb。除了带宽约束，还可以增加基础中心Cb和目标中心Ct必须为同一语义类别的约束，这样对于拥挤场景的不同语义类别效果会更好，如对离车辆很近的行人的区分。
直至完成全部目标中心的遍历，满足步骤3条件的目标中心会被重新分配实例ID，如图8所示，经过中心重分组后，原本被划分为多ID的公交车能够被完整分割，使公交车有且仅有一个实例ID。
图9是本发明实施例提供的一种全景分割系统的数据处理的流程图，如图9所示，全景分割系统接收激光雷达扫描的点云，进而基于语义分割神经网络对点云进行语义分割，得到带有语义类型的点云，并基于语义类型筛选点云中的前景点，并对前景点进行中心回归处理(即根据偏移量对前景点进行移动)，得到偏移点，并进一步将偏移点向2D照片进行俯视投影，生成伪热力图，从而基于伪热力图中像素的像素值，获得多个目标中心。在得到多个目标中心之后，对目标中心进行中心重分组，得到各目标中心的实例ID。
在点云全景分割领域，Panoptic-PolarNet方法目前是业界领先的，其通过训练的目标检测网络来获得目标中心的热力图(目标级别的信息)，将热力图引入本方案的全景分割系统，也即替换掉聚类伪热力图生成模块，得到学习的热力图的全景分割方法。在表1中可以看到本方案的三维点云数据的全景分割方法显著提高了全景分割精度(PQ:panopticquality)。
表1学习的热力图的全景分割方法与本方案的全景分割效果的对比表
Figure BDA0003571245820000121
如表1所示，根据学习的热力图的全景分割方法对点云中所有点进行全景分割后的PQ为69.1，而利用本方案的全景分割方法对点云中所有点进行全景分割后的PQ为73.4(相较于学习的热力图的全景分割方法提升了4.3)，可见本方案在对点云中所有点进行全景分割时的全景分割精度得到了提升。根据学习的热力图的全景分割方法对点云中前景点进行全景分割后的PQ为65.7，而利用本方案的全景分割方法对点云中前景点进行全景分割后的PQ为72.5(相较于学习的热力图的全景分割方法提升了6.8)，可见本方案在对点云中所有点以及前景点进行全景分割时的全景分割精度得到了提升。
本方案的全景分割方法在业界最主要的两大数据集semanticKITTI和nuScenes的全景分割任务上均排名第一，具体可参见表2和表3的对比情况。
表2三种评估维度下的全景分割方法的分割效果对比表
Figure BDA0003571245820000131
其中，SQ表示分割质量，SQ(Th)表示对前景点的分割质量。如表2所示，本方案与Sxubj全景分割方法的全景分割精度相同，且全景分割精度高于AF2S3Net全景分割方法。相较于Sxubj全景分割方法和AF2S3Net全景分割方法，本方案的全景分割方法的分割质量更高。而且相较于Sxubj全景分割方法和AF2S3Net全景分割方法，本方案的全景分割方法对前景点进行全景分割时的分割质量更高，可见本方案的全景分割方法的分割质量最好。
表3四种评估维度下全景分割方法的分割效果对比表
Figure BDA0003571245820000132
Figure BDA0003571245820000141
其中，mIoU表示语义分割的评估指标，指预测出来的东西和真值做交比并集的计算，预测的东西和真值约接近，mIoU约接近1。RQ表示识别质量。如表3所示，本方案的全景分割方法相较于SPVCNN++-Panoptic、Team_AX_Semantioc以及PolarStrem-1全景分割方法，在全景分割精度、语义分割、分割质量以及识别质量这4个指标上效果均为最佳，表明本方案的全景分割方法的全景分割效果最好。
综上，本方案提出的三维点云数据全景分割方法，不依赖于目标检测的结果，也不依赖于对经验参数有很高要求且耗时严重的启发式聚类算法，相较于依赖目标检测来分割不同点云实例的方法，本方案无需引入目标检测网络，而依赖目标检测的方法严重受限于目标检测的精度，而伪热力图的生成不依赖于需要学习的目标级别的任务的引入，通过一致性的投影操作，可以获得绝对高召回率目标级别的信息输出，配合中心重分组模块，整个实例分割部分的精度与效率相较于先有方法有巨大提升，从而提升细粒度的点云感知任务的效率，并且本方案扩展性强，在统一的框架下能够获得细粒度的语义信息、实例信息、以及目标中心的信息。
本实施例的技术方案，通过获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量，进而基于偏移量和目标点，获得偏移点，并获取预设的空间尺寸，从而基于预设的空间尺寸，获得预设的图像，进一步将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值，以根据像素值，获取预设区域里像素值最高的像素，从而根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识，最终根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。在本方案中偏移点俯视投影后，根据预设区域里像素值最高的像素确定目标中心，可以使目标中心与偏移点具有良好的对应关系，还可以使目标点所在点云确定唯一的中心。根据目标中心的实例标识，获得属于目标中心的目标点的实例标识，可以高效准确的确定属于目标中心的目标点的实例标识。而根据基于预设的空间尺寸，获得预设的图像，可以建立预设的空间尺寸与获得预设的图像的像素的对应关系，以灵活满足像素的显示需求，解决了现有技术中目标检测网络检测出的目标中心的数量存在误差，导致目标中心与偏移点的对应关系无法得到保证、系统耗时增加以及数据预准备的复杂度高的问题，还解决了引入启发式聚类算法导致的耗时严重以及参数调整复杂的问题，能够在保证系统运行效果的前提下，降低数据配置复杂度，灵活的满足用户的像素显示需求，高效精准的实现全景分割。
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
图10是本发明实施例提供的一种三维点云数据的全景分割装置的示意图，如图10所示，所述装置包括：偏移量获取模块310、偏移点获得模块320、像素值获得模块330、峰值像素获取模块340、第一实例标识分配模块350以及第二实例标识分配模块360，其中：
偏移量获取模块310，用于获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量；
偏移点获得模块320，用于基于偏移量和目标点，获得偏移点；
像素值获得模块330，用于将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值；
峰值像素获取模块340，用于根据像素值，获取预设区域里像素值最高的像素；
第一实例标识分配模块350，用于根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识；
第二实例标识分配模块360，用于根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。
本实施例的技术方案，通过获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量，从而基于偏移量和目标点，获得偏移点，进一步将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值，进而根据像素值，获取预设区域里像素值最高的像素，并根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识，以根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。在本方案中偏移点俯视投影后，根据预设区域里像素值最高的像素确定目标中心，可以使目标中心与偏移点具有良好的对应关系，还可以使目标点所在点云确定唯一的中心。根据目标中心的实例标识，获得属于目标中心的目标点的实例标识，可以高效准确的确定属于目标中心的目标点的实例标识，解决了现有技术中目标检测网络检测出的目标中心的数量存在误差，导致目标中心与偏移点的对应关系无法得到保证、系统耗时增加以及数据预准备的复杂度高的问题，还解决了引入启发式聚类算法导致的耗时严重以及参数调整复杂的问题，能够在保证系统运行效果的前提下，降低数据配置复杂度，高效精准的实现全景分割。
可选的，偏移量获取模块310，具体用于获取激光雷达扫描得到的点云；将所述点云输入至预先训练的语义分割神经网络中，获取带有语义类型的点云。
可选的，像素值获得模块330，具体用于获取预设的空间尺寸；基于所述偏移点的预设的空间尺寸，获得预设的图像；其中，所述预设的空间尺寸与预设的图像中的每个像素匹配；将所述偏移点向预设的图像进行俯视投影。
可选的，峰值像素获取模块340，具体用于比较所述预设区域中每个像素的像素值，获取所述预设区域像素值最高的像素。
可选的，第一实例标识分配模块350，具体用于获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；根据所述当前目标中心以及所述先验尺寸数据，获取与所述当前目标中心匹配的待检测范围；在确定所述待检测范围内不存在其他目标中心时，不更新所述当前目标中心的实例标识。
可选的，第一实例标识分配模块350，具体用于获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；根据所述当前目标中心以及所述先验尺寸数据，获取与所述当前目标中心匹配的待检测范围；在确定所述待检测范围内存在其他目标中心时，将所述待检测范围内存的目标中心的实例标识进行合并处理。
可选的，第一实例标识分配模块350，具体用于获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；根据所述当前目标中心以及所述先验尺寸数据，获取与所述当前目标中心匹配的待检测范围；在确定所述待检测范围内存在的其他目标中心，并与所述当前目标中心的语义类型相同时，将所述待检测范围内存的目标中心的实例标识进行合并处理。
上述三维点云数据的全景分割装置可执行本发明任意实施例所提供的三维点云数据的全景分割方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的三维点云数据的全景分割方法。
由于上述所介绍的三维点云数据的全景分割装置为可以执行本发明实施例中的三维点云数据的全景分割方法的装置，故而基于本发明实施例中所介绍的三维点云数据的全景分割方法，本领域所属技术人员能够了解本实施例的三维点云数据的全景分割装置的具体实施方式以及其各种变化形式，所以在此对于该三维点云数据的全景分割装置如何实现本发明实施例中的三维点云数据的全景分割方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中三维点云数据的全景分割方法所采用的装置，都属于本申请所欲保护的范围。
图11为本发明实施例提供的一种电子设备的结构示意图。图11示出了适于用来实现本发明实施方式的电子设备412的框图。图11显示的电子设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示，电子设备412以通用计算设备的形式表现。电子设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture，ISA)总线，微通道体系结构(MicroChannel Architecture，MCA)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。
电子设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如RAM(Random Access Memory，随机存取存储器)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(Compact Disc-ReadOnlyMemory，CD-ROM)、数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块426的程序436，可以存储在例如存储装置428中，这样的程序模块426包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块426通常执行本发明所描述的实施例中的功能和/或方法。
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、摄像头、显示器424等)通信，还可与一个或者多个使得用户能与该电子设备412交互的设备通信，和/或与使得该电子设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过I/O接口422进行。并且，电子设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网WideArea Network，WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器420通过总线418与电子设备412的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of Independent Disks，RAID)系统、磁带驱动器以及数据备份存储系统等。
处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的三维点云数据的全景分割方法，包括：获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量；基于偏移量和目标点，获得偏移点；将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值；根据像素值，获取预设区域里像素值最高的像素；根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识；根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。
本实施例的技术方案，通过获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量，从而基于偏移量和目标点，获得偏移点，进一步将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值，进而根据像素值，获取预设区域里像素值最高的像素，并根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识，以根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。在本方案中偏移点俯视投影后，根据预设区域里像素值最高的像素确定目标中心，可以使目标中心与偏移点具有良好的对应关系，还可以使目标点所在点云确定唯一的中心。根据目标中心的实例标识，获得属于目标中心的目标点的实例标识，可以高效准确的确定属于目标中心的目标点的实例标识，解决了现有技术中目标检测网络检测出的目标中心的数量存在误差，导致目标中心与偏移点的对应关系无法得到保证、系统耗时增加以及数据预准备的复杂度高的问题，还解决了引入启发式聚类算法导致的耗时严重以及参数调整复杂的问题，能够在保证系统运行效果的前提下，降低数据配置复杂度，高效精准的实现全景分割。
本发明实施例还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的三维点云数据的全景分割方法，包括：获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得目标点的偏移量；基于偏移量和目标点，获得偏移点；将偏移点向预设的图像进行俯视投影，并根据图像中每个像素中偏移点的数量，获得每个像素的像素值；根据像素值，获取预设区域里像素值最高的像素；根据像素值最高的像素确定目标中心，并为目标中心分配匹配的实例标识；根据目标中心的实例标识，获得属于目标中心的目标点的实例标识。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ReadOnly Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable Read OnlyMemory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种三维点云数据的全景分割方法，其特征在于，包括：
获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得所述目标点的偏移量；
基于所述偏移量和所述目标点，获得偏移点；
将所述偏移点向预设的图像进行俯视投影，并根据所述图像中每个像素中偏移点的数量，获得每个像素的像素值；
根据所述像素值，获取预设区域里像素值最高的像素；
根据所述像素值最高的像素确定目标中心，并为所述目标中心分配匹配的实例标识；
根据所述目标中心的实例标识，获得属于所述目标中心的目标点的实例标识。
2.根据权利要求1所述的方法，其特征在于，所述获取带有语义类型的点云，包括：
获取激光雷达扫描得到的点云；
将所述点云输入至预先训练的语义分割神经网络中，获取带有语义类型的点云。
3.根据权利要求1所述的方法，其特征在于，所述将所述偏移点向预设的图像进行俯视投影，包括：
获取所述偏移点的预设的空间尺寸；
基于所述预设的空间尺寸，获得预设的图像；其中，所述预设的空间尺寸与预设的图像中的每个像素匹配；
将所述偏移点向预设的图像进行俯视投影。
4.根据权利要求1所述的方法，其特征在于，所述根据所述像素值，获取预设区域里像素值最高的像素，包括：
比较所述预设区域中每个像素的像素值，获取所述预设区域像素值最高的像素。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述并为所述目标中心分配匹配的实例标识，包括：
获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；
根据所述当前目标中心以及所述先验尺寸数据，获取与所述当前目标中心匹配的待检测范围；
在确定所述待检测范围内不存在其他目标中心时，不更新所述当前目标中心的实例标识。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述并为所述目标中心分配匹配的实例标识，包括：
获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；
根据所述当前目标中心以及所述先验尺寸数据，获取与所述当前目标中心匹配的待检测范围；
在确定所述待检测范围内存在其他目标中心时，将所述待检测范围内存的目标中心的实例标识进行合并处理。
7.根据权利要求1-4任一项所述的方法，其特征在于，所述并为所述目标中心分配匹配的实例标识，包括：
获取当前目标中心，以及与待处理语义类型匹配的先验尺寸数据；
根据所述当前目标中心以及所述先验尺寸数据，获取与所述当前目标中心匹配的待检测范围；
在确定所述待检测范围内存在的其他目标中心，并与所述当前目标中心的语义类型相同时，将所述待检测范围内存的目标中心的实例标识进行合并处理。
8.一种三维点云数据的全景分割装置，其特征在于，包括：
偏移量获取模块，用于获取带有语义类型的点云，将点云中的目标点输入到已训练好的偏移量预测神经网络，获得所述目标点的偏移量；
偏移点获得模块，用于基于所述偏移量和所述目标点，获得偏移点；
像素值获得模块，用于将所述偏移点向预设的图像进行俯视投影，并根据所述图像中每个像素中偏移点的数量，获得每个像素的像素值；
峰值像素获取模块，用于根据所述像素值，获取预设区域里像素值最高的像素；
第一实例标识分配模块，用于根据所述像素值最高的像素确定目标中心，并为所述目标中心分配匹配的实例标识；
第二实例标识分配模块，用于根据所述目标中心的实例标识，获得属于所述目标中心的目标点的实例标识。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的三维点云数据的全景分割方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的三维点云数据的全景分割方法。
CN202210324291.4A 2022-03-29 2022-03-29 三维点云数据的全景分割方法、装置、设备及介质 Active CN114882046B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210324291.4A CN114882046B (zh) 2022-03-29 2022-03-29 三维点云数据的全景分割方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210324291.4A CN114882046B (zh) 2022-03-29 2022-03-29 三维点云数据的全景分割方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN114882046A true CN114882046A (zh) 2022-08-09
CN114882046B CN114882046B (zh) 2024-08-02

Family

ID=82670161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210324291.4A Active CN114882046B (zh) 2022-03-29 2022-03-29 三维点云数据的全景分割方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN114882046B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778170A (zh) * 2023-08-25 2023-09-19 安徽蔚来智驾科技有限公司 点云全景分割方法、控制装置、可读存储介质及车辆

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400337A (zh) * 2019-07-10 2019-11-01 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US20200082207A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Object detection method and apparatus for object detection
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN112101066A (zh) * 2019-06-17 2020-12-18 商汤集团有限公司 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN112258512A (zh) * 2020-10-16 2021-01-22 北京字节跳动网络技术有限公司 点云分割方法、装置、设备和存储介质
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112668469A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度学习的多目标检测识别方法
CN112734931A (zh) * 2020-12-31 2021-04-30 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统
US20210150230A1 (en) * 2019-11-15 2021-05-20 Nvidia Corporation Multi-view deep neural network for lidar perception
CN112883979A (zh) * 2021-03-11 2021-06-01 先临三维科技股份有限公司 三维实例分割方法、装置、设备和计算机可读存储介质
CN113379748A (zh) * 2020-03-09 2021-09-10 北京京东乾石科技有限公司 一种点云全景分割方法和装置
US20210326656A1 (en) * 2020-04-15 2021-10-21 Adobe Inc. Panoptic segmentation
CN114155265A (zh) * 2021-12-01 2022-03-08 南京林业大学 基于yolact的三维激光雷达道路点云分割方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082207A1 (en) * 2018-09-07 2020-03-12 Baidu Online Network Technology (Beijing) Co., Ltd. Object detection method and apparatus for object detection
CN112101066A (zh) * 2019-06-17 2020-12-18 商汤集团有限公司 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN110400337A (zh) * 2019-07-10 2019-11-01 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
US20210150230A1 (en) * 2019-11-15 2021-05-20 Nvidia Corporation Multi-view deep neural network for lidar perception
CN113379748A (zh) * 2020-03-09 2021-09-10 北京京东乾石科技有限公司 一种点云全景分割方法和装置
US20210326656A1 (en) * 2020-04-15 2021-10-21 Adobe Inc. Panoptic segmentation
CN111583337A (zh) * 2020-04-25 2020-08-25 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN112258512A (zh) * 2020-10-16 2021-01-22 北京字节跳动网络技术有限公司 点云分割方法、装置、设备和存储介质
CN112287939A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 三维点云语义分割方法、装置、设备及介质
CN112668469A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度学习的多目标检测识别方法
CN112734931A (zh) * 2020-12-31 2021-04-30 罗普特科技集团股份有限公司 一种辅助点云目标检测的方法及系统
CN112883979A (zh) * 2021-03-11 2021-06-01 先临三维科技股份有限公司 三维实例分割方法、装置、设备和计算机可读存储介质
CN114155265A (zh) * 2021-12-01 2022-03-08 南京林业大学 基于yolact的三维激光雷达道路点云分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FANGZHOU HONG ET AL.: "Lidar-based panoptic segmentation via dynamic shifting network", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 24 November 2020 (2020-11-24), pages 13085 - 13094 *
JINKE LI ET AL.: "Panoptic-PHNet: Towards Real-Time and High-Precision LiDAR Panoptic Segmentation via Clustering Pseudo Heatmap", 2022 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 14 May 2022 (2022-05-14), pages 11799 - 11808 *
ZIXIANG ZHOU ET AL.: "Panoptic-PolarNet: Proposal-free LiDAR Point Cloud Panoptic Segmentation", 2021 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR), 27 March 2021 (2021-03-27), pages 13189 - 13198 *
郭清达;全燕鸣;: "采用空间投影的深度图像点云分割", 光学学报, vol. 40, no. 18, 30 September 2020 (2020-09-30), pages 140 - 148 *
顾军华 等: "基于点云数据的分割方法综述", 燕山大学学报, vol. 44, no. 2, 31 March 2020 (2020-03-31), pages 125 - 137 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778170A (zh) * 2023-08-25 2023-09-19 安徽蔚来智驾科技有限公司 点云全景分割方法、控制装置、可读存储介质及车辆
CN116778170B (zh) * 2023-08-25 2023-11-07 安徽蔚来智驾科技有限公司 点云全景分割方法、控制装置、可读存储介质及车辆

Also Published As

Publication number Publication date
CN114882046B (zh) 2024-08-02

Similar Documents

Publication Publication Date Title
WO2022166400A1 (zh) 一种处理三维点云的方法、装置、设备以及存储介质
CN108229419B (zh) 用于聚类图像的方法和装置
CN111444921A (zh) 划痕缺陷检测方法、装置、计算设备和存储介质
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN111950543B (zh) 一种目标检测方法和装置
CN115049700A (zh) 一种目标检测方法及装置
CN111553946B (zh) 用于去除地面点云的方法及装置、障碍物检测方法及装置
CN110599489A (zh) 一种目标空间定位方法
CN112258519B (zh) 一种高精度地图制作中道路的让行线自动化提取方法及装置
CN110390327B (zh) 前景提取方法、装置、计算机设备及存储介质
CN112200131A (zh) 一种基于视觉的车辆碰撞检测方法、智能终端及存储介质
CN115100099A (zh) 点云数据的处理方法、装置、设备及介质
CN110853085A (zh) 基于语义slam的建图方法和装置及电子设备
CN116432060A (zh) 基于雷达的目标自适应聚类方法、装置、设备及存储介质
CN110530375B (zh) 机器人自适应定位方法、定位装置、机器人及存储介质
CN112712036A (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
CN115701864A (zh) 神经网络训练方法、目标检测方法、设备、介质及产品
CN114882046B (zh) 三维点云数据的全景分割方法、装置、设备及介质
CN114972758A (zh) 一种基于点云弱监督的实例分割方法
CN111819567A (zh) 使用语义特征来匹配图像的方法和装置
CN109376653B (zh) 用于定位车辆的方法、装置、设备和介质
CN112115810A (zh) 基于信息融合的目标识别方法、系统、计算机设备和存储介质
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN117011481A (zh) 构建三维地图的方法、装置、电子设备及存储介质
CN112819859B (zh) 一种应用于智慧安防的多目标跟踪方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant