CN110264468A - 点云数据标注、分割模型确定、目标检测方法及相关设备 - Google Patents

点云数据标注、分割模型确定、目标检测方法及相关设备 Download PDF

Info

Publication number
CN110264468A
CN110264468A CN201910746522.9A CN201910746522A CN110264468A CN 110264468 A CN110264468 A CN 110264468A CN 201910746522 A CN201910746522 A CN 201910746522A CN 110264468 A CN110264468 A CN 110264468A
Authority
CN
China
Prior art keywords
point cloud
target
cloud data
data
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910746522.9A
Other languages
English (en)
Other versions
CN110264468B (zh
Inventor
曾钰廷
徐琥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Intelligent Driving Research Institute Co Ltd
Original Assignee
Changsha Intelligent Driving Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Intelligent Driving Research Institute Co Ltd filed Critical Changsha Intelligent Driving Research Institute Co Ltd
Priority to CN201910746522.9A priority Critical patent/CN110264468B/zh
Publication of CN110264468A publication Critical patent/CN110264468A/zh
Application granted granted Critical
Publication of CN110264468B publication Critical patent/CN110264468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本申请涉及一种点云数据标注、分割模型确定、目标检测方法及相关设备。所述标注方法包括获取激光雷达采集的原始点云数据；将原始点云数据投影到二维图后，基于二维图获取各目标标注信息；通过已训练目标检测模型对原始点云数据进行检测，确定检测到的目标检测信息；基于对应的目标类别置信度，采用目标检测信息修正目标标注信息，获得原始点云数据的目标检测数据集，目标检测数据集包括各目标的位置信息和目标类别。采用本方法能够快速准确地进行标注。

Description

点云数据标注、分割模型确定、目标检测方法及相关设备
技术领域
本申请涉及点云数据的处理技术领域，特别是涉及一种点云数据标注、分割模型确定、目标检测方法及相关设备。
背景技术
激光雷达作为一种重要的环境感知传感器，广泛应用于车辆自动驾驶领域。激光雷达获取的点云数据包含了各种目标信息，可用于障碍物检测。障碍物检测时所用模型在进行训练时，一般需要使用标注过的点云数据作为训练样本，以优化障碍物检测算法。目前的点云数据标注方法通常在三维立体空间中对点云数据进行手工标注，存在效率低、标注结果不准确的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种点云数据标注、分割模型确定、目标检测方法及相关设备。
一种点云数据标注方法，所述方法包括：
获取激光雷达采集的原始点云数据；
将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别。
一种点云数据分割模型的确定方法，所述方法包括：
获取激光雷达采集的原始点云数据，以及与所述原始点云数据对应的点云分割数据集；
基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型；
与所述原始点云数据对应的点云分割数据集的获取方式包括：
将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的各目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别；
根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
一种基于点云数据分割的目标检测方法，所述方法包括：
获取激光雷达采集的原始点云数据，以及与所述原始点云数据对应的点云分割数据集；
基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型；
采用所述点云数据分割模型，对待分割点云数据进行分割，获得各点云数据的类别；
根据各所述点云数据的位置信息以及类别，对各所述点云数据进行聚类，获得目标检测结果；
与所述原始点云数据对应的点云分割数据集的获取方式包括：
将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的各目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别；
根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
一种点云数据标注装置，所述装置包括：
原始点云数据获取模块，用于获取激光雷达采集的原始点云数据；
目标标注信息获取模块，用于将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
目标检测信息确定模块，用于通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
目标检测数据集确定模块，用于基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别。
一种点云数据分割模型的确定装置，所述装置包括：
原始点云数据获取模块，用于获取激光雷达采集的原始点云数据；
点云分割数据集获取模块，用于获取与所述原始点云数据对应的点云分割数据集；
模型训练模块，用于基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型；
所述点云分割数据集获取模块包括：
目标标注信息获取子模块，用于将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
目标检测信息确定子模块，用于通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
目标检测数据集确定子模块，用于基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别；
点云分割数据集确定子模块，用于根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
一种基于点云数据分割的目标检测装置，所述装置包括：
原始点云数据获取模块，用于获取激光雷达采集的原始点云数据；
点云分割数据集获取模块，用于获取与所述原始点云数据对应的点云分割数据集；
模型训练模块，用于基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型；
分割模块，用于采用所述训练后的点云数据分割模型，对待分割点云数据进行分割，获得各点云数据的类别；
聚类模块，用于根据各所述点云数据的位置信息以及类别，对各所述点云数据进行聚类，获得目标检测结果；
所述点云分割数据集获取模块包括：
目标标注信息获取子模块，用于将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
目标检测信息确定子模块，用于通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
目标检测数据集确定子模块，用于基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别；
点云分割数据集确定子模块，用于根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各方法中的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各方法中的步骤。
附图说明
图1为一个实施例中点云数据标注方法的应用环境图；
图2为一个实施例中点云数据标注方法的流程示意图；
图3为一个实施例中OpenGL下的三维点云的二维俯视图；
图4为一个实施例中OpenGL下设定高度阈值的三维点云俯视图；
图5为一个实施例中OpenGL下应用于二维标注的三维点云俯视图；
图6为一个实施例中OpenGL窗口对应的点云数据坐标轴方向图；
图7为一个实施例中二维标注的示意图；
图8为一个实施例中点云分割数据集的标注方法的流程示意图；
图9为一个实施例中三个数据集的标注框架示意图；
图10为一个实施例中点云数据分割模型的确定方法的流程示意图；
图11为一个实施例中点云数据分割模型的训练框架示意图；
图12为一个实施例中点云数据分割模型的训练方法的流程示意图；
图13为一个实施例中网络输入数据的获取示意图；
图14为一个实施例中分割卷积神经网络的结构示意图；
图15为一个实施例中基于点云数据分割的目标检测方法的框架示意图；
图16为一个实施例中二维目标栅格图的示意图；
图17为一个实施例中基于点云数据分割的目标检测方法的检测效果图；
图18为一个实施例中点云数据标注装置的结构框图；
图19为一个实施例中点云数据分割模型的确定装置的结构框图；
图20为一个实施例中基于点云数据分割的目标检测装置的结构框图；
图21为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的点云数据标注方法，可以应用于如图1所示的应用环境中。该应用环境涉及车辆自动驾驶系统中的工控机和激光雷达。工控机获取激光雷达采集的原始点云数据，对原始点云数据进行二维标注获得目标标注信息，利用已训练目标检测模型对原始点云数据进行检测获得目标检测信息，然后基于模型检测置信度，采用目标检测信息对目标标注信息进行修正，获得目标检测数据集。
在一个实施例中，如图2所示，提供了一种点云数据标注方法，以该方法应用于图1中的工控机为例进行说明，包括以下步骤S202至步骤S204。
S201，获取激光雷达采集的原始点云数据。
其中，激光雷达可以是16线，32线，40线或64线等主流的激光雷达设备，其放置在车辆上方。激光雷达点云坐标正前方为X轴方向，左边为Y轴方向，正上方为Z轴方向。
在一个实施例中，在乌班图系统（ubuntu）中的机器人软件平台（ros）环境下，连接激光雷达设备，录制激光雷达数据的数据包，并保存激光雷达数据至硬盘，然后把连续的激光雷达数据转化为点云数据（PCD），从相邻的5帧数据中采集一帧数据，组成需要标注的原始点云数据。
在一个实施例中，可以针对自动驾驶不同场景的应用，分别采集高速路段和城区路段相关的自动驾驶的场景数据，场景中包含了大量的轿车，卡车，行人，骑行的人以及未知类别的目标。
S202，将原始点云数据投影到二维图后，基于二维图获取各目标标注信息，目标标注信息包括：第一目标位置信息以及第一目标类别。
获取每帧的点云数据，相应地可以获取每帧点云数据中每个点云的三维坐标（xi,yi, zi）。在一个实施例中，可以利用开放图形库（OpenGL）进行可视化，将原始点云数据显示在OpenGL的三维坐标系下，可以得到对应的二维图下的点云分布图。其中，二维图可以是二维俯视图或二维前视图。具体地，如图3所示，其为OpenGL下的三维点云的二维俯视图，从中可以看到点云的分布情况，包括地面点分布以及车辆点云分布，其中每个白色的点代表一个点云数据。
在一个实施例中，为了更准确地进行标注，可以选取设定高度的点云数据，得到如图4所示的点云分布情况。其中，设定高度可以是设定高度范围或者设定高度阈值。在一个实施例中，还可以去除地面点，得到如图5所示的点云分布情况，从而减少了点云数量，更有利于标注数据，得到清晰可见的目标位置信息。由于激光雷达设备录制的数据，正前方为X轴，所以在OpenGL窗口的俯视图中的点云数据的坐标轴方向如图6所示，目标位置可以由图中A、B两点确定。
在一个实施例中，基于二维俯视图获取目标标注信息的过程如下：获取在二维俯视图中的选定目标框的位置信息；基于选定目标框的位置信息，确定选定目标框对应的目标的第一目标类别；根据选定目标框的位置信息，或者根据选定目标框的位置信息以及第一目标类别，确定第一目标位置信息。
其中，选定目标框可以由用户通过鼠标操作来框定。具体地，如图7所示，用户可以先点击鼠标左键，选择目标的右上顶点A，再拖动鼠标，选择目标的左下顶点B，然后松开鼠标，完成一个目标的框定。在其它实施例中，目标框的选定还可以采用其它的鼠标操作方式，例如先选择目标的左上顶点再选择目标的右下顶点，或者先选择目标的左下顶点再选择目标的右上顶点，或者先选择目标的右下顶点再选择目标的左上顶点。
选定目标框后，由于是在OpenGL窗口的俯视图下进行鼠标选点操作，所以选点的高度（z）不确定，但是（x, y）坐标是准确的，基于目标框所选顶点的二维坐标计算目标框的尺寸信息，目标框的尺寸信息可以是目标框的长度、宽度、长宽比中的一种或几种的组合，基于目标框的尺寸信息，可以初步估算出目标的类别以及高度信息。
具体地，基于目标框的尺寸信息所在的预设尺寸范围，将所在的预设尺寸范围对应的目标类别，确定为目标框对应的目标的类别。例如，目标框的左下顶点B的坐标为（left_x, left_y），右上顶点A的坐标为（right_x, right_y）。在一个实施例中，若right_x-left_x大于3米且小于8米，认为目标类别为轿车（car），且高度（z）为1.6米。在一个实施例中，若right_x-left_x大于8米，认为目标类别为卡车（truck），且高度为2米。
从而，通过目标框的二维坐标，可以获得初步的目标标注信息，初步的目标标注信息包括第一目标位置信息以及与第一目标位置信息对应的第一目标类别，目标位置信息可以包括目标的长度、宽度、高度和中心点三维坐标。这里的第一目标位置信息和第一目标类别，仅仅是为了与下述通过已训练目标检测模型获得的目标位置信息和目标类别相区分，将此时初步的目标标注信息中的目标位置信息和目标类别分别命名为第一目标位置信息和第一目标类别。
在一个实施例中，在标注的同时，可以利用点云库查看器（pcl_viewer）工具进行辅助，来查看三维空间中各个角度的原始的三维点云分布图。
为了后续模型训练的方便，可以将原始点云数据（PCD）保存到二进制文件（bin）中，将标注的目标框的A（right_x, right_y, z）、B（left_x, left_y, z）和类别（category）保存到文本文件（txt）中。
S203，通过已训练目标检测模型对原始点云数据进行检测，确定检测到的各目标检测信息，目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度。
在一个实施例中，利用训练好的VoxelNet模型对原始点云数据进行检测，得到目标的第二目标位置信息、第二目标类别以及对应的目标类别置信度。在一个实施例中，目标类别置信度可以是目标位置对应的类别的置信度，在检测模型输出的结果中，每个目标位置都对应着它属于不同类别的置信度，比如对于一个目标，其类别为car的置信度为0.9，其类别为truck的置信度为0.1。
S204，基于对应的目标类别置信度，采用目标检测信息修正目标标注信息，获得原始点云数据的目标检测数据集，目标检测数据集包括各目标的位置信息和目标类别。
通过二维手工标注获得的初步的目标标注信息通常会存在标注噪声，为了提高标注准确度，采用模型检测获得的目标检测信息对目标标注信息进行修正。具体地，将检测模型获得的目标检测信息与目标标注信息进行对比，如果两者有差异，且目标检测信息的置信度大于或等于置信度阈值，则修正目标标注信息。
在一个实施例中，若一目标位置对应的目标类别置信度均小于置信度阈值（如0.9），不对目标标注信息进行修正。具体地，以第一目标位置信息作为对应的目标的位置信息，以第一目标类别作为对应的目标的目标类别。
在一个实施例中，若一目标位置对应的目标类别置信度存在大于或者等于置信度阈值（如0.9）的检测结果，认为该结果可靠，采用目标检测信息对目标标注信息进行修正。具体地，以第二目标位置信息替换第一目标位置信息，作为对应的目标的位置信息，以该大于或者等于置信度阈值的目标类别置信度对应的第二目标类别替换第一目标类别，作为对应的目标的目标类别。
在一个实施例中，在获得目标检测数据集后，可以直接从检测数据集中获取目标的三维坐标。利用原始点云数据以及标注的检测数据集，通过遍历每帧的目标位置信息，保存相应类别的点云数据。具体地，在目标检测数据集上，对每帧标注的目标位置进行遍历，并保存目标框内的点云数据到二进制文件（bin）中，则完成了目标分类数据集的标注。
在一个实施例中，在获得目标检测数据集后，还可进一步基于根据原始点云数据以及目标检测数据集，获得原始点云数据的点云分割数据集，点云分割数据集包括各点云数据的点云类别。
在一个实施例中，如图8所示，在获得目标检测数据集后，进一步包括以下步骤S205至步骤S207。
S205，将各目标的目标类别，确定为与该目标的位置信息对应的各点云数据的类别，获得各点云数据的检测类别。
通过遍历目标框内的点云数据进行点云数据的标注，可以获取每个点云数据的检测类别，初步完成分割数据集的标注。这里的点云数据的检测类别，仅仅是为了与下述通过已训练分割模型获得的点云数据的标注类别相区分，将此时初步分割获得的点云类别命名为点云数据的检测类别。相应的分割数据集中每个点云数据包含了（x, y, z, i,category）5维的信息，（x, y, z）表示三维坐标，i表示反射强度，category表示类别。
S206，采用已训练分割模型对原始点云数据进行分割处理，获得各点云数据的标注类别以及对应的标注类别置信度。
在一个实施例中，通过训练好的PointNet分割模型得到每帧中的三维点云的标注类别以及与标注类别对应的置信度，每个点云可以对应多个类别，每个类别对应一个置信度，比如对于一个点云，其类别为car的置信度为0.9，其类别为truck的置信度为0.1。
S207，基于标注类别置信度，采用点云数据的标注类别修正对应的点云数据的检测类别，获得原始点云数据的点云分割数据集，点云分割数据集包括各点云数据的点云类别。
初步获得的分割数据集通常还是会存在标注噪声，为了提高标注准确度，通过分割模型获得各点云数据的标注类别以及对应的标注类别置信度，然后与初步的分割数据集进行逐点遍历，修正初步的分割数据集中点云数据的检测类别。
在一个实施例中，若一点云位置对应的标注类别置信度均小于置信度阈值（如0.9），不对点云数据的检测类别进行修正。具体地，以点云数据的检测类别作为对应的点云数据的点云类别。
在一个实施例中，若一目点云位置对应的标注类别置信度存在大于或者等于置信度阈值（如0.9）的标注结果，认为该结果可靠，采用标注类别对检测类别进行修正。具体地，以该大于或者等于置信度阈值的标注类别置信度对应的点云数据的标注类别替换检测类别，作为对应的点云数据的点云类别。
上述实施例通过对原始点云数据进行二维目标手工标注，结合模型算法修正，能够同时获得三个数据集，即目标检测数据集、目标分类数据集和点云分割数据集。在一个实施例中，三个数据集的标注框架示意图如图9所示，其中，目标检测数据集的标注流程如下：先获取每帧PCD格式的原始点云数据，利用OpenGL将原始点云数据可视化，获取二维图中手工标注的各目标标注信息；再采用检测模型对原始点云数据进行检测，获得各目标检测信息；然后利用目标检测信息对目标标注信息进行修正，获得目标检测数据集。目标分类数据集的标注流程如下：获得目标检测数据集之后，通过遍历目标位置信息，保存目标内的点云数据，获得目标分类数据集。点云分割数据集的标注流程如下：获得目标检测数据集之后，通过遍历各目标内各点云数据的位置信息，获得每个点云数据的检测类别；再采用分割模型对原始点云数据进行分割，获得各点云数据的标注类别；然后利用点云数据的标注类别对检测类别进行修正，获得点云分割数据集。
上述点云数据标注方法，通过OpenGL对三维点云进行可视化，在OpenGL窗口的二维图下，通过滤波处理能够快速得到更干净的标注场景，同时利用人机交互能够快速地进行目标的二维手工标注，通过设定的高度阈值以及二维手工标注结果，可以简单有效地获得目标初步的三维位置信息和类别。进一步地，利用已经训练好的模型获得的大于或者等于置信度阈值的结果修正手工标注结果，能够减少手工标注的错误，同时降低手工标注的复杂度，从而提高标注准确度和标注效率。
在一个实施例中，如图10所示，提供了一种点云数据分割模型的确定方法，以该方法应用于图1中的工控机为例进行说明，包括以下步骤S1010至步骤1030：
S1010，获取激光雷达采集的原始点云数据。
S1020，获取与原始点云数据对应的点云分割数据集。
在一个实施例中，获取与原始点云数据对应的点云分割数据集，包括以下步骤S1021至步骤S1024。
S1021，将原始点云数据投影到二维图后，基于二维图获取各目标标注信息，目标标注信息包括：第一目标位置信息以及第一目标类别。对于步骤S1021的具体限定可以参见上文中对于步骤S202的限定。
S1022，通过已训练目标检测模型对原始点云数据进行检测，确定检测到的各目标检测信息，目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度。对于步骤S1022的具体限定可以参见上文中对于步骤S203的限定。
S1023，基于对应的目标类别置信度，采用目标检测信息修正目标标注信息，获得原始点云数据的目标检测数据集，目标检测数据集包括各目标的位置信息和目标类别。对于步骤S1023的具体限定可以参见上文中对于步骤S204的限定。
S1024，根据原始点云数据以及目标检测数据集，获得原始点云数据的点云分割数据集，点云分割数据集包括各点云数据的点云类别。对于步骤S1023的具体限定可以参见上文中对于步骤S205至步骤S207的限定。
S1030，基于原始点云数据以及点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型。
在一个实施例中，点云数据分割模型的训练框架如图11所示，训练流程如图12所示，包括以下步骤S1201至步骤S1205。
S1201，根据激光雷达的线束数量和每条线束的点云数据个数，对原始点云数据进行排序。
S1202，获取排序后的各点云数据的特征信息，基于特征信息生成网络输入数据，特征信息包括：点云到激光雷达的距离、点云到激光雷达的角度、点云的反射强度以及点云的三维坐标。
在一个实施例中，网络输入数据的获取示意图如图13所示。原始点云数据是（x,y, z, i）的无序数据，按照激光雷达设备（Lidar）的水平和垂直分辨率对原始点云数据进行重新排序，H表示每条线束的点云个数，W表示激光雷达设备的线束数量，其中每帧的点云数量N=H*W。如使用32线的激光雷达设备，H=1875，W=32。
获得排序后的H*W个点云数据后，通过获取每个点云的特征信息得到初步描述点云数据的特征图。具体地，特征信息包括以下6个特征：点云到激光雷达原点设备的距离（range）、点云到激光雷达原点设备的角度（angle）、点云的反射强度（intensity）、点云的x坐标、点云的y坐标以及点云的z坐标，其中，angle= arctan(x/y)。基于特征信息可以得到H*W*C的网络输入数据，其中C表示特征数目，在该实施例中，C=6。
相比于俯视图栅格化，重新排列点云数据的方法保留了所有的点云信息，通过网络能够逐点的进行类别预测，而且没有增加输入特征图的大小，网络的参数量也没有增加，这样运行速度更快。在输入特征图中利用了点云到激光雷达设备的距离和角度的信息，这样增强了点云的信息量，保证了目标的结构性和角度性的特征，从而更有利于学习到目标的信息。
S1203，采用待训练分割模型对网络输入数据进行处理，获得各点云数据的预测类别信息，预测类别信息包括预测类别以及对应的预测类别概率。
在一个实施例中，待训练分割模型采用分割卷积神经网络，分割卷积神经网络是在全卷积网络（FCN）的基础上，去除了池化层（Pooling），并且将普通的卷积层改为空洞卷积层而获得，其结构示意图如图14所示，分割卷积神经网络结构包括多层空洞卷积层和多层空洞反卷积层，多层空洞卷积层和多层空洞反卷积层相对设置，空洞卷积层和空洞反卷积层的层数相同，每层空洞卷积层与对应的一层空洞反卷积层连接。具体地，分割卷积神经网络结构沿输入至输出方向，依次包括M层空洞卷积层（第1，2，3……M层空洞卷积层依次排列）和M层空洞反卷积层（第1，2，3……M层空洞反卷积层依次排列）。第M层空洞卷积层与第1层空洞反卷积层连接，第M-1层空洞卷积层与第2层空洞反卷积层连接，第M-2层空洞卷积层与第3层空洞反卷积层连接，以此类推，实现跨层连接。
向分割卷积神经网络输入网络输入数据（H*W*C），经处理后，模型输出为H*W*L，L表示类别数目，再经过归一化指数函数（Softmax）后输出H*W*l， l表示点云预测类别。
通过去除池化层，利用空洞卷积来进行点云操作，可以扩大感受野的范围，学习到相邻点的信息。针对激光雷达设备的规则性排列的数据，利用跨层连接和空洞卷积能够更好地描述点云的特征，学习到更多的点云信息，提高模型的鲁棒性。
S1204，将点云分割数据集中的各点云数据的点云类别作为标签类别，基于标签类别、预测类别信息以及损失函数，确定预测类别的损失值。
S1205，在不满足模型训练结束条件时，基于损失值更新待训练分割模型，返回步骤S1203，直至达到模型训练结束条件，并将最后一次更新后的待训练分割模型，作为训练后的点云数据分割模型。
在一个实施例中，可以认为当损失值小于预设值时，满足模型训练结束条件，也可以认为当训练次数达到预设次数时，满足模型训练结束条件。
由于获取的W*H*C的输入特征图中通常存在大量的背景，而且类别分布不均衡，分割卷积神经网络很容易学习到背景的点云，因此可以应用组合的损失函数，让pixel_loss学习每个点云的类别，让object_loss学习更多的目标的点云，忽略背景的目标。
具体地，pixel_loss的计算公式如下：
其中，n表示一点云的预测类别的个数，f(zi)表示Softmax输出向量的第i个，Softmax输出向量的每个值表示一点云属于每个预测类别的概率，只有当预测类别和标签类别（label）相同时，yi=1，否则yi=0，f(zk)表示预测类别和标签类别相同时的概率，-logf(zk)表示预测类别相对于标签类别的损失值。
进一步地，对不同类别的数据进行加权计算，权重可以根据类别数量确定，使得类别数量少的数据获得较大的损失函数。具体地，加权后的pixel_loss的计算公式如下：
其中，weighting表示类别权重，可以通过遍历数据集中某一类别的个数，获取该类别对应的权重。在一个实施例中，weighting的计算公式如下：
其中，freq表示某一类别个数在所有类别个数中的占比。
在一个实施例中，object_loss的计算公式如下：
其中，i从1到N，N表示预测的点云个数，表示目标点云的标签类别，表示目标点云的预测类别。
object_loss表示预测类别和标签类别的交并比，从而能够保证分割模型偏向于前景的类别，而不是背景类别的目标。
最终的损失函数为组合了pixel_loss和object_loss的损失函数，在一个实施例中，组合损失函数loss的计算公式如下：
其中，α和β分别为一常数。在一个实施例中，可以是α和β均为0.5。
激光雷达设备扫描到的每帧的点云数据通常绝大多数为背景，背景占比97%左右，车辆占比2%左右，其他类别占比1%左右，导致数据中的类别极不平衡，如果用传统的交叉熵损失函数（cross entropy loss）进行学习，往往学习到的都是背景信息，无法进行类别的区分。因此，通过优化损失函数，利用权重去平衡各个类别的损失函数，首先求出数据集各个类别占数据集所有类别的比重，然后训练模型时将该类别的损失乘以权重，从而加大了少样本的权重，平衡类别的损失，有利于反向传播。组合损失函数的设计，能够让分割卷积神经网络学习到前景的目标，从而让分割卷积神经网络学习像素级别的分割，也学习目标级别的分割。
相比交叉熵损失函数，通过组合损失函数进行模型的学习，以及对不同类别进行不同的权重平衡，从而有针对性的优化了类别的损失，有利于模型学习到不同类别的特征信息。此外，通过添加前期目标学习的损失函数，使分割卷积神经网络倾向于学习目标的类别，进而提高了模型的泛化能力。
在一个实施例中，提供了一种基于点云数据分割的目标检测方法，其流程框架如图15所示，以该方法应用于图1中的工控机为例进行说明，包括以下步骤：获取激光雷达采集的原始点云数据，采用训练后的点云数据分割模型，对原始点云数据进行分割，获得各点云数据的类别；根据各点云数据的位置信息以及类别，对各点云数据进行聚类，获得目标检测结果。这里的训练后的点云数据分割模型，通过上述点云数据分割模型的确定方法实施例获得。
在一个实施例中，从点云数据分割模型获取点云的类别和类别置信度后，根据各点云数据的位置信息以及类别，对各点云数据进行聚类时，可以采用二维图像聚类的方法进行聚类。具体地，将目标点云投影到（x, y）平面，得到目标的栅格，然后计算目标所属栅格的类别，得到如图16所示的二维目标栅格图，图中的数字1，2，3表示目标栅格类别，最后结合距离和类别信息，利用带目标属性的区域生长法进行聚类。
二维目标栅格图的生成方法如下：统计栅格内的类别信息，将栅格内点云类别数目最多的类别作为栅格的最终类别，如果点云类别数目相同或者类别的置信度低于置信度阈值，通过比较栅格周边8领域的类别确定最终类别，若周边领域的栅格的类别置信度高于或等于置信度阈值，则此栅格的最终类别为该周边领域的栅格的类别。
得到二维目标栅格图后，进行目标聚类，用以区分同类别的目标和不同类别的目标。在一个实施例中，可以在现有的区域生长算法下进行改进，添加目标类别属性来进行目标聚类。具体地，本实施例的目标聚类过程包括如下步骤：
首先，去除背景类别的点云，选取Lidar左前方最远距离的一个目标栅格作为种子点（x0, y0），并采用堆栈的方法表示。
然后，遍历种子点的周边8领域的栅格，如果周边栅格在该领域内且和种子点类别一致，则送入堆栈。
最后，生成新的种子继续遍历，直到循环了所有的目标栅格。
二维聚类速度快且高效，但是目标栅格生成图中可能存在噪声，即人和车混合在一块的情况，因此，在一个实施例中，可以采用三维点云聚类的方法进行聚类。具体地，从点云数据分割模型获取点云的类别后，利用机器人软件平台（ros）的图形化工具（rviz）对目标点云进行可视化，每个目标类别对应一种颜色，例如车辆类别的颜色为绿色，行人类别的颜色为红色，然后通过进行三维空间的点云聚类，用以区分各个车辆所属的点云。
在一个实施例中，可以在现有的欧式聚类算法下进行改进，添加目标类别属性来进行目标聚类。具体地，本实施例的目标聚类过程包括如下步骤：
首先，去除背景类别的点云，选取三维空间左前方最远距离的一个目标类别的点云（x0, y0, z0）。
然后，利用KD树，判断离点（x0, y0, z0）欧式距离近且与之类别一致的点云，放入同一个聚类结果中。
最后，循环第二步，直到搜索完成。
完成目标聚类后，可以获得目标包含的点云数据，通过目标包含的点云数据可以获取对应目标的中心点、长、宽以及角度，从而确定目标位置和方向性信息，完成目标定位，最后将目标位置和方向性信息送入至跟踪模块或者路径规划模块。在一个实施例中，聚类后得到每个目标所属的栅格，求取栅格中点云的最大值（x, y），可以得到目标的最大包围盒。在最大包围盒中对目标进行方向性计算，可以获得目标角度，具体地，通过聚类后可以得到目标的对应的目标栅格图，将目标栅格图表示成像素的形式，利用开源计算机视觉库（opencv）的霍夫变换（hough）进行计算，得到最佳的角度，作为目标的方向性角度。
在一个实施例中，基于激光雷达点云分割的目标检测效果图如图17所示。经过分割模型后可以获取点云的类别信息，每个目标类别对应一种颜色，例如小车类别（car）的颜色为蓝色，行人类别（pedestrian）的颜色为红色，经过聚类后可以区分不同目标的点云，最后对目标点云求取方向性的包围盒，图中的框表示包围盒。每个目标有相关类别信息和置信度，目标的置信度的求取方法可以通过遍历包围盒的点云的置信度，取包围盒内所有点云的置信度的均值作为包围盒目标的置信度。
上述基于点云数据分割的目标检测方法，由分割模型获取点云类别后，可以根据目标结构、点云分布和类别信息综合进行聚类。利用分割模型去除了背景点云，只对目标点云进行聚类，通过将目标点云投影到二维平面进行聚类，可以加快运算速度，而且能够保证准确率。通过在三维空间中只对目标三维点云进行聚类，可以加快运算速度，同时能够保证准确的目标高度信息。
应该理解的是，虽然图2、8、10、12的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、8、10、12中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图18所示，提供了一种点云数据标注装置，包括：原始点云数据获取模块1801、目标标注信息获取模块1802、目标检测信息确定模块1803和目标检测数据集确定模块1804，其中：
原始点云数据获取模块1801，用于获取激光雷达采集的原始点云数据。
目标标注信息获取模块1802，用于将原始点云数据投影到二维图后，基于二维图获取各目标标注信息，目标标注信息包括：第一目标位置信息以及第一目标类别。
目标检测信息确定模块1803，用于通过已训练目标检测模型对原始点云数据进行检测，确定检测到的目标检测信息，目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度。
目标检测数据集确定模块1804，用于基于对应的目标类别置信度，采用目标检测信息修正目标标注信息，获得原始点云数据的目标检测数据集，目标检测数据集包括各目标的位置信息和目标类别。
在一个实施例中，目标标注信息获取模块1802包括：目标框位置信息获取单元、第一目标类别确定单元和第一目标位置信息确定单元，其中：
目标框位置信息获取单元，用于获取在二维图中的选定目标框的位置信息。
第一目标类别确定单元，用于基于选定目标框的位置信息，确定选定目标框对应的目标的第一目标类别。
第一目标位置信息确定单元，用于根据选定目标框的位置信息，或者根据选定目标框的位置信息以及第一目标类别，确定第一目标位置信息。
在一个实施例中，点云数据标注装置还包括：目标分类数据集确定模块1805，用于遍历目标检测数据集中各目标的位置信息，保存各目标内的点云数据，获得目标分类数据集。
在一个实施例中，点云数据标注装置还包括：点云分割数据集确定模块1806，用于根据原始点云数据以及目标检测数据集，获得原始点云数据的点云分割数据集，点云分割数据集包括各点云数据的点云类别。
在一个实施例中，点云分割数据集确定模块1806包括：点云数据检测类别确定单元、点云数据标注类别确定单元和点云分割数据集确定单元，其中：
点云数据检测类别确定单元，用于将各目标的目标类别，确定为与该目标的位置信息对应的各点云数据的类别，获得各点云数据的检测类别。
点云数据标注类别确定单元，用于采用已训练分割模型对原始点云数据进行分割处理，获得各点云数据的标注类别以及对应的标注类别置信度。
点云分割数据集确定单元，用于基于标注类别置信度，采用点云数据的标注类别修正对应的点云数据的检测类别，获得原始点云数据的点云分割数据集，点云分割数据集包括各点云数据的点云类别。
在一个实施例中，如图19所示，提供了一种点云数据分割模型的确定装置，包括：原始点云数据获取模块1901、点云分割数据集获取模块1902和模型训练模块1903，其中：
原始点云数据获取模块1901，用于获取激光雷达采集的原始点云数据。
点云分割数据集获取模块1902，用于获取与原始点云数据对应的点云分割数据集。
模型训练模块1903，用于基于原始点云数据以及点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型。
在一个实施例中，点云分割数据集获取模块1902包括：目标标注信息获取子模块、目标检测信息确定子模块、目标检测数据集确定子模块和点云分割数据集确定子模块，其中：
目标标注信息获取子模块，用于将原始点云数据投影到二维图后，基于二维图获取各目标标注信息，目标标注信息包括：第一目标位置信息以及第一目标类别。
目标检测信息确定子模块，用于通过已训练目标检测模型对原始点云数据进行检测，确定检测到的目标检测信息，目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度。
目标检测数据集确定子模块，用于基于对应的目标类别置信度，采用目标检测信息修正目标标注信息，获得原始点云数据的目标检测数据集，目标检测数据集包括各目标的位置信息和目标类别。
点云分割数据集确定子模块，用于根据原始点云数据以及目标检测数据集，获得原始点云数据的点云分割数据集，点云分割数据集包括各点云数据的点云类别。
在一个实施例中，模型训练模块1903包括：点云数据排序单元、网络输入数据生成单元、分割处理单元、损失计算单元和模型更新单元，其中：
点云数据排序单元，用于按照激光雷达的线束数量和每条线束的点云数据个数，对原始点云数据进行排序。
网络输入数据生成单元，用于获取排序后的各点云数据的特征信息，基于特征信息生成网络输入数据，特征信息包括：点云到激光雷达的距离、点云到激光雷达的角度、点云的反射强度以及点云的三维坐标。
分割处理单元，用于采用待训练分割模型对网络输入数据进行处理，获得各点云数据的预测类别信息，预测类别信息包括预测类别以及对应的预测类别概率。
损失计算单元，用于将点云分割数据集中的各点云数据的点云类别作为标签类别，基于标签类别、预测类别信息以及损失函数，确定预测类别的损失值。
模型更新单元，用于在不满足模型训练结束条件时，基于损失值更新待训练分割模型，返回采用待训练分割模型对网络输入数据进行处理的步骤，直至达到模型训练结束条件，并将最后一次更新后的待训练分割模型，作为训练后的点云数据分割模型。
在一个实施例中，如图20所示，提供了一种基于点云数据分割的目标检测装置，包括：原始点云数据获取模块2001、分割模块2002和聚类模块2003，其中：
原始点云数据获取模块2001，用于获取激光雷达采集的原始点云数据。
分割模块2002，用于采用训练后的点云数据分割模型，对待原始点云数据进行分割，获得各点云数据的类别。
聚类模块2003，用于根据各点云数据的位置信息以及类别，对各点云数据进行聚类，获得目标检测结果。
在一个实施例中，分割模块2002包括点云分割数据集获取子模块、模型训练子模块和分割处理子模块，其中：
点云分割数据集获取子模块，用于获取与原始点云数据对应的点云分割数据集。
模型训练子模块，用于基于原始点云数据以及点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型。
分割处理子模块，用于采用训练后的点云数据分割模型，对待原始点云数据进行分割。
在一个实施例中，点云分割数据集获取子模块包括：目标标注信息获取单元、目标检测信息确定单元、目标检测数据集确定单元和点云分割数据集确定单元，其中：
目标标注信息获取单元，用于将原始点云数据投影到二维图后，基于二维图获取各目标标注信息，目标标注信息包括：第一目标位置信息以及第一目标类别。
目标检测信息确定单元，用于通过已训练目标检测模型对原始点云数据进行检测，确定检测到的目标检测信息，目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度。
目标检测数据集确定单元，用于基于对应的目标类别置信度，采用目标检测信息修正目标标注信息，获得原始点云数据的目标检测数据集，目标检测数据集包括各目标的位置信息和目标类别。
点云分割数据集确定单元，用于根据原始点云数据以及目标检测数据集，获得原始点云数据的点云分割数据集，点云分割数据集包括各点云数据的点云类别。
在一个实施例中，模型训练子模块包括：点云数据排序单元、网络输入数据生成单元、分割处理单元、损失计算单元和模型更新单元，其中：
点云数据排序单元，用于按照激光雷达的线束数量和每条线束的点云数据个数，对原始点云数据进行排序。
网络输入数据生成单元，用于获取排序后的各点云数据的特征信息，基于特征信息生成网络输入数据，特征信息包括：点云到激光雷达的距离、点云到激光雷达的角度、点云的反射强度以及点云的三维坐标。
分割处理单元，用于采用待训练分割模型对网络输入数据进行处理，获得各点云数据的预测类别信息，预测类别信息包括预测类别以及对应的预测类别概率。
损失计算单元，用于将点云分割数据集中的各点云数据的点云类别作为标签类别，基于标签类别、预测类别信息以及损失函数，确定预测类别的损失值。
模型更新单元，用于在不满足模型训练结束条件时，基于损失值更新待训练分割模型，返回采用待训练分割模型对网络输入数据进行处理的步骤，直至达到模型训练结束条件，并将最后一次更新后的待训练分割模型，作为训练后的点云数据分割模型。
关于点云数据标注装置、点云数据分割模型的确定装置以及基于点云数据分割的目标检测装置的具体限定可以分别参见上文中对于点云数据标注方法、点云数据分割模型的确定方法以及基于点云数据分割的目标检测方法的限定，在此不再赘述。上述点云数据标注装置、点云数据分割模型的确定装置以及基于点云数据分割的目标检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图21所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种点云数据标注方法、点云数据分割模型的确定方法或基于点云数据分割的目标检测方法。
本领域技术人员可以理解，图20中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (17)

1.一种点云数据标注方法，所述方法包括：
获取激光雷达采集的原始点云数据；
将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的各目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别。
2.根据权利要求1所述的方法，其特征在于，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别，包括：
获取在所述二维图中的选定目标框的位置信息；
基于所述选定目标框的位置信息，确定所述选定目标框对应的目标的第一目标类别；
根据所述选定目标框的位置信息，或者根据所述选定目标框的位置信息以及所述第一目标类别，确定第一目标位置信息。
3.根据权利要求2所述的方法，其特征在于，所述选定目标框的位置信息包括所述选定目标框的尺寸信息；基于所述选定目标框的位置信息，确定所述选定目标框对应的目标的第一目标类别，包括：
基于所述选定目标框的尺寸信息所在的预设尺寸范围，将所在的预设尺寸范围对应的目标类别，确定为所述选定目标框对应的目标的第一目标类别。
4.根据权利要求1所述的方法，其特征在于，基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，包括：
若所述对应的目标类别置信度大于或者等于置信度阈值，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集。
5.根据权利要求1至4任意一项所述的方法，其特征在于，获得所述原始点云数据的目标检测数据集之后，还包括：根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
6.根据权利要求5所述的方法，其特征在于，根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，包括：
将各目标的目标类别，确定为与该目标的位置信息对应的各点云数据的类别，获得各点云数据的检测类别；
采用已训练分割模型对所述原始点云数据进行分割处理，获得各所述点云数据的标注类别以及对应的标注类别置信度；
基于所述标注类别置信度，采用所述点云数据的标注类别修正对应的所述点云数据的检测类别，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
7.根据权利要求6所述的方法，其特征在于，基于所述标注类别置信度，采用所述点云数据的标注类别修正对应的所述点云数据的检测类别，获得所述原始点云数据的点云分割数据集，包括：
若所述点云数据的标注类别置信度大于或者等于标注类别置信度阈值，用所述点云数据的标注类别修正对应的所述点云数据的检测类别，获得所述原始点云数据的点云分割数据集。
8.一种点云数据分割模型的确定方法，所述方法包括：
获取激光雷达采集的原始点云数据，以及与所述原始点云数据对应的点云分割数据集；
基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型；
与所述原始点云数据对应的点云分割数据集的获取方式包括：
将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的各目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别；
根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
9.根据权利要求8所述的方法，其特征在于，基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型，包括：
根据所述激光雷达的线束数量和每条所述线束的点云数据个数，对所述原始点云数据进行排序；
获取排序后的各点云数据的特征信息，基于所述特征信息生成网络输入数据，所述特征信息包括：点云到所述激光雷达的距离、点云到所述激光雷达的角度、点云的反射强度以及点云的三维坐标；
采用待训练分割模型对所述网络输入数据进行处理，获得各点云数据的预测类别信息，所述预测类别信息包括预测类别以及对应的预测类别概率；
将所述点云分割数据集中的各点云数据的点云类别作为标签类别，基于所述标签类别、所述预测类别信息以及损失函数，确定所述预测类别的损失值；
在不满足模型训练结束条件时，基于所述损失值更新所述待训练分割模型，返回采用待训练分割模型对所述网络输入数据进行处理的步骤，直至达到模型训练结束条件，并将最后一次更新后的所述待训练分割模型，作为所述训练后的点云数据分割模型。
10.根据权利要求9所述的方法，其特征在于，所述损失函数基于第一损失函数和第二损失函数确定；
所述第一损失函数基于第一损失值与类别权重确定；所述第一损失值为所述预测类别相对于所述标签类别的损失值；所述类别权重基于类别数量占比确定，所述类别数量占比为相应的类别的数量在所有类别数量中的占比；
所述第二损失函数基于所述预测类别和所述标签类别的交并比确定。
11.一种基于点云数据分割的目标检测方法，所述方法包括：
采用如权利要求8至10中任一项获得的点云数据分割模型，对待分割点云数据进行分割，获得各点云数据的类别；
根据各所述点云数据的位置信息以及类别，对各所述点云数据进行聚类，获得目标检测结果。
12.根据权利要求11所述的方法，其特征在于，
根据各所述点云数据的位置信息以及类别，对各所述点云数据进行聚类，获得目标检测结果，包括下述两项中的至少一项：
第一项：
将所述点云数据投影到二维平面，获得二维目标栅格；
基于各二维目标栅格中点云数据的类别，确定所述二维目标栅格的类别；
基于各所述二维目标栅格之间的距离以及各所述二维目标栅格的类别，进行点云聚类；
第二项：
将所述点云数据投影到三维空间；
基于各所述点云数据之间的欧式距离以及所述点云数据的类别，进行点云聚类。
13.一种点云数据标注装置，其特征在于，所述装置包括：
原始点云数据获取模块，用于获取激光雷达采集的原始点云数据；
目标标注信息获取模块，用于将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
目标检测信息确定模块，用于通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
目标检测数据集确定模块，用于基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别。
14.一种点云数据分割模型的确定装置，其特征在于，所述装置包括：
原始点云数据获取模块，用于获取激光雷达采集的原始点云数据；
点云分割数据集获取模块，用于获取与所述原始点云数据对应的点云分割数据集；
模型训练模块，用于基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型；
所述点云分割数据集获取模块包括：
目标标注信息获取子模块，用于将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
目标检测信息确定子模块，用于通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
目标检测数据集确定子模块，用于基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别；
点云分割数据集确定子模块，用于根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
15.一种基于点云数据分割的目标检测装置，其特征在于，所述装置包括：
原始点云数据获取模块，用于获取激光雷达采集的原始点云数据；
点云分割数据集获取模块，用于获取与所述原始点云数据对应的点云分割数据集；
模型训练模块，用于基于所述原始点云数据以及所述点云分割数据集对待训练分割模型进行训练，获得训练后的点云数据分割模型；
分割模块，用于采用所述点云数据分割模型，对待分割点云数据进行分割，获得各点云数据的类别；
聚类模块，根据各所述点云数据的位置信息以及类别，对各所述点云数据进行聚类，获得目标检测结果；
所述点云分割数据集获取模块包括：
目标标注信息获取子模块，用于将所述原始点云数据投影到二维图后，基于所述二维图获取各目标标注信息，所述目标标注信息包括：第一目标位置信息以及第一目标类别；
目标检测信息确定子模块，用于通过已训练目标检测模型对所述原始点云数据进行检测，确定检测到的目标检测信息，所述目标检测信息包括：第二目标位置信息、第二目标类别以及对应的目标类别置信度；
目标检测数据集确定子模块，用于基于所述对应的目标类别置信度，采用所述目标检测信息修正所述目标标注信息，获得所述原始点云数据的目标检测数据集，所述目标检测数据集包括各目标的位置信息和目标类别；
点云分割数据集确定子模块，用于根据所述原始点云数据以及所述目标检测数据集，获得所述原始点云数据的点云分割数据集，所述点云分割数据集包括各点云数据的点云类别。
16.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述方法的步骤。
17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN201910746522.9A 2019-08-14 2019-08-14 点云数据标注、分割模型确定、目标检测方法及相关设备 Active CN110264468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910746522.9A CN110264468B (zh) 2019-08-14 2019-08-14 点云数据标注、分割模型确定、目标检测方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910746522.9A CN110264468B (zh) 2019-08-14 2019-08-14 点云数据标注、分割模型确定、目标检测方法及相关设备

Publications (2)

Publication Number Publication Date
CN110264468A true CN110264468A (zh) 2019-09-20
CN110264468B CN110264468B (zh) 2019-11-19

Family

ID=67912103

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910746522.9A Active CN110264468B (zh) 2019-08-14 2019-08-14 点云数据标注、分割模型确定、目标检测方法及相关设备

Country Status (1)

Country Link
CN (1) CN110264468B (zh)

Cited By (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110751090A (zh) * 2019-10-18 2020-02-04 宁波博登智能科技有限责任公司 一种三维点云标注方法、装置及电子设备
CN110930520A (zh) * 2019-11-12 2020-03-27 北京云聚智慧科技有限公司 一种语义分割标注方法、装置及设备
CN110929612A (zh) * 2019-11-13 2020-03-27 北京云聚智慧科技有限公司 一种目标对象标注方法、装置及设备
CN111025241A (zh) * 2019-10-17 2020-04-17 珠海格力电器股份有限公司 一种边界区域检测方法、装置、电子设备及存储介质
CN111080805A (zh) * 2019-11-26 2020-04-28 北京云聚智慧科技有限公司 标注对象立体框图生成方法、装置、电子设备及存储介质
CN111126473A (zh) * 2019-12-18 2020-05-08 北京新能源汽车技术创新中心有限公司 基于全卷积神经网络的点云数据分类方法及电子设备
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 三维目标检测方法、装置及电子设备
CN111223107A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 基于点云深度学习的点云数据集制作系统及方法
CN111259829A (zh) * 2020-01-19 2020-06-09 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
CN111339880A (zh) * 2020-02-19 2020-06-26 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN111401321A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 对象识别模型训练方法、装置、电子设备和可读存储介质
CN111428619A (zh) * 2020-03-20 2020-07-17 电子科技大学 基于有序回归和软标签的三维点云头部姿态估计系统和方法
CN111444814A (zh) * 2020-03-23 2020-07-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111563450A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 数据处理方法、装置、设备及存储介质
CN111709988A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111784774A (zh) * 2020-07-06 2020-10-16 北京京东乾石科技有限公司 目标检测方法、装置、计算机可读介质及电子设备
CN111862045A (zh) * 2020-07-21 2020-10-30 上海杏脉信息科技有限公司 血管模型的生成方法及装置
CN111915746A (zh) * 2020-07-16 2020-11-10 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具
CN111985378A (zh) * 2020-08-13 2020-11-24 中国第一汽车股份有限公司 道路目标的检测方法、装置、设备及车辆
CN112037120A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 3d点云数据中道路平面要素的标注方法和装置、存储介质
CN112034488A (zh) * 2020-08-28 2020-12-04 北京海益同展信息科技有限公司 目标物体自动标注方法与装置
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112529335A (zh) * 2020-12-25 2021-03-19 广州文远知行科技有限公司 一种模型检测方法、装置、设备和存储介质
CN112767447A (zh) * 2021-01-25 2021-05-07 电子科技大学 基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端
CN112766487A (zh) * 2021-01-08 2021-05-07 浙江大华技术股份有限公司 一种目标检测模型的更新方法及服务器
US11004234B2 (en) * 2016-10-13 2021-05-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for annotating point cloud data
CN112785714A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 点云实例标注方法及装置、电子设备和介质
CN112801200A (zh) * 2021-02-07 2021-05-14 文远鄂行(湖北)出行科技有限公司 一种数据包筛选方法、装置、设备和存储介质
CN112862017A (zh) * 2021-04-01 2021-05-28 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN112907642A (zh) * 2021-03-01 2021-06-04 沈阳蓝软智能医疗科技有限公司 术前ct或核磁图像与其术中对应病灶精确配准重合的方法、系统、存储介质及设备
CN112950785A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN113052274A (zh) * 2021-06-02 2021-06-29 天津云圣智能科技有限责任公司 点云数据处理方法、装置及电子设备
CN113205465A (zh) * 2021-04-29 2021-08-03 上海应用技术大学 点云数据集分割方法及系统
CN113240678A (zh) * 2021-05-10 2021-08-10 青岛小鸟看看科技有限公司 平面信息检测方法及系统
CN113496160A (zh) * 2020-03-20 2021-10-12 百度在线网络技术（北京）有限公司 三维物体检测方法、装置、电子设备和存储介质
CN113674421A (zh) * 2021-08-25 2021-11-19 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
WO2021238306A1 (zh) * 2020-05-25 2021-12-02 华为技术有限公司 一种激光点云的处理方法及相关设备
CN113808186A (zh) * 2021-03-04 2021-12-17 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备
CN114118286A (zh) * 2021-12-01 2022-03-01 苏州思卡信息系统有限公司 一种汽车雷达点云数据的处理方法
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
WO2022083529A1 (zh) * 2020-10-19 2022-04-28 华为技术有限公司 一种数据处理方法及装置
CN114419250A (zh) * 2021-12-27 2022-04-29 广州极飞科技股份有限公司 点云数据矢量化方法及装置、矢量地图生成方法及装置
CN114549644A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
KR20220081482A (ko) * 2020-12-09 2022-06-16 주식회사 씨에스아이비젼 딥 러닝을 이용한 3d 지형 정보 분석기
CN115691221A (zh) * 2022-12-16 2023-02-03 山东矩阵软件工程股份有限公司 一种车辆预警方法、车辆预警系统及相关装置
CN115827906A (zh) * 2022-12-22 2023-03-21 深圳市镭神智能系统有限公司 目标标注方法、装置、电子设备及计算机可读存储介质
CN116091533A (zh) * 2023-01-03 2023-05-09 中国人民解放军海军航空大学 一种Qt开发环境下的激光雷达目标演示与提取方法
CN116204670A (zh) * 2023-04-27 2023-06-02 菲特（天津）检测技术有限公司 车辆目标检测数据的管理方法、系统及电子设备
CN116257273A (zh) * 2023-02-21 2023-06-13 合众新能源汽车股份有限公司 一种障碍物检测模型的更新方法、终端及计算机存储介质
CN116338629A (zh) * 2023-05-24 2023-06-27 中国船舶集团有限公司第七〇七研究所 一种障碍物检测方法、装置、电子设备及存储介质
US11741621B2 (en) 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
CN106709475A (zh) * 2017-01-22 2017-05-24 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读存储介质
CN107240104A (zh) * 2017-04-28 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端
CN107424166A (zh) * 2017-07-18 2017-12-01 深圳市速腾聚创科技有限公司 点云分割方法及装置
KR101988372B1 (ko) * 2018-11-30 2019-06-12 주식회사 큐픽스 사진 이미지를 이용한 3차원 건축물 모델 역설계 장치 및 방법
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN109960715A (zh) * 2019-03-21 2019-07-02 重庆交通大学 一种城市建筑物数据更新方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160154999A1 (en) * 2014-12-02 2016-06-02 Nokia Technologies Oy Objection recognition in a 3d scene
CN106709475A (zh) * 2017-01-22 2017-05-24 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读存储介质
CN106709481A (zh) * 2017-03-03 2017-05-24 深圳市唯特视科技有限公司 一种基于二维‑三维语义数据集的室内场景理解方法
CN107240104A (zh) * 2017-04-28 2017-10-10 深圳市速腾聚创科技有限公司 点云数据分割方法和终端
CN107424166A (zh) * 2017-07-18 2017-12-01 深圳市速腾聚创科技有限公司 点云分割方法及装置
KR101988372B1 (ko) * 2018-11-30 2019-06-12 주식회사 큐픽스 사진 이미지를 이용한 3차원 건축물 모델 역설계 장치 및 방법
CN109961440A (zh) * 2019-03-11 2019-07-02 重庆邮电大学 一种基于深度图的三维激光雷达点云目标分割方法
CN109960715A (zh) * 2019-03-21 2019-07-02 重庆交通大学 一种城市建筑物数据更新方法

Cited By (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11004234B2 (en) * 2016-10-13 2021-05-11 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for annotating point cloud data
CN111025241A (zh) * 2019-10-17 2020-04-17 珠海格力电器股份有限公司 一种边界区域检测方法、装置、电子设备及存储介质
CN110751090B (zh) * 2019-10-18 2022-09-20 宁波博登智能科技有限公司 一种三维点云标注方法、装置及电子设备
CN110751090A (zh) * 2019-10-18 2020-02-04 宁波博登智能科技有限责任公司 一种三维点云标注方法、装置及电子设备
CN110930520A (zh) * 2019-11-12 2020-03-27 北京云聚智慧科技有限公司 一种语义分割标注方法、装置及设备
CN110930520B (zh) * 2019-11-12 2023-06-30 北京云聚智慧科技有限公司 一种语义分割标注方法、装置及设备
CN110929612A (zh) * 2019-11-13 2020-03-27 北京云聚智慧科技有限公司 一种目标对象标注方法、装置及设备
CN111080805A (zh) * 2019-11-26 2020-04-28 北京云聚智慧科技有限公司 标注对象立体框图生成方法、装置、电子设备及存储介质
CN112950785A (zh) * 2019-12-11 2021-06-11 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN112950785B (zh) * 2019-12-11 2023-05-30 杭州海康威视数字技术股份有限公司 点云标注方法、装置及系统
CN111126473A (zh) * 2019-12-18 2020-05-08 北京新能源汽车技术创新中心有限公司 基于全卷积神经网络的点云数据分类方法及电子设备
CN111223107A (zh) * 2019-12-31 2020-06-02 武汉中海庭数据技术有限公司 基于点云深度学习的点云数据集制作系统及方法
CN111179329B (zh) * 2019-12-31 2023-09-08 智车优行科技（上海）有限公司 三维目标检测方法、装置及电子设备
CN111179329A (zh) * 2019-12-31 2020-05-19 智车优行科技（上海）有限公司 三维目标检测方法、装置及电子设备
CN111259829B (zh) * 2020-01-19 2023-10-20 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
CN111259829A (zh) * 2020-01-19 2020-06-09 北京小马慧行科技有限公司 点云数据的处理方法和装置、存储介质及处理器
CN111339880A (zh) * 2020-02-19 2020-06-26 北京市商汤科技开发有限公司 一种目标检测方法及装置、电子设备和存储介质
CN113496160A (zh) * 2020-03-20 2021-10-12 百度在线网络技术（北京）有限公司 三维物体检测方法、装置、电子设备和存储介质
CN111428619A (zh) * 2020-03-20 2020-07-17 电子科技大学 基于有序回归和软标签的三维点云头部姿态估计系统和方法
CN111428619B (zh) * 2020-03-20 2022-08-05 电子科技大学 基于有序回归和软标签的三维点云头部姿态估计系统和方法
CN113496160B (zh) * 2020-03-20 2023-07-11 百度在线网络技术（北京）有限公司 三维物体检测方法、装置、电子设备和存储介质
CN111444814B (zh) * 2020-03-23 2023-10-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111444814A (zh) * 2020-03-23 2020-07-24 北京迈格威科技有限公司 目标检测方法、装置、电子设备及可读存储介质
CN111401321A (zh) * 2020-04-17 2020-07-10 Oppo广东移动通信有限公司 对象识别模型训练方法、装置、电子设备和可读存储介质
CN111539347B (zh) * 2020-04-27 2023-08-08 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111539347A (zh) * 2020-04-27 2020-08-14 北京百度网讯科技有限公司 用于检测目标的方法和装置
CN111709988B (zh) * 2020-04-28 2024-01-23 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111709988A (zh) * 2020-04-28 2020-09-25 上海高仙自动化科技发展有限公司 一种物体的特征信息的确定方法、装置、电子设备及存储介质
CN111563450A (zh) * 2020-04-30 2020-08-21 北京百度网讯科技有限公司 数据处理方法、装置、设备及存储介质
CN111563450B (zh) * 2020-04-30 2023-09-26 北京百度网讯科技有限公司 数据处理方法、装置、设备及存储介质
WO2021238306A1 (zh) * 2020-05-25 2021-12-02 华为技术有限公司 一种激光点云的处理方法及相关设备
CN111784774B (zh) * 2020-07-06 2024-03-05 北京京东乾石科技有限公司 目标检测方法、装置、计算机可读介质及电子设备
CN111784774A (zh) * 2020-07-06 2020-10-16 北京京东乾石科技有限公司 目标检测方法、装置、计算机可读介质及电子设备
WO2022007451A1 (zh) * 2020-07-06 2022-01-13 北京京东乾石科技有限公司 目标检测方法、装置、计算机可读介质及电子设备
CN111915746A (zh) * 2020-07-16 2020-11-10 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具
CN111915746B (zh) * 2020-07-16 2022-09-13 北京理工大学 一种基于弱标注的三维点云目标检测方法及标注工具
CN111862045A (zh) * 2020-07-21 2020-10-30 上海杏脉信息科技有限公司 血管模型的生成方法及装置
CN111862045B (zh) * 2020-07-21 2021-09-07 上海杏脉信息科技有限公司 血管模型的生成方法及装置
CN112037120A (zh) * 2020-07-31 2020-12-04 上海图森未来人工智能科技有限公司 3d点云数据中道路平面要素的标注方法和装置、存储介质
CN111985378A (zh) * 2020-08-13 2020-11-24 中国第一汽车股份有限公司 道路目标的检测方法、装置、设备及车辆
CN112034488B (zh) * 2020-08-28 2023-05-02 京东科技信息技术有限公司 目标物体自动标注方法与装置
CN112034488A (zh) * 2020-08-28 2020-12-04 北京海益同展信息科技有限公司 目标物体自动标注方法与装置
WO2022083529A1 (zh) * 2020-10-19 2022-04-28 华为技术有限公司 一种数据处理方法及装置
CN112419233B (zh) * 2020-10-20 2022-02-22 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112419233A (zh) * 2020-10-20 2021-02-26 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN112163643A (zh) * 2020-10-30 2021-01-01 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置
WO2022088720A1 (zh) * 2020-10-30 2022-05-05 上海商汤临港智能科技有限公司 样本生成、神经网络的训练、数据处理方法及装置
KR102517093B1 (ko) * 2020-12-09 2023-04-04 주식회사 씨에스아이비젼 딥 러닝을 이용한 3d 지형 정보 분석기
KR20220081482A (ko) * 2020-12-09 2022-06-16 주식회사 씨에스아이비젼 딥 러닝을 이용한 3d 지형 정보 분석기
CN112529335B (zh) * 2020-12-25 2021-12-31 广州文远知行科技有限公司 一种模型检测方法、装置、设备和存储介质
CN112529335A (zh) * 2020-12-25 2021-03-19 广州文远知行科技有限公司 一种模型检测方法、装置、设备和存储介质
CN112766487A (zh) * 2021-01-08 2021-05-07 浙江大华技术股份有限公司 一种目标检测模型的更新方法及服务器
CN112767447A (zh) * 2021-01-25 2021-05-07 电子科技大学 基于深度霍夫优化投票的时敏单目标跟踪方法、存储介质和终端
CN112785714A (zh) * 2021-01-29 2021-05-11 北京百度网讯科技有限公司 点云实例标注方法及装置、电子设备和介质
CN112801200B (zh) * 2021-02-07 2024-02-20 文远鄂行(湖北)出行科技有限公司 一种数据包筛选方法、装置、设备和存储介质
CN112801200A (zh) * 2021-02-07 2021-05-14 文远鄂行(湖北)出行科技有限公司 一种数据包筛选方法、装置、设备和存储介质
CN112907642A (zh) * 2021-03-01 2021-06-04 沈阳蓝软智能医疗科技有限公司 术前ct或核磁图像与其术中对应病灶精确配准重合的方法、系统、存储介质及设备
CN113808186A (zh) * 2021-03-04 2021-12-17 京东鲲鹏(江苏)科技有限公司 训练数据生成方法、装置与电子设备
CN112862017B (zh) * 2021-04-01 2023-08-01 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN112862017A (zh) * 2021-04-01 2021-05-28 北京百度网讯科技有限公司 点云数据的标注方法、装置、设备和介质
CN113205465A (zh) * 2021-04-29 2021-08-03 上海应用技术大学 点云数据集分割方法及系统
CN113205465B (zh) * 2021-04-29 2024-04-19 上海应用技术大学 点云数据集分割方法及系统
CN113240678A (zh) * 2021-05-10 2021-08-10 青岛小鸟看看科技有限公司 平面信息检测方法及系统
US11741621B2 (en) 2021-05-10 2023-08-29 Qingdao Pico Technology Co., Ltd. Method and system for detecting plane information
CN113052274A (zh) * 2021-06-02 2021-06-29 天津云圣智能科技有限责任公司 点云数据处理方法、装置及电子设备
CN113674421B (zh) * 2021-08-25 2023-10-13 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN113674421A (zh) * 2021-08-25 2021-11-19 北京百度网讯科技有限公司 3d目标检测方法、模型训练方法、相关装置及电子设备
CN114118286A (zh) * 2021-12-01 2022-03-01 苏州思卡信息系统有限公司 一种汽车雷达点云数据的处理方法
CN114419250A (zh) * 2021-12-27 2022-04-29 广州极飞科技股份有限公司 点云数据矢量化方法及装置、矢量地图生成方法及装置
CN114419250B (zh) * 2021-12-27 2023-03-10 广州极飞科技股份有限公司 点云数据矢量化方法及装置、矢量地图生成方法及装置
CN114298581A (zh) * 2021-12-30 2022-04-08 广州极飞科技股份有限公司 质量评估模型生成方法、质量评估方法、装置、电子设备和可读存储介质
CN114549644A (zh) * 2022-02-24 2022-05-27 北京百度网讯科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN115691221A (zh) * 2022-12-16 2023-02-03 山东矩阵软件工程股份有限公司 一种车辆预警方法、车辆预警系统及相关装置
CN115827906A (zh) * 2022-12-22 2023-03-21 深圳市镭神智能系统有限公司 目标标注方法、装置、电子设备及计算机可读存储介质
CN115827906B (zh) * 2022-12-22 2023-11-10 深圳市镭神智能系统有限公司 目标标注方法、装置、电子设备及计算机可读存储介质
CN116091533A (zh) * 2023-01-03 2023-05-09 中国人民解放军海军航空大学 一种Qt开发环境下的激光雷达目标演示与提取方法
CN116257273A (zh) * 2023-02-21 2023-06-13 合众新能源汽车股份有限公司 一种障碍物检测模型的更新方法、终端及计算机存储介质
CN116257273B (zh) * 2023-02-21 2024-02-23 合众新能源汽车股份有限公司 一种障碍物检测模型的更新方法、终端及计算机存储介质
CN116204670B (zh) * 2023-04-27 2023-07-21 菲特（天津）检测技术有限公司 车辆目标检测数据的管理方法、系统及电子设备
CN116204670A (zh) * 2023-04-27 2023-06-02 菲特（天津）检测技术有限公司 车辆目标检测数据的管理方法、系统及电子设备
CN116338629A (zh) * 2023-05-24 2023-06-27 中国船舶集团有限公司第七〇七研究所 一种障碍物检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110264468B (zh) 2019-11-19

Similar Documents

Publication Publication Date Title
CN110264468B (zh) 点云数据标注、分割模型确定、目标检测方法及相关设备
Gai et al. A detection algorithm for cherry fruits based on the improved YOLO-v4 model
CN109614985B (zh) 一种基于密集连接特征金字塔网络的目标检测方法
CN107871124B (zh) 一种基于深度神经网络的遥感图像目标检测方法
CN109902677B (zh) 一种基于深度学习的车辆检测方法
Sun et al. Individual tree crown segmentation and crown width extraction from a heightmap derived from aerial laser scanning data using a deep learning framework
CN110378909B (zh) 基于Faster R-CNN的面向激光点云的单木分割方法
CN110222626B (zh) 一种基于深度学习算法的无人驾驶场景点云目标标注方法
CN108830188A (zh) 基于深度学习的车辆检测方法
KR102279376B1 (ko) CNN(Convolutional Neural Network)을 사용하여 차선을 검출하기 위한 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
CN107909015A (zh) 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
Liu et al. Tree species classification of LiDAR data based on 3D deep learning
JP2022520019A (ja) 画像処理方法、装置、移動可能なプラットフォーム、プログラム
CN104484681B (zh) 基于空间信息和集成学习的高光谱遥感影像分类方法
WO2021146700A1 (en) Systems for multiclass object detection and alerting and methods therefor
CN111126287B (zh) 一种遥感影像密集目标深度学习检测方法
CN110210398A (zh) 一种三维点云语义分割标注方法
CN113012150A (zh) 一种特征融合的高密度稻田无人机图像稻穗计数方法
CN103390169A (zh) 一种车载激光扫描点云数据的城市地物分类方法
CN107358182A (zh) 行人检测方法及终端设备
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN110443862A (zh) 基于无人机的岩性填图方法及系统、电子设备
Chen et al. Photogrammetric point cloud segmentation and object information extraction for creating virtual environments and simulations
CN103577875A (zh) 一种基于fast的计算机辅助cad人数统计方法
CN110084299A (zh) 基于多头融合注意力的目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Point cloud data annotation, segmentation model determination, target detection method and related equipment

Effective date of registration: 20221031

Granted publication date: 20191119

Pledgee: Hunan Xiangjiang Zhongying Investment Management Co.,Ltd.

Pledgor: CHANGSHA INTELLIGENT DRIVING RESEARCH INSTITUTE Co.,Ltd.

Registration number: Y2022980020220