CN116052155A - 一种点云数据处理方法及系统 - Google Patents

一种点云数据处理方法及系统 Download PDF

Info

Publication number
CN116052155A
CN116052155A CN202111253590.5A CN202111253590A CN116052155A CN 116052155 A CN116052155 A CN 116052155A CN 202111253590 A CN202111253590 A CN 202111253590A CN 116052155 A CN116052155 A CN 116052155A
Authority
CN
China
Prior art keywords
point cloud
cloud data
frame
detection
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111253590.5A
Other languages
English (en)
Inventor
李亚敏
晋周南
朱小天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111253590.5A priority Critical patent/CN116052155A/zh
Priority to PCT/CN2022/127326 priority patent/WO2023072055A1/zh
Publication of CN116052155A publication Critical patent/CN116052155A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

一种点云数据处理方法及系统，涉及数据处理技术领域。方法包括：获取第一检测框，第一检测框用于指示在第一点云地图中标注的静态对象，第一点云地图由M帧点云数据得到；获取第二检测框，第二检测框用于指示在第一点云数据中标注的动态对象，第一点云数据由N帧点云数据得到，N＜M；根据第二检测框，对M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图；根据第二点云地图对第一检测框和第二检测框进行校正，得到目标检测框。通过将多帧点云数据得到的第一点云地图的检测结果以及多帧点云数据中的部分帧点云数据得到的第一点云数据的检测结果进行融合处理，进而提升点云数据处理系统的标注能力。

Description

一种点云数据处理方法及系统
技术领域
本申请实施例涉及数据处理技术领域，特别涉及一种点云数据处理方法及系统。
背景技术
激光雷达(lightlaser detection and ranging，Lidar)，是激光探测及测距系统的简称。激光雷达相比于相机、超声波传感器等传统传感器，具有测量精度高、响应速度快、抗干扰能力强的特点。激光雷达在智能驾驶领域和无人驾驶领域中均得到了广泛的应用。其中，激光雷达在工作中，向目标物体发射探测信号(例如探测信号可以为激光束)，在激光雷达接收到的从目标物体反射回来的反射信号之后，激光雷达将探测信号与发射信号进行比较并进行处理得到点云集合，点云集合是在获取目标物体表面每个采样点的空间坐标后得到的采样点集合。激光雷达在工作中可以同时对多个目标物体同时进行探测并采样，得到一组点云数据，点云数据可以包括多个目标物体对应的多个点云集合。
目前，为了降低对点云数据进行目标检测的人工成本并提升检测精度，在一些设计中提出一种点云3D物体自动标注系统，该系统以单帧点云数据或若干帧点云数据作为输入，通过使用3D检测模型进行自动标注。然而，当目标物体受遮挡或距离过远时，由于所述单帧点云数据或若干帧点云数据中的点云数据过少会导致误检、漏检、检测框不准确等问题，动态物体在不同时刻采集的点云数据中的偏移对点云数据处理过程中引发的拖尾现象等，会严重影响系统自动标注效果。
因此，如何提升点云3D物体自动标注系统的标注效果，仍为亟需解决的重要问题。
发明内容
本申请实施例提供了一种点云数据处理方法及系统，通过利用对由多帧点云数据得到的第一点云地图的检测结果，以及由所述多帧点云数据中的部分帧点云数据得到的第一点云数据的检测结果进行融合处理，提升点云数据处理系统对部分帧点云数据的标注能力。
第一方面，本申请实施例提供了一种点云数据处理方法，该方法可由点云数据处理系统实现，所述方法包括：获取第一检测框，所述第一检测框用于指示在第一点云地图中标注的静态对象，所述第一点云地图由M帧点云数据得到，M为大于或等于2的整数；获取第二检测框，所述第二检测框用于指示在第一点云数据中标注的动态对象，所述第一点云数据由N帧点云数据得到，N为大于或等于1的整数，N＜M；根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图；根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到标检测框，所述目标检测框用于指示在所述单帧点云数据中标注的标注静态对象和/或动态对象。
通过上述方法，点云数据处理系统可以将M帧点云数据和所述M帧点云数据中的N帧点云数据分别作为待标注数据进行不同的处理后，在将处理后的点云数据进行融合，并获得每一单帧点云数据的经过校正的标注结果，从而利用M帧点云数据对N帧点云数据进行补偿，减少N帧点云数据因动态对象带来的拖尾现象，以及N帧点云数据中点数过少导致的误检、漏检、检测框不准确等问题，以提升点云数据处理系统的标注能力。
需要说明的是，本申请实施例中，N＜M，该N帧点云数据为该M帧点云数据的部分帧点云数据，其中，在N＝1时，该N帧点云数据为单帧点云数据，N＞1时，该N帧点云数据包括若干帧点云数据。在具体实施时，该点云数据处理系统按照配置信息或者应用场景中确定该N或M的具体取值，本申请实施例对此具体实现方式不做限定。
需要说明的是，本申请实施例中，静态对象和动态对象，是包含于点云数据或者点云地图的目标对象，静态对象一般为对静态物体进行探测采集到的点云集合，动态对象一般为对动态物体进行探测采集到的点云集合。其中，由于动态物体的可移动性，动态物体在不同时刻的位置是不同的，故而为消除动态物体的移动性影响，在针对同一动态物体在不同时刻采集到的点云集合进行拼接时，会形成相同对象罗列的现象，即为本申请实施例述及的拖尾现象，也可称为拖影现象。
结合第一方面，在一种可能的实现方式中，所述获取第一检测框，包括：对所述M帧点云数据进行拼接，得到所述第一点云地图；根据第一检测模型对所述第一点云地图进行目标检测，获得所述第一检测框，其中，所述第一检测模型使用第一训练数据进行训练得到，所述第一训练数据包括第三点云地图与静态对象标注数据。
通过上述方法，可以利用点云地图(例如第三点云地图)训练用于标注静态对象的第一检测模型，提供高精准的静态对象检测模型。进一步地，点云数据处理系统可以利用该第一检测模型对待标注的点云地图(例如第一点云地图)中的静态对象进行标注，以便利用对点云地图中静态对象的检测结果，在M帧点云数据中将动态对象对准到静态对象的相关特征，减少N帧点云数据因动态对象带来的拖尾现象，从而减少对动态对象的标注难度。
应理解，本申请实施例中，第三点云地图可以与第一点云地图相同或不同，也就是说，第一点云地图既可以作为待标注数据也可以为训练数据，本申请对此不做限定。
结合第一方面，在一种可能的实现方式中，所述获取第二检测框，包括：根据第二检测模型对所述第一点云数据进行目标检测，获得第三检测框，其中，所述第二检测模型使用第二训练数据进行训练得到，所述第二训练数据包括第二点云数据和动态对象标注数据，所述第三检测框用于指示在所述第一点云数据中标注的动态对象；根据所述第一检测框对所述第三检测框进行校正，得到所述第二检测框。
通过上述方法，可以利用第二点云数据训练用于标注动态对象的第二检测模型，提供高精准的动态对象检测模型。进一步地，点云数据处理系统可以利用该第二检测模型对待标注的N帧点云数据中的动态对象进行标注，以便获得N帧点云数据中的动态对象检测结果，该动态对象检测结果可用于对M帧点云数据进行融合处理，以将M帧点云数据中的动态对象以消除拖尾现象的形式呈现，从而方便后续校正过程，提升该点云数据处理系统的检测精度。
结合第一方面，在一种可能的实现方式中，所述根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图，包括：根据所述第二检测框，去除所述M帧点云数据中单帧点云数据中的动态对象，得单帧点云数据对应的第三点云数据；根据所述第二检测框的属性信息，将对应相同动态对象的第二检测框进行关联，得到动态对象关联结果；基于所述动态对象关联结果对所述M帧点云数据对应的第三点云数据进行融合处理，得到第二点云地图。
通过上述方法，点云数据处理系统可以利用对N帧点云数据中动态对象的检测结果，实现对M帧点云数据中的动态对象的对象级别关联后，消除因动态对象引起的拖尾现象，以得到新的点云地图，以便所述新的点云地图中的动态对象以消除拖尾现象的形式呈现，从而方便后续校正过程。
结合第一方面，在一种可能的实现方式中，根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到目标检测框，包括：在所述第二点云地图中，对标注静态对象的第一检测框的第一属性进行修正，和/或，对标注动态对象的第二检测框的第二属性进行修正，得到第四检测框，第四检测框用于指示所述第二点云地图中标注的动态对象和/或静态对象；在所述第二点云地图对应的单帧点云数据中，对标注动态对象的第四检测框的第三属性进行修正，得到第五检测框；以标注静态对象的第四检测框和所述第五检测框作为所述M帧点云数据的目标检测框。
通过上述方法，点云数据处理系统例如可以在该第二点云地图中对标注静态对象和/或动态对象的检测框的相关属性进行修正，有助于提升该点云数据处理系统的检测精度。其中，该点云数据处理系统可以采用人工修正方式或者自动修正方式实现该校正过程，本申请实施例对此具体实现方式不做限定。
结合第一方面，在一种可能的实现方式中，在得到所述目标检测框之后，所述方法还包括：将所述M帧点云数据中的单帧点云数据以及所述目标检测框作为第三训练数据，在基于所述第三训练数据训练多个检测模型的过程中确定第六检测框，所述第六检测框的检测结果为错误；将所述第二点云地图以及所述目标检测框作为第四训练数据，在基于所述第四训练数据训练多个检测模型的过程中确定第七检测框；基于所述第六检测框校正所述第七检测框。
通过上述方法，点云数据处理系统可以利用多模型融合与点云地图生成柔化框，提供更高质量的检测框和便于训练的柔化框，有助于提升使用自动标注系统的对单帧或者若干帧点云数据的模型的训练精度。
第二方面，本申请实施例提供了一种点云数据处理系统，包括：第一获取单元，用于获取第一检测框，所述第一检测框用于指示在第一点云地图中标注的静态对象，所述第一点云地图由M帧点云数据得到，M为大于或等于2的整数；第二获取单元，用于获取第二检测框，所述第二检测框用于指示在第一点云数据中标注的动态对象，所述第一点云数据由N帧点云数据得到，N为大于或等于1的整数，N＜M；处理单元，用于根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图；校正单元，用于根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到目标检测框，所述目标检测框用于指示在所述单帧点云数据中标注的标注静态对象和/或动态对象。
需要说明的是，本申请实施例中，第一获取单元和第二获取单元可以为同一单元也可以为不同单元，本申请实施例对此产品形态不做限定。
结合第二方面，在一种可能的实现方式中，所述第一获取单元用于：对所述M帧点云数据进行拼接，得到所述第一点云地图；根据第一检测模型对所述第一点云地图进行目标检测，获得所述第一检测框，其中，所述第一检测模型使用第一训练数据进行训练得到，所述第一训练数据包括第三点云地图与静态对象标注数据。
结合第二面，在一种可能的实现方式中，所述第二获取单元用于：根据第二检测模型对所述第一点云数据进行目标检测，获得第三检测框，其中，所述第二检测模型使用第二训练数据进行训练得到，所述第二训练数据包括第二点云数据和动态对象标注数据，所述第三检测框用于指示在所述第一点云数据中标注的动态对象；根据所述第一检测框对所述第三检测框进行校正，得到所述第二检测框。
结合第二方面，在一种可能的实现方式中，所述处理单元用于：根据所述第二检测框，去除所述M帧点云数据中单帧点云数据中的动态对象，得到单帧点云数据对应的第三点云数据；根据所述第二检测框的属性信息，将对应相同动态对象的第二检测框进行关联，得到动态对象关联结果；基于所述动态对象关联结果对所述M帧点云数据对应的第三点云数据进行融合处理，得到第二点云地图。
结合第二方面，在一种可能的实现方式中，所述校正单元用于：在所述第二点云地图中，对标注静态对象的第一检测框的第一属性进行修正，和/或，对标注动态对象的第二检测框的第二属性进行修正，得到第四检测框，第四检测框用于指示所述第二点云地图中标注的动态对象和/或静态对象；在所述第二点云地图对应的单帧点云数据中，对标注动态对象的第四检测框的第三属性进行修正，得到第五检测框；以标注静态对象的第四检测框和所述第五检测框作为所述M帧点云数据的目标检测框。
结合第二方面，在一种可能的实现方式中，所述系统还包括训练单元，所述训练单元用于：将所述M帧点云数据中的单帧点云数据以及所述目标检测框作为第三训练数据，在基于所述第三训练数据训练多个检测模型的过程中确定第六检测框，所述第六检测框的检测结果为错误；将所述第二点云地图以及所述目标检测框作为第四训练数据，在基于所述第四训练数据训练多个检测模型的过程中确定第七检测框；基于所述第六检测框校正所述第七检测框。
第三方面，本申请实施例提供了一种点云数据处理系统，包括存储器和处理器，所述存储器用于存储程序；所述处理器用于执行所述存储器所存储的程序，以使所述装置实现如上述第一方面以及第一方面任一可能实现方式所述的方法。
第四方面，本申请实施例提供了一种点云数据处理装置，包括：至少一个处理器和接口电路，所述接口电路用于为所述至少一个处理器提供数据或者代码指令，所述至少一个处理器用于通过逻辑电路或执行代码指令实现如上第一方面以及第一方面的任一可能实现方式所述的方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读介质存储有程序代码，当所述程序代码在计算机上运行时，使得计算机执行如上述第一方面以及第一方面任一可能实现方式所述的方法。
第六方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行上述第一方面以及第一方面的任一可能实现方式所述的方法。
第七方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于调用存储器中存储的计算机程序或计算机指令，以使得该处理器执行上述第一方面以及第一方面的任一可能实现方式所述的方法。
结合第七方面，在一种可能的实现方式中，该处理器通过接口与存储器耦合。
结合第七方面，在一种可能的实现方式中，该芯片系统还包括存储器，该存储器中存储有计算机程序或计算机指令。
第八方面，本申请实施例提供了一种终端设备，该终端设备可用于实现上述第一方面以及第一方面任一可能实现方式所述的方法。示例地，该终端设备包括但不限于：智能运输设备(诸如汽车、轮船、无人机、火车、货车等)、智能制造设备(诸如机器人、工业设备、智能物流、智能工厂等)、智能终端(手机、计算机、平板电脑、掌上电脑、台式机、耳机、音响、穿戴设备、车载设备等)。
第九方面，本申请实施例提供了一种车辆，该车辆可用于实现如上述第一方面以及第一方面任一可能实现方式所述的方法。
第十方面，本申请实施例提供了一种服务器，该服务器可用于实现如上述第一方面以及第一方面任一可能实现方式所述的方法。
本申请实施例在上述各方面提供的实现的基础上，还可以进行进一步组合以提供更多实现。
上述第二方面至第十方面中任一方面中的任一可能实现方式可以达到的技术效果，可以相应参照上述第一方面中任一方面中的任一可能实现方式可以达到的技术效果描述，重复之处不予论述。
附图说明
图1为一种点云数据的示意图；
图2为一组检测框位置有偏差的点云数据的示意图；
图3为点云数据较少以及拖尾现象的示意图；
图4为本申请实施例提供的点云数据处理方法适用的一种应用场景的示意图；
图5为本申请实施例提供的点云数据处理系统的示意图；
图6为本申请实施例提供的点云数据处理方法的一种流程示意图；
图7为本申请实施例提供的第一检测框信息的示意图；
图8为本申请实施例提供的第二检测框信息的示意图；
图9为本申请实施例提供的获得第二点云地图的示意图；
图10为本申请实施例提供的点云数据处理方法的一种流程示意图；
图11为本申请实施例提供的点云数据处理系统的示意图；
图12为本申请实施例提供的点云数据处理系统的示意图。
具体实施方式
为了方便理解本申请实施例，下面介绍与本申请实施例相关的术语：
1)点云，是通过测量设备对物体进行探测后得到的采样点。点云数据(pointcloud data)是指在一个三维坐标系统中的一组向量的集合。
测量设备对一个物体的外观表面上探测并采样后得到的点云的集合可以称为点云集合。测量设备一次可以同时对多个物体进行探测并采样，得到的一组点云数据中可以包括多个物体对应的点云集合。
其中，点云数据除了具有几何位置以外，例如还可以包括颜色信息。例如，基于激光测量原理测量到的点云数据(也可以称为激光点云数据)可以包括三维坐标和激光反射强度(intensity)等信息。基于摄影测量原理得到的点云数据可以包括三维坐标和颜色等信息，其中，颜色信息可以为红绿蓝(red、green、blue，RGB)格式的颜色数据。结合激光测量原理和摄影测量原理得到点云数据则可以包括三维坐标、激光反射强度和颜色等信息。
本申请实施例中以测量设备为激光雷达(lightlaser detection and ranging，Lidar)为例，激光雷达采集到的点云数据至少包括每个点云的三维坐标。
需要说明的是，本申请实施例中，一帧(或者称为单帧)点云数据是指在一个采样时刻采集到的一组点云数据，点云地图是指对连续采集到的多帧点云数据进行拼接得到的图像，可以是二维图像也可以为三维图像。
2)训练集、验证集和测试集，是机器学习中用于进行模型训练的样本数据组成的不同的集合。
其中，训练集为用于进行模型拟合的数据样本组成的样本集。
验证集为模型训练过程中预留的样本集，用于调整模型的超参数和用于对模型的能力进行初步评估。在本申请实施例提供的点云数据处理方法中，验证集可以用于调整不同数据类型的点云数据在训练集中所占的比例，从而提升模型对不同数据类型的点云数据的拟合能力。
测试集为用于评估模型最终的泛化能力的样本集。
本申请实施例中，用于模型训练的样本数据可以称为训练数据，所述训练数据可以包括训练集、验证集和测试集，训练集、验证集和测试集中的数据通常不会重叠。一般在构建模型之前，可以按照预设的比例对样本数据进行划分，例如按照7：1：1的比例划分得到训练集、验证集和测试集，并基于该训练集、验证集和测试集训练目标检测模型(例如下文中述及的第一检测模型和/或第二检测模型)，本申请实施例对模型训练的具体实现方式以及训练过程不做限定。
3)目标检测，是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。目标检测可以对点云数据进行目标检测和识别，从而确定点云数据中包括的多个点云集合分别对应的物体的类型。
例如，目标检测应用在驾驶场景时，车辆上的目标检测装置可以对激光雷达采集到的点云数据进行目标检测，从而在车辆行驶过程中，识别车道上的车辆以及路边的树木、行人等，辅助车辆实现路线规划、躲避障碍等功能，进而实现智能驾驶。
本申请实施例中可以包括两类目标检测模型，表示为第一检测模型和第二检测模型。其中，所述第一检测模型可以点云地图和静态对象标注数据作为训练数据进行模型训练得到，所述第二检测模型可以点云数据(包括单帧点云数据和/或若干帧点云数据)和动态对象标注数据作为训练数据进行模型训练得到，所述第一检测模型和所述第二检测模型可分别用于对待标注的点云地图、点云数据进行目标检测，从而确定点云地图、点云数据中包括的多个点云集合分别对应的对象的类型。
可以理解的是，本申请实施例中，经由所述第一检测模型或第二检测模型处理的数据和检测结果也可以作为训练数据进一步训练所述第一检测模型和第二检测模型，以提升模型的精度，本申请实施例对此不做限定。
4)静态对象和动态对象，是包含于点云数据或者点云地图的目标对象，静态对象一般为对静态物体进行探测采集到的点云集合，动态对象一般为对动态物体进行探测采集到的点云集合。
示例地，在车辆驾驶场景中，静态物体可以包括但不限于道路、道路侧静态放置的树木、楼房、路灯、道路标志、停留车辆等，动态物体可以包括但不限于道路上行驶的车辆、行人、动物等。可以理解的是，本申请实施例中，对象的动态或静态的区分只在于该对象是否相对于参考物体移动，例如车辆在行驶状态下为动态物体，对该车辆进行探测得到的点云集合称为动态对象，车辆在非行驶状态下为可以认为是静态物体，对该车辆进行探测得到的点云集合称为静态对象。
5)拖尾现象，也可称为拖影现象，是针对同一动态物体在不同时刻采集到的点云集合进行拼接时，形成的相同对象罗列的现象。其中，由于动态物体的可移动性，动态物体在不同时刻的位置是不同的，故而为消除动态物体的移动性影响，在针对同一动态物体在不同时刻采集到的点云集合进行拼接时，会形成相同对象罗列的现象，即拖尾现象。
下面将结合附图对本申请实施例作进一步地描述说明。
随着目标检测在驾驶等领域的广泛应用，基于深度学习的目标检测方法凭借其准确性和高效率成为目标检测中的主流方法。在实施中，基于深度学习构建目标检测模型并进行训练，将待检测的点云数据输入到训练后的目标检测模型中，可以获取目标检测模型输出的目标检测结果，例如目标检测模型可以输出多个物体的类型以及每个物体的位置信息。
本申请实施例中，点云数据例如可以为激光雷达采集得到的。例如，激光雷达向目标物体发射探测信号(例如探测信号可以为激光束)，在激光雷达接收到的从目标物体反射回来的反射信号之后，激光雷达将探测信号与发射信号进行比较并进行处理得到点云集合，点云集合是在获取目标物体表面每个采样点的空间坐标后得到的采样点集合。激光雷达可以同时对多个目标物体进行探测并采样，得到一组点云数据，点云数据可以包括多个目标物体对应的多个点云集合。图1为一种点云数据示意图，其中，图中的每个黑点代表一个点云，每个点云对应一组三维坐标。一组点云数据中包括多个点云集合，例如图1中检测框A、检测框B和检测框C中每个检测框中的点云构成一个点云集合，每个点云集合对应一个目标物体。
由于训练目标检测模型时需要将目标物体的类型以及目标物体对应的点云集合作为训练样本，以使目标检测模型对目标物体的类型以及点云集合的对应关系进行学习，因此，使用的点云集合的准确性会对目标检测模型的性能产生较大影响。通常一组点云数据中包括多个点云集合，因此，在对目标检测模型训练之前，需要对训练使用的点云数据标注检测框，以将点云数据中属于同一个物体的点云划分为一个点云集合。例如图1中的检测框A、检测框B和检测框C将点云数据划分为3个点云集合，每个点云集合对应一个目标物体。
在对目标检测模型训练时，检测框位置准确才能保证根据检测框位置提取到的点云集合准确，当检测框位置存在偏差时，会导致提取到的点云集合不够准确。例如，图2为一组检测框位置有偏差的点云数据的示意图，图2中检测框E和检测框F的位置存在偏差，根据检测框E和检测框F对点云数据进行划分后，不能准确得到两个目标物体对应的点云集合，则目标检测模型在训练中会对错误的点云集合进行学习，进而影响目标检测模型的性能。针对上述问题，目前的处理方式为人工进行调整校验，并将人工校验后的检测框位置以及点云数据作为目标检测模型的训练数据。可见，目前的点云数据处理方法效率较低且准确率难以保证。
基于上述问题，为了降低对点云数据进行目标检测的人工成本并提升检测精度，在一些设计中提出一种三维(3Dimensions，3D)点云物体自动标注系统，该系统以单帧点云数据或若干帧点云数据作为输入，通过使用3D检测模型进行自动标注。
上述设计虽然可以在一定程度上提升检测效率和准确率，但是当目标物体受遮挡或距离过远时，由于所述单帧点云数据或若干帧点云数据中的点云数据过少会导致误检、漏检、检测框不准确等问题，并且，动态物体在不同时刻采集的点云数据中的偏移对点云数据处理过程中引发的拖尾现象等，会严重影响该系统的自动标注效果。如图3所示，矩形框G标注的为动态物体(例如行驶的车辆的车尾)对应的点云集合，该矩形框G中包括的点云数量较少，导致无法准确识别该动态物体的类型，同时，在将不同时刻帧的点云数据转换至统一坐标系后进行拼接，该动态物体会产生拖影引起拖尾现象，如图3所示，矩形框G中包括的点云集合在不同时刻的罗列。因此，如何提升3D点云物体自动标注系统的标注效果，仍为亟需解决的重要问题。
本申请实施例提供一种点云数据处理方法及系统，可用于对单帧点云数据或若干帧点云数据的检测框进行校正，从而提升3D点云物体自动标注系统的标注效果。
图4为本申请实施例提供的点云数据处理方法适用的一种应用场景示意图。
如图4所示，本申请实施例中的多帧点云数据可以为雷达(例如激光雷达)采集到的数据，该雷达可以位于车辆上。例如，图4中示出的车辆41上可以安装有雷达，该雷达可以将采集到的点云数据发送给车辆41，车辆41中可以部署有点云数据处理系统来对采集到的点云数据执行本申请实施例提供的点云数据处理方法。或者，所述车辆41可以将采集到的点云数据发送给独立部署的点云数据处理系统，由该独立部署的点云数据处理系统执行本申请实施例提供的点云数据处理方法。
其中，独立部署的点云数据处理系统可以为服务器42，服务器42可以对获取到的点云数据执行本申请实施例提供的点云数据处理方法。或者，该独立部署的点云数据处理系统可以为终端设备，例如图4中示出的移动终端43，由终端设备对采集到的点云数据执行本申请实施例提供的点云数据处理方法。
示例地，图5为本申请实施例提供的点云数据处理系统的示意图，如图5所示，该系统500中可以包括获取单元510、处理单元520、校正单元530、训练单元540和输出单元550。
其中，所述获取单元510可用于获取多帧点云数据(例如M帧，M为大于或等于2的整数)，并将所述多帧点云数据提供给所述处理单元520。所述处理单元520可以从所述训练单元540获取第一检测模型和/或第二检测模型，并根据所述第一检测模型和/或所述第二检测模型对所述多帧点云数据进行处理，得到检测结果，该检测结果可以用于指示在所述多帧点云数据中的单帧点云数据中标注的静态对象和/或动态对象。所述处理单元520可以将检测结果提供给校正单元530，该校正单元530可以对该检测结果进行校正得到目标检测框，该目标检测框可以作为所述多帧点云数据的目标检测结果经由所述输出单元550输出。在一种可能的实现方式中，所述多帧点云数据和所述多帧点云数据的目标检测框信息可以被提供给训练单元540，以供所述训练单元进行模型训练，以提升模型精度。
可以理解的是，上述单元模块仅是对该点云数据处理系统500的功能划分，并不限定该点云数据处理系统500的功能。在其它实施例中，该点云数据处理系统500还可以包括其它单元，该点云数据处理系统500中的单元模块也可以进一步划分获取具有其它命名方式，本申请实施例对此不做限定。例如，获取单元510具体可以包括第一获取单元和第二获取单元，处理单元520可以包括第一处理单元和第二处理单元，在此不再赘述。
下面介绍本申请实施例的点云数据处理方法。
图6为本申请实施例提供的点云数据处理方法的一种流程示意图，其中，该方法可由图5中的点云数据处理系统500及其功能模块实现，如图6所示，该点云数据处理方法可以包括以下步骤：
S610：点云数据处理系统获取第一检测框。
本申请实施例中，该第一检测框用于指示在第一点云地图中标注的静态对象，该第一点云地图可由M帧点云数据得到，M为大于或等于2的整数。其中，所述M帧点云数据可以是连续帧的点云数据，该M帧点云数据可由数据采集装置采集得到并由该点云数据处理系统的获取单元获得，所述数据采集装置例如可以为车辆41上的雷达，如图4所示。在一个示例中，为了便于区分，所述M帧点云数据也可以称为点云序列。
示例地，所述第一点云地图可以是对所述M帧点云数据进行拼接得到的点云地图。具体实施时，点云数据处理系统可以根据将所述M帧点云数据中所有单帧点云数据变换至统一坐标系(例如世界坐标系)，并将所述M帧点云数据中所有单帧点云数据中的点云集合在该坐标系中拼接成为点云地图。其中，在统一坐标系中将多帧点云数据的点云集合拼接为点云地图的过程中，可以是在所述坐标系中基于所述多帧点云数据的实际采集时刻，依次将不同帧点云数据进行拼接；或者，也可以是选择参考物(例如车辆定位姿态)，并基于所述参考物，在所述坐标系中对该M帧点云数据中的点云集合进行调整后，按照采集时刻依次将不同帧点云数据中的点云集合进行拼接，本申请实施例对该拼接处理过程的具体实现方式不做限定。
一种可能的实现方式中，所述第一检测框为对所述第一点云地图进行目标检测得到的检测结果，所述第一检测框可以用于指示在所述第一点云地图中标注的静态对象。
示例地，对第一点云地图的目标检测过程可由第一检测模型实现。其中，该第一检测模型可以是前文中述及的训练单元540使用第一训练数据进行训练得到的，所述第一训练数据为已标注的训练数据，该第一训练数据可以包括第三点云地图与静态对象标注数据。
需要说明的是，本申请实施例中，在准备所述第一训练数据时，由于在所述第三点云地图上的静态对象和动态对象有较明显的形态差异，训练单元540可以仅保留静态对象标注框作为正样本，即静态对象标注数据，并利用所述第三点云地图以及所述静态对象标注数据进行训练得到所述第一检测模型。可以理解的是，本申请实施例中，该第三点云地图可以与所述第一点云地图相同或不同，即M帧点云数据或由该M帧点云数据进行拼接得到的第一点云地图既可以作为待标注数据也可以作为训练数据，本申请对此不做限定。
实施S610的过程中，所述点云数据处理系统可以直接获取所述第一点云地图以及用于描述所述第一点云地图的相关信息。或者，该点云数据处理系统也可以获取所述M帧点云数据，并对所述M帧点云数据进行拼接，得到所述第一点云地图，本申请实施例对该第一点云地图的获取方式不做限定。进一步，该点云数据处理系统可以根据所述第一检测模型对所述第一点云地图进行目标检测，获得所述第一检测框。其中，该第一检测框可以用于标注所述第一点云地图中的静态对象，该第一检测框的属性信息可以用于描述该第一检测框所标注的静态对象。
示例地，如图7所示，在(x,y,z)三维空间中，该第一检测框例如可以包括检测框1、检测框2和检测框3，所述第一检测框的属性信息例如可以包括检测框1/检测框2/检测框3的位置(例如检测框1/检测框2/检测框3在所述第一点云地图中的位置、或与其它检测框的相对位置等)、尺寸(例如长度、宽度、半径、直径等)、形状(例如圆柱体、椎体、正方体、长方体、不规则形状等)等信息，基于第一检测框的属性信息即可检测得到该第一检测框所标注的静态对象的位置、尺寸、形状等。需要说明的是，此处仅示例性地说明第一检测框以及所述第一检测框的属性信息，实际需要根据对点云数据中与目标对象对应的点云集合的检测和识别确定，在此不再赘述。
S620：点云数据处理系统获取第二检测框。
本申请实施例中，该第二检测框用于指示在第一点云数据中标注的动态对象，该第一点云数据由N帧点云数据得到，N为大于或等于1的整数，N＜M。该N帧点云数据为该M帧点云数据的部分帧点云数据，其中，在N＝1时，该N帧点云数据为单帧点云数据，N＞1时，该N帧点云数据包括若干帧点云数据。在具体实施时，该点云数据处理系统按照配置信息或者应用场景中确定该N或M的具体取值，本申请实施例对此具体实现方式不做限定。其中，在所述部分帧点云数据为若干帧的点云数据的情况下，该第一点云数据可为这些帧的点云数据进行拼接处理得到，所述第一点云数据只包含第一点云地图的部分信息，也可以称为局部点云地图。
一种可能的实现方式中，该第二检测框可以为对所述第一点云数据进行目标检测得到的检测结果，所述第二检测框可以用于指示所述第一点云数据中标注的动态对象。
示例地，对该第一点云数据的目标检测过程可由第二检测模型实现。其中，该第二检测模型可以是前文述及的训练单元540使用第二训练数据进行训练得到的，所述第二训练数据为已标注的训练数据，该第二训练数据可以包括第二点云数据和动态对象标注数据。
需要说明的是，本申请实施例中，在准备第二训练数据时，训练数据可以仅保留动态对象标注框作为正样本，即动态对象标注数据，并利用所述第二点云数据和所述动态对象标注数据进行训练得到所述第二检测模型。可以理解的，本申请实施例中，该第二点云数据可以与所述第一点云数据相同或不同，即第一点云数据既可以作为待标注数据也可以作为训练数据，本申请对此不做限定。
一种可能的实现方式中，由于动态对象的移动特性，对动态对象的标注过程的实现难度大于对静态对象的标注过程的实现难度，因此训练得到的所述第二检测模型可能存在一定检测误差，利用该第二检测模型进行目标检测时，可能仍会导致检测结果中包括标注静态对象的检测框。本申请实施例中，为了减少检测误差，实施S620过程中，所述点云数据处理系统可以根据所述第二检测模型对所述第一点云数据进行目标检测，获得第三检测框，根据所述第一检测框对所述第三检测框进行校正，得到所述第二检测框。其中，所述第三检测框用于指示在所述第一点云数据中标注的动态对象，通过该校正过程，可以利用对第一点云地图中的静态对象的检测结果融合对所述第一点云数据中的静态对象的误检结果，以确保所得到的第二检测框仅用于指示所述第一点云数据中标注的动态对象。其中，该第二检测框可以用于标注所述第一点云数据中的动态对象，该第二检测框的属性信息可以用于描述该第二检测框所标注的动态对象。
如图8所示，在(x,y,z)三维空间中，该第三检测框例如可以包括检测框4、检测框5、检测框6，所述第三检测框的属性信息例如可以包括检测框4/检测框5/检测框6的位置、尺寸、形状等信息，详细可参见上文中结合图7的相关描述，在此不再赘述。其中，检测框4、检测框5用于指示动态对象(例如对车辆等进行探测采集到的点云集合)、检测框6(使用虚线框表示，用于区分于指示动态对象的检测框4和检测框5)用于指示由于检测误差标注出的静态对象(例如对树木、道路标志等进行探测采集到的点云集合)。由于该检测框6也包含于对第一点云地图进行目标检测得到的第一检测框，点云数据处理系统根据所述第一检测框对第三检测框进行校正，例如可以是从第三检测框中去除用于指示静态对象的检测框，以经过处理后剩余的第三检测框作为所述第二检测框。如图8所示，去除检测框6后，剩余的检测框4和检测框5即为第二检测框，检测框4和检测框5的属性信息即为第二检测框的属性信息。
可以理解的是，本申请实施例中，由于动态对象与静态对象不同，相应地，用于标注静态对象的第一检测框的属性信息，与用于标注动态对象的第二检测框的属性信息可以相同或不同，本申请实施例对此不做限定。
S630：点云数据处理系统根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图。
本申请实施例中，该第二检测框也可以称为动态对象检测结果，该动态对象检测结果可用于指示不同的动态对象。
本申请实施例中，由于动态对象对应的静态物体的可移动特性，因此，在所述M帧点云数据中，单帧点云数据可能仅包括针对同一动态物体的局部采集到的点云集合而非对该动态物体整体采集到的点云集合，这会导致针对单帧点云数据中的点或若干帧点云数据中的点过少(称为稀疏点云)，同时，对于不同帧点云数据进行拼接处理还可能会存在由动态对象拼接引发的拖尾现象。
针对这些问题，S630中，一方面，所述点云数据处理系统可以根据所述第二检测框的属性信息，将对应相同动态对象的第二检测框进行关联，对不同帧点云数据中针对同一动态物体采集到的点云集合进行对象级别拼接，得到动态对象关联结果(称为密集点云)。另一方面，所述点云数据处理系统可以根据所述第二检测框，去除M帧点云数据中单帧点云数据中的动态对象，得到单帧点云数据对应的第三点云数据，该第三点云数据中只包括静态对象。进而，所述点云数据处理系统可以利用动态对象关联结果，对M帧点云数据对应的第三点云数据进行融合处理，得到第二点云地图，该第二点云地图中包括动态对象和/或静态对象。
如图9所示，以行驶的车辆41作为动态物体，t1时刻采集到的a帧点云数据中包括探测车辆41的车头采集到的点云集合，t2时刻采集到的b帧点云数据中包括探测车辆41的车身采集到的点云集合，t3时刻采集到的b帧点云数据中包括探测车辆41的车尾采集到的点云集合，分别以检测框A、检测框B、检测框C标出，此时为稀疏点云。进行对象级别关联时，点云数据处理系统可以识别出该a帧点云数据中的检测框A、b帧点云数据中的检测框B、c帧点云数据中的检测框C均对应所述车辆41，检测框A、检测框B、检测框C分别标出的点云集合即关联同一动态对象。进行对象级别拼接时，所述点云数据处理系统可以基于动态对象的粒度，根据点云数据的采集时刻，将不同帧点云数据中对应于同一动态对象的点云集合进行拼接，得到该动态对象的较为密集的点云集合，如图9所示的关联框D标出，此时为密集点云。同时，该对象级别的拼接处理，可以基于点的采集时刻，将不同帧点云数据中相同动态对象进行对齐，以便消除动态对象引发的拖尾现象。进而，点云数据处理系统在基于所述动态对象关联结果对所述多帧点云数据中的单帧点云数据进行融合处理后，即可在所述第二点云地图中呈现相同动态对象的较为密集的点云集合。
S640：点云数据处理系统根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到目标检测框，所述目标检测框用于指示在所述单帧点云数据中标注的静态对象和/或动态对象。
其中，由于第一检测框用于指示静态对象，所述第二检测框用于指示动态对象，而静态对象和动态对象的属性可能相同也可能不同，S640中执行校正过程中，所述点云数据处理系统可以根据所述第二点云地图针对不同对象的不同属性进行校正，以得到所有单帧点云数据的目标检测框。
例如，点云数据处理系统可以在所述第二点云地图中，对标注静态对象的第一检测框的第一属性(例如尺寸、位置、形状等)进行修正，和/或，对标注动态对象的第二检测框的第二属性(例如尺寸、形状等)进行修正，得到第四检测框，所述第四检测框用于指示所述第二点云地图中标注的动态对象和/或静态对象；在所述第二点云地图对应的单帧点云数据中，对标注动态对象的第四检测框的第三属性(例如位置等)进行修正，得到第五检测框；以标注静态对象的第四检测框和所述第五检测框作为所述M帧点云数据的目标检测框。
其中，所述目标检测框用于标注单帧点云数据中的静态对象和/或动态对象，目标检测框的属性信息用于描述该目标检测框标注的静态对象和/或动态对象。其中，上述对尺寸的修正例如可以包括对检查框的尺寸的增大、减小等，对位置的修正例如可以包括对检测框的绝对位置和/或相对位置的修正(包括检测框在任一方向的偏移)等，对形状的修正例如可以包括对监测框的形状的修正，例如从正方体修正为长方体，从长方体修正为正方体，从圆锥体修正为圆柱体等。
可以理解的是，S640可由点云数据处理系统自动实现上述校正过程，或者，S640也可以采用人工修正的方式实现上述校正过程。
示例地，采用人工修正方式时，所述点云数据处理系统可以通过用户界面输出所述第二点云地图以及用于标注所述第二点云地图中的静态对象第一检测框和/或标注动态对象的第二检测框，标注人员可以通过所述用户界面查看该第二点云地图、所述第一检测框以及所述第二检测框。该标注人员可以在该第二点云地图中对第一检测框的尺寸、位置、形状等第一属性进行修正，对第二检测框的尺寸、形状等第二属性进行修正，得到第四检测框信息。进一步地，该标注人员在所述第二点云地图对应的各个单帧点云数据中，对标注动态对象的第四检测框的位置等第三属性进行修正，得到第五检测框。
由此，利用第二点云地图，以标注静态对象的第四检测框和所述第五检测框作为所述M帧点云数据中单帧点云数据的目标检测框(即标注结果)，不仅可以在单帧点云数据中获得每个对象的更多点云信息，提升点云数据处理系统对单帧点云数据中对应远距离物体或遮挡严重物体的点云集合的自动标注能力，还可以通过将多帧点云数据中的动态对象对准到静态对象的相关特征，减少由动态对象引发的拖尾现象。同时，基于包含动态对象和静态对象的点云地图辅助标注，可以实现便捷的辅助修正，便于以较低的人工成本标注准确的物体属性。
此外，在一些实施方式中，在获得目标检测框之后，点云数据处理系统还可以利用多模型融合与点云地图生成柔化框，提供更高质量的检测框和便于训练的柔化框，有助于提升使用自动标注系统的对部分帧点云数据的模型的训练精度。
具体实施时，在S640之后，该方法还可以包括以下步骤：将所述M帧点云数据中的单帧点云数据以及所述目标检测框作为第三训练数据，在基于所述第三训练数据训练多个检测模型的过程中确定第六检测框，所述第六检测框的检测结果为错误；将所述第二点云地图以及所述目标检测框作为第四训练数据，在基于所述第四训练数据训练多个检测模型的过程中确定第七检测框；基于所述第六检测框校正所述第七检测框。例如，针对同一对象，使用检测结果为错误的第六检测框代替检测结果为正确的第七检测框，剔除检测结果为错位的第六检测框和检测结果为错误的第七检测框。其中，经过校正后得到的检测框(例如表示为第八检测框)包括便于训练的柔化框以及所述柔化框的属性信息，该柔化框及其属性信息也可以代替上述单帧点云数据的目标检测框，作为训练数据用于训练目标检测模型，由此进一步提升对单帧点云数据检测模型的训练精度。
为了便于理解，下面以车辆驾驶场景为例，结合图10所示的方法流程图对该点云数据处理方法进行介绍。
参阅图10所示，该方法可以包括以下步骤：
S1010：点云数据处理系统的获取单元获取点云序列。其中，所述点云序列例如可由车辆上的雷达采集得到，该点云序列包括连续的M帧点云数据(M为大于或等于2的整数，M的取值取决于该点云数据处理系统的处理能力、配置信息或应用场景等)。
实施S1010时，可由该点云数据处理系统的获取单元可以从车辆获取所述点云序列，可以是所述车辆主动上报所述点云序列，也可以是所述车辆响应于所述点云数据处理系统的请求反馈该点云序列。或者，所述点云数据处理系统可以包括存储单元，所述M帧点云数据可以保存在所述存储单元，所述获取单元可以从所述存储单元读取所述点云序列，本申请实施例对该点云序列的获取方式不做限定。
S1021：点云数据处理系统的处理单元根据车辆的定位姿态等，将M帧点云数据中单帧点云数据变换至世界坐标系，并在该世界坐标系中对M帧点云数据进行拼接，得到第一点云地图。
S1022：点云数据处理系统的处理单元根据第一检测模型对所述第一点云地图进行目标检测，获得第一检测框。S1021-S1022的详细实现可参见上文中结合S610的相关介绍，在此不再赘述。
S1031(可选)：点云数据处理系统的处理单元将M帧点云数据中的N帧点云数据进行拼接，得到第一点云数据。可以理解的是，S1031仅在以M帧点云数据中的若干帧点云数据(即N≥2)组合作为所述第一点云数据时执行，若以所述M帧点云数据中的单帧点云数据作为第一点云数据，则S1031无需执行。
S1032：点云数据处理系统的处理单元根据第二检测模型对所述第一点云数据进行目标检测，得到第三检测框。其中，所述第三检测框用于标注所述第一点云数据中的动态对象。应理解的是，在所述第二检测模型的误差范围内，第三检测框还可能用于标注第一点云数据中的静态对象。
S1033：点云数据处理系统的处理单元根据所述第一检测框对所述第三检测框进行校正，得到所述第二检测框，所述第二检测框用于标注所述第一点云数据中的动态对象。S1031-S1033的详细实现可参见上文中结合S620的相关介绍，在此不再赘述。
S1041：点云数据处理系统的处理单元根据S1033中得到的第二检测框，去除所述M帧点云数据中单帧点云数据中的动态对象，得到单帧点云数据对应的第三点云数据。
S1042：点云数据处理系统的处理单元根据M帧点云数据对应的第三点云数据进行拼接处理，生成第四点云地图。
S1043：点云数据处理系统的处理单元将S1033中得到的第二检测框，在S1010述及的M帧点云数据中的单帧点云数据或所述第一点云地图中，将对应相同动态对象的第二检测框进行关联。
S1044：点云数据处理系统的处理单元根据M帧点云数据，将在S1043中得到的对应相同动态对象的第二检测框标出的点云集合进行对象级别拼接，即将不同帧点云数据中关联相同的动态对象的点云集合对齐，整合为同一时刻的动态对象级点云集合，得到动态对象关联结果。
S1045：点云数据处理系统的处理单元根据S1044得到的动态对象关联结果对S1042得到的第四点云地图进行融合处理，得到第二点云地图。
S1041-S1045的详细实现可参见上文中结合S630的相关介绍，在此不再赘述。
S1051：点云数据处理系统的校正单元通过用户界面输出在S1045中得到第二点云地图，标注人员可以在第二点云地图中修正标注静态对象的第一检测框的尺寸、形状、位置等第一属性，以及标注动态对象的第二检测框的尺寸、形状等第二属性，得到第四检测框。
S1052：点云数据处理系统的校正单元将经过属性修正后得到的第四检测框在第二点云地图中标注出的静态对象和/或动态对象提供给第二点云地图对应的单帧点云数据并在用户界面输出，标注人员可以在单帧点云数据中对标注动态对象的第四检测框的位置等第三属性进行修正。由此，得到单帧点云数据的标注结果。
S1051-S1052的详细实现可参见上文中结合S640的相关介绍，在此不再赘述。
S1061：点云数据处理系统的训练单元将所述M帧点云数据中的单帧点云数据以及所述目标检测框作为第三训练数据，在基于所述第三训练数据训练多个检测模型的过程中确定第六检测框，所述第六检测框信息的检测结果为错误。
S1062：点云数据处理系统的训练单元将所述第二点云地图以及所述目标检测框作为第四训练数据，在基于所述第四训练数据训练多个检测模型的过程中确定第七检测框。
S1063：点云数据处理系统的校正单元基于所述第六检测框校正所述第七检测框。
S1061-S1063的详细实现可参见上文中结合柔化技术的相关介绍，在此不再赘述。
本申请还提供了一种点云数据处理系统，图11为本申请实施例提供的一种点云数据处理系统1100的结构示意图，所述点云数据处理系统1100可以应用于图4所示的应用场景中的服务器或终端设备。参阅图11所示，所述点云数据处理系统1100可以包括第一获取单元1101、第二获取单元1102、处理单元1103和校正单元1104。
其中，示例地，第一获取单元1101，用于获取第一检测框，所述第一检测框用于指示在第一点云地图中标注的静态对象，所述第一点云地图由M帧点云数据得到，M为大于或等于2的整数；第二获取单元1102，用于获取第二检测框信息，所述第二检测框用于指示在第一点云数据中标注的动态对象，所述第一点云数据由N帧点云数据得到，N为大于或等于1的整数，N＜M；处理单元1103，用于根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图；校正单元1104，用于根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到目标检测框，所述目标检测框用于指示在所述单帧点云数据中标注的标注静态对象和/或动态对象。
在一种可能的实现方式中，所述第一获取单元1101用于：对所述M帧点云数据进行拼接，得到所述第一点云地图；根据第一检测模型对所述第一点云地图进行目标检测，获得所述第一检测框其中，所述第一检测模型使用第一训练数据进行训练得到，所述第一训练数据包括第三点云地图与静态对象标注数据。
在一种可能的实现方式中，所述第二获取单元1102用于：根据第二检测模型对所述第一点云数据进行目标检测，获得第三检测框，其中，所述第二检测模型使用第二训练数据进行训练得到，所述第二训练数据包括第二点云数据和动态对象标注数据，所述第三检测框用于指示在所述第一点云数据中标注的动态对象；根据所述第一检测框对所述第三检测框进行校正，得到所述第二检测框。
在一种可能的实现方式中，所述处理单元1103用于：根据所述第二检测框，去除所述M帧点云数据中单帧点云数据中的动态对象，得到单帧点云数据对应的第三点云数据；根据所述第二检测框的属性信息，将对应相同动态对象的第二检测框进行关联，得到动态对象关联结果；基于所述动态对象关联结果对所述M帧点云数据对应的第三点云数据进行融合处理，得到第二点云地图。
在一种可能的实现方式中，所述校正单元1104用于：在所述第二点云地图中，对标注静态对象的第一检测框的第一属性进行修正，和/或，对标注动态对象的第二检测框的第二属性进行修正，得到第四检测框；在所述第二点云地图对应的单帧点云数据中，对标注动态对象的第四检测框的第三属性进行修正，得到第五检测框；以标注静态对象的第四检测框和所述第五检测框作为所述M帧点云数据的目标检测框。
在一种可能的实现方式中，所述系统还包括训练单元，在得到所述目标检测框之后，所述训练单元用于执行以下步骤：将所述M帧点云数据中的单帧点云数据以及所述目标检测框作为第三训练数据，在基于所述第三训练数据训练多个检测模型的过程中确定第六检测框，所述第六检测框的检测结果为错误；将所述第二点云地图以及所述目标检测框作为第四训练数据，在基于所述第四训练数据训练多个检测模型的过程中确定第七检测框；基于所述第六检测框校正所述第七检测框。
本申请还提供了一种点云数据处理装置1200，图12为本申请实施例提供的一种点云数据处理装置1200的结构示意图，所述数据处理装置1200可以应用于图4所示的场景中的服务器或终端设备。参阅图12所示，所述点云数据处理装置1200包括：处理器1201、存储器1202和总线1203。其中，处理器1201和存储器1202通过总线1203进行通信，也可以通过无线传输等其他手段实现通信。该存储器1202用于存储指令，该处理器1201用于执行该存储器1202存储的指令。该存储器1202存储程序代码，且处理器1201可以调用存储器1202中存储的程序代码。
本申请一种可选的实施例中，当数据处理装置1200为点云数据处理装置时，所述处理器1201用于执行上述方法实施例，详细可参见上文的相关描述，在此不再赘述。
可以理解，本申请图12中的存储器1202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
基于以上实施例，本申请实施例还提供了一种计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述方法实施例。
基于以上实施例，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被计算机执行时，使得计算机执行上述方法实施例。其中，存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
基于以上实施例，本申请实施例还提供了一种芯片，所述芯片用于读取存储器中存储的计算机程序，实现上述方法实施例。
基于以上实施例，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机装置实现上述方法实施例。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (14)

1.一种点云数据处理方法，其特征在于，包括：
获取第一检测框，所述第一检测框用于指示在第一点云地图中标注的静态对象，所述第一点云地图由M帧点云数据得到，M为大于或等于2的整数；
获取第二检测框，所述第二检测框用于指示在第一点云数据中标注的动态对象，所述第一点云数据由N帧点云数据得到，N为大于或等于1的整数，N＜M；
根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图；
根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到目标检测框，所述目标检测框用于指示在所述单帧点云数据中标注的静态对象和/或动态对象。
2.根据权利要求1所述的方法，其特征在于，所述获取第一检测框，包括：
对所述M帧点云数据进行拼接，得到所述第一点云地图；
根据第一检测模型对所述第一点云地图进行目标检测，获得所述第一检测框，其中，所述第一检测模型使用第一训练数据进行训练得到，所述第一训练数据包括第三点云地图与静态对象标注数据。
3.根据权利要求1或2所述的方法，其特征在于，所述获取第二检测框，包括：
根据第二检测模型对所述第一点云数据进行目标检测，得到第三检测框，其中，所述第二检测模型使用第二训练数据进行训练得到，所述第二训练数据包括第二点云数据和动态对象标注数据，所述第三检测框用于指示在所述第一点云数据中标注的动态对象；
根据所述第一检测框对所述第三检测框进行校正，得到所述第二检测框。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图，包括：
根据所述第二检测框，去除所述M帧点云数据中单帧点云数据中的动态对象，得到单帧点云数据对应的第三点云数据；
根据所述第二检测框的属性信息，将对应相同动态对象的第二检测框进行关联，得到动态对象关联结果；
基于所述动态对象关联结果对所述M帧点云数据对应的第三点云数据进行融合处理，得到所述二点云地图。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到目标检测框，包括：
在所述第二点云地图中，对标注静态对象的第一检测框的第一属性进行修正，和/或，对标注动态对象的第二检测框的第二属性进行修正，得到第四检测框，所述第四检测框用于指示所述第二点云地图中标注的动态对象和/或静态对象；
在所述第二点云地图对应的单帧点云数据中，对标注动态对象的第四检测框的第三属性进行修正，得到第五检测框；
以标注静态对象的第四检测框和所述第五检测框作为所述M帧点云数据的目标检测框。
6.根据权利要求1-5中任一项所述的方法，其特征在于，所述方法还包括：
将所述M帧点云数据中的单帧点云数据以及所述目标检测框作为第三训练数据，在基于所述第三训练数据训练多个检测模型的过程中确定第六检测框，所述第六检测框的检测结果为错误；
将所述第二点云地图以及所述目标检测框作为第四训练数据，在基于所述第四训练数据训练多个检测模型的过程中确定第七检测框；
基于所述第六检测框校正所述第七检测框。
7.一种点云数据处理系统，其特征在于，包括：
第一获取单元，用于获取第一检测框，所述第一检测框用于指示第一点云地图中标注的静态对象，所述第一点云地图由M帧点云数据得到，M为大于或等于2的整数；
第二获取单元，用于获取第二检测框，所述第二检测框用于指示在第一点云数据中标注的动态对象，所述第一点云数据由N帧点云数据得到，N为大于或等于1的整数，N＜M；
处理单元，用于根据所述第二检测框，对所述M帧点云数据中的单帧点云数据进行融合处理，得到第二点云地图；
校正单元，用于根据所述第二点云地图对所述第一检测框和所述第二检测框进行校正，得到目标检测框，所述目标检测框用于指示在所述单帧点云数据中标注的标注静态对象和/或动态对象。
8.根据权利要求7所述的系统，其特征在于，所述第一获取单元用于：
对所述M点云数据进行拼接，得到所述第一点云地图；
根据第一检测模型对所述第一点云地图进行目标检测，获得所述第一检测框，其中，所述第一检测模型使用第一训练数据进行训练得到，所述第一训练数据包括第三点云地图与静态对象标注数据。
9.根据权利要求7或8所述的系统，其特征在于，所述第二获取单元用于：
根据第二检测模型对所述第一点云数据进行目标检测，获得第三检测框，其中，所述第二检测模型使用第二训练数据进行训练得到，所述第二训练数据包括第二点云数据和动态对象标注数据，所述第三检测框用于指示在所述第一点云数据中标注的动态对象；
根据所述第一检测框对所述第三检测框信息进行校正，得到所述第二检测框。
10.根据权利要求7-9中任一项所述的系统，其特征在于，所述处理单元用于：
根据所述第二检测框，去除所述M帧点云数据中单帧点云数据中的动态对象，得到单帧点云数据对应的第三点云数据；
根据所述第二检测框的属性信息，将对应相同动态对象的第二检测框进行关联，得到动态对象关联结果；
基于所述动态对象关联结果对所述M帧点云数据对应的第三点云数据进行融合处理，得到第二点云地图。
11.根据权利要求7-10中任一项所述的系统，其特征在于，所述校正单元用于：
在所述第二点云地图中，对标注静态对象的第一检测框的第一属性进行修正，和/或，对标注动态对象的第二检测框的第二属性进行修正，得到第四检测框；
在所述第二点云地图对应的单帧点云数据中，对标注动态对象的第四检测框的第三属性进行修正，得到第五检测框；
以标注静态对象的第四检测框和所述第五检测框作为所述M帧点云数据的目标检测框。
12.根据权利要求7-11中任一项所述的系统，其特征在于，所述系统还包括训练单元，所述训练单元用于：
将所述M帧点云数据中的单帧点云数据以及所述目标检测框作为第三训练数据，在基于所述第三训练数据训练多个检测模型的过程中确定第六检测框，所述第六检测框的检测结果为错误；
将所述第二点云地图以及所述目标检测框息作为第四训练数据，在基于所述第四训练数据训练多个检测模型的过程中确定第七检测框；
所述校正单元还用于：基于所述第六检测框校正所述第七检测框。
13.一种点云数据处理系统，其特征在于，包括存储器和处理器，
所述存储器用于存储程序；
所述处理器用于执行所述存储器所存储的程序，以使所述装置实现如所述权利要求1-6中任一项所述的方法。
14.一种计算机可读存储介质，其特征在于，所述计算机可读介质存储有程序代码，当所述程序代码在计算机上运行时，使得计算机执行如权利要求1至6中任一项所述的方法。
CN202111253590.5A 2021-10-27 2021-10-27 一种点云数据处理方法及系统 Pending CN116052155A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111253590.5A CN116052155A (zh) 2021-10-27 2021-10-27 一种点云数据处理方法及系统
PCT/CN2022/127326 WO2023072055A1 (zh) 2021-10-27 2022-10-25 一种点云数据处理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111253590.5A CN116052155A (zh) 2021-10-27 2021-10-27 一种点云数据处理方法及系统

Publications (1)

Publication Number Publication Date
CN116052155A true CN116052155A (zh) 2023-05-02

Family

ID=86127801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111253590.5A Pending CN116052155A (zh) 2021-10-27 2021-10-27 一种点云数据处理方法及系统

Country Status (2)

Country Link
CN (1) CN116052155A (zh)
WO (1) WO2023072055A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778262A (zh) * 2023-08-21 2023-09-19 江苏源驶科技有限公司 一种基于虚拟点云的三维目标检测方法和系统
CN117612070A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 静态真值数据的校正方法和装置、存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116665212B (zh) * 2023-07-31 2023-10-13 福思(杭州)智能科技有限公司 数据标注方法、装置、处理设备、存储介质
CN117392646A (zh) * 2023-10-11 2024-01-12 深圳市哲思特科技有限公司 一种用于新能源汽车的舱内检测方法及系统
CN117593685B (zh) * 2024-01-19 2024-04-26 福思(杭州)智能科技有限公司 真值数据的构建方法和装置、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019232075A1 (en) * 2018-06-01 2019-12-05 Magic Leap, Inc. Compression of dynamic unstructured point clouds
CN111881827B (zh) * 2020-07-28 2022-04-26 浙江商汤科技开发有限公司 目标检测方法及装置、电子设备和存储介质
CN112419233B (zh) * 2020-10-20 2022-02-22 腾讯科技（深圳）有限公司 一种数据标注方法、装置、设备以及计算机可读存储介质
CN113222042A (zh) * 2021-05-25 2021-08-06 深圳市商汤科技有限公司 一种评测方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116778262A (zh) * 2023-08-21 2023-09-19 江苏源驶科技有限公司 一种基于虚拟点云的三维目标检测方法和系统
CN116778262B (zh) * 2023-08-21 2023-11-10 江苏源驶科技有限公司 一种基于虚拟点云的三维目标检测方法和系统
CN117612070A (zh) * 2024-01-19 2024-02-27 福思(杭州)智能科技有限公司 静态真值数据的校正方法和装置、存储介质
CN117612070B (zh) * 2024-01-19 2024-05-03 福思(杭州)智能科技有限公司 静态真值数据的校正方法和装置、存储介质

Also Published As

Publication number Publication date
WO2023072055A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
CN116052155A (zh) 一种点云数据处理方法及系统
CN108694882B (zh) 用于标注地图的方法、装置和设备
EP3505869B1 (en) Method, apparatus, and computer readable storage medium for updating electronic map
CN112069856B (zh) 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN109583415B (zh) 一种基于激光雷达与摄像机融合的交通灯检测与识别方法
CN110426051A (zh) 一种车道线绘制方法、装置及存储介质
US10783368B2 (en) Method and apparatus for identifying intersection in electronic map
WO2018227980A1 (zh) 基于摄像头传感器的车道线地图构建方法以及构建系统
US9123242B2 (en) Pavement marker recognition device, pavement marker recognition method and pavement marker recognition program
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
CN107218927B (zh) 一种基于tof相机的货物托盘检测系统和方法
CN112991791B (zh) 交通信息识别和智能行驶方法、装置、设备及存储介质
CN113034566B (zh) 高精度地图构建方法、装置、电子设备及存储介质
CN110906954A (zh) 一种基于自动驾驶平台的高精度地图测试评估方法和装置
CN108594244B (zh) 基于立体视觉和激光雷达的障碍物识别迁移学习方法
CN113358125B (zh) 一种基于环境目标检测和环境目标地图的导航方法及系统
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN115164918B (zh) 语义点云地图构建方法、装置及电子设备
CN111353453A (zh) 用于车辆的障碍物检测方法和装置
CN110135216A (zh) 电子地图中车道数变化区域检测方法、装置及存储设备
CN113988197A (zh) 基于多相机、多激光雷达的联合标定及目标融合检测方法
CN111460861A (zh) 一种道路交通标志识别方法、装置和识别设备
CN117079238A (zh) 道路边沿检测方法、装置、设备及存储介质
CN117197775A (zh) 对象标注方法、对象标注装置及计算机可读存储介质
CN116740680A (zh) 一种车辆定位方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication