CN115035359A - 一种点云数据处理方法、训练数据处理方法及装置 - Google Patents

一种点云数据处理方法、训练数据处理方法及装置 Download PDF

Info

Publication number
CN115035359A
CN115035359A CN202110208687.8A CN202110208687A CN115035359A CN 115035359 A CN115035359 A CN 115035359A CN 202110208687 A CN202110208687 A CN 202110208687A CN 115035359 A CN115035359 A CN 115035359A
Authority
CN
China
Prior art keywords
point cloud
cloud data
data
target
detection frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110208687.8A
Other languages
English (en)
Inventor
李在旺
晋周南
苏鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110208687.8A priority Critical patent/CN115035359A/zh
Priority to PCT/CN2021/128107 priority patent/WO2022179164A1/zh
Publication of CN115035359A publication Critical patent/CN115035359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供一种点云数据处理方法、训练数据处理方法及装置。在点云数据处理方法中，获取点云数据以及点云数据的初始化检测框信息；其中，初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，N个初始化检测框用于将点云数据划分为N个初始化点云集合，N为正整数；确定点云数据的目标转换矩阵，根据目标转换矩阵对初始化检测框信息进行校正，得到点云数据的目标检测框信息，目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，N个目标检测框将点云数据划分为N个目标点云集合。通过该方法，在提升点云数据处理效率的同时，保证了确定出的目标检测框信息的准确性。

Description

一种点云数据处理方法、训练数据处理方法及装置
技术领域
本申请涉及数据处理技术领域，尤其涉及一种点云数据处理方法、训练数据处理方法及装置。
背景技术
激光雷达(lightlaser detection and ranging，Lidar)，是激光探测及测距系统的简称。激光雷达相比于相机、超声波传感器等传统传感器，具有测量精度高、响应速度快、抗干扰能力强的特点。激光雷达在智能驾驶领域和无人驾驶领域中均得到了广泛的应用。
激光雷达在工作中，向目标物体发射探测信号(例如探测信号可以为激光束)，在激光雷达接收到的从目标物体反射回来的反射信号之后，激光雷达将探测信号与发射信号进行比较并进行处理得到点云集合，点云集合是在获取目标物体表面每个采样点的空间坐标后得到的采样点集合。激光雷达在工作中可以同时对多个目标物体同时进行探测并采样，得到一组点云数据，点云数据可以包括多个目标物体对应的多个点云集合。图1为一种激光雷达采集到的点云数据的示意图，图中每个黑点代表一个点云，每个点云对应一组三维坐标。一组点云数据中包括多个点云集合，例如图1中检测框A、检测框B和检测框C中每个检测框中的点云构成一个点云集合，每个点云集合对应一个目标物体。
激光雷达在采集到点云数据后，将点云数据发送给目标检测装置，以对点云数据进行目标检测，确定点云数据对应的目标的类型等信息。目前在对点云数据进行目标检测时，常常采用基于深度学习算法的目标检测模型，在对目标检测模型训练时，检测框位置准确才能保证根据检测框位置提取到的点云集合准确，当检测框位置存在偏差时，会导致提取到的点云集合不够准确，进而影响目标检测模型的训练效果。针对上述问题，目前的处理方式为人工进行调整校验，并将人工校验后的检测框位置以及点云数据作为目标检测模型的训练数据。可见，目前的点云数据处理方法效率较低且准确率难以保证。
发明内容
本申请实施例提供一种点云数据处理方法，用于对点云数据的检测框信息进行校准，以保证对目标检测模型进行训练时使用的训练数据的准确性。
第一方面，本申请提供一种点云数据处理方法，该方法包括：获取点云数据以及所述点云数据的初始化检测框信息；其中，所述初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，所述N个初始化检测框用于将所述点云数据划分为N个初始化点云集合，N为正整数；确定所述点云数据的目标转换矩阵，所述目标转换矩阵用于对所述初始化检测框信息进行校正；根据所述目标转换矩阵对所述初始化检测框信息进行校正，得到所述点云数据的目标检测框信息，所述目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，所述N个目标检测框用于将所述点云数据划分为N个目标点云集合。
在该方法中，获取点云数据以及点云数据的初始化检测框信息，确定点云数据的目标转换矩阵，目标转化矩阵可以对初始化检测框信息进行校正，从而对存在偏差的初始化检测框信息进行转换，得到点云数据的目标检测框信息，目标检测框信息中包含N个目标检测框以及每个目标检测框的位置信息，N个目标检测框可以将点云数据划分为N个目标点云集合，从而能够根据目标检测框信息从点云数据中提取准确的目标点云集合。相比中人工校验的方式，本申请实施例提供的点云数据处理方法在提升点云数据处理效率的同时，保证确定出的目标检测框信息的准确性。
在一种可能的设计中，所述确定所述点云数据的目标转换矩阵，包括：基于设定感知模型确定所述点云数据的参考检测框信息，所述参考检测框信息包含S个参考检测框以及每个参考检测框的位置信息和置信度，所述S个参考检测框用于将所述点云数据划分为S个参考点云集合，S为正整数；所述设定感知模型用于表征所述点云数据和检测框信息之间的对应关系；在所述S个参考检测框中确定M个参考检测框，所述M个参考检测框中任一个参考检测框的置信度小于第一预设阈值；其中，M为小于或等于S的正整数；从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框；根据所述M个初始化检测框的位置信息和所述M个参考检测框的位置信息确定第一转换矩阵，所述第一转换矩阵用于将所述M个初始化检测框的位置信息转换为所述M个参考检测框的位置信息；计算设定的至少一个转换矩阵中每个转换矩阵与所述第一转换矩阵之间的差值；将与所述第一转换矩阵之间差值最小的转换矩阵作为所述目标转换矩阵。
在一种可能的设计中，将S个参考检测框按照置信度从大至小的顺序排列后，选择排在前M个的参考检测框，其中，M为小于或等于S的正整数；从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框；根据所述M个初始化检测框的位置信息和所述M个参考检测框的位置信息确定第一转换矩阵，所述第一转换矩阵用于将所述M个初始化检测框的位置信息转换为所述M个参考检测框的位置信息；计算设定的至少一个转换矩阵中每个转换矩阵与所述第一转换矩阵之间的差值；将与所述第一转换矩阵之间差值最小的转换矩阵作为所述目标转换矩阵。
通过以上设计，基于感知模型确定点云数据的参考检测框信息，选择置信度小于第一预设阈值的M个参考检测框或按照置信度从大至小的顺序排列后，选择排在前M个的参考检测框，基于感知模型获取到的M个参考检测框的位置信息准确，则确定出的M个参考检测框的位置信息可以作为校正初始化检测框信息的参考值，从而可以根据M个参考检测框以及M个参考检测框对应的M个初始化检测框确定点云数据的目标转换矩阵，根据目标转化矩阵对存在偏差的检测框进行校验和校正，能够得到准确的目标检测框信息。
在一种可能的设计中，从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框，包括：确定所述N个初始化检测框的匹配参数，任一个初始化检测框的匹配参数包含所述初始化检测框的平移不变特性参数和/或旋转不变特性参数；确定所述M个参考检测框的匹配参数，任一个参考检测框的匹配参数包含所述参考检测框的平移不变特性参数和/或旋转不变特性参数；在所述N个初始化检测框中，选择匹配参数与所述M个参考检测框中任一个参考检测框的匹配参数之间的差值小于第二预设阈值的所述M个初始化检测框。
通过该设计，可以从N个初始化检测框中筛选出与M个参考检测框匹配的M个初始化检测框，任一个参考检测框和其匹配的初始化检测框对点云数据划分得到的点云集合可以看作是对同一个目标物体采样后得到的点云集合，则该参考检测框可以作为初始化检测框的参考值，用于确定点云数据的目标转换矩阵。其中，可以根据检测框的不随着检测框的平移或旋转而发生变化的参数确定与M个参考检测框匹配的M个初始化检测框，保证确定出的M个初始化检测框与M个参考检测框一一对应，进而保证目标转换矩阵的准确性。
在一种可能的设计中，在得到所述点云数据的目标检测框信息之后，还包括：将所述点云数据以及所述目标检测框信息作为一组训练数据，所述训练数据用于对目标检测模型进行训练。
通过该设计，将点云数据和目标检测框信息作为训练目标检测模型时使用的一组训练数据，从而保证使用点云数据以及目标检测框信息作为训练数据对目标检测模型训练时，能够根据目标检测框信息从点云数据中提取到准确的目标点云集合，并且目标检测模型能够对准确的目标点云集合进行学习，进而提升目标检测模型的性能。
在一种可能的设计中，在将所述点云数据以及所述目标检测框信息作为一组训练数据之前，还包括：获取所述M个参考检测框的特征参数，任一个参考检测框的特征参数用于表示所述参考检测框对应的参考点云集合的点云分布的复杂程度；根据所述M个参考检测框的特征参数确定所述点云数据的特征参数，所述点云数据的特征参数用于表示所述点云数据中点云分布的复杂程度；根据所述点云数据的特征参数确定所述点云数据的数据类型；
所述将所述点云数据以及所述目标检测框信息作为一组训练数据，包括：将所述点云数据以及所述目标检测框信息作为一组所述数据类型对应的训练数据。
通过该设计，可以确定点云数据的特征参数，以确定点云数据中点云分布的复杂程度，根据点云数据的特征参数确定点云数据的数据类型，从而将具有不同点云分布的点云数据划分为不同的数据类型，在使用点云数据对目标检测模型进行训练时，可以使用不同数据类型的点云数据对目标检测模型进行训练，从而提升目标检测模型的泛化能力。
第二方面，本申请提供一种训练数据处理方法，该方法包括：获取Q组待选点云数据以及每组待选点云数据的目标检测框信息，其中，任一组待选点云数据的目标检测框信息包括至少一个目标检测框以及每个目标检测框的位置信息，所述至少一个目标检测框用于将所述待选点云数据划分为至少一个目标点云集合，Q为正整数；确定所述Q组待选点云数据中每组待选点云数据的数据类型；根据每组待选点云数据的数据类型，确定K个目标数据类型，所述K个目标数据类型中包含每组待选点云数据的数据类型，K为正整数；从所述Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数；确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，所述目标训练数据用于对目标检测模型进行训练；根据所述训练集中每组第一点云数据的数据类型，以及所述K个目标数据类型中每种数据类型的训练数据在所述目标训练数据中所占的比例，在所述训练集中确定P组第二点云数据；将所述P组第二点云数据以及所述P组第二点云数据的目标检测框信息作为所述目标训练数据；其中，P为小于T的正整数。
在该方法中，能够确定Q组待选点云数据中每组待选点云数据的数据类型，将Q组待选点云数据划分为不同数据类型的待选点云数据。从Q组待选点云数据中选择T组第一点云数据作为训练集，训练集可以用于目标检测模型进行模型拟合。确定每种数据类型的训练数据在目标训练数据中所占的比例，能够根据训练集中每组第一点云数据的数据类型，以及K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，从训练集中确定包含多种数据类型的点云数据的目标训练数据，提升了目标训练数据的多样化。在使用目标训练数据对目标检测模型进行训练时，能够提升目标检测模型的对多种数据类型的训练数据的拟合能力以及泛化能力，进而提高目标检测模型的性能。
在一种可能的设计中，所述确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，包括：从所述Q组待选点云数据中选择R组第三点云数据作为验证集；其中，R为小于Q的正整数；其中，所述R组第三点云数据与所述T组第一点云数据不存在相同的点云数据；根据所述验证集中每种数据类型的第三点云数据对所述目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，任一种数据类型的第三点云数据对应的误差值用于表示所述目标检测模型对该数据类型的第三点云数据的拟合程度；根据每种数据类型的第三点云数据对应的误差值确定每种数据类型的训练数据在所述目标训练数据中的比例。
通过该设计，每种数据类型的训练数据在目标训练数据中所占的比例是根据每种数据类型的第三点云数据对应的误差值确定的，且任一种数据类型的第三点云数据对应的误差值用于表示目标检测模型对该数据类型的第三点云数据的拟合程度，则可以通过调整每种数据类型的训练数据在目标训练数据中所占的比例，调整训练目标检测模型时使用的目标训练数据，例如，当某种类型的第三点云数据对应的误差值较大，表示目标检测模型对该数据类型的第三点云数据的拟合程度较差，则可以增大该数据类型的训练数据在目标训练数据中所占的比例；同理，当某种类型的第三点云数据对应的误差值较小，表示目标检测模型对该数据类型的第三点云数据的拟合程度较强，则可以减少该数据类型的训练数据在目标训练数据中所占的比例，防止过拟合。
在一种可能的设计中，所述确定Q组待选点云数据中每组待选点云数据的数据类型，包括：对所述Q组待选点云数据中的目标点云数据执行以下步骤，其中，所述目标点云数据遍历所述Q组待选点云数据中的每个待选点云数据：确定目标点云数据的至少一个目标检测框的特征参数，任一个目标检测框的特征参数用于表示所述目标检测框对应的目标点云集合的点云分布的复杂程度；根据所述至少一个目标检测框的特征参数确定所述目标点云数据的特征参数，所述目标点云数据的特征参数用于表示所述目标点云数据中点云分布的复杂程度；根据所述目标点云数据的特征参数确定所述目标点云数据的数据类型。
通过该设计，根据点云数据的特征参数确定点云数据的数据类型，其中，点云数据的特征参数可以为表示点云数据中点云分布的复杂程度的参数，从而根据不同的点云分布的复杂程度对点云数据划分数据类型，进而使用不同数据类型的点云数据构建目标训练数据，提升目标训练数据的多样化。
第三方面，本申请提供一种点云数据处理装置，包括获取单元和处理单元；
所述获取单元用于获取点云数据以及所述点云数据的初始化检测框信息；其中，所述初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，所述N个初始化检测框用于将所述点云数据划分为N个初始化点云集合，N为正整数；
所述处理单元用于确定所述点云数据的目标转换矩阵，所述目标转换矩阵用于对所述初始化检测框信息进行校正；并根据所述目标转换矩阵对所述初始化检测框信息进行校正，得到所述点云数据的目标检测框信息，所述目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，所述N个目标检测框用于将所述点云数据划分为N个目标点云集合。
在一种可能的设计中，所述处理单元具体用于：
基于设定感知模型确定所述点云数据的参考检测框信息，所述参考检测框信息包含S个参考检测框以及每个参考检测框的位置信息和置信度，所述S个参考检测框用于将所述点云数据划分为S个参考点云集合，S为正整数；所述设定感知模型用于表征所述点云数据和检测框信息之间的对应关系；在所述S个参考检测框中确定M个参考检测框，所述M个参考检测框中任一个参考检测框的置信度小于第一预设阈值；其中，M为小于或等于S的正整数；从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框；根据所述M个初始化检测框的位置信息和所述M个参考检测框的位置信息确定第一转换矩阵，所述第一转换矩阵用于将所述M个初始化检测框的位置信息转换为所述M个参考检测框的位置信息；计算设定的至少一个转换矩阵中每个转换矩阵与所述第一转换矩阵之间的差值；将与所述第一转换矩阵之间差值最小的转换矩阵作为所述目标转换矩阵。
在一种可能的设计中，所述处理单元具体用于：
确定所述N个初始化检测框的匹配参数，任一个初始化检测框的匹配参数包含所述初始化检测框的平移不变特性参数和/或旋转不变特性参数；确定所述M个参考检测框的匹配参数，任一个参考检测框的匹配参数包含所述参考检测框的平移不变特性参数和/或旋转不变特性参数；在所述N个初始化检测框中，选择匹配参数与所述M个参考检测框中任一个参考检测框的匹配参数之间的差值小于第二预设阈值的所述M个初始化检测框。
在一种可能的设计中，所述处理单元还用于：
在得到所述点云数据的目标检测框信息之后，将所述点云数据以及所述目标检测框信息作为一组训练数据，所述训练数据用于对目标检测模型进行训练。
在一种可能的设计中，所述处理单元还用于：
在将所述点云数据以及所述目标检测框信息作为一组训练数据之前，获取所述M个参考检测框的特征参数，任一个参考检测框的特征参数用于表示所述参考检测框对应的参考点云集合的点云分布的复杂程度；根据所述M个参考检测框的特征参数确定所述点云数据的特征参数，所述点云数据的特征参数用于表示所述点云数据中点云分布的复杂程度；根据所述点云数据的特征参数确定所述点云数据的数据类型；
所述处理单元具体用于：
将所述点云数据以及所述目标检测框信息作为一组所述数据类型对应的训练数据。
第四方面，本申请提供一种训练数据处理装置，包括获取单元和处理单元；
所述获取单元用于获取Q组待选点云数据以及每组待选点云数据的目标检测框信息，其中，任一组待选点云数据的目标检测框信息包括至少一个目标检测框以及每个目标检测框的位置信息，所述至少一个目标检测框用于将所述待选点云数据划分为至少一个目标点云集合，Q为正整数；
所述处理单元用于确定所述Q组待选点云数据中每组待选点云数据的数据类型；根据每组待选点云数据的数据类型，确定K个目标数据类型，所述K个目标数据类型中包含每组待选点云数据的数据类型，K为正整数；从所述Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数；确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，所述目标训练数据用于对目标检测模型进行训练；根据所述训练集中每组第一点云数据的数据类型，以及所述K个目标数据类型中每种数据类型的训练数据在所述目标训练数据中所占的比例，在所述训练集中确定P组第二点云数据；将所述P组第二点云数据以及所述P组第二点云数据的目标检测框信息作为所述目标训练数据；其中，P为小于T的正整数。
在一种可能的设计中，所述处理单元具体用于：
从所述Q组待选点云数据中选择R组第三点云数据作为验证集；其中，R为小于Q的正整数；其中，所述R组第三点云数据与所述T组第一点云数据不存在相同的点云数据；根据所述验证集中每种数据类型的第三点云数据对所述目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，任一种数据类型的第三点云数据对应的误差值用于表示所述目标检测模型对该数据类型的第三点云数据的拟合程度；根据每种数据类型的第三点云数据对应的误差值确定每种数据类型的训练数据在所述目标训练数据中的比例。
在一种可能的设计中，所述处理单元具体用于：
对所述Q组待选点云数据中的目标点云数据执行以下步骤，其中，所述目标点云数据遍历所述Q组待选点云数据中的每个待选点云数据：确定目标点云数据的至少一个目标检测框的特征参数，任一个目标检测框的特征参数用于表示所述目标检测框对应的目标点云集合的点云分布的复杂程度；根据所述至少一个目标检测框的特征参数确定所述目标点云数据的特征参数，所述目标点云数据的特征参数用于表示所述目标点云数据中点云分布的复杂程度；根据所述目标点云数据的特征参数确定所述目标点云数据的数据类型。
第五方面，本申请提供一种点云数据处理装置，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中存储的计算程序，实现上述第一方面或第一方面的任一可能的设计所描述的方法。
第六方面，本申请提供一种训练数据处理装置，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器用于执行所述存储器中存储的计算程序，实现上述第二方面或第二方面的任一可能的设计所描述的方法。
第七方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在数据处理装置上运行时，使得所述数据处理装置执行上述第一方面或第二方面所描述的方法。
第八方面，本申请提供一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，当所述计算机程序或指令被数据处理装置执行时，实现上述第一方面或第二方面所描述的方法。
第九方面，本申请提供一种芯片系统，该芯片系统包括至少一个处理器和接口，所述接口用于为所述至少一个处理器提供程序指令或者数据，所述至少一个处理器用于执行所述程序指令，实现上述第一方面或第二方面所描述的方法。
在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于存储程序指令和数据。
在一种可能的设计中，所述芯片系统由芯片构成，或者包括芯片和其他分立器件。
上述第三方面到第九方面的有益效果，请参见上述第一方面或第二方面的有益效果的描述，这里不再重复赘述。
附图说明
图1为一种点云数据示意图；
图2为一组检测框位置有偏差的点云数据的示意图；
图3为本申请实施例提供的点云数据处理方法适用的一种应用场景示意图；
图4为本申请实施例提供的点云数据处理方法流程图；
图5为本申请实施例提供的点云数据处理方法的一种流程示意图；
图6为本申请实施例提供的一种训练数据处理方法流程图；
图7为本申请实施例提供的一种确定目标点云数据的数据类型的方法流程示意图；
图8为本申请实施例提供的一种在训练过程中实时调整目标训练数据构建策略的方法流程图；
图9为本申请实施例提供的一种点云数据处理方法以及训练数据处理方法的流程示意图；
图10为本申请实施例提供的一种点云数据处理方法以及训练数据处理方法实例的流程图；
图11为本申请实施例提供的一种数据处理装置的结构示意图；
图12为本申请实施例提供的一种数据处理装置的结构示意图。
具体实施方式
为了方便理解本申请实施例，下面介绍与本申请实施例相关的术语：
1)点云，是通过测量设备对物体进行探测后得到的采样点。测量设备对一个物体的外观表面上探测并采样后得到的点云的集合可以称为点云集合。测量设备一次可以同时对多个物体进行探测并采样，得到的一组点云数据中可以包括多个物体对应的点云集合。
基于激光测量原理测量到的点云数据(也可以称为激光点云数据)可以包括三维坐标和激光反射强度(intensity)等信息。基于摄影测量原理得到的点云数据可以包括三维坐标和颜色等信息，其中，颜色信息可以为红绿蓝(red、green、blue，RGB)格式的颜色数据。结合激光测量原理和摄影测量原理得到点云数据则可以包括三维坐标、激光反射强度和颜色等信息。
本申请实施例中以测量设备为激光雷达(lightlaser detection and ranging，Lidar)为例，激光雷达采集到的点云数据至少包括每个点云的三维坐标。
2)目标检测，是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。目标检测可以对点云数据进行检测和识别，从而确定点云数据中包括的多个点云集合分别对应的物体的类型。
例如，目标检测应用在驾驶场景时，车辆上的目标检测装置可以对激光雷达采集到的点云数据进行目标检测，从而在车辆行驶过程中，识别车道上的车辆以及路边的树木、行人等，辅助车辆实现路线规划、躲避障碍等功能，进而实现智能驾驶。
3)训练集、验证集和测试集，是机器学习中用于进行模型训练的样本数据组成的不同的集合。其中，训练集、验证集和测试集中的数据不会重叠。一般在构建模型之前，按照预设的比例对样本数据进行划分，例如按照7：1：1的比例划分得到训练集、验证集和测试集。
训练集为用于进行模型拟合的数据样本组成的样本集。
验证集为模型训练过程中预留的样本集，用于调整模型的超参数和用于对模型的能力进行初步评估。在本申请实施例提供的点云数据处理方法中，验证集可以用于调整不同数据类型的点云数据在训练集中所占的比例，从而提升模型对不同数据类型的点云数据的拟合能力。
测试集为用于评估模型最终的泛化能力的样本集。
下面将结合附图对本申请实施例作进一步地描述说明。
随着目标检测在安防、驾驶等领域的广泛应用，基于深度学习的目标检测方法凭借其准确性和高效率成为目标检测中的主流方法。在实施中，基于深度学习构建目标检测模型并进行训练，将待检测的点云数据输入到训练后的目标检测模型中，可以获取目标检测模型输出的目标检测结果，例如目标检测模型可以输出多个物体的类型以及每个物体的位置信息。
本申请实施例中点云数据可以为激光雷达采集得到的。例如，激光雷达向目标物体发射探测信号(例如探测信号可以为激光束)，在激光雷达接收到的从目标物体反射回来的反射信号之后，激光雷达将探测信号与发射信号进行比较并进行处理得到点云集合，点云集合是在获取目标物体表面每个采样点的空间坐标后得到的采样点集合。激光雷达可以同时对多个目标物体进行探测并采样，得到一组点云数据，点云数据可以包括多个目标物体对应的多个点云集合。图1为一种点云数据示意图，其中，图中的每个黑点代表一个点云，每个点云对应一组三维坐标。一组点云数据中包括多个点云集合，例如图1中检测框A、检测框B和检测框C中每个检测框中的点云构成一个点云集合，每个点云集合对应一个目标物体。
由于训练目标检测模型时需要将目标物体的类型以及目标物体对应的点云集合作为训练样本，以使目标检测模型对目标物体的类型以及点云集合的对应关系进行学习，则使用的点云集合的准确性会对目标检测模型的性能产生较大影响。通常一组点云数据中包括多个点云集合，因此，在对目标检测模型训练之前，需要对训练使用的点云数据标注检测框，以将点云数据中属于同一个物体的点云划分为一个点云集合。例如图1中的检测框A、检测框B和检测框C将点云数据划分为3个点云集合，每个点云集合对应一个目标物体。
在对目标检测模型训练时，检测框位置准确才能保证根据检测框位置提取到的点云集合准确，当检测框位置存在偏差时，会导致提取到的点云集合不够准确。例如，图2为一组检测框位置有偏差的点云数据的示意图，图2中检测框E和检测框F的位置存在偏差，根据检测框E和检测框F对点云数据进行划分后，不能准确得到两个目标物体对应的点云集合，则目标检测模型在训练中会对错误的点云集合进行学习，进而影响目标检测模型的性能。针对上述问题，目前的处理方式为人工进行调整校验，并将人工校验后的检测框位置以及点云数据作为目标检测模型的训练数据。可见，目前的点云数据处理方法效率较低且准确率难以保证。
基于上述问题，本申请实施例提供一种点云数据处理方法，用于对点云数据的检测框信息进行校准。
图3为本申请实施例提供的点云数据处理方法适用的一种应用场景示意图。如图3所示，本申请实施例中点云数据可以为激光雷达采集到的数据，激光雷达可以位于车辆上，例如，图3中示出的车辆31上安装有激光雷达，激光雷达可以将采集到的点云数据发送给车辆31，车辆31对点云数据执行本申请实施例提供的点云数据处理方法或将点云数据转发给数据处理设备，由数据处理设备执行本申请实施例提供的点云数据处理方法。其中，数据处理设备可以为服务器32，则服务器32在对获取到的点云数据执行本申请实施例提供的点云数据处理方法后，对处理后的点云数据执行本申请实施例提供的训练数据处理方法，以获得目标训练数据，再根据目标训练数据对目标检测模型进行训练。或者，数据处理设备还可以为终端设备，如图3中示出的移动终端33。由终端设备对点云数据执行本申请实施例提供的点云数据处理方法后，对处理后的点云数据执行本申请实施例提供的训练数据处理方法，以获得目标训练数据，终端设备将目标训练数据发送给服务器32，服务器32根据目标训练数据对目标检测模型进行训练。
图4为本申请实施例提供的点云数据处理方法流程图，下面以数据处理设备执行本申请实施例提供的点云数据处理方法为例，对本申请实施例提供的点云数据处理方法进行介绍，该方法包括以下步骤：
S401：数据处理设备获取点云数据以及点云数据的初始化检测框信息。
其中，点云数据的初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，N个初始化检测框用于将点云数据划分为N个点云集合，N为正整数。
可选的，点云数据可以为预先获取到的可作为目标检测模型的训练数据的多个数据样本中的一个数据样本，点云数据的初始化检测框信息可以是人工标注得到的，或是采集点云数据的测量设备标注的，本申请实施例对此不作限定。
一种可选的实施方式为，点云数据的初始化检测框信息可以包括N个初始化检测框以及每个初始化检测框的位置信息。
S402：数据处理设备确定点云数据的目标转换矩阵，目标转换矩阵用于对初始化检测框信息进行校正。
一种可选的实施方式中，数据处理设备基于设定感知模型确定点云数据的参考检测框信息，其中，设定感知模型为用于表征点云数据和检测框信息之间的对应关系的神经网络模型，例如，设定感知模型可以为训练后的点云检测模型和/或点云分割模型。
可选的，参考检测框信息包括S个参考检测框以及每个参考检测框的位置信息和置信度，S个参考检测框用于将点云数据划分为S个参考点云集合，S为正整数。任一个参考检测框的置信度表示该参考检测框的可信程度，置信度越高，表示该参考检测框的可信程度越高，则根据该参考检测框划分得到的参考点云集合越准确。
实施中，数据处理设备可以将点云数据输入到设定感知模型中，并获取设定感知模型输出的参考检测框信息。
数据处理设备在获取到点云数据的参考检测框信息后，在S个参考检测框中，确定置信度小于第一预设阈值的M个参考检测框，或者，在S个参考检测框中，按照置信度从大到小的顺序排列后，选择排在前M个的参考检测框；其中，M为小于或等于S的正整数。
可以理解的是，确定出的M个参考检测框为S个参考检测框中置信度较高的参考检测框，则M个参考检测框的位置信息的准确性较高，可以作为校正初始化检测框时用作参考的检测框。
数据处理设备从N个初始化检测框中筛选与M个参考检测框匹配的M个初始化检测框，一种可选的实施方式中，根据下列方式筛选M个初始化检测框：
数据处理设备确定N个初始化检测框的匹配参数，以及确定M个参考检测框的匹配参数。任一个初始化检测框的匹配参数包含初始化检测框的平移不变特性参数和/或旋转不变特性参数，任一个参考检测框的匹配参数包含参考检测框的平移不变特性参数和/或旋转不变特性参数；其中，平移不变特性参数和/或旋转不变特性参数为不随着初始化检测框或参考检测框的平移或旋转而发生变化的参数，例如，初始化检测框或参考检测框的长、宽、长宽比、与原点之间的距离、体积等参数。
在N个初始化检测框中，数据处理设备选择匹配参数与M个参考检测框中任一个参考检测框的匹配参数之间的差值小于第二预设阈值的M个初始化检测框。可选的，针对任一个参考检测框，从N个初始化检测框中，筛选匹配参数与该参考检测框的匹配参数之间的差值小于第二预设阈值的初始化检测框，作为该参考检测框匹配的初始化检测框。分别确定M个参考检测框匹配的M个初始化检测框，其中，参考检测框与初始化检测框匹配，可以认为参考检测框对点云数据划分得到的参考点云集合，与初始化检测框对点云数据划分后得到的初始化点云集合是同一个目标物体对应的点云集合。
一种可选的实施方式中，数据处理设备根据M个初始化检测框的位置信息和M个参考检测框的位置信息确定第一转换矩阵，第一转换矩阵用于将M个初始化检测框的位置信息转换为M个参考检测框的位置信息。例如，根据以下公式确定第一转换矩阵：
R＝(XTX)-1XTY
其中，矩阵X为
Figure BDA0002950445260000101
θL1...θLm分别为M个初始化检测框的旋转角度，任一个初始化检测框的位置信息中可以包括该初始化检测框的旋转角度，旋转角度可以为该初始化检测框相对于初始化坐标系中X轴方向、Y轴方向或Z轴方向中任一方向旋转的角度；矩阵Y为
Figure BDA0002950445260000102
θL1...θLm分别为M个参考检测框的旋转角度，任一个参考检测框的位置信息中可以包括该参考检测框的旋转角度，旋转角度可以为该参考检测框相对于参考坐标系中X轴方向、Y轴方向或Z轴方向中任一方向旋转的角度。需要说明的是，实施中一般规定初始化检测框的旋转角度为初始化检测框相对于初始化坐标系中Z轴方向旋转的角度，规定参考检测框的旋转角度为参考检测框相对于参考坐标系中Z轴方向旋转的角度。
一种可选的实施方式中，数据处理设备将第一转换矩阵作为目标转换矩阵。
另一种可选的实施方式中，数据处理设备计算设定的至少一个转换矩阵中每个转换矩阵与第一转换矩阵之间的差值，将与第一转换矩阵之间差值最小的转换矩阵作为目标转换矩阵。
举例来说，设定的至少一个转换矩阵可以为以45°为粒度设置的18个转换矩阵，则18个转换矩阵为：
Figure BDA0002950445260000103
假设确定出的第一转换矩阵为
Figure BDA0002950445260000104
计算得到与第一转换矩阵之间差值最小的转换矩阵为
Figure BDA0002950445260000111
则目标转换矩阵为
Figure BDA0002950445260000112
S403：数据处理设备根据目标转换矩阵对初始化检测框信息进行校正，得到点云数据的目标检测框信息。
其中，目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，N个目标检测框用于将点云数据划分为N个目标点云集合。
一种可选的实施方式中，数据处理设备在对初始化检测框信息进行校正时，可以根据以下公式确定N个目标检测框的位置信息中的旋转角度：
F＝I*R*
其中，矩阵F为
Figure BDA0002950445260000113
BF1...θFn分别为N个目标检测框的旋转角度，矩阵I为
Figure BDA0002950445260000114
θI1...θIn分别为N个初始化检测框的旋转角度，R*为目标转换矩阵。
本申请实施例一种可选的实施方式中，在确定出点云数据的目标检测框信息之后，数据处理设备可以将点云数据以及目标检测框信息作为一组训练数据，该训练数据用于对目标检测模型进行训练。
一种可选的实施方式为，数据处理设备确定点云数据的数据类型，将点云数据以及目标检测框信息作为点云数据的数据类型对应的训练数据。从而在点云数据处理过程中将点云数据划分为不同的数据类型，使用不同数据类型的点云数据对目标检测模型进行训练以进一步提升目标检测模型的泛化能力。具体实施中，数据处理设备可以根据下列方式确定点云数据的数据类型：
数据处理设备基于设定感知模型获取M个参考检测框的特征参数，任一个参考检测框的特征参数用于表示该参考检测框对应的参考点云集合的点云分布的复杂程度，例如，任一个参考检测框的特征参数可以为该参考检测框对应的前景点参数以及背景点参数，其中，前景点参数为该参考检测框对应的参考点云集合中，检测为前景点的点云对应的参数，背景点参数为该参考检测框对应的参考点云集合中，检测为背景点的点云对应的参数。
数据处理设备根据M个参考检测框的特征参数确定点云数据的特征参数，其中，点云数据的特征参数用于表示点云数据中点云分布的复杂程度，例如，根据以下公式确定点云数据的特征参数：
Figure BDA0002950445260000115
其中，O为点云数据的特征参数，Ufi为s个参考检测框中第i个参考检测框对应的前景点参数中的最小值，Ubi为S个参考检测框中第i个参考检测框对应的背景点参数中的最大值，i为大于1且小于等于S的正整数。
数据处理设备根据点云数据的特征参数确定点云数据的数据类型，可选的，根据设定的不同数据类型对应的阈值以及点云数据的特征参数，确定点云数据的数据类型。
图5为本申请实施例提供的点云数据处理方法的一种流程示意图，以数据处理设备执行点云数据处理方法为例，数据处理设备获取点云数据以及点云数据的初始化检测框信息后，数据处理设备基于设定感知模型确定点云数据的参考检测框信息。数据处理设备根据点云数据的参考检测框信息以及点云数据的初始化检测框信息确定目标转换矩阵，再根据目标转化矩阵对点云数据进行校正，得到目标检测框信息。
通过本申请实施例提供的点云数据处理方法，数据处理设备获取点云数据以及点云数据的初始化检测框信息，确定点云数据的目标转换矩阵，目标转化矩阵可以对初始化检测框信息进行校正，从而对存在偏差的初始化检测框信息进行转换，得到点云数据的目标检测框信息，目标检测框信息中包含的N个目标检测框以及每个目标检测框的位置信息，N个目标检测框可以将点云数据划分为N个目标点云集合，从而能够根据目标检测框信息从点云数据中提取准确的目标点云集合，保证使用点云数据以及目标检测框信息作为训练数据对目标检测模型训练时，目标检测模型能够对准确的目标点云集合进行学习。相比现有中人工校验的方式，本申请实施例提供的点云数据处理方法在提升点云数据处理效率的同时，保证训练数据的准确性。
本申请还提供一种训练数据处理方法，用于确定目标检测框模型训练过程中使用的训练数据。图6为本申请实施例提供的一种训练数据处理方法流程图，下面以数据处理设备执行本申请实施例提供的训练数据处理方法为例，对本申请实施例提供的训练数据处理方法进行介绍，该训练数据处理方法包括以下步骤：
S601：数据处理设备获取Q组待选点云数据以及每组待选点云数据的目标检测框信息。
其中，任一组待选点云数据的目标检测框信息包括至少一个目标检测框以及每个目标检测框的位置信息，至少一个目标检测框用于将待选点云数据划分为至少一个目标点云集合，Q为正整数。
可选的，每组待选点云数据的目标检测框信息可以是根据本申请实施例提供的点云数据处理方法得到的。
S602：数据处理设备确定Q组待选点云数据中每组待选点云数据的数据类型。
一种可选的实施方式中，数据处理设备对Q组待选点云数据中的目标点云数据执行以下步骤，其中，目标点云数据遍历Q组待选点云数据中的每个待选点云数据：
数据处理设备确定目标点云数据的至少一个目标检测框的特征参数，任一个目标检测框的特征参数用于表示目标检测框对应的目标点云集合的点云分布的复杂程度，例如，目标检测框的特征参数可以为目标检测框对应的前景点参数和背景点参数，其中，前景点参数可以为目标检测框对应的目标点云集合中检测为前景点的点云对应的参数，背景点参数可以为目标检测框对应的目标点云集合中检测为背景点的点云对应的参数。
数据处理设备根据至少一个目标检测框的特征参数确定目标点云数据的特征参数，目标点云数据的特征参数用于表示目标点云数据中点云分布的复杂程度；例如，根据下列公式确定目标点云数据的特征参数：
Figure BDA0002950445260000121
其中，O为目标点云数据的特征参数，G为目标检测框的数量，U′fi为G个目标检测框中第i个目标检测框对应的前景点参数中的最小值，U′bi为G个目标检测框中第i个目标检测框对应的背景点参数中的最大值，i为大于1且小于等于G的正整数。
数据处理设备根据目标点云数据的特征参数确定目标点云数据的数据类型。可选的，根据设定的不同数据类型对应的阈值以及目标点云数据的特征参数，确定目标点云数据的数据类型。
另一种可选的实施方式中，数据处理设备可以基于设定感知模型确定目标点云数据的S个参考检测框以及每个参考检测框的特征参数，S个参考检测框用于将目标点云数据划分为S个参考点云集合。例如，当设定感知模型为点云检测模型和点云分割模型时，数据处理设备将点云数据分别输入到点云检测模型和点云分割模型中，并获取点云检测模型和点云分割模型输出的S个参考检测框中每个参考检测框的特征参数，其中，任一个参考检测框的特征参数可以为该参考检测框对应的前景点参数以及背景点参数。其中，前景点参数为该参考检测框对应的参考点云集合中，检测为前景点的点云对应的参数，背景点参数为该参考检测框对应的参考点云集合中，检测为背景点的点云对应的参数。
数据处理设备根据S个参考检测框的特征参数确定目标点云数据的特征参数，例如，根据以下公式确定目标点云数据的特征参数：
Figure BDA0002950445260000131
其中，O为点云数据的特征参数，，Ufi为S个参考检测框中第i个参考检测框对应的前景点参数中的最小值，Ubi为S个参考检测框中第i个参考检测框对应的背景点参数中的最大值，i为大于1且小于等于S的正整数。
数据处理设备根据目标点云数据的特征参数确定目标点云数据的数据类型。可选的，根据设定的不同数据类型对应的阈值以及目标点云数据的特征参数，确定目标点云数据的数据类型。
举例来说，图7为本申请实施例提供的一种确定目标点云数据的数据类型的方法流程示意图，以设定感知模型为至少一个点云检测模型和至少一个点云分割模型为例，数据处理设备基于至少一个点云检测模型和至少一个点云分割模型确定目标点云数据的S个参考检测框的特征参数，并根据至少一个点云检测模型和至少一个点云分割模型确定出的S个参考检测框的特征参数确定目标点云数据的特征参数，数据处理设备根据目标点云数据的特征参数确定目标点云数据的数据类型。
S603：数据处理设备根据每组待选点云数据的数据类型，确定K个目标数据类型，K个目标数据类型中包含每组待选点云数据的数据类型，K为正整数。
S604：数据处理设备从Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数。
可选的，数据处理设备在对目标检测模型进行训练时，训练集用于对目标检测模型进行模型拟合。
另一种可选的实施方式中，数据处理设备按照设定的比例将Q组待选点云数据划分为训练集、测试集和验证集。
S605：数据处理设备确定K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例。
一种可选的实施方式中，数据处理设备从Q组待选点云数据中选择R组第三点云数据作为验证集，其中，R为小于Q的正整数，R组第三点云数据与T组第一点云数据不存在相同的点云数据，也就是说，训练集与验证机中的点云数据不存在重叠。
数据处理设备根据验证集中每种数据类型的第三点云数据对目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，任一种数据类型的第三点云数据对应的误差值用于表示目标检测模型对该数据类型的第三点云数据的拟合程度。可选的，任一种数据类型的第三点云数据对应的误差值可以为该种数据类型的第三点云数据对目标检测模型进行训练后，基于设定的损失函数计算得到的误差值。
数据处理设备根据每种数据类型的第三点云数据对应的误差值确定每种数据类型的训练数据在目标训练数据中的比例。一种可选的实施方式中，若某种数据类型的第三点云数据的误差值较大，表示目标检测模型对该数据类型的点云数据的拟合能力较差，则数据处理设备增大该数据类型的训练数据在目标训练数据中的比例；同样的，若某种数据类型的第三点云数据的误差值较小，表示目标检测模型对该数据类型的点云数据的拟合能力较强，则数据处理设备减小该数据类型的训练数据在目标训练数据中的比例，防止目标检测模型对该数据类型的点云数据过拟合。
S606：数据处理设备根据训练集中每组第一点云数据的数据类型，以及K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，在训练集中确定P组第二点云数据，将P组第二点云数据以及P组第二点云数据的目标检测框信息作为目标训练数据；其中，P为小于T的正整数。
例如，假设目标训练数据由1000组点云数据组成，数据处理设备确定的3种点云数据的数据类型分别对应的比例为：数据类型A对应的比例为50％、数据类型B对应的比例为30％、数据类型C对应的比例为20％。则数据处理设备从训练集种选择500组数据类型为A的点云数据、选择300组数据类型为B的点云数据、选择200组数据类型为C的点云数据作为目标训练数据。
一种可选的实施方式中，数据处理设备在根据目标训练数据对目标检测模型进行训练时，每对目标检测模型训练L轮后，可以基于验证集重新调整一次每种数据类型的训练数据在目标训练数据中所占的比例，从而在训练过程中实时调整目标训练数据，提升目标检测模型的性能。
举例来说，图8为本申请实施例提供的一种在训练过程中数据处理设备实时调整目标训练数据构建策略的方法流程图，该方法包括以下步骤：
S801：数据处理设备确定当前训练轮次i。
S802：数据处理设备判断当前训练轮次i是否小于设定的最大训练轮次n_max；若是，进入S802，否则，进入S807。
S803：数据处理设备判断当前训练轮次i是否大于设定的最小训练轮次n_min且i为设定的判断轮次n的整数倍；若是，进入S804，否则，进入S805。
S804：数据处理设备根据验证集中每种数据类型的第三点云数据对目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，根据确定出的每种数据类型的第三点云数据对应的误差值调整每种数据类型的训练数据在目标训练数据中的比例。
S805：数据处理设备保持每种数据类型的训练数据在目标训练数据中的比例。
S806：根据每种数据类型的训练数据在目标训练数据中的比例，从训练集中确定目标训练数据，根据目标训练数据对目标检测模型进行一轮训练。
S807：结束训练。
通过以上方法，数据处理设备能够确定Q组待选点云数据中每组待选点云数据的数据类型，将Q组待选点云数据划分为不同数据类型的待选点云数据。数据处理设备从Q组待选点云数据中选择T组第一点云数据作为训练集，训练集可以用于目标检测模型进行模型拟合。数据处理设备确定每种数据类型的训练数据在目标训练数据中所占的比例，能够根据训练集中每组第一点云数据的数据类型，以及K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，从训练集中确定包含多种数据类型的点云数据的目标训练数据，提升了目标训练数据的多样化。在使用目标训练数据对目标检测模型进行训练时，能够提升目标检测模型的对多种数据类型的训练数据的拟合能力以及泛化能力，进而提高目标检测模型的性能。
下面以一个具体实例对本申请实施例提供的点云数据处理方法以及训练数据处理方法进行进一步介绍，图9为本申请实施例提供的一种点云数据处理方法以及训练数据处理方法的流程示意图，其中，本申请实施例提供的点云数据处理方法实现图9中的点云数据校验功能，本申请实施例提供的训练数据处理方法实现图9中点云数据划分功能。
图10为图9所示实例的方法流程图，以数据处理设备执行本申请实施例提供的点云数据处理方法和训练数据处理方法为例，该实例包括以下步骤：
S1001：数据处理设备获取Q组点云数据以及每组点云数据的初始化检测框信息，对每组点云数据进行点云数据处理，得到每组点云数据的目标检测框信息。
S1002：数据处理设备确定Q组点云数据中每组点云数据的数据类型以及K个目标数据类型。
S1003：数据处理设备确定K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例。
S1004：数据处理设备从Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数；根据训练集中每组第一点云数据的数据类型，以及K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，在训练集中确定P组第二点云数据，将P组第二点云数据以及P组第二点云数据的目标检测框信息作为目标训练数据；其中，P为小于T的正整数。
以上步骤的具体实施可以参见本申请实施例中图4示出的点云数据处理方法以及图6示出的训练数据处理方法，重复之处不再赘述。
本申请还提供了一种数据处理装置1100，图11为本申请实施例提供的一种数据处理装置1100的结构示意图，所述数据处理装置1100可以应用于图3所示的应用场景中的服务器或终端设备。参阅图11所示，所述数据处理装置1100可以包括获取单元1101和处理单元1102。
本申请实施例一种可选的实施方式中，所述数据处理装置1100可以为点云数据处理装置，下面对数据处理装置1100为点云数据处理装置时各个单元的功能进行介绍。
所述获取单元1101，用于获取点云数据以及所述点云数据的初始化检测框信息；其中，所述初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，所述N个初始化检测框用于将所述点云数据划分为N个初始化点云集合，N为正整数；
所述处理单元1102，用于确定所述点云数据的目标转换矩阵，所述目标转换矩阵用于对所述初始化检测框信息进行校正；并根据所述目标转换矩阵对所述初始化检测框信息进行校正，得到所述点云数据的目标检测框信息，所述目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，所述N个目标检测框用于将所述点云数据划分为N个目标点云集合。
在一种可能的设计中，所述处理单元1102具体用于：
基于设定感知模型确定所述点云数据的参考检测框信息，所述参考检测框信息包含S个参考检测框以及每个参考检测框的位置信息和置信度，所述S个参考检测框用于将所述点云数据划分为S个参考点云集合，S为正整数；所述设定感知模型用于表征所述点云数据和检测框信息之间的对应关系；在所述S个参考检测框中确定M个参考检测框，所述M个参考检测框中任一个参考检测框的置信度小于第一预设阈值；其中，M为小于或等于S的正整数；从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框；根据所述M个初始化检测框的位置信息和所述M个参考检测框的位置信息确定第一转换矩阵，所述第一转换矩阵用于将所述M个初始化检测框的位置信息转换为所述M个参考检测框的位置信息；计算设定的至少一个转换矩阵中每个转换矩阵与所述第一转换矩阵之间的差值；将与所述第一转换矩阵之间差值最小的转换矩阵作为所述目标转换矩阵。
在一种可能的设计中，所述处理单元1102具体用于：
确定所述N个初始化检测框的匹配参数，任一个初始化检测框的匹配参数包含所述初始化检测框的平移不变特性参数和/或旋转不变特性参数；确定所述M个参考检测框的匹配参数，任一个参考检测框的匹配参数包含所述参考检测框的平移不变特性参数和/或旋转不变特性参数；在所述N个初始化检测框中，选择匹配参数与所述M个参考检测框中任一个参考检测框的匹配参数之间的差值小于第二预设阈值的所述M个初始化检测框。
在一种可能的设计中，所述处理单元1102还用于：
在得到所述点云数据的目标检测框信息之后，将所述点云数据以及所述目标检测框信息作为一组训练数据，所述训练数据用于对目标检测模型进行训练。
在一种可能的设计中，所述处理单元1102还用于：
在将所述点云数据以及所述目标检测框信息作为一组训练数据之前，获取所述M个参考检测框的特征参数，任一个参考检测框的特征参数用于表示所述参考检测框对应的参考点云集合的点云分布的复杂程度；根据所述M个参考检测框的特征参数确定所述点云数据的特征参数，所述点云数据的特征参数用于表示所述点云数据中点云分布的复杂程度；根据所述点云数据的特征参数确定所述点云数据的数据类型；
所述处理单元1102具体用于：
将所述点云数据以及所述目标检测框信息作为一组所述数据类型对应的训练数据。
本申请实施例一种可选的实施方式中，所述数据处理装置1100可以为训练数据处理装置，下面对数据处理装置1100为训练数据处理装置时各个单元的功能进行介绍。
所述获取单元1101，用于获取Q组待选点云数据以及每组待选点云数据的目标检测框信息，其中，任一组待选点云数据的目标检测框信息包括至少一个目标检测框以及每个目标检测框的位置信息，所述至少一个目标检测框用于将所述待选点云数据划分为至少一个目标点云集合，Q为正整数；
所述处理单元1102，用于确定所述Q组待选点云数据中每组待选点云数据的数据类型；根据每组待选点云数据的数据类型，确定K个目标数据类型，所述K个目标数据类型中包含每组待选点云数据的数据类型，K为正整数；从所述Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数；确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，所述目标训练数据用于对目标检测模型进行训练；根据所述训练集中每组第一点云数据的数据类型，以及所述K个目标数据类型中每种数据类型的训练数据在所述目标训练数据中所占的比例，在所述训练集中确定P组第二点云数据；将所述P组第二点云数据以及所述P组第二点云数据的目标检测框信息作为所述目标训练数据；其中，P为小于T的正整数。
在一种可能的设计中，所述处理单元1102具体用于：
从所述Q组待选点云数据中选择R组第三点云数据作为验证集；其中，R为小于Q的正整数；其中，所述R组第三点云数据与所述T组第一点云数据不存在相同的点云数据；根据所述验证集中每种数据类型的第三点云数据对所述目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，任一种数据类型的第三点云数据对应的误差值用于表示所述目标检测模型对该数据类型的第三点云数据的拟合程度；根据每种数据类型的第三点云数据对应的误差值确定每种数据类型的训练数据在所述目标训练数据中的比例。
在一种可能的设计中，所述处理单元1102具体用于：
对所述Q组待选点云数据中的目标点云数据执行以下步骤，其中，所述目标点云数据遍历所述Q组待选点云数据中的每个待选点云数据：确定目标点云数据的至少一个目标检测框的特征参数，任一个目标检测框的特征参数用于表示所述目标检测框对应的目标点云集合的点云分布的复杂程度；根据所述至少一个目标检测框的特征参数确定所述目标点云数据的特征参数，所述目标点云数据的特征参数用于表示所述目标点云数据中点云分布的复杂程度；根据所述目标点云数据的特征参数确定所述目标点云数据的数据类型。
本申请还提供了一种数据处理装置1200，图12为本申请实施例提供的一种数据处理装置1200的结构示意图，所述数据处理装置1200可以应用于图3所示的场景中的服务器或终端设备。参阅图12所示，所述数据处理装置1200包括：处理器1201、存储器1202和总线1203。其中，处理器1201和存储器1202通过总线1203进行通信，也可以通过无线传输等其他手段实现通信。该存储器1202用于存储指令，该处理器1201用于执行该存储器1202存储的指令。该存储器1202存储程序代码，且处理器1201可以调用存储器1202中存储的程序代码。
本申请一种可选的实施例中，当数据处理装置1200为点云数据处理装置时，所述处理器1201用于执行以下操作：
获取点云数据以及所述点云数据的初始化检测框信息；其中，所述初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，所述N个初始化检测框用于将所述点云数据划分为N个初始化点云集合，N为正整数；确定所述点云数据的目标转换矩阵，所述目标转换矩阵用于对所述初始化检测框信息进行校正；根据所述目标转换矩阵对所述初始化检测框信息进行校正，得到所述点云数据的目标检测框信息，所述目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，所述N个目标检测框用于将所述点云数据划分为N个目标点云集合。
在一种实施方式中，所述处理器1201具体用于：
基于设定感知模型确定所述点云数据的参考检测框信息，所述参考检测框信息包含S个参考检测框以及每个参考检测框的位置信息和置信度，所述S个参考检测框用于将所述点云数据划分为S个参考点云集合，S为正整数；所述设定感知模型用于表征所述点云数据和检测框信息之间的对应关系；在所述S个参考检测框中确定M个参考检测框，所述M个参考检测框中任一个参考检测框的置信度小于第一预设阈值；其中，M为小于或等于S的正整数；从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框；根据所述M个初始化检测框的位置信息和所述M个参考检测框的位置信息确定第一转换矩阵，所述第一转换矩阵用于将所述M个初始化检测框的位置信息转换为所述M个参考检测框的位置信息；计算设定的至少一个转换矩阵中每个转换矩阵与所述第一转换矩阵之间的差值；将与所述第一转换矩阵之间差值最小的转换矩阵作为所述目标转换矩阵。
在一种实施方式中，所述处理器1201具体用于：
确定所述N个初始化检测框的匹配参数，任一个初始化检测框的匹配参数包含所述初始化检测框的平移不变特性参数和/或旋转不变特性参数；确定所述M个参考检测框的匹配参数，任一个参考检测框的匹配参数包含所述参考检测框的平移不变特性参数和/或旋转不变特性参数；在所述N个初始化检测框中，选择匹配参数与所述M个参考检测框中任一个参考检测框的匹配参数之间的差值小于第二预设阈值的所述M个初始化检测框。
在一种实施方式中，所述处理器1201还用于：
在得到所述点云数据的目标检测框信息之后，将所述点云数据以及所述目标检测框信息作为一组训练数据，所述训练数据用于对目标检测模型进行训练。
在一种实施方式中，所述处理器1201还用于：
在将所述点云数据以及所述目标检测框信息作为一组训练数据之前，获取所述M个参考检测框的特征参数，任一个参考检测框的特征参数用于表示所述参考检测框对应的参考点云集合的点云分布的复杂程度；根据所述M个参考检测框的特征参数确定所述点云数据的特征参数，所述点云数据的特征参数用于表示所述点云数据中点云分布的复杂程度；根据所述点云数据的特征参数确定所述点云数据的数据类型；
所述处理器1201具体用于：将所述点云数据以及所述目标检测框信息作为一组所述数据类型对应的训练数据。
本申请一种可选的实施例中，当数据处理装置1200为训练数据处理装置时，所述处理器1201用于执行以下操作：
获取Q组待选点云数据以及每组待选点云数据的目标检测框信息，其中，任一组待选点云数据的目标检测框信息包括至少一个目标检测框以及每个目标检测框的位置信息，所述至少一个目标检测框用于将所述待选点云数据划分为至少一个目标点云集合，Q为正整数；确定所述Q组待选点云数据中每组待选点云数据的数据类型；根据每组待选点云数据的数据类型，确定K个目标数据类型，所述K个目标数据类型中包含每组待选点云数据的数据类型，K为正整数；从所述Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数；确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，所述目标训练数据用于对目标检测模型进行训练；根据所述训练集中每组第一点云数据的数据类型，以及所述K个目标数据类型中每种数据类型的训练数据在所述目标训练数据中所占的比例，在所述训练集中确定P组第二点云数据；将所述P组第二点云数据以及所述P组第二点云数据的目标检测框信息作为所述目标训练数据；其中，P为小于T的正整数。
在一种实施方式中，所述处理器1201具体用于：
从所述Q组待选点云数据中选择R组第三点云数据作为验证集；其中，R为小于Q的正整数；其中，所述R组第三点云数据与所述T组第一点云数据不存在相同的点云数据；根据所述验证集中每种数据类型的第三点云数据对所述目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，任一种数据类型的第三点云数据对应的误差值用于表示所述目标检测模型对该数据类型的第三点云数据的拟合程度；根据每种数据类型的第三点云数据对应的误差值确定每种数据类型的训练数据在所述目标训练数据中的比例。
在一种实施方式中，所述处理器1201具体用于：
对所述Q组待选点云数据中的目标点云数据执行以下步骤，其中，所述目标点云数据遍历所述Q组待选点云数据中的每个待选点云数据：确定目标点云数据的至少一个目标检测框的特征参数，任一个目标检测框的特征参数用于表示所述目标检测框对应的目标点云集合的点云分布的复杂程度；根据所述至少一个目标检测框的特征参数确定所述目标点云数据的特征参数，所述目标点云数据的特征参数用于表示所述目标点云数据中点云分布的复杂程度；根据所述目标点云数据的特征参数确定所述目标点云数据的数据类型。
可以理解，本申请图12中的存储器1202可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
基于以上实施例，本申请实施例还提供了一种计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行图4所示的实施例提供的点云数据处理方法，或图6所示的实施例提供的训练数据处理方法。
基于以上实施例，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，所述计算机程序被计算机执行时，使得计算机执行图4所示的实施例提供的点云数据处理方法，或图6所示的实施例提供的训练数据处理方法。其中，存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于：计算机可读介质可以包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
基于以上实施例，本申请实施例还提供了一种芯片，所述芯片用于读取存储器中存储的计算机程序，实现图4所示的实施例提供的点云数据处理方法，或图6所示的实施例提供的训练数据处理方法。
基于以上实施例，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，用于支持计算机装置实现图4所示的实施例提供的点云数据处理方法，或图6所示的实施例提供的训练数据处理方法。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存该计算机装置必要的程序和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的保护范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (20)

1.一种点云数据处理方法，其特征在于，所述方法包括：
获取点云数据以及所述点云数据的初始化检测框信息；其中，所述初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，所述N个初始化检测框用于将所述点云数据划分为N个初始化点云集合，N为正整数；
确定所述点云数据的目标转换矩阵，所述目标转换矩阵用于对所述初始化检测框信息进行校正；
根据所述目标转换矩阵对所述初始化检测框信息进行校正，得到所述点云数据的目标检测框信息，所述目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，所述N个目标检测框用于将所述点云数据划分为N个目标点云集合。
2.如权利要求1所述的方法，其特征在于，所述确定所述点云数据的目标转换矩阵，包括：
基于设定感知模型确定所述点云数据的参考检测框信息，所述参考检测框信息包含S个参考检测框以及每个参考检测框的位置信息和置信度，所述S个参考检测框用于将所述点云数据划分为S个参考点云集合，S为正整数；所述设定感知模型用于表征所述点云数据和检测框信息之间的对应关系；
在所述S个参考检测框中确定M个参考检测框，所述M个参考检测框中任一个参考检测框的置信度小于第一预设阈值；其中，M为小于或等于S的正整数；
从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框；
根据所述M个初始化检测框的位置信息和所述M个参考检测框的位置信息确定第一转换矩阵，所述第一转换矩阵用于将所述M个初始化检测框的位置信息转换为所述M个参考检测框的位置信息；
计算设定的至少一个转换矩阵中每个转换矩阵与所述第一转换矩阵之间的差值；
将与所述第一转换矩阵之间差值最小的转换矩阵作为所述目标转换矩阵。
3.如权利要求2所述的方法，其特征在于，从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框，包括：
确定所述N个初始化检测框的匹配参数，任一个初始化检测框的匹配参数包含所述初始化检测框的平移不变特性参数和/或旋转不变特性参数；
确定所述M个参考检测框的匹配参数，任一个参考检测框的匹配参数包含所述参考检测框的平移不变特性参数和/或旋转不变特性参数；
在所述N个初始化检测框中，选择匹配参数与所述M个参考检测框中任一个参考检测框的匹配参数之间的差值小于第二预设阈值的所述M个初始化检测框。
4.如权利要求2或3所述的方法，其特征在于，在得到所述点云数据的目标检测框信息之后，还包括：
将所述点云数据以及所述目标检测框信息作为一组训练数据，所述训练数据用于对目标检测模型进行训练。
5.如权利要求4所述的方法，其特征在于，在将所述点云数据以及所述目标检测框信息作为一组训练数据之前，还包括：
获取所述M个参考检测框的特征参数，任一个参考检测框的特征参数用于表示所述参考检测框对应的参考点云集合的点云分布的复杂程度；
根据所述M个参考检测框的特征参数确定所述点云数据的特征参数，所述点云数据的特征参数用于表示所述点云数据中点云分布的复杂程度；
根据所述点云数据的特征参数确定所述点云数据的数据类型；
所述将所述点云数据以及所述目标检测框信息作为一组训练数据，包括：
将所述点云数据以及所述目标检测框信息作为一组所述数据类型对应的训练数据。
6.一种训练数据处理方法，其特征在于，所述方法包括：
获取Q组待选点云数据以及每组待选点云数据的目标检测框信息，其中，任一组待选点云数据的目标检测框信息包括至少一个目标检测框以及每个目标检测框的位置信息，所述至少一个目标检测框用于将所述待选点云数据划分为至少一个目标点云集合，Q为正整数；
确定所述Q组待选点云数据中每组待选点云数据的数据类型；
根据每组待选点云数据的数据类型，确定K个目标数据类型，所述K个目标数据类型中包含每组待选点云数据的数据类型，K为正整数；
从所述Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数；
确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，所述目标训练数据用于对目标检测模型进行训练；
根据所述训练集中每组第一点云数据的数据类型，以及所述K个目标数据类型中每种数据类型的训练数据在所述目标训练数据中所占的比例，在所述训练集中确定P组第二点云数据；
将所述P组第二点云数据以及所述P组第二点云数据的目标检测框信息作为所述目标训练数据；其中，P为小于T的正整数。
7.如权利要求6所述的方法，其特征在于，所述确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，包括：
从所述Q组待选点云数据中选择R组第三点云数据作为验证集；其中，R为小于Q的正整数；其中，所述R组第三点云数据与所述T组第一点云数据不存在相同的点云数据；
根据所述验证集中每种数据类型的第三点云数据对所述目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，任一种数据类型的第三点云数据对应的误差值用于表示所述目标检测模型对该数据类型的第三点云数据的拟合程度；
根据每种数据类型的第三点云数据对应的误差值确定每种数据类型的训练数据在所述目标训练数据中的比例。
8.如权利要求6或7所述的方法，其特征在于，所述确定所述Q组待选点云数据中每组待选点云数据的数据类型，包括：
对所述Q组待选点云数据中的目标点云数据执行以下步骤，其中，所述目标点云数据遍历所述Q组待选点云数据中的每个待选点云数据：
确定目标点云数据的至少一个目标检测框的特征参数，任一个目标检测框的特征参数用于表示所述目标检测框对应的目标点云集合的点云分布的复杂程度；
根据所述至少一个目标检测框的特征参数确定所述目标点云数据的特征参数，所述目标点云数据的特征参数用于表示所述目标点云数据中点云分布的复杂程度；
根据所述目标点云数据的特征参数确定所述目标点云数据的数据类型。
9.一种点云数据处理装置，其特征在于，包括获取单元和处理单元；
所述获取单元用于获取点云数据以及所述点云数据的初始化检测框信息；其中，所述初始化检测框信息包括N个初始化检测框以及每个初始化检测框的位置信息，所述N个初始化检测框用于将所述点云数据划分为N个初始化点云集合，N为正整数；
所述处理单元用于确定所述点云数据的目标转换矩阵，所述目标转换矩阵用于对所述初始化检测框信息进行校正；并根据所述目标转换矩阵对所述初始化检测框信息进行校正，得到所述点云数据的目标检测框信息，所述目标检测框信息包括N个目标检测框以及每个目标检测框的位置信息，所述N个目标检测框用于将所述点云数据划分为N个目标点云集合。
10.如权利要求9所述的装置，其特征在于，所述处理单元具体用于：
基于设定感知模型确定所述点云数据的参考检测框信息，所述参考检测框信息包含S个参考检测框以及每个参考检测框的位置信息和置信度，所述S个参考检测框用于将所述点云数据划分为S个参考点云集合，S为正整数；所述设定感知模型用于表征所述点云数据和检测框信息之间的对应关系；
在所述S个参考检测框中确定M个参考检测框，所述M个参考检测框中任一个参考检测框的置信度小于第一预设阈值；其中，M为小于或等于S的正整数；
从所述N个初始化检测框中筛选与所述M个参考检测框匹配的M个初始化检测框；
根据所述M个初始化检测框的位置信息和所述M个参考检测框的位置信息确定第一转换矩阵，所述第一转换矩阵用于将所述M个初始化检测框的位置信息转换为所述M个参考检测框的位置信息；
计算设定的至少一个转换矩阵中每个转换矩阵与所述第一转换矩阵之间的差值；
将与所述第一转换矩阵之间差值最小的转换矩阵作为所述目标转换矩阵。
11.如权利要求10所述的装置，其特征在于，所述处理单元具体用于：
确定所述N个初始化检测框的匹配参数，任一个初始化检测框的匹配参数包含所述初始化检测框的平移不变特性参数和/或旋转不变特性参数；
确定所述M个参考检测框的匹配参数，任一个参考检测框的匹配参数包含所述参考检测框的平移不变特性参数和/或旋转不变特性参数；
在所述N个初始化检测框中，选择匹配参数与所述M个参考检测框中任一个参考检测框的匹配参数之间的差值小于第二预设阈值的所述M个初始化检测框。
12.如权利要求10或11所述的装置，其特征在于，所述处理单元还用于：
在得到所述点云数据的目标检测框信息之后，将所述点云数据以及所述目标检测框信息作为一组训练数据，所述训练数据用于对目标检测模型进行训练。
13.如权利要求12所述的装置，其特征在于，所述处理单元还用于：
在将所述点云数据以及所述目标检测框信息作为一组训练数据之前，获取所述M个参考检测框的特征参数，任一个参考检测框的特征参数用于表示所述参考检测框对应的参考点云集合的点云分布的复杂程度；
根据所述M个参考检测框的特征参数确定所述点云数据的特征参数，所述点云数据的特征参数用于表示所述点云数据中点云分布的复杂程度；
根据所述点云数据的特征参数确定所述点云数据的数据类型；
所述处理单元具体用于：
将所述点云数据以及所述目标检测框信息作为一组所述数据类型对应的训练数据。
14.一种训练数据处理装置，其特征在于，包括获取单元和处理单元；
所述获取单元用于获取Q组待选点云数据以及每组待选点云数据的目标检测框信息，其中，任一组待选点云数据的目标检测框信息包括至少一个目标检测框以及每个目标检测框的位置信息，所述至少一个目标检测框用于将所述待选点云数据划分为至少一个目标点云集合，Q为正整数；
所述处理单元用于确定所述Q组待选点云数据中每组待选点云数据的数据类型；根据每组待选点云数据的数据类型，确定K个目标数据类型，所述K个目标数据类型中包含每组待选点云数据的数据类型，K为正整数；从所述Q组待选点云数据中选择T组第一点云数据作为训练集；其中，T为小于Q的正整数；确定所述K个目标数据类型中每种数据类型的训练数据在目标训练数据中所占的比例，所述目标训练数据用于对目标检测模型进行训练；根据所述训练集中每组第一点云数据的数据类型，以及所述K个目标数据类型中每种数据类型的训练数据在所述目标训练数据中所占的比例，在所述训练集中确定P组第二点云数据；将所述P组第二点云数据以及所述P组第二点云数据的目标检测框信息作为所述目标训练数据；其中，P为小于T的正整数。
15.如权利要求14所述的装置，其特征在于，所述处理单元具体用于：
从所述Q组待选点云数据中选择R组第三点云数据作为验证集；其中，R为小于Q的正整数；其中，所述R组第三点云数据与所述T组第一点云数据不存在相同的点云数据；
根据所述验证集中每种数据类型的第三点云数据对所述目标检测模型进行训练，确定每种数据类型的第三点云数据对应的误差值，任一种数据类型的第三点云数据对应的误差值用于表示所述目标检测模型对该数据类型的第三点云数据的拟合程度；
根据每种数据类型的第三点云数据对应的误差值确定每种数据类型的训练数据在所述目标训练数据中的比例。
16.如权利要求14或15所述的装置，其特征在于，所述处理单元具体用于：
对所述Q组待选点云数据中的目标点云数据执行以下步骤，其中，所述目标点云数据遍历所述Q组待选点云数据中的每个待选点云数据：
确定目标点云数据的至少一个目标检测框的特征参数，任一个目标检测框的特征参数用于表示所述目标检测框对应的目标点云集合的点云分布的复杂程度；
根据所述至少一个目标检测框的特征参数确定所述目标点云数据的特征参数，所述目标点云数据的特征参数用于表示所述目标点云数据中点云分布的复杂程度；
根据所述目标点云数据的特征参数确定所述目标点云数据的数据类型。
17.一种点云数据处理装置，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算程序，实现如权利要求1～5中任一项所述的方法。
18.一种训练数据处理装置，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器中存储的计算程序，实现如权利要求6～8中任一项所述的方法。
19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在数据处理装置上运行时，使得所述数据处理装置执行如上述权利要求1～5中任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，当所述计算机程序在数据处理装置上运行时，使得所述数据处理装置执行如上述权利要求6～8中任一项所述的方法。
CN202110208687.8A 2021-02-24 2021-02-24 一种点云数据处理方法、训练数据处理方法及装置 Pending CN115035359A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110208687.8A CN115035359A (zh) 2021-02-24 2021-02-24 一种点云数据处理方法、训练数据处理方法及装置
PCT/CN2021/128107 WO2022179164A1 (zh) 2021-02-24 2021-11-02 一种点云数据处理方法、训练数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110208687.8A CN115035359A (zh) 2021-02-24 2021-02-24 一种点云数据处理方法、训练数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN115035359A true CN115035359A (zh) 2022-09-09

Family

ID=83047768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110208687.8A Pending CN115035359A (zh) 2021-02-24 2021-02-24 一种点云数据处理方法、训练数据处理方法及装置

Country Status (2)

Country Link
CN (1) CN115035359A (zh)
WO (1) WO2022179164A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965824A (zh) * 2023-03-01 2023-04-14 安徽蔚来智驾科技有限公司 点云数据标注方法、点云目标检测方法、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635685B (zh) * 2018-11-29 2021-02-12 北京市商汤科技开发有限公司 目标对象3d检测方法、装置、介质及设备
CN112101066B (zh) * 2019-06-17 2024-03-08 商汤集团有限公司 目标检测方法和装置及智能驾驶方法、设备和存储介质
CN111241964A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质
CN111340766B (zh) * 2020-02-21 2024-06-11 北京市商汤科技开发有限公司 目标对象的检测方法、装置、设备和存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115965824A (zh) * 2023-03-01 2023-04-14 安徽蔚来智驾科技有限公司 点云数据标注方法、点云目标检测方法、设备及存储介质

Also Published As

Publication number Publication date
WO2022179164A1 (zh) 2022-09-01

Similar Documents

Publication Publication Date Title
CN107481292B (zh) 车载摄像头的姿态误差估计方法和装置
CN111340797A (zh) 一种激光雷达与双目相机数据融合检测方法及系统
CN112270251B (zh) 一种基于互信息的自适应多传感器数据融合方法及系统
CN111429514A (zh) 一种融合多帧时序点云的激光雷达3d实时目标检测方法
CN107742304B (zh) 移动轨迹的确定方法及装置、移动机器人及存储介质
CN109087510A (zh) 交通监测方法及装置
Strbac et al. YOLO multi-camera object detection and distance estimation
CN104700414A (zh) 一种基于车载双目相机的前方道路行人快速测距方法
CN105335955A (zh) 对象检测方法和对象检测装置
CN115797454B (zh) 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
US12066299B2 (en) Method, device and system for perceiving multi-site roadbed network and terminal
CN114758504B (zh) 一种基于滤波校正的网联车超速预警方法及系统
CN111753757A (zh) 一种图像识别处理方法及装置
WO2021134357A1 (zh) 感知信息处理方法、装置、计算机设备和存储介质
EP3879446A3 (en) Method for detecting vehicle lane change, roadside device, cloud control platform and program product
CN108596032B (zh) 一种视频中打架行为检测方法、装置、设备及介质
CN113255444A (zh) 图像识别模型的训练方法、图像识别方法和装置
CN107330432B (zh) 一种基于加权霍夫投票的多视角车辆检测方法
CN115035359A (zh) 一种点云数据处理方法、训练数据处理方法及装置
CN111696147B (zh) 一种基于改进YOLOv3模型的深度估计方法
CN113436239A (zh) 一种基于深度信息估计的单目图像三维目标检测方法
CN115331447B (zh) 基于传感器融合的数据关联方法以及装置
CN116645612A (zh) 一种森林资源资产确定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination