CN114820465A - 点云检测模型训练方法、装置、电子设备及存储介质 - Google Patents

点云检测模型训练方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114820465A
CN114820465A CN202210357107.6A CN202210357107A CN114820465A CN 114820465 A CN114820465 A CN 114820465A CN 202210357107 A CN202210357107 A CN 202210357107A CN 114820465 A CN114820465 A CN 114820465A
Authority
CN
China
Prior art keywords
point cloud
cloud data
detection model
prediction
sample point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210357107.6A
Other languages
English (en)
Other versions
CN114820465B (zh
Inventor
赵天坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hozon New Energy Automobile Co Ltd
Original Assignee
Hozon New Energy Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hozon New Energy Automobile Co Ltd filed Critical Hozon New Energy Automobile Co Ltd
Priority to CN202210357107.6A priority Critical patent/CN114820465B/zh
Publication of CN114820465A publication Critical patent/CN114820465A/zh
Priority to PCT/CN2022/117359 priority patent/WO2023193401A1/zh
Application granted granted Critical
Publication of CN114820465B publication Critical patent/CN114820465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种点云检测模型训练方法、装置、电子设备及存储介质。所述方法包括：获取样本点云数据；所述样本点云数据包括：第一样本点云数据和第二样本点云数据；基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型；根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型。本申请实施例可以提高点云检测模型的特征提取能力，从而提高目标物在位置和分类方面的预测准确度。

Description

点云检测模型训练方法、装置、电子设备及存储介质
技术领域
本申请涉及自动驾驶技术领域，尤其涉及一种点云检测模型训练方法、装置、电子设备及存储介质。
背景技术
点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。空间信息以点的形式记录，每一个点包含有三维坐标。根据点云采集设备的数据采集能力的差异，有些点云数据中可能还含有颜色信息(RGB)或反射强度信息(Intensity)等。以通过激光雷达采集的点云数据为例，点云数据包括三维空间中点的位置坐标和反射强度信息。点云数据广泛用于自动驾驶领域中进行目标物检测和识别。例如，用于汽车、无人机等自动驾驶领域的目标物检测和识别。在点云数据的应用过程中，通常要采用点云检测，以基于点云数据进行目标物检测。
现有的点云检测方法，通常是基于鸟瞰图的3D点云目标检测方法或者基于pointpillar的3D点云目标检测方法，这些方法都是将连续的原始点云粗略的划分成了锚点，在提取特征时会丢弃重要的细节特征，目标物的位置和分类预测准确度较低。
发明内容
本申请实施例提供一种点云检测模型训练方法、装置、电子设备及存储介质，以解决相关技术中点云目标检测方法在进行特征提取时会丢弃重要的细节特征，导致目标物的位置和分类预测准确度较低的问题。
为了解决上述技术问题，本申请实施例是这样实现的：
第一方面，本申请实施例提供了一种点云检测模型训练方法，包括：
获取样本点云数据；所述样本点云数据包括：第一样本点云数据和第二样本点云数据；
基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型；
根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型。
可选地，所述获取样本点云数据，包括：
获取道路点云数据；
对所述道路点云数据进行预处理，去除所述道路点云数据中不符合预设条件的点云数据，得到目标道路点云数据；
将所述目标道路点云数据划分为若干个点云体素；
根据所述点云体素中的每个点的三维坐标、每个点与所述点云体素的中心点的距离、及每个点的反射强度值，生成所述点云体素对应的第一维度的点云特征；
将所述第一维度的点云特征作为所述样本点云数据。
可选地，所述初始点云检测模型包括：特征提取模块、特征处理模块和检测模块，所述第一样本点云数据对应于一个第一初始标签；
所述基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型，包括：
调用所述特征提取模块对所述第一样本点云数据进行处理，得到所述第一样本点云数据对应的图像映射特征；
调用所述特征处理模块对所述图像映射特征进行特征处理，得到预设尺寸的点云特征；
调用所述检测模块对所述预设尺寸的点云特征进行处理，生成所述第一样本点云数据的第一预测标签；
根据所述第一初始标签和所述第一预测标签，计算得到所述初始点云检测模型的损失值；
在所述损失值处于预设范围内的情况下，将训练后的初始点云检测模型作为所述中间点云检测模型。
可选地，所述调用所述特征提取模块对所述第一样本点云数据进行特征提取，得到所述第一样本点云数据的图像映射特征，包括：
调用所述特征提取模块对所述第一样本点云数据进行处理，得到第二维度的点云特征；
根据所述第一样本点云数据中每个点的基准位置，将所述第二维度的点云特征映射至二维图像上，得到所述图像映射特征。
可选地，所述初始点云检测模型还包括：特征连接模块，所述特征连接模块位于所述检测模块和所述特征处理模块之间，
所述检测模块包括：位置检测模块、尺寸检测模块、角度检测模块和热力图检测模块，所述第一初始标签包括：物体的初始位置、初始尺寸、旋转角度和物体热力图，
所述调用所述检测模块对所述预设尺寸的点云特征进行处理，生成所述第一样本点云数据的第一预测标签，包括：
调用所述特征连接模块对所述预设尺寸的点云特征进行特征连接处理，得到点云连接特征；
调用所述位置检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测位置；
调用所述尺寸检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测尺寸；
调用所述角度检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测旋转角度；
调用所述热力图检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测热力图。
可选地，所述根据所述第一初始标签和所述第一预测标签，计算得到所述初始点云检测模型的损失值，包括：
根据所述初始位置和所述预测位置，计算得到位置损失值；
根据所述初始尺寸和所述预测尺寸，计算得到尺寸损失值；
根据所述初始旋转角度和所述预测旋转角度，计算得到角度损失值；
根据所述物体热力图和所述预测热力图，计算得到热力图损失值；
计算所述位置损失值、所述尺寸损失值、所述角度损失值和所述热力图损失值的和值，并将该和值作为所述初始点云检测模型的损失值。
可选地，所述第二样本点云数据包含有标注框的标注中心点和标注类别，且所述第二样本点云数据对应于一个第二初始标签；
所述根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型，包括：
调用所述中间点云检测模型对所述第二样本点云数据进行处理，得到所述第二样本点云数据对应的第二预测标签；
调用所述辅助网络对所述第二样本点云数据进行处理，得到所述第二样本点云数据的预测框的预测中心点和预测类别；
根据所述第二初始标签和所述第二预测标签，计算得到所述中间点云检测模型的第一损失值；
根据所述标注中心点、所述标注类别、所述预测中心点和所述预测类别，计算得到所述辅助网络的第二损失值；
在所述第一损失值处于第一预设范围内，且所述第二损失值处于第二预设范围内的情况下，将训练后的不包含辅助网络的中间点云检测模型作为所述目标点云检测模型。
可选地，所述中间点云检测模型包括：特征处理模块，所述特征处理模块由预设个数的卷积模块组成，所述辅助网络与所述卷积模块连接，
在所述根据所述标注中心点、所述标注类别、所述预测中心点和所述预测类别，计算得到所述辅助网络的第二损失值之后，还包括：
在所述第二损失值不处于所述第二预设范围内的情况下，基于所述第二损失值调整所述特征处理模块对应的模型参数。
第二方面，本申请实施例提供了一种点云检测模型训练装置，包括：
样本点云数据获取模块，用于获取样本点云数据；所述样本点云数据包括：第一样本点云数据和第二样本点云数据；
中间检测模型获取模块，用于基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型；
目标检测模型获取模块，用于根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型。
可选地，所述样本点云数据获取模块包括：
道路点云数据获取单元，用于获取道路点云数据；
目标点云数据获取单元，用于对所述道路点云数据进行预处理，去除所述道路点云数据中不符合预设条件的点云数据，得到目标道路点云数据；
目标点云数据划分单元，用于将所述目标道路点云数据划分为若干个点云体素；
点云特征生成单元，用于根据所述点云体素中的每个点的三维坐标、每个点与所述点云体素的中心点的距离、及每个点的反射强度值，生成所述点云体素对应的第一维度的点云特征；
样本点云数据获取单元，用于将所述第一维度的点云特征作为所述样本点云数据。
可选地，所述初始点云检测模型包括：特征提取模块、特征处理模块和检测模块，所述第一样本点云数据对应于一个第一初始标签；
所述中间检测模型获取模块包括：
图像映射特征获取单元，用于调用所述特征提取模块对所述第一样本点云数据进行处理，得到所述第一样本点云数据对应的图像映射特征；
点云特征获取单元，用于调用所述特征处理模块对所述图像映射特征进行特征处理，得到预设尺寸的点云特征；
第一预测标签生成单元，用于调用所述检测模块对所述预设尺寸的点云特征进行处理，生成所述第一样本点云数据的第一预测标签；
损失值计算单元，用于根据所述第一初始标签和所述第一预测标签，计算得到所述初始点云检测模型的损失值；
中间检测模型获取单元，用于在所述损失值处于预设范围内的情况下，将训练后的初始点云检测模型作为所述中间点云检测模型。
可选地，所述图像映射特征获取单元包括：
点云特征获取子单元，用于调用所述特征提取模块对所述第一样本点云数据进行处理，得到第二维度的点云特征；
图像映射特征获取子单元，用于根据所述第一样本点云数据中每个点的基准位置，将所述第二维度的点云特征映射至二维图像上，得到所述图像映射特征。
可选地，所述初始点云检测模型还包括：特征连接模块，所述特征连接模块位于所述检测模块和所述特征处理模块之间，
所述检测模块包括：位置检测模块、尺寸检测模块、角度检测模块和热力图检测模块，所述第一初始标签包括：物体的初始位置、初始尺寸、旋转角度和物体热力图，
所述第一预测标签生成单元包括：
点云连接特征获取子单元，用于调用所述特征连接模块对所述预设尺寸的点云特征进行特征连接处理，得到点云连接特征；
预测位置获取子单元，用于调用所述位置检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测位置；
预测尺寸获取子单元，用于调用所述尺寸检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测尺寸；
预测角度获取子单元，用于调用所述角度检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测旋转角度；
预测热力图获取子单元，用于调用所述热力图检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测热力图。
可选地，所述损失值计算单元包括：
位置损失值计算子单元，用于根据所述初始位置和所述预测位置，计算得到位置损失值；
尺寸损失值计算子单元，用于根据所述初始尺寸和所述预测尺寸，计算得到尺寸损失值；
角度损失值计算子单元，用于根据所述初始旋转角度和所述预测旋转角度，计算得到角度损失值；
热力图损失值计算子单元，用于根据所述物体热力图和所述预测热力图，计算得到热力图损失值；
模型损失值获取子单元，用于计算所述位置损失值、所述尺寸损失值、所述角度损失值和所述热力图损失值的和值，并将该和值作为所述初始点云检测模型的损失值。
可选地，所述第二样本点云数据包含有标注框的标注中心点和标注类别，且所述第二样本点云数据对应于一个第二初始标签；
所述目标检测模型获取模块包括：
第二预测标签获取单元，用于调用所述中间点云检测模型对所述第二样本点云数据进行处理，得到所述第二样本点云数据对应的第二预测标签；
预测中心点获取单元，用于调用所述辅助网络对所述第二样本点云数据进行处理，得到所述第二样本点云数据的预测框的预测中心点和预测类别；
第一损失值计算单元，用于根据所述第二初始标签和所述第二预测标签，计算得到所述中间点云检测模型的第一损失值；
第二损失值计算单元，用于根据所述标注中心点、所述标注类别、所述预测中心点和所述预测类别，计算得到所述辅助网络的第二损失值；
目标检测模型获取单元，用于在所述第一损失值处于第一预设范围内，且所述第二损失值处于第二预设范围内的情况下，将训练后的不包含辅助网络的中间点云检测模型作为所述目标点云检测模型。
可选地，所述中间点云检测模型包括：特征处理模块，所述特征处理模块由预设个数的卷积模块组成，所述辅助网络与所述卷积模块连接，
所述装置还包括：
模型参数调整模块，用于在所述第二损失值不处于所述第二预设范围内的情况下，基于所述第二损失值调整所述特征处理模块对应的模型参数。
第三方面，本申请实施例提供了一种电子设备，包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任一项所述的点云检测模型训练方法。
第四方面，本申请实施例提供了一种可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述任一项所述的点云检测模型训练方法。
在本申请实施例中，通过获取样本点云数据，样本点云数据包括：第一样本点云数据和第二样本点云数据，基于第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型，根据第二样本点云数据和用于进行类别预测和中心点预测的辅助网络对中间点云检测模型进行训练，得到目标点云检测模型。本申请实施例通过用于进行类别预测和中心点预测的辅助网络，辅助训练得到点云检测模型，从而可以提高点云检测模型的特征提取能力，从而可以提高目标物在位置和分类方面的预测准确度。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种点云检测模型训练方法的步骤流程图；
图2为本申请实施例提供的一种样本点云数据获取方法的步骤流程图；
图3为本申请实施例提供的一种中间点云检测模型训练方法的步骤流程图；
图4为本申请实施例提供的一种目标点云检测模型训练方法的步骤流程图；
图5为本申请实施例提供的一种点云检测模型的结构示意图；
图6为本申请实施例提供的一种三次插值的示意图；
图7为本申请实施例提供的一种点云检测模型训练装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
参照图1，示出了本申请实施例提供的一种点云检测模型训练方法的步骤流程图，如图1所示，该点云检测模型训练方法可以包括如下步骤：
步骤101：获取样本点云数据；所述样本点云数据包括：第一样本点云数据和第二样本点云数据。
本申请实施例可以应用于结合用于进行中心点和类别预测的辅助网络训练点云检测模型的场景中。
在本实施例中，样本点云数据是指用于进行点云检测模型训练的样本数据。在本示例中，点云检测模型的训练过程可以分为两个阶段，第一个阶段为点云检测模型的单独训练阶段，第二个阶段为加入辅助网络辅助训练点云检测模型的阶段。为了区分两个阶段的样本点云数据，所以将样本点云数据划分为第一样本点云数据和第二样本点云数据，其中，“第一”和“第二”仅是用于区分不同模型训练阶段采用的数据，并无实质含义。
在对点云检测模型进行训练时，可以获取样本点云数据。对于样本点云数据的获取流程可以结合图2进行如下详细描述。
参照图2，示出了本申请实施例提供的一种样本点云数据获取方法的步骤流程图，如图2所示，该样本点云数据获取方法可以包括：步骤201、步骤202、步骤203、步骤204和步骤205。
步骤201：获取道路点云数据。
在本实施例中，道路点云数据可以是通过车辆上安装的激光雷达获取的，在实际应用中，还可以采用RSU(Road Side Unit，路侧单元)整合高清摄像头和微波雷达装置，将信息实时上传给云端，以获取道路点云数据。
在本示例中，道路点云数据为由一组无序点组成的集合，每个点的维度为4维，分别为(x,y,z,i)，其中，(x,y,z)为每个点对应的空间位置，i为每个点对应的反射强度值。
在自动驾驶场景中，可以根据车辆上安装的激光雷达获取道路点云数据。
在获取到道路点云数据之后，执行步骤202。
步骤202：对所述道路点云数据进行预处理，去除所述道路点云数据中不符合预设条件的点云数据，得到目标道路点云数据。
目标道路点云数据是指去除了道路点云数据中不符合预设条件的点云数据之后，剩余的点云数据。
在获取到道路点云数据之后，可以对道路点云数据进行预处理，以去除道路点云数据中不符合预设条件的点云数据，以得到目标道路点云数据，具体地，对于点云采集设备采集的原始点云，首先需要进行点云预处理，以获得符合要求的点集。例如，对于原始点云，去除其中nan值(空值)，或者，去除其中数值非常大的点，以过滤点云噪声。点云预处理的具体实施方案可以参见现有技术，本申请实施例中对点云预处理采用的技术方案不做限定，此处亦不再赘述。
在对道路点云数据进行预处理去除道路点云数据中不符合预设条件的点云数据，得到目标道路点云数据之后，执行步骤203。
步骤203：将所述目标道路点云数据划分为若干个点云体素。
点云采集设备(如激光雷达传感器)采集到的点云是三维的不规则空间区域内的点，在生成样本点云数据之前，首先需要从中确定一个规则的空间区域内的点云。例如，通过限定x,y和z方向的坐标范围，取一块大的立方体区域中的点云，其余的舍弃，这个立方体区域的大小可以表示为：[xmax-xmin,ymax-ymin,zmax-zmin]，其中，xmax和xmin分别表示x方向的坐标最大值和最小值，ymax和ymin分别表示y方向的坐标最大值和最小值，zmax和zmin分别表示z方向的坐标最大值和最小值。
进一步的，获取前文确定的大立方体区域中感兴趣区域内的点的数据，便于后续对感兴趣区域内的点云进行点云检测和点云分割。本申请的一些实施例中，感兴趣区域内的点的坐标可以通过(x,y,z)表示，其中，xmin＜x＜xmax,ymin＜y＜ymax，zmin＜z＜zmax，单位是米。
本申请的一些实施例中，感兴趣区域中的点根据点云质量确定。例如，距离车辆较远位置的点云比较稀疏，打到车上的点数较少，可以设置最小点数为一个较小数值(例如：点数值等于5)，然后，根据这个点数找到相应数量的点，并根据一个最大距离的点，确定一个空间区域。本申请的一些实施例中，对于同样的点云质量(如同样的点云采集设备采集的点云)，这个距离可以通过采集点云数据的质量预先确定，在应用过程中不再改变。
感兴趣区域的确定方法可以参见现有技术中点云检测或点云分割方案中采用的确定感兴趣区域的方法，本申请实施例中，对确定感兴趣区域的具体实施方式不做限定。
在获取到感兴趣区域内的点之后，可以将感兴趣区域内的点云数据划分为若干个点云体素，具体地，可以将感兴趣区域内的点分别沿着x轴和y轴方向，划分成若干个柱状的点云体素，z轴方向不做划分。例如，可以将感兴趣区域内的点分别沿着x轴和y轴方向，划分成长方体体素，z轴方向不做划分，划分得到的每个体素的大小可以表示为[xv,yv,zmax-zmin]，其中，xv表示体素沿x轴方向的长度，yv表示体素沿y轴方向的长度，zmax-zmin表示体素沿z轴方向的高度，单位是米。按照前述柱状体素生成方法，对应一个感兴趣区域，将可以划分得到W×H个柱状体素，其中，
W＝(xmax-xmin)/xv，H＝(ymax-ymin)/yv。
以感兴趣区域中x的范围为(0,102.4)，y的范围为(0,50)，z的范围为(0,100)，柱状体素大小为0.2×0.2×100为例,则x轴方向柱状体素个数w等于(102.4-0)/0.2＝512，y轴方向柱状体素个数H等于(50-0)/0.2＝250，则感兴趣区域被划分为512×250个柱状体素。
可以理解地，上述示例仅是为了更好地理解本申请实施例的技术方案而列举的示例，不作为对本实施例的唯一限制。
在将目标道路点云数据划分为若干个点云体素之后，执行步骤204。
步骤204：根据所述点云体素中的每个点的三维坐标、每个点与所述点云体素的中心点的距离、及每个点的反射强度值，生成所述点云体素对应的第一维度的点云特征。
在将目标道路点云数据划分为若干个点云体素之后，可以根据点云体素中每个点的三维坐标，每个点与点云体素的中心点的距离、及每个点对应的反射强度值，生成每个点云体素的第一维度的点云特征，具体地，在每个点云体素中包含一定数量的点(若存在不包含点的点云体素，则舍弃此体素)，可以计算每个点云体素中每个点与点云体素的中心点之间的距离，用xc，yc，zc表示。然后根据每个点的三维坐标(x，y，z)、计算得到的距离(xc，yc，zc)和反射强度值i，即可生成点云体素的第一维度的点云特征，该第一维度即为7维度，生成的点云特征为(x，y，z，i，xc，yc，zc)。
在生成每个点云体素的第一维度的点云特征之后，执行步骤205。
步骤205：将所述第一维度的点云特征作为所述样本点云数据。
在生成每个点云体素的第一维度的点云特征之后，则可以将第一维度的点云特征作为对点云检测模型进行训练的样本点云数据。
在得到样本点云数据之后，执行步骤102。
步骤102：基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型。
初始点云检测模型是指待训练的用于进行点云中目标物检测的模型。
中间点云检测模型是指采用样本点云数据对初始点云检测模型进行第一阶段的训练之后，得到的点云检测模型。
在获取到样本点云数据之后，可以基于第一样本点云数据对初始点云检测模型进行训练，以得到中间点云检测模型。具体地训练过程，可以结合图3进行如下详细描述。
参照图3，示出了本申请实施例提供的一种中间点云检测模型训练方法的步骤流程图，如图3所示，该中间点云检测模型训练方法可以包括：步骤301、步骤302、步骤303、步骤304和步骤305。
步骤301：调用所述特征提取模块对所述第一样本点云数据进行处理，得到所述第一样本点云数据对应的图像映射特征。
在本实施例中，初始点云检测模型可以包括：特征提取模块、特征处理模块和检测模块，如图5所示，特征提取模块为VFE模块，特征处理模块由三个Block模块、CBR模块组成，检测模块由四个检测模块组成，即图5中位于ConCat模块后的四个CBR模块。
第一样本点云数据对应于一个第一初始标签，该第一初始标签包括：第一样本点云数据中标注的物体的初始位置、初始尺寸、旋转角度和物体热力图。
在获取到样本点云数据之后，可以将样本点云数据中的第一样本点云数据输入至初始点云检测模型，然后调用特征提取模块对第一样本点云数据进行处理，以得到第一样本点云数据对应的图像映射特征。具体地，可以调用特征提取模块对第一样本点云数据进行处理，得到第二维度的点云特征，然后，按照第一样本点云数据中每个点的基准位置，将第二维度的点云特征映射至二维图像上，以得到图像映射特征。
在本示例中，特征提取模块由全连接层、归一化层和一维最大池化层MaxPool1D串行连接构建，最后，输出N×D维度的特征，其中D为全连接层输出的维度。其中，D表示每个柱状体素的特征维度数,N为点云体素的个数，输入的第一样本点云数据为N*K*7维度的点云特征，K为点云体素中点的个数，然后将N*K*7维度的点云特征经过特征提取模块的全连接层、归一化层和一维最大池化层MaxPool1D，从而可以得到N*D维的点云特征，即第二维度的点云特征。
基准位置是指点云体素中每个点所对应的原始位置。
在调用特征处理模块对第一维度的点云特征进行处理得到点云体素的第二维度的点云特征之后，可以根据点云体素中每个点的基准位置，将第二维度的点云特征映射至二维图像上，以得到点云体素对应的图像映射特征，具体地，将N*D维的特征映射到图像特征上，由于点云的稀疏性，某些位置将不会有体素相对应，这些位置的特征设置为0，最后形成的特征维度是(W,H,D)，其中，W和H分别表示图像的宽和高。
在调用特征提取模块对第一样本点云数据进行处理，得到第一样本点云数据对应的图像映射特征之后，执行步骤302。
步骤302：调用所述特征处理模块对所述图像映射特征进行特征处理，得到预设尺寸的点云特征。
在得到第一样本点云数据对应的图像映射特征之后，可以调用特征处理模块对图像映射特征进行特征处理，以得到预设尺寸的点云特征，具体地，其中，点云检测模型的主干网络可以采用现有技术中通用的卷积神经网络。例如，本申请的一些实施例中，如图5所示，主干网络进一步包括：三个不同尺度的级联的特征处理模块，其中，每个特征提取模块包括：不同数量的特征映射模块(CBR)，一个上采样层，以及，一个特征映射模块(CBR)。每个特征提取模块包括的特征映射模块(CBR)中的卷积层数量可以分别是3、5、5，特征映射模块(CBR)可以由卷积层、批量归一化层和Relu激活函数级联构成。以输入特征的大小为W×H为例，这三个特征提取模块输出的特征的尺寸分别是(W/2,H/2)，(W/4,H/4)，(W/8,H/8)；所述特征拼接层用于将上述三个特征提取模块输出的特征进行拼接。这样，将大小为图像映射特征输入至主干网络之后，上述三个特征提取模块分别对输入的鸟瞰图特征进行卷积运算、上采样、归一化和激活处理，从而可以得到预设尺寸的点云特征。
在得到预设尺寸的点云特征之后，执行步骤303。
步骤303：调用所述检测模块对所述预设尺寸的点云特征进行处理，生成所述第一样本点云数据的第一预测标签。
在得到预设尺寸的点云特征之后，可以调用检测模块对预设尺寸的点云特征进行处理，以生成第一样本点云数据的第一预测标签。该第一预测标签包括：预测的第一样本点云数据中的物体的预测位置、预测尺寸、预测旋转角度和预测热力图。对于生成第一预测标签的过程可以结合下述具体实现方式进行详细描述。
在本申请的一种具体实现方式中，所述初始点云检测模型还包括：特征连接模块，所述特征连接模块位于所述检测模块和所述特征处理模块之间，所述检测模块包括：位置检测模块、尺寸检测模块、角度检测模块和热力图检测模块，所述第一初始标签包括：物体的初始位置、初始尺寸、旋转角度和物体热力图，上述步骤303可以包括：
子步骤S1：调用所述特征连接模块对所述预设尺寸的点云特征进行特征连接处理，得到点云连接特征。
在本实施例中，初始点云检测模型还可以包括特征连接模块，该特征连接模块位于检测模块和特征处理模块之间，如图5所示，ConCat模块即为特征连接模块。
在得到预设尺寸的点云特征之后，可以调用特征连接模块对预设尺寸的点云特征进行特征连接处理，以得到一个点云连接特征，如图5所示，图像映射特征分别经过三个Block、CBR、上采样可以输出三个预设尺寸的点云特征，ConCat模块可以对这三个预设尺寸的点云特征进行拼接融合，以得到一个点云连接特征。
在得到点云连接特征之后，可以将点云连接特征作为检测模块的输入，分别执行下述子步骤S2、子步骤S3、子步骤S4和子步骤S5。
子步骤S2：调用所述位置检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测位置。
在得到点云连接特征之后，可以调用位置检测模块对点云连接特征进行处理，以预测第一样本点云数据中目标物的预测位置。
子步骤S3：调用所述尺寸检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测尺寸。
在得到点云连接特征之后，可以调用尺寸检测模块对点云连接特征进行处理，以预测第一样本点云数据中目标物的预测尺寸。
子步骤S4：调用所述角度检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测旋转角度。
在得到点云连接特征之后，可以调用角度检测模块对点云连接特征进行处理，以预测第一样本点云数据中目标物的预测旋转角度。
子步骤S5：调用所述热力图检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测热力图。
在得到点云连接特征之后，可以调用热力图检测模块对点云连接特征进行处理，以预测第一样本点云数据中目标物的预测热力图。
如图5所示，通过四个检测模块分别输出预测热力图(heatmap)、预测位置(center)、预测尺寸(size)和预测旋转角度(angle)，预测热力图、预测位置、预测尺寸和预测旋转角度共同构成了第一样本点云数据的第一预测标签。
在得到第一预测标签之后，执行步骤304。
步骤304：根据所述第一初始标签和所述第一预测标签，计算得到所述初始点云检测模型的损失值。
在得到第一预测标签之后，可以根据第一初始标签和第一预测标签，计算得到初始点云检测模型的损失值，在本示例中，初始点云检测模型的损失值即包括：位置损失值、尺寸损失值、角度损失值和热力图损失值，具体地，可以根据初始位置和预测位置，计算得到位置损失值。可以根据初始尺寸和预测尺寸，计算得到尺寸损失值。可以根据初始旋转角度和预测旋转角度，计算得到角度损失值。可以根据物体热力图和预测热力图，计算得到热力图损失值。然后将这四个损失值求和得到初始点云检测模型的损失值。
本申请的一些实施例中，位置预测损失、大小预测损失和旋转角度预测损失可以采用均方误差表达。例如，通过所有所述体素化点云训练样本的目标物位置(如空间位置坐标)的预测值和样本标签中的目标物位置真实值的均方误差，表示多任务神经网络的位置预测损失；通过所有所述体素化点云训练样本的目标物大小(如立体尺寸)的预测值和样本标签中的目标物大小真实值的均方误差，表示多任务神经网络的大小预测损失；通过所有所述体素化点云训练样本的目标物旋转角度的预测值和样本标签中的目标物旋转角度真实值的均方误差，表示多任务神经网络的旋转角度预测损失。
本申请的一些实施例中，所述热力图预测损失采用逐像素的focal loss损失函数(即焦点损失函数)计算。
假设目标物的位置为p,经过下采样计算后得到热力图上的关键点(px,py)，通过高斯核将计算出的数据分布到热力图上。如果多个目标物的高斯核重叠，那么将取最大值，高斯核的公式可以表示为：
Figure BDA0003581781690000171
其中，x和y为待检测图像中枚举的步长块位置，
Figure BDA0003581781690000172
为目标尺度自适应方差，Yxyc为高斯核映射之后的每个关键点的高斯热图数据表示。
然后，采用逐像素的focal loss损失函数计算热力图的损失，公式如下：
Figure BDA0003581781690000173
其中，M表示目标物总数；
Figure BDA0003581781690000174
表示网络预测出的有目标物的可能性，取值范围为(0，1)；yxyc表示是否有目标物的真实值，取值范围为(0，1)；α和β为超参数，取值根据经验设定，例如，可以取α＝2，β＝4。
在计算得到初始点云检测模型的损失值之后，执行步骤305。
步骤305：在所述损失值处于预设范围内的情况下，将训练后的初始点云检测模型作为所述中间点云检测模型。
在计算得到初始点云检测模型的损失值之后，可以判断该损失值是否处于预设范围内。
若该损失值处于预设范围内，则将训练后的初始点云检测模型作为中间点云检测模型，至此即完成了第一阶段的模型训练任务。
在基于第一样本点云数据对初始点云检测模型进行训练得到中间点云检测模型之后，执行步骤103。
步骤103：根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型。
在训练得到中间点云检测模型之后，可以根据第二样本点云数据和用于进行类别预测和中心点预测的辅助网络对中间点云检测模型进行训练，直至模型收敛，以得到目标点云检测模型。由于辅助网络的加入，可以极大地提高点云检测模型的特征提取能力。
对于第二阶段的模型训练过程可以参照图4进行如下详细描述。
参照图4，示出了本申请实施例提供的一种目标点云检测模型训练方法的步骤流程图，如图4所示，该目标点云检测模型训练方法可以包括：步骤401、步骤402、步骤403、步骤404和步骤405。
步骤401：调用所述中间点云检测模型对所述第二样本点云数据进行处理，得到所述第二样本点云数据对应的第二预测标签。
在本实施例中，第二样本点云数据包含有标注框的标注中心点和标注类别，且第二样本点云数据对应于一个第二初始标签，该第二初始标签与上述步骤中提及的第一初始标签相似，本实施例对于该第二初始标签不再加以详细赘述。
在进行第二阶段的模型训练过程中，可以调用中间点云检测模型对第二样本点云数据进行处理，以得到第二样本点云数据对应的第二预测标签，该第二预测标签与上述步骤中提及的第一预测标签相似，本实施例对于该第二预测标签及第二预测标签的获取方式不再加以详细赘述。
步骤402：调用所述辅助网络对所述第二样本点云数据进行处理，得到所述第二样本点云数据的预测框的预测中心点和预测类别。
在进行第二阶段的训练过程中，可以调用辅助网络对第二样本点云数据进行处理，以预测得到第二样本点云数据的预测框的预测中心点和预测类别。
具体地，针对类别的预测可以采用逐点分类监督的方式：将每个block提取的特征上采样，使其大小变为(W,H)。此前记录了图像特征与点云体素的映射关系，通过这个关系将图像特征映射到每个点云体素中的点的中心点上，然后通过三次插值，获取每个原始点对应的一组特征，插值方法如图6所示。分别经过三个block之后，将会得到不同感受野的特征，最后经过由全连接层组成的分类器，为每个点进行分类。在训练的时候，点的类别来自标注的box(即标注框)，当点在box内，那么这个点的类别就是box的类别，如果点不属于任何一个box，那么这个点属于背景。
中心点预测目的在于使主网络输出的检测框的大小与真实框更贴合。在获取到每个点的特征之后，输出的是每个点到box中心点的距离。在训练时，只有在box内的点才会计算到中心点的距离，不在box内的点的距离设置为0。
步骤403：根据所述第二初始标签和所述第二预测标签，计算得到所述中间点云检测模型的第一损失值。
在得到第二预测标签之后，可以根据第二初始标签和第二预测标签计算得到中间点云检测模型的第一损失值。
可以理解地，中间点云检测模型的第一损失值的计算方式与上述步骤中初始点云检测模型的损失值的计算方式相似，具体计算流程可以参照上述初始点云检测模型的损失值的计算流程，本实施例在此不再加以赘述。
步骤404：根据所述标注中心点、所述标注类别、所述预测中心点和所述预测类别，计算得到所述辅助网络的第二损失值。
在得到预测中心点和预测类别之后，可以根据标注中心点、标注类别、预测中心点和预测类别计算得到辅助网络的第二损失值。具体地，可以采用均方误差算法计算得到中心点损失值和类别损失值，然后将这两个损失值相加求和得到第二损失值。
步骤405：在所述第一损失值处于第一预设范围内，且所述第二损失值处于第二预设范围内的情况下，将训练后的不包含辅助网络的中间点云检测模型作为所述目标点云检测模型。
在通过上述步骤得到第一损失值和第二损失值之后，可以判断第一损失值是否处于第一预设范围内，并判断第二损失值是否处于第二预设范围内。
若第一损失值处于第一预设范围内，且第二损失值处于第二预设范围内，则表示中间点云检测模型收敛，此时，可以将训练后的不包含辅助网络的中间点云检测模型作为目标点云检测模型，即在中间点云检测模型收敛之后，则去掉辅助网络，将主网络作为目标点云检测模型。
如图5所示，中间点云检测模型包括：特征处理模块，特征处理模块由预设个数的卷积模块(图5所示为3个，即Block3、Block5、Block5)组成，辅助网络与卷积模块连接，在计算得到的第二损失值未处于第二预设范围内的情况下，可以结合第二损失值对特征处理模块对应的模型参数进行优化调整，并继续进行训练，直至模型收敛。
在上述点云检测模型的训练过程中，通过加入用于进行中心点和类别预测的辅助网络，辅助优化模型参数，可以提高点云检测模型的特征提取能力，可以使预测的类别会更加准确并且位置和大小也会更贴合真正的物体。同时，在训练得到的目标点云检测模型进行预测时，辅助网络会去掉，因此不会增加主网络的耗时，因此这种辅助网络的方法非常实用。
进一步地，本实施例提供的点云检测模型采用热力图的预测方式，舍弃了基于锚点的预测方式，预测的物体角度会更加精确。
本申请实施例提供的点云检测模型训练方法，通过获取样本点云数据，样本点云数据包括：第一样本点云数据和第二样本点云数据，基于第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型，根据第二样本点云数据和用于进行类别预测和中心点预测的辅助网络对中间点云检测模型进行训练，得到目标点云检测模型。本申请实施例通过用于进行类别预测和中心点预测的辅助网络，辅助训练得到点云检测模型，从而可以提高点云检测模型的特征提取能力，从而可以提高目标物在位置和分类方面的预测准确度。
实施例二
参照图7，示出了本申请实施例提供的一种点云检测模型训练装置的结构示意图，如图7所示，该点云检测模型训练装置700可以包括：
样本点云数据获取模块710，用于获取样本点云数据；所述样本点云数据包括：第一样本点云数据和第二样本点云数据；
中间检测模型获取模块720，用于基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型；
目标检测模型获取模块730，用于根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型。
可选地，所述样本点云数据获取模块710包括：
道路点云数据获取单元，用于获取道路点云数据；
目标点云数据获取单元，用于对所述道路点云数据进行预处理，去除所述道路点云数据中不符合预设条件的点云数据，得到目标道路点云数据；
目标点云数据划分单元，用于将所述目标道路点云数据划分为若干个点云体素；
点云特征生成单元，用于根据所述点云体素中的每个点的三维坐标、每个点与所述点云体素的中心点的距离、及每个点的反射强度值，生成所述点云体素对应的第一维度的点云特征；
样本点云数据获取单元，用于将所述第一维度的点云特征作为所述样本点云数据。
可选地，所述初始点云检测模型包括：特征提取模块、特征处理模块和检测模块，所述第一样本点云数据对应于一个第一初始标签；
所述中间检测模型获取模块720包括：
图像映射特征获取单元，用于调用所述特征提取模块对所述第一样本点云数据进行处理，得到所述第一样本点云数据对应的图像映射特征；
点云特征获取单元，用于调用所述特征处理模块对所述图像映射特征进行特征处理，得到预设尺寸的点云特征；
第一预测标签生成单元，用于调用所述检测模块对所述预设尺寸的点云特征进行处理，生成所述第一样本点云数据的第一预测标签；
损失值计算单元，用于根据所述第一初始标签和所述第一预测标签，计算得到所述初始点云检测模型的损失值；
中间检测模型获取单元，用于在所述损失值处于预设范围内的情况下，将训练后的初始点云检测模型作为所述中间点云检测模型。
可选地，所述图像映射特征获取单元包括：
点云特征获取子单元，用于调用所述特征提取模块对所述第一样本点云数据进行处理，得到第二维度的点云特征；
图像映射特征获取子单元，用于根据所述第一样本点云数据中每个点的基准位置，将所述第二维度的点云特征映射至二维图像上，得到所述图像映射特征。
可选地，所述初始点云检测模型还包括：特征连接模块，所述特征连接模块位于所述检测模块和所述特征处理模块之间，
所述检测模块包括：位置检测模块、尺寸检测模块、角度检测模块和热力图检测模块，所述第一初始标签包括：物体的初始位置、初始尺寸、旋转角度和物体热力图，
所述第一预测标签生成单元包括：
点云连接特征获取子单元，用于调用所述特征连接模块对所述预设尺寸的点云特征进行特征连接处理，得到点云连接特征；
预测位置获取子单元，用于调用所述位置检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测位置；
预测尺寸获取子单元，用于调用所述尺寸检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测尺寸；
预测角度获取子单元，用于调用所述角度检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测旋转角度；
预测热力图获取子单元，用于调用所述热力图检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测热力图。
可选地，所述损失值计算单元包括：
位置损失值计算子单元，用于根据所述初始位置和所述预测位置，计算得到位置损失值；
尺寸损失值计算子单元，用于根据所述初始尺寸和所述预测尺寸，计算得到尺寸损失值；
角度损失值计算子单元，用于根据所述初始旋转角度和所述预测旋转角度，计算得到角度损失值；
热力图损失值计算子单元，用于根据所述物体热力图和所述预测热力图，计算得到热力图损失值；
模型损失值获取子单元，用于计算所述位置损失值、所述尺寸损失值、所述角度损失值和所述热力图损失值的和值，并将该和值作为所述初始点云检测模型的损失值。
可选地，所述第二样本点云数据包含有标注框的标注中心点和标注类别，且所述第二样本点云数据对应于一个第二初始标签；
所述目标检测模型获取模块730包括：
第二预测标签获取单元，用于调用所述中间点云检测模型对所述第二样本点云数据进行处理，得到所述第二样本点云数据对应的第二预测标签；
预测中心点获取单元，用于调用所述辅助网络对所述第二样本点云数据进行处理，得到所述第二样本点云数据的预测框的预测中心点和预测类别；
第一损失值计算单元，用于根据所述第二初始标签和所述第二预测标签，计算得到所述中间点云检测模型的第一损失值；
第二损失值计算单元，用于根据所述标注中心点、所述标注类别、所述预测中心点和所述预测类别，计算得到所述辅助网络的第二损失值；
目标检测模型获取单元，用于在所述第一损失值处于第一预设范围内，且所述第二损失值处于第二预设范围内的情况下，将训练后的不包含辅助网络的中间点云检测模型作为所述目标点云检测模型。
可选地，所述中间点云检测模型包括：特征处理模块，所述特征处理模块由预设个数的卷积模块组成，所述辅助网络与所述卷积模块连接，
所述装置还包括：
模型参数调整模块，用于在所述第二损失值不处于所述第二预设范围内的情况下，基于所述第二损失值调整所述特征处理模块对应的模型参数。
本申请实施例提供的点云检测模型训练装置，通过获取样本点云数据，样本点云数据包括：第一样本点云数据和第二样本点云数据，基于第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型，根据第二样本点云数据和用于进行类别预测和中心点预测的辅助网络对中间点云检测模型进行训练，得到目标点云检测模型。本申请实施例通过用于进行类别预测和中心点预测的辅助网络，辅助训练得到点云检测模型，从而可以提高点云检测模型的特征提取能力，从而可以提高目标物在位置和分类方面的预测准确度。
实施例三
本申请实施例提供了一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述点云检测模型训练方法。
图8示出了本发明实施例的一种电子设备800的结构示意图。如图8所示，电子设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标、麦克风等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，可由处理单元801执行。例如，上述任一实施例的方法可被实现为计算机软件程序，其被有形地包含于计算机可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序被加载到RAM803并由CPU801执行时，可以执行上文描述的方法中的一个或多个动作。
实施例四
本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述点云检测模型训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
本领域普通技术人员可以意识到，结合本申请实施例中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种点云检测模型训练方法，其特征在于，包括：
获取样本点云数据；所述样本点云数据包括：第一样本点云数据和第二样本点云数据；
基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型；
根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型。
2.根据权利要求1所述的方法，其特征在于，所述获取样本点云数据，包括：
获取道路点云数据；
对所述道路点云数据进行预处理，去除所述道路点云数据中不符合预设条件的点云数据，得到目标道路点云数据；
将所述目标道路点云数据划分为若干个点云体素；
根据所述点云体素中的每个点的三维坐标、每个点与所述点云体素的中心点的距离、及每个点的反射强度值，生成所述点云体素对应的第一维度的点云特征；
将所述第一维度的点云特征作为所述样本点云数据。
3.根据权利要求1所述的方法，其特征在于，所述初始点云检测模型包括：特征提取模块、特征处理模块和检测模块，所述第一样本点云数据对应于一个第一初始标签；
所述基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型，包括：
调用所述特征提取模块对所述第一样本点云数据进行处理，得到所述第一样本点云数据对应的图像映射特征；
调用所述特征处理模块对所述图像映射特征进行特征处理，得到预设尺寸的点云特征；
调用所述检测模块对所述预设尺寸的点云特征进行处理，生成所述第一样本点云数据的第一预测标签；
根据所述第一初始标签和所述第一预测标签，计算得到所述初始点云检测模型的损失值；
在所述损失值处于预设范围内的情况下，将训练后的初始点云检测模型作为所述中间点云检测模型。
4.根据权利要求3所述的方法，其特征在于，所述调用所述特征提取模块对所述第一样本点云数据进行特征提取，得到所述第一样本点云数据的图像映射特征，包括：
调用所述特征提取模块对所述第一样本点云数据进行处理，得到第二维度的点云特征；
根据所述第一样本点云数据中每个点的基准位置，将所述第二维度的点云特征映射至二维图像上，得到所述图像映射特征。
5.根据权利要求3所述的方法，其特征在于，所述初始点云检测模型还包括：特征连接模块，所述特征连接模块位于所述检测模块和所述特征处理模块之间，
所述检测模块包括：位置检测模块、尺寸检测模块、角度检测模块和热力图检测模块，所述第一初始标签包括：物体的初始位置、初始尺寸、旋转角度和物体热力图，
所述调用所述检测模块对所述预设尺寸的点云特征进行处理，生成所述第一样本点云数据的第一预测标签，包括：
调用所述特征连接模块对所述预设尺寸的点云特征进行特征连接处理，得到点云连接特征；
调用所述位置检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测位置；
调用所述尺寸检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据中目标物的预测尺寸；
调用所述角度检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测旋转角度；
调用所述热力图检测模块对所述点云连接特征进行处理，得到所述第一样本点云数据的预测热力图。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一初始标签和所述第一预测标签，计算得到所述初始点云检测模型的损失值，包括：
根据所述初始位置和所述预测位置，计算得到位置损失值；
根据所述初始尺寸和所述预测尺寸，计算得到尺寸损失值；
根据所述初始旋转角度和所述预测旋转角度，计算得到角度损失值；
根据所述物体热力图和所述预测热力图，计算得到热力图损失值；
计算所述位置损失值、所述尺寸损失值、所述角度损失值和所述热力图损失值的和值，并将该和值作为所述初始点云检测模型的损失值。
7.根据权利要求1所述的方法，其特征在于，所述第二样本点云数据包含有标注框的标注中心点和标注类别，且所述第二样本点云数据对应于一个第二初始标签；
所述根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型，包括：
调用所述中间点云检测模型对所述第二样本点云数据进行处理，得到所述第二样本点云数据对应的第二预测标签；
调用所述辅助网络对所述第二样本点云数据进行处理，得到所述第二样本点云数据的预测框的预测中心点和预测类别；
根据所述第二初始标签和所述第二预测标签，计算得到所述中间点云检测模型的第一损失值；
根据所述标注中心点、所述标注类别、所述预测中心点和所述预测类别，计算得到所述辅助网络的第二损失值；
在所述第一损失值处于第一预设范围内，且所述第二损失值处于第二预设范围内的情况下，将训练后的不包含辅助网络的中间点云检测模型作为所述目标点云检测模型。
8.根据权利要求7所述的方法，其特征在于，所述中间点云检测模型包括：特征处理模块，所述特征处理模块由预设个数的卷积模块组成，所述辅助网络与所述卷积模块连接，
在所述根据所述标注中心点、所述标注类别、所述预测中心点和所述预测类别，计算得到所述辅助网络的第二损失值之后，还包括：
在所述第二损失值不处于所述第二预设范围内的情况下，基于所述第二损失值调整所述特征处理模块对应的模型参数。
9.一种点云检测模型训练装置，其特征在于，包括：
样本点云数据获取模块，用于获取样本点云数据；所述样本点云数据包括：第一样本点云数据和第二样本点云数据；
中间检测模型获取模块，用于基于所述第一样本点云数据对初始点云检测模型进行训练，得到中间点云检测模型；
目标检测模型获取模块，用于根据所述第二样本点云数据和用于进行类别预测和中心点预测的辅助网络，对所述中间点云检测模型进行训练，得到目标点云检测模型。
10.一种电子设备，其特征在于，包括：
存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至8中任一项所述的点云检测模型训练方法。
11.一种可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行权利要求1至8任一项所述的点云检测模型训练方法。
CN202210357107.6A 2022-04-06 2022-04-06 点云检测模型训练方法、装置、电子设备及存储介质 Active CN114820465B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210357107.6A CN114820465B (zh) 2022-04-06 2022-04-06 点云检测模型训练方法、装置、电子设备及存储介质
PCT/CN2022/117359 WO2023193401A1 (zh) 2022-04-06 2022-09-06 点云检测模型训练方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210357107.6A CN114820465B (zh) 2022-04-06 2022-04-06 点云检测模型训练方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN114820465A true CN114820465A (zh) 2022-07-29
CN114820465B CN114820465B (zh) 2024-04-26

Family

ID=82534768

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210357107.6A Active CN114820465B (zh) 2022-04-06 2022-04-06 点云检测模型训练方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN114820465B (zh)
WO (1) WO2023193401A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115880536A (zh) * 2023-02-15 2023-03-31 北京百度网讯科技有限公司 数据处理方法、训练方法、目标对象检测方法及装置
CN116311172A (zh) * 2023-05-17 2023-06-23 九识(苏州)智能科技有限公司 3d目标检测模型的训练方法、装置、设备及存储介质
WO2023193401A1 (zh) * 2022-04-06 2023-10-12 合众新能源汽车股份有限公司 点云检测模型训练方法、装置、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117173692B (zh) * 2023-11-02 2024-02-02 安徽蔚来智驾科技有限公司 3d目标检测方法、电子设备、介质以及驾驶设备
CN117387581B (zh) * 2023-12-12 2024-02-13 北京麦麦趣耕科技有限公司 油樟生物量估算方法、装置以及存储介质
CN117408999B (zh) * 2023-12-13 2024-02-20 安格利(成都)仪器设备有限公司 一种利用点云补全自动检测容器和管道腐蚀坑的方法
CN117826116B (zh) * 2024-03-04 2024-05-14 广东电网有限责任公司中山供电局 双柱水平旋转式隔离开关分合闸状态的确定方法和装置
CN118212368B (zh) * 2024-05-22 2024-08-13 堆知(北京)科技集团有限公司 一种基于不完整轮廓点云数据重构三维图像的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
CN113327279A (zh) * 2021-08-04 2021-08-31 腾讯科技（深圳）有限公司 一种点云数据处理方法、装置、计算机设备及存储介质
CN113850916A (zh) * 2021-09-26 2021-12-28 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质
CN113902897A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 目标检测模型的训练、目标检测方法、装置、设备和介质
WO2022017131A1 (zh) * 2020-07-22 2022-01-27 商汤集团有限公司 点云数据的处理方法、智能行驶控制方法及装置
CN114005110A (zh) * 2021-12-30 2022-02-01 智道网联科技(北京)有限公司 3d检测模型训练方法与装置、3d检测方法与装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734193A (zh) * 2018-03-27 2018-11-02 合肥麟图信息科技有限公司 一种深度学习模型的训练方法及装置
CN111612891B (zh) * 2020-05-22 2023-08-08 北京京东乾石科技有限公司 模型生成方法、点云数据处理方法、装置、设备及介质
CN113553943B (zh) * 2021-07-19 2024-04-30 江苏共知自动化科技有限公司 目标实时检测方法以及装置、存储介质、电子装置
CN113807448A (zh) * 2021-09-23 2021-12-17 广州极飞科技股份有限公司 点云数据分割模型训练方法、装置、存储介质及电子设备
CN114820465B (zh) * 2022-04-06 2024-04-26 合众新能源汽车股份有限公司 点云检测模型训练方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210042929A1 (en) * 2019-01-22 2021-02-11 Institute Of Automation, Chinese Academy Of Sciences Three-dimensional object detection method and system based on weighted channel features of a point cloud
WO2020199834A1 (zh) * 2019-04-03 2020-10-08 腾讯科技（深圳）有限公司 一种物体检测方法、装置、网络设备和存储介质
WO2022017131A1 (zh) * 2020-07-22 2022-01-27 商汤集团有限公司 点云数据的处理方法、智能行驶控制方法及装置
CN113327279A (zh) * 2021-08-04 2021-08-31 腾讯科技（深圳）有限公司 一种点云数据处理方法、装置、计算机设备及存储介质
CN113850916A (zh) * 2021-09-26 2021-12-28 浪潮电子信息产业股份有限公司 模型训练、点云缺失补全方法、装置、设备及介质
CN113902897A (zh) * 2021-09-29 2022-01-07 北京百度网讯科技有限公司 目标检测模型的训练、目标检测方法、装置、设备和介质
CN114005110A (zh) * 2021-12-30 2022-02-01 智道网联科技(北京)有限公司 3d检测模型训练方法与装置、3d检测方法与装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023193401A1 (zh) * 2022-04-06 2023-10-12 合众新能源汽车股份有限公司 点云检测模型训练方法、装置、电子设备及存储介质
CN115880536A (zh) * 2023-02-15 2023-03-31 北京百度网讯科技有限公司 数据处理方法、训练方法、目标对象检测方法及装置
CN115880536B (zh) * 2023-02-15 2023-09-01 北京百度网讯科技有限公司 数据处理方法、训练方法、目标对象检测方法及装置
CN116311172A (zh) * 2023-05-17 2023-06-23 九识(苏州)智能科技有限公司 3d目标检测模型的训练方法、装置、设备及存储介质
CN116311172B (zh) * 2023-05-17 2023-09-22 九识(苏州)智能科技有限公司 3d目标检测模型的训练方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN114820465B (zh) 2024-04-26
WO2023193401A1 (zh) 2023-10-12

Similar Documents

Publication Publication Date Title
CN114820465A (zh) 点云检测模型训练方法、装置、电子设备及存储介质
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN109087510B (zh) 交通监测方法及装置
CN113412505B (zh) 用于对通过探测和测距传感器获得的点云进行有序表示和特征提取的处理单元和方法
CN111862092A (zh) 一种基于深度学习的快递外包装缺陷检测方法及装置
CN109977997B (zh) 基于卷积神经网络快速鲁棒的图像目标检测与分割方法
CN112101278A (zh) 基于k近邻特征提取和深度学习的宅基地点云分类方法
CN110879994A (zh) 基于形状注意力机制的三维目测检测方法、系统、装置
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN108305260B (zh) 一种图像中角点的检测方法、装置及设备
CN111862222B (zh) 一种目标检测方法及电子设备
CN112016569B (zh) 基于注意力机制的目标检测方法、网络、设备和存储介质
CN111709923A (zh) 一种三维物体检测方法、装置、计算机设备和存储介质
CN112906816B (zh) 基于光微分与双通道神经网络的目标检测方法和装置
CN114820463A (zh) 点云检测和分割方法、装置，以及，电子设备
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN111144425B (zh) 检测拍屏图片的方法、装置、电子设备及存储介质
CN114419599A (zh) 障碍物识别方法、装置及电子设备
Qaddour et al. Automatic damaged vehicle estimator using enhanced deep learning algorithm
CN114241448A (zh) 障碍物航向角的获取方法、装置、电子设备及车辆
US20240193788A1 (en) Method, device, computer system for detecting pedestrian based on 3d point clouds
CN112184700B (zh) 基于单目相机的农业无人车障碍物感知方法及装置
CN108764112A (zh) 一种遥感图像目标物检测方法及设备
CN111860623A (zh) 基于改进ssd神经网络的统计树木数量的方法及系统
CN112906519B (zh) 一种车辆类型识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant after: United New Energy Automobile Co.,Ltd.

Address before: 314500 988 Tong Tong Road, Wu Tong Street, Tongxiang, Jiaxing, Zhejiang

Applicant before: Hozon New Energy Automobile Co., Ltd.

GR01 Patent grant
GR01 Patent grant