CN111797711A - 一种模型训练的方法及装置 - Google Patents

一种模型训练的方法及装置 Download PDF

Info

Publication number
CN111797711A
CN111797711A CN202010540961.7A CN202010540961A CN111797711A CN 111797711 A CN111797711 A CN 111797711A CN 202010540961 A CN202010540961 A CN 202010540961A CN 111797711 A CN111797711 A CN 111797711A
Authority
CN
China
Prior art keywords
information
bounding box
boundary
undetermined
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010540961.7A
Other languages
English (en)
Inventor
尹轩宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202010540961.7A priority Critical patent/CN111797711A/zh
Publication of CN111797711A publication Critical patent/CN111797711A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本说明书公开了一种模型训练的方法及装置，通过获取包含实际边界框的位置信息的点云作为训练样本，将训练样本输入待训练检测模型，得到待训练检测模型输出的预测边界框的位置信息以及预测差异信息，预测差异信息为待训练检测模型对预测边界框的位置信息与实际边界框的位置信息之间的差异的预测值，根据预测边界框的位置信息与实际边界框的位置信息，可确定实际差异信息，以实际差异信息最小化以及预测差异信息最小化为训练目标，对待训练检测模型进行训练。通过上述内容，无人设备训练检测模型的方向为预测边界框最准，从而通过训练完成的检测模型，可确定准确的目标检测结果。

Description

一种模型训练的方法及装置
技术领域
本说明书涉及无人驾驶技术领域，尤其涉及一种模型训练的方法及装置。
背景技术
目前，在无人驾驶领域中，为了更好的控制无人设备，通常需要检测环境中的诸如车辆、行人等目标。
无人设备可将通过传感器采集的数据输入预先训练检测模型，通过检测模型确定目标的预测边界框信息。在对检测模型进行训练时，通常会根据目标的实际边界框的信息，对检测模型确定的目标的预测边界框(Bounding Box)进行筛选，选择与实际边界框的交并比(Intersection over Union，IOU)大于预设的IOU阈值的预测边界框，根据选择的预测边界框，对检测模型进行训练，显然，根据上述内容训练完成的检测模型，得到的目标检测结果中，可能无法检测出部分目标。
并且，在根据上述内容得到的预测边界框后，对预测边界框进行非极大值抑制(Non-maximum suppression，NMS)处理，而在NMS处理的过程中，仍旧存在无法检测到部分目标的情况。
因此，如何检测出无人设备周围环境中的目标，成为亟需解决的问题。
发明内容
本说明书实施例提供一种模型训练的方法及装置，以部分解决现有技术存在的上述问题。
本说明书实施例采用下述技术方案：
本说明书提供的一种模型训练的方法，所述方法包括：
获取包含标注信息的点云，作为训练样本，所述标注信息包括实际边界框的位置信息；
将所述训练样本输入待训练检测模型，得到所述待训练检测模型输出的预测边界框的信息，其中，所述预测边界框的信息包括位置信息以及预测差异信息，所述预测差异信息为所述待训练检测模型对所述预测边界框的位置信息与所述实际边界框的位置信息之间的差异的预测值；
根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息；
以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练。
可选地，位置信息包括边界框的中心信息、尺寸信息、角度信息；
根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息，具体包括：
根据所述实际边界框的中心信息、尺寸信息、角度信息以及所述预测边界框的中心信息、尺寸信息、角度信息，确定所述实际差异信息。
可选地，以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练，具体包括：
根据所述实际差异信息以及所述预测差异信息，确定损失；
以所述损失最小化为训练目标，对所述待训练检测模型进行训练，其中，所述损失与所述实际差异信息正相关，所述损失与所述预测差异信息正相关。
可选地，根据所述实际差异信息以及所述预测差异信息，确定损失，具体包括：
确定所述待训练检测模型输出的所述预测边界框中包含预设目标的概率，作为置信度；
根据所述实际差异信息、所述预测差异信息以及所述置信度，确定损失。
可选地，所述方法还包括：
获取激光雷达采集的点云；
将所述点云输入训练完成的检测模型，得到所述检测模型输出的各待定边界框的位置信息以及每个待定边界框中包含预设目标的概率，作为置信度；
根据各待定边界框的置信度，从各待定边界框中选择若干个指定边界框；
根据各待定边界框的位置信息与各指定边界框的位置信息，对各待定边界框进行聚类；
针对各类，根据该类中各待定边界框的位置信息，融合该类中各待定边界框，得到最终边界框的信息；
根据各类中的最终边界框的信息，确定所述点云的目标检测结果。
可选地，根据各待定边界框的置信度，从各待定边界框中选择若干个指定边界框，具体包括：
根据各待定边界框的置信度从大到小的顺序，依次从各待定边界框中选择若干个待定边界框作为所述指定边界框。
可选地，根据各待定边界框的位置信息与各指定边界框的位置信息，对各待定边界框进行聚类，具体包括：
针对各待定边界框，根据该待定边界框的位置信息与各指定边界框的位置信息，分别确定该待定边界框与各指定边界框的交并比(Intersection over Union，IOU)；
根据该待定边界框与各指定边界框的IOU，选择最大IOU的指定边界框，并将选择的指定边界框与该待定边界框进行聚为一类。
可选地，根据该类中各待定边界框的位置信息，融合该类中各待定边界框，得到最终边界框的信息，具体包括：
针对该类中的各待定边界框，根据该待定边界框的置信度，确定该待定边界框的边界框权重，其中，该待定边界框的边界框权重与该待定边界框的置信度正相关；
根据该类中各待定边界框的边界框权重以及位置信息，融合该类中各待定边界框，得到最终边界框的信息。
可选地，根据该类中各待定边界框的位置信息，融合该类中各待定边界框，得到最终边界框的信息，具体包括：
针对该类中的各待定边界框，确定所述检测模型输出的该待定边界框的差异信息，该待定边界框的差异信息为所述检测模型对该待定边界框的位置信息与实际边界框的位置信息之间的差异的预测值；
根据该待定边界框的差异信息，确定该待定边界框的边界框权重，其中，该待定边界框的边界框权重与该待定边界框的差异信息负相关；
根据该类中各待定边界框的边界框权重以及位置信息，融合该类中各待定边界框，得到最终边界框的信息。
本说明书提供一种模型训练的装置，所述装置包括：
第一获取模块，用于获取包含标注信息的点云，作为训练样本，所述标注信息包括实际边界框的位置信息；
第一输入模块，用于将所述训练样本输入待训练检测模型，得到所述待训练检测模型输出的预测边界框的信息，其中，所述预测边界框的信息包括位置信息以及预测差异信息，所述预测差异信息为所述待训练检测模型对所述预测边界框的位置信息与所述实际边界框的位置信息之间的差异的预测值；
第一确定模块，用于根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息；
训练模块，用于以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练。
本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述模型训练的方法。
本说明书提供的一种无人设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述模型训练的方法。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
无人设备可获取包含标注信息的点云作为训练样本，标注信息包括实际边界框的位置信息，将训练样本输入待训练检测模型，得到待训练检测模型输出的预测边界框的信息，其中，预测边界框的信息包括位置信息以及预测差异信息，预测差异信息为待训练检测模型对预测边界框的位置信息与实际边界框的位置信息之间的差异的预测值，根据预测边界框的位置信息与实际边界框的位置信息，可确定实际差异信息，以实际差异信息最小化以及预测差异信息最小化为训练目标，对待训练检测模型进行训练。通过上述内容，无人设备在训练检测模型时，无需对待训练检测模型确定的预测边界框进行筛选，解决了现有技术中无法检测到部分目标的问题，并且，由于训练的方向为预测边界框与实际边界框的差异最小，预测边界框的预测差异信息最小，也即，通过训练完成的检测模型得到的预测边界框的预测差异信息又小又准确，因此，训练的方向为预测边界框最准，从而通过训练完成的检测模型，可确定准确的目标检测的结果，达到准确地检测出无人设备周围环境中的目标的效果。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：
图1为本说明书实施例提供的一种模型训练的方法流程图；
图2为本说明书实施例提供的一种预测边界框的位置信息以及实际边界框的位置信息示意图；
图3为本说明书实施例提供的一种目标检测的方法流程图；
图4为本说明书实施例提供的一种融合各待定边界框得到最终边界框的信息的示意图；
图5为本说明书实施例提供的一种模型训练的装置的结构示意图；
图6为本说明书实施例提供的对应于图1的无人设备示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。
现有技术中，无人设备在检测环境中的诸如车辆、行人等目标时，可通过图像传感器采集图像，并将采集的图像输入预先训练完成的检测模型，通过预先训练完成的检测模型，输出图像中的目标的若干个预测边界框，然后在输出结果的基础上，对预测边界框进行非极大值抑制(Non-maximum suppression，NMS)处理，得到图像中的目标的最终边界框。
无人设备可预先训练检测模型，将包含标注信息的图像作为训练样本，并将训练样本输入待训练检测模型，得到待训练检测模型确定的训练样本中各目标的若干个预测边界框(Bounding Box)，在各预测边界框中，选择若干个指定预测边界框，其中，指定预测边界框与训练样本的实际边界框的IOU大于预设的IOU阈值，并根据目标的指定预测框的信息以及样本的真实边界框的信息，对待训练检测模型进行训练。
显然，现有技术得到的目标的最终边界框的准确度与模型训练过程中设置的IOU阈值有关，若IOU阈值越高，则现有技术训练得到的检测模型确定的目标的最终边界框越精确，但是，对于某些目标而言，若该目标的预测边界框与真实边界框的IOU均不大于IOU阈值，也即，不存在该目标的指定预测边界框，则无法检测出该目标。而若设置的IOU阈值较低，则可通过现有技术训练得到的检测模型确定较多的目标的最终边界框，但是，可能存在确定的目标的最终边界框的精度较低的问题。因此，通过基于上述内容训练完成的检测模型，得到无人设备的目标检测结果，可能对无人设备的控制造成较大的影响。
因此，本说明书提供一种模型训练的方法，以解决现有技术中模型训练时存在的问题。具体的，无人设备可获取包含实际边界框的位置信息的点云，作为训练样本，将训练样本输入待训练检测模型，得到所述待训练检测模型输出的预测边界框的信息，其中，预测边界框的信息包括位置信息以及预测差异信息，预测差异信息为待训练检测模型对预测边界框的位置信息与实际边界框的位置信息之间的差异的预测值，根据预测边界框的位置信息与实际边界框的位置信息，确定实际差异信息，以实际差异信息最小化以及预测差异信息最小化为训练目标，对待训练检测模型进行训练。从而通过本说明书训练完成的检测模型，得到更好的无人设备的目标检测结果，以便于根据目标检测结果，对无人设备进行控制。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1为本说明书实施例提供的一种模型训练的方法流程图，具体可包括以下步骤：
S100：获取包含标注信息的点云，作为训练样本，所述标注信息包括实际边界框的位置信息。
本说明书提供的目标检测的方法可应用于无人设备，在无人设备感知周围环境时，需要检测无人设备周围环境中的目标，也即，无人设备周围环境中的障碍物，其中，无人设备周围环境中的目标可包括车辆、行人等。根据检测的周围环境中的目标信息，控制无人设备后续的运行。
在本说明书中，无人设备可获取包含标注信息的点云作为训练样本。其中，无人设备可获取激光雷达历史采集的点云，由于训练检测模型采用的是有监督训练，因此，可通过现有技术或者其他方式对点云进行标注，得到包含标注信息的点云，将包含标注信息的点云作为训练样本。具体的，对点云进行标注为确定点云中的目标的实际边界框的位置信息。所述实际边界框表征在所述训练样本中标注的目标的最小外接区域。实际边界框的位置信息也即目标在所述训练样本的位置信息。
由于点云中的点云点为空间点，因此，实际边界框的位置信息可包括实际边界框的中心信息(也即，空间坐标信息)、尺寸信息(也即，长、宽、高)、角度信息(也即，实际边界框的旋转角)。在本说明书中，实际边界框的位置信息，除了使用上述内容表示的方式之外，还可以使用实际边界框的八个顶点的空间坐标信息表示。为了便于描述，本说明书中统一使用中心信息、尺寸信息、角度信息表示位置信息。
这里需要说明的是，本说明书中的预测边界框、指定边界框等边界框的位置信息所包括的信息可参考实际边界框的位置信息。
S102：将所述训练样本输入待训练检测模型，得到所述待训练检测模型输出的预测边界框的信息，其中，所述预测边界框的信息包括位置信息以及预测差异信息，所述预测差异信息为所述待训练检测模型对所述预测边界框的位置信息与所述实际边界框的位置信息之间的差异的预测值。
无人设备获取训练样本之后，可将训练样本输入待训练检测模型，可得到待训练检测模型输出的若干个预测边界框的信息以及每个预测边界框中包含预设目标的概率(也即，预测边界框的置信度)。所述待训练检测模型用于预测所述训练样本中的预测边界框的信息以及预测边界框中包含预设目标的概率。通过待训练检测模型，首先可将训练样本进行分组并随机采样，根据随机采样后的点云点的空间位置信息以及反射强度等信息，提取训练样本的特征。然后，可通过若干次2D卷积或者3D卷积得到高分辨率特征图。最后，将得到的高分辨率特征图进行卷积、激活函数等一些列计算处理，得到若干个预测边界框的信息以及每个预测边界框的置信度等。
其中，预测边界框的信息包括预测边界框的位置信息以及预测边界框的预测差异信息。预测边界框的位置信息为待训练检测模型对预测边界框在训练样本中的位置的预测信息。预测边界框的预测差异信息为待训练检测模型对预测边界框的位置信息与实际边界框的位置信息之间的差异信息的预测值。
另外，预测边界框的信息可以表示为预测边界框与预设的锚(achor)的残差信息。当预测边界框的信息为残差时，待训练检测模型的收敛速度较快，可节约较多的计算资源，在确定检测的目标时，根据残差信息与achor的和值即可得到真正的预测边界框。当然，检测模型输出的预测边界框的信息也可以表示为真正的预测边界框的信息，只是在训练的过程中需要消耗较长的时间。
在本说明书中，检测模型可包括Voxelnet模型，当然，检测模型也可以是可确定预测边界框的其他机器学习模型，在此不再一一举例。
在训练完成检测模型后，通过训练完成的检测模型确定目标检测的结果的具体内容，将在下文中详细描述。
S104：根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息。
在通过待训练检测模型得到训练样本的预测边界框的位置信息以及预测差异信息后，无人设备可根据预测边界框的位置信息以及实际边界框的位置信息，确定所述预测边界框的位置信息与所述实际边界框的位置信息的差值，作为所述实际差异信息。因此，所述预测差异信息为所述待训练检测模型对所述实际差异信息的预测值。
具体的，由于上述内容中，位置信息包括边界框的中心信息、尺寸信息、角度信息，因此，无人设备可根据实际边界框的中心信息、尺寸信息、角度信息以及预测边界框的中心信息、尺寸信息、角度信息，确定实际差异信息。
图2为本说明书实施例提供的一种预测边界框的位置信息以及实际边界框的位置信息示意图。
由于残差信息在示意图中不能很好的表示，因此，为便于较为直观的理解，图2中，实线框为实际边界框，虚线框为预测边界框，框线中的黑色方块A为实际边界框的中心位置，框线中的黑色方块B为预测边界框的中心位置。由于差异信息包括中心差异信息、尺寸差异信息以及角度差异信息等，为便于描述，以中心差异信息为例，图2中黑色方块A与黑色方块B之间的距离即为预测边界框与实际边界框的中心差异信息。
S106：以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练。
在确定实际差异信息之后，无人设备可根据实际差异信息以及预测差异信息，确定损失，并以损失最小化为训练目标，对待训练检测模型进行训练，其中，损失与实际差异信息正相关，损失与预测差异信息正相关。
具体的，确定所述实际差异信息与所述预测差异信息的商、所述预测差异信息的对数值、预设的常数以及递推项，确定所述损失。
其中，由于位置信息包括边界框的中心信息、尺寸信息以及角度信息等，因此，本说明书中的损失可为由中心信息、尺寸信息以及角度信息分别确定的损失的和值。为了便于描述，以中心信息为例，中心差异信息可表示为实际边界框的中心点与预测边界框的中心点的欧式距离，还可表示为两点之间的方差。由于点云数据所在的空间为三维空间，故，中心信息可为边界框的中心点的空间坐标信息(x，y，z)，以中心差异信息为方差，x轴方向为例，则损失可如公式(1)所示。
Figure BDA0002538814810000101
其中，xg为实际边界框的x轴方向的中心信息，xe为预测边界框的x轴方向的中心信息，σ为待训练检测模型输出的在x轴方向的中心预测差异信息，C为常数，H(PD(x))为递推项。
这里损失为相对熵损失(也即，KL Loss)，当然还可以使用别的损失，例如，SmoothL1损失等。由于在公式(1)中，分母为预测差异信息，因此，在训练的初始阶段，可能会存在梯度爆炸的问题，为避免梯度爆炸的问题，损失中的预测差异信息可使用公式(2)替换。
α＝log(σ2) (2)
故，由公式(2)替换后的损失可如公式(3)所示。
Figure BDA0002538814810000102
在公式(3)中，损失正比于预测差异信息与实际差异信息的乘积与预测差异信息的和值，也即，损失与预测差异信息正相关，损失与实际差异信息正相关。
另外，由于待训练检测模型还输出预测边界框的置信度，因此，无人设备还可在损失中增加置信度损失，也即，根据实际差异信息、预测差异信息以及置信度损失，确定损失。
具体的，根据所述实际差异信息与所述预测差异信息，确定差异损失，根据预设的置信度损失权重，确定所述置信度损失权重与所述置信度损失的乘积、所述乘积与所述差异损失的和值，作为所述损失。其中，差异损失即为公式(3)所示的损失。
以预测边界框的信息为残差为例，β为预设的置信度损失权重，Lclassification为置信度损失，Lregression为差异损失，则损失L的确定可如公式(4)所示。
L＝β*Lclassification+Lregression (4)
根据实验可知，当β取值为100时，训练检测模型的效果最好，故，损失L的确定可如公式(5)所示。
L＝100*Lclassification+Lregression (5)
其中，Lclassification可使用焦点损失(Focal Loss)或者交叉熵损失。
这里需要说明的是，由于损失与实际差异信息正相关，损失与预测差异信息正相关，因此，只要确定了实际差异信息以及预测差异信息，即可根据损失与实际差异信息的正相关关系、损失与预测差异信息的正相关关系，确定损失。上述内容提供的损失的表达式，只是本说明书举的一个实施例。当以实际差异信息最小化并且以预测差异信息最小化为训练目标时，只要损失满足上述与实际差异信息与预测差异信息之间的关系，即为以损失最小化为训练目标。
在确定实际差异信息之后，无人设备可无需根据预设的IOU阈值，对待训练检测模型确定的预测边界框进行筛选，这样避免现有技术中存在的目标的预测边界框与真实边界框的IOU均不大于IOU阈值的情况，从而解决现有技术中的无法检测出部分目标的问题。无人设备可直接以实际差异信息最小化以及预测差异信息最小化为训练目标，对待训练检测模型进行训练，这样训练的方向为预测边界框与实际边界框的差异最小，预测边界框的预测差异信息最小，也即，预测边界框的预测差异信息又小又准确，因此，通过训练完成的检测模型，可确定准确的目标检测的结果，达到准确地检测出无人设备周围环境中的目标的效果。
现有技术中，无人设备在得到检测模型输出的若干个待定边界框后，可对各待定边界框进行NMS处理，在各待定边界框中，确定最终边界框。
然而，若待定边界框的分布比较稠密时，通过NMS处理待定边界框，会将与当前待定边界框的IOU较大的待定边界框视为冗余，若在实际环境中，两个目标之间的位置较近，NMS有可能检测不出来其中一个目标，也即，NMS处理待定边界框仅适用于目标之间间隔较大的场景。因此，通过NMS处理得到最终边界框也可能存在无法检测到目标的问题。
基于现有技术存在的问题，本说明书根据上述内容训练检测模型，并在检测模型的基础上，提供一种目标检测的方法，以解决现有技术中由于NMS处理待定边界框导致部分目标无法检测出来的问题。具体的，无人设备可获取点云，将点云输入训练完成的检测模型，得到检测模型输出的各待定边界框的位置信息以及每个待定边界框中包含预设目标的概率，作为置信度，根据各待定边界框的置信，从各待定边界框中选择若干个指定边界框，根据各待定边界框的位置信息与各指定边界框的位置信息，对各待定边界框进行聚类，针对各类，根据该类中各待定边界框的位置信息，融合该类中的各待定边界框，得到最终边界框的信息，根据各类中的最终边界框的信息，确定点云的目标检测结果。通过上述内容，无人设备在根据各待定边界框确定点云的目标检测结果时，将各待定边界框进行聚类，并融合同一类中的各待定边界框，得到最终边界框，从而确定点云的目标检测结果，解决现有技术中存在的无法检测目标的问题。
根据本说明书提供的模型训练的方法，无人设备可获取训练样本并预先对检测模型进行训练，具体的训练过程可参见上述步骤S100～步骤S106。这里主要是将训练完成的检测模型进行应用，具体的应用过程可如图3所示。
图3为本说明书实施例提供的一种目标检测的方法流程图，具体可包括以下步骤：
S300：获取激光雷达采集的点云。
本说明书中，无人设备可获取激光雷达采集的点云，根据获取到的点云，确定点云的目标检测结果。其中，本说明书获取的点云可以是激光雷达实时采集到的，也可以是激光雷达预先采集到的。点云中可包括若干个目标对应的点云点。
另外，检测无人设备周围环境中的目标所使用的数据还可以是其他数据，例如，放置在无人设备上的图像传感器所采集的图像数据。当检测无人设备周围环境中的目标所使用的数据为其他数据时，可预先使用包含标注信息的其他数据作为训练样本，对检测模型进行训练，从而根据其他数据，通过检测模型得到其他数据的目标检测结果，关于根据其他数据，通过检测模型得到其他数据的目标检测结果的具体过程，本说明书不再一一赘述。
S302：将所述点云输入训练完成的检测模型，得到所述检测模型输出的各待定边界框的位置信息以及每个待定边界框中包含预设目标的概率，作为置信度。
无人设备在获取点云后，可将点云输入训练完成的检测模型，得到检测模型输出的各待定边界框的信息以及每个待定边界框中包含预设目标的概率(也即，待定边界框的置信度)。其中，待定边界框的信息可包括位置信息以及差异信息，待定边界框的差异信息为检测模型对待定边界框的位置信息与实际边界框的位置信息之间的差异的预测值。这里的实际边界框为点云中的目标理论上的最正确的边界框(也即，相当于训练样本中的标注信息中的实际边界框)，预设目标为所述点云中包含的目标。
S304：根据各待定边界框的置信度，从各待定边界框中选择若干个指定边界框。
S306：根据各待定边界框的位置信息与各指定边界框的位置信息，对各待定边界框进行聚类。
在通过检测模型得到各待定边界框之后，首先，无人设备可根据各待定边界框的置信度，从各待定边界框中选择至少一个指定边界框。具体的，根据各待定边界框的置信度从大到小的顺序，无人设备可依次从各待定边界框中选择若干个待定边界框作为指定边界框。然后，针对各待定边界框，根据该待定边界框的位置信息与各指定边界框的位置信息，分别确定该待定边界框与各指定边界框的交并比IOU。最后，根据该待定边界框与各指定边界框的IOU，选择最大IOU的指定边界框，并将选择的指定边界框与该待定边界框进行聚为一类。
具体的，根据各待定边界框的置信度，在各待定边界框中，选择最大置信度的待定边界框作为指定边界框。针对除指定边界框外的其他各待定边界框，根据该待定边界框的位置信息，确定该待定边界框与指定边界框的IOU，若该待定边界框与指定边界框的IOU大于IOU阈值，则将该待定边界框与指定边界框聚为一类。然后，在剩下未聚类的各待定边界框中，重新选择最大置信度的待定边界框作为指定边界框，直到对各待定边界框聚类为止。
这里需要说明的是，置信度最大的指定边界框为初始聚类条件，其他待定边界框的聚类是依据待定边界框的位置信息与指定边界框的位置信息确定的，也即，其他待定边界框的聚类条件为待定边界框与指定边界框的IOU大于IOU阈值。另外，已经聚为一类的各待定边界框中所包含的目标，可认为同一目标。也即，检测模型输出的点云中的目标的边界框为同一类中的各待定边界框，一个目标的待定边界框为一类中的各待定边界框。
除了上述通过确定各待定边界框与指定边界框的IOU大于预设的IOU阈值的方式对各待定边界框进行聚类之外，还可以通过其他方式对各待定边界框进行聚类。例如，针对各指定边界框，可根据各待定边界框的位置信息以及该指定边界框的位置信息，分别确定各待定边界框与该指定边界框之间的距离，选择与该指定边界框之间的距离小于预设的距离阈值的待定边界框，并将选择的待定边界框与指定边界框聚为一类。也即，只要根据指定边界框的位置信息以及各待定边界框的位置信息，便可将各待定边界框进行聚类，其聚类条件与指定边界框的位置信息、各待定边界框的位置信息有关。本说明书在此不再一一举例了。
S308：针对各类，根据该类中各待定边界框的位置信息，融合该类中各待定边界框，得到最终边界框的信息。
无人设备在对各待定边界框进行聚类后，针对各类，可根据该类中各待定边界框的位置信息，对各待定边界框进行融合，融合后的结果即为最终边界框。
针对该类中的各待定边界框，首先，无人设备可根据该待定边界框的置信度和/或差异信息，确定该待定边界框的边界框权重。
具体的，根据该待定边界框的置信度，无人设备可确定该待定边界框的边界框权重，其中，该待定边界框的边界框权重与该待定边界框的置信度正相关。
无人设备可根据该待定边界框的置信度，通过Soft-NMS的方式，确定该待定边界框的权重。根据待定边界框与指定边界框的IOU，通过线性加权或者高斯加权的方式，重新确定该待定边界框的置信度，重新确定的该待定边界框的置信度即为该边界框的边界框权重。其中，这里的指定边界框即为该类的聚类中心，也即，上述步骤S304与步骤S306中的指定边界框。
当然，由于该待定边界框的边界框权重与该待定边界框的置信度正相关，也即，该待定边界框的置信度越高，该待定边界框的边界框权重越高。只要确定该待定边界框的置信度，便可根据该待定边界框的置信度与该待定边界框的边界框权重正相关的关系，确定该待定边界框的边界框权重。上述内容提供的Soft-NMS的方式，只是本说明书提供的确定待定边界框的边界框权重一种方式，当然还可有其他的满足该待定边界框的置信度与该待定边界框的边界框权重正相关的关系的方式来确定该待定边界框的边界框权重，例如，设置边界框权重补偿值，将边界框权重补偿值与该待定边界框的置信度的乘积作为该边界框的边界框权重。
另外，无人设备还可根据该待定边界框的差异信息，确定该待定边界框的边界框权重，其中，该待定边界框的边界框权重与该待定边界框的差异信息负相关。
无人设备可确定该待定边界框的差异信息的倒数，作为该待定边界框的边界框权重。当然，由于该待定边界框的边界框权重与该待定边界框的差异信息负相关，也即，该待定边界框的差异信息越小，该待定边界框的边界框权重越大。只要确定该待定边界框的差异信息，便可根据该待定边界框的差异信息与该待定边界框的边界框权重负相关的关系，确定该待定边界框的边界框权重。上述内容只是本说明书提供的确定待定边界框的边界框权重一种方式，当然还可有其他的满足该待定边界框的差异信息与该待定边界框的边界框权重负相关的关系的方式来确定该待定边界框的边界框权重，本说明书不再赘述。
由于该待定边界框的边界框权重既可通过该待定边界框的置信度确定，还可通过该待定边界框的差异信息确定，因此，无人设备还可根据该待定边界框的置信度以及差异信息，确定该待定边界框的边界框权重，其中，该待定边界框的边界框权重与该待定边界框的置信度正相关，并且，该待定边界框的边界框权重与该待定边界框的差异信息负相关。
例如，无人设备可确定该待定边界框的置信度与该待定边界框的差异信息的商，作为该待定边界框的边界框权重。只要同时满足该待定边界框的边界框权重与该待定边界框的置信度正相关以及该待定边界框的边界框权重与该待定边界框的差异信息负相关的关系，便可确定该待定边界框的边界框权重。
然后，根据该类中各待定边界框的边界框权重以及位置信息，无人设备可融合该类中各待定边界框，得到最终边界框的信息。
具体的，确定该类中的各待定边界框的边界框权重与位置信息的乘积的和的平均值，作为所述最终边界框的信息。
由于边界框的位置信息包括中心信息、尺寸信息以及角度信息，因此，无人设备可确定该类中的各待定边界框的边界框权重分别与各边界框的中心信息、尺寸信息以及角度信息的乘积的和值的平均值，作为最终边界框的中心信息、尺寸信息以及角度信息。
以x轴方向的中心信息为例，最终边界框的中心信息在x轴方向的值x可如公式(6)所示。
Figure BDA0002538814810000171
其中，pi为该类中第i个待定边界框的置信度，
Figure BDA0002538814810000172
为该类中第i个待定边界框的差异信息在x轴方向的值，xi为该类中第i个待定边界框的中心信息在x轴方向的值。
最终边界框的中心信息在y轴、z轴方向的值、尺寸信息以及角度信息的确定方法均可参考公式(6)。
当然，上述内容只是本说明书提供的根据该类中各待定边界框的边界框权重以及位置信息，无人设备在融合该类中各待定边界框得到最终边界框的信息的一种方式，实际上，若该待定边界框的边界框权重越高，融合得到的最终边界框越接近该待定边界框，除了上述内容之外，还有其他方式可根据该类中各待定边界框的边界框权重以及位置信息融合该类中各待定边界框得到最终边界框的信息，本说明书不再一一赘述。
图4为本说明书实施例提供的一种融合各待定边界框得到最终边界框的信息的示意图。
在图4中，一类中的待定边界框为待定边界框1与待定边界框2，P1为待定边界框1的边界框权重，P2为待定边界框2的边界框权重，对待定边界框1与待定边界框2进行融合，可得到图4中虚线所示的最终边界框。
另外，除了上述确定各待定边界框的边界框权重，并根据待定边界框的边界框权重与待定边界框的位置信息确定最终边界框，从而完成对各待定边界框的融合之外，在本说明书中，还可通过其他方式融合该类中各待定边界框得到最终边界框的信息，例如，可根据该类中各待定边界框的位置信息，确定该类中各待定边界框的最小外接区域，将最小外接区域对应的边界框作为最终边界框，也即，最终边界框中包含了该类中各待定边界框。由此可见，只要确定该类中各待定边界框的位置信息，便可融合各待定边界框，得到最终边界框的信息，其融合条件与该类中各待定边界框的位置信息有关。本说明书在此不再一一举例了。
S310：根据各类中的最终边界框的信息，确定所述点云的目标检测结果。
无人设备在确定各类中的最终边界框的信息之后，可根据最终边界框的信息，确定点云的目标检测结果。当最终边界框的信息为残差时，可根据achor的信息，将achor与残差的和值作为目标的边界框。无人设备可识别最终边界框中包括的目标，以此来确定点云的目标检测结果。
本说明书提供的上述模型训练的方法，具体可应用于使用无人设备进行配送的领域，例如，使用无人设备进行快递、外卖等配送的场景。具体的，在上述的场景中，可使用多个无人设备所构成的无人驾驶车队进行配送。
基于图1所示的模型训练的方法，本说明书实施例还对应提供一种模型训练的装置的结构示意图，如图5所示。
图5为本说明书实施例提供的一种模型训练的装置的结构示意图，所述装置包括：
第一获取模块501，用于获取包含标注信息的点云，作为训练样本，所述标注信息包括实际边界框的位置信息；
第一输入模块502，用于将所述训练样本输入待训练检测模型，得到所述待训练检测模型输出的预测边界框的信息，其中，所述预测边界框的信息包括位置信息以及预测差异信息，所述预测差异信息为所述待训练检测模型对所述预测边界框的位置信息与所述实际边界框的位置信息之间的差异的预测值；
第一确定模块503，用于根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息；
训练模块504，用于以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练。
通过上述内容，无人设备在训练检测模型时，无需对待训练检测模型确定的预测边界框进行筛选，解决了现有技术中无法检测到部分目标的问题，并且，由于训练的方向为预测边界框与实际边界框的差异最小，预测边界框的预测差异信息最小，也即，通过训练完成的检测模型得到的预测边界框的预测差异信息又小又准确，因此，训练的方向为预测边界框最准，从而通过训练完成的检测模型，可确定准确的目标检测的结果，达到准确地检测出无人设备周围环境中的目标的效果。
可选地，位置信息包括边界框的中心信息、尺寸信息、角度信息；
所述第一确定模块503具体用于，根据所述实际边界框的中心信息、尺寸信息、角度信息以及所述预测边界框的中心信息、尺寸信息、角度信息，确定所述实际差异信息。
可选地，所述训练模块504具体用于，根据所述实际差异信息以及所述预测差异信息，确定损失；以所述损失最小化为训练目标，对所述待训练检测模型进行训练，其中，所述损失与所述实际差异信息正相关，所述损失与所述预测差异信息正相关。
可选地，所述训练模块504具体用于，确定所述待训练检测模型输出的所述预测边界框中包含预设目标的概率，作为置信度；根据所述实际差异信息、所述预测差异信息以及所述置信度，确定损失。
无人设备可无需根据预设的IOU阈值，对待训练检测模型确定的预测边界框进行筛选，这样避免现有技术中存在的目标的预测边界框与真实边界框的IOU均不大于IOU阈值的情况，从而解决现有技术中的无法检测出部分目标的问题。无人设备可直接以实际差异信息最小化以及预测差异信息最小化为训练目标，对待训练检测模型进行训练，这样训练的方向为预测边界框与实际边界框的差异最小，预测边界框的预测差异信息最小，也即，预测边界框的预测差异信息又小又准确，因此，通过训练完成的检测模型，可确定准确的目标检测的结果，达到准确地检测出无人设备周围环境中的目标的效果。
本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述内容提供的模型训练的方法。
基于上述内容所示的模型训练的方法，本说明书实施例还提出了图6所示的无人设备的示意结构图。如图6，在硬件层面，该无人设备包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所述的模型训练的方法。
当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware DescriptionLanguage，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (12)

1.一种模型训练的方法，其特征在于，所述方法包括：
获取包含标注信息的点云，作为训练样本，所述标注信息包括实际边界框的位置信息；
将所述训练样本输入待训练检测模型，得到所述待训练检测模型输出的预测边界框的信息，其中，所述预测边界框的信息包括位置信息以及预测差异信息，所述预测差异信息为所述待训练检测模型对所述预测边界框的位置信息与所述实际边界框的位置信息之间的差异的预测值；
根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息；
以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练。
2.如权利要求1所述的方法，其特征在于，位置信息包括边界框的中心信息、尺寸信息、角度信息；
根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息，具体包括：
根据所述实际边界框的中心信息、尺寸信息、角度信息以及所述预测边界框的中心信息、尺寸信息、角度信息，确定所述实际差异信息。
3.如权利要求1所述的方法，其特征在于，以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练，具体包括：
根据所述实际差异信息以及所述预测差异信息，确定损失；
以所述损失最小化为训练目标，对所述待训练检测模型进行训练，其中，所述损失与所述实际差异信息正相关，所述损失与所述预测差异信息正相关。
4.如权利要求3所述的方法，其特征在于，根据所述实际差异信息以及所述预测差异信息，确定损失，具体包括：
确定所述待训练检测模型输出的所述预测边界框中包含预设目标的概率，作为置信度；
根据所述实际差异信息、所述预测差异信息以及所述置信度，确定损失。
5.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取激光雷达采集的点云；
将所述点云输入训练完成的检测模型，得到所述检测模型输出的各待定边界框的位置信息以及每个待定边界框中包含预设目标的概率，作为置信度；
根据各待定边界框的置信度，从各待定边界框中选择若干个指定边界框；
根据各待定边界框的位置信息与各指定边界框的位置信息，对各待定边界框进行聚类；
针对各类，根据该类中各待定边界框的位置信息，融合该类中各待定边界框，得到最终边界框的信息；
根据各类中的最终边界框的信息，确定所述点云的目标检测结果。
6.如权利要求5所述的方法，其特征在于，根据各待定边界框的置信度，从各待定边界框中选择若干个指定边界框，具体包括：
根据各待定边界框的置信度从大到小的顺序，依次从各待定边界框中选择若干个待定边界框作为所述指定边界框。
7.如权利要求5所述的方法，其特征在于，根据各待定边界框的位置信息与各指定边界框的位置信息，对各待定边界框进行聚类，具体包括：
针对各待定边界框，根据该待定边界框的位置信息与各指定边界框的位置信息，分别确定该待定边界框与各指定边界框的交并比IOU；
根据该待定边界框与各指定边界框的IOU，选择最大IOU的指定边界框，并将选择的指定边界框与该待定边界框进行聚为一类。
8.如权利要求5所述的方法，其特征在于，根据该类中各待定边界框的位置信息，融合该类中各待定边界框，得到最终边界框的信息，具体包括：
针对该类中的各待定边界框，根据该待定边界框的置信度，确定该待定边界框的边界框权重，其中，该待定边界框的边界框权重与该待定边界框的置信度正相关；
根据该类中各待定边界框的边界框权重以及位置信息，融合该类中各待定边界框，得到最终边界框的信息。
9.如权利要求5所述的方法，其特征在于，根据该类中各待定边界框的位置信息，融合该类中各待定边界框，得到最终边界框的信息，具体包括：
针对该类中的各待定边界框，确定所述检测模型输出的该待定边界框的差异信息，该待定边界框的差异信息为所述检测模型对该待定边界框的位置信息与实际边界框的位置信息之间的差异的预测值；
根据该待定边界框的差异信息，确定该待定边界框的边界框权重，其中，该待定边界框的边界框权重与该待定边界框的差异信息负相关；
根据该类中各待定边界框的边界框权重以及位置信息，融合该类中各待定边界框，得到最终边界框的信息。
10.一种模型训练的装置，其特征在于，所述装置包括：
第一获取模块，用于获取包含标注信息的点云，作为训练样本，所述标注信息包括实际边界框的位置信息；
第一输入模块，用于将所述训练样本输入待训练检测模型，得到所述待训练检测模型输出的预测边界框的信息，其中，所述预测边界框的信息包括位置信息以及预测差异信息，所述预测差异信息为所述待训练检测模型对所述预测边界框的位置信息与所述实际边界框的位置信息之间的差异的预测值；
第一确定模块，用于根据所述预测边界框的位置信息与所述实际边界框的位置信息，确定实际差异信息；
训练模块，用于以所述实际差异信息最小化以及所述预测差异信息最小化为训练目标，对所述待训练检测模型进行训练。
11.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-9任一所述的方法。
12.一种无人设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1-9任一所述的方法。
CN202010540961.7A 2020-06-15 2020-06-15 一种模型训练的方法及装置 Withdrawn CN111797711A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010540961.7A CN111797711A (zh) 2020-06-15 2020-06-15 一种模型训练的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010540961.7A CN111797711A (zh) 2020-06-15 2020-06-15 一种模型训练的方法及装置

Publications (1)

Publication Number Publication Date
CN111797711A true CN111797711A (zh) 2020-10-20

Family

ID=72803317

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010540961.7A Withdrawn CN111797711A (zh) 2020-06-15 2020-06-15 一种模型训练的方法及装置

Country Status (1)

Country Link
CN (1) CN111797711A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011514A (zh) * 2021-03-29 2021-06-22 吉林大学 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN113657382A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN115035192A (zh) * 2022-06-21 2022-09-09 北京远舢智能科技有限公司 一种烟叶布料车和传送带的位置确定方法及装置
CN113642620B (zh) * 2021-07-30 2023-04-07 北京三快在线科技有限公司 一种障碍物检测模型训练以及障碍物检测方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117831A (zh) * 2018-09-30 2019-01-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN109409517A (zh) * 2018-09-30 2019-03-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN111241964A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109117831A (zh) * 2018-09-30 2019-01-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN109409517A (zh) * 2018-09-30 2019-03-01 北京字节跳动网络技术有限公司 物体检测网络的训练方法和装置
CN111241964A (zh) * 2020-01-06 2020-06-05 北京三快在线科技有限公司 目标检测模型的训练方法、装置、电子设备和存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011514A (zh) * 2021-03-29 2021-06-22 吉林大学 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN113011514B (zh) * 2021-03-29 2022-01-14 吉林大学 基于双线性池化应用于ct影像的颅内出血亚类型分类算法
CN113642620B (zh) * 2021-07-30 2023-04-07 北京三快在线科技有限公司 一种障碍物检测模型训练以及障碍物检测方法及装置
CN113657382A (zh) * 2021-08-24 2021-11-16 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN113657382B (zh) * 2021-08-24 2024-03-01 凌云光技术股份有限公司 一种目标检测任务中最佳检测模型的选取方法及装置
CN115035192A (zh) * 2022-06-21 2022-09-09 北京远舢智能科技有限公司 一种烟叶布料车和传送带的位置确定方法及装置
CN115035192B (zh) * 2022-06-21 2023-04-14 北京远舢智能科技有限公司 一种烟叶布料车和传送带的位置确定方法及装置

Similar Documents

Publication Publication Date Title
CN111797711A (zh) 一种模型训练的方法及装置
CN112015847B (zh) 一种障碍物的轨迹预测方法、装置、存储介质及电子设备
CN111639682A (zh) 基于点云数据的地面分割方法及装置
CN111311709A (zh) 一种生成高精地图的方法及装置
CN112036462A (zh) 一种模型训练以及目标检测的方法及装置
CN111062372B (zh) 一种预测障碍物轨迹的方法及装置
CN113887608B (zh) 一种模型训练的方法、图像检测的方法及装置
CN111353417A (zh) 一种目标检测的方法及装置
CN115600157B (zh) 一种数据处理的方法、装置、存储介质及电子设备
CN111127551A (zh) 一种目标检测的方法及装置
CN112327864A (zh) 一种无人驾驶设备的控制方法及控制装置
CN117197781B (zh) 一种交通标志识别的方法、装置、存储介质及电子设备
CN112990099B (zh) 一种车道线检测的方法以及装置
CN112818968A (zh) 一种目标物分类方法及装置
CN112883871B (zh) 一种模型训练以及确定无人车运动策略方法及装置
CN114440903A (zh) 一种高精地图构建方法、装置、存储介质及电子设备
CN112365513A (zh) 一种模型训练的方法及装置
CN114972492A (zh) 一种基于鸟瞰图的位姿确定方法、设备和计算机存储介质
CN112712009A (zh) 一种障碍物检测的方法及装置
CN115880685A (zh) 一种基于votenet模型的三维目标检测方法和系统
CN113887351B (zh) 一种用于无人驾驶的障碍物检测方法及障碍物检测装置
CN113642616B (zh) 一种基于环境数据的训练样本的生成方法及装置
CN114332189A (zh) 一种高精地图构建方法、装置、存储介质及电子设备
CN114187355A (zh) 一种图像标定方法及装置
CN112734851B (zh) 一种位姿确定的方法以及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201020