CN113139559B - 一种目标检测模型的训练方法、数据的标注方法和装置 - Google Patents

Abstract

本发明实施例公开了一种目标检测模型的训练方法、数据的标注方法和装置。该方法包括：获取标注有预设物体目标类别和目标位置的样本数据；将样本数据输入初始检测模型，得到预设物体的预测位置；将目标位置和预测位置进行比较，并根据比较结果调整所述初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型；其中，目标检测模型的损失函数包括分类部分和回归部分，回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。通过采用上述方案，有效减少了标注人员修改辅助框的时间，提升了连续帧数据的标注效率。

Description

一种目标检测模型的训练方法、数据的标注方法和装置

技术领域

本发明涉及自动驾驶技术领域，具体涉及一种目标检测模型的训练方法、数据的标注方法和装置。

背景技术

在自动驾驶领域，感知模块是以多种传感器的数据，以及高精度地图的信息作为输入，经过一系列的计算及处理，对自动驾驶车的周围的环境精确感知。自动驾驶感知算法目前主流采用深度学习方法，目前深度学习目标检测模型的训练仍然需要依赖大规模的人工标注数据，所以利用较少的成本获得更多的标注数据，是一个亟待解决的问题。

目前，深度学习目标检测模型的损失函数一般包括分类和回归两部分，其中回归部分一般采用位置、尺寸、朝向角等物理量预测值和真值差值的L1、L2、Smooth L1等形式的损失函数，以及预测框与真实框的IoU(Intersection over Union，交并比)、GIoU、DIoU等形式的损失函数，这些损失函数都可以使目标检测模型预测值尽可能接近真实值。然而，目前采用的损失函数都只考虑了预测框和真实框位置的准确性，没有考虑辅助标注应用时的具体需求，即尽可能的减少标注员修改辅助框的次数。

发明内容

本发明实施例公开一种目标检测模型的训练方法、数据的标注方法和装置，有效减少了标注人员修改辅助框的时间，提升了连续帧数据的标注效率，降低了标注成本。

第一方面，本发明实施例公开了一种目标检测模型的训练方法，该方法包括：

获取标注有预设物体目标类别和目标位置的样本数据；

将所述样本数据输入初始检测模型，得到所述预设物体的预测位置；

将所述目标位置和所述预测位置进行比较，并根据比较结果调整所述初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型；

其中，所述目标检测模型的损失函数包括分类部分和回归部分，所述回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

可选的，所述归一化误差是将所述预测位置与所述目标位置作差后的绝对值，以所述目标位置为准进行归一化得到的。

第二方面，本发明实施例还提供了一种连续帧数据的标注方法，应用于云端，该方法包括：

获取标注任务并读取连续帧数据，所述标注任务中包括待标注物体的类别和位置；

基于预设目标检测模型，并按照标注任务对读取到的连续帧数据中的每一帧数据进行目标检测，将得到的每帧数据中待标注物体的类别和位置作为检测结果；

根据所述检测结果和各帧数据间的时序信息，建立各帧数据中同一个待标注物体间的关联关系，其中，所述关联关系作为所述连续帧数据的预标注结果，用于在标注端进行修正；

其中，所述预设目标检测模型建立了待标注物体与其在每一帧数据中的类别、位置的关联关系，所述预设目标检测模型在训练时，所采用的损失函数回归部分的值为：待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

可选的，所述方法还包括：

基于机器学习方法，对所述检测结果进行修正，使得同一个待标注物体具有相同的尺寸，其中，所述机器学习方法包括卡尔曼滤波算法。

可选的，所述标注任务中还包括输出文件格式；

相应的，所述方法还包括：

将所述预标注结果按照所述输出文件格式生成可扩展的预标注文件，并将所述预标注文件和所述连续帧数据发送到所述标注端。

可选的，所述连续帧数据为图片或激光雷达点云。

第三方面，本发明实施例还提供了一种连续帧数据的标注方法，应用于标注端，该方法包括：

获取云端发送的连续帧数据的预标注结果；

如果接收到对所述预标注结果的修正指令，则根据所述修正指令对所述标注结果进行修正，并将修正后的标注结果作为所述连续帧数据的目标标注结果；

其中，所述预标注结果是：云端在读取连续帧数据后，基于预设目标检测模型，并按照标注任务对每帧数据中待标注物体进行目标检测得到的检测结果和各帧数据间的时序信息，建立的各帧数据中同一个待标注物体间的关联关系；其中，所述检测结果包括待标注物体的类别和位置，所述预设目标检测模型是根据所述的目标检测模型的训练方法生成的。

第四方面，本发明实施例还公开了一种目标检测模型的训练装置，该装置包括：

样本数据获取模块，被配置为获取标注有预设待标注物体目标类别和目标位置的样本数据；

预测位置确定模块，被配置为将所述样本数据输入初始检测模型，得到所述预设物体的预测位置；

目标检测模型确定模块，被配置为将所述目标位置和所述预测位置进行比较，并根据比较结果调整所述初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型；

其中，所述目标检测模型的损失函数包括分类部分和回归部分，所述回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

可选的，所述归一化误差是将所述预测位置与所述目标位置作差后的绝对值，以所述目标位置为准进行归一化得到的。

第五方面，本发明实施例还提供了一种连续帧数据的标注装置，应用于云端，该装置包括：

连续帧数据获取模块，被配置为获取标注任务并读取连续帧数据，所述标注任务中包括待标注物体的类别和位置；

检测结果确定模块，被配置为基于预设目标检测模型，并按照标注任务对读取到的连续帧数据中的每一帧数据进行目标检测，将得到的每帧数据中待标注物体的类别和位置作为检测结果；

关联关系建立模块，被配置为根据所述检测结果和各帧数据间的时序信息，建立各帧数据中同一个待标注物体间的关联关系，其中，所述关联关系作为所述连续帧数据的预标注结果，用于在标注端进行修正；

其中，所述预设目标检测模型建立了待标注物体与其在每一帧数据中的类别、位置的关联关系，所述预设目标检测模型在训练时，所采用的损失函数回归部分的值为：待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

可选的，所述装置还包括：

修正模块，被配置为基于机器学习方法，对所述检测结果进行修正，使得同一个待标注物体具有相同的尺寸，其中，所述机器学习方法包括卡尔曼滤波算法。

可选的，所述标注任务中还包括输出文件格式；

相应的，所述装置还包括：

文件生成模块，被配置为将所述预标注结果按照所述输出文件格式生成可扩展的预标注文件，并将所述预标注文件和所述连续帧数据发送到所述标注端。

第六方面，本发明实施例还提供了一种连续帧数据的标注装置，应用于标注端，该装置包括：

预标注结果获取模块，被配置为获取云端发送的连续帧数据的预标注结果；

修正模块，被配置为如果接收到对所述预标注结果的修正指令，则根据所述修正指令对所述标注结果进行修正，并将修正后的标注结果作为所述连续帧数据的目标标注结果；

其中，所述预标注结果是：云端在读取连续帧数据后，基于预设目标检测模型，并按照标注任务对每帧数据中待标注物体进行目标检测得到的检测结果和各帧数据间的时序信息，建立的各帧数据中同一个待标注物体间的关联关系；其中，所述检测结果包括待标注物体的类别和位置，所述预设目标检测模型是根据本发明任意实施例所提供的目标检测模型的训练方法生成的。

第七方面，本发明实施例还提供了一种设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的目标检测模型的训练方法的部分或全部步骤。

第八方面，本发明实时还提供了一种云端服务器，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的应用于云端的连续帧数据的标注方法的部分或全部步骤。

第九方面，本发明实时还提供了一种标注终端，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法的部分或全部步骤。

第十方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的目标检测模型的训练方法的部分或全部步骤的指令。

第十一方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于云端的连续帧数据的标注方法的部分或全部步骤的指令。

第十二方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法的部分或全部步骤的指令。

第十三方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的目标检测模型的训练方法的部分或全部步骤。

第十四方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的应用于云端的连续帧数据的标注方法的部分或全部步骤。

第十五方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法的部分或全部步骤。

本实施例提供的技术方案，通过获取标注有预设物体目标类别和目标位置的样本数据，将样本数据输入初始检测模型，可得到预设物体的预测位置。将目标位置和预测位置进行比较，并根据比较结果调整初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型。该目标检测模型的损失函数包括分类部分和回归部分。相对于传统的目标检测模型，本实施中的目标检测模型的回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。这样设置，可通过调整损失函数不同项的权重，使得损失函数的结果中只有比较少的项有一些偏差，其他项均接近0，而非每一项都有偏差，从而可在连续帧数据的标注阶段减少标注员调整辅助框的次数和时间，提高了标注效率。

本发明的发明点包括：

1、目标检测模型建立了待标注物体与其在每一帧数据中的类别、位置的关联关系。该模型在训练过程中所采用的损失函数为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。这样设置，减少了标注人员调整辅助框的次数和时间，提升了标注效率，是本发明的发明点之一。

2、在现有技术的基础上，在连续帧数据在标注端进行标注之前，本发明实施例的技术方案在云端增加了对单帧数据进行目标检测以及对连续帧数据进行关联等辅助标注环节。云端在进行辅助标注后得到的预标注结果可作为后续标注人员审核的基础，标注人员可在此基础上通过标注端进行调整和修正，解决了现有技术中人工标注效率低的问题，是本发明的发明点之一。

3、在标注端增加一些辅助功能按键，标注人员可通过这些功能按键触发修正指令，以为标注人员调整预标注文件提供方便。本发明实施例采用将云端和标注端二者相互配合的标注模式，有效提高了标注效率，降低了标注成本，是本发明的发明点之一。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种目标检测模型的训练方法的流程示意图；

图2是本发明实施例提供的一种应用于云端的连续帧数据的标注方法的流程示意图；

图3是本发明实施例提供的一种应用于标注端连续帧数据的标注方法的流程示意图；

图4是本发明实施例提供的一种目标检测模型的训练装置的结构示意图；

图5是本发明实施例提供的一种应用于云端的连续帧数据的标注装置的结构示意图；

图6是本发明实施例提供的一种应用于标注端的连续帧数据的标注装置的结构示意图；

图7是本发明实施例提供的一种设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

请参阅图1，图1是本发明实施例提供的一种目标检测模型的训练方法的流程示意图。该目标检测模型主要应用于云端对连续帧数据进行辅助标注。该方法可由目标检测模型的训练装置来执行，该装置可通过软件和/或硬件的方式实现，本发明实施例不做限定。如图1所示，本实施例提供的方法具体包括：

110、获取标注有预设物体目标类别和目标位置的样本数据。

其中，样本数据为用于训练目标检测模型的样本图像。本申请实施例中的训练是一种有监督的训练，因而所用的所有样本数据都需具有相应标注，即样本数据中的每一个预设物体都需要有对应的目标类别和目标位置标注。

120、将样本数据输入初始检测模型，得到预设物体的预测位置。

其中，初始检测模型可以为深度神经网络模型，例如，PointRCNN(Regions withConvolution Neural Network，用于原始点云的基于区域的卷积神经网络)。

示例性的，待标注物体的位置可通过长方体这一辅助框来标定，这个长方体的具体位置信息可通过长方体的中心的坐标(x,y,z)、长方体的长宽高(w,h,d)和长方体的朝向角θ来表示，即目标检测模型回归的位置是x、y、z、w、h、d和θ这七个变量。这些变量可通过辅助框的形式来表示。

130、将目标位置和预测位置进行比较，并根据比较结果调整初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型。

需要说明的是，本实施例所要训练的目标检测模型，主要是对预设物体的类别和位置进行识别。其中，预设物体的类别是否为标注任务中需要标注的物体可通过分类的方式实现，预设物体的位置可通过回归的方式确定。相应的，该目标检测模型在其训练的过程中所采用的损失函数一般也包括分类和回归两部分。其中，所采用的损失函数的回归部分的值为：待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差是将预测位置与目标位置作差后的绝对值，以目标位置为准进行归一化得到的。该归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。这样设置的原因如下：

现有技术中，目标检测模型的回归部分一般采用位置(x,y,z)、尺寸(w,h,d)和朝向角(θ)等物理量的预测值和真值差值L1、L2、Smooth L1等形式的损失函数，以及预测框与真实框的IoU(Intersection over Union，交并比)、GIoU(Generalized Intersectionover Union，泛化的交并比)、DIoU等形式的损失函数，这些损失函数都可以使目标检测模型预测值尽可能接近真实值。但是，目前采用的损失函数一般都只考虑预测框和真实框位置的准确性，没有考虑标注时的具体需求，即尽可能的减少标注人员修改辅助框的次数。而本实施例所提供的目标检测模型在训练过程中所采用的损失函数，可通过调整损失函数不同项的权重，使得损失函数的结果中只有比较少的项有一些偏差，其他项均接近0，而非每一项都有偏差。这样设置减少了标注员调整辅助框的次数和时间，提高了标注效率。

本实施例提供的技术方案，通过获取标注有预设物体目标类别和目标位置的样本数据，将样本数据输入初始检测模型，可得到预设物体的预测位置。将目标位置和预测位置进行比较，并根据比较结果调整初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型。该目标检测模型的损失函数包括分类部分和回归部分。相对于传统的目标检测模型，本实施中的目标检测模型的回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。这样设置，可通过调整损失函数不同项的权重，使得损失函数的结果中只有比较少的项有一些偏差，其他项均接近0，而非每一项都有偏差，从而可在连续帧数据的标注阶段减少了标注员调整辅助框的次数和时间，提高了标注效率。

实施例二

请参阅图2，图2是本发明实施例提供的一种应用于云端的连续帧数据的标注方法的流程示意图。本实施例在上述实施例的基础上进行了优化。如图2所示，该方法包括：

210、获取标注任务并读取连续帧数据，该标注任务中包括待标注物体的类别和位置。

其中，标注任务作为标注过程的先验信息，包括待标注物体(例如车辆、行人等)、待标注物体的类别(例如三轮车、公交车或者小轿车等)、预设尺寸和标注文件的输出文件格式等。标注任务可通过标注人员按照实际需求修改云端模型的参数来设定，或者也可以通过标注人员将其从标注端发送到云端。由于云端不受计算机资源的限制，因此可利用云端的深度学习算法对连续帧数据进行预标注，以减少后续人工标注的工作量，提升工作效率。

本实施例中，连续帧数据是具有时间先后顺序、等间隔的若干同类型数据的序列，可以为图片或3D激光雷达点云等。特别是对于3D激光雷达点云，在利用现有标注技术对其进行标注的过程中，标注速度较慢、成本较高。本实施例提供的标注系统可作为3D激光雷达点云的辅助标注环节。由于云端不受计算机资源的限制，因此通过在云端对其进行预标注，以减少人工标注员的标注工作量，降低标注成本，提高标注效率。

220、基于预设目标检测模型，并按照标注任务对读取到的连续帧数据中的每一帧数据进行目标检测，将得到的每帧数据中待标注物体的类别和位置作为检测结果。

示例性的，云端对连续帧数据中的每一帧数据进行目标检测，可采用预设目标检测模型来实现，该预设目标检测模型建立了待标注物体与其在每一帧数据中的类别、位置的关联关系。通过预设目标检测模型，可得到待标注物体的类别和位置。

示例性的，预设目标检测模型的训练过程可参见上述实施例的内容，本实施例在此不作赘述。该预设目标检测模型可以为PointRCNN(Regions with Convolution NeuralNetwork，用于原始点云的基于区域的卷积神经网络)，或者也可以利用多种模型的输出结果进行融合处理，本实施例在此不作具体限定。本实施例中，待标注物体的位置可通过长方体这一辅助框来标定，这个长方体的具体位置信息可通过长方体的中心的坐标(x,y,z)、长方体的长宽高(w,h,d)和长方体的朝向角θ来表示，即预设目标检测模型回归的待标注物体的位置是x、y、z、w、h、d和θ这七个变量。这些变量可通过辅助框的形式来表示。

230、根据检测结果和各帧数据间的时序信息，建立各帧数据中同一个待标注物体间的关联关系，其中，所述关联关系作为所述连续帧数据的预标注结果，用于在标注端进行修正。

云端在基于预设目标检测模型得到待标注物体的类别和位置之后，可根据检测结果和各帧数据间的时序信息，建立各帧数据中同一个待标注物体间的关联关系。其中，各帧数据中同一个待标注物体可通过相同的编号来表示。建立各帧数据中同一个待标注物体间的关联关系主要是对同一个待标注物体进行跟踪，例如，如果在当前帧数据中出现车辆1，则需判断下一帧数据中是否还可检测到车辆1，如果仍能检测到车辆1，则可按照时序信息，建立当前帧数据中的车辆1和下一帧数据中的车辆1之间的联系。具体的关联方法可通过机器学习方法，例如卡尔曼滤波算法，进行关联。

此外，根据时序信息，由于同一个待标注物体应该具有相同的长宽高尺寸，并且物体位置和朝向较是连续变化的，因此可利用机器学习方法，例如卡尔曼滤波算法，对单帧结果进行校验和修正。例如，可对连续帧数据中漏检的待标注物体进行补齐，比如前后几帧都存在车辆2，如果中间某一帧未检测到车辆2，则通过该方法说明在单帧检测时车辆2被漏检。同样的，可利用该方法对单帧检测结果中的误检项进行删除。通过采用上述实现方式可实现对连续帧数据中待标注物体的跟踪。

本实施例中，在关联关系确定后，该关联关系可作为连续帧数据的预标注结果，云端110会将该预标注结果按照标注任务中的输出文件格式生成可扩展的预标注文件，并将预标注文件和连续帧数据发送到标注端，以供标注人员在标注端进行修正。

标注端在接收到云端发送的连续帧数据及对应的预标注文件后，可按照修正指令对标注文件进行修正，并将修正后的标注结果作为连续帧数据的目标标注结果。

示例性的，可标注端增加对预标注文件进行修正的功能按键，当该功能按键被触发时，可对预标注文件进行修正，例如，对于车辆的检测，云端的预设目标检测模型检测的车辆朝向不一定准确，因此可在标注端增加一键更改朝向180°的功能，以便于标注人员进行核对和修改。

本实施例提供的技术方案，通过对单帧数据进行目标检测，并将检测结果按照各帧数据间的时序信息进行关联，可得到连续帧数据的预标注结果。后续人工标注员只需要通过标注端在预标注结果的基础上查漏补缺即可。由于云端的预设目标检测模型在训练时，通过调整损失函数不同项的权重，使得损失函数的结果中只有比较少的项有一些偏差，其他项均接近0，而非每一项都有偏差，因此，标准人员在对标注端预设目标检测模型的检测结果，即待标注物体的辅助框进行修改时，减少了标注人员调整辅助框的次数和时间，提高了标注效率。此外，由于在标注端设置有一些功能按键，可为标注人员的修改提供便利，这在一定程度上也提升了连续帧数据的标注效率。即本实施例提供的技术方案通过采用云端与标注端相配合的标注模式，可有效减少人工标注员的标注工作量，降低标注成本，提高标注速度和准确率。

实施例三

请参阅图3，图3是本发明实施例提供的一种应用于标注端连续帧数据的标注方法的流程示意图。该方法可由连续帧数据的标注装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成于标注终端中。如图3所示，本实施例提供的方法具体包括：

310、获取云端发送的连续帧数据的预标注结果。

320、如果接收到对预标注结果的修正指令，则根据修正指令对所述标注结果进行修正，并将修正后的标注结果作为所述连续帧数据的目标标注结果。

本实施例中，可在标注端增加一些辅助功能按键，例如将车辆的朝向一键旋转180°等，以为人工标注提供便利。

其中，预标注结果是：云端在读取连续帧数据后，基于预设目标检测模型，并按照标注任务对每帧数据中待标注物体进行目标检测得到的检测结果和各帧数据间的时序信息，建立的各帧数据中同一个待标注物体间的关联关系；其中，所述检测结果包括待标注物体的类别和位置，所述预设目标检测模型是根据本发明实施例一提供的目标检测模型的训练方法生成的。该预设目标检测模型在其训练过程中所采用的回归部分的损失函数为：待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位置。这样设置，使得损失函数的结果中只有比较少的项有一些偏差，其他项均接近0，而非每一项都有偏差，从而使得标注人员在进行人工标注时，减少标注人员调整辅助框的次数和时间，提升标注效率。

本实施例中，将云端发送的预标注文件作为标注端修正的基础，在此基础上，标注人员可对预标注文件进行进一步的查漏补缺。通过采用将云端的预标注与标注端相互配合的标注模式，可有效提高标注效率，降低标注成本。

实施例四

请参阅图4，图4是本发明实施例提供的一种目标检测模型的训练装置的结构示意图。如图4所示，该装置包括：样本数据获取模块410、预测位置确定模块420和目标检测模型确定模块430；其中，

样本数据获取模块410，被配置为获取标注有预设待标注物体目标类别和目标位置的样本数据；

预测位置确定模块420，被配置为将所述样本数据输入初始检测模型，得到所述预设物体的预测位置；

目标检测模型确定模块430，被配置为将所述目标位置和所述预测位置进行比较，并根据比较结果调整所述初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型；

其中，所述目标检测模型的损失函数包括分类部分和回归部分，所述回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

可选的，所述归一化误差是将所述预测位置与所述目标位置作差后的绝对值，以所述目标位置为准进行归一化得到的。

本发明实施例所提供的目标检测模型的训练装置可执行本发明任意实施例所提供的目标检测模型的训练方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的目标检测模型的训练方法。

实施例五

请参阅图5，图5是本发明实施例提供的一种应用于云端的连续帧数据的标注装置的结构示意图，如图5所示，该装置包括：连续帧数据获取模块510、检测结果确定模块520和关联关系建立模块530；其中，

连续帧数据获取模块510，被配置为获取标注任务并读取连续帧数据，所述标注任务中包括待标注物体的类别和位置；

检测结果确定模块520，被配置为基于预设目标检测模型，并按照标注任务对读取到的连续帧数据中的每一帧数据进行目标检测，将得到的每帧数据中待标注物体的类别和位置作为检测结果；

关联关系建立模块530，被配置为根据所述检测结果和各帧数据间的时序信息，建立各帧数据中同一个待标注物体间的关联关系，其中，所述关联关系作为所述连续帧数据的预标注结果，用于在标注端进行修正；

其中，所述预设目标检测模型建立了待标注物体与其在每一帧数据中的类别、位置的关联关系，所述预设目标检测模型在训练时，所采用的损失函数回归部分的值为：待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

可选的，所述装置还包括：

修正模块，被配置为基于机器学习方法，对所述检测结果进行修正，使得同一个待标注物体具有相同的尺寸，其中，所述机器学习方法包括卡尔曼滤波算法。

可选的，所述标注任务中还包括输出文件格式；

相应的，所述装置还包括：

文件生成模块，被配置为将所述预标注结果按照所述输出文件格式生成可扩展的预标注文件，并将所述预标注文件和所述连续帧数据发送到所述标注端。

本发明实施例所提供的连续帧数据的标注装置可执行本发明任意实施例所提供的应用于云端的连续帧数据的标注方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用于云端的连续帧数据的标注方法。

实施例六

请参阅图6，图6是本发明实施例提供的一种应用于标注端的连续帧数据的标注装置的结构示意图，如图6所示，该装置包括：预标注结果获取模块610和修正模块620；其中，

预标注结果获取模块610，被配置为获取云端发送的连续帧数据的预标注结果；

修正模块620，被配置为如果接收到对所述预标注结果的修正指令，则根据所述修正指令对所述标注结果进行修正，并将修正后的标注结果作为所述连续帧数据的目标标注结果；

其中，所述预标注结果是：云端在读取连续帧数据后，基于预设目标检测模型，并按照标注任务对每帧数据中待标注物体进行目标检测得到的检测结果和各帧数据间的时序信息，建立的各帧数据中同一个待标注物体间的关联关系；其中，所述检测结果包括待标注物体的类别和位置，所述预设目标检测模型是根据本发明任意实施例所提供的目标检测模型的训练方法生成的。

本发明实施例所提供的连续帧数据的标注装置可执行本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法。

实施例七

请参阅图7，图7是本发明实施例提供的一种设备的结构示意图。如图7所示，该设备可以包括：

存储有可执行程序代码的存储器701；

与存储器701耦合的处理器702；

其中，处理器702调用存储器701中存储的可执行程序代码，执行本发明任意实施例所提供的目标检测模型的训练方法。

本发明实施例还提供了另外一种云端服务器，包括存储有可执行程序代码的存储器；与存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行本发明任意实施例所提供的应用于云端的连续帧数据的标注方法。

本发明实施例还提供了另外一种标注终端，包括存储有可执行程序代码的存储器；与存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法。

本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的目标检测模型的训练方法的部分或全部步骤的指令。

本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于云端的连续帧数据的标注方法的部分或全部步骤的指令。

本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法的部分或全部步骤的指令。

本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的目标检测模型的训练方法的部分或全部步骤。

本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的应用于云端的连续帧数据的标注方法的部分或全部步骤。

本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的应用于标注端的连续帧数据的标注方法的部分或全部步骤。

在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。

另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的一种目标检测模型的训练方法、数据的标注方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种目标检测模型的训练方法，其特征在于，包括：

获取标注有预设物体目标类别和目标位置的样本数据；

将所述样本数据输入初始检测模型，得到所述预设物体的预测位置；

将所述目标位置和所述预测位置进行比较，并根据比较结果调整所述初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型；

其中，所述目标检测模型的损失函数包括分类部分和回归部分，所述回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

2.根据权利要求1所述的方法，其特征在于，所述归一化误差是将所述预测位置与所述目标位置作差后的绝对值，以所述目标位置为准进行归一化得到的。

3.一种连续帧数据的标注方法，应用于云端，其特征在于，包括：

获取标注任务并读取连续帧数据，所述标注任务中包括待标注物体的类别和位置；

基于预设目标检测模型，并按照标注任务对读取到的连续帧数据中的每一帧数据进行目标检测，将得到的每帧数据中待标注物体的类别和位置作为检测结果；

根据所述检测结果和各帧数据间的时序信息，建立各帧数据中同一个待标注物体间的关联关系，其中，所述关联关系作为所述连续帧数据的预标注结果，用于在标注端进行修正；

其中，所述预设目标检测模型建立了待标注物体与其在每一帧数据中的类别、位置的关联关系，所述预设目标检测模型在训练时，所采用的损失函数回归部分的值为：待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

基于机器学习方法，对所述检测结果进行修正，使得同一个待标注物体具有相同的尺寸，其中，所述机器学习方法包括卡尔曼滤波算法。

5.根据权利要求3所述的方法，其特征在于，所述标注任务中还包括输出文件格式；

相应的，所述方法还包括：

将所述预标注结果按照所述输出文件格式生成可扩展的预标注文件，并将所述预标注文件和所述连续帧数据发送到所述标注端。

6.根据权利要求3-5任一所述的方法，其特征在于，所述连续帧数据为图片或激光雷达点云。

7.一种连续帧数据的标注方法，应用于标注端，其特征在于，包括：

获取云端发送的连续帧数据的预标注结果；

如果接收到对所述预标注结果的修正指令，则根据所述修正指令对所述标注结果进行修正，并将修正后的标注结果作为所述连续帧数据的目标标注结果；

其中，所述预标注结果是：云端在读取连续帧数据后，基于预设目标检测模型，并按照标注任务对每帧数据中待标注物体进行目标检测得到的检测结果和各帧数据间的时序信息，建立的各帧数据中同一个待标注物体间的关联关系；其中，所述检测结果包括待标注物体的类别和位置，所述预设目标检测模型是根据权利要求1所述的目标检测模型的训练方法生成的。

8.一种目标检测模型的训练装置，其特征在于，包括：

样本数据获取模块，被配置为获取标注有预设待标注物体目标类别和目标位置的样本数据；

预测位置确定模块，被配置为将所述样本数据输入初始检测模型，得到所述预设物体的预测位置；

目标检测模型确定模块，被配置为将所述目标位置和所述预测位置进行比较，并根据比较结果调整所述初始检测模型的参数，将使得损失函数回归部分的值达到收敛时的检测模型作为目标检测模型；

其中，所述目标检测模型的损失函数包括分类部分和回归部分，所述回归部分的值为待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

9.一种连续帧数据的标注装置，应用于云端，其特征在于，包括：

连续帧数据获取模块，被配置为获取标注任务并读取连续帧数据，所述标注任务中包括待标注物体的类别和位置；

检测结果确定模块，被配置为基于预设目标检测模型，并按照标注任务对读取到的连续帧数据中的每一帧数据进行目标检测，将得到的每帧数据中待标注物体的类别和位置作为检测结果；

关联关系建立模块，被配置为根据所述检测结果和各帧数据间的时序信息，建立各帧数据中同一个待标注物体间的关联关系，其中，所述关联关系作为所述连续帧数据的预标注结果，用于在标注端进行修正；

其中，所述预设目标检测模型建立了待标注物体与其在每一帧数据中的类别、位置的关联关系，所述预设目标检测模型在训练时，所采用的损失函数回归部分的值为：待标注物体的位置按照归一化误差的大小进行排序后的加权和，其中，归一化误差的权重为w的k次方，w为超参数，k为归一化误差排序后的位序值。

10.一种连续帧数据的标注装置，应用于标注端，其特征在于，包括：

预标注结果获取模块，被配置为获取云端发送的连续帧数据的预标注结果；

修正模块，被配置为如果接收到对所述预标注结果的修正指令，则根据所述修正指令对所述标注结果进行修正，并将修正后的标注结果作为所述连续帧数据的目标标注结果；

其中，所述预标注结果是：云端在读取连续帧数据后，基于预设目标检测模型，并按照标注任务对每帧数据中待标注物体进行目标检测得到的检测结果和各帧数据间的时序信息，建立的各帧数据中同一个待标注物体间的关联关系；其中，所述检测结果包括待标注物体的类别和位置，所述预设目标检测模型是根据权利要求1所述的目标检测模型的训练方法生成的。

Images