CN113642616A - 一种基于环境数据的训练样本的生成方法及装置 - Google Patents

Abstract

本说明书公开了一种基于环境数据的训练样本的生成方法及装置。涉及计算机技术领域，具体可应用于无人驾驶领域。在检测部分，针对每帧环境数据，通过多个算法对其进行障碍物检测，并对多个算法的检测结果进行融合，确定该环境数据的障碍物集合。在筛选部分，对集合中的各障碍物进行目标跟踪，以确定各障碍物的稳定性，使得能够基于稳定性对障碍物进行筛选，并将检测错误的障碍物类别进行更正，以确定各目标障碍物。最后，基于各目标障碍物对应的数据确定训练样本，根据各目标障碍物对应的综合检测结果确定训练样本的标注。可快速生成训练样本及其标注，通过检测和筛选的过程，避免了对障碍物的漏检和误检，使得生成的训练样本和标注足够准确。

Description

一种基于环境数据的训练样本的生成方法及装置

技术领域

本说明书涉及计算机技术领域，尤其涉及一种基于环境数据的训练样本的生成方法及装置。

背景技术

通常，无人驾驶设备在执行任务时，需要通过传感器获取环境数据，并根据获取到的环境数据，基于预先训练好的模型来识别环境中存在的障碍物，以进行路径规划，避开环境中的障碍物。

基于模型对环境中的障碍物进行检测和分类的准确性，对无人驾驶设备的安全行驶影响极大。障碍物检测模型和障碍物分类模型的准确性以及泛化能力，极大程度依赖于在对模型进行训练时，训练样本的丰富性和标注的准确性。

目前，对用于障碍物检测和分类的训练样本进行标注的方法中，一种是人工标注，具有较高的准确性，另一种是算法标注，标注耗时较少。人工标注虽准确性高，但存在成本高昂，标注耗时久，影响模型的训练效率的问题。算法标注虽耗时少，但存在漏标注(即未把部分障碍物进行标注)和误标注(如，将非障碍物误标注为障碍物，或将障碍物类别标注错误等)的情况，标注的准确性低，导致基于算法标注的训练样本训练得到的模型准确性低，模型的泛化能力也不理想。

发明内容

本说明书提供一种基于环境数据的训练样本的生成方法及装置，以部分的解决现有技术存在的上述问题。

本说明书采用下述技术方案：

本说明书提供了一种基于环境数据的训练样本的生成方法，包括：

获取多帧环境数据，针对每一帧环境数据，通过预设的多个检测算法分别对该帧环境数据进行障碍物检测，确定各检测算法的检测结果，所述环境数据至少包括点云数据和图像数据中的一种；

对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，所述综合检测结果至少包括障碍物的类别以及包围框；

针对所述集合中的每个障碍物，基于其他各帧环境数据中障碍物的综合检测结果，对该障碍物进行目标跟踪，确定包含该障碍物的各帧环境数据，作为该障碍物的关联数据，并根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性；

根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物；

针对每个目标障碍物，分别根据各帧环境数据中该目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

可选地，对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，具体包括：

从各检测算法中确定目标算法，并确定所述目标算法检测到的各障碍物为匹配障碍物；

针对每个其他检测算法检测到的每个障碍物，根据该障碍物的包围框的位置以及各匹配障碍物的包围框的位置，从各匹配障碍物中确定该障碍物的临近障碍物；

确定该障碍物的包围框及其临近障碍物的包围框的重叠度，并判断所述重叠度是否大于预设的匹配阈值；

若否，则标记该障碍物为非重复检测的障碍物；

根据各非重复检测的障碍物以及各匹配障碍物，确定该帧环境数据中各障碍物的集合，以及所述集合中各障碍物的综合检测结果。

可选地，各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率；

确定所述集合中各障碍物的综合检测结果，具体包括：

针对所述集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率以及预设的各检测算法的权重，确定该障碍物的类别；

确定各障碍物的包围框以及类别作为所述集合中各障碍物的综合检测结果。

可选地，根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性，具体包括：

根据各帧关联数据对应的该障碍物的类别，确定该障碍物的关联类别；

针对每一个关联类别，确定该关联类别对应的关联数据的数量，作为第一关联数量；

根据该障碍物对应的各第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定性，作为该障碍物的稳定性。

可选地，根据该障碍物对应的各第一关联数量，以及该障碍物的关联数据的数量，确定该障碍物的类别稳定性，具体包括：

确定该障碍物的关联数据中包含的关联类别的数量，判断确定出的数量是否大于预设的类别数量值；

若否，则将各关联类别中，第一关联数量最大的关联类别作为稳定类别，并根据所述稳定类别的第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定值，并当所述类别稳定值大于预设的类别稳定阈值时，确定该障碍物的类别稳定性为稳定，当所述类别稳定值不大于预设的类别稳定阈值时，确定该障碍物的类别稳定性为不稳定；

若是，则确定该障碍物的类别稳定性为不稳定。

可选地，根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物，具体包括：

针对每帧环境数据对应的集合，确定对该集合中各障碍物进行目标跟踪时，得到的该集合中各障碍物与其他帧环境数据中各障碍物间的关联值；

将类别稳定性为不稳定的各障碍物从该集合中删除，更新该集合中的各障碍物；

针对更新后的该集合中的每个障碍物，确定该障碍物的关联数据中非稳定类别对应的障碍物为波动障碍物，并确定该障碍物的关联类别中，各稳定类别对应的障碍物为稳定障碍物；

针对每个波动障碍物，判断与该波动障碍物所在关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第一关联阈值的稳定障碍物；

若是，则根据与该波动障碍物的关联值大于所述第一关联阈值的稳定障碍物的类别，对该波动障碍物的类别进行更正，并将该波动障碍物保留在自身所属的集合中，若否，则将该波动障碍物从自身所属集合中删除；

确定最终得到的各帧环境数据对应的集合中的障碍物为目标障碍物。

可选地，各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率以及属性置信度，所述属性置信度表示障碍物属于预设类别的可靠度；

确定所述集合中各障碍物的综合检测结果，具体包括：

针对所述集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率以及各检测算法的权重，确定该障碍物的类别；

根据各检测算法的检测结果中该障碍物的各属性置信度以及各检测算法的权重，确定该障碍物的属性；

确定各障碍物的包围框、类别以及属性，作为该帧环境数据对应的集合中各障碍物的综合检测结果。

可选地，根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性，具体包括：

确定该障碍物的关联数据对应的该障碍物的各属性对应的置信度，作为该障碍物的各关联置信度；

判断是否存在大于预设的属性阈值的关联置信度；

若是，则将大于所述属性阈值的关联置信度作为目标置信度，并确定所述目标置信度对应的关联数据的数量，作为第二关联数量；

根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定性，作为该障碍物的稳定性。

可选地，根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定性，具体包括：

根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定值；

判断所述属性稳定值是否大于预设的属性稳定阈值；

若是，则确定该障碍物的属性稳定性为稳定；

若否，则确定该障碍物的属性稳定性为不稳定。

可选地，根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物，具体包括：

针对每帧环境数据对应的集合，确定对该集合中各障碍物进行目标跟踪时，得到的该集合中各障碍物与其他帧环境数据中各障碍物间的关联值；

将属性稳定性为不稳定的各障碍物从该集合中删除，更新该集合中的各障碍物；

针对更新后的该集合中的每个障碍物，确定该障碍物的关联数据中非目标置信度对应的障碍物为波动障碍物，并确定该障碍物的关联数据中，各目标置信度对应的障碍物为稳定障碍物；

针对每个波动障碍物，判断与该波动障碍物所属关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第二关联阈值的稳定障碍物；

若是，则将该波动障碍物保留在自身所属的障碍物的集合中，若否，则将该波动障碍物从自身所属障碍物的集合中删除；

确定最终得到的各帧环境数据对应的集合中的障碍物为目标障碍物。

本说明书提供了一种基于环境数据的训练样本的生成装置，包括：

检测模块，用于获取多帧环境数据，针对每一帧环境数据，通过预设的多个检测算法分别对该帧环境数据进行障碍物检测，确定各检测算法的检测结果，所述环境数据至少包括点云数据和图像数据中的一种；

融合模块，用于对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，所述综合检测结果至少包括障碍物的类别以及包围框；

跟踪模块，用于针对所述集合中的每个障碍物，基于其他各帧环境数据中障碍物的综合检测结果，对该障碍物进行目标跟踪，确定包含该障碍物的各帧环境数据，作为该障碍物的关联数据，并根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性；

筛选模块，用于根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物；

样本生成模块，用于针对每个目标障碍物，分别根据各帧环境数据中该目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于环境数据的训练样本的生成方法。

本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于环境数据的训练样本的生成方法。

本说明书采用的上述至少一个技术方案能够达到以下有益效果：

在本说明书提供的基于环境数据的训练样本的生成方法中，在检测部分，针对每一帧环境数据，通过多个检测算法对其进行障碍物检测，并对多个检测算法的检测结果进行融合，确定该帧环境数据的障碍物集合，以获得足够多的丰富的障碍物数据。在筛选部分，并在多帧环境数据中，对集合中的各障碍物进行目标跟踪，以确定各障碍物的稳定性，使得能够基于障碍物的稳定性对障碍物进行筛选，并将检测错误的障碍物类别进行更正，以确定各目标障碍物。最后，基于各帧环境数据中各目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

从上述方法中可以看出，本方法能够快速生成训练样本及训练样本的标注，且通过检测和筛选的过程，避免了对障碍物的漏检和误检，使得生成的训练样本和标注足够准确。

附图说明

此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，本说明书的示意性实施例及其说明用于解释本说明书，并不构成对本说明书的不当限定。在附图中：

图1为本说明书中一种基于环境数据的训练样本的生成方法的流程示意图；

图2为本说明书提供的一种关联数据的示意图；

图3为本说明书提供的一种关联类别的示意图；

图4为本说明书提供的一种障碍物示意图；

图5为本说明书提供的一种障碍物示意图；

图6为本说明书提供的一种障碍物的示意图；

图7为本说明书提供的一种基于环境数据的训练样本的生成装置的示意图；

图8为本说明书提供的一种电子设备的结构示意图。

具体实施方式

为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本说明书保护的范围。

以下结合附图，详细说明本说明书各实施例提供的技术方案。

图1为本说明书中一种基于环境数据的训练样本的生成方法的流程示意图，具体包括以下步骤：

S100：获取多帧环境数据，针对每一帧环境数据，通过预设的多个检测算法分别对该帧环境数据进行障碍物检测，确定各检测算法的检测结果，所述环境数据至少包括点云数据和图像数据中的一种。

在本说明书中，该基于环境数据的训练样本的生成方法可由服务器执行。通过该方法生成的训练样本，可用于对障碍物识别模型进行训练和/或障碍物分类模型进行训练。即，可通过该基于环境数据的训练样本的生成方法得到上述模型的训练样本。

在本说明书中，该基于环境数据的训练样本的生成方法整体可分为三部分：检测部分、筛选部分以及样本生成部分。步骤S100～S102对应检测部分。步骤S104～S106对应筛选部分。步骤S108对应样本生成部分。在检测部分，以检测到尽可能多的障碍物，得到尽可能多障碍物对应的数据为目标，进行障碍物检测以及检测结果的融合。在筛选部分，以尽可能排除错误的检测，筛选出正确检测的障碍物为目标，对障碍物进行筛选以及类别的更正。在样本生成部分，基于最终得到的准确的各障碍物及其综合检测结果，生成训练样本及其标注。

由于上述模型用于在无人驾驶领域中，对无人驾驶设备所处环境中障碍物的检测和分类，因此，在生成上述模型的训练样本时，该服务器可先获取包含障碍物的环境数据。

在本说明书中，为了获取丰富的训练样本，该服务器可通过多种检测算法对各帧环境数据进行障碍物检测，由于不同的检测算法在进行障碍物检测时的侧重点不同，不同检测算法对同一帧环境数据的检测结果可能不完全相同。即，对于同一帧环境数据，不同检测算法检测得到的障碍物可能不完全相同。因此，可通过用多个检测算法来对每一帧环境数据进行障碍物检测，能够检测得到更多的障碍物，使得不同检测算法间的检测结果能够互相弥补，大大减小漏检障碍物的概率。

因此，在本说明书一个或多个实施例中，该服务器首先可获取多帧环境数据，并针对每一帧环境数据，通过预设的多个检测算法分别对该帧环境数据进行障碍物检测，确定各检测算法的检测结果。

其中，该环境数据至少包括图像数据以及点云数据中的一种。

在本说明书一个或多个实施例中，预设的检测算法的数量可根据需要设置，该服务器具体可以采用多个现有的障碍物检测算法作为预设的多个检测算法，例如，预设的多个检测算法可以包括VoxelNet、PVRCNN(PointVoxel-RCNN)、PointNet等算法。或者也可以包括RCNN(Region-CNN)、Fast-RCNN等算法。当然也可以是其他的对点云数据或图像数据进行障碍物检测的算法，本说明书在此不做限制。

S102：对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，所述综合检测结果至少包括障碍物的类别以及包围框。

在本说明书一个或多个实施例中，由于对于同一帧环境数据，不同检测算法检测得到的障碍物可能不完全相同，因此，该服务器在通过预设的多个检测算法对该帧环境数据进行障碍物检测后，可对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及该集合中各障碍物的综合检测结果。

其中，针对该集合中的每个障碍物，该障碍物的综合检测结果至少包括该障碍物的类别以及包围框。该综合检测结果，即综合多个检测算法的检测结果得到的该帧环境数据对应的集合中，每个障碍物分别对应的一个检测结果。

由于不同检测算法的检测结果中包含的障碍物可能不完全相同，且可能包含对同一个障碍物的检测结果，即在各检测算法的检测结果中存在重复检测。例如，假设该环境数据中实际包括障碍物A、B、C、D、E、F，6个障碍物的数据，即环境中实际存在上述6个障碍物。假设预设的检测算法包括甲、乙两个算法，算法甲的检测结果中包含障碍物A、B、C、D，算法乙的检测结果中包含障碍物B、C、D、E、F。则障碍物B、C、D为算法甲、乙重复检测的障碍物，E、F为算法甲未检测到的障碍物，A为算法乙未检测到的障碍物。A、E、F为非重复检测的障碍物。

因此，该服务器可对各检测算法对该帧环境数据的检测结果进行筛选融合，以确定综合的、非重复的各障碍物的集合，以及该集合中各障碍物各自的综合检测结果。

为了排除重复检测的障碍物，该服务器可以以一个检测算法的检测结果为基准，将其他检测算法的检测结果与该检测算法的检测结果进行比对，确定检测重复的障碍物以及非重复检测的障碍物。

在确定作为基准的检测结果对应的检测算法时，可从预设的多个检测算法中，随机确定一个检测算法，将该检测算法及其检测结果作为基准。或者，也可以根据各检测算法历史上的检测准确度等历史经验，确定各检测算法的权重，并将权重最高的检测算法的检测结果作为基准。当然也可以通过其他方法确定作为基准的检测结果对应的检测算法，本说明书在此不做限制。

S104：针对所述集合中的每个障碍物，基于其他各帧环境数据中障碍物的综合检测结果，对该障碍物进行目标跟踪，确定包含该障碍物的各帧环境数据，作为该障碍物的关联数据，并根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性。

由于在检测部分，其目标为尽可能多的检测到环境数据中的障碍物，使得从各帧环境数据的检测结果中得到更多障碍物的同时，也可能会增加错误的检测，因此，在筛选部分，可根据各帧环境数据的检测结果，对各帧环境数据的障碍物的集合进行筛选，并对各障碍物的集合中各障碍物的综合检测结果进行修正。

通常在多帧环境数据中，对同一障碍物的综合检测结果完全相同或大部分相同时，即对同一障碍物的综合检测结果较为稳定时，对该障碍物的检测存在错误的可能性较低，因此，该服务器可确定各障碍物的稳定性，以基于稳定性对各帧环境数据中的各障碍物进行筛选。

在本说明书一个或多个实施例中，该服务器在确定出该帧环境数据中的各障碍物的集合以及该集合中各障碍物的综合检测结果后，可针对该集合中的每个障碍物，基于其他各帧环境数据的障碍物的综合检测结果，对该障碍物进行目标跟踪，确定包含该障碍物的各帧环境数据，作为该障碍物的关联数据，并根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性。

其中，障碍物的稳定性包括：稳定以及不稳定两种。包含该障碍物的各帧环境数据具体可以是连续的各帧环境数据。

在本说明书一个或多个实施例中，该服务器可通过现有的目标跟踪算法对各障碍物进行目标跟踪，例如，可采用匈牙利匹配与卡尔曼滤波算法组合来进行目标跟踪，当然也可以采用其他跟踪算法，例如，还可以采用kuhn-munkres匹配、扩展卡尔曼滤波(ExtendedKalman Filter，EKF)、无迹卡尔曼滤波(Unscented Kalman Filter，UKF)等匹配算法与滤波算法进行组合的方式进行目标跟踪。具体采用怎样的目标跟踪算法，可根据需要灵活设置，本说明书在此不做限制。

由于怎样进行目标跟踪已是较为成熟的技术，具体进行目标跟踪的过程本说明书在此不再赘述。

图2为本说明书提供的一种关联数据的示意图。如图，F1～F5表示各环境数据。标有数字的三角形表示各帧环境数据的障碍物集合中的障碍物。可见F1中有障碍物1、3，F2中有障碍物1、2，F3中有障碍物1、2，F4中有障碍物2，F5中有障碍物2。由于环境数据F1～F3都包含障碍物1，环境数据F2～F5都包含障碍物2，因此环境数据F1～F3为障碍物1的关联数据，环境数据F2～F5为障碍物2的关联数据。障碍物3的关联数据仅包括F1。

S106：根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物。

在本说明书一个或多个实施例中，该服务器在确定出各障碍物的稳定性后，可根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物。

其中，各目标障碍物即稳定的、最终用于确定训练样本的障碍物。

S108：针对每个目标障碍物，分别根据各帧环境数据中该目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

在本说明书一个或多个实施例中，该服务器在确定各目标障碍物后，可针对每个目标障碍物，分别根据各帧环境数据中该目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应综合检测结果分别确定训练样本的标注。

在本说明书一个或多个实施例中，由于最终得到的训练样本所应用于的模型可能是障碍物检测模型、障碍物分类模型，或者既能够进行障碍物检测又能够进行障碍物分类的模型。当得到的训练样本应用于障碍物检测模型时，该障碍物检测模型的目标是从环境中检测出各障碍物，当得到的训练样本应用于障碍物分类模型时，该障碍物分类模型的目标是识别出具体障碍物的类别。而既能够进行障碍物检测又能够进行障碍物分类的模型的目标是识别障碍物并分类。

因此，在确定训练样本时，当该训练样本应用于对障碍物检测模型的训练时，该服务器可获取背景环境数据，并针对每个目标障碍物，根据各帧环境数据中该目标障碍物对应的数据，以及背景环境数据，确定训练样本。得到的该训练样本也可应用于既能够进行障碍物检测又能够进行障碍物分类的模型。

该目标障碍物对应的数据，即在各帧环境数据中，该目标障碍物对应的部分数据。以该环境数据是点云数据为例，则该目标障碍物对应的数据，即属于该目标障碍物的部分点云数据。当该环境数据是图像数据时，该目标障碍物对应的数据可以是该目标障碍物的包围框内包围的部分图像数据。

其中，该背景环境数据可以是预先采集的，不包含任何障碍物或仅包含非预设类别的障碍物的环境数据，再或者，也可以是包含已对其标注过包围框以及类别的障碍物的环境数据。该服务器可针对每个背景环境数据，将该背景环境数据与任意一个或几个目标障碍物对应的数据进行合并，并将合并后的数据作为训练样本，将该训练样本中各障碍物的包围框以及类别作为该训练样本的标注。

在本说明书一个或多个实施例中，在将该背景环境数据与任意一个或几个目标障碍物对应的数据进行合并时，可参考无人驾驶设备实际的运动场景进行合理合并，或者也可以随意合并，本说明书在此不做限制。

当该训练样本应用于对障碍物分类模型的训练时，该服务器可针对每个目标障碍物，直接将各帧环境数据中该目标障碍物对应的数据，作为训练样本，将该目标障碍物的包围框以及类别，作为该训练样本的标注。

在本说明书一个或多个实施例中，当该训练样本应用于对障碍物分类模型的训练时，该服务器还可以针对每个目标障碍物，将不包含其他障碍物的背景环境数据与各帧环境数据中该目标障碍物对应的数据进行合并，将合并后的数据作为训练样本，将该目标障碍物的包围框以及类别作为该训练样本的标注。

基于图1所示的基于环境数据的训练样本的生成方法，在检测部分，针对每一帧环境数据，通过多个检测算法对其进行障碍物检测，并对多个检测算法的检测结果进行融合，确定该帧环境数据的障碍物集合，以获得足够多的丰富的障碍物数据。在筛选部分，并在多帧环境数据中，对集合中的各障碍物进行目标跟踪，以确定各障碍物的稳定性，使得能够基于障碍物的稳定性对障碍物进行筛选，并将检测错误的障碍物类别进行更正，以确定各目标障碍物。最后，基于各帧环境数据中各目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

从上述方法中可以看出，本方法能够快速生成训练样本及训练样本的标注，且通过多个检测算法进行障碍物检测，检测到尽可能多的障碍物，再对障碍物进行筛选，从中去除检测错误的障碍物，并修正不稳定的检测结果，避免了对障碍物的漏检和误检，使得生成的训练样本和标注足够准确。

在本说明书步骤S102中，该服务器在对各检测算法的检测结果进行融合，确定该帧环境数据对应的集合以及集合对应的各综合检测结果时。具体的，首先，该服务器可从各检测算法中确定目标算法，并将该目标算法的检测结果作为基准，确定该目标算法检测到的各障碍物为匹配障碍物。之后，该服务器可针对每个其他检测算法检测到的每个障碍物，根据该障碍物的包围框的位置以及各匹配障碍物的包围框的位置，从各匹配障碍物中确定该障碍物的临近障碍物。其中，该临近障碍物，即包围框与该障碍物的包围框距离最近的障碍物。

另外，由于在不同的环境数据中，位置相近或相同的两个障碍物，更有可能是同一个障碍物，即存在重复检测的障碍物。因此，该服务器可针对每个障碍物，确定与该障碍物的位置相同或相近的障碍物，作为该障碍物的临近障碍物，以判断二者是否为重复检测的障碍物。

在本说明书一个或多个实施例中，在确定临近障碍物时，该服务器可先确定各包围框的标识点位置，然后确定该障碍物的包围框的标识点分别与各匹配障碍物的包围框的标识点间的距离，并确定与该障碍物的包围框的标识点间距离最短的标识点对应的匹配障碍物，作为该障碍物的临近障碍物。其中，标识点为标识包围框位置的点，包围框的标识点的选取可根据需要设置，例如，可将各包围框的中心点作为标识点，或者可将各包围框的某一个顶点作为标识点等等，本说明书在此不做限制。

在本说明书一个或多个实施例中，在确定出该障碍物的临近障碍物后，该服务器可根据该障碍物的包围框及其临近障碍物的包围框的重叠度，确定重复检测的障碍物。

在确定出该障碍物的包围框及其临近障碍物的包围框的重叠度后，该障碍物可判断得到的重叠度是否大于预设的匹配阈值，若否，则确定二者不是同一个障碍物，该服务器可标记该障碍物为非重复检测的障碍物，若是，则确定二者是同一个障碍物，该服务器可标记该障碍物为重复检测的障碍物。然后，该服务器可根据各非重复检测的障碍物以及各匹配障碍物，确定该帧环境数据中各障碍物的集合，以及该障碍物的集合中各障碍物的综合检测结果。

在本说明书一个或多个实施例中，该服务器可将各非重复检测的障碍物以及各匹配障碍物，作为该帧环境数据中各障碍物的集合中的障碍物。

其中，该重叠度可通过包围框的交并比(Intersection over Union，IOU)，表示，包围框的交并比与包围框的重叠度正相关。

在本说明书一个或多个实施例中，各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率。各类别概率，即障碍物属于各预设类别的概率。例如，无人驾驶设备在运动时，环境中的行人、其他机动车辆、非机动车辆都属于无人驾驶设备的运动环境中常见的且可能给无人驾驶设备带来风险的障碍物，因此，预设类别可以包括：人、机动车辆、非机动车辆。各类别概率即障碍物分别属于人这一类别的概率、属于机动车辆这一类别的概率、属于非机动车辆这一类别的概率。预设类别数量和具体类别可根据需要设置，本说明书在此不做限制。

在本说明书步骤S102中确定该帧环境数据对应的集合中各障碍物的综合检测结果时，该服务器可针对该集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率，以及各检测算法的权重，确定该障碍物的类别，并确定各障碍物的包围框以及类别作为该帧环境数据的综合检测结果。

在确定该障碍物的类别时，具体的，该服务器可针对每个预设类别，确定各检测算法的检测结果中该障碍物与该预设类别对应的类别概率，并针对每个检测算法的检测结果，根据该检测结果中该障碍物与该预设类别对应的类别概率以及该检测算法的权重，确定该障碍物对应的该预设类别的算法加权概率。在得到该障碍物对应的各预设类别的各算法加权概率后，该服务器可将算法加权概率最大值对应的类别作为该障碍物的类别。

在本说明书一个或多个实施例中，该服务器可针对每个类别对应的类别概率，将各检测算法的权重与对应的类别概率加权求和或加权取平均值后，确定各算法加权概率。

例如，各检测算法为算法A、B、C三个检测算法。预设类别有汽车、人两个类别。假设算法A的检测结果中，障碍物1属于汽车类别的类别概率为0.6，属于人类别的类别概率为0.4。算法B的检测结果中，障碍物1属于汽车类别的类别概率为0.4，属于人类别的类别概率为0.6。算法C的检测结果中，障碍物1属于汽车类别的类别概率为0.7，属于人类别的类别概率为0.3。算法A的权重为0.2，算法B的权重为0.3，算法C的权重为0.5。则对于汽车类别，其算法加权概率为0.2×0.6+0.3×0.4+0.5×0.7＝0.59。对于人这一类别，其算法加权概率为0.2×0.4+0.3×0.6+0.5×0.3＝0.41。由于0.59大于0.41，该服务器则可确定汽车类别为该障碍物的类别。

需要说明的是，在确定各帧环境数据对应的障碍物的集合中各障碍物的综合检测结果时，非集合中的障碍物也参与计算。即针对每一帧环境数据，对于在对多个检测算法对应的该环境数据的检测结果进行障碍物融合时，通过与目标算法对比，确定为存在重复检测的各障碍物，即，未将其包含在该环境数据的集合中的障碍物，也参与确定该集合中各障碍物的综合检测结果。例如，目标算法为算法A，其对环境数据T的检测结果中包含障碍物1，算法B的检测结果中也包含障碍物1，最终，算法A检测到的障碍物1作为匹配障碍物被包含于环境数据T对应的集合中，而算法B检测到的障碍物1作为重复检测的障碍物未被包含于该集合中。但在确定该集合中障碍物1的综合检测结果时，算法B检测到的障碍物1对应的检测结果，也参与计算。

在本说明书一个或多个实施例中，在步骤S104中，针对该集合中的每个障碍物，确定该障碍物的稳定性时，具体的，该服务器可根据各帧关联数据对应的该障碍物的类别，确定该障碍物的关联类别。并针对每一个关联类别，确定该关联类别对应的关联数据的数量，作为第一关联数量。之后，该服务器可根据该障碍物对应的各第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定性，作为该障碍物的稳定性。

其中，该障碍物的关联类别是指，在该障碍物的所有关联数据中，该障碍物对应的类别种类。例如，假设障碍物A对应10帧关联数据，在第1～7帧关联数据中该障碍物的类别为自行车，在第8～10帧3帧关联数据中该障碍物的类别为人。则该障碍物的关联类别包括：自行车以及人。该关联类别自行车对应的第一关联数量为7，该关联类别人对应的第一关联数量为3。

图3为本说明书提供的一种关联类别的示意图。如图，F1、F2、F3、F4、F5表示各环境数据。标有数字的几何图形表示各帧环境数据的障碍物集合中的障碍物。其中，三角形表示障碍物的综合检测结果中其类别为汽车，圆形表示障碍物的综合检测结果中其类别为自行车，正方形表示障碍物的综合检测结果中其类别为人。可见，障碍物1的关联类别包括汽车和自行车两种，障碍物2的关联类别包括汽车和人两种。

在本说明书一个或多个实施例中，在根据该障碍物对应的各第一关联数量，以及该障碍物的关联数据的数量，确定该障碍物的类别稳定性时，该服务器可先确定该障碍物的关联数据中包含的关联类别的数量，并判断确定出的数量是否大于预设的类别数量值。

其中，该关联类别的数量即关联类别涉及的类别种类的数量。沿用上例，假设该障碍物的关联数量包括自行车以及人，则该障碍物的关联数据中包含的关联类别的数量为2。该类别数量值即预设的，不同关联数据中该障碍物可能涉及的类别的种类数相关的阈值。

在本说明书一个或多个实施例中，若确定出的关联类别的数量不大于该类别数量值，该服务器则可确定该障碍物的类别较为稳定，并将各关联类别中，第一关联数量最大的关联类别作为稳定类别，并根据该稳定类别的第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定值。当该类别稳定值大于预设的类别稳定阈值时，该服务器可确定该障碍物的类别稳定性为稳定，当该类别稳定值不大于预设的类别稳定阈值时，该服务器可确定该障碍物的类别稳定性为不稳定。若确定出的关联类别的数量大于该类别数量值，则确定该障碍物的类别稳定性为不稳定。

在本说明书一个或多个实施例中，该服务器可将该稳定类别的第一关联数量以及该障碍物的关联数据的数量的比值，作为该障碍物的类别稳定值。当该比值越大时，该稳定类别在各关联类别中占比越高。则说明该障碍物的类别更倾向于该稳定类别。

以该类别数量值是2为例。若该障碍物的类别数量不大于2，则说明确定出的该障碍物的类别在可接受范围内。若该障碍物的类别数量不于2，则说明确定出的该障碍物的类别不在可接受范围内。由于确定出的该障碍物的类别数量过多，该障碍物的类别不稳定性太强，该服务器则可直接将该障碍物舍弃，不用于后续确定训练样本。

在本说明书一个或多个实施例中，还可以将各关联类别中，第一关联数量最小的关联类别作为波动类别，并根据该波动类别的第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定值。并当该类别稳定值小于预设的类别稳定阈值时，确定该障碍物的类别稳定性为稳定，当该类别稳定值不大于预设的类别稳定阈值时，确定该障碍物的类别稳定性为不稳定。

另外，在本说明书步骤S106中，在根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定目标障碍物时，该服务器首先可针对每帧环境数据对应的集合，确定对该集合中的各障碍物进行目标跟踪时，得到的该集合中各障碍物与其他帧环境数据中各障碍物间的关联值。即，针对该集合中的每个障碍物，确定该障碍物分别与其他帧环境数据中各障碍物两两间的关联值。其中，该关联值用于表示不同障碍物间的相似度。当该环境数据是点云数据时，该关联值可以是基于障碍物间的位置或包围框的重叠度确定的。当该环境数据是图像数据时，该关联值可以是基于各图像数据中各障碍物对应的特征向量确定的。具体怎样在进行目标跟踪时确定关联值可根据需要设置，本说明书在此不做限制。

在确定出各障碍物间的关联值后，该服务器可将类别稳定性为不稳定的各障碍物从该集合中删除，更新该集合中的各障碍物。针对更新后的该集合中的每个障碍物，该服务器可确定该障碍物的关联数据中非稳定类别对应的障碍物为波动障碍物，并确定该障碍物的关联类别中，各稳定类别对应的障碍物为稳定障碍物。

由于波动障碍物是该障碍物的关联类别中，占比较少的类别对应的障碍物，可能是检测错误的障碍物(即，实际上该波动障碍物，可能并非该障碍物的关联数据中与该障碍物对应的障碍物)，也可能是类别错误的障碍物(即，该波动障碍物可能是该障碍物的关联数据中与该障碍物对应的障碍物，但其类别检测错误)。当该波动障碍物与相邻的该障碍物的关联数据中，该障碍物对应的稳定障碍物关联值越高，即越相似时，该波动障碍物更接近于该障碍物对应的关联数据中的，类别检测错误的障碍物。当该波动障碍物与相邻的该障碍物的关联数据中，该障碍物对应的稳定障碍物关联值越低，即越不相似时，该波动障碍物更接近于非该障碍物对应的关联数据中的障碍物，即错误检测的障碍物。因此，该服务器可根据关联值对波动障碍物进行删除或类别的修正。

于是，在本说明书一个或多个实施例中，针对每个波动障碍物，该服务器可判断与该波动障碍物所在关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第一关联阈值的稳定障碍物。若是，则根据与该波动障碍物的关联值大于该第一关联阈值的稳定障碍物的类别，对该波动障碍物的类别进行更正，并将该波动障碍物保留在自身所属的集合中，若否，则将该波动障碍物从自身所属集合中删除。最后，该服务器可确定最终得到的各障碍物的集合中的障碍物为目标障碍物。

图4为本说明书提供的一种障碍物示意图。如图，F1～F4为障碍物1的关联数据。图中灰色填充的几何图形表示障碍物1。其中，三角形表示其综合检测结果中的类别为汽车，圆形表示为自行车，正方形表示为人。其中，自行车与人为该障碍物1的非稳定类别，F2与F3中的障碍物1为波动障碍物。汽车为该障碍物1的稳定类别，F1与F4中的障碍物1为稳定障碍物。

在本说明书一个或多个实施例中，针对每一帧环境数据，当该帧环境数据对应的集合中不存在波动障碍物时，该服务器可直接将该帧环境数据的集合中类别稳定性为稳定的各障碍物作为目标障碍物。

图5为本说明书提供的一种障碍物示意图。如图。图中包括F1～F7，7帧环境数据。在展开的各帧环境数据中，三角形表示各帧环境数据对应的集合中的障碍物，在F1中有障碍物1～4，在F2中有障碍物2～4，在F3中有障碍物2～4，在F4中有障碍物2、4、5，在F5中有障碍物1、2、3、4、5、6，在F6中有障碍物2、4、5、6，在F7中有障碍物2、4、5、6。其中，对于同一个障碍物，灰色填充和斜线填充表示该障碍物的不同综合检测结果对应的类别。灰色表示类别为汽车，斜线填充表示类别为人。在7帧环境数据中，F1～F7为障碍物2的关联数据，F1～F3为障碍物3的关联数据，F1～F7为障碍物4的关联数据，F4～F7为障碍物5的关联数据。F5～F7为障碍物6的关联数据。

可见，障碍物2和障碍物4为类别不统一的障碍物，在二者的关联数据中，障碍物2和障碍物4皆对应多种关联类别。其中，障碍物2的关联类别包括人和汽车。障碍物4与障碍物2的关联类别相同。对于障碍物2，其关联类别汽车的第一关联数量为6，其关联类别是人的第一关联数量为1。对于障碍物4，其关联类别汽车的第一关联数量为4，其关联类别是人的第一关联数量为3。则障碍物2的类别稳定值为6/7，障碍物4的类别稳定值为4/7。假设预设的类别稳定阈值为0.8。则障碍物2为类别稳定性为稳定的障碍物，障碍物4为类别稳定性为不稳定的障碍物。另外障碍物1、3、5、6皆为类别稳定性为稳定的障碍物。

对于类别稳定性为稳定且包括多个关联类别的障碍物，以障碍物2为例，障碍物2的关联类别是人的第一关联数量为1小于汽车的第一关联数量6。因此，该障碍物2的稳定类别为汽车，非稳定类别为人。其中，非稳定类别对应的该障碍物2的关联数据为F3。F3中的障碍物2为波动障碍物。障碍物2的其他关联数据中的障碍物2为稳定障碍物。

另外，在步骤S102中，各检测算法的检测结果还可以包括属性置信度。即各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率以及属性置信度，该属性置信度表示障碍物属于预设类别的可靠度。该属性置信度与障碍物属于预设类别的可靠度正相关。

该服务器在确定该帧环境数据的各障碍物的集合中各障碍物的综合检测结果时，还可以针对该集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率以及各检测算法的权重，确定该障碍物的类别。并根据各检测算法的检测结果中该障碍物的各属性置信度以及各检测算法的权重，确定该障碍物的属性。该障碍物的属性可以包括：属于预设类别和不属于预设类别两种。最后，该服务器可确定各障碍物的包围框、类别以及属性，作为该帧环境数据对应的集合中各障碍物的综合检测结果。

在确定该障碍物的属性时，具体的，该服务器可针对每个检测算法的检测结果中该障碍物的属性置信度，根据该检测算法的权重对该属性置信度进行加权，确定该检测算法对应的加权置信度。并确定加权置信度最高的属性置信度为该障碍物的目标加权置信度，以根据该目标加权置信度，确定该障碍物的属性。并将该目标加权置信度作为该障碍物的属性对应的置信度。即在根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性时，该属性对应的置信度。

该服务器可针对每个检测算法对应的属性置信度，将该检测算法的权重与对应的该属性置信度加权求和或加权取平均值后，确定该检测算法的加权置信度。并根据各检测算法的加权置信度确定目标加权置信度。在得到目标加权置信度后，该服务器可判断该目标加权置信度是否大于预设的置信度阈值，若是，则确定该障碍物的属性为属于预设类别。

例如，各检测算法为算法A、B、C三个检测算法。假设算法A的检测结果中，障碍物1属于预设类别的置信度为0.7。算法B的检测结果中，障碍物1属于预设类别的类别概率为0.6。算法C的检测结果中，障碍物1属于预设类别的类别概率为0.8。算法A的权重为0.2，算法B的权重为0.3，算法C的权重为0.5。则算法A的加权置信度为0.2×0.7＝0.14。算法B的加权置信度为0.3×0.6＝0.18。算法C的加权置信度为0.3×0.8＝0.24。该服务器则可确定算法C的加权置信度为该障碍物的目标加权置信度。并判断该目标加权置信度是否大于预设的置信度阈值，若是，则确定该障碍物的属性为属于预设类别。若否，则确定该障碍物的属性为不属于预设类别。

另外，在步骤S104中，在根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性时，该服务器具体可确定该障碍物的关联数据中该障碍物对应的各置信度，作为该障碍物的各关联置信度。并判断是否存在大于预设的属性阈值的关联置信度。若是，则将大于该属性阈值的关联置信度作为目标置信度，并确定该目标置信度对应的关联数据的数量，作为第二关联数量。之后，该服务器可根据该第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定性，作为该障碍物的稳定性。

例如，假设障碍物A包括5帧关联数据，5帧关联数据对应的该障碍物A的综合检测结果中，其对应的置信度分别为：第一帧0.85、第二帧0.6、第三帧0.7、第四帧0.9、第五帧0.95。假设预设的属性阈值为0.85。则第一帧、第四帧以及第五帧的置信度为目标置信度，目标置信度对应的关联数据的数量为3。

在本说明书一个或多个实施例中，在确定该障碍物的属性稳定性时，具体的，该服务器可根据该第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定值。并判断该属性稳定值是否大于预设的属性稳定阈值。若是，则确定该障碍物的属性稳定性为稳定。若否，则确定该障碍物的属性稳定性为不稳定。

在本说明书一个或多个实施例中，该服务器可将第二关联数量以及该障碍物的关联数据的数量的比值作为该障碍物的属性稳定值。

在步骤S106中，对各帧环境数据中的各障碍物进行筛选以确定各目标障碍物时，该服务器还可以针对每帧环境数据对应的集合，确定对该集合中各障碍物进行目标跟踪时，得到的集合中各障碍物与其他帧环境数据中各障碍物间的关联值。并将属性稳定性为不稳定的各障碍物从该集合中删除，以更新该集合中的各障碍物。

之后，该服务器可针对更新后的该集合中的每个障碍物，确定该障碍物的关联数据中非目标置信度对应的障碍物为波动障碍物，并确定该障碍物的关联数据中，各目标置信度对应的障碍物为稳定障碍物。针对每个波动障碍物，该服务器可判断与该波动障碍物所属关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第二关联阈值的稳定障碍物。若是，则将该波动障碍物保留在该波动障碍物自身所属的障碍物的集合中，若否，则将该波动障碍物从该波动障碍物自身所属障碍物的集合中删除。并确定最后得到的各障碍物的集合中的障碍物为目标障碍物。

图6为本说明书提供的一种障碍物的示意图。如图，图中的各灰色填充的几何图形为障碍物1，F1～F5表示障碍物1的各帧关联数据，各箭头尾端标有各障碍物1在各帧关联数据中的置信度，即障碍物1的各关联置信度。可见，在关联数据F1中，障碍物1的置信度为0.9，在关联数据F2中，障碍物1的置信度为0.75，在关联数据F3中，障碍物1的置信度为0.9，在关联数据F4中，障碍物1的置信度为0.85，在关联数据F5中，障碍物1的置信度为0.9。假设预设的属性阈值为0.9，则关联数据F1、F3、F5对应的关联置信度为目标置信度，目标置信度对应的第二关联数量为3。关联数据F1、F3、F5中的障碍物1为稳定障碍物，关联数据F2、F4中的障碍物1为波动障碍物。

在本说明书一个或多个实施例中，该服务器还可以根据各障碍物对应的关联数据的数量，确定该障碍物的跟踪稳定性。该服务器可针对该帧环境数据对应的集合中的每个障碍物，确定该障碍物对应的关联数据的数量，作为跟踪长度，并判断该跟踪长度是否不小于预设的跟踪阈值，若是，则确定该障碍物的跟踪稳定性为稳定，作为该障碍物的稳定性。若否，则确定该障碍物的跟踪稳定性为不稳定，作为该障碍物的稳定性。

在步骤S106根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物时，该服务器还可以将跟踪稳定性为不稳定的障碍物从自身所属集合中删除，并更新各环境数据对应的集合。然后，确定更新后的各环境数据的集合中的障碍物，作为目标障碍物。

在本说明书一个或多个实施例中，该服务器可根据上述多种稳定性(类别稳定性、属性稳定性、跟踪稳定性)中的一种或几种的组合来对各障碍物进行筛选，以确定目标障碍物。具体怎样进行筛选，可根据需要设置，本说明书在此不做限制。

另外，在本说明书一个或多个实施例中，在步骤S102中，该服务器在针对每一帧环境数据，对各检测算法的检测结果进行融合时，还可以在确定了目标算法后，针对每个其他检测算法检测到的障碍物，将该障碍物与目标算法对应的每个匹配障碍物进行对比，以确定重复检测以及非重复检测的障碍物。

因此，该服务器还可以从各检测算法中确定目标算法，并确定该目标算法检测到的各障碍物为匹配障碍物，针对每个其他检测算法检测到的每个障碍物，该服务器可根据该障碍物的包围框分别与各匹配障碍物的包围框的重叠度，并判断得到的重叠度是否大于预设的匹配阈值，若否，则标记该障碍物为非重复检测的障碍物，若是，则标记该障碍物为重复检测的障碍物。并根据各非重复检测的障碍物以及各匹配障碍物，确定该帧环境数据中各障碍物的集合，以及该集合中各障碍物的综合检测结果。

以上为本说明书的一个或多个实施例提供的一种基于环境数据的训练样本的生成方法，基于同样的思路，本说明书还提供了相应的基于环境数据的训练样本的生成装置，如图7所示。

图7为本说明书提供的一种基于环境数据的训练样本的生成装置的示意图，该装置包括：

检测模块200，用于获取多帧环境数据，针对每一帧环境数据，通过预设的多个检测算法分别对该帧环境数据进行障碍物检测，确定各检测算法的检测结果，所述环境数据至少包括点云数据和图像数据中的一种；

融合模块201，用于对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，所述综合检测结果至少包括障碍物的类别以及包围框；

跟踪模块202，用于针对所述集合中的每个障碍物，基于其他各帧环境数据中障碍物的综合检测结果，对该障碍物进行目标跟踪，确定包含该障碍物的各帧环境数据，作为该障碍物的关联数据，并根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性；

筛选模块203，用于根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物；

样本生成模块204，用于针对每个目标障碍物，分别根据各帧环境数据中该目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

可选地，所述融合模块201，用于从各检测算法中确定目标算法，并确定所述目标算法检测到的各障碍物为匹配障碍物，针对每个其他检测算法检测到的每个障碍物，根据该障碍物的包围框的位置以及各匹配障碍物的包围框的位置，从各匹配障碍物中确定该障碍物的临近障碍物，确定该障碍物的包围框及其临近障碍物的包围框的重叠度，并判断所述重叠度是否大于预设的匹配阈值，若否，则标记该障碍物为非重复检测的障碍物，根据各非重复检测的障碍物以及各匹配障碍物，确定该帧环境数据中各障碍物的集合，以及所述集合中各障碍物的综合检测结果。

可选地，各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率，所述融合模块201，还用于确定所述集合中各障碍物的综合检测结果，具体包括，针对所述集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率以及预设的各检测算法的权重，确定该障碍物的类别，确定各障碍物的包围框以及类别作为所述集合中各障碍物的综合检测结果。

可选地，所述跟踪模块202，还用于根据各帧关联数据对应的该障碍物的类别，确定该障碍物的关联类别，针对每一个关联类别，确定该关联类别对应的关联数据的数量，作为第一关联数量，根据该障碍物对应的各第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定性，作为该障碍物的稳定性。

可选地，所述跟踪模块202，还用于确定该障碍物的关联数据中包含的关联类别的数量，判断确定出的数量是否大于预设的类别数量值，若否，则将各关联类别中，第一关联数量最大的关联类别作为稳定类别，并根据所述稳定类别的第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定值，并当所述类别稳定值大于预设的类别稳定阈值时，确定该障碍物的类别稳定性为稳定，当所述类别稳定值不大于预设的类别稳定阈值时，确定该障碍物的类别稳定性为不稳定，若是，则确定该障碍物的类别稳定性为不稳定。

可选地，所述筛选模块203，还用于针对每帧环境数据对应的集合，确定对该集合中各障碍物进行目标跟踪时，得到的该集合中各障碍物与其他帧环境数据中各障碍物间的关联值，将类别稳定性为不稳定的各障碍物从该集合中删除，更新该集合中的各障碍物，针对更新后的该集合中的每个障碍物，确定该障碍物的关联数据中非稳定类别对应的障碍物为波动障碍物，并确定该障碍物的关联类别中，各稳定类别对应的障碍物为稳定障碍物，针对每个波动障碍物，判断与该波动障碍物所在关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第一关联阈值的稳定障碍物，若是，则根据与该波动障碍物的关联值大于所述第一关联阈值的稳定障碍物的类别，对该波动障碍物的类别进行更正，并将该波动障碍物保留在自身所属的集合中，若否，则将该波动障碍物从自身所属集合中删除，确定最终得到的各帧环境数据对应的集合中的障碍物为目标障碍物。

可选地，各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率以及属性置信度，所述属性置信度表示障碍物属于预设类别的可靠度，所述融合模块201，还用于针对所述集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率以及各检测算法的权重，确定该障碍物的类别，根据各检测算法的检测结果中该障碍物的各属性置信度以及各检测算法的权重，确定该障碍物的属性，确定各障碍物的包围框、类别以及属性，作为该帧环境数据对应的集合中各障碍物的综合检测结果。

可选地，所述跟踪模块202，还用于确定该障碍物的关联数据对应的该障碍物的各属性对应的置信度，作为该障碍物的各关联置信度，判断是否存在大于预设的属性阈值的关联置信度，若是，则将大于所述属性阈值的关联置信度作为目标置信度，并确定所述目标置信度对应的关联数据的数量，作为第二关联数量，根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定性，作为该障碍物的稳定性。

可选地，所述跟踪模块202，还用于根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定值，判断所述属性稳定值是否大于预设的属性稳定阈值，若是，则确定该障碍物的属性稳定性为稳定，若否，则确定该障碍物的属性稳定性为不稳定。

可选地，所述筛选模块203，还用于针对每帧环境数据对应的集合，确定对该集合中各障碍物进行目标跟踪时，得到的该集合中各障碍物与其他帧环境数据中各障碍物间的关联值，将属性稳定性为不稳定的各障碍物从该集合中删除，更新该集合中的各障碍物，针对更新后的该集合中的每个障碍物，确定该障碍物的关联数据中非目标置信度对应的障碍物为波动障碍物，并确定该障碍物的关联数据中，各目标置信度对应的障碍物为稳定障碍物，针对每个波动障碍物，判断与该波动障碍物所属关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第二关联阈值的稳定障碍物，若是，则将该波动障碍物保留在自身所属的障碍物的集合中，若否，则将该波动障碍物从自身所属障碍物的集合中删除，确定最终得到的各帧环境数据对应的集合中的障碍物为目标障碍物。

本说明书还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的基于环境数据的训练样本的生成方法。

本说明书还提供了图8所示的电子设备的结构示意图。如图8所示，在硬件层面，该电子设备包括处理器、内部总线、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1提供的基于环境数据的训练样本的生成方法。

当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(Programmable Logic Device,PLD)(例如现场可编程门阵列(Field Programmable GateArray，FPGA))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(Hardware Description Language，HDL)，而HDL也并非仅有一种，而是有许多种，如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等，目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。

控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (13)

1.一种基于环境数据的训练样本的生成方法，其特征在于，包括：

获取多帧环境数据，针对每一帧环境数据，通过预设的多个检测算法分别对该帧环境数据进行障碍物检测，确定各检测算法的检测结果，所述环境数据至少包括点云数据和图像数据中的一种；

对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，所述综合检测结果至少包括障碍物的类别以及包围框；

针对所述集合中的每个障碍物，基于其他各帧环境数据中障碍物的综合检测结果，对该障碍物进行目标跟踪，确定包含该障碍物的各帧环境数据，作为该障碍物的关联数据，并根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性；

根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物；

针对每个目标障碍物，分别根据各帧环境数据中该目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

2.如权利要求1所述的方法，其特征在于，对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，具体包括：

从各检测算法中确定目标算法，并确定所述目标算法检测到的各障碍物为匹配障碍物；

针对每个其他检测算法检测到的每个障碍物，根据该障碍物的包围框的位置以及各匹配障碍物的包围框的位置，从各匹配障碍物中确定该障碍物的临近障碍物；

确定该障碍物的包围框及其临近障碍物的包围框的重叠度，并判断所述重叠度是否大于预设的匹配阈值；

若否，则标记该障碍物为非重复检测的障碍物；

根据各非重复检测的障碍物以及各匹配障碍物，确定该帧环境数据中各障碍物的集合，以及所述集合中各障碍物的综合检测结果。

3.如权利要求1所述的方法，其特征在于，各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率；

确定所述集合中各障碍物的综合检测结果，具体包括：

针对所述集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率以及预设的各检测算法的权重，确定该障碍物的类别；

确定各障碍物的包围框以及类别作为所述集合中各障碍物的综合检测结果。

4.如权利要求3所述的方法，其特征在于，根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性，具体包括：

根据各帧关联数据对应的该障碍物的类别，确定该障碍物的关联类别；

针对每一个关联类别，确定该关联类别对应的关联数据的数量，作为第一关联数量；

根据该障碍物对应的各第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定性，作为该障碍物的稳定性。

5.如权利要求4所述的方法，其特征在于，根据该障碍物对应的各第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定性，具体包括：

确定该障碍物的关联数据中包含的关联类别的数量，判断确定出的数量是否大于预设的类别数量值；

若否，则将各关联类别中，第一关联数量最大的关联类别作为稳定类别，并根据所述稳定类别的第一关联数量以及该障碍物的关联数据的数量，确定该障碍物的类别稳定值，并当所述类别稳定值大于预设的类别稳定阈值时，确定该障碍物的类别稳定性为稳定，当所述类别稳定值不大于预设的类别稳定阈值时，确定该障碍物的类别稳定性为不稳定；

若是，则确定该障碍物的类别稳定性为不稳定。

6.如权利要求5所述的方法，其特征在于，根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物，具体包括：

针对每帧环境数据对应的集合，确定对该集合中各障碍物进行目标跟踪时，得到的该集合中各障碍物与其他帧环境数据中各障碍物间的关联值；

将类别稳定性为不稳定的各障碍物从该集合中删除，更新该集合中的各障碍物；

针对更新后的该集合中的每个障碍物，确定该障碍物的关联数据中非稳定类别对应的障碍物为波动障碍物，并确定该障碍物的关联类别中，各稳定类别对应的障碍物为稳定障碍物；

针对每个波动障碍物，判断与该波动障碍物所在关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第一关联阈值的稳定障碍物；

若是，则根据与该波动障碍物的关联值大于所述第一关联阈值的稳定障碍物的类别，对该波动障碍物的类别进行更正，并将该波动障碍物保留在自身所属的集合中，若否，则将该波动障碍物从自身所属集合中删除；

确定最终得到的各帧环境数据对应的集合中的障碍物为目标障碍物。

7.如权利要求1所述的方法，其特征在于，各检测算法的检测结果至少包括障碍物的包围框及其对应的各类别概率以及属性置信度，所述属性置信度表示障碍物属于预设类别的可靠度；

确定所述集合中各障碍物的综合检测结果，具体包括：

针对所述集合中的每个障碍物，根据各检测算法的检测结果中该障碍物的各类别概率以及各检测算法的权重，确定该障碍物的类别；

根据各检测算法的检测结果中该障碍物的各属性置信度以及各检测算法的权重，确定该障碍物的属性；

确定各障碍物的包围框、类别以及属性，作为该帧环境数据对应的集合中各障碍物的综合检测结果。

8.如权利要求7所述的方法，其特征在于，根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性，具体包括：

确定该障碍物的关联数据对应的该障碍物的各属性对应的置信度，作为该障碍物的各关联置信度；

判断是否存在大于预设的属性阈值的关联置信度；

若是，则将大于所述属性阈值的关联置信度作为目标置信度，并确定所述目标置信度对应的关联数据的数量，作为第二关联数量；

根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定性，作为该障碍物的稳定性。

9.如权利要求8所述的方法，其特征在于，根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定性，具体包括：

根据所述第二关联数量以及该障碍物的关联数据的数量，确定该障碍物的属性稳定值；

判断所述属性稳定值是否大于预设的属性稳定阈值；

若是，则确定该障碍物的属性稳定性为稳定；

若否，则确定该障碍物的属性稳定性为不稳定。

10.如权利要求9所述的方法，其特征在于，根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物，具体包括：

针对每帧环境数据对应的集合，确定对该集合中各障碍物进行目标跟踪时，得到的该集合中各障碍物与其他帧环境数据中各障碍物间的关联值；

将属性稳定性为不稳定的各障碍物从该集合中删除，更新该集合中的各障碍物；

针对更新后的该集合中的每个障碍物，确定该障碍物的关联数据中非目标置信度对应的障碍物为波动障碍物，并确定该障碍物的关联数据中，各目标置信度对应的障碍物为稳定障碍物；

针对每个波动障碍物，判断与该波动障碍物所属关联数据相邻的其他关联数据中，是否存在与该波动障碍物的关联值大于第二关联阈值的稳定障碍物；

若是，则将该波动障碍物保留在自身所属的障碍物的集合中，若否，则将该波动障碍物从自身所属障碍物的集合中删除；

确定最终得到的各帧环境数据对应的集合中的障碍物为目标障碍物。

11.一种基于环境数据的训练样本的生成装置，其特征在于，包括：

检测模块，用于获取多帧环境数据，针对每一帧环境数据，通过预设的多个检测算法分别对该帧环境数据进行障碍物检测，确定各检测算法的检测结果，所述环境数据至少包括点云数据和图像数据中的一种；

融合模块，用于对各检测算法的检测结果进行融合，确定该帧环境数据中的各障碍物的集合以及所述集合中各障碍物的综合检测结果，所述综合检测结果至少包括障碍物的类别以及包围框；

跟踪模块，用于针对所述集合中的每个障碍物，基于其他各帧环境数据中障碍物的综合检测结果，对该障碍物进行目标跟踪，确定包含该障碍物的各帧环境数据，作为该障碍物的关联数据，并根据各关联数据中该障碍物的综合检测结果，确定该障碍物的稳定性；

筛选模块，用于根据各帧环境数据对应的集合中各障碍物的稳定性，对各帧环境数据中的各障碍物进行筛选，确定各目标障碍物；

样本生成模块，用于针对每个目标障碍物，分别根据各帧环境数据中该目标障碍物对应的数据，确定训练样本，根据各帧环境数据中该目标障碍物对应的综合检测结果分别确定训练样本的标注。

12.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1～10任一项所述的方法。

13.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述权利要求1～10任一项所述的方法。

Images