CN117784162B - 目标标注数据获取方法、目标跟踪方法、智能设备及介质 - Google Patents

Abstract

本申请涉及自动驾驶技术领域，具体提供一种目标标注数据获取方法、目标跟踪方法、智能设备及介质，旨在解决便捷且准确地获取目标标注数据的问题。本申请提供的方法包括获取各传感器采集的第一数据帧，获取第一数据帧中目标的检测框、真值框及其跟踪ID；将不同传感器的第一数据帧中表示同一目标的真值框修改成同一个跟踪ID，形成各传感器的第二数据帧；获取与检测框表示同一个目标的真值框，并根据真值框在第二数据帧中的跟踪ID设定检测框的跟踪ID；根据检测框及其跟踪ID，获取目标标注数据。通过上述方法，可以便捷且准确地将不同传感器的数据帧中表示同一目标的检测框设置成相同的跟踪ID，提高了目标标注数据获取的效率和准确性。

Description

目标标注数据获取方法、目标跟踪方法、智能设备及介质

技术领域

本申请涉及自动驾驶技术领域，具体涉及一种目标标注数据获取方法、目标跟踪方法、智能设备及介质。

背景技术

在对车辆进行自动驾驶控制时会利用车辆上的传感器感知车辆周围的目标，并对目标进行跟踪，进而根据跟踪的结果对车辆进行轨迹规划与控制。在车辆的实际行驶环境中，车辆周围通常存在多个目标，因此需要对多个目标同时进行准确、稳定的跟踪，以保证车辆行驶的安全性。

车辆上通常会设置有多种传感器（如相机、激光雷达），可以训练一个网络模型，利用这个网络模型对多种传感器感知得到的目标数据进行融合，以将表示同一目标的目标数据关联在一起，然后再根据融合后的目标数据进行目标跟踪。在训练网络模型时，需要对多种传感器感知得到的目标数据中，属于同一目标的目标数据标注相同的跟踪ID，形成目标标注数据，再采用这些目标标注数据训练网络模型。但是，目前的方法主要是由人工进行手动标注，不仅费时费力，还极易出错，降低了目标跟踪的准确性。

相应地，本领域需要一种新的技术方案来解决上述问题。

发明内容

为了克服上述缺陷，提出了本申请，以解决或至少部分地解决如何便捷且准确地对多种传感器感知得到的目标数据中属于同一目标的目标数据进行数据标注的技术问题。

在第一方面，提供一种目标标注数据获取方法，包括：

获取智能设备上设置的多个传感器中各传感器采集的第一数据帧；

分别获取每一所述第一数据帧中目标的检测框；

分别获取每一所述第一数据帧中目标的真值框及其跟踪ID；

对所述各传感器的第一数据帧中目标的真值框进行联合标注，以将不同传感器的第一数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，形成所述各传感器的第二数据帧；

针对所述各传感器，对所述传感器的第一数据帧中目标的检测框与所述传感器的第二数据帧中目标的真值框进行关联分析，以从所述第二数据帧中获取与所述检测框表示同一个目标的真值框，并根据所述真值框在所述第二数据帧中的跟踪ID，设定所述检测框的跟踪ID；

根据所述各传感器的第一数据帧中目标的检测框及其跟踪ID，获取目标标注数据。

在上述目标标注数据获取方法的一个技术方案中，所述对所述各传感器的第一数据帧中目标的真值框进行联合标注，包括：

针对所述各传感器，获取所述传感器的第一数据帧中目标的轨迹，所述轨迹根据所述目标的真值框形成；

获取不同传感器的第一数据帧中目标的轨迹的重叠长度；

若所述重叠长度大于设定阈值，则将所述不同传感器的第一数据帧中目标的真值框的跟踪ID修改成同一个跟踪ID。

在上述目标标注数据获取方法的一个技术方案中，所述获取不同传感器的第一数据帧中目标的轨迹的重叠长度，包括：

将所有传感器中的一个作为第一传感器，剩余的作为第二传感器，其中，所述第二传感器的数量为多个；

针对每一所述第二传感器，获取所述第二传感器的第一数据帧中目标的轨迹，与所述第一传感器的第一数据帧中目标的轨迹的重叠长度。

在上述目标标注数据获取方法的一个技术方案中，所述方法还包括：

若所述重叠长度大于设定阈值，则将所述第二传感器的第一数据帧中真值框的跟踪ID，修改成所述第一传感器的第一数据帧中真值框的跟踪ID。

在上述目标标注数据获取方法的一个技术方案中，所述各传感器采集第一数据帧的频率不同，在所述对所述各传感器的第一数据帧中目标的真值框进行联合标注之前，所述方法还包括：

将所有传感器中所述频率最大的一个作为第三传感器，剩余的作为第四传感器；

获取所述第三传感器采集的各第一数据帧的时间戳；

根据各所述时间戳，对所述第四传感器采集的第一数据帧中目标的真值框进行插值计算，以获取所述目标在各所述时间戳时的真值框及其跟踪ID，形成所述第四传感器在各所述时间戳时的虚拟数据帧，所述虚拟数据帧包括所述目标在所述时间戳时的真值框及其跟踪ID。

在上述目标标注数据获取方法的一个技术方案中，所述对所述各传感器的第一数据帧中目标的真值框进行联合标注，包括：

获取所述第三传感器的第一数据帧中目标的真值框；

获取所述第四传感器的第三数据帧中目标的真值框；

对所述第一数据帧与所述第三数据帧中目标的真值框进行联合标注，以将所述第一数据帧与所述第三数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，形成所述各传感器的第二数据帧；

其中，所述第三数据帧包括所述第四传感器的第一数据帧和所述虚拟数据帧；所述各传感器的第二数据帧的频率均与所述第三传感器采集第一数据帧的频率相同。

在上述目标标注数据获取方法的一个技术方案中，所述对所述传感器的第一数据帧中目标的检测框与所述传感器的第二数据帧中目标的真值框进行关联分析，包括：

获取所述第一数据帧的第一时间戳；

获取所述第二数据帧的第二时间戳；

根据所述第一时间戳与所述第二时间戳，获取与所述第一数据帧最近邻的第二数据帧；

对所述第一数据帧中目标的检测框与所述最近邻的第二数据帧中目标的真值框进行关联分析。

在上述目标标注数据获取方法的一个技术方案中，所述对所述传感器的第一数据帧中目标的检测框与所述传感器的第二数据帧中目标的真值框进行关联分析，包括：

获取所述检测框与所述真值框之间的关联特征，所述关联特征包括所述检测框与所述真值框之间的中心点距离和交并比；

根据所述关联特征，确定所述检测框与所述真值框是否表示同一目标；

根据确定的结果，获取与所述检测框表示同一目标的真值框。

在上述目标标注数据获取方法的一个技术方案中，所述获取所述检测框与所述真值框之间的关联特征，包括：

当所述第一数据帧、第二数据帧是三维数据、所述检测框为三维检测框、所述真值框为三维真值框时，获取所述检测框与所述真值框之间的第一中心点距离和第一交并比；

当所述第一数据帧、第二数据帧是二维数据、所述检测框为三维检测框、所述真值框为三维真值框时，获取所述检测框与所述真值框之间的第二中心点距离和第二交并比，以及获取第一二维框与第二二维框之间的第三交并比；

其中，所述第一二维框为所述检测框投影到所述第一数据帧上形成的二维检测框，所述第二二维框为所述真值框投影到所述第二数据帧上形成的二维真值框。

在第二方面，提供一种目标跟踪方法，所述方法包括：

获取智能设备上设置的多个传感器中各传感器采集的数据帧；

采用上述第一方面提供的目标标注数据获取方法，根据所述各传感器采集的数据帧，获取目标标注数据；

采用所述目标标注数据，训练目标跟踪模型；

采用训练好的目标跟踪模型，对所述智能设备上多个传感器采集的数据帧进行目标跟踪。

在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述目标标注数据获取方法的技术方案中任一项技术方案所述的方法。

在第四方面，提供一种智能设备，该智能设备包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现上述目标标注数据获取方法的技术方案中任一项技术方案所述的方法。

本申请上述一个或多个技术方案，至少具有如下一种或多种有益效果：

在实施本申请提供的目标标注数据获取方法的技术方案中，可以获取智能设备上设置的多个传感器中各传感器采集的第一数据帧，分别获取每一第一数据帧中目标的检测框，分别获取每一第一数据帧中目标的真值框及其跟踪ID；然后，对各传感器的第一数据帧中目标的真值框进行联合标注，以将不同传感器的第一数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，形成各传感器的第二数据帧；针对各传感器，对传感器的第一数据帧中目标的检测框与传感器的第二数据帧中目标的真值框进行关联分析，以从第二数据帧中获取与检测框表示同一个目标的真值框，并根据真值框在第二数据帧中的跟踪ID，设定检测框的跟踪ID；根据各传感器的第一数据帧中目标的检测框及其跟踪ID，获取目标标注数据。

通过上述实施方式，可以便捷且准确地将不同传感器采集的数据帧中表示同一目标的检测框设置成相同的跟踪ID，提高了目标标注数据获取的效率和准确性，为目标跟踪模型的训练提供了有力支持。

附图说明

参照附图，本申请的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本申请的保护范围组成限制。其中：

图1是根据本申请的一个实施例的目标标注数据获取方法的主要步骤流程示意图；

图2是根据本申请的一个实施例的在进行联合标注之前的点云示意图；

图3是根据本申请的一个实施例的在进行联合标注之前的图像示意图；

图4根据本申请的一个实施例的在进行联合标注之后的点云示意图；

图5是根据本申请的一个实施例的在进行联合标注之后的图像示意图；

图6是根据本申请的一个实施例的对各传感器的第一数据帧中目标的真值框进行联合标注的主要步骤流程示意图；

图7是根据本申请的一个实施例的对传感器的第一数据帧中目标的检测框与传感器的第二数据帧中目标的真值框进行关联分析的主要步骤流程示意图；

图8是根据本申请的一个实施例的对传感器采集的第一数据帧进行补帧处理的主要步骤流程示意图；

图9是根据本申请的另一个实施例的目标标注数据获取方法的主要步骤流程示意图；

图10是根据本申请的一个实施例的目标跟踪方法的主要步骤流程示意图；

图11是根据本申请的一个实施例的智能设备的主要结构示意图。

附图标记：

11：存储器；12：处理器。

具体实施方式

下面参照附图来描述本申请的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本申请的技术原理，并非旨在限制本申请的保护范围。

在本申请的描述中，“处理器”可以包括硬件、软件或者两者的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。

本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。

本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。

本申请非常重视用户个人信息的安全，已采取符合业界标准、合理可行的安全防护措施保护用户的信息，防止个人信息遭到未经授权访问、公开披露、使用、修改、损坏或丢失。

下面对本申请提供的目标标注数据获取方法的实施例进行说明。参阅附图1，图1是根据本申请的一个实施例的目标标注数据获取方法的主要步骤流程示意图。如图1所示，本申请实施例中的目标标注数据获取方法主要包括下列步骤S101至步骤S107。

步骤S101：获取智能设备上设置的多个传感器中各传感器采集的第一数据帧。

智能设备可以包括驾驶设备、智能车、机器人等设备。

传感器可以包括激光雷达、相机等传感器，激光雷达采集的第一数据帧是点云，相机采集的第一数据帧是图像。

步骤S102：分别获取每一第一数据帧中目标的检测框。

在本实施例中可以采用常规的目标检测方法，对第一数据帧进行目标检测，得到目标的检测框，检测框也就是目标在第一数据帧中的边界框。例如，可以预先训练好一个目标检测模型，用这个目标检测模型对第一数据帧进行目标检测。以第一数据帧是激光雷达采集的点云、相机采集的图像为例，可以训练一个对点云进行目标检测的模型，用这个模型对点云进行目标检测，同时训练一个对图像进行目标检测的模型，用这个模型对图像进行目标检测。本实施例不对目标检测框的获取方法作具体限定，只要能够得到第一数据帧中每个目标的目标检测框即可。

步骤S103：分别获取每一第一数据帧中目标的真值框及其跟踪ID（IdentityDocument）。

真值框是指目标在第一数据帧中真实的边界框，同一个目标的真值框具有相同的跟踪ID，根据同一个目标的真值框可以形成这个目标的轨迹，因此，跟踪ID也可以是这个目标的轨迹ID。

在本实施例中可以通过人工标注的方式，将第一数据帧中目标的真值框标注出来，并为真值框分配跟踪ID。此外，本实施例不对真值框及其跟踪ID的获取方法作具体限定，只要能够得到真值框及其跟踪ID即可。

步骤S104：对各传感器的第一数据帧中目标的真值框进行联合标注，以将不同传感器的第一数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，形成各传感器的第二数据帧。

第二数据帧中真值框的跟踪ID是经过联合标注之后形成的跟踪ID。相比于第一数据帧，第二数据帧中真值框的位姿等信息没有发生改变，区别主要是真值框的跟踪ID可能发生了改变。

在将不同传感器的第一数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID时，可以将一个传感器作为基准，将其他传感器的第一数据帧中真值框的跟踪ID都修改成这个传感器的第一数据帧中真值框的跟踪ID。此外，也可以将设定全新的跟踪ID，将不同传感器的第一数据帧中表示同一目标的真值框的跟踪ID都修改成这个全新的跟踪ID。进一步，在一些实施方式中，如果全新的跟踪ID与第一数据帧中真值框的跟踪ID采用了不同的编码方法或设定方法，对于第一数据帧中没有表示同一目标的真值框，也可以采用相同的编码方法或设定方法，重新设定这些真值框的跟踪ID，但要保证表示不同目标的真值框具有不同的跟踪ID，表示相同目标的真值框具有相同的跟踪ID。

下面以激光雷达采集的点云、相机采集的图像为例，对上述联合标注进行简单说明。

参阅附图2至附图5，图2为在进行联合标注之前的点云，图3为在进行联合标注之前的图像，图4为在进行联合标注之后的点云，图5在进行联合标注之后的图像。图2至图5中的数字表示跟踪ID，图2至图5的横坐标可以是全局坐标系的X轴，纵坐标可以是全局坐标系的Y轴。

如图2所示，在进行联合标注之前的点云中，真值框的跟踪ID为9、5、7等等。如图4所示，在进行联合标注之后的点云中，真值框的跟踪ID为1015、1007、1005等等。其中，9、5、7分别和1015、1007、1005一一对应，即9和1015对应的真值框是同一个真值框。

如图3所示，在进行联合标注之前的图像中，真值框的跟踪ID为3、32、70等等。如图5所示，在进行联合标注之后的图像中，真值框的跟踪ID为1015、1007、1005等等。其中，3、32、70分别和1015、1007、1005一一对应，即3和1015对应的真值框是同一个真值框。

在图2中9对应的真值框，与图3中3对应的真值框表示同一个目标，在进行联合标注之后，这两个真值框的跟踪ID都修改为了1015。

步骤S105：针对各传感器，对传感器的第一数据帧中目标的检测框与传感器的第二数据帧中目标的真值框进行关联分析，以从第二数据帧中获取与检测框表示同一个目标的真值框。

根据步骤S103可知，真值框是目标的边界框，根据边界框的位置、尺寸等信息，可以确定两个真值框是否相似；若相似，则表明这两个真值框表示同一个目标。

步骤S106：根据真值框在第二数据帧中的跟踪ID，设定检测框的跟踪ID。具体地，可以将检测框的跟踪ID设置成真值框在第二数据帧中的跟踪ID。

步骤S107：根据各传感器的第一数据帧中目标的检测框及其跟踪ID，获取目标标注数据。

经过前述步骤S101至步骤S106，可以为第一数据帧中每个目标的检测框都设定好跟踪ID，从而形成了具有标注信息的第一数据帧。

此外，第一数据帧具有时间戳，这个时间戳可以是传感器在采集第一数据帧时得到的。在获取目标标注数据时，可以将所有传感器的第一数据帧（具有标注信息的第一数据帧），按照时间戳由先至后的顺序进行排列，形成第一数据帧（具有标注信息的第一数据帧）的时序序列，将这个第一数据帧的时序序列作为目标标注数据。

基于上述步骤S101至步骤S107所述的方法，可以便捷且准确地将不同传感器采集的数据帧中表示同一目标的检测框设置成相同的跟踪ID，提高了目标标注数据获取的效率和准确性。

下面对上述步骤S104和步骤S105作进一步说明。

一、对步骤S104进行说明。

在上述步骤S104的一些实施方式中，可以通过图6所示的下列步骤S1041至步骤S1043，对各传感器的第一数据帧中目标的真值框进行联合标注，以将不同传感器的第一数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID。

步骤S1041：针对各传感器，获取传感器的第一数据帧中目标的轨迹。其中，轨迹根据目标的真值框形成。例如，可以将目标的真值框连接形成目标的轨迹。

步骤S1042：获取不同传感器的第一数据帧中目标的轨迹的重叠长度。

步骤S1043：若重叠长度大于设定阈值，则将不同传感器的第一数据帧中目标的真值框的跟踪ID修改成同一个跟踪ID。

如果重叠长度大于设定阈值，表明重叠长度比较长，这两个轨迹表示的目标是同一个目标，因此，可以将这两个目标的真值框修改成同一个跟踪ID，即可以将不同传感器的第一数据帧中目标的真值框的跟踪ID修改成同一个跟踪ID。否则，则表明重叠长度比较短，这两个轨迹表示的目标不是同一个目标，不需要将这两个目标的真值框修改成同一个跟踪ID。

本领域技术人员可以根据实际需求灵活地设定上述设定阈值的数值，本实施例对此不作具体限定。

基于上述步骤S1041至步骤S1043所述的方法，可以利用目标的轨迹准确地判断出两个目标是否为同一个目标，从而可以准确得到表示同一目标的真值框，将这些真值框修改成成相同的跟踪ID。

下面对上述步骤S1042和步骤S1043作进一步说明。

在上述步骤S1042的一个实施方式中，可以将一个传感器作为基准，分别获取剩余的传感器的第一数据帧中目标的轨迹，与这个传感器的第一数据帧中目标的轨迹的重叠长度。具体而言，可以将所有传感器中的一个作为第一传感器，剩余的作为第二传感器，第二传感器的数量为多个；针对每一第二传感器，获取第二传感器的第一数据帧中目标的轨迹，与第一传感器的第一数据帧中目标的轨迹的重叠长度。

通过这种实施方式，可以在传感器数量在三个及以上时，快速地获取不同传感器的第一数据帧中目标的轨迹的重叠长度。

在上述步骤S1043的一些实施方式中，在第一传感器作为基准的情况下，若重叠长度大于设定阈值，则可以将第二传感器的第一数据帧中真值框的跟踪ID，修改成第一传感器的第一数据帧中真值框的跟踪ID。

通过这种实施方式，可以在传感器数量在三个及以上时，快速地将不同传感器的第一数据帧中目标的真值框修改成同一个跟踪ID。

二、对步骤S105进行说明。

在上述步骤S105的一些实施方式中，可以通过图7所示的下列步骤S1051至步骤S1053，对传感器的第一数据帧中目标的检测框与传感器的第二数据帧中目标的真值框进行关联分析，以从第二数据帧中获取与检测框表示同一个目标的真值框。

步骤S1051：获取检测框与真值框之间的关联特征。

关联特征可以包括检测框与真值框之间的中心点距离和交并比（Intersectionover Union）。中心点距离是检测框的中心点与真值框的中心点之间的距离。在一些实施方式中，可以获取两个中心点之间的欧式距离作为中心点距离。此外，可以采用常规的交并比获取方法，获取检测框与真值框之间的交并比。

步骤S1052：根据关联特征，确定检测框与真值框是否表示同一目标。

若中心点距离比较小，则表明检测框与真值框比较接近，二者可能表示同一个目标；若交并比比较大，则表明检测框与真值框的重叠范围比较大，二者可能表示同一个目标。因此，可以根据中心点距离、交并比的大小，来确定检测框与真值框是否表示同一目标。

在一些实施方式中，可以设定第一阈值和第二阈值，若中心点距离小于第一阈值且交并比大于第二阈值，则确定检测框与真值框表示同一目标。本领域技术人员可以根据实际需求灵活地设定第一、第二阈值的数值，本实施方式对此不作具体限定。

在一些实施方式中，可以根据中心点距离和交并比获取匹配分数，匹配分数可以表示检测框与真值框表示同一目标的置信度，匹配分数越大则置信度越大，检测框与真值框越可能表示同一目标。在本实施方式中，可以设定第三阈值，若匹配分数大于第三阈值，则确定检测框与真值框表示同一目标。本领域技术人员可以根据实际需求灵活地设定第三阈值的数值，本实施方式对此不作具体限定。

进一步，在一些实施方式中，可以根据中心点距离获取第一分数，根据交并比获取第二分数，对第一、第二分数进行加权和计算，将计算的结果作为匹配分数。其中，中心点距离与第一分数成负相关，即中心点距离越小则第一分数越大；交并比与第二分数成正相关，即交并比越大则第二分数越大。例如，在获取第一分数时可以将中心点距离的倒数作为第二分数，在获取第二分数时可以将交并比作为第二分数。

步骤S1053：根据确定的结果，获取与检测框表示同一目标的真值框。

基于上述步骤S1051至步骤S1053所述的方法，可以利用检测框与真值框之间的关联特征，准确地确定出检测框与真值框是否表示同一目标，从而准确得到与检测框表示同一目标的真值框。

下面对上述步骤S1051作进一步说明。

在上述步骤S1051的一些实施方式中，第一、第二数据帧都是三维数据，检测框是三维检测框，真值框是三维真值框。例如，第一、第二数据帧是激光雷达采集的点云。在此情况下，可以获取检测框与真值框之间的第一中心点距离和第一交并比，第一中心点距离和第一交并比的获取方法与前述实施方式中的方法相同，在此不再赘述。

由于第一、第二数据帧、检测框、真值框都是三维的，因此，在本实施方式中获取三维条件下的关联特征（即第一中心点距离和第一交并比），利用该关联特征就可以准确地判断出检测框、真值框是否表示同一目标。

在上述步骤S1051的一些实施方式中，第一、第二数据帧都是二维数据，检测框是三维检测框，真值框是三维真值框。例如，第一、第二数据帧是相机采集的图像。在此情况下，可以获取检测框与真值框之间的第二中心点距离和第二交并比，以及获取第一二维框与第二二维框之间的第三交并比。其中，第一二维框为检测框投影到第一数据帧上形成的二维检测框，第二二维框为真值框投影到第二数据帧上形成的二维真值框。在本实施方式中，可以根据检测框的三维位姿，通过坐标转换的方式，将检测框转换到第一数据帧所在的坐标系，得到检测框在第一数据帧上的二维位姿，这个二维位姿也就是检测框在第一数据帧上形成的二维检测框的位姿。类似的，也可以根据真值框的三维位姿，通过坐标转换的方式，将真值框转换到第二数据帧所在的坐标系，从而得到真值框在第二数据帧上的二维位姿，即第二二维框的位姿。

由于第一、第二数据帧是二维的，而检测框和真值框是三维的，因此，在本实施方式中不仅要获取三维条件下的关联特征（即第二中心点距离和第二交并比），还要获取二维条件下的关联特征（即第三交并比），从而可以同时利用三维、二维条件下的关联特征，准确地判断出检测框、真值框是否表示同一目标。

下面继续对本申请提供的目标标注数据获取方法的实施例进行说明。在一些实施例中，智能设备上多个传感器中各传感器采集第一数据帧的频率不同，为了保证对各传感器的第一数据帧中目标的真值框进行联合标注的准确性，在此之前还可以对传感器采集的第一数据帧进行补帧处理，保证对各第一数据帧都能实现联合标注。

具体而言，在本实施例中可以通过图8所示的下列步骤S1001至步骤S1003，对传感器采集的第一数据帧进行补帧处理。

步骤S1001：将所有传感器中频率最大的一个作为第三传感器，剩余的作为第四传感器。

步骤S1002：获取第三传感器采集的各第一数据帧的时间戳。

步骤S1003：根据各时间戳，对第四传感器采集的第一数据帧中目标的真值框进行插值计算，以获取目标在各时间戳时的真值框及其跟踪ID，形成第四传感器在各时间戳时的虚拟数据帧。

虚拟数据帧包括目标在时间戳时的真值框及其跟踪ID。虚拟数据帧并不是传感器真实采集到的数据帧，而是通过补帧处理得到的虚拟的数据帧，但是其包含的真值框及其跟踪ID是准确的。

第四传感器采集的第一数据帧也具有时间戳，这个时间戳也可以理解成是第一数据帧中目标或真值框的时间戳。为了便于区分，将第三传感器采集的第一数据帧的时间戳称为第一时间戳，第四传感器采集的第一数据帧的时间戳称为第二时间戳。在已知第一时间戳、真值框的第二时间戳、真值框的三维位姿的情况下，通过插值计算，可以得到真值框在第一时间戳时的三维位姿，也就是得到了目标在第一时间戳时的真值框，而真值框在第一时间戳时的跟踪ID与其在第二时间戳时的跟踪ID相同。

在一些实施方式中，可以将第四传感器采集的第一数据帧中目标的真值框作为卡尔曼滤波的观测量，将目标的运动状态量和轨迹作为卡尔曼滤波的预测量，通过卡尔曼滤波对预测量进行估计，得到目标在第二时间戳时的运动状态量和轨迹，根据运动状态量和轨迹可以得到目标在第二时间戳时的三维位姿。进一步，在已知第一时间戳、目标的第二时间戳、目标的三维位姿的情况下，通过插值计算，可以得到目标在第一时间戳时的三维位姿，也就是得到了目标在第一时间戳时的真值框，而真值框在第一时间戳时的跟踪ID与目标在第二时间戳时真值框的跟踪ID相同。

以智能设备上设置的激光雷达和相机为例，对上述方法进行简单说明。激光雷达采集点云的频率是10hz，相机采集图像的频率是30hz，因此，相机是第三传感器，激光雷达是第四传感器。

以1秒为例，相机采集了30帧图像，通过人工标注可以得到每帧图像中目标的真值框，即30帧图像标注结果。

在这1秒内，激光雷达采集了10帧点云，通过人工标注可以得到每帧点云中目标的真值框，即10帧点云标注结果。如果不进行补帧处理，那么将有20帧图像中的目标无法实现联合标注。而通过上述方法，可以得到20帧虚拟点云，根据这20帧虚拟点云和上述激光雷达真实采集的10帧点云，一共可以得到30帧点云标注结果，与图像标注结果的帧数相同，这样就可以保证每帧图像中的目标都可以实现联合标注。

基于上述步骤S1001至步骤S1003所述的方法，不同传感器采集第一数据帧的频率不同的情况下，对频率低的传感器采集的第一数据帧进行补帧处理，使得各传感器对应的数据帧的数量相同，从而保证对各第一数据帧都能实现联合标注。

在一些实施方式中，当通过上述方法对频率低的传感器采集的第一数据帧进行补帧处理之后，可以通过以下步骤S1044至步骤S1046，对各传感器的第一数据帧中目标的真值框进行联合标注。

步骤S1044：获取第三传感器的第一数据帧中目标的真值框。

步骤S1045：获取第四传感器的第三数据帧中目标的真值框。其中，第三数据帧包括第四传感器的第一数据帧和虚拟数据帧。

步骤S1046：对第一数据帧与第三数据帧中目标的真值框进行联合标注，以将第一数据帧与第三数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，并得到各传感器的第二数据帧。其中，各传感器的第二数据帧的频率均为第三传感器采集第一数据帧的频率。

在此步骤中，对第一数据帧与第三数据帧中目标的真值框进行联合标注的方法，与前述步骤S1041至步骤S1043所述的方法相同，在此不再赘述。

基于上述步骤S1044至步骤S1046所述的方法，可以在对传感器采集的第一数据帧进行补帧处理之后，准确地将表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，完成联合标注。

在一些实施方式中，当通过上述方法进行联合标注之后，可以通过以下步骤S1054至步骤S1057，对传感器的第一数据帧中目标的检测框与传感器的第二数据帧中目标的真值框进行关联分析。

步骤S1054：获取第一数据帧的第一时间戳。

步骤S1055：获取第二数据帧的第二时间戳。

步骤S1056：根据第一时间戳与第二时间戳，获取与第一数据帧最近邻的第二数据帧。具体地，可以获取第一时间戳与每个第二数据帧的第二时间戳之间的时间差，选取时间差最小的一个第二数据帧作为最近邻的第二数据帧。

步骤S1057：对第一数据帧中目标的检测框与最近邻的第二数据帧中目标的真值框进行关联分析。

在此步骤中，进行关联分析的方法与前述步骤S1051至步骤S1053所述的方法相同，在此不再赘述。

基于上述步骤S1054至步骤S1057所述的方法，可以利用最近邻的第二数据帧，快速且准确地完成对第一数据帧中的检测框与第二数据帧中的真值框的关联分析。

下面结合附图9，并以智能设备上的激光雷达和相机为例，对同时采用上述各实施方式所述方法的目标标注数据获取方法的实施例进行简单说明。在图9中，原始lidar数据为激光雷达采集的点云帧，点云帧的采集频率是10hz；原始camera数据为相机采集的图像帧，图像帧的采集频率是30hz；lidar模型是对点云帧进行目标检测的模型，camera模型是对图像帧进行目标检测的模型。

如图9所示，将原始lidar数据输入到lidar模型，得到原始lidar数据中目标的检测框；通过人工标注的方式对原始lidar数据进行目标标注，得到原始lidar数据中目标的真值框及其跟踪ID，将这些数据存储到数据采集系统。此外，对上述原始lidar数据中目标的真值框及其跟踪ID进行插值补帧处理，得到虚拟数据帧，将这些虚拟数据帧存储到数据采集系统。将原始camera数据输入到camera模型，得到原始camera数据中目标的检测框；通过人工标注的方式对原始camera数据进行目标标注，得到原始camera数据中目标的真值框及其跟踪ID，将这些数据存储到数据采集系统。

对数据采集系统中存储的原始lidar数据中目标的真值框及其跟踪ID、虚拟数据帧、原始camera数据中目标的真值框及其跟踪ID进行联合标注。在得到联合标注的结果之后，对原始lidar数据中目标的检测框进行关联分析（即图9中的3D跟踪后处理），得到检测框的跟踪ID。另外，对原始camera数据中目标的检测框进行关联分析（即图9中的2D+3D跟踪后处理），得到检测框的跟踪ID。最后，按照时间戳由先至后的顺序，对标注了检测框及其跟踪ID的原始lidar数据、原始camera数据进行排序。将完成排序的上述数据作为目标标注数据，存储到数据采集系统。

下面对本申请提供的目标跟踪方法的实施例进行说明。

参阅附图10，图10是根据本申请的一个实施例的目标跟踪方法的主要步骤流程示意图。如图10所示，本申请实施例中的目标跟踪方法主要包括下列步骤S201至步骤S204。

步骤S201：获取智能设备上设置的多个传感器中各传感器采集的数据帧。智能设备可以包括驾驶设备、智能车、机器人等设备。传感器可以包括激光雷达、相机等传感器，激光雷达采集的第一数据帧是点云，相机采集的第一数据帧是图像。

步骤S202：采用目标标注数据获取方法，根据各传感器采集的数据帧，获取目标标注数据。在此步骤中，可以采用前述方法实施例所述的目标标注数据获取方法。

步骤S203：采用目标标注数据，训练目标跟踪模型。

在本实施例中可以采用常规的网络结构构建目标跟踪模型，再采用常规的模型训练方法，使用目标标注数据对目标跟踪模型进行模型训练，使得训练好的目标跟踪模型能够对输入数据进行目标跟踪。其中，输入数据是智能设备上多个传感器采集的数据帧。

本实施例不对目标跟踪模型的结构、训练方法作具体限定，只要能够采用目标标注数据训练得到一个目标跟踪模型即可。

步骤S204：采用训练好的目标跟踪模型，对智能设备上多个传感器采集的数据帧进行目标跟踪。

将多个传感器采集的数据帧输入到目标跟踪模型之后，目标跟踪模型可以输出这些数据帧中每个目标的检测框及其跟踪ID。

基于上述步骤S201至步骤S204所述的方法，可以利用智能设备上多个传感器采集的数据帧，准确且可靠地进行目标跟踪。

需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本申请的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些调整之后的方案与本申请中描述的技术方案属于等同技术方案，因此也将落入本申请的保护范围之内。

本领域技术人员能够理解的是，本申请实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。

本申请的另一方面还提供了一种计算机可读存储介质。

在根据本申请的一个计算机可读存储介质的实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的目标标注数据获取方法的程序，该程序可以由处理器加载并运行以实现上述目标标注数据获取方法。为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。

本申请的另一方面还提供了一种智能设备。

在根据本申请的一个智能设备的实施例中，智能设备可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的方法。本申请所述的智能设备，可以包括驾驶设备、智能车、机器人等设备。参阅附图11，图11中示例性地示出了存储器11和处理器12通过总线通信连接。

在本申请的一些实施例中，智能设备还可以包括至少一个传感器，传感器用于感知信息。传感器与本申请提到的任何一种类型的处理器通信连接。可选地，智能设备还可以包括自动驾驶系统，自动驾驶系统用于引导智能设备自行行驶或辅助驾驶。处理器与传感器和/或自动驾驶系统通信，用于完成上述任一实施例所述的方法。

至此，已经结合附图所示的一个实施方式描述了本申请的技术方案，但是，本领域技术人员容易理解的是，本申请的保护范围显然不局限于这些具体实施方式。在不偏离本申请的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本申请的保护范围之内。

Claims (12)

1.一种目标标注数据获取方法，其特征在于，所述方法包括：

获取智能设备上设置的多个传感器中各传感器采集的第一数据帧；

分别获取每一所述第一数据帧中目标的检测框，所述检测框为对所述第一数据帧进行目标检测得到的目标的边界框；

分别获取每一所述第一数据帧中目标的真值框及其跟踪ID，所述真值框为所述目标在所述第一数据帧中真实的边界框；

对所述各传感器的第一数据帧中目标的真值框进行联合标注，以将不同传感器的第一数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，形成所述各传感器的第二数据帧；

针对所述各传感器，对所述传感器的第一数据帧中目标的检测框与所述传感器的第二数据帧中目标的真值框进行关联分析，以从所述第二数据帧中获取与所述检测框表示同一个目标的真值框，并根据所述真值框在所述第二数据帧中的跟踪ID，设定所述检测框的跟踪ID；

根据所述各传感器的第一数据帧中目标的检测框及其跟踪ID，获取目标标注数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述各传感器的第一数据帧中目标的真值框进行联合标注，包括：

针对所述各传感器，获取所述传感器的第一数据帧中目标的轨迹，所述轨迹根据所述目标的真值框形成；

获取不同传感器的第一数据帧中目标的轨迹的重叠长度；

若所述重叠长度大于设定阈值，则将所述不同传感器的第一数据帧中目标的真值框的跟踪ID修改成同一个跟踪ID。

3.根据权利要求2所述的方法，其特征在于，所述获取不同传感器的第一数据帧中目标的轨迹的重叠长度，包括：

将所有传感器中的一个作为第一传感器，剩余的作为第二传感器，其中，所述第二传感器的数量为多个；

针对每一所述第二传感器，获取所述第二传感器的第一数据帧中目标的轨迹，与所述第一传感器的第一数据帧中目标的轨迹的重叠长度。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述重叠长度大于设定阈值，则将所述第二传感器的第一数据帧中真值框的跟踪ID，修改成所述第一传感器的第一数据帧中真值框的跟踪ID。

5.根据权利要求1所述的方法，其特征在于，所述各传感器采集第一数据帧的频率不同，在所述对所述各传感器的第一数据帧中目标的真值框进行联合标注之前，所述方法还包括：

将所有传感器中所述频率最大的一个作为第三传感器，剩余的作为第四传感器；

获取所述第三传感器采集的各第一数据帧的时间戳；

根据各所述时间戳，对所述第四传感器采集的第一数据帧中目标的真值框进行插值计算，以获取所述目标在各所述时间戳时的真值框及其跟踪ID，形成所述第四传感器在各所述时间戳时的虚拟数据帧，所述虚拟数据帧包括所述目标在所述时间戳时的真值框及其跟踪ID。

6.根据权利要求5所述的方法，其特征在于，所述对所述各传感器的第一数据帧中目标的真值框进行联合标注，包括：

获取所述第三传感器的第一数据帧中目标的真值框；

获取所述第四传感器的第三数据帧中目标的真值框；

对所述第一数据帧与所述第三数据帧中目标的真值框进行联合标注，以将所述第一数据帧与所述第三数据帧中表示同一目标的真值框的跟踪ID修改成同一个跟踪ID，形成所述各传感器的第二数据帧；

其中，所述第三数据帧包括所述第四传感器的第一数据帧和所述虚拟数据帧；所述各传感器的第二数据帧的频率均与所述第三传感器采集第一数据帧的频率相同。

7.根据权利要求6所述的方法，其特征在于，所述对所述传感器的第一数据帧中目标的检测框与所述传感器的第二数据帧中目标的真值框进行关联分析，包括：

获取所述第一数据帧的第一时间戳；

获取所述第二数据帧的第二时间戳；

根据所述第一时间戳与所述第二时间戳，获取与所述第一数据帧最近邻的第二数据帧；

对所述第一数据帧中目标的检测框与所述最近邻的第二数据帧中目标的真值框进行关联分析。

8.根据权利要求1所述的方法，其特征在于，所述对所述传感器的第一数据帧中目标的检测框与所述传感器的第二数据帧中目标的真值框进行关联分析，包括：

获取所述检测框与所述真值框之间的关联特征，所述关联特征包括所述检测框与所述真值框之间的中心点距离和交并比；

根据所述关联特征，确定所述检测框与所述真值框是否表示同一目标；

根据确定的结果，获取与所述检测框表示同一目标的真值框。

9.根据权利要求8所述的方法，其特征在于，所述获取所述检测框与所述真值框之间的关联特征，包括：

当所述第一数据帧、第二数据帧是三维数据、所述检测框为三维检测框、所述真值框为三维真值框时，获取所述检测框与所述真值框之间的第一中心点距离和第一交并比；

当所述第一数据帧、第二数据帧是二维数据、所述检测框为三维检测框、所述真值框为三维真值框时，获取所述检测框与所述真值框之间的第二中心点距离和第二交并比，以及获取第一二维框与第二二维框之间的第三交并比；

其中，所述第一二维框为所述检测框投影到所述第一数据帧上形成的二维检测框，所述第二二维框为所述真值框投影到所述第二数据帧上形成的二维真值框。

10.一种目标跟踪方法，其特征在于，所述方法包括：

获取智能设备上设置的多个传感器中各传感器采集的数据帧；

采用权利要求1至9中任一项所述的目标标注数据获取方法，根据所述各传感器采集的数据帧，获取目标标注数据；

采用所述目标标注数据，训练目标跟踪模型；

采用训练好的目标跟踪模型，对所述智能设备上多个传感器采集的数据帧进行目标跟踪。

11.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至9中任一项所述的目标标注数据获取方法或者执行权利要求10所述的目标跟踪方法。

12.一种智能设备，其特征在于，包括：

至少一个处理器；

以及，与所述至少一个处理器通信连接的存储器；

其中，所述存储器中存储有计算机程序，所述计算机程序被所述至少一个处理器执行时实现权利要求1至9中任一项所述的目标标注数据获取方法或者执行权利要求10所述的目标跟踪方法。