CN115635961A - 样本数据生成方法及应用其的轨迹预测方法、装置 - Google Patents

Abstract

本发明提供一种样本数据生成方法，样本数据用于对轨迹预测模型进行模型训练或测试，其包括：获取第一数据信息，第一数据信息包括车辆的自车状态信息和障碍物感知信息；根据第一数据信息确定出第二数据信息，第二数据信息包括与各自车相对应的各个障碍物的第一轨迹数据；根据第二数据信息生成样本数据，每组样本数据均包括基于第二数据信息中的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分。本发明能够实现自动化地生成模型所需格式的样本数据，提高样本数据生成效率，且将数据直接转换成模型所需格式，减少了模型训练耗时，提升了模型训练效率。

Description

样本数据生成方法及应用其的轨迹预测方法、装置

技术领域

本发明涉及自动驾驶技术领域，尤其涉及一种样本数据生成方法及装置、预测轨迹模型训练方法及装置、轨迹预测方法及装置，和一种计算设备及移动工具。

背景技术

随着深度学习和计算软硬件的发展，自动驾驶技术得到了广泛的应用。自动驾驶系统一般可分为感知、预测、决策、规划和控制等模块。其中的预测模块是根据感知模块提供的自车周围环境和障碍物位置、速度、朝向等信息，进行障碍物目标的行为及轨迹预测（本发明上下文中将需要预测的障碍物目标称为目标障碍物），生成目标障碍物未来的运动轨迹线，以便为自车的行为决策和运动规划服务，从而避免发生自车与他车或周围交通参与者的碰撞事故，保障自身和他人的生命财产安全。

由于深度学习方法强大的特征学习能力和场景泛化能力，目前业内常采用基于深度学习的模型进行轨迹预测。而基于监督模式的深度学习模型的训练效果，主要依赖于训练样本数据的多样性和准确性。因此，能够提供场景覆盖率高和准确性高的样本数据，是训练出高质量的轨迹预测模型的关键。现有技术中，常规的轨迹预测模型样本数据的生成方法主要有两种，一种为完全的人工标记的方式，另一种为“自动感知+人工修正”的方式。前者具体是根据深度学习模型训练的需求，制定标记规则和标记工具，并培训标记工人，以使得标记工人能够基于实车采集的数据按照标记规则和使用标记工具进行人为标记，该方法虽然能够获取到符合要求的高质量的样本数据，但标记过程比较耗时，标记人工费用也非常昂贵。为了克服纯人工标记方式的这些缺陷，逐渐衍生出了“自动感知+人工修正”的半人工标记方式，该方式主要通过感知模型对实车采集的数据进行处理得到感知数据，再对经由感知模型得到的感知数据进行人为检查和修正，从而生成最终的轨迹样本，其与第一种方式相比，这种半人工标记的方式相对更为便捷，但是仍然无法避免需要人为地对数据进行检查和修正才能得到所需的样本数据的弊端，即仍然无法避免标记周期长和人工费用昂贵的问题，导致整体轨迹预测模型训练效率降低。而且，这种方式由于要利用特定的感知模型对实车采集的数据进行处理以得到感知数据，因此，生成的样本数据存在覆盖场景数量和种类有限的问题，从而导致训练出的模型的泛化能力不足，影响训练出的模型的轨迹预测能力。

发明内容

本发明实施例提供一种样本数据生成方案，其通过样本数据的自动生成，来减少样本数据生成过程中的人工参与度和缩短样本数据的生成周期，以至少解决现有技术中因样本数据标记周期长和人工费用昂贵，而导致的样本数据的生成效率和模型训练效率都较低的问题。

第一方面，本发明实施例提供一种样本数据生成方法，样本数据用于对轨迹预测模型进行模型训练或测试，方法包括：

获取第一数据信息，其中，第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；

根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；

根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。

第二方面，本发明实施例提供一种轨迹预测模型训练方法，包括：

以基于上述第一方面的样本数据生成方法生成的样本数据的输入部分作为轨迹预测模型的自变量，以其输出部分作为轨迹预测模型的因变量，对轨迹预测模型进行模型训练，确定出轨迹预测模型的模型参数；

根据确定出的模型参数生成训练好的轨迹预测模型。

第三方面，本发明实施例提供一种轨迹预测方法，其包括：

采用基于上述第二方面的轨迹预测模型训练方法训练出的轨迹预测模型对目标障碍物的行为或行驶轨迹进行预测。

第四方面，本发明实施例提供一种样本数据生成装置，包括：

第一数据获取模块，用于获取第一数据信息，其中，第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；

轨迹数据提取模块，用于根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；

样本数据生成模块，用于根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。

第五方面，本发明实施例提供一种计算设备，包括：

存储器，用于存储可执行指令；以及

处理器，用于执行存储器中存储的可执行指令，可执行指令在由处理器执行时实现上述第一方面的样本数据生成方法或第二方面的轨迹预测模型训练方法或第三方面的轨迹预测方法的步骤。

第六方面，本发明实施例提供一种移动工具，包括：

数据采集模块，用于采集定位信息、感知信息、地图文件信息并发送至计算设备；

上述第五方面的计算设备，其中，计算设备基于数据采集模块发送的采集信息获取第一数据信息。

第七方面，本发明实施例提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述第一方面的样本数据生成方法的步骤。

本发明实施例的有益效果在于：本发明的样本数据生成方法，能够自动对获取到的各个车辆的自车状态信息和各车辆对应的各个障碍物的感知信息进行处理并得到各个车辆对应的各个障碍物的至少一组第一轨迹数据，并基于各个障碍物的轨迹数据来生成样本数据，其处理过程完全不依赖感知模型的选择，也无需进行感知模型的训练，因而能够根据需求保证感知数据的丰富性，进而保证生成的样本数据的泛化能力；并且，本发明实施例的方法还能够基于自动提取出的各个车辆对应的各个障碍物的第一轨迹数据自动确定出模型训练或测试的输入部分和输出部分，由此，本发明实施例不但能够自动基于自车状态信息和障碍物感知信息生成样本数据，而且得到的样本数据的数据格式是由输入部分和输出部分组成的，完全符合模型训练和测试过程中对样本数据的格式要求，即本发明实施例的方法实现了自动化地生成样本数据和将感知数据转换为轨迹预测模型所需要的数据格式，不但减少了样本数据形成过程中的人工参与度，使得轨迹预测样本的整个生成过程既省时又省钱，而且，还通过将数据提前转换为模型训练所需的格式，减少了模型训练的耗时，进而有效提高了轨迹预测模型的训练效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施方式的样本数据生成方法的流程图；

图2为本发明一实施方式的样本数据生成方法的步骤S1的流程图；

图3为本发明一实施方式的样本数据生成方法的步骤S12的流程图；

图4为本发明一实施方式的样本数据生成方法的步骤S123的流程图；

图5为本发明一实施方式的样本数据生成方法的步骤S2的流程图；

图6为本发明一实施方式的样本数据生成方法的步骤S21的流程图；

图7为本发明一实施方式的样本数据生成方法的步骤S22的流程图；

图8为本发明一实施方式的样本数据生成方法的步骤S23的流程图；

图9为本发明一实施方式的样本数据生成方法的步骤S231中的第一过滤处理的各个障碍物的真实路点和拟合出的平滑的拟合曲线的效果图；

图10为本发明一实施方式的样本数据生成方法的步骤S3的流程图；

图11为本发明一实施方式的样本数据生成方法的步骤S31的流程图；

图12为本发明一实施方式的样本数据生成方法得到的语义地图；

图13为本发明一实施方式的样本数据生成方法得到的周围障碍物的轨迹位置掩码图；

图14为本发明一实施方式的样本数据生成方法得到的目标障碍物历史轨迹位置掩码图；

图15为本发明一实施方式的样本数据生成装置的原理框图；

图16为本发明一实施方式的样本数据生成装置的第一数据获取模块的原理框图；

图17为本发明一实施方式的样本数据生成装置的轨迹数据提取模块的原理框图；

图18为本发明一实施方式的样本数据生成装置的样本数据生成模块的原理框图；

图19为本发明一实施方式的轨迹预测模型训练装置的原理框图；

图20为本发明一实施方式的轨迹预测装置的原理框图；

图21为本发明一实施方式的移动工具的原理框图；

图22为本发明的电子设备的一实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

在本发明中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/ 或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/ 或线程中，并且元件可以在一台计算机上本地化和/ 或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/ 或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/ 或远程过程来进行通信。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”，不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本发明实施例中的样本数据生成方法可以应用在样本数据生成装置中，以使得用户能够利用样本数据生成装置来全自动化生成样本数据，以有效提高现有技术中的样本数据生成效率。这些样本数据生成装置包括但不限于智能手机、智能平板、个人PC、计算机、云端服务器等。特别地，本发明实施例中的样本数据生成方法还可以应用在各移动工具或移动设备上，如自动驾驶汽车、机器人、自动清洁设备等上，以辅助这些移动工具或移动设备自动生成模型训练所需的样本数据，进而辅助这些移动工具或设备进行模型如轨迹预测模型的高效训练，本发明对此不作限定。

下面结合附图对本发明作进一步详细的说明。

图1示意性地展示了本发明一实施方式的样本数据生成方法的流程，如图1所示，其包括以下步骤：

步骤S1：获取第一数据信息，其中，所述第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；

步骤S2：根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；

步骤S3：根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。

在步骤S1中，第一数据信息可以是直接从前置模块或外部获取到的，也可以是根据实车采集到的数据进行处理后得到的，其至少包括一个车辆对应的至少一帧自车状态信息和至少一帧障碍物感知信息。在具体应用中，由于样本数据的来源是丰富多样的，即数据来源的多样性将有助于提高训练数据的准确率，因此，在本发明实施例中，第一数据信息既可能是来自某一车辆的，也可以是来自多个车辆的，自车状态信息是指某一车辆自身的状态信息，是与数据来源的车辆相对应的，而障碍物感知信息也是与车辆相对应的，即当第一数据信息是来自多个车辆时，将会以每个车辆作为自车，来分别获取该车辆对应的自车状态信息和该车辆对应的障碍物感知信息，因此，本发明实施例将分别基于各个车辆自身作为自车参照来进行相应的数据处理，为方便区分，在本发明实施例上下文中，数据来源的车辆均可以被称为自车，即步骤S1中的至少一个车辆中的各车辆均可以被称为自车，由此可以理解的是，本发明实施例中基于数据来源车辆的数量将可能存在至少一个自车。由于对于同一车辆来说，障碍物可能会存在有多个，因而相同车辆下获取到的障碍物感知信息可能是同时包括有多个不同障碍物的感知信息的数据信息，因此，在本发明实施例中，可以采用障碍物目标序号obj_id对各个障碍物进行唯一性标识。在优选实施例中，为了对不同车辆对应的第一数据信息和第二数据信息进行标识，也可以采用车辆序号ego_id对各个车辆进行唯一标识。为了保证生成的样本数据的有效性，可以理解的是，本发明的优选实施例中，进行第一数据信息和第二数据信息的处理以得到样本数据，均是基于不同的车辆对应的数据信息分别进行的。其中，自车状态信息和障碍物感知信息均至少包括一帧，自车状态信息是用于反映各个车辆的自身定位状态的数据信息，示例性地，自车状态信息可以由自车在UTM坐标系下的横纵竖向三维坐标和航向角来确定。障碍物感知信息是用于反映各个车辆对自身所处环境中的障碍物的感知情况的数据信息，其可以由感知到的障碍物数量obj_n、时间戳obj_timestamp，以及每个障碍物目标的帧序号frame_id、目标序号obj_id、目标类别obj_type、目标置信度obj_conf、目标三维坐标[obj_x,obj_y,obj_z]、目标长宽高[obj_l,obj_w,obj_h]和目标航向角obj_yaw共同确定。其中，目标类别可以由自然数表示，每个自然数编码对应一种具体的目标障碍物类别，对应的具体障碍物类别例如可以为车辆和弱势道路使用者，更优地，还可以将车辆进一步区别标记为小车、大车，将弱势道路使用者进一步区别标记为行人、骑行者等。在优选实施方式中，为了使得能够基于第一数据信息进行高效的后续数据处理，可以对确定出的自车状态信息和障碍物感知信息进行格式统一化，将其由统一的数据格式进行限定。示例性地，可以将每帧自车状态信息和障碍物感知信息均统一化为由相同数量的字段来限定，如均由十一个字段来限定，具体地，例如自车状态信息可以通过帧序号frame_id、自车序号ego_id、自车种类ego_type、自车置信度ego_ conf、自车三维坐标[ego_x,ego_y,ego_z]、自车长宽高[ego_l,ego_w,ego_h]、自车航向角ego_yaw，共11个字段来限定，将这11个用于表示自车状态信息的字段汇总为：[frame_id, ego_id, ego_type, ego_conf, ego_x, ego_y, ego_z, ego_l, ego_w, ego_h, ego_ yaw]；障碍物感知信息可以通过帧序号frame_id、目标序号obj_id、目标种类obj_type、目标置信度obj_conf、目标三维坐标[obj_x,obj_y,obj_z]、目标长宽高[obj_l,obj_w,obj_ h]、目标航向角obj_yaw，也是11个字段来限定，将这11个用于表示障碍物感知信息的字段汇总为：[frame_id, obj_id, obj_type, obj_conf, obj_x, obj_y, obj_z, obj_l, obj_w, obj_h, obj_yaw]。由此，就可以使得每帧自车状态信息和障碍物感知信息均是基于相同的数据格式来表征的，方便进行后续的数据处理。

图2示意性地展示了本发明一实施方式的样本数据生成方法中，步骤S1中的获取第一数据信息的方法的流程，参照图2，以第一数据信息是基于各个车辆采集到的数据进行处理得到的为例，该方法可以具体实现为以下步骤：

步骤S11：获取采集数据，其中，所述采集数据包括各个车辆的自车标定信息和实车录制ROS BAG数据包；

步骤S12：根据各个车辆的自车标定信息和实车录制ROS BAG数据包进行数据解析，确定出所述第一数据信息。

在步骤S11中，自车标定信息为各个车辆的标定参数信息，如各个车辆的长、宽和高，记为3维向量：[ego_l,ego_w,ego_h]。ROS BAG数据包为基于搭载激光雷达/GPS/IMU传感器的实车录制的数据包，其是开源机器人操作系统（Robot Operating System，ROS）采集数据的保存形式，数据包的后缀为.bag，ROS BAG，数据包包含的信息至少包括全局定位信息和感知信息，通过在实车上搭载激光雷达（或GPS、IMU传感器），即可录制得到各车辆的ROS BAG数据包。在一种实施方式中，全局定位信息的采集帧率大于感知信息的采集帧率，示例性地，全局定位信息的采集帧率可以设置为50fps，感知信息的采集帧率可以设置为10fps（frame per second，表示每秒的采集帧数）。其中，全局定位信息为UTM坐标系下的横纵竖向三维坐标和航向角，记为四维向量[utm_x, utm_y, utm_z, utm_yaw]，感知信息为障碍物数量obj_id、时间戳obj_timestamp，以及每个障碍物目标的帧序号frame_id、跟踪序号obj_id、类别obj_type、置信度obj_conf、横纵竖向三维坐标[obj_x,obj_y,obj_z]、长宽高[obj_l,obj_w,obj_h]和航向角obj_yaw，汇总记为13维向量：[obj_n, obj_ timestamp, frame_id, obj_id, obj_type, obj_conf, obj_x, obj_y, obj_z, obj_l, obj_w, obj_h, obj_yaw]，其中，目标类别可以由自然数表示，每个自然数编码对应一种具体的目标障碍物类别，对应的具体障碍物类别例如可以为车辆和弱势道路使用者，更优地，还可以将车辆进一步区别标记为小车、大车，将弱势道路使用者进一步区别标记为行人、骑行者等，置信度可以由[0,1]之间的数来表示，0表示置信度最低，1表示置信度最高。对于ROS BAG数据包实车录制中的感知信息的获取方式，可以不局限于感知方法的选择，如可以选择公开的感知器（如YOLOv5+DeepSort，CenterTrack，ByteTrack等多目标跟踪器）或基于预训练模型调优的感知器等，本发明对此不作限制，由此通过不局限于感知信息获取方式的方法来采集实车数据，能够有效提高采集数据的场景覆盖能力，使得最终得到的样本数据也具有足够的数据丰富性和场景泛化能力。

在步骤S12中，根据步骤S11中所采集到的自车标定信息和实车录制ROS BAG数据包进行数据解析，即可确定出第一数据信息。具体地，图3示意性地展示了步骤S12的具体实现方法，参照图3所示，该方法具体可以实现为以下步骤：

步骤S121：根据ROS BAG数据包进行定位话题和感知话题筛选，得到定位话题和感知话题；

步骤S122：根据定位话题提取出各个车辆的至少一帧自车状态信息，根据感知话题提取出各个车辆对应的至少一帧障碍物感知信息；

步骤S123：根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息、和各个车辆对应的至少一帧障碍物感知信息生成所述第一数据信息。

在步骤S121中，话题是指在ROS中对自动驾驶系统的各个模块分解形成的众多节点（node）之间进行数据传输和数据交换的通道，可以根据话题名称来标识和筛选不同类型的话题。根据交换和传输的数据内容的不同，在本发明实施例中，ROS BAG数据包中包括的话题类型有与全局定位信息相关的定位话题和与感知信息相关的感知话题。由于每种话题都由相应的话题名称来限定，因此，可以基于话题名称来筛选得到定位话题和感知话题，其具体实现方式可以参照相关现有技术，本发明实施例在此对ROS中的话题的实现方式及其筛选方式的具体内容不进行赘述。

在步骤S122中，是根据步骤S11中得到的定位话题和感知话题，在定位话题中逐帧提取出自车状态信息的4维向量[utm_x, utm_y, utm_z, utm_yaw]和障碍物感知信息的13维向量[obj_n, obj_timestamp, frame_id, obj_id, obj_type, obj_conf, obj_x, obj_y, obj_z, obj_l, obj_w, obj_h, obj_yaw]，由此得到至少一帧的自车状态信息和至少一帧的障碍物感知信息。由于ROS BAG数据包是与不同的实车录制车辆对应的，因此，可以理解的是，得到的至少一帧的自车状态信息和至少一帧的障碍物感知信息也是分别与各个车辆相对应关联的，即每个车辆都对应了与自己相关的至少一帧的自车状态信息和至少一帧的障碍物感知信息。由此，通过步骤S122提取得到的每一帧自车状态信息中均包括有自车的UTM坐标位置和航向角，提取得到的每一帧障碍物感知信息中均包括有与相应车辆的感知信息相对应的每一个障碍物的三维坐标位置和航向角。

步骤S123为根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息、和各个车辆对应的至少一帧障碍物感知信息生成所述第一数据信息的步骤，作为一种优选实施方式，经过该步骤的处理，可以进一步对步骤S122提取出的自车状态信息和障碍物感知信息进行预处理，从而使得到的第一数据信息中的各个车辆的至少一帧自车状态信息和相应车辆对应的至少一帧障碍物感知信息符合预设的数据格式和数据质量要求，以得到有效的第一数据信息和使得后续基于第一数据信息的数据处理能够更加高效地进行。图4示意性地展示了一种实施方式的步骤S123的具体实现方法，参照图4所示，该方法具体可以实现为包括以下步骤：

步骤S1231：根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息对各帧自车状态信息分别进行第一预处理，得到预处理后的各个车辆的至少一帧自车状态信息；

步骤S1232：对各个车辆对应的至少一帧障碍物感知信息进行第二预处理，得到预处理后的各个车辆对应的至少一帧障碍物感知信息；

步骤S1233：对预处理后的各个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息进行格式统一化，生成第一数据信息，其中，第一数据信息中的自车状态信息和障碍物感知信息具有统一的数据格式。

在步骤S1231中，所进行的第一预处理包括有结合自车标定信息，确定出有效的自车状态信息。具体地，可以将自车标定信息中的用于表示各个车辆的标定参数的信息如各个车辆的由长、宽和高限定的3维向量，作为自车状态信息中的数据[ego_l,ego_w,ego_h]，并且对自车状态信息中自车的航向角utm_yaw依次进行如下转换，以得到自车坐标系下的自车航向角ego_yaw：

其中，在上述公式中，输入为utm_yaw，输出为ego_yaw，theta1、theta2和theta3是设置的中间临时变量，用于进行辅助计算，从而将UTM坐标系下的自车的航向角utm_yaw转换为自车坐标系下的自车的航向角ego_yaw。

在步骤S1232中，所进行的第二预处理是对障碍物感知信息进行清洗转换处理，以通过帧数累加的方式，将有效的障碍物感知信息累加得到的数据片段作为转换后的障碍物感知信息，剔除无效的障碍物感知信息，由此提高障碍物感知信息的有效性。具体地，对障碍物感知信息的第二预处理可以实现为是分别以各个车辆作为自车依次逐帧读取相应自车下的各帧障碍物感知信息，并在读取各帧障碍物感知信息的过程中，根据预设的数据片段长度阈值和分段策略，将相应自车下的连续读取到的相应帧数的障碍物感知信息的累加结果作为预处理后的相应自车的至少一帧障碍物感知信息。其中，预设的分段策略示例性地可以是基于丢帧判断的分段策略，示例性地，以某车辆作为自车为例，依次逐帧读取该车辆的各帧障碍物感知信息，对连续读取到的每一帧障碍物感知信息进行丢帧判断，在判断出不存在丢帧情况时，将该帧的障碍物感知信息进行累加，并判断累加结果对应的数据片段的长度，当累加结果中的数据片段长度达到预设的数据片段长度阈值时，则停止累加，并保存累加结果形成用于后续步骤的该车辆的至少一帧障碍物感知信息，若未达到则继续读取下一帧障碍物感知信息进行丢帧判断，并根据丢帧判断结果进行相应处理，直至读取完获取到的全部障碍物感知数据；在判断出存在丢帧情况时，则以该丢帧时刻作为截断点，暂停障碍物感知信息的累加，并将当前的累加结果中的数据片段长度与预设的数据片段长度阈值进行比较，若当前的累加结果达到预设的数据片段长度阈值，则保存累加结果形成用于后续步骤的该车辆的至少一帧障碍物感知信息，若未达到则继续读取下一帧障碍物感知信息并将继续读取到的该下一帧障碍物感知信息作为新的数据片段的首帧，开始新一轮的数据片段累加，包括对该下一帧障碍物感知信息进行丢帧判断，以及根据丢帧判断结果进行相应处理，以得到至少一个包括满足数据片段长度阈值的连续帧的数据片段。其中，对是否有丢帧的判断可以通过判断当前帧障碍物感知信息中障碍物数量是否为0实现，即判断是否存在obj_n=0，若满足则判定为丢帧；也可以通过判断相邻的两帧障碍物感知信息之间的帧间时间戳间隔是否过大来实现，如若判断帧间间隔gap_t大于设定阈值，则判定为丢帧，优选的，帧间间隔阈值可以设置为0.25s。在根据预设的数据片段长度阈值对累加结果对应的数据片段的长度进行判断时，需要数据片段长度seq_l大于预设的数据片段长度阈值，才将数据片段保存以作为预处理后的该车辆的至少一帧障碍物感知信息。示例性地，数据片段长度阈值可以设置为100帧，由此，在不存在丢帧时，可以直接对连续读取的多帧障碍物感知信息进行累加，直至累加的帧数大于数据片段长度阈值时，结束累加，并将累加结果的数据片段作为预处理后的该车辆的至少一帧障碍物感知信息；而在存在丢帧时，则基于对丢帧之前的连续读取的多帧障碍物感知信息的累加结果进行数据分段，并且将累加结果的数据片段长度与预设的数据片段长度阈值进行比较，大于数据片段长度阈值时，则停止累加，将分段后的累加结果数据片段作为预处理后的该车辆的至少一帧障碍物感知信息，不大于数据片段长度阈值时，则继续读取障碍物感知信息，以重新开启一轮数据分段处理。由此，本发明实施例基于丢帧判断的分段策略和预设的数据片段长度阈值从基于感知话题获取到的各自车对应的至少一帧障碍物感知信息中抽取出至少一个满足预设数据片段长度阈值的数据片段作为第二预处理结果，而经过第二预处理，得到的各自车对应的障碍物感知信息至少是一个达到预设长度阈值的数据片段，即是其至少包括预设长度阈值对应的帧数的障碍物感知信息，且其中的每帧障碍物感知信息都是连续帧，以提高样本数据的质量。

在经过步骤S1231和步骤S1232对自车状态信息和障碍物感知信息进行预处理之后，再通过步骤S1233对预处理之后的各个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息进行格式统一化，形成第一数据信息，以便于保存以及在后续步骤中使用。具体地，格式统一化可以实现为将自车状态信息和障碍物感知信息统一格式化为由11个字段表征，自车状态信息的11个字段示例性地可以为包括有帧序号frame_id、自车序号ego_id、自车种类ego_type、自车置信度ego_conf、自车三维坐标[ego_x, ego_y, ego_z]、自车长宽高[ego_l, ego_w, ego_h]，自车航向角ego_yaw，将这11个表示自车状态信息的字段汇总为：[frame_id, ego_id, ego_type, ego_conf, ego_x, ego_y, ego_z, ego_l, ego_w, ego_h, ego_yaw]；障碍物感知信息的11个字段包括有帧序号frame_id、目标序号obj_id、目标种类obj_type、目标置信度obj_conf、目标三维坐标[obj_x, obj_y, obj_z]、目标长宽高[obj_l, obj_w, obj_h]，目标航向角obj_yaw，将这11个表示障碍物感知信息的字段汇总为：[frame_id, obj_id, obj_type, obj_conf, obj_x, obj_y, obj_z, obj_l, obj_w, obj_h, obj_yaw]。

在优选实施方式中，在进行格式统一化后，还可以再通过将格式统一化的自车状态信息和障碍物感知信息转换为统一数据格式的数据文件进行保存，如转换为统一数据格式的TXT文本数据进行保存，保存时，每个字段以空格作为分隔符，每行11个字段，每行以换行符作为分隔符，由此保存的数据文件中每一行的内容就表示了某一帧中某一个障碍物或自车的瞬时状态。由此，在后续处理中，通过逐行读取相应数据文件的内容，便可以实现对自车状态信息和障碍物感知信息的逐帧逐个对象的数据提取，非常方便快捷，不但能够实现逐帧逐对象的数据处理，而且处理方式简单高效。优选地，在获取到的第一数据信息或采样数据是针对多个车辆的数据信息为例，可以通过车辆序号来标识每个数据文件，以使得自车状态信息和障碍物感知信息是与相应的车辆关联对应的，以方便在每个车辆下分别以各个车辆作为自车进行数据处理。

步骤S2为根据步骤S1中获取到的第一数据信息以各个车辆为自车确定出包括有与各个车辆相对应的各个障碍物的至少一组第一轨迹数据的第二数据信息的步骤，其中，每一组第一轨迹数据均能够用于表示相应自车对应的相应障碍物的以某一帧为当前帧的历史轨迹和未来轨迹，通过该处理使得可以自动地从第一数据信息中确定出各自车对应的各个障碍物的至少一组轨迹数据，以利用各自车对应的各个障碍物的轨迹数据作为模型训练样本数据的基础，避免了人工标记处理带来的耗时和成本高等缺陷。

在优选的实施方式中，第二数据信息还可以包括有以各个车辆作为自车确定出的与各个车辆相对应的至少一组第二轨迹数据，其中，每一组第二轨迹数据均能够用于表示相应车辆的以某一帧为当前帧的历史轨迹和未来轨迹，从而还能够通过该处理使得可以自动地从第一数据信息中确定出各个自车的轨迹数据，以实现结合障碍物的轨迹数据和其对应的自车的轨迹数据来获得训练样本数据，以使得训练出的样本数据能够展示多个维度的场景信息，提高训练样本数据的场景泛化能力，有助于进一步提高训练出的预测模型在各种行驶场景下的准确性和鲁棒性。其中，在本发明实施例中，为方便区分，将各自车对应的各个障碍物的轨迹数据称为第一轨迹数据，将各自车对应的轨迹数据称为第二轨迹数据。

以第二数据信息包括各自车对应的至少一组第二轨迹数据和相应自车对应的各障碍物的至少一组第一轨迹数据为例，图5示意性地展示了本发明一实施方式的样本数据生成方法中，步骤S2中的根据第一数据信息确定出第二数据信息的流程，参照图5，该方法可以具体实现为包括以下步骤：

步骤S21：对各个车辆的自车状态信息和各车辆对应的障碍物感知信息进行关键帧采样，得到各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧；

步骤S22：分别基于各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧，确定出各个车辆对应的至少一组第二轨迹数据，和确定出各车辆对应的各个障碍物的至少一组第一轨迹数据；

步骤S23：对各个障碍物的各组第一轨迹数据进行优化处理，得到优化后的各个障碍物的至少一组第一轨迹数据。

在步骤S21中，首先先对步骤S1中得到的自车状态信息和障碍物感知信息进行关键帧采样处理，继而在步骤S22中就可以基于采样的关键帧来获取到各个车辆的至少一组第二轨迹数据和各个障碍物的至少一组第一轨迹数据。其中，通过对自车状态信息和障碍物感知信息进行关键帧采样，得到自车状态信息和障碍物感知信息对应的关键帧，可以实现将数据帧稀疏化，之后，基于稀疏化的关键帧来提取车辆和障碍物的轨迹数据，能够有效降低运算处理量，在保证准确度的情况下有效提高效率。图6示意性地展示了步骤S21中对自车状态信息和障碍物感知信息中的所有数据帧进行关键帧采样的方法的流程，参照图6，该方法可以实现为以下步骤：

步骤S211：根据预设的历史轨迹数据帧数、未来轨迹数据帧数以及采样间隔确定采样起始帧和采样终止帧；

步骤S212：根据采样起始帧、采样终止帧以及采样间隔分别对各个车辆对应的自车状态信息和障碍物感知信息的所有数据帧进行关键帧采样，得到各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧。

在步骤S211中，历史轨迹数据帧数、未来轨迹数据帧数以及采样间隔均为预设值，其具体数值可以根据实际情况进行自定义化设计，其中，历史轨迹数据帧数是指在提取历史轨迹信息时需要以当前帧为基准，向前搜索的帧数，未来轨迹数据帧数是指在提取未来轨迹信息时需要以当前帧为基准向后搜索的帧数。其中，向前和向后的方向均是以确定的当前帧为基准的，以当前帧为基准向前搜索是指向着时间戳早于当前帧的获取时间的方向搜索，向后搜索是指向着时间戳晚于当前帧的获取时间的方向搜索。在本发明的其中一个实施方式中，可以直接将第一数据信息中的自车状态信息或障碍物感知信息的起始帧和终止帧作为关键帧的采样起始帧和采样终止帧。但由于本发明实施例的关键帧是用于作为提取轨迹信息的基准的，即本发明实施例将基于采样关键帧来确定提取的轨迹信息的当前帧和历史轨迹信息及未来轨迹信息，因此，这种确定采样起始帧和采样终止帧的方式会影响关键帧的采样质量，进而影响提取的轨迹信息的质量，如很容易出现关键帧采样为空或轨迹信息提取为空的情况。为了保证轨迹信息提取的有效性，在本发明的优选实施方式中，采样起始帧和采样终止帧可以是基于历史轨迹数据帧数、未来轨迹数据帧数和采样间隔来确定的，示例性地，可以根据以下公式确定得到采样起始帧和采样终止帧：

其中，sample_start为采样起始帧，sample_end为采样终止帧，frame_start为第一数据信息中的所有自车状态信息或障碍物感知信息数据帧的起始帧，frame_end为第一数据信息中的所有自车状态信息或障碍物感知信息数据帧的终止帧，step_frame为采样间隔，M为预设的历史轨迹数据帧数，N为未来轨迹数据帧数，K为冗余帧数。由于在该方式下，充分考虑了提取轨迹信息时用到的历史轨迹数据帧数和未来轨迹数据帧数，且设置了冗余，因而，能够有效避免关键帧采样为空或轨迹数据提取为空的情况，保证了关键帧和轨迹数据的有效性。在优选实施方式中，示例性地，采样间隔可以预设为2帧，预设的历史轨迹数据帧数M可以预设为5帧，预设的未来轨迹数据帧数N可以预设为35帧。其中，需要说明的是，冗余帧数K是为了避免关键帧采样为空而特别设置的，在采样的过程中，数据帧开始帧和结束帧均增加K帧的冗余，能够有效避免采样为空的情况，在一些实施方式中，也可以不设置冗余帧数，而直接将K设置为零，优选地可以将K预设为2帧。由此，通过上述的公式就可以计算得到采样起始帧和采样终止帧，即关键帧的采样范围。

步骤S212为根据在步骤S21确定出的采样起始帧和采样终止帧，以及预设的采样间隔对自车状态信息和障碍物感知信息中的所有数据帧进行关键帧采样的步骤，其具体可以实现为是在步骤S21确定出的由采样起始帧和采样终止帧限定的采样范围内根据采样间隔step_frame进行关键帧采样，以得到相应车辆的自车状态信息关键帧和障碍物感知信息关键帧。示例性地，设定的采样间隔step_frame为2帧，因而在确定出的采样起始帧和采样终止帧之间，以每2帧提取1帧作为关键帧以实现关键帧采样，由此，假设原始数据的采集帧率为10fps（表示1秒有10帧数据，每帧时长为0.1s），则通过关键帧采样，1s中将保留5帧数据作为关键帧，每帧关键帧时长为0.2s。

步骤S22为以根据步骤S21得到的关键帧确定出作为当前帧的关键帧，并基于确定出的当前帧从采样后得到的自车状态信息关键帧和障碍物感知信息关键帧中提取出历史轨迹信息和未来轨迹信息，以形成各个障碍物的至少一组第一轨迹数据和各个车辆的至少一组第二轨迹数据的步骤。其中，各个障碍物的每组第一轨迹数据均包括该组选定的当前帧的信息、以及基于该组选定的当前帧从相应车辆对应的障碍物感知信息关键帧中提取出的相应障碍物的历史轨迹信息和未来轨迹信息。各个车辆的每组第二轨迹数据均包括该组所选定的当前帧的信息、以及基于该组选定的当前帧从相应车辆的自车状态信息关键帧中提取出的相应车辆的历史轨迹信息和未来轨迹信息。历史轨迹信息是指基于当前帧在采样得到的关键帧中通过向前搜索得到的历史轨迹数据，未来轨迹信息是指基于当前帧在采样得到的关键帧中通过向后搜索得到的未来轨迹数据。其中，向前搜索的帧数可以由历史轨迹数据帧数确定，向后搜索的帧数可以由未来轨迹数据帧数确定。由此，以历史轨迹数据帧数用M表示、未来轨迹数据帧数用N表示为例，一组第一轨迹数据具体可以实现为由历史M帧的障碍物感知信息关键帧+当前1帧关键帧+未来N帧的障碍物感知信息关键帧确定，即由采样的M+1+N帧障碍物感知信息关键帧确定；同理，一组第二轨迹数据则由采样的M+1+N帧自车状态信息关键帧确定。在一些实施方式中，可以通过预设的采样步长来确定出作为当前帧的关键帧。具体的，由于采样关键帧有多帧，因而通过采样步长确定的作为当前帧的关键帧可能有多个，因此，本发明实施例进行轨迹信息提取时，得到的某一障碍物的第一轨迹数据和某一车辆的第二轨迹数据也可能是有多组，即每组第一轨迹数据和每组第二轨迹数据就均对应了一个选取出的当前帧。而具体在基于关键帧提取轨迹信息时，可以直接从第一数据信息包含的所有数据帧中以通过采样步长确定的关键帧为当前帧进行轨迹信息提取，也可以从进行关键帧采样后得到的关键帧序列中，以通过采样步长确定的关键帧为当前帧进行轨迹信息提取。以从采样后得到的关键帧序列中，以通过采样步长确定的关键帧为当前帧进行轨迹信息提取为例，图7示意性地展示了步骤S22中形成各个车辆的至少一组第二轨迹数据和各个障碍物的至少一组第一轨迹数据的方法的流程，参照图7，该方法可以实现为以下步骤：

步骤S221：根据预设的采样步长确定出各个车辆对应的自车状态信息关键帧中的当前帧，根据预设的历史轨迹数据帧数从相应车辆的自车状态信息关键帧中提取出各个车辆的历史轨迹信息，并根据预设的未来轨迹数据帧数从相应车辆对应的自车状态信息关键帧中提取出各个车辆的未来轨迹信息，根据基于同一当前帧从相应车辆的自车状态信息关键帧中提取出的相应车辆的历史轨迹信息和未来轨迹信息、以及所基于的当前帧信息形成相应车辆的一组第二轨迹数据；

步骤S222：根据预设的采样步长确定出各个车辆对应的障碍物感知信息关键帧中的当前帧，根据预设的历史轨迹数据帧数从相应车辆的障碍物感知信息关键帧中提取出各个障碍物的历史轨迹信息，并根据预设的未来轨迹数据帧数从相应车辆的障碍物感知信息关键帧中提取出各个障碍物的未来轨迹信息，根据基于同一当前帧从相应车辆对应的障碍物感知信息关键帧中提取出的相应障碍物的历史轨迹信息和未来轨迹信息、以及所基于的当前帧信息形成相应障碍物的一组第一轨迹数据。

其中，在本发明实施例中，相应车辆的自车状态信息关键帧是指步骤S212得到的相应车辆的数据帧稀疏化后的自车状态信息数据，相应车辆的障碍物感知信息关键帧是指步骤S212得到的相应车辆的数据帧稀疏化后的障碍物感知信息数据。采样步长step_ sample为用于确定出自车状态信息关键帧和障碍物感知信息关键帧中的作为当前帧的关键帧的数值，其具体可以根据需要预先设定。其中，采样步长step_sample的取值可以设定为step_sample=M+1，以保证对每一关键帧向前搜索得到的历史轨迹数据均无重叠，以上述的预设的历史轨迹数据帧数M=5为例，在本发明的优选实施方式中相应的采样步长step_ sample则为6帧。

在步骤S221中，提取得到的历史轨迹信息为在步骤S212获取到的自车状态信息关键帧中，基于根据采样步长确定出的当前帧，向前搜索预设的历史轨迹数据帧数形成的历史轨迹数据，提取得到的未来轨迹信息为在步骤S212获取到的自车状态信息关键帧中，基于当前帧向后搜索预设的未来轨迹数据帧数形成的未来轨迹数据，其中，一组第二轨迹数据中的历史轨迹信息和未来轨迹信息基于的当前帧为确定出的同一关键帧，即基于的当前帧是相同的，在提取出历史轨迹信息和未来轨迹信息之后，本发明实施例是将基于同一关键帧提取得到的历史轨迹信息和未来轨迹信息以及该关键帧信息组合以形成一组第二轨迹数据。可以理解的是，由于每组第二轨迹数据都是基于一个选定的当前帧形成的，因而在确定出的作为当前帧的关键帧有多个的情况下，形成的第二轨迹数据的组数与确定出的当前帧的数量是相同的。其中，历史轨迹信息和未来轨迹信息均是由搜索到的相应帧中包括的路点坐标或路点坐标序列限定。示例性地，以上述的预设的历史轨迹数据帧数M=5、当前选定的当前帧为时刻为3分5秒处对应的自车状态信息关键帧、预设的未来轨迹数据帧数N=35为例，对应的历史轨迹数据的时长为5×0.2s=1s，对应的未来轨迹数据的时长为35×0.2s=7s，由于自车序号ego_id是自车车辆的唯一标识符，故可根据自车序号ego_id逐帧查看在时刻为3分5秒处对应的关键帧之前的1s时长内的自车状态信息关键帧，并基于自车序号从该时长对应的自车状态信息关键帧中逐帧提取相应车辆的路点坐标（x，y），以形成由路点坐标序列组成的各车辆的历史轨迹信息；同样的，可根据自车序号ego_id逐帧查看在时刻为3分5秒处对应的关键帧之后的相应时段内如7s内的各帧自车状态信息关键帧，并基于自车序号从相应时段对应的自车状态信息关键帧中逐帧提取相应车辆的路点坐标（x， y），以形成由路点坐标序列组成的各车辆的未来轨迹信息。此外，本发明实施例还将当前帧对应的自车状态信息关键帧，如时刻为3分5秒处对应的自车状态信息关键帧中的各个车辆的路点坐标（x，y）也作为各个车辆的第二轨迹数据的一部分，以此形成各个车辆的包含多个路点坐标的一组第二轨迹数据。

步骤S222与步骤S221相似，在步骤S222中，提取得到的历史轨迹信息为在步骤S212获取到的障碍物感知信息关键帧中，基于根据采样步长确定出的当前帧，以当前帧为基准向前搜索预设的历史轨迹数据帧数形成的针对某一障碍物的历史轨迹数据，提取得到的未来轨迹信息为在步骤S212获取到的障碍物感知信息关键帧中，以确定出的当前帧为基准向后搜索预设的未来轨迹数据帧数形成的针对某一障碍物的未来轨迹数据，其中，一组第一轨迹数据中的历史轨迹信息和未来轨迹信息基于的当前帧为确定出的同一关键帧，提取出的轨迹数据是针对的同一障碍物，即基于的当前帧和障碍物均是相同的，在提取出历史轨迹信息和未来轨迹信息之后，本发明实施例是将基于同一关键帧提取得到的针对同一障碍物的历史轨迹信息和未来轨迹信息以及该障碍物的在该关键帧中的信息组合以形成一组第一轨迹数据。可以理解的是，由于在障碍物感知信息中可能是多个障碍物的感知信息，并且确定出的作为当前帧的关键帧也可能有多个，因而形成的第一轨迹数据的组数与障碍物感知信息中包含有的障碍物数量以及确定出的作为当前帧的关键帧的数量相关，具体地，其相关性为在同一当前帧下确定出的第一轨迹数据的组数与当前帧、历史轨迹信息和未来轨迹信息中包含的障碍物的数量相同，而各障碍物对应的每组第一轨迹数据与其基于的当前帧相对应，即基于同一当前帧将确定出针对不同的障碍物的多组第一轨迹数据，每组第一轨迹数据对应了一个障碍物，而各个障碍物均可能在多个选定的当前帧的历史轨迹信息、未来轨迹信息或当前帧信息中出现，因而针对某一障碍物的第一轨迹数据的组数与其在当前帧对应的轨迹信息中出现的频率一致。其中，历史轨迹信息、当前帧信息和未来轨迹信息均是由相应帧中包括的路点坐标或路点坐标序列限定。示例性地，以上述的预设的历史轨迹数据帧数M=5为、当前选定的当前帧为时刻为3分5秒处对应的障碍物感知信息关键帧、未来轨迹数据帧数N=35例，对应的历史轨迹数据的时长为5×0.2s=1s，由于目标序号obj_id是障碍物目标的唯一标识符，故可根据目标序号obj_id逐帧查看在时刻为3分5秒处对应的关键帧之前的1s时长内的障碍物感知信息关键帧，并基于目标序号从相应帧的障碍物感知信息关键帧中逐帧提取各个障碍物的路点坐标（x，y），以形成由路点坐标序列组成的各个障碍物的历史轨迹信息；同样的，对应的未来轨迹数据的时长为35×0.2s=7s，故可根据目标序号obj_id逐帧查看在时刻为3分5秒处对应的关键帧之后的7s时长内的障碍物感知信息关键帧，并基于目标序号obj_id从相应帧的障碍物感知信息关键帧中逐帧提取各个障碍物的由路点坐标（x，y），以形成由路点坐标序列组成的各个障碍物的未来轨迹信息。其中需要说明的是，由于本发明实施例的自车可能有多个，因而在确定各个障碍物的第一轨迹数据时，还可以基于各个车辆的自车序号ego_id和障碍物的目标序号obj_id共同确定和标识一个障碍物，以使其与相应的车辆相关联，进而实现在相应自车下的样本数据生成处理。此外，本发明实施例还将当前帧对应的障碍物感知信息关键帧，如时刻为3分5秒处对应的障碍物感知信息关键帧中的各个障碍物的路点坐标（x，y）也作为各个障碍物的第一轨迹数据的一部分，以此形成各个障碍物的包含多个路点坐标的一组第一轨迹数据。

为了保证提取出的第一轨迹数据的数据质量，特别是在直接从前置或感知模块获取第一数据信息的情况下，为了避免感知错误和丢帧造成的数据质量下降等问题，在本发明的优选实施例中，还会对得到的各个障碍物的第一轨迹数据进行优化处理。具体地，参照图5，步骤S23为对步骤S22中得到的各个障碍物的各组第一轨迹数据进行优化处理，以得到优化后的各个障碍物的至少一组轨迹数据。在其中一个实施例中，优化处理可以是基于对第一轨迹数据的过滤实现的，在另一个优选实施方式中，优化处理则是结合了对第一轨迹数据的过滤处理和校正处理。以优化处理包括对第一轨迹数据的过滤处理和校正处理为例，图8示意性地展示了步骤S23中对各个障碍物的各组第一轨迹数据进行优化处理的步骤的流程，参照图8，该方法可以实现为以下步骤：

步骤S231：分别对各个障碍物的各组第一轨迹数据进行过滤处理，其中，过滤处理包括对各个障碍物的各组第一轨迹数据进行基于曲线拟合的第一过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于速度的第二过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于行为的第三过滤处理；

步骤S232：对过滤处理后得到的各个障碍物的至少一组第一轨迹数据进行轨迹校正处理。

步骤S231是对步骤S22中得到的各个障碍物的各组第一轨迹数据进行自动化过滤处理的步骤，从而能够对不会影响到自车行驶的障碍物的历史轨迹信息和未来轨迹信息进行过滤，降低系统运算量，并且能够实现自动化过滤处理，从而能够有效地降低人工对障碍物的各组第一轨迹数据的处理周期，提高效率，并能够保证样本数据质量。对各个障碍物的各组第一轨迹数据进行的过滤处理，可以包括对各个障碍物的各组第一轨迹数据进行基于曲线拟合的第一过滤处理，对各个障碍物的各组第一轨迹数据进行基于速度的第二过滤处理，以及对各个障碍物的各组第一轨迹数据进行基于行为的第三过滤处理，在具体应用中，这三种过滤处理可以单独使用也可以任意组合使用，本发明实施例对此不进行限制。通过对各个障碍物的各组第一轨迹数据进行过滤处理，可以进一步得到符合期望目标的各组第一轨迹数据，以保证样本数据所依赖的轨迹样本的数据质量。

具体地，对各个障碍物的各组第一轨迹数据进行基于曲线拟合的第一过滤处理主要是基于曲线拟合的方式对轨迹进行评估和筛选，以从各个障碍物的各组第一轨迹数据中剔除较差的轨迹样本，筛选和保留符合预设质量要求的轨迹样本。其中，以符合预设质量要求是指轨迹样本符合基于偏移误差阈值要求的第一过滤条件为例，第一过滤处理具体可以实现为包括：首先，使用诸如多项式曲线拟合等拟合方式分别对各个障碍物的各组第一轨迹数据中包括的所有路点坐标进行拟合，生成平滑的拟合曲线；接着，基于路点坐标计算各个障碍物的真实路点和拟合出的平滑的拟合曲线中对应路点的位置偏移误差，并计算全部路点的平均位置偏移误差；最后，根据平均位置偏移误差以及预设的偏移误差阈值对各个障碍物的各组第一轨迹数据进行过滤，以从各个障碍物的至少一组第一轨迹数据中筛选出符合第一过滤条件的第一轨迹数据，其中示例性地，第一过滤条件是将大于预设偏移误差阈值的第一轨迹数据删除，仅保留平均位置偏移误差小于预设偏移误差阈值的第一轨迹数据。由于在步骤S22中提取得到的各个障碍物的第一轨迹数据可能有多组，且各组第一轨迹数据中的历史轨迹信息、当前帧信息和未来轨迹信息是分离的，因而在第一过滤处理中通过对同一障碍物的各组第一轨迹数据中的全部路点进行基于曲线拟合的过滤，能够通过拟合后的曲线中的各个路点与第一轨迹数据中包括真实路点的误差大小确定出是否对该第一轨迹数据进行过滤。其中，多项式曲线拟合为现有的算法，因此在此不再展开赘述，通过计算得出相应障碍物轨迹数据的平均位置偏移误差，并与预设的偏移误差阈值进行比较，将平均位置偏移误差高于预设的偏移误差阈值的障碍物轨迹数据进行滤除，能够实现在自动过滤的同时，筛选出符合期望的高质量的轨迹数据。其中，真实路点是指第一轨迹数据中包括的尚未进行拟合时的路点，以图9所示效果为例，如图9所示，图中曲线fit为拟合后得到的平滑曲线，图中路点data为拟合前某一组第一轨迹数据中包括的真实路点，通过对真实路点进行拟合，拟合曲线与真实路点之间将发生偏移，本发明实施例通多第一过滤处理即可将发生偏移误差过大的相应组第一轨迹数据滤除掉，从而保留各个障碍物的轨迹数据质量较高的至少一组第一轨迹数据。

具体地，对各个障碍物的各组第一轨迹数据进行基于速度的第二过滤处理主要是对不同车速的障碍物根据对应概率来随机筛选轨迹样本，其具体可以实现为包括：首先，确定各组第一轨迹数据对应的障碍物行驶速度并根据相应障碍物的障碍物行驶速度确定该组第一轨迹数据对应的速度丢弃概率；根据各组第一轨迹数据对应的障碍物行驶速度、该组第一轨迹数据对应的速度丢弃概率、预设的速度阈值和为相应组第一数据轨迹生成的模拟概率对各障碍物的各组第一轨迹数据进行过滤，以筛选出各个障碍物的符合第二过滤条件的至少一组第一轨迹数据。其中，该部分的过滤处理可以是直接对步骤S22得到的各组第一轨迹数据进行过滤处理，也可以是对已进行过第一过滤处理后的障碍物的各组第一轨迹数据作进一步的过滤处理。在本发明实施例中，各组第一轨迹数据对应的障碍物行驶速度具体可以设置为相应障碍物在相应组第一轨迹数据中的位置变化率，示例性地，可以根据该组第一轨迹数据对应的障碍物感知信息中的对应障碍物的相邻帧对应的位置差和时间差获得。在对各个障碍物的各组第一轨迹数据进行基于速度过滤的过程中，由于行驶速度小的障碍物目标被丢弃的概率大，因而可以根据障碍物行驶速度与丢弃概率的关系预先构建障碍物行驶速度与速度丢弃概率的映射关系，并以键值对的数据格式进行保存{obj_ speed:obj_p}，如采用python中的字典类型实现行驶速度obj_speed和丢弃概率obj_p的“键值对”对应关系映射，由此就可以根据各个障碍物的行驶速度obj_speed确定出各个障碍物的速度丢弃概率obj_p。在具体应用中，在同一障碍物存在多组障碍物行驶速度时，其多组行驶速度和其速度丢弃概率的关系可以标记为{obj_speed1:obj_p1 , obj_speed2: obj_p2 ,..., obj_speedi:obj_pi}。在具体实现中，速度阈值obj_speedi是预先设定的值，而模拟概率可以基于随机数生成，其中基于随机数生成的模拟概率random_p的值可以是0~1的随机数。在根据对应障碍物的障碍物行驶速度、该障碍物的速度丢弃概率、速度阈值以及随机数生成的模拟概率对相应障碍物的各组第一轨迹数据进行过滤时，根据预设的第二过滤条件，可以先将各障碍物的行驶速度和预设的速度阈值obj_speedi进行比较，若某个障碍物的行驶速度低于该预设的速度阈值obj_speedi，则再将该障碍物对应的速度丢弃概率与随机数生成的模拟概率random_p进行比较，若某一障碍物同时满足该障碍物的行驶速度低于预设的速度阈值obj_speedi以及随机数生成的模拟概率random_p大于该障碍物对应的速度丢弃概率，则丢弃该障碍物的相应组的第一轨迹数据，以完成对障碍物轨迹数据的过滤，从而筛选出高质量的轨迹数据样本。

具体地，对各个障碍物的各组第一轨迹数据进行基于行为的第三过滤处理主要是对车道保持的障碍物根据其对应概率来随机筛选轨迹样本，其可以实现为包括：根据相应障碍物的各组第一轨迹数据确定出各组第一轨迹数据的轨迹起点位置和轨迹终点位置；根据轨迹起点位置、轨迹终点位置、预设的行为丢弃概率以及生成的模拟概率对相应障碍物的各组第一轨迹数据进行过滤，以筛选出各个障碍物的符合第三过滤条件的至少一组第一轨迹数据。其中，该部分的过滤处理与对各组第一轨迹数据进行第二过滤处理相似，其可以是直接对步骤S22得到的各组第一轨迹数据进行过滤处理，也可以是对已进行过第一过滤处理后的各组第一轨迹数据进行过滤处理，还可以是对既进行过第一过滤处理，又进行过第二过滤处理的各组第一轨迹数据进行过滤处理。在对障碍物的各组第一轨迹数据进行基于行为过滤的过程中，首先根据障碍物的各组第一轨迹数据确定出该障碍物各组第一轨迹数据的轨迹起点位置和轨迹终点位置，通过确定出的轨迹起点位置和轨迹终点位置，即可以判断出该障碍物在相应轨迹上的起止点的一致性，具体地，首先通过各组第一轨迹数据的轨迹起点位置的横纵向位置[obj_x, obj_y]和航向角obj_yaw，以及在自动驾驶系统中得到的相应车辆的地图文件信息中进行元素标记的车道边界，从而得出轨迹起点位置所在车道序号，相似的，再得出轨迹终点位置所在车道序号，最后通过判断轨迹起点位置和轨迹终点位置所在车道序号是否一致，来得出该障碍物相应轨迹上的起止点的一致性。其中，预设的行为丢弃概率是自定义化的预设值，在本发明的其中一个实施方式中，可将预设的行为丢弃概率设定为0.5，模拟概率可以基于随机数生成，其中基于随机数生成的模拟概率与对各组第一轨迹数据进行第二过滤处理部分中的相关部分相同，在此不再赘述。在根据轨迹起点位置、轨迹终点位置、预设的行为丢弃概率以及生成的模拟概率对各组第一轨迹数据进行过滤的时候，根据预设的第三过滤条件，可以先根据障碍物在相应轨迹上的起止点的一致性判断是否保留该组第一轨迹数据，具体地，若某组第一轨迹数据的轨迹起点位置和轨迹终点位置所在车道序号不一致，则保留该组第一轨迹数据，若一致，则再进行进一步的比较。具体地，当第一轨迹数据的轨迹起点位置和轨迹终点位置所在车道序号一致时，则需要将随机数生成的模拟概率与预设的行为丢弃概率进行比较，确定是否滤除该组第一轨迹数据，具体地，当随机数生成的模拟概率小于预设的行为丢弃概率，则保留该组第一轨迹数据，否则将该组第一轨迹数据滤除，从而筛选出高质量的各个障碍物的至少一组第一轨迹数据。

步骤S232为对过滤处理之后的高质量的各个障碍物的各组第一轨迹数据进行轨迹校正的步骤，以过滤掉不符合真实物理意义的轨迹，进一步保障生成的轨迹数据样本的质量。具体地，进行校正的具体处理过程包括：先挑选出类型为车辆的障碍物的各组第一轨迹数据中的未来轨迹信息，示例性地，可以通过各组第一轨迹数据对应的障碍物目标序号以及该障碍物对应的障碍物感知信息中的目标种类obj_type进行分辨，以挑选出类型为车辆的障碍物，并获取相应障碍物的各组第一轨迹数据中的未来轨迹信息；之后再对筛选出的类型为车辆的障碍物的各组第一轨迹数据中的未来轨迹信息中的具有物理意义的物理量的取值是否存在异常进行判断，并根据对异常物理量的判断结果，对相应障碍物的各组第一轨迹数据进行筛选，以实现对轨迹数据的校正；最后，对各自车对应的所有障碍物的各组第一轨迹数据中的历史轨迹信息中的具有物理意义的物理量的取值是否存在异常进行判断，并根据对异常物理量判断结果对相应障碍物的各组第一轨迹数据进行筛选。其中，该具有物理意义的值，对于未来轨迹信息而言，是通过对未来轨迹信息进行高阶导数评估确定出的，示例性地，可以通过对未来轨迹信息上的路径点进行微分，并对微分后的路径点进行求高阶段来确定具有物理意义的物理量，在其中一个优选实施方式中，确定的物理量可以包括有基于对未来轨迹信息上的相应路径点求二阶导数确定出的轨迹起点和轨迹终点的加速度、基于对未来轨迹信息上的相应路径点求三阶导数确定出的轨迹起点和轨迹终点的加速度变化率、和基于对未来轨迹信息上的相应路径点的纵向和横向位置求正切值确定出的轨迹起点和轨迹终点的角度变化率。对于历史轨迹信息而言，其对应的具有物理意义的物理量主要是指障碍物的历史轨迹信息的横向角变化率和加速度，其中，障碍物的历史轨迹信息的横向角变化率的确定方式可以是通过对历史轨迹信息上的微分出的路径点进行横向角的一阶求导确定出，即将横向角变化率确定为相应路径点的横向角的一阶导数，障碍物的历史轨迹信息的加速度则可以通过对历史轨迹信息上微分出的相应路径点求三阶导数确定出。在判断这些物理量的取值是否异常的时候，具体地，不管是对于未来轨迹信息，还是对历史轨迹信息，均可以实现为是将一组第一轨迹数据中的各个物理量分别与预设的异常阈值进行比较，并分别统计出该组第一轨迹数据中的超出预设的异常阈值的各个物理量的数量，若该组第一轨迹数据中的未来轨迹信息或历史轨迹信息中大于预设的异常阈值的至少一个物理量的数量超出该物理量的统计阈值，则丢弃该障碍物的相应组的第一轨迹数据。由此就可以实现对各自车对应的全部障碍物进行面向车辆的基于未来轨迹信息中的路点异常判断的筛选和面向所有交通参与者的基于历史轨迹信息中的路点异常判断的级联筛选。其中，物理量对应的异常阈值是用于评价相应物理量的取值是否异常的阈值，物理量对应的统计阈值是用于评价在一组第一轨迹数据中发生异常的相应物理量的数量是否超出设定标准的阈值。示例性地，在本发明的优选实施方式中，基于未来轨迹信息中的路点异常判断进行轨迹校正时，预设的加速度的异常阈值和统计阈值分别为5和10，加速度变化率的异常阈值和统计阈值分别为30和10，加速度变化率的异常阈值和统计阈值分别为0.3×π和10；基于历史轨迹信息中的路点异常判断进行轨迹校正时，横向角变化率的异常阈值和统计阈值分别为0.3×π和1，加速度的异常阈值和统计阈值分别为10和1。

步骤S3是根据通过步骤S2得到的第二数据信息生成用于训练轨迹预测模型的样本数据的步骤，作为一种优选实施方式，其可以实现为是分别在各自车下依次从相应自车对应的各个障碍物中选取其中一个障碍物作为目标障碍物，并针对选定的各目标障碍物分别生成至少一组与该目标障碍物对应的样本数据，重复该处理直至获取到所有自车下的所有障碍物对应的样本数据，即所有自车下的所有障碍物都将会被选定为目标障碍物，以进行一次针对选定的目标障碍物的样本数据生成处理。其中，在本发明实施例中，生成的样本数据的数据格式是与待训练模型所需的数据格式相一致的，其包括有两部分，一部分为用于作为模型训练或测试的输入部分，另一部分为用于作为模型训练或测试的输出部分。作为一种优选实施方式，可以通过对第二数据信息进行特定的自动化处理以得到符合期望格式的样本数据。由于分别在各自车下依次选定其中一个障碍物作为目标障碍物的处理，通过基于各车辆的自车序号和各障碍物的目标序号即可依次获取其对应的第一轨迹数据及第二轨迹数据和通过标识指定目标障碍物，因此对其具体执行过程在此不再赘述，本发明实施例接下来将重点对针对选定的目标障碍物生成至少一组与该目标障碍物对应的样本数据的实现过程进行详细描述。具体地，图10示意性地展示了本发明一实施方式的样本数据生成方法中，针对选定的目标障碍物生成至少一组与该目标障碍物对应的样本数据的方法流程，参照图10所示，其可以实现为包括以下步骤：

步骤S31：根据相应目标障碍物对应的至少一组第一轨迹数据、相应目标障碍物对应的自车的至少一组第二轨迹数据、相应自车对应的各个障碍物的至少一组第一轨迹数据、以及基于相应自车采集到的地图文件信息生成相应自车的与选定的目标障碍物的各组第一轨迹数据对应的至少一组地图数据；

步骤S32：根据相应目标障碍物的至少一组第一轨迹数据生成与相应目标障碍物的各组第一轨迹数据对应的行驶状态量；

步骤S33：分别对相应目标障碍物对应的各组地图数据和其对应的各组行驶状态量进行编码，得到各组地图数据对应的地图特征码和各组行驶状态量对应的行驶状态码；

步骤S34：对相应目标障碍物的同一组第一轨迹数据对应的地图特征码和行驶状态码进行特征合并，形成用于模型训练或测试的一组样本数据中的输入部分；

步骤S35：根据相应目标障碍物的相应组的第一轨迹数据确定出该目标障碍物的未来轨迹信息，形成用于模型训练或测试的该组样本数据中的输出部分，其中，所述相应组的第一轨迹数据是与用于确定该组样本数据的输入部分的地图特征码和行驶状态码相对应的同一组第一轨迹数据。

在步骤S31中，采集到的地图文件信息至少包含车道边缘线、人行横道、路口标线信息，该地图文件信息可以为在采集自车标定信息和实车录制ROS BAG数据包时，基于车辆上的激光雷达/GPS/IMU/轮速计车载传感器采用同步地图定位和建图的方式生成，也可通过其他前置模块或从外部直接获取。选定的目标障碍物为要进行轨迹预测的障碍物，由于基于每个车辆采集到的障碍物可能不止一个，因此，在具体生成样本数据时，对于每个车辆都要预先选定待预测的障碍物以作为目标障碍物，以基于该车辆的选定目标障碍物来确定样本数据的输入部分和输出部分，即保证得到的一组样本数据是针对同一车辆的同一选定目标障碍物的，进而保证确定出的样本数据的有效性。具体地，目标障碍物为某一车辆对应的全部障碍物中的任意一个选定的障碍物，在生成样本数据时，本发明实施例会将各个车辆对应的全部障碍物都分别依次选定为一次目标障碍物，以在设定了目标障碍物的场景下，基于相应自车的至少一组第二轨迹数据和相应自车对应的各个障碍物的至少一组第一轨迹数据生成该目标障碍物的样本数据，从而使得生成的样本数据能够用于训练用于预测目标障碍物的轨迹信息的模型。作为一种优选实施方式，在步骤S31中生成的每组地图数据可以实现为均包括有基于与当前目标障碍物对应的自车的相应组第二轨迹数据和当前自车对应的各个障碍物的相应组第一轨迹数据生成的语义地图、基于当前目标障碍物的相应组第一轨迹数据生成的目标障碍物的历史轨迹位置掩码图和基于当前自车的相应组第二轨迹数据及当前自车对应的各个障碍物的相应组第一轨迹数据生成的周围障碍物轨迹位置掩码图，其中，周围障碍物为目标障碍物周围一定范围内的除目标障碍物之外其他障碍物，可以通过预设搜索半径来限定目标障碍物周围的一定范围。参照图11，步骤S31中的一组地图数据，具体可以通过以下步骤得到：

步骤S311：根据当前目标障碍物的各组第一轨迹数据、基于当前自车采集到的地图文件信息、当前自车对应的各组第二轨迹数据、以及当前自车对应的各个障碍物的各组第一轨迹数据生成包含车道、人行横道和路口的与当前目标障碍物的各组第一轨迹数据对应的至少一组语义地图，其中，生成的每组语义地图所基于的一组第一轨迹数据的当前帧信息和其所基于的一组第二轨迹数据的当前帧信息具有相同的当前帧时刻；

步骤S312：根据当前目标障碍物的各组第一轨迹数据中的当前帧信息以及历史轨迹信息、当前自车对应的各个障碍物的各组第一轨迹数据中的当前帧信息以及历史轨迹信息、当前自车的各组第二轨迹数据中的当前帧信息以及历史轨迹信息、和基于当前自车采集到的地图文件信息生成该目标障碍物的与其各组第一轨迹数据对应的目标障碍物历史轨迹位置掩码图和周围障碍物的轨迹位置掩码图；

步骤S313：将与目标障碍物的同一组第一轨迹数据对应的一组语义地图、一组周围障碍物的轨迹位置掩码图、和一组目标障碍物历史轨迹位置掩码图，作为选定目标障碍物的相应组第一轨迹数据对应的一组地图数据。

步骤S311是生成语义地图的步骤，在步骤S311中，生成的语义地图优选是指由目标障碍物一定范围内的车道、人行横道和路口形成的三通道的语义地图，示例性地，生成的三通道语义地图可以为栅格地图，也可以为矢量地图。以生成的语义地图为栅格地图为例，可以根据目标障碍物的一组第一轨迹数据中的当前帧的全局三维坐标、航向角、长宽高信息和历史轨迹信息以及该目标障碍物对应的自车采集的地图文件信息，进行语义栅格化，以得到三通道的栅格语义地图，具体地，其生成方式可以实现为包括：首先，根据该目标障碍物对应的自车采集的地图文件信息生成包含车道边界、人行横道边界和路口边界的地图元素边界，这些地图元素边界可以通过各个元素自身的上、下、左、右的最边界的坐标表示；之后，以目标障碍物为参考点，根据目标障碍物的一组第一轨迹数据中的当前帧的全局三维坐标、航向角、长宽高信息和目标障碍物的该组第一轨迹数据中的历史轨迹信息以及地图文件信息搜索其周围预设范围内的地图元素，包括搜索预设范围内的车道索引、人行横道索引、路口索引，其中，该预设范围为预先设置的，可以根据实际情况进行自定义化设计；然后将各地图元素的坐标与旋转矩阵做乘法，进行坐标系转换；最后根据上述地图元素边界和索引值，绘制车道、人行横道和路口的地图元素，并将这些信息离散化为图片形式，生成三通道的语义地图。示例性地，若地图分辨率为0.5米，感知半径为56米，得到的语义地图大小为(56×2÷0.5)×(56×2÷0.5)=(224×224)，图12为具体生成得到的语义地图示例，其中，1为人行横道区域，2为道路路口区域，3为车道区域。可以理解的是，所生成的每组语义地图是与相应目标障碍物的一组第一轨迹数据对应的，由于目标障碍物对应有至少一组第一轨迹数据，因而通过上述方法就能够生成与目标障碍物的各组第一轨迹数据分别对应的至少一组语义地图。另外，为了保证生成的语义地图中信息的一致性和准确性，在本发明实施例中，生成一组语义地图所基于的一组第一轨迹数据的当前帧信息和其所基于的一组第二轨迹数据的当前帧信息具有相同的当前帧时刻。更优地，由于本发明实施例的自车状态信息和障碍物感知信息是来自同一帧ROS数据包，因而其在时间上是具有一致性的，为了保证各组第一轨迹数据和第二轨迹数据在时间上的一致性，在生成各组第一轨迹数据和第二轨迹数据时，可以使得各个车辆的每组第二轨迹数据与该车辆对应的各个障碍物的每组第一轨迹数据具有一一对应关系，其中，该一一对应关系是指相应组的第一轨迹数据和第二轨迹数据所基于的当前帧是具有相同的当前帧时刻的，由此就可以通过各组第一轨迹数据和第二轨迹数据的一一对应关系，来同时利用第一轨迹数据和第二轨迹数据生成地图数据，保证数据内容在时间上的一致性和生成的地图数据的准确性。

步骤S312是生成目标障碍物历史轨迹位置掩码图和该目标障碍物对应的周围障碍物的轨迹位置掩码图的步骤，在步骤S312中，其目的是进行目标障碍物和目标障碍物周围的障碍物的栅格化，从而得到地图数据中的目标障碍物历史轨迹位置掩码图和该车辆对应的目标障碍物以外的周围障碍物的轨迹位置掩码图。作为本发明的其中一个优选实施方式，可以根据目标障碍物和所有周围障碍物的一组第一轨迹数据中的当前帧全局三维坐标、航向角、长宽高信息和历史轨迹信息以及该自车采集的离线地图文件信息，进行目标障碍物和其周围障碍物的栅格化，以得到与该目标障碍物的相应组的第一轨迹数据对应的一组目标障碍物历史轨迹位置掩码图和周围障碍物的轨迹位置掩码图。示例性地，生成的目标障碍物历史轨迹位置掩码图和周围障碍物轨迹位置掩码图均为M+1通道的，其中，M为历史轨迹信息对应的帧数，M+1通道即表示是基于历史轨迹信息和当前帧信息生成的位置掩码图。具体地，步骤S312可以实现为包括：先确定出目标障碍物和目标障碍物的周围障碍物，即根据目标障碍物一组第一轨迹数据中的当前帧全局xyz三维坐标、航向角、长宽高信息和历史轨迹信息和所有周围障碍物的与目标障碍物的该组第一轨迹数据具有相同当前帧时刻的相应组第一轨迹数据中的当前帧全局xyz三维坐标、航向角、长宽高信息和历史轨迹信息，计算其他障碍物与目标障碍物之间的距离，并与预设范围进行对比，得出在目标障碍物预设范围内的其他障碍物，以作为目标障碍物的周围障碍物；之后根据目标障碍物和周围障碍物的相应组第一轨迹数据中的当前帧全局三维坐标、导向角、长宽高信息和历史轨迹信息以及相应自车采集的地图文件信息确定出目标障碍物和周围障碍物的与该相应组第一轨迹数据对应的当前帧的位置索引和历史轨迹位置索引，其中历史轨迹位置索引为历史轨迹信息对应的每一帧历史数据表征的相应障碍物对应的位置索引；然后，根据确定出的目标障碍物和周围障碍物的当前帧的位置索引、历史轨迹位置索引和历史轨迹信息对应的帧数，绘制自车和周围障碍物及目标障碍物的地图元素，生成M+1通道的目标障碍物历史轨迹位置掩码图和M+1通道的周围障碍物轨迹位置掩码图。参照图13和图14，图13为由此生成的目标障碍物以外的周围障碍物的轨迹位置掩码图，图14为由此生成的目标障碍物历史轨迹位置掩码图，在本实施方式中的掩码图为栅格化后的二值化图片，存在障碍物的位置索引标记为1，没有障碍物的位置索引标记为0。由此可以理解的是，所生成的每组目标障碍物历史轨迹位置掩码图和每组周围障碍物轨迹位置掩码图均是与相应目标障碍物的一组第一轨迹数据对应的，由于目标障碍物对应有至少一组第一轨迹数据，因而通过上述方法就能够生成与目标障碍物的各组第一轨迹数据分别对应的至少一组目标障碍物历史轨迹位置掩码图和至少一组周围障碍物轨迹位置掩码图。

步骤S313是确定出步骤S311中所生成的各组语义地图中和步骤S312中所生成的各组目标障碍物历史轨迹位置掩码图和各组目标障碍物以外的周围障碍物的轨迹位置掩码图中，用于形成同一组地图数据的语义地图、目标障碍物历史轨迹掩码图和目标障碍物以外的周围障碍物的轨迹位置掩码图的步骤。在步骤S313中，由于生成的各组语义地图、目标障碍物历史轨迹位置掩码图和目标障碍物以外的周围障碍物的轨迹位置掩码图均是与相应障碍物的一组第一轨迹数据相对应关联的，因而可以将与相应目标障碍物的相同的一组第一轨迹数据对应的一组语义地图、一组目标障碍物历史轨迹位置掩码图和一组目标障碍物以外的周围障碍物的轨迹位置掩码图作为一组地图数据。

步骤S32是用于生成相应目标障碍物的行驶状态量的步骤，具体在步骤S32中，可以通过以下方式得到：基于当前目标障碍物的至少一组第一轨迹数据中的历史轨迹信息和当前帧信息进行历史帧状态化和当前帧状态化，生成该目标障碍物的与各组第一轨迹数据对应的行驶状态信息，其中，历史帧状态化是指获取历史轨迹信息中的速度、加速度和横摆角速度以作为历史帧的状态量的过程，当前帧状态化是指获取当前帧中的速度、加速度和横摆角速度以作为当前帧的状态量的过程，历史帧状态化和当前帧状态化后，再将两者得到的历史帧的状态量和当前帧的状态量合并，以形成目标障碍物的与各组第一轨迹数据对应的行驶状态信息，行驶状态信息包括由当前帧及与历史轨迹信息对应的M帧历史帧的速度、加速度、横摆角速度组成的行驶状态量。可以理解的是，所生成的行驶状态信息是与相应目标障碍物的各组第一轨迹数据对应的，即相应目标障碍物的每一组第一轨迹数据均可以对应生成一个相对应的行驶状态信息。

步骤S33是对地图数据和行驶状态量进行编码的步骤，本发明实施例会对各组地图数据和各组行驶状态量分别进行编码。具体地，在对一组地图数据进行编码时，得到的地图特征码示例性地可以为一列1280维的特征向量，其具体生成方式可以为包括：首先通过骨干网络对一组地图数据提取特征以得到一组地图数据的基础特征图；之后再经过全局平均池化以将基础特征图展开成一列1280维的特征向量，由此得到一组地图数据对应的地图特征码。在其他实施方式中，在提取特征时，可以选用经过预训练的轻量化模型MobileNet_V2作为基准模型，在使用时，需要将MobileNet_V2的第一层卷积的输入通道数改为15，并去掉原模型最后的全连接层，输出为1×16×16×1280，同时增加全局平均池化层，得到1×1280的输出特征向量作为地图特征码。其中，采用的基础模型MobileNet_V2，也可为MobileNet系列、ResNet系列和VGG系列等深度学习特征提取模型。在对一组行驶状态量进行编码时，得到的行驶状态码示例性地可以为一列64维的特征向量，其实现方式可以是将一组行驶状态量经过全连接层组成的状态编码器后生成1×64维的特征向量，并将得到的特征向量作为行驶状态码。具体的编码过程，可以参照现有技术中的相关内容，在此不过多展开赘述。

步骤S34是对编码后得到的地图特征码和行驶状态码进行特征合并的步骤，在进行特征合并之前，需要先确定出要用于特征合并的一组地图特征码和行驶状态码，具体地，可以根据地图特征码和行驶状态码所对应的第一轨迹数据来确定出用于特征合并的一组地图特征码和行驶状态码，即，将相应目标障碍物的同一组第一轨迹数据对应的地图特征码和行驶状态码作为用于进行特征合并的一组地图特征码和行驶状态码，并对其进行特征合并，以生成用于模型训练或测试用的样本的输入部分。特征合并具体可以选用将地图特征码和行驶状态码串联的方式。在优选实施方式中，在进行特征合并之前，可以先对1280维的地图特征码进行降维处理，具体地，通过将1×1280的特征向量经过由全连接层组成的多层感知机将维度降为1×256的特征向量，然后再将降维后的地图特征码和行驶状态码进行特征合并处理，具体为将降维后得到的1×256地图特征码和1×64行驶状态码特征向量进行串联合并，生成一列320维的特征向量，以作为用于模型训练或测试用的样本的输入部分。

在经过步骤S31至步骤S34得到用于作为模型训练或测试的输入部分后，只需要通过步骤S35，选取相应目标障碍物的与输入部分相同的一组第一轨迹数据中的未来轨迹信息作为模型训练或测试的输出部分，即可得到用于作为模型训练或测试的样本数据的全部内容。

由此，可以理解的是，对于一个选定的目标障碍物，根据其对应的某一组第一轨迹数据对应的地图特征码和行驶状态码就可以生成一组样本数据的输入部分，而根据该组第一轨迹数据中的未来轨迹信息就可以生成该组样本数据的输出部分，由此就可以根据一个目标障碍物的一组第一轨迹数据生成一组样本数据，而各个目标障碍物对应的第一轨迹数据有至少一组，那么根据选定的某一个目标障碍物就可以生成至少一组与其第一轨迹数据一一对应的样本数据，而当把各个自车下对应的所有障碍物都依次选定为目标障碍物时，通过对每个自车下选定的某一个目标障碍物分别依次进行上述处理，就可以得到与各个自车对应的所有障碍物的至少一组第一轨迹数据分别一一对应的多组样本数据，以保证样本数据的丰富多样性。

在其他实施方式中，在根据通过步骤S2得到的第二数据信息生成用于训练轨迹预测模型的样本数据时，也可以不依次选定目标障碍物来进行上述处理，而是可以直接基于第二数据信息中的各个自车的至少一组第二轨迹数据和各个障碍物的至少一组第一轨迹数据、各个自车对应采集的地图文件信息等生成各个自车下的各个障碍物的各组第一轨迹数据分别对应的各组地图数据和行驶状态量，并对各组地图数据和行驶状态量分别进行编码，之后再分别依次选定各个自车下的各个障碍物作为目标障碍，并基于选定的目标障碍物选取相应组的地图特征码和行驶状态码进行特征合并，进而生成对应的一组样本数据。

在其他实施方式中，在进行步骤S2之前，还可以对步骤S1中得到的格式统一化的第一数据信息，如对TXT文本格式的第一数据信息进行格式转换，将其转换为python中的字典数据类型（Dictionary），并基于转换后的字典数据类型进行步骤S2的处理。字典数据类型是一种可变容器模型，以“键值对”{key: value}方式存储任意类型对象，通过将文本格式的第一数据信息转换为字典数据类型有利于提升关键帧采样和过滤处理的效率。在其他实施方式中，也可以直接将步骤S1获取的第一数据信息存储为python中的字典数据类型，本发明实施例对此不进行限制。

本发明的样本数据生成方法，通过获取到的各个车辆的自车状态信息和各个障碍物的感知信息，就能够自动对各个车辆的自车状态信息和各个障碍物的感知信息进行处理并得到各个车辆的至少一组轨迹数据，以及各个障碍物的至少一组轨迹数据，并基于各个车辆和各个障碍物的各组轨迹数据自动确定出模型训练或测试的输入部分和输出部分，得到至少一组轨迹训练模型的样本数据，形成“数据采集——目标感知——预测样本生成”全栈式自动化模式，使得轨迹预测用样本数据的整个生成过程既省时又省钱，有效提高轨迹预测模型的训练的效率。同时，通过在对数据的处理过程中，加入了对数据的自动过滤和校正，从而能够有效保证样本数据的质量，并且在最终根据历史轨迹信息得到用作训练轨迹预测模型的输入部分的时候，通过设计的基于双层神经网络的多通道栅格化地图和行驶状态编码模型，能够更好地提高模型训练的准确性，有利于后续快速进行模型训练的迭代优化。同时，为了提高轨迹预测模型在各种行驶场景下的准确性和鲁棒性，本发明实施例生成的轨迹预测用样本数据除了考虑目标障碍物位置组成的轨迹线特征外，还结合了涉及整个场景的栅格化地图特征，形成了多维度的轨迹预测用样本数据，能够大幅提高样本数据的多样性和预测能力。

在一些实施方式中，本发明还提供了一种轨迹预测模型训练方法，该方法采用了上述任一实施方式的样本数据生成方法生成的样本数据的输入部分作为轨迹预测模型的自变量，以其输出部分作为轨迹预测模型的因变量，对轨迹预测模型进行模型训练，确定出轨迹预测模型的模型参数，最终根据确定出的模型参数确定出训练好的轨迹预测模型。

示例性地，在得到用于生成轨迹预测模型的输入部分数据和输出部分数据后，假设预测轨迹模型用函数F_predcitor(·)表示，模型的功能是输入自变量X，输出因变量Y，需要学习的参数为权重项W和偏置项b，整体轨迹预测模型表示为Y=F_predcitor(X│W,b)；其中，输入部分X由包含历史与当前帧的轨迹横纵向位置信息和地图信息的栅格化数据，以及当前和历史障碍物的行驶状态量两部分组成；输出部分Y由障碍物未来的轨迹横纵向位置点组成，假设输出轨迹的模态数为H，预测未来的帧数为N，轨迹横纵向位置点为[obj_x,obj_y]，则输出维度为H×(2×H+1)，实施例中取N=35，H=5。

本发明提供的轨迹预测模型训练方法，采用了上述的样本数据生成方法所得到的样本数据作为轨迹预测模型的模型参数，对轨迹预测模型进行训练，从而能够有效提高得到的轨迹预测模型的质量与准确度。

在一些实施方式中，本发明还提供一种轨迹预测方法，该方法采用了上述的轨迹预测模型训练方法训练得到的轨迹预测模型对目标障碍物的行为或行驶轨迹进行预测，从而能够有效提高预测得到的轨迹的准确度。

图15示意性地展示了本发明一实施方式的样本数据生成装置，参照图15，该装置包括：

第一数据获取模块4，用于获取第一数据信息，其中，所述第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；

轨迹数据提取模块5，用于根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；

样本数据生成模块6，用于根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。

需要说明的是，本发明实施例的样本数据生成装置的实现过程和实现原理具体可参见上述样本数据生成方法实施例的相应描述，例如方法实施例部分对第一数据信息的获取、第二数据信息的提取以及对第二数据信息进行处理得到样本数据的相关内容，故在此均不再赘述。示例性地，本发明实施例的样本数据生成装置可以是具有处理器的任何智能设备，包括但不限于计算机、智能手机、个人电脑、机器人、云端服务器等。

图16至图18图示意性地展示了本发明另一实施方式的样本数据生成装置中的第一数据获取模块4、轨迹数据提取模块5和样本数据生成模块6的组成，参照图16，第一数据获取模块4包括：

数据获取单元41，用于获取采集数据，其中，所述采集数据包括各个车辆的自车标定信息和实车录制ROS BAG数据包；

话题筛选单元42，用于根据ROS BAG数据包进行定位话题和感知话题筛选，得到定位话题和感知话题；

自车状态信息提取单元43，用于根据定位话题提取处各个车辆的至少一帧自车状态信息；

障碍物感知信息提取单元44，用于根据感知话题提取出各个车辆对于的至少一帧障碍物感知信息；

第一数据生成单元45，用于根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息、和各个车辆对应的至少一帧障碍物感知信息生成所述第一数据信息；

预处理单元46，用于对提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息对各帧自车状态信息分别进行第一预处理，得到预处理后的各个车辆的至少一帧自车状态信息，对各个车辆对应的至少一帧障碍物感知信息进行第二预处理，得到预处理后的各个车辆对应的至少一帧障碍物感知信息；

格式统一化单元47，用于对预处理后的各个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息进行格式统一化，生成第一数据信息，其中，第一数据信息中的自车状态信息和障碍物感知信息具有统一的数据格式。

参照图17所示，轨迹数据提取模块5包括：

关键帧采样单元51，用于对各个车辆的自车状态信息和各车辆对应的障碍物感知信息进行关键帧采样，得到各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧；

轨迹数据提取单元52，用于分别基于各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧，确定出各个车辆对应的至少一组第二轨迹数据，和确定出各车辆对应的各个障碍物的至少一组第一轨迹数据；

轨迹数据过滤单元53，用于分别对各个障碍物的各组第一轨迹数据进行过滤处理，其中，过滤处理包括对各个障碍物的各组第一轨迹数据进行基于曲线拟合的第一过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于速度的第二过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于行为的第三过滤处理；

轨迹信息校正单元54，用于对过滤处理后得到的各个障碍物的至少一组第一轨迹数据进行轨迹校正处理。

参照图18所示，样本数据生成模块6包括：

地图数据生成单元61，用于根据相应目标障碍物对应的少一组第一轨迹数据、相应障碍物对应的自车的至少一组第二轨迹数据、相应自车对应的各个障碍物的至少一组第一轨迹数据、以及基于相应自车采集到的地图文件信息生成相应自车的与选定的目标障碍物的各组第一轨迹数据对应的至少一组地图数据；

行驶状态量生成单元62，用于根据相应目标障碍物的至少一组第一轨迹数据生成与相应目标障碍物的各组第一轨迹数据对应的行驶状态量；

特征编码单元63，用于分别对相应目标障碍物对应的各组地图数据和其对应的各组行驶状态量进行编码，得到各组地图数据对应的地图特征码和各组行驶状态量对应的行驶状态码；

特征合并单元64，用于对相应目标障碍物的同一组第一轨迹数据对应的地图特征码和行驶状态码进行特征合并；

样本数据生成单元65，用于将特征合并单元64得到的特征合并后的相应车辆的选定的目标障碍物相同的同一组第一轨迹数据对应的地图特征码和行驶状态码作为用于模型训练或测试的一组样本数据中的输入部分；并根据相应目标障碍物的相应组的第一轨迹数据确定出该目标障碍物的未来轨迹信息，形成用于模型训练或测试的该组样本数据中的输出部分，其中，所述相应组的第一轨迹数据是与用于确定该组样本数据的输入部分的地图特征码和行驶状态码相对应的同一组第一轨迹数据。

需要说明的是，本发明实施例的样本数据生成装置的实现过程和实现原理具体可参见上述样本数据生成方法实施例的相应描述，故在此均不再赘述。示例性地，本发明实施例的样本数据生成装置可以是具有处理器的任何智能设备，包括但不限于计算机、智能手机、个人电脑、机器人、云端服务器等。

图19示意性地展示了本发明一实施方式的轨迹预测模型训练装置，参照图19所示，该装置包括：

模型参数确定模块71，用于以上述实施例的样本数据生成方法或样本数据生成装置生成的样本数据的输入部分作为轨迹预测模型的自变量，以其输出部分作为轨迹预测模型的因变量，对所述轨迹预测模型进行模型训练，确定出所述轨迹预测模型的模型参数；

轨迹预测模型生成模块72，用于根据模型参数确定模块71确定出的模型参数生成训练好的轨迹预测模型。

需要说明的是，本发明实施例的轨迹预测模型训练装置的实现过程和实现原理具体可参见上述轨迹预测模型训练方法的相应描述，例如方法实施例部分的对轨迹预测模型训练确定出模型参数的相关内容等，故此在此不再赘述。示例性地，本发明实施例的轨迹预测模型训练装置可以是具有处理器的任何智能设备，包括但不限于计算机、智能手机、个人电脑、机器人、云端服务器等。

图20示意性地展示了本发明一实施方式的轨迹预测装置，参照图20所示，该装置包括：

历史轨迹信息输入模块81，用于输入目标障碍物的历史轨迹信息作为轨迹预测模型的输入部分；

未来轨迹预测模块82，用于根据历史轨迹信息输入模块81输入的目标障碍物的历史轨迹信息和上述实施例的轨迹预测模型训练方法或轨迹预测模型训练装置确定出的轨迹预测模型确定出目标障碍物的未来轨迹信息。

需要说明的是，本发明实施例的轨迹预测装置中的轨迹预测模型的确定过程和确定方法具体可参见上述轨迹预测模型训练方法的相应描述，故此在此不再赘述。示例性地，本发明实施例的轨迹预测装置可以是具有处理器的任何智能设备，包括但不限于计算机、智能手机、个人电脑、机器人、云端服务器等。

图21示意性地展示了本发明一实施方式的移动工具，参照图21所示，该移动工具包括：

数据采集模块91，用于采集定位信息、感知信息、地图文件信息并发送至计算设备92；

计算设备92，用于基于数据采集模块91发送的采集信息获取第一数据信息以执行上述实施方式中的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法。

其中，当计算设备92用于基于数据采集模块91发送的采集信息获取第一数据信息以执行上述实施方式中的样本数据生成方法时，所述的计算设备92可以是上述实施方式中的样本数据生成装置，也可以是能够实现上述样本数据生成方法的装置。

需要说明的是，本发明实施例的计算设备的实现过程和实现原理具体可参见上述样本数据生成方法实施例的相应描述，例如方法实施例部分对第一数据信息的提取、第二数据信息的提取以及对第二数据信息进行处理得到样本数据的相关内容，故在此均不再赘述。示例性地，本发明实施例的计算设备可以是具有处理器的任何智能设备，包括但不限于计算机、智能手机、个人电脑、机器人、云端服务器等，本发明实施例的移动工具可以是具有计算功能的行驶设备，包括但不限于自动驾驶汽车、机器人、自动清洁设备等上，以辅助这些移动工具或移动设备自动生成模型训练所需的样本数据，进而辅助这些移动工具或设备进行模型如轨迹预测模型的高效训练，本发明对此不作限定。

本发明所称的“移动工具”包括但不限于国际自动机工程师学会（Society ofAutomotive Engineers International，SAE International）或中国国家标准《汽车驾驶自动化分级》制定的L0-L5自动驾驶技术等级的车辆。

在一些实施例中，移动装置可以是具有如下各种功能的车辆设备或机器人设备：

（1）载人功能，如家用轿车、公共汽车等；

（2）载货功能，如普通货车、厢式货车、甩挂车、封闭货车、罐式货车、平板货车、集装厢车、自卸货车、特殊结构货车等；

（3）工具功能，如物流配送车、自动导引运输车AGV、巡逻车、起重机、吊车、挖掘机、推土机、铲车、压路机、装载机、越野工程车、装甲工程车、污水处理车、环卫车、吸尘车、洗地车、洒水车、扫地机器人、送餐机器人、导购机器人、割草机、高尔夫球车等；

（4）娱乐功能，如娱乐车、游乐场自动驾驶装置、平衡车等；

（5）特殊救援功能，如消防车、救护车、电力抢修车、工程抢险车等。

在一些实施例中，本发明实施例提供一种非易失性计算机可读存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备（包括但不限于计算机，服务器，或者网络设备等）读取并执行，以用于执行本发明上述任一项实施例的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法。

在一些实施例中，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述任一项实施例的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法。

在一些实施例中，本发明实施例还提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任一实施例的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法。

在一些实施例中，本发明实施例还提供一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现上述任一项实施例的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法。

图22是本发明另一实施例提供的执行样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法的电子设备的硬件结构示意图，如图22所示，该设备包括：

一个或多个处理器910以及存储器920，图22中以一个处理器910为例。

执行样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法的设备还可以包括：输入装置930和输出装置940。

处理器910、存储器920、输入装置930和输出装置940可以通过总线或者其他方式连接，图22中以通过总线连接为例。

存储器920作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法对应的程序指令/模块。处理器910通过运行存储在存储器920中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法。

存储器920可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法的使用所创建的数据等。此外，存储器920可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器920可选包括相对于处理器910远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置930可接收输入的数字或字符信息，以及产生与图像处理设备的用户设置以及功能控制有关的信号。输出装置940可包括显示屏等显示设备。

所述一个或者多个模块存储在所述存储器920中，当被所述一个或者多个处理器910执行时，执行上述任意方法实施例中的样本数据生成方法或轨迹预测模型训练方法或轨迹预测方法。

上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。

本发明实施例的电子设备以多种形式存在，包括但不限于:

(1)移动通信设备:这类设备的特点是具备移动通信功能，并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机，以及低端手机等。

(2)超移动个人计算机设备:这类设备属于个人计算机的范畴，有计算和处理功能，一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等，例如iPad。

(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod)，掌上游戏机，电子书，以及智能玩具和便携式车载导航设备。

(4)服务器:提供计算服务的设备，服务器的构成包括处理器、硬盘、内存、系统总线等，服务器和通用的计算机架构类似，但是由于需要提供高可靠的服务，因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。

(5)其他具有数据交互功能的电子装置。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.样本数据生成方法，其特征在于，所述样本数据用于对轨迹预测模型进行模型训练或测试，所述方法包括：

获取第一数据信息，其中，所述第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；

根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；

根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。

2.根据权利要求1所述的方法，其特征在于，所述获取第一数据信息，包括：

获取采集数据，其中，所述采集数据包括各个车辆的自车标定信息和实车录制ROS BAG数据包；

根据各个车辆的自车标定信息和实车录制ROS BAG数据包进行数据解析，确定出所述第一数据信息。

3.根据权利要求2所述的方法，其特征在于，所述根据各个车辆的自车标定信息和实车录制ROS BAG数据包进行数据解析，确定出所述第一数据信息，包括：

根据ROS BAG数据包进行定位话题和感知话题筛选，得到定位话题和感知话题；

根据定位话题提取出各个车辆的至少一帧自车状态信息，根据感知话题提取出各个车辆对应的至少一帧障碍物感知信息；

根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息、和各个车辆对应的至少一帧障碍物感知信息生成所述第一数据信息。

4.根据权利要求3所述的方法，其特征在于，所述根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息、和各个车辆对应的至少一帧障碍物感知信息生成所述第一数据信息，包括：

根据提取出的各个车辆的至少一帧自车状态信息及相应车辆的自车标定信息对各帧自车状态信息分别进行第一预处理，得到预处理后的各个车辆的至少一帧自车状态信息；

对各个车辆对应的至少一帧障碍物感知信息进行第二预处理，得到预处理后的各个车辆对应的至少一帧障碍物感知信息；

对预处理后的各个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息进行格式统一化，生成第一数据信息，其中，第一数据信息中的自车状态信息和障碍物感知信息具有统一的数据格式。

5.根据权利要求4所述的方法，其特征在于，所述对各个车辆对应的至少一帧障碍物感知信息进行第二预处理，得到预处理后的各个车辆对应的至少一帧障碍物感知信息，包括：

分别以各个车辆作为自车依次逐帧读取相应自车下的障碍物感知信息，根据预设的数据片段长度阈值和分段策略，将相应自车下的连续读取到的相应帧数的障碍物感知信息的累加结果作为预处理后的相应自车的至少一帧障碍物感知信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述第二数据信息还包括分别以各个车辆作为自车确定出的与各自车相对应的至少一组第二轨迹数据，所述根据所述第一数据信息确定出第二数据信息，包括：

对各个车辆的自车状态信息和各车辆对应的障碍物感知信息进行关键帧采样，得到各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧；

分别基于各个车辆的自车状态信息关键帧和各车辆对应的障碍物感知信息关键帧，确定出各个车辆对应的至少一组第二轨迹数据，和确定出各车辆对应的各个障碍物的至少一组第一轨迹数据。

7.根据权利要求6所述的方法，其特征在于，所述各个障碍物的每组第一轨迹数据均包括基于在相应组中选定的当前帧从相应车辆对应的障碍物感知信息关键帧中提取出的相应障碍物的历史轨迹信息和未来轨迹信息、以及该相应组所基于的当前帧信息；

所述各个车辆的每组第二轨迹数据均包括基于在相应组中选定的当前帧从相应车辆的自车状态信息关键帧中提取出的相应车辆的历史轨迹信息和未来轨迹信息、以及该相应组所基于的当前帧信息；

其中各个车辆的每组第二轨迹数据与该车辆对应的各个障碍物的每组第一轨迹数据具有一一对应关系，所述一一对应关系基于相应组所基于的当前帧确定。

8.根据权利要求6所述的方法，其特征在于，所述根据所述第一数据信息确定出第二数据信息，还包括：

对各个障碍物的各组第一轨迹数据进行优化处理，得到优化后的各个障碍物的至少一组第一轨迹数据，其具体包括：

分别对各个障碍物的各组第一轨迹数据进行过滤处理，其中，过滤处理包括对各个障碍物的各组第一轨迹数据进行基于曲线拟合的第一过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于速度的第二过滤处理，和/或，对各个障碍物的各组第一轨迹数据进行基于行为的第三过滤处理；

对过滤处理后得到的各个障碍物的至少一组第一轨迹数据进行轨迹校正处理。

9.根据权利要求8所述的方法，其特征在于，

第一过滤处理包括基于相应障碍物的各组第一轨迹数据获取与相应组第一轨迹数据对应的拟合曲线；根据相应组第一轨迹数据和与之对应的拟合曲线确定该组第一轨迹数据的平均位置偏移误差；根据平均位置偏移误差和预设的偏移误差阈值筛选出符合第一预设条件的相应障碍物的至少一组第一轨迹数据；

第二过滤处理包括确定相应障碍物的各组第一轨迹数据对应的障碍物行驶速度；根据各组第一轨迹数据对应的障碍物行驶速度确定相应组第一轨迹数据的速度丢弃概率；根据各组第一轨迹数据对应的障碍物行驶速度、速度丢弃概率、和预设的速度阈值以及为相应组第一轨迹数据生成的模拟概率筛选出符合第二预设条件的相应障碍物的至少一组第一轨迹数据；

第三过滤处理包括根据相应障碍物的各组第一轨迹数据确定出各组第一轨迹数据的轨迹起点位置和轨迹终点位置；根据轨迹起点位置、轨迹终点位置、预设的行为丢弃概率以及为相应组第一轨迹数据生成的模拟概率筛选出符合第三预设条件的相应障碍物的至少一组第一轨迹数据。

10.根据权利要求7所述的方法，其特征在于，所述根据所述第二数据信息生成所述样本数据，包括：

分别在各自车下依次从相应自车对应的各个障碍物中选取其中一个障碍物作为目标障碍物，针对选定的各目标障碍物分别生成至少一组与该目标障碍物对应的样本数据，直至获取到所有自车下的所有障碍物对应的样本数据；其中，针对选定的各目标障碍物分别生成至少一组与该目标障碍物对应的样本数据，具体包括：

根据相应目标障碍物对应的至少一组第一轨迹数据、相应障碍物对应的自车的至少一组第二轨迹数据、相应自车对应的各个障碍物的至少一组第一轨迹数据、以及基于相应自车采集到的地图文件信息生成相应自车的与选定的目标障碍物的各组第一轨迹数据对应的至少一组地图数据；

根据相应目标障碍物的至少一组第一轨迹数据生成与相应目标障碍物的各组第一轨迹数据对应的行驶状态量；

分别对相应目标障碍物对应的各组地图数据和其对应的各组行驶状态量进行编码，得到各组地图数据对应的地图特征码和各组行驶状态量对应的行驶状态码；

对相应目标障碍物的同一组第一轨迹数据对应的地图特征码和行驶状态码进行特征合并，形成用于模型训练或测试的一组样本数据中的输入部分；

根据相应目标障碍物的相应组的第一轨迹数据确定出该目标障碍物的未来轨迹信息，形成用于模型训练或测试的该组样本数据中的输出部分，其中，所述相应组的第一轨迹数据是与用于确定该组样本数据的输入部分的地图特征码和行驶状态码相对应的同一组第一轨迹数据。

11.根据权利要求10所述的方法，其特征在于，各组地图数据均包括语义地图、相应目标障碍物的历史轨迹位置掩码图和相应目标障碍物对应的周围障碍物的轨迹位置掩码图。

12.根据权利要求10所述的方法，其特征在于，各组行驶状态量均包括相应障碍物的相应组的第一轨迹数据中的当前帧及与历史轨迹信息对应的历史帧的速度、加速度和横摆角速度。

13.轨迹预测模型训练方法，其特征在于，包括：

以基于权利要求1至12任一项所述的方法生成的样本数据的输入部分作为轨迹预测模型的自变量，以其输出部分作为轨迹预测模型的因变量，对所述轨迹预测模型进行模型训练，确定出所述轨迹预测模型的模型参数；

根据确定出的模型参数生成训练好的轨迹预测模型。

14.轨迹预测方法，其特征在于，其包括采用基于权利要求13所述的方法训练出的轨迹预测模型对目标障碍物的行为或行驶轨迹进行预测。

15.样本数据生成装置，其特征在于，包括：

第一数据获取模块，用于获取第一数据信息，其中，所述第一数据信息包括至少一个车辆的至少一帧自车状态信息和至少一帧障碍物感知信息；

轨迹数据提取模块，用于根据所述第一数据信息确定出第二数据信息，所述第二数据信息包括分别以各个车辆作为自车确定出的与各自车相对应的各个障碍物的至少一组第一轨迹数据；

样本数据生成模块，用于根据所述第二数据信息生成至少一组样本数据，其中，每组样本数据均包括基于第二数据信息中的相应自车的相应障碍物的一组第一轨迹数据确定出的模型训练或测试的输入部分和基于第二数据信息中的相应组的第一轨迹数据确定出的模型训练或测试的输出部分，其中所述相应组的第一轨迹数据是指与用于确定模型训练或测试的输入部分相同的一组第一轨迹数据。

16.计算设备，其特征在于，包括：

存储器，用于存储可执行指令；以及

处理器，用于执行存储器中存储的可执行指令，所述可执行指令在由所述处理器执行时实现权利要求1至14任一项所述方法的步骤。

17.移动工具，其特征在于，包括：

数据采集模块，用于采集定位信息、感知信息和地图文件信息发送至计算设备；

权利要求16所述的计算设备，其中，所述计算设备基于数据采集模块发送的采集信息获取第一数据信息。

Images