CN115456060A - 一种预测轨迹的处理方法和装置 - Google Patents

Abstract

本发明实施例涉及一种预测轨迹的处理方法和装置，所述方法包括：获取障碍物车辆的第一历史轨迹、第一位置和第一行驶标志；根据第一行驶标志确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量；轨迹预测模态类型为单模态类型时，调用N个单轨迹预测模型进行单轨迹预测，并对N个第一预测轨迹进行轨迹融合生成第一融合轨迹；轨迹预测模态类型为多模态类型时，调用M个多轨迹预测模型进行多轨迹预测生成第一预测轨迹集合，并对M个第一预测轨迹集合进行轨迹融合生成第一融合轨迹集合；根据轨迹预测模态类型对得到的第一融合轨迹或第一融合轨迹集合进行预测数据整合生成预测轨迹数据输出。通过本发明可以提高预测准确度。

Description

一种预测轨迹的处理方法和装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种预测轨迹的处理方法和装置。

背景技术

自动驾驶系统的轨迹预测模块在常规情况下都是使用一个预置的轨迹预测模型根据某个障碍物车辆在当前时刻的历史轨迹、实时位置和未来时段的行驶可能状态(直行、左转、右转、掉头等)对该障碍物车辆在未来时段的单/多模态运动轨迹进行预测，单模态指一种行驶可能状态(诸如直行、左转、右转、掉头等)，多模态指多种行驶可能状态(直行+左转、直行+右转、左转+掉头、直行+左转+掉头等)。在实际应用中我们发现，鉴于不同轨迹预测模型在不同路况下的预测能力差异，仅仅使用一个轨迹预测模型进行轨迹预测其预测结果并不十分理想、在不同模态下的预测轨迹误差波动性较大。

发明内容

本发明的目的，就是针对现有技术的缺陷，提供一种预测轨迹的处理方法、装置、电子设备及计算机可读存储介质，预先集成多个用于单模态轨迹预测的单轨迹预测模型和多个用于多模态轨迹预测的多轨迹预测模型；在进行轨迹预测时先对当前障碍物车辆的轨迹预测模态类型(单模态类型和多模态类型)和轨迹预测模态数量进行确认；并在轨迹预测模态类型为单模态类型时，调用预设的多个单轨迹预测模型分别根据当前障碍物车辆在当前时刻的历史轨迹和实时位置进行单模态轨迹预测，并对得到的多个预测轨迹按均值方式进行轨迹融合从而得到最终的融合轨迹，并将该融合轨迹作为最终的预测轨迹数据输出；并在轨迹预测模态类型为多模态类型时，调用预设的多个多轨迹预测模型分别根据当前障碍物车辆在当前时刻的历史轨迹、实时位置和多种行驶可能状态进行多模态轨迹预测，并对得到的所有预测轨迹按轨迹预测模态数量进行聚类，并对各个聚类轨迹集合按均值方式进行轨迹融合和轨迹概率融合得到对应模态的融合轨迹和均值概率，并对各模态的均值概率进行归一化得到对应模态的融合轨迹概率，并将各模态的融合轨迹和融合轨迹概率集合起来组成最终的预测轨迹数据输出。通过本发明，基于细分模态使用对应的多个单/多轨迹预测模型进行预测和轨迹融合，可以克服常规技术方案中只使用单个轨迹预测模型进行轨迹预测造成的预测轨迹误差波动问题，达到保持预测稳定性和提高预测准确度的目的。

为实现上述目的，本发明实施例第一方面提供了一种预测轨迹的处理方法，所述方法包括：

获取障碍物车辆在当前时刻t的历史轨迹、实时位置和所在车道的实时行驶交通指示标志生成对应的第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t；所述第一行驶标志A_t包括单模态标志和多模态标志；

根据所述第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X；X≥1；所述轨迹预测模态类型包括单模态类型和多模态类型；

当所述轨迹预测模态类型为单模态类型时，调用预设的第一数量N的单轨迹预测模型B_i根据所述第一历史轨迹H_t-1和所述第一位置p_t进行单轨迹预测处理生成对应的第一预测轨迹H_i；并对所述第一数量N的所述第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

1≤N，1≤i≤N；

当所述轨迹预测模态类型为多模态类型时，调用预设的第二数量M的多轨迹预测模型C_j根据所述第一历史轨迹H_t-1、所述第一位置p_t和所述第一行驶标志A_t进行多轨迹预测处理生成对应的第一预测轨迹集合G_t,j；并对所述第二数量M的所述第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

1≤M，1≤j≤M；

根据所述轨迹预测模态类型对得到的所述第一融合轨迹

或所述第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出。

优选的，所述单模态标志包括直行标志、左转标志、右转标志和掉头标志；所述多模态标志包括直行+左转标志、直行+右转标志、左转+掉头标志和直行+左转+掉头标志；

所述第一预测轨迹集合G_t,j包括所述轨迹预测模态数量X的第二预测轨迹H_j,g且每个所述第二预测轨迹H_j,g对应一个第一预测轨迹概率ρ_j,g，1≤g≤X；

所述第一融合轨迹集合

包括所述轨迹预测模态数量X的第二融合轨迹

且每个所述第二融合轨迹

对应一个第一融合轨迹概率

优选的，所述根据所述第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X，具体包括：

当所述第一行驶标志A_t属于所述单模态标志时，设置所述轨迹预测模态类型为单模态类型，并设置对应的所述轨迹预测模态数量X为1；

当所述第一行驶标志A_t属于所述多模态标志时，设置所述轨迹预测模态类型为多模态类型，并在所述第一行驶标志A_t为直行+左转标志、直行+右转标志或左转+掉头标志时设置对应的所述轨迹预测模态数量X为2，并在所述第一行驶标志A_t为直行+左转+掉头标志时设置对应的所述轨迹预测模态数量X为3。

优选的，所述对所述第一数量N的所述第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

具体包括：

对所述第一数量N的所述第一预测轨迹H_i进行均值计算得到对应的所述第一融合轨迹

优选的，所述对所述第二数量M的所述第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

具体包括：

将所述第二数量M的所述第一预测轨迹集合G_t,j的所有所述第二预测轨迹H_j,g集合在一起构成对应的第一轨迹集合；所述第一轨迹集合包括M*X个所述第二预测轨迹H_j,g；

对所述第一轨迹集合的M*X个所述第二预测轨迹H_j,g进行聚类得到所述轨迹预测模态数量X的第一类轨迹集合；各个所述第一类轨迹集合均包括M个所述第二预测轨迹H_j,g，并对应M个所述第一预测轨迹概率ρ_j,g；

对各个所述第一类轨迹集合的M个所述第二预测轨迹H_j,g进行均值计算得到对应的所述第二融合轨迹

对各个所述第一类轨迹集合对应的M个所述第一预测轨迹概率ρ_j,g进行均值计算得到对应的第一均值概率

并对得到的所述轨迹预测模态数量X的所述第一均值概率

进行归一化计算得到对应的所述第一融合轨迹概率

所述第一融合轨迹概率

与所述第二融合轨迹

一一对应；

由所有所述第二融合轨迹

组成对应的所述第一融合轨迹集合

优选的，所述根据所述轨迹预测模态类型对得到的所述第一融合轨迹

或所述第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出，具体包括：

对所述轨迹预测模态类型进行识别；若所述轨迹预测模态类型为单模态类型，则将得到的所述第一融合轨迹

作为对应的所述预测轨迹数据输出；若所述轨迹预测模态类型为多模态类型，则将得到的所述第一融合轨迹集合

中各个所述第二融合轨迹

和对应的所述第一融合轨迹概率

组成对应的第一融合轨迹数据组，并由得到的所述轨迹预测模态数量X的所述第一融合轨迹数据组构成对应的所述预测轨迹数据输出。

本发明实施例第二方面提供了一种用于实现上述第一方面所述的预测轨迹的处理方法的装置，所述装置包括：获取模块、预处理模块、单模态轨迹预测模块、多模态轨迹预测模块和输出模块；

所述获取模块用于获取障碍物车辆在当前时刻t的历史轨迹、实时位置和所在车道的实时行驶交通指示标志生成对应的第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t；所述第一行驶标志A_t包括单模态标志和多模态标志；

所述预处理模块用于根据所述第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X；X≥1；所述轨迹预测模态类型包括单模态类型和多模态类型；

所述单模态轨迹预测模块用于当所述轨迹预测模态类型为单模态类型时，调用预设的第一数量N的单轨迹预测模型B_i根据所述第一历史轨迹H_t-1和所述第一位置p_t进行单轨迹预测处理生成对应的第一预测轨迹H_i；并对所述第一数量N的所述第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

1≤N，1≤i≤N；

所述多模态轨迹预测模块用于当所述轨迹预测模态类型为多模态类型时，调用预设的第二数量M的多轨迹预测模型C_j根据所述第一历史轨迹H_t-1、所述第一位置p_t和所述第一行驶标志A_t进行多轨迹预测处理生成对应的第一预测轨迹集合G_t,j；并对所述第二数量M的所述第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

1≤M，1≤j≤M；

所述输出模块用于根据所述轨迹预测模态类型对得到的所述第一融合轨迹

或所述第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出。

本发明实施例第三方面提供了一种电子设备，包括：存储器、处理器和收发器；

所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现上述第一方面所述的方法步骤；

所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

本发明实施例第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行上述第一方面所述的方法的指令。

本发明实施例提供了一种预测轨迹的处理方法、装置、电子设备及计算机可读存储介质；预先集成多个用于单模态轨迹预测的单轨迹预测模型和多个用于多模态轨迹预测的多轨迹预测模型；在进行轨迹预测时先对当前障碍物车辆的轨迹预测模态类型(单模态类型和多模态类型)和轨迹预测模态数量进行确认；并在轨迹预测模态类型为单模态类型时，调用预设的多个单轨迹预测模型分别根据当前障碍物车辆在当前时刻的历史轨迹和实时位置进行单模态轨迹预测，并对得到的多个预测轨迹按均值方式进行轨迹融合从而得到最终的融合轨迹，并将该融合轨迹作为最终的预测轨迹数据输出；并在轨迹预测模态类型为多模态类型时，调用预设的多个多轨迹预测模型分别根据当前障碍物车辆在当前时刻的历史轨迹、实时位置和多种行驶可能状态进行多模态轨迹预测，并对得到的所有预测轨迹按轨迹预测模态数量进行聚类，并对各个聚类轨迹集合按均值方式进行轨迹融合和轨迹概率融合得到对应模态的融合轨迹和均值概率，并对各模态的均值概率进行归一化得到对应模态的融合轨迹概率，并将各模态的融合轨迹和融合轨迹概率集合起来组成最终的预测轨迹数据输出。通过本发明，基于细分模态使用对应的多个单/多轨迹预测模型进行预测和轨迹融合，克服了常规技术方案中因只使用单个轨迹预测模型进行轨迹预测造成的预测轨迹误差波动问题，提高了预测稳定性和预测准确度。

附图说明

图1为本发明实施例一提供的一种预测轨迹的处理方法示意图；

图2为本发明实施例二提供的一种预测轨迹的处理装置的模块结构图；

图3为本发明实施例三提供的一种电子设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本发明实施例一提供一种预测轨迹的处理方法，如图1为本发明实施例一提供的一种预测轨迹的处理方法示意图所示，本方法主要包括如下步骤：

步骤1，获取障碍物车辆在当前时刻t的历史轨迹、实时位置和所在车道的实时行驶交通指示标志生成对应的第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t；

其中，第一行驶标志A_t包括单模态标志和多模态标志；单模态标志包括直行标志、左转标志、右转标志和掉头标志；多模态标志包括直行+左转标志、直行+右转标志、左转+掉头标志和直行+左转+掉头标志。

这里，自动驾驶系统的轨迹预测模块获取障碍物车辆在当前时刻t的历史轨迹、实时位置和所在车道的实时行驶交通指示标志的方式有多种；其中一种获取方式为从上游的感知模块处输出的感知数据集合中将与当前障碍物车辆对应的历史轨迹感知数据、实时位置感知数据以及所在车道行驶交通指示标志的感知数据作为对应的第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t；其中另一种方式获取方式为从上游的感知模块处输出的感知数据集合中将与当前障碍物车辆对应的历史轨迹感知数据、实时位置感知数据作为第一历史轨迹H_t-1和第一位置p_t，并从上游的地图模块提供的高精地图中获得与第一位置p_t对应的道路分段的行驶交通指示标志数据作为对应的第一行驶标志A_t；

第一历史轨迹H_t-1为当前障碍物车辆在时刻t之前一段固定时长的实际运动轨迹；第一位置p_t为当前障碍物车辆在时刻t的实时位置坐标；第一行驶标志A_t为当前障碍物车辆在时刻t所在车道的车道交通标志，该车道交通标志有以下几种可能：直行标志、左转标志、右转标志、掉头标志、直行+左转标志、直行+右转标志、左转+掉头标志和直行+左转+掉头标志等，本发明实施例将直行标志、左转标志、右转标志和掉头标志归为单模态标志，将直行+左转标志、直行+右转标志、左转+掉头标志和直行+左转+掉头标志归为多模态标志。

步骤2，根据第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X；

其中，X≥1；轨迹预测模态类型包括单模态类型和多模态类型；

具体包括：当第一行驶标志A_t属于单模态标志时，设置轨迹预测模态类型为单模态类型，并设置对应的轨迹预测模态数量X为1；当第一行驶标志A_t属于多模态标志时，设置轨迹预测模态类型为多模态类型，并在第一行驶标志A_t为直行+左转标志、直行+右转标志或左转+掉头标志时设置对应的轨迹预测模态数量X为2，并在第一行驶标志A_t为直行+左转+掉头标志时设置对应的轨迹预测模态数量X为3。

这里，轨迹预测模态数量X用于标识当前障碍物车辆在未来时段内的行驶可能状态的总数；若第一行驶标志A_t属于单模态标志说明第一行驶标志A_t只有一种行驶可能状态，自然对应的轨迹预测模态数量X＝1；若第一行驶标志A_t属于多模态标志说明第一行驶标志A_t中存在多种行驶可能状态，此时需根据第一行驶标志A_t中包括的行驶可能状态的具体数量对轨迹预测模态数量X进行设置。

步骤3，当轨迹预测模态类型为单模态类型时，调用预设的第一数量N的单轨迹预测模型B_i根据第一历史轨迹H_t-1和第一位置p_t进行单轨迹预测处理生成对应的第一预测轨迹H_i；并对第一数量N的第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

其中，1≤N，1≤i≤N；预设的第一数量N为大于或等于1的正整数；模型索引i为正整数，其取值区间为：1≤i≤N；

具体包括：步骤31，当轨迹预测模态类型为单模态类型时，调用预设的第一数量N的单轨迹预测模型B_i根据第一历史轨迹H_t-1和第一位置p_t进行单轨迹预测处理生成对应的第一预测轨迹H_i；

这里，预设的第一数量N的单轨迹预测模型B_i为一组预先训练成熟的用于进行单模态轨迹预测的轨迹预测模型，这些单轨迹预测模型B_i都可以基于障碍物的历史轨迹和实时位置进行轨迹预测，这些单轨迹预测模型B_i彼此之间可以为网络结构不同的预测模型，也可以为网络结构相同但网络参数不同的预测模型；当轨迹预测模态类型为单模态类型时说明当前障碍物车辆在未来时段的行驶轨迹只有一种行驶可能状态，此时本发明实施例调用N个单轨迹预测模型B_i基于第一历史轨迹H_t-1和第一位置p_t分别进行轨迹预测得到N个预测轨迹即N个第一预测轨迹H_i；

步骤32，对第一数量N的第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

具体包括：对第一数量N的第一预测轨迹H_i进行均值计算得到对应的第一融合轨迹

这里，本发明实施例按均值方式进行轨迹融合从而得到在轨迹预测模态类型为单模态类型时当前障碍物车辆在当前时刻t的融合轨迹即第一融合轨迹

步骤4，当轨迹预测模态类型为多模态类型时，调用预设的第二数量M的多轨迹预测模型C_j根据第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t进行多轨迹预测处理生成对应的第一预测轨迹集合G_t,j；并对第二数量M的第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

其中，1≤M，1≤j≤M；第一预测轨迹集合G_t,j包括轨迹预测模态数量X的第二预测轨迹H_j,g且每个第二预测轨迹H_j,g对应一个第一预测轨迹概率ρ_j,g，1≤g≤X；预设的第二数量M为大于或等于1的正整数；模型索引j为正整数，其取值区间为：1≤j≤M；预测轨迹索引g为正整数，其取值区间为：1≤g≤X；

具体包括：步骤41，当轨迹预测模态类型为多模态类型时，调用预设的第二数量M的多轨迹预测模型C_j根据第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t进行多轨迹预测处理生成对应的第一预测轨迹集合G_t,j；

这里，预设的第二数量M的多轨迹预测模型C_j为一组预先训练成熟的用于进行多模态轨迹预测的轨迹预测模型，这些多轨迹预测模型C_j都可以基于障碍物的历史轨迹、实时位置和用于标识多种行驶可能状态的行驶标志进行轨迹预测并输出对应的预测轨迹集合，该预测轨迹集合的轨迹数量与输入的行驶标志标识的行驶可能状态数量相同且集合中每个预测轨迹对应一个预测轨迹概率，这些多轨迹预测模型C_j彼此之间可以为网络结构不同的预测模型，也可以为网络结构相同但网络参数不同的预测模型；当轨迹预测模态类型为多模态类型时说明当前障碍物车辆在未来时段的行驶轨迹有多种行驶可能状态，此时本发明实施例调用M个多轨迹预测模型C_j基于第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t分别进行轨迹预测得到M个预测轨迹集合即M个第一预测轨迹集合G_t,j，每个第一预测轨迹集合G_t,j中都包括了X个预测轨迹即第二预测轨迹H_j,g，且每个第二预测轨迹H_j,g对应一个预测轨迹概率即第一预测轨迹概率ρ_j,g，同一个第一预测轨迹集合G_t,j对应的X个第一预测轨迹概率ρ_j,g的总和为1；

步骤42，对第二数量M的第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

其中，第一融合轨迹集合

包括轨迹预测模态数量X的第二融合轨迹

且每个第二融合轨迹

对应一个第一融合轨迹概率

具体包括：步骤421，将第二数量M的第一预测轨迹集合G_t,j的所有第二预测轨迹H_j,g集合在一起构成对应的第一轨迹集合；

其中，第一轨迹集合包括M*X个第二预测轨迹H_j,g；

例如，已知轨迹预测模态类型为多模态类型，轨迹预测模态数量X＝3，第二数量M＝4；通过步骤41得到4个第一预测轨迹集合G_t,j分别为：G_t,1、G_t,2、G_t,₃和G_t,4；第一预测轨迹集合G_t,1包括3个第二预测轨迹H_j,g为{H_1,1，H_1,2，H_1,3}，对应的预测轨迹概率为{ρ_1,1，ρ_1,2，ρ_1,3}；第一预测轨迹集合G_t,2包括3个第二预测轨迹H_j,g为{H_2,1，H_2,2，H_2,3}，对应的预测轨迹概率为{ρ_2,1，ρ_2,2，ρ_2,3}；第一预测轨迹集合G_t,3包括3个第二预测轨迹H_j,g为{H_3,1，H_3,2，H_3,3}，对应的预测轨迹概率为{ρ_3,1，ρ_3,2，ρ_3,3}；第一预测轨迹集合G_t,4包括3个第二预测轨迹H_j,g为{H_4,1，H_4,2，H_4,3}，对应的预测轨迹概率为{ρ_4,1，ρ_4,2，ρ_4,3}；

那么，将第一预测轨迹集合G_t,1、G_t,2、G_t,3和G_t,4的所有第二预测轨迹H_j,g集合在一起构成对应的第一轨迹集合就为{{H_1,1，H_1,2，H_1,3}，{H_2,1，H_2,2，H_2,3}，{H_3,1，H_3,2，H_3,3}，{H_4,1，H_4,2，H_4,3}}；

步骤422，对第一轨迹集合的M*X个第二预测轨迹H_j,g进行聚类得到轨迹预测模态数量X的第一类轨迹集合；

其中，各个第一类轨迹集合均包括M个第二预测轨迹H_j,g，并对应M个第一预测轨迹概率ρ_j,g；

这里，本发明实施例在进行聚类时可基于K平均算法(K-means clustering)实现聚类；简单来说就是，先对第一轨迹集合的M*X个第二预测轨迹H_j,g分别进行轨迹点采样得到M*X个预测轨迹采样点集合，再基于同一坐标系对所有预测轨迹采样点集合的所有采样点进行投影点设置，再设置K平均算法的分类总量参数K＝X，再基于K平均算法对所有投影点进行聚类得到X个第一类投影点集合，再将各个第一类投影点集合中投影点数量最多的前M个第二预测轨迹H_j,g组成一个对应的第一类轨迹集合，由此得到X个第一类轨迹集合；此处提及的K平均算法是一种公开的聚类算法，可通过公开的技术文献获得算法的详细实现步骤，在此就不做进一步赘述；

例如，已知轨迹预测模态类型为多模态类型，轨迹预测模态数量X＝3，第二数量M＝4，第一轨迹集合为{{H_1,1，H_1,2，H_1,3}，{H_2,1，H_2,2，H_2,3}，{H_3,1，H_3,2，H_3,3}，{H_4,1，H_4,2，H_4,3}}；

那么，通过当前步骤进行聚类之后会得到3个第一类轨迹集合，此处设第一类轨迹集合1为{H_1,1,H_2,1,H_3,1,H_4,1},第一类轨迹集合2为{H_1,2,H_2,2,H_3,2,H_4,2},第一类轨迹集合3为{H_1,3,H_2,3,H_3,3,H_4,3}；

步骤423，对各个第一类轨迹集合的M个第二预测轨迹H_j,g进行均值计算得到对应的第二融合轨迹

这里，本发明实施例对各个聚类轨迹集合即各个第一类轨迹集合按均值方式进行轨迹融合得到对应模态下的融合轨迹即第二融合轨迹

例如，已知轨迹预测模态类型为多模态类型，轨迹预测模态数量X＝3，第二数量M＝4，且通过步骤422得到的3个第一类轨迹集合分别为：

第一类轨迹集合1{H_1,1,H_2,1,H_3,1,H_4,1},

第一类轨迹集合2{H_1,2,H_2,2,H_3,2,H_4,2},

第一类轨迹集合3{H_1,3,H_2,3,H_3,3,H_4,3}；

那么，通过当前步骤423计算之后就能得到对应的3个第二融合轨迹

步骤424，对各个第一类轨迹集合对应的M个第一预测轨迹概率ρ_j,g进行均值计算得到对应的第一均值概率

并对得到的轨迹预测模态数量X的第一均值概率

进行归一化计算得到对应的第一融合轨迹概率

其中，第一融合轨迹概率

与第二融合轨迹

一一对应；

这里，本发明实施例对各个聚类轨迹集合即各个第一类轨迹集合对应的所有预测轨迹概率按均值方式进行轨迹概率融合得到对应模态下的均值概率即第一均值概率

并对各模态的第一均值概率

进行归一化得到对应模态的融合轨迹概率即第一融合轨迹概率

例如，已知轨迹预测模态类型为多模态类型，轨迹预测模态数量X＝3，第二数量M＝4，且通过前述步骤422得到的3个第一类轨迹集合分别为：

第一类轨迹集合1{H_1,1,H_2,1,H_3,1,H_4,1},

第一类轨迹集合2{H_1,2,H_2,2,H_3,2,H_4,2},

第一类轨迹集合3{H_1,3,H_2,3,H_3,3,H_4,3}；

由前述步骤421的输出可得到3个第一类轨迹集合对应的轨迹概率集合分别为：

第一类轨迹集合1对应的轨迹概率集合{ρ_1,1,ρ_2,1,ρ_3,1,ρ_4,1}，

第一类轨迹集合2对应的轨迹概率集合{ρ_1,2,ρ_2,2,ρ_3,2,ρ_4,2}，

第一类轨迹集合3对应的轨迹概率集合{ρ_1,3,ρ_2,3,ρ_3,3,ρ_4,3}；

那么，通过当前步骤424计算之后就能得到对应的3个第一均值概率

对上述3个第一均值概率

进行归一化计算得到的3个第一融合轨迹概率

为：

步骤425，由所有第二融合轨迹

组成对应的第一融合轨迹集合

例如，已知轨迹预测模态类型为多模态类型，轨迹预测模态数量X＝3，第二数量M＝4，由上述步骤423得到3个第二融合轨迹

分别为

和

由上述步骤423得到3个第二融合轨迹

对应的3个第一融合轨迹概率

分别为

和

那么，当前步骤得到的第一融合轨迹集合

应为

对应的融合轨迹概率集合应为

且

和

的总和为1。

步骤5，根据轨迹预测模态类型对得到的第一融合轨迹

或第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出；

具体包括：对轨迹预测模态类型进行识别；若轨迹预测模态类型为单模态类型，则将得到的第一融合轨迹

作为对应的预测轨迹数据输出；若轨迹预测模态类型为多模态类型，则将得到的第一融合轨迹集合

中各个第二融合轨迹

和对应的第一融合轨迹概率

组成对应的第一融合轨迹数据组，并由得到的轨迹预测模态数量X的第一融合轨迹数据组构成对应的预测轨迹数据输出。

这里，本发明实施例在当次得到的轨迹预测模态类型为单模态类型时，会通过步骤3得到对应的第一融合轨迹

此时本发明实施例将第一融合轨迹

作为最终的预测轨迹数据输出；在当次得到的轨迹预测模态类型为多模态类型时，会通过步骤4得到对应的第一融合轨迹集合

此时本发明实施例将第一融合轨迹集合

各个第二融合轨迹

提取出来与其对应的第一融合轨迹概率

组成一个数据组即第一融合轨迹数据组，再由得到的X个第一融合轨迹数据组构成对应的预测轨迹数据输出。

图2为本发明实施例二提供的一种预测轨迹的处理装置的模块结构图，该装置为实现前述方法实施例的终端设备或者服务器，也可以为能够使得前述终端设备或者服务器实现前述方法实施例的装置，例如该装置可以是前述终端设备或者服务器的装置或芯片系统。如图2所示，该装置包括：获取模块201、预处理模块202、单模态轨迹预测模块203、多模态轨迹预测模块204和输出模块205。

获取模块201用于获取障碍物车辆在当前时刻t的历史轨迹、实时位置和所在车道的实时行驶交通指示标志生成对应的第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t；第一行驶标志A_t包括单模态标志和多模态标志。

预处理模块202用于根据第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X；X≥1；轨迹预测模态类型包括单模态类型和多模态类型。

单模态轨迹预测模块203用于当轨迹预测模态类型为单模态类型时，调用预设的第一数量N的单轨迹预测模型B_i根据第一历史轨迹H_t-1和第一位置p_t进行单轨迹预测处理生成对应的第一预测轨迹H_i；并对第一数量N的第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

1≤N，1≤i≤N。

多模态轨迹预测模块204用于当轨迹预测模态类型为多模态类型时，调用预设的第二数量M的多轨迹预测模型C_j根据第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t进行多轨迹预测处理生成对应的第一预测轨迹集合G_t,j；并对第二数量M的第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

1≤M，1≤j≤M。

输出模块205用于根据轨迹预测模态类型对得到的第一融合轨迹

或第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出。

本发明实施例提供的一种预测轨迹的处理装置，可以执行上述方法实施例中的方法步骤，其实现原理和技术效果类似，在此不再赘述。

需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，获取模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。

例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，ASIC)，或，一个或多个数字信号处理器(Digital Signal Processor，DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(CentralProcessing Unit，CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(System-on-a-chip，SOC)的形式实现。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照前述方法实施例所描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线路((Digital Subscriber Line，DSL))或无线(例如红外、无线、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

图3为本发明实施例三提供的一种电子设备的结构示意图。该电子设备可以为前述的终端设备或者服务器，也可以为与前述终端设备或者服务器连接的实现本发明实施例方法的终端设备或服务器。如图3所示，该电子设备可以包括：处理器301(例如CPU)、存储器302、收发器303；收发器303耦合至处理器301，处理器301控制收发器303的收发动作。存储器302中可以存储各种指令，以用于完成各种处理功能以及实现前述方法实施例描述的处理步骤。优选的，本发明实施例涉及的电子设备还包括：电源304、系统总线305以及通信端口306。系统总线305用于实现元件之间的通信连接。上述通信端口306用于电子设备与其他外设之间进行连接通信。

在图3中提到的系统总线305可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-Volatile Memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器CPU、网络处理器(NetworkProcessor，NP)、图形处理器(Graphics Processing Unit，GPU)等；还可以是数字信号处理器DSP、专用集成电路ASIC、现场可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

需要说明的是，本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中提供的方法和处理过程。

本发明实施例还提供一种运行指令的芯片，该芯片用于执行前述方法实施例描述的处理步骤。

本发明实施例提供了一种预测轨迹的处理方法、装置、电子设备及计算机可读存储介质；预先集成多个用于单模态轨迹预测的单轨迹预测模型和多个用于多模态轨迹预测的多轨迹预测模型；在进行轨迹预测时先对当前障碍物车辆的轨迹预测模态类型(单模态类型和多模态类型)和轨迹预测模态数量进行确认；并在轨迹预测模态类型为单模态类型时，调用预设的多个单轨迹预测模型分别根据当前障碍物车辆在当前时刻的历史轨迹和实时位置进行单模态轨迹预测，并对得到的多个预测轨迹按均值方式进行轨迹融合从而得到最终的融合轨迹，并将该融合轨迹作为最终的预测轨迹数据输出；并在轨迹预测模态类型为多模态类型时，调用预设的多个多轨迹预测模型分别根据当前障碍物车辆在当前时刻的历史轨迹、实时位置和多种行驶可能状态进行多模态轨迹预测，并对得到的所有预测轨迹按轨迹预测模态数量进行聚类，并对各个聚类轨迹集合按均值方式进行轨迹融合和轨迹概率融合得到对应模态的融合轨迹和均值概率，并对各模态的均值概率进行归一化得到对应模态的融合轨迹概率，并将各模态的融合轨迹和融合轨迹概率集合起来组成最终的预测轨迹数据输出。通过本发明，基于细分模态使用对应的多个单/多轨迹预测模型进行预测和轨迹融合，克服了常规技术方案中因只使用单个轨迹预测模型进行轨迹预测造成的预测轨迹误差波动问题，提高了预测稳定性和预测准确度。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种预测轨迹的处理方法，其特征在于，所述方法包括：

获取障碍物车辆在当前时刻t的历史轨迹、实时位置和所在车道的实时行驶交通指示标志生成对应的第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t；所述第一行驶标志A_t包括单模态标志和多模态标志；

根据所述第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X；X≥1；所述轨迹预测模态类型包括单模态类型和多模态类型；

当所述轨迹预测模态类型为单模态类型时，调用预设的第一数量N的单轨迹预测模型B_i根据所述第一历史轨迹H_t-1和所述第一位置p_t进行单轨迹预测处理生成对应的第一预测轨迹H_i；并对所述第一数量N的所述第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

1≤N，1≤i≤N；

当所述轨迹预测模态类型为多模态类型时，调用预设的第二数量M的多轨迹预测模型C_j根据所述第一历史轨迹H_t-1、所述第一位置p_t和所述第一行驶标志A_t进行多轨迹预测处理生成对应的第一预测轨迹集合G_t,j；并对所述第二数量M的所述第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

1≤M，1≤j≤M；

根据所述轨迹预测模态类型对得到的所述第一融合轨迹

或所述第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出。

2.根据权利要求1所述的预测轨迹的处理方法，其特征在于，

所述单模态标志包括直行标志、左转标志、右转标志和掉头标志；

所述多模态标志包括直行+左转标志、直行+右转标志、左转+掉头标志和直行+左转+掉头标志；

所述第一预测轨迹集合G_t,j包括所述轨迹预测模态数量X的第二预测轨迹H_j,g且每个所述第二预测轨迹H_j,g对应一个第一预测轨迹概率ρ_j,g，1≤g≤X；

所述第一融合轨迹集合

包括所述轨迹预测模态数量X的第二融合轨迹

且每个所述第二融合轨迹

对应一个第一融合轨迹概率

3.根据权利要求2所述的预测轨迹的处理方法，其特征在于，所述根据所述第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X，具体包括：

当所述第一行驶标志A_t属于所述单模态标志时，设置所述轨迹预测模态类型为单模态类型，并设置对应的所述轨迹预测模态数量X为1；

当所述第一行驶标志A_t属于所述多模态标志时，设置所述轨迹预测模态类型为多模态类型，并在所述第一行驶标志A_t为直行+左转标志、直行+右转标志或左转+掉头标志时设置对应的所述轨迹预测模态数量X为2，并在所述第一行驶标志A_t为直行+左转+掉头标志时设置对应的所述轨迹预测模态数量X为3。

4.根据权利要求2所述的预测轨迹的处理方法，其特征在于，所述对所述第一数量N的所述第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

具体包括：

对所述第一数量N的所述第一预测轨迹H_i进行均值计算得到对应的所述第一融合轨迹

5.根据权利要求2所述的预测轨迹的处理方法，其特征在于，所述对所述第二数量M的所述第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

具体包括：

将所述第二数量M的所述第一预测轨迹集合G_t,j的所有所述第二预测轨迹H_j,g集合在一起构成对应的第一轨迹集合；所述第一轨迹集合包括M*X个所述第二预测轨迹H_j,g；

对所述第一轨迹集合的M*X个所述第二预测轨迹H_j,g进行聚类得到所述轨迹预测模态数量X的第一类轨迹集合；各个所述第一类轨迹集合均包括M个所述第二预测轨迹H_j,g，并对应M个所述第一预测轨迹概率ρ_j,g；

对各个所述第一类轨迹集合的M个所述第二预测轨迹H_j,g进行均值计算得到对应的所述第二融合轨迹

对各个所述第一类轨迹集合对应的M个所述第一预测轨迹概率ρ_j,g进行均值计算得到对应的第一均值概率

并对得到的所述轨迹预测模态数量X的所述第一均值概率

进行归一化计算得到对应的所述第一融合轨迹概率

所述第一融合轨迹概率

与所述第二融合轨迹

一一对应；

由所有所述第二融合轨迹

组成对应的所述第一融合轨迹集合

6.根据权利要求5所述的预测轨迹的处理方法，其特征在于，所述根据所述轨迹预测模态类型对得到的所述第一融合轨迹

或所述第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出，具体包括：

对所述轨迹预测模态类型进行识别；若所述轨迹预测模态类型为单模态类型，则将得到的所述第一融合轨迹

作为对应的所述预测轨迹数据输出；若所述轨迹预测模态类型为多模态类型，则将得到的所述第一融合轨迹集合

中各个所述第二融合轨迹

和对应的所述第一融合轨迹概率

组成对应的第一融合轨迹数据组，并由得到的所述轨迹预测模态数量X的所述第一融合轨迹数据组构成对应的所述预测轨迹数据输出。

7.一种用于执行权利要求1-6任一项所述的预测轨迹的处理方法的装置，其特征在于，所述装置包括：获取模块、预处理模块、单模态轨迹预测模块、多模态轨迹预测模块和输出模块；

所述获取模块用于获取障碍物车辆在当前时刻t的历史轨迹、实时位置和所在车道的实时行驶交通指示标志生成对应的第一历史轨迹H_t-1、第一位置p_t和第一行驶标志A_t；所述第一行驶标志A_t包括单模态标志和多模态标志；

所述预处理模块用于根据所述第一行驶标志A_t确定当前时刻的轨迹预测模态类型和对应的轨迹预测模态数量X；X≥1；所述轨迹预测模态类型包括单模态类型和多模态类型；

所述单模态轨迹预测模块用于当所述轨迹预测模态类型为单模态类型时，调用预设的第一数量N的单轨迹预测模型B_i根据所述第一历史轨迹H_t-1和所述第一位置p_t进行单轨迹预测处理生成对应的第一预测轨迹H_i；并对所述第一数量N的所述第一预测轨迹H_i进行轨迹融合处理生成对应的第一融合轨迹

1≤N，1≤i≤N；

所述多模态轨迹预测模块用于当所述轨迹预测模态类型为多模态类型时，调用预设的第二数量M的多轨迹预测模型C_j根据所述第一历史轨迹H_t-1、所述第一位置p_t和所述第一行驶标志A_t进行多轨迹预测处理生成对应的第一预测轨迹集合G_t,j；并对所述第二数量M的所述第一预测轨迹集合G_t,j进行轨迹融合处理生成对应的第一融合轨迹集合

1≤M，1≤j≤M；

所述输出模块用于根据所述轨迹预测模态类型对得到的所述第一融合轨迹

或所述第一融合轨迹集合

进行预测数据整合生成对应的预测轨迹数据输出。

8.一种电子设备，其特征在于，包括：存储器、处理器和收发器；

所述处理器用于与所述存储器耦合，读取并执行所述存储器中的指令，以实现权利要求1-6任一项所述的方法步骤；

所述收发器与所述处理器耦合，由所述处理器控制所述收发器进行消息收发。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，当所述计算机指令被计算机执行时，使得所述计算机执行权利要求1-6任一项所述的方法的指令。

Images