CN115601394A - 轨迹预测方法、装置、电子设备及计算机可读存储介质 - Google Patents

轨迹预测方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN115601394A
CN115601394A CN202211281746.5A CN202211281746A CN115601394A CN 115601394 A CN115601394 A CN 115601394A CN 202211281746 A CN202211281746 A CN 202211281746A CN 115601394 A CN115601394 A CN 115601394A
Authority
CN
China
Prior art keywords
sequence
coding
features
semantic map
track
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211281746.5A
Other languages
English (en)
Inventor
李雪
杨天航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202211281746.5A priority Critical patent/CN115601394A/zh
Publication of CN115601394A publication Critical patent/CN115601394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种轨迹预测方法、装置、电子设备及计算机可读存储介质，涉及计算机技术领域，该方法包括：获取预测目标对应的语义地图以及预测目标对应的历史观测轨迹序列，历史观测轨迹序列表征预测目标在各个历史时刻的轨迹位置，然后对预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征，以及基于预测目标对应的语义地图，生成语义地图对应函数表示，语义地图对应的函数表示表征语义与轨迹位置之间的映射关系，然后基于序列编码特征并通过语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列。本申请涉及一种轨迹预测方法、装置、电子设备及计算机可读存储介质可以提高车辆轨迹预测精度。

Description

轨迹预测方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及计算机技术领域，尤其是涉及一种轨迹预测方法、装置、电子设备及计算机可读存储介质。
背景技术
轨迹预测任务目前主要应用于自动驾驶任务中，当感知系统的工作完成时，需要以获得的相关信息作为先验知识，来指导后续的各种规划工作。感知信息为历史及当前时刻系统采集所得，而规划任务需要对未来一段时间内的车辆操作进行计划，故感知信息不能直接有效使用，需要设计更高级别的算法，通过理解已有的先验知识，将感知信息转化为其他形式，以帮助无人驾驶系统更好的完成规划任务，轨迹预测算法便是此类高级别算法之一。
目前，轨迹预测方法主要还是通过深度学习方法，如循环神经网络（RecurrentNeural Network，RNN）、长短时记忆网络(Long Short Term Memory Network，LSTM)、以及门控循环单元(Gated Recurrent Unit，GRU)等网络模型进行序列特征的提取，以上方法作为组件，嵌入到编码器-解码器的网络结构中，实现未来的轨迹预测。同时高精地图或道路语义地图作为重要的先验知识，能够提供更多的特征输入，在轨迹预测中也作为非常重要的考量因素。如何对高精地图进行特征提取和编码，对于提高车辆轨迹预测精度而言意义重大。
发明内容
本申请目的是提供一种轨迹预测方法、装置、电子设备及计算机可读存储介质，用于解决以上至少一项技术问题。
本申请的上述申请目的是通过以下技术方案得以实现的：
第一方面，提供了一种轨迹预测方法，包括：
获取预测目标对应的语义地图以及所述预测目标对应的历史观测轨迹序列，所述历史观测轨迹序列表征所述预测目标在各个历史时刻的轨迹位置；
对所述预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征；
基于所述预测目标对应的语义地图，生成语义地图对应函数表示，所述语义地图对应的函数表示表征语义与轨迹位置之间的映射关系；
基于所述序列编码特征并通过所述语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列。
在一种可能的实现方式中，所述对所述预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征，包括：
基于所述预测目标对应的历史观测轨迹序列，确定位置序列、加速度序列、速度序列以及异常指示序列，所述异常指示序列用于表征所述历史观测轨迹序列中丢帧的情况；
将所述位置序列、所述加速度序列、所述速度序列以及所述异常指示序列分别进行空域嵌入表示，得到各自对应的空域嵌入表示；
基于所述各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征；
通过多个注意力头，并基于所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征进行序列特征提取，得到序列编码特征。
在另一种可能的实现方式中，所述基于所述各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征，包括：
获取位置编码参数矩阵；
基于所述位置编码参数矩阵以及所述各自对应的空域嵌入表示，确定所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征。
在另一种可能的实现方式中，所述通过多个注意力头，并基于所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征进行序列特征提取，得到序列编码特征，包括：
将每一编码特征通过各个注意力头进行特征映射，得到各个注意力头分别对应的查询特征、值特征以及键特征；
基于所述各个注意力头分别对应的查询特征、值特征以及键特征，生成每个编码特征在各个注意力头下分别对应的注意力特征；
将所述每个编码特征在各个注意力头下分别对应的注意力特征进行矩阵连接；
对矩阵连接后的特征通过全连接层处理，得到每个编码特征对应的时域隐含特征；
将每个编码特征对应的时域隐含特征进行连接处理，得到所述序列编码特征。
在另一种可能的实现方式中，所述预测目标对应的语义地图通过语义地图的向量表示进行表征；
基于所述预测目标对应的语义地图，生成语义地图对应函数表示，包括：
对所述语义地图对应的向量表示进行嵌入表示和位置编码；
将位置编码后的向量表示线性映射至值通道和键通道，得到键特征和值特征；
基于所述键特征和所述值特征，生成所述语义地图对应的函数表示。
在另一种可能的实现方式中，所述基于所述键特征和值特征，生成所述语义地图对应的函数表示，包括：
对所述键特征进行标准化处理，得到标准化处理后的键特征；
基于所述值特征以及所述标准后处理后的键特征，确定位置语义，所述位置语义表征所述语义地图中每个位置表征的语义；
基于所述值特征，确定语义位置，所述语义位置表征每个语义在所述语义地图中对应的位置；
基于所述位置语义以及所述语义位置，确定所述语义地图对应的函数表示。
在另一种可能的实现方式中，所述基于所述预测目标对应的语义地图，生成语义地图对应函数表示，之前还包括：
在所述预测目标对应的语义地图中，获取所述预测目标在历史观测最末时刻的朝向信息；
基于所述预测目标在历史观测最末时刻的朝向信息，对所述预测目标对应的语义地图进行旋转以及裁剪；
其中，所述基于所述预测目标对应的语义地图，生成语义地图对应函数表示，包括：
基于裁剪后的语义地图，生成所述语义地图对应的函数表示。
在另一种可能的实现方式中，所述基于所述序列编码特征并通过所述语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列，包括：
基于所述序列编码特征并通过所述语义地图对应的函数表示，确定地图交互特征；
基于所述序列编码特征以及所述地图交互特征进行轨迹预测，得到未来预测轨迹序列。
在另一种可能的实现方式中，所述基于所述序列编码特征并通过所述语义地图对应的函数表示，确定地图交互特征，包括：
将所述序列编码特征映射至所述语义地图对应的函数表示的输入，得到映射后的特征；
将所述映射后的特征输入至所述语义地图对应的函数表示，得到所述地图交互特征。
在另一种可能的实现方式中，所述基于所述序列编码特征以及所述地图交互特征进行轨迹预测，得到未来预测轨迹序列，包括：
将所述序列编码特征以及所述地图交互特征进行连接处理，得到连接后的特征；
基于所述连接后的特征通过多次迭代处理，得到未来预测轨迹序列。
第二方面，提供了一种轨迹预测装置，包括：第一获取模块，用于获取预测目标对应的语义地图以及所述预测目标对应的历史观测轨迹序列，所述历史观测轨迹序列表征所述预测目标在各个历史时刻的轨迹位置；
序列编码模块，用于对所述预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征；
生成模块，用于基于所述预测目标对应的语义地图，生成语义地图对应函数表示，所述语义地图对应的函数表示表征语义与轨迹位置之间的映射关系；
轨迹预测模块，用于基于所述序列编码特征并通过所述语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列。
在一种可能的实现方式中，所述序列编码模块在对所述预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征时，具体用于：
基于所述预测目标对应的历史观测轨迹序列，确定位置序列、加速度序列、速度序列以及异常指示序列，所述异常指示序列用于表征所述历史观测轨迹序列中丢帧的情况；
将所述位置序列、所述加速度序列、所述速度序列以及所述异常指示序列分别进行空域嵌入表示，得到各自对应的空域嵌入表示；
基于所述各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征；
通过多个注意力头，并基于所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征进行序列特征提取，得到序列编码特征。
在另一种可能的实现方式中，所述序列编码模块在基于所述各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征时，具体用于：
获取位置编码参数矩阵；
基于所述位置编码参数矩阵以及所述各自对应的空域嵌入表示，确定所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征。
在另一种可能的实现方式中，所述序列编码模块在通过多个注意力头，并基于所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征进行序列特征提取，得到序列编码特征，具体用于：
将每一编码特征通过各个注意力头进行特征映射，得到各个注意力头分别对应的查询特征、值特征以及键特征；
基于所述各个注意力头分别对应的查询特征、值特征以及键特征，生成每个编码特征在各个注意力头下分别对应的注意力特征；
将所述每个编码特征在各个注意力头下分别对应的注意力特征进行矩阵连接；
对矩阵连接后的特征通过全连接层处理，得到每个编码特征对应的时域隐含特征；
将每个编码特征对应的时域隐含特征进行连接处理，得到所述序列编码特征。
在另一种可能的实现方式中，所述预测目标对应的语义地图通过语义地图的向量表示进行表征；
所述生成模块在基于所述预测目标对应的语义地图，生成语义地图对应函数表示时，具体用于：
对所述语义地图对应的向量表示进行嵌入表示和位置编码；
将位置编码后的向量表示线性映射至值通道和键通道，得到键特征和值特征；
基于所述键特征和所述值特征，生成所述语义地图对应的函数表示。
在另一种可能的实现方式中，所述生成模块在基于所述键特征和值特征，生成所述语义地图对应的函数表示时，具体用于：
对所述键特征进行标准化处理，得到标准化处理后的键特征；
基于所述值特征以及所述标准后处理后的键特征，确定位置语义，所述位置语义表征所述语义地图中每个位置表征的语义；
基于所述值特征，确定语义位置，所述语义位置表征每个语义在所述语义地图中对应的位置；
基于所述位置语义以及所述语义位置，确定所述语义地图对应的函数表示。
在另一种可能的实现方式中，所述装置还包括：第二获取模块以及旋转裁剪模块，其中，
所述第二获取模块，用于在所述预测目标对应的语义地图中，获取所述预测目标在历史观测最末时刻的朝向信息；
所述旋转裁剪模块，用于基于所述预测目标在历史观测最末时刻的朝向信息，对所述预测目标对应的语义地图进行旋转以及裁剪；
其中，所述生成模块在基于所述预测目标对应的语义地图，生成语义地图对应函数表示时，具体用于：
基于裁剪后的语义地图，生成所述语义地图对应的函数表示。
在另一种可能的实现方式中，所述轨迹预测模块在基于所述序列编码特征并通过所述语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列时，具体用于：
基于所述序列编码特征并通过所述语义地图对应的函数表示，确定地图交互特征；
基于所述序列编码特征以及所述地图交互特征进行轨迹预测，得到未来预测轨迹序列。
在另一种可能的实现方式中，所述轨迹预测模块在基于所述序列编码特征并通过所述语义地图对应的函数表示，确定地图交互特征时，具体用于：
将所述序列编码特征映射至所述语义地图对应的函数表示的输入，得到映射后的特征；
将所述映射后的特征输入至所述语义地图对应的函数表示，得到所述地图交互特征。
在另一种可能的实现方式中，所述轨迹预测模块在基于所述序列编码特征以及所述地图交互特征进行轨迹预测，得到未来预测轨迹序列时，具体用于：
将所述序列编码特征以及所述地图交互特征进行连接处理，得到连接后的特征；
基于所述连接后的特征通过多次迭代处理，得到未来预测轨迹序列。
第三方面，提供了一种电子设备，该电子设备包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序配置用于：执行根据第一方面中任一可能的实现方式所示的轨迹预测对应的操作。
第四方面，提供了一种计算机可读存储介质，存储介质存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如第一方面中任一可能的实现方式所示的轨迹预测方法。
综上所述，本申请包括以下至少一种有益技术效果：
本申请提供了一种轨迹预测方法、装置、电子设备及计算机可读存储介质，与相关技术相比，在本申请中在对未来轨迹进行预测时，根据语义地图对应的函数表示（语义与轨迹位置之间的函数关系）以及历史轨迹序列对应的序列编码表示进行预测，由于该函数关系可以涵盖空间位置和道路语义信息，序列编码特征表征历史轨迹的趋势，也就是说，基于历史轨迹序列对应的序列编码以及语义地图对应的函数表示进行轨迹预测，以使得预测轨迹满足空间位置和道路语义约束，从而可以提高对预测目标进行轨迹预测的精度。
附图说明
图1是本申请实施例的一种轨迹预测方法的流程示意图；
图2是本申请实施例的编码器的处理流程示意图；
图3是本申请实施例的解码器进行未来轨迹预测的流程示意图；
图4是本申请实施例的一种轨迹预测装置结构示意图；
图5是本申请实施例的一种电子设备的结构示意图。
具体实施方式
以下结合附图对本申请作进一步详细说明。
本具体实施例仅仅是对本申请的解释，其并不是对本申请的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。
相关技术中涉及到的轨迹预测方法主要存在以下问题：
（1）缺乏高效的语义表述和特征提取方法：主流方法使用参数较多、前向推断效率较低的网络模型，无法在实时性要求较高的轨迹预测任务中，完成高效的道路语义特征提取。
（2）缺乏地图语义与轨迹趋势之间的交互特征表示：地图语义特征需要与轨迹趋势特征之间进行交互建模，突出不同位置的地图语义对未来预测的影响不同。
本申请实施例旨在设计一种通用的、泛化能力较强的车辆轨迹预测方法，能够在 复杂的道路语义环境中精确的完成车辆未来的轨迹预测任务。首先针对问题（1），本申请实 施例提出使用多通道的高精语义地图作为先验知识，同时可适用于各种类型的语义地图输 入，以此为模型提供更多的输入特征；通过设计高性能的道路语义特征提取模块，使用更少 的模型参数和前向推断计算，将高精地图信息映射为固定大小的矩阵函数，并将前向计算 的时间复杂度降到
Figure 827459DEST_PATH_IMAGE001
；针对问题（2）缺乏地图语义与轨迹趋势之间的交互特征表示， 本申请实施例提出了将轨迹趋势特征映射为寻址特征，并将该寻址特征作为高精地图代表 的矩阵函数的输入，最终函数输出得到轨迹特征与地图语义的交互特征输出。
进一步地，本申请实施例还提供了一种基于高性能地图交互编码的车辆轨迹预测方法，通过将高精地图高效的编码为函数表示，同时使用多头注意力机制提取的历史轨迹趋势特征作为函数输入，实现高精地图和历史轨迹之间的高性能交互编码，此方法在对复杂高精地图进行编码时，减少了模型参数同时保证特征提取效益，提高了模型的训练和推断效率。整个模型在编码解码网络的基础上，使用多头注意力机制和门控循环单元(Gatedrecurrent Unit，GRU)作为序列编码解码的核心，同时添加动力学模型约束，最终构成了一种完善的、泛化能力强的、计算效率高的车辆轨迹预测方法。
具体地，在本申请实施例中，在进行车辆轨迹预测时，能够考虑多种类型语义地图的影响。高精语义地图能够在车辆轨迹预测任务中提供大量的先验知识，保证预测轨迹分布在规定的区域，即保证预测轨迹的可行性，又由于告警语义地图可以用于考量周边道路环境的影响，引导模型产生更高精度的预测轨迹。
进一步地，在本申请实施例中还提出计算效率更高的地图编码方法，高精地图编码过程通常需要包含较多参数的特征提取模块，此类方法计算效率较低。
进一步地，本申请实施例还提出对多通道语义地图进行寻址映射，并通过线性变换对地图特征进行总结,将固定区域内的高精地图信息编码为函数表示，特征提取计算效率更高。
进一步地，本申请实施例还提出高精地图和历史轨迹的交互表示方法，在本申请实施例中将高精地图高效编码为函数表示，而历史轨迹趋势特征作为函数输入，以较为节省内存和更高计算效率的方式完成高精地图和历史轨迹之间的交互表示。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
下面结合说明书附图对本申请实施例作进一步详细描述。
本申请实施例提供一种轨迹预测方法，该轨迹预测的方法可以由电子设备执行，该电子设备可以为服务器也可以为终端设备，其中，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机等，但并不局限于此，该终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例在此不做限制。
需要说明的是，用于执行轨迹预测的方法的电子设备还可以包括：安装在各种智能车辆上的车载设备以及智能机器人等。
进一步地，如图1所示，该轨迹预测的方法可以包括：
步骤S101、获取预设目标对应的语义地图以及预测目标对应的历史观测轨迹序列。
对于本申请实施例，预设目标可以包括目标车辆以及机器人等。
具体地，本申请实施例中的语义地图可以为栅格形式的语义地图，也可以为由第一视角映射至鸟瞰图视角的语义地图，还可以为其他形式的语义地图，在本申请实施例中不做限定。
具体地，历史观测轨迹序列包括：预测目标在各个历史时刻的位置信息以及当前时刻的位置信息。在本申请实施例中，预测目标可以包括：车辆以及机器人等需要进行轨迹预测的对象。
其中，历史观测轨迹序列可以
Figure 766596DEST_PATH_IMAGE002
进行表征，例 如，
Figure 434338DEST_PATH_IMAGE003
可以对应2s内的轨迹采样帧数。
进一步地，在本申请实施例中可以先获取语义地图，再获取历史观测轨迹序列，也可以先获取历史观测轨迹序列，再获取语义地图，还可以同时获取语义地图以及历史观测轨迹序列，在本申请实施例中不做限定。
步骤S102、对预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征。
其中，序列编码特征用于表征预测目标历史运动趋势。
步骤S103、基于预测目标对应的语义地图，生成语义地图对应函数表示。
其中，语义地图对应的函数表示表征语义与位置之间的函数映射。
需要说明的是，步骤S102可以在步骤S103之前执行，还可以在步骤S103之后执行，还可以与步骤S103同时执行，图1仅是一种示例，并不作为对本申请实施例的限定。
步骤S104、基于序列编码特征并通过语义地图对应的函数表示进行轨迹预测，得 到未来预测轨迹序列。对于本申请实施例，通过
Figure 86905DEST_PATH_IMAGE004
, 表示在时间步长
Figure 549111DEST_PATH_IMAGE005
下的二维轨迹坐标，例如，
Figure 975544DEST_PATH_IMAGE006
对应未来6s 内的轨迹采样帧数。
本申请实施例提供了一种轨迹预测方法，与相关技术相比，在本申请实施例中在对未来轨迹进行预测时，根据语义地图对应的函数表示（语义与轨迹位置之间的函数关系）以及历史轨迹序列对应的序列编码表示进行预测，由于该函数关系可以涵盖空间位置和道路语义信息，序列编码特征表征历史轨迹的趋势，也就是说，基于历史轨迹序列对应的序列编码以及语义地图对应的函数表示进行轨迹预测，以使得预测轨迹满足空间位置和道路语义约束，从而可以提高对预测目标进行轨迹预测的精度。
具体地，在本申请实施例中，预测目标对应的语义地图可以通过预测目标（例如，车辆）当前安装传感器获得，例如，全球定位系统(Global Positioning System，GPS)、惯性测量单元（Inertial Measurement Unit，IMU）以及轮速计；预测目标对应的历史观测轨迹序列可以是由本地存储中获取，进一步地，预测目标对应的历史观测轨迹序列也是可以由预测目标（例如，车辆）当前安装的传感器测量。需要说明的是，任何获取预测目标对应的语义地图以及预测目标对应的历史轨迹序列的方式均在本申请实施例的保护范围之内。
具体地，通过上述实施例获得预测目标对应的历史观测轨迹后，对历史观测轨迹序列进行序列编码表示，得到序列编码特征，具体可以包括：步骤S1021（图中未示出）、步骤S1022（图中未示出）、步骤S1023（图中未示出）以及步骤S1024（图中未示出），其中，
步骤S1021、基于预测目标对应的历史观测轨迹序列，确定位置序列、加速度序列、速度序列以及异常指示序列。
具体地，将历史观测轨迹序列确定为位置序列，将历史观测轨迹序列进行一阶求导，得到速度序列，将历史观测轨迹序列进行二阶求导，得到加速度序列。
其中，异常指示序列用于表征历史观测轨迹序列中丢帧的情况。在本申请实施例中，在观测过程中个别时刻存在轨迹帧丢失的情况，丢失的轨迹帧时刻对应为1，未丢失的轨迹帧对应为0。
步骤S1022、将位置序列、加速度序列、速度序列以及异常指示序列分别进行空域嵌入表示，得到各自对应的空域嵌入表示。
具体地，在通过上述实施例得到位置序列、加速度序列、速度序列以及异常指示序列之后，将这些序列进行空域嵌入（Spatial Embedding），也即，经过全连接层将这些序列从二维（或1维）扩展到更高维度，得到更为稠密的嵌入特征（位置序列的空域嵌入表示、加速度序列的空域嵌入表示、速度序列的空域嵌入表示以及异常指示序列对应的空域嵌入表示）。
具体地，将位置序列通过公式（1）进行空域嵌入，得到位置序列对应的空域嵌入表示，其中，公式（1）如下所示：
Figure 197709DEST_PATH_IMAGE007
公式（1）；
其中，
Figure 189936DEST_PATH_IMAGE008
表示全连接层，
Figure 291884DEST_PATH_IMAGE009
表示全连接层的权重参数，
Figure 251618DEST_PATH_IMAGE010
表示位置序列的空 域嵌入表示，
Figure 995584DEST_PATH_IMAGE011
表示位置序列。
具体地，将速度序列通过公式（2）进行空域嵌入，得到速度序列对应的空域嵌入表示，其中，公式（2）如下所示：
Figure 373475DEST_PATH_IMAGE012
公式（2）；
其中，
Figure 177483DEST_PATH_IMAGE013
表示速度序列的空域嵌入表示，
Figure 332171DEST_PATH_IMAGE014
表示速度序列。
具体地，将加速度序列通过公式（3）进行空域嵌入，得到加速度序列对应的空域嵌入表示，其中，公式（3）如下所示：
Figure 145406DEST_PATH_IMAGE015
公式（3）；
其中，表示加速度序列的空域嵌入表示，
Figure 112225DEST_PATH_IMAGE016
表示加速度序列。
具体地，将异常指示序列通过公式（4）进行空域嵌入，得到异常指示序列对应的空域嵌入表示，其中，公式（4）如下所示：
Figure 805243DEST_PATH_IMAGE017
公式（4）；
其中，
Figure 224723DEST_PATH_IMAGE018
表示异常指示序列的空域嵌入表示，
Figure 841650DEST_PATH_IMAGE019
表示异常指示序列。
步骤S1023、基于各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征。
对于本申请实施例，在得到位置序列、加速度序列、速度序列以及异常指示序列分别对应的空域嵌入表示后，采用固定位置编码，以得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征。
具体地，基于各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征，具体可以包括：获取位置编码参数矩阵；基于位置编码参数矩阵以及各自对应的空域嵌入表示，确定位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征。在本申请实施例中，对位置序列对应的空域嵌入表示、加速度序列对应的空域嵌入表示、速度序列对应的空域嵌入表示以及异常指示序列对应的空域嵌入表示分别通过下述公式（5）、公式（6）、公式（7）以及公式（8）进行位置编码，以得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征。
其中，
Figure 616970DEST_PATH_IMAGE020
, 公式（5）；
Figure 28360DEST_PATH_IMAGE021
，公式（6）；
Figure 200715DEST_PATH_IMAGE022
公式（7）；
Figure 339441DEST_PATH_IMAGE023
公式（8）；
其中，
Figure 280852DEST_PATH_IMAGE024
、
Figure 66406DEST_PATH_IMAGE025
、
Figure 208281DEST_PATH_IMAGE026
以及
Figure 167009DEST_PATH_IMAGE027
分别表示位置编码特征、加速度编码特征、速度编 码特征以及异常指示编码特征；
其中，
Figure 697348DEST_PATH_IMAGE028
，
Figure 450540DEST_PATH_IMAGE029
为位置编码参数矩阵，
Figure 784438DEST_PATH_IMAGE030
表示 轨迹序列的相对位置索引，i表示嵌入向量的维度索引。
需要说明的是，位置编码参数矩阵PE与位置序列的空域嵌入表示
Figure 546858DEST_PATH_IMAGE031
、加速度序列 的空域嵌入表示
Figure 197282DEST_PATH_IMAGE032
、速度序列的空域嵌入表示
Figure 606529DEST_PATH_IMAGE013
以及异常指示序列的空域嵌入表示
Figure 178456DEST_PATH_IMAGE018
的维度相同。
步骤S1024、通过多个注意力头，并基于位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征进行序列特征提取，得到序列编码特征。
具体地，通过多个注意力头，并基于位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征进行序列特征提取，得到序列编码特征，具体可以包括：步骤S10241（图中未示出）、步骤S10242（图中未示出）以及步骤S10243（图中未示出），其中，
步骤S10241、将每一编码特征通过各个注意力头进行特征映射，得到各个注意力头分别对应的查询特征、值特征以及键特征。
具体地，将位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征分别通过各个注意力头进行特征映射，得到每个编码特征在各个注意力头分别对应的查询特征、值特征以及键特征。
具体地，在本申请实施例中可以通过4个注意力头对位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征进行特征映射，其中，通过下述公式（9）、（10）、（11）以及（12）对位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征分别实现特征映射，其中，以4个注意力头为例进行描述。
其中，
Figure 213408DEST_PATH_IMAGE034
公式（9）；
Figure 498765DEST_PATH_IMAGE035
公式（10）；
Figure 328180DEST_PATH_IMAGE036
公式（11）；
Figure 184141DEST_PATH_IMAGE037
公式（12）；
其中，
Figure 967990DEST_PATH_IMAGE038
表示4个自注意力头的全连接层的标号，
Figure 593006DEST_PATH_IMAGE039
表示在第l个注意力头中， 用于映射至
Figure 858902DEST_PATH_IMAGE040
的全连接层的权重，
Figure 936580DEST_PATH_IMAGE041
表示在第l个注意力头中，用于映射至Key的全 连接层的权重，
Figure 31444DEST_PATH_IMAGE042
表示在第l个注意力头中，用于映射至Value的全连接层的权重。
步骤S10242、基于各个注意力头分别对应的查询特征、值特征以及键特征，生成每个编码特征在各个注意力头下分别对应的注意力特征。
对于本申请实施例，基于各个注意力头分别对应的查询特征、值特征以及键特征，并通过点积注意力计算，得到各个编码特征在各个注意力头下分别对应的注意力特征。
具体地，通过下述公式（13）、（14）、（15）以及（16）生成位置编码特征在各个注意力头下分别对应的注意力特征、加速度编码特征在各个注意力头下分别对应的注意力特征、速度编码特征在各个注意力头下分别对应的注意力特征以及异常指示编码特征在各个注意力头下分别对应的注意力特征。
其中，
Figure 510966DEST_PATH_IMAGE043
, 公式（13）；
Figure 213343DEST_PATH_IMAGE044
， 公式（14）；
Figure 529049DEST_PATH_IMAGE045
， 公式（15）；
Figure 709495DEST_PATH_IMAGE046
， 公式（16）；
其中，
Figure 246787DEST_PATH_IMAGE047
、
Figure 103753DEST_PATH_IMAGE048
、
Figure 421602DEST_PATH_IMAGE049
以及
Figure 140159DEST_PATH_IMAGE050
分别表示位置编码特征在各个注意力 头下分别对应的注意力特征、加速度编码特征在各个注意力头下分别对应的注意力特征、 速度编码特征在各个注意力头下分别对应的注意力特征以及异常指示编码特征在各个注 意力头下分别对应的注意力特征，Attention（）表征点积注意力计算；
其中，
Figure 545339DEST_PATH_IMAGE051
;
Figure 323939DEST_PATH_IMAGE052
;
Figure 129084DEST_PATH_IMAGE053
;
Figure 651333DEST_PATH_IMAGE054
;
步骤S10243、将每个编码特征在各个注意力头下分别对应的注意力特征进行矩阵连接，以及，对矩阵连接后的特征通过全连接层处理，得到每个编码特征对应的时域隐含特征。
具体地，通过公式（17）、（18）、（19）以及（20）分别得到位置编码特征对应的时域隐含特征、加速度编码特征对应的时域隐含特征、速度编码特征对应的时域隐含特征以及异常指示编码特征对应的时域隐含特征；
其中，
Figure 412484DEST_PATH_IMAGE055
;公式（17）；
Figure 361986DEST_PATH_IMAGE056
公式（18）；
Figure 388847DEST_PATH_IMAGE057
; 公式（19）；
Figure 465519DEST_PATH_IMAGE058
； 公式（20）；
其中，
Figure 831909DEST_PATH_IMAGE059
、
Figure 952312DEST_PATH_IMAGE060
、
Figure 981317DEST_PATH_IMAGE061
以及
Figure 845368DEST_PATH_IMAGE062
分别表示位置编码 特征对应的时域隐含特征、加速度编码特征对应的时域隐含特征、速度编码特征对应的时 域隐含特征以及异常指示编码特征对应的时域隐含特征；
Figure 66265DEST_PATH_IMAGE063
表示用于连接多个矩 阵或向量；
Figure 376810DEST_PATH_IMAGE064
表示对应全连接网络中的权重参数,
Figure 112685DEST_PATH_IMAGE065
（）用于表征全连接层操作。
步骤S10244、将每个编码特征对应的时域隐含特征进行连接处理，得到序列编码特征。
在通过上述实施例得到位置编码特征对应的时域隐含特征、加速度编码特征对应 的时域隐含特征、速度编码特征对应的时域隐含特征以及异常指示编码特征对应的时域隐 含特征后，将这些时域隐含特征进行
Figure 46006DEST_PATH_IMAGE066
处理，得到序列编码特征，也即得到
Figure 918147DEST_PATH_IMAGE067
。
进一步地，在上述实施例中详细介绍了对预测目标对应的历史观测轨迹序列进行序列编码，以得到序列编码特征的方式，下述实施例介绍了对语义地图进行处理，以得到语义地图对应的函数表示的方式。
具体地，基于预测目标对应的语义地图，生成语义地图对应函数表示之前还可以 包括：在预测目标对应的语义地图中，获取预测目标在历史观测最末时刻的朝向信息；基于 预测目标在历史观测最末时刻的朝向信息，对预测目标对应的语义地图进行旋转和裁剪。 例如，历史观测最末时刻为
Figure 98461DEST_PATH_IMAGE068
，确定预测目标在
Figure 321632DEST_PATH_IMAGE068
时刻的朝向信息，然后基于朝向信息 对预测目标对应的语义地图先进行旋转，然后进行裁剪。
例如，语义地图选取预测目标轨迹最末观测位置为中心，长宽为1000*600个像素， 其中以语义图分辨率为10像素/米为例，故语义地图输入为预测目标（车辆）周围100m
Figure 793065DEST_PATH_IMAGE069
60m 裁剪部分，同时语义地图只使用可行驶区域、行人行走区域、车道线和停止线4个通道的语 义。
具体地，基于预测目标对应的语义地图，生成语义地图对应函数表示，具体可以包括：基于裁剪后的语义地图，生成语义地图对应的函数表示。在本申请实施例中，在得到裁剪后的语义地图后，基于裁剪后的语义地图进行嵌入表示和位置编码，得到语义地图对应的函数表示。
需要说明的是，在本申请实施例中对裁剪后的语义地图进行嵌入表示以及位置编码的方式与上述实施例中对序列（位置序列、加速度序列、速度序列以及异常指示序列）进行嵌入表示和位置编码的方式类似，在此不再赘述。
进一步地，在对裁剪后的语义地图进行嵌入表示以及位置编码之前还可以包括： 若该裁剪后的语义地图为非水平放置，则将语义地图进行方向转换，以得到语义地图对应 的水平函数表示，在本申请实施例中，获得的语义地图通过
Figure 536024DEST_PATH_IMAGE070
，表示车辆
Figure 637972DEST_PATH_IMAGE071
在
Figure 82860DEST_PATH_IMAGE072
时刻的周边 高精地图图像，维度大小为
Figure 607251DEST_PATH_IMAGE073
，其中
Figure 719564DEST_PATH_IMAGE074
和
Figure 523572DEST_PATH_IMAGE075
表示地图长和宽，
Figure 672400DEST_PATH_IMAGE076
则表示地图通道数 目，将语义地图进行水平放置，即语义地图从维度为
Figure 485635DEST_PATH_IMAGE077
的三维矩阵，变为维度大小 为
Figure 452454DEST_PATH_IMAGE078
的C个长度为W×H的向量表示
Figure 427363DEST_PATH_IMAGE079
。进一步地，若该剪裁后的语义地图为水平放 置的语义地图，则该水平放置的语义地图的向量表示仍为
Figure 564952DEST_PATH_IMAGE079
。
需要说明的是，在本申请实施例中并不限定于在对语义地图进行裁剪之后再进行方向转换，也可以先进行方向转换，然后再对方向转换后的语义地图按照上述方式进行裁剪。进一步地，在本申请实施例中还可以仅对语义地图按照上述方式进行裁剪，不进行方向转换，又或者仅对语义地图按照上述方式进行方向转换，不进行裁剪，在本申请实施例中不做限定。
具体地，语义地图通过语义地图的向量表示进行表征；在本申请实施例中，基于预测目标对应的语义地图，生成语义地图对应函数表示，具体可以包括：对语义地图的向量表示进行空域嵌入表示以及位置编码；将位置编码后的向量表示线性映射至值通道和键通道，得到键特征和值特征；基于键特征和值特征，生成语义地图对应的函数表示。
进一步地，由于在上述实施例中，对语义地图进行裁剪和/或方向转换，以得到语 义地图的向量表示
Figure 916299DEST_PATH_IMAGE080
，然后将语义地图的向量表示
Figure 3204DEST_PATH_IMAGE080
进行空域嵌入表示以及位置编码，以 得到位置编码后的向量表示
Figure 165326DEST_PATH_IMAGE081
，然后通过下述公式（21）以及公式（22），将位置编码后的向 量表示线性映射至值通道和键通道，得到值特征以及键特征，然后基于值特征以及键特征， 生成语义地图对应的函数表示。
其中，
Figure 72102DEST_PATH_IMAGE082
， 公式（21）；
Figure 164823DEST_PATH_IMAGE083
， 公式（22）；
其中，K表示键特征，V表示值特征，
Figure 355502DEST_PATH_IMAGE084
和
Figure 937793DEST_PATH_IMAGE085
为线性映射的计算参数，T表征矩阵转 置，
Figure 331865DEST_PATH_IMAGE086
表示位置编码后的向量表示。
具体地，在得到键特征和值特征后，基于键特征和值特征，生成语义地图对应的函数表示，具体可以包括：对键特征进行标准化处理，得到标准化处理后的键特征；基于值特征以及标准后处理后的键特征，确定位置语义；基于值特征，确定语义位置；基于位置语义以及语义位置，确定语义地图对应的函数表示。
其中，位置语义表征语义地图中每个位置表征的语义，语义位置表征每个语义在语义地图中对应的位置。
需要说明的是，在本申请实施例中，可以先执行基于值特征确定语义位置的步骤，然后再执行对键特征进行标准化处理，得到标准化处理后的键特征，以及基于值特征以及标准后处理后的键特征，确定位置语义的步骤，也可以先执行对键特征进行标准化处理，得到标准化处理后的键特征，以及基于值特征以及标准后处理后的键特征，确定位置语义的步骤，然后再执行基于值特征确定语义位置的步骤，当然还可以同时执行。
具体地，在本申请实施例中，通过公式（23）对键特征进行标准化处理，得到标准化处理后的键特征，以及基于值特征以及标准后处理后的键特征，确定位置语义；以及通过公式（24）基于值特征确定语义位置，进一步地，在通过公式（23）得到位置语义以及通过公式（24）得到语义位置后，基于位置语义和语义位置，并通过公式（25）得到语义地图对应的函数表示。
其中，公式（23）（24）以及（25）如下所示：
Figure 993658DEST_PATH_IMAGE087
， 公式（23）；
Figure 789576DEST_PATH_IMAGE088
， 公式（24）；
Figure 808347DEST_PATH_IMAGE089
， 公式（25）；
其中，
Figure 689716DEST_PATH_IMAGE090
表示位置语义，
Figure 373507DEST_PATH_IMAGE091
表示语义位置。在本申请实施例中，进行语义地图函数 表示的构建，具体实现可以被看作为通过矩阵乘积来实现函数传递，同时进行位置编码，每 个位置n贡献对应的地图语义C，最终的函数表示为
Figure 23931DEST_PATH_IMAGE092
，表示为有关于地图语义C和对应位置n的函数映射。
进一步地，由于在公式（23）相比传统的attention操作，在点积注意力前先对键值 进行softmax标准化，同时位置编码以相叠加的方法加入，使得计算过程不再具有线性阶的 复杂度，算法的计算效率得到了很大的提升。其中，有关使用CNN、ATTENTION以及高性能地 图编码的时间复杂度分析如表1所示，其中
Figure 948025DEST_PATH_IMAGE093
表示序列长度或图像长宽，
Figure 333001DEST_PATH_IMAGE094
表示卷积核尺寸 大小，而
Figure 367953DEST_PATH_IMAGE095
则表示输出特征的维度大小。
表 1
方法类型 时间复杂度
CNN
Figure 76146DEST_PATH_IMAGE096
自注意力机制
Figure 420408DEST_PATH_IMAGE097
高性能地图编码
Figure 541948DEST_PATH_IMAGE098
进一步地，在通过上述实施例得到语义地图的函数表示
Figure 115012DEST_PATH_IMAGE099
以及序 列编码特征
Figure 691093DEST_PATH_IMAGE100
后，为了进一步提高未来预测轨迹序列的准确度，基于序列编码特征 并通过语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列，具体可以包括：基 于序列编码特征并通过语义地图对应的函数表示，确定地图交互特征；基于序列编码特征 以及地图交互特征进行轨迹预测，得到未来预测轨迹序列。
具体地，基于序列编码特征并通过语义地图对应的函数表示，确定地图交互特征， 具体可以包括：将序列编码特征映射至语义地图对应的函数表示的输入，得到映射后的特 征；将映射后的特征输入至语义地图对应的函数表示，得到地图交互特征。在本申请实施例 中，将序列编码特征
Figure 956990DEST_PATH_IMAGE100
映射至语义地图的函数表示
Figure 34667DEST_PATH_IMAGE101
的输入
Figure 942580DEST_PATH_IMAGE102
，函数 输出得到最终的地图交互特征
Figure 671371DEST_PATH_IMAGE103
。其中，
Figure 311431DEST_PATH_IMAGE104
，
Figure 876404DEST_PATH_IMAGE105
。
进一步地，在获得的历史轨迹编码特征
Figure 807582DEST_PATH_IMAGE100
和地图语义交互特征
Figure 407191DEST_PATH_IMAGE103
，通过 轨迹解码模块进行未来预测轨迹解码。在本申请实施例中，使用循环单元网络进行未来每 个时刻的轨迹解码。在本申请实施例中，循环单元网络可以包括：GRU、长短期记忆网络 （Long Short-Term Memory，LSTM）以及循环神经网络(Recurrent Neural Network，RNN)。
具体地，基于历史轨迹编码特征
Figure 218152DEST_PATH_IMAGE100
和地图语义交互特征
Figure 519689DEST_PATH_IMAGE103
，并通过轨迹 解码模块进行未来预测轨迹解码，具体可以包括：将特征
Figure 238246DEST_PATH_IMAGE100
与
Figure 957941DEST_PATH_IMAGE103
相连接，作为循 环单元网络的初始时刻隐状态输入，随后网络迭代输出的隐状态特征，使用全连接层回归 得到未来轨迹预测点坐标。
具体地，在本申请实施例中，通过公式（26）（27）以及（28）进行未来轨迹预测。其中，
Figure 736541DEST_PATH_IMAGE106
, 公式（26）；
Figure 233031DEST_PATH_IMAGE107
， 公式（27）；
Figure 755279DEST_PATH_IMAGE108
, 公式（28）；
其中，
Figure 329480DEST_PATH_IMAGE109
表示未来t时刻预测轨迹坐标位置，
Figure 528249DEST_PATH_IMAGE110
表示t-1时刻轨迹坐标位置，
Figure 492794DEST_PATH_IMAGE111
和
Figure 818733DEST_PATH_IMAGE112
表示全连接层参数。在时间步长
Figure 998173DEST_PATH_IMAGE113
迭代输出后，得到最终的预测轨迹序 列
Figure 118576DEST_PATH_IMAGE114
。
下述实施例中通过一种示例介绍轨迹预测方法，在本申请实施例中，在获取到预 测目标对应的历史观测轨迹序列
Figure 835996DEST_PATH_IMAGE115
后，将预测目标对应的历史观测轨迹序列
Figure 949314DEST_PATH_IMAGE115
划分为 位置序列
Figure 232528DEST_PATH_IMAGE116
、加速度序列
Figure 789411DEST_PATH_IMAGE117
、速度序列
Figure 476351DEST_PATH_IMAGE118
以及异常指示序列
Figure 878514DEST_PATH_IMAGE119
，然后将位置序列
Figure 281813DEST_PATH_IMAGE116
、加 速度序列
Figure 9598DEST_PATH_IMAGE117
、速度序列
Figure 419720DEST_PATH_IMAGE118
以及异常指示序列
Figure 891152DEST_PATH_IMAGE119
分别进行空域嵌入表示，然后将各自对应 的空域嵌入表示分别进行位置编码，并将位置编码后的各个特征（位置编码特征、加速度编 码特征、速度编码特征以及异常指示编码特征）进行特征映射，以得到每个编码特征在各个 注意力头下分别对应的查询特征（query）、键特征（Key）以及值特征（Value），然后基于各个 注意力头分别对应的query、Key以及Value进行点积注意力计算，以得到每个编码特征在各 个注意力头下分别对应的注意力特征（
Figure 883379DEST_PATH_IMAGE120
），然后根据每个编码特征在各个注意力头下分 别对应的注意力特征（
Figure 532797DEST_PATH_IMAGE120
）通过全连接层处理，以得到每个编码特征对应的隐含时域特征 （Multihead），进而将各个编码特征对应的Multihead进行contact，以得到序列编码特征
Figure 243264DEST_PATH_IMAGE067
，如图2所示，其中图2中以包含四个注意力头为例进行说明，但是并未作为限定；
进一步地，将获取到的预测目标对应的语义地图进行水平放置，以得到维度大小 为
Figure 456071DEST_PATH_IMAGE121
的C个长度为W×H的向量表示，然后将该向量表示进行空域嵌入表示以及位置 编码，然后对位置编码后的向量表示进行线性映射，以得到键和值，然后对键进行通过 softmax函数标准化，以得到标准化后的键，然后基于值和标准化后的键得到位置语义
Figure 552072DEST_PATH_IMAGE122
， 并基于值确定语义位置
Figure 621659DEST_PATH_IMAGE123
，然后基于位置语义
Figure 819422DEST_PATH_IMAGE122
以及语义位置
Figure 632657DEST_PATH_IMAGE123
确定函数表示为
Figure 544682DEST_PATH_IMAGE124
，进一步地，将序列编码特征
Figure 519591DEST_PATH_IMAGE067
映射为函数表示为
Figure 470230DEST_PATH_IMAGE124
的 输入
Figure 70844DEST_PATH_IMAGE102
，然后基于
Figure 95432DEST_PATH_IMAGE102
以及
Figure 241243DEST_PATH_IMAGE124
得到地图交互特征
Figure 898751DEST_PATH_IMAGE103
，然后基于
Figure 319368DEST_PATH_IMAGE103
以及
Figure 995200DEST_PATH_IMAGE067
进行轨迹预测，以得到未来t时刻预测轨迹坐标位置
Figure 30021DEST_PATH_IMAGE125
，具体如图3所示。
进一步地，在上述实施例中通过编码器-解码器的模型架构以对未来轨迹进行预测，具体地，在通过上述模型对未来轨迹进行预测之前还需要对初始模型进行训练，以得到对对未来轨迹进行预测的编码器-解码器模型。在本申请实施例中具体的训练方式包括：对数据进行预处理以达到模型输入要求：将观测轨迹序列进行划分，并表示为历史观测轨迹序列和未来预测轨迹序列，历史观测轨迹序列作为模型训练和推断时的输入，而未来预测轨迹序列作为训练时的目标值，同时对高精地图输入进行预处理，在预测目标最末的观测位置处，裁剪其周边一定范围内的高精地图图片作为输入。
上述实施例从方法流程的角度介绍了一种轨迹预测方法，下述实施例从模块的角度介绍了一种轨迹预测装置，具体详见下述实施例。
本申请实施例提供了一种轨迹预测装置，如图4所示，轨迹预测装置40具体可以包括：第一获取模块41、序列编码模块42、生成模块43以及轨迹预测模块44，其中，
第一获取模块41，用于获取预测目标对应的语义地图以及预测目标对应的历史观测轨迹序列，历史观测轨迹序列表征预测目标在各个历史时刻的轨迹位置；
序列编码模块42，用于对预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征；
生成模块43，用于基于预测目标对应的语义地图，生成语义地图对应函数表示，语义地图对应的函数表示表征语义与轨迹位置之间的映射关系；
轨迹预测模块44，用于基于序列编码特征并通过语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列。
本申请实施例的一种可能的实现方式，序列编码模块42在对预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征时，具体用于：
基于预测目标对应的历史观测轨迹序列，确定位置序列、加速度序列、速度序列以及异常指示序列，异常指示序列用于表征历史观测轨迹序列中丢帧的情况；
将位置序列、加速度序列、速度序列以及异常指示序列分别进行空域嵌入表示，得到各自对应的空域嵌入表示；
基于各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征；
通过多个注意力头，并基于位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征进行序列特征提取，得到序列编码特征。
本申请实施例的另一种可能的实现方式，序列编码模块42在基于各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征时，具体用于：
获取位置编码参数矩阵；
基于位置编码参数矩阵以及各自对应的空域嵌入表示，确定位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征。
本申请实施例的另一种可能的实现方式，序列编码模块42在通过多个注意力头，并基于位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征进行序列特征提取，得到序列编码特征，具体用于：
将每一编码特征通过各个注意力头进行特征映射，得到各个注意力头分别对应的查询特征、值特征以及键特征；
基于各个注意力头分别对应的查询特征、值特征以及键特征，生成每个编码特征在各个注意力头下分别对应的注意力特征；
将每个编码特征在各个注意力头下分别对应的注意力特征进行矩阵连接；
对矩阵连接后的特征通过全连接层处理，得到每个编码特征对应的时域隐含特征；
将每个编码特征对应的时域隐含特征进行连接处理，得到序列编码特征。
本申请实施例的另一种可能的实现方式，预测目标对应的语义地图通过语义地图的向量表示进行表征；
生成模块43在基于预测目标对应的语义地图，生成语义地图对应函数表示时，具体用于：
对语义地图对应的向量表示进行嵌入表示和位置编码；
将位置编码后的向量表示线性映射至值通道和键通道，得到键特征和值特征；
基于键特征和值特征，生成语义地图对应的函数表示。
本申请实施例的另一种可能的实现方式，生成模块43在基于键特征和值特征，生成语义地图对应的函数表示时，具体用于：
对键特征进行标准化处理，得到标准化处理后的键特征；
基于值特征以及标准后处理后的键特征，确定位置语义，位置语义表征语义地图中每个位置表征的语义；
基于值特征，确定语义位置，语义位置表征每个语义在语义地图中对应的位置；
基于位置语义以及语义位置，确定语义地图对应的函数表示。
本申请实施例的另一种可能的实现方式，装置40还包括：第二获取模块以及旋转裁剪模块，其中，
第二获取模块，用于在预测目标对应的语义地图中，获取预测目标在历史观测最末时刻的朝向信息；
旋转裁剪模块，用于基于预测目标在历史观测最末时刻的朝向信息，对预测目标对应的语义地图进行旋转以及裁剪；
其中，生成模块43在基于预测目标对应的语义地图，生成语义地图对应函数表示时，具体用于：
基于裁剪后的语义地图，生成语义地图对应的函数表示。
本申请实施例的另一种可能的实现方式，轨迹预测模块44在基于序列编码特征并通过语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列时，具体用于：
基于序列编码特征并通过语义地图对应的函数表示，确定地图交互特征；
基于序列编码特征以及地图交互特征进行轨迹预测，得到未来预测轨迹序列。
本申请实施例的另一种可能的实现方式，轨迹预测模块44在基于序列编码特征并通过语义地图对应的函数表示，确定地图交互特征时，具体用于：
将序列编码特征映射至语义地图对应的函数表示的输入，得到映射后的特征；
将映射后的特征输入至语义地图对应的函数表示，得到地图交互特征。
本申请实施例的另一种可能的实现方式，轨迹预测模块44在基于序列编码特征以及地图交互特征进行轨迹预测，得到未来预测轨迹序列时，具体用于：
将序列编码特征以及地图交互特征进行连接处理，得到连接后的特征；
基于连接后的特征通过多次迭代处理，得到未来预测轨迹序列。
本申请实施例提供了一种轨迹预测装置，与相关技术相比，在本申请实施例中在对未来轨迹进行预测时，根据语义地图对应的函数表示（语义与轨迹位置之间的函数关系）以及历史轨迹序列对应的序列编码表示进行预测，由于该函数关系可以涵盖空间位置和道路语义信息，序列编码特征表征历史轨迹的趋势，也就是说，基于历史轨迹序列对应的序列编码以及语义地图对应的函数表示进行轨迹预测，以使得预测轨迹满足空间位置和道路语义约束，从而可以提高对预测目标进行轨迹预测的精度。
本申请实施例提供了一种轨迹预测装置适用于上述方法实施例，在此不再赘述。
本申请实施例中提供了一种电子设备，如图5所示，图5所示的电子设备500包括：处理器501和存储器503。其中，处理器501和存储器503相连，如通过总线502相连。可选地，电子设备500还可以包括收发器504。需要说明的是，实际应用中收发器504不限于一个，该电子设备500的结构并不构成对本申请实施例的限定。
处理器501可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（Application SpecificIntegrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器501也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线502可包括一通路，在上述组件之间传送信息。总线502可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（ExtendedIndustry Standard Architecture，扩展工业标准结构）总线等。总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器503可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM（Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（Compact DiscRead Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器503用于存储执行本申请方案的应用程序代码，并由处理器501来控制执行。处理器501用于执行存储器503中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。还可以为服务器等，在本申请实施例中，该服务器可以为云端服务器。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。与相关技术相比，在本申请实施例中在对未来轨迹进行预测时，根据语义地图对应的函数表示（语义与轨迹位置之间的函数关系）以及历史轨迹序列对应的序列编码表示进行预测，由于该函数关系可以涵盖空间位置和道路语义信息，序列编码特征表征历史轨迹的趋势，也就是说，基于历史轨迹序列对应的序列编码以及语义地图对应的函数表示进行轨迹预测，以使得预测轨迹满足空间位置和道路语义约束，从而可以提高对预测目标进行轨迹预测的精度。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以对本申请的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本申请的方法及其核心思想，不应理解为对本申请的限制。本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。

Claims (13)

1.一种轨迹预测方法，其特征在于，包括：
获取预测目标对应的语义地图以及所述预测目标对应的历史观测轨迹序列，所述历史观测轨迹序列表征所述预测目标在各个历史时刻的轨迹位置；
对所述预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征；
基于所述预测目标对应的语义地图，生成语义地图对应函数表示，所述语义地图对应的函数表示表征语义与轨迹位置之间的映射关系；
基于所述序列编码特征并通过所述语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列。
2.根据权利要求1所述的方法，其特征在于，所述对所述预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征，包括：
基于所述预测目标对应的历史观测轨迹序列，确定位置序列、加速度序列、速度序列以及异常指示序列，所述异常指示序列用于表征所述历史观测轨迹序列中丢帧的情况；
将所述位置序列、所述加速度序列、所述速度序列以及所述异常指示序列分别进行空域嵌入表示，得到各自对应的空域嵌入表示；
基于所述各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征；
通过多个注意力头，并基于所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征进行序列特征提取，得到序列编码特征。
3.根据权利要求2所述的方法，其特征在于，所述基于所述各自对应的空域嵌入表示进行位置编码，得到位置编码特征、加速度编码特征、速度编码特征以及异常指示编码特征，包括：
获取位置编码参数矩阵；
基于所述位置编码参数矩阵以及所述各自对应的空域嵌入表示，确定所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征。
4.根据权利要求2或3所述的方法，其特征在于，所述通过多个注意力头，并基于所述位置编码特征、所述加速度编码特征、所述速度编码特征以及所述异常指示编码特征进行序列特征提取，得到序列编码特征，包括：
将每一编码特征通过各个注意力头进行特征映射，得到各个注意力头分别对应的查询特征、值特征以及键特征；
基于所述各个注意力头分别对应的查询特征、值特征以及键特征，生成每个编码特征在各个注意力头下分别对应的注意力特征；
将所述每个编码特征在各个注意力头下分别对应的注意力特征进行矩阵连接；
对矩阵连接后的特征通过全连接层处理，得到每个编码特征对应的时域隐含特征；
将每个编码特征对应的时域隐含特征进行连接处理，得到所述序列编码特征。
5.根据权利要求1所述的方法，其特征在于，所述预测目标对应的语义地图通过语义地图的向量表示进行表征；
基于所述预测目标对应的语义地图，生成语义地图对应函数表示，包括：
对所述语义地图的向量表示进行空域嵌入表示以及位置编码；
将位置编码后的向量表示线性映射至值通道和键通道，得到键特征和值特征；
基于所述键特征和所述值特征，生成所述语义地图对应的函数表示。
6.根据权利要求5所述的方法，其特征在于，所述基于所述键特征和值特征，生成所述语义地图对应的函数表示，包括：
对所述键特征进行标准化处理，得到标准化处理后的键特征；
基于所述值特征以及所述标准后处理后的键特征，确定位置语义，所述位置语义表征所述语义地图中每个位置表征的语义；
基于所述值特征，确定语义位置，所述语义位置表征每个语义在所述语义地图中对应的位置；
基于所述位置语义以及所述语义位置，确定所述语义地图对应的函数表示。
7.根据权利要求1、5或6所述的方法，其特征在于，所述基于所述预测目标对应的语义地图，生成语义地图对应函数表示，之前还包括：
在所述预测目标对应的语义地图中，获取所述预测目标在历史观测最末时刻的朝向信息；
基于所述预测目标在历史观测最末时刻的朝向信息，对所述预测目标对应的语义地图进行旋转以及裁剪；
其中，所述基于所述预测目标对应的语义地图，生成语义地图对应函数表示，包括：
基于裁剪后的语义地图，生成所述语义地图对应的函数表示。
8.根据权利要求1所述的方法，其特征在于，所述基于所述序列编码特征并通过所述语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列，包括：
基于所述序列编码特征并通过所述语义地图对应的函数表示，确定地图交互特征；
基于所述序列编码特征以及所述地图交互特征进行轨迹预测，得到未来预测轨迹序列。
9.根据权利要求8所述的方法，其特征在于，所述基于所述序列编码特征并通过所述语义地图对应的函数表示，确定地图交互特征，包括：
将所述序列编码特征映射至所述语义地图对应的函数表示的输入，得到映射后的特征；
将所述映射后的特征输入至所述语义地图对应的函数表示，得到所述地图交互特征。
10.根据权利要求8或9所述的方法，其特征在于，所述基于所述序列编码特征以及所述地图交互特征进行轨迹预测，得到未来预测轨迹序列，包括：
将所述序列编码特征以及所述地图交互特征进行连接处理，得到连接后的特征；
基于所述连接后的特征通过多次迭代处理，得到未来预测轨迹序列。
11.一种轨迹预测装置，其特征在于，包括：
第一获取模块，用于获取预测目标对应的语义地图以及所述预测目标对应的历史观测轨迹序列，所述历史观测轨迹序列表征所述预测目标在各个历史时刻的轨迹位置；
序列编码模块，用于对所述预测目标对应的历史观测轨迹序列进行序列编码表示，得到序列编码特征；
生成模块，用于基于所述预测目标对应的语义地图，生成语义地图对应函数表示，所述语义地图对应的函数表示表征语义与轨迹位置之间的映射关系；
轨迹预测模块，用于基于所述序列编码特征并通过所述语义地图对应的函数表示进行轨迹预测，得到未来预测轨迹序列。
12.一种电子设备，其特征在于，其包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行根据权利要求1至10任一项所述的轨迹预测方法。
13.一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1至10任一项所述的轨迹预测方法。
CN202211281746.5A 2022-10-19 2022-10-19 轨迹预测方法、装置、电子设备及计算机可读存储介质 Pending CN115601394A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211281746.5A CN115601394A (zh) 2022-10-19 2022-10-19 轨迹预测方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211281746.5A CN115601394A (zh) 2022-10-19 2022-10-19 轨迹预测方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN115601394A true CN115601394A (zh) 2023-01-13

Family

ID=84848648

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211281746.5A Pending CN115601394A (zh) 2022-10-19 2022-10-19 轨迹预测方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN115601394A (zh)

Similar Documents

Publication Publication Date Title
Li et al. Bevformer: Learning bird’s-eye-view representation from multi-camera images via spatiotemporal transformers
KR102126724B1 (ko) 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치
KR102292277B1 (ko) 자율 주행 차량에서 3d cnn 네트워크를 사용하여 솔루션을 추론하는 lidar 위치 추정
KR102350181B1 (ko) 자율 주행 차량에서 rnn 및 lstm을 사용하여 시간적 평활화를 수행하는 lidar 위치 추정
Liu et al. Deep instance segmentation with automotive radar detection points
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN113537445B (zh) 一种轨迹预测方法、装置、设备和存储介质
CN114494158A (zh) 一种图像处理方法、一种车道线检测方法及相关设备
CN110704652A (zh) 基于多重注意力机制的车辆图像细粒度检索方法及装置
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN115847422A (zh) 一种用于遥操作的姿态识别方法、装置及系统
CN115965970A (zh) 基于隐式的集合预测实现鸟瞰图语义分割的方法及系统
CN114021080A (zh) 轨迹预测模型训练以及轨迹预测方法、装置、设备及介质
CN114061586A (zh) 用于生成电子设备的导航路径的方法和产品
CN115601394A (zh) 轨迹预测方法、装置、电子设备及计算机可读存储介质
Yang et al. Design of airborne target tracking accelerator based on KCF
CN112541515A (zh) 模型训练方法、驾驶数据处理方法、装置、介质和设备
CN114872718A (zh) 车辆轨迹预测方法、装置、计算机设备和存储介质
CN117651975A (zh) 实时体积渲染
Hu et al. Fast Dual-Feature Extraction Based on Tightly Coupled Lightweight Network for Visual Place Recognition
CN117975178B (zh) 一种基于大数据分析的出租车轨迹数据分析方法
CN116977820B (zh) 一种基于自注意力的轻量化三维目标实时检测方法及装置
Luo et al. Real-time Object Detection Based on RGB-D Image
Li et al. Trajectory time prediction and dataset publishing mechanism based on deep learning and differential privacy
CN116628863B (zh) 车辆风阻系数确定方法、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination