CN114715145A - 一种轨迹预测方法、装置、设备及自动驾驶车辆 - Google Patents

Abstract

本公开提供了一种轨迹预测方法、装置、设备及自动驾驶车辆，涉及人工智能技术领域，具体涉及自动驾驶、智能交通和深度学习技术领域。具体实现方案为：根据行驶对象的当前已行驶轨迹，确定所述行驶对象的轨迹特征表示；根据所述行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定所述行驶对象的场景交互特征表示；根据所述轨迹特征表示和所述场景交互特征表示，预测所述行驶对象的未来行驶轨迹。通过上述技术方案，能够使得所预测的未来行驶轨迹更加精准和合理。

Description

一种轨迹预测方法、装置、设备及自动驾驶车辆

技术领域

本公开涉及人工智能技术领域，尤其涉及自动驾驶、智能交通和深度学习技术领域，具体涉及一种轨迹预测方法、装置、设备及自动驾驶车辆。

背景技术

随着人工智能技术的发展，自动驾驶技术逐渐兴起。其中，行驶轨迹的预测又是自动驾驶过程的核心环节。例如，预测当前行人的行驶轨迹等。那么如何精准预测行驶轨迹，对于自动驾驶的安全性至关重要。

发明内容

本公开提供了一种轨迹预测方法、装置、设备及自动驾驶车辆。

根据本公开的一方面，提供了一种轨迹预测方法，该方法包括：

根据行驶对象的当前已行驶轨迹，确定所述行驶对象的轨迹特征表示；

根据所述行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定所述行驶对象的场景交互特征表示；

根据所述轨迹特征表示和所述场景交互特征表示，预测所述行驶对象的未来行驶轨迹。

根据本公开的另一方面，提供了一种电子设备，该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开任一实施例所述轨迹预测方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行本公开任一实施例所述的轨迹预测方法。

根据本公开的另一方面，提供了一种自动驾驶车辆，包括本公开实施例所述的电子设备。

根据本公开的技术，能够使得所预测的未来行驶轨迹更加精准和合理。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1A是根据本公开实施例提供的一种轨迹预测方法的流程图；

图1B是根据本公开实施例提供的一种轨迹预测模型的结构示意图；

图2A是根据本公开实施例提供的另一种轨迹预测方法的流程图；

图2B是根据本公开实施例提供的一种轨迹特征提取模型的结构示意图；

图3是根据本公开实施例提供的又一种轨迹特征提取模型的结构示意图；

图4A是根据本公开实施例提供的又一种轨迹预测方法的流程图；

图4B是根据本公开实施例提供的一种全局特征提取网络的结构示意图；

图5A是根据本公开实施例提供的再一种轨迹预测方法的流程图；

图5B是根据本公开实施例提供的一种局部特征提取网络的结构示意图；

图6是根据本公开实施例提供的又一种局部特征提取网络的结构示意图；

图7是根据本公开实施例提供的一种轨迹预测装置的结构示意图；

图8是用来实现本公开实施例的轨迹预测方法的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1A是根据本公开实施例提供的一种轨迹预测方法的流程图，该方法适用于如何进行轨迹预测的情况，尤其适用于在自动驾驶场景中，如何进行轨迹预测的情况。该方法可以由轨迹预测装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成于承载轨迹预测功能的电子设备中，比如自动驾驶车辆中。如图1A所示，本实施例的轨迹预测方法可以包括：

S101，根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示。

本实施例中，行驶对象为自动驾驶场景中运动的物体，例如可以是行人、车辆等；需要说明的是，在同一场景中，行驶对象的数量可以是一个或多个。所谓当前已行驶轨迹为行驶对象在当前时刻以及当前时刻之前的一段时间内的轨迹点的集合；可选的，当前已行驶轨迹可以从行驶对象所携带的导航定位设备中获取，或者从行驶对象所处场景中的摄像设备(比如路侧设备)中获取。所谓轨迹特征表示为行驶对象的运动轨迹点的特征，可以采用向量或者矩阵等形式表示。

一种可选方式，可以对行驶对象的当前已行驶轨迹进行编码，以得到行驶对象的轨迹特征表示。例如，可以基于轨迹特征提取模型，对行驶对象的当前已行驶轨迹进行特征提取，得到行驶对象的轨迹特征表示。其中，轨迹特征提取模型可以基于机器学习算法得到。

S102，根据行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定行驶对象的场景交互特征表示。

本实施例中，当前已行驶场景为当前已行驶轨迹对应的场景。所谓全局场景图像为图像采集设备所能够采集到的当前已行驶场景的整体图像；可选的，针对当前已行驶轨迹中的每一轨迹点均对应一个全局场景图像。

所谓局部场景图像为行驶对象周围包含行驶对象的设定数值像素*设定数值像素的图像块，例如行驶对象周围的128像素*128像素的图像块。可选的，针对当前已行驶轨迹中的每一轨迹点均对应一个局部场景图像。

所谓场景交互特征表示用于表征行驶对象与场景之间交互的特征，可以采用向量或者矩形等形式表示。

具体的，可以根据行驶对象当前已行驶场景的全局场景图像，确定行驶对象的全局场景交互特征表示。例如，可以基于设定的编码策略，对行驶对象当前已行驶场景的全局场景图像进行编码，以得到行驶对象的全局场景交互特征表示。具体可以是，基于全局特征提取网络，对行驶对象当前已行驶场景的全局场景图像进行特征提取，以得到行驶对象的全局场景交互特征表示。

再根据行驶对象当前已行驶场景的局部场景图像，确定行驶对象的局部场景交互特征表示。例如，也可以基于设定的编码策略，对行驶对象当前已行驶轨迹的局部场景图像进行编码，以得到行驶对象的局部场景交互特征表示。具体可以是，基于局部特征提取网络，对行驶对象当前已行驶场景的局部场景图像进行特征提取，以得到行驶对象的局部场景交互特征表示。

之后对全局场景交互特征表示和局部场景交互特征表示进行融合，得到行驶对象的场景交互特征表示。

S103，根据轨迹特征表示和场景交互特征表示，预测行驶对象的未来行驶轨迹。

本实施例中，未来行驶轨迹为预测的行驶对象当前时刻之后的一段时间内的轨迹点的集合。

具体的，可以对轨迹特征表示和场景交互特征表示进行融合，得到融合特征，之后基于解码网络，对融合特征进行解码，得到行驶对象的未来行驶轨迹。

进一步的，还可以对轨迹特征表示、场景交互特征表示、以及设定的高斯噪声进行融合，得到融合特征，之后基于解码网络，对融合特征进行解码，得到行驶对象的未来行驶轨迹。可以理解的是，本发明中引入高斯噪声，增加了解码网络的鲁棒性。

一个具体的例子，结合图1B，将行驶对象的当前已行驶轨迹输入至轨迹特征提取模型，得到行驶对象的轨迹特征表示，并将行驶对象当前已行驶场景的全局场景图像输入至场景特征提取模型的全局特征提取网络，得到行驶对象的全局场景交互特征表示，同时将行驶对象当前已行驶场景的局部场景图像输入至场景特征提取模型的局部特征提取网络，得到行驶对象的局部场景交互特征表示；之后将轨迹特征表示、全局场景交互特征表示和局部场景交互特征表示进行融合，得到融合特征，将融合特征输入至编码网络，得到行驶对象的未来行驶轨迹。

本公开实施例的技术方案，通过根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示，之后根据行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定行驶对象的场景交互特征表示，进而根据轨迹特征表示和场景交互特征表示，预测行驶对象的未来行驶轨迹。上述技术方案，通过结合当前已行驶轨迹、全局场景图像和局部场景图像等多种数据源，使得所预测的未来行驶轨迹更加精准和合理。

在上述实施例的基础上，作为本公开的一种可选方式，根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示还可以是，根据目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹，确定目标行驶对象的轨迹特征表示。

其中，在同一场景中行驶对象为一个的情况下，目标行驶对象为该场景中的该行驶对象；此时，目标行驶对象周围其他行驶对象的当前已行驶轨迹可以是预先设定好的行驶轨迹。进一步的，在同一场景中行驶对象为多个的情况下，目标行驶对象可以为该场景中任一行驶对象，此时，目标行驶对象周围其他行驶对象为该场景中除目标行驶对象外的行驶对象。

示例性的，可以分别对目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹进行编码，得到目标行驶对象的第一编码特征表示和其他行驶对象的第二编码特征表示。例如可以是，分别将目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹输入至轨迹特征提取模型中，得到目标行驶对象的第一编码特征表示，以及其他行驶对象的第二编码特征表示。之后基于第一编码特征表示和第二编码特征表示，确定目标行驶对象的轨迹特征表示。

可以理解的是，由于近处的行驶对象和远处的行驶对象对目标行驶对象未来行动的决定有着不同的影响，因此，结合目标行驶对象周围其他行驶对象的当前已行驶轨迹，来确定目标行驶对象的轨迹特征表示，更进一步体现了行驶对象之间交互的相关性，从而使得目标行驶对象的轨迹特征表示更加丰富，为后续目标对象的未来行驶轨迹的预测提供了保障。

图2A是根据本公开实施例提供的另一种轨迹预测方法的流程图。本实施例在上述实施例的基础上，进一步对轨迹特征提取模型进行优化，可选的，如图2B所示，本实施例中轨迹特征提取模型可以包括多层感知机网络、第一时序神经网络和第一交互网络，其中，第一交互网络包括第一图注意力网络和第二时序神经网络。

进一步的，结合图2B，对“根据目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹，确定目标行驶对象的轨迹特征表示”进行详细解释说明。如图2A所示，本实施例的轨迹预测方法可以包括：

S201，基于多层感知机网络，分别对目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹进行编码，得到目标行驶对象的第一感知特征表示和其他行驶对象的第二感知特征表示。

本实施例中，多层感知机网络(Multilayer Perceptron，MLP)会对每个行驶对象对应的当前已行驶轨迹进行感知，输出每个行驶对象的感知特征表示。所谓第一感知特征表示为目标行驶对象的当前已行驶轨迹在高维空间的特征表示，可以采用向量或者矩形等形式表示。所谓第二感知特征表示为其他行驶对象的当前已行驶轨迹在高维空间的特征表示，可以采用向量或者矩形等形式表示。

具体的，可以分别将目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹，输入至多层感知机网络，经过网络编码处理，得到目标行驶对象的第一感知特征表示和其他行驶对象的第二感知特征表示。

S202，基于第一时序神经网络，分别对第一感知特征表示，以及第二感知特征表示进行编码，得到目标行驶对象的第一时序特征表示和其他行驶对象的第二时序特征表示。

本实施例中，时序神经网络用于提取输入对象之间交互的时间相关性特征。需要说明的是，本公开中的第一时序神经网络、第二时序神经网络、第三时序神经网络以及第四时序神经网络，仅用于区分不同阶段采用的时序神经网络，各阶段中所采用的时序神经网络的网路结构可以相同，初始网络参数可以相同，也可以不同。

所谓时序特征表示为基于感知特征表示所提取的当前已行驶轨迹的隐层特征，可以采用向量或者矩形等形式表示。所谓第一时序特征表示为目标行驶对象的第一感知特征表示经过第一时序神经网络处理后得到的具有时间特性的时序特征表示。所谓第二时序特征表示为其他行驶对象的第二感知特征表示经过第一时序神经网络处理后得到的具有时间特性的时序特征表示。

具体的，可以分别将第一感知特征表示，以及第二感知特征表示，输入至第一时序神经网络，经过第一时序神经网络编码处理，得到目标行驶对象的第一时序特征表示和其他行驶对象的第二时序特征表示。

S203，基于第一交互网络，根据第一时序特征表示和第二时序特征表示，确定目标行驶对象的轨迹交互特征表示。

本实施例中，交互网络用于提取特征在空间上的交互特性；第一交互网络用于提取时序特征在空间上的交互特征。所谓轨迹交互特征表示可以包括目标行驶对象与其他行驶对象之间的交互特征(互交互特征)，以及目标行驶对象自身的交互特征(即目标行驶对象的自交互特征)，可以采用向量或矩阵等形式表示。

一种可以方式，可以基于第一图注意力网络，根据第一时序特征表示和第二时序特征表示，确定第一加权交互特征表示；基于第二时序神经网络，根据第一加权交互特征表示，确定目标行驶对象的轨迹交互特征表示。

其中，所谓第一图注意力网络用于确定其他行驶对象对目标行驶对象的影响力，以及目标行驶对象对自身的影响力。所谓第一加权交互特征表示为基于第一图注意力网络所引入的影响力确定的交互特征，可以采用向量或矩阵等形式表示。所谓第二时序神经网络用于提取第一加权交互特征表示在时序上的相关性特征。

具体的，将目标行驶对象的第一时序特征表示和每个其他行驶对象的第二时序特征表示作为图的节点，不同行驶对象之间的交互作为连接节点的边，经过第一图注意力网络学习，得到各条边的权重，之后将各节点对应的时序特征表示与各节点对应权重的乘积，作为目标行驶对象的第一加权交互特征表示。之后，将第一加权交互特征表示输入至第二时序神经网络中，经过第二时序神经网络学习，得到目标行驶对象的轨迹交互特征表示。

可以理解的是，引入第一图注意力网络，可以更好的学习到目标行驶对象与其他行驶对象之间行驶轨迹的交互特性，同时，引入第二时序神经网络，可以捕获不同时间尺度上的不同行驶对象之间行驶轨迹的交互，可以更好的学习到不同行驶对象间行驶轨迹交互的时间相关性，从而使得所确定的目标行驶对象的轨迹特征表示更加丰富。

S204，根据第一时序特征表示和轨迹交互特征表示，确定目标行驶对象的轨迹特征表示。

具体的，将第一时序特征表示和轨迹交互特征表示进行拼接，将拼接后的特征表示作为目标行驶对象的轨迹特征表示。

S205，根据行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定行驶对象的场景交互特征表示。

S206，根据轨迹特征表示和场景交互特征表示，预测行驶对象的未来行驶轨迹。

本公开实施例的技术方案，通过基于多层感知机网络，分别对目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹进行编码，得到目标行驶对象的第一感知特征表示和其他行驶对象的第二感知特征表示，并基于第一时序神经网络，分别对第一感知特征表示，以及第二感知特征表示进行编码，得到目标行驶对象的第一时序特征表示和其他行驶对象的第二时序特征表示，之后基于第一交互网络，根据第一时序特征表示和第二时序特征表示，确定目标行驶对象的轨迹交互特征表示，并根据第一时序特征表示和轨迹交互特征表示，确定目标行驶对象的轨迹特征表示，进而根据行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定行驶对象的场景交互特征表示，最后根据轨迹特征表示和场景交互特征表示，预测行驶对象的未来行驶轨迹。上述技术方案，通过多层感知机网络、时序神经网络以及交互网络，来确定目标行驶对象的轨迹特征表示，使得所提取到的轨迹特征表示更加丰富。

图3是根据本公开实施例提供的又一种轨迹特征提取模型的结构示意图。本实施例在上述实施例的基础上，对上述轨迹特征提取模型的结构进一步优化，给出了轨迹特征提取模型的第一时序神经网络、第一图注意力网络和第二时序神经网络内部结构的一种具体介绍。具体的，该轨迹特征提取模型的第一时序神经网络包括多个第一子时序网络，该轨迹特征提取模型的第一交互网络中的第一图注意力网络包括多个第一子注意力网络，第一交互网络中的第二子时序神经网络包括多个第二子时序网络；进一步的，第一时序神经网络中的第一子时序网络与第一图注意力网络中的第一子注意力网络一一对应；第一图注意力网络中的第一子注意力网络与第二时序神经网络中的第二子时序网络一一对应；每一第一子时序网络的第一输出端连接该第一子时序网络的下一第一子时序网络，该第一子时序网络的第二输出端连接对应的第一子注意力网络，第一子注意力网络的输出端连接对应的第二子时序网络，每一第二子时序网络的第一输出端连接该第二子时序网络的下一第二子时序网络。可选的，子时序网络可以是长短期记忆网络(Long Short-Term Memory，LSTM)，子注意力网络可以是图注意力网络(graph attention networks，GAT)。

示例性的，如图3所示，轨迹特征提取模型3的第一时序神经网络20中包括T个第一子时序网络，即LSTM1-1至LSTM1-T。轨迹特征提取模型3的第一交互网络30中的第一图注意力网络310包括T个第一子注意力网络，即GAT1-1至GAT1-T。轨迹特征提取模型3的第一交互网络30中的第二时序神经网络320包括T个第二子时序网络，即LSTM2-1至LSTM2-T。且LSTM1-1与GAT1-1对应，LSTM1-2与GAT1-2对应，…LSTM1-T与GAT1-T对应；GAT1-1与LSTM2-1对应，GAT1-2与LSTM2-2对应，…GAT1-T与LSTM2-T对应。

针对每一LSTM1来说，其第一输出端A连接下一LSTM1的传递输入端C；该LSTM1的第二输出端B连接其对应的GAT1的输入端E；GAT1的输出端F连接GAT1对应的LSTM2的参数输入端D，LSTM2的第一输出端A连接下一LSTM2。

进一步的，轨迹特征提取模型3的多层感知机网络也包含多个子感知机网络，例如包含T个子感知机网络，即MLP-1-MLP-T；多层感知机网络的子感知机网络与第一时序神经网络中的第一子时序网络一一对应。以目标行驶对象为例，设定目标行驶对象当前已行驶轨迹包含多个时刻的轨迹点，将目标行驶对象当前已行驶轨迹中每一时刻的轨迹点输入至对应的子感知机网络中，得到目标行驶对象每一时刻的轨迹点对应第一感知特征表示。同理，可以得到其他行驶对象每一时刻的轨迹点对应的第二感知特征表示。

此时，每个LSTM1除传递输入端C外，还有一个参数输入端D，用于输入同一时刻的目标行驶对象的第一感知特征表示和其他行驶对象的第二感知特征表示。

具体的，结合图3，假设目标行驶对象和其他行驶对象的当前已行驶轨迹均包含T个时刻的轨迹点，以目标行驶对象为例，将T个时刻的轨迹点分别输入至对应的子感知机网络，比如第一时刻的轨迹点输入MLP-1，T时刻的轨迹点输入至MLP-T，得到每一时刻对应的第一感知特征表示，即得到T个第一感知特征表示。同理，对于每一其他行驶对象，通过多层感知机网络，可以得到该其他行驶对象对应的T个第二感知特征网络。也就是说，对于每一时刻来说，经过该时刻对应的子感知机网络后，会得到一个第一感知特征表示和至少一个第二感知特征表示。

以一个其他行驶对象为例进行说明。采用两个完全相同的第一时序网络20和20^/，分别对目标行驶对象的第一感知特征表示和其他行驶对象的第二感知特征表示进行处理。具体的，将同一时刻的目标行驶对象的第一感知特征表示输入至该时刻对应的第一时序神经网络20中的LSTM1中，并将该时刻的其他行驶对象的第二感知特征表示输入至对应的第一时序神经网络20^/中的LSTM1^/中。以目标行驶对象的第一感知特征表示输入至LSTM1-1为例，将MLP-1输出的第一感知特征表示输入至LSTM1-1的参数输入端D，经过LSTM1-1处理，LSTM1-1的输出端B输出第一时序特征表示，并将经过LSTM1-1得到的传递参数输入至LSTM1-2的传递输入端C。

将LSTM1-1输出的第一时序特征表示和LSTM1^/-1输出的第二时序特征表示输入至GAT1-1的输入端E，经过GAT1-1处理，GAT1-1的输出端F输出第一加权交互特征表示；然后将第一加权交互特征表示输入至LSTM2-1的参数输入端D，LSTM2-1对第一加权交互特征表示处理后，LSTM2-1的第一输出端A输出轨迹交互特征表示；…依次类推；最后得到LSTM2-T的输出端A输出的目标行驶对象的轨迹交互特征表示。

进而，将LSTM1-T的输出端A输出的第一时序特征表示，以及LSTM2-T的输出端A输出的目标行驶对象的轨迹交互特征表示，进行融合，得到目标行驶对象的轨迹特征表示。

同理，将MLP-1输出的第二感知特征表示输入并行且结构相同的第一时序神经网络20^/的LSTM1^/-1中，经过GAT1-1，LSTM2^/-1；…，依次类推。最后也可得到LSTM2^/-T的输出端A输出的其他行驶对象的轨迹交互特征表示。将LSTM1^/-T的输出端A输出的第二时序特征表示，以及第二时序神经网络320^/的LSTM2^/-T的输出端A输出的其他行驶对象的轨迹交互特征表示，进行融合，得到其他行驶对象的轨迹特征表示。

可以理解的是，本公开引入时序化建模的方法构建包括多个子时序网络的第一时序神经网络和第二时序神经网络，可以完整的分析行驶对象的整个行驶轨迹链路，挖掘出行驶对象的行驶轨迹的变化过程信息。同时每个第一子时序网络和第二子时序网络对应一个第一子注意力网络，可以准确的提取准确的加权交互特征。

在上述实施例的基础上，作为本公开的一种可选方式，根据行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定行驶对象的场景交互特征表示还可以是，根据目标行驶对象当前已行驶场景的全局场景图像，确定目标行驶对象的全局场景交互特征表示；根据目标行驶对象当前已行驶场景的局部场景图像，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，确定目标行驶对象的局部场景交互特征表示。

示例性的，可以对目标行驶对象当前已行驶场景的全局场景图像进行编码，以得到目标行驶对象的全局场景交互特征表示。例如可以基于全局特征提取网络，对目标行驶对象当前已行驶场景的全局场景图像进行特征提取，以得到目标行驶对象的全局场景交互特征表示。

示例性的，可以对目标行驶对象当前已行驶轨迹的局部场景图像，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，进行编码，分别得到第一编码特征表示和第二编码特征表示；之后基于第一编码特征表示和第二编码特征表示，来确定目标行驶对象的局部场景交互特征表示。

示例性的，还可以将全局场景交互特征表示和局部场景交互特征表示进行融合，以得到目标行驶对象的场景交互特征表示。

可以理解的是，引入局部场景交互特征表示和全局场景交互特征表示，充分考虑了局部场景条件和全局场景布局对行驶对象的行驶轨迹的影响，从而使得所预测到的行驶对象的未来行驶轨迹更加准确。

图4A是根据本公开实施例提供的又一种轨迹预测方法的流程图。本实施例在上述实施例的基础上，进一步对全局特征提取网络优化，可选的，如图4B所示，全局特征提取网络可以包括第一卷积神经网络、第三时序神经网络和第二图注意力网络；其中，第三时序神经网络包括T个第三子时序网络，即LSTM3-1，LSTM3-2，…，LSTM3-T。

进一步的，结合图4B，对“根据目标行驶对象当前已行驶场景的全局场景图像，确定目标行驶对象的全局场景交互特征表示”进一步优化，提供一种可选实施方案。如图4A所示，本实施例的轨迹预测方法可以包括：

S401，根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示。

S402，基于第一卷积神经网络，从目标行驶对象当前已行驶场景的全局场景图像中提取全局场景特征表示。

本实施例中，第一卷积神经网络用于提取全局场景图像的全局场景信息，例如可以是CNN。所谓全局场景特征表示用于表征全局场景的高维特征，可以采用向量或矩阵等形式表示。

具体的，将目标行驶对象当前已行驶场景的对应的每一时刻的全局场景图像输入至第一卷积神经网络，经过第一卷积神经网络学习，得到每一时刻全局场景特征表示。

S403，基于第三时序神经网络，对全局场景特征表示进行编码，得到时序全局特征表示。

本实施例中，第三时序神经网络用于学习全局场景特征在时序上的相关性。所谓时序全局特征表示用于表征全局场景特征在时序上的相关性特征，可以采用向量或矩阵等形式表示。

具体的，可以将每一时刻的全局场景特征输入至第三时序神经网络中的每个第三子时序网络，经过第三时序神经网络进行编码处理，得到每一时刻的时序全局特征表示。

S404，基于第二图注意力网络，根据时序全局特征表示，确定第二加权交互特征表示。

本实施例中，第二图注意力网络用于确定不同时刻的全局场景图像之间的相互影响力，以及每一时刻的全局场景图像的自身影响力，例如可以是GAT网络。所谓第二加权交互特征为基于第二图注意力网络所引入的影响力确定的交互特征，可以采用向量或矩阵等形式表示。

具体的，将各时刻的时序全局特征表示输入至第二图注意力网络，经过第二图注意力网络处理，得到各时刻对应的第二加权交互特征表示。

S405，根据时序全局特征表示和第二加权交互特征表示，确定目标行驶对象的全局场景交互特征表示。

本实施例中，全局场景交互特征表示用于表征目标行驶对象与全局场景之间的交互特征，可以采用向量或矩阵等形式表示。

具体的，将各时刻对用的第二加权交互特征表示进行拼接，得到总的第二加权交互特征表示；将总的第二加权交互特征表示，与最后一时刻对应的第三时序神经网络输出的时序全局特征表示进行拼接，得到目标行驶对象的全局场景交互特征表示。

S406，根据目标行驶对象当前已行驶场景的局部场景图像，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，确定目标行驶对象的局部场景交互特征表示。

S407，根据轨迹特征表示、全局场景交互特征表示和局部场景交互特征表示，预测行驶对象的未来行驶轨迹。

本公开实施例的技术方案，通过根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示，之后基于第一卷积神经网络，从目标行驶对象当前已行驶场景的全局场景图像中提取全局场景特征表示，并基于第三时序神经网络，对全局场景特征表示进行编码，得到时序全局特征表示，接着基于第二图注意力网络，根据时序全局特征表示，确定第二加权交互特征表示，进而根据时序全局特征表示和第二加权交互特征表示，确定目标行驶对象的全局场景交互特征表示，最后根据轨迹特征表示、全局场景交互特征表示和局部场景交互特征表示，预测行驶对象的未来行驶轨迹。上述技术方案，通过卷积神经网络、时序神经网络和图注意力网络，来提取全局场景交互特征，充分考虑了全局场景特征的时空信息，进一步丰富了全局场景特征交互特征，从而为行驶对象的未来行驶轨迹的预测提供了保障。

图5A是根据本公开实施例提供的再一种轨迹预测方法的流程图。本实施例在上述实施例的基础上，进一步对局部特征提取网络优化，可选的，如图5B所示，局部特征提取网络可以包括第二卷积神经网络、第四时序神经网络和第二交互网络，其中，第二交互网络包括第三图注意力网络和第五时序神经网络。

进一步的，结合图5B，对“根据目标行驶对象当前已行驶场景的局部场景图像，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，确定目标行驶对象的局部场景交互特征表示”进行详细解释说明，提供一种可选实施方案。如图5A所示，本实施例的轨迹预测方法可以包括：

S501，根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示。

S502，根据目标行驶对象当前已行驶场景的全局场景图像，确定所述目标行驶对象的全局场景交互特征表示。

S503，基于第二卷积神经网络，分别提取目标行驶对象当前已行驶场景的局部场景图像中的第一局部场景特征表示，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像中的第二局部场景特征表示。

本实施例中，第二卷积神经网络用于提取局部场景图像的局部场景信息，例如可以是CNN。所谓局部场景特征表示用于表征局部场景的高维特征，可以采用向量或矩阵等形式表示。进一步的，第一局部场景特征表示和第二局部特征场景表示用于区分目标行驶对象对应的局部场景特征表示和其他行驶对象对应的局部场景特征表示。

具体的，可以分别将目标行驶对象当前已行驶场景的局部场景图像，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，输入至第二卷积神经网络中，经过网络学习处理，得到目标行驶对象对应的第一局部场景特征表示和其他行驶对象对应的第二局部场景特征表示。

S504，基于第四时序神经网络，分别对第一局部场景特征表示，以及第二局部场景特征表示进行编码，得到第一局部场景特征表示对应的第一时序局部特征表示，以及第二局部场景特征表示对应的第二时序局部特征表示。

本实施例中，时序局部特征表示为基于局部场景特征表示所提取的局部场景图像的隐层特征，可以采用向量或者矩形等形式表示。所谓第一时序局部特征表示为目标行驶对象的第一局部场景特征表示经过第四时序神经网络处理后得到的具有时间特性的时序局部特征表示。所谓第二时序局部特征表示为其他行驶对象的第二局部场景特征表示经过第四时序神经网络处理后得到的具有时间特性的时序局部特征表示。

具体的，分别将第一局部场景特征表示，以及第二局部场景特征表示输入至第四时序神经网络，经过第四时序神经网络编码处理，得到第一局部场景特征表示对应的第一时序局部特征表示，以及第二局部场景特征表示对应的第二时序局部特征表示。

S505，基于第二交互网络，根据第一时序局部特征表示和第二时序局部特征表示，确定时序交互特征表示。

本实施例中，第二交互网络用于提取时序局部特征表示的交互特征。所谓时序交互特征表示可以包括目标行驶对象的局部场景与其他行驶对象的局部场景之间的交互特征(互交互特征)，以及目标行驶对象的局部场景自身的交互特征(即目标行驶对象的局部场景的自交互特征)，可以采用向量或矩阵等形式表示。

一种可选方式，可以基于第三图注意力网络，根据第一时序局部特征表示和第二时序局部特征表示，确定第三加权交互特征表示；基于第五时序神经网络，根据第三加权交互特征表示，确定时序交互特征表示。

其中，所谓第三图注意力网络用于确定其他行驶对象的局部场景对目标行驶对象的局部场景的影响力，以及目标行驶对象的局部场景对自身的影响力。所谓第三加权交互特征表示为基于第三图注意力网络所引入的影响力确定的交互特征，可以采用向量或矩阵等形式表示。所谓第五时序神经网络用于提取第三加权交互特征表示在时序上的相关性特征。

具体的，将第一时序局部特征表示和第二时序局部特征表示作为图的节点，不同时序局部特征表示之间的交互作为连接节点的边，经过第三图注意力网络学习，得到各条边的权重，之后将各节点对应的时序局部特征表示与各节点对应权重的乘积，作为第三加权交互特征表示。将第三加权交互特征表示输入至第五时序神经网络中，经过第五时序神经网络学习，得到时序交互特征表示。

可以理解的是，引入第三图注意力网络，可以更好的学习到目标行驶对象与其他行驶对象之间局部场景的交互特征，同时，引入第五时序神经网络，可以捕获加权交互特征在不同时间尺度上的特性，从而使得所确定局部场景交互特征更加丰富。

S506，根据第一时序局部特征表示和时序交互特征表示，确定目标行驶对象的局部场景交互特征表示。

具体的，将第一时序特征表示和时序交互特征表示进行拼接，将拼接后的特征表示作为目标行驶对象的局部场景交互特征表示。

S507，根据轨迹特征表示、全局场景交互特征表示和局部场景交互特征表示，预测行驶对象的未来行驶轨迹。

本公开实施例的技术方案，通过根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示，之后基于第二卷积神经网络，分别提取目标行驶对象当前已行驶场景的局部场景图像中的第一局部场景特征表示，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像中的第二局部场景特征表示，并基于第四时序神经网络，分别对第一局部场景特征表示，以及第二局部场景特征表示进行编码，得到第一局部场景特征表示对应的第一时序局部特征表示，以及第二局部场景特征表示对应的第二时序局部特征表示，接着基于第二交互网络，根据第一时序局部特征表示和第二时序局部特征表示，确定时序交互特征表示，然后根据第一时序局部特征表示和时序交互特征表示，确定目标行驶对象的局部场景交互特征表示，进而根据轨迹特征表示、全局场景交互特征表示和局部场景交互特征表示，预测行驶对象的未来行驶轨迹。上述技术方案，通过卷积神经网络、时序神经网络以及交互网络，来确定目标行驶对象的局部场景交互特征，进一步丰富了局部场景特征。

图6是根据本公开实施例提供的又一种局部特征提取网络的结构示意图。本实施例在上述实施例的基础上，对上述局部特征提取模型的结构进一步优化，给出了局部特征提取模型的第四时序神经网络、第三图注意力网络和第五时序神经网络内部结构的一种具体介绍。具体的，该局部特征提取模型的第四时序神经网络包括多个第四子时序网络，局部特征提取模型的第二交互网络中的第三图注意力网络包括多个第三子注意力网络，第二交互网络中的第五子时序神经网络包括多个第五子时序网络，进一步的，第四时序神经网络中的第四子时序网络与第三图注意力网络中的第三子注意力网络一一对应；第三图注意力网络中的第三子注意力网络与第五时序神经网络中的第五子时序网络一一对应；每一第四子时序网络的第一输出端连接该第四子时序网络的下一第四子时序网络，该第四子时序网络的第二输出端连接对应的第三子注意力网络，第三子注意力网络的输出端连接对应的第五子时序网络，每一第五子时序网络的第一输出端连接该第五子时序网络的下一第五子时序网络。可选的，子时序网络可以是长短期记忆网络(Long Short-Term Memory，LSTM)，子注意力网络可以是图注意力网络(graph attention networks，GAT)。

示例性的，如图6所示，局部特征提取模型6的第四时序神经网络40中包括T个第四子时序网络，即LSTM4-1至LSTM4-T。局部特征提取模型的第二交互网络50中的第三图注意力网络510包括T个第三子注意力网络，即GAT3-1至GAT3-T。局部特征提取模型的第二交互网络50中的第五时序神经网络520包括T个第五子时序网络，即LSTM5-1至LSTM5-T。且LSTM4-1与GAT3-1对应，LSTM4-2与GAT3-2对应，…LSTM4-T与GAT3-T对应；GAT3-1与LSTM2-1对应，GAT3-2与LSTM2-2对应，…GAT3-T与LSTM5-T对应。

针对每一LSTM4来说，其第一输出端A连接下一LSTM4的传递输入端C；该LSTM4的第二输出端B连接其对应的GAT3的输入端E；GAT3的输出端F连接GAT3对应的LSTM5的参数输入端D，LSTM5的第一输出端A连接下一LSTM5。

进一步的，轨迹特征提取模型6的第二卷积神经网络可以包含多个第二子卷积网络，例如包含T个第二子卷积网络，即CNN2-1至CNN2-T；第二卷积神经网络的第二子神经网络与第四时序神经网络中的第四子时序网络一一对应。以目标行驶对象当前已行驶场景的局部场景图像为例，目标行驶对象当前已行驶场景的局部场景图像为T个时刻的局部场景图像，将目标行驶对象当前已行驶场景中每一时刻的局部场景图像，输入至对应的第二子神经网络中，得到目标行驶对象每一时刻的局部场景图像对应第一局部场景特征表示。同理，可以得到其他行驶对象每一时刻的局部场景图像对应的第二局部场景特征表示。

此时，每个LSTM4除传递输入端C外，还有一个参数输入端D，用于输入同一时刻的目标行驶对象的第一局部场景特征表示和其他行驶对象的第二局部场景特征表示。

具体的，结合图6，假设目标行驶对象和其他行驶对象的局部场景图像均包含T个时刻对应的T张局部场景图像，以目标行驶对象为例，将T个时刻对应的T张局部场景图像分别输入至对应的第二子卷积网络，比如第一时刻对应的局部场景图像输入CNN2-1，T时刻对应的局部场景图像输入至CNN2-T，得到每一时刻对应局部场景图像的第一局部场景特征表示，即得到T个第一局部场景特征表示。同理，对于每一其他行驶对象，通过第二卷积神经网络，可以得到该其他行驶对象对应的T个第二局部场景特征网络。也就是说，对于每一时刻来说，经过该时刻对应的第二子卷积网络后，会得到一个第一局部场景特征表示和至少一个第二局部场景特征表示。

以一个其他行驶对象为例进行说明。采用两个完全相同的第四时序网络40和40^/，分别对目标行驶对象的第一局部场景特征表示和其他行驶对象的第二局部场景特征表示进行处理。具体的，将同一时刻的目标行驶对象对应的第一局部场景特征表示，输入至第四时序神经网络40中的每一LSTM4中，并将该时刻的其他行驶对象的第二局部场景特征表示输入对应的第四时序神经网络40^/中的每一LSTM4^/中。具体以LSTM4-1为例，将第一局部场景特征表示输入至LSTM4-1的参数输入端D，经过LSTM4-1处理，LSTM4-1的输出端B输出第一局部时序特征表示，并将经过LSTM4-1得到的传递参数输入至LSTM4-2的传递输入端C。

将LSTM4-1输出的第一局部时序特征表示输入至GAT3-1的输入端E，经过GAT3-1处理，GAT3-1的输出端F输出第三加权交互特征表示；然后将第三加权交互特征表示输入至LSTM5-1的参数输入端D，LSTM5-1对第三加权交互特征表示处理后，LSTM5-1的第一输出端A输出时序交互特征表示；…依次类推，最后得到LSTM4-T的输出端A输出的目标行驶对象的第一局部时序特征表示。

进而，将LSTM4-T的输出端A输出的第一时序局部特征表示，以及LSTM5-T的输出端A输出的目标行驶对象的时序交互特征表示，进行融合，得到目标行驶对象的局部场景交互特征表示。

同理，将CNN2-1输出的第二局部场景特征表示输入至并行且结构相同的第四时序神经网络40^/中LSTM4^/-1中，经过GAT3-1，LSTM5^/-1；…，依次类推。最后可得到第三时序神经网络520^/的LSTM5^/-T的输出端A输出的其他行驶对象的轨迹交互特征表示。将LSTM4^/-T的输出端A输出的第二时序局部特征表示，以及LSTM5^/-T的输出端A输出的其他行驶对象的时序交互特征表示，进行融合，得到其他行驶对象的局部场景交互特征表示。

可以理解的是，本公开引入时序化建模的方法构建包括多个子时序网络的第四时序神经网络和第五时序神经网络，可以完整的分析行驶对象的已行驶轨迹对应的局部场景链路，挖掘出行驶对象在行驶过程中的局部场景的变化过程信息；同时每个第四子时序网络和第五子时序网络对应一个第三子注意力网络，可以准确的提取准确的局部场景的加权交互特征。从而可以提取到更加丰富的局部场景特征。

需要说明的是，在本实施例中的行驶对象为行人的情况下，近邻区的行人和远处的行人对该行人未来行动的决定有着不同的影响，在时空域中，局部场景和全局场景也会对该行人运动决策产生不同的影响。本公开上述方案充分解决了这一多尺度问题，即充分考虑了人与人、以及人和场景的交互在时序上的相关性，进而使得行人未来轨迹的预测更精准。

图7是根据本公开实施例提供的一种轨迹预测装置的结构示意图。本公开实施例用于如何进行轨迹预测的情况，尤其适用于在自动驾驶场景中，如何进行轨迹预测的情况。该装置可以采用软件和/或硬件的方式实现，并可集成于承载轨迹预测功能的电子设备中，比如自动驾驶车辆中。如图7所示，本实施例的轨迹预测装置700包括：

轨迹特征确定模块701，用于根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示；

场景交互特征确定模块702，用于根据行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定行驶对象的场景交互特征表示；

行驶轨迹预测模块703，用于根据轨迹特征表示和场景交互特征表示，预测行驶对象的未来行驶轨迹。

本公开实施例的技术方案，通过根据行驶对象的当前已行驶轨迹，确定行驶对象的轨迹特征表示，之后根据行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定行驶对象的场景交互特征表示，进而根据轨迹特征表示和场景交互特征表示，预测行驶对象的未来行驶轨迹。上述技术方案，通过结合当前已行驶轨迹、全局场景图像和局部场景图像等多种数据源，使得所预测的未来行驶轨迹更加精准和合理。

进一步地，轨迹特征确定模块701包括：

轨迹特征确定单元，用于根据目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹，确定目标行驶对象的轨迹特征表示。

进一步地，轨迹特征确定单元包括：

第二感知特征确定子单元，用于基于多层感知机网络，分别对目标行驶对象的当前已行驶轨迹，以及目标行驶对象周围其他行驶对象的当前已行驶轨迹进行编码，得到目标行驶对象的第一感知特征表示和其他行驶对象的第二感知特征表示；

第二时序特征确定子单元，用于基于第一时序神经网络，分别对第一感知特征表示，以及第二感知特征表示进行编码，得到目标行驶对象的第一时序特征表示和其他行驶对象的第二时序特征表示；

轨迹交互特征确子单元，用于基于第一交互网络，根据第一时序特征表示和第二时序特征表示，确定目标行驶对象的轨迹交互特征表示；

轨迹特征确定子单元，用于根据第一时序特征表示和轨迹交互特征表示，确定目标行驶对象的轨迹特征表示。

进一步地，第一交互网络包括第一图注意力网络和第二时序神经网络；相应的，轨迹交互特征确子单元具体用于：

基于第一图注意力网络，根据第一时序特征表示和第二时序特征表示，确定第一加权交互特征表示；

基于第二时序神经网络，根据第一加权交互特征表示，确定目标行驶对象的轨迹交互特征表示。

进一步地，第四时序神经网络包括多个第四子时序网络；第五时序网络包括多个第五子时序网络；

第一时序神经网络中的第一子时序网络与第一图注意力网络中的第一子注意力网络一一对应；

第一图注意力网络中的第一子注意力网络与第二时序神经网络中的第二子时序网络一一对应；

每一第一子时序网络的第一输出端连接该第一子时序网络的下一第一子时序网络，该第一子时序网络的第二输出端连接对应的第一子注意力网络，第一子注意力网络的输出端连接对应的第二子时序网络，每一第二子时序网络的第一输出端连接第二子时序网络的下一第二子时序网络。

进一步地，场景交互特征确定模块702，包括：

全局交互特征确定单元，用于根据目标行驶对象当前已行驶场景的全局场景图像，确定目标行驶对象的全局场景交互特征表示；

局部交互特征确定单元，用于根据目标行驶对象当前已行驶场景的局部场景图像，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，确定目标行驶对象的局部场景交互特征表示。

进一步地，全局交互特征确定单元具体用于：

基于第一卷积神经网络，从目标行驶对象当前已行驶场景的全局场景图像中提取全局场景特征表示；

基于第三时序神经网络，对全局场景特征表示进行编码，得到时序全局特征表示；

基于第二图注意力网络，根据时序全局特征表示，确定第二加权交互特征表示；

根据时序全局特征表示和第二加权交互特征表示，确定目标行驶对象的全局场景交互特征表示。

进一步地，局部交互特征确定单元，包括：

第二局部特征确定子单元，用于基于第二卷积神经网络，分别提取目标行驶对象当前已行驶场景的局部场景图像中的第一局部场景特征表示，以及目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像中的第二局部场景特征表示；

第二时序局部特征确定子单元，用于基于第四时序神经网络，分别对第一局部场景特征表示，以及第二局部场景特征表示进行编码，得到第一局部场景特征表示对应的第一时序局部特征表示，以及第二局部场景特征表示对应的第二时序局部特征表示；

时序交互特征确定子单元，用于基于第二交互网络，根据第一时序局部特征表示和第二时序局部特征表示，确定时序交互特征表示；

局部交互特征确定子单元，用于根据第一时序局部特征表示和时序交互特征表示，确定目标行驶对象的局部场景交互特征表示。

进一步地，第二交互网络包括第三图注意力网络和第五时序神经网络；相应的，时序交互特征确定子单元具体用于：

基于第三图注意力网络，根据第一时序局部特征表示和第二时序局部特征表示，确定第三加权交互特征表示；

基于第五时序神经网络，根据第三加权交互特征表示，确定时序交互特征表示。

进一步地，第四时序神经网络包括多个第四子时序网络；第五时序网络包括多个第五子时序网络；

第四时序神经网络中的第四子时序网络与第三图注意力网络中的第三子注意力网络一一对应；

第三图注意力网络中的第三子注意力网络与第五时序神经网络中的第五子时序网络一一对应；

每一第四子时序网络的第一输出端连接该第四子时序网络的下一第四子时序网络，该第四子时序网络的第二输出端连接对应的第三子注意力网络，第三子注意力网络的输出端连接对应的第五子时序网络，每一第五子时序网络的第一输出端连接第五子时序网络的下一第五子时序网络。

本公开的技术方案中，所涉及的全局场景图像和局部场景图像等的获取、存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序，来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如轨迹预测方法。例如，在一些实施例中，轨迹预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM 803并由计算单元801执行时，可以执行上文描述的轨迹预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行轨迹预测方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术及机器学习/深度学习技术、大数据处理技术、知识图谱技术等几大方向。

云计算(cloud computing)，指的是通过网络接入弹性可扩展的共享物理或虚拟资源池，资源可以包括服务器、操作系统、网络、软件、应用和存储设备等，并可以按需、自服务的方式对资源进行部署和管理的技术体系。通过云计算技术，可以为人工智能、区块链等技术应用、模型训练提供高效强大的数据处理能力。

另外，本发明实施例中还提供了一种自动驾驶车辆，包括车体，所述车体上设置有本发明上述实施例提供的电子设备。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种轨迹预测方法，包括：

根据行驶对象的当前已行驶轨迹，确定所述行驶对象的轨迹特征表示；

根据所述行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定所述行驶对象的场景交互特征表示；

根据所述轨迹特征表示和所述场景交互特征表示，预测所述行驶对象的未来行驶轨迹。

2.根据权利要求1所述的方法，其中，所述根据行驶对象的当前已行驶轨迹，确定所述行驶对象的轨迹特征表示，包括：

根据目标行驶对象的当前已行驶轨迹，以及所述目标行驶对象周围其他行驶对象的当前已行驶轨迹，确定所述目标行驶对象的轨迹特征表示。

3.根据权利要求2所述的方法，其中，所述根据目标行驶对象的当前已行驶轨迹，以及所述目标行驶对象周围其他行驶对象的当前已行驶轨迹，确定所述目标行驶对象的轨迹特征表示，包括：

基于多层感知机网络，分别对目标行驶对象的当前已行驶轨迹，以及所述目标行驶对象周围其他行驶对象的当前已行驶轨迹进行编码，得到所述目标行驶对象的第一感知特征表示和所述其他行驶对象的第二感知特征表示；

基于第一时序神经网络，分别对所述第一感知特征表示，以及所述第二感知特征表示进行编码，得到所述目标行驶对象的第一时序特征表示和所述其他行驶对象的第二时序特征表示；

基于第一交互网络，根据所述第一时序特征表示和所述第二时序特征表示，确定所述目标行驶对象的轨迹交互特征表示；

根据所述第一时序特征表示和所述轨迹交互特征表示，确定所述目标行驶对象的轨迹特征表示。

4.根据权利要求3所述的方法，其中，所述第一交互网络包括第一图注意力网络和第二时序神经网络；

所述基于第一交互网络，根据所述第一时序特征表示和所述第二时序特征表示，确定所述目标行驶对象的轨迹交互特征表示，包括：

基于所述第一图注意力网络，根据所述第一时序特征表示和所述第二时序特征表示，确定第一加权交互特征表示；

基于所述第二时序神经网络，根据所述第一加权交互特征表示，确定所述目标行驶对象的轨迹交互特征表示。

5.根据权利要求4所述的方法，其中，所述第一时序神经网络包括多个第一子时序网络；所述第二时序网络包括多个第二子时序网络；

所述第一时序神经网络中的第一子时序网络与所述第一图注意力网络中的第一子注意力网络一一对应；

所述第一图注意力网络中的第一子注意力网络与所述第二时序神经网络中的第二子时序网络一一对应；

每一第一子时序网络的第一输出端连接该第一子时序网络的下一第一子时序网络，该第一子时序网络的第二输出端连接对应的第一子注意力网络，所述第一子注意力网络的输出端连接对应的第二子时序网络，每一第二子时序网络的第一输出端连接该第二子时序网络的下一第二子时序网络。

6.根据权利要求1所述的方法，其中，所述根据所述行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定所述行驶对象的场景交互特征表示，包括：

根据目标行驶对象当前已行驶场景的全局场景图像，确定所述目标行驶对象的全局场景交互特征表示；

根据目标行驶对象当前已行驶场景的局部场景图像，以及所述目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，确定所述目标行驶对象的局部场景交互特征表示。

7.根据权利要求6所述的方法，其中，所述根据目标行驶对象当前已行驶场景的全局场景图像，确定所述目标行驶对象的全局场景交互特征表示，包括：

基于第一卷积神经网络，从目标行驶对象当前已行驶场景的全局场景图像中提取全局场景特征表示；

基于第三时序神经网络，对所述全局场景特征表示进行编码，得到时序全局特征表示；

基于第二图注意力网络，根据所述时序全局特征表示，确定第二加权交互特征表示；

根据所述时序全局特征表示和所述第二加权交互特征表示，确定所述目标行驶对象的全局场景交互特征表示。

8.根据权利要求6所述的方法，其中，所述根据目标行驶对象当前已行驶场景的局部场景图像，以及所述目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，确定所述目标行驶对象的局部场景交互特征表示，包括：

基于第二卷积神经网络，分别提取目标行驶对象当前已行驶场景的局部场景图像中的第一局部场景特征表示，以及所述目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像中的第二局部场景特征表示；

基于第四时序神经网络，分别对所述第一局部场景特征表示，以及所述第二局部场景特征表示进行编码，得到所述第一局部场景特征表示对应的第一时序局部特征表示，以及第二局部场景特征表示对应的第二时序局部特征表示；

基于第二交互网络，根据所述第一时序局部特征表示和所述第二时序局部特征表示，确定所述时序交互特征表示；

根据所述第一时序局部特征表示和所述时序交互特征表示，确定所述目标行驶对象的局部场景交互特征表示。

9.根据权利要求8所述的方法，其中，所述第二交互网络包括第三图注意力网络和第五时序神经网络；

所述基于第二交互网络，根据所述第一时序局部特征表示和所述第二时序局部特征表示，确定所述时序交互特征表示，包括：

基于所述第三图注意力网络，根据所述第一时序局部特征表示和所述第二时序局部特征表示，确定第三加权交互特征表示；

基于所述第五时序神经网络，根据所述第三加权交互特征表示，确定所述时序交互特征表示。

10.根据权利要求9所述的方法，其中，所述第四时序神经网络包括多个第四子时序网络；所述第五时序网络包括多个第五子时序网络；

所述第四时序神经网络中的第四子时序网络与所述第三图注意力网络中的第三子注意力网络一一对应；

所述第三图注意力网络中的第三子注意力网络与所述第五时序神经网络中的第五子时序网络一一对应；

每一第四子时序网络的第一输出端连接该第四子时序网络的下一第四子时序网络，该第四子时序网络的第二输出端连接对应的第三子注意力网络，所述第三子注意力网络的输出端连接对应的第五子时序网络，每一第五子时序网络的第一输出端连接该第五子时序网络的下一第五子时序网络。

11.一种轨迹预测装置，包括：

轨迹特征确定模块，用于根据行驶对象的当前已行驶轨迹，确定所述行驶对象的轨迹特征表示；

场景交互特征确定模块，用于根据所述行驶对象当前已行驶场景的全局场景图像和局部场景图像，确定所述行驶对象的场景交互特征表示；

行驶轨迹预测模块，用于根据所述轨迹特征表示和所述场景交互特征表示，预测所述行驶对象的未来行驶轨迹。

12.根据权利要求11所述的装置，其中，所述轨迹特征确定模块包括：

轨迹特征确定单元，用于根据目标行驶对象的当前已行驶轨迹，以及所述目标行驶对象周围其他行驶对象的当前已行驶轨迹，确定所述目标行驶对象的轨迹特征表示。

13.根据权利要求12所述的装置，其中，所述轨迹特征确定单元包括：

第二感知特征确定子单元，用于基于多层感知机网络，分别对目标行驶对象的当前已行驶轨迹，以及所述目标行驶对象周围其他行驶对象的当前已行驶轨迹进行编码，得到所述目标行驶对象的第一感知特征表示和所述其他行驶对象的第二感知特征表示；

第二时序特征确定子单元，用于基于第一时序神经网络，分别对所述第一感知特征表示，以及所述第二感知特征表示进行编码，得到所述目标行驶对象的第一时序特征表示和所述其他行驶对象的第二时序特征表示；

轨迹交互特征确子单元，用于基于第一交互网络，根据所述第一时序特征表示和所述第二时序特征表示，确定所述目标行驶对象的轨迹交互特征表示；

轨迹特征确定子单元，用于根据所述第一时序特征表示和所述轨迹交互特征表示，确定所述目标行驶对象的轨迹特征表示。

14.根据权利要求13所述的装置，其中，所述第一交互网络包括第一图注意力网络和第二时序神经网络；

所述轨迹交互特征确子单元具体用于：

基于所述第一图注意力网络，根据所述第一时序特征表示和所述第二时序特征表示，确定第一加权交互特征表示；

基于所述第二时序神经网络，根据所述第一加权交互特征表示，确定所述目标行驶对象的轨迹交互特征表示。

15.根据权利要求14所述的装置，其中，所述第一时序神经网络包括多个第一子时序网络；所述第二时序网络包括多个第二子时序网络；

所述第一时序神经网络中的第一子时序网络与所述第一图注意力网络中的第一子注意力网络一一对应；

所述第一图注意力网络中的第一子注意力网络与所述第二时序神经网络中的第二子时序网络一一对应；

每一第一子时序网络的第一输出端连接该第一子时序网络的下一第一子时序网络，该第一子时序网络的第二输出端连接对应的第一子注意力网络，所述第一子注意力网络的输出端连接对应的第二子时序网络，每一第二子时序网络的第一输出端连接该第二子时序网络的下一第二子时序网络。

16.根据权利要求11所述的装置，其中，所述场景交互特征确定模块，包括：

全局交互特征确定单元，用于根据目标行驶对象当前已行驶场景的全局场景图像，确定所述目标行驶对象的全局场景交互特征表示；

局部交互特征确定单元，用于根据目标行驶对象当前已行驶场景的局部场景图像，以及所述目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像，确定所述目标行驶对象的局部场景交互特征表示。

17.根据权利要求16所述的装置，其中，所述全局交互特征确定单元具体用于：

基于第一卷积神经网络，从目标行驶对象当前已行驶场景的全局场景图像中提取全局场景特征表示；

基于第三时序神经网络，对所述全局场景特征表示进行编码，得到时序全局特征表示；

基于第二图注意力网络，根据所述时序全局特征表示，确定第二加权交互特征表示；

根据所述时序全局特征表示和所述第二加权交互特征表示，确定所述目标行驶对象的全局场景交互特征表示。

18.根据权利要求16所述的装置，其中，所述局部交互特征确定单元，包括：

第二局部特征确定子单元，用于基于第二卷积神经网络，分别提取目标行驶对象当前已行驶场景的局部场景图像中的第一局部场景特征表示，以及所述目标行驶对象周围其他行驶对象当前已行驶场景的局部场景图像中的第二局部场景特征表示；

第二时序局部特征确定子单元，用于基于第四时序神经网络，分别对所述第一局部场景特征表示，以及所述第二局部场景特征表示进行编码，得到所述第一局部场景特征表示对应的第一时序局部特征表示，以及第二局部场景特征表示对应的第二时序局部特征表示；

时序交互特征确定子单元，用于基于第二交互网络，根据所述第一时序局部特征表示和所述第二时序局部特征表示，确定所述时序交互特征表示；

局部交互特征确定子单元，用于根据所述第一时序局部特征表示和所述时序交互特征表示，确定所述目标行驶对象的局部场景交互特征表示。

19.根据权利要求18所述的装置，其中，所述第二交互网络包括第三图注意力网络和第五时序神经网络；

所述时序交互特征确定子单元具体用于：

基于所述第三图注意力网络，根据所述第一时序局部特征表示和所述第二时序局部特征表示，确定第三加权交互特征表示；

基于所述第五时序神经网络，根据所述第三加权交互特征表示，确定所述时序交互特征表示。

20.根据权利要求19所述的装置，其中，所述第四时序神经网络包括多个第四子时序网络；所述第五时序网络包括多个第五子时序网络；

所述第四时序神经网络中的第四子时序网络与所述第三图注意力网络中的第三子注意力网络一一对应；

所述第三图注意力网络中的第三子注意力网络与所述第五时序神经网络中的第五子时序网络一一对应；

每一第四子时序网络的第一输出端连接该第四子时序网络的下一第四子时序网络，该第四子时序网络的第二输出端连接对应的第三子注意力网络，所述第三子注意力网络的输出端连接对应的第五子时序网络，每一第五子时序网络的第一输出端连接该第五子时序网络的下一第五子时序网络。

21.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的轨迹预测方法。

22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-10中任一项所述的轨迹预测方法。

23.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-10中任一项所述的轨迹预测方法。

24.一种自动驾驶车辆，包括如权利要求21所述的电子设备。

Images