CN113177470B - 行人轨迹预测方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提供一种行人轨迹预测方法、装置、设备及存储介质，构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，空间图包括目标节点以及各个目标节点之间的连接边。根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，节点属性包括目标对象的场景特征和轨迹特征，连接边属性包括两个目标对象之间的交互强度。根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系。根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。将场景特征和轨迹特征作为节点属性，根据节点属性和连接边属性进行交互强度优化，得到最终空间属性值，提高了复杂场景下的行人轨迹预测结果的准确性。

Description

行人轨迹预测方法、装置、设备及存储介质

技术领域

本申请涉及内容制作排版领域，提出了一种行人轨迹预测方法、装置、设备及存储介质。

背景技术

行人轨迹预测是一个非常热门的研究方向，广泛应用于自动驾驶，智慧城市建设以及监控系统等各领域中。

目前，行人轨迹预测方法将行人作为时空图的节点，节点与节点之间的连接边表示行人之间的交互关系，采用欧氏距离的倒数来衡量两个行人的交互程度，通过卷积运算获取每个行人的时间依赖关系，进而预测未来时刻的行人轨迹。

然而，仅用行人间的距离远近来衡量空间上两个行人的交互程度，无法准确预测复杂场景下的行人轨迹。

发明内容

本申请提供一种行人轨迹预测方法、装置、设备及存储介质，用以解决现有技术无法准确预测复杂场景下的行人轨迹的问题。

第一方面，本申请提供一种行人轨迹预测方法，方法包括：

构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，空间图包括目标节点以及各个目标节点之间的连接边，其中，目标节点用于表征目标对象，连接边用于表征各个目标对象之间的交互关系；

根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，节点属性包括目标对象的场景特征和轨迹特征，连接边属性包括两个目标对象之间的交互强度；

根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系；

根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。

可选地，根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，包括：

根据节点属性确定第一连接边属性，第一连接边属性为第一阶段两个目标对象之间的交互强度；

根据第一连接边属性确定第一节点属性，第一节点属性为第一阶段各个目标对象的节点属性；

根据第一节点属性确定第二连接边属性，第二连接边属性为第二阶段两个目标对象之间的交互强度；

根据第二连接边属性确定最终空间属性值，最终空间属性值为第二阶段各个目标对象的节点属性。

可选地，根据节点属性确定第一连接边属性，包括：

根据第一公式计算获得第一连接边属性，第一公式包括：

其中，

表示t时刻下目标对象i和目标对象j之间的连接边的第一连接边属性，

表示t时刻下目标对象i的节点属性，

表示t时刻下目标对象j的节点属性，

表示t时刻下目标对象i和目标对象j之间的欧式距离。

可选地，根据第一连接边属性确定第一节点属性，包括：

根据第二公式计算获得第一节点属性，第二公式包括：

其中，V₍₁₎表示观测序列长度下所有目标对象的第一节点属性，σ(·)是激活函数，Λ＝{Λ^t|t∈{1,…,T_obs}}表示观测序列长度下Λ^t的集合，Λ^t是A^t+I的节点度矩阵的对角矩阵，A^t是由

组成的矩阵，I表示自身连接，T_obs表示观测序列长度，A＝{A^t|t∈{1,…,T_obs}}表示观测序列长度下A^t的集合，

表示标准化拉普拉斯矩阵，V＝{V^t|t∈{1,…,T_obs}}表示观测序列长度下V^t的集合，

表示

的集合，N表示目标对象数量，W₁表示线性变换的权重矩阵。

可选地，根据第一节点属性确定第二连接边属性，包括：

根据第三公式计算获得第二连接边属性，第三公式包括：

其中，

表示t时刻下目标对象i和目标对象j之间的连接边的第二连接边属性，a表示自注意机制的权向量，W₂和W₃表示线性变换的共享权值矩阵，||表示拼接过程，

表示t时刻下目标对象i的第一节点属性，

表示t时刻下目标对象j的第一节点属性，

表示t时刻下目标对象q的第一节点属性，N表示目标对象数量。

可选地，根据第二连接边属性确定最终空间属性值，包括：

根据第四公式计算获得最终空间属性值，第四公式包括：

其中，

表示t时刻下目标对象i的最终空间属性值，K表示多头注意的数量，

表示t时刻下第k次求取的

表示第k次求取的可学习的线性变换相应的权重矩阵，N表示目标对象数量，j表示任一目标对象。

第二方面，本申请提供一种行人轨迹预测装置，装置包括：

构建模块，用于构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，空间图包括目标节点以及各个目标节点之间的连接边，其中，目标节点用于表征目标对象，连接边用于表征各个目标对象之间的交互关系；

处理模块，用于根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，节点属性包括目标对象的场景特征和轨迹特征，连接边属性包括两个目标对象之间的交互强度；

处理模块，还用于根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系；

处理模块，还用于根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。

第三方面，本申请提供一种电子设备，包括：存储器，处理器；

存储器；用于存储处理器可执行指令的存储器；

处理器，用于根据存储器存储的可执行指令，实现第一方面及可选方案涉及的行人轨迹预测方法。

第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现第一方面及可选方案涉及的行人轨迹预测方法。

第五方面，本申请提供一种计算机程序产品，包括指令，该指令被处理器执行时实现第一方面及可选方案涉及的行人轨迹预测方法。

本申请提供一种行人轨迹预测方法、装置、设备及存储介质，构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，空间图包括目标节点以及各个目标节点之间的连接边。根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，节点属性包括目标对象的场景特征和轨迹特征，连接边属性包括两个目标对象之间的交互强度。根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系。根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。将场景特征和轨迹特征作为节点属性，根据节点属性和连接边属性进行交互强度优化，得到最终空间属性值，提高了复杂场景下的行人轨迹预测结果的准确性。

附图说明

图1为本申请提供的一种行人轨迹预测方法的流程示意图；

图2为本申请提供的一种行人轨迹预测方法的流程示意图；

图3为本申请提供的一种行人轨迹预测方法的流程示意图；

图4为本申请提供的一种交互权重优化第一阶段和第二阶段的示意图；

图5为本申请提供的一种时域卷积网络的示意图；

图6为本申请提供的一种行人轨迹预测装置的结构示意图；

图7为本申请提供的一种电子设备的硬件结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

行人轨迹预测是一个非常热门的研究方向，广泛应用于自动驾驶，智慧城市建设以及监控系统等各领域中。在早期工作中，研究者们多采用传统方法来预测，例如Helbing和Molnar提出了一个包含吸引力和排斥力的社会作用行人运动模型，首次提出行人间的相互作用对行人轨迹的影响。后来的研究发现，仅仅依靠吸引和排斥作用是无法充分建模行人间的相互作用的。因此，研究者们提出了一些手工提取特征的方法，例如连续体动力学，离散选择框架等等。近年来，随着深度学习的发展，大家开始尝试利用神经网络来预测行人轨迹。常见的模型包括循环神经网络(Recurrent Neural Network，简称：RNN)，生成对抗网络(Generative Adversarial Networks，简称：GAN)，注意力机制(Attention Mechanism)，图神经网络(Graph Neural Network，简称：GNN)等。

纵观该领域的技术发展可以发现，行人轨迹预测的两个关键技术在于：(1)交互建模。从空间维度上来看，行人轨迹受到诸如周围行人以及环境等各种交互因素的影响，准确建模这些交互对题轨迹预测非常重要。(2)序列预测。从时间维度上来看，行人轨迹预测技术是要通过过去时刻已经观察到的序列，来推断未来时刻行人的轨迹走向，序列预测的准确性也是影响轨迹预测准确性的一个关键技术。

图1为现有技术提供的行人轨迹预测方法的流程示意图。如图1所示，现有技术利用图卷积网络(Graph Convolutional networks，简称：GCN)预测行人轨迹预测，可以分为三个部分：(1)构建时空图，时空图的节点表示行人，连接节点与节点之间的连接边表示行人之间的交互关系。节点属性用对应行人的二维轨迹坐标表示，连接边属性用于衡量行人间交互强度的强弱。(2)空间交互。在完成时空图的构建之后，在空间维度上，计算行人与行人之间的交互强度。按照常理推断，两个行人之间的距离越远，两个人之间的交互关系越小，因此，采用欧氏距离的倒数来衡量两个行人之间的交互强度，欧氏距离越小，两个人之间的交互强度越大。(3)获取时间依赖。对时间维度上构建的时空图采用简单的卷积网络，获取每个行人的时间依赖关系，即过去时刻的轨迹对现在时刻的影响，进而推断未来时刻的轨迹。

然而，仅用行人间的距离远近来衡量空间上两个行人的交互程度，无法准确预测复杂场景下的行人轨迹。

针对上述问题，本申请提出了一种行人轨迹预测方法，在特征提取阶段，利用轨迹特征和场景特征组成拼接特征。在时空图构建阶段，将拼接特征作为节点属性。在空间交互阶段，采用由粗到细的交互强度优化策略，根据交互强度更新节点属性。在时间依赖获取阶段，采用一种简洁而高效的卷积网络来模拟同一行人在不同时刻的时间依赖关系，并得到最终的行人轨迹预测结果。提高复杂场景下的行人轨迹预测结果的准确性。

图2为本申请根据一示例性实施例示出的行人轨迹预测方法的流程示意图。如图2所示，本实施例提供的行人轨迹预测方法包括如下步骤：

S101、构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，空间图包括目标节点以及各个目标节点之间的连接边，其中，目标节点用于表征目标对象，连接边用于表征各个目标对象之间的交互关系。

更具体地，多个时刻即为T_obs个时刻，T_obs为观测序列长度。当前视频帧为t时刻下的视频序列，其中，t∈{1,…,T_obs}。时空图包括T_obs个空间图。目标对象为当前视频帧中需要进行轨迹预测的行人，行人数量为N，N为大于等于2的正整数。根据t时刻下的视频序列构建空间图。空间图的连接方式是全连接，即每个目标节点都和其他目标节点连接起来，表示每个行人都和这一帧中的其他行人有交互关系。

与知识图谱和社交网络等常见的图数据不同，视频序列并不是一种天然的图数据。为了实现行人轨迹预测，在空间维度上，根据当前视频帧构建合适的空间图。空间图表示为G^t＝(V^t,E^t)。其中，G^t表示t时刻下的空间图，V^t表示t时刻下的目标节点，E^t表示t时刻下各个目标节点之间的连接边。

在时间维度上，同一个目标节点与在相邻视频帧上的对应目标节点连接起来，得到时空图，时空图表示为G＝{G^t|t∈{1,…,T_obs}}。

每一时刻每个目标节点都有对应的节点属性，t时刻下所有目标节点的集合表示为

其中，

表示t时刻下目标节点i节点属性，N表示目标节点数量，即t时刻下的视频序列中的行人数量。每一时刻每条连接边都有对应的连接边属性，t时刻下所有连接边的集合表示为

其中，

表示t时刻下目标节点i和目标节点j的连接边属性。

在初始阶段，连接边属性赋值为1，表示为

节点属性为目标对象的场景特征和轨迹特征。对于场景特征的提取来说，因为行人经常受到周围场景和物体的影响。在这一社会常识的基础上，提取当前视频帧中每个行人周围环境的特征，来表征人和周围物体及场景的相互作用。对于轨迹特征的提取来说，在提取了当前视频帧中二维坐标的基础上，使用一个卷积核尺寸为1的卷积层将二维坐标嵌入到更深的维度中，得到包含更丰富的信息的轨迹特征。在成功提取场景特征和轨迹特征后，将二者连接作为每个目标节点的节点属性。这样做既能有效融合人、景、物三者之间的交互关系，又能将两种不同模式的交互形式处理成相同维度的紧凑特征，便于后续过程的处理。

S102、根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，节点属性包括目标对象的场景特征和轨迹特征，连接边属性包括两个目标对象之间的交互强度。

更具体地，根据t时刻下每个目标节点的节点属性和每条连接边属性，确定t时刻下每个目标节点的最终空间属性值，t时刻下目标节点i的最终空间属性值表示为

在交互权重优化第一阶段，根据初始阶段的节点属性，使用欧式距离来表征行人间的距离并且使用距离的倒数来简单地模拟距离和交互程度的关系，当两个人太靠近的时候，两个目标节点的交互定义为0，更新连接边属性，得到第一连接边属性。根据第一连接边属性，使用GCN聚合节点属性，更新节点属性，得到第一节点属性。使用GCN得到的第一节点属性是基于欧几里得距离度量下空间相互作用的。然而，这并不足以应对更复杂的情况，因为行人之间的互动以及行人与周围场景和物体的互动是复杂而微妙的，不能仅仅用距离来衡量。此外，交互作用还受多种因素的影响，这些因素并不能一一建模。基于这些考虑，进入交互权重优化第二阶段。

在交互权重优化第二阶段，在GCN的基础上，利用图注意力网络(Graph AttentionNetworks，简称：GAT)挖掘出行人之间更深层次的互动，根据第一节点属性，更新连接边属性，得到第二连接边属性。根据第二连接边属性，更新节点属性，得到最终空间属性。

S103、根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系。

更具体地，多个时刻即为T_obs个时刻，T_obs为观测序列长度。t时刻下目标节点i的最终空间属性值表示为

其中，t∈{1,…,T_obs}，i∈{1,…,N}。在时间维度上，使用时域卷积网络，将

连接起来构成目标对象的时间依赖关系。

S104、根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。

更具体地，预设时间长度为观测序列长度T_obs之后的一个时间长度，也就是预测序列长度，表示为T_pred。根据时间依赖关系

预测在T_pred个时刻的视频帧中的目标对象i的轨迹，其中，i∈{1,…,N}。

例如，当观测序列长度T_obs为8，预设时间长度T_pred为12时，可以先通过观测1-8时刻下的当前视频帧，预测9-12时刻下的视频帧中各个目标对象的轨迹，再通过观测2-9时刻下的当前视频帧，预测13-21时刻下的视频帧中各个目标对象的轨迹。

在本实施例提供的方法中，构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，空间图包括目标节点以及各个目标节点之间的连接边，其中，目标节点用于表征目标对象，连接边用于表征各个目标对象之间的交互关系。根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，节点属性包括目标对象的场景特征和轨迹特征，连接边属性包括两个目标对象之间的交互强度。根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系。根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。将场景特征和轨迹特征作为节点属性，根据节点属性和连接边属性进行两个阶段的交互强度优化，得到最终空间属性值，提高了复杂场景下的行人轨迹预测结果的准确性。

图3为本申请根据另一示例性实施例示出的行人轨迹预测方法的流程示意图。如图3所示，本实施例提供的行人轨迹预测方法包括如下步骤：

S201、构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，空间图包括目标节点以及各个目标节点之间的连接边，其中，目标节点用于表征目标对象，连接边用于表征各个目标对象之间的交互关系。

其中，步骤S201与图2实施例中的步骤S101实现方式类似，本实施例此处不再赘述。

S202、根据节点属性确定第一连接边属性，第一连接边属性为第一阶段两个目标对象之间的交互强度。

更具体地，在构建时空图时，获取了行人、场景、物体三者交互的初始状态，即目标对象的场景特征和轨迹特征，将其作为此处的节点属性。在交互权重优化第一阶段，使用欧氏距离来表征行人间的距离，并且使用距离的倒数来简单地模拟距离和交互强度的关系。根据目标对象的场景特征和轨迹特征确定连接边的第一连接边属性。

可选地，根据节点属性确定第一连接边属性，包括：

根据第一公式计算获得第一连接边属性，第一公式包括：

其中，

表示t时刻下目标对象i和目标对象j之间的连接边的第一连接边属性，i∈{1,…,N}，j∈{1,…,N}，

表示t时刻下目标对象i的节点属性，

表示t时刻下目标对象j的节点属性，

表示t时刻下目标对象i和目标对象j之间的欧式距离。当两个人太靠近的时候，他们两个的交互定义为0。

在交互权重优化第一阶段，带权邻接矩阵A^t表征行人之间的交互强度，A^t是由

组成的矩阵。本申请中A^t的计算基于这样一个假设：两个行人之间的距离越远，他们之间的互动就越少。例如，当人们走得更近时，他们往往会互相问候。

S203、根据第一连接边属性确定第一节点属性，第一节点属性为第一阶段各个目标对象的节点属性。

更具体地，在交互权重优化第一阶段，根据连接边的第一连接边属性，使用GCN来聚合目标对象之间的特征，确定第一节点属性。

可选地，根据第一连接边属性确定第一节点属性，包括：

根据第二公式计算获得第一节点属性，第二公式包括：

其中，V₍₁₎表示观测序列长度下所有目标对象的第一节点属性，σ(·)是激活函数，Λ＝{Λ^t|t∈{1,…,T_obs}}表示观测序列长度下Λ^t的集合，Λ^t是A^t+I的节点度矩阵的对角矩阵，A^t是由

组成的矩阵，I表示自身连接，T_obs表示观测序列长度，A＝{A^t|t∈{1,…,T_obs}}表示观测序列长度下A^t的集合，

表示标准化拉普拉斯矩阵，V＝{V^t|t∈{1,…,T_obs}}表示观测序列长度下V^t的集合，

表示

的集合，N表示目标对象数量，W₁表示线性变换的权重矩阵。

GCN得到的第一节点属性是基于欧几里得距离度量下空间相互作用的。然而，这并不足以应对更复杂的情况，因为行人之间的互动以及行人与周围场景和物体的互动是复杂而微妙的，不能仅仅用距离来衡量。此外，交互作用还受多种因素的影响，这些因素并不能一一建模。基于这些考虑，在交互权重优化第二阶段，利用GAT，基于GCN的先验知识，挖掘出行人之间更深层次的互动。

S204、根据第一节点属性确定第二连接边属性，第二连接边属性为第二阶段两个目标对象之间的交互强度。

更具体地，在交互权重优化第二阶段，GAT利用其邻域特征自适应地学习每个目标节点的交互强度。对于目标节点i来说，它的邻居目标节点j的交互强度通过第三公式计算得到，作为第二连接边属性。

可选地，根据第一节点属性确定第二连接边属性，包括：

根据第三公式计算获得第二连接边属性，第三公式包括：

其中，

表示t时刻下目标对象i和目标对象j之间的连接边的第二连接边属性，a表示自注意机制的权向量，W₂和W₃表示线性变换的共享权值矩阵，||表示拼接过程，

表示t时刻下目标对象i的第一节点属性，

表示t时刻下目标对象j的第一节点属性，

表示t时刻下目标对象q的第一节点属性，N表示目标对象数量。

S205、根据第二连接边属性确定最终空间属性值，最终空间属性值为第二阶段各个目标对象的节点属性。

更具体地，在交互权重优化第二阶段，为了稳定自注意过程，根据第二连接边属性，使用多头注意机制，得到最终空间属性值。

可选地，根据第二连接边属性确定最终空间属性值，包括：

根据第四公式计算获得最终空间属性值，第四公式包括：

其中，

表示t时刻下目标对象i的最终空间属性值，K表示多头注意的数量，

表示t时刻下第k次求取的

表示第k次求取的可学习的线性变换相应的权重矩阵，N表示目标对象数量，j表示任一目标对象。

图4为交互权重优化第一阶段和第二阶段的示意图。如图4所示，在空间维度上，交互权重优化第一阶段为粗优化，交互权重优化第二阶段为细优化，经过由粗到细的权重优化策略，得到最终空间属性值。最终空间属性值为最终的聚合行人特征，充分体现了空间交互作用。

S206、根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系。

更具体地，经过交互权重优化第一阶段和第二阶段，得到人、景、物三者间的最终空间属性值之后，使用一种紧致而高效的时域卷积网络来捕获时间依赖性。根据多个时刻下的最终空间属性值，使用一个简单的卷积层，通过第五公式将通道数变成5，得到目标对象的时间依赖关系。第五公式如下：

V₍₃₎＝V₍₂₎W₅

其中，V₍₃₎的维度是(1，5，T_obs，N)，T_obs为观测序列长度，N为节点数量，W₅表示根据训练得到的第五公式的参数矩阵。

S207、根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。

更具体地，根据时间依赖关系，利用第二个卷积操作，通过第六公式将序列长度从观测序列长度T_obs变成预测序列长度T_pred，由此，得到预设时间长度的视频帧中各个目标对象的轨迹，表示为V₍₄₎。第六公式如下：

V₍₄₎＝V₍₃₎W₆

其中，V₍₄₎的维度是(1,T_pred,5,N)，T_pred为预测序列的长度，W₆表示根据训练得到的第六公式的参数矩阵。

图5为本申请提供的紧致而高效的时域卷积网络的示意图。如图5所示，本申请使用更少的网络层数获得了更大的感受野，消除了引入丰富的视觉特征带来的信息冗余，使得时域上的计算和预测更加高效。

在本实施例提供的方法中，在空间维度上，利用空间图来描述人、景、物这三要素之间的交互强度。在轨迹特征的基础上，还引入场景特征作为节点属性。通过由粗到细的权重优化策略得到最终空间属性值，以便更好地模拟空间上目标节点的交互，从而更准确地预测。利用时间依赖关系实现了人、景、物三元之间地紧凑表示和有效计算。本申请使用的时间维度上的处理方法，扩展了感受野从而可以获取更多的上下文信息，这样有助于在更少的网络层中实现紧凑的特性，提高了复杂场景下的行人轨迹预测结果的准确性。

图6为本申请根据一示例性实施例示出的行人轨迹预测装置的结构示意图。如图6所示，本申请提供一种行人轨迹预测装置40，装置40包括：

构建模块41，用于构建时空图，时空图包括多个时刻下的当前视频帧对应的时空图，时空图包括目标节点以及各个目标节点之间的连接边，其中，目标节点用于表征目标对象，连接边用于表征各个目标对象之间的交互关系；

处理模块42，用于根据目标节点的节点属性以及连接边的连接边属性确定目标对象的最终空间属性值，节点属性包括目标对象的场景特征和轨迹特征，连接边属性包括两个目标对象之间的交互强度；

处理模块42，还用于根据多个时刻下的最终空间属性值确定目标对象的时间依赖关系；

处理模块42，还用于根据时间依赖关系预测预设时间长度的视频帧中各个目标对象的轨迹。

具体地，本实施例可以参见上述方法实施例，其原理和技术效果类似，不再赘述。

图7为本申请根据一示例性实施例示出的电子设备的硬件结构示意图。如图7所示，本实施例的电子设备50包括：处理器51以及存储器52；其中，

存储器52，用于存储处理器可执行指令的存储器。

处理器51，用于根据存储器存储的可执行指令，以实现上述实施例中的行人轨迹预测方法。具体可以参见前述方法实施例中的相关描述。

可选地，存储器52既可以是独立的，也可以跟处理器51集成在一起。

当存储器52独立设置时，该电子设备50还包括总线53，用于连接存储器52和处理器51。

本申请还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机指令，计算机指令被处理器执行时用于实现上述的各种实施方式提供的方法。

其中，计算机可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，计算机可读存储介质耦合至处理器，从而使处理器能够从该计算机可读存储介质读取信息，且可向该计算机可读存储介质写入信息。当然，计算机可读存储介质也可以是处理器的组成部分。处理器和计算机可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和计算机可读存储介质也可以作为分立组件存在于通信设备中。

上述计算机可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random-Access Memory，SRAM)，电可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)，可编程只读存储器(Programmable read-only memory，PROM)，只读存储器(Read-OnlyMemory，ROM)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

本申请还提供一种计算机程序产品，该程序产品包括执行指令，该执行指令存储在计算机可读存储介质中。设备的至少一个处理器可以从计算机可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (9)

1.一种行人轨迹预测方法，其特征在于，所述方法包括：

构建时空图，所述时空图包括多个时刻下的当前视频帧对应的空间图，所述空间图包括目标节点以及各个目标节点之间的连接边，其中，所述目标节点用于表征目标对象，所述连接边用于表征各个目标对象之间的交互关系；

根据所述目标节点的节点属性以及所述连接边的连接边属性确定所述目标对象的最终空间属性值，所述节点属性包括所述目标对象的场景特征和轨迹特征，所述连接边属性包括两个目标对象之间的交互强度；

根据所述多个时刻下的所述最终空间属性值确定所述目标对象的时间依赖关系；

根据所述时间依赖关系预测预设时间长度的视频帧中各个所述目标对象的轨迹。

2.根据权利要求1所述的方法，其特征在于，所述根据所述目标节点的节点属性以及所述连接边的连接边属性确定所述目标对象的最终空间属性值，包括：

根据所述节点属性确定第一连接边属性，所述第一连接边属性为第一阶段所述两个目标对象之间的交互强度；

根据所述第一连接边属性确定第一节点属性，所述第一节点属性为所述第一阶段各个所述目标对象的节点属性；

根据所述第一节点属性确定第二连接边属性，所述第二连接边属性为第二阶段所述两个目标对象之间的交互强度；

根据所述第二连接边属性确定所述最终空间属性值，所述最终空间属性值为所述第二阶段各个所述目标对象的节点属性。

3.根据权利要求2所述的方法，其特征在于，所述根据所述节点属性确定第一连接边属性，包括：

根据第一公式计算获得所述第一连接边属性，所述第一公式包括：

其中，

表示t时刻下目标对象i和目标对象j之间的连接边的所述第一连接边属性，

表示t时刻下目标对象i的所述节点属性，

表示t时刻下目标对象j的所述节点属性，

表示t时刻下目标对象i和目标对象j之间的欧式距离。

4.根据权利要求2所述的方法，其特征在于，所述根据所述第一连接边属性确定第一节点属性，包括：

根据第二公式计算获得所述第一节点属性，所述第二公式包括：

其中，V₍₁₎表示观测序列长度下所有目标对象的所述第一节点属性，σ(·)是激活函数，Λ＝{Λ^t|t∈{1,…,T_obs}}表示观测序列长度下Λ^t的集合，Λ^t是A^t+I的节点度矩阵的对角矩阵，A^t是由

组成的矩阵，I表示自身连接，T_obs表示观测序列长度，A＝{A^t|t∈{1,…,T_obs}}表示观测序列长度下A^t的集合，

表示标准化拉普拉斯矩阵，V＝{V^t|t∈{1,…,T_obs}}表示观测序列长度下V^t的集合，

表示

的集合，N表示目标对象数量，W₁表示线性变换的权重矩阵。

5.根据权利要求2所述的方法，其特征在于，所述根据所述第一节点属性确定第二连接边属性，包括：

根据第三公式计算获得所述第二连接边属性，所述第三公式包括：

其中，

表示t时刻下目标对象i和目标对象j之间的连接边的所述第二连接边属性，a表示自注意机制的权向量，W₂和W₃表示线性变换的共享权值矩阵，||表示拼接过程，

表示t时刻下目标对象i的所述第一节点属性，

表示t时刻下目标对象j的所述第一节点属性，

表示t时刻下目标对象q的所述第一节点属性，N表示目标对象数量。

6.根据权利要求2所述的方法，其特征在于，所述根据所述第二连接边属性确定所述最终空间属性值，包括：

根据第四公式计算获得所述最终空间属性值，所述第四公式包括：

其中，

表示t时刻下目标对象i的所述最终空间属性值，K表示多头注意的数量，

表示t时刻下第k次求取的

表示第k次求取的可学习的线性变换相应的权重矩阵，N表示目标对象数量，j表示任一目标对象。

7.一种行人轨迹预测装置，其特征在于，所述装置包括：

构建模块，用于构建时空图，时空图包括多个时刻下的当前视频帧对应的空间图，所述空间图包括目标节点以及各个目标节点之间的连接边，其中，所述目标节点用于表征目标对象，所述连接边用于表征各个目标对象之间的交互关系；

处理模块，用于根据所述目标节点的节点属性以及所述连接边的连接边属性确定所述目标对象的最终空间属性值，所述节点属性包括所述目标对象的场景特征和轨迹特征，所述连接边属性包括两个目标对象之间的交互强度；

处理模块，还用于根据所述多个时刻下的所述最终空间属性值确定所述目标对象的时间依赖关系；

处理模块，还用于根据所述时间依赖关系预测预设时间长度的视频帧中各个所述目标对象的轨迹。

8.一种电子设备，其特征在于，包括：存储器，处理器；

存储器；用于存储所述处理器可执行指令的存储器；

处理器，用于根据所述存储器存储的可执行指令，实现如权利要求1至6中任一项所述的行人轨迹预测方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至6中任一项所述的行人轨迹预测方法。

Images