CN114638408A

CN114638408A - 一种基于时空信息的行人轨迹预测方法

Info

Publication number: CN114638408A
Application number: CN202210203214.3A
Authority: CN
Inventors: 王翔辰; 杨欣; 樊江锋; 李恒锐; 朱义天; 周大可
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2022-03-03
Filing date: 2022-03-03
Publication date: 2022-06-17
Anticipated expiration: 2042-03-03
Also published as: CN114638408B

Abstract

本发明公开了一种基于时空信息的行人轨迹预测方法，该方法从行人的多种特征中选取了场景信息、行人交互信息和行人历史轨迹信息这三个会对行人轨迹产生明显影响的因素作为神经网络的输入，从而得到精确度更高的行人轨迹预测方法，具体包括：将行人历史轨迹信息转换为顶点矩阵形式，并设计核函数从历史轨迹信息中提取行人交互信息并生成邻接矩阵，将输入的场景图片中的行人信息消除得到纯净的背景信息。结果表明该网络结构可以根据行人交互特点及行人运动状态正确生成预测轨迹，在多个数据集上取得了较好的预测结果。

Description

一种基于时空信息的行人轨迹预测方法

技术领域

本发明涉及行人轨迹预测技术领域，特别是涉及一种基于时空信息的行人轨迹预测方法。

背景技术

行人行为的数据分析大量使用于许多应用程序,这些应用程序通过对行人行为数据进行分析来了解行人的未来行为并做出最终决策，例如自动驾驶、道路规划、城市安全等。。然而，在某些情况下，人们需要走得更远，以不间断方式了解行人的举动，并推断他们的短期或中期意图。然而有许多因素与单个行人的轨迹变化密切相关，例如行人附近障碍物的性质及其空间分布、地面的状态、行人的目的地、行人的年龄、行人的状态等。在一个公共空间里的一整组行人之间会通过互动相互影响彼此的行为，这使得行人轨迹预测变得更加困难。为了解决行人轨迹预测的问题，在过去的几年中，相关文献中提出了几种基于深度学习的方法。

一种名为Vanilla RNN的递归神经网络是两层全连接神经网络的扩展，其中隐藏层具有反馈循环。这个小小的更改能更有效地对顺序数据进行建模。Vanilla RNN不仅处理属于当前步骤的输入数据，还处理存储在隐藏神经元中的过去步骤的数据。RNN在序列相关预测中起着重要作用，使用长短期记忆(LSTM)结构已成功解决了应对长期信息保存的困难。LSTM通过对潜在数据特征进行建模，在自然语言处理(NLP)域中展示了良好的结果，后来用于行人轨迹预测。例如，Sun等人使用LSTM模型从长期观察(即几天到几周)中学习目标环境中的环境和人员活动模式。

生成对抗网络(GAN)依赖于生成器(G)鉴别器(D)架构。它们相互竞争：G网络试图欺骗鉴别器网络，而D网络则适应新的虚假数据。因此，在GAN框架中，生成器模型和鉴别器模型是同时训练的。在跟踪方面，GAN减少了许多传统轨迹预测模型中通常出现的碎片化，并减轻了计算昂贵外观特征的必要性。候选观测值由生成组件生成和更新，为了处理和分类候选序列，同时使用带有生成判别模型的LSTM组件。这种方法可以构成人类行为预测的高精度模型，特别是群体行为。与以前已知的基于CNN的解决方案相比，它要轻巧得多。

S.Hoermann等人提出了一种结合两个网络的方法：一个用于长期运动的CNN和一个作为输入的当前动态环境的贝叶斯估计。场景分析基于单个神经网络中的360°预测区域，除了执行静态和动态区域分割的网络。使用罕见的动态单元，作者创建了一个基于抵消来自不同类别的不平衡像素的损失函数。他们证明了网络能够预测高度复杂的场景，包括各种类型的不同道路使用者(即行人)，最长可达3秒。此外，网络可以识别不同的机动等级，例如，左转或右转，以及道路使用者之间的交互。

发明内容

有鉴于此，本发明的目的在于提供一种基于时空信息的行人轨迹预测方法，该方法构建以场景信息、行人交互信息和行人历史轨迹信息为输入的行人轨迹预测网络模型，以达到完成更高精度的行人轨迹预测目标。模型在ETH和UCY数据集进行训练，选用ADE和FDE作为评估指标。

为了实现上述目的，本发明采用如下技术方案：

一种基于时空信息的行人轨迹预测方法，所述行人轨迹预测方法包括如下步骤：

步骤S1、获取数据集，并对该数据集进行处理，其包括：首先提取数据集中的行人坐标，并进行坐标转换，获得行人于像素坐标系下的坐标，再基于该像素坐标系的行人坐标构建各个时刻的行人轨迹顶点矩阵；

步骤S2、针对步骤S1中得到的行人轨迹顶点矩阵，将其转化为图信息，其包括：提取若干时刻的行人轨迹矩阵，计算出行人间的交互作用，得到邻接矩阵；

步骤S3、将步骤S2中得到的图信息输入至空间特征编码器中进行处理，其中，该图信息包括有行人轨迹交互信息及场景信息；

步骤S4、采用时序特征编码器，对步骤S3中的空间特征编码器的输出进行时序维度的特征提取，得到时空特征向量；

步骤S5、针对步骤S4中得到的时空特征向量，变换其向量的维度；

步骤S6、根据步骤S5中经过维度变换后的时空特征向量，对行人未来轨迹进行预测。

进一步的，在所述步骤S1中，基于公式(1)进行坐标转换，该公式(1)的表达式为：

在公式(1)中，u、v表示像素坐标系中的x、y轴，x_w、y_w表示世界坐标系中的x、y轴，其中，矩阵H表示为：

在公式(2)中，[r₁ r₂ t]为相机外参，[r₁ r₂]为旋转参数，t为平移参数，M为相机内参，s为尺度因子。

进一步的，所述步骤S2具体包括：

步骤S201、所述行人轨迹顶点矩阵，其表示为：

V'＝{v_ij|i∈{1,2,...,N},j∈{1,2}} (3)

在公式(3)中，该矩阵V'共N行，每行代表一个行人，共2列，分别代表x、y轴；

步骤S202、提取多个时刻的顶点矩阵，且设为一组，其表示为：

步骤S203、根据步骤S202中得到的行人坐标数据计算出行人间交互作用的大小，核函数为：

在公式(5)中，数值区间为

数值越大，则表示行人轨迹交互影响概率越大；数值越小，则表示行人轨迹交互影响概率越小；

步骤S204、生成的邻接矩阵为：

进一步的，所述步骤S3具体包括：

步骤S301、针对步骤S2中得到的行人坐标信息的顶点矩阵与行人交互信息的邻接矩阵，将其截取一帧作为网络输入，则输入表示为：V'＝{v_ij|i∈{1,2,...,N},j∈{1,2}以及，A'＝{a_ij|i∈{1,2,...,N},j∈{1,2,...,N}}；

步骤S302、将步骤S301中得到的网络输入，输入至图卷积神经网络中进行处理，其中，针对邻接矩阵，令其与单位矩阵相加并对称归一化，表示为：

步骤S303、根据得到的

计算

其表示为：

在公式(7)中，

即为

对称归一化处理后的结果，

是

的度矩阵，设

为M×M维矩阵，首先计算M维向量，表示为：

其中，

然后根据

计算对角矩阵

其表示为：

其中，

步骤S304、将步骤S303中得到的

输入图卷积网络，在该网络中，每层将

与输入矩阵相乘，再送入全连接网络及非线性激活层，其中，当该非线性激活层的输入矩阵为X时，则该层表示为：

步骤S305、对于整体网络，当其输入为顶点矩阵V时，则其最终输出为：

v_traj＝GCN(V)＝GCNlayer(GCNlayer(...GCNlayer(V))) (8)

在公式(8)中，v_traj表示为最终得到的行人轨迹交互信息的编码特征向量；

步骤S306、按时间顺序重复步骤S301-步骤S305，得到不同时刻的v_traj，再按时序排列成为最终的行人轨迹交互编码向量：

步骤S307、采用ResNet18提取网络输入中的场景特征，再叠加全连接与非线性激活层于最终输出层，生成场景特征向量：

V_scene＝LeakyRelu(FC(ResNet(picture))) (10)

步骤S308、将步骤S306中得到的行人轨迹交互编码向量与步骤S307中得到的场景特征向量拼接成空间特征编码器最终输出，其表示为：

V_spatio＝concat(V_traj,V_scene) (11)。

进一步的，所述步骤S4具体包括：

步骤S401、将空间特征向量为V_spatio按时序分为T_obs个向量：

步骤S404、设每次输入时序段长度为T_seg，则每次的输入为：

步骤S405、每次时序特征的计算过程，其表示为：

在公式(12)中，

为第i次计算得到的时序编码向量，memⁱ为第i次计算得到的记忆隐向量；

步骤S406、将不同序列段的时序编码向量拼接，得到时空特征向量：

在公式(13)中，

进一步的，在所述步骤S5中，采用维度扩展器变换时空特征向量的维度，当，输入的三维矩阵为H_i×W_i×C_i时，则输出矩阵为H_o×W_o×C_o，其中，C_o仅与卷积核数量有关，C_i为时间维度，保持其他维度不变，计算公式：

在公式(14)中，N_o为输出维度，N_i为输入维度，F为卷积核尺寸，P为填充像素数，S为卷积步长。

进一步的，在所述步骤S5中，所述维度扩展器采用层叠结构，当每层输入为X时，则每层表达式为：

layer_Exp(X)＝PReLu(Conv(X))；

在所述步骤S5中，所述维度扩展器整体表示为：

V_Exp＝ExpNN(V_st)＝layer_Exp(layer_Exp(...layer_Exp(V_st)))，其中，V_st为时

序特征编码器输出，V_Exp是维度扩展器的输出。

进一步的，在在所述步骤S5中，F＝3、P＝1、S＝1。

进一步的，所述数据集包括：UCY数据集和ETH数据集。

进一步的，在所述步骤S6中，通过将时空特征向量输入轨迹生成器中，来对行人未来轨迹进行预测。

本发明的有益效果是：

在行人轨迹预测中影响行人轨迹特征变化的因素众多，因而轨迹预测的精度往往无法保证，也基于此，本发明从行人的多种特种中选取了场景信息、行人交互信息和行人历史轨迹信息这三个会对行人轨迹产生明显影响的因素作为神经网络的输入，来训练模型，用以实现精确度更高的行人轨迹预测。

附图说明

图1为实施例1中一种基于时空信息的行人轨迹预测方法的流程示意图；

图2为实施例1中提供的时序特征编码器的模型示意图；

图3为实施例1中提供的维度扩展器结构示意图；

图4为实施例1中提供的轨迹生成器网络的模型示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

参见图1-图4，本实施例提供一种基于时空信息的行人轨迹预测方法，包括：

步骤S1、获取训练用数据集，并对该数据集进行处理，其具体包括：首先提取数据集中的行人坐标，并进行坐标转换，获得行人于像素坐标系下的坐标，再基于该像素坐标系的行人坐标构建各个时刻的行人轨迹顶点矩阵，其中，数据集采用人类轨道数据集UCY和ETH。选取评估指标平均位移误差(ADE)和最终位移误差(FDE)。

具体的说，在本实施例中，该步骤S1具体包括：

将数据从文本文件中读取，将读取后的数据放入矩阵中，并将行人坐标转化到像素坐标系下。将世界坐标系转换到像素坐标系的矩阵为：

在公式(1)中，[r₁ r₂ t]为相机外参，[r₁ r₂]为旋转参数，t为平移参数；M为相机内参，其具体数值取决于镜头畸变、镜头焦距等因素；s为尺度因子，控像素坐标系与世界坐标系间的尺度关系。也可写成：

因此坐标系间转换的公式为：

在公式(2)中，u、v表示像素坐标系中的x、y轴，x_w、y_w表示世界坐标系中的x、y轴。

步骤S2、针对步骤S1中得到的行人轨迹顶点矩阵，将其转化为图信息，其包括：

提取若干时刻的行人轨迹矩阵，计算出行人间的交互作用，得到邻接矩阵；

具体的说，在本实施例中，所述步骤S2具体包括：

步骤S201、所述行人轨迹顶点矩阵，其表示为：

V'＝{v_ij|i∈{1,2,...,N},j∈{1,2}} (3)

更具体的说，在本实施例中，可以选择8个顶点矩阵，设为一组。

在公式(5)中，数值区间为

步骤S204、生成的邻接矩阵为：

具体的说，在本实施例中，所述步骤S3具体包括：

步骤S303、根据得到的

计算

其表示为：

在公式(7)中，

即为

对称归一化处理后的结果，

是

的度矩阵，设

为M×M维矩阵，首先计算M维向量，表示为：

其中，

然后根据

计算对角矩阵

其表示为：

其中，

步骤S304、将步骤S303中得到的

输入图卷积网络，在该网络中，每层将

v_traj＝GCN(V)＝GCNlayer(GCNlayer(...GCNlayer(V))) (8)

V_scene＝LeakyRelu(FC(ResNet(picture))) (10)

V_spatio＝concat(V_traj,V_scene) (11)。

步骤S4、采用时序特征编码器，对步骤S3中的空间特征编码器的输出进行时序维度的特征提取，得到时空特征向量，其中，时序特征的提取本实施例采用Transformer结构，其具体结构示意图如图2所示。

具体的说，在本实施例中，所述步骤S4具体包括：

步骤S401、将空间特征向量为V_spatio按时序分为T_obs个向量：

步骤S404、设每次输入时序段长度为T_seg，则每次的输入为：

步骤S405、每次时序特征的计算过程，其表示为：

在公式(12)中，

在公式(13)中，

在所述步骤S5中，采用维度扩展器变换时空特征向量的维度，当，输入的三维矩阵为H_i×W_i×C_i时，则输出矩阵为H_o×W_o×C_o，其中，C_o仅与卷积核数量有关，C_i为时间维度，保持其他维度不变，计算公式：

更具体的说，在本实施例中，设定F＝3、P＝1、S＝1。

更具体的说，在本实施例中，在所述步骤S5中，所述维度扩展器采用层叠结构，其具体结构示意图如图3所示。当每层输入为X时，则每层表达式为：

layer_Exp(X)＝PReLu(Conv(X))；

更具体的说，在本实施例中，在所述步骤S5中，所述维度扩展器整体表示为：

V_Exp＝ExpNN(V_st)＝layer_Exp(layer_Exp(...layer_Exp(V_st)))，其中，V_st为时序特征编码器输出，V_Exp是维度扩展器的输出。

步骤S6、步骤S5中经过维度变换后的时空特征向量，对行人未来轨迹进行预测。

具体的说，将将处理得到的时空信息输入轨迹生成器，预测未来12帧的行人轨迹，其中，在本实施例中，该轨迹生成器，其具体结构如图4所示。

本发明未详述之处，均为本领域技术人员的公知技术。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims

1.一种基于时空信息的行人轨迹预测方法，其特征在于，所述行人轨迹预测方法包括如下步骤：

2.根据权利要求1所述的一种基于时空信息的行人轨迹预测方法，其特征在于，在所述步骤S1中，基于公式(1)进行坐标转换，该公式(1)的表达式为：

3.根据权利要求2所述的一种基于时空信息的行人轨迹预测方法，其特征在于，所述步骤S2具体包括：

步骤S201、所述行人轨迹顶点矩阵，其表示为：

V'＝{v_ij|i∈{1,2,...,N},j∈{1,2}} (3)

在公式(5)中，数值区间为

步骤S204、生成的邻接矩阵为：

4.根据权利要求3所述的一种基于时空信息的行人轨迹预测方法，其特征在于，所述步骤S3具体包括：

步骤S303、根据得到的

计算

其表示为：

在公式(7)中，

即为

对称归一化处理后的结果，

是

的度矩阵，设

为M×M维矩阵，首先计算M维向量，表示为：

其中，

然后根据

计算对角矩阵

其表示为：

其中，

步骤S304、将步骤S303中得到的

输入图卷积网络，在该网络中，每层将

v_traj＝GCN(V)＝GCNlayer(GCNlayer(...GCNlayer(V))) (8)

V_scene＝LeakyRelu(FC(ResNet(picture))) (10)

V_spatio＝concat(V_traj,V_scene) (11)。

5.根据权利要求4所述的一种基于时空信息的行人轨迹预测方法，其特征在于，所述步骤S4具体包括：

步骤S401、将空间特征向量为V_spatio按时序分为T_obs个向量：

步骤S404、设每次输入时序段长度为T_seg，则每次的输入为：

步骤S405、每次时序特征的计算过程，其表示为：

在公式(12)中，

在公式(13)中，

6.根据权利要求5所述的一种基于时空信息的行人轨迹预测方法，其特征在于，在所述步骤S5中，采用维度扩展器变换时空特征向量的维度，当，输入的三维矩阵为H_i×W_i×C_i时，则输出矩阵为H_o×W_o×C_o，其中，C_o仅与卷积核数量有关，C_i为时间维度，保持其他维度不变，计算公式：

7.根据权利要求6所述的一种基于时空信息的行人轨迹预测方法，其特征在于，在所述步骤S5中，所述维度扩展器采用层叠结构，当每层输入为X时，则每层表达式为：

layer_Exp(X)＝PReLu(Conv(X))；

在所述步骤S5中，所述维度扩展器整体表示为：

8.根据权利要求7所述的一种基于时空信息的行人轨迹预测方法，其特征在于，在在所述步骤S5中，F＝3、P＝1、S＝1。

9.根据权利要求7所述的一种基于时空信息的行人轨迹预测方法，其特征在于，所述数据集包括：UCY数据集和ETH数据集。

10.根据权利要求7所述的一种基于时空信息的行人轨迹预测方法，其特征在于，在所述步骤S6中，通过将时空特征向量输入轨迹生成器中，来对行人未来轨迹进行预测。