CN108564118A - 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 - Google Patents

基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 Download PDF

Info

Publication number
CN108564118A
CN108564118A CN201810294015.1A CN201810294015A CN108564118A CN 108564118 A CN108564118 A CN 108564118A CN 201810294015 A CN201810294015 A CN 201810294015A CN 108564118 A CN108564118 A CN 108564118A
Authority
CN
China
Prior art keywords
shot
long term
term memory
memory network
time step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810294015.1A
Other languages
English (en)
Other versions
CN108564118B (zh
Inventor
裴炤
张艳宁
齐晓宁
马苗
汪西莉
徐航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201810294015.1A priority Critical patent/CN108564118B/zh
Publication of CN108564118A publication Critical patent/CN108564118A/zh
Application granted granted Critical
Publication of CN108564118B publication Critical patent/CN108564118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Abstract

一种基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，由对获取的数据进行预处理、基于社会亲和力映射图的池化操作、目标轨迹预测、训练模型、构建预测轨迹步骤组成。本发明将数据驱动善于处理连续序列问题的长短期记忆网络结合社会亲和力映射图来进行轨迹预测，模型由序列数据驱动，通过训练可以学习到普遍的行人轨迹模式，再结合预测时提取到的个人的轨迹特征和周围相关行人的轨迹特征，可以实现复杂场景的行人轨迹预测。本发明与现有技术相比，具有方法简单、与环境无关等优点，可用于捕获行人间约定俗成的社会习惯和微妙的交互，预测未来发生的交互。

Description

基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预 测方法
技术领域
本发明属于图像处理技术领域，具体涉及到采用社会亲和力长短期记忆网络实现拥挤场景行人轨迹预测。
背景技术
行人轨迹预测是指通过目标已有的运动轨迹对其未来固定时刻的位置坐标进行预测。行人轨迹预测是计算机视觉领域的核心问题，有很多应用方向，如自动驾驶汽车，智能追踪系统，送餐机器人等。
现有的行人轨迹预测方法有Social Force(SF)模型，Gaussian processes方法，Correlation Filter(CF)模型，Convolutional Neural Networks(CNN)方法和Social长短期记忆网络模型。SF模型由能量函数驱动，函数将行人间和行人与障碍物间的吸引和排斥转化为能量来预测行人轨迹。Gaussian processes方法通过高斯混合模型分布来预测速度、角偏量等参数。Correlation Filter(CF)模型通过设计滤波模板，使得模板和输入图片做相关时，能在目标中心位置得到最大响应值。Convolutional Neural Networks(CNN)方法和Recurrent Neural Networks(RNN)方法都应用了神经网络来进行轨迹预测。Convolutional Neural Networks(CNN)方法输入为图像，Social长短期记忆网络模型输入为轨迹坐标序列。
Social Force(SF)模型，Gaussian processes方法，Correlation Filter(CF)模型都要由复杂的公式或函数驱动，Social Force(SF)模型只能捕获吸引和排斥两种固定的交互类型，当处理复杂的交互和场景时有一定的局限性。目前通过神经网络进行轨迹预测取得了很大的进步，Convolutional Neural Networks(CNN)方法中的Multi-DomainNetwork(MDNet)模型得到了瞩目的实验结果，Recurrent Neural Networks(RNN)方法中的Social长短期记忆网络模型将RNN的变种长短期记忆网络用于轨迹预测并取得一定的进步。以上的轨迹预测方法都在复杂的交互或是复杂的场景下有一定的局限性。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种结构简单、方法简单、可适用于复杂场景、可捕获多种交互的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法。
解决上述技术问题采用的技术方案由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数、为有限的正整数，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括输入层、隐含层、池化层、输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，聚类后的圆形区域为社会亲和力映射图；在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，为目标Oi的任一邻近目标，任一邻近目标Om有大小为G0×1的相对位置矩阵为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量通过公式(2)、(3)获得:
其中，为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，是包含任一邻近目标Om在时间步t相对位置的隐含层状态，是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加；通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
通过张量获取目标Oi在时间步t的xy坐标信息:
式中φ(.)为ReLU函数，We为xy坐标的权重矩阵，为目标Oi在时间步t的xy坐标，be为xy坐标的偏置矩阵。
目标Oi的长短期记忆网络在时间步t的隐含层状态包含有时间步t-1的池化层状态时间步t-1目标Oi的隐含层状态时间步t目标Oi的位置信息通过公式(6)得隐含层状态
式中Wl为长短期记忆网络输入的权重矩阵，bl为长短期记忆网络输入的偏置矩阵。
用隐含层状态预测时间步t+1目标Oi的xy坐标长短期记忆网络的输出层状态通过公式(7)得:
式中Wo为长短期记忆网络隐含层状态的权重矩阵，bo为长短期记忆网络隐含层状态的偏置矩阵，为均值，为标准差，均为二维， 为xy坐标的相关系数。
在预测坐标之前，输出层状态通过公式(8)、(9)、(10)进行更新:
用双变量高斯函数预测时间步t+1目标Oi的xy坐标
(4)训练模型
通过交叉验证的方式对社会亲和力长短期记忆网络模型进行训练，即用4个场景的坐标序列集合训练模型，用剩下的1个场景的坐标序列集合测试，对5个坐标序列集合重复5次相同的操作，训练方法为：
选择负对数似然函数作为损失函数训练社会亲和力长短期记忆网络模型:
其中tobs+1为预测开始时间，tpred为预测结束时间，通过最小化损失函数，学习得到最佳的模型参数，训练得到行人普遍的行走模式；
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
在本发明的对获取的数据进行预处理步骤(1)中，本发明的行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数，T取值为700～1566。
在本发明的构建预测轨迹步骤(1)中，本发明的时间步t与时间步t+1之间的步长为tstep，tstep取值为0.1～1秒。
在本发明的基于社会亲和力映射图的池化操作步骤(2)中，本发明的社会亲和力长短期记忆网络模型最佳包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
在本发明的基于社会亲和力映射图的池化操作步骤(2)中，本发明的每个行人规划有一个半径为L像素的圆形区域，L的取值范围为20～240，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，G0取值为10，聚类后的圆形区域为社会亲和力映射图。
在本发明的构建预测轨迹步骤(5)中，本发明的结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为5～20，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为6～21，tpred取值为6～25，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
本发明将数据驱动善于处理连续序列问题的长短期记忆网络结合社会亲和力映射图来进行轨迹预测，模型由序列数据驱动，本发明与现有技术相比，具有方法简单、与环境无关等优点，可用于捕获行人间约定俗成的社会习惯和微妙的交互，同时能够结合各位行人的轨迹特征生成轨迹，预测未来发生的交互。
附图说明
图1是本发明实施例1的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。
实施例1
以从公开的数据集ETH中取780个坐标序列、数据集UCY中取786个坐标序列为例，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，tstep取值为0.4秒，T是集合坐标序列的总数，T取值为1200，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，L的取值为50，根据目标间的空间相对位置将圆形区域聚类划分为10个区域，10个区域代表10种社会亲和力，聚类后的圆形区域为社会亲和力映射图。在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，为目标Oi的任一邻近目标，任一邻近目标Om有大小为10×1的相对位置矩阵为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量通过公式(2)、(3)获得:
其中，为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，是包含任一邻近目标Om在时间步t相对位置的隐含层状态，是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加。通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
通过张量获取目标Oi在时间步t的xy坐标信息:
式中φ(.)为ReLU函数，We为xy坐标的权重矩阵，为目标Oi在时间步t的xy坐标，be为xy坐标的偏置矩阵。
目标Oi的长短期记忆网络在时间步t的隐含层状态包含有时间步t-1的池化层状态时间步t-1目标Oi的隐含层状态时间步t目标Oi的位置信息通过公式(6)得隐含层状态
式中Wl为长短期记忆网络输入的权重矩阵，bl为长短期记忆网络输入的偏置矩阵。
用隐含层状态预测时间步t+1目标Oi的xy坐标长短期记忆网络的输出层状态通过公式(7)得:
式中Wo为长短期记忆网络隐含层状态的权重矩阵，bo为长短期记忆网络隐含层状态的偏置矩阵，为均值，为标准差，均为二维， 为xy坐标的相关系数。
在预测坐标之前，输出层状态通过公式(8)、(9)、(10)进行更新:
用双变量高斯函数预测时间步t+1目标Oi的xy坐标
(4)训练模型
通过交叉验证的方式对社会亲和力长短期记忆网络模型进行训练，即用4个场景的坐标序列集合训练模型，用剩下的1个场景的坐标序列集合测试，对5个坐标序列集合重复5次相同的操作，训练方法为：
选择负对数似然函数作为损失函数训练社会亲和力长短期记忆网络模型:
其中tobs+1为预测开始时间，tpred为预测结束时间，通过最小化损失函数，学习得到最佳的模型参数，训练得到行人普遍的行走模式。
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为8，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为9，tpred取值为20，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
实施例2
以从公开的数据集ETH中取780个坐标序列、数据集UCY中取786个坐标序列为例，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，tstep取值为1秒，T是集合坐标序列的总数，T取值为700，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，L的取值为20，根据目标间的空间相对位置将圆形区域聚类划分为10个区域，10个区域代表10种社会亲和力，聚类后的圆形区域为社会亲和力映射图。在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，为目标Oi的任一邻近目标，任一邻近目标Om有大小为10×1的相对位置矩阵为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量通过公式(2)、(3)获得:
其中，为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，是包含任一邻近目标Om在时间步t相对位置的隐含层状态，是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加。通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
该步骤与实施例1相同。
(4)训练模型
该步骤与实施例1相同。
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为5，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为6，tpred取值为6，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
实施例3
以从公开的数据集ETH中取780个坐标序列、数据集UCY中取786个坐标序列为例，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，tstep取值为0.1秒，T是集合坐标序列的总数，T取值为1566，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，L的取值为240，根据目标间的空间相对位置将圆形区域聚类划分为10个区域，10个区域代表10种社会亲和力，聚类后的圆形区域为社会亲和力映射图。在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，为目标Oi的任一邻近目标，任一邻近目标Om有大小为10×1的相对位置矩阵为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量通过公式(2)、(3)获得:
其中，为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，是包含任一邻近目标Om在时间步t相对位置的隐含层状态，是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加。通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
该步骤与实施例1相同。
(4)训练模型
该步骤与实施例1相同。
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为20，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为21，tpred取值为25，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
根据上述原理，在数据集ETH中取其他的坐标序列、数据集UCY中取其他的坐标序列，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法与上述方法相同。

Claims (6)

1.一种基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数、为有限的正整数，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率；
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括输入层、隐含层、池化层、输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作；
每个行人规划有一个半径为L像素的圆形区域，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，聚类后的圆形区域为社会亲和力映射图；在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，为目标Oi的任一邻近目标，任一邻近目标Om有大小为G0×1的相对位置矩阵 为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量通过公式(2)、(3)获得:
其中，为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，是包含任一邻近目标Om在时间步t相对位置的隐含层状态，是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加；通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络；
(3)目标轨迹预测
通过张量获取目标Oi在时间步t的xy坐标信息:
式中φ(.)为ReLU函数，We为xy坐标的权重矩阵，为目标Oi在时间步t的xy坐标，be为xy坐标的偏置矩阵；
目标Oi的长短期记忆网络在时间步t的隐含层状态包含有时间步t-1的池化层状态时间步t-1目标Oi的隐含层状态时间步t目标Oi的位置信息通过公式(6)得隐含层状态
式中Wl为长短期记忆网络输入的权重矩阵，bl为长短期记忆网络输入的偏置矩阵；
用隐含层状态预测时间步t+1目标Oi的xy坐标长短期记忆网络的输出层状态通过公式(7)得:
式中Wo为长短期记忆网络隐含层状态的权重矩阵，bo为长短期记忆网络隐含层状态的偏置矩阵，为均值，为标准差，均为二维， 为xy坐标的相关系数；
在预测坐标之前，输出层状态通过公式(8)、(9)、(10)进行更新:
用双变量高斯函数预测时间步t+1目标Oi的xy坐标
(4)训练模型
通过交叉验证的方式对社会亲和力长短期记忆网络模型进行训练，即用4个场景的坐标序列集合训练模型，用剩下的1个场景的坐标序列集合测试，对5个坐标序列集合重复5次相同的操作，训练方法为：
选择负对数似然函数作为损失函数训练社会亲和力长短期记忆网络模型:
其中tobs+1为预测开始时间，tpred为预测结束时间，通过最小化损失函数，学习得到最佳的模型参数，训练得到行人普遍的行走模式；
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
2.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在对获取的数据进行预处理步骤(1)中，所述的行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合数据集中共有5个场景，为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数，T取值为700～1566。
3.根据权利要求1或2所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在构建预测轨迹步骤(1)中，所述的时间步t与时间步t+1之间的步长为tstep，tstep取值为0.1～1秒。
4.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在基于社会亲和力映射图的池化操作步骤(2)中，所述的社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
5.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在基于社会亲和力映射图的池化操作步骤(2)中，所述的每个行人规划有一个半径为L像素的圆形区域，L的取值范围为20～240，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，G0取值为10，聚类后的圆形区域为社会亲和力映射图。
6.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在构建预测轨迹步骤(5)中，所述的结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为5～20，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为6～21，tpred取值为6～25，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
CN201810294015.1A 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 Active CN108564118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810294015.1A CN108564118B (zh) 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810294015.1A CN108564118B (zh) 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

Publications (2)

Publication Number Publication Date
CN108564118A true CN108564118A (zh) 2018-09-21
CN108564118B CN108564118B (zh) 2021-05-11

Family

ID=63533968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810294015.1A Active CN108564118B (zh) 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN108564118B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109447164A (zh) * 2018-11-01 2019-03-08 厦门大学 一种运动行为模式分类方法、系统以及装置
CN110471055A (zh) * 2019-07-08 2019-11-19 岭澳核电有限公司 飞行物轨迹预测方法、装置、可读存储介质及终端设备
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统
CN111044045A (zh) * 2019-12-09 2020-04-21 中国科学院深圳先进技术研究院 基于神经网络的导航方法、装置及终端设备
CN111223121A (zh) * 2020-01-13 2020-06-02 清华大学 一种基于无碰撞lstm的多目标轨迹预测方法
CN111311009A (zh) * 2020-02-24 2020-06-19 广东工业大学 一种基于长短期记忆的行人轨迹预测方法
CN111428763A (zh) * 2020-03-17 2020-07-17 陕西师范大学 一种基于场景约束gan的行人轨迹预测方法
CN111553232A (zh) * 2020-04-22 2020-08-18 陕西师范大学 基于场景状态迭代的门循环单元网络行人轨迹预测方法
CN111912423A (zh) * 2020-10-13 2020-11-10 北京三快在线科技有限公司 一种预测障碍物轨迹以及模型训练的方法及装置
CN112541449A (zh) * 2020-12-18 2021-03-23 天津大学 一种基于无人机航拍视角的行人轨迹预测方法
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN112862090A (zh) * 2021-01-22 2021-05-28 南开大学 一种基于深度时空神经网络的气温预报方法
CN113076686A (zh) * 2021-03-04 2021-07-06 南京航空航天大学 一种基于社会长短期记忆网络的航空器轨迹预测方法
CN113538506A (zh) * 2021-07-23 2021-10-22 陕西师范大学 基于全局动态场景信息深度建模的行人轨迹预测方法
US11541885B2 (en) * 2018-09-26 2023-01-03 Robert Bosch Gmbh Location prediction for dynamic objects
CN115690160A (zh) * 2022-11-16 2023-02-03 南京航空航天大学 一种低帧率视频行人轨迹预测方法与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法
US20180089152A1 (en) * 2016-09-02 2018-03-29 Digital Genius Limited Message text labelling

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180089152A1 (en) * 2016-09-02 2018-03-29 Digital Genius Limited Message text labelling
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEXANDRE ALAHI∗, KRATARTH GOEL∗, VIGNESH RAMANATHAN等: "Social LSTM:Human Trajectory Prediction in Crowded Spaces", 《IEEE》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11541885B2 (en) * 2018-09-26 2023-01-03 Robert Bosch Gmbh Location prediction for dynamic objects
CN109447164A (zh) * 2018-11-01 2019-03-08 厦门大学 一种运动行为模式分类方法、系统以及装置
CN110471055B (zh) * 2019-07-08 2021-03-30 岭澳核电有限公司 飞行物轨迹预测方法、装置、可读存储介质及终端设备
CN110471055A (zh) * 2019-07-08 2019-11-19 岭澳核电有限公司 飞行物轨迹预测方法、装置、可读存储介质及终端设备
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN110781838B (zh) * 2019-10-28 2023-05-26 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统
CN111044045B (zh) * 2019-12-09 2022-05-27 中国科学院深圳先进技术研究院 基于神经网络的导航方法、装置及终端设备
CN111044045A (zh) * 2019-12-09 2020-04-21 中国科学院深圳先进技术研究院 基于神经网络的导航方法、装置及终端设备
CN111223121A (zh) * 2020-01-13 2020-06-02 清华大学 一种基于无碰撞lstm的多目标轨迹预测方法
CN111311009A (zh) * 2020-02-24 2020-06-19 广东工业大学 一种基于长短期记忆的行人轨迹预测方法
CN111311009B (zh) * 2020-02-24 2023-05-26 广东工业大学 一种基于长短期记忆的行人轨迹预测方法
CN111428763A (zh) * 2020-03-17 2020-07-17 陕西师范大学 一种基于场景约束gan的行人轨迹预测方法
CN111428763B (zh) * 2020-03-17 2023-04-07 陕西师范大学 一种基于场景约束gan的行人轨迹预测方法
CN111553232A (zh) * 2020-04-22 2020-08-18 陕西师范大学 基于场景状态迭代的门循环单元网络行人轨迹预测方法
CN111912423B (zh) * 2020-10-13 2021-02-02 北京三快在线科技有限公司 一种预测障碍物轨迹以及模型训练的方法及装置
CN111912423A (zh) * 2020-10-13 2020-11-10 北京三快在线科技有限公司 一种预测障碍物轨迹以及模型训练的方法及装置
CN112541449A (zh) * 2020-12-18 2021-03-23 天津大学 一种基于无人机航拍视角的行人轨迹预测方法
CN112651374A (zh) * 2021-01-04 2021-04-13 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN112862090B (zh) * 2021-01-22 2023-01-31 南开大学 一种基于深度时空神经网络的气温预报方法
CN112862090A (zh) * 2021-01-22 2021-05-28 南开大学 一种基于深度时空神经网络的气温预报方法
CN113076686A (zh) * 2021-03-04 2021-07-06 南京航空航天大学 一种基于社会长短期记忆网络的航空器轨迹预测方法
CN113538506A (zh) * 2021-07-23 2021-10-22 陕西师范大学 基于全局动态场景信息深度建模的行人轨迹预测方法
CN115690160B (zh) * 2022-11-16 2023-12-15 南京航空航天大学 一种低帧率视频行人轨迹预测方法与系统
CN115690160A (zh) * 2022-11-16 2023-02-03 南京航空航天大学 一种低帧率视频行人轨迹预测方法与系统

Also Published As

Publication number Publication date
CN108564118B (zh) 2021-05-11

Similar Documents

Publication Publication Date Title
CN108564118A (zh) 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
Manuelli et al. Keypoints into the future: Self-supervised correspondence in model-based reinforcement learning
Shridhar et al. Cliport: What and where pathways for robotic manipulation
Deo et al. Trajectory forecasts in unknown environments conditioned on grid-based plans
Weber et al. Imagination-augmented agents for deep reinforcement learning
Pascanu et al. Learning model-based planning from scratch
Racanière et al. Imagination-augmented agents for deep reinforcement learning
CN107092254B (zh) 一种基于深度增强学习的家用扫地机器人的设计方法
CN107169435B (zh) 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
Liu et al. A digital twin-based sim-to-real transfer for deep reinforcement learning-enabled industrial robot grasping
CN110874578B (zh) 一种基于强化学习的无人机视角车辆识别追踪方法
CN107818333B (zh) 基于深度信念网络的机器人避障行为学习和目标搜索方法
CN108803617A (zh) 轨迹预测方法及装置
Saroya et al. Online exploration of tunnel networks leveraging topological CNN-based world predictions
CN111176309B (zh) 一种基于球面成像的多无人机自组群互感理解方法
CN104850120A (zh) 基于ihdr自主学习框架的轮式移动机器人导航方法
Antonova et al. A bayesian treatment of real-to-sim for deformable object manipulation
Buddareddygari et al. Targeted attack on deep rl-based autonomous driving with learned visual patterns
CN106447071A (zh) 一种应用于视频监控场景的路径预测方法
Chang et al. Learning deep parameterized skills from demonstration for re-targetable visuomotor control
Wu et al. Vision-based robot path planning with deep learning
Wu et al. Pre-training contextualized world models with in-the-wild videos for reinforcement learning
Hamami et al. A systematic review on particle swarm optimization towards target search in the swarm robotics domain
You et al. An imitation from observation approach for dozing distance learning in autonomous bulldozer operation
Mueggler Event-based vision for high-speed robotics

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant