CN108564118B - 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 - Google Patents

基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 Download PDF

Info

Publication number
CN108564118B
CN108564118B CN201810294015.1A CN201810294015A CN108564118B CN 108564118 B CN108564118 B CN 108564118B CN 201810294015 A CN201810294015 A CN 201810294015A CN 108564118 B CN108564118 B CN 108564118B
Authority
CN
China
Prior art keywords
time step
long
term memory
memory network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810294015.1A
Other languages
English (en)
Other versions
CN108564118A (zh
Inventor
裴炤
张艳宁
齐晓宁
马苗
汪西莉
徐航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN201810294015.1A priority Critical patent/CN108564118B/zh
Publication of CN108564118A publication Critical patent/CN108564118A/zh
Application granted granted Critical
Publication of CN108564118B publication Critical patent/CN108564118B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，由对获取的数据进行预处理、基于社会亲和力映射图的池化操作、目标轨迹预测、训练模型、构建预测轨迹步骤组成。本发明将数据驱动善于处理连续序列问题的长短期记忆网络结合社会亲和力映射图来进行轨迹预测，模型由序列数据驱动，通过训练可以学习到普遍的行人轨迹模式，再结合预测时提取到的个人的轨迹特征和周围相关行人的轨迹特征，可以实现复杂场景的行人轨迹预测。本发明与现有技术相比，具有方法简单、与环境无关等优点，可用于捕获行人间约定俗成的社会习惯和微妙的交互，预测未来发生的交互。

Description

基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预 测方法
技术领域
本发明属于图像处理技术领域，具体涉及到采用社会亲和力长短期记忆网络实现拥挤场景行人轨迹预测。
背景技术
行人轨迹预测是指通过目标已有的运动轨迹对其未来固定时刻的位置坐标进行预测。行人轨迹预测是计算机视觉领域的核心问题，有很多应用方向，如自动驾驶汽车，智能追踪系统，送餐机器人等。
现有的行人轨迹预测方法有Social Force(SF)模型，Gaussian processes方法，Correlation Filter(CF)模型，Convolutional Neural Networks(CNN)方法和Social长短期记忆网络模型。SF模型由能量函数驱动，函数将行人间和行人与障碍物间的吸引和排斥转化为能量来预测行人轨迹。Gaussian processes方法通过高斯混合模型分布来预测速度、角偏量等参数。Correlation Filter(CF)模型通过设计滤波模板，使得模板和输入图片做相关时，能在目标中心位置得到最大响应值。Convolutional Neural Networks(CNN)方法和Recurrent Neural Networks(RNN)方法都应用了神经网络来进行轨迹预测。Convolutional Neural Networks(CNN)方法输入为图像，Social长短期记忆网络模型输入为轨迹坐标序列。
Social Force(SF)模型，Gaussian processes方法，Correlation Filter(CF)模型都要由复杂的公式或函数驱动，Social Force(SF)模型只能捕获吸引和排斥两种固定的交互类型，当处理复杂的交互和场景时有一定的局限性。目前通过神经网络进行轨迹预测取得了很大的进步，Convolutional Neural Networks(CNN)方法中的Multi-DomainNetwork(MDNet)模型得到了瞩目的实验结果，Recurrent Neural Networks(RNN)方法中的Social长短期记忆网络模型将RNN的变种长短期记忆网络用于轨迹预测并取得一定的进步。以上的轨迹预测方法都在复杂的交互或是复杂的场景下有一定的局限性。
发明内容
本发明所要解决的技术问题在于克服上述现有技术的缺点，提供一种结构简单、方法简单、可适用于复杂场景、可捕获多种交互的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法。
解决上述技术问题采用的技术方案由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合
Figure BDA0001617907520000021
数据集中共有5个场景，
Figure BDA0001617907520000022
为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数、为有限的正整数，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括输入层、隐含层、池化层、输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，聚类后的圆形区域为社会亲和力映射图；在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，
Figure BDA0001617907520000024
为目标Oi的任一邻近目标，任一邻近目标Om有大小为G0×1的相对位置矩阵
Figure BDA0001617907520000023
为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
Figure BDA0001617907520000031
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量
Figure BDA0001617907520000036
保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量
Figure BDA0001617907520000037
通过公式(2)、(3)获得:
Figure BDA0001617907520000032
Figure BDA0001617907520000033
其中，
Figure BDA0001617907520000038
为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，
Figure BDA0001617907520000039
是包含任一邻近目标Om在时间步t相对位置的隐含层状态，
Figure BDA00016179075200000310
是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加；通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
Figure BDA00016179075200000311
Figure BDA0001617907520000034
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
通过张量
Figure BDA00016179075200000312
获取目标Oi在时间步t的xy坐标信息:
Figure BDA0001617907520000035
式中φ(.)为ReLU函数，We为xy坐标的权重矩阵，
Figure BDA00016179075200000313
为目标Oi在时间步t的xy坐标，be为xy坐标的偏置矩阵。
目标Oi的长短期记忆网络在时间步t的隐含层状态
Figure BDA00016179075200000315
包含有时间步t-1的池化层状态
Figure BDA00016179075200000314
时间步t-1目标Oi的隐含层状态
Figure BDA0001617907520000048
时间步t目标Oi的位置信息
Figure BDA0001617907520000049
通过公式(6)得隐含层状态
Figure BDA00016179075200000410
Figure BDA0001617907520000041
式中Wl为长短期记忆网络输入的权重矩阵，bl为长短期记忆网络输入的偏置矩阵。
用隐含层状态
Figure BDA00016179075200000411
预测时间步t+1目标Oi的xy坐标
Figure BDA00016179075200000412
长短期记忆网络的输出层状态
Figure BDA00016179075200000413
通过公式(7)得:
Figure BDA0001617907520000042
式中Wo为长短期记忆网络隐含层状态的权重矩阵，bo为长短期记忆网络隐含层状态的偏置矩阵，
Figure BDA00016179075200000414
为均值，
Figure BDA00016179075200000415
为标准差，
Figure BDA00016179075200000416
均为二维，
Figure BDA00016179075200000417
Figure BDA00016179075200000418
为xy坐标的相关系数。
在预测坐标之前，输出层状态
Figure BDA00016179075200000419
通过公式(8)、(9)、(10)进行更新:
Figure BDA0001617907520000043
Figure BDA0001617907520000044
Figure BDA0001617907520000045
用双变量高斯函数预测时间步t+1目标Oi的xy坐标
Figure BDA00016179075200000420
Figure BDA0001617907520000046
(4)训练模型
通过交叉验证的方式对社会亲和力长短期记忆网络模型进行训练，即用4个场景的坐标序列集合训练模型，用剩下的1个场景的坐标序列集合测试，对5个坐标序列集合重复5次相同的操作，训练方法为：
选择负对数似然函数作为损失函数训练社会亲和力长短期记忆网络模型:
Figure BDA0001617907520000047
其中tobs+1为预测开始时间，tpred为预测结束时间，通过最小化损失函数，学习得到最佳的模型参数，训练得到行人普遍的行走模式；
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
在本发明的对获取的数据进行预处理步骤(1)中，本发明的行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合
Figure BDA0001617907520000051
数据集中共有5个场景，
Figure BDA0001617907520000052
为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数，T取值为700～1566。
在本发明的构建预测轨迹步骤(1)中，本发明的时间步t与时间步t+1之间的步长为tstep，tstep取值为0.1～1秒。
在本发明的基于社会亲和力映射图的池化操作步骤(2)中，本发明的社会亲和力长短期记忆网络模型最佳包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
在本发明的基于社会亲和力映射图的池化操作步骤(2)中，本发明的每个行人规划有一个半径为L像素的圆形区域，L的取值范围为20～240，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，G0取值为10，聚类后的圆形区域为社会亲和力映射图。
在本发明的构建预测轨迹步骤(5)中，本发明的结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为5～20，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为6～21，tpred取值为6～25，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
本发明将数据驱动善于处理连续序列问题的长短期记忆网络结合社会亲和力映射图来进行轨迹预测，模型由序列数据驱动，本发明与现有技术相比，具有方法简单、与环境无关等优点，可用于捕获行人间约定俗成的社会习惯和微妙的交互，同时能够结合各位行人的轨迹特征生成轨迹，预测未来发生的交互。
附图说明
图1是本发明实施例1的流程图。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施例。
实施例1
以从公开的数据集ETH中取780个坐标序列、数据集UCY中取786个坐标序列为例，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合
Figure BDA0001617907520000061
数据集中共有5个场景，
Figure BDA0001617907520000062
为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，tstep取值为0.4秒，T是集合坐标序列的总数，T取值为1200，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，L的取值为50，根据目标间的空间相对位置将圆形区域聚类划分为10个区域，10个区域代表10种社会亲和力，聚类后的圆形区域为社会亲和力映射图。在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，
Figure BDA0001617907520000075
为目标Oi的任一邻近目标，任一邻近目标Om有大小为10×1的相对位置矩阵
Figure BDA0001617907520000076
为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
Figure BDA0001617907520000071
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量
Figure BDA0001617907520000077
保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量
Figure BDA0001617907520000078
通过公式(2)、(3)获得:
Figure BDA0001617907520000072
Figure BDA0001617907520000073
其中，
Figure BDA0001617907520000079
为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，
Figure BDA00016179075200000710
是包含任一邻近目标Om在时间步t相对位置的隐含层状态，
Figure BDA00016179075200000711
是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加。通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
Figure BDA00016179075200000712
Figure BDA0001617907520000074
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
通过张量
Figure BDA00016179075200000713
获取目标Oi在时间步t的xy坐标信息:
Figure BDA0001617907520000081
式中φ(.)为ReLU函数，We为xy坐标的权重矩阵，
Figure BDA0001617907520000088
为目标Oi在时间步t的xy坐标，be为xy坐标的偏置矩阵。
目标Oi的长短期记忆网络在时间步t的隐含层状态
Figure BDA00016179075200000810
包含有时间步t-1的池化层状态
Figure BDA0001617907520000089
时间步t-1目标Oi的隐含层状态
Figure BDA00016179075200000811
时间步t目标Oi的位置信息
Figure BDA00016179075200000812
通过公式(6)得隐含层状态
Figure BDA00016179075200000813
Figure BDA0001617907520000082
式中Wl为长短期记忆网络输入的权重矩阵，bl为长短期记忆网络输入的偏置矩阵。
用隐含层状态
Figure BDA00016179075200000814
预测时间步t+1目标Oi的xy坐标
Figure BDA00016179075200000815
长短期记忆网络的输出层状态
Figure BDA00016179075200000816
通过公式(7)得:
Figure BDA0001617907520000083
式中Wo为长短期记忆网络隐含层状态的权重矩阵，bo为长短期记忆网络隐含层状态的偏置矩阵，
Figure BDA00016179075200000817
为均值，
Figure BDA00016179075200000818
为标准差，
Figure BDA00016179075200000819
均为二维，
Figure BDA00016179075200000820
Figure BDA00016179075200000821
为xy坐标的相关系数。
在预测坐标之前，输出层状态
Figure BDA00016179075200000822
通过公式(8)、(9)、(10)进行更新:
Figure BDA0001617907520000084
Figure BDA0001617907520000085
Figure BDA0001617907520000086
用双变量高斯函数预测时间步t+1目标Oi的xy坐标
Figure BDA00016179075200000823
Figure BDA0001617907520000087
(4)训练模型
通过交叉验证的方式对社会亲和力长短期记忆网络模型进行训练，即用4个场景的坐标序列集合训练模型，用剩下的1个场景的坐标序列集合测试，对5个坐标序列集合重复5次相同的操作，训练方法为：
选择负对数似然函数作为损失函数训练社会亲和力长短期记忆网络模型:
Figure BDA0001617907520000091
其中tobs+1为预测开始时间，tpred为预测结束时间，通过最小化损失函数，学习得到最佳的模型参数，训练得到行人普遍的行走模式。
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为8，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为9，tpred取值为20，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
实施例2
以从公开的数据集ETH中取780个坐标序列、数据集UCY中取786个坐标序列为例，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合
Figure BDA0001617907520000092
数据集中共有5个场景，
Figure BDA0001617907520000093
为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，tstep取值为1秒，T是集合坐标序列的总数，T取值为700，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，L的取值为20，根据目标间的空间相对位置将圆形区域聚类划分为10个区域，10个区域代表10种社会亲和力，聚类后的圆形区域为社会亲和力映射图。在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，
Figure BDA0001617907520000105
为目标Oi的任一邻近目标，任一邻近目标Om有大小为10×1的相对位置矩阵
Figure BDA0001617907520000106
为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
Figure BDA0001617907520000101
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量
Figure BDA0001617907520000107
保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量
Figure BDA0001617907520000108
通过公式(2)、(3)获得:
Figure BDA0001617907520000102
Figure BDA0001617907520000103
其中，
Figure BDA0001617907520000109
为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，
Figure BDA00016179075200001010
是包含任一邻近目标Om在时间步t相对位置的隐含层状态，
Figure BDA00016179075200001011
是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加。通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
Figure BDA00016179075200001012
Figure BDA0001617907520000104
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
该步骤与实施例1相同。
(4)训练模型
该步骤与实施例1相同。
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为5，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为6，tpred取值为6，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
实施例3
以从公开的数据集ETH中取780个坐标序列、数据集UCY中取786个坐标序列为例，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合
Figure BDA0001617907520000111
数据集中共有5个场景，
Figure BDA0001617907520000112
为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，tstep取值为0.1秒，T是集合坐标序列的总数，T取值为1566，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率。
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
每个行人规划有一个半径为L像素的圆形区域，L的取值为240，根据目标间的空间相对位置将圆形区域聚类划分为10个区域，10个区域代表10种社会亲和力，聚类后的圆形区域为社会亲和力映射图。在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，
Figure BDA0001617907520000125
为目标Oi的任一邻近目标，任一邻近目标Om有大小为10×1的相对位置矩阵
Figure BDA0001617907520000126
为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
Figure BDA0001617907520000121
矩阵中元素1为任一邻近目标Om相对位置，元素0为非任一邻近目标Om相对位置，通过张量
Figure BDA0001617907520000127
保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量
Figure BDA0001617907520000128
通过公式(2)、(3)获得:
Figure BDA0001617907520000122
Figure BDA0001617907520000123
其中，
Figure BDA0001617907520000129
为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，
Figure BDA00016179075200001210
是包含任一邻近目标Om在时间步t相对位置的隐含层状态，
Figure BDA00016179075200001212
是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加。通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
Figure BDA00016179075200001211
Figure BDA0001617907520000124
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络。
(3)目标轨迹预测
该步骤与实施例1相同。
(4)训练模型
该步骤与实施例1相同。
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为20，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为21，tpred取值为25，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
根据上述原理，在数据集ETH中取其他的坐标序列、数据集UCY中取其他的坐标序列，基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法与上述方法相同。

Claims (6)

1.一种基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于由以下步骤组成：
(1)对获取的数据进行预处理
行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合
Figure FDA0002977647240000011
数据集中共有5个场景，
Figure FDA0002977647240000012
为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数、为有限的正整数，k是在T个坐标序列集合中的任意一个坐标序列，{Ok|k∈[1,T]}为目标集合，在目标集合中任意选取一个目标Oi,i∈[1,T]进行轨迹预测，所有xy坐标都经过归一化处理，即xy坐标像素除以相应的视频分辨率；
(2)基于社会亲和力映射图的池化操作
社会亲和力长短期记忆网络模型包括输入层、隐含层、池化层、输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作；
每个行人规划有一个半径为L像素的圆形区域，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，聚类后的圆形区域为社会亲和力映射图；在时间步t，目标Oi的任一邻近目标Om位于社会亲和力映射图范围内，
Figure FDA0002977647240000013
为目标Oi的任一邻近目标，任一邻近目标Om有大小为G0×1的相对位置矩阵
Figure FDA0002977647240000014
Figure FDA0002977647240000015
为任一邻近目标Om在社会亲和力映射图中相对于目标Oi的位置，一个空间相对位置为区域1的邻近目标Om位置矩阵如下:
Figure FDA0002977647240000021
矩阵中元素1为任一邻近目标Om的相对位置，元素0为非任一邻近目标Om的相对位置，通过张量
Figure FDA0002977647240000022
保存目标Oi所有邻居的位置信息和相对应的长短期记忆网络时间步t-1的隐含层状态，张量
Figure FDA0002977647240000023
通过公式(2)、(3)获得:
Figure FDA0002977647240000024
Figure FDA0002977647240000025
其中，
Figure FDA0002977647240000026
为任一邻近目标Om在时间步t-1的长短期记忆网络隐含层状态，
Figure FDA0002977647240000027
是包含任一邻近目标Om在时间步t相对位置的隐含层状态，
Figure FDA0002977647240000028
是社会亲和力映射图范围内所有任一邻近目标Om的集合，将所有邻近目标的长短期记忆网络的隐含层状态累加；通过池化层的池化操作连接相邻的长短期记忆网络，得池化层状态
Figure FDA0002977647240000029
Figure FDA00029776472400000210
其中，φ(.)为ReLU函数，Ws为池化权重矩阵，bs为池化偏置矩阵，以池化权重矩阵中不同的值连接不同社会亲和力映射图区域所有邻近目标Om的长短期记忆网络；
(3)目标轨迹预测
通过张量
Figure FDA00029776472400000211
获取目标Oi在时间步t的xy坐标信息:
Figure FDA00029776472400000212
式中φ(.)为ReLU函数，We为xy坐标的权重矩阵，
Figure FDA00029776472400000213
为目标Oi在时间步t的xy坐标，be为xy坐标的偏置矩阵；
目标Oi的长短期记忆网络在时间步t的隐含层状态
Figure FDA00029776472400000214
包含有时间步t-1的池化层状态
Figure FDA00029776472400000215
时间步t-1目标Oi的隐含层状态
Figure FDA0002977647240000031
时间步t目标Oi的位置信息
Figure FDA0002977647240000032
通过公式(6)得隐含层状态
Figure FDA0002977647240000033
Figure FDA0002977647240000034
式中Wl为长短期记忆网络输入的权重矩阵，bl为长短期记忆网络输入的偏置矩阵；
用隐含层状态
Figure FDA0002977647240000035
预测时间步t+1目标Oi的xy坐标
Figure FDA0002977647240000036
长短期记忆网络的输出层状态
Figure FDA0002977647240000037
通过公式(7)得:
Figure FDA0002977647240000038
式中Wo为长短期记忆网络隐含层状态的权重矩阵，bo为长短期记忆网络隐含层状态的偏置矩阵，
Figure FDA0002977647240000039
为均值，
Figure FDA00029776472400000310
为标准差，
Figure FDA00029776472400000311
均为二维，
Figure FDA00029776472400000312
Figure FDA00029776472400000313
为xy坐标的相关系数；
在预测坐标之前，输出层状态
Figure FDA00029776472400000314
通过公式(8)、(9)、(10)进行更新:
Figure FDA00029776472400000315
Figure FDA00029776472400000316
Figure FDA00029776472400000317
用双变量高斯函数预测时间步t+1目标Oi的xy坐标
Figure FDA00029776472400000318
Figure FDA00029776472400000319
(4)训练模型
通过交叉验证的方式对社会亲和力长短期记忆网络模型进行训练，即用4个场景的坐标序列集合训练模型，用剩下的1个场景的坐标序列集合测试，对5个坐标序列集合重复5次相同的操作，训练方法为：
选择负对数似然函数作为损失函数训练社会亲和力长短期记忆网络模型:
Figure FDA00029776472400000320
其中tobs+1为预测开始时间，tpred为预测结束时间，通过最小化损失函数，学习得到最佳的模型参数，训练得到行人普遍的行走模式；
(5)构建预测轨迹
结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
2.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在对获取的数据进行预处理步骤(1)中，所述的行人轨迹数据来源于公开的数据集ETH、UCY中所有坐标序列集合
Figure FDA0002977647240000041
数据集中共有5个场景，
Figure FDA0002977647240000042
为目标Ok在时间步t的坐标，时间步t与时间步t+1之间的步长为tstep，T是集合坐标序列的总数，T取值为700～1566。
3.根据权利要求1或2所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在构建预测轨迹步骤(1)中，所述的时间步t与时间步t+1之间的步长为tstep，tstep取值为0.1～1秒。
4.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在基于社会亲和力映射图的池化操作步骤(2)中，所述的社会亲和力长短期记忆网络模型包括1层输入层、1层隐含层、1层池化层、1层输出层，每个目标有一个单层长短期记忆网络，所有的目标共享相同的长短期记忆网络参数，池化层对与目标相邻的长短期记忆网络进行池化操作。
5.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在基于社会亲和力映射图的池化操作步骤(2)中，所述的每个行人规划有一个半径为L像素的圆形区域，L的取值范围为20～240，根据目标间的空间相对位置将圆形区域聚类划分为G0个区域，G0个区域代表G0种社会亲和力，G0取值为10，聚类后的圆形区域为社会亲和力映射图。
6.根据权利要求1所述的基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法，其特征在于：在构建预测轨迹步骤(5)中，所述的结合个人轨迹坐标特征和普遍的行人行走模式，从时间步ts到tobs观察个人轨迹坐标特征，ts取值为1，tobs取值为5～20，从时间步tobs+1到tpred预测轨迹坐标，其中，ts为观察开始时间，tobs为观察结束时间，从时间步ts到tobs个人行走特征相关的信息通过隐含层传递到预测时间步，观测操作进行隐含层状态的传递，时间步tobs+1到tpred，tobs+1取值为6～21，tpred取值为6～25，每个时间步仅预测下一时间步的坐标，将预测坐标作为下一时间步的长短期记忆网络的输入，重复至时间步tpred，得到连续预测轨迹。
CN201810294015.1A 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 Active CN108564118B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810294015.1A CN108564118B (zh) 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810294015.1A CN108564118B (zh) 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

Publications (2)

Publication Number Publication Date
CN108564118A CN108564118A (zh) 2018-09-21
CN108564118B true CN108564118B (zh) 2021-05-11

Family

ID=63533968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810294015.1A Active CN108564118B (zh) 2018-03-30 2018-03-30 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN108564118B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018216417A1 (de) * 2018-09-26 2020-03-26 Robert Bosch Gmbh Ortsvorhersage für dynamische Objekte
CN109447164B (zh) * 2018-11-01 2019-07-19 厦门大学 一种运动行为模式分类方法、系统以及装置
CN110471055B (zh) * 2019-07-08 2021-03-30 岭澳核电有限公司 飞行物轨迹预测方法、装置、可读存储介质及终端设备
CN110781838B (zh) * 2019-10-28 2023-05-26 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统
CN111044045B (zh) * 2019-12-09 2022-05-27 中国科学院深圳先进技术研究院 基于神经网络的导航方法、装置及终端设备
CN111223121A (zh) * 2020-01-13 2020-06-02 清华大学 一种基于无碰撞lstm的多目标轨迹预测方法
CN111311009B (zh) * 2020-02-24 2023-05-26 广东工业大学 一种基于长短期记忆的行人轨迹预测方法
CN111428763B (zh) * 2020-03-17 2023-04-07 陕西师范大学 一种基于场景约束gan的行人轨迹预测方法
CN111553232B (zh) * 2020-04-22 2023-04-07 陕西师范大学 基于场景状态迭代的门循环单元网络行人轨迹预测方法
CN112629550B (zh) * 2020-10-13 2024-03-01 北京三快在线科技有限公司 一种预测障碍物轨迹以及模型训练的方法及装置
CN112541449A (zh) * 2020-12-18 2021-03-23 天津大学 一种基于无人机航拍视角的行人轨迹预测方法
CN112651374B (zh) * 2021-01-04 2022-10-25 东风汽车股份有限公司 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN112862090B (zh) * 2021-01-22 2023-01-31 南开大学 一种基于深度时空神经网络的气温预报方法
CN113076686B (zh) * 2021-03-04 2024-08-02 南京航空航天大学 一种基于社会长短期记忆网络的航空器轨迹预测方法
CN113538506A (zh) * 2021-07-23 2021-10-22 陕西师范大学 基于全局动态场景信息深度建模的行人轨迹预测方法
CN115690160B (zh) * 2022-11-16 2023-12-15 南京航空航天大学 一种低帧率视频行人轨迹预测方法与系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201614958D0 (en) * 2016-09-02 2016-10-19 Digital Genius Ltd Message text labelling

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330410A (zh) * 2017-07-03 2017-11-07 南京工程学院 复杂环境下基于深度学习的异常检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Social LSTM:Human Trajectory Prediction in Crowded Spaces;Alexandre Alahi∗, Kratarth Goel∗, Vignesh Ramanathan等;《IEEE》;20161212;第961-971页 *

Also Published As

Publication number Publication date
CN108564118A (zh) 2018-09-21

Similar Documents

Publication Publication Date Title
CN108564118B (zh) 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
Moreau et al. Lens: Localization enhanced by nerf synthesis
CN111008999B (zh) 用包含跟踪网络的cnn跟踪对象的方法和使用该方法的装置
CN107169435B (zh) 一种基于雷达仿真图像的卷积神经网络人体动作分类方法
CN108921051B (zh) 基于循环神经网络注意力模型的行人属性识别网络及技术
CN107529650B (zh) 闭环检测方法、装置及计算机设备
CN110737968B (zh) 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
Gao et al. Object tracking using firefly algorithm
CN110378259A (zh) 一种面向监控视频的多目标行为识别方法及系统
Gao et al. Firefly algorithm (FA) based particle filter method for visual tracking
CN113159283B (zh) 一种基于联邦迁移学习的模型训练方法及计算节点
CN107491071B (zh) 一种智能多机器人协同测图系统及其方法
EP3616129A1 (en) Optimizing policy controllers for robotic agents using image embeddings
CN110366029B (zh) 一种视频间插入图像帧的方法、系统及电子设备
Bordallo et al. Counterfactual reasoning about intent for interactive navigation in dynamic environments
WO2024060978A1 (zh) 关键点检测模型训练及虚拟角色驱动的方法和装置
CN110567324A (zh) 一种基于ds证据理论的多目标群威胁度预测装置及方法
CN111899285B (zh) 目标对象的跟踪轨迹的确定方法和装置、存储介质
Kadim et al. Deep-learning based single object tracker for night surveillance
CN115018039A (zh) 一种神经网络蒸馏方法、目标检测方法以及装置
CN110909625A (zh) 一种计算机视觉基础网络训练识别构建方法及装置
CN112184767A (zh) 对运动物体进行轨迹跟踪的方法、装置、设备及存储介质
Choi et al. Future trajectory prediction via RNN and maximum margin inverse reinforcement learning
CN106447071A (zh) 一种应用于视频监控场景的路径预测方法
Prasetyo et al. Spatial Based Deep Learning Autonomous Wheel Robot Using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant