CN111428763B - 一种基于场景约束gan的行人轨迹预测方法 - Google Patents

一种基于场景约束gan的行人轨迹预测方法 Download PDF

Info

Publication number
CN111428763B
CN111428763B CN202010184875.7A CN202010184875A CN111428763B CN 111428763 B CN111428763 B CN 111428763B CN 202010184875 A CN202010184875 A CN 202010184875A CN 111428763 B CN111428763 B CN 111428763B
Authority
CN
China
Prior art keywords
scene
pedestrian
track
constraint
tensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010184875.7A
Other languages
English (en)
Other versions
CN111428763A (zh
Inventor
裴炤
田龙伟
张艳宁
马苗
邱文涛
武杰
陈昱莅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Normal University
Original Assignee
Shaanxi Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Normal University filed Critical Shaanxi Normal University
Priority to CN202010184875.7A priority Critical patent/CN111428763B/zh
Publication of CN111428763A publication Critical patent/CN111428763A/zh
Application granted granted Critical
Publication of CN111428763B publication Critical patent/CN111428763B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于场景约束GAN的行人轨迹预测方法，包括：步骤1，从公开的数据集ETH和UCY中获取训练数据集，包括目标行人轨迹和所在的场景；步骤2，构建场景约束GAN网络模型；步骤3，利用训练数据集训练，得到包含参数的基于景约束GAN网络模型；步骤4，将行人轨迹和所在的场景图像输入网络，即可预测得到行人未来的轨迹。本发明使用长短期记忆网络处理行人轨迹，并将卷积神经网络提取的场景对行人轨迹的约束信息嵌入隐含状态，从而提高轨迹预测准确度。本发明约束轨迹的因素考虑全面，对轨迹预测有更好的精确度和鲁棒性。

Description

一种基于场景约束GAN的行人轨迹预测方法
技术领域
本发明属于图像处理技术领域，具体涉及一种基于场景约束GAN的行人轨迹预测方法。
背景技术
轨迹预测是根据目标在过去时间段内的轨迹进行分析，从而推测出目标在未来固定时刻的位置坐标。在公共交通场景下，分析行人及车辆的历史轨迹，预测其将来的行进方向，可用于自动驾驶的道路选择、避免与其他目标碰撞以及机器人导航等。在城市交通中，挖掘及分析车辆的轨迹数据，可以对城市的交通流进行预测并且可以及时预警交通阻塞。在行人密集场所，监控人类的活动轨迹并分析人群运动、检测异常轨迹对于犯罪预防等有着积极的作用。
传统轨迹预测方法，使用复杂的公式或者函数，因而只能处理简单的交互问题，如Social Force(SF)模型，Gaussian processes方法等。目前，基于深度学习的轨迹预测方法相比传统方法而言，操作简单且效果好，如Social-LSTM、S-GAN等方法。然而这些方法仅仅只考虑到行人的运动模式和人之间的交互，没有考虑到所处的场景对行人轨迹的影响，导致预测结果不佳。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种综合考虑行人普遍行走模式和目标行人特殊行走模式、行人之间的多种交互、社会习惯以及场景对于行人行走的约束等多种因素、可用于复杂场景的一种基于场景约束GAN的行人轨迹预测方法。
技术方案
一种基于场景约束GAN的行人轨迹预测方法，其特征在于步骤如下：
步骤1：获取训练数据集
场景图象和行人轨迹均来源于公开数据集ETH和UCY的五个场景；行人轨迹为ETH和UCY中所有的坐标序列集合
Figure BDA0002413815510000021
即行人轨迹；其中，N为行人数量，pi为第i个行人，t为当前时刻；
Figure BDA0002413815510000022
为第i个行人pi在t时刻的坐标，T为整个时间长度；{pi|i∈[1，N]}为行人集合，场景图象
Figure BDA0002413815510000023
为在t时刻目标行人pi所在数据集抽取的场景视频帧；
步骤2：构建场景约束GAN网络模型
所述的场景约束GAN网络模型包括场景编码器、生成器和判别器；
场景信息张量
Figure BDA0002413815510000024
中包含着场景对于行人轨迹的约束，由场景编码器提取；其中场景信息张量
Figure BDA0002413815510000025
由公式(1)得到：
Figure BDA0002413815510000026
其中，It是t时刻目标行人pi所在场景的帧画面，WCNN为场景编码器的权重；
所述的生成器由编码器、解码器和池化模块构成；首先对场景中的每个行人使用多层感知机提取其位置特征张量
Figure BDA0002413815510000027
然后使用基于LSTM的编码器提取行人历史轨迹，其中位置特征张量
Figure BDA0002413815510000028
由公式(2)获得；行人历史轨迹张量
Figure BDA0002413815510000029
由公式(3)得到：
Figure BDA00024138155100000210
Figure BDA00024138155100000211
其中，Ф(·)是加入了ReLU非线性激活函数的嵌入层函数，Wee是嵌入层的权重系数；Wen是生成器中编码器的权重，在场景中所有目标行人共享LSTM参数；
Figure BDA00024138155100000212
是行人pi在t时刻的隐含状态；通过Ф(·)函数将行人坐标
Figure BDA00024138155100000213
嵌入到向量
Figure BDA00024138155100000214
中，作为编码器LSTM的输入，编码器学习每个人的运动状态，并保存他们的历史信息；
池化模块能将场景信息
Figure BDA00024138155100000215
对于行人轨迹的约束和行人之间的交互信息
Figure BDA00024138155100000216
嵌入到约束张量
Figure BDA00024138155100000217
中；在编码器获取到场景中所有目标行人t时刻的轨迹信息与场景信息后，池化模块将场景信息及行人之间的交互进行池化，引入场景对行人轨迹的约束，并为每个目标行人生成一个约束张量
Figure BDA0002413815510000031
约束张量
Figure BDA0002413815510000032
由公式(4)、(5)、(6)得到：
Figure BDA0002413815510000033
Figure BDA0002413815510000034
Figure BDA0002413815510000035
其中，Ф(·)是加入了ReLU非线性激活函数的嵌入层函数，Wpe是嵌入层的权重；γ(·)是加入了ReLU非线性激活函数的多层感知机，Wp是多层感知机的权重；M是一个聚合函数，将行人做出决策需要的信息和约束汇聚到约束张量
Figure BDA0002413815510000036
解码器同样由LSTM构成，使用含有ReLU非线性激活函数的多层感知机γ(·)将池化后得到的约束张量
Figure BDA0002413815510000037
嵌入到编码层隐藏状态
Figure BDA0002413815510000038
中得到fi t，张量fi t由公式(7)得到；再将随机噪声z引入得到
Figure BDA0002413815510000039
由公式(8)得到：
Figure BDA00024138155100000310
Figure BDA00024138155100000311
其中，Wc为解码器嵌入层函数的权重，z是随机噪声；
约束张量
Figure BDA00024138155100000312
和隐藏层状态通过多层感知机后，再与上一时刻行人位置信息
Figure BDA00024138155100000313
利用解码器更新张量
Figure BDA00024138155100000314
的值，
Figure BDA00024138155100000315
由公式(9)(10)得到：
Figure BDA00024138155100000316
Figure BDA00024138155100000317
用多层感知机预测时间步t+1目标pi的xy坐标
Figure BDA00024138155100000318
由公式(11)得到：
Figure BDA00024138155100000319
其中，Wde是LSTM的权重系数；预测的多个时间步坐标集合即为预测的轨迹；
判别器是由一个LSTM和一个分类器构成，生成器预测的轨迹与真实的轨迹经过LSTM编码后，分类器会对其隐藏状态
Figure BDA00024138155100000320
进行分类，得到一个判断该轨迹为真/假得分score，由公式(12)(13)得到：
Figure BDA0002413815510000041
Figure BDA0002413815510000042
将该得分score使用交叉熵函数即可得出分类结果；
步骤3：训练模型
使用交叉验证方式对场景约束GAN网络模型进行训练，即使用其中4个场景的数据训练网络，剩下的1个场景的数据进行测试，对5个场景的数据进行同样的操作；训练方法为：
在生成器中采用L2损失函数计算预测的轨迹和真实轨迹之间的差值，由公式(14)得到：
Figure BDA0002413815510000043
其中,Y为真实轨迹，
Figure BDA0002413815510000044
为预测的轨迹；
在场景约束GAN网络模型中采用多样性的损失函数训练网络，以学习到行人普遍的行走模式和最佳的模型参数；在生成的多个轨迹中我们选择L2距离最小的，也就是预测最准确的一条轨迹作为预测结果；损失函数如公式(15)所示：
Figure BDA0002413815510000045
步骤4：轨迹预测
在行人集合中任选一个行人pi，i∈[1，N]的部分或者全部轨迹轨迹
Figure BDA0002413815510000046
到
Figure BDA0002413815510000047
其中1≤tobs<t<tpred≤T；tobs到t为观察学习阶段，学习个人轨迹特征以及场景对于行人轨迹的约束；从t+1时刻到tpred为预测阶段，时间t到t+1为一个时间步；每个时间步只预测下一时间步的坐标，将预测的坐标作为下一时间步LSTM的输入，预测下下个时间步的坐标；在t+1到tpred上重复此步骤，即可得到连续的轨迹。
场景编码器是卷积神经网络，权重是在公共数据集中单独训练的，如ImageNet。
生成器中的编码器、解码器和判别器中的LSTM都为单层。
步骤1中行人数量N取值为106～1536。
判别器中使用的交叉熵函数为二分类交叉熵函数。
有益效果
本发明提出的一种基于场景约束GAN的行人轨迹预测方法，在预测行人轨迹时，结合一般行人的普遍行走模式和目标行人的特殊行走模式，还嵌入了行人之间的多种交互、约定俗成的社会习惯和行人所处场景对行人轨迹的约束信息等因素，从而使模型在预测行人轨迹时有更好的准确性和鲁棒性。
附图说明
图1本发明流程图
具体实施方式
现结合实施例、附图对本发明作进一步描述：
实施例1
步骤1.获取训练数据集：
场景图象和行人轨迹均来源于公开数据集ETH和UCY的五个场景，其中ETH中有750个行人，UCY中有786个行人。行人轨迹为ETH和UCY中目标行人的坐标序列集合
Figure BDA0002413815510000051
其中T为最大时间，N为行人数量，pi为第i个行人，t为当前时刻,T为整个时间长度。
Figure BDA0002413815510000052
为第i个行人pi在t时刻的坐标。{pi|i∈[1，N]}为行人集合,场景图象
Figure BDA0002413815510000053
为在t时刻目标行人pi所在数据集抽取的场景视频帧。
步骤2.构建场景约束GAN网络模型
一种基于场景约束GAN的行人轨迹预测方法所使用的网络模型包括场景编码器、生成器和判别器。
场景信息张量
Figure BDA0002413815510000061
中包含着场景对于行人轨迹的约束，由场景编码器提取。场景编码器由Vgg16的features部分和三层微调卷积层构成，其中场景信息张量
Figure BDA0002413815510000062
由公式(1)得到：
Figure BDA0002413815510000063
其中It是t时刻目标行人pi所在场景的帧画面。WCNN为场景编码器的权重。
生成器由编码器、解码器和池化模块构成。首先对场景中的每个行人提取其位置特征张量
Figure BDA0002413815510000064
使用由单层LSTM构成的编码器提取行人历史轨迹，其中位置特征张量
Figure BDA0002413815510000065
由公式(2)获得。行人历史轨迹张量
Figure BDA0002413815510000066
由公式(3)得到：
Figure BDA0002413815510000067
Figure BDA0002413815510000068
其中，Ф(·)是加入了ReLU非线性激活函数的嵌入函数，由1个线性层构成，Wee是嵌入函数的权重系数。Wen是编码器的权重，LSTM参数共享。
Figure BDA0002413815510000069
是行人pi在t时刻的隐含状态。通过Ф(·)将行人坐标
Figure BDA00024138155100000610
嵌入到向量
Figure BDA00024138155100000611
中，作为编码器LSTM的输入，编码器学习每个人的运动状态，并保存他们的历史信息。
池化模块能将场景信息
Figure BDA00024138155100000612
对于行人轨迹的约束和行人之间的交互信息
Figure BDA00024138155100000613
嵌入到约束张量
Figure BDA00024138155100000614
中。在编码器获取到场景中所有目标行人t时刻的轨迹信息与场景信息后，池化模块将场景信息及行人之间的交互进行池化，引入场景对行人轨迹的约束，并为每个目标行人生成一个约束张量
Figure BDA00024138155100000615
约束张量
Figure BDA00024138155100000616
由公式(4)、(5)、(6)得到：
Figure BDA00024138155100000617
Figure BDA00024138155100000618
Figure BDA00024138155100000619
其中，Ф(·)是加入了ReLU非线性激活函数的多层感知机，由1层线性层构成，Wpe是嵌入层的权重。γ(·)是加入了ReLU非线性激活函数的多层感知机，由3层线性层构成，Wp是多层感知机的权重。M是一个最大值聚合函数,将行人做出决策需要的信息和约束汇聚到约束张量
Figure BDA0002413815510000071
解码器同样由LSTM构成。使用含有ReLU非线性激活函数的多层感知机γ(·)由3层线性层构成，将池化后得到的约束张量
Figure BDA0002413815510000072
嵌入到编码层隐藏状态
Figure BDA0002413815510000073
中得到fi t，张量fi t由公式(7)得到。再将随机噪声z引入得到
Figure BDA0002413815510000074
引入操作使用pytorch中的torch.cat()函数，由公式(8)得到：
Figure BDA0002413815510000075
Figure BDA0002413815510000076
其中，Wc为解码器嵌入层函数的权重，z是随机噪声。
约束张量
Figure BDA0002413815510000077
和上一时刻隐含层状态
Figure BDA0002413815510000078
通过多层感知机后，再与上一时刻行人位置信息
Figure BDA0002413815510000079
利用解码器更新张量
Figure BDA00024138155100000710
的值，
Figure BDA00024138155100000711
由公式(9)(10)得到：
Figure BDA00024138155100000712
Figure BDA00024138155100000713
用1层线性层构成的多层感知机预测时间步t+1目标pi的xy坐标
Figure BDA00024138155100000714
由公式(11)得到：
Figure BDA00024138155100000715
其中，Wde是LSTM的权重系数。预测的多个时间步坐标集合即为预测的轨迹。
判别器是由一个LSTM和一个分类器构成，生成器预测的轨迹与真实的轨迹经过LSTM编码后，分类器会对其隐藏状态
Figure BDA00024138155100000716
进行分类，得到一个判断该轨迹为真/假得分score，由公式(12)(13)得到：
Figure BDA00024138155100000717
Figure BDA00024138155100000718
将该得分score使用二分类交叉熵函数即可得出分类结果。
步骤3.训练模型
使用交叉验证方式对场景约束GAN网络模型进行训练，即使用其中4个场景的数据训练网络，剩下的1个场景的数据进行测试，对5个场景的数据进行同样的操作。
训练方法为：
生成器和判别器的学习率均为0.001，梯度裁剪阈值为1.5。
在生成器中我们采用L2损失函数计算预测的轨迹和真实轨迹之间的差值，由公式(14)得到：
Figure BDA0002413815510000081
其中Y为真实轨迹，
Figure BDA0002413815510000082
为预测的轨迹。
在场景约束GAN网络模型中我们采用多样性的损失函数训练网络，以学习到行人普遍的行走模式和最佳的模型参数。在生成的多个轨迹中我们选择L2距离最小的，也就是预测最准确的一条轨迹作为预测结果。损失函数如公式(15)所示：
Figure BDA0002413815510000083
步骤4.轨迹预测
我们在行人集合中任选一个行人pi，i∈[1，N]的部分或者全部轨迹
Figure BDA0002413815510000084
到
Figure BDA0002413815510000085
其中1≤tobs<t<tpred≤T。tobs到t为观察学习阶段，我们设置为8，即用8个时间步学习个人轨迹特征以及场景对于行人轨迹的约束。从t+1时刻到tpred为预测阶段，我们设置为8，即预测接下来的8个时间步。时间t到t+1为一个时间步。每个时间步只预测下一时间步的坐标，将预测的坐标作为下一时间步的输入，预测下下个时间步的坐标。在时间步9到16重复此步骤，即可得到连续的轨迹。

Claims (5)

1.一种基于场景约束GAN的行人轨迹预测方法，其特征在于步骤如下：
步骤1：获取训练数据集
场景图象和行人轨迹均来源于公开数据集ETH和UCY的五个场景；行人轨迹为ETH和UCY中所有的坐标序列集合
Figure FDA0002413815500000011
即行人轨迹；其中，N为行人数量，pi为第i个行人，t为当前时刻；
Figure FDA0002413815500000012
为第i个行人pi在t时刻的坐标，T为整个时间长度；{pi|i∈[1，N]}为行人集合，场景图象
Figure FDA0002413815500000013
为在t时刻目标行人pi所在数据集抽取的场景视频帧；
步骤2：构建场景约束GAN网络模型
所述的场景约束GAN网络模型包括场景编码器、生成器和判别器；
场景信息张量
Figure FDA0002413815500000014
中包含着场景对于行人轨迹的约束，由场景编码器提取；其中场景信息张量
Figure FDA0002413815500000015
由公式(1)得到：
Figure FDA0002413815500000016
其中，It是t时刻目标行人pi所在场景的帧画面，WCNN为场景编码器的权重；
所述的生成器由编码器、解码器和池化模块构成；首先对场景中的每个行人使用多层感知机提取其位置特征张量
Figure FDA0002413815500000017
然后使用基于LSTM的编码器提取行人历史轨迹，其中位置特征张量
Figure FDA0002413815500000018
由公式(2)获得；行人历史轨迹张量
Figure FDA0002413815500000019
由公式(3)得到：
Figure FDA00024138155000000110
Figure FDA00024138155000000111
其中，Ф(·)是加入了ReLU非线性激活函数的嵌入层函数，Wee是嵌入层的权重系数；Wen是生成器中编码器的权重，在场景中所有目标行人共享LSTM参数；
Figure FDA00024138155000000112
是行人pi在t时刻的隐含状态；通过Ф(·)函数将行人坐标
Figure FDA00024138155000000113
嵌入到向量
Figure FDA00024138155000000114
中，作为编码器LSTM的输入，编码器学习每个人的运动状态，并保存他们的历史信息；
池化模块能将场景信息
Figure FDA00024138155000000115
对于行人轨迹的约束和行人之间的交互信息
Figure FDA00024138155000000116
嵌入到约束张量
Figure FDA0002413815500000021
中；在编码器获取到场景中所有目标行人t时刻的轨迹信息与场景信息后，池化模块将场景信息及行人之间的交互进行池化，引入场景对行人轨迹的约束，并为每个目标行人生成一个约束张量
Figure FDA0002413815500000022
约束张量
Figure FDA0002413815500000023
由公式(4)、(5)、(6)得到：
Figure FDA0002413815500000024
Figure FDA0002413815500000025
Figure FDA0002413815500000026
其中，Ф(·)是加入了ReLU非线性激活函数的嵌入层函数，Wpe是嵌入层的权重；γ(·)是加入了ReLU非线性激活函数的多层感知机，Wp是多层感知机的权重；M是一个聚合函数，将行人做出决策需要的信息和约束汇聚到约束张量
Figure FDA0002413815500000027
解码器同样由LSTM构成，使用含有ReLU非线性激活函数的多层感知机γ(·)将池化后得到的约束张量
Figure FDA0002413815500000028
嵌入到编码层隐藏状态
Figure FDA0002413815500000029
中得到fi t，张量fi t由公式(7)得到；再将随机噪声z引入得到
Figure FDA00024138155000000210
由公式(8)得到：
Figure FDA00024138155000000211
Figure FDA00024138155000000212
其中，Wc为解码器嵌入层函数的权重，z是随机噪声；
约束张量
Figure FDA00024138155000000213
和隐藏层状态通过多层感知机后，再与上一时刻行人位置信息
Figure FDA00024138155000000214
利用解码器更新张量
Figure FDA00024138155000000215
的值，
Figure FDA00024138155000000216
由公式(9)(10)得到：
Figure FDA00024138155000000217
Figure FDA00024138155000000218
用多层感知机预测时间步t+1目标pi的xy坐标
Figure FDA00024138155000000219
由公式(11)得到：
Figure FDA00024138155000000220
其中，Wde是LSTM的权重系数；预测的多个时间步坐标集合即为预测的轨迹；
判别器是由一个LSTM和一个分类器构成，生成器预测的轨迹与真实的轨迹经过LSTM编码后，分类器会对其隐藏状态
Figure FDA0002413815500000031
进行分类，得到一个判断该轨迹为真/假得分score，由公式(12)(13)得到：
Figure FDA0002413815500000032
Figure FDA0002413815500000033
将该得分score使用交叉熵函数即可得出分类结果；
步骤3：训练模型
使用交叉验证方式对场景约束GAN网络模型进行训练，即使用其中4个场景的数据训练网络，剩下的1个场景的数据进行测试，对5个场景的数据进行同样的操作；训练方法为：
在生成器中采用L2损失函数计算预测的轨迹和真实轨迹之间的差值，由公式(14)得到：
Figure FDA0002413815500000034
其中,Y为真实轨迹，
Figure FDA0002413815500000035
为预测的轨迹；
在场景约束GAN网络模型中采用多样性的损失函数训练网络，以学习到行人普遍的行走模式和最佳的模型参数；在生成的多个轨迹中我们选择L2距离最小的，也就是预测最准确的一条轨迹作为预测结果；损失函数如公式(15)所示：
Figure FDA0002413815500000036
步骤4：轨迹预测
在行人集合中任选一个行人pi，i∈[1，N]的部分或者全部轨迹轨迹
Figure FDA0002413815500000037
到
Figure FDA0002413815500000038
其中1≤tobs<t<tpred≤T；tobs到t为观察学习阶段，学习个人轨迹特征以及场景对于行人轨迹的约束；从t+1时刻到tpred为预测阶段，时间t到t+1为一个时间步；每个时间步只预测下一时间步的坐标，将预测的坐标作为下一时间步LSTM的输入，预测下下个时间步的坐标；在t+1到tpred上重复此步骤，即可得到连续的轨迹。
2.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法，其特征在于场景编码器是卷积神经网络，权重是在公共数据集中单独训练的，如ImageNet。
3.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法，其特征在于生成器中的编码器、解码器和判别器中的LSTM都为单层。
4.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法，其特征在于步骤1中行人数量N取值为106～1536。
5.根据权利要求1所述的基于场景约束GAN的行人轨迹预测方法，其特征在于判别器中使用的交叉熵函数为二分类交叉熵函数。
CN202010184875.7A 2020-03-17 2020-03-17 一种基于场景约束gan的行人轨迹预测方法 Active CN111428763B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010184875.7A CN111428763B (zh) 2020-03-17 2020-03-17 一种基于场景约束gan的行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010184875.7A CN111428763B (zh) 2020-03-17 2020-03-17 一种基于场景约束gan的行人轨迹预测方法

Publications (2)

Publication Number Publication Date
CN111428763A CN111428763A (zh) 2020-07-17
CN111428763B true CN111428763B (zh) 2023-04-07

Family

ID=71549546

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010184875.7A Active CN111428763B (zh) 2020-03-17 2020-03-17 一种基于场景约束gan的行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN111428763B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069889B (zh) * 2020-07-31 2021-08-03 北京信息科技大学 民航飞行器轨迹预测方法、电子设备及存储介质
CN112215423B (zh) * 2020-10-13 2023-06-06 西安交通大学 一种基于趋势引导与稀疏交互的行人轨迹预测方法及系统
CN112465056B (zh) * 2020-12-09 2022-11-25 北京航空航天大学 一种基于深度生成模型的车辆轨迹数据生成系统
CN112541449A (zh) * 2020-12-18 2021-03-23 天津大学 一种基于无人机航拍视角的行人轨迹预测方法
CN112560795B (zh) * 2020-12-30 2022-07-26 南昌航空大学 一种基于cn-gan与cnn的sar图像目标识别算法
CN112766561B (zh) * 2021-01-15 2023-11-17 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN113068129A (zh) * 2021-03-26 2021-07-02 中国工商银行股份有限公司 基于轨迹预测的异构网络低时延切换方法及装置
CN113191539B (zh) * 2021-04-15 2022-03-15 电子科技大学 一种基于异构图聚合网络的高密度复合场景轨迹预测方法
CN113256681B (zh) * 2021-05-26 2022-05-13 北京易航远智科技有限公司 基于时空注意力机制的行人轨迹预测方法
CN113689470B (zh) * 2021-09-02 2023-08-11 重庆大学 一种多场景融合下的行人运动轨迹预测方法
CN113869170B (zh) * 2021-09-22 2024-04-23 武汉大学 一种基于图划分卷积神经网络的行人轨迹预测方法
CN114724083B (zh) * 2022-04-07 2023-01-10 清华大学 轨迹预测系统训练、轨迹预测方法、装置、系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492113A (zh) * 2017-06-01 2017-12-19 南京行者易智能交通科技有限公司 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法
CN108564118A (zh) * 2018-03-30 2018-09-21 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595037B2 (en) * 2016-10-28 2020-03-17 Nec Corporation Dynamic scene prediction with multiple interacting agents

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107492113A (zh) * 2017-06-01 2017-12-19 南京行者易智能交通科技有限公司 一种视频图像中运动目标位置预测模型训练方法、位置预测方法及轨迹预测方法
CN108564118A (zh) * 2018-03-30 2018-09-21 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
CN110781838A (zh) * 2019-10-28 2020-02-11 大连海事大学 一种复杂场景下行人的多模态轨迹预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于卷积神经网络与长短期记忆神经网络的多特征融合人体行为识别算法;黄友文等;《激光与光电子学进展》;20190410(第07期);全文 *
基于深度图像的人体行为识别综述;孙彬等;《北京工业大学学报》;20180529(第10期);全文 *

Also Published As

Publication number Publication date
CN111428763A (zh) 2020-07-17

Similar Documents

Publication Publication Date Title
CN111428763B (zh) 一种基于场景约束gan的行人轨迹预测方法
CN110781838B (zh) 一种复杂场景下行人的多模态轨迹预测方法
CN111339867B (zh) 一种基于生成对抗网络的行人轨迹预测方法
Yazdizadeh et al. Ensemble convolutional neural networks for mode inference in smartphone travel survey
CN111832516B (zh) 基于无监督视频表示学习的视频行为识别方法
CN107977646B (zh) 一种隔栏递物检测方法
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
Mersch et al. Maneuver-based trajectory prediction for self-driving cars using spatio-temporal convolutional networks
CN112949597B (zh) 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法
CN112698653A (zh) 基于深度学习的机器人自主导航控制方法及系统
CN113313037A (zh) 一种基于自注意力机制的生成对抗网络视频异常检测方法
US20230024101A1 (en) Contrastive predictive coding for anomaly detection and segmentation
EP4116882A1 (en) Anomalous region detection with local neural transformations
CN114155270A (zh) 行人轨迹预测方法、装置、设备及存储介质
CN111833353B (zh) 一种基于图像分割的高光谱目标检测方法
CN110929670A (zh) 基于yolo3技术的渣土车洁净度视频识别分析方法
CN113688761B (zh) 一种基于图像序列的行人行为类别检测方法
CN113255620B (zh) 一种基于视频中车辆群体轨迹分析的异常事件检测方法
Saunier et al. Clustering vehicle trajectories with hidden Markov models application to automated traffic safety analysis
Choi et al. Efficient driving scene image creation using deep neural network
KR102563346B1 (ko) 구조물 건전성 모니터링 시스템 및 이를 이용한 모니터링 방법
CN115527270A (zh) 一种密集人群环境中的特定行为识别方法
JP2021170332A (ja) 分類器をトレーニングするための装置及び方法並びに分類器の堅牢性を評価するための装置及び方法
CN112801179A (zh) 面向跨领域复杂视觉任务的孪生分类器确定性最大化方法
Kaur et al. Pedestrian and Vehicle detection in automotive embedded systems using deep neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant