CN111461437B - 基于生成对抗网络的数据驱动人群运动仿真方法 - Google Patents

基于生成对抗网络的数据驱动人群运动仿真方法 Download PDF

Info

Publication number
CN111461437B
CN111461437B CN202010252751.8A CN202010252751A CN111461437B CN 111461437 B CN111461437 B CN 111461437B CN 202010252751 A CN202010252751 A CN 202010252751A CN 111461437 B CN111461437 B CN 111461437B
Authority
CN
China
Prior art keywords
track
pedestrian
data
pedestrians
initial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010252751.8A
Other languages
English (en)
Other versions
CN111461437A (zh
Inventor
施云惠
梁宇辰
张勇
胡永利
尹宝才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010252751.8A priority Critical patent/CN111461437B/zh
Publication of CN111461437A publication Critical patent/CN111461437A/zh
Application granted granted Critical
Publication of CN111461437B publication Critical patent/CN111461437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G06Q10/047—Optimisation of routes or paths, e.g. travelling salesman problem
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种基于生成对抗网络的数据驱动人群运动仿真方法，涉及人群仿真和深度学习等领域，用于在从行人运动视频数据中提取的行人轨迹数据集的基础上，在仿真场景中生成数据集中不存在的虚拟行人，并且为生成的虚拟行人根据给定的条件如初始位置、目的地等以及整个场景内的其它因素进行完整的、更贴近真实行人反应的路径规划。该方法应用了基于长短期记忆网络(LSTM)的生成对抗网络(GAN)来训练仿真模型。本发明的方法仿真出的虚拟行人的运动轨迹相较于传统的基于规则的人群仿真方法的仿真效果更具真实感、与现实行人运动情况更为相近。本发明完成了对虚拟行人进行的轨迹规划任务，并且有效地提高了人群运动仿真效果的真实性。

Description

基于生成对抗网络的数据驱动人群运动仿真方法
技术领域
本发明涉及人群仿真和深度学习等领域，尤其是面向对仿真场景中的任意行人进行路径规划的任务。
背景技术
人群仿真在疏散演习、计算机游戏、电影等领域一直都有着非常重要的应用并且吸引着科研工作者们的研究。在过去的几年里研究者们提出了大量人群运动仿真方法，但随着相关技术领域的进步以及新领域如自动驾驶、快递机器人等发展成熟，人们对于人群仿真也有了更高的需求。其中，人群仿真的规模、真实性、灵活的交互都是关键研究点。传统的人群仿真方法主要可以分为基于规则的方法以及数据驱动的方法，都能够在宏观或微观领域上对人群运动进行仿真模拟，但是这两种方法也有着各自的缺陷。基于真实数据训练的深度神经网络模型，由于其对数据高度的总结性和模拟灵活性逐渐成为了人群仿真中最重要的手段之一。
现有的基于生成对抗网络训练的行人轨迹预测模型的研究都是通过观测已存在的行人轨迹数据来对行人接下来的轨迹路线进行预测，难以脱离数据集针对场景生成虚拟行人，应用场景较为单一(多用于自动驾驶中对行人未来移动的预判)。而例如社会力模型等的基于规则的仿真方法，虽然可以灵活地模拟不同的各种行人运动轨迹，但是基于人工制定的行动规则产生的运动轨迹与真实人类运动的轨迹相去甚远，模拟出的轨迹极为缺乏真实感。
发明内容
为模拟出更贴近真实情况的行人轨迹，本发明公开了一种基于生成对抗网络的数据驱动人群运动仿真方法，用于根据给定的行人初始位置、初始速度以及目的地生成其完整轨迹，并且能够实时根据其他行人的位置变化改变其路线。
仿真模型对行人轨迹的预测实际上就是在不同时间点上对行人的坐标的预测。为了更清晰地描述本发明中的各个步骤，涉及到的参数变量均使用数学符号来表示。其中，我们将数据集中所包含全部行人数量记为N，其中的二维平面范围描述为完整的时间轴描述为/>经过坐标变换后我们可以将数据集中在τ时刻行人i的二维坐标描述为除二维坐标外，我们同样也将行人的速度状态加入到考虑之中，在每个坐标点上行人的速度由简化的计算方式得出：
所以，我们可以将数据集中的所有N个行人的轨迹描述为: 其中，Ti是行人i的最后一点坐标所对应的时间点。本说明中，我们使用/>来表示在t时刻行人i的坐标点，/>来表示行人i在t到T这一时间段上的轨迹；使用/>来表示t到T时间段上除行人i以外的全部行人的轨迹的集合。此外，我们使用/>来表示预测轨迹在t时的坐标点，/>来表示模型预测的行人i在t到T时间段的轨迹，与之相对应的真实轨迹则用/>和/>来表示。值得注意的是，/>与/>均为真实数据集中的行人i的轨迹，当两者所覆盖的时间段一致时两者表示的是相同的一段轨迹，即/>每段轨迹的分割时长记为Tinterval，即：T-t＝Tinterval。本发明中，Tinterval的值设定为4，即每段轨迹包含5个坐标点。
最后，对于本发明所针对解决的问题，即为本不存在真实数据集中的仿真行人生成其在场景中的完整轨迹。我们使用j来表示这些仿真行人，即随即我们的问题便能够很简单地描述为：根据行人j的初始状态生成j从出生地到目的地的完整轨迹
为了解决这一问题，本发明分为两大部分：
·生成行人初始轨迹。在真实数据集的基础上根据给定的行人初始状态，例如时间、初始坐标、初始速度、目的地等因素，生成该行人初始的运动轨迹。
·生成行人后续轨迹。根据行人的初始轨迹、目的地、地形和同时间段内场景中其他行人的运动状态，生成该行人的后一时间段内的运动轨迹。经过循环后生成该行人在场景中的完整轨迹。
为实现以上两部分功能，本发明的网络模型分为两个相对独立的部分：一部分为孵化器，能够根据输入行人的初始点、初始速度、插入时间以及目的地坐标生成初始轨迹；另一部分扩展器，根据行人过去一段时间的行动轨迹、目的地坐标以及该时间段内场景中其他行人的运动轨迹生成该行人的下一段运动轨迹。孵化器和扩展器这两个模型都是由基于长短期神经网络(LSTM)的生成对抗网络(GAN)训练得到的。
有益效果
本发明所训练出的网络模型能够在人群仿真场景中生成与真实情况相近的行人完整轨迹，并且能够根据其中其他行人的轨迹提前规划好避碰方案，解决了传统人群仿真方法模拟出的行人轨迹缺乏真实感、无法提前规划避免碰撞等问题，完成了场景中的行人完整路径规划生成任务，增强了所生成的行人轨迹的真实感。
附图说明
图1、孵化器的网络模型结构图
图2、扩展器的网络模型结构图
图3、生成行人轨迹完整步骤图
图4、行人初始状态聚类结构示例
图5、行人完整轨迹生成效果图
具体实施方式
本发明提出了一种基于生成对抗网络的数据驱动人群运动仿真方法，该方法根据给定的初始状态，包括行人初始位置、初始速度以及目的地，生成其完整轨迹，并且能够实时根据其他行人的位置变化改变其路线。本发明适用于在人群仿真时仿真出更具真实感其能够实时交互的行人行为，也可用于为需要在人行区域运动的机器人如快递机器人等提供轨迹规划。本实施例用于解决真实场景下的虚拟行人的轨迹生成，需要使用从行人运动视频数据中提取的行人轨迹数据进行模型训练，最终能够在现实场景中根据初始转台生成行人的完整运动轨迹。
下面结合具体实例及附图对本发明做出更详细的阐述。本发明包括以下步骤：
1、数据处理
本实施例使用了ETH和UCY两大常用行人运动数据集来验证模型的预测效果。我们以2.5fps的帧率从这两个数据集中提取并标记其中的行人坐标。两个数据集中总共包含了4个不同的行人运动场景，分别为ETH数据集中的ETH和Hotel场景，以及UCY中的ZARA和Univ场景。四个场景中共包含了1536个行人以及各种丰富的轨迹规划情景，足以验证我们的模型在路径规划、避免碰撞等方面的实际表现。
在数据处理方面，截取数据集中所有行人的轨迹的最初5个点作为行人初始轨迹数据，轨迹的最后一个点作为目的地数据，用来训练孵化器。该处理后的数据集结构为(初始轨迹，目的地)，从该初始轨迹中我们能够获取到对应行人的初始点，即第一点，以及初始速度，即第二点与第一点的坐标差值。
将全部行人的轨迹的最后一个点作为目的地数据，全部行人完整轨迹截为一段段长度为5的小段轨迹，同一行人前后两段连续的轨迹形成一个数据对，其结构为：时间节点(前序轨迹，后续轨迹)，其中时间节点取值为前序轨迹最后一点的对应时间点。随后所有相同时间点的数据对归为一组用于训练扩展器。最后训练扩展器的数据集的结构为(目的地，(时间节点1(行人1(前序轨迹，后续轨迹)，行人2(…)，…)，时间节点2(…)，…))。
此外，为了模拟真实情况，我们对所使用的数据集中的行人进行了聚类分析。通过使用K-Means算法，数据集中的行人按照初始速度被分为四大类：极慢类(几乎不想在场景中进行移动)、平缓类(正常速度偏慢)、激进类(正常速度偏快)以及极快类(想要以最快的速度到达目的地)。模型在生成虚拟行人时，便按照各场景中的四类行人的速度平均值来初始化生成虚拟行人的初始速度，从而能够模拟出各种状态下的行人轨迹。
2、训练网络模型
2.1训练孵化器
孵化器的整体结构如图1所示。
孵化器由生成器和辨别器两大部分组成。其中生成器由一个编码器和一个解码器组成；辨别器则是由一个编码器和一个分类器串联而成。
首先将处理后用于训练孵化器的数据集随机打乱，并按照1：4的比例分为训练集和测试集，并对所有使用数据进行归一化处理。此外，将行人的初始轨迹数据按照公式(1)的计算方法计算出每个坐标点上的行人速度向量，与坐标连接后形成行人4维轨迹。
生成器步骤
在训练孵化器时，以64条初始轨迹为一组进行训练。首先将数据处理时计算出的行人的初始点、初始速度作为训练输入数据，其尺寸为64*4。
训练时，首先将该数据输入到生成器编码器中，编码器构造如下：
第一个全连接层被用于对行人的当前位置、当前速度以及目的地进行嵌入，输出数据尺寸为64*128。随后将数据输入LSTM中，获得此时的LSTM隐藏状态。该过程也可以被描述为：我们将行人i的初始坐标Pi以及初始速度Vi输入到编码器中进行编码，可以得到编码器的隐藏状态：
其中，代表在前一时刻的编码器的隐藏状态，当没有前一时刻存在时使用隐藏状态初始值；Wi-en为该编码器的权重。
随后，将行人的目的地数据，尺寸为64*2；噪声向量，尺寸为64*64；LSTM隐藏状态，尺寸为64*128，输入到解码器中，该解码器构造如下：
解码器层 输入数据尺寸 输出数据尺寸
1)2*64全连接层 64*2 64*64
2)256*128全连接层 64*256 64*128
3)128*64全连接层 64*128 64*64
4)64*32全连接层 64*64 64*32
5)32*2全连接层 64*32 64*2
第一个全连接层被用于对行人目的地进行嵌入，嵌入后的行人目的地尺寸为64*64。之后将行人目的地、LSTM隐藏状态以及噪声三个数据连接，连接后的数据尺寸为64*256。将其依次通过第2至第5个全连接层，得到输出的预测速度数据，尺寸为64*2。将该预测速度数据与输入的坐标点相加即可得到预测的行人下一点的位置坐标。将行人的位置坐标与速度向量连接，即可得到这一点的4维坐标数据。第2至第4个全连接层后面都添加了Leaky ReLU作为激活函数。该过程数学表达式如下：
为下一时间点的预测坐标数据，Desi表示行人i的目的地，z表示噪声向量，Wi-dec为解码器权重。
随后我们将生成的坐标点以及行人速度替代行人的初始点和初始速度输入编码器中，更新其LSTM隐藏状态，再将其与Desi、z输入到解码器中获得新的行人速度并推导出其新的坐标点。迭代这一过程直到生成四个连续的行人坐标点为止，即生成的初始轨迹长度为5。此时，即可得到行人i在Tinsert时刻插入场景后生成的初始轨迹 每一组生成的初始轨迹数据尺寸为64*5*4。
辨别器步骤
完成生成器步骤后开始进入辨别器步骤。首先将行人的初始点、初始速度、以及目的地这三个数据进行连接，连接后尺寸为64*6。然后将该连接数据以及行人初始轨迹数据输入到辨别器的编码器中。输入辨别器的的初始轨迹可以是生成的轨迹也可以是真实轨迹，其尺寸均为64*5*4。辨别器的编码器构造如下：
第一个全连接层被用于嵌入包含行人的初始点、初始速度以及目的地的行人初始状态数据，嵌入后的数据尺寸为64*64。LSTM被用于对输入轨迹的坐标点依次进行编码，输出的数据总尺寸为64*5*128。第3层全连接层用于对轨迹LSTM的最终编码进行处理，输入的数据尺寸为64*128，输出尺寸为64*64。获取轨迹LSTM编码的过程可用数学描述为：
其中，代表在前一时刻的该编码器的隐藏状态，当没有前一时刻存在时使用隐藏状态初始值；Wdis-en为该编码器的权重；/>为真实初始轨迹或是生成初始轨迹在τ时刻的4维坐标点，即/>
最后，将初始轨迹编码数据和行人初始位置状态数据连接，连接后的数据尺寸为64*128。将其输入到辨别器的分类器中，分类器的构造如下：
分类器层 输入数据尺寸 输出数据尺寸
1)128*64全连接层 64*128 64*64
2)64*32全连接层 64*64 64*32
3)32*16全连接层 64*32 64*16
4)16*1全连接层 64*16 64*1
将其依次通过4个全连接层，输出这一组中的轨迹标签，其数据尺寸为64*1。第1至第3个全连接层后面添加了Leaky ReLU作为激活函数。获取轨迹标签的过程可以用数学方式描述为：
其中，Cfirst(i)表示输入轨迹的LSTM最终编码；为生成轨迹从辨别器中获得的标签，所述的生成轨迹指孵化器生成器根据训练集中行人的初始状态得到的行人初始轨迹；/>为真实轨迹从辨别器中获得的标签，所述的真实轨迹指与生成轨迹具有相同初始状态的训练集中的行人轨迹；/>为真实初始轨迹或是生成初始轨迹，即 是对应于/>的生成轨迹，/>是对应于/>的真实轨迹，
得到辨别器输出的标签后，即可根据孵化器的损失函数对网络进行参数更新，生成器与辨别器更新参数的方法均采用了Adam优化器，学习率设定为0.001和0.0001。
孵化器的损失函数如下所示：
其中，其中Winc为孵化器中的所有使用的网络参数。由于在本发明的应用场景下，每个行人都有着自己明确且固定不变的目的地，所以我们加入了L2损失进行训练孵化器和扩展器，从而约束生成的行人轨迹向其目的地进发。λ1为孵化器中L2损失与GAN损失之间的比例系数。L2损失的具体公式如下：
孵化器的GAN损失公式分别如下所示：
公式(8)中的两项分别为GAN网络中辨别器与生成器的损失，即，训练辨别器时，我们期望真实轨迹的标签趋近于1，生成轨迹的标签趋近于0；反之，训练生成器时则期望生成轨迹在辨别器中获得的标签/>趋近于1。
2.2训练扩展器
扩展器整体结构如图2所示。
1.扩展器同样由生成器和辨别器两大部分组成。
首先将处理后用于训练扩展器的数据集随机打乱，并按照1：4的比例分为训练集和测试集，并对所有使用数据进行归一化处理。此外，将所有轨迹数据按照公式(1)的计算方法计算出每个坐标点上的行人速度向量，与坐标连接后形成4维轨迹。
生成器步骤
在训练扩展器时，每一个训练组的大小与前序-后续轨迹数据集中每个时间点中所有的行人数量相对应，我们将其记为batch_size(bs)。训练时，首先将一组数据中的前序轨迹以及目的地数据输入到生成器编码器中，轨迹数据尺寸为bs*5*4，目的地数据的尺寸为bs*2。
编码器构造如下：
第1个全连接层被用于对目的地数据进行嵌入，输出数据尺寸为bs*64。第2个全连接层被用于对行人当前4维坐标进行嵌入，输出数据尺寸为bs*64。将上述两个数据连接后输入LSTM层中进行编码，输入LSTM的数据尺寸为bs*128。这一步骤也可以被描述为：在当前时刻t时扩展器编码器的隐藏状态为：
其中，表示行人i在时间节点t的前序轨迹，Ts为观察轨迹的起始时刻，即Ts＝t-Tinterval；Desi表示行人i的目的地；/>为前一时刻的编码器隐藏状态，与孵化器中的编码器相同，若不存在前一时刻则该隐藏状态为初始值；We-en为编码器的权重。
随后要将训练数据输入到注意力模块中获取注意力权重。本发明中，注意力模型所考量的行人关系包括以下4点：
·行人i与j之间的二维欧氏距离；
·行人i与j之间的速度矢量夹角；
·行人i与j位置的连线跟i的速度矢量方向的夹角(由此判断k是否在i的视觉中心区)；
·行人i与j之间依照当前速度前进所能达到的最小距离。
所述行人i、j均属于数据集内包含的行人范围，即N为数据集中的行人总数。
首先对整组轨迹数据进行处理获取行人关系矩阵该矩阵大小为bs*bs*4。随后，将该矩阵与编码器中的LSTM隐藏状态输入注意力模块中获取注意力权重，注意力模块的构造如下：
注意力层 输入数据尺寸 输出数据尺寸
1)4*32全连接层 bs*bs*4 bs*bs*32
2)32*64全连接层 bs*bs*32 bs*bs*64
3)64*128全连接层 bs*bs*64 bs*bs*128
4)128*128全连接层 bs*128 bs*128
5)Softmax池化层 bs*1 bs
第1至3个全连接层被用于嵌入关系矩阵，第1和第2个全连接层后面添加了ReLU作为激活函数。经过这三个全连接层后，输出的数据尺寸由bs*bs*4变为bs*bs*128。第4个全连接层用于嵌入编码器的LSTM隐藏状态，输出数据尺寸为bs*128。依次将嵌入后的关系矩阵的每一项提取并扩展维度为bs*1*128，对嵌入后的LSTM隐藏状态扩展维度为bs*128*1，使两个批矩阵相乘即可得到一个新的加权关系矩阵，每一项的数据尺寸为bs*1*1。将该矩阵缩减一维至bs并输入Softmax池化层中池化，得到注意力矩阵，其大小为1*bs。将该矩阵与LSTM隐藏状态相乘，即可得到最终的注意力权重矩阵的一项，其尺寸为1*128。计算出每一项的结果后得到完整注意力权重矩阵，其数据尺寸为bs*128。
该过程可以用数学描述为：
其中，/>为嵌入后的关系矩阵；hk为嵌入后的LSTM隐藏状态；Watt和Wfc分别为网络权重。求注意力权重所使用的Softmax公式如下：
那么，行人在t时刻的注意力权重矩阵即为：
最后，我们将编码器的隐藏状态、注意力权重以及大小为bs*64的噪声连接，连接后的数据尺寸为bs*320。将该数据放入解码器中得到该行人这一点的预测速度，解码器构造为：
解码器层 输入数据尺寸 输出数据尺寸
1)320*128全连接层 bs*320 bs*128
2)128*64全连接层 bs*128 bs*64
3)64*32全连接层 bs*64 bs*32
4)32*2全连接层 bs*32 bs*2
将输入数据依次通过解码器层即可得到预测速度，将预测速度数据与输入的坐标点相加即可得到预测的行人下一点的位置坐标。将行人的位置坐标与速度向量连接，即可得到这一点的4维坐标数据。第1至第3个全连接层后面都添加了Leaky ReLU作为激活函数。该过程可用数学描述为：
其中，为下一时间点的预测坐标数据，z表示噪声向量，Wi-dec为解码器权重。z中包含了一段长度为2的隐藏代码c，用于控制噪声结构，避免在训练过程中出现模式崩坏的问题。
随后我们将生成的新坐标点继续输入编码器中，更新LSTM隐藏状态，再将其与At(i)、z输入到解码器中获得新的行人速度并推导出其新的坐标点。迭代这一过程直到生成四个连续的行人坐标点为止，即生成的后续轨迹长度为5。此时即可得到在时间节点t所生成的行人后续轨迹Te为预测轨迹的结束时刻，即Te＝t+1+Tinterval。
辨别器步骤
完成生成器步骤后开始进入辨别器步骤。首先将行人的初始点、初始速度、以及目的地这三个数据进行连接，连接后尺寸为64*6。然后将该连接数据以及行人初始轨迹数据输入到辨别器的编码器中。输入辨别器的的初始轨迹可以是生成的轨迹也可以是真实轨迹，其尺寸均为64*5*4。辨别器的编码器构造如下：
第一个全连接层被用于嵌入行人的目的地，嵌入后的数据尺寸为bs*64。第2层和第3层的LSTM分别被用于对前序轨迹和后续轨迹的坐标点依次进行编码，输出的数据总尺寸均为为bs*5*128。第4和第5层的全连接层用于对两个LSTM输出的最终编码进行处理，输入的数据尺寸为bs*128，输出尺寸为bs*64。该过程可用数学描述为：
其中，为前序轨迹上的坐标点；/>和/>分别代表两个LSTM在前一时刻的该编码器的隐藏状态，当没有前一时刻存在时使用隐藏状态初始值；/>为真实初始轨迹或是生成初始轨迹在τ时刻的4维坐标点，即/>Wdis-pre和Wdis-follow分别代表了两个LSTM的权重。
最后，将前序轨迹编码数据、后续轨迹编码数据以及行人目的地数据连接，连接后的数据尺寸为bs*128。将其输入到辨别器的分类器中，分类器的构造如下：
分类器层 输入数据尺寸 输出数据尺寸
1)192*128全连接层 bs*192 bs*128
2)128*64全连接层 bs*128 bs*64
3)64*32全连接层 bs*64 bs*32
4)32*1全连接层 bs*32 bs*1
先输入数据将其依次通过前4个全连接层，输出这一组中的轨迹标签，其数据尺寸为bs*1。第1至第3个全连接层后面添加了Leaky ReLU作为激活函数。获取标签的过程可用数学描述如下：
其中，为时间节点t的行人i的前序轨迹最终编码，/>为时间节点t的行人i的后序轨迹最终编码；We-dis是该分类器的权重；/>为生成轨迹从辨别器中获得的标签，所述的生成轨迹指扩展器生成器根据训练集中行人的初始状态得到的行人初始轨迹；/>为真实轨迹从辨别器中获得的标签，所述的真实轨迹指与生成轨迹具有相同前序轨迹的训练集中的行人轨迹；/>为真实初始轨迹或是生成初始轨迹，即 是对应于/>的生成轨迹，/>是对应于/>的真实轨迹，Te为生成轨迹最后一点所对应的时间点。
得到辨别器输出的标签后，即可根据扩展器的损失函数对网络进行参数更新，生成器与辨别器更新参数的方法均采用了Adam优化器，学习率设定为0.001和0.0001。
扩展器的损失函数如下：
其中，Wext则为扩展器中所有网络的参数。λ2为扩展器中L2损失与GAN损失之间的比例系数。L2损失的具体函数在公式(7)中。扩展器的GAN损失公式如下所示：
3、轨迹生成步骤
完成孵化器和扩展器的网络训练后，即可使用两个网络中的生成器来生成行人的完整轨迹。生成行人轨迹的整体步骤如图3所示。
当生成虚拟行人j的轨迹时，先将j的初始状态Statej输入到孵化器生成器中，Statej包括j的插入时间初始坐标/>初始速度以及目的地/>即Statej＝{Tinsert,Pj,Vj,Desj}。随后孵化器生成器生成到时间t为止的初始轨迹/>(图1(a))。
接着再将与此时场景中其他行人的同步观测轨迹/>一同放入扩展器生成器中生成j的后续轨迹/>(图1(b))。/>即在扩展器数据集中时间节点t中全部的行人前序轨迹。若后续轨迹并未到达目的地，则将生成的这一段轨迹作为前序轨迹输入到扩展器生成器中继续生成时间点Te对应的后续轨迹。重复这一过程直到j到达目的地周围为止。
3、结果展示
3.1行人初始状态聚类结果
本发明对ETH和UCY两个数据集上的所有行人的初始点速度使用K-Means算法各自进行了聚类。我们简化了行人初始速度的计算方式，令t时刻行人i沿x轴方向的速度矢量的值等于t+1时刻i的x坐标减去t时刻i的x轴坐标，y轴方向速度矢量同理(即公式(1))。
如图4所示，我们将行人按照初始速度分为四大类：极慢类(几乎不想在场景中进行移动)、平缓类(正常速度偏慢)、激进类(正常速度偏快)以及快速通过类(想要以最快的速度到达目的地)。我们在生成虚拟行人时，便按照各场景中的四类行人的速度平均值来初始化生成虚拟行人的初始速度。
3.2行人轨迹仿真结果
图5的两个轨迹生成样例为在ETH数据集上的表现，其中，白色长轨迹为生成行人的完整轨迹，其余线条为轨迹其覆盖时间段内的其他行人轨迹。

Claims (9)

1.基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：
(1)针对行人轨迹数据集进行数据处理构建两个训练数据集：提取每个行人的初始状态，包括每个行人的初始点、初始速度、目的地，每个行人的初始状态以及对应这种初始状态的行人轨迹数据构成孵化器的训练数据；将所有行人轨迹按照时间顺序分成多个小段轨迹，同一行人前后的两段轨迹组合成前序轨迹-后续轨迹数据对，同一时间段的所有行人的前序-后续轨迹对组成一组，以此作为训练集和测试集来训练扩展器；
(2)构建整体网络：本方法整体框架由两部分组成，其一为生成行人初始轨迹的孵化器；另一个为生成行人后续轨迹的扩展器；两个模型由两个独立的基于长短期网络LSTM的生成对抗网络GAN训练而成，两个GAN各自包含一个生成器G以及一个辨别器D，两个GAN之间参数不共享但在应用时共享同一个噪声向量；
(3)网络模型训练：采用步骤(1)中的两个训练数据集分别训练孵化器和扩展器；在各自训练这两个模型时，首先训练生成器，当达到训练次数后，生成器参数不变，再训练辨别器，当辨别器达到训练次数后，辨别器参数不变，继续训练生成器，如此循环往复，直到最小化损失函数完成对网络的优化训练；
(4)行人轨迹的生成；将待预测行人的初始状态输入到孵化器中，利用孵化器的生成器生成行人的初始轨迹，然后将初始轨迹输入到扩展器的生成器中生成下一段轨迹；随后，继续将生成的轨迹输入到扩展器中并生成在下一段的轨迹，重复该过程直到行人到达其目的地为止。
2.根据权利要求1中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：所述的用于生成行人初始轨迹的孵化器由两大部分组成，分别是生成器G1和辨别器D1，G1负责根据给定的行人初始状态生成该行人的初始轨迹，其中，G1包括全连接层，编码器，以及MLP解码器，全连接层用于对当前位置、当前速度以及目的地进行嵌入，MLP解码器用于解码所预测的位置坐标与速度；D1负责判断输入到辨别器中的轨迹是生成轨迹还是真实轨迹，辨别器D1包括一个LSTM以及一个MLP，其中，LSTM用于对行人初始坐标、初始速度、目的地以及孵化器生成器G1生成的初始轨迹进行编码，MLP作为分类器对初始轨迹进行分类标签。
3.根据权利要求2中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：对于生成器G1，包含一个用于嵌入数据的全连接层，其尺寸为6*128；其编码器为一个单层隐藏状态维度大小为128的LSTM；其解码器为包含4个全连接层的MLP；对于辨别器D1，其LSTM的隐藏状态大小为128。
4.根据权利要求2中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：孵化器的完整训练损失函数如下所示：
其中，表示期望，N表示数据集中的行人总数；
为孵化器的GAN损失；
为L2损失，λ1为GAN损失与L2损失之间的比例系数，/>为生成轨迹从辨别器中获得的标签，所述的生成轨迹指孵化器生成器G1根据训练集中行人的初始状态得到的行人初始轨迹；
为真实轨迹从辨别器中获得的标签，所述的真实轨迹指与生成轨迹具有相同初始状态的训练集中的行人轨迹；
是对应于/>的生成轨迹，
Yi first是对应于的真实轨迹，
孵化器的GAN损失函数如下所示：
其中，Fi first表示输入到辨别器中的轨迹，即其分布为Yi first或L2损失如下所示：
5.根据权利要求1中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：用于生成行人后续轨迹的扩展器由两大部分组成，分别是生成器G2和辨别器D2，G2负责根据输入到其中的行人前序轨迹、目的地以及同时间段内周边其他行人的轨迹生成该行人的后一段轨迹，D2负责判断输入到辨别器中的轨迹是生成轨迹还是真实轨迹；G2中包含一个注意力模块，用于认知行人行走时相互间的影响。
6.根据权利要求5中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：对于扩展器的生成器G2，包含编码器、注意力模块，解码器，其中编码器包括全连接层和一个LSTM，全连接层将位置、速度及目的地数据嵌入连接后输入LSTM，得到扩展器编码器的隐藏状态；然后将扩展器编码器的隐藏状态和行人之间的关系输入注意力模块，得到注意力权重，接下来将编码器的隐藏状态、注意力权重放入解码器中得到该行人这一点的预测速度，随后根据预测速度生成新坐标点并继续输入编码器中，迭代生成运动轨迹；对于辨别器D2，包含一个用于嵌入行人的目的地的全连接层，一个用于对前序轨迹编码的LSTM，一个用于对后续轨迹编码的LSTM，分别用于对两个LSTM输出进行降维的两个全连接层，以及一个分类器。
7.根据权利要求6中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：所述的行人之间的关系包括行人i与j之间的二维欧氏距离，行人i与j之间的速度矢量夹角，行人i与j位置的连线跟i的速度矢量方向的夹角，行人i与j之间依照当前速度前进所能达到的最小距离，所述行人i、j均属于数据集内包含的行人范围，即N为数据集中的行人总数。
8.根据权利要求6中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：所述的注意力模块依次包括4个全连接层和一个池化层，其中三个全连接层用于嵌入行人之间的关系矩阵，一个全连接层用于嵌入编码器的LSTM隐藏状态，将嵌入后的关系矩阵和嵌入后的LSTM隐藏状态批矩阵相乘后缩减至一维并输入Softmax池化层中池化，最终得到注意力矩阵。
9.根据权利要求6中所述的基于生成对抗网络的数据驱动人群运动仿真方法，其特征在于：扩展器的完整训练损失函数如下所示：
其中，表示期望，N表示数据集中的行人总数；
表示数据集的整体时间范围；
为扩展器的GAN损失；
为L2损失，λ2为GAN损失与L2损失之间的比例系数；
为在t时刻所生成的轨迹从辨别器中获得的标签，所述的t时刻的生成轨迹指扩展器的生成器G2根据训练集中行人在t时刻的前序轨迹得到的行人后续轨迹；
为真实轨迹从辨别器中获得的标签，所述的真实轨迹指与生成轨迹具有相同前序轨迹的训练集中的行人轨迹；
为对应于/>的生成轨迹；
为对应于/>的真实轨迹；
轨迹对应的时间段为t+1到Te，Te为轨迹中最后一点的对应时间点；
扩展器的GAN损失函数如下所示：
其中，表示输入辨别器的轨迹，其分布为/>或/>
CN202010252751.8A 2020-04-01 2020-04-01 基于生成对抗网络的数据驱动人群运动仿真方法 Active CN111461437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010252751.8A CN111461437B (zh) 2020-04-01 2020-04-01 基于生成对抗网络的数据驱动人群运动仿真方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010252751.8A CN111461437B (zh) 2020-04-01 2020-04-01 基于生成对抗网络的数据驱动人群运动仿真方法

Publications (2)

Publication Number Publication Date
CN111461437A CN111461437A (zh) 2020-07-28
CN111461437B true CN111461437B (zh) 2023-11-07

Family

ID=71685801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010252751.8A Active CN111461437B (zh) 2020-04-01 2020-04-01 基于生成对抗网络的数据驱动人群运动仿真方法

Country Status (1)

Country Link
CN (1) CN111461437B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112232254B (zh) * 2020-10-26 2021-04-30 清华大学 一种考虑行人激进度的行人风险评估方法
CN112418421B (zh) * 2020-11-06 2024-01-23 常州大学 一种基于图注意力自编码模型的路侧端行人轨迹预测算法
CN112766561B (zh) * 2021-01-15 2023-11-17 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法
CN114660947B (zh) * 2022-05-19 2022-07-29 季华实验室 机器人步态自主学习方法、装置、电子设备及存储介质
CN115170607A (zh) * 2022-06-17 2022-10-11 中国科学院自动化研究所 出行轨迹生成方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165687A1 (en) * 2016-03-24 2017-09-28 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
CN110399690A (zh) * 2019-07-31 2019-11-01 佳都新太科技股份有限公司 地铁车站行人仿真方法、装置、电子设备及存储介质
WO2020007566A1 (de) * 2018-07-03 2020-01-09 Robert Bosch Gmbh Realistischere simulation physikalischer messdaten
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
CN110751266A (zh) * 2019-09-26 2020-02-04 北航（四川）西部国际创新港科技有限公司 一种无人机轨迹预测模块及其预测方法
CN110769196A (zh) * 2019-10-17 2020-02-07 天津大学 一种用于非连续监控路段的视频预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11169528B2 (en) * 2018-05-11 2021-11-09 Uatc, Llc Initial trajectory generator for motion planning system of autonomous vehicles

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017165687A1 (en) * 2016-03-24 2017-09-28 Honda Motor Co., Ltd. System and method for trajectory planning for unexpected pedestrians
WO2020007566A1 (de) * 2018-07-03 2020-01-09 Robert Bosch Gmbh Realistischere simulation physikalischer messdaten
CN110399690A (zh) * 2019-07-31 2019-11-01 佳都新太科技股份有限公司 地铁车站行人仿真方法、装置、电子设备及存储介质
CN110689562A (zh) * 2019-09-26 2020-01-14 深圳市唯特视科技有限公司 一种基于生成对抗网络的轨迹回环检测优化方法
CN110751266A (zh) * 2019-09-26 2020-02-04 北航（四川）西部国际创新港科技有限公司 一种无人机轨迹预测模块及其预测方法
CN110769196A (zh) * 2019-10-17 2020-02-07 天津大学 一种用于非连续监控路段的视频预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
An Attentive GAN for Predicting Paths Compliant to Social and Physical Constraints;Amir Sadeghian 等;Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition;1349-1358 *

Also Published As

Publication number Publication date
CN111461437A (zh) 2020-07-28

Similar Documents

Publication Publication Date Title
CN111461437B (zh) 基于生成对抗网络的数据驱动人群运动仿真方法
Sadeghian et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints
US11113860B2 (en) Particle-based inverse kinematic rendering system
Liu et al. Learning hierarchical cross-modal association for co-speech gesture generation
CN108491598B (zh) 一种基于路径规划的人群疏散仿真方法及系统
CN109711529A (zh) 一种基于值迭代网络的跨领域联邦学习模型及方法
CN109255364A (zh) 一种基于深度卷积生成对抗网络的场景识别方法
Sun et al. Crowd navigation in an unknown and dynamic environment based on deep reinforcement learning
CN109543285B (zh) 一种融合数据驱动与强化学习的人群疏散仿真方法和系统
CN110108292B (zh) 车辆导航路径规划方法、系统、设备及介质
Wei et al. Learning motion rules from real data: Neural network for crowd simulation
Adate et al. A survey on deep learning methodologies of recent applications
Amirian et al. Data-driven crowd simulation with generative adversarial networks
KR20200010655A (ko) 영상에서 객체를 인식하는 방법 및 장치
CN110956684B (zh) 基于残差网络的人群运动疏散仿真方法及系统
CN116353623A (zh) 一种基于自监督模仿学习的驾驶控制方法
Daniel et al. A perceptually-validated metric for crowd trajectory quality evaluation
Ren et al. InsActor: Instruction-driven Physics-based Characters
CN117314956A (zh) 一种基于图神经网络的交互行人轨迹预测方法
Ji et al. Improving decision-making efficiency of image game based on deep Q-learning
Sahni et al. Addressing sample complexity in visual tasks using her and hallucinatory gans
CN112017265B (zh) 一种基于图神经网络的虚拟人运动仿真方法
CN114548497A (zh) 一种实现场景自适应的人群运动路径规划方法及系统
Lin et al. Real-time path planning and navigation for multi-agent and crowd simulations
Lin et al. IE-GAN: a data-driven crowd simulation method via generative adversarial networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant