CN110781838B - 一种复杂场景下行人的多模态轨迹预测方法 - Google Patents
一种复杂场景下行人的多模态轨迹预测方法 Download PDFInfo
- Publication number
- CN110781838B CN110781838B CN201911033767.3A CN201911033767A CN110781838B CN 110781838 B CN110781838 B CN 110781838B CN 201911033767 A CN201911033767 A CN 201911033767A CN 110781838 B CN110781838 B CN 110781838B
- Authority
- CN
- China
- Prior art keywords
- track
- layer
- data
- neural network
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 14
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000012876 topography Methods 0.000 claims description 14
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000006073 displacement reaction Methods 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 7
- 238000013135 deep learning Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 125000000524 functional group Chemical group 0.000 claims description 2
- 238000012482 interaction analysis Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 230000003997 social interaction Effects 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 210000001503 joint Anatomy 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明公开了一种复杂场景下行人的多模态轨迹预测方法，包括以下步骤：使用视觉几何组16层卷积神经网络进行图片特征提取；使用全连接层对轨迹数据进行特征处理；输入轨迹数据特征向量VS进入生成对抗网络完成编码解码网络功能；输入图片特征数据及轨迹特征数据至物理、社会注意力模块考虑地形限制及行人交互；通过更新完的生成器部分得到更好的轨迹生成预测结果；得到的稳定轨迹预测模型SPM。本发明可以有效的提高预测的精度，并且可以生成多条合理的预测轨迹，不仅能根据原始图片的特征信息提取到相关地形限制信息，而且能够考虑到同一复杂场景下不同行人之间的社交交互情况。本发明能够更加快速和准确地预测行人未来轨迹。
Description
技术领域
本发明涉及一种多模态轨迹预测技术，特别是一种复杂场景下行人的多模态轨迹预测方法。
背景技术
在现代中国社会，随着人口的不断增加，由此而来的复杂情况下的场景也越来越普遍发生，如公园集会、火车站广场、大型演唱会出入口、马拉松体育运动等。这些复杂场景中，我们经常要考虑到行人聚集、分散、避险和排队等不同可能的社交甚至公共安防问题，而在如此广阔复杂场景中，如果只靠人工识别对当前场景进行调控管理的话，效率不免太过低下，极大地影响人群导流速度和安全避让效率。所以，复杂场景下的行人轨迹未来趋势的预测必须紧紧贴近最新技术，通过现行最优的机器学习/深度学习等人工智能相关方法对复杂场景下行人轨迹预测进行处理，得到自动快速高效地预测策略，并且可以实时统计复杂场景下行人或人群的流量，甚至对异常目标行为进行检测报警处理，据此再给出相应地调控管理方法(导流/分流，避让/先行等)，就可以极大地提升公共安全研究与预防的效率，更好地保障公共场所的交通疏散和公共行人的人身安全。
近年来随着计算性能及深度学习的发展，基于数据驱动的建模方式成为研究热点，由于行人轨迹本质上就是一个时序序列，由此也提出了主要以循环神经网络为代表的建模方式。但循环神经网络无法进行高层次的空间关系建模，这种技术不仅难以模拟到行人运动时的可能性的聚集与扩散趋势，而且不考虑整体背景地形因素的限制，极大地制约了预测准确性的提高。通常以循环神经网络为代表的建模方式对于行人未来轨迹预测，一般只给出一种大概平均的轨迹预测结果，考虑不到行人未来趋势的多模态可能，不符合行人行走的客观规律。因此到目前为止，对于复杂场景下行人轨迹预测问题，考虑的总体因素并不全面，使用的对应方法并不是完全针对轨迹预测而准备，导致复杂场景下行人轨迹预测问题准确程度没有得到很好的提升。
发明内容
为解决现有技术存在的上述问题，本发明要提出一种能够在复杂场景下提高行人的轨迹预测精度的并考虑到地形背景和行人交互的复杂场景下行人的多模态轨迹预测方法。
为了实现上述目的，本发明的技术方案如下：一种复杂场景下行人的多模态轨迹预测方法，包括以下步骤：
A、使用视觉几何组16层卷积神经网络进行图片特征提取
视觉几何组16层卷积神经网络把数据集对应的原始背景图片帧作为输入放入端到端的神经网络中进行学习、并把图片数据进行抽象和压缩。具体步骤如下：
A1、输入的不同数据集的原始图片具有不同的分辨率大小，采用函数transforms.Resize(X,224,224)调整到同一尺寸224*224分辨率，其中transforms代表深度学习pytorch框架中图像预处理包模块。
A2、将调整后的同一尺寸的原始图片输入到已经预训练过的视觉几何组16层卷积神经网络中，并对视觉几何组16层卷积神经网络最后一层进行维度微调，编码成特征向量V，使之前的224*224高维度变成512*14*14维度，具体如下式所示：
V＝nn.Sequential(vggmodel()) (1)
其中，nn代表神经网络函数基类名称，Sequential为有序的容器函数，对视觉几何组16层卷积神经网络进行最后一层的维度微调。
A3、对上述特征向量V在时间维度上进行维度合并操作，进行连结操作，得到T*N*196*512的物理地形特征向量Vp，其中T代表时间帧数，N代表当前场景行人数目，具体公式如下：
Vp＝nn.Conv2d(V) (2)
其中，nn代表神经网络函数基类名称，Conv2d为深度学习pytorch框架中的二维卷积神经网络函数。
B、使用全连接层对轨迹数据进行特征处理
对数据集中具有时序依赖关系的连续轨迹数据进行处理，得到目标行人与场景内其他行人的相对位移，将此相对位移数据放入端到端的全连接神经网络层中进行学习，进行对应的特征提取，得到用于行人交互分析的轨迹数据特征向量VS，具体公式如下：
其中，
是通过将行人j关于行人i的相对位移输入到全连接层而获得的固定长度的特征向量，/>
分别代表行人i在时刻t时的x、y坐标，W fe是全连接层的权重，FC代表全连接神经网络，VS是针对所有时刻t及所有行人的/>
集合的轨迹数据特征向量。
C、输入轨迹数据特征向量VS进入生成对抗网络完成编码解码网络功能
C1、在进入生成器部分的编码网络结构之后，编码后的轨迹数据特征向量进入引入的社会注意力机制单元，编码后的轨迹帧向量特征提取在动态循环单元流程中完成，考虑不同行人之间交互信息，再将之前得到的Vp物理地形特征向量输入到物理注意力机制单元，考虑到地形限制因素，具体公式如下：
其中，
表示在t-1时刻行人i对应的生成器中编码器LSTM的隐藏状态。它包含了用于计算每个/>
的物理地形限制信息和社会行人交互信息。/>
和/>
函数分别代表引入的物理注意力机制模块和社会注意力机制模块，/>
和/>
分别代表物理注意力机制模块及社会注意力模块输出的物理特征向量和社会特征向量。
C2、结合上一步骤得到的物理特征向量
和社会特征向量/>
加入高斯噪声z向量，输入至生成器模块的解码器部分，进行解码处理，将解码后的结果通过全连接层生成预测轨迹，具体公式如下：/>
其中，z是从标准高斯正态分布里取样的噪声向量，LSTM是标准的简单长短期记忆网络，MLP是使用线性整流激活函数的多层感知器。Wdecoder和Wmlp分别对应LSTM层和MLP层的权重与偏差。
对应LSTM层生成的预测轨迹隐藏向量，/>
对应生成的预测的x、y坐标数据。
D、将上一步骤生成的预测轨迹数据
输入鉴别器，与真实未来轨迹进行对比验证，并据此按照交叉熵损失函数的大小变化，利用反向传播算法，对生成器部分进行生成器损失参数的更新，使其经过鉴别器得到的误差损失越来越小，之后再通过更新完的生成器部分得到更好的轨迹生成预测结果，重新进行生成、鉴别过程，具体公式如下：
其中，
和Yi t是t时刻生成预测轨迹和真实未来轨迹的行人坐标，hDi连接所有时刻的/>
YDi是分类真/假的结果。Wfc、Wdis和Wmlp分别是FC、LSTM以及MLP三种不同网络的权重。
E、根据最大最小博弈原理，不断依照真实未来轨迹与预测未来轨迹的偏差，更新生成模型的损失参数，直到鉴别器区分不出生成的轨迹与真实未来轨迹的区别时，停止模型训练，将此时得到的最后轨迹预测模型保存为.pt文件，这就是得到的稳定轨迹预测模型SPM。
E1、将用于测试的数据集数据输入上面得到的稳定模型SPM中观察结果，自定义参数K，设置生成器部分生成多少条多模态的轨迹，预测未来最可能的K个时序轨迹序列坐标；
E2、将得到的预测结果根据单应性矩阵将真实世界坐标转换为图片上的像素点坐标，将预测轨迹标注在原始图像上进行可视化，得到多条可行的预测轨迹路线，对行人未来轨迹规划及整体场景的调控起到最大化辅助的作用。
结束。
与现有技术相比，本发明具有以下有益效果：
1、本发明使用的基于生成对抗网络的方法预测的轨迹更加符合物理约束和社会规范，且通过生成器的采样可以产生多条合理的轨迹。故本发明借助生成对抗网络的思想，并使用注意力机制来融合行人之间的相对位置信息进而对行人交互进行建模。实验表明该方法可以有效的提高预测的精度，并且可以生成多条合理的预测轨迹。与现有的社会生成对抗网络、长短期记忆网络方法相比，本发明不仅能根据原始图片的特征信息提取到相关地形限制信息，而且能够考虑到同一复杂场景下不同行人之间的社交交互情况。相比较固定的卷积循环网络结构,本发明使用的生成对抗网络不仅在结构上以及空间数据预测更新上有很大改进，而且能根据训练数据不断学习到预测时应当考虑到的所有特征参数，减少了特征冗余，能够更加快速和准确地预测行人未来轨迹。
2、本发明采用生成对抗网络的方式，其最大最小博弈框架能根据设定的不同给定参数，生成多条可能地未来预测轨迹。这样生成的多模态的轨迹预测更加符合行人行走地客观规律，提高了模型的泛化能力。
附图说明
图1是物理注意力模块结构图。
图2是社会注意力模块结构图。
图3是针对行人的多模态预测结果可视化图之一。
图4是针对行人的多模态预测结果可视化图之二。
图5是针对行人的多模态预测结果可视化图之三。
图6是针对行人的多模态预测结果可视化图之四。
图7是本发明的流程框架图。
具体实施方式
下面结合附图对本发明再进行进一步地描述。按照图7所示的流程对复杂场景下行人轨迹预测的方法来介绍。
如图1所示，首先将数据集对应的原始背景图片帧作为输入放入视觉几何组16层卷积神经网络中进行学习及编码，得到隐藏的地形特征向量。将此物理地形特征向量输入到物理注意力模块，对其进行均值操作后再用双曲正切激活函数进行数据处理，使用全连接层进行维度对接后，与原始的物理地形特征向量连结起来，再过一层全连接网络进行维度转换后，进行归一化指数操作，与前面使用全连接层更改维度后的物理地形特征向量进行点乘，将点乘结果在特定维度上相加，得到需要的物理地形限制信息。
如图2所示，再将数据集中具有时序依赖关系的连续轨迹数据处理成相对位移数据，放入端到端的全连接神经网络层中进行学习、并把此相对位移数据进行特征提取。待提取完成轨迹数据特征向量，将其输入社会注意力模块，先通过不同的全连接层与隐藏特征向量进行维度对接，连结以后输入多层感知器网络进行特征嵌入，之后在其特定维度上取最大值，输出得到社会行人交互信息。从而实现了物理地形和行人交互信息的深度提取。
以此类推，直到输入连续轨迹帧在生成网络中训练完成。将得到的生成预测轨迹输入到鉴别器中，不断依照真实未来轨迹与预测未来轨迹的偏差，更新模型参数，得到最后稳定的轨迹预测模型。最后将测试的历史轨迹输入得到的稳定模型中观察结果，将得到的预测数据序列根据单应性矩阵将真实世界坐标转换为图片上的像素点坐标，从而将预测轨迹标注在原始图像上进行可视化，得到多条可行的预测轨迹路线，同时也将行人历史轨迹与真实未来轨迹在原始图片上可视化，方便更清晰地对比预测效果地好坏与多模态预测的实现。本发明具体实施效果如图3-6所示，虚线的起点为预测的目标行人，其历史轨迹为细虚线，接续的粗实线为目标行人未来真实轨迹，使用本发明方法得到的多模态预测轨迹序列为后面多条并排的细实线。图3中目标行人真实轨迹为向上行走，经本发明预测得到的轨迹为向上的一个范围内的多条可行轨迹。图4中目标行人真实轨迹为向右行走，经本发明预测得到的轨迹为向右的一个范围内的多条可行轨迹。图5中目标行人同样向右行走，预测得到的为向右的一个范围内的多条可行轨迹。图6中目标行人真实轨迹为向左行走，经本发明预测得到的真实轨迹为向左的一个范围内的多条可行轨迹。通过图3-6可以看出使用本发明方法得到的预测轨迹序列其运动趋势预测准确且很好的将其未来多条可行的运动轨迹预测出来，从广度上增加了预测的准确性。
本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。
Claims (1)
1.一种复杂场景下行人的多模态轨迹预测方法，其特征在于：包括以下步骤：
A、使用视觉几何组16层卷积神经网络进行图片特征提取
视觉几何组16层卷积神经网络把数据集对应的原始背景图片帧作为输入放入端到端的神经网络中进行学习、并把图片数据进行抽象和压缩；具体步骤如下：
A1、输入的不同数据集的原始图片具有不同的分辨率大小，采用函数transforms.Resize(X,224,224)调整到同一尺寸224*224分辨率，其中transforms代表深度学习pytorch框架中图像预处理包模块；
A2、将调整后的同一尺寸的原始图片输入到已经预训练过的视觉几何组16层卷积神经网络中，并对视觉几何组16层卷积神经网络最后一层进行维度微调，编码成特征向量V，使之前的224*224高维度变成512*14*14维度，具体如下式所示：
V＝nn.Sequential(vggmodel()) (1)
其中，nn代表神经网络函数基类名称，Sequential为有序的容器函数，对视觉几何组16层卷积神经网络进行最后一层的维度微调；
A3、对上述特征向量V在时间维度上进行维度合并操作，进行连结操作，得到T*N*196*512的物理地形特征向量Vp，其中T代表时间帧数，N代表当前场景行人数目，具体公式如下：
Vp＝nn.Conv2d(V) (2)
其中，nn代表神经网络函数基类名称，Conv2d为深度学习pytorch框架中的二维卷积神经网络函数；
B、使用全连接层对轨迹数据进行特征处理
对数据集中具有时序依赖关系的连续轨迹数据进行处理，得到目标行人与场景内其他行人的相对位移，将此相对位移数据放入端到端的全连接神经网络层中进行学习，进行对应的特征提取，得到用于行人交互分析的轨迹数据特征向量VS，具体公式如下：
其中，
是通过将行人j关于行人i的相对位移输入到全连接层而获得的固定长度的特征向量，/>
分别代表行人i在时刻t时的x、y坐标，Wfe是全连接层的权重，FC代表全连接神经网络，VS是针对所有时刻t及所有行人的/>
集合的轨迹数据特征向量；
C、输入轨迹数据特征向量VS进入生成对抗网络完成编码解码网络功能
C1、在进入生成器部分的编码网络结构之后，编码后的轨迹数据特征向量进入引入的社会注意力机制单元，编码后的轨迹帧向量特征提取在动态循环单元流程中完成，考虑不同行人之间交互信息，再将之前得到的Vp物理地形特征向量输入到物理注意力机制单元，考虑到地形限制因素，具体公式如下：
其中，
表示在t-1时刻行人i对应的生成器中编码器LSTM的隐藏状态；它包含了用于计算每个/>
的物理地形限制信息和社会行人交互信息；/>
和/>
函数分别代表引入的物理注意力机制模块和社会注意力机制模块，/>
和/>
分别代表物理注意力机制模块及社会注意力模块输出的物理特征向量和社会特征向量；
C2、结合上一步骤得到的物理特征向量
和社会特征向量/>
加入高斯噪声z向量，输入至生成器模块的解码器部分，进行解码处理，将解码后的结果通过全连接层生成预测轨迹，具体公式如下：
其中，z是从标准高斯正态分布里取样的噪声向量，LSTM是标准的简单长短期记忆网络，MLP是使用线性整流激活函数的多层感知器；Wdecoder和Wmlp分别对应LSTM层和MLP层的权重与偏差；
对应LSTM层生成的预测轨迹隐藏向量，/>
对应生成的预测的x、y坐标数据；
D、将上一步骤生成的预测轨迹数据
输入鉴别器，与真实未来轨迹进行对比验证，并据此按照交叉熵损失函数的大小变化，利用反向传播算法，对生成器部分进行生成器损失参数的更新，使其经过鉴别器得到的误差损失越来越小，之后再通过更新完的生成器部分得到更好的轨迹生成预测结果，重新进行生成、鉴别过程，具体公式如下：
YDi＝MLP(hDi；Wmlp)
其中，
和Yi t是t时刻生成预测轨迹和真实未来轨迹的行人坐标，hDi连接所有时刻的
YDi是分类真/假的结果；Wfc、Wdis和Wmlp分别是FC、LSTM以及MLP三种不同网络的权重；
E、根据最大最小博弈原理，不断依照真实未来轨迹与预测未来轨迹的偏差，更新生成模型的损失参数，直到鉴别器区分不出生成的轨迹与真实未来轨迹的区别时，停止模型训练，将此时得到的最后轨迹预测模型保存为.pt文件，这就是得到的稳定轨迹预测模型SPM；
E1、将用于测试的数据集数据输入上面得到的稳定模型SPM中观察结果，自定义参数K，设置生成器部分生成多少条多模态的轨迹，预测未来最可能的K个时序轨迹序列坐标；
E2、将得到的预测结果根据单应性矩阵将真实世界坐标转换为图片上的像素点坐标，将预测轨迹标注在原始图像上进行可视化，得到多条可行的预测轨迹路线，对行人未来轨迹规划及整体场景的调控起到最大化辅助的作用；
结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911033767.3A CN110781838B (zh) | 2019-10-28 | 2019-10-28 | 一种复杂场景下行人的多模态轨迹预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911033767.3A CN110781838B (zh) | 2019-10-28 | 2019-10-28 | 一种复杂场景下行人的多模态轨迹预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110781838A CN110781838A (zh) | 2020-02-11 |
| CN110781838B true CN110781838B (zh) | 2023-05-26 |
Family
ID=69387303
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911033767.3A Active CN110781838B (zh) | 2019-10-28 | 2019-10-28 | 一种复杂场景下行人的多模态轨迹预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110781838B (zh) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111339867B (zh) * | 2020-02-18 | 2022-05-24 | 广东工业大学 | 一种基于生成对抗网络的行人轨迹预测方法 |
| CN111311009B (zh) * | 2020-02-24 | 2023-05-26 | 广东工业大学 | 一种基于长短期记忆的行人轨迹预测方法 |
| US11328433B2 (en) * | 2020-02-25 | 2022-05-10 | Honda Motor Co., Ltd. | Composite field based single shot prediction |
| CN111428763B (zh) * | 2020-03-17 | 2023-04-07 | 陕西师范大学 | 一种基于场景约束gan的行人轨迹预测方法 |
| CN111767475A (zh) * | 2020-03-20 | 2020-10-13 | 吉利汽车研究院（宁波）有限公司 | 一种目标行人轨迹预测模型训练方法、装置、电子设备及存储介质 |
| CN113496268A (zh) * | 2020-04-08 | 2021-10-12 | 北京图森智途科技有限公司 | 一种轨迹预测方法和装置 |
| CN113537445B (zh) * | 2020-04-14 | 2024-04-09 | 北京京东乾石科技有限公司 | 一种轨迹预测方法、装置、设备和存储介质 |
| CN111553232B (zh) * | 2020-04-22 | 2023-04-07 | 陕西师范大学 | 基于场景状态迭代的门循环单元网络行人轨迹预测方法 |
| CN111930110A (zh) * | 2020-06-01 | 2020-11-13 | 西安理工大学 | 一种结合社会生成对抗网络的意图轨迹预测方法 |
| US11481607B2 (en) * | 2020-07-01 | 2022-10-25 | International Business Machines Corporation | Forecasting multivariate time series data |
| CN112200956B (zh) * | 2020-09-27 | 2023-01-17 | 北京百度网讯科技有限公司 | 一种门禁控制方法、系统、电子设备及存储介质 |
| CN112215193B (zh) * | 2020-10-23 | 2023-07-18 | 深圳大学 | 一种行人轨迹预测方法及系统 |
| CN112257850B (zh) * | 2020-10-26 | 2022-10-28 | 河南大学 | 一种基于生成对抗网络的车辆轨迹预测方法 |
| CN112269931B (zh) * | 2020-10-28 | 2023-10-31 | 中山大学 | 数据驱动的群体智能交互关系推断与演化计算方法 |
| CN112560656B (zh) * | 2020-12-11 | 2024-04-02 | 成都东方天呈智能科技有限公司 | 一种联合注意力机制端到端训练的行人多目标跟踪方法 |
| CN112766561B (zh) * | 2021-01-15 | 2023-11-17 | 东南大学 | 一种基于注意力机制的生成式对抗轨迹预测方法 |
| CN113160269B (zh) * | 2021-02-09 | 2024-03-12 | 北京工业大学 | 一种基于注意力机制的行人轨迹预测方法 |
| CN112925782B (zh) * | 2021-03-12 | 2024-01-23 | 上海海事大学 | 一种基于lstm预测和平滑分析思想的轨迹数据压缩方法 |
| CN113077489B (zh) * | 2021-04-21 | 2024-03-15 | 中国第一汽车股份有限公司 | 一种行人轨迹预测方法、装置、设备及储存介质 |
| CN113139656B (zh) * | 2021-04-26 | 2023-06-30 | 大连海事大学 | 一种类脑快慢双通路无人自主决策方法 |
| CN113538506A (zh) * | 2021-07-23 | 2021-10-22 | 陕西师范大学 | 基于全局动态场景信息深度建模的行人轨迹预测方法 |
| CN113362368B (zh) * | 2021-07-26 | 2022-02-25 | 北京邮电大学 | 一种基于多层次时空图神经网络的人群轨迹预测方法 |
| CN113989326B (zh) * | 2021-10-25 | 2023-08-25 | 电子科技大学 | 一种基于注意力机制的目标轨迹预测方法 |
| CN113902776B (zh) * | 2021-10-27 | 2022-05-17 | 北京易航远智科技有限公司 | 目标行人轨迹预测方法、装置、电子设备及存储介质 |
| CN113985897A (zh) * | 2021-12-15 | 2022-01-28 | 北京工业大学 | 一种基于行人轨迹预测与社交约束的移动机器人路径规划方法 |
| CN116203971A (zh) * | 2023-05-04 | 2023-06-02 | 安徽中科星驰自动驾驶技术有限公司 | 一种生成对抗网络协同预测的无人驾驶避障方法 |
| CN116882148B (zh) * | 2023-07-03 | 2024-01-30 | 成都信息工程大学 | 基于空间社会力图神经网络的行人轨迹预测方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564118A (zh) * | 2018-03-30 | 2018-09-21 | 陕西师范大学 | 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 |
| CN109902880A (zh) * | 2019-03-13 | 2019-06-18 | 南京航空航天大学 | 一种基于Seq2Seq生成对抗网络的城市人流预测方法 |
| CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10595037B2 (en) * | 2016-10-28 | 2020-03-17 | Nec Corporation | Dynamic scene prediction with multiple interacting agents |
| US11112796B2 (en) * | 2017-08-08 | 2021-09-07 | Uatc, Llc | Object motion prediction and autonomous vehicle control |
-
2019
- 2019-10-28 CN CN201911033767.3A patent/CN110781838B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108564118A (zh) * | 2018-03-30 | 2018-09-21 | 陕西师范大学 | 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法 |
| CN109902880A (zh) * | 2019-03-13 | 2019-06-18 | 南京航空航天大学 | 一种基于Seq2Seq生成对抗网络的城市人流预测方法 |
| CN110163439A (zh) * | 2019-05-24 | 2019-08-23 | 长安大学 | 一种基于注意力机制的城市规模出租车轨迹预测方法 |
Non-Patent Citations (4)
| Title |
|---|
| Scene-LSTM: A Model for Human Trajectory Prediction;Huynh Manh et al.;《arXiv》;第1-9页 * |
| Social GAN: Socially Acceptable Trajectories with Generative Adversarial Networks;Agrim Gupta et al.;《arXiv》;第1-10页 * |
| SS-LSTM: A Hierarchical LSTM Model for Pedestrian Trajectory Prediction;Hao Xue et al.;《2018 IEEE Winter Conference on Applications of Computer Vision (WACV)》;第1186-1194页 * |
| 基于注意力机制的行人轨迹预测生成模型;孙亚圣 等;《计算机应用》;第39卷(第3期);第668-674页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110781838A (zh) | 2020-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110781838B (zh) | 一种复杂场景下行人的多模态轨迹预测方法 | |
| CN109740419B (zh) | 一种基于Attention-LSTM网络的视频行为识别方法 | |
| CN110119703B (zh) | 一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法 | |
| CN110458844B (zh) | 一种低光照场景的语义分割方法 | |
| Li et al. | Deep neural network for structural prediction and lane detection in traffic scene | |
| CN109919122A (zh) | 一种基于3d人体关键点的时序行为检测方法 | |
| CN110147743A (zh) | 一种复杂场景下的实时在线行人分析与计数系统及方法 | |
| CN109443382A (zh) | 基于特征提取与降维神经网络的视觉slam闭环检测方法 | |
| CN109446970A (zh) | 一种基于深度学习的变电站巡检机器人道路场景识别方法 | |
| CN110472554A (zh) | 基于姿态分割和关键点特征的乒乓球动作识别方法及系统 | |
| Li et al. | Pushing the “Speed Limit”: high-accuracy US traffic sign recognition with convolutional neural networks | |
| CN107133569A (zh) | 基于泛化多标记学习的监控视频多粒度标注方法 | |
| CN111339849A (zh) | 一种融合行人属性的行人重识别的方法 | |
| CN114758288A (zh) | 一种配电网工程安全管控检测方法及装置 | |
| CN112288776B (zh) | 一种基于多时间步金字塔编解码器的目标跟踪方法 | |
| CN111476133B (zh) | 面向无人驾驶的前背景编解码器网络目标提取方法 | |
| WO2023030182A1 (zh) | 图像生成方法及装置 | |
| CN110097028A (zh) | 基于三维金字塔图像生成网络的人群异常事件检测方法 | |
| CN109446897B (zh) | 基于图像上下文信息的场景识别方法及装置 | |
| CN112036260A (zh) | 一种自然环境下多尺度子块聚合的表情识别方法及系统 | |
| CN110335299A (zh) | 一种基于对抗网络的单目深度估计系统实现方法 | |
| CN112906493A (zh) | 一种基于互相关注意力机制的跨模态行人重识别方法 | |
| CN108875555B (zh) | 基于神经网络的视频兴趣区域和显著目标提取与定位系统 | |
| Liu et al. | Weighted sequence loss based spatial-temporal deep learning framework for human body orientation estimation | |
| CN114638408A (zh) | 一种基于时空信息的行人轨迹预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |