CN113269115A - 一种基于Informer的行人轨迹预测方法 - Google Patents

一种基于Informer的行人轨迹预测方法 Download PDF

Info

Publication number
CN113269115A
CN113269115A CN202110624799.1A CN202110624799A CN113269115A CN 113269115 A CN113269115 A CN 113269115A CN 202110624799 A CN202110624799 A CN 202110624799A CN 113269115 A CN113269115 A CN 113269115A
Authority
CN
China
Prior art keywords
track
network
sequence
decoder
inform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110624799.1A
Other languages
English (en)
Other versions
CN113269115B (zh
Inventor
林华东
李雪
陈禹行
范圣印
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yihang Yuanzhi Technology Co Ltd
Original Assignee
Beijing Yihang Yuanzhi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yihang Yuanzhi Technology Co Ltd filed Critical Beijing Yihang Yuanzhi Technology Co Ltd
Priority to CN202110624799.1A priority Critical patent/CN113269115B/zh
Publication of CN113269115A publication Critical patent/CN113269115A/zh
Application granted granted Critical
Publication of CN113269115B publication Critical patent/CN113269115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于Informer的行人轨迹预测方法，属于计算机视觉和自动驾驶技术领域。该方法包括①对轨迹序列进行位置编码，并输入Informer‑编码器得到特征向量；②隐变量预测器根据特征向量生成隐变量；③根据隐变量生成轨迹关键点，并用轨迹关键点初始化Informer‑解码器对应的位置；④对Informer‑解码器的初始化序列进行位置编码，再次结合隐变量生成预测轨迹，并计算损失函数四个步骤。本发明采用Informer的自注意力蒸馏技术、概率稀疏自注意力机制以及生成式解码器作为基础网络的核心技术，基于隐状态预测轨迹关键点，再用轨迹关键点初始化解码器对应的位置。可用于自动驾驶车辆对于行人、车辆等代理的轨迹预测，帮助车辆更好地进行决策，保护交通安全。

Description

一种基于Informer的行人轨迹预测方法
技术领域
本发明涉及一种基于Informer的行人轨迹预测方法，属于计算机视觉和自动驾驶技术领域。
背景技术
自动驾驶行业也已经持续火热多年，但是行业内对于何时能真正实现无人驾驶还尚无定论。其中一个很重要的原因是，在复杂场景下，难以对周边行人的轨迹做出合理的预判。所以，如果无法攻克这个难题，再完美的决策和控制技术都不可能实现绝对安全的无人驾驶。因此，近年来行人轨迹预测逐渐成为计算机视觉领域一个热门的研究问题。行人作为弱势群体，最需要得到外界的保护。在人类驾驶中，司机可以通过判断行人的运动状态，从而做出正确的决策，避免交通事故的发生。然而，自动驾驶系统若仅通过检测和跟踪行人，难以做出合理的决策。如果检测到行人就停止，会增加交通拥挤度，而错误地选择继续前行，会导致碰撞的发生。为此，对行人未来轨迹做出合理的预测，可以提高交通系统的安全性和通畅性。然而，行人轨迹预测存在很大的挑战，主要由于人类行为的复杂性以及外部的刺激。运动行为可能受自身的目标意图、周围主体的行为、主体之间的社会关系、社会规则和环境的拓扑结构等所影响。此外，为了在实践中取得有效的结果，轨迹预测必须具有鲁棒性和实时性。
为了解现有技术的发展状况，对已有的专利和论文进行了检索、比较和分析，筛选出如下与本发明相关度比较高的技术方案：
方案1：2016年的CVPR论文“Social lstm:Human trajectory prediction incrowded spaces”是最早使用长短期记忆网络(LSTM)来建模并预测行人的轨迹，同时引入社会池化层(Social Pooling Layer)来提取行人之间的交互信息。然而，像LSTM之类的循环神经网络只能顺序处理序列，并行处理能力差，效率低。
方案2：2018年CVPR论文“Social gan:Socially acceptable trajectories withgenerative adversarial networks”引入生成对抗网络(GAN)实现多轨迹预测。SocialGAN同样基于LSTM，所以存在处理效率低下的问题。同时，GAN在训练过程中存在梯度消失、模式崩溃、稳定性差等问题。
方案3：2020年ICPR论文“Transformer Networks for Trajectory Forecasting”基于Transformer进行轨迹预测。Transformer解决了无法并行化的问题，但仍然存在以下三个缺陷：1.自注意力机制导致平方级别的时间复杂度。2.堆叠的网络导致内存占用率高。3.逐步解码预测，导致推理速度很慢，预测存在累积的误差。
可见，现有的行人轨迹预测技术存在网络开销大、训练速度慢、推理速度慢等性能问题，不适合在实际场景中应用；以及训练过程稳定性差的问题，具体表现在：
一是内存开销大。Transformer通常堆叠Transformer blocks形成多层的体系结构，Transformer blocks包括多头注意力机制、前馈网络、层归一化和残差连接器等，结果导致Transformer内存占用率高。
二是训练和推理速度慢。LSTM顺序处理序列，缺乏并行处理的能力，因此效率低下。Transformer基于自注意力机制，没有循环结构，可以并行处理数据。但是，自注意力机制会导致平方级别的运算时间复杂度。另外，Transformer基于编码器-解码器结构，推理阶段采用逐步解码方式，即只有完成t时刻的预测才能继续预测t+1时刻，导致推理速度很慢。
三是GAN的局限性。GAN在训练过程中存在以下三个问题。1)GAN的最终目标是要达到纳什均衡，但是很难使生成器和判别器同时收敛，且经常出现震荡，实验结果随机，难以复现。2)当判别器非常准确时，判别器的损失很快收敛到0，从而无法提供可靠的路径使生成器的梯度继续更新，造成生成器梯度消失。3)对于不同的输入生成相似的样本，最坏的情况仅生成一个单独的样本，造成模式坍塌。
发明内容
本发明旨在提供一种性能强、准确率高的基于Informer的行人轨迹预测方法，针对内存开销大的问题，本发明采用Informer的自注意力蒸馏技术，在保留关键信息的情况下大幅度减小内存占用；针对训练和推理速度慢的问题，本发明采用Informer的概率稀疏自注意力机制和生成式解码器；针对GAN的局限性，本发明基于编码器-解码器结构，并提出基于隐状态预测轨迹关键点的技术。
本发明的目的是这样实现的，一种基于Informer的行人轨迹预测方法，该方法包括以下步骤：
步骤S110，对轨迹序列进行位置编码，并输入Informer-编码器得到特征向量；
步骤S120，隐变量预测器根据特征向量生成隐变量；
步骤S130，根据隐变量生成轨迹关键点，并用轨迹关键点初始化Informer-解码器对应的位置；
步骤S140，对Informer-解码器的初始化序列进行位置编码，再次结合隐变量生成预测轨迹，并计算损失函数。
本发明的优点和技术效果是：
1、采用Informer的自注意力蒸馏技术、概率稀疏自注意力机制以及生成式解码器作为基础网络的核心技术，提高训练速度和推理速度，减少网络的内存开销，并提高预测精度。
2、基于隐状态预测轨迹关键点，轨迹关键点选择中间点和终点，再用轨迹关键点初始化解码器对应的位置，使轨迹受到更多的约束，提高模型的预测精度。
3、本发明可用于自动驾驶车辆对于行人、车辆等代理的轨迹预测，帮助车辆更好地进行决策，保护交通安全。自动驾驶车辆对行人、车辆等代理的轨迹预测，采用Informer的自注意力蒸馏技术、概率稀疏自注意力机制以及生成式解码器作为基础网络的核心技术，基于隐状态预测轨迹关键点，再用轨迹关键点初始化解码器对应的位置。
附图说明
图1是本发明基于Informer的行人轨迹预测方法的总体流程图。
图2是本发明基于Informer的行人轨迹预测方法的网络结构图。
图3是本发明Informer-编码器的处理流程图。
图4是本发明条件变分自编码器网络结构图。
图5是本发明隐变量预测器的处理流程图。
图6是本发明Informer-解码器的处理流程图。
图7是本发明高斯随机神经网络结构图。
图8是本发明混合高斯随机神经网络和条件变分自编码器的网络结构图。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
如附图1所示：一种基于Informer的行人轨迹预测方法，该方法包括以下步骤：
步骤S110，对轨迹序列进行位置编码，并输入Informer-编码器得到特征向量；
步骤S120，隐变量预测器根据特征向量生成隐变量；
步骤S130，根据隐变量生成轨迹关键点，并用轨迹关键点初始化Informer-解码器对应的位置；
步骤S140，对Informer-解码器的初始化序列进行位置编码，再次结合隐变量生成预测轨迹，并计算损失函数。
本发明行人轨迹预测模型的网络结构如图2所示。
(1)通过Informer-编码器提取特征向量
在所述步骤S110中，对轨迹序列进行位置编码，再送入Informer-编码器得到特征向量，具体步骤如图3流程图所示：
首先，定义行人的观测轨迹序列和未来真实轨迹序列，具体表达式如下：
Figure BDA0003100575780000041
Figure BDA0003100575780000042
其中，N表示轨迹的总条数，Xi表示第i条观测轨迹，tobs表示观测轨迹持续的时间。Yi表示第i条未来真实轨迹，tpred表示未来轨迹持续的时间；
Figure BDA0003100575780000043
表示轨迹i在t时刻的坐标；
步骤S111，输入观测轨迹序列；
步骤S112，对模式进行判断，因为本发明在训练阶段和推理阶段存在不一样的流程；若不处在训练阶段，则直接到步骤S114；若处在训练阶段，则跳到步骤S113；
步骤S113，输入未来真实轨迹序列；
步骤S114，对序列进行位置编码；位置编码的公式如下：
Figure BDA0003100575780000044
其中，PE表示被编码的向量，其中t表示坐标在序列中的位置。2k或2k+1表示向量的第2k或2k+1个维度，编码的维度为dmodel。最后，把2维的坐标序列映射到dmodel维度，并和位置编码后的向量PE进行相加，得到嵌入位置信息后的高维向量，具体的公式如下：
Figure BDA0003100575780000045
其中，δ表示多层感知机，Wee是其对应的参数，PE是位置编码后的向量，
Figure BDA00031005757800000411
是嵌入位置信息的高维向量；
步骤S115，Informer-编码器对序列进行编码，得到特征向量；在训练阶段，编码器需要对观测轨迹和未来真实轨迹进行编码，分别输出两个特征向量hX和hY；在推理阶段，未来真实轨迹不可知，所以只对观测轨迹进行编码得到hX，具体的计算过程如下：
Figure BDA0003100575780000046
Figure BDA0003100575780000047
其中，Encoder表示Informer-编码器，Wencoder是其对应的参数。
(2)通过隐变量预测器生成隐变量
在所述步骤S120中，基于特征向量，使用隐变量预测器生成隐变量；隐变量预测器采用条件变分自编码器网络，条件变分自编码器网络结构如图4所示；网络包含先验网络和识别网络两个子网络，虚线表示在测试阶段使用，实线表示在训练和测试阶段都使用；识别网络
Figure BDA0003100575780000048
是后验概率Q(Z|X,Y)的实现，先验网络
Figure BDA0003100575780000049
是先验概率P(Z|X)的实现，其中
Figure BDA00031005757800000410
θ分别是两个网络对应的参数；隐变量预测器的具体流程图如图5所示。
步骤S121，观测轨迹的特征向量hX通过先验网络计算高斯分布的均值μp和方差∑p，得到N(μp,Σp)。
步骤S122，判断当前所处的模式，因为本发明在训练阶段和推理阶段的流程不一样。若不在训练阶段，则直接跳到步骤S126。若在训练阶段，则跳到步骤S123。
步骤S123，输入未来真实轨迹的特征向量hY，并通过识别网络计算高斯分布的均值μq和方差Σq，得到N(μq,Σq)。
步骤S124，计算N(μq,∑q)和和N(μp,∑p)之间的KL散度，让概率P(Z|X)逼近Q(Z|X,Y)，具体计算公式如下：
LKLD＝KLD(N(μq,∑q)||N(μp,∑p))
其中，KLD表示KL散度函数，LKLD表示KL散度损失。
步骤S125，基于识别网络生成的概率分布N(μq,∑q)，采样得到隐变量h。
步骤S126，基于先验网络生成的概率分布N(μp,∑p)，采样得到隐变量h。
(3)基于隐变量预测轨迹关键点
在所述步骤S130中，根据隐变量生成轨迹关键点，并用轨迹关键点初始化Informer-解码器对应的位置；轨迹关键点选择中间点和终点，即
Figure BDA0003100575780000051
和tobs+tpred时刻的坐标，分别记作p1和p2；通过两个多层感知机MLP1和MLP2分别来预测p1和p2，具体的计算公式如下：
p1＝δ(h；W1)
p2＝δ(h；W2)
其中，δ表示多层感知机，h是隐变量，W1和W2是两个网络对应的参数。
Informer-解码器的输入包含开始符号Xtoken和占位符X0两部分，长度分别为
Figure BDA0003100575780000052
和tpred。Xtoken采用Xi在
Figure BDA0003100575780000053
时间内序列来初始化。X0在
Figure BDA0003100575780000054
和tpred位置分别用p1和p2初始化，其余部分用0初始化。
(4)通过Informer-解码器预测轨迹
在所述步骤S140中，对Informer-解码器的初始化序列进行位置编码，再次结合隐变量产生预测轨迹并计算损失。流程图如图6所示。
步骤S141，对初始化序列进行位置编码，位置编码的方法与步骤S114相同。生成的位置嵌入表示为
Figure BDA0003100575780000055
步骤S142，结合隐变量h和
Figure BDA0003100575780000056
生成特征向量
Figure BDA0003100575780000057
具体计算公式如下：
Figure BDA0003100575780000058
其中，Decoder表示Informer-解码器，Wdecoder是其对应的参数；
步骤S143，将特征向量经过全连接层生成预测轨迹
Figure BDA0003100575780000059
具体公式如下：
Figure BDA00031005757800000510
其中，ψ表示全连接层，Wψ是其对应的参数；
步骤S144，计算损失函数L，本发明输出多模态轨迹，记第k条轨迹为
Figure BDA00031005757800000511
损失函数包含两部分，一部分是多样性损失函数，另一部分是KL散度损失，多样性损失函数为多条轨迹的最小误差，L的具体表达式如下：
Figure BDA0003100575780000061
所述的隐变量预测器可以用高斯随机神经网络、混合高斯随机神经网络和条件变分自编码器的网络，下面分别介绍这两个网络。
1)高斯随机神经网络
高斯随机神经网络如图7所示，网络包含一个先验网络Pθ(Z|X)，θ对应网络的参数。先验网络获取hX，并预测高斯分布N(μp,∑p)。最后，从N(μp,∑p)中采样隐变量h。
2)混合高斯随机神经网络和条件变分自编码器的网络
混合高斯随机神经网络和条件变分自编码器的网络如图8所示，网络包含先验网络1——Rν(Z|X)、先验网络2——Pθ(Z|X)、识别网络——
Figure BDA0003100575780000063
(Z|X,Y)三个子网络，其中ν、θ、
Figure BDA0003100575780000062
分别是三个网络对应的参数。虚线表示在测试阶段使用，实线表示在训练和测试阶段都使用。
在训练阶段，先验网络1获取hX，并预测高斯分布N(μr,∑r)，基于N(μr,∑r)获得隐变量h1。先验网络2获取hX，并预测高斯分布N(μp,∑p)；识别网络获取hX和hY，并预测高斯分布N(μq,∑q)。然后，计算N(μq,∑q)和N(μp,∑p)之间的KL散度，并基于N(μq,∑q)采样隐变量h2。最后，将h1和h2进行拼接，得到h。
在推理阶段，先验网络1获取hX，并预测高斯分布N(μr,∑r)，基于N(μr,∑r)获得隐变量h1。先验网络2获取hX，并预测高斯分布N(μp,∑p)，基于N(μp,∑p)采样隐变量h2。最后，将h1和h2进行拼接，得到h。

Claims (6)

1.一种基于Informer的行人轨迹预测方法，其特征在于：该方法包括以下步骤：
步骤S110，对轨迹序列进行位置编码，并输入Informer-编码器得到特征向量；
步骤S120，隐变量预测器根据特征向量生成隐变量；
步骤S130，根据隐变量生成轨迹关键点，并用轨迹关键点初始化Informer-解码器对应的位置；
步骤S140，对Informer-解码器的初始化序列进行位置编码，再次结合隐变量生成预测轨迹，并计算损失函数。
2.根据权利要求1所述的一种基于Informer的行人轨迹预测方法，其特征在于：在所述步骤S110中，根据模式选择是否输入未来真实轨迹序列，再对轨迹序列进行位置编码，最后送入Informer-编码器得到特征向量；
首先，定义行人的观测轨迹序列和未来真实轨迹序列，具体表达式如下：
Figure FDA0003100575770000011
Figure FDA0003100575770000012
其中，N表示轨迹的总条数，Xi表示第i条观测轨迹，tobs表示观测轨迹持续的时间；Yi表示第i条未来真实轨迹，tpred表示未来轨迹持续的时间；
Figure FDA0003100575770000013
表示轨迹i在t时刻的坐标；
步骤S111，输入观测轨迹序列；
步骤S112，对模式进行判断，若不处在训练阶段，则直接到步骤S114；若处在训练阶段，则跳到步骤S113；
步骤S113，输入未来真实轨迹序列；
步骤S114，对序列进行位置编码；位置编码的公式如下：
Figure FDA0003100575770000014
其中，PE表示被编码的向量，其中t表示坐标在序列中的位置；2k或2k+1表示向量的第2k或2k+1个维度，编码的维度为dmodel；最后，把2维的坐标序列映射到dmodel维度，并和位置编码后的向量PE进行相加，得到嵌入位置信息后的高维向量，具体的公式如下：
Figure FDA0003100575770000015
其中，δ表示多层感知机，Wee是其对应的参数，PE是位置编码后的向量，
Figure FDA0003100575770000016
是嵌入位置信息的高维向量；
步骤S115，Informer-编码器对序列进行编码，得到特征向量；在训练阶段，编码器需要对观测轨迹和未来真实轨迹进行编码，分别输出两个特征向量hX和hY；在推理阶段，未来真实轨迹不可知，所以只对观测轨迹进行编码得到hX，具体的计算过程如下：
Figure FDA0003100575770000017
Figure FDA0003100575770000021
其中，Encoder表示Informer-编码器，Wencoder是其对应的参数。
3.根据权利要求1所述的一种基于Informer的行人轨迹预测方法，其特征在于：在所述步骤S120中，隐变量预测器采用条件变分自编码器网络，网络包含先验网络和识别网络两个子网络；测试阶段只使用先验网络，并基于先验网络得到隐变量；训练阶段同时使用先验网络和识别网络，并基于识别网络得到隐变量；识别网络
Figure FDA0003100575770000022
是后验概率Q(Z|X,Y)的实现，先验网络Pθ(Z|X)是先验概率P(Z|X)的实现，其中
Figure FDA0003100575770000023
θ分别是两个网络对应的参数；
步骤S121，观测轨迹的特征向量hX通过先验网络计算高斯分布的均值μp和方差∑p，得到N(μp,∑p)；
步骤S122，判断当前所处的模式，若不在训练阶段，则直接跳到步骤S126；若在训练阶段，则跳到步骤S123；
步骤S123，输入未来真实轨迹的特征向量hY，并通过识别网络计算高斯分布的均值μq和方差∑q，得到N(μq,∑q)；
步骤S124，计算N(μq,∑q)和和N(μp,∑p)之间的KL散度，让概率P(Z|X)逼近Q(Z|X,Y)，具体计算公式如下：
LKLD＝KLD(N(μq,∑q)||N(μp,∑p))
其中，KLD表示KL散度函数，LKLD表示KL散度损失；
步骤S125，基于识别网络生成的概率分布N(μq,∑q)，采样得到隐变量h；
步骤S126，基于先验网络生成的概率分布N(μp,∑p)，采样得到隐变量h。
4.根据权利要求1所述的一种基于Informer的行人轨迹预测方法，其特征在于：在所述步骤S130中，轨迹关键点选择中间点和终点，即
Figure FDA0003100575770000024
和
Figure FDA0003100575770000025
时刻的坐标，分别记作p1和p2；通过两个多层感知机MLP1和MLP2分别来预测p1和p2，具体的计算公式如下：
p1＝δ(h；W1)
p2＝δ(h；W2)
其中，δ表示多层感知机，h是隐变量，W1和W2是两个网络对应的参数；
Informer-解码器的输入包含开始符号Xtoken和占位符X0两部分，长度分别为
Figure FDA0003100575770000026
和tpred；Xtoken采用Xi在
Figure FDA0003100575770000027
时间内序列来初始化；X0在
Figure FDA0003100575770000028
和tpred位置分别用p1和p2初始化，其余部分用0初始化。
5.根据权利要求1所述的一种行人轨迹预测方法，其特征在于：在所述步骤S140中，对Informer-解码器的初始化序列进行位置编码，将位置编码后的序列输入Informer-解码器并结合隐变量产生特征向量，基于特征向量生成预测轨迹，最后计算损失函数；
步骤S141，对初始化序列进行位置编码，位置编码的方法与步骤S114相同；生成的位置嵌入表示为
Figure FDA0003100575770000031
步骤S142，结合隐变量h和
Figure FDA0003100575770000032
生成特征向量
Figure FDA0003100575770000033
具体计算公式如下：
Figure FDA0003100575770000034
其中，Decoder表示Informer-解码器，Wdecoder是其对应的参数；
步骤S143，将特征向量经过全连接层生成预测轨迹
Figure FDA0003100575770000035
具体公式如下：
Figure FDA0003100575770000036
其中，ψ表示全连接层，Wψ是其对应的参数；
步骤S144，计算损失函数L，输出为多模态轨迹，记第k条轨迹为
Figure FDA0003100575770000037
损失函数包含两部分，一部分是多样性损失函数，另一部分是KL散度损失，多样性损失函数为多条轨迹的最小误差，L的具体表达式如下：
Figure FDA0003100575770000038
6.根据权利要求1所述的一种基于Informer的行人轨迹预测方法，其特征在于：所述的隐变量预测器可以用高斯随机神经网络、混合高斯随机神经网络和条件变分自编码器的网络。
CN202110624799.1A 2021-06-04 2021-06-04 一种基于Informer的行人轨迹预测方法 Active CN113269115B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624799.1A CN113269115B (zh) 2021-06-04 2021-06-04 一种基于Informer的行人轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624799.1A CN113269115B (zh) 2021-06-04 2021-06-04 一种基于Informer的行人轨迹预测方法

Publications (2)

Publication Number Publication Date
CN113269115A true CN113269115A (zh) 2021-08-17
CN113269115B CN113269115B (zh) 2024-02-09

Family

ID=77234218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624799.1A Active CN113269115B (zh) 2021-06-04 2021-06-04 一种基于Informer的行人轨迹预测方法

Country Status (1)

Country Link
CN (1) CN113269115B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780124A (zh) * 2021-08-30 2021-12-10 五邑大学 一种基于Transformer的人脸美丽预测方法、装置及存储介质
CN113870319A (zh) * 2021-12-03 2021-12-31 宁波大学 基于图卷积特征编解码的轨迹预测系统及方法
CN113902776A (zh) * 2021-10-27 2022-01-07 北京易航远智科技有限公司 目标行人轨迹预测方法、装置、电子设备及存储介质
CN114067371A (zh) * 2022-01-18 2022-02-18 之江实验室 一种跨模态行人轨迹生成式预测框架、方法和装置
CN114580798A (zh) * 2022-05-09 2022-06-03 南京安元科技有限公司 一种基于transformer的设备点位预测方法及系统
CN114613004A (zh) * 2022-02-28 2022-06-10 电子科技大学 一种人体动作的轻量化在线检测方法
CN114757975A (zh) * 2022-04-29 2022-07-15 华南理工大学 基于transformer与图卷积网络的行人轨迹预测方法
CN114898550A (zh) * 2022-03-16 2022-08-12 清华大学 一种行人轨迹预测方法和系统
CN115081752A (zh) * 2022-08-11 2022-09-20 浙江君同智能科技有限责任公司 黑灰产众包流量预测装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100031093A1 (en) * 2008-01-29 2010-02-04 Inventec Corporation Internal tracing method for network attack detection
US20140372132A1 (en) * 2013-06-13 2014-12-18 David Bensoussan Electronic device and system for receiving details of sequence numbers in queues as they occur in one or more health centres, transmitted by radio data system
CN111027461A (zh) * 2019-12-06 2020-04-17 长安大学 基于多维单步lstm网络的车辆轨迹预测方法
CN112634328A (zh) * 2020-12-24 2021-04-09 电子科技大学长三角研究院(衢州) 基于自定中心星状图和注意力机制预测行人轨迹的方法
CN112766561A (zh) * 2021-01-15 2021-05-07 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100031093A1 (en) * 2008-01-29 2010-02-04 Inventec Corporation Internal tracing method for network attack detection
US20140372132A1 (en) * 2013-06-13 2014-12-18 David Bensoussan Electronic device and system for receiving details of sequence numbers in queues as they occur in one or more health centres, transmitted by radio data system
CN111027461A (zh) * 2019-12-06 2020-04-17 长安大学 基于多维单步lstm网络的车辆轨迹预测方法
CN112634328A (zh) * 2020-12-24 2021-04-09 电子科技大学长三角研究院(衢州) 基于自定中心星状图和注意力机制预测行人轨迹的方法
CN112766561A (zh) * 2021-01-15 2021-05-07 东南大学 一种基于注意力机制的生成式对抗轨迹预测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AGRIM GUPTA ET AL.: "social gan:socially acceptable trajectories with generative adversarial networks", ARXIV *
ALEXANDRE ALAHI ET AL.: "social LSTM:human trajectory prediction in crowded spaces", CVPR *
FRANCESCO GIULIARI ET AL.: "Transformer networks for trajectory forecasting", ARXIV *
HAOYI ZHOU ET AL.: "Informer：Beyond efficient transformer for long sequence time-series forcasting", ARXIV *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780124A (zh) * 2021-08-30 2021-12-10 五邑大学 一种基于Transformer的人脸美丽预测方法、装置及存储介质
CN113780124B (zh) * 2021-08-30 2024-02-20 五邑大学 一种基于Transformer的人脸美丽预测方法、装置及存储介质
CN113902776A (zh) * 2021-10-27 2022-01-07 北京易航远智科技有限公司 目标行人轨迹预测方法、装置、电子设备及存储介质
CN113870319A (zh) * 2021-12-03 2021-12-31 宁波大学 基于图卷积特征编解码的轨迹预测系统及方法
CN113870319B (zh) * 2021-12-03 2022-03-08 宁波大学 基于图卷积特征编解码的轨迹预测系统及方法
CN114067371B (zh) * 2022-01-18 2022-09-13 之江实验室 一种跨模态行人轨迹生成式预测框架、方法和装置
CN114067371A (zh) * 2022-01-18 2022-02-18 之江实验室 一种跨模态行人轨迹生成式预测框架、方法和装置
CN114613004A (zh) * 2022-02-28 2022-06-10 电子科技大学 一种人体动作的轻量化在线检测方法
CN114898550A (zh) * 2022-03-16 2022-08-12 清华大学 一种行人轨迹预测方法和系统
CN114898550B (zh) * 2022-03-16 2024-03-19 清华大学 一种行人轨迹预测方法和系统
CN114757975A (zh) * 2022-04-29 2022-07-15 华南理工大学 基于transformer与图卷积网络的行人轨迹预测方法
CN114757975B (zh) * 2022-04-29 2024-04-16 华南理工大学 基于transformer与图卷积网络的行人轨迹预测方法
CN114580798A (zh) * 2022-05-09 2022-06-03 南京安元科技有限公司 一种基于transformer的设备点位预测方法及系统
CN114580798B (zh) * 2022-05-09 2022-09-16 南京安元科技有限公司 一种基于transformer的设备点位预测方法及系统
CN115081752A (zh) * 2022-08-11 2022-09-20 浙江君同智能科技有限责任公司 黑灰产众包流量预测装置及方法

Also Published As

Publication number Publication date
CN113269115B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN113269115B (zh) 一种基于Informer的行人轨迹预测方法
CN113269114B (zh) 一种基于多隐变量预测器及关键点的行人轨迹预测方法
Abu Farha et al. When will you do what?-anticipating temporal occurrences of activities
Xu et al. G-tad: Sub-graph localization for temporal action detection
Shou et al. Online detection of action start in untrimmed, streaming videos
US20200013190A1 (en) Apparatus and method for recognizing object in image
Zhang et al. S3d: single shot multi-span detector via fully 3d convolutional networks
Gao et al. Dual transformer based prediction for lane change intentions and trajectories in mixed traffic environment
CN112949597B (zh) 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法
Biktairov et al. Prank: motion prediction based on ranking
CN114898550B (zh) 一种行人轨迹预测方法和系统
Upadhyay et al. Transformer based reinforcement learning for games
Xu et al. Prediction-cgan: Human action prediction with conditional generative adversarial networks
CN113822368A (zh) 一种基于无锚的增量式目标检测方法
Lu et al. Kemp: Keyframe-based hierarchical end-to-end deep model for long-term trajectory prediction
Keysan et al. Can you text what is happening? integrating pre-trained language encoders into trajectory prediction models for autonomous driving
Pellegrini et al. Adapting a ConvNeXt model to audio classification on AudioSet
CN113239629A (zh) 一种轨迹空间行列式点过程的强化学习探索和利用的方法
CN112733908A (zh) 一种高精度的车辆轨迹多模态预测方法
Ahmed et al. Aircraft tracking in aerial videos based on fused RetinaNet and low‐score detection classification
Min et al. Driveworld: 4d pre-trained scene understanding via world models for autonomous driving
Lee et al. Few-Shot Bioacoustic Detectio n Boosting with Fine Tuning Strategy Using Negative Based Prototypical Learning
Xu et al. Self-supervised relation alignment for scene graph generation
Wang et al. Video-level multi-model fusion for action recognition
Chowdhury et al. An efficient Deep Spatio-Temporal Context Aware decision Network (DST-CAN) for Predictive Manoeuvre Planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant