CN112634328B - 基于自定中心星状图和注意力机制预测行人轨迹的方法 - Google Patents

基于自定中心星状图和注意力机制预测行人轨迹的方法 Download PDF

Info

Publication number
CN112634328B
CN112634328B CN202011551018.2A CN202011551018A CN112634328B CN 112634328 B CN112634328 B CN 112634328B CN 202011551018 A CN202011551018 A CN 202011551018A CN 112634328 B CN112634328 B CN 112634328B
Authority
CN
China
Prior art keywords
pedestrian
attention
target pedestrian
self
centering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011551018.2A
Other languages
English (en)
Other versions
CN112634328A (zh
Inventor
陈旭
苏涵
刘顺程
郑凯
曾凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangtze River Delta Research Institute of UESTC Huzhou
Original Assignee
Yangtze River Delta Research Institute of UESTC Huzhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangtze River Delta Research Institute of UESTC Huzhou filed Critical Yangtze River Delta Research Institute of UESTC Huzhou
Priority to CN202011551018.2A priority Critical patent/CN112634328B/zh
Publication of CN112634328A publication Critical patent/CN112634328A/zh
Application granted granted Critical
Publication of CN112634328B publication Critical patent/CN112634328B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于自定中心星状图和注意力机制预测行人轨迹的方法，首先，目标行人及其邻近行人的历史轨迹分别由时间和空间编码器进行编码；然后将隐藏状态输入到注意力机制中，以模拟目标行人的注意力；最后，注意力权重的加和通过自定中心星状图解码器传递，一次输出一个预测位置；同时，相邻的隐藏状态将在星状图中连续解码，从而连续计算目标行人每个未来时刻的注意力。本发明利用自定中心星状图和多头注意力机制，并结合到时空编码信息中，很好地解决了现有技术预测行人轨迹精确度低及需要花费较多计算能力的问题。

Description

基于自定中心星状图和注意力机制预测行人轨迹的方法
技术领域
本发明涉及行人轨迹预测技术领域，具体涉及的是一种基于自定中心星状图和注意力机制预测行人轨迹的方法。
背景技术
在行人轨迹预测问题中，因为行人的行走方式往往受到多种因素的影响，例如：在不拥挤的道路里往往基于自己的行走习惯行走，而在拥挤的道路里则因为受到其他行人或静态障碍物的影响会改变行走方式。因此，如何让机器学习行人的历史轨迹，并且从行人与环境的交互中提取特征进而预测行人走路的轨迹成为了一个难题。
目前，预测行走轨迹的方式可以分为四类，分别为：基于规则的方法、基于网格的方法、基于注意力的方法和基于时空图的方法。
基于规则的方法：Social Force是一种基于规则的方法来预测行人轨迹。它将行人之间的交互归结为两种作用力：吸引力和排斥力。基于两个行人的一些基本信息来计算这两种力，进而预测出行人轨迹。但是这种方法很难考虑周全所有的情况。同时，这种方法也不具有延展性，当数据集有较大变化(例如环境发生较大的变化)时，它很难做出精确的预测，因此无法很好地推广到现代数据集。
基于网格的方法：Social LSTM是一项开拓性的工作，它使用RNN模型进行预测，并且还利用基于网格的池化层来聚合多个交互。它还有很多类似的工作，例如卷积池化层和Social GAN。但是，基于网格的测量效率不高。它为了包含下道路上所有的行人，需要建立巨大的网格。而很多时候网格是非常稀疏的，稀疏的网格占用了大量的存储空间，因此需要大量的计算能力并需要遍历网格才能实现测量。另外，这种方法将行人的影响按照相同的权重结合，易造成周围行人的影响因子相似，导致难以对行人的交互作出准确的衡量。
基于注意力的方法：为解决不同行人或障碍物重要性不一样的问题，Sophie在模型中加入了global attention。但是，global attention忽略了对自己历史轨迹的注意力以及其他行人的多重潜在信息。换句话说，他对其他行人的学习不够充分。
基于时空图的方法：SAPTP使用基于时空图的方法来关联时间和空间信息并获得了不错的结果。尽管如此，他们还是使用完全图来模拟人与人之间的交互，完全图连接所有人之间的交互，这将花费多余的计算能力。
发明内容
本发明的目的在于提供一种基于自定中心星状图和注意力机制预测行人轨迹的方法，主要解决现有技术存在预测的行人轨迹精确度低及需要花费较多计算能力的问题。
为实现上述目的，本发明采用的技术方案如下：
基于自定中心星状图和注意力机制预测行人轨迹的方法，包括以下步骤：
(1)将目标行人的历史轨迹作为时间信息进行编码，同时将目标行人周围的行人轨迹作为空间信息进行编码；
(2)计算目标行人对周围每一个行人编码后的向量的注意力权重，并将这些注意力权重进行加和；
(3)利用中心星状图对注意力权重的加和进行解码，生成目标行人的预测位置并输出；
(4)将前面计算的注意力权重作为隐藏特征，继续按步骤(2)的方式计算目标行人对周围每一个行人编码后的向量的注意力权重，并将所有的注意力权重进行加和；
(5)利用中心星状图对步骤(4)获得的注意力权重的加和进行解码，生成目标行人的下一预测位置并输出；
(6)循环步骤(4)、(5)。
具体地所述步骤(2)中，计算注意力权重的方法如下：
(a)将编码后的时间信息分别嵌入到查询向量，关键词向量和价值向量中，同时，将编码后的空间信息分别嵌入到关键词向量和价值向量中；
(b)将嵌入的时间信息和空间信息做内积并通过分类激活函数得到注意力权重。
具体地，所述步骤(3)中，中心星状图的建立方式如下：
(a)将目标行人及其周围行人加到顶点集V中，顶点集中包含顶点Vk、V1、V2、V3……Vi，其中，Vk表示目标行人的顶点，V1、V2、V3……Vi表示目标行人周围的行人的顶点，共有i个与目标行人邻近的行人；
(b)将Vk到Vi以无向边相连，并用边e(k，i)表示，完成一个平面自定中心星图；边e(k，i)代表从目标行人到周围行人的注意力；
(c)重复步骤(a)、(b)，重复次数为(t-1)次，得到一个包含有t帧相邻图像的三维自中心星图；t为常数，代表想预测目标行人轨迹的帧数(也就是这个平面图随着时间叠加，例如，在观测4帧目标行人的历史轨迹后，预测接下来的6帧)；
(d)在相邻的两帧图像之间添加从Vi到Vi和从Vk到Vk的无向边，并分别用边e(i，i)和边e(k，k)表示，即得中心星状图；其中，边e(k，k)代表时间信息的传播，边e(i，i)代表空间信息的传播。
进一步地，边e(k，k)与边e(i，i)均用LSTM传递信息。
与现有技术相比，本发明具有以下有益效果：
针对现有的几种预测模型，挑战主要来自两个因素：a、如何提取代表行人交互的特征是一项艰巨的任务。以图1为例，目标行人k改变了行进路线，主要是因为他希望躲避行人1，而他受到行人3的影响较小，这表明他受到其他人的影响，这些人不仅与他距离近，而且在冲突的方向，相对的相对速度等方面也都受到影响。所有潜在的因素都可能在社交互动中产生影响。此外，应该同时考虑多种外部影响，包括动态和静态交互。最近的研究尚未考虑多种情况下的行为交互。b、如何同时结合时空信息也是一个关键问题。轨迹预测可以看作是二维序列生成问题。因此，行人位置的时间顺序至关重要，先前的工作仅考虑解码器的时间特征，这不足以生成未来的序列。而本发明通过设置多头注意力来模拟行人的注意力，可以从社交互动中提取不同水平的潜在特征。如此一来，通过更全面的特征表示，本发明可以找到行人做出的最可能的决策。
此外，本发明基于多头注意力机制的基础上，还提出了以自我为中心的星形图，以同时捕获时间和空间特征，它仅考虑目标行人与附近人员的互动，因此可以加快训练速度。空间信息的学习不与时间信息的学习共享参数，而是在相邻行人之间共享参数，这样在模型中也减少了参数的学习，增加了周围行人之间的联动性，从而实现了时空信息的有效结合。
本发明模型在基准数据集上实现了最新的准确性和收敛效率。大量的实验结果表明，与现有技术相比，本发明中，平均位移误差的性能提高了38％，最终位移误差的性能提高了19％。
因此，相比现有技术来说，本发明不仅能预测更加接近真实的行人轨迹，而且计算量更少、效率更高。本发明很好地突破了现有技术的限制，将行人轨迹预测提升到了新的高度。
附图说明
图1为本发明-实施例中目标行人k的注意力示意图。
图2为本发明-实施例所采用的模型结构图。
图3为本发明-实施例所采用的注意力机制示意图。
图4为本发明-实施例所采用的自定星状图解码器示意图。
图5为本发明-实施例的流程示意图。
具体实施方式
下面结合附图说明和实施例对本发明作进一步说明，本发明的方式包括但不仅限于以下实施例。
实施例
本实施例提供了一种结合了自定中心星状图和注意力机制的行人轨迹预测方案，可使行人的轨迹预测尽可能精确到真实的行人轨迹。本实施例方案采用的模型结构如图2所示，其包含三个组件，即：(1)空间和时间编码器；(2)多头注意力机制；(3)自定星状图解码器。
下面分别阐述三个组件的功能：
(1)空间和时间编码器：行人位置描述基于笛卡尔坐标，因此场景中的轨迹可以通过图1表示。历史轨迹由实线表示，虚线表示未来轨迹。目标行人k的历史轨迹包含时间信息，其他行人的历史轨迹被视为空间信息。长短期存储网络(LSTM)在序列存储和编码方面有非常好的表现。对于此特定问题，将时间信息和空间信息分别编码。在空间和时间编码器中，本实施例方案将目标行人的历史轨迹作为时间信息进行编码，同时将目标行人周围的行人轨迹作为空间信息进行编码，并且空间信息的学习不与时间信息的学习共享参数，而是在周围的行人之间共享参数。
(2)多头注意力机制：在本实施例方案中，多头注意力被用来模仿要预测的人对附近人的注意力。因此，目标行人附近的不同行人将通过唯一的权重进行测量。多头注意力可以模拟来自多种潜在推理的注意力，可以大幅增强模型的鲁棒性。
在注意力机制中，如图3所示，方案将计算目标行人对周围每一个行人编码后的向量的注意力权重，具体为：将时间信息嵌入到三个向量中，即查询向量Q，关键词向量K和价值向量V，同时将空间信息嵌入到两个向量关键词向量K和价值向量V。嵌入的时间信息和空间信息将做内积并通过分类激活函数得到注意力权重。
最后，将这些注意力权重进行加和。需要说明的是，这种注意力将会计算多次，每一次的注意力层作为一个模型学习到的隐藏特征。因此，模型能更完备的学习到行人的交互。
(3)自定星状图解码器：为了更好的将时间与空间的信息结合，本实施例方案中，先建立星状时空图，再以其对注意力权重的加和进行解码，星状时空图的建立方式如下：
(a)将目标行人k及其周围的行人i加到顶点集V。例如图1中的示例，开始时有五个顶点Vk、V1、V2、V3、V4。然后将从Vk到Vi以无向边相连，用e(k，i)表示，就完成了一个平面自定中心星图；
(b)重复步骤(a)4次(如图4所示)，可以得到一个三维自中心星图。
(c)在每个帧t到t+1分别添加从Vi到Vi和从Vk到Vk的无向边，分别用e(i，i)和e(k，k)表示。这就是图1中的示例变为图4拓扑结构的方式。
边e(k，k)表示时间信息的传播，边e(i，i)表示空间信息的传播，这两个边都用LSTM传递信息。边e(k，i)代表从行人k到行人i的注意力(用多头注意力机制计算)。
最后，在每帧t处，边e(k，i)代表从行人k到行人i的注意力，目标行人每个时刻的隐藏状态将与三个向量结合输出的矩阵Wo相乘，从而生成目标行人的预测位置(一次输出一个预测位置)。
总结起来，本实施例方案的实现流程概括如下(如图5所示)：
(1)将目标行人的历史轨迹作为时间信息进行编码，同时将目标行人周围的行人轨迹作为空间信息进行编码；
(2)计算目标行人对周围每一个行人编码后的向量的注意力权重，并将这些注意力权重进行加和；
(3)利用中心星状图对注意力权重的加和进行解码，生成目标行人的预测位置并输出；
(4)将前面计算的注意力权重作为隐藏特征，继续按步骤(2)的方式计算目标行人对周围每一个行人编码后的向量的注意力权重，并将所有的注意力权重进行加和；
(5)利用中心星状图对步骤(4)获得的注意力权重的加和进行解码，生成目标行人的下一预测位置并输出；
(6)循环步骤(4)、(5)。
本发明创新点总结如下：
1、设计了自定中心星状图，旨在同时捕获时空特征。在星状图中产生的计算量更少。相比采用完全图的方式来说，它加速了模型迭代速度并且没有牺牲模型的准确率，从而可以在更短的时间内产生准确的结果。并且在这之中，空间信息的学习不与时间信息的学习共享参数，而是在相邻行人之间共享参数，因为相邻行人一起代表目标行人的背景信息。如此一来，在模型中也减少了参数的学习，增加了周围行人之间的联动性。
2、提出了利用多头注意力机制来模拟行人的真实注意力，这种注意力模拟机制能自动提取隐藏的特征。实践表明，本发明的方案模型是行之有效的，尽可能多地重构了现实生活中的复杂情况和社会规范。注意机制在本发明的方案模型中起着重要作用，不同的注意机制具有不同的性能。而本发明方案采用的多头注意力之所以有效，一个重要的原因是多头注意力机制可以关注周围行人的微妙线索，而其他的注意力机制都只能关注部分信息，从而导致某些重要信息的疏忽。
综上，本发明利用自定中心星状图和多头注意力机制，并结合到时空编码信息中，很好地解决了现有技术预测行人轨迹精确度低及需要花费较多计算能力的问题。因此，与现有技术相比，本发明具有突出的实质性特点和显著的进步。
上述实施例仅为本发明的优选实施方式之一，不应当用于限制本发明的保护范围，凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。

Claims (3)

1.基于自定中心星状图和注意力机制预测行人轨迹的方法，其特征在于，包括以下步骤：
（1）将目标行人的历史轨迹作为时间信息进行编码，同时将目标行人周围的行人轨迹作为空间信息进行编码；
（2）计算目标行人对周围每一个行人编码后的向量的注意力权重，并将这些注意力权重进行加和；
（3）利用中心星状图对注意力权重的加和进行解码，生成目标行人的预测位置并输出；所述中心星状图的建立方式如下：
（a）将目标行人及其周围行人加到顶点集V中，顶点集中包含顶点Vk、V1、V2、V3……Vi，其中，Vk表示目标行人的顶点，V1、V2、V3……Vi表示目标行人周围的行人的顶点，共有i个与目标行人邻近的行人；
（b）将Vk到V i以无向边相连，并用边e（k，i）表示，完成一个平面自定中心星图；边e（k，i）代表从目标行人到周围行人的注意力；
（c）重复步骤（a）、（b），重复次数为（t-1）次，得到一个包含有t帧相邻图像的三维自中心星图；t为常数，代表想预测目标行人轨迹的帧数；
（d）在相邻的两帧图像之间添加从Vi到Vi和从Vk到Vk的无向边，并分别用边e（i，i）和边e（k，k）表示，即得中心星状图；其中，边e（k，k）代表时间信息的传播，边e（i，i）代表空间信息的传播；
（4）将前面计算的注意力权重作为隐藏特征，继续按步骤（2）的方式计算目标行人对周围每一个行人编码后的向量的注意力权重，并将所有的注意力权重进行加和；
（5）利用中心星状图对步骤（4）获得的注意力权重的加和进行解码，生成目标行人的下一预测位置并输出；
（6）循环步骤（4）、（5）。
2. 根据权利要求1所述的基于自定中心星状图和注意力机制预测行人轨迹的方法，其特征在于， 所述步骤（2）中，计算注意力权重的方法如下：
（a）将编码后的时间信息分别嵌入到查询向量，关键词向量和价值向量中，同时，将编码后的空间信息分别嵌入到关键词向量和价值向量中；
（b）将嵌入的时间信息和空间信息做内积并通过分类激活函数得到注意力权重。
3.根据权利要求2所述的基于自定中心星状图和注意力机制预测行人轨迹的方法，其特征在于，边e（k，k）与边e（i，i）均用LSTM传递信息。
CN202011551018.2A 2020-12-24 2020-12-24 基于自定中心星状图和注意力机制预测行人轨迹的方法 Active CN112634328B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551018.2A CN112634328B (zh) 2020-12-24 2020-12-24 基于自定中心星状图和注意力机制预测行人轨迹的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011551018.2A CN112634328B (zh) 2020-12-24 2020-12-24 基于自定中心星状图和注意力机制预测行人轨迹的方法

Publications (2)

Publication Number Publication Date
CN112634328A CN112634328A (zh) 2021-04-09
CN112634328B true CN112634328B (zh) 2022-11-08

Family

ID=75324473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011551018.2A Active CN112634328B (zh) 2020-12-24 2020-12-24 基于自定中心星状图和注意力机制预测行人轨迹的方法

Country Status (1)

Country Link
CN (1) CN112634328B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113269115B (zh) * 2021-06-04 2024-02-09 北京易航远智科技有限公司 一种基于Informer的行人轨迹预测方法
CN113548007A (zh) * 2021-07-08 2021-10-26 的卢技术有限公司 机动车保护行人的方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340000A (zh) * 2017-07-18 2017-11-10 电子科技大学 一种从历史轨迹中提取运动特征的方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN111488984A (zh) * 2020-04-03 2020-08-04 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法
CN111597961A (zh) * 2020-05-13 2020-08-28 中国科学院自动化研究所 面向智能驾驶的移动目标轨迹预测方法、系统、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200324794A1 (en) * 2020-06-25 2020-10-15 Intel Corporation Technology to apply driving norms for automated vehicle behavior prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340000A (zh) * 2017-07-18 2017-11-10 电子科技大学 一种从历史轨迹中提取运动特征的方法
CN110147892A (zh) * 2019-02-20 2019-08-20 电子科技大学 基于变分轨迹上下文感知的人类移动模式推测模型、训练方法及推测方法
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN111488984A (zh) * 2020-04-03 2020-08-04 中国科学院计算技术研究所 一种用于训练轨迹预测模型的方法和轨迹预测方法
CN111597961A (zh) * 2020-05-13 2020-08-28 中国科学院自动化研究所 面向智能驾驶的移动目标轨迹预测方法、系统、装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Spatio-Temporal Graph Transformer Networks for Pedestrian Trajectory Prediction";Cunjun Yu, et al.;《arXiv:2005.08514v2 [cs.CV]》;20200724;第1-19页 *

Also Published As

Publication number Publication date
CN112634328A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
CN110781838B (zh) 一种复杂场景下行人的多模态轨迹预测方法
Xu et al. Encoding crowd interaction with deep neural network for pedestrian trajectory prediction
Krantz et al. Waypoint models for instruction-guided navigation in continuous environments
Gao et al. LFT-Net: Local feature transformer network for point clouds analysis
WO2019219969A1 (en) Graph neural network systems for behavior prediction and reinforcement learning in multple agent environments
CN112634328B (zh) 基于自定中心星状图和注意力机制预测行人轨迹的方法
Zhong et al. Density-based evolutionary framework for crowd model calibration
Tseng et al. Fractal image compression using visual-based particle swarm optimization
CN112272831A (zh) 包括用于生成环境中的实体之间的数据编码关系的关系网络的强化学习系统
CN110737968A (zh) 基于深层次卷积长短记忆网络的人群轨迹预测方法及系统
CN113362367B (zh) 一种基于多精度交互的人群轨迹预测方法
Yau et al. Graph-sim: A graph-based spatiotemporal interaction modelling for pedestrian action prediction
CN111738447B (zh) 基于时空关系学习的移动社交网络用户关系推断方法
Chen et al. Pedestrian behavior prediction model with a convolutional LSTM encoder–decoder
Oh et al. Hcnaf: Hyper-conditioned neural autoregressive flow and its application for probabilistic occupancy map forecasting
CN117077727A (zh) 基于时空注意力机制和神经常微分方程的轨迹预测方法
CN113688765A (zh) 一种基于注意力机制的自适应图卷积网络的动作识别方法
CN113515131B (zh) 基于条件变分自动编码器的移动机器人避障方法及系统
Bi et al. A deep learning-based framework for intersectional traffic simulation and editing
Boulton et al. Motion prediction using trajectory sets and self-driving domain knowledge
Zernetsch et al. A holistic view on probabilistic trajectory forecasting–case study. cyclist intention detection
Liu et al. Social graph transformer networks for pedestrian trajectory prediction in complex social scenarios
Gupta et al. Registration and partitioning-based compression of 3-D dynamic data
CN117314956A (zh) 一种基于图神经网络的交互行人轨迹预测方法
CN115527272A (zh) 一种行人轨迹预测模型的构建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant