CN116071728A - 基于transformer和姿态估计的行人轨迹预测方法及存储介质 - Google Patents

基于transformer和姿态估计的行人轨迹预测方法及存储介质 Download PDF

Info

Publication number
CN116071728A
CN116071728A CN202211708913.XA CN202211708913A CN116071728A CN 116071728 A CN116071728 A CN 116071728A CN 202211708913 A CN202211708913 A CN 202211708913A CN 116071728 A CN116071728 A CN 116071728A
Authority
CN
China
Prior art keywords
pedestrian
information
transducer
road
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211708913.XA
Other languages
English (en)
Inventor
高洪波
廖晏祯
朱菊萍
苏慧萍
沈达
谢岳松
姚卯青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Weilai Automobile Technology Anhui Co Ltd
Original Assignee
University of Science and Technology of China USTC
Weilai Automobile Technology Anhui Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC, Weilai Automobile Technology Anhui Co Ltd filed Critical University of Science and Technology of China USTC
Priority to CN202211708913.XA priority Critical patent/CN116071728A/zh
Publication of CN116071728A publication Critical patent/CN116071728A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于transformer和姿态估计的行人轨迹预测方法及存储介质，属于智能驾驶领域；包括以下步骤：步骤1：针对智能驾驶车辆当前所处环境，使用摄像头和雷达采集车辆相关数据，并构建高精地图；步骤2：基于采集的数据，对道路使用者的行为及其之间交互、道路环境信息、行人姿态信息进行建模；步骤3：针对姿态信息，也将其融合进模型，并编码为向量；步骤4：结合行人姿态识别结果，基于注意力机制和多层感知器，实现目标行人的轨迹预测。本发明可有效地提高了智能驾驶车辆对周围行人行为识别与轨迹预测的准确性，增强了智能驾驶车辆行驶的高效性与安全性。

Description

基于transformer和姿态估计的行人轨迹预测方法及存储介质
技术领域
本发明涉及智能驾驶领域，尤其涉及一种基于transformer和姿态估计的行人轨迹预测方法及存储介质。
背景技术
对于智能驾驶车辆而言，安全问题摆在首位。为了提早发现道路上存在的危险，自动驾驶汽车不仅需要探测周车物体的当前位置，还要对它们将来的位置做预测。在所有的这些物体中，行人是重要且困难的一类。其难点主要来自于行人外观的多样性以及行人运动模式的高度不确定性。
行人自身具有不同的运动姿态，运动姿态能够对其将来行为又一个很好的指示性作用。因此对行人的姿态进行识别与分类对于行人轨迹预测具有相当大的作用。
发明内容
本发明的目的在于克服现有技术存在的不足或缺陷，以便于在复杂路口，考虑行人交互的实际情况，基于对行人姿态信息的理解，设计基于transformer和姿态估计的行人轨迹预测方法，从而提高自动驾驶车辆行驶的安全性与高效性。
为实现上述目的，本发明提供了一种基于transformer和姿态估计的行人轨迹预测方法，包括如下步骤：
步骤1：针对智能驾驶车辆当前所处环境，使用摄像头和雷达采集车辆相关数据，并构建高精地图；
步骤2：基于采集的数据集，对道路使用者的行为及其之间交互、道路环境信息、行人姿态信息进行建模；
步骤3：针对姿态信息，也将其融合进模型，并编码为向量组；
步骤4：结合行人姿态识别结果，基于注意力机制和多层感知器，实现目标行人的轨迹预测。
进一步的，所述步骤2包括：
将道路使用者的行为及其之间交互、道路环境信息等通过向量表示；
其中，道路使用者，包括行人、车辆、骑行人等。道路环境信息，包括车道线位置、车道箭头模式、斑马线位置等。
进一步的，所述步骤3对姿态信息进行建模，包括：
通过测量手腕与手肘之间、脚腕与膝盖之间和身体前倾的角度等，对行人当前姿态模式进行分类，分为等待、加速通过和保持。
进一步的，所述步骤4实现目标行人的轨迹预测，包括：
采用注意力机制和多层感知器对目标行人进行长时域多模态轨迹预测，列出所有可能的预测轨迹并选择出可能性最大的未来预测轨迹。
本发明以道路行人为研究对象，考虑行人交互的实际情况，基于对行人姿态信息的理解，对自动驾驶车辆周围(目标)行人进行长时域多模态轨迹预测。
与现有技术相比，本发明存在以下技术效果：
1)本发明基于transformer架构提出了一种行人轨迹预测模型，encoder压缩信息，采用注意力机制融合信息，decoder提取信息，三者互为补充，提高了数据的利用率以及轨迹预测的准确性。
2)本发明利用姿态信息，可以作为历史轨迹信息的补充，提高轨迹预测的准确性。
附图说明
下面结合附图，对本发明的具体实施方式进行详细描述：
图1是一种基于transformer和姿态估计的行人轨迹预测方法的流程示意图；
图2是多模态数据编码的流程示意图；
图3是行人姿态的识别位点；
图4是图注意力网络示例图。
具体实施方式
为了更进一步说明本发明的特征，请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用，并非用来对本发明的保护范围加以限制。
如图1所示，本实施例公开了一种基于transformer和姿态估计的行人轨迹预测方法，包括如下步骤S1～S4：
S1、针对智能驾驶车辆当前所处环境，使用摄像头和雷达采集车辆相关数据，并构建高精地图；
S2、基于采集的数据集，对道路使用者的行为及其之间交互、道路环境信息；
S3、针对行人姿态信息，也将其融合进模型，并编码为向量组；
S4、结合行人姿态识别结果，基于注意力机制和多层感知器，实现目标行人的轨迹预测。
具体的，所述步骤S1，包括：
采集智能驾驶车辆所处环境的相关数据，建立数据集。由于实际因素限制，本发明采用智能驾驶领域的开源数据集，如Waymo数据集、KITTI数据集、NuScenes数据集等。
所述步骤S2对不同模态数据进行建模，如图2所示，包括：
将道路使用者的行为及其之间交互、道路环境信息等通过向量表示。
其中，道路使用者，包括行人、车辆、骑行人等。道路环境信息，包括车道线位置、车道箭头模式、斑马线位置等。
针对不同模态的数据使用不同的编码器。具体包括以下步骤S21～S23：
S21、target agent data：取固定数量的历史帧信息，一般基于过去十帧或三十帧，信息包括agent位置、速度、3D边界框、方向角和agent类型。以当前agent为中心的坐标系，因此agent位于原点，朝向东。
S22、other agent data对每个agent建模时，考虑所有邻近的agent。基于当前agent的坐标系提取每个相邻的智能体特征，如相对方向、距离、历史和速度。
以上两组数据，编码器可以如下设置：
由于数据包含时序信息，因此需要先对每一帧的id进行编码，这里可以采用one-hot编码。以速度为例，对每一帧的当前速度v，计算与上一帧速度的差值dv，将速度序列与速度差值序列分别输入到两组LSTM网络中(由于每n帧只能获取n-1条差值，因此速度序列和速度差值序列的长度不同，LSTM网络的输入大小也不同；此外，隐藏层通常设置为64或128)，将两组输出后的结果与帧id编码进行拼接可以获得速度的编码结果。其他数据例如位置，方向角等同理。
cv＝LSTM(v0,v1，....，vt)    (1)
cdv＝LSTM(dvo，dv1，....，dvt-1)    (2)
ovi＝Onehot(fi)，i＝0…t   (3)
Ev＝cv||cdv||ovi   (4)
其中||表示拼接运算，LSTM为一种循环神经网络，Onehot表示将各帧id：f0,f1，....，ft等编码。最后将结果拼接可以得到速度的最终表示Ev。
S23、roadgraph data：通常以参数化曲线表示车道线、人行横道和停止线等道路网络元素。如果是采样等方式获取的数据，那么保存的形式应为多维数组格式存储的点集。可以进一步总结这些信息，将每个道路元素的点序列近似为一组折线。
上述道路图数据，编码器可以如下设置：
由于道路元素通常不具备时序信息，通常取三层网络的MLP即可进行编码，同样的，每层网络的隐藏层大小设置为64或128效果较优。为了简化计算，可以适当对远处的道路元素忽略，如，取在对每个agent进行推理时，只考虑其最近的64个道路元素。
Er＝MLP(r0,r1，....，r64)   (5)
其中MLP为一种全连接神经网络，邻近的道路元素的最终表示为Ev。
综上，所述步骤S2得到了末尾嵌入了位置信息的道路使用者的历史轨迹及其之间交互的编码，还得到了道路环境信息的编码。
优选地，所述步骤S3对姿态信息进行建模，包括：
通过测量手腕与手肘之间、脚腕与膝盖之间和身体前倾的角度等，对行人当前姿态模式进行分类，分为等待、加速通过和保持。具体包括以下步骤S31～S34：
S31、分别手腕与手肘之间α67、脚腕与膝盖之间α90和身体前倾的角度00，得到三列数据。
S32、将有标签数据利用xgboost或神经网络进行训练，一般地，一万条数据以下不需要神经网络进行训练。
S33、获得预测器：输入三个角度，可以判断行人当前所处姿态，分为等待、加速通过和保持。
S34、将姿态识别结果作为多模态信息之一输入到注意力模型内，提高预测精度。
优选地，所述步骤S4实现目标行人的轨迹预测，如图3所示，包括：
采用注意力机制和多层感知器对目标行人进行长时域多模态轨迹预测。可以利用当前最流行的高斯混合模型(GMM)参数化表示轨迹。列出所有可能的预测轨迹并选择出未来可能性最大的预测轨迹。具体包括以下步骤S41～S43：
步骤S41：得到编码后的轨迹和地图之后，采用MLP分别进行特征提取，为了方便进行多层网络叠加(通常三层)，可以将隐藏层大小统一到64或128维。
步骤S42：提取后的特征被输入到图注意力网络中，基于注意力机制传播全图特征信息。
对于两个特征si和si，信息融合方法如下
cii＝LeakyReLU(si||sj)   (6)
Figure BDA0004026490230000061
Figure BDA0004026490230000062
s′i＝(1-λ)ni+λsi    (9)
分别计算了特征之间的相关系数、邻节点传递过来的信息以及更新后的信息。
如图4所示，以速度为例，每一个节点对应了某一帧的当前的速度信息在设定为只能看到两个邻节点的情况下，节点S4可以聚合S2、S3及其自身的信息。
步骤S43：参数化建模表示轨迹，长时预测，同时假设不同时间步的分别是条件独立的。每个时间步的输出分布都可以表示为(x,y)上的高斯分布，均值为μt∈R2，协方差为∑t∈R2×2。
采用两组多层MLP，分类头预测混合分量上的softmax分布，回归头预测T个时间步的高斯分布的μ和∑。
本发明基于transformer架构提出了一种行人轨迹预测方法，属于智能驾驶领域。利用行人姿态信息提高模型识别精度和准确率。基于高精地图及道路使用者的行为及其之间交互、道路环境信息、行人姿态信息等进行建模编码为向量，基于注意力机制和多层感知器实现信息融合与提取，实现目标行人的轨迹预测。
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于transformer和姿态估计的行人轨迹预测方法，其特征在于，包括以下步骤：
步骤1：针对智能驾驶车辆当前所处环境，使用摄像头和雷达采集车辆相关数据，并构建高精地图；
步骤2：基于采集的数据集，对道路使用者的行为及其之间交互、道路环境信息、行人姿态信息进行建模；
步骤3：将姿态信息融合进模型，并编码为向量组；
步骤4：结合行人姿态识别结果，基于注意力机制和多层感知器，实现目标行人的轨迹预测。
2.根据权利要求1所述的一种基于transformer和姿态估计的行人轨迹预测方法，其特征在于，所述步骤2包括：
将道路使用者的行为及其之间交互、道路环境信息通过向量表示；
其中，道路使用者包括行人、车辆、骑行人；道路环境信息包括车道线位置、车道箭头模式、斑马线位置。
3.根据权利要求2所述的一种基于transformer和姿态估计的行人轨迹预测方法，其特征在于，针对不同模态的数据使用不同的编码器，所述步骤2具体包括：
S21、target agent data：取固定数量的过去帧的信息，信息包括目标位置、速度、3D边界框、方向角和目标类型；建立以当前agent为中心的坐标系，agent位于原点，朝向东；
S22、other agent data：对每个agent建模时，考虑所有邻近的agent；基于当前agent的坐标系提取每个相邻的agent特征，包括相对方向、距离、历史和速度；
S23、roadgraph data：以参数化曲线表示车道线、人行横道和停止线道路网络元素。
4.根据权利要求1所述的一种基于transformer和姿态估计的行人轨迹预测方法，其特征在于，所述步骤3对目标行人进行姿态估计，包括：
通过测量手腕与手肘之间、脚腕与膝盖之间和身体前倾的角度，对行人当前姿态模式进行分类，分为等待、加速通过和保持。
5.根据权利要求1所述的一种基于transformer和姿态估计的行人轨迹预测方法，其特征在于，所述步骤4实现目标行人的轨迹预测，包括：
步骤S41：得到编码后的轨迹和地图之后，采用MLP分别进行特征提取；
步骤S42：提取后的特征被输入到图注意力网络中，基于注意力机制传播全图特征信息。
步骤S43：参数化建模表示轨迹，长时预测，不同时间步的分别是条件独立的；每个时间步的输出分布都表示为(x,y)上的高斯分布，均值为μt∈R2，协方差为Σt∈R2×2；采用两组多层MLP，分类头预测混合分量上的softmax分布，回归头预测T个时间步的高斯分布的μ和Σ。
6.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至5中任一项所述方法的步骤。
CN202211708913.XA 2022-12-29 2022-12-29 基于transformer和姿态估计的行人轨迹预测方法及存储介质 Pending CN116071728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211708913.XA CN116071728A (zh) 2022-12-29 2022-12-29 基于transformer和姿态估计的行人轨迹预测方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211708913.XA CN116071728A (zh) 2022-12-29 2022-12-29 基于transformer和姿态估计的行人轨迹预测方法及存储介质

Publications (1)

Publication Number Publication Date
CN116071728A true CN116071728A (zh) 2023-05-05

Family

ID=86183133

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211708913.XA Pending CN116071728A (zh) 2022-12-29 2022-12-29 基于transformer和姿态估计的行人轨迹预测方法及存储介质

Country Status (1)

Country Link
CN (1) CN116071728A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116654022A (zh) * 2023-07-25 2023-08-29 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116654022A (zh) * 2023-07-25 2023-08-29 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质
CN116654022B (zh) * 2023-07-25 2023-10-20 清华大学 基于多重交互的行人轨迹预测方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
Hou et al. Interactive trajectory prediction of surrounding road users for autonomous driving using structural-LSTM network
Sadeghian et al. Sophie: An attentive gan for predicting paths compliant to social and physical constraints
Cai et al. Pedestrian motion trajectory prediction in intelligent driving from far shot first-person perspective video
US10595037B2 (en) Dynamic scene prediction with multiple interacting agents
Li et al. Spatio-temporal graph dual-attention network for multi-agent prediction and tracking
Cai et al. Environment-attention network for vehicle trajectory prediction
Fernando et al. Deep inverse reinforcement learning for behavior prediction in autonomous driving: Accurate forecasts of vehicle motion
Rasouli et al. Bifold and semantic reasoning for pedestrian behavior prediction
Peng et al. MASS: Multi-attentional semantic segmentation of LiDAR data for dense top-view understanding
Syed et al. SSeg-LSTM: Semantic scene segmentation for trajectory prediction
CN113807460B (zh) 智能体动作的确定方法和装置、电子设备和介质
CN115829171B (zh) 一种联合时空信息和社交互动特征的行人轨迹预测方法
CN113989330A (zh) 车辆轨迹预测方法、装置、电子设备和可读存储介质
CN116071728A (zh) 基于transformer和姿态估计的行人轨迹预测方法及存储介质
Zhang et al. Pedestrian Behavior Prediction Using Deep Learning Methods for Urban Scenarios: A Review
Czech et al. On-board pedestrian trajectory prediction using behavioral features
Yang et al. Multi-granularity scenarios understanding network for trajectory prediction
Mänttäri et al. Learning to predict lane changes in highway scenarios using dynamic filters on a generic traffic representation
Wang et al. Bevgpt: Generative pre-trained large model for autonomous driving prediction, decision-making, and planning
CN116080681A (zh) 基于循环卷积神经网络的周车行为识别与轨迹预测方法
CN113119996B (zh) 一种轨迹预测方法、装置、电子设备及存储介质
Lian et al. Early intention prediction of pedestrians using contextual attention-based LSTM
Dan Spatial-temporal block and LSTM network for pedestrian trajectories prediction
Dos Santos et al. Pedestrian trajectory prediction with pose representation and latent space variables
Zhang et al. Improve the lstm trajectory prediction accuracy through an attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination