CN112651374A - 一种基于社会信息的未来轨迹预测方法及自动驾驶系统 - Google Patents

一种基于社会信息的未来轨迹预测方法及自动驾驶系统 Download PDF

Info

Publication number
CN112651374A
CN112651374A CN202110004275.2A CN202110004275A CN112651374A CN 112651374 A CN112651374 A CN 112651374A CN 202110004275 A CN202110004275 A CN 202110004275A CN 112651374 A CN112651374 A CN 112651374A
Authority
CN
China
Prior art keywords
target
track
prediction
lstm
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110004275.2A
Other languages
English (en)
Other versions
CN112651374B (zh
Inventor
胡博伦
吴明瞭
郭启翔
高宠智
张路玉
谢斌
文进
何薇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongfeng Automobile Co Ltd
Original Assignee
Dongfeng Automobile Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongfeng Automobile Co Ltd filed Critical Dongfeng Automobile Co Ltd
Priority to CN202110004275.2A priority Critical patent/CN112651374B/zh
Publication of CN112651374A publication Critical patent/CN112651374A/zh
Application granted granted Critical
Publication of CN112651374B publication Critical patent/CN112651374B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

一种基于社会信息的未来轨迹预测方法，该方法包括以下步骤：S1、对数据集进行处理与标注；S2、使用LSTM‑E来学习目标历史轨迹的特征；S3、将参与者历史轨迹作为注意力池化器的输入，用高斯函数来计算目标的历史轨迹与障碍物的历史轨迹之间的影响关系，社会信息作为自适应学习参数；S4、使用LSTM‑D对目标的隐状态递归调用；S5、使用L2_Loss进行参数学习的修正；S6、设置参数并执行训练代码，通过大量数据集的测试，得到预测模型。本设计预测精度高。

Description

一种基于社会信息的未来轨迹预测方法及自动驾驶系统
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于社会信息的未来轨迹预测方法及自动驾驶系统，主要适用于提高预测精度。
背景技术
在轨迹预测领域，依靠鸟瞰图与普通卷积网络结合进行轨迹预测方法中，输入参与者的RGB光栅图像和参与者当前状态(速度、加速度和航向变化率)，通过CNN网络提取出光栅图的raster features结合状态输入，通过两个全连接层对提取到的特征进行分类，输出M个未来x-和y-位置的模式(每个模式有2H个输出)及其概率(每个模式是一个标量)；该轨迹预测方法的缺点在于：将交通参与者的轨迹和场景背景编码为鸟瞰静态场景导致了时域上的动态参与者意图的表现没有被考虑，难以准确预测复杂道路环境的未来轨迹情况。
简单依靠生成式对抗网络框架实现轨迹预测方法中，模型的输入是场景中所有行人历史轨迹X，每位参与者分配一个LSTM，编码器是一个共享权值的LSTM，它根据轨迹记录学习车辆运动方式；再通过卷积Social Pooling层学习轨道的空间相关性；然后将场景中所有人的隐藏状态z(也就是交通场景中参与者可能带来的不确定性意图或动作)集合起来，得到每个人的集合张量；然后基于行为动作的解码器输出预测车辆未来运动的多模式预测分布；最后通过鉴别器鉴别得到最优的轨迹预测。该轨迹预测方法的缺点在于：(1)将最大池化层应用于所有参与者，会忽略每个参与者的独特性，并且同时忽略了时域特征，该方法的考量并未覆盖复杂场景下的未来轨迹预测；(2)该方法只考虑了行人的历史轨迹，低约束导致轨迹预测准确性效果单一且差劲。
发明内容
本发明的目的是克服现有技术中存在的预测精度低的缺陷与问题，提供一种预测精度高的基于社会信息的未来轨迹预测方法及自动驾驶系统。
为实现以上目的，本发明的技术解决方案是：一种基于社会信息的未来轨迹预测方法，该方法包括以下步骤：
S1、对数据集进行处理与标注；
S2、使用LSTM-E来学习目标历史轨迹的特征；
S3、将参与者历史轨迹
Figure BDA0002882886490000021
作为注意力池化器的输入，用函数f来计算
Figure BDA0002882886490000022
与
Figure BDA0002882886490000023
之间的影响关系，社会信息δij作为函数g的参与自适应学习参数，具体公式如下：
Figure BDA0002882886490000024
其中，
Figure BDA0002882886490000025
为注意力池化器的输出参数，c(x)为归一化参数，f为高斯函数，
Figure BDA0002882886490000026
Figure BDA0002882886490000027
为目标i的历史轨迹，
Figure BDA0002882886490000028
为障碍物j的历史轨迹；
S4、使用LSTM-D对目标i的t时刻的隐状态
Figure BDA0002882886490000029
递归调用；
S5、使用L2_Loss进行参数学习的修正；
S6、设置参数并执行训练代码，通过大量数据集的测试，得到预测模型。
步骤S1中，对数据集进行处理与标注包括：
(1)将障碍物的frame_ID、障碍物ID、需要预测轨迹的参与者坐标位置转化为特征矩阵；
(2)对数据集的ground truth进行标注。
步骤S1中，对数据集处理产生的社会信息δij包含以下三种信息：
(1)目标i与障碍物j的欧氏距离；
(2)目标i与障碍物j的方位角；
(3)目标i与障碍物j的可接近距离。
步骤S2中，使用LSTM-E对目标i的t时刻的历史轨迹隐状态
Figure BDA00028828864900000210
递归调用，具体公式如下：
Figure BDA00028828864900000211
其中，μ为目标i当前轨迹的线性嵌入，λe为LSTM-E的编码单元，t为历史轨迹所处时间段的时刻，
Figure BDA00028828864900000212
为目标i的历史轨迹，Wμ、
Figure BDA00028828864900000213
均为权重。
步骤S4中，使用LSTM-D对目标i的t时刻的隐状态
Figure BDA00028828864900000214
递归调用，具体公式如下：
Figure BDA0002882886490000031
其中，λd为LSTM-D的编码单元，其输入矩阵为
Figure BDA0002882886490000032
Figure BDA0002882886490000033
为目标i的t-1时刻的隐状态；
Figure BDA0002882886490000034
为权重。
步骤S4中，LSTM-D的编码单元输入矩阵
Figure BDA0002882886490000035
为：
Figure BDA0002882886490000036
其中，
Figure BDA0002882886490000037
为目标i的t-1时刻的历史轨迹隐状态，
Figure BDA0002882886490000038
为与目标i历史轨迹相关的多个障碍物j的t-1时刻下的隐状态，
Figure BDA0002882886490000039
为注意力池化器的输出参数，δij为社会信息，T为时域范围。
步骤S5中，损失层接收生成的轨迹作为输入
Figure BDA00028828864900000310
并与步骤S1中产生的groundtruth作为输入y(i)，通过不断减小L2_Loss的返回影响，来学习更优的预测参数，具体公式如下：
Figure BDA00028828864900000311
一种自动驾驶系统，包括感知模块、预测模块、车辆行为选择模块与车辆底盘控制模块；
所述感知模块，用于通过车载雷达与摄像机感知到实时行人信息，并将行人历史轨迹坐标与时间信息、地图与交通规则传达给预测模块；
所述预测模块，用于通过上述内容所述的基于社会信息的未来轨迹预测方法训练的预测模型将接收到的轨迹信息数据处理生成预测轨迹；
所述车辆行为选择模块，用于通过预测模块下发的预测轨迹，进行规划处理产生车辆未来行驶状态指令，并下发给车辆底盘控制模块；
所述车辆底盘控制模块，用于接收车辆行为选择模块下发的状态指令，控制车辆做出规避障碍物、保持行驶的决策行为。
与现有技术相比，本发明的有益效果为：
本发明一种基于社会信息的未来轨迹预测方法及自动驾驶系统中，通过添加社会环境交互约束解决了复杂的动态交互缺点，同时利用LSTM捕获时域上的交互作用的变化，解决了静态预测时间局限的缺点；同时，采用注意力池化器对轨迹相关性以及社会信息进行自适应，得到的预测轨迹与真实轨迹的最大偏离和平均偏离都要小于现有技术，进而提高了预测精度。因此，本发明预测精度高。
附图说明
图1是本发明基于社会信息的未来轨迹预测方法的流程图。
图2是本发明自动驾驶系统的结构示意图。
图3是本发明预测效果及路径规划可视化测试示意图。
具体实施方式
以下结合附图说明和具体实施方式对本发明作进一步详细的说明。
参见图1至图3，一种基于社会信息的未来轨迹预测方法，该方法包括以下步骤：
S1、对数据集进行处理与标注；
S2、使用LSTM-E来学习目标历史轨迹的特征；
S3、将参与者历史轨迹
Figure BDA0002882886490000041
作为注意力池化器的输入，用函数f来计算
Figure BDA0002882886490000042
与
Figure BDA0002882886490000043
之间的影响关系，社会信息δij作为函数g的参与自适应学习参数，具体公式如下：
Figure BDA0002882886490000044
其中，
Figure BDA0002882886490000045
为注意力池化器的输出参数，c(x)为归一化参数，f为高斯函数，
Figure BDA0002882886490000046
Figure BDA0002882886490000047
为目标i的历史轨迹，
Figure BDA0002882886490000048
为障碍物j的历史轨迹；
S4、使用LSTM-D对目标i的t时刻的隐状态
Figure BDA0002882886490000049
递归调用；
S5、使用L2_Loss进行参数学习的修正；
S6、设置参数并执行训练代码，通过大量数据集的测试，得到预测模型。
步骤S1中，对数据集进行处理与标注包括：
(1)将障碍物的frame_ID、障碍物ID、需要预测轨迹的参与者坐标位置转化为特征矩阵；
(2)对数据集的ground truth进行标注。
步骤S1中，对数据集处理产生的社会信息δij包含以下三种信息：
(1)目标i与障碍物j的欧氏距离；
(2)目标i与障碍物j的方位角；
(3)目标i与障碍物j的可接近距离。
步骤S2中，使用LSTM-E对目标i的t时刻的历史轨迹隐状态
Figure BDA00028828864900000515
递归调用，具体公式如下：
Figure BDA0002882886490000051
其中，μ为目标i当前轨迹的线性嵌入，λe为LSTM-E的编码单元，t为历史轨迹所处时间段的时刻，
Figure BDA0002882886490000052
为目标i的历史轨迹，Wμ、
Figure BDA0002882886490000053
均为权重。
步骤S4中，使用LSTM-D对目标i的t时刻的隐状态
Figure BDA0002882886490000054
递归调用，具体公式如下：
Figure BDA0002882886490000055
其中，λd为LSTM-D的编码单元，其输入矩阵为
Figure BDA0002882886490000056
Figure BDA0002882886490000057
为目标i的t-1时刻的隐状态；
Figure BDA0002882886490000058
为权重。
步骤S4中，LSTM-D的编码单元输入矩阵
Figure BDA0002882886490000059
为：
Figure BDA00028828864900000510
其中，
Figure BDA00028828864900000511
为目标i的t-1时刻的历史轨迹隐状态，
Figure BDA00028828864900000512
为与目标i历史轨迹相关的多个障碍物j的t-1时刻下的隐状态，
Figure BDA00028828864900000513
为注意力池化器的输出参数，δij为社会信息，T为时域范围。
步骤S5中，损失层接收生成的轨迹作为输入
Figure BDA00028828864900000514
并与步骤S1中产生的groundtruth作为输入y(i)，通过不断减小L2_Loss的返回影响，来学习更优的预测参数，具体公式如下：
Figure BDA0002882886490000061
其中，m为一个训练批次中预测目标的个数。
一种自动驾驶系统，包括感知模块、预测模块、车辆行为选择模块与车辆底盘控制模块；
所述感知模块，用于通过车载雷达与摄像机感知到实时行人信息，并将行人历史轨迹坐标与时间信息、地图与交通规则传达给预测模块；
所述预测模块，用于通过上述内容所述的基于社会信息的未来轨迹预测方法训练的预测模型将接收到的轨迹信息数据处理生成预测轨迹；
所述车辆行为选择模块，用于通过预测模块下发的预测轨迹，进行规划处理产生车辆未来行驶状态指令，并下发给车辆底盘控制模块；
所述车辆底盘控制模块，用于接收车辆行为选择模块下发的状态指令，控制车辆做出规避障碍物、保持行驶的决策行为。
本发明的原理说明如下：
将训练好的预测模型，通过整合添加训练代码与参数移植到自动驾驶系统中，作为预测模块，接收感知模块的障碍物信息，并对障碍物信息进行处理，得到预测轨迹，并转换消息接口，下发至车辆行为选择模块，规划当前自动驾驶车辆的行为。
本设计中将社会信息作为LSTM在后续注意力池化器的输入中，作为自适应函数的参数参与计算，从而得到LSTM的隐状态。
本设计在复杂场景下使用社会信息约束与基础网络LSTM相结合应用的方式可以解决动态时域的交互信息共享的问题；添加注意力池化器对编码器产生的信息共享后的LSTM编码进行自适应处理，可以应对信息冗杂的问题；使用解码器产生自适应的实时交互预测轨迹；通过损失层不断优化预测参数提升预测水平。
实施例：
参见图1，一种基于社会信息的未来轨迹预测方法，该方法包括以下步骤：
S1、对数据集进行处理与标注，包括：
(1)将障碍物的frame_ID(帧编号)、障碍物ID、需要预测轨迹的参与者坐标位置的x、y值转化为特征矩阵作为预测编码器的输入；
(2)对数据集的ground truth进行标注，作为损失层的输入；
对数据集处理产生的社会信息δij包含以下三种信息：
(1)目标i与相关障碍物j的欧氏距离；
(2)目标i与障碍物j的方位角，即目标i的速度向量与连接i和相关障碍物j的向量的夹角；
(3)目标i与相关障碍物j的可接近距离；
S2、使用LSTM-E来学习目标历史轨迹的特征；
使用LSTM-E对目标i的t时刻的历史轨迹隐状态
Figure BDA0002882886490000071
(包括交通参与者的历史轨迹在时间轴上的轨迹信息)递归调用，具体公式如下：
Figure BDA0002882886490000072
其中，μ为目标i当前轨迹的线性嵌入，λe为LSTM-E的编码单元，t为历史轨迹所处时间段的时刻，
Figure BDA0002882886490000073
为目标i的历史轨迹(帧与坐标的结合所代表的轨迹，每一帧都有一个坐标位置，连续的多帧的坐标就是轨迹)，Wμ、
Figure BDA0002882886490000074
均为权重；
S3、将参与者历史轨迹
Figure BDA0002882886490000075
作为注意力池化器的输入，用函数f来计算
Figure BDA0002882886490000076
与
Figure BDA0002882886490000077
之间的影响关系，社会信息δij作为函数g的参与自适应学习参数，具体公式如下：
Figure BDA0002882886490000078
其中，
Figure BDA0002882886490000079
为注意力池化器的输出参数，c(x)为归一化参数，f为高斯函数，
Figure BDA00028828864900000710
Figure BDA00028828864900000711
为目标i的历史轨迹，
Figure BDA00028828864900000712
为障碍物j的历史轨迹；
S4、使用LSTM-D对目标i的t时刻的隐状态
Figure BDA00028828864900000713
递归调用；
使用LSTM-D对目标i的t时刻的隐状态
Figure BDA00028828864900000714
递归调用，具体公式如下：
Figure BDA00028828864900000715
其中，λd为LSTM-D的编码单元，其输入矩阵为
Figure BDA00028828864900000716
Figure BDA00028828864900000717
为目标i的t-1时刻的隐状态；
Figure BDA00028828864900000718
为权重；
LSTM-D的编码单元输入矩阵
Figure BDA00028828864900000719
为：
Figure BDA0002882886490000081
其中，
Figure BDA0002882886490000082
为目标i的t-1时刻的历史轨迹隐状态，
Figure BDA0002882886490000083
为与目标i历史轨迹相关的多个障碍物j的t-1时刻下的隐状态，
Figure BDA0002882886490000084
为注意力池化器的输出参数，δij为社会信息，T为时域范围；
S5、使用L2_Loss进行参数学习的修正；
损失层接收生成的轨迹作为输入
Figure BDA0002882886490000085
并与步骤S1中产生的ground truth作为输入y(i)，通过不断减小L2_Loss的返回影响，来学习更优的预测参数，具体公式如下：
Figure BDA0002882886490000086
S6、设置参数并执行训练代码，通过大量数据集的测试，得到预测模型。
参见图2，一种自动驾驶系统，包括感知模块、预测模块、车辆行为选择模块与车辆底盘控制模块；
所述感知模块，用于通过车载雷达与摄像机感知到实时行人信息，并将行人历史轨迹坐标与时间信息、地图与交通规则传达给预测模块；
所述预测模块，用于通过上述内容所述的基于社会信息的未来轨迹预测方法训练的预测模型将接收到的轨迹信息数据处理生成预测轨迹；
所述车辆行为选择模块，用于通过预测模块下发的预测轨迹，进行规划处理产生车辆未来行驶状态指令，并下发给车辆底盘控制模块；
所述车辆底盘控制模块，用于接收车辆行为选择模块下发的状态指令，控制车辆做出规避障碍物、保持行驶的决策行为。

Claims (8)

1.一种基于社会信息的未来轨迹预测方法，其特征在于，该方法包括以下步骤：
S1、对数据集进行处理与标注；
S2、使用LSTM-E来学习目标历史轨迹的特征；
S3、将参与者历史轨迹
Figure FDA0002882886480000011
作为注意力池化器的输入，用函数f来计算
Figure FDA0002882886480000012
与
Figure FDA0002882886480000013
之间的影响关系，社会信息δij作为函数g的参与自适应学习参数，具体公式如下：
Figure FDA0002882886480000014
其中，
Figure FDA0002882886480000015
为注意力池化器的输出参数，c(x)为归一化参数，f为高斯函数，
Figure FDA0002882886480000016
Figure FDA0002882886480000017
为目标i的历史轨迹，
Figure FDA0002882886480000018
为障碍物j的历史轨迹；
S4、使用LSTM-D对目标i的t时刻的隐状态
Figure FDA0002882886480000019
递归调用；
S5、使用L2_Loss进行参数学习的修正；
S6、设置参数并执行训练代码，通过大量数据集的测试，得到预测模型。
2.根据权利要求1所述的一种基于社会信息的未来轨迹预测方法，其特征在于：
步骤S1中，对数据集进行处理与标注包括：
(1)将障碍物的frame_ID、障碍物ID、需要预测轨迹的参与者坐标位置转化为特征矩阵；
(2)对数据集的ground truth进行标注。
3.根据权利要求2所述的一种基于社会信息的未来轨迹预测方法，其特征在于：
步骤S1中，对数据集处理产生的社会信息δij包含以下三种信息：
(1)目标i与障碍物j的欧氏距离；
(2)目标i与障碍物j的方位角；
(3)目标i与障碍物j的可接近距离。
4.根据权利要求3所述的一种基于社会信息的未来轨迹预测方法，其特征在于：
步骤S2中，使用LSTM-E对目标i的t时刻的历史轨迹隐状态
Figure FDA00028828864800000110
递归调用，具体公式如下：
Figure FDA0002882886480000021
其中，μ为目标i当前轨迹的线性嵌入，λe为LSTM-E的编码单元，t为历史轨迹所处时间段的时刻，
Figure FDA0002882886480000022
为目标i的历史轨迹，Wμ、
Figure FDA0002882886480000023
均为权重。
5.根据权利要求4所述的一种基于社会信息的未来轨迹预测方法，其特征在于：
步骤S4中，使用LSTM-D对目标i的t时刻的隐状态
Figure FDA0002882886480000024
递归调用，具体公式如下：
Figure FDA0002882886480000025
其中，λd为LSTM-D的编码单元，其输入矩阵为
Figure FDA0002882886480000026
Figure FDA0002882886480000027
为目标i的t-1时刻的隐状态；
Figure FDA0002882886480000028
为权重。
6.根据权利要求5所述的一种基于社会信息的未来轨迹预测方法，其特征在于：
步骤S4中，LSTM-D的编码单元输入矩阵
Figure FDA0002882886480000029
为：
Figure FDA00028828864800000210
其中，
Figure FDA00028828864800000211
为目标i的t-1时刻的历史轨迹隐状态，
Figure FDA00028828864800000212
为与目标i历史轨迹相关的多个障碍物j的t-1时刻下的隐状态，
Figure FDA00028828864800000213
为注意力池化器的输出参数，δij为社会信息，T为时域范围。
7.根据权利要求6所述的一种基于社会信息的未来轨迹预测方法，其特征在于：
步骤S5中，损失层接收生成的轨迹作为输入
Figure FDA00028828864800000214
并与步骤S1中产生的ground truth作为输入y(i)，通过不断减小L2_Loss的返回影响，来学习更优的预测参数，具体公式如下：
Figure FDA00028828864800000215
8.一种自动驾驶系统，其特征在于，包括感知模块、预测模块、车辆行为选择模块与车辆底盘控制模块；
所述感知模块，用于通过车载雷达与摄像机感知到实时行人信息，并将行人历史轨迹坐标与时间信息、地图与交通规则传达给预测模块；
所述预测模块，用于通过权利要求1-7中任意一项所述的基于社会信息的未来轨迹预测方法训练的预测模型将接收到的轨迹信息数据处理生成预测轨迹；
所述车辆行为选择模块，用于通过预测模块下发的预测轨迹，进行规划处理产生车辆未来行驶状态指令，并下发给车辆底盘控制模块；
所述车辆底盘控制模块，用于接收车辆行为选择模块下发的状态指令，控制车辆做出规避障碍物、保持行驶的决策行为。
CN202110004275.2A 2021-01-04 2021-01-04 一种基于社会信息的未来轨迹预测方法及自动驾驶系统 Active CN112651374B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110004275.2A CN112651374B (zh) 2021-01-04 2021-01-04 一种基于社会信息的未来轨迹预测方法及自动驾驶系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110004275.2A CN112651374B (zh) 2021-01-04 2021-01-04 一种基于社会信息的未来轨迹预测方法及自动驾驶系统

Publications (2)

Publication Number Publication Date
CN112651374A true CN112651374A (zh) 2021-04-13
CN112651374B CN112651374B (zh) 2022-10-25

Family

ID=75367232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110004275.2A Active CN112651374B (zh) 2021-01-04 2021-01-04 一种基于社会信息的未来轨迹预测方法及自动驾驶系统

Country Status (1)

Country Link
CN (1) CN112651374B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399743A (zh) * 2021-12-10 2022-04-26 浙江零跑科技股份有限公司 一种障碍物未来轨迹的生成方法
CN115097827A (zh) * 2022-06-21 2022-09-23 智能网联汽车(山东)协同创新研究院有限公司 一种无人驾驶汽车的道路学习方法
CN115146873A (zh) * 2022-07-30 2022-10-04 重庆长安汽车股份有限公司 一种车辆轨迹预测方法及系统
CN115781693A (zh) * 2023-01-09 2023-03-14 广东隆崎机器人有限公司 工业机器人的避障方法、装置、工业机器人及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564118A (zh) * 2018-03-30 2018-09-21 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统
CN111311009A (zh) * 2020-02-24 2020-06-19 广东工业大学 一种基于长短期记忆的行人轨迹预测方法
US20200272148A1 (en) * 2019-02-21 2020-08-27 Zoox, Inc. Motion prediction based on appearance
CN111634234A (zh) * 2020-05-26 2020-09-08 东风汽车股份有限公司 基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法
CN111930110A (zh) * 2020-06-01 2020-11-13 西安理工大学 一种结合社会生成对抗网络的意图轨迹预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108564118A (zh) * 2018-03-30 2018-09-21 陕西师范大学 基于社会亲和力长短期记忆网络模型的拥挤场景行人轨迹预测方法
US20200272148A1 (en) * 2019-02-21 2020-08-27 Zoox, Inc. Motion prediction based on appearance
CN110955965A (zh) * 2019-11-25 2020-04-03 中国科学院计算技术研究所 一种考虑交互作用的行人运动预测方法及系统
CN111311009A (zh) * 2020-02-24 2020-06-19 广东工业大学 一种基于长短期记忆的行人轨迹预测方法
CN111634234A (zh) * 2020-05-26 2020-09-08 东风汽车股份有限公司 基于多摄像头与雷达组合的远程驾驶车端场景信息采集、信息展示方法及远程驾驶方法
CN111930110A (zh) * 2020-06-01 2020-11-13 西安理工大学 一种结合社会生成对抗网络的意图轨迹预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张志远等: "结合社会特征和注意力的行人轨迹预测模型", 《西安电子科技大学学报》 *
李琳辉等: "基于社会注意力机制的行人轨迹预测方法研究", 《通信学报》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114399743A (zh) * 2021-12-10 2022-04-26 浙江零跑科技股份有限公司 一种障碍物未来轨迹的生成方法
CN114399743B (zh) * 2021-12-10 2024-05-28 浙江零跑科技股份有限公司 一种障碍物未来轨迹的生成方法
CN115097827A (zh) * 2022-06-21 2022-09-23 智能网联汽车(山东)协同创新研究院有限公司 一种无人驾驶汽车的道路学习方法
CN115097827B (zh) * 2022-06-21 2023-02-10 智能网联汽车(山东)协同创新研究院有限公司 一种无人驾驶汽车的道路学习方法
CN115146873A (zh) * 2022-07-30 2022-10-04 重庆长安汽车股份有限公司 一种车辆轨迹预测方法及系统
CN115146873B (zh) * 2022-07-30 2024-05-10 重庆长安汽车股份有限公司 一种车辆轨迹预测方法及系统
CN115781693A (zh) * 2023-01-09 2023-03-14 广东隆崎机器人有限公司 工业机器人的避障方法、装置、工业机器人及存储介质
CN115781693B (zh) * 2023-01-09 2023-05-26 广东隆崎机器人有限公司 工业机器人的避障方法、装置、工业机器人及存储介质

Also Published As

Publication number Publication date
CN112651374B (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN112651374B (zh) 一种基于社会信息的未来轨迹预测方法及自动驾驶系统
CN110610271B (zh) 一种基于长短记忆网络的多重车辆轨迹预测方法
CN111061277B (zh) 一种无人车全局路径规划方法和装置
KR102596388B1 (ko) 이동체의 이동 속성 획득 방법 및 이를 수행하는 장치
Chen et al. Vehicle trajectory prediction based on intention-aware non-autoregressive transformer with multi-attention learning for Internet of Vehicles
Cai et al. Environment-attention network for vehicle trajectory prediction
JP7471397B2 (ja) 道路シーンにおける多様な長期将来軌道のシミュレーション
CN111339867B (zh) 一种基于生成对抗网络的行人轨迹预测方法
CN112734808B (zh) 一种车辆行驶环境下易受伤害道路使用者的轨迹预测方法
CN112433525A (zh) 基于模仿学习及深度强化学习的移动机器人导航方法
CN112766561A (zh) 一种基于注意力机制的生成式对抗轨迹预测方法
CN110751266A (zh) 一种无人机轨迹预测模块及其预测方法
CN114399743A (zh) 一种障碍物未来轨迹的生成方法
CN112347923A (zh) 一种基于对抗生成网络的路侧端行人轨迹预测算法
CN114898550B (zh) 一种行人轨迹预测方法和系统
CN116595871A (zh) 基于动态时空交互图的车辆轨迹预测建模方法与装置
CN114185339A (zh) 一种动态环境下的移动机器人路径规划方法
CN113435356A (zh) 一种克服观察噪声与感知不确定性的轨迹预测方法
CN116679711A (zh) 一种基于有模型与无模型强化学习的机器人避障方法
CN113570595B (zh) 车辆轨迹预测方法和车辆轨迹预测模型的优化方法
CN114889608A (zh) 一种基于注意力机制的车辆换道预测方法
CN114723782A (zh) 一种基于异构图学习的交通场景运动目标感知方法
CN114516336A (zh) 一种考虑道路约束条件的车辆轨迹预测方法
CN114638408A (zh) 一种基于时空信息的行人轨迹预测方法
Chen et al. Q‐EANet: Implicit social modeling for trajectory prediction via experience‐anchored queries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant