CN112949597B - 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法 - Google Patents

一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法 Download PDF

Info

Publication number
CN112949597B
CN112949597B CN202110364544.6A CN202110364544A CN112949597B CN 112949597 B CN112949597 B CN 112949597B CN 202110364544 A CN202110364544 A CN 202110364544A CN 112949597 B CN112949597 B CN 112949597B
Authority
CN
China
Prior art keywords
target vehicle
vehicle
agent
tensor
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110364544.6A
Other languages
English (en)
Other versions
CN112949597A (zh
Inventor
胡宏宇
王�琦
杜来刚
鲁子洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202110364544.6A priority Critical patent/CN112949597B/zh
Publication of CN112949597A publication Critical patent/CN112949597A/zh
Application granted granted Critical
Publication of CN112949597B publication Critical patent/CN112949597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明公开了一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,包括:步骤1、提取目标车辆与目标车辆周围智能体的输入特征;步骤2、通过编码器对所述输入特征进行编码,分别通过时间模式注意力与感兴趣智能体加权对目标车辆与目标车辆周围智能体进行隐藏模式的提取;步骤3、通过解码器对目标车辆的驾驶操纵类别进行识别,对目标车未来的行驶轨迹进行预测。通过提取目标车辆与目标车辆周围智能体的输入特征,并通过编码器将输入特征进行编码,分别通过时间模式注意力与感兴趣智能体加权对目标车辆的架势操纵类别进行识别,实现对目标车辆将来的行驶轨迹进行预测,提高驾驶操纵分类的准确率。

Description

一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识 别方法
技术领域
本发明涉及一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,属于机器学习领域。
背景技术
为了做出安全且舒适的路径规划与车辆控制,自动驾驶汽车需要对周围环境与智能体进行良好的感知。随后,根据学习到的行驶上下文知识,自动驾驶汽车需要推断周围智能体的意图,并且对其轨迹做出高精确度的估计。通常来说,轨迹预测可以帮助自动驾驶汽车更好的了解周围的行驶上下文,并且帮助自动驾驶汽车做出下一步的驾驶操纵。然而,驾驶行为的多模态性与行驶上下文的复杂性使得轨迹预测面临着巨大的挑战。
实际上,驾驶意图在特定的驾驶场景下对多模态的驾驶行为有着巨大的影响。驾驶意图是由驾驶员通过短暂的决定以实现某个特定目标的一系列动作所反映。也就是说,驾驶员需要对周围的驾驶场景进行感知,并且做出合理且舒适的驾驶操纵。因此,从目标车辆的运动学参数、目标车辆与周围智能体的交互参数中提取驾驶员的驾驶意图与驾驶操纵模式可以对车辆的长期轨迹预测有着更好的帮助。
车辆轨迹预测任务也是多变量时间序列预测任务。目前,循环神经网络(recurrent neural networks(RNNs))常用于该任务中。然而,在序列分析中使用RNNs的一个缺点是其在管理长期依赖方面的弱点,这不利于车辆轨迹的预测。原因是,驾驶员通常在驾驶意图出现时不会立即执行,而是在驾驶员做好车辆控制的准备后才会执行。根据相关文献可知,这个延迟大约在1~4秒左右。为了解决RNNs在跨时间步上能力的缺陷,采用时间模式注意力,该方法可以跨越多个时间步,十分适合轨迹预测过程中驾驶意图与操纵模式的提取,以提高预测的准确率与驾驶操纵分类精度。
现有技术中,专利CN201910876478.3公开了一种基于长短记忆网络的多重车辆的轨迹预测方法,将主车和其邻车的历史轨迹等特征作为输入,充分考虑到车辆之间的位置以及驾驶行为的相互影响,经过网络的编码解码之后,将输出的邻近车辆的未来轨迹进一步输入混合密度网络,估计出车辆位置的概率分布;专利CN201910832754.6公开了一种基于双向内核岭回归的车辆轨迹预测方法,采用滑动窗口从中获取有关行驶姿态信息的前向训练数据和后向训练数据,利用前向训练数据和后向训练数据,分别训练两个核岭回归模型,得到轨迹前向预测模型和轨迹后向预测模型;专利CN201911284048.9公开了一种车辆轨迹预测方法及装置,该方法首先获取历史轨迹数据对应的时空图序列,时空图序列包括预设时段内按时间先后顺序排列的每个时刻对应的时空图,将时空图序列输入已训练的预测模型进行处理,得到车辆各自对应的预测行驶轨迹,预测模型基于同一时段内多个样本车辆的样本轨迹数据对应的样本时空图及样本车辆各自对应的样本行驶轨迹对长短期记忆网络LSTM训练得到。但是以上方法都没有考虑跨越时间步的驾驶意图与操纵模式提取,从而影响到识别的准确率与驾驶操纵的识别精确度。
发明内容
本发明设计开发了一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,通过提取目标车辆与目标车辆周围智能体的输入特征,并通过编码器将输入特征进行编码,分别通过时间模式注意力与感兴趣车辆加权对目标车辆的驾驶操纵类别进行识别,实现对目标车辆将来的行驶轨迹进行预测,提高驾驶操纵分类的准确率。
本发明提供的技术方案为:
一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,包括:
步骤1,提取目标车辆与目标车辆周围智能体的输入特征;
步骤2,通过编码器对所述输入特征进行编码,分别通过时间模式注意力与感兴趣智能体加权对目标车辆与目标智能体周围车辆进行隐藏模式的提取;
步骤3,通过解码器对目标车辆的驾驶操纵类别进行识别,对目标车辆未来的行驶轨迹进行预测。
优选的是,所述步骤1包括:
对目标车辆与目标车辆周围智能体的行驶历史数据进行处理,记录所述目标车辆与目标车辆周围智能体的历史行驶轨迹;
所述目标车辆与目标车辆周围智能体的行驶轨迹数据记为:
Figure GDA0003869163010000031
式中,
Figure GDA0003869163010000032
为周围智能体集合,ac为周围智能体特征向量,c为周围智能体编号,Nc=8,Nc为特征维数;
对于每个智能体的历史轨迹,定义为
Figure GDA0003869163010000033
a为每个智能体的历史轨迹集合向量,wh为历史轨迹向量长度,其中,
Figure GDA0003869163010000034
其中,
Figure GDA0003869163010000035
为车智能体车辆行驶横向位置与纵向位置,x和y分别为Op坐标系的横轴与纵轴方向,class为智能体类别,若对应位置无智能体,则a=0。
优选的是,所述目标车辆周围智能体包括:目标车辆的前、后、左前、左旁、左后、右前、右旁、右后智能体中的与目标车辆的欧氏距离不超过150m的车辆。
优选的是,所述步骤2包括:
将aT
Figure GDA0003869163010000036
分别输入至数据编码器,aT
Figure GDA0003869163010000037
之间共享参数权重;
式中,aT为自车输入特征,具体特征信息与诸位智能体相同,Nc为特征维数;
输入尺寸中的特征维度为7,即
Figure GDA0003869163010000038
将原始数据输入至嵌入层,输出尺寸中的特征维度为64;
激活函数选择为泄露线性整流单元,激活函数为:
Figure GDA0003869163010000039
式中,α=0.1;
对嵌入层进行更新,得到:
ec=φ(FC(ec;Wemb)),
式中,ec为周围第c个智能体的嵌入向量,φ为所述泄露线性整流单元,Wemb为全连接层权重;
将经过嵌入层得到的输出张量输入至单层长短时记忆网络,将最后一个LSTM单元的输出ht输入至线性单元,通过泄露线性整流单元函数进行激活;
其中,ec经过激活函数激活后的编码张量为:
Figure GDA0003869163010000041
其中,t为LSTM隐藏单元个数,为128个,
Figure GDA0003869163010000042
为第c辆目标车辆周围感兴趣车辆经过LSTM与LeakyReLU激活后的编码张量,Wemb为嵌入向量权重,Wenc为LSTM权重,Wlin为线性层权重,经过编码器对原始输入数据编码,得到
Figure GDA0003869163010000043
Figure GDA0003869163010000044
Figure GDA0003869163010000045
为LSTM隐藏层最后一个单元的ht
优选的是,所述步骤2还包括:
将aT输入至嵌入层,将嵌入层eT输出至单层LSTM中,可以从单层LSTM的输出中获得Hop=[op1,op2,…,opt]与ht,如下式所示:
Figure GDA0003869163010000046
其中,op为每一个LSTM单元的隐藏层输出,WTPA为LSTM的权重,其中ht作为注意力机制中查询序列(Query),
Figure GDA0003869163010000047
为目标车辆第t-1个隐藏单元的输出;
得到的Hop与m个卷积核
Figure GDA0003869163010000048
进行1维卷积(Conv1D),m=32,令k=thst,卷积操作如下所示:
Figure GDA0003869163010000051
其中i=1,2,…,m,j=1,2,…,k,
Figure GDA0003869163010000052
为卷积操作符,得到张量{Hm,k},记作H,首先作为键(K,Key),与查询序列ht通过权重矩阵Wsf得到得分函数
Figure GDA0003869163010000053
并且通过Sigmoid激活函数激活,即:
α=ψ(HTWsfht)
式中,
Figure GDA0003869163010000054
为中间权重矩阵,查询序列ht,随后,将得分函数映射广播到值(V,Value)上,隐变量vt被加权得到,即:
Figure GDA0003869163010000055
最终,将vt与隐藏变量ht通过中间权重Wh与Wv相结合,即:
ht'=Whht+Wvvt
其中,
Figure GDA0003869163010000056
优选的是,所述步骤2还包括:
当编码器对智能体运动进行编码时,根据空间位置对周围智能体的编码张量进行堆叠,对叠加张量进行卷积运算:
Figure GDA0003869163010000057
其中,C1×1为1×1卷积核,Conv为卷积操作,stack为向量堆叠操作,hct为第c辆目标车辆周围感兴趣智能体经过激活函数激活后的编码张量;
采用3×3卷积核进行卷积,增加通道数,
Figure GDA0003869163010000058
其中,squeeze()为将3维张量压缩至1维张量,φ为leskyReLU,C3×3为一个3×3的卷积核。
优选的是,所述步骤3包括:
将所述解码器将编码张量hT、注意张量ht'、感兴趣智能体加权张量hA进行串联,得到:
hdec=concat(hT,h't,hA);
式中,hdec为因变量串联后待解码张量;
利用一个分支预测驾驶操纵的分布,另一个分支重复重张量tfut次,对应于每个LSTM单元中,输出激活层后,每个单元的输出代表未来某个时刻的目标车辆坐标值,包括:
Figure GDA0003869163010000061
Figure GDA0003869163010000062
Figure GDA0003869163010000063
式中
Figure GDA0003869163010000064
为输出激活,其中,
Figure GDA0003869163010000065
为各驾驶操纵的预测概率分布,apred为在坐标系Op为预测的车辆轨迹。
优选的是,还包括:
对车辆轨迹预测值使用均方差作为回归任务的损失函数,如下所示:
Figure GDA0003869163010000066
其中,N为训练集中样本数,
Figure GDA0003869163010000067
为轨迹预测值,
Figure GDA0003869163010000068
为真实轨迹坐标;
当分类不平衡或学习难度不同时,使用焦点损失进行补偿,如下所示:
Figure GDA0003869163010000069
式中,η=1,β=2,ε为防止对数函数溢出;总损失为:
Figure GDA00038691630100000610
本发明所述的有益效果:
1)该方法创新性的采用时间模式注意力机制,跨越多个时间步提取驾驶员驾驶意图-驾驶操纵隐藏模式,该模式可以突破传统循环神经网络在管理长期依赖性上的缺陷,提高了轨迹预测的准确率;
2)该方法提出感兴趣车辆加权,简化并有效的提取了自车与周围智能体的交互特征,保留了各车在目标车辆行驶上下文中的空间位置信息;
3)该方法针对于不同的驾驶操纵,通过设置焦点损失函数,降低了实例较少的驾驶操纵类别的学习难度与减小了类别不均衡所带来的问题,提高了目标车辆驾驶操纵的识别精确度。
附图说明
图1为本发明所述的编码器的结构示意图。
图2为本发明所述的时间模式注意力机制示意图。
图3为本发明所述的感兴趣车辆注意力加权示意图。
图4为本发明所述的解码器的结构示意图。
图5为本发明所述的基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法的流程图。
具体实施方式
下面结合附图对本发明做进一步的详细说明,以令本领域技术人员参照说明书文字能够据以实施。
如图1~5所示,本发明提供一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,通过简单提取目标车辆(待识别与预测车辆)与目标车辆周围智能体的简单输入特征,再通过其对所述输入特征进行编码,并分别通过时间模式注意力与感兴趣车辆加权对目标车辆与目标车辆周围智能体进行隐藏模式的提取,最后通过解码器对目标车辆的架势操纵类别进行识别,对目标车辆将来的行驶轨迹进行预测,本方法可以通过这两个模块分别提取架势意图-架势操纵隐藏模式、自车与周围智能体交互模式,从而减小了轨迹预测的误差,提高了架势操纵分类的准确率,包括:
提取目标车辆与目标车辆周围智能体的输入特征;
通过编码器对所述输入特征进行编码,分别通过时间模式注意力与感兴趣车辆加权对目标车辆与目标车辆周围智能体进行隐藏模式的提取;
通过解码器对目标车辆的驾驶操纵类别进行识别,对目标车未来的行驶轨迹进行预测。
具体包括:
步骤1:对目标车辆与目标车辆周围智能体的行驶历史数据进行简单处理。记目标车辆T在thst(thst=-wh,…,-2,-1,0)时刻内的历史数据为aT。预测坐标系Op定义为当前时刻(0时刻)的目标车辆中心坐标,目标车辆的沿车道行驶纵向方向定义为x轴方向,目标车辆的沿车道行驶横向方向定义为y轴方向。选择感兴趣车辆作为目标车辆周围智能体的选择方法,即选择目标车辆的前车、后车、左前车、左旁车、左后车、右前车、右旁车、右后车。上述车辆的历史轨迹数据记为
Figure GDA0003869163010000081
其中,
Figure GDA0003869163010000082
为周围智能体集合,ac为周围智能体特征向量,c为周围智能体编号,Nc=8。对于每个智能体的历史轨迹,定义为
Figure GDA0003869163010000083
a为每个智能体的历史轨迹集合向量,wh为历史轨迹向量长度,其中,
Figure GDA0003869163010000084
其中,
Figure GDA0003869163010000085
为车智能体车辆行驶横向位置与纵向位置,x和y分别为Op坐标系的横轴与纵轴方向,class为智能体类别,若对应位置无智能体,则a=0。
本方法预测目标车辆T在未来tfut(tfut=1,2,…,wf)的轨迹
Figure GDA0003869163010000086
其中,
Figure GDA0003869163010000087
与预测坐标系Op对齐。此外,为了识别当前驾驶操纵,输入还包括当前的驾驶操纵类别Mlon与Mlat。其中,纵向驾驶操纵类别Mlon包括正常驾驶、急刹车、急加速;横向驾驶操纵类别Mlat包括道路跟随、左换道、右换道、左转向、右转向等。
步骤2:将原始数据输入至编码器。如图1所示,输入为aT
Figure GDA0003869163010000091
随后,分别将输入数据输入编码器,
Figure GDA0003869163010000092
之间共享参数权重,但是这些参数权重不与aT的参数权重共享,输入大小为7,即
Figure GDA0003869163010000093
原始数据输入至嵌入层(Embedding),输出大小为64,激活函数选择为泄露线性整流单元(LeakyReLU),如下式所示:
Figure GDA0003869163010000094
将上述结果输入至单层长短时记忆网络(Long-Short Term Memory,LSTM)中,并且将最后一个LSTM单元的输出ht输入至线性单元(即全连接层,Fully Connected layers,FC),并且通过LeakyReLU进行激活。上述操作如下式所示(以目标车辆周围感兴趣车辆为例):
Figure GDA0003869163010000095
Figure GDA0003869163010000096
其中,t为LSTM隐藏单元个数,为128个,
Figure GDA0003869163010000097
为第c辆目标车辆周围感兴趣车辆经过LSTM与LeakyReLU激活后的编码张量ec为周围第c个智能体的嵌入向量,φ为所述泄露线性整流单元,Wemb为嵌入向量权重,Wenc为LSTM权重,Wlin为线性层权重,经过编码器对原始输入数据编码,得到
Figure GDA0003869163010000098
Figure GDA0003869163010000099
Figure GDA00038691630100000910
为LSTM隐藏层最后一个单元的ht
步骤3:将目标车辆的原始数据输入至时间模式注意力单元,如图2所示。首先将aT输入至嵌入层,随后将嵌入层eT输出至单层LSTM中。可以从单层LSTM的输出中获得Hop=[op1,op2,…,opt]与ht,如下式所示:
Figure GDA00038691630100000911
其中,op为每一个LSTM单元的隐藏层输出,由于运用了单层LSTM,opt=ht。WTPA为LSTM的权重。其中ht作为注意力集中的Q,即查询序列(Query),
Figure GDA00038691630100000912
为LSTM隐藏层最后一个单元的ht
得到的Hop与m个卷积核
Figure GDA00038691630100000913
进行1维卷积(Conv1D),m=32。令k=thst,卷积操作如下所示:
Figure GDA0003869163010000101
其中i=1,2,…,m,j=1,2,…,k,
Figure GDA0003869163010000102
为卷积操作符,得到张量{Hm,k},记作H,首先作为键(K,Key),与查询序列ht通过权重矩阵Wsf得到得分函数
Figure GDA0003869163010000103
并且通过Sigmoid激活函数激活,如下式所示:
Figure GDA0003869163010000104
α=ψ(HTWsfht)
其中
Figure GDA0003869163010000105
得到的α称为注意力映射。随后张量{Hm,k}再作为值(V,Value),通过广播机制得到隐藏权重张量vt
Figure GDA0003869163010000106
最终,将vt与隐藏变量ht通过中间权重Wh与Wv相结合,即
ht'=Whht+Wvvt
其中,
Figure GDA0003869163010000107
步骤4:将步骤2得到的
Figure GDA0003869163010000108
进行感兴趣车辆加权,如图3所示。当编码器对车辆运动进行编码时,很难捕捉到驾驶环境的空间和位置模式。然而,目标车辆对周围智能体的依赖性不同。如果直接将周围智能体的编码张量作为解码器的输入,则会丢失位置信息。为了保持车辆的空间信息,根据空间位置对周围智能体的编码张量进行堆叠(Stack byPosition)。特别是,不需要考虑周围智能体的不同位置引起的问题,因为基于目标车辆的坐标系在输入
Figure GDA0003869163010000109
中提供。对于目标车辆,用零张量代替。
1×1卷积核用于在不增加通道数的情况下对叠加张量进行卷积运算:
Figure GDA00038691630100001010
其中,C1×1为1×1卷积核。此操作相当于在每个位置对车辆进行加权,并选择当前驾驶环境下目标车辆周围智能体的重要性。然后采用3×3卷积核进行卷积,增加通道数,提取更多的模式:
Figure GDA00038691630100001011
其中,squeeze()为将3维张量压缩至1维张量。
步骤5:解码器将步骤2中目标车辆编码张量hT、步骤3中时间模式注意张量ht'和步骤4中感兴趣车辆加权张量
Figure GDA0003869163010000111
串联(Concatenate,concat())起来:
Figure GDA0003869163010000112
式中,hdec为因变量串联后待解码张量,然后,利用一个分支预测驾驶机动的分布。需要注意的是,在训练过程中提供了一个横向和纵向驾驶机动的one-hot编码,车辆横向和纵向机动的概率通过FC层和Softmax层输出:
Figure GDA0003869163010000113
另一个分支重复(repeat())张量tfut次,对应于每个LSTM单元中。输出激活层后,每个单元的输出代表未来某个时刻的目标车辆坐标值。以上操作如下:
Figure GDA0003869163010000114
Figure GDA0003869163010000115
Figure GDA0003869163010000116
式中
Figure GDA0003869163010000117
是输出激活,其中,
Figure GDA0003869163010000118
为各驾驶操纵的预测概率分布,apred为在坐标系Op预测的车辆轨迹,解码器结构如图4所示:
步骤6:对于车辆轨迹预测值,使用均方误差作为回归任务的损失函数,如下所示:
Figure GDA0003869163010000119
式中,N为训练集中样本数,
Figure GDA00038691630100001110
为轨迹预测值,
Figure GDA00038691630100001111
为真实轨迹坐标。需要注意的是,换道、转向、急加减速等驾驶操纵相对与沿车道正常行驶较少,有时横向变道会同时出现急加减速,这使得不同类别之间的学习难度存在较大差距。通常,对于多类分类问题,多类交叉熵是一个常见的损失函数。然而,当分类不平衡或学习难度不同时,这种方法的准确性会在一定程度上降低。因此,我们用焦点损失(Focal Loss)进行补偿,如下式(以纵向驾驶操纵为例):
Figure GDA0003869163010000121
式中,η=1,β=2,ε为防止对数函数溢出;最后总损失为:
Figure GDA0003869163010000122
步骤7:对上述神经网络进行训练。整个神经网络的训练与测试环境为Ubuntu16.04LTS,Python 3.7。所采用的深度学习框架为Pytorch,对于LSTM编码器、解码器,隐层单元数取128,时间模式注意卷积核数取32。经过卷积后,利用Dropout方法防止过拟合,其比率为0.3,最终时间模式注意力输出维度为64,选择学习率为10-4的Adam优化器,mini-batch的大小是128。此外,为了更精细的训练,采用学习率计划表,即连续“patient”次数后损失没有减少时,学习率降低,一般patient选择为10个回合,选择学习率衰减系数为0.8,学习率为10-7后,学习率不降低。最终,得到训练好的模型,可以用来进行目标车辆的轨迹预测与驾驶操纵的分类。
尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。

Claims (5)

1.一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,其特征在于,包括:
步骤1,提取目标车辆与目标车辆周围智能体的输入特征;
步骤2,通过编码器对所述输入特征进行编码,分别通过时间模式注意力与感兴趣智能体加权对目标车辆与目标智能体周围车辆进行隐藏模式的提取;
将aT
Figure FDA0003820243280000011
分别输入至数据编码器,aT
Figure FDA0003820243280000012
之间共享参数权重;
式中,aT为自车输入特征,具体特征信息与诸位智能体相同,Nc为特征维数;
输入尺寸中的特征维度为7,即
Figure FDA0003820243280000013
将原始数据输入至嵌入层,输出尺寸中的特征维度为64;
激活函数选择为泄露线性整流单元,激活函数为:
Figure FDA0003820243280000014
式中,α=0.1;
对嵌入层进行更新,得到:
ec=φ(FC(ec;Wemb)),
式中,ec为周围第c个智能体的嵌入向量,φ为所述泄露线性整流单元,Wemb为全连接层权重;
将经过嵌入层得到的输出张量输入至单层长短时记忆网络,将最后一个LSTM单元的输出ht输入至线性单元,通过泄露线性整流单元函数进行激活;
其中,ec经过激活函数激活后的编码张量为:
Figure FDA0003820243280000021
其中,t为LSTM隐藏单元个数,为128个,
Figure FDA0003820243280000022
为第c辆目标车辆周围感兴趣车辆经过LSTM与LeakyReLU激活后的编码张量,Wemb为嵌入向量权重,Wenc为LSTM权重,Wlin为线性层权重,经过编码器对原始输入数据编码,得到
Figure FDA0003820243280000023
Figure FDA0003820243280000024
Figure FDA0003820243280000025
为LSTM隐藏层最后一个单元的ht
将aT输入至嵌入层,将嵌入层eT输出至单层LSTM中,可以从单层LSTM的输出中获得Hop=[op1,op2,…,opt]与ht,如下式所示:
Figure FDA0003820243280000026
其中,op为每一个LSTM单元的隐藏层输出,WTPA为LSTM的权重,其中ht作为注意力机制中查询序列(Query),
Figure FDA0003820243280000027
为目标车辆第t-1个隐藏单元的输出;
得到的Hop与m个卷积核
Figure FDA0003820243280000028
进行1维卷积(Conv1D),m=32,令k=thst,卷积操作如下所示:
Figure FDA0003820243280000029
其中i=1,2,…,m,j=1,2,…,k,
Figure FDA00038202432800000210
为卷积操作符,得到张量{Hm,k},记作H,首先作为键(K,Key),与查询序列ht通过权重矩阵Wsf得到得分函数
Figure FDA00038202432800000211
并且通过Sigmoid激活函数激活,即:
α=ψ(HTWsfht)
式中,
Figure FDA00038202432800000212
为中间权重矩阵,查询序列ht,随后,将得分函数映射广播到值(V,Value)上,隐变量vt被加权得到,即:
Figure FDA00038202432800000213
最终,将vt与隐藏变量ht通过中间权重Wh与Wv相结合,即:
ht'=Whht+Wvvt
其中,
Figure FDA0003820243280000031
当编码器对智能体运动进行编码时,根据空间位置对周围智能体的编码张量进行堆叠,对叠加张量进行卷积运算:
Figure FDA0003820243280000032
其中,C1×1为1×1卷积核,Conv为卷积操作,stack为向量堆叠操作,
Figure FDA0003820243280000033
为第c辆目标车辆周围感兴趣智能体经过激活函数激活后的编码张量;
采用3×3卷积核进行卷积,增加通道数,
Figure FDA0003820243280000034
其中,squeeze()为将3维张量压缩至1维张量,φ为leskyReLU,C3×3为一个3×3的卷积核;
步骤3,通过解码器对目标车辆的驾驶操纵类别进行识别,对目标车辆未来的行驶轨迹进行预测。
2.根据权利要求1所述的基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,其特征在于,所述步骤1包括:
对目标车辆与目标车辆周围智能体的行驶历史数据进行处理,记录所述目标车辆与目标车辆周围智能体的历史行驶轨迹;
所述目标车辆与目标车辆周围智能体的行驶轨迹数据记为:
Figure FDA0003820243280000035
式中,
Figure FDA0003820243280000036
为周围智能体集合,ac为周围智能体特征向量,c为周围智能体编号,Nc=8,Nc为特征维数;
对于每个智能体的历史轨迹,定义为
Figure FDA0003820243280000037
a为每个智能体的历史轨迹集合向量,wh为历史轨迹向量长度,其中,
Figure FDA0003820243280000038
其中,
Figure FDA0003820243280000039
为车智能体车辆行驶横向位置与纵向位置,x和y分别为Op坐标系的横轴与纵轴方向,class为智能体类别,若对应位置无智能体,则a=0。
3.根据权利要求2所述的基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,其特征在于,所述目标车辆周围智能体包括:目标车辆的前、后、左前、左旁、左后、右前、右旁、右后智能体中的与目标车辆的欧氏距离不超过150m的车辆。
4.根据权利要求3所述的基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,其特征在于,所述步骤3包括:
将所述解码器将编码张量hT、注意张量ht'、感兴趣智能体加权张量hA进行串联,得到:
Figure FDA0003820243280000041
式中,hdec为因变量串联后待解码张量;
利用一个分支预测驾驶操纵的分布,另一个分支重复重张量tfut次,对应于每个LSTM单元中,输出激活层后,每个单元的输出代表未来某个时刻的目标车辆坐标值,包括:
Figure FDA0003820243280000042
Figure FDA0003820243280000043
Figure FDA0003820243280000044
式中
Figure FDA0003820243280000045
为输出激活,其中,
Figure FDA0003820243280000046
为各驾驶操纵的预测概率分布,apred为在坐标系Op为预测的车辆轨迹。
5.根据权利要求4所述的基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法,其特征在于,还包括:
对车辆轨迹预测值使用均方差作为回归任务的损失函数,如下所示:
Figure FDA0003820243280000047
其中,N为训练集中样本数,
Figure FDA0003820243280000048
为轨迹预测值,
Figure FDA0003820243280000049
为真实轨迹坐标;
当分类不平衡或学习难度不同时,使用焦点损失进行补偿,如下所示:
Figure FDA0003820243280000051
式中,η=1,β=2,ε为防止对数函数溢出;总损失为:
Figure FDA0003820243280000052
CN202110364544.6A 2021-04-06 2021-04-06 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法 Active CN112949597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110364544.6A CN112949597B (zh) 2021-04-06 2021-04-06 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110364544.6A CN112949597B (zh) 2021-04-06 2021-04-06 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法

Publications (2)

Publication Number Publication Date
CN112949597A CN112949597A (zh) 2021-06-11
CN112949597B true CN112949597B (zh) 2022-11-04

Family

ID=76230579

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110364544.6A Active CN112949597B (zh) 2021-04-06 2021-04-06 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法

Country Status (1)

Country Link
CN (1) CN112949597B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435356B (zh) * 2021-06-30 2023-02-28 吉林大学 一种克服观察噪声与感知不确定性的轨迹预测方法
CN113954863A (zh) * 2021-09-07 2022-01-21 江苏大学 基于双注意力机制和改进Social Gan的车辆轨迹预测方法
CN113780665B (zh) * 2021-09-15 2023-09-29 湖南大学 一种基于增强循环神经网络的私家车停留位置预测方法和系统
CN113837297A (zh) * 2021-09-28 2021-12-24 中国科学技术大学先进技术研究院 一种基于ai的智能驾驶车辆周车的行为预测方法和系统
CN114387313A (zh) * 2022-01-07 2022-04-22 武汉东信同邦信息技术有限公司 一种运动轨迹预测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN111597961A (zh) * 2020-05-13 2020-08-28 中国科学院自动化研究所 面向智能驾驶的移动目标轨迹预测方法、系统、装置
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112257850A (zh) * 2020-10-26 2021-01-22 河南大学 一种基于生成对抗网络的车辆轨迹预测方法
CN112465273A (zh) * 2020-12-25 2021-03-09 湖北汽车工业学院 一种基于局部注意力机制的无人车轨迹预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10950130B2 (en) * 2018-03-19 2021-03-16 Derq Inc. Early warning and collision avoidance
EP3705367B1 (en) * 2019-03-05 2022-07-27 Bayerische Motoren Werke Aktiengesellschaft Training a generator unit and a discriminator unit for collision-aware trajectory prediction
CN111046919B (zh) * 2019-11-21 2023-05-12 南京航空航天大学 一种融合行为意图的周围动态车辆轨迹预测系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163439A (zh) * 2019-05-24 2019-08-23 长安大学 一种基于注意力机制的城市规模出租车轨迹预测方法
CN111597961A (zh) * 2020-05-13 2020-08-28 中国科学院自动化研究所 面向智能驾驶的移动目标轨迹预测方法、系统、装置
CN111931905A (zh) * 2020-07-13 2020-11-13 江苏大学 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法
CN112257850A (zh) * 2020-10-26 2021-01-22 河南大学 一种基于生成对抗网络的车辆轨迹预测方法
CN112465273A (zh) * 2020-12-25 2021-03-09 湖北汽车工业学院 一种基于局部注意力机制的无人车轨迹预测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Attention Based Vehicle Trajectory Prediction;Kaouther Messaoud 等;《IEEE Transactions on Intelligent Vehicles》;20210331;第6卷(第1期);175-185 *
Non-local Social Pooling for Vehicle Trajectory Prediction;Kaouther Messaoud 等;《2019 IEEE Intelligent Vehicles Symposium (IV)》;20190829;975-980 *
基于注意力机制的车辆行为预测;蔡英凤 等;《江苏大学学报(自然科学版)》;20200310;第41卷(第2期);第125-130页,第1-4节 *
基于深度学习的复杂交通环境下目标跟踪与轨迹预测研究;高铭;《中国博士学位论文全文数据库 工程科技Ⅱ辑》;20200815(第08(2020)期);C035-13 *
基于视频处理的交通事件识别方法研究;胡宏宇;《中国博士学位论文全文数据库 信息科技辑》;20100815(第08(2010)期);I138-33 *
注意力机制与图卷积方法融合的行程时间预测算法研究;安鹏进;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20210115(第01(2021)期);C034-1034 *

Also Published As

Publication number Publication date
CN112949597A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112949597B (zh) 一种基于时间模式注意力机制的车辆轨迹预测与驾驶操纵识别方法
Cai et al. Environment-attention network for vehicle trajectory prediction
CN112257850B (zh) 一种基于生成对抗网络的车辆轨迹预测方法
Eiffert et al. Probabilistic crowd GAN: Multimodal pedestrian trajectory prediction using a graph vehicle-pedestrian attention network
CN111339867B (zh) 一种基于生成对抗网络的行人轨迹预测方法
CN113911129B (zh) 一种基于驾驶行为生成机制的交通车意图识别方法
Gao et al. Dual transformer based prediction for lane change intentions and trajectories in mixed traffic environment
US11816901B2 (en) Multi-agent trajectory prediction
Huang et al. Gameformer: Game-theoretic modeling and learning of transformer-based interactive prediction and planning for autonomous driving
CN111695435A (zh) 基于深度混合编解码神经网络的驾驶员行为识别方法
Mukherjee et al. Interacting vehicle trajectory prediction with convolutional recurrent neural networks
Nadarajan et al. Machine learning architectures for the estimation of predicted occupancy grids in road traffic
CN116503446A (zh) 目标驱动和分布热力图输出的多模态车辆轨迹预测方法
CN114179830B (zh) 一种自动驾驶车辆的自主超车方法和系统
CN112435466B (zh) 混合交通流环境下cacc车辆退变为传统车的接管时间预测方法及系统
Shao et al. Failure detection for motion prediction of autonomous driving: An uncertainty perspective
CN117408406A (zh) 一种规划耦合的多目标车辆轨迹预测方法及系统
CN116946183A (zh) 一种考虑驾驶能力的商用车驾驶行为预测方法及车用设备
CN116258242A (zh) 一种自动驾驶车辆反应式轨迹预测方法及系统
Li et al. Intention-convolution and hybrid-attention network for vehicle trajectory prediction
CN111160089A (zh) 一种基于不同车辆类型的轨迹预测系统及方法
CN115810351A (zh) 一种基于视听融合的管制员语音识别方法及装置
CN111443701A (zh) 基于异构深度学习的无人驾驶车辆/机器人行为规划方法
Sun et al. Vision-based traffic conflict detection using trajectory learning and prediction
Raj et al. Lane Prediction by Autonomous Vehicle in Highway Traffic using Artificial Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant