CN114368387A - 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 - Google Patents
一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 Download PDFInfo
- Publication number
- CN114368387A CN114368387A CN202111569877.9A CN202111569877A CN114368387A CN 114368387 A CN114368387 A CN 114368387A CN 202111569877 A CN202111569877 A CN 202111569877A CN 114368387 A CN114368387 A CN 114368387A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- information
- time
- gru
- hidden state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000007246 mechanism Effects 0.000 title claims abstract description 38
- 239000000126 substance Substances 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000013507 mapping Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000002093 peripheral effect Effects 0.000 claims description 11
- 230000000306 recurrent effect Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 5
- 230000003442 weekly effect Effects 0.000 claims description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 4
- 230000006870 function Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 9
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000034994 death Effects 0.000 description 2
- 231100000517 death Toxicity 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4041—Position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/40—High definition maps
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种针对驾驶员的意图识别及自车车辆轨迹预测的方法,其主要包括以下步骤:步骤一、基于自车历史轨迹信息进行编码,并设置了注意力机制Ⅰ,对编码后的信息计算并获得注意力得分;步骤二、基于周车历史轨迹信息进行编码,并设置了注意力机制Ⅱ,对编码后的信息计算并获得重要性得分;步骤三、基于自车历史轨迹信息编码器识别驾驶员意图,即计算左转、保持车道、右转的概率,并建立解码器预测获得自车车辆的未来位置。
Description
技术领域
本发明涉及一种人性化先进辅助驾驶系统(ADAS)的设计,特别是关于一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法。
背景技术
随着科技的不断进步,汽车早已成为人们生活中不可缺少的交通工具。据中商产业研究院预测,2020年中国机动车保有量约3.67亿辆。随着汽车保有量的逐渐上升,人们的出行逐渐从公共交通转变为私家车的交通方式,虽然汽车的使用为人们提供了巨大的交通便利,但是也引发了一系列新的问题,特别是交通安全问题。据世界卫生组织统计,每年道路交通事故在全球造成约130万人死亡,2000万至-5000万人受到非致命性伤害,而且道路交通事故是所有年龄组的主要死亡原因,也是15-29岁年轻人的主要死亡原因。另外,每年由交通事故造成的经济损失约为5180亿美元,而其中大约90%的交通安全事故是由驾驶员操作不当所产生的。为了降低由驾驶员操作不当导致的交通事故所带来的伤害,近年来驾驶员辅助系统得到了快速的发展和应用,例如车道偏离预警系统、车道保持辅助系统以及自适应巡航控制系统等,这些智能系统通常是根据当前时刻车辆状态和驾驶环境信息进行评估,与驾驶员协同控制车辆,一定程度上提高了行车安全性。
在智能车辆的人机协同决策与控制中,控制权的分配是一个关键问题。车辆运行过程中,当智能系统与驾驶员在决策上不一致时会发生控制权争夺,不利于行车安全性,违背了智能系统发明的初衷。因此,智能系统能够理解驾驶员意图是人机协同控制、决策的关键。驾驶员期望的车辆轨迹是驾驶员意图中的一个重要部分,可以帮助智能系统做出更好的决策。在轨迹预测方法中,可分为两种基本方法,一种是基于模型的方法,如卡尔曼滤波。通过贝叶斯滤波、扩展卡尔曼滤波、无迹卡尔曼滤波等方法,可以求解恒定转向率和速度模型以及恒定转向率和加速度模型等二次型车辆运动模型,其中,卡尔曼滤波器通过计算预测方程可以提供车辆的短期运动预测。但是这种基于模型的方法只能提供未来一个时间步长的车辆位置预测,不足以供智能系统做出决策。此外,该方法还缺少对驾驶员因素和交通场景的考虑。另外一种是基于数据的方法,比如高斯混合模型、隐马尔可夫模型等生成模型,还有进行序列预测的人工神经网络和深度学习的模型以及反向强化学习模型等。基于数据的方法能够考虑由驾驶员或交通场景带来的未来车辆运动的不确定性,但是需要借助于昂贵的传感器和高性能处理器,如3D雷达点云,存在成本过高、计算过于复杂的问题。
发明内容
现实场景中,自车与其周边车道的相关车辆组成一个相互依赖的整体,各自的行为影响着彼此的决策。以往的研究往往只以自车历史轨迹为输入来预测车辆的未来轨迹,显然是不符合实际的,本发明不仅考虑了周车信息,并增加了注意力机制,提出了一种基于GRU的带有注意力机制的车辆轨迹预测编-解码器模型。该方法仅需要来自GPS等高精度地图的车辆位置信息,它将自车历史信息、周车历史信息以及识别的驾驶员意图作为输入,最终输出预测得到的驾驶员期望轨迹。其中2个注意机制分别关注于自车和周车历史信息,提高了预测精度。为实现上述目的,本发明采取以下技术方案:
1.一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法。主要涉及的步骤如下:
步骤一:基于自车历史轨迹信息进行编码,并设置了注意力机制Ⅰ,对编码后的信息计算并获得注意力得分;
步骤二:基于周车历史轨迹信息进行编码,并设置了注意力机制II,对编码后的信息计算并获得重要性得分;
步骤三:基于自车历史轨迹信息编码器识别驾驶员意图,即计算左转、保持车道、右转的概率,并建立解码器预测获得自车车辆的未来位置;
2.步骤一:建立基自车历史轨迹信息编码器并设置注意力机制包括以下几个步骤:
①首先对自车的位置信息单独采用一个编码器进行编码,然后对编码过后的信息设置注意力机制Ⅰ,公式(1)给出自车车辆位置的表示方法。
Pt=(xt,yt) (1)
其中,Pt为自车的位置信息,xt为自车车辆t时刻的横向位置;yt为自车车辆t时刻的纵向位置。
编码器结构采用基于GRU的循环神经网络(GRU是循环神经网络RNN的一种),在t时刻,将自车的车辆位置输入给循环单元GRU,从而求得其t时刻的隐藏状态,自车车辆t时刻的隐藏状态由公式(2)给出。
其中,为自车历史轨迹编码器在t时刻的隐藏状态,上角标1表示自车历史轨迹编码器,为自车车辆在t-1时刻的隐藏状态,fGRU为GRU单元内部的一种映射关系,由上一个隐藏状态和当前节点的输入得到当前隐藏状态,本发明中,在t时刻,自车历史轨迹编码器中第j个GRU单元的映射关系的具体形式由公式(3)给出。
候选隐藏状态的激活函数选择为tanh函数,由公式(5)给出。
其中,rt j为重置门,σ为sigmod函数,Wr和Ur为更新门的训练参数。
GRU单元根据每个时刻自车的位置信息Pt和上一时刻的GRU所传递的隐藏状态,得到当前节点的隐藏状态并输出。
②在对车辆轨迹的长期预测中,隐藏向量ht会随着序列长度的增长而丢失信息,为了缓解这个问题,本发明引入了注意力机制,建立一种基于自车历史轨迹信息的注意力机制Ⅰ,命名为Attention_h,它所关注的就是t时刻的自车位置信息Pt与其历史隐藏状态的相关性,本发明选择以加权点乘的形式来计算相关性,由公式(7)给出。
最终,完整的自车信息是由自车位置信息和注意力得分所结合得到的信息,由公式(9)给出。
GRU单元根据每个时刻自车的位置信息Pt和上一时刻的GRU所传递的隐藏状态,得到当前节点的隐藏状态并输出。相比于长短时记忆单元(LSTM),GRU单元合并了忘记门与输入门、细胞状态与隐藏状态,减少计算时间的同时也能解决RNN的梯度爆炸问题。另外,GRU隐藏单元个数均为128,fc全连接层设置为3层,每层128个节点,激活函数为relu,最后一层为线性层加上一层softmax层,损失函数采用交叉熵。
3.步骤二:建立周车历史轨迹信息编码器并设置注意力机制II包括以下几个步骤:
①周车由自车车辆的左前、正前、右前、左后、正后、右后方的6辆他车组成,公式(10)给出周车位置信息的表示方法。
编码器结构采用基于GRU的循环神经网络,在t时刻,将周车的车辆位置输入给循环单元GRU,从而求得其t时刻的隐藏状态,由公式(11)给出。
其中,为周车信息编码器t时刻的隐层状态,上角标2表示周车信息编码器,为在t-1时刻的隐层状态,fGRU为GRU单元内部从上一个隐藏状态和当前节点的输入到当前隐藏状态的一种映射关系,本发明中,在t时刻,周车历史轨迹编码器中第i个GRU单元的映射关系的具体形式由公式(12)给出。
候选隐藏状态的激活函数选择为tanh函数,由公式(14)给出。
其中,rt i为重置门,σ为sigmod函数,Wr和Ur为更新门的训练参数。
②由于在实际的驾驶过程中,驾驶员对不同距离的车往往施加不同程度的注意。因此本发明建立了一种基于周车历史轨迹信息的注意力机制,命名为Attention_n,它所关注的是t时刻各辆周车和自车的轨迹相关性,即周车对自车的重要性,本发明选择对6辆周车的历史隐层与自车的历史隐层进行向量相似度计算,由公式(16)给出。
ssi=cos_d(Hsi,H),i=(1,2,3,4,5,6) (16)
其中,ssi为相似度,cos_d为余弦距离函数,Hsi为某辆周车的历史隐层,H为自车的历史隐层,某辆车的历史轨迹对应的m个历史隐层表示为(hk-m,hk-m+1,...,hk)。
然后,对相似度ssi进行归一化计算得到重要性得分,由公式(17)给出。
再将某辆车的重要性得分与与其历史轨迹信息合并起来作为该辆周车的信息,由公式(18)给出。
4.步骤三:基于自车历史轨迹信息识别驾驶员意图,并建立解码器输出预测获得的自车驾驶员期望轨迹包括以下几个步骤:
①采用softmax函数计算出驾驶意图,即左转、保持车道、右转的概率,最终输出一个概率矩阵Ω,由公式(20)表示。
Ω=(ω1,ω2,ω3) (20)
其中,ω1为自车未来左转的概率,ω2为自车未来保持车道的概率,ω3为自车未来右转时的概率,由公式(21)计算得到。
ωi=P(ci|I) (21)
然后,对输出的概率进行逻辑判断,将ω1,ω2,ω3中最大的概率值所对应的类别作为正确的类型。
②在t时刻,解码器模块基于已获得的驾驶员意图,把周车信息和自车信息以及上一时刻的隐藏层变量作为输入,计算得到自车的驾驶员意图下的期望轨迹所对应的隐层状态。解码器的隐层状态计算由式(22)给出,预测起始时刻为k+1,预测终止时刻为k+n。
进行迭代运算得到自车从k+1时刻的位置Pk+1到k+n时刻的位置Pk+n,获得未来n时间长度的驾驶员期望轨迹序列。
本发明由于采取以上技术方案,相比于现有方法,具有以下优点:
1.本发明不仅考虑了自车的历史信息,还考虑了其周边6辆车的历史信息,更加符合真实驾驶场景中自车与其周边车辆存在信息交互的特点,即更符合实际。
2.本发明设计了两种注意力机制,分别关注于自车和周车历史信息。其中,关注于自车的注意力机制计算的是自车历史轨迹信息中某一时刻的位置信息对自车未来轨迹的影响,关注于周车的注意力机制关注的是不同的周车对预测自车未来轨迹的影响,这两个注意力机制可以提高预测精度。
3.本发明所提出的模型输入仅需要来自GPS等高精度地图的车辆位置信息,计算简单,节省了成本。
附图说明
图1是自车和周车标识示意图
图2是驾驶员期望轨迹预测模型结构图
图3是轨迹分类依据说明图
图4是重要性得分示意图
图5是驾驶员期望轨迹预测结果示意图
具体实施方式
以下进一步说明本发明的具体内容及其实施方式。
本实施例中一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法。主要涉及的步骤如下:
步骤一:基于自车历史轨迹信息进行编码,并设置了注意力机制Ⅰ,对编码后的信息计算并获得注意力得分;
①图1为自车和周车标识示意图,图2为驾驶员期望轨迹预测模型结构图,自车为图1中标示为P的车辆,首先对自车的位置信息单独采用一个编码器进行编码,然后对编码过后的信息设置注意力机制Ⅰ,公式(1)给出自车车辆位置的表示方法。
Pt=(xt,yt) (1)
其中,Pt为自车的位置信息,xt为自车车辆t时刻的横向位置;yt为自车车辆t时刻的纵向位置。
编码器结构采用基于GRU的循环神经网络(GRU是循环神经网络RNN的一种),在t时刻,将自车的车辆位置输入给循环单元GRU,从而求得其t时刻的隐藏状态,自车车辆t时刻的隐藏状态由公式(2)给出。
其中,为自车历史轨迹编码器在t时刻的隐藏状态,上角标1表示自车历史轨迹编码器,为自车车辆在t-1时刻的隐藏状态,fGRU为GRU单元内部的一种映射关系,由上一个隐藏状态和当前节点的输入得到当前隐藏状态,本发明中,在t时刻,自车历史轨迹编码器中第j个GRU单元的映射关系的具体形式由公式(3)给出。
候选隐藏状态的激活函数选择为tanh函数,由公式(5)给出。
其中,rt j为重置门,σ为sigmod函数,Wr和Ur为更新门的训练参数。
GRU单元根据每个时刻自车的位置信息Pt和上一时刻的GRU所传递的隐藏状态,得到当前节点的隐藏状态并输出。
②在对车辆轨迹的长期预测中,隐藏向量ht会随着序列长度的增长而丢失信息,为了缓解这个问题,本发明引入了注意力机制,建立一种基于自车历史轨迹信息的注意力机制Ⅰ,命名为Attention_h,它所关注的就是t时刻的自车位置信息Pt与其历史隐藏状态的相关性,本发明选择以加权点乘的形式来计算相关性,由公式(7)给出。
最终,完整的自车信息是由自车位置信息和注意力得分所结合得到的信息,由公式(9)给出。
GRU单元根据每个时刻自车的位置信息Pt和上一时刻的GRU所传递的隐藏状态,得到当前节点的隐藏状态并输出。相比于长短时记忆单元(LSTM),GRU单元合并了忘记门与输入门、细胞状态与隐藏状态,减少计算时间的同时也能解决RNN的梯度爆炸问题。另外,GRU隐藏单元个数均为128,fc全连接层设置为3层,每层128个节点,激活函数为relu,最后一层为线性层加上一层softmax层,损失函数采用交叉熵。
步骤二:基于周车历史轨迹信息进行编码,并设置了注意力机制II,对编码后的信息计算并获得重要性得分;
①如图1所示,周车由自车车辆的左前、正前、右前、左后、正后、右后方的6辆他车组成,公式(10)给出周车位置信息的表示方法。
周车的编码器结构与自车一致,编码器结构采用基于GRU的循环神经网络,在t时刻,将周车的车辆位置输入给循环单元GRU,从而求得其t时刻的隐藏状态,由公式(11)给出。
其中,为周车信息编码器t时刻的隐层状态,上角标2表示周车信息编码器,为在t-1时刻的隐层状态,fGRU为GRU单元内部从上一个隐藏状态和当前节点的输入到当前隐藏状态的一种映射关系,本发明中,在t时刻,周车历史轨迹编码器中第i个GRU单元的映射关系的具体形式由公式(12)给出。
候选隐藏状态的激活函数选择为tanh函数,由公式(14)给出。
其中,rt i为重置门,σ为sigmod函数,Wr和Ur为更新门的训练参数。
②由于在实际的驾驶过程中,驾驶员对不同距离的车往往施加不同程度的注意。因此本发明建立了一种基于周车历史轨迹信息的注意力机制II,命名为Attention_n,它所关注的是t时刻各辆周车和自车的轨迹相关性,即周车对自车的重要性,本发明选择对6辆周车的历史隐层与自车的历史隐层进行向量相似度计算,由公式(16)给出。
ssi=cos_d(Hsi,H),i=(1,2,3,4,5,6) (16)
其中,ssi为相似度,cos_d为余弦距离函数,Hsi为某辆周车的历史隐层,H为自车的历史隐层,某辆车的历史轨迹对应的m个历史隐层表示为(hk-m,hk-m+1,...,hk)。
然后,对相似度ssi进行归一化计算得到重要性得分,由公式(17)给出。
再将某辆车的重要性得分与其历史轨迹信息合并起来作为该辆周车的信息,由公式(18)给出。
图4为重要性得分示意图,在该图中,自车未来将右换道,注意力机制II会对6辆周车的历史隐层与自车的历史隐层进行向量相似度计算,若此时图2中相应位置无车,则将该车的位置设置为重要性得分是根据周车距离自车的远近计算的,图4中距离自车P最近的车是S1,较近的是S5,稍远的是S2,最远的是S4,那么这四辆周车的重要性得分由高到低依次是S1、S5、S2、S4,也就意味着驾驶员会对S1施加更多的注意力,其次是S5、S2、S4。
步骤三:基于自车历史轨迹信息编码器识别驾驶员意图,即计算左转、保持车道、右转的概率,并建立解码器预测获得自车车辆的未来位置;
①采用softmax函数计算出驾驶意图,即左转、保持车道、右转的概率,最终输出一个概率矩阵Ω,由公式(20)表示。
Ω=(ω1,ω2,ω3) (20)
其中,ω1为自车未来左转的概率,ω2为自车未来保持车道的概率,ω3为自车未来右转时的概率,由公式(21)计算得到。
ωi=P(ci|I) (21)
然后,对输出的概率进行逻辑判断,将ω1,ω2,ω3中最大的概率值所对应的类别作为正确的类型。在获取到驾驶员意图后,解码器将在此意图下预测期望轨迹,例如,若获取到的驾驶员意图是右换道,那么解码器模块将会基于自车和周车的历史信息输出自车未来右转的轨迹;若获取到的驾驶员意图是保持直行,那么解码器模块将会输出自车直行的期望轨迹。
意图识别模块负责识别驾驶员行为,对编码过后的自车历史轨迹信息按照分类规则分成左换道、直行、右换道3类,后期将基于这些数据来训练所建立的预测模型。分类规则是:将车辆轨迹与车道线的交点定义为换道中点,按照计算求出从换道中点起过去3个采样点的航向角,若都满足|θ|≤θs(θs为采样始点的航向角),则将这三个采样点中第一次到达θs的点定义为换道始点。换道终点的设置方法与换道始点相同,它们之间的点都称为换道点,如图3所示。
②驾驶员期望轨迹预测模型结构图如图2所示,在t时刻,解码器模块基于已获得的驾驶员意图,把周车信息和自车信息以及上一时刻的隐藏层变量作为输入,计算得到自车的驾驶员意图下的期望轨迹所对应的隐层状态。解码器的隐层状态计算由式(22)给出,预测起始时刻为k+1,预测终止时刻为k+n。
Claims (5)
1.一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法,其特征在于,该方法主要包括以下步骤:
步骤一:基于自车历史轨迹信息进行编码,并设置了注意力机制Ⅰ,对编码后的信息计算并获得注意力得分;自车历史轨迹信息编码采用的编码器结构基于GRU的循环神经网络,GRU单元根据每个时刻自车的位置信息Pt和上一时刻的GRU所传递的隐藏状态,得到当前节点的隐藏状态并输出;所述的注意力机制Ⅰ是t时刻的自车位置信息Pt与其历史隐藏状态的相关性,该相关性由公式(1)给出;
最终,完整的自车信息是由自车位置信息和注意力得分所结合得到的信息,由公式(3)给出;
步骤二:基于周车历史轨迹信息进行编码,并设置了注意力机制II,对编码后的信息计算并获得重要性得分;周车历史轨迹信息编码采用的编码器结构基于GRU的循环神经网络,GRU单元根据每个时刻周车位置信息Et和上一时刻的GRU所传递的隐藏状态,得到当前节点的隐藏状态并输出;所述的注意力机制II是t时刻各辆周车和自车的轨迹相关性由公式(4)给出;
ssi=cos_d(Hsi,H),i=(1,2,3,4,5,6) (4)
其中,ssi为相似度,cos_d为余弦距离函数,Hsi为某辆周车的历史隐层,H为自车的历史隐层,某辆车的历史轨迹对应的m个历史隐层表示为(hk-m,hk-m+1,...,hk);
然后,对相似度ssi进行归一化计算得到重要性得分,由公式(5)给出;
再将某辆车的重要性得分与与其历史轨迹信息合并起来作为该辆周车的信息,由公式(6)给出;
步骤三:基于自车历史轨迹信息编码器识别驾驶员意图,即计算左转、保持车道、右转的概率,并建立解码器预测获得自车车辆的未来位置。
2.根据权利要求1所述的基于注意力机制的驾驶员意图识别及车辆轨迹预测方法,其特征在于,
步骤一:基于自车历史轨迹信息进行编码的步骤如下:
首先对自车的位置信息单独采用一个编码器进行编码,公式(8)给出自车车辆位置的表示方法;
Pt=(xt,yt) (8)
其中,Pt为自车的位置信息,xt为自车车辆t时刻的横向位置;yt为自车车辆t时刻的纵向位置;
编码器结构采用基于GRU的循环神经网络,在t时刻,将自车的车辆位置输入给循环单元GRU,从而求得其t时刻的隐藏状态,自车车辆t时刻的隐藏状态由公式(9)给出;
其中,为自车历史轨迹编码器在t时刻的隐藏状态,上角标1表示自车历史轨迹编码器,为自车车辆在t-1时刻的隐藏状态,fGRU为GRU单元内部的一种映射关系,由上一个隐藏状态和当前节点的输入得到当前隐藏状态;在t时刻,自车历史轨迹编码器中第j个GRU单元的映射关系的具体形式由公式(10)给出;
候选隐藏状态的激活函数选择为tanh函数,由公式(12)给出;
其中,rt j为重置门,σ为sigmod函数,Wr和Ur为更新门的训练参数;
GRU单元根据每个时刻自车的位置信息Pt和上一时刻的GRU所传递的隐藏状态,得到当前节点的隐藏状态并输出。
3.根据权利要求1所述的基于注意力机制的驾驶员意图识别及车辆轨迹预测方法,其特征在于,基于周车历史轨迹信息进行编码的步骤如下:
周车由自车车辆的左前、正前、右前、左后、正后、右后方的6辆他车组成,公式(14)给出周车位置信息的表示方法;
编码器结构采用基于GRU的循环神经网络,在t时刻,将周车的车辆位置输入给循环单元GRU,从而求得其t时刻的隐藏状态,由公式(15)给出;
其中,为周车信息编码器t时刻的隐层状态,上角标2表示周车信息编码器,为在t-1时刻的隐层状态,fGRU为GRU单元内部从上一个隐藏状态和当前节点的输入到当前隐藏状态的一种映射关系,本发明中,在t时刻,周车历史轨迹编码器中第i个GRU单元的映射关系的具体形式由公式(16)给出;
候选隐藏状态的激活函数选择为tanh函数,由公式(18)给出;
4.根据权利要求1所述的基于注意力机制的驾驶员意图识别及车辆轨迹预测方法,其特征在于,步骤三:基于自车历史轨迹信息识别驾驶员意图的步骤如下:
采用softmax函数计算出驾驶意图,即左转、保持车道、右转的概率,最终输出一个概率矩阵Ω,由公式(20)表示;
Ω=(ω1,ω2,ω3) (20)
其中,ω1为自车未来左转的概率,ω2为自车未来保持车道的概率,ω3为自车未来右转时的概率,由公式(21)计算得到;
ωi=P(ci|I) (21)
然后,对输出的概率进行逻辑判断,将ω1,ω2,ω3中最大的概率值所对应的类别作为正确的类型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111569877.9A CN114368387B (zh) | 2021-12-21 | 2021-12-21 | 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111569877.9A CN114368387B (zh) | 2021-12-21 | 2021-12-21 | 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114368387A true CN114368387A (zh) | 2022-04-19 |
CN114368387B CN114368387B (zh) | 2024-06-14 |
Family
ID=81140368
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111569877.9A Active CN114368387B (zh) | 2021-12-21 | 2021-12-21 | 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114368387B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115688682A (zh) * | 2022-12-29 | 2023-02-03 | 浙江工业大学 | 一种基于模糊预测的车辆轨迹数据压缩方法及装置 |
CN116128158A (zh) * | 2023-04-04 | 2023-05-16 | 西南石油大学 | 混合采样注意力机制的油井效率预测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180362081A1 (en) * | 2017-06-16 | 2018-12-20 | Robert Bosch Gmbh | Method for operating a lane-keeping assistance system |
CN109334670A (zh) * | 2018-12-04 | 2019-02-15 | 吉林大学 | 一种车辆驾驶人监控预警方法、系统、设备及存储介质 |
CN110415266A (zh) * | 2019-07-19 | 2019-11-05 | 东南大学 | 一种基于本车周围车辆轨迹预测安全行驶的方法 |
JP2020042808A (ja) * | 2018-09-13 | 2020-03-19 | 本田技研工業株式会社 | 自己中心映像に基づく将来の車両位置特定のためのシステム及び方法 |
US20200324794A1 (en) * | 2020-06-25 | 2020-10-15 | Intel Corporation | Technology to apply driving norms for automated vehicle behavior prediction |
CN111930110A (zh) * | 2020-06-01 | 2020-11-13 | 西安理工大学 | 一种结合社会生成对抗网络的意图轨迹预测方法 |
CN112937603A (zh) * | 2019-12-10 | 2021-06-11 | 三星电子株式会社 | 用于预测目标车辆的位置的系统和方法 |
CN112977472A (zh) * | 2019-12-12 | 2021-06-18 | 百度(美国)有限责任公司 | 预测车辆的移动轨迹的方法及系统 |
WO2021134172A1 (zh) * | 2019-12-30 | 2021-07-08 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
CN113401143A (zh) * | 2021-07-19 | 2021-09-17 | 电子科技大学长三角研究院(衢州) | 一种基于驾驶风格和意图的个性化自适应轨迹预测方法 |
-
2021
- 2021-12-21 CN CN202111569877.9A patent/CN114368387B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180362081A1 (en) * | 2017-06-16 | 2018-12-20 | Robert Bosch Gmbh | Method for operating a lane-keeping assistance system |
JP2020042808A (ja) * | 2018-09-13 | 2020-03-19 | 本田技研工業株式会社 | 自己中心映像に基づく将来の車両位置特定のためのシステム及び方法 |
CN110895674A (zh) * | 2018-09-13 | 2020-03-20 | 本田技研工业株式会社 | 用于基于自我中心视觉的未来车辆定位的系统和方法 |
CN109334670A (zh) * | 2018-12-04 | 2019-02-15 | 吉林大学 | 一种车辆驾驶人监控预警方法、系统、设备及存储介质 |
CN110415266A (zh) * | 2019-07-19 | 2019-11-05 | 东南大学 | 一种基于本车周围车辆轨迹预测安全行驶的方法 |
EP3836013A1 (en) * | 2019-12-10 | 2021-06-16 | Samsung Electronics Co., Ltd. | Systems and methods for trajectory prediction |
KR20210074193A (ko) * | 2019-12-10 | 2021-06-21 | 삼성전자주식회사 | 궤적 예측을 위한 시스템 및 방법 |
CN112937603A (zh) * | 2019-12-10 | 2021-06-11 | 三星电子株式会社 | 用于预测目标车辆的位置的系统和方法 |
CN112977472A (zh) * | 2019-12-12 | 2021-06-18 | 百度(美国)有限责任公司 | 预测车辆的移动轨迹的方法及系统 |
WO2021134172A1 (zh) * | 2019-12-30 | 2021-07-08 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
CN113261035A (zh) * | 2019-12-30 | 2021-08-13 | 华为技术有限公司 | 一种轨迹预测方法及相关设备 |
CN111930110A (zh) * | 2020-06-01 | 2020-11-13 | 西安理工大学 | 一种结合社会生成对抗网络的意图轨迹预测方法 |
US20200324794A1 (en) * | 2020-06-25 | 2020-10-15 | Intel Corporation | Technology to apply driving norms for automated vehicle behavior prediction |
CN113401143A (zh) * | 2021-07-19 | 2021-09-17 | 电子科技大学长三角研究院(衢州) | 一种基于驾驶风格和意图的个性化自适应轨迹预测方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115688682A (zh) * | 2022-12-29 | 2023-02-03 | 浙江工业大学 | 一种基于模糊预测的车辆轨迹数据压缩方法及装置 |
CN115688682B (zh) * | 2022-12-29 | 2023-11-14 | 浙江工业大学 | 一种基于模糊预测的车辆轨迹数据压缩方法及装置 |
CN116128158A (zh) * | 2023-04-04 | 2023-05-16 | 西南石油大学 | 混合采样注意力机制的油井效率预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114368387B (zh) | 2024-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11899411B2 (en) | Hybrid reinforcement learning for autonomous driving | |
Jeong et al. | Surround vehicle motion prediction using LSTM-RNN for motion planning of autonomous vehicles at multi-lane turn intersections | |
CN112099496B (zh) | 一种自动驾驶训练方法、装置、设备及介质 | |
CN112162555B (zh) | 混合车队中基于强化学习控制策略的车辆控制方法 | |
CN112347567A (zh) | 一种车辆意图和轨迹预测的方法 | |
CN111930110A (zh) | 一种结合社会生成对抗网络的意图轨迹预测方法 | |
CN111311945A (zh) | 一种融合视觉和传感器信息的驾驶决策系统及方法 | |
CN114368387A (zh) | 一种基于注意力机制的驾驶员意图识别及车辆轨迹预测方法 | |
CN114312830B (zh) | 一种考虑危险驾驶工况的智能车耦合决策模型及方法 | |
CN115053237A (zh) | 载具意图预测神经网络 | |
Wirthmüller et al. | Predicting the time until a vehicle changes the lane using LSTM-based recurrent neural networks | |
CN113859266A (zh) | 一种非结构化道路目标车辆换道轨迹预测方法及系统 | |
CN115071762B (zh) | 面向城市场景下行人轨迹预测方法、模型及存储介质 | |
CN114399743A (zh) | 一种障碍物未来轨迹的生成方法 | |
CN117141517A (zh) | 数据驱动与知识引导相结合的车辆轨迹预测模型构建方法 | |
CN114030485A (zh) | 一种考虑附着系数的自动驾驶汽车类人换道决策规划方法 | |
Shi et al. | A novel network architecture of decision-making for self-driving vehicles based on long short-term memory and grasshopper optimization algorithm | |
Jeong | Predictive lane change decision making using bidirectional long shot-term memory for autonomous driving on highways | |
Gao et al. | Discretionary cut-in driving behavior risk assessment based on naturalistic driving data | |
CN114926823A (zh) | 基于wgcn的车辆驾驶行为预测方法 | |
Peng et al. | Driving maneuver detection via sequence learning from vehicle signals and video images | |
Gross et al. | Route and stopping intent prediction at intersections from car fleet data | |
Siboo et al. | An empirical study of ddpg and ppo-based reinforcement learning algorithms for autonomous driving | |
Selvaraj et al. | Edge learning of vehicular trajectories at regulated intersections | |
Gao et al. | Deep learning‐based hybrid model for the behaviour prediction of surrounding vehicles over long‐time periods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |