CN112215337B - 一种基于环境注意力神经网络模型的车辆轨迹预测方法 - Google Patents
一种基于环境注意力神经网络模型的车辆轨迹预测方法 Download PDFInfo
- Publication number
- CN112215337B CN112215337B CN202011064925.4A CN202011064925A CN112215337B CN 112215337 B CN112215337 B CN 112215337B CN 202011064925 A CN202011064925 A CN 202011064925A CN 112215337 B CN112215337 B CN 112215337B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- graph
- attention
- node
- vehicles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000003062 neural network model Methods 0.000 title claims abstract description 15
- 230000007613 environmental effect Effects 0.000 claims abstract description 22
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 238000013528 artificial neural network Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 230000007246 mechanism Effects 0.000 claims description 13
- 230000002452 interceptive effect Effects 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 10
- 210000002569 neuron Anatomy 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000003068 static effect Effects 0.000 claims description 4
- 230000005284 excitation Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008901 benefit Effects 0.000 abstract description 2
- 108091006146 Channels Proteins 0.000 description 19
- 230000008859 change Effects 0.000 description 12
- 230000006399 behavior Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 238000010276 construction Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3407—Route searching; Route guidance specially adapted for specific applications
- G01C21/343—Calculating itineraries, i.e. routes leading from a starting point to a series of categorical destinations using a global route restraint, round trips, touristic trips
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3446—Details of route searching algorithms, e.g. Dijkstra, A*, arc-flags, using precalculated routes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于环境注意力神经网络模型的车辆轨迹预测方法,构建了一种对于环境中各要素增加注意力的模型,环境注意网络(EA‑Net)模型。本发明提出的模型在LSTM encoder‑decoder与卷积社交池串联的结构的基础上进行了横向拓展,加入了图注意神经网络与包含SE模块的卷积社交池组成并行结构。本发明通过这种新型的并行结构来捕获车辆在行驶过程中与周围环境构成的图结构中各节点通过连边更新的特征信息,以及周边环境内空间位置结构内特征信息。本发明提出的新模型结构相对于卷积社交池模型在提取环境交互信息的效果上有了很大的提升,同时达到了比其他现有模型更好的轨迹预测效果。
Description
技术领域
本发明属于车辆智能驾驶领域,特别是涉及一种基于环境注意力神经网络模型的车辆轨迹预测方法。
背景技术
近年来,智能汽车作为一个不断发展的新兴领域,正在为社会提供更加便捷、有效的服务。随着智能汽车技术的进步,车辆避撞系统、驾驶员辅助系统等智能系统为驾驶员提供了良好的帮助。先进的智能系统使得驾驶员以及乘客能够在一个更加安全、舒适的交通环境下行驶车辆。
智能车包含的各种系统在运行时需要大量周边环境信息的支持。由于智能汽车并不能完全达到人类驾驶员的驾驶水平,并且车辆在道路上的行驶过程中,将一直处于一种与周边车辆高度交互的交通场景中。所以车辆需要根据自身以及周边车辆的未来轨迹来进行合理的路径规划。当驾驶员在不同交通场景下进行超车、换道以及任何其他行为时都需要考虑到车辆所处环境内其他车辆的位置、速度等信息后再进行,所以智能车进行路径规划能够体现了更高层面的智能。因此,为系统提供更加精准的复杂状况下动态交通场景内的车辆未来轨迹是需要优先考虑的问题。目前研究中用于车辆轨迹预测的模型只考虑了某一结构内的环境交互特征,但是提取环境特征总是只考虑单一的交互结构,使得提取的环境交互特征并不是完全充足的。针对目前已有的车辆轨迹预测神经网络模型的不足,本发明提出了一种基于环境注意力神经网络模型的车辆轨迹预测方法。
发明内容
本发明提出一种适用于动态交通场景的车辆轨迹预测方法,构建了一种对于环境中各要素增加注意力的模型,环境注意网络(EA-Net)模型。本发明提出的模型在LSTMencoder-decoder与卷积社交池串联的结构的基础上进行了横向拓展,本发明加入了图注意神经网络与包含SE模块的卷积社交池组成并行结构。本发明通过这种新型的并行结构来捕获车辆在行驶过程中与周围环境构成的图结构中各节点通过连边更新的特征信息,以及周边环境内空间位置结构内特征信息。本发明提出的新模型结构相对于卷积社交池模型在提取环境交互信息的效果上有了很大的提升,同时达到了比其他现有模型更好的轨迹预测效果。
本发明的有益效果:
(1)本发明提出一种新的模型结构:EA-Net,将被观测车辆与周围环境之间的交互关系分别建模为图结构和空间位置结构。并且提出了一种以图神经网络和卷积社交池构成的并行网络结构作为环境特征提取模块。通过该模块能够最大限度地提取车辆周围环境内不同维度结构内所包含的交互特征信息,提高轨迹预测的准确性以及适应不同交通场景的泛化能力。
(2)本发明将注意力机制引入了模型中的环境特征提取模块,环境特征提取模块中由图注意神经网络和包含SE模块的卷积社交池组成。图注意神经网络(GAT)增强了模型对由车辆组成的动态环境内图结构中各车交互行为的学习。模型在提取空间内的时序特征时,对于不同的空间位置的时序通道信息会赋予不同的注意力权重。使用注意力机制能够使得模型参数更新时能够及时抑制无用信息的参与,并且使得关键信息被更有效的利用,极大提高了模型在运行时的高效性。
(3)本发明给出了神经网络模型的训练方法,给出了建议的神经网络训练所必须的超参数,以及各神经网络层合适的输入输出维度以及层数。在保证模型训练速度的情况下,使得模型训练得到更加精准的结果,并且有效避免了发生过拟合的情况。
附图说明
图1表示不同车辆为中心构建的占据栅格图扩张到整条道路时各节点之间的连接关系
图2表示EA-Net模型总体结构
图3表示图注意神经网络(GAT)中各节点间的特征传递过程
图4表示Squeeze-and-Excitation模块示意图
图5表示EA-Net在NGSIM、highD数据集下不同车辆行为的轨迹预测效果图
具体实施方式
下面结合附图对本发明作进一步说明。
Step1:交通场景建模
本发明将处于同一交通场景下的车辆与其周围车辆之间的交互关系进行建模。对于每一时刻t交通场景内的任一车辆,该车辆都会在空间位置层面与周围车辆产生交互作用,本发明使用占据栅格图来构建这种空间位置结构。另外,车辆与车辆之间的特征信息同样也会以一种非欧氏距离结构-图结构进行传递和更新,因此本发明通过节点和连边来构建这种车辆间传递信息的图结构。
一、初始化输入特征
在某一时刻的静态交通场景下,被观测车辆即将作出任何行为的依据都来自于两个层次:
第一是以当前时刻为基点,车辆历史轨迹中各种状态下的特征值(车辆位置,车速、加速度、航向角、相对距离)都将对车辆未来行为以及未来轨迹的生成产生影响。第二是被观测车辆周围车辆在其历史轨迹中产生的各种状态与被观测车辆状态的交互作用,包括了周围车辆历史空间位置对被观测车辆的影响以及周围车辆历史轨迹特征与被观测车辆交互作用的影响。
以某一时刻驾驶员操纵车辆的视角进行分析:驾驶员驾驶车辆时,通过周围车辆与自身驾驶车辆的位置、角度以及相对车速对当前驾驶环境进行评估。对于不同的驾驶环境,驾驶员会根据驾驶经验决定当前时刻车辆应该做出哪一种的动作来改变车辆下一时刻的状态。使得车辆能够及时适应当前驾驶环境下周围车辆对车辆后续时间安全行驶带来的各种影响。
本发明以被观测车辆t时刻的状态特征为基准,对当前时刻交通场景内所有车辆的历史轨迹内所包含的状态特征进行初始化。则当前交通场景内第j辆车(包括被观测车辆)历史轨迹中某一时刻的特征表达式为:
则该车辆历史轨迹特征序列为:
xk={x,y,v,a,θ,d}
其中ti∈T,j∈n,n为当前交通场景内所有车辆的数量,为被观测车辆周围的第j辆车(tobs-ti)时刻的相对与被观测车的特征值,tobs为被观测车当前时间点,T为车辆历史轨迹的时间长度。每一时刻特征都为上述相对化后的横纵坐标(x,y)、车速v、加速度a、航向角θ以及相对距离d。
这种建模方法使得模型指向的交通场景不受区域位置以及车辆具体特性影响。使用以被观测车辆为中心形成的相对特征空间构建实动态车辆交互场景的方法让构建的模型能够很好的完成在各种情境下预测车辆轨迹的任务,提高模型的泛化能力。
二、占据栅格图构建
本发明以预测车所在车道以及周围两车道内的行驶的车辆构建以被观测车辆为中心的占据栅格图占据栅格图内每个栅格宽Wg等同于车道宽度Wlane,长度Lg约等同于一辆标准小汽车的车长Lveh。本发明把处于栅格图范围内的车辆根据其具体位置安放至占据栅格图中的各个栅格内,形成交通场景内被观测车辆周围车辆的空间特征信息图。相应的,本发明把每辆车的时间序列特征h(t)嵌入到占据栅格图内相对应的位置,构建出车辆之间的时空特征张量。
三、图结构构建
本发明提出的图结构是基于上述占据栅格图进行构建的。当车辆行驶在道路上时,会与车辆所处交通场景内各位置节点中存在的信息构成一张沿着道路扩张的拓扑图结构。如图1所示,道路上的每一辆车都与周围的环境节点构成图结构,第一层为车辆周围的一阶邻居节点,他们之间有直接的连边。第k层为车辆的k阶邻居节点,这些节点与车辆没有之间的连边,但会通过k-1阶邻居的连边传递信息。在现有研究中提出的图结构都将同一场景下的内智能体建立为各节点均存在联系的全连接图结构,即默认初始邻接矩阵各节点之间连边值均为1。但是,在车辆行驶过程中图中车辆与车辆之间的交互关系(连边)可能会发生改变。所以,本发明采用另一种图构建的方法。本发明把被观测车辆与周围车辆的交互关系转换为被观测车辆与其所处的周边环境中各组成部分之间发生的交互关系。这种定义方式类似于城市内定点的测速传感器数据构建的图结构预测交通速度的建模方式,本发明将这种静态关系应用在了车辆周围动态的环境中,即把每一时刻车辆周围环境与车辆构成的图结构看作一种静态的结构,而其本质又是一种动态的结构。本发明把占据栅格图内所有栅格包含的信息视作围绕车辆的周围环境特征,把每一个栅格作为周边环境内的节点V,当栅格内存在车辆时,节点特征H为该栅格内的车辆时序信息h(t),若节点内不存在车辆,节点信息表示为相同维度的全零向量,代表该节点位置的环境特征H=0。
Step2:模型结构搭建
本发明将详细描述EA-Net的具体体系架构。图2为网络的全部结构,网络通过特征提取模块和轨迹预测模块构成。特征提取模块包含了时间特征编码器和环境特征提取模块,其中时间特征编码器由LSTM编码器构成,其作用是编码被观测车辆及其周围占据栅格图内的所有车辆的历史轨迹特征。环境特征提取模块由图注意神经网络(GAT)和包含SE模块的卷积社交池构成,该模块用于提取车辆周围环境构成的图结构和空间位置结构中的交互特征信息。该模块输出被观测车辆及其所处环境内的时序特征、空间特征以及图特征构成的上下文向量。轨迹预测模块由LSTM解码器组成,该模块接收上下文向量并解码,最后输出预测的未来轨迹。
一、LSTM编码器
本发明使用长短时记忆神经网络(LSTM)提取时序特征信息,每个LSTM神经元共享参数。编码器的输入为同一交通场景下被观测车辆以及周围车辆的历史轨迹特征Xi。第t时步的LSTM神经元内隐藏状态更新表示为:
其中gf、gin、gout分别为LSTM内部的遗忘门、输入门及输出门,为第i辆车第t时步的神经元记忆张量,/>为第t时步的隐藏状态。
最终本发明输出最后一个经过LSTM时步的隐藏状态作为总结第i辆车的历史轨迹特征的上下文向量。
二、环境特征提取模块
(1)图特征提取网络
本发明将以被观测车辆为中心构建的占据栅格图中每一个栅格(不管内部是否存在车辆)视作一个环境节点,则不断运动的车辆与周围的环境节点构成一个动态的定节点图结构Graph。图内各节点和连边和表示为G=(V,E),其中V表示图中节点的集合,E表示各节点之间存在的连边的集合,F为节点Vi包含的特征Hi的特征维度。则被观测车辆周边环境内各节点特征可表达为:
环境节点数等于占据栅格图总栅格数N,i∈N。hj为占据栅格图内第j辆车经过LSTM编码器提取后的时序特征,Hi∈RF。
环境图结构内节点的交互作用是一种无向图的结构,每个节点的特征发生变化都会使得其邻居节点发生特征更新,最终将带动整个图结构内所有节点的特征变化。本发明把这种变化理解为一种图信号的传递和扩散,每个节点都会接受周围节点通过连边向其传递的特征信息,同时也会把自身特征信息传递给周围节点。本发明使用改进的多层图注意神经网络层(GAT)提取图中每个节点之间的图交互特征。
图注意力层通过学习节点间的注意力权重值,构建包含节点间注意力的图注意力权重矩阵。该权重矩阵将相比于图卷积层中的拉普拉斯矩阵L强化了节点间连边的权重系数。以节点Vi为中心节点,则Vi与某一个邻居节点Vj的注意力权重系数eij表示为:
eij=a(WHi,WHj)
其中,W为当前图注意层的各节点的特征更新权重,a为两个节点之间的注意力函数,本发明中使用卷积核尺寸为1的卷积层作为全连接层FC来聚合两个节点之间的特征信息,计算出表示节点间相关度的标量,通过激活函数后形成注意力系数eij:
eij=LeakyReLU(Wa*([WHi||WHj]))
||为串联运算符,Wa∈R2F×1。为了更好地分配权重,使用SoftMax函数注意力机制的系数进行行归一化得到注意力权重矩阵α:
图3展示了图注意层内每一个环境节点在图注意层中根据注意力权重矩阵进行特征更新的过程。蓝色向量为存在车辆的环境节点包含的历史轨迹特征。橙色车所处节点根据注意力系数α和存在车辆的各邻居节点特征Hj,将其特征Hi更新为H′i。为了避免人为主观定义的各环境节点之间连边存在不准确性,本发明构建一个自适应邻接矩阵Af为图注意力层输入的初始邻接矩阵。
其中M1,M2∈RN×F为两个可学习的参数矩阵。将两个参数矩阵经过矩阵乘法后获得一个参数矩阵M,M∈RN×N。将该参数矩阵通过进行行归一化,作为本发明图注意层输入的邻接矩阵。模型使用LeakyReLU作为特征矩阵非线性化的激活函数,该激活函数保留了参数矩阵中的负值点,使负值连边在经过SoftMax行归一化后变为一个相对较小的正值,避免了产生过多不学习的神经元。邻接矩阵Af中的连边强度参数将在各图注意层之间共享。在模型训练过程中,邻接矩阵Af通过不断学习和更新来建立图中节点之间连边,同时Af与注意权重矩阵α同时学习更新后可以进行相互修正,增强了对节点间连边强度的表达的准确性。
本发明使用得到的注意力权重矩阵更新每一层图中各节点的特征,并将L层图注意层输出的特征参数通过卷积运算压缩通道特征数,Wo∈R∑F×F,图特征HG公式计算可表示为:
Hl=Af(∑i∈NαijWHl-1)
(2)空间位置特征提取网络
以上所述的图注意网络对车辆与周围各环境节点之间构成的图结构中存在的交互特征进行提取,而车辆在实际运行时,周围车辆相对于自身的空间位置信息也是至关重要的。本发明对卷积社交池增加了注意力机制,通过该结构对交通场景下被观测车辆与周围车辆的历史轨迹序列在空间位置中存在的交互关系特征进行了提取。
首先,本发明构建一个通道尺寸与LSTM编码器输出的隐藏状态维度相同,且空间维度尺寸等于占据栅格图尺寸大小的三维社交张量。本发明将交通场景内的车辆的时序信息作为通道信息,并将通道信息按照其相应的空间位置嵌入到社交张量Sc中。
本发明使用Squeeze-and-Excitation模块(SE-Block)作为本发明构建的时空张量中的时间通道内的空间注意力机制。SE-Block的作用是为了更好地建模空间依赖性,在本发明提出的空间特征提取网络中,本发明将使用两次SE-Block进行特征加强。如图4所示,本发明首先将社交张量Sc输入自适应平均池化层,其作用是对输入的社交张量Sc的空间尺寸(h×w,高h,宽w)进行压缩。这一步的目的是在各通道间空间信息编码成一个全局特征嵌入到所有通道中,使得该全局特征被所有通道内共享,全局特征Zc∈Rc由下式计算:
本发明对Zc采用一种激励(Excitation)机制来获得通道之间的关联性。激励机制的本质是由两层卷积核尺寸为1的卷积层构成的全连接层(FC)组成的瓶颈层结构,该结构有效增加模型的泛化程度。r为通道降维系数,是该模块中的超参数。第一层FC层将Zc的通道维度降低为c/r,第二层FC将通道维度还原为c。经过该步骤后,将其输入激活函数σ,最后输出注意力权重张量s,计算公式表达为:
s=Fex(W,Zc)=σ(g(W,Zc))=σ(W2*ReLU(W1*Zc))
其中为参数矩阵。本发明将注意力权重s扩张至与社交张量Sc空间尺寸相同,记为se,后与Sc进行运算获得包含通道注意力的社交张量/>其公式为:
其中F为社交张量Sc与注意力张量se之间的通道乘法运算,*为Hadamard乘积符号。
本发明同时使用了类似ResNet模块中的结构,将与初始社交张量Sc进行相加,得到新社交张量S′c,/>的加入使得社交张量在保留原始特征,并且利用注意力机制增强了通道内基于各通道空间相关性的特征信息。其中Sc作为一种恒等映射,还能够有效防止SE模块发生梯度消失时影响梯度计算的问题。
在进行两层卷积运算后,再次利用SE-Block增强通道空间相关性特征,最后通过最大池化层输出被观测车辆与周围车辆时间序列之间的空间特征HS。
三、轨迹预测模块
轨迹预测模块由LSTM解码器和全连接网络构成,其作用为解码上述模块中提取的上下文向量完成预测车辆未来轨迹坐标的任务。本发明将压缩后的图特征HG通过全连接层后进行降维处理,将HG变为一维特征向量,作为能够代表所有环境节点组成的图结构的上下文向量。同样的,HS和被观测车辆隐藏状态也将进行降维处理,最后以上下文向量的形式总结各空间位置的时序特征。本发明输入LSTM解码器的特征可表示为:
其中g为三个特征上下文向量的融合函数,本发明采用串联的方法将这模型中提取的三个维度的特征和车辆机动状态融合,所得的上下文向量Hcontext包含了时间、空间以及图结构中的交互特征,概括了被观测车辆各维度的隐含特征。
LSTM解码器接受Hcontext后对其进行解码,输出预测时间长度区间中每一个时刻的隐含状态向量经过全连接层输出未来轨迹坐标:
(x(t),y(t))为t时刻的车辆轨迹坐标,WFC为全连接层的参数矩阵。
Step3:模型预训练
一、训练数据集
考虑到不同交通场景下车辆的密度、车速等情况大不相同,本发明使用两个公开的数据集对本发明的模型进行预训练,使得经过训练的模型能最大程度满足在不同交通场景下进行车辆轨迹预测。第一个数据集是美国联邦高速公路管理局发起的NextGeneration Simulation(NGSIM)研究计划中公开的数据集。NGSIM数据集包含了美国US-101公路以及I-80公路在总计45分钟内通过的所有车辆的数据。每条公路对应的数据集分为不同交通状况下3个15分钟片段。数据集来自于高速公路上架设的摄像机提取的图像信息,摄像机以10Hz的频率进行采样。数据集提供了两条公路上的相对车辆坐标,其中US-101公路长度约为640m,I-80公路长度约为503m。除此之外,每一条数据内还包含了车辆的车速、加速度、车辆种类、车道、前后车辆ID等信息。
第二个数据集是highD数据集。highD数据集是使用无人机采集的德国高速公路的大规模自然车辆轨迹数据集。该数据集的采样频率为25Hz,数据集内包括6个地点16.5小时的测量的11万辆车的行驶数据。车辆的总行驶距离为45000公里,一共记录了5600个完整的车道变化过程。
本发明将选取了NGSIM数据集所有时间段的70%的数据作为训练集,10%数据集作为训练时的验证集,20%数据作为测试集。由于highD数据集中数据量较大,以及包含了双向四车道和双向六车道两种不同的道路场景,本发明选取了其中双向六车道的车辆轨迹作为实验数据,训练集的划分与NGSIM数据集相同。本发明利用车辆3s的历史轨迹来预测车辆未来5s的轨迹坐标,实验选取的NGSIM数据集包含了7940071条8s轨迹数据,highD数据集包含了12710320条8s轨迹数据。本发明对每一条输入轨迹进行处理,以5Hz作为采样频率在轨迹中选取新轨迹采样点,使得输入轨迹坐标曲线更加平滑。其中,历史轨迹中每一个轨迹点包含车辆的横纵坐标,车速,加速度及航向角等信息。
二、模型训练参数设置
本发明使用Adam优化器训练本发明提出的模型,batchsize大小为128,dropout比例为0.2,激活函数Leaky ReLU的负值斜率α=0.1。优化器采用指数下降学习率进行训练,初始学习率为0.0005,在训练过程中如果出现验证集损失函值三次超过先前最小值的情况时,将学习率乘以0.7。LSTM编码器隐藏状态维度为64,LSTM解码器输出维度为128,GAT层输入输出各节点通道维度为64。另外,由于NGSIM数据集中大部分车辆平均行车速落于20km/h-60km/h之间,highD数据集中大部分车辆平均车速却在80km/h/-140km/h区间内。所以本发明定义使用NGSIM数据集训练的模型包含的占据栅格图尺寸为(13×3),即环境节点个数为39,使用highD数据集训练的模型包含的占据栅格图尺寸定为(41×3),环境节点数为123个。模型的构建使用pytorch框架实现。
Step4:车辆轨迹预测
输入模型的数据为被预测车辆当前时刻之前3s的历史轨迹信息,其中包括了被预测车辆及周围车辆的横纵坐标(x,y)、车速v、加速度a。通过以上轨迹信息,可以计算出被预测车与周围车辆之间的相对航向角θi,j以及相对距离di,j,公式如下:
其中j∈N,N为被预测车周围车辆数量,为第j辆车t时刻的位置坐标,为被预测车t时刻的位置坐标。
将以上信息初始化后输入模型,模型即可通过计算输出被预测车当前时刻后5s的未来轨迹坐标。如图5所示,本发明可视化了预训练模型在两个数据集下车辆不同车辆行为下(直行、左换道、右换道)车辆轨迹预测的效果图。被预测车为图中心车辆,每辆车后方的蓝色虚线表示被观测车辆及其周围车辆的3s历史轨迹,车辆行驶方向上的红色虚线表示被观测车辆真实5s未来轨迹,绿色实线表示被观测车辆的预测轨迹坐标。
在两个左换道的例子中可以看到,模型highD数据集上对于换道轨迹的预测精度要高于NGSIM数据集。在NGSIM数据集上的左换道轨迹虽然与观测到的真实轨迹有一定差距,但是预测的轨迹相对于原始轨迹更加平滑,更加趋于理想化的状态。highD和NGSIM右换道的例子中处于的交通状况比较复杂,目标车道上都有与被观测车辆距离较近的前车或者后车。在这种情况下模型预测的未来轨迹更贴近车道线,且行驶距离降低,即表示车辆降低了行驶速度来适应当前的换道行为。车道保持行为下,两个数据集都有着较高的精度,且预测横纵向位移与其中隐含的车速都与真实值非常接近。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明,它们并非用以限制本发明的保护范围,凡未脱离本发明技术所创的等效方式或变更均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于环境注意力神经网络模型的车辆轨迹预测方法,其特征在于,包括:
S1:交通场景建模;将处于同一交通场景下的车辆与其周围车辆之间的交互关系进行建模,使用占据栅格图来构建车辆空间位置结构,将车辆与车辆之间的特征信息以一种非欧氏距离结构—图结构进行传递和更新,通过节点和连边来构建这种车辆间传递信息的图结构;
S2:环境注意力神经网络建模;
S3:训练环境注意力神经网络模型;
S4:使用训练好的环境注意力神经网络模型实现车辆轨迹预测;
所述S2中环境注意力神经网络模型包括:特征提取模块和轨迹预测模块;
所述特征提取模块包括时间特征编码器和环境特征提取模块;所述时间特征编码器包括LSTM编码器,用于编码被观测车辆及其周围占据栅格图内的所有车辆的历史轨迹特征;所述环境特征提取模块包括图注意神经网络GAT和卷积社交池,用于提取车辆周围环境构成的图结构和空间位置结构中的交互特征信息,并输出被观测车辆及其所处环境内的时序特征、空间特征以及图特征构成的上下文向量,其中卷积社交池包含有SE模块;
所述轨迹预测模块包括LSTM解码器,该模块接收上下文向量并解码,输出预测的未来轨迹;
所述LSTM编码器使用长短时记忆神经网络提取时序特征信息,每个LSTM神经元共享参数;编码器的输入为同一交通场景下被观测车辆以及周围车辆的历史轨迹特征Xi;第t时步的LSTM神经元内隐藏状态更新表示为:
其中gf、gin、gout分别为LSTM内部的遗忘门、输入门及输出门,为第i辆车第t时步的神经元记忆张量,/>为第t时步的隐藏状态;
最终输出最后一个经过LSTM时步的隐藏状态作为总结第i辆车的历史轨迹特征的上下文向量;
所述提取车辆周围环境构成的图结构交互特征的方法包括:
以被观测车辆为中心构建的占据栅格图中每一个栅格视作一个环境节点,则不断运动的车辆与周围的环境节点构成一个动态的定节点图结构,图内各节点和连边表示为G=(V,E),其中V表示图中节点的集合,E表示各节点之间存在的连边的集合,F为节点Vi包含的特征Hi的特征维度,则被观测车辆周边环境内各节点特征可表示为:
环境节点数等于占据栅格图总栅格数N,i∈N,hj为占据栅格图内第j辆车经过LSTM编码器提取后的时序特征,Hi∈RF;
使用改进的多层图注意神经网络层提取图中每个节点之间的图交互特征;其中,图注意力层通过学习节点间的注意力权重值,构建包含节点间注意力的图注意力权重矩阵;以节点Vi为中心节点,则Vi与某一个邻居节点Vj的注意力权重系数eij表示为:
eij=a(WHi,WHj)
其中,W为当前图注意层的各节点的特征更新权重,a为两个节点之间的注意力函数,使用卷积核尺寸为1的卷积层作为全连接层FC来聚合两个节点之间的特征信息,计算出表示节点间相关度的标量,通过激活函数后形成注意力系数eij:
eij=LeakyReLU(Wa*([WHi||WHj]))
||为串联运算符,Wa∈R2F×1,为了更好地分配权重,使用SoftMax函数注意力机制的系数进行行归一化得到注意力权重矩阵α:
2.根据权利要求1所述的一种基于环境注意力神经网络模型的车辆轨迹预测方法,其特征在于,所述S1中占据栅格图的构建方法包括:
对预测车所在车道以及周围两车道内的行驶的车辆构建以被观测车辆为中心的占据栅格图占据栅格图内每个栅格宽Wg等同于车道宽度Wlane,长度Lg约等同于一辆标准小汽车的车长Lveh,把处于栅格图范围内的车辆根据其具体位置安放至占据栅格图中的各个栅格内,形成交通场景内被观测车辆周围车辆的空间特征信息图,把每辆车的时间序列特征h(t)嵌入到占据栅格图内相对应的位置,构建出车辆之间的时空特征张量。
3.根据权利要求2所述的一种基于环境注意力神经网络模型的车辆轨迹预测方法,其特征在于,所述S1中图结构的建模方法包括:
把被观测车辆与周围车辆的交互关系转换为被观测车辆与其所处的周边环境中各组成部分之间发生的交互关系,把每一时刻车辆周围环境与车辆构成的图结构看作一种静态的结构,把占据栅格图内所有栅格包含的信息视作围绕车辆的周围环境特征,把每一个栅格作为周边环境内的节点V,当栅格内存在车辆时,节点特征H为该栅格内的车辆时序信息h(t),若节点内不存在车辆,节点信息表示为相同维度的全零向量,代表该节点位置的环境特征H=0。
4.根据权利要求1所述的一种基于环境注意力神经网络模型的车辆轨迹预测方法,其特征在于,还包括构建一个自适应邻接矩阵Af作为图注意力层输入的初始邻接矩阵:
其中M1,M2∈RN×F,为两个可学习的参数矩阵;
将两个参数矩阵经过矩阵乘法后获得一个参数矩阵M,M∈RN×N,将该参数矩阵通过行归一化,作为图注意层输入的邻接矩阵;使用LeakyReLU作为特征矩阵非线性化的激活函数,该激活函数保留了参数矩阵中的负值点,使负值连边在经过SoftMax行归一化后变为一个相对较小的正值,避免产生过多不学习的神经元;
邻接矩阵Af中的连边强度参数在各图注意层之间共享,在模型训练过程中,邻接矩阵Af通过不断学习和更新来建立图中节点之间连边,同时Af与注意权重矩阵α同时学习更新后进行相互修正,增强对节点间连边强度表达的准确性;
使用注意权重矩阵更新每一层图中各节点的特征,并将L层图注意层输出的特征参数通过卷积运算压缩通道特征数,每一层图中各节点的特征HG计算公式为:
Hl=Af(∑i∈NαijWHl-1)
其中Wo∈R∑F×F。
5.根据权利要求1所述的一种基于环境注意力神经网络模型的车辆轨迹预测方法,其特征在于,所述提取车辆周围环境构成的空间位置结构交互特征的方法:对卷积社交池增加了注意力机制,通过该结构对交通场景下被观测车辆与周围车辆的历史轨迹序列在空间位置中存在的交互关系特征进行了提取;具体包括如下:
首先,构建一个通道尺寸与LSTM编码器输出的隐藏状态维度相同,且空间维度尺寸等于占据栅格图尺寸大小的三维社交张量,将交通场景内的车辆的时序信息作为通道信息,并将通道信息按照其相应的空间位置嵌入到社交张量Sc中;
使用SE模块作为构建的时空张量中的时间通道内的空间注意力机制;使用两次SE模块进行特征加强,首先将社交张量Sc输入自适应平均池化层,其作用是对输入的社交张量Sc的空间尺寸(h×w)进行压缩,在各通道间空间信息编码成一个全局特征嵌入到所有通道中,使得该全局特征在所有通道内共享,全局特征Zc∈Rc,由下式计算:
对Zc采用激励(Excitation)机制来获得通道之间的关联性,激励由两层卷积核尺寸为1的卷积层构成的全连接层(FC)组成的瓶颈层结构,r为通道降维系数,是该模块中的超参数,第一层FC层将Zc的通道维度降低为c/r,第二层FC将通道维度还原为c;经过处理后,将其输入激活函数σ,最后输出注意力权重张量s,计算公式为:
s=Fex(W,Zc)=σ(g(W,Zc))=σ(W2*ReLU(W1*Zc))
其中为参数矩阵;将注意力权重s扩张至与社交张量Sc空间尺寸相同,记为se后与Sc进行运算获得包含通道注意力的社交张量/>其公式为:
其中F为社交张量Sc与注意力张量se之间的通道乘法运算,*为Hadamard乘积符号;
在上述过程中,将与初始社交张量Sc进行相加,得到新社交张量S′c,/> 的加入使得社交张量在保留原始特征,并且利用注意力机制增强了通道内基于各通道空间相关性的特征信息;
在进行两层卷积运算后,再次利用SE模块增强通道空间相关性特征,最后通过最大池化层输出被观测车辆与周围车辆时间序列之间的空间特征HS。
6.根据权利要求1所述的一种基于环境注意力神经网络模型的车辆轨迹预测方法,其特征在于,所述轨迹预测包括LSTM解码器和全连接网络,用于为解码所提取的上下文向量完成预测车辆未来轨迹坐标的任务;具体包括如下:
将压缩后的图特征HG通过全连接层后进行降维处理,将HG变为一维特征向量,作为能够代表所有环境节点组成的图结构的上下文向量;HS和被观测车辆隐藏状态也将进行降维处理,最后以上下文向量的形式总结各空间位置的时序特征;
将输入LSTM解码器的特征表示为:
其中g为三个特征上下文向量的融合函数,采用串联的方法将这模型中提取的三个维度的特征和车辆机动状态融合,所得的上下文向量Hcontext包含了时间、空间以及图结构中的交互特征,概括了被观测车辆各维度的隐含特征;
LSTM解码器接受Hcontext后对其进行解码,输出预测时间长度区间中每一个时刻的隐含状态向量经过全连接层输出未来轨迹坐标:
(x(t),y(t))为t时刻的车辆轨迹坐标,WFC为全连接层的参数矩阵。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011064925.4A CN112215337B (zh) | 2020-09-30 | 2020-09-30 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011064925.4A CN112215337B (zh) | 2020-09-30 | 2020-09-30 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112215337A CN112215337A (zh) | 2021-01-12 |
CN112215337B true CN112215337B (zh) | 2024-05-14 |
Family
ID=74050986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011064925.4A Active CN112215337B (zh) | 2020-09-30 | 2020-09-30 | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112215337B (zh) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112926768A (zh) * | 2021-01-27 | 2021-06-08 | 浙江工业大学 | 基于时空注意力机制的地面道路车道级交通流预测方法 |
CN112987765B (zh) * | 2021-03-05 | 2022-03-15 | 北京航空航天大学 | 一种仿猛禽注意力分配的无人机/艇精准自主起降方法 |
CN112965499B (zh) * | 2021-03-08 | 2022-11-01 | 哈尔滨工业大学(深圳) | 基于注意力模型和深度强化学习的无人车行驶决策方法 |
CN112887909B (zh) * | 2021-04-14 | 2022-07-15 | 中国科学技术大学 | 一种基于Wi-Fi信号的室内定位方法 |
CN113256681B (zh) * | 2021-05-26 | 2022-05-13 | 北京易航远智科技有限公司 | 基于时空注意力机制的行人轨迹预测方法 |
CN113362491B (zh) * | 2021-05-31 | 2022-05-17 | 湖南大学 | 一种车辆轨迹预测及驾驶行为分析方法 |
CN113436426A (zh) * | 2021-06-22 | 2021-09-24 | 北京时空数智科技有限公司 | 一种基于视频ai分析的人员行为警示系统 |
CN113435356B (zh) * | 2021-06-30 | 2023-02-28 | 吉林大学 | 一种克服观察噪声与感知不确定性的轨迹预测方法 |
CN113535399B (zh) * | 2021-07-15 | 2023-04-25 | 电子科技大学 | 一种nfv资源调度方法、装置以及系统 |
CN113954864B (zh) * | 2021-09-22 | 2024-05-14 | 江苏大学 | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 |
CN113989326B (zh) * | 2021-10-25 | 2023-08-25 | 电子科技大学 | 一种基于注意力机制的目标轨迹预测方法 |
CN114312831B (zh) * | 2021-12-16 | 2023-10-03 | 浙江零跑科技股份有限公司 | 一种基于空间注意力机制的车辆轨迹预测方法 |
CN114239974B (zh) * | 2021-12-21 | 2022-10-25 | 清华大学 | 多智能体的位置预测方法、装置、电子设备及存储介质 |
CN114926823B (zh) * | 2022-05-07 | 2023-04-18 | 西南交通大学 | 基于wgcn的车辆驾驶行为预测方法 |
CN114912719B (zh) * | 2022-07-15 | 2022-12-27 | 北京航空航天大学 | 一种基于图神经网络的异质交通个体轨迹协同预测方法 |
CN115034375B (zh) * | 2022-08-09 | 2023-06-27 | 北京灵汐科技有限公司 | 数据处理方法及装置、神经网络模型、设备、介质 |
CN115687764B (zh) * | 2022-11-01 | 2023-12-01 | 北京百度网讯科技有限公司 | 车辆轨迹评估模型的训练方法、车辆轨迹评估方法和装置 |
CN116257659A (zh) * | 2023-03-31 | 2023-06-13 | 华中师范大学 | 一种智能导学系统的动态图嵌入方法及系统 |
CN116383666B (zh) * | 2023-05-23 | 2024-04-19 | 重庆大学 | 一种电力数据预测方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046919A (zh) * | 2019-11-21 | 2020-04-21 | 南京航空航天大学 | 一种融合行为意图的周围动态车辆轨迹预测系统及方法 |
CN111161322A (zh) * | 2019-12-31 | 2020-05-15 | 大连理工大学 | 一种基于人车交互的lstm神经网络行人轨迹预测方法 |
-
2020
- 2020-09-30 CN CN202011064925.4A patent/CN112215337B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046919A (zh) * | 2019-11-21 | 2020-04-21 | 南京航空航天大学 | 一种融合行为意图的周围动态车辆轨迹预测系统及方法 |
CN111161322A (zh) * | 2019-12-31 | 2020-05-15 | 大连理工大学 | 一种基于人车交互的lstm神经网络行人轨迹预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112215337A (zh) | 2021-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112215337B (zh) | 一种基于环境注意力神经网络模型的车辆轨迹预测方法 | |
CN109697852B (zh) | 基于时序交通事件的城市道路拥堵程度预测方法 | |
CN111931905B (zh) | 一种图卷积神经网络模型、及利用该模型的车辆轨迹预测方法 | |
CN112965499B (zh) | 基于注意力模型和深度强化学习的无人车行驶决策方法 | |
CN111311945B (zh) | 一种融合视觉和传感器信息的驾驶决策系统及方法 | |
CN113954864B (zh) | 一种融合周边车辆交互信息的智能汽车轨迹预测系统及方法 | |
CN109726804B (zh) | 一种基于行车预测场和bp神经网络的智能车辆驾驶行为拟人化决策方法 | |
CN113362491B (zh) | 一种车辆轨迹预测及驾驶行为分析方法 | |
CN112487954B (zh) | 一种面向平面交叉口的行人过街行为预测方法 | |
CN113705636B (zh) | 一种自动驾驶车辆轨迹预测方法、装置及电子设备 | |
CN114035575B (zh) | 基于语义分割的无人驾驶车辆运动规划方法及系统 | |
CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
CN114692762A (zh) | 一种基于图注意力交互机制的车辆轨迹预测方法 | |
Wang et al. | A traffic prediction model based on multiple factors | |
CN113552883A (zh) | 基于深度强化学习的地面无人车自主驾驶方法及系统 | |
CN113420368A (zh) | 一种智能车辆神经网络动力学模型、强化学习网络模型及其自动驾驶训练方法 | |
CN113435356B (zh) | 一种克服观察噪声与感知不确定性的轨迹预测方法 | |
Sun et al. | Human-like highway trajectory modeling based on inverse reinforcement learning | |
Mänttäri et al. | Learning to predict lane changes in highway scenarios using dynamic filters on a generic traffic representation | |
Selvaraj et al. | Edge learning of vehicular trajectories at regulated intersections | |
Ye et al. | Neural network‐based semantic segmentation model for robot perception of driverless vision | |
CN116080681A (zh) | 基于循环卷积神经网络的周车行为识别与轨迹预测方法 | |
CN114516336B (zh) | 一种考虑道路约束条件的车辆轨迹预测方法 | |
Wen et al. | Modeling human driver behaviors when following autonomous vehicles: An inverse reinforcement learning approach | |
Zhang et al. | Spatial attention for autonomous decision-making in highway scene |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |