CN116373900A - 一种基于Transformer和LSTM的车辆轨迹预测方法 - Google Patents
一种基于Transformer和LSTM的车辆轨迹预测方法 Download PDFInfo
- Publication number
- CN116373900A CN116373900A CN202310291347.5A CN202310291347A CN116373900A CN 116373900 A CN116373900 A CN 116373900A CN 202310291347 A CN202310291347 A CN 202310291347A CN 116373900 A CN116373900 A CN 116373900A
- Authority
- CN
- China
- Prior art keywords
- data
- matrix
- transducer
- lstm
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 53
- 230000007246 mechanism Effects 0.000 claims abstract description 34
- 238000012545 processing Methods 0.000 claims abstract description 13
- 230000006870 function Effects 0.000 claims description 32
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 8
- 230000003993 interaction Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims description 2
- 238000011423 initialization method Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000007493 shaping process Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000005457 optimization Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
- B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Probability & Statistics with Applications (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
本发明属于自动辅助驾驶技术领域,具体涉及一种无车道线道路环境下的自适应虚拟车道线绘制方法。本发明通过得到的目标信息和目标本身作为节点构建出空间无向图,将时序性信息转化成图矩阵形式,并保存其时序性。使用重构后的LSTM模型处理图矩阵数据,并利用LSTM的循环性处理数据的时序性。使用Transformer的空间注意力机制从空间图矩阵数据中提取有效特征并训练模型。用inception_mixer模块继续处理高频信息和低频信息,将信息中的有效特征再次提取,保证了本方法的准确性和高效性。该方法可以高效地长时预测周围车辆的轨迹,有效地保障了行车安全和道路安全,可以应用于智能交通系统,提高交通安全性和效率,协助路线优化和路口预测等操作。
Description
技术领域
本发明属于车辆轨迹预测技术领域,具体涉及一种基于Transformer和LSTM的车辆轨迹预测方法。
背景技术
随着人们对交通出行需求的增加,智能交通系统已成为当下关注的焦点,车辆轨迹预测则是智能交通系统中的重要组成部分。车辆轨迹预测的目的是预测一段时间内的车辆行驶路线,以便更好地支持智能交通系统的决策。但因为时间变量、环境变量和个体变量等因素,车辆轨迹预测也具有非常复杂的多变性。
现有技术中,车辆轨迹预测主要通过基于单模型的算法,如贝叶斯网络、隐马尔可夫模型等进行预测,这些方法可以有效地预测车辆的短期轨迹,但是由于变量较多,对于长期轨迹预测效果较差,而且容易受到外部环境的干扰,影响预测的准确性。目前的深度学习方法能做到对车辆轨迹地长时间预测,但是准确率还可以有所提高。
发明内容
为解决上述现有技术存在的技术问题,本发明提出了一种基于Transformer和LSTM的车辆轨迹预测方法,该方法通过结合Transformer模型的多头注意力机制和LSTM模型的长时记忆能力,并加入Inception-Mixer机制以达到准确捕捉空间无向图中的高频信息,以准确预测车辆的行车轨迹。
本发明为实现上述发明目的,采取的技术方案如下:
一种基于Transformer和LSTM的车辆轨迹预测方法,包括以下步骤:
S1:车辆通过与周围车辆的信息交互获取周围车辆的行驶数据,包括前部中心的横向坐标、纵向坐标、速度以及加速度,并将车辆识别号整合到数据中;使用python内置工具将数据预处理为3维张量;
S2:将预处理过的数据构建为图数据结构;先用矩阵乘法计算出每两个节点间的跳数,然后根据最大跳数对节点间的关系进行分类,最终得到一个邻接矩阵;
S3:创建自定义的LSTM模型;使用Graph_Conv_Block处理图矩阵,并使用自定义的edge_importance_weighting函数提取可用的边权,然后重建图矩阵数据;最后,使用自定义的reshape函数对输出和原输入进行合成;
S4:创建自定义的Transformer模型,其中包含空间注意力机制;使用Xavier初始化编码器上层的数据,然后使用自定义的forward函数进行训练,得到输出;
S5:使用Inception_mixer机制处理数据,提取数据中的高频信息,将得到的高频信息和低频信息拼接到一起,得到新的输出;
S6:将数据再次输入带有空间注意力机制的Transformer中,使用GRU解码器预测位置。
进一步的作为本发明的优选技术方案,S1中通过与周围车辆的信息交互获取周围车辆的行驶数据,设过去的t时段中有n个对象,将原始数据处理成3维张量,并设置一个定量为5,用来表示一个对象在一个时间步长上的坐标(x,y)以及速度(u,v),并将所有的坐标和速度标准化到(-1,1)之间。
进一步的作为本发明的优选技术方案,所述S2的具体步骤包括:
S2.2、先通过矩阵乘法的方式,计算出所有节点的传递矩阵,然后通过比较每个点之间的距离是否小于等于最大跳数,得出每个节点是否连接,并得到邻接矩阵At,公式表示为:
S2.3、正则化化邻接矩阵,首先根据每行的和计算出度矩阵,然后通过矩阵乘法的方式,正则化邻接矩阵,公式为:
At=Gt×At。
进一步的作为本发明的优选技术方案,所述S3中的创建自定义LSTM网络,作为处理数据的第一层网络,在该模型中添加了三个Graph_Conv_Block,以及一个BatchNorm2d,该标准化层是为了标准化输入,每层图卷积的空间核大小是根据不同时段空间图的最大跳数和节点数确定,时间核大小固定,激活函数为ReLU,卷积层作用为提取图矩阵中的重要信息,在forward函数中,对图卷积块得到的数据进行前向计算,并用自定义函数edge_importance_weighting提取满足边权要求的节点信息,得到输出;将输出结果与原输入进行拼接,形成新的矩阵,传递给下层网络。
进一步的作为本发明的优选技术方案,所述S4中的创建自定义的Transformer模型,先对数据进行空间编码,并在注意力机制中只允许数据在临近节点之间传输;通过循环遍历所有参数,并使用Xavier初始化方法初始化其中参数维度大于1的参数;在前向传播中,通过循环迭代,使用GRU解码器生成输出和隐藏状态,并将结果存储在对应的数组位置;如果符合teacher_force方法的要求,就将其作为下一个输入;在空间交互过程中,使用message_passing函数处理隐藏状态和位置掩码,得到输出。
进一步的作为本发明的优选技术方案,所述S4的具体步骤包括:
S4.2、对于空间自注意力机制,可以看成是信息在无向图上传递;在时间步长t时的ht i(i=1,2...n),分别表示每个对象的查询向量、键向量和值向量,分别为:
将车辆i的邻车集合表示为S={j|At[i,j]=1},便用空间自注意力机制得到时间步长t时车辆i的多头注意力数据,将数据进行前向计算得到输出;
S4.3、利用teacher_forcing机制,使用先验时间步长的输出作为输入,重复空间自注意力机制的过程。
进一步的作为本发明的优选技术方案,所述S5将S4获得的输出进行输入,将输入分成几个通道,分别分配给高频分支和低频分支;高频分支中使用卷积和最大池化操作提取高频信息;低频分支中先使用平均池化操作,再使用空间注意力机制处理数据,最后进行上采样;最终,将高频结果和低频结果直接拼接在一起,得到最终输出。
进一步的作为本发明的优选技术方案,所述S5的具体步骤包括:
S5.1、将S4得到的结果输入另一层带有inception_mixer机制的Transformer中,第一个分支X输入经过核大小为1×R的深度卷积,然后在进行核大小为R×1的深度卷积,R为时间步长t时的图节点个数;第二个分支X输入先进行MaxPooling操作,增加数据特征,再进行核大小为R×R的深度卷积;这两个分支是进行高频信息提取,公式为:
C1=dwCR×1(dwC1×R(X))
C2=dwCR×R(MaxPool(X));
S5.2、第三个分支X首先进行AveagePooling操作,将数据特征缩减,然后使用R×R的深度卷积,最后进行upsample操作,调用插值函数将特征补全,公式为:
P3=dwCR×R(AvgPool(X))
之后将特征矩阵连图连接起来过程为:
O=LayerNorm(Concat(C1,C2,P3))
最后再用空间自注意力机制对获得的序列O和X进行训练,并在两个序列分别乘上查询向量矩阵Wq、键向量矩阵Wk和值向量矩阵Wv,公式如下:
最终得到输出。
进一步的作为本发明的优选技术方案,所述S6根据S5得到的数据,进行最后一层Transformer训练,并用GRU解码器获得最终预测位置。
进一步的作为本发明的优选技术方案,所述S6的具体步骤包括:
S6.1、将S5得到的输出,输入到与S4所述一致的Transformer层进行训练,最后选用GRU解码器对预测出的位置序列进行解码操作。
S6.2、模型构建总损失函数,用预测出的位置序列Ypred和真实位置序列Ytrue来判定预测的准确率,公式为:
本发明所述的一种基于Transformer和LSTM的车辆轨迹预测方法,采用以上技术方案与现有技术相比,具有以下技术效果:
本发明通过得到的目标信息和目标本身作为节点构建出空间无向图,将时序性信息转化成图矩阵形式,并保存其时序性。使用重构后的LSTM模型处理图矩阵数据,并利用LSTM的循环性处理数据的时序性。使用Transformer的空间注意力机制从空间图矩阵数据中提取有效特征并训练模型。用inception_mixer模块继续处理高频信息和低频信息,将信息中的有效特征再次提取,保证了本方法的准确性和高效性。该方法可以高效地长时预测周围车辆的轨迹,有效地保障了行车安全和道路安全,可以应用于智能交通系统,提高交通安全性和效率,协助路线优化和路口预测等操作。
附图说明
图1为本发明实施例的方法流程示意图;
图2为本发明实施例车辆真实轨迹和预测轨迹示意图;
图3为本发明实施例预设交通场景示意图。
具体实施方式
下面结合附图详细的描述本发明的作进一步的解释说明,以使本领域的技术人员可以更深入地理解本发明并能够实施,但下面通过参考实例仅用于解释本发明,不作为本发明的限定。
本发明是一种基于Transformer和LSTM的车辆轨迹预测方法,方法的流程如附图1所示。下面结合具体实施例进一步阐述本发明的技术方案:
S1:预设交通场景如附图3所示,通过车辆交互获取周围车辆数据,在实例中用NGSIM数据集的数据代替。将过去的t时段中的所有对象用n表示,初始数据为,分别为车辆id、车辆横向坐标、车辆纵向坐标、车辆速度以及加速度。将原始数据处理成3维张量,并设置一个定量为5,用来表示一个对象在一个时间步长上的坐标(x,y)以及速度(u,v),并将所有的坐标和速度标准化到(-1,1)之间。
S2:将预处理过的数据构建为图矩阵结构。
S2.1:将num_node设置为100,max_hop设置为1,用np.zeros()方法初始化矩阵,再用for循环将所有边赋值为1。
S2.2:用np.linalg.matix_power()方法得到(max_hop+1,100,100)的转移矩阵;使用for循环实现矩阵从远到近的覆盖,将无限大值排除。
S2.3:先用np.zeros()函数新建一个空矩阵,然后用for循环将当前节点连接的节点数的倒数赋值到空矩阵中,再用np.dot()方法正则化邻接矩阵。
S3:创建自定义LSTM网络,作为处理数据的第一层网络。模型加入图卷积模块处理图矩阵数据,模块第一层为BatchNorm2d(in_channels),
第二层为Graph_Conv_Block(in_channels,64,kernel_size,1),
第三层为Graph_Conv_Block(64,64,kernel_size,1),
第四层为Graph_Conv_Block(64,64,kernel_size,1)。
重构模块输出为(N*T,T,C),输入到LSTM中,编码过程中使用的激活函数为Tanh,解码过程使用ReLu和Tanh函数。
S4:创建含有空间多头自注意力机制的Transformer模型。d_model参数设置为128、d_inner设置为512、n_layers设置为2、n_head设置为4、d_k设置为32、d_v设置32、dropout设置为0.1、n_position设置为16。
S4.1:使用Transformer_encoder将给每条数据加上空间掩码,encoder参数为上述参数,nn.LayerNorm()参数给定为60,MutihHeadAttention()参数为上述参数。
S4.2:forword函数的关键参数teacher_forcing_ratio设置为0.0,用if语句判断teacher_forcing_ratio是否满足条件,满足条件则用torch.einsum()对数据的空间掩码求和得到hidden,得到长度为4的元组,最后用decoder函数计算输出,参数设置为上层空间注意力机制最后观察位置和hidden。
S5:使用Inception_mixer机制对数据进一步提取。
S5.1:第一分支先使用卷积核为(1,1)大小的深度卷积,激活函数为ReLu;再用卷积核大小为(3,3),激活函数为ReLu的深度卷积。第二分支使用核为(3,3),步长为(1,1)的MaxPooling层;再使用卷积核为(1,1),激活函数为ReLu的深度卷积。
S5.2:第三个分支先使用卷积核大小为(3,3),步长为(1,1)的AvgPooling层;再使用卷积核为(1,1),激活函数为ReLu的深度卷积。使用concatenate函数拼接数据。用空间自注意力网络训练数据,网络激活函数为Softmax,得到下层输入的掩码。
S6:根据S5得到的数据,进行最后一层Transformer训练,并用GRU解码器获得最终预测位置。
S6.1:将S5得到的输出,输入到与S4所述一致的Transformer层进行训练,模型参数in_size设置为4,out_size设置为2,掩码个数设置为32,数据用torch.randn((32,4,16,22))重构。GRU解码器embedding参数为output_size和hidden_size,激活函数为SoftMax,得到最终预测的位置序列。用python自带的matplotlib画图工具,画出真实轨迹和预测轨迹,如附图2所示。
S6.2:用compute_RMSE函数来计算损失,参数pred大小为(N,2,25,120),true大小为(N,2,25,120)。用torch.sum(torch.abs(pred-true)**2)计算损失。
本发明将数据构建为空间无向图,为空间自注意力机制铺垫;使用含有图卷积模块的Lstm模型处理图矩阵数据;将传统的Transformer模型的自注意力机制更新为空间自注意力机制;在主模块后加入inception_mixer机制,并为其搭配自注意力机制。
以上所述的具体实施方案,对本发明的目的、技术方案和有益效果进行了进一步的详细说明,所应理解的是,以上所述仅为本发明的具体实施方案而已,并非用以限定本发明的范围,任何本领域的技术人员,在不脱离本发明的构思和原则的前提下所做出的等同变化与修改,均应属于本发明保护的范围。
Claims (10)
1.一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,包括以下步骤:
S1:车辆通过与周围车辆的信息交互获取周围车辆的行驶数据,包括前部中心的横向坐标、纵向坐标、速度以及加速度,并将车辆识别号整合到数据中;使用python内置工具将数据预处理为3维张量;
S2:将预处理过的数据构建为图数据结构;先用矩阵乘法计算出每两个节点间的跳数,然后根据最大跳数对节点间的关系进行分类,最终得到一个邻接矩阵;
S3:创建自定义的LSTM模型;使用Graph_Conv_Block处理图矩阵,并使用自定义的edge_importance_weighting函数提取可用的边权,然后重建图矩阵数据;最后,使用自定义的reshape函数对输出和原输入进行合成;
S4:创建自定义的Transformer模型,其中包含空间注意力机制;使用Xavier初始化编码器上层的数据,然后使用自定义的forward函数进行训练,得到输出;
S5:使用Inception_mixer机制处理数据,提取数据中的高频信息,将得到的高频信息和低频信息拼接到一起,得到新的输出;
S6:将数据再次输入带有空间注意力机制的Transformer中,使用GRU解码器预测位置。
2.根据权利要求1所述的一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,S1中通过与周围车辆的信息交互获取周围车辆的行驶数据,设过去的t时段中有n个对象,将原始数据处理成3维张量,并设置一个定量为5,用来表示一个对象在一个时间步长上的坐标(x,y)以及速度(u,v),并将所有的坐标和速度标准化到(-1,1)之间。
4.根据权利要求1所述的一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,所述S3中的创建自定义LSTM网络,作为处理数据的第一层网络,在该模型中添加了三个Graph_Conv_Block,以及一个BatchNorm2d,该标准化层是为了标准化输入,每层图卷积的空间核大小是根据不同时段空间图的最大跳数和节点数确定,时间核大小固定,激活函数为ReLU,卷积层作用为提取图矩阵中的重要信息,在forward函数中,对图卷积块得到的数据进行前向计算,并用自定义函数edge_importance_weighting提取满足边权要求的节点信息,得到输出;将输出结果与原输入进行拼接,形成新的矩阵,传递给下层网络。
5.根据权利要求1所述的一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,所述S4中的创建自定义的Transformer模型,先对数据进行空间编码,并在注意力机制中只允许数据在临近节点之间传输;通过循环遍历所有参数,并使用Xavier初始化方法初始化其中参数维度大于1的参数;在前向传播中,通过循环迭代,使用GRU解码器生成输出和隐藏状态,并将结果存储在对应的数组位置;如果符合teacher_force方法的要求,就将其作为下一个输入;在空间交互过程中,使用message_passing函数处理隐藏状态和位置掩码,得到输出。
6.根据权利要求5所述的一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,所述S4的具体步骤包括:
将车辆i的邻车集合表示为S={j|At[i,j]=1},便用空间自注意力机制得到时间步长t时车辆i的多头注意力数据,将数据进行前向计算得到输出;
S4.3、利用teacher_forcing机制,使用先验时间步长的输出作为输入,重复空间自注意力机制的过程。
7.根据权利要求6所述的一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,所述S5将S4获得的输出进行输入,将输入分成几个通道,分别分配给高频分支和低频分支;高频分支中使用卷积和最大池化操作提取高频信息;低频分支中先使用平均池化操作,再使用空间注意力机制处理数据,最后进行上采样;最终,将高频结果和低频结果直接拼接在一起,得到最终输出。
8.根据权利要求7所述的一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,所述S5的具体步骤包括:
S5.1、将S4得到的结果输入另一层带有inception_mixer机制的Transformer中,第一个分支X输入经过核大小为1×R的深度卷积,然后在进行核大小为R×1的深度卷积,R为时间步长t时的图节点个数;第二个分支X输入先进行MaxPooling操作,增加数据特征,再进行核大小为R×R的深度卷积;这两个分支是进行高频信息提取,公式为:
C1=dwCR×1(dwC1×R(X))
C2=dwCR×R(MaxPool(X));
S5.2、第三个分支X首先进行AveagePooling操作,将数据特征缩减,然后使用R×R的深度卷积,最后进行upsample操作,调用插值函数将特征补全,公式为:
P3=dwCR×R(AvgPool(X))
之后将特征矩阵连图连接起来过程为:
O=LayerNorm(Concat(C1,C2,P3))
最后再用空间自注意力机制对获得的序列O和X进行训练,并在两个序列分别乘上查询向量矩阵Wq、键向量矩阵Wk和值向量矩阵Wv,公式如下:
最终得到输出。
9.根据权利要求8所述的一种基于Transformer和LSTM的车辆轨迹预测方法,其特征在于,所述S6根据S5得到的数据,进行最后一层Transformer训练,并用GRU解码器获得最终预测位置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310291347.5A CN116373900A (zh) | 2023-03-23 | 2023-03-23 | 一种基于Transformer和LSTM的车辆轨迹预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310291347.5A CN116373900A (zh) | 2023-03-23 | 2023-03-23 | 一种基于Transformer和LSTM的车辆轨迹预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116373900A true CN116373900A (zh) | 2023-07-04 |
Family
ID=86972375
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310291347.5A Pending CN116373900A (zh) | 2023-03-23 | 2023-03-23 | 一种基于Transformer和LSTM的车辆轨迹预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116373900A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116629462A (zh) * | 2023-07-25 | 2023-08-22 | 清华大学 | 一种多智能体统一交互轨迹预测方法、系统、设备和介质 |
CN117094951A (zh) * | 2023-07-25 | 2023-11-21 | 中国医学科学院北京协和医院 | 一种新型的自动骨龄预测算法模型 |
-
2023
- 2023-03-23 CN CN202310291347.5A patent/CN116373900A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116629462A (zh) * | 2023-07-25 | 2023-08-22 | 清华大学 | 一种多智能体统一交互轨迹预测方法、系统、设备和介质 |
CN116629462B (zh) * | 2023-07-25 | 2023-11-21 | 清华大学 | 一种多智能体统一交互轨迹预测方法、系统、设备和介质 |
CN117094951A (zh) * | 2023-07-25 | 2023-11-21 | 中国医学科学院北京协和医院 | 一种新型的自动骨龄预测算法模型 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116373900A (zh) | 一种基于Transformer和LSTM的车辆轨迹预测方法 | |
CN107358626B (zh) | 一种利用条件生成对抗网络计算视差的方法 | |
Jantzen | Neurofuzzy modelling | |
US11816841B2 (en) | Method and system for graph-based panoptic segmentation | |
CN110175248B (zh) | 一种基于深度学习和哈希编码的人脸图像检索方法和装置 | |
CN109753959B (zh) | 基于自适应多尺度特征融合的路面交通标志检测方法 | |
US11263513B2 (en) | Method and system for bit quantization of artificial neural network | |
CN114170789A (zh) | 基于时空图神经网络的智能网联车换道决策建模方法 | |
Chatterjee et al. | Real time traffic delay optimization using shadowed type-2 fuzzy rule base | |
CN112084934A (zh) | 基于骨骼数据双通道深度可分离卷积的行为识别方法 | |
CN113688765A (zh) | 一种基于注意力机制的自适应图卷积网络的动作识别方法 | |
CN108510126A (zh) | 一种基于pca和bp神经网络的交通事故预测方法 | |
CN113379655A (zh) | 一种基于动态自注意力生成对抗网络的图像合成方法 | |
CN113516133A (zh) | 一种多模态图像分类方法及系统 | |
CN116386899A (zh) | 基于图学习的药物疾病关联关系预测方法及相关设备 | |
CN113537580A (zh) | 一种基于自适应图学习的公共交通客流预测方法及系统 | |
CN116563682A (zh) | 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法 | |
CN117079098A (zh) | 一种基于位置编码的空间小目标检测方法 | |
CN116503446A (zh) | 目标驱动和分布热力图输出的多模态车辆轨迹预测方法 | |
CN115071762A (zh) | 面向城市场景下行人轨迹预测方法、模型及存储介质 | |
Geng et al. | Dynamic-learning spatial-temporal Transformer network for vehicular trajectory prediction at urban intersections | |
CN117116048A (zh) | 基于知识表示模型和图神经网络的知识驱动交通预测方法 | |
CN116563683A (zh) | 一种基于卷积神经网络和多层感知机的遥感影像场景分类方法 | |
CN116170746A (zh) | 基于深度注意力机制和几何信息的超宽带室内定位方法 | |
CN111429436B (zh) | 一种基于多尺度注意力和标签损失的本质图像分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |