CN114802296A - 一种基于动态交互图卷积的车辆轨迹预测方法 - Google Patents

一种基于动态交互图卷积的车辆轨迹预测方法 Download PDF

Info

Publication number
CN114802296A
CN114802296A CN202210263413.3A CN202210263413A CN114802296A CN 114802296 A CN114802296 A CN 114802296A CN 202210263413 A CN202210263413 A CN 202210263413A CN 114802296 A CN114802296 A CN 114802296A
Authority
CN
China
Prior art keywords
vehicle
matrix
track
information
vehicles
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210263413.3A
Other languages
English (en)
Inventor
沈国江
郦鹏飞
孔祥杰
郑建炜
刘志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN202210263413.3A priority Critical patent/CN114802296A/zh
Publication of CN114802296A publication Critical patent/CN114802296A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00276—Planning or execution of driving tasks using trajectory prediction for other traffic participants for two or more other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2477—Temporal data queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Quality & Reliability (AREA)
  • Fuzzy Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了一种基于动态交互图卷积的车辆轨迹预测方法，首先将车辆轨迹进行预处理，然后根据交通道路场景中不同时间帧的车辆分布进行构图，通过动态图卷积网络模块捕捉目标车辆与周围车辆之间存在的潜在交互信息，其中不同车辆之间的交互权重矩阵采用长短期记忆网络动态更新，目标车辆的历史轨迹信息通过Transformer网络进行学习，通过结合空间交互特征以及时序轨迹特征作为编码器输入，以生成下一时刻的车辆轨迹坐标。本发明通过提出一个新的动态图卷积方法，将车辆作为节点并实时更新车辆间的权重信息，解决了传统车辆轨迹预测方法中无法动态获取与周围对象之间交互信息的缺点，大大提高了车辆轨迹的预测精度。

Description

一种基于动态交互图卷积的车辆轨迹预测方法
技术领域
本发明涉及自动驾驶系统安全领域，尤其涉及一种基于动态交互图卷积的车辆轨迹预测方法，在提高自动驾驶系统决策规划能力方面具有重要意义。
背景技术
近年来，随着随着汽车智能化程度不断提升，辅助驾驶功能甚至自动驾驶功能近乎成为未来量产车型的标准配置。目前，在全球多家公司数年的自动驾驶汽车测试过程中，自动驾驶汽车在普通的交通场景下对危险情况可及时作出反应，降低事故发生的可能。然而在复杂的道路交通中，自动驾驶车辆的安全性仍难以保证。为了能够在复杂的交通场景下安全高效的行驶，自动驾驶车辆需要具备分析和理解不同驾驶场景的能力。自动驾驶系统中，预测模块扮演了重要的承上启下的作用。其承接上游感知融合结果，为下游自动驾驶车辆规划提供动态障碍物的运动推理，直接影响着自动驾驶系统的安全性和灵活性。运动预测模块主要解决自动驾驶车辆与周围环境中的其它运动物体(车辆、行人等)的协同交互问题。该模块对感知模块所检测到的运动物体进行未来一段时间内行为意图的预测，并将预测的结果转化为时间维度和空间维度的轨迹。以这些障碍车、行人、非机动车等运动物体的预测轨迹作为输入，自动驾驶车辆可以做出更加合理的驾驶决策，规划出更加合理、安全的车辆运动行为。
先前的研究方法主要根据运动学模型(如CV、CTRA等)基于当前目标状态信息预测未来一段时间的轨迹，但这类模型只适用于短期轨迹预测，如果时间过长，那目标仅与运动学相关的假设则不再成立。之后研究者采用机器学习方法，如卡尔曼滤波器、隐马尔可夫等。然而这类方法存在精度较低、鲁棒性较差等缺点。近年来，随着人工智能研究的迅速兴起和各种深度学习网络模型的发展，人们提出了许多创新方法来探索车辆轨迹复杂的时空特征。如采用RNN(循环神经网络)、LSTM(长短期记忆)等循环序列模型提取车辆的时间特征信息，将道路场景划分成网格的形式使用CNN(卷积神经网络)捕获车辆存在的空间特征信息。但这些方法没有考虑到车辆行为之间存在的动态相互依赖关系以及道路网络在空间上的拓扑结构。
图卷积网络的发展，为我们解决这一问题提供了一种新的思路。图结构的性质和特点，使得其能够更加全面、准确地表达不同相邻车辆之间存在的潜在交互关系。考虑到交通数据的动态特征，本文提出一种动态交互图卷积网络模型(DGCNT)，该模型将道路结构划分为非欧式结构，并且通过一种新颖的空间图结构动态获取车辆之间的潜在交互信息。相较于静态图的结构化建模，动态图的拓扑结构能够更加直观和高效的表示车辆之间的交互信息。DGCNT模型通过对交通场景进行图表示建模并通过LSTM来自适应的更新空间关系，并将该关系反馈给GCN从而能够从图形表示上获取更多的交互信息。其次，最近由于变换器(Transformer)模型在处理时序数据所体现出的高效性和优越性，这启发我们使用Transformer代替LSTM等循环神经网络模型来更好的提取车辆的时间相关性。相较于循环神经网络模型，Transformer采用自注意力机制解决了传统循环神经网络不能针对更长时序数据进行处理的问题以及不能并行计算的限制，提高了预测轨迹的精度。
发明内容
本发明针对上述车辆轨迹预测模型存在的不足之处，提出了一种基于动态交互图卷积的车辆轨迹预测方法。目标车辆通过感知周围车辆的历史轨迹数据以及车辆间的交互信息，预测出周围车辆的未来轨迹，并根据未来的路径分布，做出更加合理的驾驶决策。
本发明是通过以下技术方案达到上述目的：一种基于动态交互图卷积的车辆轨迹预测方法，其包括如下步骤：
S1：对原始数据集中的数据进行预处理；
S2：将S1处理后的序列数据转化为图数据；
S3：在空间维度上构建动态GCN模型，以实时获取车辆间的潜在交互信息；
S4：在时间维度上采用Transformer模块，以捕获所有车辆的历史轨迹中的动态时序依赖性特征信息，将S3中的车辆空间特征信息与时序依赖信息结合，预测所有车辆的未来轨迹；
S5：采用平均位移误差(ADE)和最终位移误差(FDE)损失函数对模型进行训练并保存，以更新模型中间参数。
其中S1具体包括步骤如下：
S1.1：采用平滑滤波器对数据进行清洗，如清除缺失值、噪声数据等；
S1.2：根据自定义的轨迹点数量阈值m、轨迹点之间的距离阈值l以及每一帧中车辆数量阈值n进行筛选数据；
S1.3：采用滑动窗口机制对数据进行采样，每个样本中包含一定数量的车辆轨迹数据，其中一部分作为历史轨迹数据，另一部分作为预测轨迹数据，并按一定的比例划分为训练集、验证集和测试集。
其中S2具体包括步骤如下：
S2.1：提取每个时间步长对象的轨迹数据，时间步长t时的所有对象作为图的节点集
Figure BDA0003550725220000021
其中N对应t时交通场景中的对象数量，
Figure BDA0003550725220000022
为边集，其表示对象
Figure BDA0003550725220000023
和
Figure BDA0003550725220000024
之间的交互信息；
S2.2：根据图邻接矩阵初始化空间性位置嵌入矩阵
Figure BDA0003550725220000031
得到嵌入空间性位置信息以考虑对象之间的连通性和距离，用于模拟空间依赖关系，节点的特征矩阵用
Figure BDA0003550725220000032
表示，Xt中的每一行对应相应节点的一个d维特征向量。
其中S3具体包括步骤如下：
S3.1：将邻接矩阵At和节点嵌入矩阵
Figure BDA0003550725220000033
作为输入，并使用权重矩阵
Figure BDA0003550725220000034
更新节点特征矩阵
Figure BDA0003550725220000035
作为输出，具体公式如下：
Figure BDA0003550725220000036
其中m表示动态图卷积网络层数，σ表示激活函数(模型中采用LeakyReLU)，而初始嵌入矩阵由节点特征矩阵确定
Figure BDA0003550725220000037
Figure BDA0003550725220000038
则是对邻接矩阵At归一化后的表示；
S3.2：将邻接矩阵A增加自连接关系，以融入车辆自身的空间信息，其次将添加自连接后的邻接矩阵相加构造度矩阵
Figure BDA0003550725220000039
最后经过变换后的度矩阵与自连接邻接矩阵相乘以生成归一化的邻接矩阵
Figure BDA00035507252200000310
其具体计算公式为如下；
Figure BDA00035507252200000311
Figure BDA00035507252200000312
Figure BDA00035507252200000313
S3.3：利用节点嵌入向量H和权重矩阵W，多个交互对的影响通过图卷积操作同时在整个交通场景中传播，如果在静态图卷积模型中针对不同的时间片实时动态的更新权重矩阵，这将会导致训练参数过多、计算缓慢等缺点，因此我们通过引入LSTM来更新网络参数来将其扩展到动态设置，以捕获图的动态。通过这种方式，参数的数量(模型大小)不会随着时间步长的增加而增多，总体公式如下所示：
Figure BDA00035507252200000314
S3.4：将权重矩阵Wt-1作为输入数据与节点嵌入向量进行拼接，并通过激活函数输出遗忘门、输入门、输出门的结果Ft、It、Ot，公式如下所示：
Ft＝σ(WF·[Wt-1,Ht]+BF) (6)
It＝σ(WI·[Wt-1,Ht]+BI) (7)
Ot＝σ(Wo·[Wt-1,Ht]+Bo) (8)
其中WF，BF为遗忘门的自定义参数，WI，BI为输入门的自定义参数，WO，BO为输出门的自定义参数，σ为sigmoid激活函数；
S3.5：通过输入门和tanh函数控制权重矩阵中哪些新信息被加入，以保证对交通场景下不同车辆之间潜在交互信息的感知，公式如下所示：
Figure BDA0003550725220000041
其中WC，BC为自定义参数，
Figure BDA0003550725220000042
为用于更新单元状态的候选向量；
S3.6：通过遗忘门输出与前一时刻的单元状态进行点乘，以及输入门的输出与候选向量点乘并相加得出更新后当前时间步下的单元状态Ct，之后通过集成输出门的结果以更新权重矩阵，具体公式如下所示：
Figure BDA0003550725220000043
Figure BDA0003550725220000044
S3.7：根据更新后的权重矩阵，聚合以目标车辆z为中心的邻居车辆信息，通过不断迭代直至所有车辆获取与周围车辆的空间相关系数，具体公式如下所示：
Figure BDA0003550725220000045
其中k为卷积核尺寸，p(.)是聚合邻居信息的采样函数；
其中S4具体包括步骤如下：
S4.1：目前针对车辆轨迹预测的时序特征提取模块大多仍采用循环序列模型，如RNN、LSTM等。但是，RNN固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。我们所采用的Transformer，是一种避免循环的模型结构，完全依赖于注意力机制对输入输出的全局依赖关系进行建模，并且其并行化的处理方式大大提升了计算效率。为了让Transformer处理输入，需要通过一个权值矩阵Wx的线性投影到一个更高的D维空间中，公式如下：
Figure BDA0003550725220000046
S4.2：之后嵌入张量
Figure BDA0003550725220000051
通过添加一个相同维数的位置编码向量pt对过去和未来每个时刻t的时间进行编码，使得每个嵌入张量
Figure BDA0003550725220000052
都有对应时间t的时间戳，具体公式如下：
Figure BDA0003550725220000053
S4.3：然后通过自注意力模块学习给定输入的查询矩阵Qi、键值矩阵Ki、值矩阵Vi，扩展了模型关注不同时间位置的能力，具体公式如下：
Figure BDA0003550725220000054
Figure BDA0003550725220000055
Figure BDA0003550725220000056
其中fQ、fK、fV是车辆i＝1,...,N共享的查询函数、键值函数和值函数；
S4.4：之后我们分别计算每辆车的注意力，我们将车辆的多头注意力通过查询矩阵、键值矩阵、值矩阵进行计算，具体公式如下所示：
Figure BDA0003550725220000057
Figure BDA0003550725220000058
headj＝Attj(Qi,Ki,Vi) (20)
其中Concat通过全连接层聚合k个单元的信息；
S4.5：然后通过残差连接X+MultiHead(X)解决多层网络训练的问题，可以让网络只关注当前差异的部分，并且使用归一化方法LayerNrm(X+MultiHead(X))加快收敛速度，以得到车辆vi历史轨迹的编码信息矩阵
Figure BDA0003550725220000059
其中X表示多头注意力的输入；
S4.6：将S3.7更新后的完整交互特征z(m)以及S4.5中的编码信息矩阵
Figure BDA00035507252200000510
一同输入到Transformer解码器，得到下一时刻车辆的预测轨迹，具体公式如下所示：
Figure BDA00035507252200000511
其中S5具体包括步骤如下：
S5.1：模型将车辆前3s的历史轨迹信息输入以预测未来5s的车辆轨迹坐标，预测轨迹和真实轨迹间的偏离程度通过平均位移误差(ADE)和最终位移误差(FDE)来表示，通过最小化损失值，反向传播误差学习到模型中的参数，ADE和FDE计算公式如下式：
Figure BDA0003550725220000061
Figure BDA0003550725220000062
其中，
Figure BDA0003550725220000063
为车辆预测轨迹坐标
Figure BDA0003550725220000064
Figure BDA0003550725220000065
为车辆真实轨迹坐标
Figure BDA0003550725220000066
本发明的工作原理是：由于车辆在真实的交通场景下的分布呈现出一种非结构化的状态，因此常规的用于捕捉结构化信息的卷积神经网络并不能很好的描述车辆之间的空间关系，而图卷积神经网络则能很好的解决这一问题。本发明首先对车辆在道路上的分布进行构图，将每辆车作为图中的一个节点，节点间互相连接的边表示车辆间的影响程度。由于图卷积网络中采用的是非加权的邻接矩阵，因此无法表述不同车辆间的交互关系。为了解决这一问题，本发明引入长短期记忆网络来动态更新车辆在不同时间步下的交互信息。其次，车辆轨迹数据中的时序信息也是十分重要的，本发明采用Transformer捕捉轨迹中的时序特征，相较于以往的方法，Transformer由于其采用注意力以及并行的机制，使其能够更加高效的提取车辆轨迹中的时间相关性。最后，Transformer解码器通过结合所提取到的时空特征信息，预测出车辆的未来轨迹。
本发明的优点是：
(1)首次设计出一种结合图卷积网络和变换器的车辆轨迹预测框架，捕获车辆轨迹数据中的深层次特征，并以并行方式高效解决车辆轨迹预测问题。
(2)通过使用LSTM自适应更新的空间关系表述车辆间的影响程度，捕捉车辆在不同时间步下的动态交互信息。
附图说明
图1为本发明方法的整体流程图
图2为本发明方法的动态图卷积网络模型的总体结构图
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将对本发明的具体实施方式作进一步的详细描述。
本发明实施例提供了一种基于动态交互图卷积的车辆轨迹预测方法，系统流程如图1所示，模型结构如图2所示，该方法包括：
S1：对原始数据集进行清洗，提取出有用的数据，具体步骤如下：
S1.1：我们选择NGSIM中的美国加州US 101号公路数据集进行举例，该数据集收集于2005年6月15日上午7:50至8:35共45分的车辆轨迹数据，由于原始数据集中属性较多，因此经过列筛选后提取出我们所需的属性如下表1所示：
表1
编号 名称 注释
1 VehicleId 车辆编号
2 FrameId 数据帧号
3 TotalFrames 数据总帧
4 LocalX 采集区域坐标系的X值
5 LocalY 采集区域坐标系的Y值
6 Global_Time 标准时间
7 LaneIdentity 车道编号
S1.2：提取出所需的列信息后我们采用平滑滤波器对其中的车辆轨迹数据进行清洗，删除其中的缺失值，随后我们将数据根据车辆编号进行排序，为了保证数据的连续性和有效性，我们将那些时间帧存在缺失以及轨迹点少于100个的车辆删除，并且通过计算车辆当前时间帧与前一时间帧的坐标距离，删除距离大于5m的噪声数据。
S1.3：由于需要获取每个时间帧中的车辆信息，因此需将S1.2处理后的数据根据标准时间以及车辆编号进行排序，然后删去每一时间帧中车辆数少于4的时间帧，以保证每一时间帧中都存在一定数量的车辆以获取车辆之间的交互信息。经过筛选以及处理后保存的数据属性如下表2所示：
表2
编号 名称 注释
1 VehicleId 车辆编号
2 FrameId 数据帧号
3 LocalX 采集区域坐标系的X值
4 LocalY 采集区域坐标系的Y值
S1.4：将经过S1.3处理后的数据根据滑动窗口机制进行采样，每个样本中包含80帧车辆轨迹数据，前30帧作为历史轨迹数据，后50帧作为预测轨迹数据，并按8:1:1的比例划分为训练集、验证集和测试集。
S2：针对S1处理后的的数据，对其进行构图，具体步骤如下：
S2.1：提取每个时间步长中所有车辆的轨迹数据，时间步长t时的所有车辆作为图的节点集
Figure BDA0003550725220000081
其中N对应t时交通场景中的对象数量，
Figure BDA0003550725220000082
为边集，其表示车辆
Figure BDA0003550725220000083
和
Figure BDA0003550725220000084
之间的交互信息；
S2.2：根据图邻接矩阵初始化空间性位置嵌入矩阵
Figure BDA0003550725220000085
得到嵌入空间性位置信息以考虑车辆之间的连通性和距离，用于模拟空间依赖关系，节点的特征矩阵用
Figure BDA0003550725220000086
表示，Xt中的每一行对应相应节点的一个d维特征向量。
S3：构造动态卷积神经网络模型，将经过S2构图后的数据进行输入，以获取不同时间帧时车辆间的交互信息，步骤如下：
S3.1：通过将S2.2中根据车辆数量以及每一车辆中的特征构造的邻接矩阵At以及节点嵌入矩阵
Figure BDA0003550725220000087
并将其与权重矩阵
Figure BDA0003550725220000088
结合作为输入，以更新节点特征矩阵
Figure BDA0003550725220000089
具体公式如下所示：
Figure BDA00035507252200000810
其中m表示动态图卷积网络层数，σ表示激活函数，而初始嵌入矩阵由节点特征矩阵确定
Figure BDA00035507252200000811
Figure BDA00035507252200000812
则是对邻接矩阵At归一化后的表示；
S3.2：此外通过将邻接矩阵A增加自连接关系，以融入车辆自身的空间信息，其次将添加自连接后的邻接矩阵相加构造度矩阵
Figure BDA00035507252200000813
最后经过变换后的度矩阵与自连接邻接矩阵相乘以生成归一化的邻接矩阵
Figure BDA00035507252200000814
其具体计算公式为如下；
Figure BDA00035507252200000815
Figure BDA00035507252200000816
Figure BDA00035507252200000817
S3.3：利用节点嵌入向量H和权重矩阵W，多个交互对的影响通过图卷积操作同时在整个交通场景中传播，如果在静态图卷积模型中针对不同的时间片实时动态的更新权重矩阵，这将会导致训练参数过多、计算缓慢等缺点，因此我们通过引入LSTM来更新网络参数来将其扩展到动态设置，以捕获图的动态。通过这种方式，参数的数量(模型大小)不会随着时间步长的增加而增多，总体公式如下所示：
Figure BDA0003550725220000091
S3.4：将权重矩阵Wt-1作为输入数据与节点嵌入向量进行拼接，并通过激活函数输出遗忘门、输入门、输出门的结果Ft、It、Ot，公式如下所示：
Ft＝σ(WF·[Wt-1,Ht]+BF) (6)
It＝σ(WI·[Wt-1,Ht]+BI) (7)
Ot＝σ(Wo·[Wt-1,Ht]+Bo) (8)
其中WF，BF为遗忘门的自定义参数，WI，BI为输入门的自定义参数，WO，BO为输出门的自定义参数，σ为sigmoid激活函数；
S3.5：通过输入门和tanh函数控制权重矩阵中哪些新信息被加入，以保证对交通场景下不同车辆之间潜在交互信息的感知，公式如下所示：
Figure BDA0003550725220000092
其中WC，BC为自定义参数，
Figure BDA0003550725220000093
为用于更新单元状态的候选向量；
S3.6：通过遗忘门输出与前一时刻的单元状态进行点乘，以及输入门的输出与候选向量点乘并相加得出更新后当前时间步下的单元状态Ct，之后通过集成输出门的结果以更新权重矩阵，具体公式如下所示：
Figure BDA0003550725220000094
Figure BDA0003550725220000095
S3.7：根据更新后的权重矩阵，聚合以目标车辆z为中心的邻居车辆信息，通过不断迭代直至所有车辆获取与周围车辆的空间相关系数，具体公式如下所示：
Figure BDA0003550725220000096
其中k为卷积核尺寸，p(.)是聚合邻居信息的采样函数；
S4：我们通过构造Transformer网络模型获取当前时间帧每辆车的时序特征信息，并预测车辆的未来轨迹，具体步骤如下：
S4.1：为了让Transformer处理输入，需要通过一个权值矩阵Wx的线性投影到一个更高的D维空间中，公式如下：
Figure BDA0003550725220000101
S4.2：之后嵌入张量
Figure BDA0003550725220000102
通过添加一个相同维数的位置编码向量pt对过去和未来每个时刻t的时间进行编码，使得每个嵌入张量
Figure BDA0003550725220000103
都有对应时间t的时间戳，具体公式如下：
Figure BDA0003550725220000104
S4.3：然后通过自注意力模块学习给定输入的查询矩阵Qi、键值矩阵Ki、值矩阵Vi，扩展了模型关注不同时间位置的能力，具体公式如下：
Figure BDA0003550725220000105
Figure BDA0003550725220000106
Figure BDA0003550725220000107
其中fQ、fK、fV是车辆i＝1,...,N共享的查询函数、键值函数和值函数；
S4.4：之后我们分别计算每辆车的注意力，我们将车辆的多头注意力通过查询矩阵、键值矩阵、值矩阵进行计算，具体公式如下所示：
Figure BDA0003550725220000108
Figure BDA0003550725220000109
headj＝Attj(Qi,Ki,Vi) (20)
其中Concat通过全连接层聚合k个单元的信息；
S4.5：然后通过残差连接X+MultiHead(X)解决多层网络训练的问题，可以让网络只关注当前差异的部分，并且使用归一化方法LayerNrm(X+MultiHead(X))加快收敛速度，以得到车辆vi历史轨迹的编码信息矩阵
Figure BDA00035507252200001010
其中X表示多头注意力的输入；
S4.6：将S3.7更新后的完整交互特征z(m)以及S4.5中的编码信息矩阵
Figure BDA0003550725220000111
一同输入到Transformer解码器，得到下一时刻车辆的预测轨迹，具体公式如下所示：
Figure BDA0003550725220000112
以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims (6)

1.一种基于动态交互图卷积的车辆轨迹预测方法，其特征在于，包括以下步骤：
S1：对原始数据集中的数据进行预处理；
S2：将S1处理后的序列数据转化为图数据；
S3：在空间维度上构建动态GCN模型，以实时获取车辆间的潜在交互信息；
S4：在时间维度上采用Transformer模块，以捕获所有车辆的历史轨迹中的动态时序依赖性特征信息，将S3中的车辆空间特征信息与时序依赖信息结合，预测所有车辆的未来轨迹；
S5：采用平均位移误差(ADE)和最终位移误差(FDE)损失函数对模型进行训练并保存，以更新模型中间参数。
2.如权利要求1所述的一种基于动态交互图卷积的车辆轨迹预测方法，其特征在于：所述步骤S1包含如下步骤：
S1.1：采用平滑滤波器对数据进行清洗，如清除缺失值、噪声数据等；
S1.2：根据自定义的轨迹点数量阈值m、轨迹点之间的距离阈值l以及每一帧中车辆数量阈值n进行筛选数据；
S1.3：采用滑动窗口机制对数据进行采样，每个样本中包含一定数量的车辆轨迹数据，其中一部分作为历史轨迹数据，另一部分作为预测轨迹数据，并按一定的比例划分为训练集、验证集和测试集。
3.如权利要求1所述的一种基于动态交互图卷积的车辆轨迹预测方法，其特征在于：所述步骤S2包含如下步骤：
S2.1：提取每个时间步长对象的轨迹数据，时间步长t时的所有对象作为图的节点集
Figure FDA0003550725210000011
其中N对应t时交通场景中的对象数量，
Figure FDA0003550725210000012
为边集，其表示对象
Figure FDA0003550725210000013
和
Figure FDA0003550725210000014
之间的交互信息；
S2.2：根据图邻接矩阵初始化空间性位置嵌入矩阵
Figure FDA0003550725210000015
得到嵌入空间性位置信息以考虑对象之间的连通性和距离，用于模拟空间依赖关系，节点的特征矩阵用
Figure FDA0003550725210000016
表示，Xt中的每一行对应相应节点的一个d维特征向量。
4.如权利要求1所述的一种基于动态交互图卷积的车辆轨迹预测方法，其特征在于：所述步骤S3包含如下步骤：
S3.1：将邻接矩阵At和节点嵌入矩阵
Figure FDA0003550725210000017
作为输入，并使用权重矩阵
Figure FDA0003550725210000018
更新节点特征矩阵
Figure FDA0003550725210000019
作为输出，具体公式如下：
Figure FDA0003550725210000021
其中m表示动态图卷积网络层数，σ表示激活函数(模型中采用LeakyReLU)，而初始嵌入矩阵由节点特征矩阵确定
Figure FDA0003550725210000022
Figure FDA0003550725210000023
则是对邻接矩阵At归一化后的表示；
S3.2：将邻接矩阵A增加自连接关系，以融入车辆自身的空间信息，其次将添加自连接后的邻接矩阵相加构造度矩阵
Figure FDA0003550725210000024
最后经过变换后的度矩阵与自连接邻接矩阵相乘以生成归一化的邻接矩阵
Figure FDA0003550725210000025
其具体计算公式为如下；
Figure FDA0003550725210000026
Figure FDA0003550725210000027
Figure FDA0003550725210000028
S3.3：利用节点嵌入向量H和权重矩阵W，多个交互对的影响通过图卷积操作同时在整个交通场景中传播，如果在静态图卷积模型中针对不同的时间片实时动态的更新权重矩阵，这将会导致训练参数过多、计算缓慢等缺点，因此我们通过引入LSTM来更新网络参数来将其扩展到动态设置，以捕获图的动态。通过这种方式，参数的数量(模型大小)不会随着时间步长的增加而增多，总体公式如下所示：
Figure FDA0003550725210000029
S3.4：将权重矩阵Wt-1作为输入数据与节点嵌入向量进行拼接，并通过激活函数输出遗忘门、输入门、输出门的结果Ft、It、Ot，公式如下所示：
Ft＝σ(WF·[Wt-1,Ht]+BF) (6)
It＝σ(WI·[Wt-1,Ht]+BI) (7)
Ot＝σ(Wo·[Wt-1,Ht]+Bo) (8)
其中WF，BF为遗忘门的自定义参数，WI，BI为输入门的自定义参数，WO，BO为输出门的自定义参数，σ为sigmoid激活函数；
S3.5：通过输入门和tanh函数控制权重矩阵中哪些新信息被加入，以保证对交通场景下不同车辆之间潜在交互信息的感知，公式如下所示：
Figure FDA00035507252100000210
其中WC，BC为自定义参数，
Figure FDA00035507252100000211
为用于更新单元状态的候选向量；
S3.6：通过遗忘门输出与前一时刻的单元状态进行点乘，以及输入门的输出与候选向量点乘并相加得出更新后当前时间步下的单元状态Ct，之后通过集成输出门的结果以更新权重矩阵，具体公式如下所示：
Figure FDA0003550725210000031
Figure FDA0003550725210000032
S3.7：根据更新后的权重矩阵，聚合以目标车辆z为中心的邻居车辆信息，通过不断迭代直至所有车辆获取与周围车辆的空间相关系数，具体公式如下所示：
Figure FDA0003550725210000033
其中k为卷积核尺寸，p(.)是聚合邻居信息的采样函数。
5.如权利要求1所述的一种基于动态交互图卷积的车辆轨迹预测方法，其特征在于：所述步骤S4包含如下步骤：
S4.1：目前针对车辆轨迹预测的时序特征提取模块大多仍采用循环序列模型，如RNN、LSTM等。但是，RNN固有的顺序属性阻碍了训练样本间的并行化，对于长序列，内存限制将阻碍对训练样本的批量处理。我们所采用的Transformer，是一种避免循环的模型结构，完全依赖于注意力机制对输入输出的全局依赖关系进行建模，并且其并行化的处理方式大大提升了计算效率。为了让Transformer处理输入，需要通过一个权值矩阵Wx的线性投影到一个更高的D维空间中，公式如下：
Figure FDA0003550725210000034
S4.2：之后嵌入张量
Figure FDA0003550725210000035
通过添加一个相同维数的位置编码向量pt对过去和未来每个时刻t的时间进行编码，使得每个嵌入张量
Figure FDA0003550725210000036
都有对应时间t的时间戳，具体公式如下：
Figure FDA0003550725210000037
S4.3：然后通过自注意力模块学习给定输入的查询矩阵Qi、键值矩阵Ki、值矩阵Vi，扩展了模型关注不同时间位置的能力，具体公式如下：
Figure FDA0003550725210000038
Figure FDA0003550725210000039
Figure FDA00035507252100000310
其中fQ、fK、fV是车辆i＝1,...,N共享的查询函数、键值函数和值函数；
S4.4：之后我们分别计算每辆车的注意力，我们将车辆的多头注意力通过查询矩阵、键值矩阵、值矩阵进行计算，具体公式如下所示：
Figure FDA0003550725210000041
Figure FDA0003550725210000042
headj＝Attj(Qi,Ki,Vi) (20)
其中Concat通过全连接层聚合k个单元的信息；
S4.5：然后通过残差连接X+MultiHead(X)解决多层网络训练的问题，可以让网络只关注当前差异的部分，并且使用归一化方法LayerNrm(X+MultiHead(X))加快收敛速度，以得到车辆vi历史轨迹的编码信息矩阵
Figure FDA0003550725210000043
其中X表示多头注意力的输入；
S4.6：将S3.7更新后的完整交互特征z(m)以及S4.5中的编码信息矩阵
Figure FDA0003550725210000044
一同输入到Transformer解码器，得到下一时刻车辆的预测轨迹，具体公式如下所示：
Figure FDA0003550725210000045
6.如权利要求1所述的一种基于动态交互图卷积的车辆轨迹预测方法，其特征在于：所述步骤S5包含如下步骤：
S5.1：模型将车辆前3s的历史轨迹信息输入以预测未来5s的车辆轨迹坐标，预测轨迹和真实轨迹间的偏离程度通过平均位移误差(ADE)和最终位移误差(FDE)来表示，通过最小化损失值，反向传播误差学习到模型中的参数，ADE和FDE计算公式如下式：
Figure FDA0003550725210000046
Figure FDA0003550725210000047
其中，
Figure FDA0003550725210000048
为车辆预测轨迹坐标
Figure FDA0003550725210000049
Figure FDA00035507252100000410
为车辆真实轨迹坐标
Figure FDA00035507252100000411
CN202210263413.3A 2022-03-17 2022-03-17 一种基于动态交互图卷积的车辆轨迹预测方法 Pending CN114802296A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210263413.3A CN114802296A (zh) 2022-03-17 2022-03-17 一种基于动态交互图卷积的车辆轨迹预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210263413.3A CN114802296A (zh) 2022-03-17 2022-03-17 一种基于动态交互图卷积的车辆轨迹预测方法

Publications (1)

Publication Number Publication Date
CN114802296A true CN114802296A (zh) 2022-07-29

Family

ID=82528311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210263413.3A Pending CN114802296A (zh) 2022-03-17 2022-03-17 一种基于动态交互图卷积的车辆轨迹预测方法

Country Status (1)

Country Link
CN (1) CN114802296A (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN115909749A (zh) * 2023-01-09 2023-04-04 广州通达汽车电气股份有限公司 车辆运行道路风险预警方法、装置、设备及存储介质
CN116071925A (zh) * 2023-02-13 2023-05-05 北京爱芯科技有限公司 轨迹预测方法、装置及电子处理装置
CN116151489A (zh) * 2023-04-19 2023-05-23 之江实验室 基于多任务学习的车辆停留行为分析与预测方法、系统
CN116187602A (zh) * 2023-05-05 2023-05-30 松立控股集团股份有限公司 一种停车场车位占用预测方法
CN116341721A (zh) * 2023-03-02 2023-06-27 石家庄铁道大学 一种基于车辆轨迹的运行目的地预测方法及系统
CN116469041A (zh) * 2023-06-20 2023-07-21 成都理工大学工程技术学院 一种目标对象的运动轨迹预测方法、系统及设备
CN116629462A (zh) * 2023-07-25 2023-08-22 清华大学 一种多智能体统一交互轨迹预测方法、系统、设备和介质
CN117272699A (zh) * 2023-11-21 2023-12-22 杭州海康威视数字技术股份有限公司 数字路口的在线仿真方法、装置、存储介质和电子设备
CN117493424A (zh) * 2024-01-03 2024-02-02 湖南工程学院 一种不依赖地图信息的车辆轨迹预测方法
CN117852730A (zh) * 2024-03-08 2024-04-09 北京阿帕科蓝科技有限公司 车辆流转预测方法、装置、计算机设备和存储介质

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115009275B (zh) * 2022-08-08 2022-12-16 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN115009275A (zh) * 2022-08-08 2022-09-06 北京理工大学前沿技术研究院 面向城市场景下车辆轨迹预测方法、系统及存储介质
CN115909749A (zh) * 2023-01-09 2023-04-04 广州通达汽车电气股份有限公司 车辆运行道路风险预警方法、装置、设备及存储介质
CN115909749B (zh) * 2023-01-09 2023-07-14 广州通达汽车电气股份有限公司 车辆运行道路风险预警方法、装置、设备及存储介质
CN116071925B (zh) * 2023-02-13 2024-04-12 北京爱芯科技有限公司 轨迹预测方法、装置及电子处理装置
CN116071925A (zh) * 2023-02-13 2023-05-05 北京爱芯科技有限公司 轨迹预测方法、装置及电子处理装置
CN116341721A (zh) * 2023-03-02 2023-06-27 石家庄铁道大学 一种基于车辆轨迹的运行目的地预测方法及系统
CN116341721B (zh) * 2023-03-02 2023-10-31 石家庄铁道大学 一种基于车辆轨迹的运行目的地预测方法及系统
CN116151489B (zh) * 2023-04-19 2023-07-21 之江实验室 基于多任务学习的车辆停留行为分析与预测方法、系统
CN116151489A (zh) * 2023-04-19 2023-05-23 之江实验室 基于多任务学习的车辆停留行为分析与预测方法、系统
CN116187602A (zh) * 2023-05-05 2023-05-30 松立控股集团股份有限公司 一种停车场车位占用预测方法
CN116469041A (zh) * 2023-06-20 2023-07-21 成都理工大学工程技术学院 一种目标对象的运动轨迹预测方法、系统及设备
CN116469041B (zh) * 2023-06-20 2023-09-19 成都理工大学工程技术学院 一种目标对象的运动轨迹预测方法、系统及设备
CN116629462A (zh) * 2023-07-25 2023-08-22 清华大学 一种多智能体统一交互轨迹预测方法、系统、设备和介质
CN116629462B (zh) * 2023-07-25 2023-11-21 清华大学 一种多智能体统一交互轨迹预测方法、系统、设备和介质
CN117272699A (zh) * 2023-11-21 2023-12-22 杭州海康威视数字技术股份有限公司 数字路口的在线仿真方法、装置、存储介质和电子设备
CN117272699B (zh) * 2023-11-21 2024-02-09 杭州海康威视数字技术股份有限公司 数字路口的在线仿真方法、装置、存储介质和电子设备
CN117493424A (zh) * 2024-01-03 2024-02-02 湖南工程学院 一种不依赖地图信息的车辆轨迹预测方法
CN117493424B (zh) * 2024-01-03 2024-03-22 湖南工程学院 一种不依赖地图信息的车辆轨迹预测方法
CN117852730A (zh) * 2024-03-08 2024-04-09 北京阿帕科蓝科技有限公司 车辆流转预测方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN114802296A (zh) 一种基于动态交互图卷积的车辆轨迹预测方法
CN109754605B (zh) 一种基于注意力时态图卷积网络的交通预测方法
CN109492830B (zh) 一种基于时空深度学习的移动污染源排放浓度预测方法
CN109697852B (zh) 基于时序交通事件的城市道路拥堵程度预测方法
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN109636049B (zh) 一种结合道路网络拓扑结构与语义关联的拥堵指数预测方法
CN111612243A (zh) 交通速度预测方法、系统及存储介质
CN114299723B (zh) 一种交通流量预测方法
CN110570035B (zh) 同时建模时空依赖性和每日流量相关性的人流量预测系统
CN112949828A (zh) 一种基于图学习的图卷积神经网络交通预测方法及系统
CN113362368B (zh) 一种基于多层次时空图神经网络的人群轨迹预测方法
CN115829171B (zh) 一种联合时空信息和社交互动特征的行人轨迹预测方法
CN113705636A (zh) 一种自动驾驶车辆轨迹预测方法、装置及电子设备
CN115951014A (zh) 一种结合气象特征的cnn-lstm-bp多模态空气污染物预测方法
CN112785077A (zh) 基于时空数据的出行需求预测方法及系统
CN113112791A (zh) 一种基于滑动窗口长短时记忆网络的交通流量预测方法
CN116307152A (zh) 时空交互式动态图注意力网络的交通预测方法
CN116168548A (zh) 一种基于多特征融合的时空注意图卷积网络的交通流预测方法
CN114021809A (zh) 一种无人驾驶用交通流量预测的图层级卷积神经网络模型
CN115376103A (zh) 一种基于时空图注意力网络的行人轨迹预测方法
CN114461931A (zh) 一种基于多关系融合分析的用户轨迹预测方法和系统
CN113327417B (zh) 基于3d动态时空残差卷积关联网络的交通流预测方法
CN111815075B (zh) 一种重大公共卫生事件下交通出行需求的预测方法
CN113112792A (zh) 一种基于语义信息的多模块交通密集度预测方法
CN116166642A (zh) 基于引导信息的时空数据填补方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination