CN114655247A

CN114655247A - 基于matt-gnn的周边车辆轨迹预测方法及系统

Info

Publication number: CN114655247A
Application number: CN202210117542.1A
Authority: CN
Inventors: 刘擎超; 刘佳奇; 张鑫; 熊晓夏; 蔡英凤; 陈龙; 王海; 梁军; 景鹏
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2022-02-08
Filing date: 2022-02-08
Publication date: 2022-06-24

Abstract

本发明提供了一种基于MATT‑GNN的周边车辆轨迹预测方法及系统，该预测方法首先构建多注意力谱时空图神经网络，然后将实时采集的周围交通场景车辆信息输入训练后的多注意力谱时空图神经网络，输出被预测车辆的未来轨迹；所述多注意力谱时空图神经网络包括编码器、GRU层、MT‑stem层和解码器，MT‑stem层由n个MT‑stem模块组，MT‑stem模块使得周边车辆间的时空特征得到充分提取；本发明能精准预测复杂交通场景下对周边车辆轨迹。

Description

基于MATT-GNN的周边车辆轨迹预测方法及系统

技术领域

本发明属于车辆智能驾驶技术领域，具体涉及一种基于MATT-GNN(Mutli-Attention Spectral Temporal-Spatial Graph Neural Network，多注意力谱时空图神经网络)的自动驾驶车辆周边车辆轨迹预测方法及系统。

背景技术

近年来，随着科学技术不断的发展，国内外学者对自动驾驶汽车的研究也越来越深入。如何解决自动驾驶车辆在各种复杂交通场景中与其他车辆安全合理地交互问题成为了一个研究热点，国内外学者普遍认为只有当自动驾驶车辆具备预测周边车辆轨迹的功能时，自动驾驶车辆才能更加智能和安全。通过预测周边车辆轨迹以便自动驾驶车辆能够提前作出反应，能够有效避免交通事故的发生。

目前大部分车辆轨迹预测方法基于长短时记忆神经网络(LSTM)模型，预测方法为通过LSTM模型拟合周边车辆之间的时空特征，然后通过反向传播的机制来实现模型权重值的梯度更新，最后拟合得到轨迹预测模型。但是，由于车辆间的交互往往呈现为非欧空间的拓扑图结构，仅仅通过循环神经网络(RNN)和卷积神经网络(CNN)并不能完全表现出车辆之间的交互作用，难以完全表达出隐式关系。

发明内容

针对现有技术中存在不足，本发明提供了一种基于MATT-GNN的周边车辆轨迹预测方法及系统，实现在复杂交通场景下对周边车辆轨迹进行精准预测。

本发明是通过以下技术手段实现上述技术目的的。

基于MATT-GNN的周边车辆轨迹预测方法，具体为：

构建多注意力谱时空图神经网络：将车辆历史轨迹数据与道路特征相结合，基于LSTM 编码器进行编码得到特征，构建每辆车的邻接矩阵；邻接矩阵输入GRU层，构建图G及其相关联的邻接权重矩阵W；把图G作为由n个MT-stem模块组成的MT-stem层的输入，把n个MT-stem模块的输出连接并送到GLU和全连接层，输出训练损失和轨迹预测值，并与图卷积核θ_j后进行求和，获得第j个通道的输出值，连接每个输出通道得到结果Z；最后，通过LSTM解码器进行解码；

将实时采集的周围交通场景车辆信息输入训练后的多注意力谱时空图神经网络，输出被预测车辆的未来轨迹；其中n≥1。

进一步地，所述MT-stem模块使得周边车辆间的时空特征得到充分提取，具体地：

图G变换成谱矩阵表示，将谱矩阵放入多头注意力Seq2seq模块，将谱矩阵中每个节点的特征张量分量变换到频域，再被送到一维卷积和GLU子层，以捕获特征模式；接着，将获得特征模式的张量放入一个线性变换，再输入到放缩点积注意力，将m次的放缩点积注意力结果进行拼接，再进行一次线性变换，并转换回时域；然后对谱矩阵进行有监督学习，在谱矩阵表示上应用图卷积神经网络，并执行逆运算，最后经输出层输出训练损失和轨迹预测值。

进一步地，所述图G＝(X₁，W)，其中X₁为车辆历史轨迹数据，W为邻接权重矩阵，且

Q和K表示查询、键值，Q＝RW^Q、K＝RW^K，R为隐藏状态向量， W^Q和W^K是可学习参数，d为时间复杂度。

进一步地，所述第j个通道的输出值为：

其中，GF表示傅立叶变换算子，GF^-1表示傅立叶变换算子逆运算，S表示头注意力Seq2seq模块，θ_ij是指由第i个输入通道和第j个输出通道组成的图卷积核，Λ_i是归一化拉普拉斯算子的特征矩阵，X_i是每个MT-stem模块的输出。

进一步地，将解码器输出序列Y与时间和天气特征相拟合，具体为：将天气信息表示为分类变量，采用线性层将解码器输出序列Y与时间和天气特征相拟合。

进一步地，所述对谱矩阵进行有监督学习是基于轨迹正则化模块实现的，对图神经网络的特征输入进行全局池化，并且运用多标签多分类算法进行分类。

进一步地，所述周围交通场景车辆信息包括：车辆的横纵向坐标信息、横纵向加速度、横纵向速度、车辆长度、车辆宽度和车辆中心点距离车道边界线的横向距离。

一种基于MATT-GNN的周边车辆轨迹预测系统，包括：

轨迹数据采集模块，用于获取周围交通场景车辆信息；

数据预处理模块，对轨迹数据采集装置所采集的数据进行去噪并进行格式变换；

轨迹预测模块，基于预处理的数据进行周边车辆轨迹预测，得到被预测车辆的未来轨迹。

本发明的有益效果为：本发明用于得到被预测车辆未来轨迹的多注意力谱时空图神经网络，包括编码器、GRU层、MT-stem层和解码器，MT-stem层由n个MT-stem模块组，MT-stem 模块使得周边车辆间的时空特征得到充分提取，保证预测结果更精确。

附图说明

图1为本发明所述多注意力谱时空图神经网络结构示意图；

图2为本发明所述MT-stem层结构示意图。

具体实施方式

下面结合附图以及具体实施例对本发明作进一步的说明，但本发明的保护范围并不限于此。

本发明基于多注意力谱时空图神经网络的自动驾驶车辆周边车辆轨迹预测系统，包括轨迹数据采集模块、数据预处理模块和轨迹预测模块。

轨迹数据采集模块，包括激光雷达和路测设备，识别周围交通场景车辆信息，以5Hz的频率采集车辆的横纵向坐标信息、横纵向加速度、横纵向速度、车辆长度、车辆宽度和车辆中心点距离车道边界线的横向距离；周围交通场景中包括自动驾驶车辆、周边车辆和非周边车辆三部分，自动驾驶车辆为数据采集车，周边车辆定义为距离小于自动驾驶车辆中心点30 米范围内的车辆；非周边车辆为大于自动驾驶车辆中心点30米范围的车辆。

数据预处理模块，对轨迹数据采集装置所采集的数据进行数据预处理，预处理具体为：首先对包括采集的数据进行去噪，再基于去噪的数据构建多注意力谱时空图神经网络所需数据格式。

轨迹预测模块，基于预处理的数据进行周边车辆轨迹预测，并输出被预测车辆的未来轨迹。

本发明基于多注意力谱时空图神经网络的自动驾驶车辆周边车辆轨迹预测方法，具体包括如下步骤：

步骤(1)，多注意力谱时空图神经网络的构建

步骤(1.1)，多注意力谱时空图神经网络的输入

多注意力谱时空图神经网络的输入包括自动驾驶车辆历史轨迹和周边车辆历史轨迹这两部分

(1)自动驾驶车辆历史轨迹

自动驾驶车辆的历史轨迹序列可以表示为：

X_AV＝{p^(t),p^(t-1),p^(t-2),···,p^(t-k)}

其中，k表示时间序列的长度，t表示当前帧，p^(t)表示在t时刻时自动驾驶车辆的历史轨迹，且：

p^(t)＝{local_{AV_x} ^(t),local_{AV_y} ^(t),v_{AV_x} ^(t),v_{AV_y} ^(t),a_{AV_x} ^(t),a_{AV_y} ^(t),L_AV,W_AV,Δd_{AV_left} ^(t),Δd_{AV_right} ^(t)}

其中，local_{AV_x} ^(t)和local_{AV_y} ^(t)分别表示自动驾驶车辆在t时刻时横、纵向坐标位置，v_{AV_x} ^(t)和v_{AV_y} ^(t)表示自动驾驶车辆在t时刻时横、纵向速度值，a_{AV_x} ^(t)和a_{AV_y} ^(t)表示自动驾驶车辆在 t时刻时横、纵向加速度值，L_AV、W_AV分别表示自动驾驶车辆的长度和宽度，Δd_{AV_left} ^(t)、Δd_{AV_right} ^(t)分别表示在t时刻时自动驾驶车辆中心点距离行车方向左侧和右侧车道边界线的距离差。

(2)周边车辆历史轨迹

自动驾驶车辆的周边车辆的历史轨迹序列可以表示为：

X_surround＝{f^(t),f^(t-1),f^(t-2),···,f^(t-k)}

其中，f^(t)表示在t时刻时周边车辆的历史轨迹，且：

f^(t)＝{s₁ ^(t),s₂ ^(t),s₃ ^(t),···,s_n ^(t)}

其中，s_n ^(t)表示自动驾驶车辆周围的第n辆车的轨迹信息，且：

s_n ^(t)＝{local_{surround_x} ^(t),local_{surround_y} ^(t),v_{surround_x} ^(t),v_{surround_y} ^(t),a_{surround_x} ^(t),a_{surround_y} ^(t),Δlocal_x ^(t),Δlocal _y ^(t),Δv_x ^(t),Δv_y ^(t),Δa_x ^(t),Δa_y ^(t),Δd_{surround_left} ^(t),Δd_{surround_right} ^(t)}

其中，local_{surround_x} ^(t)和local_{surround_y} ^(t)分别表示周边车辆在t时刻时横、纵向坐标位置， v_{surround_x} ^(t)和v_{surround_y} ^(t)分别表示周边车辆在t时刻时横、纵向速度，a_{surround_x} ^(t)和a_{surround_y} ^(t)分别表示周边车辆在t时刻时横、纵向加速度值，Δlocal_x ^(t)和Δlocal_y ^(t)分别表示t时刻时周边车辆中心点与自动驾驶车辆的横、纵向坐标差值，Δv_x ^(t)和Δv_y ^(t)分别表示t时刻时周边车辆中心点与自动驾驶车辆的横、纵向速度差值，Δa_x ^(t)和Δa_y ^(t)分别表示t时刻时周边车辆中心点与自动驾驶车辆的横、纵向加速度差值，Δd_{surround_left} ^(t)、Δd_{surround_right} ^(t)分别表示在t时刻时周边车辆中心点距离行车方向左侧和右侧车道边界线的距离差。

步骤(1.2)，多注意力谱时空图神经网络结构

多注意力谱时空图神经网络的整体架构如图1所示，车辆历史轨迹数据X₁首先与道路特征相结合，然后基于LSTM编码器进行编码得到特征，构建每辆车的邻接矩阵(即输入向量和隐藏状态向量)；然后，基于GRU层构建图G及其相关联的邻接权重矩阵W；把图G作为由两个MT-stem模块组成的MT-stem层的输入，把两个MT-stem模块的输出连接并馈送到GLU和全连接层；最后，通过LSTM解码器进行解码，基于时间和天气特征输出轨迹预测值。

(1)编码器

本申请为周边车辆轨迹预测系统设计了编码器-解码器架构，该架构基于多个LSTM进行构建，分别称为编码器和解码器。

编码器用于处理输入序列X₁，在每一个时间步，编码器递归地从先前的LSTM层中取出输入向量和隐藏状态向量，用于生成当前时间步的输入向量和隐藏状态向量，在完成全部时间步长的编码后生成最终向量和隐藏状态向量。

(2)GRU层

首先，最终向量和隐藏状态向量被送入门控循环单元(GRU)层，该层依次计算每个时间戳t对应的时空相关性；运用最终的隐藏状态向量R作为整个序列的表示，得到权重矩阵 W：

Q＝RW^Q

K＝RW^K

其中，Q和K表示query(查询)、key(键值)，可通过线性投影的方式来计算；W^Q和 W^K是可学习参数，通过学习周边车辆之间的时空相关性，得到图G的邻接权重矩阵；d为时间复杂度。

构建图G＝(X₁，W)，图G中任意两个结点之间都可能相关，即结点之间的邻接关系可以是任意的。

(3)MT-stem模块

详细地，MT-stem模块旨在对谱域中序列内部的结构和时空相关性进行建模，使得周边车辆间的时空特征得到充分提取。

首先，基于傅立叶变换算子GFT将图G变换成谱矩阵表示，谱矩阵中每个节点的特征张量变得线性独立。

然后，将谱矩阵放入多头注意力Seq2seq模块，首先基于离散傅里叶变换算子DFT将每个特征张量分量变换到频域，再被馈送到一维卷积IDConv和GLU子层，以捕获特征模式；接着，将获得特征模式的张量放入一个线性变换Linear，输入到放缩点积注意力，再输入到放缩点积注意力需要做m次，其实也就是所谓的多头，每一次算一个头，而且每次线性变换的参数W是不一样的；然后将m次的放缩点积注意力结果进行拼接，再进行一次线性变换 Linear，得到的值作为结果。多头注意力机制的优势在于进行了m次计算而不仅仅算一次，可以使得模型在不同的表示谱矩阵里学习到相关的信息。最后，通过逆离散傅立叶变换算子 IDFT转换回时域。

然后，基于轨迹正则化模块TCR对谱矩阵进行有监督学习，其主要目的是提高图神经网络的周边车辆时空特征提取能力，从而对图神经网络的特征输入进行全局池化，并且运用多标签多分类算法进行分类，有监督地引导图神经网络只激活类相关特征。

最后，在谱矩阵表示上应用图卷积神经网络Gconv，并执行傅立叶变换算子逆运算IGFT。

在MT-stem模块最后，添加了一个由GLU和全连接层FC组成的输出层。该模型输出训练损失和轨迹预测值；其中，损失函数可以表述为：

其中，

表示前馈损失，X表示反馈损失，Δ_θ表示训练损失；对于每个时间戳t，{X_t-k，…，X_t-1}是输入值，

是时间戳为t时的预测值，{B_t-k(X)，…，B_t-1(X)} 是通过反馈得到的重构值。

(4)MT-stem层

MT-stem层是通过堆叠n个具有残差连接的MT-stem模块构建的，通过将多头注意力 Seq2seq和TCR单元嵌入到谱图卷积模块中，构造一个MT-stem层；n≥1，本实施例中n 优选为两个。

详细地，本申请通过将多头注意力Seq2seq模块应用于傅里叶变换(GFT)的输出，以学习轨迹数据中的自相关特征。将GFT、多头注意力Seq2seq和TCR单元应用于每个MT-stem模块的输出X_i，接着与图卷积核θ_j后进行求和运算。

最后，对求得的总和应用逆图形傅立叶变换IGFT，以获得第j个通道的输出值Z_j，其可以写如下：

其中，GF、GF^-1和S分别表示GFT、IGFT和多头注意力Seq2seq模块，θ_ij是指由第i 个输入通道和第j个输出通道组成的图卷积核，Λ_i是归一化拉普拉斯算子的特征矩阵，在GFT中使用的特征向量的个数等于不降维的多元维数。

然后，通过连接每个输出通道Z_j，得到结果Z。

(4)解码器

解码器使用编码器传来的隐藏状态向量和MT-stem层输出结果Z，通过使用LSTM层递归地进行解码操作；在每个解码步骤中，解码器输入在前一步骤中获得的输出，并生成输出序列Y。

(5)时间和天气特征

本申请还在轨迹预测中加入了可能影响驾驶员轨迹决策的背景特征，包括时间和天气情况。一天中的不同时间段和天气状况都会对车辆轨迹产生重要的影响，本申请将一天的时间分成12个间隔，即2小时为一个间隔。此外，本申请将天气信息表示为分类变量(晴天/阴天/小雨/大雨)，采用线性层将输出序列Y与时间和天气特征相拟合。

步骤(2)，多注意力谱时空图神经网络的训练

(1)训练数据

详细地，在任意一个采样时刻的数据均包含自动驾驶车辆的坐标、速度、加速度、车辆长宽、距离左右侧车道边界线的距离。

另外，在每条数据中，自动驾驶车辆的坐标均被设定为(0，0)，周边车辆的坐标均为以自动驾驶车辆为中心的相对坐标，用于加强模型的泛化能力。

(2)模型训练环境

本发明使用pytorch 1.8.1作为训练框架，结合root mean square prop(RMSProp)优化器加速梯度下降，从而加快模型的训练过程。将RMSProp优化器的学习率设定为0.0001，使得训练能够更精准的找到最优解，同时又能够避免发生过拟合。

通过在真实交通场景中，采集车辆历史轨迹数据作为总数据集，训练使用的训练集、验证集和测试集均来源于总数据集，并按照7：1：2的比例进行划分，模型训练的轮次为200 轮，每训练一次，保存一次模型参数文件，并输出误差。

步骤(3)，周边车辆轨迹预测方法

将实时采集的周围交通场景车辆信息输入训练后的多注意力谱时空图神经网络，输出被预测车辆的未来轨迹，为自动驾驶车辆规划行驶轨迹提供指导。

所述实施例为本发明的优选的实施方式，但本发明并不限于上述实施方式，在不背离本发明的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本发明的保护范围。

Claims

1.基于MATT-GNN的周边车辆轨迹预测方法，其特征在于：

构建多注意力谱时空图神经网络：将车辆历史轨迹数据与道路特征相结合，基于LSTM编码器进行编码得到特征，构建每辆车的邻接矩阵；邻接矩阵输入GRU层，构建图G及其相关联的邻接权重矩阵W；把图G作为由n个MT-stem模块组成的MT-stem层的输入，把n个MT-stem模块的输出连接并送到GLU和全连接层，输出训练损失和轨迹预测值，并与图卷积核θ_j后进行求和，获得第j个通道的输出值，连接每个输出通道得到结果Z；最后，通过LSTM解码器进行解码；

2.根据权利要求1所述的基于MATT-GNN的周边车辆轨迹预测方法，其特征在于，所述MT-stem模块使得周边车辆间的时空特征得到充分提取，具体地：

3.根据权利要求1所述的基于MATT-GNN的周边车辆轨迹预测方法，其特征在于，所述图G＝(X₁，W)，其中X₁为车辆历史轨迹数据，W为邻接权重矩阵，且

Q和K表示查询、键值，Q＝RW^Q、K＝RW^K，R为隐藏状态向量，W^Q和W^K是可学习参数，d为时间复杂度。

4.根据权利要求2所述的基于MATT-GNN的周边车辆轨迹预测方法，其特征在于，所述第j个通道的输出值为：

5.根据权利要求1所述的基于MATT-GNN的周边车辆轨迹预测方法，其特征在于，将解码器输出序列Y与时间和天气特征相拟合，具体为：将天气信息表示为分类变量，采用线性层将解码器输出序列Y与时间和天气特征相拟合。

6.根据权利要求2所述的基于MATT-GNN的周边车辆轨迹预测方法，其特征在于，所述对谱矩阵进行有监督学习是基于轨迹正则化模块实现的，对图神经网络的特征输入进行全局池化，并且运用多标签多分类算法进行分类。

7.根据权利要求1所述的基于MATT-GNN的周边车辆轨迹预测方法，其特征在于，所述周围交通场景车辆信息包括：车辆的横纵向坐标信息、横纵向加速度、横纵向速度、车辆长度、车辆宽度和车辆中心点距离车道边界线的横向距离。

8.一种实现权利要求1-7任一项所述的基于MATT-GNN的周边车辆轨迹预测方法的预测系统，其特征在于，包括：

轨迹数据采集模块，用于获取周围交通场景车辆信息；