CN114372116B - 一种基于lstm和时空注意力机制的车辆轨迹预测方法 - Google Patents

Abstract

本发明公开了一种基于LSTM和时空注意力机制的车辆轨迹预测方法，是基于LSTM编码模块、LSTM解码模块、空间注意力机制和时序注意力机制进行车辆轨迹的精准预测，首先对路网进行栅格化处理，并划分输入到LSTM编码模块中的历史轨迹数据段，然后提取车辆自身移动特征和全局空间特征，LSTM编码模块和LSTM解码模块主要用于实现对历史时间内的特征向量进行学习，并预测车辆未来一段时间的轨迹。本发明基于LSTM和时空注意力机制进行车辆轨迹预测，能够提取车辆移动中的局部和全局特征，尽可能真实的模拟车辆在路网环境中的移动情况，提高了车辆轨迹预测的准确性。

Description

一种基于LSTM和时空注意力机制的车辆轨迹预测方法

技术领域

本发明涉及深度学习处理时序数据、LSTM和注意力机制的技术领域，尤其是指一种基于LSTM和时空注意力机制的车辆轨迹预测方法。

背景技术

近年来，随着移动智能设备和互联网技术的发展，生成了大量移动实体时空信息的轨迹数据，传统的方法，如HMM和概率统计等模型，在轨迹预测中存在无法捕捉到序列的长期的依赖关系和用户移动的语义情况的缺点。而随着深度神经网络的表达和学习能力日益增强，其在轨迹预测领域中也取到了广泛的应用，尤其是RNN(Recurrent NeuralNetwork，循环神经网络)的变种之一LSTM(Long Short-Term Memory Network，长短期记忆神经网络)。它不仅解决了传统方法的弊端，同时也提升了模型的预测效果。但是此类方法大都只考虑到了轨迹的时序性特征，而忽略或未能很好的捕捉到空间性特征和车辆间交互影响的特征，因此，模型的性能还有进一步提升的空间。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于LSTM和时空注意力机制的车辆轨迹预测方法，可以提取车辆移动中的局部和全局特征，尽可能真实地模拟车辆在路网环境中的移动情况，提高了车辆轨迹预测的准确性。

为实现上述目的，本发明所提供的技术方案为：一种基于LSTM和时空注意力机制的车辆轨迹预测方法，该方法是基于LSTM编码模块、LSTM解码模块、空间注意力机制和时序注意力机制进行车辆轨迹的精准预测，其包括以下步骤：

1)预处理车辆原始轨迹数据集，包括将对应的路网进行栅格化处理，然后将轨迹的位置点映射到对应的栅格内，并划分输入到LSTM编码模块的车辆历史轨迹数据段；

2)提取车辆历史轨迹数据段的每个采样时刻的特征信息，包括提取车辆的移动特征和局部空间特征，并利用空间注意力机制捕捉车辆的全局空间特征；

3)将每个采样时刻的特征信息连接起来作为LSTM编码模块的输入，LSTM编码模块对输入的特征进行编码，然后利用时序注意力机制计算LSTM编码模块不同时刻的输出对预测未来轨迹的影响权重；

4)将LSTM编码模块的输出和权重系数线性融合作为LSTM解码模块的输入，LSTM解码模块进行解码输出，最后将LSTM解码模块的输出向量序列输入到预测层，映射为预测位置点构成未来轨迹数据段。

进一步，在步骤1)中，车辆原始轨迹数据集中的任意一条轨迹Traj表示为：Traj＝{vehicle_id,(p₁,p₂...,p_n)},其中vehicle_id为轨迹所属车辆的标识，p_i＝{x_i,y_i,t_i,v_i,a_i,lane_id}为构成轨迹的采样位置点，表示车辆在t_i时刻的路网位置为(x_i,y_i)，速度和加速度分别为v_i和a_i，i＝1,2,…,n，所属车道lane_id；由于采样位置点是一个精确的位置点，考虑到目标车辆自身的长度和宽度，为p_i添加一个属性

其中begin表示路网的起始位置，average_car_length表示车辆的平均长度；划分得到输入LSTM编码模块的车辆历史轨迹数据段Hist_Traj，

t_obs为车辆历史轨迹数据段的长度。

进一步，在步骤2)中，分别从以下各维度提取目标车辆的特征信息：

2.1)将目标车辆的位置(x_i,y_i)转换为一个高维向量表示，即它的局部空间特征

其中

是一个激活函数为Leaky_Relu()函数的全连接神经网络，

表示该网络的参数，R表示实数空间，D₁为特征空间的维度；

2.2)在实际的路网环境中，车辆在移动过程中是受到其周围车辆的影响，为了有效地捕捉邻居车辆对目标车辆的影响，这里使用空间注意力机制来计算不同车辆对目标车辆的影响权重系数α_ij，

其中

表示一个单向的前馈神经网络的权重参数，||表示连接操作，σ是一个非线性的Leaky_Relu()函数，N表示目标车辆邻居车辆的个数，i，j分别表示车辆i和j；最后，使用线性组合计算出目标车辆该时刻的全局空间特征e_g，

其中Ω是一个非线性的Relu()函数；

2.3)此外，考虑到车辆的速度变化情况对其行驶的影响，根据车辆自身的速度和加速度提取其移动特征e_move，e_move＝Λ(v_i,a_i；W_move)，Λ也是一个激活函数为Leaky_Relu()函数的全连接神经网络，

表示该网络的参数，D₂为移动特征空间的维度。

进一步，所述步骤3)包括以下步骤：

3.1)将步骤2)中捕捉到的移动特征和全局空间特征连接起来，得到融合特征向量z，

它表示任一采样时刻的融合特征向量，其中||表示连接操作，e_g为全局空间特征，e_move为移动特征，R表示实数空间；然后将历史时间对应的融合特征向量输入到LSTM编码模块中，t_obs为车辆历史轨迹数据段的长度；

3.2)在LSTM编码模块中，此时对于目标车辆i而言，有

表示LSTM编码模块在时刻t的隐藏状态向量，

是LSTM编码模块的参数，d_enc表示LSTM编码模块维度；每一个LSTM编码模块共享相同的参数W_enc；

3.3)使用时序注意力机制计算LSTM编码模块的输出状态序列

对预测未来轨迹的影响情况，即

其中

表示车辆i的编码模块的输出状态向量和LSTM解码模块的隐藏状态向量的相关性，u、W₁和W₂为权重参数，u^T表示u的转置，tanh为激活函数，

表示LSTM解码模块t′时刻的隐藏状态向量，

为LSTM编码模块在第k时刻的输出状态向量，且t′＝t_obs+1,t_obs+2，....,t_obs+t_pred,t_pred表示未来轨迹的长度，k＝1,2，...,t_obs；此时，能够计算出权重系数

表示LSTM解码模块的输出状态向量

在t′时刻对LSTM解码模块预测轨迹下一个位置点的影响权重，最后计算得到

表示车辆i在t′时刻输入到LSTM解码模块的上下文向量。

进一步，在步骤4)中，LSTM解码模块中，此时对于目标车辆i而言，

t′＝t_obs+1,t_obs+2，....,t_obs+t_pred，t_obs为车辆历史轨迹数据段的长度，t_pred表示未来轨迹的长度，

表示LSTM解码模块在t′时刻的隐藏状态向量，

表示LSTM解码模块在t′-1时刻的隐藏状态向量，

表示车辆i在t′时刻输入到LSTM解码模块的上下文向量，

是LSTM解码模块的参数，R表示实数空间，d_dec表示LSTM解码模块的维度；将LSTM解码模块的输出

作为预测层的输入，即该时刻的预测位置点

其中Г是一个激活函数为非线性函数Leaky_Relu()函数的全连接神经网络，

是预测层神经网络的参数；预测层输出的每个时刻的预测位置点组成了车辆预测的未来轨迹。

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明紧密结合深度学习中处理时序数据的方法、LSTM以及注意力机制，实现了前沿技术的实用化。本发明在提取车辆特征时中结合了神经网络进行特征提取和空间注意力机制，能够从轨迹数据中学到更多潜在的信息，输入到LSTM编码模块特征融合了目标车辆自身运动状态变化的信息和车辆间的交互影响，即全局的空间特征信息，有效地模拟了车辆在真实环境中的移动情况，此外，时序注意力机制使LSTM解码模块在解码时可以考虑到不同历史时刻的状态对预测下一个位置点的影响权重，使得预测效果得到了一定的提升。

2、本发明具有广泛的应用前景，本发明可以很好地应用于车辆在高速公路环境中的轨迹数据集，还可以用于复杂路网环境，如环形十字路口等。除此之外，还可以融合图像等其它类型的数据，用于各种预测和分析任务，如驾驶风格预测等。因此本发明方法可根据不同的应用场景进行定制化，体现了本发明方法的潜在的市场与应用价，值得推广。

附图说明

图1为本发明方法的架构图，图中“Location”表示车辆的位置，“Velocity/Acceleration”表示车辆的速度和加速度，“GAT”表示图注意力机制，即空间注意力机制，“Concat”表示连接操作，“Encoder”表示LSTM编码模块，“Temporal Attention Layer”表示使用时序注意力机制，“Decoder”表示LSTM解码模块，“Prediction Layer”表示预测层。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1所示，本实施例所提供的基于LSTM和时空注意力机制的车辆轨迹预测方法，是结合深度学习中的LSTM编码模块、LSTM解码模块、空间注意力机制和时序注意力机制开发的可用于在真实车辆轨迹数据集上，进行目标车辆未来时间段轨迹预测的一种方法，其包括以下步骤：

1)预处理车辆原始轨迹数据集，包括将对应的路网进行栅格化处理，然后将轨迹的位置点映射到对应的栅格内，并划分输入到LSTM编码模块的车辆历史轨迹数据段，具体情况如下：

车辆原始轨迹数据集中的任意一条轨迹Traj表示为：Traj＝{vehicle_id,(p₁,p₂...,p_n)},其中vehicle_id为轨迹所属车辆的标识，p_i＝{x_i,y_i,t_i,v_i,a_i,lane_id}为构成轨迹的采样位置点，表示车辆在t_i时刻的路网位置为(x_i,y_i)，速度和加速度分别为v_i和a_i，i＝1,2,…,n，所属车道lane_id；由于采样位置点是一个精确的位置点，考虑到目标车辆自身的长度和宽度，为p_i添加一个属性cell_id，

其中begin表示路网的起始位置，average_car_length表示车辆的平均长度，如家用轿车的平均长度大小为15英尺，即4.572m；在完成上述处理后，再将轨迹进行划分得到车辆历史轨迹数据段，即利用目标车辆前t_obs时间内的历史轨迹数据去预测车辆未来T时间内的未来轨迹段，如将t_obs设置为3s，T可分别设置为1s～5s，可用于捕捉轨迹短时预测和长时预测的不同特点，划分得到输入LSTM编码模块的车辆历史轨迹数据段

t_obs为车辆历史轨迹数据段的长度。

2)提取车辆历史轨迹数据段的每个采样时刻的特征信息，包括提取车辆的移动特征和局部空间特征，并利用空间注意力机制捕捉车辆的全局空间特征；其中，分别从以下各维度提取目标车辆的特征信息：

将目标车辆的位置(x_i,y_i)转换为一个高维向量表示，即它的局部空间特征

其中

是一个激活函数为Leaky_Relu()函数的全连接神经网络，

表示该网络的参数，R表示实数空间，D₁为特征空间的维度；

在实际的路网环境中，车辆在移动过程中是受到其周围车辆的影响，为了有效地捕捉邻居车辆对目标车辆的影响，这里使用空间注意力机制来计算不同车辆对目标车辆的影响权重系数α_ij，

其中

表示一个单向的前馈神经网络的权重参数，||表示连接操作，σ是一个非线性的Leaky_Relu()函数，N表示目标车辆邻居车辆的个数，i，j分别表示车辆i和j；最后，使用线性组合计算出目标车辆该时刻的全局空间特征e_g，

其中Ω是一个非线性的Relu()函数；

此外，考虑到车辆的速度变化情况对其行驶的影响，根据车辆自身的速度和加速度提取其移动特征e_move，e_move＝Λ(v_i,a_i；W_move)，Λ也是一个激活函数为Leaky_Relu()函数的全连接神经网络，

表示该网络的参数，D₂为移动特征空间的维度。

3)将每个采样时刻的特征信息连接起来作为LSTM编码模块的输入，LSTM编码模块对输入的特征进行编码，然后利用时序注意力机制计算LSTM编码模块不同时刻的输出对预测未来轨迹的影响权重，其包括以下步骤：

3.1)将步骤2)中捕捉到的移动特征和全局空间特征连接起来，得到融合特征向量z，

它表示任一采样时刻的融合特征向量，其中||表示连接操作，e_g为全局空间特征，e_move为移动特征；然后将历史时间对应的融合特征向量输入到LSTM编码模块中，t_obs为车辆历史轨迹数据段的长度；

3.2)在LSTM编码模块中，此时对于目标车辆i而言，有

表示LSTM编码模块在时刻t的隐藏状态向量，

是LSTM编码模块参数，d_enc表示LSTM编码模块的维度；每一个LSTM编码模块共享相同的参数W_enc；

3.3)使用时序注意力机制计算LSTM编码模块的输出状态序列

对预测未来轨迹的影响情况，即

其中

表示车辆i的编码模块的输出状态向量和LSTM解码模块的隐藏状态向量的相关性，u、W₁和W₂为权重参数，uT表示u的转置，tanh为激活函数，

表示LSTM解码模块t′时刻的隐藏状态向量，

为LSTM编码模块在第k时刻的输出状态向量，且t′＝t_obs+1,t_obs+2，....,t_obs+t_pred,t_pred表示未来轨迹的长度，k＝1,2，...,t_obs；此时，能够计算出权重系数

表示LSTM解码模块的输出状态向量

在t′时刻对LSTM解码模块预测轨迹下一个位置点的影响权重，最后计算得到

表示车辆i在t′时刻输入到LSTM解码模块的上下文向量。

4)将LSTM编码模块的输出和权重系数线性融合作为LSTM解码模块的输入，LSTM解码模块进行解码输出，最后将LSTM解码模块的输出向量序列输入到预测层，映射为预测位置点构成未来轨迹数据段；其中，LSTM解码模块中，此时对于目标车辆i而言，

t′＝t_obs+1,t_obs+2，....,t_obs+t_pred，t_obs为车辆历史轨迹数据段的长度，t_pred表示未来轨迹的长度，

表示LSTM解码模块在t′时刻的隐藏状态向量，

表示LSTM解码模块在t′-1时刻的隐藏状态向量，

是LSTM解码模块参数，d_dec表示LSTM网络的维度；将LSTM解码模块的输出

作为预测层的输入，即该时刻的预测位置点

其中Γ是一个激活函数为非线性函数Leaky_Relu()函数的全连接神经网络，

是预测层神经网络的参数；预测层输出的每个时刻的预测位置点组成了车辆预测的未来轨迹。

综上所述，本发明主要实现了利用LSTM编码模块对目标车辆的特征向量进行编码、学习车辆运动的动态变化；利用时序注意力机制计算LSTM编码模块不同时刻输出向量对未来T时间内的轨迹预测的影响权重，并根据LSTM编码模块的输出序列和权重系数计算得到输入到LSTM解码模块的上下文向量；利用LSTM解码模块对上下文向量进行解码；最后通过预测层将LSTM解码每个时刻的输出向量映射为预测位置点，这些预测点构成预测轨迹。本发明基于LSTM和时空注意力机制进行车辆轨迹预测，能够提取车辆移动中的局部和全局特征，尽可能真实的模拟车辆在路网环境中的移动情况，提高了车辆轨迹预测的准确性，具有广泛的应用前景，可以很好地应用于车辆在高速公路环境中的轨迹数据集，还可以用于复杂路网环境，如环形十字路口等。除此之外，还可以融合图像等其它类型的数据，用于各种预测和分析任务，如驾驶风格预测等。因此本发明方法可根据不同的应用场景进行定制化，体现了本发明方法的潜在的市场与应用价，值得推广。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (2)

1.一种基于LSTM和时空注意力机制的车辆轨迹预测方法，其特征在于，该方法是基于LSTM编码模块、LSTM解码模块、空间注意力机制和时序注意力机制进行车辆轨迹的精准预测，其包括以下步骤：

1)预处理车辆原始轨迹数据集，包括将对应的路网进行栅格化处理，然后将轨迹的位置点映射到对应的栅格内，并划分输入到LSTM编码模块的车辆历史轨迹数据段；

车辆原始轨迹数据集中的任意一条轨迹Traj表示为：Traj＝{vehicle_id,(p₁,p₂...,p_n)},其中vehicle_id为轨迹所属车辆的标识，p_i＝{x_i,y_i,t_i,v_i,a_i,lane_id}为构成轨迹的采样位置点，表示车辆在t_i时刻的路网位置为(x_i,y_i)，速度和加速度分别为v_i和a_i，i＝1,2,…,n，所属车道lane_id；由于采样位置点是一个精确的位置点，考虑到目标车辆自身的长度和宽度，为p_i添加一个属性cell_id，

其中begin表示路网的起始位置，average_car_length表示车辆的平均长度；划分得到输入LSTM编码模块的车辆历史轨迹数据段Hist_Traj，

t_obs为车辆历史轨迹数据段的长度；

2)提取车辆历史轨迹数据段的每个采样时刻的特征信息，包括提取车辆的移动特征和局部空间特征，并利用空间注意力机制捕捉车辆的全局空间特征；

分别从以下各维度提取目标车辆的特征信息：

将位置(x_i,y_i)转换为一个高维向量表示，即它的局部空间特征

其中

是一个激活函数为Leaky_Relu()函数的全连接神经网络，

表示该网络的参数，R表示实数空间，D₁为特征空间的维度；

在实际的路网环境中，车辆在移动过程中是受到其周围车辆的影响，为了有效地捕捉邻居车辆对目标车辆的影响，这里使用空间注意力机制来计算不同车辆对目标车辆的影响权重系数α_ij，

其中

表示一个单向的前馈神经网络的权重参数，||表示连接操作，σ是一个非线性的Leaky_Relu()函数，N表示目标车辆邻居车辆的个数，i，j分别表示车辆i和j；最后，使用线性组合计算出目标车辆该时刻的全局空间特征e_g，

其中Ω是一个非线性的Relu()函数；

此外，考虑到车辆的速度变化情况对其行驶的影响，根据车辆自身的速度和加速度提取其移动特征e_move，e_move＝Λ(v_i,a_i；W_move)，Λ也是一个激活函数为Leaky_Relu()函数的全连接神经网络，

表示该网络的参数，D₂为移动特征空间的维度；

3)将每个采样时刻的特征信息连接起来作为LSTM编码模块的输入，LSTM编码模块对输入的特征进行编码，然后利用时序注意力机制计算LSTM编码模块不同时刻的输出对预测未来轨迹的影响权重，包括以下步骤：

3.1)将步骤2)中捕捉到的移动特征和全局空间特征连接起来，得到融合特征向量z，

它表示任一采样时刻的融合特征向量，其中||表示连接操作，e_g为全局空间特征，e_move为移动特征，R表示实数空间；然后将历史时间对应的融合特征向量输入到LSTM编码模块中，t_obs为车辆历史轨迹数据段的长度；

3.2)在LSTM编码模块中，此时对于目标车辆i而言，有

表示LSTM编码模块在时刻t的隐藏状态向量，

是LSTM编码模块的参数，d_enc表示LSTM编码模块维度；每一个LSTM编码模块共享相同的参数W_enc；

3.3)使用时序注意力机制计算LSTM编码模块的输出状态序列

对预测未来轨迹的影响情况，即

其中

表示车辆i的编码模块的输出状态向量和LSTM解码模块的隐藏状态向量的相关性，u、W₁和W₂为权重参数，uT表示u的转置，tanh为激活函数，

表示LSTM解码模块t′时刻的隐藏状态向量，

为LSTM编码模块在第k时刻的输出状态向量，且t′＝t_obs+1,t_obs+2，....,t_obs+t_pred,t_pred表示未来轨迹的长度，k＝1,2，...,t_obs；此时，能够计算出权重系数

表示LSTM解码模块的输出状态向量

在t′时刻对LSTM解码模块预测轨迹下一个位置点的影响权重，最后计算得到

表示车辆i在t′时刻输入到LSTM解码模块的上下文向量；

4)将LSTM编码模块的输出和权重系数线性融合作为LSTM解码模块的输入，LSTM解码模块进行解码输出，最后将LSTM解码模块的输出向量序列输入到预测层，映射为预测位置点构成未来轨迹数据段。

2.根据权利要求1所述的一种LSTM和时空注意力机制的车辆轨迹预测方法，其特征在于，在步骤4)中，LSTM解码模块中，此时对于目标车辆i而言，

t′＝t_obs+1,t_obs+2，....,t_obs+t_pred，t_obs为车辆历史轨迹数据段的长度，t_pred表示未来轨迹的长度，

表示LSTM解码模块在t′时刻的隐藏状态向量，

表示LSTM解码模块在t′-1时刻的隐藏状态向量，

表示车辆i在t′时刻输入到LSTM解码模块的上下文向量，

是LSTM解码模块的参数，R表示实数空间，d_dec表示LSTM解码模块的维度；将LSTM解码模块的输出

作为预测层的输入，即该时刻的预测位置点

其中Γ是一个激活函数为非线性函数Leaky_Relu()函数的全连接神经网络，

是预测层神经网络的参数；预测层输出的每个时刻的预测位置点组成了车辆预测的未来轨迹。

Images