CN110163439A - 一种基于注意力机制的城市规模出租车轨迹预测方法 - Google Patents

Abstract

一种基于注意力机制的城市规模出租车轨迹预测方法，包括以下步骤：步骤一、采集GPS数据，对GPS数据采集过程中出现的噪声进行数据清理；步骤二、对清洗后的GPS数据进行地图匹配，获取模型所需的实验数据；步骤三、模型训练；在编码器的编码端采用LSTM网络，在解码端将编码向量C作为解码端的LSTM网络，并对编码器隐藏层向量施加注意力机制，每次把上一时刻的预测值作为当前时刻的输入值并送入解码器当中。本发明采用嵌入向量表示城市区域中的路段信息，使用编码器对出租车的轨迹进行编码，通过含有注意力机制的解码器对轨迹进行预测，充分挖掘轨迹序列中的相关性，能有效提升轨迹预测的准确性。

Description

一种基于注意力机制的城市规模出租车轨迹预测方法

技术领域

本发明属于轨迹预测领域，涉及一种基于注意力机制的城市规模出租车轨迹预测方法。

背景技术

针对轨迹预测，在较早的研究中大都采用基于马尔科夫链的方法，即对历史数据进行统计并求得路段间的转移概率，在预测时将概率最高的路段作为预测结果。不过，马尔科夫链是基于聚类或者历史已存在的数据，对于历史数据中路段组合出现频次较低的数据无法预测，因此，WU等人使用神经网络对各个不同的路段给予合适的权重，对于相似路段也会有相近的权重，在进行预测时，同样能达到聚类的效果。这一方法避免了聚类的复杂过程，还可以让网络动态的进行参数学习。但是，此方法的局限性在于，路网信息是已知的，而在路网信息未知的情况下，CHOI等提出了一种利用历史数据训练神经网络，并获得下一时刻预测值的方法。不过它的预测结果只精确到了“小区”，同时所采用的小区划分方法缺乏依据。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种基于注意力机制的城市规模出租车轨迹预测方法，充分挖掘轨迹序列中的相关性，以路段标号为元信息，在不依靠轨迹数据以外信息的情况下，将轨迹预测的信息精确到路段上，提升轨迹预测的准确性。

为了实现上述目的，本发明采用的技术方案包括以下步骤：

步骤一、采集GPS数据，对GPS数据采集过程中出现的噪声进行数据清理；

步骤二、对清洗后的GPS数据进行地图匹配，获取模型所需的实验数据；

步骤三、模型训练；

3.1、将所有道路进行嵌入表达；

3.2、编码器的编码端采用长短期记忆网络LSTM，将前n条嵌入表达后的路段送入LSTM网络，在编码器的输出端形成映射关系，求得编码向量C＝F(r₁,r₂,…,r_n)表示该路段组合向量；

3.3、在解码端将编码向量C作为解码端的LSTM网络，并对编码器隐藏层向量施加注意力机制，每次把上一时刻的预测值作为当前时刻的输入值并送入解码器当中得到输出结果；

3.4、将最后时刻的输出向量作为预测值，经过softmax层求得预测值。

步骤一剔除超出地理范围、车辆在某段时间内GPS坐标无变化、格式错误和异常数据。

所述的步骤二对清洗后的GPS数据进行地图匹配的具体步骤为：

(1)根据GPS点的经纬度确定周围60m内的道路作为候选道路；

(2)求取GPS点到各候选道路r_i的距离，记为d_i，单位为km；

(3)求取GPS点航向角与各候选道路r_i的夹角，记为a_hi，单位为rad，0≤a_hi≤π/2；

(4)求取当前GPS点与上一时刻GPS点之间的连线与各候选道路的夹角，记为a_ti，单位为rad，其中0≤a_ti≤π/2；

(5)按s_i＝0.4*(d_i/0.06)+0.3*(a_h/(π/2))+0.3*(a_t/(π/2))对所有候选道路进行评分；

(6)按照评分排序，将得分最低的路段作为匹配结果，即当前时刻车辆位于该路段上。

所述的步骤3.1将所有道路进行嵌入表达的具体步骤为：使用独热编码使每个状态都有独立的寄存器位，并且在任意时刻只有一个位置为1表示处于当前状态，在此处状态即车辆所处的道路，在神经网络中将此高维的独热编码向量通过矩阵变换映射为较低维向量。

所述的步骤3.3对编码器隐藏层向量施加注意力机制的具体步骤为：

在解码时，对不同时刻的隐藏层变量h_t采用加权求和：

a_t＝∑_tα_th_t；

其中：α_t表示h_t的权重，其计算方法如下：

其中：w_a初始化为一个随机的权重向量。

所述的步骤3.4中经过softmax层求得预测值的具体操作步骤为：

通过Softmax函数将一个含任意实数的k维向量z压缩到另一个K维实向量σ(z)中，使每一个元素的范围都在(0,1)之间，并且所有元素的和为1；Softmax函数的表达式如下：

其中，z_j表示向量z中下标为j的值；

经过softmax函数求得每条道路对应的概率，并将概率最大的道路作为预测结果。

与现有技术相比，本发明具有如下的有益效果：采用嵌入向量表示城市区域中的路段信息，使用编码器对出租车的轨迹进行编码，通过含有注意力机制的解码器对轨迹进行预测。长短期记忆网络(LSTM)是循环神经网络(RNN，Recurrent Neural Network)的一个变种，主要解决RNN在分析长序列时出现的梯度消失问题。对于时间序列，LSTM在处理各时刻的信息时能够记录前面序列的信息。编码器中使用LSTM可以生成包含所有已知轨迹信息的编码向量，解码器中使用LSTM可以将编码向量作为最初的输入，并生成比编码时长度更长的输出作为预测值。本发明充分挖掘轨迹序列中的相关性，能有效提升轨迹预测的准确性。

附图说明

图1本发明基于注意力机制的编解码方法网络结构示意图；

图2本发明神经网络训练过程中的Loss曲线：(a)训练过程；(b)测试过程。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明基于注意力机制的城市规模出租车轨迹预测方法包括以下步骤：

步骤一、数据清理；

由于GPS数据采集过程中具有噪声，所以需要对其进行数据清洗。对于超出西安市范围、车辆在某段时间内GPS坐标无变化、各种格式错误和异常的数据予以剔除。

步骤二、地图匹配；

提出的模型及对比模型都需要使用由地图匹配生成的匹配路段，因此，在训练模型之前需要进行地图匹配以获取实验数据。

步骤三、模型训练；

首先，将所有道路进行嵌入(Embedding)表达，然后在编码端采用LSTM网络，将前n条嵌入表达后的路段送入LSTME(为区分两个LSTM，本文用LSTME表示编码端的LSTM网络，LSTMD表示解码端的LSTM网络)，在编码器的输出端形成映射关系求得编码向量表示该路段组合的向量；接着，在解码端将向量C作为LSTMD网络的输入，并对编码器隐藏层向量施加注意力机制，每次把上一时刻的预测值作为当前时刻的输入送入解码器。最后，将最后时刻的输出向量作为预测值，经过softmax层求得预测值。

长短期记忆网络(LSTM)是循环神经网络(RNN，Recurrent Neural Network)的一个变种，主要解决RNN在分析长序列时出现的梯度消失问题。LSTM在处理各时刻的信息能够记录前面序列的信息。编码器中使用LSTM生成包含所有已知轨迹信息的编码向量，解码器中使用LSTM将编码向量作为最初的输入，生成比编码时长度更长的输出作为预测值。

为了测试提出方案的性能，将其与现有的轨迹预测方法进行了对比。所提出的方法不需要路网拓扑结构、道路条件等额外信息，因此，选取基于马尔科夫链的全局马尔科夫模型(GMM)进行比较。GMM使用训练集中的数据统计转移概率，并在预测时查找转移概率最大的路段作为预测目标。将已知N条路段预测第N+1条路段与N阶GMM进行比较。

表1展示了各种方法的实验结果。从表中可知，GMM的预测效果较差，主要原因在于利用马尔科夫链进行预测时，当数据稀疏、路网结构复杂(路网中含有很多路段)时，在历史数据中，即使二阶模型也很难统计出一样的路段组合，也就很难进行精准的预测；

编解码方法相较GMM在预测准确率上有较大的提升，这表明对于复杂路况，它的动态学习效果能够克服缺乏历史数据的缺点，通过动态调整权重给出较优结果；同时，实验结果不同于GMM的地方在于，当N＝5时，预测效果最佳，原因在于神经网络对适当长度的序列能更好地学习；并且基于注意力机制的编解码方法在预测准确率上有进一步提升。

但是，当N＝10时，其准确率反而有下降，这原因在于当考虑过多的路段时，注意力机制难以发挥作用——难以找到需要注意的路段，这与N增大，准确率反而减小的原因相似。

表1轨迹预测对比实验结果

模型参数敏感度测试交叉验证

对本发明所提方法进行参数灵敏度测试，在本发明的模型中，需要设定的参数主要有学习率和批次，为此，使用交叉验证的方式说明模型的参数敏感度。

分别选取批次为256、512、1024，学习率为0.001,0.0003,0.0001，以迭代20次后的损失函数值作为评价指标。结果如表2所示，不难发现学习率的降低使得迭代20次后的目标函数值增加，这与优化速度有关，同时批次的增加使得迭代20次后的目标函数值增加，但如图2所示，目标函数总体是收敛的，所以在迭代次数足够情况下均能获取最优结果。

表2模型参数敏感度测试交叉验证结果

Claims (6)

1.一种基于注意力机制的城市规模出租车轨迹预测方法，其特征在于，包括以下步骤：

步骤一、采集GPS数据，对GPS数据采集过程中出现的噪声进行数据清理；

步骤二、对清洗后的GPS数据进行地图匹配，获取模型所需的实验数据；

步骤三、模型训练；

3.1、将所有道路进行嵌入表达；

3.2、编码器的编码端采用长短期记忆网络LSTM，将前n条嵌入表达后的路段送入LSTM网络，在编码器的输出端形成映射关系，求得编码向量C＝F(r₁,r₂,…,r_n)表示该路段组合向量；

3.3、在解码端将编码向量C作为解码端的LSTM网络，并对编码器隐藏层向量施加注意力机制，每次把上一时刻的预测值作为当前时刻的输入值并送入解码器当中得到输出结果；

3.4、将最后时刻的输出向量作为预测值，经过softmax层求得预测值。

2.根据权利要求1所述基于注意力机制的城市规模出租车轨迹预测方法，其特征在于：数据清理时剔除超出地理范围、车辆在某段时间内GPS坐标无变化、格式错误和异常数据。

3.根据权利要求1所述基于注意力机制的城市规模出租车轨迹预测方法，其特征在于，所述的步骤二对清洗后的GPS数据进行地图匹配的具体步骤为：

(1)根据GPS点的经纬度确定周围60m内的道路作为候选道路；

(2)求取GPS点到各候选道路r_i的距离，记为d_i，单位为km；

(3)求取GPS点航向角与各候选道路r_i的夹角，记为a_hi，单位为rad，0≤a_hi≤π/2；

(4)求取当前GPS点与上一时刻GPS点之间的连线与各候选道路的夹角，记为a_ti，单位为rad，其中0≤a_ti≤π/2；

(5)按s_i＝0.4*(d_i/0.06)+0.3*(a_h/(π/2))+0.3*(a_t/(π/2))对所有候选道路进行评分；

(6)按照评分排序，将得分最低的路段作为匹配结果，即当前时刻车辆位于该路段上。

4.根据权利要求1所述基于注意力机制的城市规模出租车轨迹预测方法，其特征在于，所述的步骤3.1将所有道路进行嵌入表达的具体步骤为：使用独热编码使每个状态都有独立的寄存器位，并且在任意时刻只有一个位置为1表示处于当前状态，在此处状态即车辆所处的道路，在神经网络中将此高维的独热编码向量通过矩阵变换映射为较低维向量。

5.根据权利要求1所述基于注意力机制的城市规模出租车轨迹预测方法，其特征在于，所述的步骤3.3对编码器隐藏层向量施加注意力机制的具体步骤为：

在解码时，对不同时刻的隐藏层变量h_t采用加权求和：

a_t＝∑_tα_th_t；

其中：α_t表示h_t的权重，其计算方法如下：

其中：w_a初始化为一个随机的权重向量。

6.根据权利要求1所述基于注意力机制的城市规模出租车轨迹预测方法，其特征在于，所述的步骤3.4中经过softmax层求得预测值的具体操作步骤为：

通过Softmax函数将一个含任意实数的k维向量z压缩到另一个K维实向量σ(z)中，使每一个元素的范围都在(0,1)之间，并且所有元素的和为1；Softmax函数的表达式如下：

其中，z_j表示向量z中下标为j的值；

经过softmax函数求得每条道路对应的概率，并将概率最大的道路作为预测结果。