CN111613054B - 一种协同考虑时空相关性及贡献差异的多步交通速度预测方法 - Google Patents

Abstract

本发明公开了一种协同考虑时空相关性及贡献差异的多步交通速度预测方法，该方法使用了基于循环神经网络的编码‑解码的网络架构来充分表达交通速度的时序特性。在编码部分，对相关路段速度值所构成的输入向量引入第一阶段的注意力机制，使其自适应学习不同相关路段在不同时刻的权重贡献大小；在解码部分引入第二阶段的注意力机制，来自适应学习不同历史时刻对当前预测时刻的权重贡献大小。同时，考虑到外部因素的影响，将解码器的输出与外部因素特征一同输入全连接神经网络得到最终输出。本方法可以更细粒度地、差异化地刻画交通数据的时空相关特性，且能进行多步交通速度预测，为交通速度预测方法的研究指明了新的方向。

Description

一种协同考虑时空相关性及贡献差异的多步交通速度预测 方法

技术领域

本发明属于交通时序数据分析和预测研究领域，特别是涉及一种基于时空相关性及外部因素特征和具有双阶段注意力机制的序列网络的交通速度预测方法。

背景技术

随着机动车数量的增长，交通拥堵问题日益严重，给人们的出行带来了诸多不便，也对环境造成了污染，甚至威胁到了人们的生命安全。交通拥堵带来的直接问题是出行时间增加。另一方面，机动车数量的增加所带来的交通拥堵使得行驶车辆启动、停止次数增加、路上等待时间增加，导致了汽车尾气排放量的增加，造成大气的污染，严重危害着人类健康。与此同时，交通拥堵也是交通事故频发的一大诱因。据统计，20世纪全世界因交通事故而死亡的人数达2585万。

早期常用的方法以时间序列方法为主，时间序列模型通过对历史时间序列进行数学建模，然后将其应用于预测未来的时间序列，如ARIMA方法。近二十年来，很多研究将包括支持向量机等统计学习方法应用于时序问题建模。近几年，随着人工智能的发展，一些深度学习方法，如循环神经网络、卷积神经网络等以及宽度学习方法也被应用在交通预测中。传统的时间序列模型拟合能力弱，切缺乏非线性表达能力，难以模拟道路的真实状况，且没有考虑到空间相关性。基于宽度学习的方法具有建模速度快的优势，基于循环神经网络的方法和基于卷积神经网络的方法分别可以有效地表达交通速度的时间相关性和空间相关性。但这些方法都没有区分不同时刻对于预测时刻的贡献度以及不同相关路段对于预测路段的贡献度，且大多没有考虑天气、节假日等外部因素的影响。基于此，本发明所提出的方法，既考虑了相关路段的影响，又考虑了历史时刻的影响，且融入了天气和节假日等外部因素的影响。此外，本发明还通过注意力机制表达了不同相关路段和不同历史时刻的贡献差异性，体现了较以往方法更加细粒度的时空相关关系。到目前为止，尚未见到与本发明相关的研究报道。

发明内容

本发明的目的在于针对现有交通速度预测方法的不足，提供一种考虑时空相关性和贡献差异的多步交通速度预测方法。

本发明的目的是通过以下技术方案来实现的：一种考虑时空相关性和贡献差异的多步交通速度预测方法，该方法包括以下步骤：

步骤1:建模数据预处理：对原始速度数据根据路段和时间段进行均值化处理，对天气、节假日等外部因素数据进行类别分类。

步骤2:确定模型的输入变量和外部离散特征向量。

(2.1)设c为待预测路段的编号，根据地理位置，按照与预测路段的交叉和临近的优先原则选取前k个路段，作为与路段c相关的路段，这些相关路段的速度将作为变量用于预测模型的建立。

(2.2)m为建模所需要的历史时间窗口的大小。设t_p为第一个预测时刻，则模型预测该时刻所需的输入包括该时刻之前的m个时刻，对于历史时刻i，i＝t_p-m,t_p-m+1,...,t_p-1，其对应所需的速度输入向量记为

其中k为相关路段的个数。此外还要输入预测时刻所对应的外部离散特征向量d_t，包括天气和日期数据。

步骤3:模型的建立和训练。

(3.1)确定相关路段的贡献程度，得到新的输入向量。

编码器网络采用LSTM作为基础单元，历史时间步长为m，与步骤2中的历史时间窗口一致。对于历史时刻i所对应的原始输入向量x，首先计算每个相关路段的得分，如下式所示：

其中，j＝1,2,...,k，k为相关路段数量，h_i-1和s_i-1分别为Encoder中LSTM单元当前时刻的前一时刻的f维隐藏层状态和细胞状态，

是所有输入时刻的第j个相关路段速度值所组成的向量，

是网络需要学习的参数。

使用类SoftMax对得分进行归一化处理，使其转化成类概率分布的权重系数：

然后将对应路段的速度值与对应的权重相乘，得到该时刻新的输入向量：

(3.2)对编码器网络的LSTM单元进行计算和更新。

将新的输入向量输入到LSTM单元，对于历史时刻i的LSTM单元，其计算和更新方式如下，首先计算遗忘门f_i、输入门a_i、输出门o_i：

其中，

是前一个时刻的隐藏层状态h_i-1与当前时刻的输入

在向量维度上的拼接。σ表示sigmoid函数，W_f，W_a，W_o，b_f，b_a，b_o都是网络要学习的参数。

然后计算更新当前的细胞状态：

其中，W_s，b_s是待学习的参数，符号⊙表示对应元素相乘。

计算隐藏层状态如下：

h_i＝o_i⊙tanh(s_i) (8)

(3.3)确定不同历史时刻的贡献程度，得到新的输入向量。

解码器网络也是由LSTM单元构成。对于当前的预测时刻t(t＝t_p,t_p+1,t_p+2，t_p为第一个预测时刻)，首先我们利用解码器中当前时刻的前一时刻的隐藏层状态和细胞状态以及编码器中的每个隐藏层状态，生成不同历史时刻对当前预测时刻的贡献分数，如下：

其中，h'_t-1和s'_t-1分别是预测时刻的前一时刻的解码器LSTM单元的隐藏层状态和细胞状态，h_i是历史时刻i的编码器LSTM单元的隐藏层状态，v_d,W_d,U_d是要学习的参数。

采用类SoftMax的方式对得分进行归一化，得到历史时刻i隐藏层的权重系数：

然后将权重系数与隐藏层状态对应相乘再求和，计算出预测时刻t所对应的编码器中所有时刻的隐藏层状态的加权和c_t：

将c_t与解码器中上一时刻的输出y_t-1在维度上进行拼接，作为解码器中当前时刻LSTM单元的输入向量：

x_t＝[c_t；y_t-1] (12)

(3.4)采用步骤(3.2)的方法对解码器网络的LSTM单元进行计算和更新。

(3.5)构建考虑外部因素的全连接神经网络。

在预测t时刻的交通速度时，我们将解码器的输出和由外部因素组成的离散特征拼接起来，并将它们输入到一个全连接神经网络，得到最终的输出

其中，y_t是t时刻解码器的输出值，d_t是t时刻的外部离散特征向量，包括天气和日期，W_n和b_n是待学习的参数。

(3.6)模型的训练。

采用Adagrad梯度下降法对步骤(3.1)至(3.5)中的参数进行反向传播更新，获得最终参数得到训练好的模型。

步骤4:模型在线预测。

对测试样本，首先按照步骤1到步骤2，对测试样本的格式进行转化，然后将测试样本直接输入到步骤3所训练好的模型中，模型输出最终的预测结果，完成预测。

进一步地，所述步骤1具体为：对于原始速度数据，将获取的车辆速度数据按照不同路段分类。对需要分析的每一个路段，以一小时为时间间隔，将每天划分成24个时间段。对于第z个时间间隔，z＝0,1,2,…,23，用该时间间隔内该路段上速度的平均值来表示第z个时间间隔的速度，每一个时刻对应一个固定的速度值。则路段u在p天内获得的速度向量可以表示为v_u ^T(1×24p)，其中，u＝1,2,…,L，为全部路段的代号，L为路段总数。

对于天气，按照降水量大小将其分类，分别用不同标签表示；将日期类型分为三类：工作日、周末、节假日，分别用不同标签表示；获取上述速度变量对应时刻的天气和日期类型，路段u在p天内的天气数据表示为w_u ^T(1×24p)，日期类别数据表示为d_u ^T(1×24p)。

与现有技术相比，本发明的有益效果是：本方法从实际交通数据的特点出发，不仅考虑了交通速度的时间相关特性和空间相关特性，而且考虑了天气、节假日等外部因素的影响。时间特性上，我们利用LSTM来充分学习交通速度的时序关联性，还考虑了不同历史时刻对不同预测时刻的贡献差异性，并通过注意力机制来学习这种差异；空间特性上，我们在对目标路段进行预测时，充分考虑了相关路段对其的影响，考虑到不同相关路段对预测路段的影响不同，使用注意力机制来学习这种贡献差异。本方法充分考虑了不同历史时刻的贡献差异和不同相关路段的贡献差异。相比以往的方法，本方法是一种对时空特性刻画更加细粒度、更加全面的端到端方法，为交通速度预测提供了一种有效易行的方法，为实际道路状况预测的研究指明了新的方向。

附图说明

图1是本发明方法架构图。

图2是使用本发明在不同预测步下的10个路段上的预测结果RMSE的均值与其他三种方法的对比图。

图3是使用本发明在不同预测步下的10个路段上的预测结果的RMSE的标准差与其他三种方法的对比图。

具体实施方式

下面结合附图和具体实例，对本发明作进一步详细说明。

本实例所采用数据为杭州市8000辆出租车2013年10月1日～2014年1月31日的为期四个月，共计123天的GPS信号数据，GPS数据中包括速度值和采样时间以及位置信息。

步骤1:建模数据预处理。

对原始速度数据进行均值化处理，对天气、节假日等外部因素类别数据进行预处理。

对于原始速度数据，将获取的车辆速度数据按照不同路段分类。对需要分析的每一个路段，以一小时为时间间隔，将每天划分成24个时间段。对于第z个时间间隔，z＝0,1,2,…,23，用该时间间隔内该路段上速度的平均值来表示第z个时间间隔的速度，每一个时刻对应一个固定的速度值。则路段u在p天内获得的速度向量可以表示为v_u ^T(1×24p)，其中，u＝1,2,…,L，为全部路段的代号，L为路段总数。本实例中，我们对杭州市出租车2013年10月1日～2014年1月31日的为期四个月，共计123天的GPS信号进行了预处理，并从中随机选出了246个路段的数据进行接下来的分析，p＝123，L＝246。

对于天气，按照降水量大小将其分类，分别用不同标签表示；将日期类型分为三类：工作日、周末、节假日，分别用不同标签表示；获取上述速度变量对应时刻的天气和日期类型，路段u在p天内的天气数据表示为w_u ^T(1×24p)，日期类别数据表示为d_u ^T(1×24p)。本实例中，对于天气，按照降水量大小将其分为三类，第一类是干燥无降水的天气，比如晴天、多云等；第二类是中度湿润，比如小雨、中雨、小雪、大雾等；第三类是高度湿润，比如大雨、大雪等，分别用数值1、2、3表示。对于节假日的影响，将日期类型分为三类：工作日、周末、节假日，分别用数值1、2、3来表示。本实例共获取为期四个月123天每天24小时的天气，以及123天每天的节假日类型，天气和节假日类型数据均对应于速度向量。如表1所示为某一路段预处理后的部分数据的格式示例。

表1

路段代号	当前速度	时间	天气	节假日
					186	35	2013/10/1 9:00	1	3
186	32.1429	2013/10/1 10:00	1	3
					186	32	2013/10/1 11:00	1	3
186	33.3571	2013/10/1 12:00	1	3
					186	34	2013/10/1 13:00	1	3
186	30.4	2013/10/1 14:00	1	3

步骤2:确定模型的输入变量和外部离散特征向量。

(2.1)设c为待预测路段编号，根据地理位置，按照与预测路段的交叉和临近的优先原则选取前k个路段，作为与路段c相关的路段，这些相关路段的速度将作为变量用于预测模型的建立，本实例中k的值取4，选取了10个预测路段。

(2.2)设m为历史时间窗口的大小，t_p为第一个预测时刻，则模型预测该时刻所需的输入包括该时刻之前的m个时刻，对于历史时刻i(i＝t_p-m,t_p-m+1,...,t_p-1)，其对应所需的速度输入向量记为

其中k为相关路段的个数。此外还要输入预测时刻所对应的外部离散特征向量d_t，包括天气w_tp、节假日d_tp在内的外部因素。本实例中m值为24。

步骤3:模型的建立和训练。

(3.1)确定相关路段的贡献程度，得到新的输入向量。

编码器网络采用LSTM作为基础单元，历史时间步长为m，与步骤2中的历史时间窗口一致。对于历史时刻i所对应的原始输入向量x，首先计算每个相关路段的得分，如下式所示：

其中，j＝1,2,...,k，h_i-1和s_i-1分别为Encoder中的LSTM单元的前一时刻的f维隐藏层状态和细胞状态，

是所有输入时刻的第j个相关路段速度值所组成的向量，

是网络需要学习的参数。本实例中f取值为96。

使用类SoftMax对得分进行归一化处理，使其转化成类概率分布的权重系数：

然后将对应路段的速度值与对应的权重相乘，得到该时刻新的输入向量：

(3.2)对编码器网络的LSTM单元进行计算和更新。

将新的输入向量输入到LSTM单元，对于历史时刻i的LSTM单元，其计算和更新方式如下，首先计算遗忘门f_i、输入门a_i、输出门o_i：

其中，[h_i-1；x_i]是前一个时刻的隐藏层状态h_i-1与当前时刻的输入x_i在向量维度上的拼接。σ表示sigmoid函数，W_f，W_a，W_o，b_f，b_a，b_o都是网络要学习的参数。

然后计算更新当前的细胞状态：

其中，W_s，b_s是待学习的参数，符号⊙表示对应元素相乘。

然后计算隐藏层状态如下：

h_i＝o_i⊙tanh(s_i) (8)

(3.3)确定不同历史时刻的贡献程度，得到新的输入向量。

解码器网络也是由LSTM单元构成。对于当前的预测时刻t(t＝t_p,t_p+1,t_p+2，t_p为第一个预测时刻)，首先我们利用解码器中当前时刻的前一时刻的隐藏层状态和细胞状态以及编码器中的每个隐藏层状态，生成不同历史时刻对当前预测时刻的贡献分数，如下：

其中，h'_t-1和s'_t-1分别是预测时刻的前一时刻的解码器LSTM单元的隐藏层状态和细胞状态，h_i是历史时刻i的编码器LSTM单元的隐藏层状态，也是编码器的第i个LSTM单元的隐藏层状态，m是编码器部分中LSTM单元的数量，v_d,W_d,U_d是要学习的参数。

采用类SoftMax的方式对得分进行归一化，得到第i个历史时刻隐藏层的权重系数：

然后将权重系数与隐藏层状态对应相乘再求和，计算出预测时刻t所对应的编码器中所有时刻的隐藏层状态的加权和c_t：

将c_t与解码器中上一时刻的输出y_t-1在维度上进行拼接，作为解码器中当前时刻LSTM单元的输入向量：

x_t＝[c_t；y_t-1] (12)

本实例中预测步数为3，即解码器网络的LSTM单元个数为3。

(3.4)对解码器网络的LSTM单元进行计算和更新，步骤同(3.2)。

即，将新的输入向量输入到解码器网络的LSTM单元，对于预测时刻t的LSTM单元，其计算和更新方式如下，首先计算遗忘门f′_t、输入门a'_t、输出门o'_t：

f′_t＝σ(W'_f[h'_t-1；x_t]+b'_f)

a'_t＝σ(W′_a[h'_t-1；x_t]+b'_a)

o'_t＝σ(W′_o[h'_t-1；x_t]+b'_o)

其中，[h'_t-1；x_t]是前一个时刻的隐藏层状态h'_t-1与当前时刻的输入x_t在向量维度上的拼接。σ表示sigmoid函数，W'_f，W_a'，W_o'，b'_f，b'_a，b'_o都是网络要学习的参数。

然后计算更新当前的细胞状态：

s'_t＝f′_t⊙s'_t-1+a'_t⊙tanh(W′_s[h'_t-1；x_t]+b'_s)

其中，W′'，b'_s是待学习的参数，符号⊙表示对应元素相乘。

计算隐藏层状态如下：

h'_t＝o'_t⊙tanh(s'_t)

(3.5)构建考虑外部因素的全连接神经网络。

在预测t时刻的交通速度时，我们将解码器的输出和由外部因素组成的离散特征拼接起来，并将它们输入到一个全连接神经网络，得到最终的输出

其中，y_t是t时刻解码器的输出值，d_t是t时刻的外部离散特征向量，包括天气和日期，W_n和b_n是待学习的参数。本实例中全连接神经网络的隐藏层数为1，隐藏层的神经元个数设为10。

(3.6)模型的训练。

采用Adagrad梯度下降法对步骤(3.1)至(3.5)中的参数进行反向传播更新，得到模型的最终参数。本实例10个路段分别有2800条样本记录，针对不同路段，我们采用前2400个样本作为训练集，后400个样本作为测试集，Epoch设置为2。

步骤4:模型在线预测。

对不同路段的400个测试样本，首先按照步骤1到步骤2，对测试样本的格式进行转化，然后将测试样本直接输入到步骤3所建立好的模型中，模型输出最终的预测结果，完成预测。

计算本方法和其他方法在10个随机选择的路段上的测试集的预测结果与真实值的均方根误差RMSE，如表2所示。其中，其他方法包括基于时空宽度学习网络ST-BLN、深度神经网络DNN和支持向量回归机SVR的交通速度预测方法，各方法的输入一致。可以看出，本方法在每个预测步骤的每个路段上均优于其他三种方法。表明本方法对预测精度有较为明显的提高。此外，为观察该方法的稳定性，我们针对每个预测时间步分别计算了四种方法在10个路段的标准差，结果表明所提方法是所有四种方法中最稳定的。为了对结果进行更加直观的展示，我们将10个路段上的四种方法在不同路段预测的RMSE的平均值和标准偏差绘制成曲线图，分别如图2和图3所示。该图可以进一步验证结果的有效性，也表明了随着预测步长的增加，本方法的准确性下降的速度小于其他方法。

表2

Claims (2)

1.一种协同考虑时空相关性和贡献差异的多步交通速度预测方法，其特征在于，该方法包括以下步骤：

步骤1:建模数据预处理：对原始速度数据根据路段和时间段进行均值化处理，对天气、节假日外部因素数据进行类别分类；

步骤2:确定模型的输入变量和外部离散特征向量；

(2.1)设c为待预测路段的编号，根据地理位置，按照与预测路段的交叉和临近的优先原则选取前k个路段，作为与路段c相关的路段，这些相关路段的速度将作为变量用于预测模型的建立；

(2.2)m为建模所需要的历史时间窗口的大小；设t_p为第一个预测时刻，则模型预测该时刻所需的输入包括该时刻之前的m个时刻，对于历史时刻i，i＝t_p-m,t_p-m+1,...,t_p-1，其对应所需的速度输入向量记为

其中k为相关路段的个数；此外还要输入预测时刻所对应的外部离散特征向量d_t，包括天气和日期数据；

步骤3:模型的建立和训练；

(3.1)确定相关路段的贡献程度，得到新的输入向量；

编码器网络采用LSTM作为基础单元，历史时间步长为m，与步骤2中的历史时间窗口一致；对于历史时刻i所对应的原始输入向量x，首先计算每个相关路段的得分，如下式所示：

其中，j＝1,2,...,k，k为相关路段数量，h_i-1和s_i-1分别为Encoder中LSTM单元当前时刻的前一时刻的f维隐藏层状态和细胞状态，

是所有输入时刻的第j个相关路段速度值所组成的向量，

是网络需要学习的参数；

使用类SoftMax对得分进行归一化处理，使其转化成类概率分布的权重系数：

然后将对应路段的速度值与对应的权重相乘，得到该时刻新的输入向量：

(3.2)对编码器网络的LSTM单元进行计算和更新；

将新的输入向量输入到LSTM单元，对于历史时刻i的LSTM单元，其计算和更新方式如下，首先计算遗忘门f_i、输入门a_i、输出门o_i：

其中，

是前一个时刻的隐藏层状态h_i-1与当前时刻的输入

在向量维度上的拼接；σ表示sigmoid函数，W_f，W_a，W_o，b_f，b_a，b_o都是网络要学习的参数；

然后计算更新当前的细胞状态：

其中，W_s，b_s是待学习的参数，符号⊙表示对应元素相乘；

计算隐藏层状态如下：

h_i＝o_i⊙tanh(s_i) (8)

(3.3)确定不同历史时刻的贡献程度，得到新的输入向量；

解码器网络也是由LSTM单元构成；对于当前的预测时刻t(t＝t_p,t_p+1,t_p+2，t_p为第一个预测时刻)，首先我们利用解码器中当前时刻的前一时刻的隐藏层状态和细胞状态以及编码器中的每个隐藏层状态，生成不同历史时刻对当前预测时刻的贡献分数，如下：

其中，h'_t-1和s'_t-1分别是预测时刻的前一时刻的解码器LSTM单元的隐藏层状态和细胞状态，h_i是历史时刻i的编码器LSTM单元的隐藏层状态，v_d,W_d,U_d是要学习的参数；

采用类SoftMax的方式对得分进行归一化，得到历史时刻i隐藏层的权重系数：

然后将权重系数与隐藏层状态对应相乘再求和，计算出预测时刻t所对应的编码器中所有时刻的隐藏层状态的加权和c_t：

将c_t与解码器中上一时刻的输出y_t-1在维度上进行拼接，作为解码器中当前时刻LSTM单元的输入向量：

x_t＝[c_t；y_t-1] (12)

(3.4)采用步骤(3.2)的方法对解码器网络的LSTM单元进行计算和更新；

(3.5)构建考虑外部因素的全连接神经网络；

在预测t时刻的交通速度时，我们将解码器的输出和由外部因素组成的离散特征拼接起来，并将它们输入到一个全连接神经网络，得到最终的输出

其中，y_t是t时刻解码器的输出值，d_t是t时刻的外部离散特征向量，包括天气和日期，W_n和b_n是待学习的参数；

(3.6)模型的训练；

采用Adagrad梯度下降法对步骤(3.1)至(3.5)中的参数进行反向传播更新，获得最终参数得到训练好的模型；

步骤4:模型在线预测；

对测试样本，首先按照步骤1到步骤2，对测试样本的格式进行转化，然后将测试样本直接输入到步骤3所训练好的模型中，模型输出最终的预测结果，完成预测。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：对于原始速度数据，将获取的车辆速度数据按照不同路段分类；对需要分析的每一个路段，以一小时为时间间隔，将每天划分成24个时间段；对于第z个时间间隔，z＝0,1,2,…,23，用该时间间隔内该路段上速度的平均值来表示第z个时间间隔的速度，每一个时刻对应一个固定的速度值；则路段u在p天内获得的速度向量可以表示为v_u ^T(1×24p)，其中，u＝1,2,…,L，为全部路段的代号，L为路段总数；

对于天气，按照降水量大小将其分类，分别用不同标签表示；将日期类型分为三类：工作日、周末、节假日，分别用不同标签表示；获取上述速度变量对应时刻的天气和日期类型，路段u在p天内的天气数据表示为w_u ^T(1×24p)，日期类别数据表示为d_u ^T(1×24p)。

Images