CN109242140A - 一种基于LSTM_Attention网络的交通流预测方法 - Google Patents

Abstract

一种基于LSTM_Attention网络的交通流预测方法，包括以下步骤：(1)获取道路交通历史数据，将数据分为训练集和测试集，对数据进行预处理；(2)构建一层LSTM网络，根据训练集数据中样本的序列长度设置隐层单元个数，添加一层激活函数为Softmax的全连层，最后添加一层逻辑回归层作为预测层，将训练集数据输入到网络中得到预测值，将预测值与真实值输入到损失函数并通过反向传播对网络模型以及内部参数进行优化；(3)将测试集数据输入到已完成训练的LSTM_Attention网络中得到预测数据。本发明对未来道路交通流量数据进行精确地预测。

Description

一种基于LSTM_Attention网络的交通流预测方法

技术领域

本发明涉及一种基于LSTM_Attention网络的交通流预测方法，本发明属于交通流量预测领域，涉及道路交通流量数据和神经网络架构的融合方法。

背景技术

经济的高速发展和人民生活水平的不断提高带来的是城市机动车总量的快速增长以及道路交通负载的加重，道路拥堵问题日益严重。交通网络中车辆的分布对于整个网络的流通性至关重要。为实现车辆的合理分布，需要采取一定的调控措施，使得当下以及未来的车辆分布趋于合理，因此对未来的交通状况进行精确预测十分重要。

交通状况可以由许多变量进行衡量，本发明采用流量来衡量道路交通状况。现有的基于神经网络的交通流预测方法十分多，包括卷积神经网络(CNNs)、长短期记忆网络(LSTMs)，前者在图像识别领域有很大的成功，后者是一种改进的递归神经网络(RNNs)，它在语音识别等方面也取得了很大的成就。道路交通数据本身在空间和时间上都有着很大的联系，本发明的目的是对单个路段的未来道路交通数据进行预测，因此着重考虑交通历史数据的时间特征。传统的基于LSTMs的预测方法将LSTMs最后一个隐层单元的输出作为网络提取的特征，但对于一些特征较复杂的数据而言这种方式所提取的特征可能并不完整，部分信息在隐层单元数据的传递过程中丢失。

发明内容

为了解决现有技术中单一LSTMs的最终输出对输入数据的时间特征表现不完整问题，本发明引入注意力(Attention)机制，给LSTMs每一个隐层单元的输出赋相关性权重，获得时间特征，最终对未来道路交通流量数据进行精确地预测。

本发明解决缺陷所采用的技术方案是：

一种基于LSTM_Attention网络的交通流预测方法，所述方法包括以下步骤：

(1)对道路交通数据进行预处理

获取道路交通历史数据，将数据分为训练集和测试集，对数据进行预处理；

(2)基于训练集构建LSTM_Attention网络

构建一层LSTM网络，根据训练集数据中样本的序列长度设置隐层单元个数，添加一层激活函数为Softmax的全连层，最后添加一层逻辑回归层作为预测层，将训练集数据输入到网络中得到预测值，将预测值与真实值输入到损失函数并通过反向传播对网络模型以及内部参数进行优化；

(3)基于测试集和LSTM_Attention网络实现交通流预测

将测试集数据输入到已完成训练的LSTM_Attention网络中得到预测数据。

进一步，所述步骤(1)中，获取道路交通流量历史数据，设置样本中的数据序列长度为m，将数据划分为训练集和测试集，数据格式为[样本数，流量数据序列长度，1]；

对数据进行最大值最小值标准化处理，将流量数据缩放到[0,1]的区间上，预处理计算表达式如下所示

其中，x_it表示第i个样本中t时刻预处理过后的道路交通流量数据,x’_it表示第i个样本中t时刻检测到的道路交通流量原始数据，max x_i表示第i个样本中流量数据的最大值，min x_i表示第i个样本中流量数据的最小值，输入数据的矩阵形式如下所示

再进一步，所述步骤(2)中，基于训练集构建LSTM_Attention网络的过程如下：

2.1：构建初始网络

道路交通流量数据与时间的关联性很强，时间特征的充分准确提取对于精确地预测未来流量数据十分关键。因此本文选择LSTM_Attention网络，在LSTMs的基础上应用Attention机制，将各隐层单元的输出结果与一个相关性权重矩阵进行点乘获得更完整的时间特征，最后通过一层逻辑回归层对未来流量数据进行预测。

根据样本数据序列的长度，设置LSTMs中隐层单元个数为g。本方法采用一层激活函数为Softmax的全连层来实现Attention机制，其输入为LSTMs各隐层单元的输出，其输出为各隐层输出结果与最后预测目标的相关性权重；

2.2：提取训练集数据中的时间特征

LSTMs中一个隐层单元包含四个节点。遗忘节点，输入节点，输出节点和单元状态节点，各节点的输入输出计算如下

f_t＝σ(W_fxx_t+W_fhh_t-1+b_f)

i_t＝σ(W_ixx_t+W_ihh_t-1+b_i)

o_t＝σ(W_oxx_t+W_ohh_t-1+b_o)

其中W_fx，W_fh，W_ix，W_ih,W_ox，W_oh，W_cx，W_ch是各个节点的对应两个输入值的权重，b_f，b_i，b_o，b_c表示各个节点的偏置，σ()表示Sigmoid激活函数,tanh()表示双曲线激活函数。遗忘节点的输出f_t决定传到该节点的信息被保留或剔除。输入节点，输出节点和单元状态节点的输出i_t，o_t和决定当前的输入有多少信息会被保留。然后是对状态的更新和输出的计算，计算如下

h_t＝o_t*tan(C_t)

其中C_t表示隐层单元t的状态值，h_t表示隐层单元t的输出值，*表示值的乘法运算，通过LSTMs得到输出H(H＝{h_t},t＝1,2,3...g)。

实现Attentnion机制，将得到的隐层单元输出，输入到一层激活函数为Softmax的全连层中，计算如下

Q_A＝Soft max(W_AH+b_A)

其中W_A表示全连层的权重矩阵，Q_A(Q_A＝{q_At},t＝1,2,3...g)表示全连层的输出结果即各隐层输出结果与预测目标的相关性，b_A为该全连层的偏置。

时间特征计算如下

其中表示网络从输入数据序列中提取得到的时间特征，网络提取出来的时间特征为

2.3：基于训练集对未来交通流量数据进行预测

将网络最终得出的时间特征通过一层逻辑回归层得到该样本的预测值。逻辑回归层表达式为

其中p_m+1表示网络预测的结果,W_p表示权重矩阵，b_p表示偏置。

2.4：对LSTM_Attention网络优化

网络的损失函数选择均方误差(Mean Square Loss),表达式为

其中p_m+1表示对第m+1时刻下道路交通流量预测值，x_m+1表示第m+1时刻下道路交通流量真实值；

将网络输出的预测值和真实值带入损失函数，基于反向传播调整网络中所有权重以及偏置的值，使损失函数的值趋于最小，使网络趋于最优。

本发明提出一种基于LSTM_Attention网络的交通流预测方法，引入注意力(Attention)机制，即在计算最终时间特征的时候保留每一个隐层单元的输出结果，添加一个相关性权重矩阵，矩阵中的每一个元素表示每一个输入数据经过隐层单元后输出的结果与预测目标之间的相关性，并由这些输出结果和相关性权重相乘获得网络提取的时间特征。最后通过线性回归对交通流进行预测。

随着智能交通路网的发展，掌握实时交通数据并精确预测未来交通数据为交通调控方案设计提供数据支持。基于LSTM_Attention网络的交通流预测方法可以实现对未来道路交通流量数据的精确预测。

本发明的有益效果：本发明在LSTMs的基础上添加了Attention机制，保证了对数据时间特征提取的完整性，最终将时间特征输入到逻辑回归层通过线性回归来实现对未来道路交通流流量数据的预测，其结果可以为交通道路调控，交通道路规划提供数据支持。

附图说明

图1是方法流程图。

图2是Attention机制等效图。

具体实施方式

下面结合附图对本发明做进一步说明。

参照图1和图2，一种基于LSTM_Attention网络的交通流预测方法，包括以下步骤：

(1)对道路交通数据进行预处理

获取道路交通流量历史数据，设置样本中的数据序列长度为m，将数据划分为训练集和测试集，数据格式为[样本数，流量数据序列长度，1]。

对数据进行最大值最小值标准化处理，将流量数据缩放到[0,1]的区间上。预处理计算表达式如下所示

其中，x_it表示第i个样本中t时刻预处理过后的道路交通流量数据,x’_it表示第i个样本中t时刻检测到的道路交通流量原始数据，max x_i表示第i个样本中流量数据的最大值，min x_i表示第i个样本中流量数据的最小值。输入数据的矩阵形式如下所示

(2)基于训练集构建LSTM_Attention网络，过程如下：

2.1：构建初始网络

道路交通流量数据与时间的关联性很强，时间特征的充分准确提取对于精确地预测未来流量数据十分关键。因此本文选择LSTM_Attention网络，在LSTMs的基础上应用Attention机制，将各隐层单元的输出结果与一个相关性权重矩阵进行点乘获得更完整的时间特征，最后通过一层逻辑回归层对未来流量数据进行预测。

根据样本数据序列的长度，设置LSTMs中隐层单元个数为g。本方法采用一层激活函数为Softmax的全连层来实现Attention机制，其输入为LSTMs各隐层单元的输出，其输出为各隐层输出结果与最后预测目标的相关性权重。

2.2：提取训练集数据中的时间特征

LSTMs中一个隐层单元包含四个节点。遗忘节点，输入节点，输出节点和单元状态节点，各节点的输入输出计算如下

f_t＝σ(W_fxx_t+W_fhh_t-1+b_f)

i_t＝σ(W_ixx_t+W_ihh_t-1+b_i)

o_t＝σ(W_oxx_t+W_ohh_t-1+b_o)

其中W_fx，W_fh，W_ix，W_ih,W_ox，W_oh，W_cx，W_ch是各个节点的对应两个输入值的权重，b_f，b_i，b_o，b_c表示各个节点的偏置，σ()表示Sigmoid激活函数,tanh()表示双曲线激活函数。遗忘节点的输出f_t决定传到该节点的信息被保留或剔除。输入节点，输出节点和单元状态节点的输出i_t，o_t和决定当前的输入有多少信息会被保留。然后是对状态的更新和输出的计算，计算如下

h_t＝o_t*tan(C_t)

其中C_t表示隐层单元t的状态值，h_t表示隐层单元t的输出值，*表示值的乘法运算，通过LSTMs得到输出H(H＝{h_t},t＝1,2,3...g)。

实现Attentnion机制，将得到的隐层单元输出，输入到一层激活函数为Softmax的全连层中，计算如下

Q_A＝Soft max(W_AH+b_A)

其中W_A表示全连层的权重矩阵，Q_A(Q_A＝{q_At},t＝1,2,3...g)表示全连层的输出结果即各隐层输出结果与预测目标的相关性，b_A为该全连层的偏置。

时间特征计算如下

其中表示网络从输入数据序列中提取得到的时间特征，网络提取出来的时间特征为

2.3：基于训练集对未来交通流量数据进行预测

将网络最终得出的时间特征通过一层逻辑回归层得到该样本的预测值。逻辑回归层表达式为

其中p_m+1表示网络预测的结果,W_p表示权重矩阵，b_p表示偏置。

2.4：对LSTM_Attention网络优化

网络的损失函数选择均方误差(Mean Square Loss),表达式为

其中p_m+1表示对第m+1时刻下道路交通流量预测值，x_m+1表示第m+1时刻下道路交通流量真实值。

将网络输出的预测值和真实值带入损失函数，基于反向传播调整网络中所有权重以及偏置的值，使损失函数的值趋于最小，使网络趋于最优。

(3)基于测试集和LSTM_Attention网络实现交通流预测

将测试集数据输入到已完成训练的网络中对未来道路交通流量数据进行预测。

实例：一种基于LSTM_Attention网络的交通流预测方法，包括以下步骤：

(1)对道路交通数据进行预处理

获取一个月的道路交通流量数据建立原始数据序列。数据的获取间隔Δt为2min。将70％的数据作为训练数据集，剩余的30％数据作为测试数据集。对训练集和测试集数据进行预处理。

(2)构建LSTM_Attention网络

选取m＝18,即以18个连续时刻的道路交通流量数据作为一个样本，因此输入到网络中数据的格式为[样本数，18，1]。添加一层LSTMs，设置隐层单元的个数g＝18，添加一层激活函数为Softmax的全连层和一层逻辑回归层，对网络中的权重以及偏置进行初始化。将训练集数据输入到网络中，得到网络的预测值。本方法中涉及到的参数主要包括：LSTMs隐层单元各节点的权重W_fx，W_fh，W_ix，W_ih，W_ox，W_oh，W_cx，W_ch，相对应的偏置b_f，b_i，b_o，b_c,全连层的权重矩阵和相应的偏置W_A，b_A，W_p，b_p。将预测值和真实值输入到损失函数中，基于损失函数对每一个参数的偏导，进行反向传播，对网络中的参数进行调整。增加训练的次数，使损失函数的值趋于最小。

(4)基于测试集和LSTM_Attention网络进行预测的实验结果

将测试集的数据输入到已完成训练的LSTM_Attention网络中获得预测结果。为使预测结果具有对比性，将结果与基于LSTM网络的交通流预测结果进行对比。

利用均方根误差(RMSE)，平均绝对误差(MAE)和平均绝对百分误差(MAPE)来检验算法的准确性。

其中p_i(m+1)表示第i个样本的预测值，x_i(m+1)表示第i个样本预测的目标值。

两个网络模型的交通流预测结果的统计分析如表1所示。

表1。

Claims (3)

1.一种基于LSTM_Attention网络的交通流预测方法，其特征在于，所述方法包括以下步骤：

(1)对道路交通数据进行预处理

获取道路交通历史数据，将数据分为训练集和测试集，对数据进行预处理；

(2)基于训练集构建LSTM_Attention网络

构建一层LSTM网络，根据训练集数据中样本的序列长度设置隐层单元个数，添加一层激活函数为Softmax的全连层，最后添加一层逻辑回归层作为预测层，将训练集数据输入到网络中得到预测值，将预测值与真实值输入到损失函数并通过反向传播对网络模型以及内部参数进行优化；

(3)基于测试集和LSTM_Attention网络实现交通流预测

将测试集数据输入到已完成训练的LSTM_Attention网络中得到预测数据。

2.如权利要求1所述的一种基于LSTM_Attention网络的交通流预测方法，其特征在于，所述步骤(1)中，获取道路交通流量历史数据，设置样本中的数据序列长度为m，将数据划分为训练集和测试集，数据格式为[样本数，流量数据序列长度，1]；

对数据进行最大值最小值标准化处理，将流量数据缩放到[0,1]的区间上，预处理计算表达式如下所示：

其中，x_it表示第i个样本中t时刻预处理过后的道路交通流量数据,x’_it表示第i个样本中t时刻检测到的道路交通流量原始数据，max x_i表示第i个样本中流量数据的最大值，minx_i表示第i个样本中流量数据的最小值，输入数据的矩阵形式如下所示：

3.如权利要求1或2所述的一种基于LSTM_Attention网络的交通流预测方法，其特征在于，所述步骤(2)中，基于训练集构建LSTM_Attention网络的过程如下：

2.1：构建初始网络

选择LSTM_Attention网络，在LSTMs的基础上应用Attention机制，将各隐层单元的输出结果与一个相关性权重矩阵进行点乘获得更完整的时间特征，最后通过一层逻辑回归层对未来流量数据进行预测；

根据样本数据序列的长度，设置LSTMs中隐层单元个数为g，采用一层激活函数为Softmax的全连层来实现Attention机制，其输入为LSTMs各隐层单元的输出，其输出为各隐层输出结果与最后预测目标的相关性权重；

2.2：提取训练集数据中的时间特征

LSTMs中一个隐层单元包含四个节点，遗忘节点，输入节点，输出节点和单元状态节点，各节点的输入输出计算如下

f_t＝σ(W_fxx_t+W_fhh_t-1+b_f)

i_t＝σ(W_ixx_t+W_ihh_t-1+b_i)

o_t＝σ(W_oxx_t+W_ohh_t-1+b_o)

其中W_fx，W_fh，W_ix，W_ih,W_ox，W_oh，W_cx，W_ch是各个节点的对应两个输入值的权重，b_f，b_i，b_o，b_c表示各个节点的偏置，σ()表示Sigmoid激活函数,tanh()表示双曲线激活函数；遗忘节点的输出f_t决定传到该节点的信息被保留或剔除，输入节点，输出节点和单元状态节点的输出i_t，o_t和决定当前的输入有多少信息会被保留，然后是对状态的更新和输出的计算，计算如下

h_t＝o_t*tan(C_t)

其中C_t表示隐层单元t的状态值，h_t表示隐层单元t的输出值，*表示值的乘法运算，通过LSTMs得到输出H(H＝{h_t},t＝1,2,3...g)；

实现Attentnion机制，将得到的隐层单元输出，输入到一层激活函数为Softmax的全连层中，计算如下

Q_A＝Softmax(W_AH+b_A)

其中W_A表示全连层的权重矩阵，Q_A(Q_A＝{q_At},t＝1,2,3...g)表示全连层的输出结果即各隐层输出结果与预测目标的相关性，b_A为该全连层的偏置；

时间特征计算如下

其中表示网络从输入数据序列中提取得到的时间特征，网络提取出来的时间特征为

2.3：基于训练集对未来交通流量数据进行预测

将网络最终得出的时间特征通过一层逻辑回归层得到该样本的预测值，逻辑回归层表达式为

其中p_m+1表示网络预测的结果,W_p表示权重矩阵，b_p表示偏置；

2.4：对LSTM_Attention网络优化

网络的损失函数选择均方误差(Mean Square Loss)，表达式为

其中p_m+1表示对第m+1时刻下道路交通流量预测值，x_m+1表示第m+1时刻下道路交通流量真实值；

将网络输出的预测值和真实值带入损失函数，基于反向传播调整网络中所有权重以及偏置的值，使损失函数的值趋于最小，使网络趋于最优。