CN113919593A - 一种基于注意力机制的ME-MBiGRU短时交通流量预测方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的ME‑MBiGRU短时交通流量预测方法，包括改进的集合经验模态分解、多层双向门控循环单元和注意力机制的组合模型，改进的集合经验模态分解简称MEEMD，MEEMD是一种基于排列熵的改进集合经验模态分解方法，该方法利用互补集合经验模态分解对含有噪声的时间序列进行分解，计算每一个分量的排列熵值，根据排列熵值H_p来确定数据中存在的异常值，并将其剔除；再对剩余的数据进行经验模态分解。本发明公开的基于注意力机制的ME‑MBiGRU短时交通流量预测方法通过改进的集合经验模态分解对数据进行分解；为更加充分的提取交通流的时间特征，采用多层双向门控循环单元和注意力机制对模型进行训练。

Description

一种基于注意力机制的ME-MBiGRU短时交通流量预测方法

技术领域

本发明涉及交通技术领域，尤其涉及一种基于注意力机制的ME-MBiGRU短时交通流量预测方法。

背景技术

随着我国经济的不断发展，人均车辆保有量在不断上升，而由此带来的交通拥堵的问题却日益严重。短时交通流量预测技术，作为智能交通系统(IntelligentTrafficSystem，ITS)的一个关键环节，能够对道路过去的历史数据进行分析，并对未来的交通流量进行预测，从而达到缓解交通压力、方便市民出行的目的。。

使用EMD(EnsembleEmpiricalModeDecomposition，EMD)对数据进行噪声处理，使用LSSVM(LeastSquaresVectorMachines，LSSVM)进行预测；使用EMD算法对出租车数据进行分解，降低噪声，随后使用门控循环单元(GatedRecurrentUnit，GRU)进行预测；使用EEMD(EnsembleEmpiricalModeDecomposition，EEMD)对数据进行分解，利用改进型粒子群算法优化的最小二乘支持向量机进行模型训练。

采用的EMD算法，虽然能对数据进行一定的去噪，但会出现模态混叠的问题，即高频分量与低频分量无法完全分离；采用的EEMD算法，虽然能够抑制模态混叠的问题，但无法完全中和添加的白噪声，并且该算法计算量大，不具有完备性。

发明内容

本发明公开一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，旨在解决EMD算法会出现模态混叠的问题，即高频分量与低频分量无法完全分离；EEMD算法，虽然能够抑制模态混叠的问题，但无法完全中和添加的白噪声，并且该算法计算量大，不具有完备性的技术问题。

为了实现上述目的，本发明采用了如下技术方案：

一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，包括改进的集合经验模态分解、多层双向门控循环单元和注意力机制组合模型，所述改进的集合经验模态分解的简称为MEEMD，且MEEMD是一种基于排列熵的改进集合经验模态分解方法，该方法利用互补集合经验模态分解对含有噪声的时间序列进行分解，计算每一个分量的排列熵值，根据排列熵值H_p来确定数据中存在的异常值，并将其剔除；再对剩余的数据进行经验模态分解，对含有噪声的时间序列T(t)，其分解步骤具体包括如下步骤：

步骤1：成对的向原始时间序列T(t)添加正负相反、幅值相同的高斯白噪声，得到两个信号

步骤2：对

分别进行EMD分解，得到第一个IMF分量序列{I_i1 ⁺(t)}、{I_i1 ^-(t)}，对上述两个分量序列进行集合平均，得到分量序列T(t)的第一个IMF分量I₁(t)；

式中：L表示时间序列T(t)的长度，Ne为添加的白噪声的对数；

步骤3：计算I₁(t)的排列熵值H_p，判断该分量是否为异常分量；如果I₁(t)的熵值H_p大于阈值θ₀，则该分量为异常分量；

步骤4：如果I₁(t)为异常分量，则返回步骤1，直到第q个IMF分量I_q(t)的熵值H_p小于θ₀，此时执行步骤5；

步骤5：将已经进行分解的前q-1个分量从原始时间序列中剔除，得到不含噪声的时间序列N(t)；

步骤6：对N(t)进行EMD分解，得到IMF分量，此时，MEEMD分解结束。

在一个优选的方案中，所述多层双向门控循环单元的简称为MBiGRU，且MBiGRU网络的计算过程描述如下：

P_(t) ^＜F＞＝GRU^＜F＞(x_t-w,x_t-w+1,...,x_t+1) (3)

P_(t) ^＜B＞＝GRU^＜B＞(x_t+1,x_t+2,...,x_t+w) (4)

Q_(t)＝W₁*[P_(t) ^＜F＞,P_(t) ^＜B＞]+b₁ (5)

式中，GRU^＜F＞代表正向的GRU网络；x为输入数据；w为时间滑动窗口的大小，假设共有m条训练数据，则1<w<m；P_(t) ^＜F＞为正向GRU网络的输出结果，同理，GRU^＜B＞代表反向GRU网络，P_(t) ^＜B＞为反向GRU的输出结果；将P_(t) ^＜F＞与P_(t) ^＜B＞进行矩阵拼接后，与权值矩阵W₁相乘，与偏置项b₁相加，得到第一个BiGRU网络在t时刻的输出Q_(t)；

O_(t) ^＜F＞＝GRU^＜F＞(Q_t-w,Q_t-w+1,...,Q_t+1) (6)

O_(t) ^＜B＞＝GRU^＜F＞(Q_t+1,Q_t+2,...,Q_t+w) (7)

O_(t)＝W₂*[O_(t) ^＜F＞,O_(t) ^＜B＞]+b₂ (8)

式中，O_(t)为第二个BiGRU网络的输出；

利用MEEMD算法对数据进行分解，降低了数据的重构误差，提高了对数据的分解速度。

在一个优选的方案中，所述模型在t时刻的预测结构具体描述如下：

(1)输入原始时间序列T[t]；

(2)使用MEEMD算法将T[t]分解为N个IMF序列I_m[t](m＝1,2,...,N)和一个残差序列R[t]；

(3)将IMF序列以及残差序列输入到MBiGRU网络中进行训练，设MBiGRU网络隐藏层神经元个数为H，在t时刻，第m个IMF的输出为：

h(m,t)＝[h₁,h₂,…,h_H] (9)

(4)将MBiGRU网络的输出作为注意力层的输入，在注意力层中，使用GRU作为编码器，则在t时刻，第m个IMF，其权重系数β(m,t)和输出O(m,t)为：

Q(m,t)＝[h(m,T)·h(m',t)] (10)

ε(m,t)＝softmax[Q(m,t)] (11)

β(m,t)＝[h(m,t)·ε(m,t)] (12)

P(m,t)＝[h(m,T),β(m,t)] (13)

O(m,t)＝tanh[W_tP(m,t)+b_t] (14)

式中：h(m,T)表示第m个IMF序列经过MBiGRU网络后的最后一个时间步长结果；h(m',t)表示h(m,t)经过注意力编码器后产生的隐藏层的结果；Q(m,t)为h(m,T)与h(m',t)的点积结果；ε(m,t)为注意力的概率分布值；β(m,t)为权重系数矩阵；P(m,t)为h(m,T)与注意力层权重系数矩阵的拼接；O(m,t)为注意力层最后的输出；W_t为权值矩阵；b_t为偏置项；

(5)将注意力层的输出通过全连接层进行预测，则t时刻第m个IMF分量的输出结果y(m,t)为：

y(m,t)＝sigmoid[W_mO(m,t)+b_m] (15)

式中：W_m为权值矩阵，b_m为偏置项；

(6)输出t时刻的预测结果R(t)：

由上可知，一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，包括改进的集合经验模态分解、多层双向门控循环单元和注意力机制组合模型，所述改进的集合经验模态分解的简称为MEEMD，且MEEMD是一种基于排列熵的改进集合经验模态分解方法，该方法利用互补集合经验模态分解对含有噪声的时间序列进行分解，计算每一个分量的排列熵值，根据排列熵值H_p来确定数据中存在的异常值，并将其剔除；再对剩余的数据进行经验模态分解。本发明提供的基于注意力机制的ME-MBiGRU短时交通流量预测方法具备以下技术效果：

(1)利用MEEMD算法对数据进行分解，降低了数据的重构误差，提高了对数据的分解速度；

(2)利用MBiGRU结构，加强了模型对时间序列特征的提取，提高了模型在工作日与周末分时段下的预测精度；

(3)利用注意力机制，加强了模型对数据特征的提取能力；

(4)使用Huber损失函数，加快了模型收敛速度，并提升了预测模型的鲁棒性与准确性。

附图说明

图1为本发明提出的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法的MEEMD分解过程的结构示意图。

图2为本发明提出的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法的MBiGRU网络结构图。

图3为本发明提出的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法的模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

本发明公开的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法主要应用于计算交通流预测模型的场景。

参照图1，一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，包括改进的集合经验模态分解、多层双向门控循环单元和组合模型，改进的集合经验模态分解的简称为MEEMD，且MEEMD是一种基于排列熵的改进集合经验模态分解方法，该方法利用互补集合经验模态分解对含有噪声的时间序列进行分解，计算每一个分量的排列熵值，根据排列熵值H_p来确定数据中存在的异常值，并将其剔除；再对剩余的数据进行经验模态分解，对含有噪声的时间序列T(t)，其分解步骤具体包括如下步骤：

步骤1：成对的向原始时间序列T(t)添加正负相反、幅值相同的高斯白噪声，得到两个信号

步骤2：对

分别进行EMD分解，得到第一个IMF分量序列{I_i1 ⁺(t)}、{I_i1 ^-(t)}，对上述两个分量序列进行集合平均，得到分量序列T(t)的第一个IMF分量I₁(t)；

式中：L表示时间序列T(t)的长度，Ne为添加的白噪声的对数；

步骤3：计算I₁(t)的排列熵值H_p，判断该分量是否为异常分量；如果I₁(t)的熵值H_p大于阈值θ₀，则该分量为异常分量；

步骤4：如果I₁(t)为异常分量，则返回步骤1，直到第q个IMF分量I_q(t)的熵值H_p小于θ₀，此时执行步骤5；

步骤5：将已经进行分解的前q-1个分量从原始时间序列中剔除，得到不含噪声的时间序列N(t)；

步骤6：对N(t)进行EMD分解，得到IMF分量，此时，MEEMD分解结束。

参照图2，在一个优选的实施方式中，循环神经网络(Recurrent Neural Network，RNN)是解决时间序列预测问题的经典方法，BiGRU是RNN的一种变形结构，该网络既弥补了RNN网络的缺点，又可以针对交通流的时间相关性，同时考虑前后时刻的数据信息对当前时刻预测结果的影响。

BiGRU由一个正向GRU和一个反向GRU组成，并且都与输出层相连，将前一时刻与后一时刻的信息同时传递给输出层，为更加充分的提取时间序列特征，本文使用两个BiGRU网络组成时间序列特征提取模块。

多层双向门控循环单元的简称为MBiGRU，且MBiGRU网络的计算过程描述如下：

P_(t) ^＜F＞＝GRU^＜F＞(x_t-w,x_t-w+1,...,x_t+1) (3)

P_(t) ^＜B＞＝GRU^＜B＞(x_t+1,x_t+2,...,x_t+w) (4)

Q_(t)＝W₁*[P_(t) ^＜F＞,P_(t) ^＜B＞]+b₁ (5)

式中，GRU^＜F＞代表正向的GRU网络；x为输入数据；w为时间滑动窗口的大小，假设共有m条训练数据，则1<w<m；P_(t) ^＜F＞为正向GRU网络的输出结果，同理，GRU^＜B＞代表反向GRU网络，P_(t) ^＜B＞为反向GRU的输出结果；将P_(t) ^＜F＞与P_(t) ^＜B＞进行矩阵拼接后，与权值矩阵W₁相乘，与偏置项b₁相加，得到第一个BiGRU网络在t时刻的输出Q_(t)；

O_(t) ^＜F＞＝GRU^＜F＞(Q_t-w,Q_t-w+1,...,Q_t+1) (6)

O_(t) ^＜B＞＝GRU^＜F＞(Q_t+1,Q_t+2,...,Q_t+w) (7)

O_(t)＝W₂*[O_(t) ^＜F＞,O_(t) ^＜B＞]+b₂ (8)

式中，O_(t)为第二个BiGRU网络的输出。

参照图3，在一个优选的实施方式中，组合模型包括有模型结构、损失函数和模型评价指标，基于注意力机制的ME-MBiGRU短时交通流量预测模型的主要思想是：使用MEEMD算法对数据进行分解，得到若干IMF分量和趋势分量Res；将IMF分量与趋势分量Res放入MBiGRU网络中进行训练；再使用注意力机制对数据的重要特征进行提取，通过全连接层输出同一时刻不同分量的预测结果；最后将所有结果进行重构加和，实现了短时交通流量的预测。

参照图3，在一个优选的实施方式中，模型在t时刻的预测结构具体描述如下：

(1)输入原始时间序列T[t]；

(2)使用MEEMD算法将T[t]分解为N个IMF序列I_m[t](m＝1,2,...,N)和一个残差序列R[t]；

(3)将IMF序列以及残差序列输入到MBiGRU网络中进行训练，设MBiGRU网络隐藏层神经元个数为H，在t时刻，第m个IMF的输出为：

h(m,t)＝[h₁,h₂,…,h_H] (9)

(4)将MBiGRU网络的输出作为注意力层的输入，在注意力层中，使用GRU作为编码器，则在t时刻，第m个IMF，其权重系数β(m,t)和输出O(m,t)为：

Q(m,t)＝[h(m,T)·h(m',t)] (10)

ε(m,t)＝softmax[Q(m,t)] (11)

β(m,t)＝[h(m,t)·ε(m,t)] (12)

P(m,t)＝[h(m,T),β(m,t)] (13)

O(m,t)＝tanh[W_tP(m,t)+b_t] (14)

式中：h(m,T)表示第m个IMF序列经过MBiGRU网络后的最后一个时间步长结果；h(m',t)表示h(m,t)经过注意力编码器后产生的隐藏层的结果；Q(m,t)为h(m,T)与h(m',t)的点积结果；ε(m,t)为注意力的概率分布值；β(m,t)为权重系数矩阵；P(m,t)为h(m,T)与注意力层权重系数矩阵的拼接；O(m,t)为注意力层最后的输出；W_t为权值矩阵；b_t为偏置项；

(5)将注意力层的输出通过全连接层进行预测，则t时刻第m个IMF分量的输出结果y(m,t)为：

y(m,t)＝sigmoid[W_mO(m,t)+b_m] (15)

式中：W_m为权值矩阵，b_m为偏置项；

(6)输出t时刻的预测结果R(t)：

参照图1和图3，在一个优选的实施方式中，损失函数：模型选择Huber损失函数作为优化目标，函数表达式为：

式中，y为实际值，

为预测值，δ为可调超参数，当取δ为0时，该损失函数趋向于平均绝对误差(MAE)，当取δ为无穷大时，该损失函数趋向于均方误差(MSE)。本文选取δ的值为2。

参照图1和图3，在一个优选的实施方式中，模型评价指标包括有：实验选择平均绝对百分误差(MAPE)、均方根误差(RMSE)和平均绝对误差(MAE)，三者的值越小，说明模型预测的准确度越高，MAPE、RMSE和MAE的目标函数分别为：

式中：

为实际值，y_i为预测值，

表示预测值，k_i表示实际值，n为样本的数量。

由于周末时段的数据较少，单层BiGRU网络无法充分的提取时间特征。本文所提出的MBiGRU网络，可以在数据量较少的时候对时间特征进行充分的提取，再结合注意力机制，对预测结果有影响的特征赋于较大的权重，故预测精度有显著的提高。

工作日时段，交通参与者大量增加，在特定的时间段会呈现出双峰特性，即早高峰、晚高峰，故在相同的时间段内，工作日的交通流量所达到的峰值更大，此时交通内部因素不稳定，存在的噪声也更大，因此周末的交通流量预测效果整体上要好于工作日的交通流量预测效果，分析了工作日、周末时段下模型的预测结果，验证了模型的鲁棒性。

结论：本文提出了基于MEEMD+MBiGRU+Attention的组合模型对短时交通流量进行预测。MEEMD算法有效的去除了数据中的噪声，加快了数据分解的速度，并减少了数据重构误差；MBiGRU神经网络与注意力机制加强了模型对时间序列特征的提取，尤其在数据量较小的时候提取效果更优。实验结果表明，本文所提模型与其他模型在相同数据集下相比具有较高的精度，且能够很好的预测工作日、周末时段。未来将进一步考虑多种因素对交通流量预测的影响。

注释：

1、集合经验模态分解(MEEMD)

2、多层双向门控循环单元(MBiGRU)

3、本征模函数(IMF)和残余分量(Res)

4、循环神经网络(Recurrent Neural Network，RNN)

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，包括改进的集合经验模态分解、多层双向门控循环单元和注意力机制的组合模型，其特征在于，所述改进的集合经验模态分解的简称为MEEMD，且MEEMD是一种基于排列熵的改进集合经验模态分解方法，该方法利用互补集合经验模态分解对含有噪声的时间序列进行分解，计算每一个分量的排列熵值，根据排列熵值H_p来确定数据中存在的异常值，并将其剔除；再对剩余的数据进行经验模态分解，对含有噪声的时间序列T(t)，其分解步骤具体包括如下步骤：

步骤1：成对的向原始时间序列T(t)添加正负相反、幅值相同的高斯白噪声，得到两个信号T_i ⁺(t)、T_i ^-(t)；

步骤2：对T_i ⁺(t)、T_i ^-(t)分别进行EMD分解，得到第一个IMF分量序列{I_i1 ⁺(t)}、{I_i1 ^-(t)}，对上述两个分量序列进行集合平均，得到分量序列T(t)的第一个IMF分量I₁(t)；

式中：L表示时间序列T(t)的长度，Ne为添加的白噪声的对数；

步骤3：计算I₁(t)的排列熵值H_p，判断该分量是否为异常分量；如果I₁(t)的熵值H_p大于阈值θ₀，则该分量为异常分量；

步骤4：如果I₁(t)为异常分量，则返回步骤1，直到第q个IMF分量I_q(t)的熵值H_p小于θ₀，此时执行步骤5；

步骤5：将已经进行分解的前q-1个分量从原始时间序列中剔除，得到不含噪声的时间序列N(t)；

步骤6：对N(t)进行EMD分解，得到IMF分量，此时，MEEMD分解结束。

2.根据权利要求1所述的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，其特征在于，所述多层双向门控循环单元的简称为MBiGRU，且MBiGRU网络的计算过程描述如下：

P_(t) ^＜F＞＝GRU^＜F＞(x_t-w,x_t-w+1,...,x_t+1) (3)

P_(t) ^＜B＞＝GRU^＜B＞(x_t+1,x_t+2,...,x_t+w) (4)

Q_(t)＝W₁*[P_(t) ^＜F＞,P_(t) ^＜B＞]+b₁ (5)

式中，GRU^＜F＞代表正向的GRU网络；x为输入数据；w为时间滑动窗口的大小，假设共有m条训练数据，则1<w<m；P_(t) ^＜F＞为正向GRU网络的输出结果，同理，GRU^＜B＞代表反向GRU网络，P_(t) ^＜B＞为反向GRU的输出结果；将P_(t) ^＜F＞与P_(t) ^＜B＞进行矩阵拼接后，与权值矩阵W₁相乘，与偏置项b₁相加，得到第一个BiGRU网络在t时刻的输出Q_(t)；

O_(t) ^＜F＞＝GRU^＜F＞(Q_t-w,Q_t-w+1,...,Q_t+1) (6)

O_(t) ^＜B＞＝GRU^＜F＞(Q_t+1,Q_t+2,...,Q_t+w) (7)

O_(t)＝W₂*[O_(t) ^＜F＞,O_(t) ^＜B＞]+b₂ (8)

式中，O_(t)为第二个BiGRU网络的输出。

3.根据权利要求1所述的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，其特征在于，所述组合模型包括有模型结构、损失函数和模型评价指标。

4.根据权利要求3所述的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，其特征在于，基于注意力机制的ME-MBiGRU短时交通流量预测模型的主要思想是：使用MEEMD算法对数据进行分解，得到若干IMF分量和趋势分量Res；将IMF分量与趋势分量Res放入MBiGRU网络中进行训练；再使用注意力机制对数据的重要特征进行提取，通过全连接层输出同一时刻不同分量的预测结果；最后将所有结果进行重构加和，实现了短时交通流量的预测。

5.根据权利要求4所述的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，其特征在于，所述模型在t时刻的预测结构具体描述如下：

(1)输入原始时间序列T[t]；

(2)使用MEEMD算法将T[t]分解为N个IMF序列I_m[t](m＝1,2,...,N)和一个残差序列R[t]；

(3)将IMF序列以及残差序列输入到MBiGRU网络中进行训练，设MBiGRU网络隐藏层神经元个数为H，在t时刻，第m个IMF的输出为：

h(m,t)＝[h₁,h₂,…,h_H] (9)

(4)将MBiGRU网络的输出作为注意力层的输入，在注意力层中，使用GRU作为编码器，则在t时刻，第m个IMF，其权重系数β(m,t)和输出O(m,t)为：

Q(m,t)＝[h(m,T)·h(m',t)] (10)

ε(m,t)＝softmax[Q(m,t)] (11)

β(m,t)＝[h(m,t)·ε(m,t)] (12)

P(m,t)＝[h(m,T),β(m,t)] (13)

O(m,t)＝tanh[W_tP(m,t)+b_t] (14)

式中：h(m,T)表示第m个IMF序列经过MBiGRU网络后的最后一个时间步长结果；h(m',t)表示h(m,t)经过注意力编码器后产生的隐藏层的结果；Q(m,t)为h(m,T)与h(m',t)的点积结果；ε(m,t)为注意力的概率分布值；β(m,t)为权重系数矩阵；P(m,t)为h(m,T)与注意力层权重系数矩阵的拼接；O(m,t)为注意力层最后的输出；W_t为权值矩阵；b_t为偏置项；

(5)将注意力层的输出通过全连接层进行预测，则t时刻第m个IMF分量的输出结果y(m,t)为：

y(m,t)＝sigmoid[W_mO(m,t)+b_m] (15)

式中：W_m为权值矩阵，b_m为偏置项；

(6)输出t时刻的预测结果R(t)：

6.根据权利要求5所述的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，其特征在于，所述损失函数：模型选择Huber损失函数作为优化目标，函数表达式为：

式中，y为实际值，

为预测值，δ为可调超参数，当取δ为0时，该损失函数趋向于平均绝对误差(MAE)，当取δ为无穷大时，该损失函数趋向于均方误差(MSE)。

7.根据权利要求6所述的一种基于注意力机制的ME-MBiGRU短时交通流量预测方法，其特征在于，所述模型评价指标包括有：实验选择平均绝对百分误差(MAPE)、均方根误差(RMSE)和平均绝对误差(MAE)，三者的值越小，说明模型预测的准确度越高，MAPE、RMSE和MAE的目标函数分别为：

式中：

为实际值，y_i为预测值，

表示预测值，k_i表示实际值，n为样本的数量。

Images