CN112712159A - 一种基于改进pso算法的lstm短时交通流预测方法 - Google Patents

Abstract

一种基于改进PSO算法的LSTM短时交通流预测方法，包括以下步骤：(1)种群初始化，(2)参数设定，(3)根据LSTM建立输入输出关系式，(4)适应函数，(5)终止条件。应用LSTM方法进行短时交通流预测，采用不同惯性权重的PSO算法预测结果如下，可见分段惯性权重收敛快于递增惯性权重，精度高于递减惯性权重，解决了递增惯性权重收敛速度慢，预测精度高，递减惯性权重收敛速度快，预测精度低的问题。

Description

一种基于改进PSO算法的LSTM短时交通流预测方法

技术领域

本发明涉及新一代信息技术，尤其涉及一种基于改进PSO算法的LSTM短时交通流预测方法。

背景技术

随着新一代信息技术的发展，打造智慧城市成为很多国家和城市未来的发展方向。交通作为城市发展的大动脉，成为智慧城市的重要组成部分，因此智慧城市的建设主要看智能交通的发展。5G技术的部署为智能交通提供了优质的网络环境，对于智能交通的发展起着关键的作用。

智能交通的核心是对交通大数据的数据处理、数据挖掘、信息传递、展示等技术的整合，而交通数据是智能交通发展的基础。交通流数据是智能交通大数据中的一种，通过对交通流数据的准确预测，可以为实时交通信号控制、交通路径诱导系统、事故检测等提供更准确的交通信息，并为交通规划及决策管理部门制定决策提供依据。

短时交通流具有较大的非线性和不确定性，目前短时交通流预测方法主要有：基于传统统计理论的方法，包括自回归模型、指数平滑法、移动平均模型、自回归差分移动平均法、时间序列模型等，方法简单、容易理解，但是鉴于交通量数据非线性、不确定性的特征，此类方法预测精度误差相对较大；以神经网络、非线性理论、模糊理论等方法为主的预测方法，这些方法对短时预测有更好的效果。在众多的短时预测方法中，神经网络模型以其灵活性、多变性，获得了广泛应用。随着人工智能的发展，交通流大数据时代也随之到来，由神经网络模型衍生出的深度学习，在大数据分析中发挥着重要的作用。深度学习中的LSTM(长短期记忆网络)可以同时保留时间序列的长期记忆和短期记忆，在时间序列短时预测上相比于传统的模型表现较为出色。

交通流数据即为时间序列数据，可以应用LSTM进行短时预测。LSTM(长短期记忆网络)是使用存储单元代替常规的神经元，每个存储单元由遗忘门、输入门及输出门构成，门可以对细胞状态进行更新替换，以达到对信息进行删减和增添的作用。如图1、2所示，LSTM网络结构中，x为输入层，x_t表示t时的输入值；y为输出层，y_t表示t时的输出值；c为细胞状态，c_t为t时的细胞状态，可以保留较长时间的信息；h_t-1为上一序列细胞的输出。LSTM通过细胞状态及隐藏层细胞的输出将各存储单元链接起来，实现网络的延续。LSTM方法的计算公式如下：

(1)确定遗忘门：

(2)确定输入门：

(3)确定待保留信息向量：z^t＝tanh(W_c*[h_t-1,x_t]+b_c)

(4)更新细胞状态：

(5)确定输出门：

(6)获得隐藏层输出值：h_t＝z^t·tanh(c_t)

(7)获得存储单元输出值：y_t＝σ(W'·h_t+b')

其中，W_f、b_f、W_i、b_i、W_c、b_c、W_o、b_o、W'、b'分别为相应的权值矩阵和偏置。应用于短时交通流预测时，主要是通过各算法确定这些权值矩阵及偏置，各参数值确定，便可通过新的输入值预测出新的短时交通流数据。

目前求解LSTM的方法主要是SGD(随机梯度下降法)和Adam(自适应梯度下降法)，但均存在一些缺陷，如SGD算法下降速度慢、波动大，容易陷入局部最优点，无法获得得出全局最优解；Adam算法同样会错过全局最优解，同时算法存在不收敛的可能性。

发明内容

本发明所要解决的技术问题是提供一种基于改进PSO算法的LSTM短时交通流预测方法，短了LSTM收敛速度，同时较大程度提高了短时预测的精度。

为解决上述技术问题，本发明的技术方案是：一种基于改进PSO算法的LSTM短时交通流预测方法，包括以下步骤：

(1)种群初始化：

采用基本的微粒群算法进行交通速度短时预测，首先需要随机初始化一群满足约束条件的微粒，初始化微粒公式如下：

其中rand()～U(0,1)，其中W包括W_f、W_i、W_c、W_o、W'，b包括b_f、b_i、b_c、b_o、b'，利用公式随机初始化微粒的位置与速度；

(2)参数设定：

为了防止粒子远离搜索空间，将粒子的每一维飞行速度均钳位在[-v_max,v_max]之间，v_max＝kW_max，k＝0.5，学习因子c₁、c₂均取值为2，rand()～U(0,1)；惯性权重ω采用改进的分段公式进行计算，其中q＝0.1；

其中，ω表示惯性权重，M表示算法的最大迭代次数，iter表示迭代次数，q表示递增惯性权重和递减惯性权重切换点；

(3)根据LSTM建立输入输出关系式：

确定遗忘门：

确定输入门：

确定待保留信息向量：z^t＝tanh(W_c*[h_t-1,x_t]+b_c)；

更新细胞状态：

确定输出门：

获得隐藏层输出值：h_t＝z^t·tanh(c_t)；

预测输出值：y_t＝σ(W'·h_t+b')；

其中，W_f、b_f、W_i、b_i、W_c、b_c、W_o、b_o、W'、b'分别为相应的权值矩阵和偏置；

(4)适应函数：

短时交通流预测采用预测值与原始值差值平方和作为算法的适应函数：

其中，n为训练样本数，y_i为训练样本原始值，y_i′为训练样本预测值。适应值最低的粒子，即所求的最优解，表示此时预测值交通流的数值最接近于原始值；

(5)终止条件：

PSO是一种迭代算法，对群体中的每个个体反复更新其位置和速度，直到满足算法的终止条件；PSO一般通过设定最大迭代数作为其终止条件，或根据微粒群的收敛程度来判断是否中终止迭代；当误差小于0.001或者迭代次数达到200时输出预测结果。

本发明与现有技术相比所带来的有益效果是：

改进的PSO算法，解决了递增惯性权重及递减惯性权重在应用中收敛速度和预测精度难以平衡的问题。应用到交通速度短时预测中，获得了极好的运算效果，使平均预测精度得到了较大程度的提高，3375个点位中98.4％的点位预测精度达到了80％以上，能够较好的满足交通管理决策、交通规划、路径诱导等方面的技术需求。

附图说明

图1为LSTM网络结构图。

图2为存储单元内部结构图。

图3为某路段10天速度数据时间序列分布图。

图4为适应函数收敛曲线图。

具体实施方式

下面结合说明书附图对本发明作进一步说明。

一种基于改进PSO算法的LSTM短时交通流预测方法，包括以下步骤：

(1)种群初始化：

采用基本的微粒群算法进行交通速度短时预测，首先需要随机初始化一群满足约束条件的微粒，初始化微粒公式如下：

其中rand()～U(0,1)，其中W包括W_f、W_i、W_c、W_o、W'，b包括b_f、b_i、b_c、b_o、b'，利用公式随机初始化微粒的位置与速度；

(2)参数设定：

为了防止粒子远离搜索空间，将粒子的每一维飞行速度均钳位在[-v_max,v_max]之间，v_max＝kW_max，k＝0.5，学习因子c₁、c₂均取值为2，rand()～U(0,1)；惯性权重ω采用改进的分段公式进行计算，其中q＝0.1；

为了使收敛速度和收敛效果达到一个平衡，本研究将递增惯性权重、递减惯性权重进行结合，设定成分段函数，前期使用递增惯性权重公式，让算法快速收敛，后期使用递减惯性权重公式，提高收敛效果；其中，ω表示惯性权重，M表示算法的最大迭代次数，iter表示迭代次数，q表示递增惯性权重和递减惯性权重切换点；

(3)如图1、2所示，根据LSTM建立输入输出关系式：

(3.1)确定遗忘门：以状态t时的输入数据x_t和上一个状态t-1时的输出h_t-1作为本层的输入，通过sigmoid激活函数，实现对上一层存储单元信息的保留和删除；公式如下：

(3.2)确定输入门：同样以状态t时的输入数据x_t和上一个状态t-1时的输出h_t-1作为本层的输入，应用sigmoid激活函数决定哪些信息可以在存储单元中存储；公式如下：

(3.3)确定待保留信息向量：以状态t时的输入数据x_t和上一个状态t-1时的输出h_t-1作为本层的输入，应用tanh函数生成一个候选向量，其作用是备选的用来更新的内容向量；公式如下：

z^t＝tanh(W_c*[h_t-1,x_t]+b_c)；

(3.4)更新细胞状态：将上一步得到的备选的用来更新的内容z^t，与遗忘门、输入门、上一节点的细胞状态c_t-1结合，更新存储单元的细胞状态c^t；公式如下：

(3.5)确定输出门：以状态t时的输入数据x_t和上一个状态t-1时的输出h_t-1作为本层的输入，应用sigmoid激活函数决定哪些信息需要输出；公式如下：

(3.6)获得隐藏层输出值：应用tanh函数对细胞当前状态c_t进行处理，与输出门确定的需要输出的信息相结合，得到隐藏层的输出部分h_t；公式如下：

h_t＝z^t·tanh(c_t)；

(3.7)预测输出值：以隐藏层输出值作为输入，应用sigmoid激活函数，得到存储单元的输出值y_t；公式如下：

y_t＝σ(W'·h_t+b')；

其中，W_f、b_f、W_i、b_i、W_c、b_c、W_o、b_o、W'、b'分别为相应的权值矩阵和偏置；应用于短时交通流预测时，主要是通过各算法确定这些权值矩阵及偏置，各参数值确定，便可通过新的输入值预测出新的短时交通流数据；

(4)适应函数：

短时交通流预测采用预测值与原始值差值平方和作为算法的适应函数：

其中，n为训练样本数，y_i为训练样本原始值，y_i′为训练样本预测值。适应值最低的粒子，即所求的最优解，表示此时预测值交通流的数值最接近于原始值；

(5)终止条件：

PSO是一种迭代算法，对群体中的每个个体反复更新其位置和速度，直到满足算法的终止条件；PSO一般通过设定最大迭代数作为其终止条件，或根据微粒群的收敛程度来判断是否中终止迭代；当误差小于0.001或者迭代次数达到200时输出预测结果。

PSO算法运算步骤如下：

步骤1、设微粒群规模为n，最大迭代次数为M，首先依据初始粒子产生策略随机生成满足约束条件的n个初始粒子的位置W_i(1≤i≤n)与速度v，令全局最优解g和局部最优解p_i(1≤i≤n)无穷大；

步骤2、迭代次数iter＝1，计算适应函数值，分别与全局最优解g和局部最优解p_i进行比较，得到初始全局最优解g和局部最优解p_i；

步骤3、当iter≤M时，根据速度－位置公式更新微粒的位置和速度；更新速度时，c₁＝c₂＝2，ω参照惯性权重分段公式进行更新；

步骤4、根据适应函数更新种群中粒子的全局最优解g及局部最优解p_i；

步骤5、判断是否达到最大迭代次数，若iter＝M，若不等，iter＝iter+1，返回步骤3；若相等，则迭代终止，输出最优解。

如图3所示，以某市2019年12月10日-19日10天的3375个点位的交通速度时间序列数据为例，取10分钟为预测时间段，前7天的数据作为训练样本，后3天的数据为检验样本。为了对比LSTM和改进的LSTM的预测结果，本研究采用均方差(MSE)、绝对误差(MAE)、绝对百分比误差(MAPE)和预测精确度(ACC)，比较短时交通流预测算法的预测精度。

如图4所示，应用LSTM方法进行短时交通流预测，采用不同惯性权重的PSO算法预测结果如下，可见分段惯性权重收敛快于递增惯性权重，精度高于递减惯性权重，解决了递增惯性权重收敛速度慢，预测精度高，递减惯性权重收敛速度快，预测精度低的问题。

表1同一路段不同惯性权重预测结果分析表

分别将SGD算法和改进的PSO算法用于LSTM短时交通速度预测，对其结果进行对比，改进的PSO算法对3375个点位预测结果均值的MSE、MAE、MAPE及ACC均好于SGD方法，均方误差下降了86.9％，预测精确度提高了约18％，但因为PSO算法参数较多，消耗了较多运行时间。

表3不同算法3375条路段车速预测结果均值分析表

分析不同方法预测精确度对比表可以看到，LSTM方法预测结果中，3375个点位预测精确度达到80％以上的只占58.6％，有接近40％的点位预测精度不足80％，改进后的LSTM模型，预测精确度80％以上的达到了98.4％，远超未改进的LSTM方法的预测结果。

表2 STM应用不同算法预测精确度(ACC)结果对比表

由表1、表2和表3的数据对比得出：改进的PSO算法，解决了递增惯性权重及递减惯性权重在应用中收敛速度和预测精度难以平衡的问题。应用到交通速度短时预测中，获得了极好的运算效果，使平均预测精度得到了较大程度的提高，3375个点位中98.4％的点位预测精度达到了80％以上，能够较好的满足交通管理决策、交通规划、路径诱导等方面的技术需求。

Claims (2)

1.一种基于改进PSO算法的LSTM短时交通流预测方法，其特征在于，包括以下步骤：

(1)种群初始化：

采用基本的微粒群算法进行交通速度短时预测，首先需要随机初始化一群满足约束条件的微粒，初始化微粒公式如下：

其中rand()～U(0,1)，其中W包括W_f、W_i、W_c、W_o、W'，b包括b_f、b_i、b_c、b_o、b'，利用公式随机初始化微粒的位置与速度；

(2)参数设定：

为了防止粒子远离搜索空间，将粒子的每一维飞行速度均钳位在[-v_max,v_max]之间，v_max＝kW_max，k＝0.5，学习因子c₁、c₂均取值为2，rand()～U(0,1)；惯性权重ω采用改进的分段公式进行计算，其中q＝0.1；

其中，ω表示惯性权重，M表示算法的最大迭代次数，iter表示迭代次数，q表示递增惯性权重和递减惯性权重切换点；

(3)根据LSTM建立输入输出关系式：

确定遗忘门：

确定输入门：

确定待保留信息向量：z^t＝tanh(W_c*[h_t-1,x_t]+b_c)；

更新细胞状态：

确定输出门：

获得隐藏层输出值：h_t＝z^t·tanh(c_t)；

预测输出值：y_t＝σ(W'·h_t+b')；

其中，W_f、b_f、W_i、b_i、W_c、b_c、W_o、b_o、W'、b'分别为相应的权值矩阵和偏置；

(4)适应函数：

短时交通流预测采用预测值与原始值差值平方和作为算法的适应函数：

其中，n为训练样本数，y_i为训练样本原始值，y_i′为训练样本预测值。适应值最低的粒子，即所求的最优解，表示此时预测值交通流的数值最接近于原始值；

(5)终止条件：

PSO是一种迭代算法，对群体中的每个个体反复更新其位置和速度，直到满足算法的终止条件；PSO一般通过设定最大迭代数作为其终止条件，或根据微粒群的收敛程度来判断是否中终止迭代；当误差小于0.001或者迭代次数达到200时输出预测结果。

2.根据权利要求1所述的一种基于改进PSO算法的LSTM短时交通流预测方法，其特征在于：

PSO算法运算步骤如下：

步骤1、设微粒群规模为n，最大迭代次数为M，首先依据初始粒子产生策略随机生成满足约束条件的n个初始粒子的位置W_i(1≤i≤n)与速度v，令全局最优解g和局部最优解p_i(1≤i≤n)无穷大；

步骤2、迭代次数iter＝1，计算适应函数值，分别与全局最优解g和局部最优解p_i进行比较，得到初始全局最优解g和局部最优解p_i；

步骤3、当iter≤M时，根据速度－位置公式更新微粒的位置和速度；更新速度时，c₁＝c₂＝2，ω参照惯性权重分段公式进行更新；

步骤4、根据适应函数更新种群中粒子的全局最优解g及局部最优解p_i；

步骤5、判断是否达到最大迭代次数，若iter＝M，若不等，iter＝iter+1，返回步骤3；若相等，则迭代终止，输出最优解。

Images