CN110929958A - 基于深度学习参数优化的短时交通流量预测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习参数优化的短时交通流量预测方法，用于解决现有基于深度学习的短时交通流量预测方法实时性差的技术问题。技术方案是首先构建连续受限玻尔兹曼机模型，便于交通流连续型数据的输入；其次建立自适应训练步长的学习速率机制，以提高训练的收敛速度；深度信念网模型的学习，最后采用粒子群优化算法为支持向量机的核函数选取合适的参数，保证了实现短时交通流量的预测的快速性和准确性。本发明在深度信任网的基础上，改进第一层受限玻尔兹曼机为连续受限玻尔兹曼机；采用粒子群优化算法对支持向量机核函数中的参数进行优化，使得训练获得的特征信息在该确认的模型下实现对短时交通流的预测，提高了预测的准确性和实时性。

Description

基于深度学习参数优化的短时交通流量预测方法

技术领域

本发明涉及一种基于深度学习的短时交通流量预测方法，特别涉及一种基于深度学习参数优化的短时交通流量预测方法。

背景技术

当今社会交通问题成为制约城市和经济发展的重大问题之一，解决该问题最有效的途径是智能交通系统。智能交通系统能够提高现有交通基础设施的运行效率，缓解交通拥堵，缩短出行时间，降低能源消耗与环境污染，提高交通安全性。交通流诱导系统作为智能交通中的关键功能，能够为出行人员提供道路规划和交通诱导，为交管部门提供交通控制和交通规划依据，交通诱导的前提和基础是对交通流信息提供准确实时的预测，所以交通流预测是智能交通的关键技术。交通流预测按照预测周期分为中长期预测和短时预测，中长期交通流预测通常是用于交管部门进行交通规划，短时交通流预测间隔一般不大于15min，用于交通诱导和交通控制。短时交通流的随机性强，在越来越复杂的交通状况下，预测结果的准确性和实时性是预测方法要解决的难题。

传统短时交通流预测模型可分为参数模型和非参数模型。参数模型主要包括时间序列模型和卡尔曼滤波模型。其优点是模型简单，可解释性强，运算速度快，缺点是难以适应交通流的非线性和随机性特征，使得预测结果误差较大。非参数模型如支持向量机模型、高斯过程模型和贝叶斯组合模型等。其优点是在一定程度上适用于交通流的非线性和随机性，预测效果有所提高，缺点是较为复杂，算法收敛慢，模型优化困难，求解容易陷入局部最优。传统短时交通流预测模型由于是浅层结构，无法实现特定函数的有效表征，因而难以获得数据集的本质特征，而且流量预测的高维度数据特征也容易陷入维度灾难，无法充分利用交通数据的多属性特点，从而影响预测模型的构建。由于深度学习的多层表征及灵活学习机制，能够将每一层中简单的非线性模块转换为高层复杂的抽象表征，可以灵活实现复杂的函数来逼近精确地模型，因而成为交通流预测研究的热点。

文献“《基于深度学习的短时交通流预测》(计算机应用研究，2017年1月，第34卷第一期，p91-p97)”公开了一种基于深度学习的短时交通流预测方法，该方法采用深度学习中的深度信任网和支持向量机混合模型，实现对短时交通流预测。首先以深度信任网对数据进行特征学习，经过无监督的逐层特征训练和有监督的参数微调，提取出交通流的规律，再以此作为新的训练和测试样本输入顶层的支持向量回归模型进行预测，对预测结果进行反差分得到道路的交通流量预测值，得到了准确的预测信息。但是本文存在着三个缺点，首先由于深度信任网模型是由多个受限玻尔兹曼机组成，而受限玻尔兹曼机模型只能接受二进制的输入，对于交通流这样的连续值来说是很不方便的；其次是深度信任网在训练网络模型参数时的收敛速度慢，有时难以满足交通流预测的实时性要求；第三，由于支持向量机核函数参数决定了支持向量机的复杂性和泛化性，而该参数的选取经常是根据主观经验或者部分优化来实现，因而选取不当很容易影响预测精度和准确性。

发明内容

为了克服现有基于深度学习的短时交通流量预测方法实时性差的不足，本发明提供一种基于深度学习参数优化的短时交通流量预测方法。该方法首先构建连续受限玻尔兹曼机模型，便于交通流连续型数据的输入；其次建立自适应训练步长的学习速率机制，以提高训练的收敛速度；深度信念网模型的学习，最后采用粒子群优化算法为支持向量机的核函数选取合适的参数，保证了实现短时交通流量的预测的快速性和准确性。本发明在常规的深度信任网的基础上，改进第一层受限玻尔兹曼机为连续受限玻尔兹曼机，以满足交通流连续数据类型的输入；自适应训练步长的学习速率机制，可以提高训练的收敛速度；采用粒子群优化算法对支持向量机核函数中的参数进行优化，使得训练获得的特征信息在该确认的模型下实现对短时交通流的预测，提高了预测的准确性和实时性。

本发明解决其技术问题所采用的技术方案：一种基于深度学习参数优化的短时交通流量预测方法，其特点是包括以下步骤：

步骤一、构建模型连续受限玻尔兹曼机的深度信任网的预测模型，初始化参数：设结点的状态用{c_i}表示，c_j表示与结点i相连的结点j的状态，随机初始化各个结点的状态作为权重υ_ij，构建权重矩阵W。

步骤二、随机选择一个训练样本输入到网络中，根据下式更新第一个隐藏层中各个结点的状态c_j：

其中，N_j(0,1)是均值为0、方差为1的高斯随机变量，σ是一个0到1之间的常数。

是一个s型函数。

步骤三、根据步骤二求出的隐藏结点状态c_j更新可视结点的状态c'_i：

其中，

θ_L和θ_H分别是s型函数

的下界和上界，参数a_j是一个噪声控制参数，它控制着s型函数的斜率。

步骤四、根据步骤三计算得到可视结点的状态c'_i，再次更新隐藏层状态，记为c'_j：

步骤五、随机选择下一个训练样本，转到步骤二，若本轮中训练集的样本都训练过，则进行如下计算和参数更新：

计算权重的改变量Δυ_ij：Δυ_ij＝η_w(k)(＜s_is_j＞-＜s'_is'_j＞)

计算噪声控制参数的改变量Δa_j：

更新权重矩阵υ_ij(k+1)：υ_ij(k+1)＝υ_ij(k)+Δυ_ij

更新噪声控制数a_j(k+1)：a_j(k+1)＝a_j(k)+Δa_j

更新学习率：

其中，η_w和η_a是学习率，s'_i，s'_j分别表示对结点i，j状态的再次更新，＜·＞表示全部样本的平均值，u是增量因子，，d是减量因子。

步骤六、转到步骤二，进入下一轮训练，直到所有训练样本数参与训练，则第一个训练结束。

步骤七、将第一个连续受限的玻尔兹曼机得到的输出作为第二个受限的玻尔兹曼机的输入，重复步骤一到六，训练第二个受限的玻尔兹曼机，直到构成深度信任网的所有受限的玻尔兹曼机都训练结束。

步骤八、选取支持向量机径向基核函数，优化核函数参数：不敏感损失系数ε、惩罚系数C和径向基核函数的宽度系数γ。

1)：粒子群优化初始化，确定群体规模m，给定算法的最大权重因子P_max、最小权重因子P_min，迭代次数I_t。

2)：将每个粒子的个体极值p_ibest设置为当前位置，计算每个粒子的适应度，选取适应度最好的粒子所对应的个体极值作为最初的全局极值g_best。

3)：迭代计算，更新粒子的位置、速度。

4)：再计算每个粒子的适应值。

5)：将每个粒子的适应值与其p _ibest对应的适应值比较，若优，更新p_ibest，否则保留原值。

6)：将更新后的每个粒子的p_ibest与全局极值g_bes比较，若优更新g_best，否则保留原值。

7)：判断是否满足终止条件，若未达到最大迭代次数，返回分步骤3)。否则到优化结束，确定优化的核函数参数，进而确定核函数。

步骤九、根据参数优化的支持向量机模型，以步骤八中分步骤7)的输出作为输入，预测出短时交通信息流。

本发明的有益效果是：该方法首先构建连续受限玻尔兹曼机模型，便于交通流连续型数据的输入；其次建立自适应训练步长的学习速率机制，以提高训练的收敛速度；深度信念网模型的学习，最后采用粒子群优化算法为支持向量机的核函数选取合适的参数，保证了实现短时交通流量的预测的快速性和准确性。本发明在常规的深度信任网的基础上，改进第一层受限玻尔兹曼机为连续受限玻尔兹曼机，以满足交通流连续数据类型的输入；自适应训练步长的学习速率机制，可以提高训练的收敛速度；采用粒子群优化算法对支持向量机核函数中的参数进行优化，使得训练获得的特征信息在该确认的模型下实现对短时交通流的预测，提高了预测的准确性和实时性。

下面结合附图和具体实施方式对本发明作详细说明。

附图说明

图1是本发明基于深度学习参数优化的短时交通流量预测方法的流程图。

图2是本发明方法建立的基于连续受限玻尔兹曼机的深度置信网络模型图。图中CRBN是连续受限玻尔兹曼机，RBN是受限玻尔兹曼机，SVR是支持向量机。

图3是图1中粒子群优化算法的流程图。

图4是本发明方法与背景技术方法预测仿真结果比较图。

具体实施方式

参照图1-3。本发明基于深度学习参数优化的短时交通流量预测方法具体步骤如下：

步骤一、构建模型连续受限玻尔兹曼机的深度信任网的预测模型，初始化参数，设结点的状态用{c_i}表示，c_j表示与结点i相连的结点j的状态，随机初始化各个结点的状态作为权重υ_ij，构建权重矩阵W。

步骤二、随机选择一个训练样本输入到网络中，根据下式更新第一个隐藏层中各个结点的状态c_j：

其中，N_j(0,1)表示一个均值为0、方差为1的高斯随机变量，σ是一个0到1之间的常数。

是一个s型函数。

步骤三、根据步骤二求出的隐藏结点状态c_j更新可视结点的状态c'_i：

其中，

θ_L和θ_H分别是s型函数

的下界和上界，参数a_j是一个噪声控制参数，它控制着s型函数的斜率。

步骤四、根据步骤三计算得到可视结点的状态c'_i，再次更新隐藏层状态，记为c'_j：

步骤五、随机选择下一个训练样本，转到步骤二，若本轮中训练集的样本都训练过，则进行如下计算和参数更新：

计算权重的改变量Δυ_ij：Δυ_ij＝η_w(k)(＜s_is_j＞-＜s'_is'_j＞)

计算噪声控制参数的改变量Δa_j：

更新权重矩阵υ_ij(k+1)：υ_ij(k+1)＝υ_ij(k)+Δυ_ij

更新噪声控制数a_j(k+1)：a_j(k+1)＝a_j(k)+Δa_j

更新学习率：

其中，η_w和η_a是学习率，s'_i，s'_j分别表示对结点i，j状态的再次更新，＜·＞表示全部样本的平均值，u是大于1的增量因子，可取2，d是小于1大于0的减量因子，可取0.5。

步骤六、转到步骤二，进入下一轮训练，直到所有训练样本数参与训练，则第一个训练周期结束。

步骤七、将第一个连续受限的玻尔兹曼机得到的输出作为第二个受限的玻尔兹曼机的输入，重复步骤一到六，训练第二个受限的玻尔兹曼机，直到构成深度信任网的所有受限的玻尔兹曼机都训练结束。

步骤八、选取支持向量机径向基核函数，优化核函数参数：不敏感损失系数ε、惩罚系数C和径向基核函数的宽度系数γ，流程见图3。

1)：粒子群优化初始化，确定群体规模m，给定算法的最大权重因子P_max、最小权重因子P_min，迭代次数I_t。

2)：首先将每个粒子的个体极值p_ibest设置为当前位置，计算每个粒子的适应度，选取适应度最好的粒子所对应的个体极值作为最初的全局极值g_best。

3)：迭代计算，更新粒子的位置、速度。

4)：再计算每个粒子的适应值。

5)：将每个粒子的适应值与其p_ibest对应的适应值比较，若优，更新p_ibest，否则保留原值。

6)：将更新后的每个粒子的p_ibest与全局极值g_bes比较，若优更新g_best，否则保留原值。

7)：判断是否满足终止条件，若未达到最大迭代次数，返回分步骤3)。否则到优化结束，确定优化的核函数参数，进而确定核函数。

步骤九、根据参数优化的支持向量机模型，以步骤八中分步骤7)的输出作为输入，预测出短时交通信息流。

方法的仿真与验证。

方法的仿真与验证基于西安市的小寨十字四条主干道监控数据开展。依据交管局提供的该区域历史交通数据作为样本数据集。数据每隔15min的交通平均速度与交通流量等。特征学习集和分类学习集。选取其2017年7月暑假的30天数据，其中29天的数据作为训练数据，1天数据用于测试数据。采用绝对平均误差(MAE)和相对平均误差(MRE)作为性能指标参数，来进行训练误差分析。

本算法在Intel-i7 CPU、32GB内存的计算机，Windows系统上采用matlab2012进行开发测试。设深度信任网络模型隐层层数为2，可见层层数为1，隐层单元数目为6，可见层的单元数目为8，粒子的数量是20，粒子的迭代次数是10，同时设置其它参数进行。在相同的条件下，与背景技术DBN-SVR方法进行比较。

采用本发明方法和背景技术DBN-SVR方法进行仿真比较，算法有效性对比如表1和表2所示。从图4可以看出，本发明方法预测的结果，更接近真实交通流信息。

表1 两种方法准确性对比表

表2 两种方法时间复杂度比较表

进一步分析两种算法的准确性和收敛性，结果分别如表1和表2所示。从表可以看出，本发明方法预测的误差，不管是平均误差还是相对平均误差，都小于背景技术DBN-SVR方法的预测误差。而表2两种方法时间复杂度比较，本发明方法收敛速度优于背景技术DBN-SVR方法的收敛速度。

以上分析验证了本发明方法在实时性和精确性上均优于背景技术DBN-SVR方法。

Claims (1)

1.一种基于深度学习参数优化的短时交通流量预测方法，其特征在于包括以下步骤：

步骤一、构建模型连续受限玻尔兹曼机的深度信任网的预测模型，初始化参数：设结点的状态用{c_i}表示，c_j表示与结点i相连的结点j的状态，随机初始化各个结点的状态作为权重υ_ij，构建权重矩阵W；

步骤二、随机选择一个训练样本输入到网络中，根据下式更新第一个隐藏层中各个结点的状态c_j：

其中，N_j(0,1)是均值为0、方差为1的高斯随机变量，σ是一个0到1之间的常数；

是一个s型函数；

步骤三、根据步骤二求出的隐藏结点状态c_j更新可视结点的状态c'_i：

其中，

θ_L和θ_H分别是s型函数

的下界和上界，参数a_j是一个噪声控制参数，它控制着s型函数的斜率；

步骤四、根据步骤三计算得到可视结点的状态c'_i，再次更新隐藏层状态，记为c'_j：

步骤五、随机选择下一个训练样本，转到步骤二，若本轮中训练集的样本都训练过，则进行如下计算和参数更新：

计算权重的改变量Δυ_ij：Δυ_ij＝η_w(k)(＜s_is_j＞-＜s'_is'_j＞)

计算噪声控制参数的改变量Δa_j：

更新权重矩阵υ_ij(k+1)：υ_ij(k+1)＝υ_ij(k)+Δυ_ij

更新噪声控制数a_j(k+1)：a_j(k+1)＝a_j(k)+Δa_j

更新学习率：

其中，η_w和η_a是学习率，s'_i，s'_j分别表示对结点i，j状态的再次更新，＜·＞表示全部样本的平均值，u是增量因子，，d是减量因子；

步骤六、转到步骤二，进入下一轮训练，直到所有训练样本数参与训练，则第一个训练结束；

步骤七、将第一个连续受限的玻尔兹曼机得到的输出作为第二个受限的玻尔兹曼机的输入，重复步骤一到六，训练第二个受限的玻尔兹曼机，直到构成深度信任网的所有受限的玻尔兹曼机都训练结束；

步骤八、选取支持向量机径向基核函数，优化核函数参数：不敏感损失系数ε、惩罚系数C和径向基核函数的宽度系数γ；

1)：粒子群优化初始化，确定群体规模m，给定算法的最大权重因子P_max、最小权重因子P_min，迭代次数I_t；

2)：将每个粒子的个体极值p_ibest设置为当前位置，计算每个粒子的适应度，选取适应度最好的粒子所对应的个体极值作为最初的全局极值g_best；

3)：迭代计算，更新粒子的位置、速度；

4)：再计算每个粒子的适应值；

5)：将每个粒子的适应值与其p_ibest对应的适应值比较，若优，更新p_ibest，否则保留原值；

6)：将更新后的每个粒子的p_ibest与全局极值g_bes比较，若优更新g_best，否则保留原值；

7)：判断是否满足终止条件，若未达到最大迭代次数，返回分步骤3)；否则到优化结束，确定优化的核函数参数，进而确定核函数；

步骤九、根据参数优化的支持向量机模型，以步骤八中分步骤7)的输出作为输入，预测出短时交通信息流。

Images