CN110459056A - 一种基于lstm神经网络的公交到站时间预测方法 - Google Patents

Abstract

本发明的基于LSTM神经网络的公交到站时间预测方法，所述方法包括如下步骤：步骤1）从城市公交数据库将包含有公交车定位数据、刷卡数据的历史数据集导入至Hadoop大数据集群下的HBase数据库，通过Spark内存计算框架对存入的数据集进行数据预处理；步骤2）对处理后的数据进行数据标准化处理；步骤3）通过最小绝对收缩和选择算法对标准化后的数据特征进行判断和特征筛选；步骤4）基于LSTM神经网络构建公交车的到站时间预测模型，将已经筛选好关键特征的标准化数据输入，实现对公交到站时间的预测。有益效果：具有对公交原始数据进行筛选和选择的操作过程，通过对公交到站数据的筛选和选择，本发明方法可有效提高对公交到站时间预测的准确率。

Description

一种基于LSTM神经网络的公交到站时间预测方法

技术领域

本发明涉及城市公交的运营周期及到站时间预测技术，特别涉及一种基于LSTM神经网络的公交到站时间预测方法。

背景技术

在当前大力推进公共交通发展的背景下，如何提高居民对公交服务水平的满意度，吸纳更多的居民乘坐公交车出行，对公交到站时间的预测显得尤为重要。对公交车到站时间的准确预测，不仅能显著提高公交车的运营效率和服务水平，也能对公共交通的发展起到显著的推动作用。

在公交车实际的运行过程中，由于交通环境的不定性，如天气情况、交通事故、节假日等因素，导致很难对公交到站的时间做出准确预测，回顾当前比较流行的算法，公交到站时间预测方法大体分为回归分析、滤波分析和搜索算法。在概率学中，回归分析是用来确定两种或者两种以上变量之间的相互影响的定量关系的一种分析方法。在大数据研究领域中，回归分析是一种用于预测的建模方法，其主要研究的是因变量和自变量之间的关系。在回归分析算法中，主要将公交车到站时间作为受其他因素影响的因变量，在当前的研究中，对公交车到站时间产生影响的因素有当前时间段、日期、天气条件等，由于公交车到达某个站点的时间与到达上个站点的时间呈现一种前后时间关系，因此公交到站时间的预测也符合时间序列预测。时间序列预测主要是是根据过去某个时间点的数据对未来某个时间点的数据进行预测。

发明内容

针对公交车的实际运行过程中受诸多环境影响，导致很难对公交车的到站时间做出准确预测，本发明基于时间序列考虑提出一种基于LSTM神经网络的公交到站时间预测方法，具体技术方案如下：

所述基于LSTM神经网络的公交到站时间预测方法，所述方法包括如下步骤：

步骤1)从城市公交数据库将包含有公交车定位数据、刷卡数据的历史数据导入至Hadoop大数据集群下的HBase数据库，通过Spark内存计算框架对存入的数据集进行数据预处理；

步骤2)对处理后的数据进行数据标准化处理；

步骤3)通过最小绝对收缩和选择算法对标准化后的数据特征进行判断，分析每个特征的影响因子系数，并进行特征筛选；

步骤4)基于LSTM神经网络构建公交车的到站时间预测模型，将已经筛选好关键特征的标准化数据输入至到站时间预测模型，并进行模型训练，实现对公交车到站时间的预测。

所述基于LSTM神经网络的公交到站时间预测方法的进一步设计在于，步骤1)中对存入的数据集进行数据预处理具体为：通过Hadoop大数据集群对HBase数据库下的历史数据进行数据读取，对历史数据中的公交车定位数据进行数据修复、数据剔除和数据归纳，整理出每条线路的公交车运行轨迹信息，并将公交站台的经纬度信息和公交车轨迹信息进行匹配。

所述基于LSTM神经网络的公交到站时间预测方法的进一步设计在于，将公交站台的经纬度信息和公交车轨迹信息进行匹配具体包括如下步骤：

步骤1-1)以公交站台为中心确定设定范围的圆形面积，当公交车的定位数据与站台的经纬度数据之间的距离小于圆形半径，确定当前的公交车的位置在所述公交站台范围内；

步骤1-2)确定公交车的两个定位数据点，判断两个定位数据点的前后的时间顺序，根据当前两个定位数据点两点间所构成线段的斜率判断该公交车的运行方向；

步骤1-3)将与公交站台距离最接近的公交车定位点的记录时间作为为公交车的到站时间。

步骤1-4)以公交车到站时间和公交车对应的车辆号对原始数据进行排序，再通过Spark内存处理技术输出存储至HBase数据库中；同时将所述公交车到站时间按照站台的线路顺序存入HBase数据库中。

所述基于LSTM神经网络的公交到站时间预测方法的进一步设计在于，所述步骤1-1)中公交车的定位数据与站台的经纬度数据之间的距离通过式(1)计算，

式(1)中，和λ₁代表公交车的当前纬度和经度，和λ₂代表目标站点的纬度和经度，d代表要求的公交车当前位置和目标站点之间的距离，d/r代表公交车的当前位置和目标站点在圆上的弧度角。

所述基于LSTM神经网络的公交到站时间预测方法的进一步设计在于，所述步骤1-2)中，根据式(2)计算两个定位数据点两点间所构成线段的斜率

L＝(y₂-y₁)/(x₂-x₁) (2)

式(2)中，y₁、y₂分别为两所述定位数据点的纬度，x₁、x₂分别为两所述定位数据点的经度。

所述基于LSTM神经网络的公交到站时间预测方法的进一步设计在于，所述步骤1-2)中判断该公交车的运行方向具体为：

设定定位数据(x₁，y₁)点记录时间为t₁，定位数据点(x₂，y₂)记录时间t₂，且t₁＜t₂；若两个定位数据点所构成线段的斜率大于0，则当前公交线路是上行线路；反之，若两个定位数据点所构成线段的斜率大于0，则当前公交线路是上行线路。

所述基于LSTM神经网络的公交到站时间预测方法的进一步设计在于，所述步骤4)中采用二次损失函数如式(3)作为模型训练的最小化误差函数，

式(3)中，C₀指二次损失函数值，a代表当前的预测结果。

根据式(4)将L2正则项加入到模型的损失函数里，

式(4)中，L2代表正则项，x代表数据的输入量，y(x)表示公交车到站时间的实际值，a代表输入x的预测值，n代表训练总量。

所述基于LSTM神经网络的公交到站时间预测方法的进一步设计在于，所述步骤2)中的数据标准化处理包括：

对于采用类别标签定义的固定类型数据的标准化处理为：根据式(5)进行标准化处理，

式(5)中，m*代表标准化后的数据，x代表处理前的数据，μ代表具有特征的样本均值，σ代表样本的标准差；

对于数据集中其他数据的标准化为：根据式(6)对原始数据进行线性的变换方式，将最终的结果区间落在[0,1]区间内，

式(6)中，U*代表标准化后的数据，x为处理前的数据，ymin是样本数据中的最小值，ymax是样本数据中的最大值。

本发明的基于LSTM神经网络的公交到站时间预测方法，首先通过Hadoop大数据平台对原始数据进行数据标准化处理，消除原始数据的量纲关系；然后利用最小绝对收缩和选择算法对数据特征中关联性比较弱的特征进行剔除；最后利用LSTM神经网络构建公交车的到站预测模型，实现对公交车到站的具体时间预测操作；与现有技术相比，本发明LSTM神经网络具有对公交车原始数据进行筛选和选择的操作过程，通过对公交车到站数据的筛选和选择，本发明方法可有效提高对公交车到站时间预测的准确率。

附图说明

图1是本发明实施例子中所述基于LSTM模型的公交到站时间预测方法的流程图示意。

图2是本发明实施例子中公交车到站预测数据处理流程示意。

图3是本发明实施例子中对原始数据关联性处理的流程图示意。

图4是本发明实施例子中所述LSTM网络模型图示意。

图5是本发明实施例子中所述LSTM网络模型的算法流程图示意。

图6是基于LSTM模型预测得到的公交车到站时间与公交车实际到站时间对比图示意。

图7是基于LSTM模型预测的公交车预测到站时间可视化效果的实现示意。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

如图1，在本发明实施例中，提供了一种基于LSTM神经网络的公交到站时间预测方法，具体包括步骤如下：

步骤1)从城市公交数据库将公交车定位数据、刷卡数据等历史数据导入至Hadoop大数据集群下的HBase数据库，利用Spark内存计算框架对存入的数据集进行数据预处理，消除历史数据中数据紊乱、数据缺失和数据错误；结合图2，具体的，HBase数据库为存储公交车实时运行的历史记录数据，其中，历史记录数据(即历史数据)由定位数据一起记录得到，并且由于原始数据通过安装在公交车上的GPS仪器记录，而在公交车的实际运行过程中，其存在其他仪器干扰、传输延误等问题，直接接收的数据有可能受到GPS定位精度以及网络影响，存在于数据格式不符、数据存储错误、数据重复等问题。基于此，本发明方法首先调用Hadoop集群中的HBase分布式数据库和Spark内存运算框架对原始的客流计数器数据进行数据预处理，利用时间序列、车号匹配对冗余、错误的数据进行修复操作，并对冗余数据进行删除，最后按照时间、车辆顺序对数据进行排序，并利用HBase的数据调用接口将处理完成的数据存放入数据库；随后利用HBase中指定公交车的历史轨迹数据，通过Spark分布式计算技术将历史公交定位数据与公交站台距离进行匹配；在匹配过程中包括步骤：

先以公交站台为中心确定一定范围的圆形面积，当公交车的定位数据与站台的经纬度数据之间的距离小于圆形半径，可以确定当前的公交车位置在所述的公交站台范围内。公交车的定位数据与站台的经纬度数据之间的距离通过正半矢距离计算公式计算，距离计算公式为：其中，和λ₁代表公交车的当前纬度和经度，和λ₂代表目标站点的纬度和经度，d代表要求的公交车当前位置和目标站点之间的距离，d/r代表公交车当前位置和目标站点在圆上的弧度角。

；再将匹配按时间顺序任取时间间隔大于t秒的两个GPS轨迹数据对应的定位点，根据两个定位点连线的斜率判断公交车的上下行运行状况。该斜率的计算过公式为：L＝(y₂-y₁)/(x₂-x₁)，式中，y为两公交车定位点的纬度，x为两公交车定位点之间的经度。当公交车定位点记录时间t₁小于公交车定位点记录时间t₂时，线路的当前的斜率大于0，如果L>0，则当前公交线路是上行线路；随后，选取匹配中与站点最近的定位的时间，计算最接近公交站台的公交车定位信息，里面存储着当前公交车定位数据记录信息，本方法采用最接近站台的定位数据记录时间为公交车的到站时间；最后，以公交车到站时间和公交车对应的车辆号对原始数据进行排序，并利用Spark内存处理技术输出存储至HBase数据库中；同时，通过对站点信息表中站点名称及位置，将确定好的公交车到站时间按照站台的线路顺序存入HBase数据库中。

在数据筛选过程中，当存在多个公交车定位点位置与公交站台距离相匹配的数据，确定与公交站台距离最接近的公交车定位点为公交车的到站时间点。

在具体实施例中，本实施例使用原始数据的格式具体可参阅表一；公交车的到站时间表可参阅表二；公交车的天气信息表可参阅表三。

表一

表二

表三

步骤2)为了消除数据之间的量纲关系，是数据之间具有可比性，该步骤对已有数据进行标准化。数据标准化是将数据按照一定比例进行缩放，使其落入一个小的固定区间内，对数据进行数据标准化操作，使得在训练模型时可以提高模型的训练速度。

对于不同类别的数据需要采用不同的标准化方法进行处理，针对车号、星期、天气等采用类别标签来定义的固定类型数据可以采用零均值法进行标准化处理，公式如下式所示。

式中，m^*代表标准化后的数据，x代表处理前的数据，μ代表具有特征的样本均值，σ代表样本的标准差。

对于数据集中其他数据的标准化可以使用最小值-最大值标准化，该方法是对原始数据进行线性的变换方式，将最终的结果区间落在[0,1]区间内，具体转换公式如下式所示。

式中，U^*代表标准化后的数据，x为处理前的数据，ymin是样本数据中的最小值，ymax是样本数据中的最大值。

对处理后的数据进行数据标准化处理，一是解决了数据量纲不一致问题；二是防止模型被分布过广或较小的数据影响，降低过拟合出现的情况；三是加快了模型收敛，显著体改模型训练的效率和准确性；在具体实例中，线路的每一班次站点之间的运营时间、天气状况等因子必然影响着下一站的到站时间，因此数据集中串联各个因子的变量是时间序列；因此本发明在对数据进行标准化处理时，以时间序列为横坐标，通过添加风速、天气变化、气温、发车时间等因素，对公交车到站时间进行分析。具体的数据集可参阅表四。

表四

步骤3)回归特征分析是研究自变量与因变量之间变化关系的分析方法，在通过LSTM模型进行数据预测前，需清除对预测结果没有影响或影响极小的变量，以提高算法的计算效率和拟合效果。

本实施例过使用Lasso算法对原始数据中所有变量的权重进行判断。其计算方法如公式所示。式中，y为训练数据矩阵，a为回归系数，z为训练标签。

通过使用Lasso算法计算后得到的影响因子系数如表五所示。

表五

通过对表五进行分析，选择SXX、TQBH、FCTIME、ZDJL、RQ、ZDXH和CLH变量作为LSTM模型的输入。当然，此仅为本发明方法的较佳实施例，在其他实施例中，可根据实际情况进行选择，本发明对此并不进行限制和固定。

步骤4)基于LSTM神经网络构建公交的到站预测模型，结合图4，LSTM是一个链式结构的循环神经网络模型，其通过遗忘门、输入门和输出门的计算实现对公交车到站时间的预测；在数据输入后，首先要通过遗忘门，其决定当前细胞数据输入和上一个细胞状态中丢弃的信息。遗忘门读取k_t-1和l_t-1通过公式f_t＝σ(Y_f·[k_t-1，l_t]+a_f)输出一个0到1之间的数值并更新到H_t-1细胞状态变量。式中σ表示激活函数Sigmoid，Sigmoid函数定义如公式f_t＝σ(Y_f·[k_t-1，l_t]+a_f)所示。Y_f代表遗忘门权重，a_f代表遗忘门偏置矩阵。公式中x代表输入变量，σ函数的值在0到1之间。通过公式i_t＝σ(Y_i·[k_t-1，l_t]+a_i)和公式确定更新信息。即通过Sigmoid函数哪些数据值得更新，通过tanh函数创建新的候选值向量。公式i_t＝σ(Y_i·[k_t-1，l_t]+a_i)与公式中Y_i代表输入门权重，a_i指输入门偏置矩阵，Y_C指tanh函数的权重矩阵，a_c指tanh函数的偏置矩阵，H为候选细胞状态。

通过公式确定当前细胞的细胞状态。

通过公式U_t＝σ(Y_o·[k_t-1，l_t]+a_o)和公式k_t＝U_t·tanh(H_t)确定输出信息。在进行模型训练前需对超参数进行设置，如表六所示。

表六

对超参数进行设置后，对模型进行训练。本发明使用某市区21天的公交数据，采取前14天的数据作为模型训练集，后7天的数据作为检验模型训练结果的验证数据集。通过验证预测数据与真实数据之间偏差，本发明采用的误差函数为二次损失函数，具体公式为式中C₀指二次损失函数值，a代表当前的预测结果，y(x)表示训练验证数据集，x为时间变量。

如图6，将通过本发明方法预测得到的公交车到站时间与公交车的实际到站时间对比，具体的，区别于平均绝对百分比误差MAPE指标，本发明采用了式定义的线性回归拟合度指标R2来判断，其中，y表示实际到站时间，y^*表示到站时间的基于LSTM神经网络构建的到站预测模型预测值，代表平均值；并且根据R2计算基于LSTM神经网络构建的到站预测模型拟合的3天所有班次的拟合度指标R-squared，再取平均值，得出基于LSTM神经网络构建的到站预测模型的拟合度达到了93.5921％，可以发现本发明方法的预测结果与公交车的实际到站时间相接近，误差较小。

本发明在计算完到站预测时间的基础上，对公交车的到站时间进行了数据可视化平台设计，用户可以通过该平台实现不同公交车到站时间的查询功能，图7详细展示了可视化界面的具体情况，左侧展示的是到达每个站台的预测时间，地图中展示的是当前公交车线路和站点的实际分布以及每个站点的预测到达时间。

综上可知，本发明的基于LSTM神经网络的公交到站时间预测方法，首先通过大数据运算平台下的Spark运算框架对公交车原始数据进程处理得到标准时间序列类型数据，实现对公交车到站数据的提取；然后利用Lasso方法提出关联性弱的特征向量实现变量选择操作；最后利用LSTM神经网络构建公交的到站预测模型，实现对公交到站的具体时间预测操作；与现有技术相比，本发明LSTM神经网络具有对数据进行筛选和选择的操作过程，通过对公交到站数据的筛选和选择，本发明方法可有效提升对公交到站时间预测的准确性。

以上所计算的结果为本发明在试验阶段的较佳实施案例，但不局限与本发明专利范围内，本发明针对本领域的技术人员而言，可以对前述个具体实施的方案进行修改，或对其中部分的技术内容进行相应的修改和替换。

Claims (8)

1.一种基于LSTM神经网络的公交到站时间预测方法，其特征在于，所述方法包括如下步骤：

步骤1)从城市公交数据库将包含有公交车定位数据、刷卡数据的历史数据集导入至Hadoop大数据集群下的HBase数据库，通过Spark内存计算框架对存入的数据集进行数据预处理；

步骤2)对处理后的数据进行数据标准化处理；

步骤3)通过最小绝对收缩和选择算法对标准化后的数据特征进行判断，分析每个特征的影响因子系数，并进行特征筛选；

步骤4)基于LSTM神经网络构建公交车的到站时间预测模型，将已经筛选好关键特征的标准化数据输入至到站时间预测模型，并进行模型训练，实现对公交车到站时间的预测。

2.根据权利要求1所述的基于LSTM神经网络的公交到站时间预测方法，其特征在于，步骤1)中对存入的数据集进行数据预处理具体为：通过Hadoop大数据集群对HBase数据库下的历史数据进行数据读取，对历史数据中的公交车定位数据进行数据修复、数据剔除和数据归纳，整理出每条线路的公交车运行轨迹信息，并将公交站台的经纬度信息和公交车轨迹信息进行匹配。

3.根据权利要求2所述的基于LSTM神经网络的公交到站时间预测方法，其特征在于，将公交站台的经纬度信息和公交车轨迹信息进行匹配具体包括如下步骤：

步骤1-1)以公交站台为中心确定设定范围的圆形面积，当公交车的定位数据与站台的经纬度数据之间的距离小于圆形半径，确定当前的公交车的位置在所述公交站台范围内；

步骤1-2)确定公交车的两个定位数据点，判断两个定位数据点的前后的时间顺序，根据当前两个定位数据点两点间所构成线段的斜率判断该公交车的运行方向；

步骤1-3)将与公交站台距离最接近的公交车定位点的记录时间作为为公交车的到站时间。

步骤1-4)以公交车到站时间和公交车对应的车辆号对原始数据进行排序，再通过Spark内存处理技术输出存储至HBase数据库中；同时将所述公交车到站时间按照站台的线路顺序存入HBase数据库中。

4.根据权利要求3所述的基于LSTM神经网络的公交到站时间预测方法，其特征在于，所述步骤1-1)中公交车的定位数据与站台的经纬度数据之间的距离通过式(1)计算，

式(1)中，和λ₁代表公交车的当前纬度和经度，和λ₂代表目标站点的纬度和经度，d代表要求的公交车当前位置和目标站点之间的距离，d/r代表公交车的当前位置和目标站点在圆上的弧度角。

5.根据权利要求3所述的基于LSTM神经网络的公交到站时间预测方法，其特征在于，所述步骤1-2)中，根据式(2)计算两个定位数据点两点间构成线段的斜率，

L＝(y₂-y₁)/(x₂-x₁) (2)

式(2)中，y₁、y₂分别为两所述定位数据点的纬度，x₁、x₂分别为两所述定位数据点的经度。

6.根据权利要求4所述的基于LSTM神经网络的公交到站时间预测方法，其特征在于，所述步骤1-2)中判断该公交车的运行方向具体为：

设定定位数据(x₁，y₁)点记录时间为t₁，定位数据点(x₂，y₂)记录时间t₂，且t₁<t₂；若两个定位数据点所构成线段的斜率大于0，则当前公交线路是上行线路；反之，若两个定位数据点所构成线段的斜率大于0，则当前公交线路是上行线路。

7.根据权利要求1所述的基于LSTM神经网络的公交到站时间预测方法，其特征在于，所述步骤4)中采用二次损失函数如式(3)作为模型训练的最小化误差函数，

式(3)中，C₀指二次损失函数值，a代表当前的预测结果。

根据式(4)将L2正则项加入到模型的损失函数里，

式(4)中，L2代表正则项，x代表数据的输入量，y(x)表示公交车到站时间的实际值，a代表输入x的预测值，n代表训练总量。

8.根据权利要求1所述的基于LSTM神经网络的公交到站时间预测方法，其特征在于，所述步骤2)中的数据标准化处理包括：

对于采用类别标签定义的固定类型数据的标准化处理为：根据式(5)进行标准化处理，

式(5)中，m*代表标准化后的数据，x代表处理前的数据，μ代表具有特征的样本均值，σ代表样本的标准差；

对于数据集中其他数据的标准化为：根据式(6)对原始数据进行线性的变换方式，将最终的结果区间落在[0,1]区间内，

式(6)中，U*代表标准化后的数据，x为处理前的数据，ymin是样本数据中的最小值，ymax是样本数据中的最大值。