CN111063194A - 一种交通流预测方法 - Google Patents

一种交通流预测方法 Download PDF

Info

Publication number
CN111063194A
CN111063194A CN202010033545.8A CN202010033545A CN111063194A CN 111063194 A CN111063194 A CN 111063194A CN 202010033545 A CN202010033545 A CN 202010033545A CN 111063194 A CN111063194 A CN 111063194A
Authority
CN
China
Prior art keywords
data
model
training
lstm
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010033545.8A
Other languages
English (en)
Inventor
张玺君
张祺瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University of Technology
Original Assignee
Lanzhou University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University of Technology filed Critical Lanzhou University of Technology
Priority to CN202010033545.8A priority Critical patent/CN111063194A/zh
Publication of CN111063194A publication Critical patent/CN111063194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种交通流预测方法，涉及交通流预测技术领域，方法包括：S1：根据时间特征，对交通数据进行分类，并对每类数据进行训练集和测试集的划分；S2：利用多层LSTM模型对所述训练集的数据进行训练，并将多层LSTM模型中隐藏层的输出作为XGBoost模型的输入，先利用预处理之后的训练集数据先使用增加Dropout层的LSTM模型进行训练，再将全连接层获取到的隐藏层特征作为XGBoost模型的输入项并对其进行再次训练。本发明通过构建多层LSTM网络实现对时间序列数据的训练，同时为避免LSTM模型中全连接层的过拟合现象，引入了XGBoost模型，利用XGBoost模型替换LSTM模型中的全连接层，并对其进行训练，以此来提高预测值的精度和模型的泛化能力。

Description

一种交通流预测方法
技术领域
本发明涉及交通流预测技术领域，具体涉及一种交通流预测方法。
背景技术
目前，在智能交通系统领域，准确的交通速度预测在交通控制和管理中起着重要的作用。随着城市智能化的发展，人们对于城市交通的规划逐渐重视起来，尤其是在交通速度预测方面的研究引起了这一领域众多研究者的极大关注。近年来，基于深度学习的交通流预测方法在时间序列分析方面表现出了较强的竞争力，而时间序列分析是交通流预测的重要组成部分。这些方法可用于模拟交通特征，如流量、占有率和速度，或出行时间，并产生预期的交通状况。交通流预测的应用场景十分广泛，例如，短期航空旅客预测、内河船舶交通流预测、智能交通系统的速度预测、占有率预测和交通流量预测等。以上种种现象说明了交通流预测是一项十分有意义的课题。
目前，对交通流预测方面的研究大多使用机器学习和深度学习相关的方法，如使用CNN、RNN、LSTM等模型可以很好的解决交通预测方面的问题。
随着研究的深入，现如今只对单一模型研究已经满足不了社会的需求，因此大量研究者将重点放在了组合模型的研究上并且取得了一定的成果。Rui， Fu 利用LSTM和GRU神经网络方法进行交通流预测，这是首次将GRU应用于交通流预测；Liu， Yipeng 将卷积和LSTM相结合，利用双向LSTM模块对预测点的历史交通流数据进行分析，此方法虽一定程度提高了预测精度，但对于数据的预处理未深入研究；Yao， Huaxiu 提出了一种深度多视点时空网络(DMVST-Net)框架来模拟时空关系。此方法虽分析了数据的时空特性，但却是利用三个方法进行分别研究，未体现组合模型的优势；王祥雪等人提出基于LSTM-RNN的短时交通流预测模型，此模型虽能根据预测精度进行自适应更新，但未解决模型的过拟合问题；王青松等人提出基于CNN-XGBoost混合模型的短时交通流预测模型，该模型虽然研究了交通流的时间和空间特征，但CNN预测模型相比LSTM模型的劣势在于难以对交通流进行多步预测。
综上所述，针对以上模型中存在的不足之处，本文提出了一种基于LSTM和XGBoost两种网络的组合模型。通过构建多层LSTM网络实现对时间序列数据的训练，同时为避免LSTM模型中全连接层的过拟合现象，引入了XGBoost模型，利用XGBoost模型替换LSTM模型中的全连接层。将多层LSTM模型中隐藏层的输出作为XGBoost模型的输入，并对其进行训练，以此来提高预测值的精度。
发明内容
本发明针对上述问题，提供一种交通流预测方法，所述方法包括：
S1：根据时间特征，对交通数据进行分类，并对每类数据进行训练集和测试集的划分；
S2：利用多层LSTM模型对所述训练集的数据进行训练，并将多层LSTM模型中隐藏层的输出作为XGBoost模型的输入，对其进行训练。
进一步地，根据时间特征，对交通数据进行分类，并对每类数据进行训练集和测试集的划分，包括：
根据时间特征，将交通数据划分为工作日、周末两类，并对每类数据进行训练集和测试集的划分，将所述训练集的数据按照时间顺序排列成矩阵A，将测试集的数据排列成矩阵B；
对应的输入矩阵如公式（1）所示：
Figure 100002_RE-DEST_PATH_IMAGE001
（1）
其中，A为由前多个连续速度数据组成的多维矩阵，B为由下一时刻速度数据组成的一维矩阵，
Figure 100002_RE-DEST_PATH_IMAGE002
为t时刻的交通速度，
Figure 100002_RE-DEST_PATH_IMAGE003
为时间间隔长度。
更进一步地，在对工作日和周末两类数据划分出现异常和缺失时，工作日数据采用同一时刻的平均值代替，周末数据采用同一时刻数据填补。
更进一步地，所述多层LSTM预测模型通过对其引入三个不同功能的门结构对LSTM模型中的原始RNN中隐藏层进行改进，其中，
遗忘门
Figure 100002_RE-DEST_PATH_IMAGE004
决定上一时刻的记忆单元
Figure 100002_RE-DEST_PATH_IMAGE005
有多少保留到当前时刻
Figure 100002_RE-DEST_PATH_IMAGE006
中，
Figure 100002_RE-DEST_PATH_IMAGE007
表示把两个向量连接成一个更长的向量，遗忘门的输入为短期记忆
Figure 100002_RE-DEST_PATH_IMAGE008
和当前输入
Figure 100002_RE-DEST_PATH_IMAGE009
，经过遗忘门的权重矩阵
Figure 100002_RE-DEST_PATH_IMAGE010
和偏置项
Figure 100002_RE-DEST_PATH_IMAGE011
处理，最后引入
Figure 100002_RE-DEST_PATH_IMAGE012
函数进行控制，其中
Figure RE-949154DEST_PATH_IMAGE012
表示
Figure 100002_RE-DEST_PATH_IMAGE013
函数，遗忘门的计算过程如公式（2）所示：
Figure 100002_RE-DEST_PATH_IMAGE014
（2）
输入门
Figure 100002_RE-DEST_PATH_IMAGE015
决定当前网络时刻的输入
Figure 100002_RE-DEST_PATH_IMAGE016
有多少保存到单元状态
Figure 100002_RE-DEST_PATH_IMAGE017
中，将输入门的输入值先经过输入门的权重矩阵
Figure 100002_RE-DEST_PATH_IMAGE018
和偏置项
Figure 100002_RE-DEST_PATH_IMAGE019
处理，由
Figure RE-168693DEST_PATH_IMAGE012
层决定信息的保留程度，再将输入值经过计算单元状态的权重矩阵
Figure 100002_RE-DEST_PATH_IMAGE020
和偏置项
Figure 100002_RE-DEST_PATH_IMAGE021
处理，由
Figure 100002_RE-DEST_PATH_IMAGE022
层输出的
Figure 100002_RE-DEST_PATH_IMAGE023
作为当前记忆，最后将当前记忆
Figure RE-823797DEST_PATH_IMAGE023
和长期记忆
Figure 100002_RE-DEST_PATH_IMAGE024
组成新的状态
Figure 100002_RE-DEST_PATH_IMAGE025
输入门的计算过程如公式（3）所示：
Figure 100002_RE-DEST_PATH_IMAGE026
（3）
输出门
Figure 100002_RE-DEST_PATH_IMAGE027
决定了控制单元状态
Figure 100002_RE-DEST_PATH_IMAGE028
有多少输出到LSTM的当前输出值
Figure 100002_RE-DEST_PATH_IMAGE029
中，将输出门的输入值由输出门的权重矩阵
Figure 100002_RE-DEST_PATH_IMAGE030
和偏置值
Figure 100002_RE-DEST_PATH_IMAGE031
处理，引入
Figure RE-966809DEST_PATH_IMAGE012
函数进行控制，再用由
Figure 100002_RE-DEST_PATH_IMAGE032
层输出的
Figure 100002_RE-DEST_PATH_IMAGE033
按元素乘以输出门
Figure 100002_RE-DEST_PATH_IMAGE034
，形成新的输出值
Figure 100002_RE-DEST_PATH_IMAGE035
，输出门的计算过程如公式（4）所示：
Figure 100002_RE-DEST_PATH_IMAGE036
（4）。
更进一步地，所述XGBoost模型选用二阶泰勒展开，并且增加正则化项，进行改进，如下：
将n个样本，m个特征形成数据集
Figure 100002_RE-DEST_PATH_IMAGE037
，n指的是历史时间段，m指的是在这个时间段的历史速度数据，记
Figure 100002_RE-DEST_PATH_IMAGE038
为样本
Figure 100002_RE-DEST_PATH_IMAGE039
在第
Figure 100002_RE-DEST_PATH_IMAGE040
轮的预测值，则样本
Figure RE-266334DEST_PATH_IMAGE039
最终预测值如公式（5）所示：
Figure 100002_RE-DEST_PATH_IMAGE041
（5）
其中，K为下标，
Figure 100002_RE-DEST_PATH_IMAGE042
为前
Figure 100002_RE-DEST_PATH_IMAGE043
轮的预测值，
Figure 100002_RE-DEST_PATH_IMAGE044
为新加入的函数，为防止加入节点过多导致出现过拟合现象，因此引入惩罚项来降低过拟合的风险，惩罚函数
Figure 100002_RE-DEST_PATH_IMAGE045
表示如公式（6）所示：
Figure 100002_RE-DEST_PATH_IMAGE046
（6）
其中，
Figure 100002_RE-DEST_PATH_IMAGE047
为惩罚力度，
Figure 100002_RE-DEST_PATH_IMAGE048
为惩罚项，
Figure 100002_RE-DEST_PATH_IMAGE049
为系数，
Figure 100002_RE-DEST_PATH_IMAGE050
为叶子结点个数，
Figure 100002_RE-DEST_PATH_IMAGE051
为样本数，
Figure 100002_RE-DEST_PATH_IMAGE052
为权值。
更进一步地，对其进行训练时：先利用预处理之后的训练集数据先使用增加Dropout层的LSTM模型进行训练，再将全连接层获取到的隐藏层特征作为XGBoost模型的输入项并对其进行再次训练，在XGBoost模型训练结束后，整个LSTM-XGBoost组合预测模型的训练完成。
本发明的优点：通过完成数据预处理和时间序列重构、归一化操作，同时在LSTM模型中引入XGBoost模型，避免全连接层出现的过拟合现象，提高模型的泛化能力；不仅针对于短期交通流的预测，还可以应用到其它相关的多变量时间序列的预测领域，用于解决不同的实际问题，本文所采用的组合预测模型不仅可以提高预测的精度，还使得模型的实用性、实时性及扩展性均得到有效提高。
除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明的流程框图；
图2是本发明的预处理前的数据样本信息图；
图3是本发明的预处理后的数据样本信息图；
图4是本发明的构建多层LSTM模型图；
图5是本发明的LSTM-XGBoost组合预测模型结构图；
图6是本发明的LSTM-XGBoost组合模型训练框图；
图7是本发明的LSTM模型工作日预测对比图；
图8是本发明的XGBoost模型工作日预测对比图；
图9是本发明的LSTM-XGBoost模型工作日预测对比图；
图10是本发明的LSTM模型周末预测对比图；
图11是本发明的XGBoost模型周末预测对比图；
图12是本发明的LSTM-XGBoost模型周末预测对比图；
图13是本发明的不同模型下未来10min速度预测图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参考图1至图13，如图1至图13所示，一种交通流预测方法，包括：
S1：根据时间特征，对交通数据进行分类，并对每类数据进行训练集和测试集的划分；
S2：利用多层LSTM模型对所述训练集的数据进行训练，并将多层LSTM模型中隐藏层的输出作为XGBoost模型的输入，对其进行训练，
通过完成数据预处理和时间序列重构、归一化操作，同时在LSTM模型中引入XGBoost模型，避免全连接层出现的过拟合现象，提高模型的泛化能力；不仅针对于短期交通流的预测，还可以应用到其它相关的多变量时间序列的预测领域，用于解决不同的实际问题，本文所采用的组合预测模型不仅可以提高预测的精度，还使得模型的实用性、实时性及扩展性均得到有效提高。
本发明的一个实施例中，根据时间特征，对交通数据进行分类，并对每类数据进行训练集和测试集的划分，包括：
根据时间特征，将交通数据划分为工作日、周末两类，并对每类数据进行训练集和测试集的划分，将所述训练集的数据按照时间顺序排列成矩阵A，将测试集的数据排列成矩阵B；
对应的输入矩阵如公式（1）所示：
Figure RE-977545DEST_PATH_IMAGE001
（1）
其中，A为由前多个连续速度数据组成的多维矩阵，B为由下一时刻速度数据组成的一维矩阵，
Figure RE-978999DEST_PATH_IMAGE002
为t时刻的交通速度，
Figure RE-646740DEST_PATH_IMAGE003
为时间间隔长度。
本发明的一个实施例中，在对工作日和周末两类数据划分出现异常和缺失时，工作日数据采用同一时刻的平均值代替，周末数据采用同一时刻数据填补。
本发明的一个实施例中，长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，LSTM区别于RNN的地方，主要就在于它在算法中加入了一个判断信息有用与否的“处理器”，这个处理器作用的结构被称为cell；一个cell当中被放置了三扇门，分别叫做输入门、遗忘门和输出门，一个信息进入LSTM的网络当中，可以根据规则来判断是否有用，只有符合算法认证的信息才会留下，不符的信息则通过遗忘门被遗忘；
根据上述表述，所述步骤S1中构建多层LSTM预测模型时，通过对其引入三个不同功能的门结构对LSTM模型中的原始RNN中隐藏层进行改进，其中，
遗忘门
Figure RE-909095DEST_PATH_IMAGE004
决定上一时刻的记忆单元
Figure RE-371300DEST_PATH_IMAGE005
有多少保留到当前时刻
Figure RE-735416DEST_PATH_IMAGE006
中，
Figure RE-941270DEST_PATH_IMAGE007
表示把两个向量连接成一个更长的向量，遗忘门的输入为短期记忆
Figure RE-58130DEST_PATH_IMAGE008
和当前输入
Figure RE-956816DEST_PATH_IMAGE009
，经过遗忘门的权重矩阵
Figure RE-542649DEST_PATH_IMAGE010
和偏置项
Figure RE-552194DEST_PATH_IMAGE011
处理，最后引入
Figure RE-664506DEST_PATH_IMAGE012
函数进行控制，其中
Figure RE-593148DEST_PATH_IMAGE012
表示
Figure RE-790911DEST_PATH_IMAGE013
函数，遗忘门的计算过程如公式（2）所示：
Figure RE-211004DEST_PATH_IMAGE014
（2）
输入门
Figure RE-443402DEST_PATH_IMAGE015
决定当前网络时刻的输入
Figure RE-808524DEST_PATH_IMAGE016
有多少保存到单元状态
Figure RE-228004DEST_PATH_IMAGE017
中，将输入门的输入值先经过输入门的权重矩阵
Figure RE-844930DEST_PATH_IMAGE018
和偏置项
Figure RE-541622DEST_PATH_IMAGE019
处理，由
Figure RE-953012DEST_PATH_IMAGE012
层决定信息的保留程度，再将输入值经过计算单元状态的权重矩阵
Figure RE-984422DEST_PATH_IMAGE020
和偏置项
Figure RE-139459DEST_PATH_IMAGE021
处理，由
Figure RE-956237DEST_PATH_IMAGE022
层输出的
Figure RE-538528DEST_PATH_IMAGE023
作为当前记忆，最后将当前记忆
Figure RE-198179DEST_PATH_IMAGE023
和长期记忆
Figure RE-15963DEST_PATH_IMAGE024
组成新的状态
Figure RE-546301DEST_PATH_IMAGE025
，输入门的计算过程如公式（3）所示：
Figure RE-DEST_PATH_IMAGE053
（3）
输出门
Figure RE-643701DEST_PATH_IMAGE027
决定了控制单元状态
Figure RE-915283DEST_PATH_IMAGE028
有多少输出到LSTM的当前输出值
Figure RE-412123DEST_PATH_IMAGE029
中，将输出门的输入值由输出门的权重矩阵
Figure RE-934984DEST_PATH_IMAGE030
和偏置值
Figure RE-593498DEST_PATH_IMAGE031
处理，引入
Figure RE-227742DEST_PATH_IMAGE012
函数进行控制，再用由
Figure RE-387328DEST_PATH_IMAGE032
层输出的
Figure RE-157838DEST_PATH_IMAGE033
按元素乘以输出门
Figure RE-862620DEST_PATH_IMAGE034
，形成新的输出值
Figure RE-984159DEST_PATH_IMAGE035
，输出门的计算过程如公式（4）所示：
Figure RE-DEST_PATH_IMAGE054
（4）。
本发明的一个实施例中，所述XGBoost模型选用二阶泰勒展开，并且增加正则化项，进行改进，如下：
将n个样本，m个特征形成数据集
Figure RE-150698DEST_PATH_IMAGE037
，n指的是历史时间段，m指的是在这个时间段的历史速度数据，记
Figure RE-385502DEST_PATH_IMAGE038
为样本
Figure RE-916977DEST_PATH_IMAGE039
在第
Figure RE-119289DEST_PATH_IMAGE040
轮的预测值，则样本
Figure RE-761622DEST_PATH_IMAGE039
最终预测值如公式（5）所示：
Figure RE-506725DEST_PATH_IMAGE041
（5）
其中，K为下标，
Figure RE-818888DEST_PATH_IMAGE042
为前
Figure RE-383862DEST_PATH_IMAGE043
轮的预测值，
Figure RE-954520DEST_PATH_IMAGE044
为新加入的函数，为防止加入节点过多导致出现过拟合现象，因此引入惩罚项来降低过拟合的风险，惩罚函数
Figure RE-288550DEST_PATH_IMAGE045
表示如公式（6）所示：
Figure RE-768685DEST_PATH_IMAGE046
（6）
其中，
Figure RE-820955DEST_PATH_IMAGE047
为惩罚力度，
Figure RE-805091DEST_PATH_IMAGE048
为惩罚项，
Figure RE-383840DEST_PATH_IMAGE049
为系数，
Figure RE-162440DEST_PATH_IMAGE050
为叶子结点个数，
Figure RE-577372DEST_PATH_IMAGE051
为样本数，
Figure RE-99621DEST_PATH_IMAGE052
为权值，
目标函数
Figure RE-DEST_PATH_IMAGE055
由损失函数
Figure RE-DEST_PATH_IMAGE056
和正则化惩罚项
Figure RE-DEST_PATH_IMAGE057
构成，定义如公式（7）所示：
Figure RE-DEST_PATH_IMAGE058
（7）
其中，
Figure RE-DEST_PATH_IMAGE059
为损失函数，
Figure RE-DEST_PATH_IMAGE060
为惩罚项，
Figure RE-DEST_PATH_IMAGE061
为常数项
XGBoost算法运用二阶泰勒展开对目标函数进行优化，展开公式如（8）所示：
Figure RE-DEST_PATH_IMAGE062
Figure RE-DEST_PATH_IMAGE063
（8）
然后去掉常数项，即真实值与前一轮的预测值之差，目标函数仅取决于各数据点误差函数的一阶和二阶导数，最终的简化形式如公式（9）所示：
Figure RE-DEST_PATH_IMAGE064
（9）
不仅避免了过拟合问题，而且增强了模型的泛化能力。
本发明的一个实施例中，对其进行训练时：先利用预处理之后的训练集数据进行多层LSTM模型进行训练，再将全连接层获取到的隐藏层特征作为XGBoost模型的输入项并对其进行再次训练，在XGBoost模型训练结束后，整个LSTM-XGBoost组合预测模型的训练完成，降低误差，如：首先对预处理后的时序速度数据进行文本读取，将读取到的数据存入到数组A中，接着将数组内的数据通过归一化和重塑方式进行处理，然后通过前四层的神经单元的计算得到处理后的残差矩阵，最后将残差矩阵作为XGBoost层的输入，从而取代原始LSTM模型中的全连接层，得到最终的输出结果
Figure RE-DEST_PATH_IMAGE065
。
训练时，首先对数据进行周末和工作日两个阶段的异常和缺失处理，得到准确的数据集；随后对数据进行训练集和测试集的划分，使用训练集的数据输入到LSTM模型中，得到训练模型，通过调用LSTM模型的前四层重新对训练数据进行处理，接着将四层LSTM模型的处理结果通过重塑和特征提取方式将数据输入到XGBoost模型中，对其进行深一步处理，最终完成组合模型的训练过程。
其中，上述进行多层LSTM模型进行训练，与前馈神经网络类似，LSTM网络的训练同样采用的是误差的反向传播算法，不过因为LSTM处理的是序列数据，所以在使用反向传播算法的时候需要将整个时间序列上的误差传播回来，LSTM本身又可以表示为带有循环的图结构，也就是说在这个带有循环的图上使用反向传播时我们称之为BPTT。
本发明的一个实施例中，所述步骤S3中，LSTM-XGBoost组合预测模型采用均方差、均方根误差、平均绝对误差、平均绝对误差百分比进行模型评价，其公式对应如公式（10）（11）（12）（13）所示：
Figure RE-DEST_PATH_IMAGE066
（10）
Figure RE-DEST_PATH_IMAGE067
（11）
Figure RE-RE-DEST_PATH_IMAGE068
（12）
Figure RE-DEST_PATH_IMAGE069
（13）
其中，
Figure RE-DEST_PATH_IMAGE070
表示真实值，
Figure RE-DEST_PATH_IMAGE071
表示对应时间预测值，计算得到的MSE、RMSE、MAE、MAPE值越小，表明模型的拟合效果越好，预测准确率(1-MAPE)越高，其中，MSE、RMSE、MAE、MAPE回归算法的评价指标。
其中，XGBoost是boosting算法的其中一种，Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器，因为XGBoost是一种提升树模型，所以它是将许多树模型集成在一起，形成一个很强的分类器，而所用到的树模型则是CART回归树模型；
该算法思想就是不断地添加树，不断地进行特征分裂来生长一棵树，每次添加一个树，其实是学习一个新函数，去拟合上次预测的残差；
当我们训练完成得到k棵树，我们要预测一个样本的分数，其实就是根据这个样本的特征，在每棵树中会落到对应的一个叶子节点，每个叶子节点就对应一个分数，最后只需要将每棵树对应的分数加起来就是该样本的预测值；
目标函数由两部分构成，第一部分用来衡量预测分数和真实分数的差距，另一部分则是正则化项，正则化项同样包含两部分，T表示叶子结点的个数，w表示叶子节点的分数，γ可以控制叶子结点的个数，λ可以控制叶子节点的分数不会过大，防止过拟合；
XGBoost思想是对特征进行分桶，即找到l个划分点，将位于相邻分位点之间的样本分在一个桶中，在遍历该特征的时候，只需要遍历各个分位点，从而计算最优划分，从算法伪代码中该流程还可以分为两种，全局的近似是在新生成一棵树之前就对各个特征计算分位点并划分样本，之后在每次分裂过程中都采用近似划分，而局部近似就是在具体的某一次分裂节点的过程中采用近似算法。
LSTM是一种特定形式的RNN（Recurrent neural network，循环神经网络），而RNN是一系列能够处理序列数据的神经网络的总称，这里要注意循环神经网络和递归神经网络（Recursive neural network）的区别；
一般地，RNN包含如下三个特性：
a）循环神经网络能够在每个时间节点产生一个输出，且隐单元间的连接是循环的；
b）循环神经网络能够在每个时间节点产生一个输出，且该时间节点上的输出仅与下一时间节点的隐单元有循环连接；
c）循环神经网络包含带有循环连接的隐单元，且能够处理序列数据并输出单一的预测；
RNN还有许多变形，例如双向RNN（Bidirectional RNN）等，然而，RNN在处理长期依赖时会遇到巨大的困难，如：时间序列上距离较远的节点，因为计算距离较远的节点之间的联系时会涉及雅可比矩阵的多次相乘，这会带来梯度消失或者梯度膨胀的问题，这样的现象被许多学者观察到并独立研究，为了解决该问题，研究人员提出了许多解决办法，例如ESN（Echo State Network），增加有漏单元（Leaky Units）等等，其中最成功应用最广泛的就是门限RNN（Gated RNN），而LSTM就是门限RNN中最著名的一种，有漏单元通过设计连接间的权重系数，从而允许RNN累积距离较远节点间的长期联系；而门限RNN则泛化了这样的思想，允许在不同时刻改变该系数，且允许网络忘记当前已经累积的信息；
LSTM的巧妙之处在于通过增加输入门限，遗忘门限和输出门限，使得自循环的权重是变化的，这样一来在模型参数固定的情况下，不同时刻的积分尺度可以动态改变，从而避免了梯度消失或者梯度膨胀的问题。
实验例
数据集：
通过选取某路段一周的速度时间序列作为数据样本，该数据样本的时间间隔为2min；
根据数据特征，将数据划分为工作日，周末两类，其中训练集占67%，共计5040个数据。
模型参数设定：
LSTM-XGBoost模型的参数设定如下：LSTM模型layers设置为4，epoch设置为100，batch-size设置为10，dropout设置为0.2，activation设置为relu，optimizer设置为rmsprop，loss设置为mse；XGBoost模型learning_rate为0.1，max_depth为4，eval_metric为mse，其它参数设置为默认值。
实验结果：
为了验证组合模型的有效性，选取LSTM模型、XGBoost模型和LSTM-XGBoost模型三种模型分别对以上两类数据集进行了比较，三种模型的参数设定保持一致，测试集的预测性能指标结果如下表1-2所示，测试集预测结果如图7至12所示；
表1 工作日预测性能指标
Figure RE-DEST_PATH_IMAGE072
表2 周末预测性能指标
Figure RE-DEST_PATH_IMAGE073
最后，选用组合模型对未来10min内的速度进行预测，预测效果如图13所示。
实验结论：
由表1和表2，及图7至图12展示的结果可得出，所提出的LSTM-XGBoost模型要优于单独使用的LSTM模型和XGBoost模型，相比于LSTM模型，工作日阶段MSE减少2.98，RMSE减少0.5，MAE减少0.3，MAPE减少6.62%，相比于XGBoost模型，工作日阶段MSE减少2.91，RMSE减少0.48，MAE减少0.18，MAPE减少0.91%；
分析结果表明，所提出的LSTM-XGBoost组合预测模型方法不仅可以提高预测精度，同时还可以进行多步预测，是一种有效的交通流预测方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种交通流预测方法，其特征在于，所述方法包括：
S1：根据时间特征，对交通数据进行分类，并对每类数据进行训练集和测试集的划分；
S2：利用多层LSTM模型对所述训练集的数据进行训练，并将多层LSTM模型中隐藏层的输出作为XGBoost模型的输入，对其进行训练。
2.根据权利要求1所述的交通流预测方法，其特征在于，根据时间特征，对交通数据进行分类，并对每类数据进行训练集和测试集的划分，包括：
根据时间特征，将交通数据划分为工作日、周末两类，并对每类数据进行训练集和测试集的划分，将所述训练集的数据按照时间顺序排列成矩阵A，将测试集的数据排列成矩阵B；
对应的输入矩阵如公式（1）所示：
Figure RE-DEST_PATH_IMAGE001
（1）
其中，A为由前多个连续速度数据组成的多维矩阵，B为由下一时刻速度数据组成的一维矩阵，
Figure RE-DEST_PATH_IMAGE002
为t时刻的交通速度，
Figure RE-DEST_PATH_IMAGE003
为时间间隔长度。
3.根据权利要求1所述的交通流预测方法，其特征在于，在对工作日和周末两类数据划分出现异常和缺失时，工作日数据采用同一时刻的平均值代替，周末数据采用同一时刻数据填补。
4.根据权利要求1所述的交通流预测方法，其特征在于，所述所述多层LSTM预测模型通过对其引入三个不同功能的门结构对LSTM模型中的原始RNN中隐藏层进行改进，其中，
遗忘门
Figure RE-DEST_PATH_IMAGE004
决定上一时刻的记忆单元
Figure RE-DEST_PATH_IMAGE005
有多少保留到当前时刻
Figure RE-DEST_PATH_IMAGE006
中，
Figure RE-DEST_PATH_IMAGE007
表示把两个向量连接成一个更长的向量，遗忘门的输入为短期记忆
Figure RE-DEST_PATH_IMAGE008
和当前输入
Figure RE-DEST_PATH_IMAGE009
，经过遗忘门的权重矩阵
Figure RE-DEST_PATH_IMAGE010
和偏置项
Figure RE-DEST_PATH_IMAGE011
处理，最后引入
Figure RE-DEST_PATH_IMAGE012
函数进行控制，其中
Figure RE-222439DEST_PATH_IMAGE012
表示
Figure RE-DEST_PATH_IMAGE013
函数，遗忘门的计算过程如公式（2）所示：
Figure RE-DEST_PATH_IMAGE014
（2）
输入门
Figure RE-DEST_PATH_IMAGE015
决定当前网络时刻的输入
Figure RE-DEST_PATH_IMAGE016
有多少保存到单元状态
Figure RE-DEST_PATH_IMAGE017
中，将输入门的输入值先经过输入门的权重矩阵
Figure RE-DEST_PATH_IMAGE018
和偏置项
Figure RE-DEST_PATH_IMAGE019
处理，由
Figure RE-903694DEST_PATH_IMAGE012
层决定信息的保留程度，再将输入值经过计算单元状态的权重矩阵
Figure RE-DEST_PATH_IMAGE020
和偏置项
Figure RE-DEST_PATH_IMAGE021
处理，由
Figure RE-DEST_PATH_IMAGE022
层输出的
Figure RE-DEST_PATH_IMAGE023
作为当前记忆，最后将当前记忆
Figure RE-293218DEST_PATH_IMAGE023
和长期记忆
Figure RE-DEST_PATH_IMAGE024
组成新的状态
Figure RE-DEST_PATH_IMAGE025
，输入门的计算过程如公式（3）所示：
Figure RE-DEST_PATH_IMAGE026
（3）
输出门
Figure RE-DEST_PATH_IMAGE027
决定了控制单元状态
Figure RE-DEST_PATH_IMAGE028
有多少输出到LSTM的当前输出值
Figure RE-DEST_PATH_IMAGE029
中，将输出门的输入值由输出门的权重矩阵
Figure RE-DEST_PATH_IMAGE030
和偏置值
Figure RE-DEST_PATH_IMAGE031
处理，引入
Figure RE-170651DEST_PATH_IMAGE012
函数进行控制，再用由
Figure RE-DEST_PATH_IMAGE032
层输出的
Figure RE-DEST_PATH_IMAGE033
按元素乘以输出门
Figure RE-DEST_PATH_IMAGE034
，形成新的输出值
Figure RE-DEST_PATH_IMAGE035
，输出门的计算过程如公式（4）所示：
Figure RE-DEST_PATH_IMAGE036
（4）。
5.根据权利要求1所述的交通流预测方法，其特征在于，所述XGBoost模型选用二阶泰勒展开，并且增加正则化项，进行改进，如下：
将n个样本，m个特征形成数据集
Figure RE-DEST_PATH_IMAGE037
，n指的是历史时间段，m指的是在这个时间段的历史速度数据，记
Figure RE-DEST_PATH_IMAGE038
为样本
Figure RE-DEST_PATH_IMAGE039
在第
Figure RE-DEST_PATH_IMAGE040
轮的预测值，则样本
Figure RE-673438DEST_PATH_IMAGE039
最终预测值如公式（5）所示：
Figure RE-DEST_PATH_IMAGE041
（5）
其中，K为下标，
Figure RE-DEST_PATH_IMAGE042
为前
Figure RE-DEST_PATH_IMAGE043
轮的预测值，
Figure RE-DEST_PATH_IMAGE044
为新加入的函数，为防止加入节点过多导致出现过拟合现象，因此引入惩罚项来降低过拟合的风险，惩罚函数
Figure RE-DEST_PATH_IMAGE045
表示如公式（6）所示：
Figure RE-DEST_PATH_IMAGE046
（6）
其中，
Figure RE-DEST_PATH_IMAGE047
为惩罚力度，
Figure RE-DEST_PATH_IMAGE048
为惩罚项，
Figure RE-DEST_PATH_IMAGE049
为系数，
Figure RE-DEST_PATH_IMAGE050
为叶子结点个数，
Figure RE-DEST_PATH_IMAGE051
为样本数，
Figure RE-DEST_PATH_IMAGE052
为权值。
6.根据权利要求1所述的交通流预测方法，其特征在于，对其进行训练时：先利用预处理之后的训练集数据先使用增加Dropout层的LSTM模型进行训练，再将全连接层获取到的隐藏层特征作为XGBoost模型的输入项并对其进行再次训练，在XGBoost模型训练结束后，整个LSTM-XGBoost组合预测模型的训练完成。
CN202010033545.8A 2020-01-13 2020-01-13 一种交通流预测方法 Pending CN111063194A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010033545.8A CN111063194A (zh) 2020-01-13 2020-01-13 一种交通流预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010033545.8A CN111063194A (zh) 2020-01-13 2020-01-13 一种交通流预测方法

Publications (1)

Publication Number Publication Date
CN111063194A true CN111063194A (zh) 2020-04-24

Family

ID=70307166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010033545.8A Pending CN111063194A (zh) 2020-01-13 2020-01-13 一种交通流预测方法

Country Status (1)

Country Link
CN (1) CN111063194A (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882869A (zh) * 2020-07-13 2020-11-03 大连理工大学 一种考虑不良天气的深度学习交通流预测方法
CN112131794A (zh) * 2020-09-25 2020-12-25 天津大学 基于lstm网络的水工建筑物多效应量优化预测及可视化方法
CN112270355A (zh) * 2020-10-28 2021-01-26 长沙理工大学 基于大数据技术与sae-gru的主动安全预测方法
CN112434847A (zh) * 2020-11-17 2021-03-02 上海东普信息科技有限公司 基于lstm模型的快递件量预测方法、装置、设备和存储介质
CN112651570A (zh) * 2020-12-31 2021-04-13 长安大学 高速公路服务区交通量预测模型构建、预测方法及装置
CN112668809A (zh) * 2020-10-30 2021-04-16 华东师范大学 建立自闭症儿童康复效果预测模型的方法、预测自闭症儿童康复效果的方法及系统
CN112685900A (zh) * 2020-12-31 2021-04-20 国网浙江省电力有限公司营销服务中心 一种表征冲击负荷功率特性的电力负荷模拟方法
CN113283588A (zh) * 2021-06-03 2021-08-20 青岛励图高科信息技术有限公司 一种基于深度学习的近岸单点海浪浪高预报方法
CN113450568A (zh) * 2021-06-30 2021-09-28 兰州理工大学 一种基于时空注意力机制的卷积网络交通流预测方法
CN113487856A (zh) * 2021-06-04 2021-10-08 兰州理工大学 基于图卷积网络及注意力机制的交通流组合预测模型
CN113570862A (zh) * 2021-07-28 2021-10-29 太原理工大学 一种基于XGboost算法的大型交通拥堵预警方法
CN113642235A (zh) * 2021-08-09 2021-11-12 贵州电网有限责任公司 一种基于局部时空特征融合的覆冰预测方法
CN114664090A (zh) * 2022-04-14 2022-06-24 山东大学 基于循环神经网络的交通数据填补方法及系统
CN115186047A (zh) * 2022-07-15 2022-10-14 百度在线网络技术（北京）有限公司 交通流量动态图重构方法、相关装置及计算机程序产品

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3333851A1 (en) * 2016-12-09 2018-06-13 The Boeing Company Automated object and activity tracking in a live video feed
CN109993970A (zh) * 2019-03-15 2019-07-09 西南交通大学 一种城市区域交通事故风险预测方法
WO2019224712A1 (en) * 2018-05-21 2019-11-28 Uber Technologies, Inc. Automobile accident detection using machine learned model
CN110555989A (zh) * 2019-08-16 2019-12-10 华南理工大学 一种基于Xgboost算法的交通量预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3333851A1 (en) * 2016-12-09 2018-06-13 The Boeing Company Automated object and activity tracking in a live video feed
WO2019224712A1 (en) * 2018-05-21 2019-11-28 Uber Technologies, Inc. Automobile accident detection using machine learned model
CN109993970A (zh) * 2019-03-15 2019-07-09 西南交通大学 一种城市区域交通事故风险预测方法
CN110555989A (zh) * 2019-08-16 2019-12-10 华南理工大学 一种基于Xgboost算法的交通量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
乔松林: "基于深度学习的短时交通流量预测研究", <中国优秀硕士学位论文全文数据库 工程科技II辑> *
王青松: "城市交叉口短时交通流的配时优化方案研究与应用", <中国优秀硕士学位论文全文数据库 工程科技II辑> *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111882869A (zh) * 2020-07-13 2020-11-03 大连理工大学 一种考虑不良天气的深度学习交通流预测方法
CN111882869B (zh) * 2020-07-13 2022-10-04 大连理工大学 一种考虑不良天气的深度学习交通流预测方法
CN112131794A (zh) * 2020-09-25 2020-12-25 天津大学 基于lstm网络的水工建筑物多效应量优化预测及可视化方法
CN112270355A (zh) * 2020-10-28 2021-01-26 长沙理工大学 基于大数据技术与sae-gru的主动安全预测方法
CN112270355B (zh) * 2020-10-28 2023-12-05 长沙理工大学 基于大数据技术与sae-gru的主动安全预测方法
CN112668809A (zh) * 2020-10-30 2021-04-16 华东师范大学 建立自闭症儿童康复效果预测模型的方法、预测自闭症儿童康复效果的方法及系统
CN112434847A (zh) * 2020-11-17 2021-03-02 上海东普信息科技有限公司 基于lstm模型的快递件量预测方法、装置、设备和存储介质
CN112685900A (zh) * 2020-12-31 2021-04-20 国网浙江省电力有限公司营销服务中心 一种表征冲击负荷功率特性的电力负荷模拟方法
CN112651570A (zh) * 2020-12-31 2021-04-13 长安大学 高速公路服务区交通量预测模型构建、预测方法及装置
CN112685900B (zh) * 2020-12-31 2023-09-26 国网浙江省电力有限公司营销服务中心 一种表征冲击负荷功率特性的电力负荷模拟方法
CN113283588A (zh) * 2021-06-03 2021-08-20 青岛励图高科信息技术有限公司 一种基于深度学习的近岸单点海浪浪高预报方法
CN113487856A (zh) * 2021-06-04 2021-10-08 兰州理工大学 基于图卷积网络及注意力机制的交通流组合预测模型
CN113450568A (zh) * 2021-06-30 2021-09-28 兰州理工大学 一种基于时空注意力机制的卷积网络交通流预测方法
CN113570862A (zh) * 2021-07-28 2021-10-29 太原理工大学 一种基于XGboost算法的大型交通拥堵预警方法
CN113570862B (zh) * 2021-07-28 2022-05-10 太原理工大学 一种基于XGboost算法的大型交通拥堵预警方法
CN113642235A (zh) * 2021-08-09 2021-11-12 贵州电网有限责任公司 一种基于局部时空特征融合的覆冰预测方法
CN113642235B (zh) * 2021-08-09 2023-12-22 贵州电网有限责任公司 一种基于局部时空特征融合的覆冰预测方法
CN114664090A (zh) * 2022-04-14 2022-06-24 山东大学 基于循环神经网络的交通数据填补方法及系统
CN115186047A (zh) * 2022-07-15 2022-10-14 百度在线网络技术（北京）有限公司 交通流量动态图重构方法、相关装置及计算机程序产品
CN115186047B (zh) * 2022-07-15 2023-07-18 百度在线网络技术（北京）有限公司 交通流量动态图重构方法、相关装置及计算机程序产品

Similar Documents

Publication Publication Date Title
CN111063194A (zh) 一种交通流预测方法
CN110223517B (zh) 基于时空相关性的短时交通流量预测方法
CN111262858B (zh) 基于sa_soa_bp神经网络的网络安全态势预测方法
CN110321603B (zh) 一种用于航空发动机气路故障诊断的深度计算模型
CN110782093B (zh) 融合ssae深度特征学习和lstm的pm2.5小时浓度预测方法及系统
CN111563706A (zh) 一种基于lstm网络的多变量物流货运量预测方法
CN106781489B (zh) 一种基于递归神经网络的路网状态预测方法
CN106022954B (zh) 基于灰色关联度的多重bp神经网络负荷预测方法
CN110163433B (zh) 一种船舶流量预测方法
More et al. Road traffic prediction and congestion control using Artificial Neural Networks
CN108335487B (zh) 一种基于交通状态时序性的道路交通状态预测系统
CN112289034A (zh) 基于多模态时空数据的深度神经网络鲁棒交通预测方法
CN109887284B (zh) 一种智慧城市交通信号控制推荐方法、系统及装置
CN111047078B (zh) 交通特征预测方法、系统及存储介质
CN111860787A (zh) 一种含有缺失数据的耦合有向图结构流量数据的短期预测方法及装置
CN114399032A (zh) 一种电能表计量误差预测方法及系统
CN110543978A (zh) 基于小波神经网络的交通流数据预测方法和装置
CN112257847A (zh) 一种基于CNN和LSTM预测地磁Kp指数的方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN113947182A (zh) 基于双阶段堆叠图卷积网络的交通流预测模型构建方法
CN113449905A (zh) 一种基于门控循环单元神经网络的交通拥堵预警方法
CN116244647A (zh) 一种无人机集群的运行状态估计方法
CN114548591A (zh) 一种基于混合深度学习模型和Stacking的时序数据预测方法及系统
CN112884149A (zh) 一种基于随机敏感度st-sm的深度神经网络剪枝方法及系统
CN114004383A (zh) 时间序列预测模型的训练方法、时间序列预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200424

RJ01 Rejection of invention patent application after publication