CN108921343A - 基于堆栈自编码器-支持向量回归的交通流量预测方法 - Google Patents

基于堆栈自编码器-支持向量回归的交通流量预测方法 Download PDF

Info

Publication number
CN108921343A
CN108921343A CN201810673069.9A CN201810673069A CN108921343A CN 108921343 A CN108921343 A CN 108921343A CN 201810673069 A CN201810673069 A CN 201810673069A CN 108921343 A CN108921343 A CN 108921343A
Authority
CN
China
Prior art keywords
encoding encoder
traffic flow
self
input
support vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810673069.9A
Other languages
English (en)
Inventor
张美玉
简琤峰
孙畅
况祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201810673069.9A priority Critical patent/CN108921343A/zh
Publication of CN108921343A publication Critical patent/CN108921343A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Development Economics (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Educational Administration (AREA)
  • Primary Health Care (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种基于堆栈自编码器‑支持向量回归的交通流量预测方法，通过构建堆栈自编码器‑支持向量回归组合模型，对输入的交通流数据归一化处理，进行特征学习后，经过无监督的逐层特征训练以及有监督的参数微调，得到数据特征，将得到的数据特征作为新的训练和测试样本，通过预测层进行预测，最终将结果反归一化得到预测结果。本发明在预测精度、收敛速度等方面取得了优于其他现有的预测模型的预测效果，可行性高，效果好。本发明预测效果好，拟合程度高，能有效解决现有预测模型的问题，防止局部最优化的产生，大大提高预测精度，适用性广，不仅适用于桥梁交通流量预测，也适用于普通路段的交通流量预测，在短时交通流量预测方面效果也较好。

Description

基于堆栈自编码器-支持向量回归的交通流量预测方法
技术领域
本发明涉及道路车辆的交通控制系统的技术领域，特别涉及一种基于堆栈自编码器-支持向量回归的交通流量预测方法。
背景技术
近些年随着城市化进程的不断加快、机动车拥有量的迅速增长，道路交通以及桥梁交通的拥挤和堵塞问题日益受到关注。准确、实时的交通流信息是交通管理部门采取合理的交通规划和诱导措施的主要依据，亦是智慧交通系统(Intelligent TransportionSystems,ITS)中的核心研究问题。
目前比较常见的交通流预测模型主要分为三类：一类是比较传统的、基于数学及物理方法的预测模型，包括时间序列模型、卡尔曼滤波模型、指数平滑模型以及线性回归模型等模型，这些模型都属于静态预测，精度较差，且对交通流变化的适应性较差；第二类是利用现有技术，包括模拟技术、神经网络等，来实现对真实交通流的拟合和预测，主要包括神经网络模型、支持向量机、小波网络等，而由于局限于浅层学习的缘故，这类模型收敛速度慢，容易陷入局部最优化，无法准确完成高维复杂函数的拟合；第三类则是关于对神经网络模型的改进及组合模型，虽然较之之前的模型效果提升，但是仍旧存在算法复杂度过高、花费时间长等缺点。
发明内容
为了解决现有技术中存在的问题，克服现有技术中现有交通流量预测模型预测精度不高、收敛速度慢、容易陷入局部最优化等缺点，本发明提供一种优化的基于堆栈自编码器-支持向量回归的交通流量预测方法，提出一种堆栈自编码器-支持向量回归组合模型，以深度结构模型作为学习层，支持向量回归作为预测层，通过提取输入数据的有效数据特征后再进行分析预测。
本发明所采用的技术方案是，一种基于堆栈自编码器-支持向量回归的交通流量预测方法，所述方法包括以下步骤：
步骤1：构建堆栈自编码器-支持向量回归组合模型；
步骤2：通过堆栈自编码器对输入的交通流数据归一化处理，进行特征学习，经过无监督的逐层特征训练以及有监督的参数微调，得到数据特征；
步骤3：将得到的数据特征作为新的训练和测试样本，通过预测层进行预测；
步骤4：将结果反归一化得到最终的预测结果。
优选地，所述步骤1中，堆栈自编码器-支持向量回归组合模型的堆栈自编码器包括N个堆叠的自编码器，N≥2；任一所述自编码器包括1个输入层、1个隐层和1个输出层，堆栈自编码器整体包括1个输入层和1个输出层。
优选地，所述步骤1中，构建堆栈自编码器-支持向量回归组合模型包括以下步骤：
步骤1.1：设定训练集合{x(1),x(2),x(3),...x(i)}，其中，x(i)∈Rd，Rd为总的样本数据，将训练集合作为输入层；设定编码函数f和解码函数g，f(x):＝sf(W1x+b1)，g(h):＝sg(W2h+c)，其中，sf为编码器的激活函数，sg为解码器的激活函数，W1是编码权值矩阵，b1是编码偏差向量，W2是解码权值矩阵，c是解码偏差向量；
步骤1.2：以编码函数将输入层的集合元素x(i)编码至隐层输出h(x(i))；以解码函数将隐层输出h(x(i))解码至输出层，得到输出元素y(x(i))；
步骤1.3：通过BP算法调整参数，缩小重构误差使得输出元素y(x(i))无限趋近输入元素x(i)；
步骤1.4：判断是否达到堆栈自编码器底部最后一个隐层，若是，则进行下一步，否则以优化后的输出元素y(x(i))作为下一层的输入元素x(i)，返回步骤1.2；
步骤1.5：将输出元素y(x(i))作为数据特征zi，加入支持向量回归函数中；支持向量回归函数其中,w为权值参数，b2为偏置值，是对输入矩阵z的非线性映射；
步骤1.6：采用拉格朗日函数，引入拉格朗日乘子a、a*，得到通常形式的SVR函数其中，K(zi,z)为满足Mercer条件的核函数，核函数为宽度为σ的径向基核函数，K(zi,z)＝exp(-0.5||zi-z||2/σ2)。
优选地，所述步骤1.1中，激活函数
优选地，所述步骤1.5中，其中，||w||2为表征函数光滑性的惩罚项，C为经验误差和惩罚项之间取值的惩罚常数，y'i为实际交通流量值，n为待预测的交通流量数据条数，|y'i-f(zi)|ε为ε-不敏感损失函数，
优选地，其中，ξ和ξ*为松弛变量，分别代表上下边界的松弛因子。
优选地，所述松弛变量ξ和ξ*满足约束条件
优选地，所述步骤1.6中，若拉格朗日乘子a、a*差值小于γ，则K(zi,z)为1，否则K(zi,z)无限趋向于0。
优选地，所述步骤2包括以下步骤：
步骤2.1：以对输入的交通流数据归一化处理，其中，max为输入的交通流数据的最大值，min为输入的交通流数据的最小值；
步骤2.2：得到归一化后的输入数据训练集X，设定隐层数l，建立有l个自编码器的堆栈自编码器，初始化权值矩阵以及偏值向量，设定神经网络的训练参数；
步骤2.3：输入数据训练集X进入第一层自编码器进行训练，以BP算法调整权值参数使得输出无限趋近于输入，以输出作为下一层自编码器的输入进行训练，以BP算法调整权值参数使得输出无限趋近于输入，以此类推，直至进行完毕第l层训练；
步骤2.4：获得每一层的编码权值矩阵Wk和编码偏差向量bk，k＝1,2,3...,l；
步骤2.5：对每个自编码器进行学习及监督，初始化整个堆栈自编码器的编码权值矩阵Wl和编码偏差向量bl；
步骤2.6：训练完毕，得到输入数据训练集X输出的特征矩阵集合H。
优选地，所述步骤3中，将得到的数据特征集H作为支持向量回归组合模型的输入，经过预测训练得到输出集sY。
本发明提供了一种优化的基于堆栈自编码器-支持向量回归的交通流量预测方法，通过构建堆栈自编码器-支持向量回归组合模型，对输入的交通流数据归一化处理，进行特征学习后，经过无监督的逐层特征训练以及有监督的参数微调，得到数据特征，将得到的数据特征作为新的训练和测试样本，通过预测层进行预测，最终将结果反归一化得到预测结果。本发明在预测精度、收敛速度等方面取得了优于其他现有的预测模型的预测效果，可行性高，效果好。
本发明的有益效果为：
(1)思路清晰，预测效果好。本发明结合真实数据源,取得了相比于其他模型更为出色的预测效果，预测正确率达到了96％左右，拟合程度高；
(2)能够有效解决现有预测模型的缺陷问题。现有的交通流量预测模型主要是基于神经网络以及其改进的组合模型，普遍存在着预测精度不高以及容易造成局部最优化等问题，而本发明的模型在每个自编码器都单独迭代收敛取得最优化之后，再通过反向BP算法进行微调，能有效防止局部最优化的产生并大大提高预测精度；
(3)适用性广。本发明不仅适用于桥梁交通流量预测，同样也适用于普通路段的交通流量预测，在短时交通流量预测方面效果也比较理想。
附图说明
图1为本发明的方法流程图；
图2为本发明的堆栈自编码器-支持向量回归组合模型结构示意图，其中，A为堆栈自编码器部分，B为支持向量回归部分，C为输入层，D为隐层，D为输出层；
图3为本发明的实验中本发明的模型交通流量预测图；
图4为本发明的实验中其他模型的交通流量预测图，其中，左上为支持向量回归(SVM)模型的交通流量预测图，右上为径向基函数神经网络(RBF)模型的交通流量预测图，左下为BP神经网络(BPNN)模型的交通流量预测图，右下为SAE和RBF的组合(SAE-RBF)模型的交通流量预测图；
图3和图4中，实线所示流量为实际交通流量，虚线所示流量为预测交通流量。
具体实施方式
下面结合实施例对本发明做进一步的详细描述，但本发明的保护范围并不限于此。
本发明涉及一种基于堆栈自编码器-支持向量回归的交通流量预测方法，所述方法包括以下步骤。
步骤1：构建堆栈自编码器-支持向量回归组合模型。
所述步骤1中，堆栈自编码器-支持向量回归组合模型的堆栈自编码器包括N个堆叠的自编码器，N≥2；任一所述自编码器包括1个输入层、1个隐层和1个输出层，堆栈自编码器整体包括1个输入层和1个输出层。
本发明中，自编码器是一种神经网络模型，基本的自编码器模型可以看作一个三层的神经网络结构，由一个输入层、一个隐层以及一个输出层构成，该模型与普通神经网络的不同之处在于其的目标输出要尽可能的接近输入。自编码器由编码器(encoder)和解码器(decoder)两个部分组成，具体来说，就是从输入层到隐层的编码过程，以及从隐层到输出层的解码过程。
本发明中，堆栈自编码器是神经网络的一种重要模型，一般是由输入层、多个隐层以及输出层组成，其是将自编码器一层层堆叠起来，形成一种更为复杂的多隐层深度结构。简单来说，堆栈自编码器是由多个自编码器堆叠而成的，前一个自编码器的输出作为后一个自编码器的输入，堆栈自编码器整体有一个输入和一个输出，在输入和输出间有多个隐层。
本发明中，支持向量回归是基于支持向量机的扩展，对于非线性回归问题，其基本思想是基于风险最优化目标，通过引进核函数，把回归问题转化成一个高维空间的线性回归问题，即最优化问题，从而构造决策函数。
本发明中，通过将堆栈自编码器的学习层和支持向量回归的预测层相结合，一般来说，深度学习模型提取出的数据特征，更能体现数据的内在属性，便于更好地分析和处理数据，这些数据特征进入SVR预测层后，SVR再对这些数据特征进行分析回归，结合测试数据对数据进行分析预测,最后得出相对于普通模型更为准确的预测值。
所述步骤1中，构建堆栈自编码器-支持向量回归组合模型包括以下步骤。
步骤1.1：设定训练集合{x(1),x(2),x(3),...x(i)}，其中，x(i)∈Rd，Rd为总的样本数据，将训练集合作为输入层；设定编码函数f和解码函数g，f(x):＝sf(W1x+b1)，g(h):＝sg(W2h+c)，其中，sf为编码器的激活函数，sg为解码器的激活函数，W1是编码权值矩阵，b1是编码偏差向量，W2是解码权值矩阵，c是解码偏差向量。
所述步骤1.1中，激活函数
本发明中，在BP神经网络的经典三层结构中，从输入层到隐层需要通过权值矩阵和偏差向量进行计算，同样在隐层到输出层也需要通过权值矩阵和偏差向量进行计算，在自编码器中，从输入层到隐层的权值矩阵记为编码权值矩阵、偏差向量记为编码偏差向量，从隐层到输出层的权值矩阵记为解码权值矩阵、偏差向量记为解码偏差向量。
本发明中，自编码器的计算基本与BP神经网络一致，自编码器和BP神经网络的不同之处在于需要使得解码的输出尽可能得接近输入。
步骤1.2：以编码函数将输入层的集合元素x(i)编码至隐层输出h(x(i))；以解码函数将隐层输出h(x(i))解码至输出层，得到输出元素y(x(i))。
步骤1.3：通过BP算法调整参数，缩小重构误差使得输出元素y(x(i))无限趋近输入元素x(i)。
本发明中，通过BP算法调整的参数主要包括编码权值矩阵、解码权值矩阵、编码偏差向量、解码偏差向量，BP算法调整的参数的选定及调整为BP算法的基础知识，本领域技术人员可以需求自行设置。
步骤1.4：判断是否达到堆栈自编码器底部最后一个隐层，若是，则进行下一步，否则以优化后的输出元素y(x(i))作为下一层的输入元素x(i)，返回步骤1.2。
本发明中，通过自编码器地不断编码和解码训练，后面的隐层可以在获得前面隐层权值的基础上针对性地继续调整权值参数，大大提高了收敛速度。
步骤1.5：将输出元素y(x(i))作为数据特征zi，加入支持向量回归函数中；支持向量回归函数其中，w为权值参数，b2为偏置值，是对输入矩阵z的非线性映射。
所述步骤1.5中，其中，||w||2为表征函数光滑性的惩罚项，C为经验误差和惩罚项之间取值的惩罚常数，y'i为实际交通流量值，n为待预测的交通流量数据条数，|y'i-f(zi)|ε为ε-不敏感损失函数，
其中，ξ和ξ*为松弛变量，分别代表上下边界的松弛因子。
所述松弛变量ξ和ξ*满足约束条件
本发明中，R表示预测的期望风险，在实际的操作中，需要尽量让其取到最小值。
本发明中，对于是对输入矩阵z的非线性映射，首先预设是一个非线性映射函数，能够把空间χ中任一点x∈χ映射到空间Y中φ(x)∈Y。假设二维平面上有一些系列样本点xi＝([xi]1,[xi]2)∈R2，他们的分布近似是一个围绕着原点的圆，那么在这个二维的样本空间里，这些样本点满足的曲线方程为[x]1 2+[x]2 2＝const，如果设非线性映射为那么在映射后的φ(x)＝y的空间里，曲线方程变成了[y]1+[y]2＝const，这意味着在新空间里，样本点是分布在一条近似直线上的，而不是之前的圆，即完成了非线性映射。
本发明中，参数C代表的是在线性不可分的情况下，对分类错误的惩罚程度。原则上C可以根据需要选择所有大于0的数，C值越大，分类器就越不愿意允许分类错误(“离群点”)，如C值太大，分类器就会竭尽全力地在训练数据上少犯错误，而实际上这是没有意义的，于是就造成过拟合，而C值过小时，分类器就会过于“不在乎”分类错误，于是分类性能就会较差。举例来说，惩罚系数C是预先给定的某一大于0的常数，用于控制拟合精度罚惩程度，实现拟合精度与算法复杂度的折中，C越大就会出现过拟合，C越小就会出现欠拟合，因此，C的选择应当谨慎以降低算法复杂度、避免过度拟合，比如在实验中，C取3欠拟合、取5过拟合，则一般取中间值4。
本发明中，n为待预测的交通流量数据条数，一般情况下，n占总数量的20％左右。
本发明中，ε的大小表明了函数拟合的精度，当误差小于ε时，误差忽略不计；当误差超过ε时，误差函数的值为实际误差减去ε；也就是说，这种误差函数中间有一个宽度为2ε的不敏感带，称其为ε带或ε管道，对于样本点而言，存在一个不为目标函数提供任何损失的区域，这是其他损失函数不具备的。
本发明中，d(x)和g(x)与SVR相关回归，即找到一个回归平面，让一个集合的所有数据到该平面的距离最近，数据集合归一化后，某个元素到回归平面的距离为r＝d(x)-g(x)。
步骤1.6：采用拉格朗日函数，引入拉格朗日乘子a、a*，得到通常形式的SVR函数其中，K(zi,z)为满足Mercer条件的核函数，核函数为宽度为σ的径向基核函数，K(zi,z)＝exp(-0.5||zi-z||2/σ2)。
所述步骤1.6中，若拉格朗日乘子a、a*差值小于γ，则K(zi,z)为1，否则K(zi,z)无限趋向于0。
本发明中，σ为径向基核函数的宽度参数，控制了函数的径向作用范围。在实际的设置中，若a和a*很相近，那么核函数值为1，如果a和a*相差很大，那么核函数值约等于0，即γ为一个无限接近0的极小值。
本发明中，核函数的参数σ主要影响样本数据在高维特征空间中分布的复杂程度，σ的大小会影响函数拟合的精度，实验结果表明，当σ趋于0时，会出现“过学习”现象，此时径向基函数SVR对训练样本拟合较好，但对测试样本的泛化能力变得较差，而当σ趋于无穷大时，会出现“欠学习”现象。σ的取值由本领域技术人员根据实际情况设定。
本发明中，σ2与|zi-z|密切相关。
步骤2：通过堆栈自编码器对输入的交通流数据归一化处理，进行特征学习，经过无监督的逐层特征训练以及有监督的参数微调，得到数据特征。
所述步骤2包括以下步骤。
步骤2.1：以对输入的交通流数据归一化处理，其中，max为输入的交通流数据的最大值，min为输入的交通流数据的最小值。
本发明中，由于不同量纲单位的数据往往会产生量纲差异，而导致影响数据分析的结果，因此需要对原始数据进行归一化处理，经过处理后，将数据统一映射到[0,1]区间，便于进行后续的数据分析和处理。
步骤2.2：得到归一化后的输入数据训练集X，设定隐层数l，建立有l个自编码器的堆栈自编码器，初始化权值矩阵以及偏值向量，设定神经网络的训练参数。
本发明中，神经网络的训练参数包括且不限于隐层节点数、隐层层数、迭代次数、学习率、激活函数。
步骤2.3：输入数据训练集X进入第一层自编码器进行训练，以BP算法调整权值参数使得输出无限趋近于输入，以输出作为下一层自编码器的输入进行训练，以BP算法调整权值参数使得输出无限趋近于输入，以此类推，直至进行完毕第l层训练。
步骤2.4：获得每一层的编码权值矩阵Wk和编码偏差向量bk，k＝1,2,3...,l。
步骤2.5：对每个自编码器进行学习及监督，初始化整个堆栈自编码器的编码权值矩阵Wl和编码偏差向量bl。
本发明中，对每个自编码器是否有监督(supervised)，具体视输入数据是否有标签(label)而定，输入数据有标签，则为有监督学习，否则为无监督学习。
本发明中，在每个自编码器即每个隐层都单独迭代收敛取得最优化之后，使用BP算法通过梯度下降算法反向微调整个网络模型的参数，能够有效的防止局部最优化的产生。
步骤2.6：训练完毕，得到输入数据训练集X输出的特征矩阵集合H。
步骤3：将得到的数据特征作为新的训练和测试样本，通过预测层进行预测。
所述步骤3中，将得到的数据特征集H作为支持向量回归组合模型的输入，经过预测训练得到输出集sY。
本发明中，将得到的数据特征集H作为预测层(SVR模型)的输入，经过SVR训练预测得到输出集sY，输出集sY仍落在[0,1]之间。
步骤4：将结果反归一化得到最终的预测结果。
本发明中，反归一化就是讲最终得到的输出结果通过反归一化函数还原成原大小的数据。
本发明给出一实验数据。
本次实验采集的数据为杭州之江大桥2015年1月到5月每天下午4点到7点的真实交通流量数据，统计每5min为一个时间段的交通流数据，取前100天的数据作为实验模型的训练集，后5天数据作为测试集，实验中取3600条交通流数据作为训练集，紧接着的180条交通流数据作为测试集，用于与真实值的对比。
在本次实验中主要统计了三种误差用于各模型的分析和比较，分别是平均绝对误差(MAE)、平均相对误差(MRE)和标准误差(RMSE)，对应公式如下：
其中，fi true是指测试数据的真实值，fi pre是指最终预测值，n是指测试数据的样本数量，在文中取为180。
在本次实验中，分别测试了隐层层数从1层到5层、隐层节点数从{100,200,300,400,500,600}选取，预训练及微调阶段均采取100到500的迭代次数进行组合测试。经过不断组合测试发现当隐层层数为3层、每层隐层节点数为300或400、迭代次数为400次以上时效果比较理想，实验预测图如图3。
根据图3，我们可以看到预测曲线和实际曲线基本拟合，预测结果总体来说比较理想，在某些峰值处效果不是特别好，因为数据没有经过梳理、平滑，但是在实际运用中，过分平滑的数据往往不能反映真实的交通流数据；另外，从表中可以看到本发明的模型可以取得接近96％的平均正确率(1-MRE)，考虑到实验数据中并没有考虑类似天气、交通事故以及其他与交通流量相关的参数，仅仅统计了交通流量而依旧取得了比较好的预测结果，可以看出SAE-SVR模型在交通流预测方面的可行性。
在本次实验中,我们分别选取了常见的预测模型包括BP神经网络、支持向量回归(SVM)、径向基函数神经网络(RBF)以及SAE和RBF的组合模型(SAE-RBF)等与本发明的模型在相同的数据源(且均取实验中最优结果)情况下进行分析比较，各模型预测交通流量误差比较表如表1。
表1本发明实验中与其他模型的交通流量预测图及误差对比表
SAE-SVR SVM RBF BPNN SAE-RBF
MAE 10.5231 17.3278 16.4176 64.2006 22.9007
MRE 0.0402 0.0631 0.0594 0.1319 0.0876
RMSE 15.7774 20.2151 26.6095 72.2006 26.8504
从表1可知，本发明的SAE-SVR模型的效果比其他模型都要好，三项误差均小于其他模型，预测正确率达到了96％左右。单一的BP神经网络由于是单隐层的结构，所以在这些模型中效果最差，误差达到了近13％，且由于局部最优化的问题，经常出现相同模型结构参数条件下出现不同的预测结果；单一的SVM和RBF模型二者效果差不多，MRE误差均在6％左右，MAE和RMSE误差也比较接近，但在实验中当训练样本数目比较大的时候，训练时间比较长，且对于电脑性能的要求也比较高；SAE-RBF组合模型虽然也是基于深度模型SAE，但是训练效果比较差，比SAE-SVR模型相差4％的误差，甚至比单一的SVM和RBF模型都要差，可以看出基于SAE深度模型的基础上，SVR作为预测层比RBF作为预测层更为合适，预测效果也更好。
本发明通过构建堆栈自编码器-支持向量回归组合模型，对输入的交通流数据归一化处理，进行特征学习后，经过无监督的逐层特征训练以及有监督的参数微调，得到数据特征，将得到的数据特征作为新的训练和测试样本，通过预测层进行预测，最终将结果反归一化得到预测结果。本发明在预测精度、收敛速度等方面取得了优于其他现有的预测模型的预测效果，可行性高，效果好，能够有效解决现有预测模型的缺陷问题，适用性广。

Claims (10)

1.一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述方法包括以下步骤：
步骤1：构建堆栈自编码器-支持向量回归组合模型；
步骤2：通过堆栈自编码器对输入的交通流数据归一化处理，进行特征学习，经过无监督的逐层特征训练以及有监督的参数微调，得到数据特征；
步骤3：将得到的数据特征作为新的训练和测试样本，通过预测层进行预测；
步骤4：将结果反归一化得到最终的预测结果。
2.根据权利要求1所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述步骤1中，堆栈自编码器-支持向量回归组合模型的堆栈自编码器包括N个堆叠的自编码器，N≥2；任一所述自编码器包括1个输入层、1个隐层和1个输出层，堆栈自编码器整体包括1个输入层和1个输出层。
3.根据权利要求2所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述步骤1中，构建堆栈自编码器-支持向量回归组合模型包括以下步骤：
步骤1.1：设定训练集合{x(1),x(2),x(3),...x(i)}，其中，x(i)∈Rd，Rd为总的样本数据，将训练集合作为输入层；设定编码函数f和解码函数g，f(x):＝sf(W1x+b1)，g(h):＝sg(W2h+c)，其中，sf为编码器的激活函数，sg为解码器的激活函数，W1是编码权值矩阵，b1是编码偏差向量，W2是解码权值矩阵，c是解码偏差向量；
步骤1.2：以编码函数将输入层的集合元素x(i)编码至隐层输出h(x(i))；以解码函数将隐层输出h(x(i))解码至输出层，得到输出元素y(x(i))；
步骤1.3：通过BP算法调整参数，缩小重构误差使得输出元素y(x(i))无限趋近输入元素x(i)；
步骤1.4：判断是否达到堆栈自编码器底部最后一个隐层，若是，则进行下一步，否则以优化后的输出元素y(x(i))作为下一层的输入元素x(i)，返回步骤1.2；
步骤1.5：将输出元素y(x(i))作为数据特征zi，加入支持向量回归函数中；支持向量回归函数其中,w为权值参数，b2为偏置值，是对输入矩阵z的非线性映射；
步骤1.6：采用拉格朗日函数，引入拉格朗日乘子a、a*，得到通常形式的SVR函数其中，K(zi,z)为满足Mercer条件的核函数，核函数为宽度为σ的径向基核函数，K(zi,z)＝exp(-0.5||zi-z||2/σ2)。
4.根据权利要求3所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述步骤1.1中，激活函数
5.根据权利要求3所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述步骤1.5中，其中，||w||2为表征函数光滑性的惩罚项，C为经验误差和惩罚项之间取值的惩罚常数，y'i为实际交通流量值，n为待预测的交通流量数据条数，|y'i-f(zi)|ε为ε-不敏感损失函数，
6.根据权利要求5所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：其中，ξ和ξ*为松弛变量，分别代表上下边界的松弛因子。
7.根据权利要求6所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述松弛变量ξ和ξ*满足约束
8.根据权利要求3所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述步骤1.6中，若拉格朗日乘子a、a*差值小于γ，则K(zi,z)为1，否则K(zi,z)无限趋向于0。
9.根据权利要求2所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述步骤2包括以下步骤：
步骤2.1：以对输入的交通流数据归一化处理，其中，max为输入的交通流数据的最大值，min为输入的交通流数据的最小值；
步骤2.2：得到归一化后的输入数据训练集X，设定隐层数l，建立有l个自编码器的堆栈自编码器，初始化权值矩阵以及偏值向量，设定神经网络的训练参数；
步骤2.3：输入数据训练集X进入第一层自编码器进行训练，以BP算法调整权值参数使得输出无限趋近于输入，以输出作为下一层自编码器的输入进行训练，以BP算法调整权值参数使得输出无限趋近于输入，以此类推，直至进行完毕第l层训练；
步骤2.4：获得每一层的编码权值矩阵Wk和编码偏差向量bk，k＝1,2,3...,l；
步骤2.5：对每个自编码器进行学习及监督，初始化整个堆栈自编码器的编码权值矩阵Wl和编码偏差向量bl；
步骤2.6：训练完毕，得到输入数据训练集X输出的特征矩阵集合H。
10.根据权利要求1所述的一种基于堆栈自编码器-支持向量回归的交通流量预测方法，其特征在于：所述步骤3中，将得到的数据特征集H作为支持向量回归组合模型的输入，经过预测训练得到输出集sY。
CN201810673069.9A 2018-06-26 2018-06-26 基于堆栈自编码器-支持向量回归的交通流量预测方法 Pending CN108921343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810673069.9A CN108921343A (zh) 2018-06-26 2018-06-26 基于堆栈自编码器-支持向量回归的交通流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810673069.9A CN108921343A (zh) 2018-06-26 2018-06-26 基于堆栈自编码器-支持向量回归的交通流量预测方法

Publications (1)

Publication Number Publication Date
CN108921343A true CN108921343A (zh) 2018-11-30

Family

ID=64421431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810673069.9A Pending CN108921343A (zh) 2018-06-26 2018-06-26 基于堆栈自编码器-支持向量回归的交通流量预测方法

Country Status (1)

Country Link
CN (1) CN108921343A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887290A (zh) * 2019-03-30 2019-06-14 西安电子科技大学 基于平衡指数平滑法和栈式自编码器的交通流预测方法
CN109887272A (zh) * 2018-12-26 2019-06-14 阿里巴巴集团控股有限公司 一种交通人流量的预测方法及装置
CN110299008A (zh) * 2019-07-19 2019-10-01 浙江工业大学 一种基于强化学习的交通流多步预测方法
CN110491400A (zh) * 2019-08-21 2019-11-22 杭州派尼澳电子科技有限公司 一种基于深度自编码器的语音信号重建方法
CN110782013A (zh) * 2019-10-22 2020-02-11 太原理工大学 一种基于广义互熵自编码器的火电厂NOx排放量预测方法
CN111126255A (zh) * 2019-12-23 2020-05-08 华中科技大学 基于深度学习回归算法的数控机床刀具磨损值预测方法
CN111145535A (zh) * 2019-11-28 2020-05-12 银江股份有限公司 一种复杂场景下的行程时间可靠性分布预测方法
CN111915006A (zh) * 2020-06-23 2020-11-10 宁波大学 一种基于有监督型sae的尾气硫化氢浓度实时监测方法
CN111915005A (zh) * 2020-06-23 2020-11-10 宁波大学 一种工业硫磺回收装置尾气二氧化硫含量实时预测方法
CN111915881A (zh) * 2020-06-11 2020-11-10 西安理工大学 一种基于变分自动编码器的小样本交通流量预测方法
CN113780450A (zh) * 2021-09-16 2021-12-10 郑州云智信安安全技术有限公司 基于自编码神经网络的分布式存储方法及系统
CN114403486A (zh) * 2022-02-17 2022-04-29 四川大学 基于局部峰值编码循环网络的气流式烘丝机智能控制方法
CN116341614A (zh) * 2023-04-10 2023-06-27 华北电力大学（保定） 基于深层自编码网络的无线电干扰激发函数的预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709640A (zh) * 2016-12-15 2017-05-24 华南理工大学 基于深度学习与支持向量回归的船舶能耗预测方法
US9818239B2 (en) * 2015-08-20 2017-11-14 Zendrive, Inc. Method for smartphone-based accident detection
US20180075362A1 (en) * 2015-04-14 2018-03-15 Nec Europe Ltd. Method for incident detection in a time-evolving system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180075362A1 (en) * 2015-04-14 2018-03-15 Nec Europe Ltd. Method for incident detection in a time-evolving system
US9818239B2 (en) * 2015-08-20 2017-11-14 Zendrive, Inc. Method for smartphone-based accident detection
CN106709640A (zh) * 2016-12-15 2017-05-24 华南理工大学 基于深度学习与支持向量回归的船舶能耗预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG ZHENGFENG等: "SAE for the prediction of road traffic status from taxicab operating data and bus smart card data", 《INTERNATIONAL JOURNAL OF MODERN PHYSICS C，COMPUTATIONAL PHYSICS AND PHYSICAL COMPUTATION》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109887272A (zh) * 2018-12-26 2019-06-14 阿里巴巴集团控股有限公司 一种交通人流量的预测方法及装置
CN109887272B (zh) * 2018-12-26 2021-08-13 创新先进技术有限公司 一种交通人流量的预测方法及装置
CN109887290A (zh) * 2019-03-30 2019-06-14 西安电子科技大学 基于平衡指数平滑法和栈式自编码器的交通流预测方法
CN109887290B (zh) * 2019-03-30 2021-03-23 西安电子科技大学 基于平衡指数平滑法和栈式自编码器的交通流预测方法
CN110299008B (zh) * 2019-07-19 2020-11-13 浙江工业大学 一种基于强化学习的交通流多步预测方法
CN110299008A (zh) * 2019-07-19 2019-10-01 浙江工业大学 一种基于强化学习的交通流多步预测方法
CN110491400A (zh) * 2019-08-21 2019-11-22 杭州派尼澳电子科技有限公司 一种基于深度自编码器的语音信号重建方法
CN110491400B (zh) * 2019-08-21 2021-05-28 浙江树人学院（浙江树人大学） 一种基于深度自编码器的语音信号重建方法
CN110782013A (zh) * 2019-10-22 2020-02-11 太原理工大学 一种基于广义互熵自编码器的火电厂NOx排放量预测方法
CN110782013B (zh) * 2019-10-22 2022-06-21 太原理工大学 一种基于广义互熵自编码器的火电厂NOx排放量预测方法
CN111145535A (zh) * 2019-11-28 2020-05-12 银江股份有限公司 一种复杂场景下的行程时间可靠性分布预测方法
CN111145535B (zh) * 2019-11-28 2020-12-15 银江股份有限公司 一种复杂场景下的行程时间可靠性分布预测方法
CN111126255A (zh) * 2019-12-23 2020-05-08 华中科技大学 基于深度学习回归算法的数控机床刀具磨损值预测方法
CN111915881A (zh) * 2020-06-11 2020-11-10 西安理工大学 一种基于变分自动编码器的小样本交通流量预测方法
CN111915881B (zh) * 2020-06-11 2022-09-02 西安理工大学 一种基于变分自动编码器的小样本交通流量预测方法
CN111915006A (zh) * 2020-06-23 2020-11-10 宁波大学 一种基于有监督型sae的尾气硫化氢浓度实时监测方法
CN111915005A (zh) * 2020-06-23 2020-11-10 宁波大学 一种工业硫磺回收装置尾气二氧化硫含量实时预测方法
CN111915005B (zh) * 2020-06-23 2023-09-26 宁波大学 一种工业硫磺回收装置尾气二氧化硫含量实时预测方法
CN111915006B (zh) * 2020-06-23 2023-09-29 宁波大学 一种基于有监督型sae的尾气硫化氢浓度实时监测方法
CN113780450A (zh) * 2021-09-16 2021-12-10 郑州云智信安安全技术有限公司 基于自编码神经网络的分布式存储方法及系统
CN113780450B (zh) * 2021-09-16 2023-07-28 郑州云智信安安全技术有限公司 基于自编码神经网络的分布式存储方法及系统
CN114403486A (zh) * 2022-02-17 2022-04-29 四川大学 基于局部峰值编码循环网络的气流式烘丝机智能控制方法
CN116341614A (zh) * 2023-04-10 2023-06-27 华北电力大学（保定） 基于深层自编码网络的无线电干扰激发函数的预测方法
CN116341614B (zh) * 2023-04-10 2023-10-03 华北电力大学（保定） 基于深层自编码网络的无线电干扰激发函数的预测方法

Similar Documents

Publication Publication Date Title
CN108921343A (zh) 基于堆栈自编码器-支持向量回归的交通流量预测方法
Tang et al. Short‐term power load forecasting based on multi‐layer bidirectional recurrent neural network
CN109284866B (zh) 商品订单预测方法及装置、存储介质、终端
Huang et al. Multi-objective feature selection by using NSGA-II for customer churn prediction in telecommunications
Chen et al. Group‐based chaos genetic algorithm and non‐linear ensemble of neural networks for short‐term load forecasting
CN102982373B (zh) 一种混合svm回归算法的oin神经网络训练方法
CN108694673A (zh) 一种保险业务风险预测的处理方法、装置及处理设备
CN106600059A (zh) 基于改进rbf神经网络的智能电网短期负荷预测方法
CN109670650A (zh) 基于多目标优化算法的梯级水库群调度模型的求解方法
CN109858674A (zh) 基于XGBoost算法的月度负荷预测方法
CN104318325A (zh) 多流域实时智能水质预测方法及系统
CN104992244A (zh) 一种基于sarima和rbf神经网络集成组合模型的机场货运量预测分析方法
CN109309382A (zh) 一种短期电力负荷预测方法
CN105243461A (zh) 一种基于人工神经网络改进训练策略的短期负荷预测方法
CN106971238A (zh) 基于T‑S模糊Elman神经网络的短期电力负荷预测方法
CN110147389A (zh) 帐号处理方法和装置、存储介质及电子装置
CN112765894B (zh) 一种基于k-lstm的铝电解槽状态预测方法
CN110309904A (zh) 一种神经网络压缩方法
CN112396301A (zh) 基于能源大数据驱动的电力用户需求响应特性控制方法
CN109472303A (zh) 一种基于自编码网络决策的气体传感器漂移补偿方法
Das et al. A study to target energy consumption in wastewater treatment plant using machine learning algorithms
CN109741090A (zh) 一种基于多因素的配网工程物资需求预测方法
CN114254800A (zh) 用于电力负荷预测的方法、终端及存储介质
CN109214610A (zh) 一种基于长短期记忆神经网络的饱和电力负荷预测方法
Tavakkoli-Moghaddam et al. hierarchical alpha-cut fuzzy C-means, fuzzy ARTMAP and cox regression model for customer churn prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130

RJ01 Rejection of invention patent application after publication