CN105654729B - 一种基于卷积神经网络的短时交通流量预测方法 - Google Patents

一种基于卷积神经网络的短时交通流量预测方法 Download PDF

Info

Publication number
CN105654729B
CN105654729B CN201610183090.1A CN201610183090A CN105654729B CN 105654729 B CN105654729 B CN 105654729B CN 201610183090 A CN201610183090 A CN 201610183090A CN 105654729 B CN105654729 B CN 105654729B
Authority
CN
China
Prior art keywords
layer
output
convolutional layer
error
convolutional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610183090.1A
Other languages
English (en)
Other versions
CN105654729A (zh
Inventor
陈志�
林海涛
岳文静
龚凯
杨天明
黄诚博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201610183090.1A priority Critical patent/CN105654729B/zh
Publication of CN105654729A publication Critical patent/CN105654729A/zh
Application granted granted Critical
Publication of CN105654729B publication Critical patent/CN105654729B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40Business processes related to the transportation industry

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明给出一种基于卷积神经网络的短时交通流量预测方法,该方法首先根据预测路段的上下游路段条数以及预测使用的历史流量数据个数,确定输入矩阵的格式;然后根据输入矩阵的格式,确定卷积神经网络预测模型的结构,并使用预测路段及其上下游路段的历史流量数据完成模型的训练;最后使用训练好的模型进行预测。该方法利用具有强大特征学习能力的卷积神经网络来准确预测短时交通流量,将预测路段及其上下游路段的流量一同考虑,不仅使输入数据扩展到二维,以满足卷积神经网络的输入格式,同时也提供了与预测路段相关联路段的信息,使预测模型学习到更多流量特征,从而提升预测精度。

Description

一种基于卷积神经网络的短时交通流量预测方法
技术领域
本发明涉及一种短时交通流量预测方法,通过使用深度学习技术中的卷积神经网络模型,结合预测路段及其相关路段的流量信息,进行精准的短时交通流量预测,属于深度学习和智能交通系统的交叉技术应用领域。
背景技术
智能交通系统(ITS)是一种实时、准确、高效的智能化交通网络管理系统,它有效地集成了先进的信息技术、通讯技术、传感技术、控制技术以及计算机技术,是全方位解决交通拥堵和保障交通网络运输安全的有效手段。国内外大量的应用研究结果表明,ITS在有效解决交通问题方面显示出很大的优越性,因此,我国在交通领域对其进行了大力推广和普及,其核心概念与技术已得到广泛的应用。
目前,构建ITS中的交通流诱导子系统,是解决城市交通拥堵和提高路网通行效率的最有效方式之一,而ITS要实现实时的交通控制和诱导,就必须要有及时、准确的短时交通流预测为其提供支持,因此短时交通流预测已经成为智能交通系统的研究热点。预测未来短期内的交通流量,不仅可以方便出行者选择最优的出行路线,还可以为均衡交通流、优化交通管理方案、改进交通控制等方面提供基础依据。这对于缓解交通拥挤和避免资源的浪费有着重要的意义和应用价值。
近年来,人们对神经网络在交通流预测领域中的应用开始了深入的研究。短时交通流预测问题是高度非线性的,可获得的数据通常是大量的、复杂的,而神经网络具有识别复杂非线性系统的特性,因此使用神经网络处理交通流预测问题有着巨大的优越性,国内外大量的研究成果也验证了这一点。虽然神经网络在短时交通流量预测方面的应用已取得一定成效,但由于短时交通流量容易受到天气变化和突发事故等因素的影响,具有高度的不确定性,导致现有的基于神经网络的方法不能获得令人满意的预测效果。而解决这一问题的思路之一,则是采用特征学习能力更加强大的预测模型,以充分获取流量数据中隐含的规律,从而提升预测精度。
深度学习理论由机器学习领域的泰斗Hinton教授和他的学生于2006年共同提出,近年来受到了各行各业研究者的广泛关注。2012年,谷歌的Google Brain项目使用并行计算平台训练深度神经网络模型,在语音和图像识别等领域获得了巨大的成功。2013年4月,深度学习技术被MIT技术评论杂志评为2013年十大突破性技术之首。如今,谷歌、微软、百度等知名高科技公司竞相投入大量资源,以占领深度学习技术的制高点,正是因为他们都看到在这样的大数据时代,只有比浅层模型更加复杂且强大的深度模型,才能深刻揭示海量数据中承载的丰富信息,从而能够对未知事件做出更精准的预测。
卷积神经网络(CNNs)是一种深度监督学习下的机器学习模型,它结合局部感知域、权值共享以及空间或时间上的子采样三种方法,通过充分利用输入数据自身具备的某些特征来优化网络结构,并保证了一定程度上对于输入数据位移变化、尺度变化和形变变化的不变性。CNNs可以通过深层的非线性网络结构,实现复杂函数的逼近,具有非常优异的特征学习能力,学习得到的特征是对数据的本质刻画。CNNs优异的特征学习能力使其在模式识别领域获得了巨大的成功。目前,基于CNNs的模式识别系统是性能最好的系统之一,尤其是在手写字符识别方面,甚至一直被作为机器识别系统性能的评价标准。
将CNNs应用于短时交通流量预测是可行的,主要有以下几方面原因:第一,CNNs具有强大的特征学习能力,并且输入为二维,可获得更多的有效信息,能够学习到历史流量数据中大量的隐含规律,从而作出准确的流量预测;第二,CNNs与传统的多隐含层神经网络不同,通过局部感知和权值共享两种方式使网络中连接权值数量大幅减少,并通过子采样的方式降低了网络的规模,计算量相对较小;第三,CNNs末尾的全连接层通常是一个分类器,而分类毕竟属于回归的一种特殊情况,既然全连接层能够作为分类器使用,那么一般也能用于回归;第四,BP神经网络可看作一种特殊的CNNs,而且它们均使用BP算法训练网络,既然BP神经网络能够用于短时交通流量预测,那么CNNs应该也是可行的。因此,本发明给出一种基于卷积神经网络的短时交通流量预测方法,以获得更好的流量预测效果。
发明内容
技术问题:本发明的目的是提供一种基于卷积神经网络的短时交通流量预测方法,该方法首度将卷积神经网络应用于短时交通流量预测,并使用预测路段及其上下游路段的历史流量数据作为输入,利用卷积神经网络优异的特征学习能力,充分获取流量数据中隐含的规律,一定程度上解决了现有基于神经网络方法预测精度不高的问题,同时也提供了一种短时流量预测的新思路。
技术方案:本发明首先根据预测路段的上下游路段条数以及预测使用的历史流量数据个数,确定输入矩阵的格式;然后根据输入矩阵的格式,确定卷积神经网络预测模型的结构,并使用预测路段及其上下游路段的历史流量数据完成模型的训练;最后使用训练好的模型进行预测。
本发明基于卷积神经网络的短时交通流量预测方法包括以下步骤:
步骤1)对流量数据集进行预处理,形成相应的训练集;
步骤2)设置卷积神经网络预测模型中各项参数,所述卷积神经网络预测模型采用双隐含层结构,每个隐含层包含一个卷积层和一个子采样层,卷积层和子采样层交替相连,在第二个子采样层之后,将子采样层的所有节点展开成一条特征向量,并与输出节点间进行全连接,同时取消子采样层的乘子偏置和阈值,并且不设置激活函数,步骤2)具体过程如下:
步骤2.1)根据输入矩阵的大小设定卷积核大小和子采样因子,保证卷积或采样操作后的特征图大小为整数;
步骤2.2)用户设定卷积层的特征图数量,并使卷积层2的特征图数量多于卷积层1;所述卷积层1是卷积神经网络输入层开始后的第1个卷积层,卷积层2是卷积神经网络输入层开始后的第2个卷积层;
步骤3)将卷积层中所有卷积核以及特征图阈值初始化为-1到1之间的随机值,将特征向量与输出层之间的连接权值以及输出层节点阈值初始化为-1到1之间的随机值,将迭代次数t初始化为1、训练样本号n初始化为1;
步骤4)根据训练样本n的输入,计算网络的前向传播输出;
步骤5)计算网络误差E,E=Y-O,所述Y为样本n的输出,O为网络输出;
步骤6)计算网络中各层节点的残差;
步骤7)根据求得的残差,计算误差梯度;
步骤8)根据误差梯度,更新网络中的权值和阈值;
步骤9)将n加1,若n大于训练样本总数N,进入步骤10,否则返回步骤4);
步骤10)将t加1,若t大于指定的迭代次数T,进入步骤11,否则将n重置为1,并返回步骤4);
步骤11)根据用于预测的归一化后的输入矩阵,计算网络的前向传播输出Θ,将Θ反归一化,得到 包含预测路段及其上下游路段下一个时间单位的预测流量,取中预测路段对应位置的流量,即为预测路段的预测流量
其中:
所述步骤1)对流量数据集进行预处理,形成相应的训练集,具体处理过程如下:
步骤1.1)使用数据集中预测路段及其上下游路段的历史流量数据构成输入矩阵,将上游路段的流量数据作为输入矩阵的上半部分,下游路段的流量数据作为输入矩阵的下半部分,预测路段的流量数据放在中间;
步骤1.2)使用输入矩阵中各路段对应的下一个时间单位的流量作为期望输出,并将期望输出按输入矩阵中各路段的顺序来排列,形成输出矩阵;
步骤1.3)将输入矩阵和输出矩阵中的每条流量数据归一化,计算如下:所述x′为归一化后的流量,x为原始流量,xmax和xmin分别为该流量对应路段的最大流量和最小流量;将数据集中所有数据按照步骤1.1和步骤1.2处理,并归一化为训练样本,形成包含N条训练样本的训练集,其中每条训练样本包含归一化后的输入矩阵和它对应的输出矩阵。
所述步骤4)根据训练样本n的输入,计算网络的前向传播输出,具体过程如下:
步骤4.1)计算卷积层特征图,每张特征图用多个卷积核生成,这些卷积核与输入特征图一一对应,用它们进行卷积后,将所有卷积结果求和并经过神经元处理,输出即为相应特征图,卷积层l中第q张特征图计算如下:所述f(·)为神经元的激活函数,是卷积层l-1中第p张特征图,为第q张特征图与输入图p对应的卷积核,Mq为全部输入图的集合,为该特征图对应的阈值,卷积层l是卷积神经网络输入层开始后的第l个卷积层,卷积层l-1是卷积神经网络输入层开始后的第l-1个卷积层;
步骤4.2)计算子采样层特征图,使用平均池化操作对卷积层的所有输入图进行采样并生成相应的输出图,子采样层l+1中第r张特征图的计算公式为:所述对应的卷积层的输入图,down(·)为采样函数,对输入图中每个s×s的采样区域分别求均值,使输出图规模降为输入图的所述s为子采样因子;
步骤4.3)计算网络输出O,其中每个输出层节点j的输出计算如下:NF为特征向量的节点总数,wij为特征向量中节点i与输出层节点j之间的连接权值,ai为特征向量中节点i的输出,bj为输出层节点j的阈值。
所述步骤6)计算网络中各层节点的残差,具体过程如下:
步骤6.1)输出层节点残差δO为网络误差E,即δO=E;
步骤6.2)特征向量中节点i的残差δF(i)计算如下:所述m为输出节点总数,wij为特征向量节点i与输出层节点j间的连接权值,δO(j)为输出层节点j的残差,求出特征向量节点的残差后,将其恢复为特征图的形式,即可得到子采样层2的残差图δS2
步骤6.3)卷积层2中第e个残差图计算如下:所述δS2(e)为子采样层2第e个残差图,f′(netC2(e))为卷积层2第e个特征图的“偏导数图”,特征图中所有神经元的激活函数对输入的偏导构成的二维矩阵,运算符ο表示两个二维矩阵“点对点”逐元素相乘,表示Kronecker积,s2为子采样层2的子采样因子;
步骤6.4)子采样层1中第d个残差图δS1(d)计算如下:所述n2为卷积层2的特征图总数,δC2(e)为卷积层2第j个残差图,Kde为卷积层2中特征图e与子采样层1中特征图d对应的卷积核,rot180(Kde)表示将该卷积核旋转180度,conv2(A,B,'full')是区域覆盖为‘full’的卷积函数;
步骤6.5)卷积层1中第c个残差图的计算与卷积层2类似:所述δS1(c)为子采样层1第c个残差图,f′(netC1(c))为卷积层1第c个特征图的“偏导数图”,s1为子采样层1的子采样因子。
所述步骤7)根据求得的残差,计算误差梯度,具体过程如下:
步骤7.1)计算网络误差对输出层节点权值和阈值的偏导,误差对特征向量节点i与输出层节点j间连接权值的偏导所述δO(j)为输出层节点j的残差,xi为特征向量中节点i的输出,误差对输出层节点j阈值的偏导所述δO(j)为输出层节点j的残差;
步骤7.2)计算网络误差对卷积核以及卷积层特征图阈值的偏导,误差对卷积层l中卷积核的偏导计算如下:所述表示残差图中第u行第v列神经元的残差,对于l层的特征图q中u行v列的元素是由卷积核与l-1层的特征图p中某块区域逐元素相乘并求和得到的,而则代表该区域,误差对卷积层l中第q个特征图阈值的偏导为:所述表示残差图中第u行第v列神经元的残差。
所述步骤8)根据误差梯度,更新网络中的权值和阈值,具体过程如下:
步骤8.1)更新输出层节点的权值和阈值,特征向量节点i与输出层节点j间连接权值所述λ为指定的学习率,为误差对权值的偏导,输出层节点j阈值所述λ为指定的学习率,为误差对阈值的偏导;
步骤8.2)更新卷积层的卷积核和特征图阈值,卷积层l中特征图q用于提取l-1层特征图p中特征的卷积核所述λ为指定的学习率,为误差对卷积核的偏导,卷积层l中第q个特征图阈值所述λ为指定的学习率,为误差对特征图阈值的偏导。
有益效果:
1)本发明首度将卷积神经网络应用到短时交通流量预测领域,有针对性地设计出卷积神经网络预测模型的结构,给短时交通流量的预测提供了一种新思路。
2)本发明使用预测路段及其上下游路段的历史流量数据作为输入,不仅使输入数据扩展到二维,以满足卷积神经网络的输入格式,同时也给预测模型提供了更多的有效信息,使其能够学习到更多流量规律,提升预测效果。
3)本发明所提出的方法利用卷积神经网络强大的特征学习能力来充分获取流量数据中隐含的规律,并利用卷积神经网络通过采样方式模糊特征具体位置的特性,准确识别出发生一定位移的流量特征,比如早晚高峰等,从而提升了预测精度。
附图说明
图1为预测路段及其上下游路段示意图,
图2为输入矩阵和输出矩阵的结构示意图,
图3为卷积神经网络预测模型示意图,
图4为子采样层残差计算过程示意图,
图5为基于卷积神经网络的短时交通流量预测方法流程图。
具体实施方式
本发明提出的基于卷积神经网络的短时交通流量预测方法包括以下步骤:
步骤1)对流量数据集进行预处理,形成相应的训练集,具体处理过程如下:
步骤1.1)使用数据集中预测路段及其上下游路段的历史流量数据构成输入矩阵,将上游路段的流量数据作为输入矩阵的上半部分,下游路段的流量数据作为输入矩阵的下半部分,预测路段的流量数据放在中间。
步骤1.2)使用输入矩阵中各路段对应的下一个时间单位的流量作为期望输出,并将期望输出按输入矩阵中各路段的顺序来排列,形成输出矩阵。
步骤1.3)将输入矩阵和输出矩阵中的每条流量数据归一化,计算如下:所述x′为归一化后的流量,x为原始流量,xmax和xmin分别为该流量对应路段的最大流量和最小流量;将数据集中所有数据按照步骤1.1和步骤1.2处理,并归一化为训练样本,形成包含N条训练样本的训练集,其中每条训练样本包含归一化后的输入矩阵和它对应的输出矩阵。
步骤2)设置卷积神经网络预测模型中各项参数。所述卷积神经网络预测模型采用双隐含层结构,每个隐含层包含一个卷积层和一个子采样层,卷积层和子采样层交替相连,在第二个子采样层之后,将子采样层的所有节点展开成一条特征向量,并与输出节点间进行全连接,同时取消子采样层的乘子偏置和阈值,并且不设置激活函数。步骤2)具体过程如下:
步骤2.1)根据输入矩阵的大小设定卷积核大小和子采样因子,保证卷积或采样操作后的特征图大小为整数。
步骤2.2)用户设定卷积层特征图数量,并使卷积层2的特征图数量多于卷积层1,所述卷积层1是卷积神经网络输入层开始后的第1个卷积层,卷积层2是卷积神经网络输入层开始后的第2个卷积层。
步骤3)将卷积层中所有卷积核以及特征图阈值初始化为-1到1之间的随机值,将特征向量与输出层之间的连接权值以及输出层节点阈值初始化为-1到1之间的随机值,将迭代次数t初始化为1、训练样本号n初始化为1。
步骤4)根据训练样本n的输入,计算网络的前向传播输出,具体过程如下:
步骤4.1)计算卷积层特征图,每张特征图用多个卷积核生成,这些卷积核与输入特征图一一对应,用它们进行卷积后,将所有卷积结果求和并经过神经元处理,输出即为相应特征图,卷积层l中第q张特征图计算如下:所述f(·)为神经元的激活函数,是卷积层l-1中第p张特征图,为第q张特征图与输入图p对应的卷积核,Mq为全部输入图的集合,为该特征图对应的阈值,卷积层l是卷积神经网络输入层开始后的第l个卷积层,卷积层l-1是卷积神经网络输入层开始后的第l-1个卷积层。
步骤4.2)计算子采样层特征图,使用平均池化操作对卷积层的所有输入图进行采样并生成相应的输出图,子采样层l+1中第r张特征图的计算公式为:所述对应的卷积层的输入图,down(·)为采样函数,对输入图中每个s×s的采样区域分别求均值,使输出图规模降为输入图的所述s为子采样因子。
步骤4.3)计算网络输出O,其中每个输出层节点j的输出计算如下:NF为特征向量的节点总数,wij为特征向量中节点i与输出层节点j之间的连接权值,ai为特征向量中节点i的输出,bj为输出层节点j的阈值。
步骤5)计算网络误差E,E=Y-O,所述Y为样本n的输出,O为网络输出。
步骤6)计算网络中各层节点的残差,具体过程如下:
步骤6.1)输出层节点残差δO为网络误差E,即δO=E。
步骤6.2)特征向量中节点i的残差δF(i)计算如下:所述m为输出节点总数,wij为特征向量节点i与输出层节点j间的连接权值,δO(j)为输出层节点j的残差,求出特征向量节点的残差后,将其恢复为特征图的形式,即可得到子采样层2的残差图δS2
步骤6.3)卷积层2中第e个残差图计算如下:所述δS2(e)为子采样层2第e个残差图,f′(netC2(e))为卷积层2第e个特征图的“偏导数图”(特征图中所有神经元的激活函数对输入的偏导构成的二维矩阵),运算符ο表示两个二维矩阵“点对点”逐元素相乘表示Kronecker积,s2为子采样层2的子采样因子。
步骤6.4)子采样层1中第d个残差图δS1(d)计算如下:所述n2为卷积层2的特征图总数,δC2(e)为卷积层2第j个残差图,Kde为卷积层2中特征图e与子采样层1中特征图d对应的卷积核,rot180(Kde)表示将该卷积核旋转180度,conv2(A,B,'full')是区域覆盖为‘full’的卷积函数。
步骤6.5)卷积层1中第c个残差图的计算与卷积层2类似:所述δS1(c)为子采样层1第c个残差图,f′(netC1(c))为卷积层1第c个特征图的“偏导数图”,s1为子采样层1的子采样因子。
步骤7)根据求得的残差,计算误差梯度,具体过程如下:
步骤7.1)计算网络误差对输出层节点权值和阈值的偏导,误差对特征向量节点i与输出层节点j间连接权值的偏导所述δO(j)为输出层节点j的残差,xi为特征向量中节点i的输出,误差对输出层节点j阈值的偏导所述δO(j)为输出层节点j的残差。
步骤7.2)计算网络误差对卷积核以及卷积层特征图阈值的偏导,误差对卷积层l中卷积核的偏导计算如下:所述表示残差图中第u行第v列神经元的残差,对于l层的特征图q中u行v列的元素是由卷积核与l-1层的特征图p中某块区域逐元素相乘并求和得到的,而则代表该区域,误差对卷积层l中第q个特征图阈值的偏导为:所述表示残差图中第u行第v列神经元的残差。
步骤8)根据误差梯度,更新网络中的权值和阈值,具体过程如下:
步骤8.1)更新输出层节点的权值和阈值,特征向量节点i与输出层节点j间连接权值所述λ为指定的学习率,为误差对权值的偏导,输出层节点j阈值所述λ为指定的学习率,为误差对阈值的偏导。
步骤8.2)更新卷积层的卷积核和特征图阈值,卷积层l中特征图q用于提取l-1层特征图p中特征的卷积核所述λ为指定的学习率,为误差对卷积核的偏导,卷积层l中第q个特征图阈值所述λ为指定的学习率,为误差对特征图阈值的偏导。
步骤9)将n加1,若n大于训练样本总数N,进入步骤10,否则返回步骤4)。
步骤10)将t加1,若t大于指定的迭代次数T,进入步骤11,否则将n重置为1,并返回步骤4)。
步骤11)根据用于预测的归一化后的输入矩阵,计算网络的前向传播输出Θ,将Θ反归一化,得到 包含预测路段及其上下游路段下一个时间单位的预测流量,取中预测路段对应位置的流量,即为预测路段的预测流量
下面结合具体例子来详细描述方法中的一些步骤。
一、构成输入矩阵和输出矩阵
图1显示的是预测路段的上下游路段最少和最多的两种情况,由此可知,上下游路段的数量在2到6之间。在构成输入矩阵时,可将上游路段的流量作为矩阵前几行,下游路段的流量作为矩阵后几行,预测路段的流量放在中间。因此,如果预测时使用预测时间单位之前5个时间单位的历史流量数据,那么输入矩阵的行数应该在3到7之间,列数为5。
假设预测路段上下游各有两个路段,那么输入矩阵和输出矩阵应该为图2所示的格式,所述x、xu1、xu2、xd1、xd2分别为预测路段、上游路段1、上游路段2、下游路段1、下游路段2的历史流量,y、yu1、yu2、yd1、yd2分别为预测路段、上游路段1、上游路段2、下游路段1、下游路段2的预测流量,t为预测时间单位,t-i(i=1,2,3,4,5)为预测时间单位之前i个时间单位。图2中,两条上游路段的流量序列位于输入矩阵的1、2两行,两条下游路段的流量序列则位于4、5两行,中间的第3行为预测路段的历史流量数据。实际应用时,输入矩阵的大小可根据具体情况自由调整,但都可以按照此方式来构成。
二、确定卷积神经网络预测模型的结构
本发明提出的方法中,卷积神经网络预测模型采用双隐含层结构,每个隐含层包含一个卷积层和一个子采样层,卷积层和子采样层交替相连,在第二个子采样层之后,将子采样层的所有节点展开成一条特征向量,并与输出节点间进行全连接。以输入矩阵大小为6×5的情况为例,预测模型中各项参数可按照图3来设置。
图3所示模型结构中,输入矩阵大小为6×5,卷积层1使用8个大小为2×1的卷积核提取输入矩阵中的特征,得到8张大小为5×5的特征图,后面的子采样层1不进行池化操作,保持卷积层1的特征图不变。卷积层2使用8×12=96个大小为2×2的卷积核继续提取子采样层1中特征图的特征,得到12张大小为4×4的特征图,后面的子采样层2使用子采样因子2对卷积层2中的每张特征图分别进行平均池化操作,使特征图规模缩小为原来的1/4,得到12张大小为2×2的特征图。在模型的末端,将子采样层2的全部特征图中所有神经元节点按顺序展开,形成一个具有48个节点的特征向量,将该特征向量的中的节点与输出层节点间进行全连接。输出层有6个节点,节点值分别对应了输入矩阵中6条路段的预测输出。
实际应用时,可根据输入结构的不同,对模型的结构作出相应调整,卷积核大小和子采样因子可自由设定,但必须保证卷积或采样操作后的特征图大小为整数,两个卷积层的特征图数量应适中,建议设定在10个左右。
三、子采样层残差图的计算
卷积神经网络子采样层残差图的计算常采用MATLAB中区域覆盖为‘full’的卷积函数conv2来实现。卷积函数conv2在区域覆盖为‘full’时,会在计算卷积前对待卷积矩阵进行0扩展,如果卷积核大小为k×k,待卷积矩阵大小为n×n,则会以原矩阵为中心扩展到(n+2(k-1))×(n+2(k-1))大小。C=conv2(B,rot180(K),'full')的执行过程如图4所示,所述待卷积矩阵B大小为3×3,卷积核K大小为2×2,卷积结果C为4×4的矩阵。该函数执行时,首先将待卷积矩阵B扩充为B′,B′的大小为(3+2×(2-1))×(3+2×(2-1))=5×5,之后将卷积核K旋转180度,得到旋转后的卷积核K′,最后再用K′在B′上进行卷积操作。
了解conv2函数的计算原理后,使用MATLAB以外的编程语言也可以轻松实现子采样层残差图的计算。

Claims (1)

1.一种基于卷积神经网络的短时交通流量预测方法,其特征在于该方法包括以下步骤:
步骤1)对流量数据集进行预处理,形成相应的训练集;
步骤2)设置卷积神经网络预测模型中各项参数,所述卷积神经网络预测模型采用双隐含层结构,每个隐含层包含一个卷积层和一个子采样层,卷积层和子采样层交替相连,在第二个子采样层之后,将子采样层的所有节点展开成一条特征向量,并与输出节点间进行全连接,同时取消子采样层的乘子偏置和阈值,并且不设置激活函数,步骤2)具体过程如下:
步骤2.1)根据输入矩阵的大小设定卷积核大小和子采样因子,保证卷积或采样操作后的特征图大小为整数;
步骤2.2)用户设定卷积层的特征图数量,并使卷积层2的特征图数量多于卷积层1;所述卷积层1是卷积神经网络输入层开始后的第1个卷积层,卷积层2是卷积神经网络输入层开始后的第2个卷积层;
步骤3)将卷积层中所有卷积核以及特征图阈值初始化为-1到1之间的随机值,将特征向量与输出层之间的连接权值以及输出层节点阈值初始化为-1到1之间的随机值,将迭代次数t初始化为1、训练样本号n初始化为1;
步骤4)根据训练样本n的输入,计算网络的前向传播输出;
步骤5)计算网络误差E,E=Y-O,所述Y为样本n的输出,O为网络输出;
步骤6)计算网络中各层节点的残差;
步骤7)根据求得的残差,计算误差梯度;
步骤8)根据误差梯度,更新网络中的权值和阈值;
步骤9)将n加1,若n大于训练样本总数N,进入步骤10,否则返回步骤4);
步骤10)将t加1,若t大于指定的迭代次数T,进入步骤11,否则将n重置为1,并返回步骤4);
步骤11)根据用于预测的归一化后的输入矩阵,计算网络的前向传播输出Θ,将Θ反归一化,得到 包含预测路段及其上下游路段下一个时间单位的预测流量,取中预测路段对应位置的流量,即为预测路段的预测流量
其中:
所述步骤1)对流量数据集进行预处理,形成相应的训练集,具体处理过程如下:
步骤1.1)使用数据集中预测路段及其上下游路段的历史流量数据构成输入矩阵,将上游路段的流量数据作为输入矩阵的上半部分,下游路段的流量数据作为输入矩阵的下半部分,预测路段的流量数据放在中间;
步骤1.2)使用输入矩阵中各路段对应的下一个时间单位的流量作为期望输出,并将期望输出按输入矩阵中各路段的顺序来排列,形成输出矩阵;
步骤1.3)将输入矩阵和输出矩阵中的每条流量数据归一化,计算如下:所述x′为归一化后的流量,x为原始流量,xmax和xmin分别为该流量对应路段的最大流量和最小流量;将数据集中所有数据按照步骤1.1和步骤1.2处理,并归一化为训练样本,形成包含N条训练样本的训练集,其中每条训练样本包含归一化后的输入矩阵和它对应的输出矩阵;
所述步骤4)根据训练样本n的输入,计算网络的前向传播输出,具体过程如下:
步骤4.1)计算卷积层特征图,每张特征图用多个卷积核生成,这些卷积核与输入特征图一一对应,用它们进行卷积后,将所有卷积结果求和并经过神经元处理,输出即为相应特征图,卷积层l中第q张特征图计算如下:所述f(·)为神经元的激活函数,是卷积层l-1中第p张特征图,为第q张特征图与输入图p对应的卷积核,Mq为全部输入图的集合,为该特征图对应的阈值,卷积层l是卷积神经网络输入层开始后的第l个卷积层,卷积层l-1是卷积神经网络输入层开始后的第l-1个卷积层;
步骤4.2)计算子采样层特征图,使用平均池化操作对卷积层的所有输入图进行采样并生成相应的输出图,子采样层l+1中第r张特征图的计算公式为:所述对应的卷积层的输入图,down(·)为采样函数,对输入图中每个s×s的采样区域分别求均值,使输出图规模降为输入图的所述s为子采样因子;
步骤4.3)计算网络输出O,其中每个输出层节点j的输出计算如下:NF为特征向量的节点总数,wij为特征向量中节点i与输出层节点j之间的连接权值,ai为特征向量中节点i的输出,bj为输出层节点j的阈值;
所述步骤6)计算网络中各层节点的残差,具体过程如下:
步骤6.1)输出层节点残差δO为网络误差E,即δO=E;
步骤6.2)特征向量中节点i的残差δF(i)计算如下:所述m为输出节点总数,wij为特征向量节点i与输出层节点j间的连接权值,δO(j)为输出层节点j的残差,求出特征向量节点的残差后,将其恢复为特征图的形式,即可得到子采样层2的残差图δS2
步骤6.3)卷积层2中第e个残差图计算如下:所述δS2(e)为子采样层2第e个残差图,f′(netC2(e))为卷积层2第e个特征图的“偏导数图”,特征图中所有神经元的激活函数对输入的偏导构成的二维矩阵,运算符表示两个二维矩阵“点对点”逐元素相乘,表示Kronecker积,s2为子采样层2的子采样因子;
步骤6.4)子采样层1中第d个残差图δS1(d)计算如下:所述n2为卷积层2的特征图总数,δC2(e)为卷积层2第e个残差图,Kde为卷积层2中特征图e与子采样层1中特征图d对应的卷积核,rot180(Kde)表示将该卷积核旋转180度,conv2(A,B,'full')是区域覆盖为‘full’的卷积函数;
步骤6.5)卷积层1中第c个残差图的计算与卷积层2类似:所述δS1(c)为子采样层1第c个残差图,f′(netC1(c))为卷积层1第c个特征图的“偏导数图”,s1为子采样层1的子采样因子;
所述步骤7)根据求得的残差,计算误差梯度,具体过程如下:
步骤7.1)计算网络误差对输出层节点权值和阈值的偏导,误差对特征向量节点i与输出层节点j间连接权值的偏导所述δO(j)为输出层节点j的残差,xi为特征向量中节点i的输出,误差对输出层节点j阈值的偏导所述δO(j)为输出层节点j的残差;
步骤7.2)计算网络误差对卷积核以及卷积层特征图阈值的偏导,误差对卷积层l中卷积核的偏导计算如下:所述表示残差图中第u行第v列神经元的残差,对于l层的特征图q中u行v列的元素是由卷积核与l-1层的特征图p中某块区域逐元素相乘并求和得到的,而则代表该区域,误差对卷积层l中第q个特征图阈值的偏导为:所述表示残差图中第u行第v列神经元的残差;
所述步骤8)根据误差梯度,更新网络中的权值和阈值,具体过程如下:
步骤8.1)更新输出层节点的权值和阈值,特征向量节点i与输出层节点j间连接权值所述λ为指定的学习率,为误差对权值的偏导,输出层节点j阈值所述λ为指定的学习率,为误差对阈值的偏导;
步骤8.2)更新卷积层的卷积核和特征图阈值,卷积层l中特征图q用于提取l-1层特征图p中特征的卷积核所述λ为指定的学习率,为误差对卷积核的偏导,卷积层l中第q个特征图阈值所述λ为指定的学习率,为误差对特征图阈值的偏导。
CN201610183090.1A 2016-03-28 2016-03-28 一种基于卷积神经网络的短时交通流量预测方法 Active CN105654729B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610183090.1A CN105654729B (zh) 2016-03-28 2016-03-28 一种基于卷积神经网络的短时交通流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610183090.1A CN105654729B (zh) 2016-03-28 2016-03-28 一种基于卷积神经网络的短时交通流量预测方法

Publications (2)

Publication Number Publication Date
CN105654729A CN105654729A (zh) 2016-06-08
CN105654729B true CN105654729B (zh) 2018-01-02

Family

ID=56495707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610183090.1A Active CN105654729B (zh) 2016-03-28 2016-03-28 一种基于卷积神经网络的短时交通流量预测方法

Country Status (1)

Country Link
CN (1) CN105654729B (zh)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106205126B (zh) * 2016-08-12 2019-01-15 北京航空航天大学 基于卷积神经网络的大规模交通网络拥堵预测方法及装置
CN109800863B (zh) * 2016-08-30 2023-05-23 中国石油大学(华东) 一种基于模糊理论和神经网络的测井相识别方法
CN106355879A (zh) * 2016-09-30 2017-01-25 西安翔迅科技有限责任公司 一种基于时空关联的城市交通流量预测方法
CN107959640B (zh) * 2016-10-14 2020-07-07 腾讯科技(深圳)有限公司 网络业务调度方法及装置
CN106297297B (zh) * 2016-11-03 2018-11-20 成都通甲优博科技有限责任公司 基于深度学习的交通拥堵判别方法
CN106650786A (zh) * 2016-11-14 2017-05-10 沈阳工业大学 基于多列卷积神经网络模糊评判的图像识别方法
CN108205706B (zh) * 2016-12-19 2021-04-23 上海寒武纪信息科技有限公司 人工神经网络反向训练装置和方法
CN106991999B (zh) * 2017-03-29 2020-06-02 北京小米移动软件有限公司 语音识别方法及装置
CN107038478B (zh) * 2017-04-20 2023-10-27 百度在线网络技术(北京)有限公司 路况预测方法及装置、计算机设备与可读介质
CN107256396A (zh) * 2017-06-12 2017-10-17 电子科技大学 基于卷积神经网络的船目标isar图像特征学习方法
CN109409497B (zh) * 2017-08-15 2021-03-16 阿里巴巴(中国)有限公司 一种路况预测方法及装置
CN109657522A (zh) * 2017-10-10 2019-04-19 北京京东尚科信息技术有限公司 检测可行驶区域的方法和装置
CN108229724B (zh) * 2017-12-06 2020-12-22 华南理工大学 一种基于时空信息融合的短时交通数据流预测方法
CN107894970A (zh) * 2017-12-06 2018-04-10 广东机场白云信息科技有限公司 航站楼出港人数的预测方法和系统
CN108229338B (zh) * 2017-12-14 2021-12-21 华南理工大学 一种基于深度卷积特征的视频行为识别方法
CN108205889B (zh) * 2017-12-29 2021-04-27 长春理工大学 基于卷积神经网络的高速公路交通流预测方法
CN108133295B (zh) * 2018-01-11 2020-07-07 安徽优思天成智能科技有限公司 一种针对目标路段的机动车尾气浓度连续时间预测方法
CN108447260B (zh) * 2018-03-30 2020-05-29 南通大学 一种基于Fourier级数改进残差的短时交通流预测方法及系统
CN108346293B (zh) * 2018-04-18 2020-12-18 湖南大学 一种实时交通流短时预测方法
CN108492568B (zh) * 2018-04-25 2020-06-12 南京邮电大学 一种基于时空特性分析的短时交通流预测方法
CN110310474A (zh) * 2018-05-14 2019-10-08 桂林远望智能通信科技有限公司 一种基于时空残差网络的车流量预测方法及装置
CN108647834B (zh) * 2018-05-24 2021-12-17 浙江工业大学 一种基于卷积神经网络结构的交通流预测方法
CN108875161B (zh) * 2018-05-31 2022-11-29 长江勘测规划设计研究有限责任公司 基于卷积神经网络深度学习的流量等级预测方法
CN108648495A (zh) * 2018-06-08 2018-10-12 华南理工大学 一种智能实时显示公交车拥挤程度的方法及系统
CN108648457B (zh) * 2018-06-28 2021-07-13 苏州大学 一种速度预测的方法、装置和计算机可读存储介质
CN109242140A (zh) * 2018-07-24 2019-01-18 浙江工业大学 一种基于LSTM_Attention网络的交通流预测方法
CN108830430A (zh) * 2018-08-01 2018-11-16 苏州大学张家港工业技术研究院 用于交通流量预测的卷积神经网络多点回归预测模型
CN109146000B (zh) * 2018-09-07 2022-03-08 电子科技大学 一种基于冰冻权值改进卷积神经网络的方法及装置
CN111081010B (zh) * 2018-10-18 2022-08-02 阿里巴巴集团控股有限公司 一种交通流量或旅行时间的预测方法和设备
CN109086878B (zh) * 2018-10-19 2019-12-17 电子科技大学 保持旋转不变性的卷积神经网络模型及其训练方法
CN109215349B (zh) * 2018-10-26 2020-12-29 同济大学 基于深度学习的长时交通流量预测方法
CN109166317B (zh) * 2018-10-29 2020-07-24 东北林业大学 基于状态特征的城市交通路径通过时间确定方法
CN109658694A (zh) * 2018-12-28 2019-04-19 中交信息技术国家工程实验室有限公司 一种卷积神经网络高危车辆交通流预测方法和系统
CN109993970B (zh) * 2019-03-15 2020-09-29 西南交通大学 一种城市区域交通事故风险预测方法
CN110223517B (zh) * 2019-06-20 2021-05-18 青岛科技大学 基于时空相关性的短时交通流量预测方法
CN110675623B (zh) * 2019-09-06 2020-12-01 中国科学院自动化研究所 基于混合深度学习的短时交通流量预测方法、系统、装置
CN110750231B (zh) * 2019-09-27 2021-09-28 东南大学 一种面向卷积神经网络的双相系数可调模拟乘法计算电路
CN110991690B (zh) * 2019-10-17 2023-05-12 宁波大学 一种基于深度卷积神经网络的多时次风速预测方法
CN114730331A (zh) * 2019-12-18 2022-07-08 华为技术有限公司 数据处理装置和数据处理方法
CN111179596B (zh) * 2020-01-06 2021-09-21 南京邮电大学 基于组归一化和网格化协同的交通流预测方法
CN111009129B (zh) * 2020-01-08 2021-06-15 武汉大学 基于时空深度学习模型的城市道路交通流预测方法及装置
CN111210633B (zh) * 2020-02-09 2021-01-05 北京工业大学 一种基于深度学习的短时交通流预测方法
CN113222206B (zh) * 2021-01-29 2022-05-13 太原理工大学 一种基于ResLS-C深度学习组合的交通状态预测方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496284A (zh) * 2011-12-24 2012-06-13 重庆大学 一种道路交通流量采集及预测方法
CN102682345A (zh) * 2012-01-11 2012-09-19 河南科技大学 基于双最优学习率快速学习神经网络的交通流预测方法
CN102693633A (zh) * 2012-06-07 2012-09-26 浙江大学 一种短时交通流加权组合预测方法
KR20140028801A (ko) * 2012-08-30 2014-03-10 경희대학교 산학협력단 Its 데이터를 활용한 도심 구간의 정체도 예측 방법
CN104599500A (zh) * 2015-01-14 2015-05-06 南京信息工程大学 基于灰熵分析和改进贝叶斯融合的交通流预测方法
CN105160866A (zh) * 2015-08-07 2015-12-16 浙江高速信息工程技术有限公司 一种基于深度学习神经网络结构的交通流预测方法
CN105389980A (zh) * 2015-11-09 2016-03-09 上海交通大学 基于长短时记忆递归神经网络的短时交通流预测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102496284A (zh) * 2011-12-24 2012-06-13 重庆大学 一种道路交通流量采集及预测方法
CN102682345A (zh) * 2012-01-11 2012-09-19 河南科技大学 基于双最优学习率快速学习神经网络的交通流预测方法
CN102693633A (zh) * 2012-06-07 2012-09-26 浙江大学 一种短时交通流加权组合预测方法
KR20140028801A (ko) * 2012-08-30 2014-03-10 경희대학교 산학협력단 Its 데이터를 활용한 도심 구간의 정체도 예측 방법
CN104599500A (zh) * 2015-01-14 2015-05-06 南京信息工程大学 基于灰熵分析和改进贝叶斯融合的交通流预测方法
CN105160866A (zh) * 2015-08-07 2015-12-16 浙江高速信息工程技术有限公司 一种基于深度学习神经网络结构的交通流预测方法
CN105389980A (zh) * 2015-11-09 2016-03-09 上海交通大学 基于长短时记忆递归神经网络的短时交通流预测方法

Also Published As

Publication number Publication date
CN105654729A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105654729B (zh) 一种基于卷积神经网络的短时交通流量预测方法
Shao et al. Traffic flow prediction with long short-term memory networks (LSTMs)
CN108647834B (zh) 一种基于卷积神经网络结构的交通流预测方法
Zhao et al. Deep temporal convolutional networks for short-term traffic flow forecasting
CN109887282A (zh) 一种基于层级时序图卷积网络的路网交通流预测方法
Nikoo et al. Flood-routing modeling with neural network optimized by social-based algorithm
Lee et al. Application of artificial neural networks in tide-forecasting
CN108664687A (zh) 一种基于深度学习的工控系统时空数据预测方法
CN102622418B (zh) 一种基于bp神经网络的预测装置及设备
CN106203354A (zh) 基于混合深度结构的场景识别方法
CN110070715A (zh) 一种基于Conv1D-NLSTMs神经网络结构的道路交通流预测方法
CN107871136A (zh) 基于稀疏性随机池化的卷积神经网络的图像识别方法
CN108205889A (zh) 基于卷积神经网络的高速公路交通流预测方法
CN104732243A (zh) 基于cnn的sar目标识别方法
Papadopoulou et al. Computational benefits using artificial intelligent methodologies for the solution of an environmental design problem: saltwater intrusion
CN103345656A (zh) 一种基于多任务深度神经网络的数据识别方法及装置
CN108346293A (zh) 一种实时交通流短时预测方法
CN107045785B (zh) 一种基于灰色elm神经网络的短时交通流量预测的方法
Kabiri-Samani et al. Application of neural networks and fuzzy logic models to long-shore sediment transport
CN108122003A (zh) 一种基于深度神经网络的弱小目标识别方法
CN106373397A (zh) 基于模糊神经网络的遥感图像道路通行情况分析方法
CN107704970A (zh) 一种基于Spark的需求侧负荷预测方法
CN103886395A (zh) 一种基于神经网络模型的水库优化调度方法
CN110110085A (zh) 基于字符级神经网络与svm的交通事故文本分类方法和系统
CN107301376A (zh) 一种基于深度学习多层刺激的行人检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant