CN111524349B - 一种语境特征注入的多尺度交通流预测模型建立方法及使用方法 - Google Patents

一种语境特征注入的多尺度交通流预测模型建立方法及使用方法 Download PDF

Info

Publication number
CN111524349B
CN111524349B CN202010289889.5A CN202010289889A CN111524349B CN 111524349 B CN111524349 B CN 111524349B CN 202010289889 A CN202010289889 A CN 202010289889A CN 111524349 B CN111524349 B CN 111524349B
Authority
CN
China
Prior art keywords
layer
traffic flow
context
deep
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010289889.5A
Other languages
English (en)
Other versions
CN111524349A (zh
Inventor
屈立成
吕娇
王海飞
屈艺华
张明皓
李翔
李昭璐
张壮壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changan University
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202010289889.5A priority Critical patent/CN111524349B/zh
Publication of CN111524349A publication Critical patent/CN111524349A/zh
Application granted granted Critical
Publication of CN111524349B publication Critical patent/CN111524349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/0104Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125Traffic data processing
    • G08G1/0129Traffic data processing for creating historical data or processing based on historical data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • G06F30/27Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请属于交通技术领域,特别是涉及一种语境特征注入的多尺度交通流预测模型及方法。传统的交通流预测方法具有一定的片面性,在预测精度和稳定程度上不能达到很好的效果。本申请提供了一种语境特征注入的多尺度交通流预测模型,所述模型依次包括输入层,学习层、注入融合层和输出层,所述学习层包括深度循环神经网络分层和深度置信网络分层,所述输入层、所述深度循环神经网络分层和所述注入融合层依次排列,所述输入层、所述深度置信网络分层和所述注入融合层依次排列。通过将语境特征注入到时间序列特征之中,提高现有交通流预测模型的准确率,实现对交通流模式全面地仿真、评估和预测。

Description

一种语境特征注入的多尺度交通流预测模型建立方法及使用 方法
技术领域
本申请属于交通技术领域,特别是涉及一种语境特征注入的多尺度交通流预测模型建立方法及使用方法。
背景技术
交通流是指汽车在道路上连续行驶形成的车流。广义上还包括其他车辆的车流和人流。在某段时间内,在不受横向交叉影响的路段上,交通流呈连续流状态;在遇到路口信号灯管制时,呈断续流状态。交通流预测作为智能交通系统重要的组成部分,对预测道路拥堵和事故发生以及交通信号控制等起着十分重要的作用。特别是对于固定时间的信号控制策略,交通流预测是至关重要的。交通流预测模式、合适的历史数据等对预测精度都有很大的影响。随着社会的发展,人民生活水平提高,私家车逐渐进入平常家庭,但是也带来了很多的问题,如交通拥堵问题,严重影响了市民出行,因此交通流预测对于选择出行路线、先进的运输管理和旅行者路线规划至关重要。
传统的交通流预测方法要么只考虑了外部环境的影响因素,要么只考虑了内部运行的时间规律,都只涉及了影响交通流预测的其中一个方面,具有一定的片面性,在预测精度和稳定程度上不能达到很好的效果。
发明内容
1.要解决的技术问题
基于传统的交通流预测方法要么只考虑了外部环境的影响因素,要么只考虑了内部运行的时间规律,都只涉及了影响交通流预测的其中一个方面,具有一定的片面性,在预测精度和稳定程度上不能达到很好的效果的问题,本申请提供了一种语境特征注入的多尺度交通流预测模型建立方法及使用方法。
2.技术方案
为了达到上述的目的,本申请提供了一种语境特征注入的多尺度交通流预测模型的建立方法,所述模型依次包括输入层、学习层、注入融合层和输出层,所述学习层包括深度循环神经网络分层和深度置信网络分层,所述输入层、所述深度循环神经网络分层和所述注入融合层依次排列,所述输入层、所述深度置信网络分层和所述注入融合层依次排列;
所述输入层,用于输入历史时间序列数据和语境因素;
所述深度循环神经网络分层,用于学习交通流序列特征;
所述深度置信网络分层,用于学习交通流语境特征;
所述注入融合层,用于将提取到的语境特征注入到序列特征中,生成新的融合特征;
所述输出层,用于未来交通流的预测和输出。
本申请提供的另一种实施方式为:所述序列数据包括交通流序列,所述语境因素包括年、月、日、星期、节日、假日、时、分和每日数据时间点。
本申请提供的另一种实施方式为:所述注入融合层将提取到的语境特征注入到时间序列特征中,使用所述语境特征进一步挖掘交通流内部规律和发展趋势,预测未来交通流。
本申请提供的另一种实施方式为:所述输入层包括时间序列预测分层和语境因素预测分层,所述时间序列预测分层根据实际要求选择采集时间间隔。
本申请提供的另一种实施方式为:所述时间间隔包括5分钟、10分钟、15分钟、20分钟、30分钟和1小时。
本申请还提供一种使用语境特征注入的多尺度交通流预测方法,所述方法包括如下步骤:
步骤1):对历史数据进行清理并按照时间顺序组成一个长度固定的时间序列,通过输入层送入到深度循环神经网络分层中学习交通流的序列特征,同时,将预测时间点上的语境因素通过输入层送入到深度置信网络分层中,以学习和提取其中的语境特征;
步骤2):通过注意力机制将提取到的语境特征注入到序列特征中,生成新的融合特征;
步骤3):将生成的融合特征送入到输出层实现对未来交通流的预测。
本申请提供的另一种实施方式为:所述历史时间序列特征向量和语境特征向量通过特征注入融合方法融合为一个新的融合向量,做为一个整体送入模型后续部分。
本申请提供的另一种实施方式为:所述时间序列特征通过深度循环神经网络进行训练。
本申请提供的另一种实施方式为:所述语境特征通过多层深度置信网络进行训练。
3.有益效果
与现有技术相比,本申请提供的一种语境特征注入的多尺度交通流预测模型建立方法及使用方法的有益效果在于:
本申请提供的语境特征注入的多尺度交通流预测模型建立方法,为一种使用语境特征注入融合的的多尺度长短时记忆神经网络进行未来交通流预测的模型
本申请提供的语境特征注入的多尺度交通流预测模型建立方法,提高现有交通流预测模型的准确率。语境特征注入融合的多尺度交通流预测方法提供了一种准确率高,预测效果好,稳定的多尺度交通流预测方法。这些语境因素,又称情境因素,是交通流序列的元数据和内部属性,具有许多潜在的特征,这些特征对交通流预测有着重要的影响作用。这些内部因素伴随着数据而产生,不会发生改变并且很容易观测得到。
本申请提供的使用语境特征注入的多尺度交通流预测方法,针对现有的交通预测流在预测准确性方面准确率较低的问题,提出了一种语境特征注入融合的多尺度交通流预测方法。
本申请提供的使用语境特征注入的多尺度交通流预测方法,确定外部因素特别是数据自身属性对交通流预测的影响程度。
本申请提供的使用语境特征注入的多尺度交通流预测方法,研究时间序列特征提取网络的特征。
本申请提供的使用语境特征注入的多尺度交通流预测方法,研究因子特征提取网络的结构。
本申请提供的使用语境特征注入的多尺度交通流预测方法,研究非线性时间序列预测模型的内部结构和影响因素的注入方法,实现对时间序列特征和影响因素的高层抽象。
本申请提供的使用语境特征注入的多尺度交通流预测方法,研究模型特征注入框架,使用融合特征进行未来交通流预测。
本申请提供的使用语境特征注入的多尺度交通流预测方法,提出了一种语境特征注入融合的多尺度交通流预测方法,该模型将历史时间序列数据与语境因素相结合,挖掘交通流数据时间序列与语境因素之间的潜在关系。在该模型中,使用深度循环神经网络学习时间序列特征,通过深度置信网络分层提取语境因素特征,这些语境特征可以看作是语境因素的高级抽象表示。在此基础上,使用注入融合机制融合学习到的序列特征和语境特征,并通过一个预测器实现对未来交通流的预测。最后,以给定的时间间隔(例如5分钟、10分钟、15分钟、20分钟、30分钟或1小时)将采集到的交通流量数据送入模型,从而实现长短时、多尺度的交通流预测。
附图说明
图1是本申请的语境特征注入的多尺度交通流预测模型建立方法示意图;
图2是深度循环神经网络分层内部结构示意图。
具体实施方式
在下文中,将参考附图对本申请的具体实施例进行详细地描述,依照这些详细的描述,所属领域技术人员能够清楚地理解本申请,并能够实施本申请。在不违背本申请原理的情况下,各个不同的实施例中的特征可以进行组合以获得新的实施方式,或者替代某些实施例中的某些特征,获得其它优选的实施方式。
张量:一个物理量如果必须用n阶方阵描述,且满足某几种特定的运算规则(也就是说,这方阵通过这几种运算后得到的结果是规则指出的),则这个方阵描述的物理量称为张量。
参见图1~2,一种语境特征注入的多尺度交通流预测模型建立方法,所述模型依次包括输入层、学习层、注入融合层和输出层,所述学习层包括深度循环神经网络分层和深度置信网络分层,所述输入层、所述深度循环神经网络分层和所述注入融合层依次排列,所述输入层、所述深度置信网络分层和所述注入融合层依次排列;
所述输入层,用于输入历史时间序列数据和语境因素;
所述深度循环神经网络分层,用于学习交通流序列特征;
所述深度置信网络分层,用于学习交通流语境特征;
所述注入融合层,用于将提取到的语境特征注入到序列特征中,生成新的融合特征;
所述输出层,用于未来交通流的预测和输出。
进一步地,所述序列数据包括交通流序列,所述语境因素包括年、月、日、星期、节日、假日、时、分和每日数据时间点。
进一步地,所述注入融合层将提取到的语境因素注入到时间序列特征中,使用所述语境因素进一步挖掘交通流内部规律和发展趋势,预测未来交通流。
进一步地,所述输入层包括时间序列预测分层和语境因子预测分层,所述时间序列预测分层根据实际要求选择采集时间间隔。
进一步地,所述时间间隔包括5分钟、10分钟、15分钟、20分钟、30分钟和1小时。
本申请还提供一种使用语境特征注入的多尺度交通流预测方法,所述方法包括如下步骤:
步骤1):对历史数据进行清理并按照时间顺序组成一个长度固定的时间序列,通过输入层送入到深度循环神经网络分层中学习交通流的序列特征,同时,将预测时间点上的语境因素通过输入层送入到深度置信网络分层中,以学习和提取其中的语境特征;
步骤2):通过注意力机制将提取到的语境特征注入到序列特征中,生成新的融合特征;
步骤3):将生成的融合特征送入到输出层实现对未来交通流的预测。
进一步地,所述历史时间序列特征向量和语境特征向量通过向量注入方法合并为一个新组合向量,做为一个整体送入模型后续部分。
进一步地,所述时间序列特征通过深度循环神经网络进行训练。
1、准确率高
语境特征注入融合的多尺度交通流预测方法考虑了以前从未考虑过的时间序列本身带有的内部因素特征。这些内部因素特征极大的影响交通流预测的准确率。将历史时间序列特征和内部影响因素特征结合起来,极大的提高了交通流预测的精确度。本申请所提出的方法在预测准确性方面优于传统的交通流预测方法。精确的交通流量预测能够保障交通安全、环节交通拥堵,减少你交通事故,提高交通运输效率,同时能够降低能源消耗,减轻环境污染,促进“人、车、路之间的有机结合和协调发展”。
2、多尺度预测
语境特征注入融合的多尺度交通流预测方法采用了多尺度模型预测,不同于以往的预测模型,只能使用一个时间间隔进行训练及预测,本模型可以根据实际要求选择时间间隔对未来的交通流量进行预测。如5分钟、10分钟、15分钟、20分钟、30分钟和1小时等等。
3、稳定
不同时间和空间位置的变量对未来的预测任务有不同的影响。默认情况下,同一要素图中的所有要素变量都被视为相同的权重。内部因素可以看作是数据的元数据,它是不会改变的,它只和什么时间采集,是在那个采集点采集的等内部因素有关,与外部影响因素无关。所以语境特征注入的多尺度交通流预测方法是比较稳定的。
本申请主要研究外部因素特别是数据自身属性对交通趋势的影响,挖掘交通流及其语境因素之间的关联关系。本申请的特色之处在于第一次将数据内在属性作为了预测模型的输入内容,借用循环神经网络在时间序列预测方面的卓越表现,结合深度置信网络分层在非线性变换方面的独特优势,对时间序列特征和语境因素特征的进行了更高层次的抽象,同时引入了注入融合机制,对这两种通过学习得来的抽象特征进行融合,实现了对未来交通流量的预测输出。本申请创新之处主要有以下几个方面:
1、研究思路创新
本申请在分析交通流数据的长期趋势、周期特征和外部因素的基础上,重点研究交通流时间序列数据及其语境因素之间的关联关系,利用时间序列分析方法和非线性特征拟合模型,建立多尺度的长短时交通流预测模型,通过对时间序列特征的提取和语境因素高层抽象特征的注入和融合,从历史交通数据中挖掘出交通流及其语境因素之间的本质关系,从而对未来的交通运行状况和趋势作出准确可靠的预测。
2、模型结构创新
语境因素注入融合的交通流预测模型是一个由多个不同模块组合形成的复杂模型,其中包含了提取时间序列特征的深度循环神经网络(RNN)分层、提取语境因素特征的深度置信网络分层(DNN)、将提取到的语境特征注入时间序列特征中的注入融合机制以及用于最终交通流预测的预测器(模型输出)等多个部件,这些部件分别完成数据输入、处理、变换、融合与输出等不同的功能。模型的设计对外只保留了一个输入接口和一个输出接口,历史数据按照输入格式整理完成后输入模型,所有特征数据会自动在模型中逐层流动,直至最后输出预测结果。
3、训练方法创新
语境因素注入融合的交通流预测模型中每一个组成部分都需要仔细的训练和调试,以保障模型达到最优化状态。模型的训练方法分为各组成部分单独的逐层贪婪训练和模型整体的逐模块贪婪训练两个阶段。在每一个阶段都会根据各自的评估结果来对其结构和参数进行局部调整,以局部最优来最大可能的保障整体最优。
4、验证方法创新
使用历史的交通流数据从速度和交通流量两个维度对所提出的预测模型进行多数据来源、多交通模式、多时间尺度、多预测维度的测试评估,以验证所提出模型的正确性、鲁棒性以及对长短期交通流预测的适应性;同时使用多尺度多折交叉验证方法与常见典型的交通流预测方法的预测结果进行比对,以验证所提出的预测模型的准确性、普适性和先进性。
原始的交通流预测大部分只关注了外部影响因素和内部运行时间规律中的一个方面。考虑到时空因素的重要性和时间序列处理领域中关注机制的优良表现,我们提出了一种语境特征注入的多尺度交通流预测方法用于长短期交通流预测。首先,对历史数据进行清理并按照时间顺序组成一个长度固定的数据序列,送入到时间序列预测模型中学习交通流的序列特征;同时,将所使用的数据序列的语境特征输入到语境特征编码模型中,以学习和提取其中的语境特征,这些语境特征可以看作是语境因素的高级抽象表示;然后,通过注意力机制将提取到的语境特征注入到序列特征中,生成新的融合特征;最后,将生成的新的融合特征送入到预测器以实现对未来交通流的预测。
语境特征注入的时间序列预测模型框架结构如图1所示,该模型由五部分组成:用于交通流历史序列数据和语境因素输入的数据输入层;用于学习交通流序列特征的深度循环神经网络层;用于语境特征学习的深度置信网络层;用于特征融合的注意力机制的注入融合层;以及用于模型预测和输出的输出层。
1、数据输入
通常,以给定的时间间隔(5分钟、10分钟、15分钟、30分钟或1小时)收集业务流数据。N天的时间序列交通流数据可以用x表示,其中X=(X1,X2,...,XN)。Xi表示第i天的交通流数据向量,如公式(1)所示:
Figure GDA0003013483450000061
其中xi t是第i天t个时间点内的总交通流量,t∈(1,...T)。t是Xi的向量长度或一天中的数据点数T∈N*。如果时间间隔15分钟,则T=24*60/5=288。这意味着我们可以在5分钟间隔内每天捕获288个数据点。同样,每隔10分钟144次,15分钟间隔96次。
语境因素作为交通流时间序列数据的内在属性,伴随着交通流数据的产生而自动生成,这些语境因素从侧面反映了交通流运行时的外部状况。同样,我们将语境因素定义为Z,其中Z=(Z1,Z2,...,ZN)。Zi表示第i天与交通流量数据相连的因子向量,如公式(2)所示:
Figure GDA0003013483450000071
其中
Figure GDA0003013483450000072
是第i个时间点的第j个上下文因子,j∈(1,...J),j是语境因子的类型的计数,J∈N*,并且每行代表相关因子j的类型(小时、工作日、位置)。每个列代表时间点T的所有语境因素。T的定义和范围与上面的定义和范围相同。
本专利的目的是通过挖掘历史时间序列数据与语境因素之间的对应关系来预测交通流。在向模型提供数据之前,我们需要将数据点组织为一个序列,
Figure GDA0003013483450000073
其中L是时间序列滞后,t是预测时间点。我们将用这个新的时间序列训练和预测第一天的t个时间点的交通流量。然后结合t时间点的相关因子,将两个向量合并成一个组合张量
Figure GDA0003013483450000076
如公式(3)所示:
Figure GDA0003013483450000074
然而,数据中的每个时间序列是一个不同的尺度(例如,小时通常在0到23之间,但以5分钟为单位的流量约为1500)。所以我们会把每一个时刻表都标准化非依赖性,使他们都采取一个类似规模的小值。接下来,我们将找到一个满足我们需求的函数ψ(),将Xi t映射到
Figure GDA0003013483450000075
2、序列特征学习
LSTM单元的主要思想是引入自适应选通机制,该机制决定单元保持先前状态的程度并记住当前数据输入的提取特征。
LSTM的关键是单元状态,水平线贯穿图的顶部。电池状态有点像传送带。它直接沿着整个链运行,只有一些次要的线性交互。信息很容易沿着它不变地流动。
LSTM确实能够移除或添加信息到细胞状态,由称为门的结构精心调节。
Gates是一种可选择通过信息的方式。它们由S形神经网络层和逐点乘法运算组成。LSTM的关键思想是一种称为存储单元的新结构。它包含一个具有自我反复连接的神经元和与之相关的三个门。自回归连接允许存储器单元的状态从一个时间步长到另一个时间步长保持恒定而没有外部干扰。输入和输出门可以允许信号进入或离开神经元或阻止它。忘记门可以调制存储器单元的自我重复连接,允许单元记住或忘记其先前的状态。
为了便于描述,我们只考虑一个每日时间序列xt=(xt-L,xt-(L-1),...,xt-1),其中xt表示一天的第t个观测值,L是时间序列滞后,L∈N*。通常,LSTM存储单元:Wxi,Whi,bi;一个忘记门ft与相应的权重矩阵Wxf,Whf,bf;Wxo,Who,bo,所有这些门被设置为使用当前输入xt产生一定程度,来自先前单元的输出响应ht-1和先前单元Ct-1的单元状态,对于是否接受输入的决定,忘记之前存储的内存,并输出稍后生成的内存状态。门和存储单元状态的更新和输出定义如下公式所示:
it=σ(Wxixt+Whiht-1+bi) (4)
ft=σ(Wxfxt+Whfht-1+bf) (5)
Figure GDA0003013483450000081
Figure GDA0003013483450000082
ot=σ(Wxoxt+Whoht-1+bo) (8)
Figure GDA0003013483450000083
其中
Figure GDA0003013483450000084
表示哈达玛积。W矩阵是网络参数。非线性激活函数φ()和σ()分别是tan和sigmoid函数。先前的输出变为新的存储器状态。因此,当前单元状态Ct将通过使用先前单元状态和由单元生成的当前信息计算加权和来生成。
通过反向传播(BP)方法迭代地训练和更新LSTM的参数。在每个时间步骤中,存储器单元想要输出值h,并且最后输出ht-1是这些时间步长的期望预测交通流量。
通常,时间序列状态st=(ht-L,ht-(L-1),...,ht-1)可以用作堆叠LSTM神经网络中下一个LSTM层的输入。因此,第一层LSTM层中的所有存储器单元都分别将向量输出到第二层。在最后一个LSTM层中,我们仅考虑下一个关注层的最后一个存储器单元的隐藏状态ht-1。我们提出的模型中最后一个LSTM层的输出将所有ht-1排列为一个向量,由st={st m}Mm=1=(st 1,st 2,...,st M)表示,其中st m表示输出值第t系列中的最后一个存储单元。其中M是存储单元的输出维数,M∈N*。在这里,我们有一个高级别的输入时间序列表示,将用它来评估序列的重要性和注意力。
3、语境特征学习
对于上下文特征的提取和转换,我们使用一个级联的具有非线性处理单元的两层神经网络。在该多层深度置信网络中,语境因素序列zti将被馈送给第一层。每个连续层使用前一层的输出作为输入,并且根据前一层的输出,训练出一组不同的模式。因子是逐层聚合和重组的,因此,通过神经网络推进的更多因素有助于识别复杂模式。
DNN是完全连接和前馈神经网络。DNN的模型可以被视为简单的数学模型θ:
Figure GDA0003013483450000091
或Z上的分布,或Z和
Figure GDA0003013483450000092
两者。这里,Z是长一组语境因素,
Figure GDA0003013483450000093
是语境因素的高级抽象表示。假设z是语境因素的向量,z∈Z,当前,神经元网络函数f(z)可以被定义为某些函数g(z)的组合,并且每个层的函数可以被分解成其他函数。基于神经网络功能的定义,可以用描述函数之间相关性的箭头方便地设计网络结构。非线性加权和是一个广泛使用的函数,如公式(10)所示:
f(z)=p(∑t Wtg(z)+bt) (10)
其中Wt和bt分别是gt的权重和偏差参数;gt到特定函数,形成集合g=(g1,g2,…gt,…);P是预定义的函数,例如S形,最大值函数或整流函数,通常被称为激活函数。激活功能的一个重要特征是当输入值改变时它提供平滑过渡。在本文中,考虑了p的S形函数(1/(1+exp(-z)),它可以生成0和1之间的非线性值。
基于语境因素的DNN模型体系结构如图2所示,具有一些输入节点(zt∈Z)和若干输出节点,输入的高级表示,其可被定义为
Figure GDA0003013483450000094
使得
c=zW+b (11)
其中z是行上下文输入因子,即上下文因子的时间点向量,z∈R,d=Z;W是权重参数;B是偏量。如果W和B被赋予不同的含义和范围,则该公式也可用于表示一个神经元,一个层,甚至整个神经网络。以这种方式,一组单元被用于基于来自前一层的输入计算加权和,并且结果通过非线性函数传递到下一层。网络是通过将某个神经元的输出连接到其他神经元的输入来构建的,从而形成有向加权图。在将上下文因子向量馈送到网络中后,神经元和层的内部状态根据输入而改变,并且基于非线性加权求和和激活函数产生因子的高级标识。最后一个上下文神经网络层输出最终的上下文特征,其可以表示为ct={ct k}Kk=1=(ct 1,ct 2,...,ct K),其中ctk是时间t最后一层的第k个神经元的输出,K是最后一层中的神经元数量,K∈N*。在这里,我们得到了语境因素的高级表示,并将使用它来计算交通时间序列的重要性和注意力。
4、注入融合机制
不同时间和空间位置的变量对未来的预测任务有不同的影响。但是,默认情况下,同一要素图中的所有要素变量都被认为具有相同的权重。由于语境模型在自然语言处理中的普通使用,我们将其引用到交通时间序列的预测任务中。在该模型中,我们根据语境因素对时间序列特征的关注度进行加权,来预测交通流量。
通过DNN模型,我们学习了语境因素特征并且得到了语境因素向量ct=(ct 1,ct 2,...,ct K),其中ck t是时间点t的第k个神经元的输出,k是最后一个上下文DNN层中的神经元数量,K∈N*。我们通过堆叠LSTM得到时间序列输出st=(st 1,st 2,..,st M),其中M是最后一个LSTM层中最后一个存储单元的输出维数,M∈N*。当K和M的值相等时,它表示最后一个上下文提取层和最后一个系列特征提取层有相同的输出张量。现在,我们可以使用提取的语境因素ct来加权时间序列特征st。ct中的所有元素都希望通过最大值函数压缩到范围(0,1),然后乘以中间LSTM预测输出矩阵st。特征映射A的更高级表示由加权求和和注意操作形成,如公式(12)所示:
Figure GDA0003013483450000101
其中
Figure GDA0003013483450000102
表示哈达玛积,e为自然常数,ec表示对Θ向量的每一个元素分别应用指数函数;S为时间序列预测模型学习到的序列特征。最后,预测的交通流量
Figure GDA0003013483450000103
将由公式(13)计算:
Figure GDA0003013483450000104
其中σ是激活函数,实际使用时可取sigmoid函数;Wa权重矩阵,ba为偏执向量。用于模型预测和输出的完整连接层用于交通流的预测和预测结果的输出。
尽管在上文中参考特定的实施例对本申请进行了描述,但是所属领域技术人员应当理解,在本申请公开的原理和范围内,可以针对本申请公开的配置和细节做出许多修改。本申请的保护范围由所附的权利要求来确定,并且权利要求意在涵盖权利要求中技术特征的等同物文字意义或范围所包含的全部修改。

Claims (7)

1.一种语境特征注入的多尺度交通流预测模型的建立方法,其特征在于:所述模型依次包括输入层,学习层、注入融合层和输出层,所述学习层包括深度循环神经网络分层和深度置信网络分层,所述输入层、所述深度循环神经网络分层和所述注入融合层依次排列,所述输入层、所述深度置信网络分层和所述注入融合层依次排列;
所述输入层,用于输入历史时间序列数据和语境因素;
所述深度循环神经网络分层,用于学习交通流序列特征;
所述深度置信网络分层,用于学习交通流语境特征;
所述注入融合层,用于将提取到的语境特征注入到序列特征中,生成新的融合特征;
所述输出层,用于未来交通流的预测和输出;所述历史时间序列数据包括交通流序列,所述语境因素包括年、月、日、星期、节日、假日、时、分和每日数据时间点;所述注入融合层将提取到的语境特征注入到序列特征中,使用所述融合特征进一步挖掘交通流内部规律和发展趋势,预测未来交通流;所述输入层包括时间序列输入分层和语境因子输入分层,所述时间序列输入分层根据实际要求选择采集时间间隔,所述语境因子输入分层选用预测时间点上的语境数据作为输入。
2.如权利要求1中所述的语境特征注入的多尺度交通流预测模型的建立方法,其特征在于:所述时间间隔包括5分钟、10分钟、15分钟、20分钟、30分钟和1小时。
3.一种使用权利要求1或者2所述的语境特征注入的多尺度交通流预测模型进行语境特征注入的多尺度交通流预测方法,其特征在于:所述方法包括如下步骤:
步骤1):对历史数据进行清理并按照时间顺序组成一个长度固定的时间序列,通过输入层送入到深度循环神经网络分层中学习交通流的序列特征,同时,将预测时间点上的语境因素通过输入层送入到深度置信网络分层中,以学习和提取其中的语境特征;
步骤2):将提取到的语境特征注入到序列特征中,生成新的融合特征;
步骤3):将所述新的融合特征送入到输出层实现对未来交通流的预测;所述语境因素包括年、月、日、星期、节日、假日、时、分和每日数据时间点。
4.如权利要求3所述的语境特征注入的多尺度交通流预测方法,其特征在于:所述时间序列和所述语境因素通过向量注入方法生成为一个新的融合特征,做为一个整体送入模型后续部分。
5.如权利要求3所述的语境特征注入的多尺度交通流预测方法,其特征在于:所述序列特征通过深度循环神经网络进行训练。
6.如权利要求3所述的语境特征注入的多尺度交通流预测方法,其特征在于:所述的语境特征通过深度置信网络进行训练。
7.如权利要求3所述的语境特征注入的多尺度交通流预测方法,其特征在于:所述步骤2)中通过注意力机制将提取到的所述语境特征注入到所述序列特征中。
CN202010289889.5A 2020-04-14 2020-04-14 一种语境特征注入的多尺度交通流预测模型建立方法及使用方法 Active CN111524349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010289889.5A CN111524349B (zh) 2020-04-14 2020-04-14 一种语境特征注入的多尺度交通流预测模型建立方法及使用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010289889.5A CN111524349B (zh) 2020-04-14 2020-04-14 一种语境特征注入的多尺度交通流预测模型建立方法及使用方法

Publications (2)

Publication Number Publication Date
CN111524349A CN111524349A (zh) 2020-08-11
CN111524349B true CN111524349B (zh) 2021-05-25

Family

ID=71902038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010289889.5A Active CN111524349B (zh) 2020-04-14 2020-04-14 一种语境特征注入的多尺度交通流预测模型建立方法及使用方法

Country Status (1)

Country Link
CN (1) CN111524349B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023019507A1 (zh) * 2021-08-19 2023-02-23 浙江吉利控股集团有限公司 基于深度学习道路图像生成方法、装置、设备及存储介质
CN115063975B (zh) * 2022-06-09 2023-07-11 长安大学 短时交通流数据预测方法、系统、计算机设备及存储介质
CN118280115A (zh) * 2024-04-18 2024-07-02 杭州弘云信息咨询有限公司 基于提示式生成预训练变换网络的交通流预测方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528679A (zh) * 2016-10-24 2017-03-22 天津大学 基于多线性自回归模型的时间序列分析方法
CN107230351A (zh) * 2017-07-18 2017-10-03 福州大学 一种基于深度学习的短时交通流预测方法
CN110401978A (zh) * 2019-07-19 2019-11-01 中国电子科技集团公司第五十四研究所 基于神经网络和粒子滤波多源融合的室内定位方法
CN110442846A (zh) * 2019-07-18 2019-11-12 北京航空航天大学 一种新型多尺度注意力机制的序列数据预测系统
JP2019198376A (ja) * 2018-05-14 2019-11-21 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理システム
CN110851782A (zh) * 2019-11-12 2020-02-28 南京邮电大学 一种基于轻量级时空深度学习模型的网络流量预测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106528679A (zh) * 2016-10-24 2017-03-22 天津大学 基于多线性自回归模型的时间序列分析方法
CN107230351A (zh) * 2017-07-18 2017-10-03 福州大学 一种基于深度学习的短时交通流预测方法
JP2019198376A (ja) * 2018-05-14 2019-11-21 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理方法、及び医用画像処理システム
CN110442846A (zh) * 2019-07-18 2019-11-12 北京航空航天大学 一种新型多尺度注意力机制的序列数据预测系统
CN110401978A (zh) * 2019-07-19 2019-11-01 中国电子科技集团公司第五十四研究所 基于神经网络和粒子滤波多源融合的室内定位方法
CN110851782A (zh) * 2019-11-12 2020-02-28 南京邮电大学 一种基于轻量级时空深度学习模型的网络流量预测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种改进的深度置信网络在交通流预测中的应用;赵庶旭;《计算机应用研究》;20180209;全文 *
基于多尺度小波分解融合深度学习的短时交通流预测研究;杨松柳;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200115;全文 *
短时交通流预测问题的研究;于东海;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20170915;全文 *

Also Published As

Publication number Publication date
CN111524349A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
Bi et al. Daily tourism volume forecasting for tourist attractions
CN111524349B (zh) 一种语境特征注入的多尺度交通流预测模型建立方法及使用方法
Mazloumi et al. Prediction intervals to account for uncertainties in neural network predictions: Methodology and application in bus travel time prediction
Rahman et al. Short-term traffic speed prediction for freeways during hurricane evacuation: a deep learning approach
Zhang et al. A Traffic Prediction Method of Bicycle-sharing based on Long and Short term Memory Network.
CN111612243A (zh) 交通速度预测方法、系统及存储介质
Qu et al. Features injected recurrent neural networks for short-term traffic speed prediction
Lu et al. Lane-level traffic speed forecasting: A novel mixed deep learning model
Xu et al. AGNP: Network-wide short-term probabilistic traffic speed prediction and imputation
CN114565187B (zh) 一种基于图时空自编码网络的交通路网数据预测方法
CN110837888A (zh) 一种基于双向循环神经网络的交通缺失数据补全方法
Zhang et al. Short-term prediction of bike-sharing usage considering public transport: A LSTM approach
CN112927507B (zh) 一种基于LSTM-Attention的交通流量预测方法
Zhang et al. A hybrid deep learning approach for urban expressway travel time prediction considering spatial-temporal features
Siswanto et al. Number of Road Accidents Predicting Using Deep Learning-Based LSTM Development Models
Li et al. Hydropower generation forecasting via deep neural network
Awan et al. A Novel Deep Stacking-Based Ensemble Approach for Short-Term Traffic Speed Prediction
Qu et al. Temporal backtracking and multistep delay of traffic speed series prediction
Xian et al. Passenger flow prediction and management method of urban public transport based on SDAE model and improved Bi-LSTM neural network
Zhang et al. Adaboosting graph attention recurrent network: A deep learning framework for traffic speed forecasting in dynamic transportation networks with spatial-temporal dependencies
Chen Research on short-term traffic flow forecasting model based on LSTM
ZHAO et al. A mining algorithm to improve lstm for predicting customer churn in railway freight traffic
Zhang et al. Application of long short-term memory neural network for multi-step travel time forecasting on urban expressways
Utku Deep Learning Based an Efficient Hybrid Model for Urban Traffic Prediction
Rani et al. Gridlock Prediction using a Gated Recurrent Neural Network for Smart Transport Systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant