CN113821929B - 基于时空注意力机制的高速路网站点流量预测方法及系统 - Google Patents
基于时空注意力机制的高速路网站点流量预测方法及系统 Download PDFInfo
- Publication number
- CN113821929B CN113821929B CN202111123349.0A CN202111123349A CN113821929B CN 113821929 B CN113821929 B CN 113821929B CN 202111123349 A CN202111123349 A CN 202111123349A CN 113821929 B CN113821929 B CN 113821929B
- Authority
- CN
- China
- Prior art keywords
- time
- traffic
- attention
- vector
- flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000007246 mechanism Effects 0.000 title claims abstract description 35
- 238000012549 training Methods 0.000 claims abstract description 35
- 239000013598 vector Substances 0.000 claims description 124
- 230000002123 temporal effect Effects 0.000 claims description 33
- 238000000605 extraction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000009467 reduction Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000135164 Timea Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000288105 Grus Species 0.000 description 1
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 1
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 1
- 208000037004 Myoclonic-astatic epilepsy Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000000874 microwave-assisted extraction Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/12—Timing analysis or timing optimisation
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Geometry (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computer Hardware Design (AREA)
- Evolutionary Computation (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了基于时空注意力机制的高速路网站点流量预测方法及系统,通过构建目标站点的训练样本集,构建基于时空注意力机制的站点流量预测模型,并使用训练样本集中的训练数据训练站点流量预测模型,使其学习目标站点预测时刻的流量数据与其过去一段时间内的历史流量数据之间的时间依赖关系以及目标站点预测时刻的流量数据及其关键来源站点关联时刻的流量数据之间的动态空间相关性;并基于训练所得的时间依赖关系和动态空间相关性对目标站点的流量数据进行预测。本发明能捕捉目标站点的流量数据及其关键来源站点的流量数据之间的精确的动态空间相关性,并结合站点流量的时间依赖关系进行流量预测,从而提高复杂高速路网中站点流量的预测精度。
Description
技术领域
本发明涉及智能交通系统流量预测领域,尤其涉及基于时空注意力机制的高速路网站点流量预测方法及系统。
背景技术
交通流量预测是智能交通系统的重要研究领域。现有的研究方法主要包括基于统计学的方法、传统的机器学习方法和基于深度学习模型的方法。基于统计学的方法主要针对小数据集设计,不适合处理复杂动态的时间序列数据,且忽略了交通数据的空间依赖性;传统的机器学习方法能够处理高维数据并捕捉复杂的非线性关系,但其在挖掘复杂时空模式方面的能力仍然有限,且需要相应领域专家进行手工特征提取。随着深度学习方法的发展,得益于自动特征提取以及良好的性能表现,以循环神经网络(RNN)、卷积神经网络(CNN)和图卷积网络(GCN)等为代表的深度学习模型在交通领域广泛应用,并表现出较好的性能。
近年来国内外对高速公路交通流量预测的工作主要集中在高速公路断面流量(依靠车辆检测器、卡口、摄像头等设备获取),而对于高速公路收费站流量的研究相对较少。同时收费站流量除了具有时间上的依赖性,收费站之间还具有复杂的空间相关性。而以往的收费站流量预测方法容易忽视这种复杂的时空不确定性,特别是对于收费站点之间的动态空间关联性,CNN和GCN等方法也难以捕捉,缺乏有效的时空流量预测方法。
发明内容
本发明提供了基于时空注意力机制的高速路网站点流量预测方法及系统,用于解决现有的流量预测方法无法捕捉收费站点的动态空间关联性导致的预测不准的技术问题。
为解决上述技术问题,本发明提出的技术方案为:
一种基于时空注意力机制的高速路网站点流量预测方法,包括以下步骤:
构建目标站点的训练样本集,训练样本集中包括目标站点预测时刻对应的历史出站流量序列,历史出站流量序列对应的历史时间特征向量,目标站点预测时刻的时间特征向量及对应的关键来源站点关联时刻的入站流量特征向量;
构建基于时空注意力机制的站点流量预测模型,并使用训练样本集中的训练数据训练站点流量预测模型,使其学习目标站点预测时刻的流量数据与其过去一段时间内的历史流量数据之间的时间依赖关系以及目标站点预测时刻的流量数据及其关键来源站点关联时刻的流量数据之间的动态空间相关性;并基于训练所得的时间依赖关系和动态空间相关性对目标站点的流量数据进行预测。
优选的,时空注意力机制的站点流量预测模型包括:出站时间嵌入层、进站时间嵌入层、时间注意力块、空间注意力块以及第一全连接层;
出站时间嵌入层用于将历史时间特征向量转换为历史出站时间嵌入特征并进行历史时间特征提取;入站时间嵌入层用于将目标站点预测时刻的时间特征向量转换为入站时间嵌入特征并进行预测时刻时间特征提取;
时间注意力块用于根据历史出站流量序列及提取到的历史时间特征学习目标站点预测时刻的流量数据与其过去一段时间内的历史流量数据之间的时间依赖关系,并根据时间依赖关系提取目标站点流量在预测时刻的时间特征量;
空间注意力块用于根据关键来源站点关联时刻的入站流量特征向量及对应的预测时刻流量的时间特征学习目标站点预测时刻的流量数据与其关键来源站点关联时刻的流量数据之间的动态空间相关性,并根据学习得到动态空间相关性提取目标站点流量在预测时刻的空间特征量;
第一全连接层用于将时间注意力块提取的目标站点预测时刻流量的时间特征量以及空间注意力块提取的目标站点预测时刻流量的空间特征量进行整合,得到目标站点预测时刻的流量值。
优选的,关键来源站点关联时刻的入站流量特征向量通过以下步骤获取得到:
对于每一个目标站点,选取近期预设时间段或预设时刻的出站流量数据,追溯出站流量数据的来源站点,按来源流量的大小对目标站点的来源站点进行排序,选取来源流量的大小排名前N个来源站点作为目标站点的关键来源站点;
优选的,目标站点预测时刻对应的历史出站流量序列包括目标站点在多个不同时
刻的历史出站流量数据,对于目标站点每一时刻的历史出站流量数据,目标站点的历
史时间特征向量中均有历史出站流量数据对应时刻的多维出站时间特征;将目标站点
的历史时间特征向量转化为历史出站时间嵌入特征,包括以下步骤:
采用独热编码机制分别将目标站点的历史时间特征向量中每一时刻的多维出站
时间特征转换为嵌入子向量,再根据转换的各个嵌入子向量构建目标站点的出站时间
嵌入向量,再使用第二全连接层对出站时间嵌入向量进行时间特征的降维提取,得
到目标站点的历史出站时间嵌入特征。
优选的,将目标站点预测时刻的时间特征向量转换为入站时间嵌入特征,包括以下步骤:
优选的,出站时间特征的维度包括:出站流量数据位于一天中的第几个小
时、一周中的第几天、是否是周末以及是否是节假日;入站时间特征的维度包括入站流
量数据位于一天中的第几个小时、一周中的第几天、是否是周末以及是否是节假日。
优选的,时间注意力块为多头注意力结构,包括多个自注意力块,时间注意力块根据时间依赖关系提取目标站点的流量在预测时刻的时间特征量,包括以下步骤:
用第四全连接层将目标站点的历史出站流量序列进行降维特征提取,得到目标站
点的历史出站流量特征向量,构建目标站点的历史出站流量特征向量以及对应的
历史出站时间嵌入特征的组合向量,将组合向量
输入到时间注意力块中的每一个自注意力块中;
时间注意力块中的每一个自注意力块均计算组合向量的
query、key和value值,并根据组合向量的key值转置,并根据组合向量的query值以及转置后的key值计算组合向量的注意
力分数矩阵,再根据通过Softmax对组合向量的注意力分数矩阵进行归
一化,最后根据归一化后的注意力分数矩阵以及组合向量的value值计
算组合向量对应的输出;
将时间注意力块中的每个自注意力块的输出进行合并,并与预设的第一参数向量
相乘,作为时间注意力块中的多头注意力块的输出,再将时间注意力块中的多头注意力模
块的输出值输入到第五全连接层,得到作为时间注意力块的最终输出。
优选的,空间注意力块为多头注意力结构,包括多个自注意力块,空间注意力块根据时间依赖关系提取目标站点的流量在预测时刻的时间特征量,包括以下步骤:
将特征向量和进站时间嵌入特征向量结合为组合向量输入
到空间注意力块中的每一个自注意力块,空间注意力块中的每一个自注意力块均计算组合
向量的query、key和value值,并根据组合向量的key值转置,并
根据组合向量的query值以及转置后的key值计算组合向量的注
意力分数矩阵,再根据通过Softmax对组合向量的注意力分数矩阵进行归一
化,最后根据归一化后的注意力分数矩阵以及组合向量的value值计算组合
向量对应的输出;
将空间注意力块中的每个自注意力块的输出进行合并,并与预设的第二参数向量
相乘,作为空间注意力块中的多头注意力块的输出,再将空间注意力块中的多头注意力模
块的输出值输入到第七全连接层,得到作为空间注意力块的最终输出。
优选的,第一全连接层将时间注意力块提取的目标站点预测时刻流量的时间特征量以及空间注意力块提取的目标站点预测时刻流量的空间特征量进行整合,得到目标站点预测时刻的流量值,包括以下步骤:
将时间注意力块提取的目标站点预测时刻流量的时间特征量以及空间注意力块提取的目标站点预测时刻流量的空间特征量进行连接,得到目标站点预测时刻流量的时空特征量,将时空特征量输入到第一全连接层中,得到目标站点预测时刻的流量预测值。
一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述方法的步骤。
本发明具有以下有益效果:
1、本发明中的基于时空注意力机制的高速路网站点流量预测方法及系统,通过构建目标站点的训练样本集,训练样本集中包括目标站点预测时刻对应的历史出站流量序列,历史出站流量序列对应的历史时间特征向量,目标站点预测时刻的时间特征向量及对应的关键来源站点关联时刻的入站流量特征向量;构建基于时空注意力机制的站点流量预测模型,并使用训练样本集中的训练数据训练站点流量预测模型,使其学习目标站点预测时刻的流量数据与其过去一段时间内的历史流量数据之间的时间依赖关系以及目标站点预测时刻的流量数据及其关键来源站点关联时刻的流量数据之间的动态空间相关性;并基于训练所得的时间依赖关系和动态空间相关性对目标站点的流量数据进行预测。本发明能通过目标站点预测时刻的时间特征向量及对应的关键来源站点关联时刻的入站流量特征向量训练目标站点预测时刻的流量数据及其关键来源站点关联时刻的流量数据之间的动态空间相关性,并结合站点流量的时间依赖关系进行流量预测,能大大提高复杂高速路网环境下站点流量的预测精度。
除了上面所描述的目的、特征和优点之外,本发明还有其它的目的、特征和优点。下面将参照附图,对本发明作进一步详细的说明。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为本发明优选实施例中的站点流量预测模型(STAR)框架图。
图2为本发明优选实施例中的系统整体性能均值对比图。
图3为本发明优选实施例中的前N大站点MAE性能对比图。
图4为本发明优选实施例中的前N大站点RMSE性能对比图。
图5为本发明优选实施例中的前N大站点MAPE性能对比图。
图6为本发明优选实施例中的站点的性能CDF对比图。
图7为本发明优选实施例中的24h站点流量均值变化图。
图8为本发明优选实施例中的24h MAE性能时间变化图。
图9为本发明优选实施例中的不同方法工作日MAE性能对比CDF图。
图10为本发明优选实施例中的不同方法周末MAE性能对比CDF图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一:
本实施中公开一种基于时空注意力机制的高速路网站点流量预测方法,包括以下步骤:
构建目标站点的训练样本集,所述训练样本集中包括目标站点预测时刻对应的历史出站流量序列,所述历史出站流量序列对应的历史时间特征向量,目标站点预测时刻的时间特征向量及对应的关键来源站点关联时刻的入站流量特征向量;
构建基于时空注意力机制的站点流量预测模型,并使用所述训练样本集中的训练数据训练所述站点流量预测模型,使其学习目标站点预测时刻的流量数据与其过去一段时间内的历史流量数据之间的时间依赖关系以及目标站点预测时刻的流量数据及其关键来源站点关联时刻的流量数据之间的动态空间相关性;并基于训练所得的所述时间依赖关系和动态空间相关性对所述目标站点的流量数据进行预测。
此外,在本实施例中,还公开了一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
本发明能通过目标站点预测时刻的时间特征向量及对应的关键来源站点关联时刻的入站流量特征向量训练所述目标站点预测时刻的流量数据及其关键来源站点关联时刻的流量数据之间的动态空间相关性,并结合站点流量的时间依赖关系进行流量预测,能大大提高复杂高速路网环境下站点流量的预测精度。
实施例二:
实施例二是实施例一的优选实施例,其与实施例一的不同之处在于,对基于时空注意力机制的高速路网站点流量预测方法的具体步骤进行拓展:
在本实施例中,公开了一种基于时空注意力机制的高速路网站点流量预测方法,通过时间注意力和空间注意力机制,有效地捕捉高速公路收费站点流量的时间依赖性和动态的空间相关性,以提高复杂高速路网环境下站点流量的预测精度。
在本实施例中,以某省高速路网站点流量预测为例,将该方法应用到高速路网站点流量预测中。具体包含以下步骤:
步骤一:高速路网站点流量数据预处理
本实例数据集包含某省级高速路网系统的收费站进出站记录,通过对数据集进行
清洗和预处理,得到268个收费站点的进出站流量数据。其中流量的统计间隔为小时,每个
站点的流量数据均包含从2019年1月1日至2019年12月31日一年的收费站进出站流量数据,
流量单位为辆/小时。本发明按一定比例将数据集划分为训练集、验证集和测试集,训练集
用于模型训练,验证集和测试集用于模型评价。每个样本集包含8760条数据,按照6:1:3划
分为模型的训练集、验证集和测试集。在本实施例中,每一条训练样本均包括:目标站点预
测时刻前历史时间步的历史出站流量序列、预测时刻前历史时间步的历史时间特征向
量、目标站点预测时刻的时间特征向量、对应的关键来源站点关联时刻的入站流量特征向
量以及预测时刻的实际流量值,其中,实际流量值为训练样本的标签。
步骤二:构建基于时空注意力机制的站点流量预测模型
该模型是一种基于注意力机制的深度学习预测方法,包括出站时间嵌入层、进站时间嵌入层、时间注意力块和空间注意力块4个组件,并命名为STAR。
由于一天的第几个小时、工作日、周末和节假日等时间特征对站点流量存在显著影响,本发明设计了时间嵌入层对流量的时间特征进行建模,包括出站时间嵌入模块(OTE)和进站时间嵌入模块(ITE),分别对应图1中的“Outflow Temporal Embedding Layer”和“Inflow Temporal Embedding Layer”。
由于目标站点未来时刻的站点流量与其历史时间步长上的站点流量具有很强的相关性,且相关性与时间步长具有非线性依赖关系。为了捕捉这种非线性的依赖关系,本发明设计了时间注意力块(TAB)来自适应地捕捉不同时间步长流量之间的相关性,如图1中“Temporal Attention Block”模块。此部件内部采用多头注意力结构,模型的特征提取过程在具体实施方式中描述。
由于目标站点的出站流量来源于其他来源站点,因此不同站点流量之间存在空间
关联性和相互作用,且这种关联性是动态变化的。因此,本发明设计空间注意力块(SAB)来
捕捉目标站点与其来源站点之间的动态空间相关性,如附图1中“Spatial Attention
Block”模块。SAB的整体结构与TAB相似,与TAB不同的是,SAB的输入是一段时间前对目标站
点流量影响最大的前N个来源站点的进站流量特征和进站时间嵌入特征,模型的特征提
取过程在具体实施方式中描述。
步骤三:基于出站时间嵌入层提取出站时间嵌入特征向量
对于收费站点每个时刻的流量,提取其一天中第几个小时、一周中第几天、是否是
周末和是否是节假日4个时间特征。此实例中将历史时间步设置24,即通过对应站点历史
24个时间步来预测未来单个时间步的流量,得到当前站点的历史时间特征向量作为出站时间嵌入层的输入。然后,在出站时间嵌入层中采用独热编码
(one-hot)机制将该每个时刻的时间特征转换为嵌入向量, 包括一天中的第几个小时
(24个特征)、一周中的第几天(7个特征)、是否是周末(2个特征)和是否是节假日(2个特
征)。则得到T=24的历史时间特征向量对应的时间嵌入向量。最后,通过一
个全连接层对进行时间特征的提取,得到出站时间嵌入特征,并作为出站时间嵌入
层的输出,计算方法如公式(1)所示:
步骤四:基于时间注意力块捕捉站点流量的时间依赖关系
本发明采用的历史时间步长为=24,构建268个站点的出站流量向量,其中为站点m长度为24的历史出站流量序列,
将经过一个全连接层后得到的特征向量,然后将组合向量输
入到时间注意力块中,其中为出站时间嵌入层的输出向量。
步骤五:基于进站时间嵌入层得到进站时间嵌入特征向量
该步骤与步骤3中出站时间特征构建类似,对于收费站点每个时刻的流量,提取其
一天中第几个小时、一周中第几天、是否是周末和是否是节假日4个时间特征,不同的是此
处将时间步T设置1,即只得到站点预测时刻的时间嵌入向量作为进站时间嵌入
层的输入。然后,在进站时间嵌入层中,采用独热编码(one-hot)机制将转换为对应的时
间嵌入向量。最后,通过一个全连接层对进行时间特征的提取,得到进站
时间嵌入特征作为进站时间嵌入层的输出,计算方法如公式(4)所示:
步骤六:基于空间注意力块捕捉站点之间流量的动态空间相关性
对于每个目标站点,由流量数据追溯其来源站点,并按对应来源流量大小进行降
序排序。由于每个目标站点的来源站点数量不同,根据数据分析得知,影响目标站点出站流
量的主要是一些流量较大的来源站点,本发明选择每个站点的流量大小排名前10的来源站
点(N=10)作为该站点的来源站点集合,确定来源站点的集合后,计算从源站点n到目标站点
m的平均花费时间,然后对于预测站点m在时隙T+1的出站流量,追溯其来源站点n在时
间步的进站流量,最后将前N个来源站点的所有连接起来,得到进站流量
特征向量。对于得到的进站流量特征向量,经过一
层全连接层后得到特征向量,将和进站时间嵌入特征向量结合为组合向量输入到SAB中。
步骤七:基于提取到的时空特征预测流量值
步骤八:模型性能评估
为了验证本发明模型设计的有效性,采用站点流量数据进行模型训练和测试,训练集和测试集参见步骤1。本发明实施例中模型的训练参数为:批尺寸参数batchsize=16,训练轮次epoch=200,注意力头数h=8,学习率=0.001。
步骤8.1 对比实验
为了评估模型的性能,本发明通过对比实验和灼烧实验来评估模型中不同组件的有效性。
将本实施例中的预测模型STAR与以下几个流量预测方法进行对比,包括历史平均法、机器学习方法和一些先进的深度学习模型。
历史均值法(HA):采用过去一段时隙的历史流量平均值来作为下一个时间步的交通流量预测值。
差分自回归移动平均模型(ARIMA):一种广泛使用的时间序列预测模型,其结合了移动平均和统计学的自回归技术。
支持向量回归(SVR):一种使用线性支持向量机回归模型的预测方法。
长短期记忆网络(LSTM):一种循环神经网络(RNN)的变体,被广泛应用于时间序列预测的深度学习模型。
时间图卷积网络(T-GCN):一种将图卷积网络(GCN)和门控循环单元(GRU)结合起来进行交通流量预测的方法。
(1)整体性能比较
本发明使用历史均值法(HA)、支持向量机(SVR)、差分自回归移动平均模型(ARIMA)、长短期记忆网络(LSTM)和T-GCN等基线预测方法与STAR模型进行整体性能的比较评估,其中测试样本被平均分成10组,结果如图2所示,可以得到4个结论:1)本发明提出的STAR模型在所有指标上都显著优于其他方法。特别地,在MAPE评价方面,HA、ARIMA、SVR、LSTM和T-GCN的平均MAPE值分别为24.76%、20.61%、25.69%、22.31%和21.16%,而STAR模型可达到17.25%,与其他模型相比,提高了30.3%、57.52%、31.8%、22.6%、18.47%;2)由于深度学习方法在建模非线性关系上的优势,这类模型比传统的时间序列预测方法和机器学习模型表现更好;3)与其他基准方法相比,STAR模型偏差最低,证明了其性能的稳健性;4)由于HA、ARIMA、SVR和LSTM的预测方法只考虑了流量的时间特征,因此这些方法无法有效学习站点之间的空间相关性,而T-GCN以及STAR模型考虑了不同站点之间的空间关系,因此可以获得更好的预测性能。
(2)前N个站点的性能比较
本发明使用平均绝对误差(MAE)、均方根误差(RMSE)和平均绝对百分比误差
(MAPE)作为预测模型性能的评价指标,这三种指标被广泛应用于回归预测模型的评价。用和分别表示第i个时间步下流量的真实值和预测值,n为预测总数。计算方式如公式
(8)、(9)、(10):
为了测试不同规模站点的预测性能,本发明对268个站点按日均流量进行降序排序,并选取前N个站点测试模型性能。图3、4和5分别展示了在N的不同取值下,MAE、RMSE和MAPE三个指标的结果,其中N值分别取50、100、150、200和250。结果表明,本发明提出的方法STAR模型在所有N值下均可以达到最优性能,且与其他基线方法相比性能提升显著。此外,还可以观察到MAE和RMSE值随着N值增大而下降,这表明大规模站点的预测值和流量真值之间的绝对预测误差要大于小规模站点,而MAPE随着N的增加而增加,这是因为虽然在小规模的站点,绝对预测误差较小,但站点的流量真实值也很小,导致较大的相对误差。
(3)时空预测性能对比
除了站点整体性能表现外,本发明进一步分析了STAR模型的时空预测性能,即它在不同站点和时间上的表现。图6展示了在不同预测方法下,各站点预测性能MAE的累计分布函数(CDF)结果,可以观察到,与其他基线模型相比,STAR模型的性能最优,且有显著的性能提升。具体而言,对于80%百分位数,STAR模型的MAE值约为18,而其他基线的MAE值则在30左右。这表明STAR模型不仅在系统的整体性能上具有最好的表现,而且在不同站点的性能表现上也更加稳健。图7和8则展示了所有站点的平均站点流量以及MAE在一天中不同时间段变化的情况,发现所有方法预测性能的变化与系统流量均值变化趋势类似,表明当系统流量较大时,绝对预测误差也随之增大,然而,STAR模型的性能曲线比其他基线的变化更平稳。此外,随着时间的推移,MAE值仍然保持最低,这表明即使随着系统流量的增加,STAR模型的表现也比较稳定(如图中08:00-20:00曲线部分)。此外,图9和图10分别展示了在工作日和周末时的MAE的CDF图,可以发现无论是工作日还是周末,STAR模型的预测性能都显著优于其他基线,进一步证明了STAR模型的稳健性。
步骤8.2 灼烧实验
为了评估STAR模型中不同组件的有效性,本发明通过灼烧实验进行验证,表1展示了三个指标,即MAE、RMSE、MAPE的分析结果。结果表明,删除每个组件都会显著影响方法的整体性能,特别地,当分别减少时间注意力块、进站时间嵌入层、进站和出站时间嵌入层、空间注意力块和出站时间嵌入层时,MAPE可从17.25%扩大到201.53%、36.27%、30.42%、25.98%和23.07%。此外,值得注意的是,当STAR模型缺少时间注意力块而不能提取出站流量的时间依赖性时,预测性能会发生显著下降,表明时序特征对站点流量存在显著的影响。
表1 灼烧实验结果
综上所述,本发明公开的基于时空注意力机制的高速路网站点流量预测方法,通过时间注意力和空间注意力机制,有效地捕捉高速公路收费站点流量的时间依赖性和动态的空间相关性,以提高复杂高速路网环境下站点流量的预测精度。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于时空注意力机制的高速路网站点流量预测方法,其特征在于,包括以下步骤:
构建目标站点的训练样本集,所述训练样本集中包括目标站点预测时刻对应的历史出站流量序列,所述历史出站流量序列对应的历史时间特征向量,目标站点预测时刻的时间特征向量及对应的关键来源站点关联时刻的入站流量特征向量;
构建基于时空注意力机制的站点流量预测模型,并使用所述训练样本集中的训练数据训练所述站点流量预测模型,使其学习目标站点预测时刻的流量数据与其过去一段时间内的历史流量数据之间的时间依赖关系以及目标站点预测时刻的流量数据及其关键来源站点关联时刻的流量数据之间的动态空间相关性;并基于训练所得的所述时间依赖关系和动态空间相关性对所述目标站点的流量数据进行预测;
所述时空注意力机制的站点流量预测模型包括:出站时间嵌入层、进站时间嵌入层、时间注意力块、空间注意力块以及第一全连接层;
所述出站时间嵌入层用于将所述历史时间特征向量转换为历史出站时间嵌入特征并进行历史时间特征提取;所述进站时间嵌入层用于将目标站点预测时刻的时间特征向量转换为入站时间嵌入特征并进行预测时刻时间特征提取;
所述时间注意力块用于根据所述历史出站流量序列及提取到的历史时间特征学习目标站点预测时刻的流量数据与其过去一段时间内的历史流量数据之间的时间依赖关系,并根据所述时间依赖关系提取目标站点流量在预测时刻的时间特征量;
所述空间注意力块用于根据所述关键来源站点关联时刻的入站流量特征向量及对应的预测时刻流量的时间特征学习目标站点预测时刻的流量数据与其关键来源站点关联时刻的流量数据之间的动态空间相关性,并根据学习得到所述动态空间相关性提取目标站点流量在预测时刻的空间特征量;
所述第一全连接层用于将所述时间注意力块提取的目标站点预测时刻流量的时间特征量以及所述空间注意力块提取的目标站点预测时刻流量的空间特征量进行整合,得到目标站点预测时刻的流量值。
2.根据权利要求1所述的基于时空注意力机制的高速路网站点流量预测方法,其特征在于,所述关键来源站点关联时刻的入站流量特征向量通过以下步骤获取得到:
对于每一个目标站点,选取近期预设时间段或预设时刻的出站流量数据,追溯所述出站流量数据的来源站点,按来源流量的大小对目标站点的来源站点进行排序,选取来源流量的大小排名前N个来源站点作为所述目标站点的关键来源站点;
3.根据权利要求2所述的基于时空注意力机制的高速路网站点流量预测方法,其特征在于,所述目标站点预测时刻对应的历史出站流量序列包括目标站点在多个不同时刻的历史出站流量数据,对于所述目标站点每一时刻的历史出站流量数据xout,所述目标站点的历史时间特征向量中均有所述历史出站流量数据xout对应时刻的多维出站时间特征Tout;将所述目标站点的历史时间特征向量转化为历史出站时间嵌入特征,包括以下步骤:
采用独热编码机制分别将所述目标站点的历史时间特征向量中每一时刻的多维出站时间特征Tout转换为嵌入子向量,再根据所述转换的各个嵌入子向量构建所述目标站点的出站时间嵌入向量Eout,再使用第二全连接层对所述出站时间嵌入向量Eout进行时间特征的降维提取,得到所述目标站点的历史出站时间嵌入特征αout。
4.根据权利要求3所述的基于时空注意力机制的高速路网站点流量预测方法,其特征在于,将目标站点预测时刻的时间特征向量转换为入站时间嵌入特征,包括以下步骤:
采用独热编码机制将所述目标站点预测时刻的时间特征向量中的多维入站时间特征Tin转换为预测时刻的入站时间嵌入向量Ein,再使用第三全连接层对所述入站时间嵌入向量Ein进行时间特征的降维提取,得到所述目标站点的入站时间嵌入特征αin。
5.根据权利要求4所述的基于时空注意力机制的高速路网站点流量预测方法,其特征在于,所述出站时间特征Tout的维度包括:所述历史出站流量数据xout位于一天中的第几个小时、一周中的第几天、是否是周末以及是否是节假日;所述入站时间特征Tin的维度包括入站流量特征向量Xin位于一天中的第几个小时、一周中的第几天、是否是周末以及是否是节假日。
6.根据权利要求5所述的基于时空注意力机制的高速路网站点流量预测方法,其特征在于,所述时间注意力块为多头注意力结构,包括多个自注意力块,所述时间注意力块根据所述时间依赖关系提取目标站点的流量在预测时刻的时间特征量,包括以下步骤:
用第四全连接层将所述目标站点的历史出站流量序列进行降维特征提取,得到所述目标站点的历史出站流量特征向量X′out,构建所述目标站点的历史出站流量特征向量X′out以及对应的历史出站时间嵌入特征αout的组合向量Ωout=[αout,X′out],将所述组合向量Ωout=[αout,X′out]输入到所述时间注意力块中的每一个自注意力块中;
所述时间注意力块中的每一个自注意力块均计算所述组合向量Ωout=[αout,X′out]的query、key和value值,并根据所述组合向量Ωout=[αout,X′out]的key值转置,并根据所述组合向量Ωout=[αout,X′out]的query值以及转置后的key值计算所述组合向量Ωout=[αout,X′out]的注意力分数矩阵,再根据通过Softmax对所述组合向量Ωout=[αout,X′out]的注意力分数矩阵进行归一化,最后根据归一化后的注意力分数矩阵以及所述组合向量Ωout=[αout,X′out]的value值计算所述组合向量Ωout=[αout,X′out]对应的输出;
将所述时间注意力块中的每个自注意力块的输出进行合并,并与预设的第一参数向量相乘,作为所述时间注意力块中的多头注意力块的输出,再将所述时间注意力块中的多头注意力模块的输出值输入到第五全连接层,得到TABout作为时间注意力块的最终输出。
7.根据权利要求6所述的基于时空注意力机制的高速路网站点流量预测方法,其特征在于,所述空间注意力块为多头注意力结构,包括多个自注意力块,所述空间注意力块根据所述时间依赖关系提取目标站点的流量在预测时刻的时间特征量,包括以下步骤:
通过第六全连接层对所述目标站点预测时刻的入站流量特征向量Xin进行降维特征提取,得到所述特征向量X′in;
将所述特征向量X′in和进站时间嵌入特征向量αin结合为组合向量Ωin=[αin,X′in]输入到所述空间注意力块中的每一个自注意力块,所述空间注意力块中的每一个自注意力块均计算所述组合向量Ωin=[αin,X′in]的query、key和value值,并根据所述组合向量Ωin=[αin,X′in]的key值转置,并根据所述组合向量Ωin=[αin,X′in]的query值以及转置后的key值计算所述组合向量Ωin=[αin,X′in]的注意力分数矩阵,再根据通过Softmax对所述组合向量Ωin=[αin,X′in]的注意力分数矩阵进行归一化,最后根据归一化后的注意力分数矩阵以及所述组合向量Ωin=[αin,X′in]的value值计算所述组合向量Ωin=[αin,X′in]对应的输出;
将所述空间注意力块中的每个自注意力块的输出进行合并,并与预设的第二参数向量相乘,作为所述空间注意力块中的多头注意力块的输出,再将所述空间注意力块中的多头注意力模块的输出值输入到第七全连接层,得到SABin作为空间注意力块的最终输出。
8.根据权利要求7所述的基于时空注意力机制的高速路网站点流量预测方法,其特征在于,所述第一全连接层将所述时间注意力块提取的目标站点预测时刻流量的时间特征量以及所述空间注意力块提取的目标站点预测时刻流量的空间特征量进行整合,得到目标站点预测时刻的流量值,包括以下步骤:
将所述时间注意力块提取的目标站点预测时刻流量的时间特征量以及所述空间注意力块提取的目标站点预测时刻流量的空间特征量进行连接,得到所述目标站点预测时刻流量的时空特征量,将所述时空特征量输入到所述第一全连接层中,得到所述目标站点预测时刻的流量预测值。
9.一种计算机系统,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1至8任一所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111123349.0A CN113821929B (zh) | 2021-09-24 | 2021-09-24 | 基于时空注意力机制的高速路网站点流量预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111123349.0A CN113821929B (zh) | 2021-09-24 | 2021-09-24 | 基于时空注意力机制的高速路网站点流量预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113821929A CN113821929A (zh) | 2021-12-21 |
CN113821929B true CN113821929B (zh) | 2022-08-02 |
Family
ID=78915491
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111123349.0A Active CN113821929B (zh) | 2021-09-24 | 2021-09-24 | 基于时空注意力机制的高速路网站点流量预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113821929B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537392A (zh) * | 2018-04-26 | 2018-09-14 | 重庆大学 | 一种基于时空特征预测轨道交通站点出站客流量的方法 |
CN109754605A (zh) * | 2019-02-27 | 2019-05-14 | 中南大学 | 一种基于注意力时态图卷积网络的交通预测方法 |
CN109919358A (zh) * | 2019-01-31 | 2019-06-21 | 中国科学院软件研究所 | 一种基于神经网络时空注意力机制的实时站点流量预测方法 |
CN111292562A (zh) * | 2020-05-12 | 2020-06-16 | 北京航空航天大学 | 一种航空流量预测方法 |
CN111651504A (zh) * | 2020-06-03 | 2020-09-11 | 湖南大学 | 基于深度学习的多元时间序列多层时空依赖建模方法 |
CN112801355A (zh) * | 2021-01-20 | 2021-05-14 | 南京航空航天大学 | 基于长短期时空数据多图融合时空注意力的数据预测方法 |
CN112990594A (zh) * | 2021-03-30 | 2021-06-18 | 上海海事大学 | 一种基于多头自注意力机制的交通流量预测模型及方法 |
CN113285721A (zh) * | 2021-06-10 | 2021-08-20 | 北京邮电大学 | 一种面向稀疏移动感知数据的重构与预测算法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11158048B2 (en) * | 2019-06-28 | 2021-10-26 | Shandong University Of Science And Technology | CT lymph node detection system based on spatial-temporal recurrent attention mechanism |
CN112257918B (zh) * | 2020-10-19 | 2021-06-22 | 中国科学院自动化研究所 | 基于内嵌注意力机制的循环神经网络的交通流量预测方法 |
-
2021
- 2021-09-24 CN CN202111123349.0A patent/CN113821929B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108537392A (zh) * | 2018-04-26 | 2018-09-14 | 重庆大学 | 一种基于时空特征预测轨道交通站点出站客流量的方法 |
CN109919358A (zh) * | 2019-01-31 | 2019-06-21 | 中国科学院软件研究所 | 一种基于神经网络时空注意力机制的实时站点流量预测方法 |
CN109754605A (zh) * | 2019-02-27 | 2019-05-14 | 中南大学 | 一种基于注意力时态图卷积网络的交通预测方法 |
CN111292562A (zh) * | 2020-05-12 | 2020-06-16 | 北京航空航天大学 | 一种航空流量预测方法 |
CN111651504A (zh) * | 2020-06-03 | 2020-09-11 | 湖南大学 | 基于深度学习的多元时间序列多层时空依赖建模方法 |
CN112801355A (zh) * | 2021-01-20 | 2021-05-14 | 南京航空航天大学 | 基于长短期时空数据多图融合时空注意力的数据预测方法 |
CN112990594A (zh) * | 2021-03-30 | 2021-06-18 | 上海海事大学 | 一种基于多头自注意力机制的交通流量预测模型及方法 |
CN113285721A (zh) * | 2021-06-10 | 2021-08-20 | 北京邮电大学 | 一种面向稀疏移动感知数据的重构与预测算法 |
Non-Patent Citations (4)
Title |
---|
Flow Prediction in Spatio-Temporal Networks Based on Multitask Deep Learning;Junbo Zhang,et al.;《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》;20190109;第32卷(第3期);第468-478页 * |
The Deep 3D Convolutional Multi-Branching Spatial-Temporal-Based Unit Predicting Citywide Traffic Flow;Zain Ul Abideen,et al.;《applied sciences》;20201103;第1-25页 * |
基于时空注意力机制的高速公路收费站多时段出口流量预测方法研究;黄子敬;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技II辑》;20210215(第2期);C034-995 * |
基于注意力机制的交通流时空预测模型研究;李林杰;《中国优秀博硕士学位论文全文数据库(硕士) 工程科技II辑》;20210215(第2期);第5节 * |
Also Published As
Publication number | Publication date |
---|---|
CN113821929A (zh) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111161535B (zh) | 基于注意力机制的图神经网络交通流量预测方法及系统 | |
CN109492822B (zh) | 空气污染物浓度时空域关联预测方法 | |
Bui et al. | A deep learning approach for forecasting air pollution in South Korea using LSTM | |
CN111210633B (zh) | 一种基于深度学习的短时交通流预测方法 | |
CN110570651A (zh) | 一种基于深度学习的路网交通态势预测方法及系统 | |
CN103268519A (zh) | 基于改进Lyapunov指数的电力系统短期负荷预测方法及装置 | |
CN113988373B (zh) | 基于多通道卷积神经网络的多任务海量用户负荷预测方法 | |
CN117076931B (zh) | 一种基于条件扩散模型的时间序列数据预测方法和系统 | |
CN112508265A (zh) | 面向业务流程管理的时间与活动多任务预测方法及系统 | |
CN113255900A (zh) | 一种考虑改进谱聚类与Bi-LSTM神经网络的冲击性负荷预测方法 | |
CN113807951A (zh) | 一种基于深度学习的交易数据趋势预测方法和系统 | |
CN113537469B (zh) | 一种基于LSTM网络和Attention机制的城市需水预测方法 | |
CN115146842A (zh) | 基于深度学习的多元时间序列趋势预测方法和系统 | |
CN116703644A (zh) | 一种基于Attention-RNN的短期电力负荷预测方法 | |
CN111145535B (zh) | 一种复杂场景下的行程时间可靠性分布预测方法 | |
CN115983087A (zh) | 一种注意力机制与lstm结合检测时序数据异常方法及终端机 | |
CN115759461A (zh) | 一种面向物联网的多元时间序列预测方法及系统 | |
CN115206092A (zh) | 一种基于注意力机制的BiLSTM和LightGBM模型的交通预测方法 | |
CN113762591A (zh) | 一种基于gru和多核svm对抗学习的短期电量预测方法及系统 | |
CN113821929B (zh) | 基于时空注意力机制的高速路网站点流量预测方法及系统 | |
CN116913098A (zh) | 一种融合空气质量与车流量数据的短时交通流预测方法 | |
CN114626618B (zh) | 基于自注意力机制的学生退课行为可解释预测方法 | |
CN116646917A (zh) | 一种校园多步概率电力负荷预测方法及系统 | |
CN116011654A (zh) | 基于电力负荷数据的小区人气指数预测方法 | |
CN114676887A (zh) | 一种基于图卷积stg-lstm的河流水质预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |