CN116596151B - 基于时空图注意力的交通流量预测方法及计算设备 - Google Patents
基于时空图注意力的交通流量预测方法及计算设备 Download PDFInfo
- Publication number
- CN116596151B CN116596151B CN202310622292.1A CN202310622292A CN116596151B CN 116596151 B CN116596151 B CN 116596151B CN 202310622292 A CN202310622292 A CN 202310622292A CN 116596151 B CN116596151 B CN 116596151B
- Authority
- CN
- China
- Prior art keywords
- time
- attention
- traffic flow
- node
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000010586 diagram Methods 0.000 title claims abstract description 27
- 230000001364 causal effect Effects 0.000 claims abstract description 52
- 230000006870 function Effects 0.000 claims abstract description 32
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 10
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 239000011159 matrix material Substances 0.000 claims description 32
- 230000007246 mechanism Effects 0.000 claims description 17
- 239000013598 vector Substances 0.000 claims description 17
- 230000010339 dilation Effects 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 239000010410 layer Substances 0.000 description 39
- 230000002123 temporal effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 101150079125 DCN1 gene Proteins 0.000 description 3
- 102100026982 DCN1-like protein 1 Human genes 0.000 description 3
- 101100330861 Homo sapiens DCUN1D1 gene Proteins 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000036962 time dependent Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- -1 and finally Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Economics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Development Economics (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Marketing (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Operations Research (AREA)
- Educational Administration (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Game Theory and Decision Science (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于时空图注意力的交通流量预测方法,其特征在于,包括:S1.获取交通流数据集并进行预处理;S2.将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征,所述交通流量预测模型包含时间注意力模块和四个叠加时空卷积块ST‑Block;每个叠加时空卷积块ST‑Block包括两个门控扩张因果卷积模块,一个图注意力网络;S3.所述隐藏特征经过两组RelU函数和Linear完成隐藏层到输出层的线性变换以实现隐藏特征到交通流量预测结果的映射。本发明能够有效增强对交通路网中的时空相关性特征提取及分析,提高了预测的准确性和稳定性。
Description
技术领域
本发明涉及智能预测技术领域,特别涉及一种基于时空图注意力的交通流量预测方法及计算设备。
背景技术
随着智慧城市建设的逐步扩展,由数据驱动的交通时空大数据预测模型层出不穷。时空数据特别是交通时空大数据对于相关研究工作起到了决定性的支撑作用,其数据结构在现实生活中非常具有代表性。交通流量预测是智能交通系统(ITS)的重要组成部分之一,时刻影响着人们对日常生活。随着智能化进程的加快,城市人口的扩张速度对城市道路交通基础设施提出了重大的挑战,探索交通网络中复杂的时空相关性成为交通预测研究工作中的重中之重。
交通流量预测的目的是通过分析历史交通状态数据,如交通流量、速度和车道占有率等,来预测道路系统的未来交通情况。近年来,随着图神经网络的发展,基于时空数据的图建模成为了研究热点,许多工作在预测精度方面取得了喜人的成绩。但仍有两个关键因素仍被忽视。第一个限制是缺乏对时间依赖性的交通数据进行全局性及长期性的探索,从而导致数据预测实效性差等问题;第二个限制是在以往工作中经常使用的基于GCN的空间建模方法是一种基于全图的计算方式,它需要预定义的邻接矩阵作为卷积基底,以此来获取空间的相关性。但从现实角度来看,交通路网的空间依赖性从来不是一成不变的,GCN无法捕捉这种动态特征。
发明内容
为了解决上述现有技术的不足,本发明实施例提出了一种基于时空图注意力的交通流量预测方法及计算设备,以增强对交通路网的时空相关性特征提取,提高对交通流量的预测精度。
为了解决上述技术问题,本发明实施例提供了一种基于时空图注意力的交通流量预测方法,所述方法包括:
S1.获取交通流数据集并进行预处理;
S2.将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征,所述交通流量预测模型包含时间注意力模块和四个叠加时空卷积块ST-Block;每个叠加时空卷积块ST-Block包括两个门控扩张因果卷积模块,一个图注意力网络;
S3.所述隐藏特征经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换以实现隐藏特征到交通流量预测结果的映射。
优选的,所述获取交通流数据集并进行预处理具体包括:
从公开的交通流数据集获取交通路网G的基本图结构信息、时间序列数据及交通特征数据,具体包括:
将交通路网拓扑图G定义为无向图G=(V,E),其中V表示为N个传感器节点的有限集合,E为边的集合,表示节点间的连通性,G的邻接矩阵由A∈RN×N表示,每个节点在一个时间片上以相同的采样频率检测L个交通流量序列;
定义表示传感器节点i在t时刻的第c个特征的值;
表示传感器节点i在t时刻的所有特征的值,所述特征包括车辆流量、车辆速度或车道占有率;
表示t时刻的所有节点的所有特征值;
表示时间片/>上所有节点的所有特征值。
优选的,所述将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征具体包括:
通过基于时空图注意力的交通流量预测模型的时间注意力层对时间序列进行时间相关性特征获取,时间注意力公式为:
U={T11,T12,...,Tmn}∈RN×N
其中,为可学习参数,时间相关性矩阵T由动态输入的/>确定,Tmn的值表示时间片m和时间片n之间的依赖关系的强度;
使用softmax函数对时间相关性矩阵T进行归一化操作,并将归一化后得到的时间注意力矩阵U直接用于门控扩张因果卷积的输入;
使用门控扩张因果卷积对时间注意力矩阵U进行时间特征提取。
优选的,所述使用门控扩张因果卷积对时间注意力矩阵U进行时间特征提取具体包括:
设门控因果卷积的卷积核大小为Kt,对于交通路网G中的每个节点,对每个节点进行扩张因果卷积的输入视为通道数为Ci、长度为M的序列卷积核/>将输入γ映射到单个输出元素/>门控扩张因果卷积被定义为:
σ=σ(Q(U))
其中,U为上一时间注意力层的输出;P,Q代表经过两个通道的扩张因果卷积输出结果DCN1和DCN2,两个扩张因果卷积形式一样,其中一个用sigmoid函数激活,另一个不加激活函数,然后将其逐位相乘,即
sigmoid门σ(Q(U))用于控制当前状态的输入流Q(U),sigmoid函数的值域是(0,1)。
优选的,所述将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征具体包括:
通过图注意力网络对历史交通数据进行空间特征提取处理,具体包括:
所述图注意力网络的输入为一组节点特征向量h;
设交通路网上的每个传感器节点具有相同的采样频率,每个节点在每个时间片内会生成一段长度为S的特征向量;
设交通路网无向图G包含N个传感器节点,每个节点的特征向量表示为hi,节点特征数为F,即
通过所述图注意力网络,通过可学习的线性变换将输入特征转化为更高层次的特征/>作为图注意力网络的输出;
通过softmax函数参数化一个权重矩阵且作用于每一个节点,使用Attention机制计算节点j对节点i的重要性eij,表示为
使用softmax函数对eij进行归一化操作,得到注意力系数αij,表示为
其中,表示节点i的邻居节点集合,T表示转置,∥表示concat操作;
注意力机制a把节点i,j的特征向量h′i,h′j拼接在一起,然后和一个维度为2F′的向量计算内积,最后经过激活函数LeakyReLU得到最终注意力系数,表示为:
其中,T示转置,||表示concat操作;
赋予注意力权重后的节点i的特征向量表示为:
其中,σ是一个非线性函数;
最终空间注意力矩阵W表示为:
W={h′1,h′2,...,h′i}∈RN
再次使用门控扩张因果卷积空间注意力矩阵进行时空特征融合,得到预测交通流量的空间特征信息。
优选的,所述所述隐藏特征经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换以实现隐藏特征到交通流量预测结果的映射具体包括:
经由时间注意力层和叠加时空卷积块提取后的隐藏特征数据连接至输出层,经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换,得到最终交通流量预测结果。
第二方面,本发明实施例还提供了一种计算设备,所述计算设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时执行如前述的基于时空图注意力的交通流量预测方法。
通过本发明所构思的以上技术方案,本发明实施例相对于现有交通流量预测技术,采用“三明治“结构充分提取时空相关性特征。通过时间注意力机制来动态地挖掘交通数据的时间相关性,通过门控扩张因果卷积从时间序列中获取时序特征信息,并结合图注意力网络对空间特征进行提取,最后再经过门控时间卷积网络得到既考虑空间相关性又考虑时间特性的交通预测信息,通过该方法能够有效地提高交通预测信息的稳定性和准确度。
附图说明
下面将结合附图说明对本发明的具体实施方式进行举例说明。
图1为本发明实施例一种基于时空图注意力的交通流量预测方法流程图;
图2为本发明实施例一种基于时空图注意力的交通流量预测方法的预测网络结构模型示意图;
图3为本发明实施例一种基于时空图注意力的交通流量预测方法中门控扩张因果卷积的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,而并非要限制本发明的范围。
如图1所示,基于前述的技术问题的亟待解决,本发明实施例提供了一种基于时空图注意力的交通流量预测方法,所述方法包括:
S1.获取交通流数据集并进行预处理;
从公开的交通流数据集获取交通路网的基本图结构信息、时间序列数据及其交通特征数据,其中,时间序列数据包括传感器记录时的日期、时间,不同数据集传感器采集数据的间隔时间不同,一般为五分钟;交通特征数据包括车辆速度、车道占有率、车辆流量;
所述预处理包括缺失值填充、冗余值删除及离群值删除等操作,划分数据集:针对数据预处理所得到的数据集进行样本划分,分为训练集、测试集和验证集;可对交通流数据集,将其按70%、15%、15%的比例划分为训练集、测试集和验证集。
利用训练集对构建的基于时空图注意力网络的交通流量预测模型进行训练,所述交通流量预测模型包括时间注意力模块、门控扩张因果卷积模块、图注意力卷积模块,其中门控扩张因果卷积模块和图注意力卷积模块形成三明治结构,依次为门控扩张因果卷积模块、图注意力卷积模块、门控扩张因果卷积模块;
最后使用测试集进行预测测试得到交通流量预测模型,而后验证集对测试结果进行验证以得到最终预测结果。
S2.将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征,所述交通流量预测模型包含时间注意力模块和四个叠加时空卷积块ST-Block;
每个叠加时空卷积块ST-Block包括两个门控扩张因果卷积模块,一个图注意力网络;
四个ST-Block的叠加,其中,每个ST-Block之间采用跳跃连接方式,四个ST-Block的叠加并非只采用第四块的最终输出结果,而是将每个ST-Block都进行跳跃连接,结果直接连接到输出层,以提取到交通流量数据中更丰富的全局信息。
如图2所示,构建基于时空图注意力的交通流量预测模型,该交通流量预测模型包含时间注意力层和叠加时空卷积块。
其中,时间注意力层的是整个网络模型的第一层,其输出作为接下来叠加时空卷积块的输入,表示为串联形态;
每个时空卷积块都形成一个三明治结构,顶层和底层为门控扩张因果卷积模块,夹心为图注意力网络,即门控扩张因果卷积模块、图注意力网络、门控扩张因果卷积模块的顺序结构。
通过时间注意力模块对时间序列数据中提取时间注意力权重矩阵;门控扩张因果卷积模块结合时间注意力权重矩阵对时间序列进行时间特征提取;图注意力卷积模块对交通路网的图结构信息进行注意力系数提取,得到空间特征信息,所述空间特征信息即通过多头注意力机制自适应地计算相邻区域的注意力权重,再经由卷积操作对所述空间特征信息进行处理,得到空间相关性。
S3.所述隐藏特征经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换以实现隐藏特征到预测结果的映射。
经过网络模型,得到一系列的隐藏特征h′,再经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换,实现隐藏特征到预测结果的映射。
在本发明实施例一种优选的实施方式下,所述获取交通流数据集并进行预处理具体包括:
先进行交通图网络定义:将每一个传感器视作一个节点,具有连通性的两个传感器间的连线视为一条边,并根据数据集中的传感器经纬度数据建立交通路网拓扑图G。
将交通路网拓扑图G定义为无向图G=(V,E),其中V表示为N个传感器节点的有限集合;E为边的集合,表示节点间的连通性,G的邻接矩阵由A∈RN×N表示。
将整个采样时间段分为若干个时间片,每个节点在一个时间片上以相同的采样频率检测L个交通流量序列,交通流量序列包括时间序列信息和交通流量特征值信息。
交通流量预测问题定义:
设交通路网无向图G中的每个节点上记录的第l个时间序列为交通流量序列,且l∈(1,...,L);
定义表示节点i在t时刻的第c个特征的值;
表示节点i在t时刻的所有特征的值,特征可以包括车辆流量、车辆速度或车道占有率,比如车辆流量;
表示t时刻的所有节点的所有特征值;
表示时间片/>上所有节点的所有特征值;
另外,设表示节点i在未来t时刻的交通流量。
当给定x和交通网络上所有节点在过去时间片上的所有历史测量值,可预测未来Tq个时间片中交通网络上所有节点的交通流量序列/>即:
在本发明实施例中,优选的,所述将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征具体包括:
通过基于时空图注意力的交通流量预测模型的时间注意力层对时间序列进行时间相关性特征获取,时间注意力公式为:
U={T11,T12,...,Tmn}∈RN×N
其中,为可学习参数,时间相关性矩阵T由动态输入的/>确定,Tmn的值表示时间片m和时间片n之间的依赖关系的强度;
使用softmax函数对时间相关性矩阵T进行归一化操作,以确保每个节点的权重和为1。并将归一化后得到的时间注意力矩阵U直接用于门控扩张因果卷积的输入;
使用门控扩张因果卷积对时间注意力矩阵U进行时间特征提取。
即首先,通过基于时空图注意力的交通流量预测模型的时间注意力层对时间序列进行时间相关性特征获取;
如图2所示,基于时空图注意力的交通流量预测模型的输入为 表示所有节点在时间片/>上的所有特征值;经过一个Linear全连接层后输入模型,经过第一个ST-Block;四个ST-Block之间的连接方式采用跳跃连接,并非只采用第四块的最终输出结果,而是将每个ST-Block都进行跳跃连接直接连接到输出层,以提取到交通流量数据中更丰富的全局信息;最终输出结果经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换。
由于不同时间分片的相同路段上交通状况之间存在相关性,但在不同情况下的相关性又有所不同,所以在关注时间全局性的同时,采用时间注意力机制从局部的角度以自适应地方式赋予时间数据不同的重要性,以此来捕捉时间特征,时间注意力公式为:
时间注意力公式为:
U={T11,T12,...,Tmn}∈RN×N
其中,为可学习参数,时间相关性矩阵T由动态输入确定,Tmn的值表示时间片m和时间片n之间的依赖关系的强度;最后使用softmax函数对T进行归一化操作,并将归一化后得到的时间注意力矩阵U直接用于门控扩张因果卷积的输入,使用门控扩张因果卷积对时间注意力矩阵U进行时间特征提取。
在每一个DCCN设置了不同的扩张因子,分别为1、2、1,同时为每个扩张因果卷积网络设置门控机制,门控机制使得在捕获时间相关性时确定这一时刻的信息元素是否应该被保留,而与其他时刻间没有很大关联,这保证了时间特征的局部性。
设门控因果卷积的卷积核大小为Kt;对于交通路图G中的每个节点,扩张因果卷积在没有填充的情况下探索输入节点的Kt领域,导致序列长度每次都会缩短Kt-1,对每个节点进行时间卷积的输入可以被视为通道数为Ci、长度为M的序列卷积核/>将输入γ映射到单个输出元素/>门控扩张因果卷积被定义为:
σ=σ(Q(U))
式中,U为上一时间注意力层的输出;P,Q代表经过两个通道的扩张因果卷积输出结果,即DCN1和DCN2,两个扩张因果卷积形式一样,比如卷积核数和窗口大小设置,但其中一个用sigmoid函数激活,另一个不加激活函数,然后将其逐位相乘,即
sigmoid门σ(Q(U))用于控制当前状态的输入流Q(U),sigmoid函数的值域是(0,1),即给每个的输出DCN都加了一个阀门来控制流量;信息流有1-σ的概率直接通过,有σ的概率要与DCN1的输出逐位相乘后才通过。
为了使得有更多的信息能够在多通道传输并且减少梯度消失的概率,在此结构之上实现残差连接。
然后,通过图注意力网络对历史交通数据进行空间特征提取处理;
图注意力网络的核心在于图注意力层中的Attention机制,使用Attention机制来对邻居节点计算注意力值,计算注意力值分为计算注意力系数和加权求和两个步骤;对图结构数据进行处理,自适应地捕获空间维度上节点之间的动态相关性。
图注意力网络层(Graph Attention Layer)的输入是一组节点特征向量h;交通路网上的每个传感器节点具有相同的采样频率,每个节点在每个时间片内会生成一段长度为S的特征向量;假设交通路网无向图G包含N个传感器节点,每个节点的特征向量表示为hi,节点特征数为F,即
通过这一层,节点将被挖掘出新的特征作为其输出,即通过一个可学习的线性变换将输入特征转化为更高层次的特征/>
通过softmax函数参数化为一个权重矩阵且作用于每一个节点,并使用Attention机制计算节点j对节点i的重要性,即eij,
其中,a∈R2F′为可学习的权重向量;为了易于在不同节点间进行系数比较,使用softmax函数对其进行归一化操作,得到注意力系数αij,其最终表示为
其中,表示节点i的邻居节点集合,T表示转置,||表示concat操作;而注意力机制a是一个单层前馈神经网络,其被参数化为一个权重向量/>实际上,Attention就是把节点i,j的特征向量h′i,h′j拼接在一起,然后和一个维度为2F′的向量/>计算内积,最后经过激活函数LeakyReLU,最终注意力系数可以表示为:
其中,T示转置,||表示concat操作。
赋予注意力权重后的节点i的特征向量可以表示为:
其中,σ是一个非线性函数;h′i是节点i的新特征。
为了进一步稳定注意力学习的过程,将单头注意力扩展到多头注意力。K个独立的注意力头均有各种的参数,其输出的合并方式有两种,即拼接和平均。如果在最终的预测结果上采用拼接的方法是不恰当的,故在隐藏层中设计为concatenation,最后一层设计为averaging,两种设计公式表示为:
最终空间注意力矩阵W表示为W={h′1,h′2,...,h′i}∈RN
再次使用门控扩张因果卷积对所述空间特征信息进行处理,得到预测交通流量的空间特征信息,如下所述:
在每一个DCCN设置了不同的扩张因子,分别为1、2、1。同时为每个扩张因果卷积网络设置门控机制,门控机制的存在使得在捕获时间相关性时更注重这一时刻的信息元素是否应该被保留,而与其他时刻间没有很大关联,这保证了时间特征的局部性。
门控时间卷积包含的一维因果卷积,其卷积核大小为Kt。对于G中的每个节点,扩张因果卷积在没有填充的情况下探索输入节点的Kt领域,导致序列长度每次都会缩短Kt-1,对每个节点进行时间卷积的输入可以被视为通道数为Ci、长度为M的序列卷积核将输入γ映射到单个输出元素/>门控扩张因果卷积被定义为:
σ=σ(Q(W))
式中,W为上一时间注意力层的输出;P,Q代表经过两个通道的扩张因果卷积输出结果,即DCN1和DCN2,两个扩张因果卷积形式一样,比如卷积核数和窗口大小设置,但其中一个用sigmoid函数激活,另一个不加激活函数,然后将其逐位相乘,即
sigmoid门σ(Q(W))用于控制当前状态的输入流Q(W),sigmoid函数的值域是(0,1),即给每个DCN的输出都加了一个阀门来控制流量;信息流有1-σ的概率直接通过,σ的概率要与DCN1的输出逐位相乘后才通过。
此外,为了使得有更多的信息能够在多通道传输并且减少梯度消失的概率,在此结构之上实现残差连接。
最后,将经由时空特征提取后的数据连接至输出层,最终输出结果经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换,得到最终预测结果。
通过本发明实例,将时间注意力机制和空间注意力机制很好的进行结合,在考虑时间相关性的同时考虑到空间相关性,在考虑时空局部性的同时考虑到其全局性,实现对时空交通大数据特点的全方位捕捉,提高模型的预测精度。
在本发明实例中,实验性能测试主要从以下三个方面进行:
不同方法在不同数据集上的性能比较:本发明使用平均绝对误差值(MAE)、均方根误差值(RMSE)、加权平均绝对百分比误差值(WMAPE),表示模型预测精度,当MAE、RMSE、WMAPE的值越接近于0,表明模型预测精度越高、特征表达能力越强,计算公式如下:
其中,为真实值,Yi为预测值,wi为权重值。
本发明实施例提供了一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时实现上述基于时空图注意力的交通流量预测方法。
本发明实施例提供了一种处理器,上述处理器用于运行程序,其中,上述程序运行时执行上述基于时空图注意力的交通流量预测方法。
本发明实施例提供了一种计算设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现至少以下步骤:
S1.获取交通流数据集并进行预处理;
S2.将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征,所述交通流量预测模型包含时间注意力模块和四个叠加时空卷积块ST-Block;每个叠加时空卷积块ST-Block包括两个门控扩张因果卷积模块,一个图注意力网络;
S3.所述隐藏特征经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换以实现隐藏特征到交通流量预测结果的映射。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述;
本实施方式只是对本专利的示例性说明,并不限定它的保护范围,本领域技术人员还可以对其局部进行改变,只要没有超出本专利的精神实质,都在本专利的保护范围内。
Claims (3)
1.一种基于时空图注意力的交通流量预测方法,其特征在于,所述方法包括:
S1.获取交通流数据集并进行预处理;
S2.将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征,所述交通流量预测模型包含时间注意力模块和四个叠加的时空卷积块ST-Block;每个时空卷积块ST-Block包括两个门控扩张因果卷积和一个图注意力网络,其中,每个时空卷积块ST-Block由门控扩张因果卷积、图注意力网络、门控扩张因果卷积顺序组合;经过预处理的数据先输入到时间注意力模块中,得到时间注意力矩阵U,再将时间注意力矩阵U输入四个时空卷积块ST-Block,以完成时空特征的融合提取得到隐藏特征;
四个时空卷积块ST-Block之间的连接方式采用跳跃连接,将每个时空卷积块ST-Block都进行跳跃连接直接连接到输出层,以提取到交通流量数据中更丰富的全局信息;
S3.所述隐藏特征经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换以实现隐藏特征到交通流量预测结果的映射;
所述获取交通流数据集并进行预处理具体包括:
将每一个传感器视作一个节点,具有连通性的两个传感器间的连线视为一条边,并根据数据集中的传感器经纬度数据建立交通路网拓扑图G;
从公开的交通流数据集获取交通路网拓扑图G的基本图结构信息、时间序列数据及交通特征数据,具体包括:
将交通路网拓扑图G定义为无向图G=(V,E),其中V表示为N个传感器节点的有限集合,E为边的集合,表示节点间的连通性,G的邻接矩阵由A∈RN×N表示,将整个采样时间段分为若干个时间片,每个节点在一个时间片上以相同的采样频率检测L个交通流量序列,交通流量序列包括时间序列信息和交通流量特征值信息;
定义表示传感器节点i在t时刻的第c个特征的值;
表示传感器节点i在t时刻的所有特征的值,所述特征包括车辆流量、车辆速度或车道占有率;
表示t时刻的所有节点的所有特征值;
表示时间片/>上所有节点的所有特征值;
设表示节点i在未来t时刻的交通流量;
当给定和交通网络上所有节点在过去时间片/>上的所有历史测量值,可预测未来Tq个时间片中交通网络上所有节点的交通流量序列
即:
所述将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征具体包括:
通过基于时空图注意力的交通流量预测模型的时间注意力模块对时间序列进行时间相关性特征获取,时间注意力公式为:
U={T11,T12,...,Tmn}∈RN×N
其中,at,为可学习参数;时间相关性矩阵T由动态输入的/>确定,Tmn表示时间片m和时间片n之间的依赖关系的强度,
使用softmax函数对时间相关性矩阵T进行归一化操作,并将归一化后得到的时间注意力矩阵U直接用于门控扩张因果卷积的输入;
使用门控扩张因果卷积对时间注意力矩阵U进行时间特征提取;
所述使用门控扩张因果卷积对时间注意力矩阵U进行时间特征提取具体包括:
设门控因果卷积的卷积核大小为Kt,对于交通路网拓扑图G中的每个节点,对每个节点进行扩张因果卷积的输入视为通道数为Ci、长度为M的序列卷积核/>将输入Υ映射到单个输出元素/> 门控扩张因果卷积被定义为:
σ=σ(Q(U))
其中,U为上一时间注意力模块的输出;P,Q代表经过两个通道的扩张因果卷积输出结果DCN1和DCN2,两个扩张因果卷积形式一样,其中一个用sigmoid函数激活,另一个不加激活函数,然后将其逐位相乘,即
sigmoid门σ(Q(U))用于控制当前状态的输入流Q(U),sigmoid函数的值域是(0,1),σ是一个非线性函数;
所述将经过预处理的数据输入预先训练好的交通流量预测模型得到隐藏特征还具体包括:
通过图注意力网络对历史交通数据进行空间特征提取处理,具体包括:
所述图注意力网络的输入为一组节点特征向量h;
设交通路网上的每个传感器节点具有相同的采样频率,每个节点在每个时间片内会生成一段长度为S的特征向量;
设交通路网无向图G包含N个传感器节点,每个节点的特征向量表示为hi,节点特征数为F,即
通过所述图注意力网络,通过可学习的线性变换将输入特征 转化为更高层次的特征/>作为图注意力网络的输出;
通过softmax函数参数化一个权重矩阵且作用于每一个节点,使用Attention机制计算节点j对节点i的重要性eij,表示为:
使用softmax函数对eij进行归一化操作,得到注意力系数αij,表示为:
其中,表示节点i的邻居节点集合,T表示转置,||表示concat操作,/>
注意力机制a把节点i,j的特征向量h′i,h′j拼接在一起,然后和一个维度为2F的向量计算内积,最后经过激活函数LeakyReLU得到最终注意力系数,表示为:
其中,T表示转置,||表示concat操作;
赋予注意力权重后的节点i的特征向量表示为:
其中,σ是一个非线性函数,h′i是节点i的新特征;
最终空间注意力矩阵W表示为:
W={h′1,h′2,...,h′i}∈RN
再次使用门控扩张因果卷积对空间注意力矩阵进行时空特征融合,得到预测交通流量的空间特征信息。
2.如权利要求1所述的基于时空图注意力的交通流量预测方法,其特征在于,所述隐藏特征经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换以实现隐藏特征到交通流量预测结果的映射具体包括:
经由时间注意力模块和叠加时空卷积块提取后的隐藏特征数据连接至输出层,经过两组ReLU函数和Linear完成隐藏层到输出层的线性变换,得到最终交通流量预测结果。
3.一种计算设备,其特征在于,所述计算设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时执行如权利要求1至2中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310622292.1A CN116596151B (zh) | 2023-05-25 | 2023-05-25 | 基于时空图注意力的交通流量预测方法及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310622292.1A CN116596151B (zh) | 2023-05-25 | 2023-05-25 | 基于时空图注意力的交通流量预测方法及计算设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116596151A CN116596151A (zh) | 2023-08-15 |
CN116596151B true CN116596151B (zh) | 2024-03-15 |
Family
ID=87611480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310622292.1A Active CN116596151B (zh) | 2023-05-25 | 2023-05-25 | 基于时空图注意力的交通流量预测方法及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116596151B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117290706A (zh) * | 2023-10-31 | 2023-12-26 | 兰州理工大学 | 一种时空卷积融合概率稀疏注意力机制的交通流预测方法 |
CN117579324B (zh) * | 2023-11-14 | 2024-04-16 | 湖北华中电力科技开发有限责任公司 | 基于门控时间卷积网络与图的入侵检测方法 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674987A (zh) * | 2019-09-23 | 2020-01-10 | 北京顺智信科技有限公司 | 一种交通流量预测系统、方法及模型训练方法 |
CN112487807A (zh) * | 2020-12-09 | 2021-03-12 | 重庆邮电大学 | 一种基于膨胀门卷积神经网络的文本关系抽取方法 |
CN113450568A (zh) * | 2021-06-30 | 2021-09-28 | 兰州理工大学 | 一种基于时空注意力机制的卷积网络交通流预测方法 |
CN114565124A (zh) * | 2022-01-12 | 2022-05-31 | 武汉理工大学 | 一种基于改进图卷积神经网络的船舶交通流预测方法 |
CN114970336A (zh) * | 2022-01-27 | 2022-08-30 | 同济大学 | 一种基于改进GCN-attention算法的交通流预测方法 |
CN115273464A (zh) * | 2022-07-05 | 2022-11-01 | 湖北工业大学 | 一种基于改进的时空Transformer的交通流量预测方法 |
CN115496202A (zh) * | 2022-09-08 | 2022-12-20 | 同济大学 | 面向交通拥堵预测的可解释性时空分析方法 |
CN115587454A (zh) * | 2022-10-24 | 2023-01-10 | 北京工商大学 | 基于改进Transformer模型的交通流量长时预测方法及系统 |
CN115936069A (zh) * | 2022-12-15 | 2023-04-07 | 重庆邮电大学 | 一种基于时空注意力网络的交通流预测方法 |
CN116011684A (zh) * | 2023-03-02 | 2023-04-25 | 长沙理工大学 | 一种基于时空图卷积网络的交通流量预测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220366218A1 (en) * | 2019-09-25 | 2022-11-17 | Deepmind Technologies Limited | Gated attention neural networks |
-
2023
- 2023-05-25 CN CN202310622292.1A patent/CN116596151B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110674987A (zh) * | 2019-09-23 | 2020-01-10 | 北京顺智信科技有限公司 | 一种交通流量预测系统、方法及模型训练方法 |
CN112487807A (zh) * | 2020-12-09 | 2021-03-12 | 重庆邮电大学 | 一种基于膨胀门卷积神经网络的文本关系抽取方法 |
CN113450568A (zh) * | 2021-06-30 | 2021-09-28 | 兰州理工大学 | 一种基于时空注意力机制的卷积网络交通流预测方法 |
CN114565124A (zh) * | 2022-01-12 | 2022-05-31 | 武汉理工大学 | 一种基于改进图卷积神经网络的船舶交通流预测方法 |
CN114970336A (zh) * | 2022-01-27 | 2022-08-30 | 同济大学 | 一种基于改进GCN-attention算法的交通流预测方法 |
CN115273464A (zh) * | 2022-07-05 | 2022-11-01 | 湖北工业大学 | 一种基于改进的时空Transformer的交通流量预测方法 |
CN115496202A (zh) * | 2022-09-08 | 2022-12-20 | 同济大学 | 面向交通拥堵预测的可解释性时空分析方法 |
CN115587454A (zh) * | 2022-10-24 | 2023-01-10 | 北京工商大学 | 基于改进Transformer模型的交通流量长时预测方法及系统 |
CN115936069A (zh) * | 2022-12-15 | 2023-04-07 | 重庆邮电大学 | 一种基于时空注意力网络的交通流预测方法 |
CN116011684A (zh) * | 2023-03-02 | 2023-04-25 | 长沙理工大学 | 一种基于时空图卷积网络的交通流量预测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN116596151A (zh) | 2023-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116596151B (zh) | 基于时空图注意力的交通流量预测方法及计算设备 | |
CN114092832B (zh) | 一种基于并联混合卷积网络的高分辨率遥感影像分类方法 | |
CN112396027A (zh) | 基于图卷积神经网络的车辆重识别方法 | |
CN111008337B (zh) | 一种基于三元特征的深度注意力谣言鉴别方法及装置 | |
CN114220271A (zh) | 基于动态时空图卷积循环网络的交通流预测方法、设备及存储介质 | |
CN110570035B (zh) | 同时建模时空依赖性和每日流量相关性的人流量预测系统 | |
CN112308322B (zh) | 一种多风场时空风速预测方法、装置及电子设备 | |
CN113449660B (zh) | 基于自注意增强的时空变分自编码网络的异常事件检测方法 | |
CN111738054B (zh) | 一种基于时空自编码器网络和时空cnn的行为异常检测方法 | |
CN111047078B (zh) | 交通特征预测方法、系统及存储介质 | |
CN114444187B (zh) | 一种振动传递大数据与胶囊网络融合的桥梁损伤诊断方法 | |
CN114944053A (zh) | 一种基于时空超图神经网络的交通流预测方法 | |
CN117237559B (zh) | 面向数字孪生城市的三维模型数据智能分析方法及系统 | |
CN115527150A (zh) | 一种结合卷积注意力模块的双分支视频异常检测方法 | |
CN111008570B (zh) | 一种基于压缩-激励伪三维网络的视频理解方法 | |
Ye et al. | A deep learning-based method for automatic abnormal data detection: Case study for bridge structural health monitoring | |
CN115862324A (zh) | 一种智慧交通的时空同步图卷积神经网络及交通预测方法 | |
CN115099328A (zh) | 基于对抗网络的交通流量预测方法、系统、设备及存储介质 | |
CN113590971A (zh) | 一种基于类脑时空感知表征的兴趣点推荐方法及系统 | |
CN117217779A (zh) | 预测模型的训练方法、装置及信息预测方法、装置 | |
CN117116048A (zh) | 基于知识表示模型和图神经网络的知识驱动交通预测方法 | |
CN115762147B (zh) | 一种基于自适应图注意神经网络的交通流量预测方法 | |
CN117173595A (zh) | 基于改进YOLOv7的无人机航拍图像目标检测方法 | |
CN112149496A (zh) | 一种基于卷积神经网络的实时道路场景分割方法 | |
CN115953902A (zh) | 一种基于多视图时空图卷积网络的交通流预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |