CN114492992A - 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 - Google Patents
一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 Download PDFInfo
- Publication number
- CN114492992A CN114492992A CN202210085688.2A CN202210085688A CN114492992A CN 114492992 A CN114492992 A CN 114492992A CN 202210085688 A CN202210085688 A CN 202210085688A CN 114492992 A CN114492992 A CN 114492992A
- Authority
- CN
- China
- Prior art keywords
- traffic flow
- nodes
- matrix
- space
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 26
- 239000011159 matrix material Substances 0.000 claims abstract description 110
- 230000007774 longterm Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 9
- 230000003044 adaptive effect Effects 0.000 claims description 25
- 230000004927 fusion Effects 0.000 claims description 20
- 230000007246 mechanism Effects 0.000 claims description 9
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 3
- 239000013598 vector Substances 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 208000037004 Myoclonic-astatic epilepsy Diseases 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000000874 microwave-assisted extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/065—Traffic control systems for road vehicles by counting the vehicles in a section of the road or in a parking area, i.e. comparing incoming count with outgoing count
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- Entrepreneurship & Innovation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Game Theory and Decision Science (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于智能交通领域,具体涉及一种基于Transformer的自适应时空图神经网络交通流预测方法及系统,方法包括获取历史数据,将历史数据拼接后作为输入数据;将输入数据使用向量进行表示,并获取表征路网空间特征的邻接矩阵和交通流特征矩阵;根据路网的连通性和节点特征矩阵,提取节点自身的时间相关性、不同节点间之间的时空相关性获得第一交通流特征矩阵,并根据路网结构中的隐藏的空间相关性,获得第二交通流特征矩阵;将第一交通流特征矩阵与第二交通流特征矩阵进行融合,得到最终的交通流特征,将该特征输入预测模型进行预测得到预测结果;本发明在复杂交通的状况下对较长时交通流具有良好的预测效果。
Description
技术领域
本发明属于智能交通领域,具体涉及一种基于Transformer的自适应时空图 神经网络交通流预测方法及系统。
背景技术
目前,有较多文献研究了交通流预测方法。文献T-GCN:A Temporal GraphConvolutional Network for Traffic Prediction将图卷积应用在交通流预测中,利用图卷积网络和门控递归单元(GRU)分别捕获时间依赖和空间依赖。文献 Attention BasedSpatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting将注意力机制引入到交通流预测模型中,利用时空注意机制捕捉交通 数据的动态时空关联,同时利用两个单独的组件来分别捕获时间相关性和空间 相关性。文献Spatial-TemporalSynchronous Graph Convolutional Networks:ANew Framework for Spatial-TemporalNetwork Data Forecasting提出一种局部时空子 图,能够有效捕获复杂的局部时空相关性。文献Spatial-Temporal Fusion Graph Neural Networks for Traffic FlowForecasting提出一种由数据驱动的“时间图”生 成方法,可以捕获在空间图中没有反映的相关性。文献Spatial-Temporal Transformer Networks for Traffic Flow Forecasting将Transformer引入到交通流预 测模型中,利用Transformer捕获动态的空间相关性和时空相关性。到目前为止 少有文献能够同时捕获隐藏的空间关系和动态的时空相关性。
交通流数据具有复杂的时空相关性,数据的空间依赖的隐藏性、时间的相 关性、时间的多模特性,都是现有交通流预测面临的挑战。
发明内容
为了有效地捕获交通数据中动态的和隐藏的空间相关性以及时空相关性, 本发明提供一种基于Transformer的自适应时空图神经网络交通流预测方法及系 统,所述方法包括以下步骤:
获取历史数据,包括前一个小时交通流量、一天前交通流量和一周前交通 流量,将历史数据拼接后得到的交通流特征矩阵以及路网中节点的邻接矩阵作 为输入数据;
根据路网的连通性和交通流特征矩阵,提取节点自身的时间相关性、不同 节点间之间的时空相关性获得第一交通流特征矩阵,并根据路网结构中的隐藏 的空间相关性,获得第二交通流特征矩阵;
将第一交通流特征矩阵与第二交通流特征矩阵进行融合,得到最终的交通 流特征,将该特征输入预测模型进行预测得到预测结果。
进一步的,输入数据的获取包括:将当天交通流量、一天前交通流量和一 周前交通流量拼接在一起后使用卷积神经网络将拼接的数据投影到高位空间作 为输入数据,当天交通流量、一天前交通流量和一周前交通流量拼接在一起的 数据表示为:
X=concat(Xr,Xd,Xw);
其中,X为当天交通流量、一天前交通流量和一周前交通流量拼接在一起 的数据,X∈RN×M表示N个节点M个时间片的特征;Xr∈RN×M′表示交通流量几 个小时前N个节点M′个时间片的数据;Xd∈RN×M′表示交通流量一天前N个节点 M′个时间片的的周期数据;Xw∈RN×M′表示交通流量一周前N个节点M′个时间 片的周期数据。
进一步的,第一交通流特征矩阵的获取包括:
考虑路网中节点之间的距离和连通性,将位置信息注入到输入数据的特征 中;
利用加入交通流时间位置编码和节点间的空间位置编码的Transformer网络 获取交通流与节点间的长期依赖关系和动态的时空相关性的特征;
交通流与节点间的长期依赖关系和动态的时空相关性的特征进行并行化处 理后,并利用多头注意力机制从中获取交通流动态的时空相关性;
采用softmax函数用于对获取交通流动态的时空相关性的特征进行归一化, 将每个节点进行归一化后的特征按照空间轴拼接起来形成第一交通流特征矩 阵。
进一步的,将位置信息嵌入到输入数据的特征中包括:
G=(V,E,A);
其中,表示空间信息的嵌入矩阵;A∈RN×N是根据传感器之间的欧 氏距离构建的路网结构图G的邻接矩阵,σ2为路网结构图G所有节点两点之间 的欧氏距离的标准差;V表示N个节点集合,节点为道路卡口部署的检测器;E 是节点之间边的集合,N为节点个数。
进一步的,将嵌入位置信息的输入数据的特征输入到Transformer网络中进 行卷积,获取交通流与节点间的长期依赖关系和动态的时空相关性的特征,表 示为:
X′=Conv(concat(X,DM,DS));
其中,X′∈RC×N×M表示交通流与节点间的长期依赖关系和动态的时空相关性 的特征;Conv()表示卷积操作;concat()表示拼接操作;X表示输入数据; DM∈RN×M×M表示嵌入时间信息的输入数据的特征;DS∈RM×N×N表示嵌入位置信息 的输入数据的特征;C是通道数,N是节点个数,M为输入的节点历史时间片 数。
进一步的,利用多头注意力机制从中获取交通流动态的时空相关性的过程 包括:
通过前馈神经网络将输入数据的特征投影到3个高维潜在子空间;
进一步的,采用softmax函数对获取交通流动态的时空相关性的特征进行归 一化包括:
进一步的,第二交通流特征矩阵由路网结构中所有时间片下节点的隐藏的 空间相关性构成,路网结构中单个时间片下节点的隐藏的空间相关性表示为:
其中,表示路网结构中的隐藏的空间相关性;Aadp为自适应邻接矩 阵,Aadp=sigmoid(E1E2),E1∈RN×b、E2∈Rb×N为随机初始化的可学习参数;k是切 比雪夫多项式的阶数,k=1,2,3,4...K;Wk∈RC×C为模型公式第k阶的权重矩阵,θk为可学习参数;为关于拉普拉斯矩阵的切比雪夫多项式,N是节点个数,C 是通道数,b为远小于N的正整数;为时间并行化处理后的特征输入。
进一步的,将第一交通流特征矩阵与第二交通流特征矩阵进行融合包括:
将第一交通流特征矩阵和第二交通流特征矩阵拼接在一起采用权重矩阵进 行初步融合,表示为:
YF=YGtWF;
将初步融合的结果,输入softmax激活函数得到门控,表示为:
RT=softmax(YF);
将初步融合结果YF与门控RT做点乘得到,输出最终融合的特征信息Y,表 示为:
Y=YF*RT;
其中,YGt为由第一交通流特征矩阵和第二交通流特征矩阵拼接形成的矩 阵;Y∈RN×M×C表示最终融合的特征信息,RT为门控,YF是初步融合结果,*表 示点乘,N是节点个数,M为输入的节点历史时间片数,C是通道数。
本发明还提出一种基于Transformer的自适应时空图神经网络交通流预测系 统,该系统包括特征表示模块、Transformer模块、GCN模块、Gate模块,其中:
特征表示模块,用于根据历史数据得到表征路网空间特征的邻接矩阵和交 通流特征矩阵;
Transformer模块,用于根据交通流特征矩阵、邻接矩阵和one-hot编码矩阵 捕获动态空间相关性、时空相关性和时间相关性;
GCN模块,用于根据交通流特征矩阵、邻接矩阵和自适应邻接矩阵捕获显 式和隐式的空间相关性;
Gate模块,用于融合Transformer模块和GCN模块提取的交通流特征,后 续将融合的交通流特征输入卷积层得到预测结果。
本发明有效捕获了交通数据中动态的和隐藏的空间相关性以及时空相关 性,解决了交通流数据具有复杂的时空相关性,数据的空间依赖的隐藏性、时 间的相关性、时间的多模特性等交通流预测深入研究面临的挑战。该模型在复 杂交通的状况下对较长时交通流具有良好的预测效果。
附图说明
图1为本发明一种基于Transformer的自适应时空图神经网络交通流预测方 法整体流程图;
图2为本发明真实值与预测值的性能比较图;
图3为本发明MAE性能比较图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清 楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是 全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造 性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出一种基于Transformer的自适应时空图神经网络交通流预测方 法,包括以下步骤:
获取历史数据,包括前一个小时交通流量、一天前交通流量和一周前交通 流量,将历史数据拼接后得到的交通流特征矩阵以及路网中节点的邻接矩阵作 为输入数据;若路网中两个节点为连通状态,则邻接矩阵的元素的值为路网中 两个节点之间的欧式距离,若两个节点未连通,则邻接矩阵的元素值为0。根据 路网的连通性和交通流特征矩阵,提取节点自身的时间相关性、不同节点间之 间的时空相关性获得第一交通流特征矩阵,并根据路网结构中的隐藏的空间相 关性,获得第二交通流特征矩阵;
将第一交通流特征矩阵与第二交通流特征矩阵进行融合,得到最终的交通 流特征,将该特征输入预测模型进行预测得到预测结果。
在本实施例中,一种基于Transformer的自适应时空图神经网络交通流预测 方法,其特征在于,包括以下步骤:
S1:特征表示。向量化表示路网结构和节点的迹历史流量数据,得到能够 表征路网空间特征的邻接矩阵和交通流特征矩阵;
S2:特征提取。根据分析路网的连通性和节点特征矩阵,提取节点自身的 时间相关性、不同节点间之间的时空相关性;构建自适应GCN模块,提取路网 结构中的隐藏的空间相关性
S3:特征融合。融合Transformer层提取的交通流特征与自适应GCN模块 提取的交通流特征,提高预测精度。
S4:性能与仿真结果分析。
进一步,步骤S1特征表示可具体为:
首先,拼接近期交通流量、一天前交通流量和一周前交通流量得 X=concat(Xr,Xd,Xw),X∈RN×M表示N个节点M个时刻的特征,Xr∈RN×M′表示节 点的近期数据;Xd∈RN×M′、Xw∈RN×M′分别表示交通流量一天前和一周前的周期 数据。然后,经过卷积神经网络将其融合并投影到高位空间得到:
X1=Conv(X) (1)
其中X1∈RC×N×M为模型层第一层的输入。
模型层的定义为:
Yj=F(Xj) (2)
其中Xj∈RC×N×M为模型层第j层的输入,M为输入的节点历史时间片数,N是 节点个数,C是通道数,Yj∈RC×N×M为模型层第j层的输出,F为交通流预测模型, Xj+1=Yj+Xj,Xj+1为第j+1层的输入。模型层包含三部分:Transformer模块, GCN模块和门控融合模块。
进一步,步骤S2特征提取可具体为:
节点未来的交通流量由节点的历史交通流量、其相邻节点的历史交通流量 以及历史观测的时间步长等因素决定。节点与节点之间有着复杂的依赖关系, 交通流预测的准确度取决于能否精准的捕捉这些依赖关系。从交通流数据的时 间变化规律和时空动态依赖关系两个方面出发,提出一种Transformer-自适应 GCN动态时空捕获模型。首先,在交通流特征中融入时间和空间信息,使模型 可以动态捕获交通路网节点之间的复杂时空相关性;其次,提出一种自适应GCN 模型捕获路网隐藏的空间相关性,进而提高预测精度。
S201:在模型中加入了时间信息和空间信息,使得输入特征包含了交通流 数据的时空信息,从而达到精准捕获交通流节点之间复杂的依赖关系的目的。
其中Transformer层:
Yj TL=Trans(Xj,DS,DM) (3)
式中Yj TL∈RC×N×M为第j层Transformer层的输出,DS、DM为时间和空间信息 编码。
分别为时间和空间信息的嵌入矩阵,M为输入的节 点历史时间片数,N是节点个数。初始化为时间步长的独热编码,将时间步 长注入到每个节点中,为路网结构图G高斯核初始化的邻接矩阵,考虑了节 点之间的距离和连通性,将位置信息注入到输入特征中,其中:
G=(V,E,A) (5)
式(4)中A∈RN×N是根据传感器之间的欧氏距离构建的路网结构图G的邻 接矩阵,σ2为路网结构图G所有节点两点之间的欧氏距离的标准差。式(5)中 定义路网结构图G,其中V表示N个节点集合,在本文中节点表示道路卡口部署 的检测器,E是节点之间边的集合,代表节点之间的物理连通性。
在交通流预测中,引入Transformer网络,加入交通流时间位置编码和节点 间的空间位置编码,利用多头注意力机制捕获交通流与节点间的长期依赖关系 和动态的时空相关性。
首先,将嵌入了交通流数据时空信息的特征输入到Transformer网络中,定 义如下:
X′=Conv(concat(X,DM,DS)) (6)
X′∈RC×N×M,这里的X为省略掉下标j之后的模型层输入,DM∈RN×M×M和 DS∈RM×N×N为时间嵌入矩阵和空间嵌入矩阵分别沿空间轴和时空轴的平 铺。对X′∈RC×N×M进行节点并行化处理后得到其中,C是通道数,N是 节点个数,M为输入的节点历史时间片数。
采用多头自注意机制使模型在不同的位置关注到不同表示子空间的信息, 从而捕获交通流动态的时空相关性。通过前馈神经网络可以学习到将输入特征 投影到3个高维潜在子空间的映射。投影的3个潜在子空间分别为query子空间 key子空间和value子空间V∈RM×C。其中:
通过Q和K的点积获得节点间的动态依赖关系,同时减少储存和计算的成 本。系数可以保证反向传播时梯度的平稳。采用softmax函数用于对特征进行 归一化后,再更新value子空间V的值,得到Transformer子模块的输出
其中,Q、K、V分别对应query子空间、key子空间和value子空间,dk为 矩阵K的维度,M为输的节点历史时间片数,C是通道数。
YTL∈RC×N×M为收集了N个节点的输出得到,先将Transformer层的输入并行 化处理为N个输入将其输入到Transformer子模块中,再将N个子模块输出 按空间轴拼接起来得到Transformer层的输出YTL。
S202:为了解决传统的图卷积神经网络模型是基于图谱理论,难以捕捉交 通路网中隐藏的空间关系的问题,提出了一种基于自适应邻接矩阵的图卷积神 经网络(自适应GCN)模型。该模型可以学习到路网中隐藏的空间相关性。
其中GCN层:
Yj GL=Graph(Xj,A,Aadp) (11)
式中Yj GL∈RC×N×M为第j层GCN层的输出,Aadp∈RN×N是构建的路网自适应邻 接矩阵,C是通道数,N是节点个数,M为输入的节点历史时间片数。
建立的自适应邻接矩阵Aadp如下所示:
Aadp=sigmoid(E1E2) (12)
式中E1∈RN×b,E2∈Rb×N为随机初始化的可学习参数,N是节点个数。一般 情况下,b远小于N。通过初始化两个节点嵌入字典相乘以得到自适应邻接矩阵, 可以减少模型的可学习参数。自适应邻接矩阵可以在没有任何先验知识指导的 情况下,从数据中自主发现不可见的图结构,精确地捕捉数据中隐藏的空间依 赖。
自适应邻接矩阵捕获了路网隐藏的空间相关性。同时,还需要获取路网显 示的空间关系。基于切比雪夫多项式近似的传统图卷积神经网络,可以捕获局 部的显示的空间相关性,切比雪夫多项式递归定义为:
切比雪夫多项式是以递归方式定义的多项式序列,本文引用的是第一类切 比雪夫多项式,其中T0(x)、T1(x)是第0阶和第1阶,Tk(x)是第k阶。综合自适应 邻接矩阵和切比雪夫多项式近似,构建了一种自适应GCN模型。该模型的输出 是单个时间片的特征输出
其中,k是切比雪夫多项式的阶数,Aadp为自适应邻接矩阵, Aadp=sigmoid(E1E2),E1∈RN×b,E2∈Rb×N为随机初始化的可学习参数。一般情况 下,b远小于N。为时间并行化处理后的特征输入,Wk∈RC×C为模型公 式第k阶的权重矩阵,θk为可学习参数,为关于拉普拉斯矩阵的切比雪夫 多项式,N是节点个数,C是通道数。为缩放后的拉普拉斯矩阵, 其中λmax是L的最大特征值,L为对称归一化拉普拉斯矩阵,In为n阶单位矩阵。 D为路网结构图G的度矩阵,其中A∈RN ×N是根据传感器之间的欧氏距离构建的路网结构图G的邻接矩阵,N是节点个数。
YGL∈RN×M×C为收集了M个时间片的输出得到,M为输入的节点历史时间片 数,N是节点个数,C是通道数,将GCN层的输入按时间轴并行化处理为M个 GCN子模块输入,再将每个子模块的输出按时间轴拼接起来得到GCN层的输 出YGL。
进一步,步骤S3特征提取可具体为:
为了提高模型预测精度,提出了一种门控融合机制Gate来融合Transformer 层的提取特征YTL和自适应GCN层提取特征Y GL。
其中门控融合层:
式中,Yj是第j层门控融合层的输出,Yj TL∈RC×N×M为第j层Transformer层 的输出,YGL是GCN模块的输出,M为输入的节点历史时间片数,N是节点个 数,C是通道数。
该模块的输入YGt∈RN×M×2C由Transformer动态时空捕获模型层和自适应 GCN模型层捕获的交通流特征信息拼接而成,YGt=concat(YGL,YTL)。输入的YGt只 是由两个模型层的输出YGL和YTL做简单的拼接,并未实现真正的融合。
首先,采用权重矩阵实现初步融合,输出YF∈RN×M×C:
YF=YGtWF (16)
其中,WF∈RN×2C×C为权重矩阵,YGL是GCN模块的输出,M为输入的节点 历史时间片数,N是节点个数,C是通道数。
然后,将初步融合的结果,输入softmax激活函数得到门控RT∈RN×M×C:
RT=softmax(YF) (17)
最后,将初步融合结果YF与门控RT做点乘得到,输出最终融合的特征信息 Y:
Y=YF*RT (18)
其中,Y∈RN×M×C,RT为门控,YF是初步融合结果,‘*’表示点乘,即对 应位置相乘,N是节点个数,M为输入的节点历史时间片数,C是通道数。
所提出的交通流预测算法(TAGCN)内容如下所示。
进一步,对步骤S4实验分析可具体为:
我们与近些年较先进的模型做了对比实验,实验结果如下:图2为真实值 与预测值的性能比较图,图2给出了提出的交通预测算法(TAGCN)与STSGCN 算法与车流量真实值的对比结果。根据图2可知,提出的TAGCN算法的预测结 果更接近车流量的真实值。图3为MAE性能比较图,将本TAGCN模型与最新 的STFGNN和STSGCN模型的MAE性能情况进行比较,由图可知,本模型的 MAE(平均绝对值误差)相对较小、较稳定。
本发明针对图神经网络应用于交通流预测仍然存在如何有效捕获交通路网 节点空间依赖的动态性、隐藏性和交通数据复杂的时空相关性以及交通数据在 时间上的多模特性等问题,本文提出了一种基于Transformer的自适应时空图神 经网络和多模时空融合方法。首先,考虑到交通流数据中隐藏的空间相关性, 改进了自适应邻接矩阵模型以捕获隐藏的空间依赖关系。然后,在引入 Transformer模型捕捉时间依赖的同时加入空间信息,从而达到动态的捕获空间 相关性和时空相关性的目的。最后,本模型在4个真实数据集上进行了实验评 估,评估结果表明本模型框架模型能够在不同交通特征、道路数量等复杂交通 状况下都有很好的效果。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言, 可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变 化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于Transformer的自适应时空图神经网络交通流预测方法,其特征在于,包括以下步骤:
获取历史数据,包括前一个小时交通流量、一天前交通流量和一周前交通流量,将历史数据拼接后得到的交通流特征矩阵以及路网中节点的邻接矩阵作为输入数据;
根据路网的连通性、邻接矩阵和交通流特征矩阵,提取节点自身的时间相关性、不同节点间之间的时空相关性获得第一交通流特征矩阵,并根据路网结构中的隐藏的空间相关性,获得第二交通流特征矩阵。
将第一交通流特征矩阵与第二交通流特征矩阵进行融合,得到最终的交通流特征,将该特征输入预测模型进行预测得到预测结果。
2.根据权利要求1所述的一种基于Transformer的自适应时空图神经网络交通流预测方法,其特征在于,输入数据的获取包括:将当天交通流量、一天前交通流量和一周前交通流量拼接在一起后使用卷积神经网络将拼接的数据投影到高位空间作为输入数据,当天交通流量、一天前交通流量和一周前交通流量拼接在一起的数据表示为:
X=concat(Xr,Xd,Xw);
其中,X为当天交通流量、一天前交通流量和一周前交通流量拼接在一起的数据,X∈RN ×M表示N个节点M个时间片的特征;Xr∈RN×M′表示交通流量几个小时前N个节点M′个时间片的数据;Xd∈RN×M′表示交通流量一天前N个节点M′个时间片的的周期数据;Xw∈RN×M′表示交通流量一周前N个节点M′个时间片的周期数据。
3.根据权利要求1所述的一种基于Transformer的自适应时空图神经网络交通流预测方法,其特征在于,第一交通流特征矩阵的获取包括:
考虑路网中节点之间的距离和连通性,将位置信息注入到输入数据的特征中;
利用加入交通流时间位置编码和节点间的空间位置编码的Transformer网络获取交通流与节点间的长期依赖关系和动态的时空相关性的特征;
交通流与节点间的长期依赖关系和动态的时空相关性的特征进行并行化处理后,并利用多头注意力机制从中获取交通流动态的时空相关性;
采用softmax函数用于对获取交通流动态的时空相关性的特征进行归一化,将每个节点进行归一化后的特征按照空间轴拼接起来形成第一交通流特征矩阵。
5.根据权利要求4所述的一种基于Transformer的自适应时空图神经网络交通流预测方法,其特征在于,将嵌入位置信息的输入数据的特征输入到Transformer网络中进行卷积,获取交通流与节点间的长期依赖关系和动态的时空相关性的特征,表示为:
X′=Conv(concat(X,DM,DS));
其中,X′∈RC×N×M表示交通流与节点间的长期依赖关系和动态的时空相关性的特征;Conv()表示卷积操作;concat()表示拼接操作;X表示输入数据;DM∈RN×M×M表示嵌入时间信息的输入数据的特征;DS∈RM×N×N表示嵌入位置信息的输入数据的特征;C是通道数,N是节点个数,M为输入的节点历史时间片数。
8.根据权利要求1所述的一种基于Transformer的自适应时空图神经网络交通流预测方法,其特征在于,第二交通流特征矩阵由路网结构中所有时间片下节点的隐藏的空间相关性构成,路网结构中单个时间片下节点的隐藏的空间相关性表示为:
9.根据权利要求1所述的一种基于Transformer的自适应时空图神经网络交通流预测方法,其特征在于,将第一交通流特征矩阵与第二交通流特征矩阵进行融合包括:
将第一交通流特征矩阵和第二交通流特征矩阵拼接在一起采用权重矩阵进行初步融合,表示为:
YF=YGtWF;
将初步融合的结果,输入softmax激活函数得到门控,表示为:
RT=softmax(YF);
将初步融合结果YF与门控RT做点乘得到,输出最终融合的特征信息Y,表示为:
Y=YF*RT;
其中,YGt为由第一交通流特征矩阵和第二交通流特征矩阵拼接形成的矩阵;Y∈RN×M×C表示最终融合的特征信息,RT为门控,YF是初步融合结果,*表示点乘,N是节点个数,M为输入的节点历史时间片数,C是通道数。
10.一种基于Transformer的自适应时空图神经网络交通流预测系统,其特征在于,该系统包括特征表示模块、Transformer模块、GCN模块、Gate模块,其中:
特征表示模块,用于根据历史数据得到表征路网空间特征的邻接矩阵和交通流特征矩阵;
Transformer模块,用于根据交通流特征矩阵、邻接矩阵和one-hot编码矩阵捕获动态空间相关性、时空相关性和时间相关性;
GCN模块,用于根据交通流特征矩阵、邻接矩阵和自适应邻接矩阵捕获显式和隐式的空间相关性;
Gate模块,用于融合Transformer模块和GCN模块提取的交通流特征,后续将融合的交通流特征输入卷积层得到预测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210085688.2A CN114492992A (zh) | 2022-01-25 | 2022-01-25 | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210085688.2A CN114492992A (zh) | 2022-01-25 | 2022-01-25 | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114492992A true CN114492992A (zh) | 2022-05-13 |
Family
ID=81475635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210085688.2A Pending CN114492992A (zh) | 2022-01-25 | 2022-01-25 | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114492992A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115019504A (zh) * | 2022-05-17 | 2022-09-06 | 汕头大学 | 基于新深空时自适应融合图网络的短期交通流预测方法 |
CN115034496A (zh) * | 2022-06-27 | 2022-09-09 | 北京交通大学 | 基于GCN-Transformer的城市轨道交通节假日短时客流预测方法 |
CN115307780A (zh) * | 2022-09-29 | 2022-11-08 | 中国海洋大学 | 基于时空信息交互融合的海表温度预测方法、系统及应用 |
CN115620510A (zh) * | 2022-08-25 | 2023-01-17 | 重庆邮电大学 | 一种基于自适应窗口注意力提取时空依赖的交通流预测方法 |
CN115938112A (zh) * | 2022-11-23 | 2023-04-07 | 华侨大学 | 交通需求预测方法、系统、电子设备及计算机存储介质 |
CN116363878A (zh) * | 2023-05-26 | 2023-06-30 | 云南大学 | 基于连续动态常微分方程的交通流量预测系统及方法 |
CN117198037A (zh) * | 2023-05-07 | 2023-12-08 | 河海大学 | 一种基于图卷积回声状态网络的交通流预测方法 |
CN117496715A (zh) * | 2023-11-28 | 2024-02-02 | 重庆邮电大学 | 一种基于隐藏时空特征挖掘的时空交通流预测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113435658A (zh) * | 2021-07-09 | 2021-09-24 | 江南大学 | 一种基于时空融合相关性和注意力机制的交通流预测方法 |
CN113450568A (zh) * | 2021-06-30 | 2021-09-28 | 兰州理工大学 | 一种基于时空注意力机制的卷积网络交通流预测方法 |
CN113487066A (zh) * | 2021-06-18 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 |
CN113487061A (zh) * | 2021-05-28 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 一种基于图卷积-Informer模型的长时序交通流量预测方法 |
CN113505536A (zh) * | 2021-07-09 | 2021-10-15 | 兰州理工大学 | 一种优化的基于时空图卷积网络的交通流预测模型 |
-
2022
- 2022-01-25 CN CN202210085688.2A patent/CN114492992A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113487061A (zh) * | 2021-05-28 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 一种基于图卷积-Informer模型的长时序交通流量预测方法 |
CN113487066A (zh) * | 2021-06-18 | 2021-10-08 | 山西云时代智慧城市技术发展有限公司 | 基于多属性增强图卷积-Informer模型的长时序货运量预测方法 |
CN113450568A (zh) * | 2021-06-30 | 2021-09-28 | 兰州理工大学 | 一种基于时空注意力机制的卷积网络交通流预测方法 |
CN113435658A (zh) * | 2021-07-09 | 2021-09-24 | 江南大学 | 一种基于时空融合相关性和注意力机制的交通流预测方法 |
CN113505536A (zh) * | 2021-07-09 | 2021-10-15 | 兰州理工大学 | 一种优化的基于时空图卷积网络的交通流预测模型 |
Non-Patent Citations (1)
Title |
---|
王竟成 等: "基于图卷积网络的交通预测综述", 北京工业大学学报, vol. 47, no. 8, 10 August 2021 (2021-08-10), pages 954 - 970 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115019504A (zh) * | 2022-05-17 | 2022-09-06 | 汕头大学 | 基于新深空时自适应融合图网络的短期交通流预测方法 |
CN115034496A (zh) * | 2022-06-27 | 2022-09-09 | 北京交通大学 | 基于GCN-Transformer的城市轨道交通节假日短时客流预测方法 |
CN115620510B (zh) * | 2022-08-25 | 2023-12-05 | 重庆邮电大学 | 一种基于自适应窗口注意力提取时空依赖的交通流预测方法 |
CN115620510A (zh) * | 2022-08-25 | 2023-01-17 | 重庆邮电大学 | 一种基于自适应窗口注意力提取时空依赖的交通流预测方法 |
CN115307780A (zh) * | 2022-09-29 | 2022-11-08 | 中国海洋大学 | 基于时空信息交互融合的海表温度预测方法、系统及应用 |
CN115307780B (zh) * | 2022-09-29 | 2023-01-06 | 中国海洋大学 | 基于时空信息交互融合的海表温度预测方法、系统及应用 |
CN115938112A (zh) * | 2022-11-23 | 2023-04-07 | 华侨大学 | 交通需求预测方法、系统、电子设备及计算机存储介质 |
CN117198037A (zh) * | 2023-05-07 | 2023-12-08 | 河海大学 | 一种基于图卷积回声状态网络的交通流预测方法 |
CN117198037B (zh) * | 2023-05-07 | 2024-02-09 | 河海大学 | 一种基于图卷积回声状态网络的交通流预测方法 |
CN116363878B (zh) * | 2023-05-26 | 2023-08-11 | 云南大学 | 基于连续动态常微分方程的交通流量预测系统及方法 |
CN116363878A (zh) * | 2023-05-26 | 2023-06-30 | 云南大学 | 基于连续动态常微分方程的交通流量预测系统及方法 |
CN117496715A (zh) * | 2023-11-28 | 2024-02-02 | 重庆邮电大学 | 一种基于隐藏时空特征挖掘的时空交通流预测方法 |
CN117496715B (zh) * | 2023-11-28 | 2024-09-10 | 重庆邮电大学 | 一种基于隐藏时空特征挖掘的时空交通流预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114492992A (zh) | 一种基于Transformer的自适应时空图神经网络交通流预测方法及系统 | |
Mukhoti et al. | Deterministic neural networks with inductive biases capture epistemic and aleatoric uncertainty | |
Shlezinger et al. | Model-based deep learning | |
CN111291212B (zh) | 基于图卷积神经网络的零样本草图图像检索方法和系统 | |
Clark et al. | Learning to solve nonlinear least squares for monocular stereo | |
CN113221641B (zh) | 基于生成对抗网络和注意力机制的视频行人重识别方法 | |
US20230215166A1 (en) | Few-shot urban remote sensing image information extraction method based on meta learning and attention | |
Cherabier et al. | Learning priors for semantic 3d reconstruction | |
CN113313232B (zh) | 一种基于预训练和图神经网络的功能脑网络分类方法 | |
CN111626764A (zh) | 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置 | |
CN113628249A (zh) | 基于跨模态注意力机制与孪生结构的rgbt目标跟踪方法 | |
CN113297972B (zh) | 一种基于数据融合深度学习的变电站设备缺陷智能分析方法 | |
CN112307883A (zh) | 训练方法、装置、电子设备以及计算机可读存储介质 | |
Ye et al. | Efficient point cloud segmentation with geometry-aware sparse networks | |
CN116090504A (zh) | 图神经网络模型训练方法及装置、分类方法、计算设备 | |
CN113112792A (zh) | 一种基于语义信息的多模块交通密集度预测方法 | |
CN115346207A (zh) | 一种基于实例结构相关性的二维图像中三维目标检测方法 | |
CN105718898A (zh) | 基于稀疏无向概率图模型的人脸年龄估计方法、系统 | |
Wu et al. | Colour image segmentation based on a convex K‐means approach | |
CN115953902B (zh) | 一种基于多视图时空图卷积网络的交通流预测方法 | |
CN113408721A (zh) | 神经网络结构搜索方法、装置、计算机设备和存储介质 | |
Wang et al. | Data recovery and subspace clustering from quantized and corrupted measurements | |
Chao et al. | Video2mesh: 3D human pose and shape recovery by a temporal convolutional transformer network | |
CN114882288B (zh) | 基于分层图增强堆叠自编码器的多视图图像分类方法 | |
KR101318923B1 (ko) | 자료 특징 추출 시스템 및 자료 특징 추출 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20240904 Address after: 250000 Xinlian Technology Building A7-5, Hanyu Jingu, High tech Zone, Jinan City, Shandong Province Applicant after: Shandong high speed Xinlian Technology Co.,Ltd. Country or region after: China Address before: 400065 Chongwen Road, Nanshan Street, Nanan District, Chongqing Applicant before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS Country or region before: China |