CN116092294A - 一种基于Transformer与图注意力网络的高速公路交通流量预测方法 - Google Patents
一种基于Transformer与图注意力网络的高速公路交通流量预测方法 Download PDFInfo
- Publication number
- CN116092294A CN116092294A CN202310194728.1A CN202310194728A CN116092294A CN 116092294 A CN116092294 A CN 116092294A CN 202310194728 A CN202310194728 A CN 202310194728A CN 116092294 A CN116092294 A CN 116092294A
- Authority
- CN
- China
- Prior art keywords
- data
- traffic flow
- layer
- attention
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 239000011159 matrix material Substances 0.000 claims abstract description 74
- 230000003442 weekly effect Effects 0.000 claims abstract description 11
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 40
- 238000012360 testing method Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 12
- 238000012795 verification Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 9
- 230000000737 periodic effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010200 validation analysis Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 201000010099 disease Diseases 0.000 claims 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims 1
- 230000001502 supplementing effect Effects 0.000 claims 1
- 230000007774 longterm Effects 0.000 abstract description 3
- 238000013461 design Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 3
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000540325 Prays epsilon Species 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
- 238000000700 time series analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0129—Traffic data processing for creating historical data or processing based on historical data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
- G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明涉及一种基于Transformer与图注意力网络的高速公路交通流量预测方法，该交通流量预测模型包含图注意力网络与Transformer网络。图注意力网络用于捕获交通流量的空间相关性，Transformer用于捕获交通流量的时间相关性，利用线性层输出每一步的预测结果。该模型将交通流量划分为近期流量、日周期流量、周周期流量，对交通流量的周期性显式建模。此外，该模型将天气因素引入该预测模型中用于动态地调整不同时间片之间的依赖程度。图注意力网络中使用注意力机制结合预定义邻接矩阵对交通流量的空间相关性动态建模。使用Transformer网络对交通流量的时间相关性进行建模，提高长期预测的精度。本发明中涉及的交通流量预测方法基于数据驱动，无需人工特征工程设计，实施起来更加灵活。
Description
技术领域
本发明涉及一种基于Transformer与图注意力网络的高速公路交通流量预测方法。
背景技术
智能交通系统是智慧城市中重要的一部分，能够帮助实现高效的交通管理。交通流量预测作为智能交通系统中不可或缺的一部分，为优化交通资源的调度提供了必要的参考，特别是在交通量大、行车速度快的高速公路上。由于高速公路相对封闭，一旦发生拥堵，将严重影响通行能力。交通流量是反映公路状况的一项基本量度。如果能够提前准确预测，据此，交通管理部门将能够更合理地引导车辆，提升高速公路网的运行效率。交通流量预测是交通资源控制、优化的基础，在智能交通系统中起着重要作用，受到国内外学者的广泛关注。
目前，各大高速公路都部署了大量传感器、高清摄像头等信息收集设备。这些设备能不断收集关于交通的时间序列数据(交通流量信息、交通速度信息等)，为交通流量预测提供了可靠的数据来源。天气因素也是影响交通情况的一个重大因素，目前天气预测的精度已经达到可以作为交通预测数据来源的标准。
交通预测是智能交通系统中的一个基本问题，在过去的几十年里引起了广泛的研究关注。早期的工作通常基于线性时间序列分析方法。如，基于统计学方法的历史平均法HA、自回归移动平均模型ARIMA、基于机器学习的K邻近算法(K-Nearest Neighbor,KNN)、支持向量回归(Support Vector Regression,SVR)等。早期的统计学方法通常基于独立性假设、线性假设等，但实际上交通演变是一个复杂的非线性且动态的过程，并不满足这些假设；机器学习方法能够建模相对更加复杂的非线性数据，相比统计学方法取得了更好的预测效果；近年来，深度学习的迅速发展将交通流量预测的研究发展推向一个更高层级的阶段；深度学习方法能够从大量的交通流量数据中挖掘出时间依赖性与空间依赖性，现如今大量的传感器、摄像头等设备采集的大量交通数据能满足深度学习的数据需求。深度学习方法不需要大量的人工设计，仅仅从交通流量数据中挖掘潜在的关联，在交通流量预测方面取得了不错的成绩。
具体地，给定一个长度为T的历史交通信号矩阵X∈RN×T×C及该区域对应时间段的天气数据P∈R(T+T′)×1，交通流量预测的目标是建立一个模型将X与P作为输入然后输出未来T′个时间步的交通流量矩阵Y′∈RN×T′×C。其中N表示交通路网节点数量，C表示交通特征数量，如果仅仅将交通流量数据输入模型则C＝1，T′表示预测的时长。
发明内容
本发明的目的是提供一种基于Transformer与图注意力网络的高速公路交通流量预测方法，将天气因素和交通流量数据结合起来建模交通流量数据复杂的时间特征与空间特征，提高交通流量预测精度。
本发明解决上述问题的技术方案如下：一种基于Transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：利用图注意力网络(Graph attention neuralnetwork,GAT)获取交通流量数据的空间特征；利用Transformer模型获取交通流量数据的时间特征；利用不同周期的数据对数据进行周期性建模；利用天气信息调整交通节点之间的时间、空间关联强度。
本发明提供的这种基于Transformer与图注意力网络的高速公路交通流量预测方法，过程如下：
步骤1：获取原始交通数据集与天气数据集并对其进行预处理，按照6:2:2的比例将整个数据集划分成训练集、验证集、测试集。
步骤2：将训练集数据按照小时、天、周处理，得到近期、日周期、周周期三种周期数据。
步骤3：基于图注意力网络、Transformer、线性变换等构建交通流量预测模型。
步骤4：使用步骤2获得的训练集、验证集输入步骤3构建的交通流量预测模型进行训练。
步骤5：采用步骤4训练后的交通流量预测模型对步骤1中的测试集进行交通流量预测，并采用平均绝对误差(mean absolute error,MAE)，均方根误差(root mean squareerror,RMSE)和平均绝对百分比误差(mean absolute percentage error,MAPE)作为评估标准。
步骤1所述的交通数据预处理，具体过程如下：
1)收集目标区域交通数据采集装置采集的交通流量数据并获取对应地区的天气数据；检查数据完整性情况并将交通流量数据每5分钟聚合一次处理成大小为N×T×C的交通信号矩阵；其中N表示交通路网中数据采集点数量，T表示时间片数量，C＝3表示交通数据的特征数量，其中特征包括交通流量、交通速度、道路占有率。
2)对1)中得到的交通流量矩阵的缺省值采用线性插值方法进行补全；对交通流量矩阵进行标准化，得到标准化的交通流量矩阵。
3)将天气数据按照5分钟聚合一次处理成长度为(T+T′)的向量P并进行量化。具体地，将天气根据影响交通的程度划分为5个等级分别由1，2，3，4，5表示并对上述五种等级分别量化为1，0.8，0.6，0.5，0.3。比如大雾视为严重影响交通等级记为等级5，天气晴朗便于出行记为等级1.
4)将2)、3)中得到的标准化交通流量矩阵和标准天气向量划分成训练集、验证集、测试集。具体地，将60％的数据划分为训练集，20％划分为验证集，剩余20％划分为测试集。
步骤2所述的将训练集划分成三种周期数据。具体过程如下：
定义预测时长为Tp，采样频率为p，数据起始点为t0。近期数据Xr、日周期数据Xd、周周期数据Tw的数据长度分别定义为Tr、Td和Tw，需要注意的是Tr、Td和Tw都是Tp的整数倍；近期数据、日周期数据、周周期数据分别由式(1),(2),(3)表示。
步骤3所述的基于图卷注意力网络、Transformer，卷积神经网络等构建交通流量预测模型具体如下：
交通流量预测模型包括：图注意力网络、Transformer、周期融合层以及基于卷积神经网络的预测层。预测过程如下：
将三个周期的数据分别输入图注意力网络用于提取交通流量的空间特征，随后为图注意力网络的输出添加时间位置嵌入并输入Transformer的编码层与解码层，最后将三个周期的输出进行融合输入卷积网络层得到最后的预测结果。
所述的图注意力网络提取交通流量的空间相关性信息，过程如下：
图注意力网络采用式(4)定义的空域图卷积神经网络，如下所示。
其中，Ad表示交通路网的动态邻接矩阵，
是Ad的度矩阵；X表示标准化的交通流量矩阵；σ表示Relu激活函数；W和b表示可学习的权重矩阵和偏置向量，XG为图卷积的输出结果。
式(4)中的邻接矩阵Ad动态建模是提取交通流量的空间相关性信息的关键，本发明中采用静态邻接矩阵与空间注意力计算得到的节点互相关联矩阵相乘得到，如式(8)所示。
具体地，输入模型的交通流量数据被聚合成了多个时间片，在模型中将每个时间片的交通流量数据在空间维度进行注意力计算得到各个节点之间的注意力得分
公式表达如式(5)。
Qs＝Ks＝WlXt+bl (6)
其中，
为注意力得分，Qs、Ks分别为交通流量经过线性层后得到的查询向量与键向量，
表示
的转置矩阵，d为特征维度；Wl与bl为可学习的权重矩阵与偏置向量；A是预定义邻接矩阵，Ad表示动态邻接矩阵。
用于图注意力网络中的动态邻接矩阵由
与由节点之间的地理距离计算得到的预定义静态邻接矩阵A相乘得到，预定义邻接矩阵与动态邻接矩阵公式表达如式(7)与式(8)所示。
Ai,j＝1/distance(i,j) (7)
其中，distance(i，j)表示节点i与节点j之间的地理距离；A是预定义邻接矩阵，Ad表示动态邻接矩阵，⊙表示哈达玛积。
图注意力网络层公式表达如式(9)所示。
步骤3所述的采用Transformer捕获时间相关性信息，具体如下：
Transformer中采用时间注意力机制捕获时间相关性，并使用量化后的天气数据调整各个时间片之间的关联程度。由于注意力机制公平对待每个数据，导致忽略了数据之间的顺序信息，而顺序信息对时空数据预测而言非常重要。所以在输入Transformer之前必须对数据添加时间位置嵌入。具体如式(10)与式(11)所示。
X′s[i，：]＝Xs[i，：]+etp (10)
其中，etp为时间位置嵌入编码，t表示不同的时间步，d表示特征维度；X′s为添加时间位置编码后的交通流量矩阵。
Transformer的编码器在时间维度采用多头注意力机制捕获时间相关性公式如式(13)所示。并堆叠多个编码层与图注意力网络捕获时空相关性。
attmh＝head1+head2+…+headh (13)
Qt＝Kt＝Vt＝Linear(X′s) (14)
其中Qt∈RT×N、Kt∈RT×N、Vt∈RT×N分别表示时间维度的查询向量、键向量与值向量，P∈RT×1为量化后的天气数据向量，headi是第i个头的输出，Linear()表示线性变换，d为特征维度，softmax()是非线性激活函数，attmh即为多头注意力层的输出矩阵。
将attmh∈RN×T添加残差连接与归一化后输入图注意力网络进一步捕获空间相关性后即为Transformer网络编码器的输出。
Transformer中的解码层与编码器结构相似，但是在解码器中为了防止将未来需要的真实数据输入模型中采用遮罩矩阵对解码器的输入进行部分屏蔽处理，具体如下：
将未来目标时间步的数据Xd经过多头注意力计算后与一个遮罩矩阵Mask进行相加再经过softmax函数将未知的部分变为0，达到屏蔽未知信息的作用。Mask是一个下三角全为0，上三角全为负无穷的矩阵，所以经过softmax函数之后负无穷的部分变为0。公式表达如式(15。
Y′＝softmax(Xd+Mask) (15)
其中，Y′表示遮罩矩阵层的输出，Mask表示遮罩矩阵，softmax是归一化函数。
解码器中依次包括图多头时间注意力层、遮罩矩阵层、多头时间注意力层、图注意力网络层并且每一层之间都有残差连接及归一化。编码器的输出作为查询向量Q与键向量K输入多头时间注意力层，而值向量V是经过上一步遮罩矩阵处理后的数据。通过堆叠多个解码器来捕获交通流量数据的时空相关性。
分别将近期数据、日周期数据、周周期数据输入三个结构相同的编码器分别得到Y′r、Y′d、Y′w，并进入周期融合层进行特征融合，周期融合层采用门控机制对三个周期的数据进行融合，如式(16)所示。
Y″＝sigmoid(Y′r)⊙Y′r+sigmoid(Y′d)⊙Y′d+sigmoid(Y′w)⊙Y′w (16)
其中，Y″为周期融合层的输出特征矩阵，Y′r、Y′d、Y′w分别是三个周期编码器输出的特征矩阵；⊙表示哈达玛积，sigmoid()是非线性激活函数。
经过图注意力网络、编码器、周期融合层、解码器后采用线性层将解码器的输出映射成预测数据，如式(17)所示。每次预测出的值将作为解码器的输入用于预测下一个时间片的交通流量。
其中，
即为预测值，W′与B为可学习的权重矩阵与偏置向量。
步骤4所述的将训练集、验证集输入交通流量预测模型进行训练，具体过程如下：
训练过程中采用L1损失函数进行损失计算，采用Adam作为优化器。
训练过程中使用训练集对原始交通流量预测进行训练，然后使用验证集对训练后的模型进行评估，直到训练后的模型收敛。
步骤5：所述的采用步骤4训练后的交通流量预测模型对步骤1中的测试集进行交通流量预测并评估，具体如下：
1)将交通流量预测模型的模式从训练模式修改为评估模式。
2)交通流量预测模型加载训练过程中保存的最佳参数模型，并将测试集中的数据输入模型进行交通流量预测并采用MAE、RMSE和MAPE进行评估。
本发明中提出的交通流量预测模型使用图注意力网络动态捕获交通流量的空间相关性。将图注意力网络嵌入Transformer框架中使得Transformer能够同时捕获时间相关性和空间相关性。Transformer的强大序列数据处理能力能够捕获序列数据的长期依赖，从而使得该模型在长期预测方面相比其他预测模型更具优势，对周期性显式建模也使得该模型对于交通流量的周期性更加敏感，提高预测精度。此外，本交通流量预测模型引入天气因素对交通节点之间的依赖程度进行动态调整，预测模型更加先进。
附图说明
图1为本发明涉及的交通流量预测模型的结构示意图；
图2为本发明涉及的一种基于Transformer和图注意力神经网络的交通流量预测方法总流程图；
图3为本发明涉及的基于Transformer和图注意力神经网络的交通流量预测模型训练流程图；
图4为本发明涉及的最终预测流程图；
具体实施方式
以下结合附图并对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
图1为本发明涉及的交通流量预测模型的结构示意图；图2为本发明涉及的一种基于Transformer和图注意力神经网络的交通流量预测方法总流程图；图3为本发明涉及的基于Transformer和图注意力神经网络的交通流量预测模型训练流程图；图4为本发明涉及的最终预测流程图；如图1，2，3，4所示，一种基于时间注意力循环图卷积神经网络的交通流量预测方法的具体步骤如下：
步骤1：对原始交通流量数据与天气数据进行预处理，具体如下：
1)收集目标区域交通数据采集装置采集的交通流量数据；检查数据完整性情况并使用线性插值补全缺省数据；将数据处理成大小为N×T的交通流量矩阵；其中N表示交通路网中数据采集点数量，T表示时间片数量；将天气数据根据天气情况进行量化并按每5分钟聚合一次，最终得到的长度为T的天气数据向量P。
2)对1)中得到的交通流量矩阵的缺省值采用线性插值方法进行补全；对交通流量矩阵进行标准化，得到标准化的交通流量矩阵；
3)将得到的标准化交通流量矩阵数据与天气数据划分成训练集、验证集、测试集。具体而言，将60％的数据划分为训练集，20％划分为验证集，剩余20％划分为测试集。将交通流量数据的训练集划分成近期数据、日周期数据、周周期数据。
步骤2：构建基于Transformer和图注意力网络的交通流量预测模型，并加载训练参数文件初始化模型。
步骤3：加载训练集、验证集数据初始化模型参数准备开始训练；将近期数据、日周期数据、周周期数据并行输入图注意力层并添加位置嵌入，随后输入编码器。
步骤4：如图3所示对模型进行训练，训练集分批次输入交通流量预测模型开始第一轮训练，具体如下(近期数据、日周期数据、周周期数据独立训练过程完全一样，下面统一称作交通流量数据X)：
1)首先交通流量数据X与预定义邻接矩阵A输入图卷积层。
2)X经过线性变换得到查询向量Qs与键向量Ks并计算注意力得分，经过Relu()和softmax()函数得到第一轮节点关联矩阵
随后将
与预定义邻接矩阵A相乘得到第一轮训练的动态邻接矩阵。
3)根据公式(9)计算得到图注意力层的输出。
4)为图注意力层的输出添加位置嵌入；
5)将带有位置信息的图注意力层的输出输入编码器，经过多个堆叠的编码器后得到三种周期的编码数据Y′r、Y′d、Y′w。
6)将Y′r、Y′d、Y′w输入周期融合层，按照公式(16)进行周期特征融合得到Y′。
7)将Y′经过线性变换得到解码中器的查询向量Q与键向量K。
8)将未来的数据Xd添加位置编码后经过多头时间注意力层然后经过遮罩矩阵层，如公式(15)。并通过线性层变换为解码器的值向量V。
9)将解码器中的查询向量Q、键向量K、值向量V输入解码器中的多头时间注意力层与图注意力层，并在每层之间进行残差连接与归一化。数据经过多个叠加的解码器后输入线性层，得到下一个时间片的交通流量预测值。
10)将新得到的预测值作为解码器的输入更新解码器值向量V，循环执行8)与9)直到得到目标预测长度的预测值。
11)将预测值与真实值进行对比，采用L1损失作为损失函数计算损失，采用Adam作为优化器。
步骤5：预测模型反向传播更新模型参数。
步骤6：将验证集数据输入第一轮训练后的模型进行验证，计算验证集预测值与真实值之间的误差，当误差缩小时保存交通流量预测模型的训练参数文件。在验证阶段不进行反向传播，仅仅计算损失。
步骤7：循环步骤4至步骤6，直至当前训练轮数大于设置的最大训练轮数停止训练，并输出最佳参数文件相关信息。
步骤8：如图4所示，对测试集数据进行交通流量预测，具体如下：
1)将预测模型从训练模式更改为预测模式加载模型，加载训练过程中保存的最佳参数文件初始化模型；
2)加载测试集数据并输入模型，进行预测。
3)根据真实流量值计算预测值的平均绝对误差MAE、均方根误差RMSE、平均绝对百分比误差MAPE并输出。
4)保存交通流量数据测试集的预测数据文件。
以上所述仅为本发明的较佳实施例子，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于Transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：交通流量预测模型结构包括图注意力网络块与Transformer网络模块，并将图注意力网络块嵌入Transformer中。图注意力网络块使用注意力机制结合预定义邻接矩阵动态地捕获交通流量的空间相关性。使用Transformer模型并引入天气因素捕获交通流量的时间相关性，并对交通流量的周期性进行显式建模。
图注意力模块中使用自注意力计算各个交通节点之间的关联关系，并结合根据地理距离构建的预定义邻接矩阵动态生成交通节点动态邻接矩阵用于捕获交通流量中的空间相关性。Transformer网络模块分为编码器与解码器用于捕获交通流量中的时间相关性。将交通流量数据分为近期流量、日周期流量、周周期流量分别训练后融合能有效捕获交通流量的周期性。
所述的交通流量预测方法，包括如下步骤：
步骤1：对原始交通流量数据预处理，包括使用线性插值法补齐数据中的缺失值，将交通流量数据按照6:2:2的比例划分为训练集、测试集与验证集，将训练集划分为近期数据、日周期数据、周周期数据。并将天气数据量化成与交通流量数据长度相同的向量。
步骤2：使用图注意力网络捕获基于步骤1处理后的交通流量数据序列的空间相关性，如式(1)所示。
其中，X是预处理后的交通流量矩阵，Xs为图注意力网络输出的特征矩阵；Relu为非线性激活函数；
与A分别为图注意力网络中的注意力相关矩阵与预定义邻接矩阵，
为
的度矩阵；⊙为哈达玛积；W与b为可学习的权重矩阵与偏置向量。
步骤3：基于步骤2输出的带有空间特征的交通流量序列数据，添加时间位置编码，式(2)中的X′s即为添加时间位置编码后的数据。
X′s[t,:]＝Xs[t,:]+etp (2)
其中，etp为时间位置编码，t为不同的时间点，d是特征维度；X′s表示添加时间位置编码后的交通流量特征矩阵。
步骤4：将添加位置编码后的数据X′s输入Transformer网络的编码器。编码器结构包括多头时间注意力层、图注意力网络层，并在每一层之间都添加残差连接与归一化。其中图注意力网络层与式(1)所述图注意力网络相同。多头时间注意力层公式如(4)-(6)所示。
其中，attmh即为多头时间注意力层的输出，headi表示第i个注意力头的输出；Linear()表示线性网络层，Qt、Kt、Vt分别表示注意力机制中的查询向量、键向量与值向量；softmax为非线性激活函数；P为量化后的天气向量。
步骤5：将多头注意力层的输出attmh添加残差连接并归一化后输入图注意层进一步捕获交通数据的空间相关性后即为Transformer编码器的输出。
步骤6：将Transformer编码器的输出经过线性层后作为查询向量与键向量输入Transformer网络的解码器。解码器中依次包括图多头时间注意力层、遮罩矩阵层、多头时间注意力层、图注意力网络层并且每一层之间都有残差连接及归一化。编码器的输出作为查询向量Q与键向量K输入多头时间注意力层，而值向量V是经过上一步遮罩矩阵处理后的数据。通过堆叠多个解码器来捕获交通流量数据的时空相关性。遮罩矩阵层用于屏蔽未来数据，如式(7)所示。
Y′＝softmax(Xd+Mask) (7)
其中，Xd为Transformer解码器的输入数据，Mask为遮罩矩阵；Y′为Transformer解码器中遮罩矩阵层的输出矩阵。
步骤7：将Y′作为值向量与编码层的输出经过线性变换后作为查询向量和键向量一并输入解码器中的多头时间注意力层，然后经过和图注意网络层得到解码器的输出。每一次编码器的预测值将作为下一次预测的输入。
步骤8：将近期数据Xr、日周期数据Xd、周周期数据Xw三种周期数据分别独立输入图注意力层与Transformer网络的编码器中得到三种周期数据的编码器输出然后通过周期融合层进行融合后再作为查询向量和键向量输入Transformer的解码器。
2.根据权利要求1所述的一种基于Transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：步骤1中的数据预处理包括对原始数据丢失部分进行线性插值、将原始数据归一化、根据交通网络中各个节点的距离计算预定义邻接矩阵以及将数据划分成训练集、验证集和测试集。具体来说，将60％划分为训练集，20％的数据划分为验证集，20％的数据划分为测试集。并将训练集划分为近期数据、日周期数据与周周期数据。具体划分方式如式子(8)-(10)所示，其中Xr、Xd、Xw分别表示近期数据、日周期数据与周周期数据。预定义邻接矩阵A是根据交通节点之间的欧氏距离计算得到，如式(11)。
Ai,j＝1/distance(i,j) (11)
其中，distance(i,j)表示交通节点i和j之间的距离；Xr、Xd、Xw分别为近期数据、日周期数据、周周期数据；q为每天的采样次数，t0训练集中第一个时间点，Tp为预测时长；Tr、Td、Tw分别表示近期、日周期、周周期的截取长度且Td与Tw都是Tp的整数倍。
3.根据权利要求1所述的一种基于Transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：步骤2中的图注意力网络采用注意力集中制与预定义邻接矩阵动态计算交通路网邻接矩阵。具体地，将交通流量数据X经过线性层变换为查询向量Q与键向量K然后计算注意力系数
然后与预定义邻接矩阵相乘作为动态邻接矩阵Ad，如式(12)-(14)所示。
Qs＝Ks＝WlXt+bl (13)
其中，
为注意力得分，Qs、Ks分别为交通流量经过线性层后得到的查询向量与键向量，
表示
的转置矩阵，d为特征维度；Wl与bl为可学习的权重矩阵与偏置向量；A是预定义邻接矩阵，Ad表示动态邻接矩阵。
4.根据权利要求1所述的一种基于Transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：步骤3中需要在输入Transformer的编码器之前添加时间位置嵌入，其目的在于为每个数据标注时间顺序，使得注意力计算中不会平等对待对所有位置的数据，如式(15)。
X′s[i,:]＝Xs[i,:]+etp (15)
其中，etp为时间位置嵌入编码，i表示不同的时间步，d表示特征维度；X′s为添加时间位置编码后的交通流量矩阵。
5.根据权利要求1所述的一种基于Transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：Transformer网络的编码器由多头时间注意力层与图注意力层串联构成，且在每一次之间都有残差连接与归一化操作。Transformer网络的解码器由多头时间注意力层、遮罩矩阵层、时间注意力层与图注意力层串联构成，并且每一层之间都有残差连接和归一化操作，并且输入解码器的查询向量与键向量由编码器的输出经过线性变换得到，而值向量由已预测出的交通流量值经过多头时间自注意力层与遮罩矩阵层得到。
6.根据权利要求1所述的一种基于Transformer与图注意力网络的高速公路交通流量预测方法，其特征在于：该预测模型将交通流量的周期性显式建模，将不同的周期数据分别输入编码器捕获时空相关性，然后使用周期融合层对不同尺度的周期性进行融合，周期融合层如式(15)所示。
Y′＝sigmoid(Y′r)⊙Y′r+sigmoid(Y′d)⊙Y′d+sigmoid(Y′w)⊙Y′w (15)
其中，sigmoid为非线性激活函数，Y′三个周期融合后的时空特征矩阵。
该预测模型可以根据实际情况堆叠更多的编码器与解码器来学习交通数据的时空相关性，并且在数据量特别多的情况下可以划分更多不同周期输入编码器更加精细化建模周期性，需要注意的是每个周期的数据量不能太少否则由于数据量不足很可能导致无法学习到准确的时空相关性。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310194728.1A CN116092294A (zh) | 2023-03-02 | 2023-03-02 | 一种基于Transformer与图注意力网络的高速公路交通流量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310194728.1A CN116092294A (zh) | 2023-03-02 | 2023-03-02 | 一种基于Transformer与图注意力网络的高速公路交通流量预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116092294A true CN116092294A (zh) | 2023-05-09 |
Family
ID=86188113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310194728.1A Pending CN116092294A (zh) | 2023-03-02 | 2023-03-02 | 一种基于Transformer与图注意力网络的高速公路交通流量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116092294A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117171712A (zh) * | 2023-11-03 | 2023-12-05 | 中关村科学城城市大脑股份有限公司 | 辅助信息生成方法、装置、电子设备和计算机可读介质 |
| CN117292551A (zh) * | 2023-11-27 | 2023-12-26 | 辽宁邮电规划设计院有限公司 | 基于物联网的城市交通态势调节系统与方法 |
| CN117494906A (zh) * | 2023-12-28 | 2024-02-02 | 浙江省白马湖实验室有限公司 | 一种基于多元时间序列的天然气日负荷预测方法 |
-
2023
- 2023-03-02 CN CN202310194728.1A patent/CN116092294A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117171712A (zh) * | 2023-11-03 | 2023-12-05 | 中关村科学城城市大脑股份有限公司 | 辅助信息生成方法、装置、电子设备和计算机可读介质 |
| CN117171712B (zh) * | 2023-11-03 | 2024-02-02 | 中关村科学城城市大脑股份有限公司 | 辅助信息生成方法、装置、电子设备和计算机可读介质 |
| CN117292551A (zh) * | 2023-11-27 | 2023-12-26 | 辽宁邮电规划设计院有限公司 | 基于物联网的城市交通态势调节系统与方法 |
| CN117292551B (zh) * | 2023-11-27 | 2024-02-23 | 辽宁邮电规划设计院有限公司 | 基于物联网的城市交通态势调节系统与方法 |
| CN117494906A (zh) * | 2023-12-28 | 2024-02-02 | 浙江省白马湖实验室有限公司 | 一种基于多元时间序列的天然气日负荷预测方法 |
| CN117494906B (zh) * | 2023-12-28 | 2024-03-29 | 浙江省白马湖实验室有限公司 | 一种基于多元时间序列的天然气日负荷预测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109492830B (zh) | 一种基于时空深度学习的移动污染源排放浓度预测方法 | |
| CN111161535B (zh) | 基于注意力机制的图神经网络交通流量预测方法及系统 | |
| CN116092294A (zh) | 一种基于Transformer与图注意力网络的高速公路交通流量预测方法 | |
| CN110570651A (zh) | 一种基于深度学习的路网交通态势预测方法及系统 | |
| US20240054321A1 (en) | Traffic prediction | |
| CN113591380B (zh) | 基于图高斯过程的交通流预测方法、介质及设备 | |
| CN113298319B (zh) | 一种基于跳跃图注意力门控循环网络的交通速度预测方法 | |
| CN111242395B (zh) | 用于od数据的预测模型构建方法及装置 | |
| CN112232543A (zh) | 一种基于图卷积网络的多站点预测方法 | |
| Mihaita et al. | Motorway traffic flow prediction using advanced deep learning | |
| CN114299723A (zh) | 一种交通流量预测方法 | |
| CN114925836B (zh) | 基于动态多视图图神经网络的城市交通车流量推理方法 | |
| CN115587454A (zh) | 基于改进Transformer模型的交通流量长时预测方法及系统 | |
| CN114692762A (zh) | 一种基于图注意力交互机制的车辆轨迹预测方法 | |
| CN113671421A (zh) | 一种变压器状态评估与故障预警方法 | |
| CN115206092A (zh) | 一种基于注意力机制的BiLSTM和LightGBM模型的交通预测方法 | |
| CN113345236A (zh) | 一种基于Transformer网络的时空交通状态预测方法 | |
| CN116011684A (zh) | 一种基于时空图卷积网络的交通流量预测方法 | |
| CN116612645A (zh) | 一种高速公路服务区车流量预测方法 | |
| CN116151459A (zh) | 基于改进Transformer的电网防汛风险概率预测方法和系统 | |
| CN116913088A (zh) | 一种用于高速公路的智能流量预测方法 | |
| CN114493034A (zh) | 一种面向区域流量预测的时空全局语义表示学习方法 | |
| Ge et al. | Traffic speed prediction with missing data based on TGCN | |
| He et al. | Dyna-PTM: OD-enhanced GCN for metro passenger flow prediction | |
| Bonet et al. | Conditional variational graph autoencoder for air quality forecasting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |