CN113450568B - 一种基于时空注意力机制的卷积网络交通流预测模型 - Google Patents

Abstract

一种基于时空注意力机制的卷积网络交通流预测方法，所述的交通流组合预测方法主要由时空注意力STA‑Block，图卷积网络GCN和标准卷积网络CN三个组成，分别对交通流的周期性，空间相关性和时间依赖性进行建模；STA‑Block通过时空注意力机制和门控融合机制对不同时间步长之间的时空相关性进行建模，使用GCN和CN分别捕获交通流的空间特征和时间特征；最后，将三个分量的输出通过门控融合机制进行预测。通过结合时空注意力机制和时空卷积网络构建STAGCN方法，将n个历史时间序列交通数据输入到STAGCN方法中，以获得具有时空特征的n个隐藏状态。

Description

一种基于时空注意力机制的卷积网络交通流预测模型

技术领域

本发明涉及技术领域，具体是基于时空注意力机制的卷积网络交通流预测技术。

背景技术

交通流预测是智能交通系统(Intelligent Traffic System,ITS)的重要组成部分，可以为城市交通系统的管理和规划提供科学依据。根据历史观测结果进行准确、及时的交通流预测，有助于道路使用者制定更好的出行计划，缓解交通拥堵，提高交通运行效率。

交通流预测是一个被广泛研究的问题，早期的交通流预测方法通常是基于时间序列的统计方法或简单的机器学习方法。在实践中，这些方法难以处理非线性的交通流数据，很难同时考虑高维交通流数据的时空相关性。近年来，基于深度学习的交通流预测方法得到了广泛的研究。一些研究人员将交通网络建模为网格，并使用卷积神经网络(CNN)来捕捉空间相关性。然而，由于道路的不规则性，使用网格进行建模会丢失交通网络中的拓扑信息。针对这一问题，研究人员将能够有效捕获非欧氏距离的图神经网络(GNN)集成到递归神经网络(RNN)或CNN中，通过聚集相邻节点的信息来捕获交通流的时空特征。

尽管在交通流预测中使用深度学习方法考虑了空间相关性和时间依赖性，但是现有的方法存在两个主要的局限性。一方面，不同位置之间的空间相关性仅依赖于历史交通流的相似性和方法学习的静态空间相关性。然而，不同位置之间的时间依赖性会随着时间的推移而变化。另一方面，许多现有的研究忽略了长期周期性的依赖关系。交通流数据表现出很强的周期性，并且这种周期特性对预测具有很大的作用。然而，交通流数据并不是严格周期性的。例如，工作日的高峰时间通常发生在下午，但在不同的日期，高峰时间可能从下午到晚上不等。尽管已有研究考虑了周期性，但是他们没有考虑到序列的动态随机性。

准确的交通流预测是实现智能交通的前提保障，但因交通流复杂的时空特性，其预测一直是个难题。

发明内容

本发明的目的是提供一种基于时空注意力机制的卷积网络交通流预测方法。

本发明是一种基于时空注意力机制的卷积网络交通流预测方法，所述的交通流组合预测方法主要由时空注意力STA-Block，图卷积网络GCN和标准卷积网络CN三个组成，分别对交通流的周期性，空间相关性和时间依赖性进行建模；STA-Block通过时空注意力机制和门控融合机制对不同时间步长之间的时空相关性进行建模，使用GCN和CN分别捕获交通流的空间特征和时间特征；最后，将三个分量的输出通过门控融合机制进行预测；其具体步骤为：

步骤(1)设在交通网络G中每个节点上的第f个时间序列是交通流序列，其中，f∈(1，...，F)。

表示节点i在t时刻的第c个特征值，

表示节点i在t时刻的所有特征值；

表示所有节点在t时刻的所有特征值；D＝(X₁，X₂，...，X_τ)^T∈R^N×F×τ表示所有节点的所有特征在τ个时间片上的值；设

表示节点i在t时刻的交通流；

通过交通路网上所有节点在过去τ个时间片上的历史测量值，可预测下一个T_p时间片上整个交通网络上所有节点的未来交通流序列

其中

表示从τ+1到节点i的交通流；

假设检测器每天的采样频率是q次，当前时间和预测窗口大小分别为t₀和T_p，按时间顺序分别截取三个长度为T_h，T_d和T_w的时间序列段，分别作为邻近，每日周期和每周周期分量的输入，其中T_h，T_d和T_w均为T_p的整数倍；三个时间序列段的详细信息如下:

(1)邻近部分:

邻近部分是直接与预测时段相邻的一段历史时间序列；由于交通拥堵的形成是一个渐进的过程，历史交通流不可避免地会对未来的交通流产生影响；

(2)每日周期部分:

由历史时间序列中与预测时段相同的时间段组成；由于日常生活规律，交通数据可能会显示出重复的模式，例如每天的早高峰和晚高峰；每日时间段部分是对交通流数据的日周期性进行建模；

(3)每周周期部分:

由过去的几个周的时间段组成，它们具有与预测周期相同的周周期属性和时间间隔；

这三个部分具有相同的网络结构，每一部分都是由多个STA-Block、GCN、CN和一个全连接层共同堆叠而成；每个STA-Block中有一个空间注意力机制、时间注意力机制和一个门控融合机制；

步骤(2)预设了一种空间注意力机制来自适应地捕捉道路网络中不同地理位置之间的相关性；空间注意力机制旨在不同的时间点为不同顶点动态分配不同的权重；

以邻近部分的空间注意力机制为例:

其中，

是第r个时空块的输入，C_r-1是第r层中输入数据的通道；当r＝1，C₀＝F时，T_r-1是第r层中时间序列的长度；当r＝1时，在邻近部分中T₀＝T_h，V_s，b_s∈R^N×N，

是可学习的参数，使用softmax函数来约束节点的注意力权重总和为1；空间注意力矩阵S由该层的当前输入动态计算；在空间注意力矩阵S中，S_i，j表示节点i和节点j之间的相关性强度；

步骤(3)预设了一种时间注意力机制来自适应地对不同时间点之间的非线性相关性进行建模；

以邻近部分的时间注意力机制为例:

其中，

U₁∈R^N，

是可学习参数；时间注意力矩阵E由输入确定；在时间注意力矩阵S中，S_i，j表示时间i和j之间的依赖性强度；通过softmax函数对注意力矩阵E进行归一化处理；并将归一化的时间注意力矩阵E作为输入，得到

通过融合相关信息来动态地调整输入；

步骤(4)预设了一种门控融合机制来自适应地融合空间注意力机制和时间注意力机制；在第L个STA-Block中，空间注意力机制和时间注意力机制的输出分别表示为

和

和

通过等式(8)进行融合：

其中，W_z，1∈R^D×D，W_z，2∈R^D×D，b_z∈R^D是可学习的参数，z是门控机制；门控融合机制自适应地控制每个节点和时间步中交通流的空间相关性和时间依赖性；

步骤(5)在每个时间片上采用基于频谱图理论的图卷积网络直接处理信号，频谱方法将交通网络图转换为代数形式，以分析图的拓扑属性；图卷积是通过使用线性运算符实现的卷积运算，该线性运算符在傅立叶域中通过对角化来替换经典卷积运算符；图G上的信号x由内核gθ滤波：

gθ*Gx＝gθ(L)x＝gθ(UΛU^T)x＝Ugθ(Λ)U^Tx (10)

其中，*G是图卷积运算，其中图傅立叶基U∈R^n×n是归一化图拉普拉斯

特征向量的矩阵，I_n是一个单位矩阵，D∈R^n×n是对角度矩阵，其中D_ii＝∑_jW_ij；Λ∈R^n×n是L的特征值的对角矩阵，滤波gθ(Λ)也是一个对角矩阵；

当图的比例较大时，直接在拉普拉斯矩阵上执行特征值分解是很困难的；使用采用Chebyshev多项式近似有效地解决了这个问题:

其中，参数θ∈R^K是多项式系数的向量，

λ_max是拉普拉斯矩阵的最大特征值；Chebyshev多项式的递归定义是T_k(x)＝2xT_k-1(x)-T_k-2(x)，其中T₀(x)＝1，T₁(x)＝x；图卷积使用修正线性单元(ReLU)作为最终的激活函数，即ReLU(gθ*Gx)；

为了动态调整节点之间的相关性，对于Chebyshev多项式的每个项，将

与空间注意力矩阵S′∈R^N×N相乘，然后得到

其中*表示Hadamard乘积；等式(11)可以重写为等式(12)：

图卷积运算捕获了图上每个节点的邻近信息之后，进一步堆叠标准卷积层，以通过融合相邻时间片上的信息来更新节点的信息；以最近组成部分中第r层上的运算为例：

其中，μ是标准卷积核的参数，ReLU是激活函数；

当融合不同组成部分的输出时，每个节点这三个组成部分的影响权重是不同的，为了提高预测的准确性，应该从历史数据中学习它们；融合后的最终预测结果为：

其中，W_h，W_d和W_w是可学习的参数，反映三个时间维度分量对预测目标的影响程度。

本发明的有益之处是：1.本发明提出了一种新颖的空间注意力机制和时间注意力机制来分别学习交通流数据中动态的空间相关性和非线性时间依赖性。此外，本发明的门控融合机制以自适应地融合通过时空注意力机制提取的信息，以减小预测过程中误差的传播。

2.本发明提出了一种新颖的时空卷积网络，用于捕获交通流的时空相关性。该网络由图卷积网络和标准卷积网络组成，图卷积网络用于捕获空间相关性，标准卷积网络用于捕获时间依赖性。

3.本发明在两组交通数据集上分别进行了大量的对比实验，实验结果表明，与现有的基线方法相比，本发明在不同的数据集上均取得了卓越的预测性能。

附图说明

图1是本发明中交通数据的时空结构，其中每个时间片上的数据形成一个图，图2是时空网络中黑色节点的影响，图3是本发明的STAGCN方法框架图。STA-Block:时空注意力块；GCN：图卷积网络；CN：标准卷积网络；FC：全连接层，图4是本发明的STA-Block结构图：STA-Block通过门控融合机制将空间注意力机制和时间注意力机制融合在一起，图5是本发明在PeMSD04数据集中60分钟的性能指标MAE训练性能比较，图6是本发明在PeMSD04数据集中60分钟的性能指标MAPE训练性能比较，图7是本发明在PeMSD04数据集中60分钟的性能指标RMSE训练性能比较，图8是本发明在PeMSD08数据集中60分钟的性能指标MAE训练性能比较，图9是本发明在PeMSD08数据集中60分钟的性能指标MAPE训练性能比较，图10是本发明在PeMSD08数据集中60分钟的性能指标RMSE训练性能比较。

具体实施方式

深度学习可以从大量的交通流数据中学习到交通流的深层时空特征，本发明建立了一种新颖的基于时空注意力机制卷积网络的交通流预测方法STAGCN，以有效的捕获交通流的时空特征。STAGCN方法主要由时空注意力(STA-Block)，图卷积网络(GCN)和标准卷积网络(CN)组成，分别对交通流的周期性，空间相关性和时间依赖性进行建模。STA-Block通过时空注意力机制和门控融合机制对不同时间步长之间的时空相关性进行建模，使用GCN和CN分别捕获交通流的空间特征和时间特征。最后，将三个分量的输出通过门控融合机制进行预测。

本发明是一种基于时空注意力机制的卷积网络交通流预测方法，所述的交通流组合预测方法主要由时空注意力STA-Block，图卷积网络GCN和标准卷积网络CN三个组成，分别对交通流的周期性，空间相关性和时间依赖性进行建模；STA-Block通过时空注意力机制和门控融合机制对不同时间步长之间的时空相关性进行建模，使用GCN和CN分别捕获交通流的空间特征和时间特征；最后，将三个分量的输出通过门控融合机制进行预测；其具体步骤为：

步骤(1)设在交通网络G中每个节点上的第f个时间序列是交通流序列，其中，f∈(1，...，F)。

表示节点i在t时刻的第c个特征值，

表示节点i在t时刻的所有特征值；

表示所有节点在t时刻的所有特征值；D＝(X₁，X₂，...，X_τ)^T∈R^N×F×τ表示所有节点的所有特征在τ个时间片上的值；设

表示节点i在t时刻的交通流；

通过交通路网上所有节点在过去τ个时间片上的历史测量值，可预测下一个T_p时间片上整个交通网络上所有节点的未来交通流序列

其中

表示从τ+1到节点i的交通流；

假设检测器每天的采样频率是q次，当前时间和预测窗口大小分别为t₀和T_p，按时间顺序分别截取三个长度为T_h，T_d和T_w的时间序列段，分别作为邻近，每日周期和每周周期分量的输入，其中T_h，T_d和T_w均为T_p的整数倍；三个时间序列段的详细信息如下:

(1)邻近部分:

邻近部分是直接与预测时段相邻的一段历史时间序列；由于交通拥堵的形成是一个渐进的过程，历史交通流不可避免地会对未来的交通流产生影响；

(2)每日周期部分:

由历史时间序列中与预测时段相同的时间段组成；由于日常生活规律，交通数据可能会显示出重复的模式，例如每天的早高峰和晚高峰；每日时间段部分是对交通流数据的日周期性进行建模；

(3)每周周期部分:

由过去的几个周的时间段组成，它们具有与预测周期相同的周周期属性和时间间隔；

这三个部分具有相同的网络结构，每一部分都是由多个STA-Block、GCN、CN和一个全连接层共同堆叠而成；每个STA-Block中有一个空间注意力机制、时间注意力机制和一个门控融合机制；

步骤(2)预设了一种空间注意力机制来自适应地捕捉道路网络中不同地理位置之间的相关性；空间注意力机制旨在不同的时间点为不同顶点动态分配不同的权重；

以邻近部分的空间注意力机制为例:

其中，

是第r个时空块的输入，C_r-1是第r层中输入数据的通道；当r＝1，C₀＝F时，T_r-1是第r层中时间序列的长度；当r＝1时，在邻近部分中T₀＝T_h，V_s，b_s∈R^N×N，

是可学习的参数，使用softmax函数来约束节点的注意力权重总和为1；空间注意力矩阵S由该层的当前输入动态计算；在空间注意力矩阵S中，S_i，j表示节点i和节点j之间的相关性强度；

步骤(3)预设了一种时间注意力机制来自适应地对不同时间点之间的非线性相关性进行建模；

以邻近部分的时间注意力机制为例:

其中，

U₁∈R^N，

是可学习参数；时间注意力矩阵E由输入确定；在时间注意力矩阵S中，S_i，j表示时间i和j之间的依赖性强度；通过softmax函数对注意力矩阵E进行归一化处理；并将归一化的时间注意力矩阵E作为输入，得到

通过融合相关信息来动态地调整输入；

步骤(4)预设了一种门控融合机制来自适应地融合空间注意力机制和时间注意力机制；在第L个STA-Block中，空间注意力机制和时间注意力机制的输出分别表示为

和

和

通过等式(8)进行融合：

其中，W_z，1∈R^D×D，W_z，2∈R^D×D，b_z∈R^D是可学习的参数，z是门控机制；门控融合机制自适应地控制每个节点和时间步中交通流的空间相关性和时间依赖性；

步骤(5)在每个时间片上采用基于频谱图理论的图卷积网络直接处理信号，频谱方法将交通网络图转换为代数形式，以分析图的拓扑属性；图卷积是通过使用线性运算符实现的卷积运算，该线性运算符在傅立叶域中通过对角化来替换经典卷积运算符；图G上的信号x由内核gθ滤波：

gθ*Gx＝gθ(L)x＝gθ(UΛU^T)x＝Ugθ(Λ)U^Tx (10)

其中，*G是图卷积运算，其中图傅立叶基U∈R^n×n是归一化图拉普拉斯

特征向量的矩阵，I_n是一个单位矩阵，D∈R^n×n是对角度矩阵，其中D_ii＝∑_jW_ij；Λ∈R^n×n是L的特征值的对角矩阵，滤波gθ(Λ)也是一个对角矩阵；

当图的比例较大时，直接在拉普拉斯矩阵上执行特征值分解是很困难的；使用采用Chebyshev多项式近似有效地解决了这个问题:

其中，参数θ∈R^K是多项式系数的向量，

λ_max是拉普拉斯矩阵的最大特征值；Chebyshev多项式的递归定义是T_k(x)＝2xT_k-1(x)-T_k-2(x)，其中T₀(x)＝1，T₁(x)＝x；图卷积使用修正线性单元(ReLU)作为最终的激活函数，即ReLU(gθ*Gx)；

为了动态调整节点之间的相关性，对于Chebyshev多项式的每个项，将

与空间注意力矩阵S′∈R^N×N相乘，然后得到

其中*表示Hadamard乘积；等式(11)可以重写为等式(12)：

图卷积运算捕获了图上每个节点的邻近信息之后，进一步堆叠标准卷积层，以通过融合相邻时间片上的信息来更新节点的信息；以最近组成部分中第r层上的运算为例：

其中，μ是标准卷积核的参数，ReLU是激活函数；

当融合不同组成部分的输出时，每个节点这三个组成部分的影响权重是不同的，为了提高预测的准确性，应该从历史数据中学习它们；融合后的最终预测结果为：

其中，W_h，W_d和W_w是可学习的参数，反映三个时间维度分量对预测目标的影响程度。

下面结合实施例对本发明做进一步的详细说明。

1、方法

STAGCN方法主要由时空注意力(STA-Block)，图卷积网络(GCN)和标准卷积网络(CN)组成，分别对交通流的周期性，空间相关性和时间依赖性进行建模。STA-Block通过时空注意力机制和门控融合机制对不同时间步长之间的时空相关性进行建模，使用GCN和CN分别捕获交通流的空间特征和时间特征。最后，将三个分量的输出通过门控融合机制进行预测。图2表示本发明提出的STAGCN方法的总体框架。该方法由三个具有相同结构的独立部分组成，分别对交通流历史数据的邻近，每日周期和每周周期依赖关系进行建模。

2、问题定义

在本研究中，将交通网络定义为无向图G＝(V，E，A)，其中V是一组道路节点，V＝{v₁，v₂，...，v_N}，N是节点数，E是一组边的集合，A∈R^N×N表示图G的邻接矩阵。交通网络G上的每个节点都以相同的采样频率检测F个测量值，即每个节点在每个时间片上生成长度为F的特征向量，如图1所示。

设在交通网络G中每个节点上的第f个时间序列是交通流序列，其中，f∈(1，...，F)。

表示节点i在t时刻的第c个特征值，

表示节点i在t时刻的所有特征值。

表示所有节点在t时刻的所有特征值。D＝(X₁，X₂，...，X_τ)^T∈R^{N ×F×τ}表示所有节点的所有特征在τ个时间片上的值。设

表示节点i在t时刻的交通流。

通过交通路网上所有节点在过去τ个时间片上的历史测量值，可预测下一个T_p时间片上整个交通网络上所有节点的未来交通流序列

其中

表示从τ+1到节点i的交通流。

假设检测器每天的采样频率是q次，当前时间和预测窗口大小分别为t₀和T_p。本发明按时间顺序分别截取三个长度为T_h，T_d和T_w的时间序列段，分别作为邻近，每日周期和每周周期分量的输入，其中T_h，T_d和T_w均为T_p的整数倍。三个时间序列段的详细信息如下:

(1)邻近部分:

邻近部分是直接与预测时段相邻的一段历史时间序列。由于交通拥堵的形成是一个渐进的过程，历史交通流不可避免地会对未来的交通流产生影响。

(2)日周期部分:

由历史时间序列中与预测时段相同的时间段组成。由于日常生活规律，交通数据可能会显示出重复的模式，例如每天的早高峰和晚高峰。每日时间段部分是对交通流数据的日周期性进行建模。

(3)周周期部分:

由过去的几个周的时间段组成，它们具有与预测周期相同的周周期属性和时间间隔。

这三个部分具有相同的网络结构，每一部分都是由多个STA-Block、GCN、CN和一个全连接层共同堆叠而成。每个STA-Block中有一个空间注意力机制、时间注意力机制和一个门控融合机制。其中，将时空注意力机制动态分配不同权重后的数据输入到GCN和CN用于捕获交通流的时空特征，将GCN和CN的输出输入到FC以确保每个输出与预测目标具有相同大小的尺寸和形状。最后，基于参数矩阵对三个部分分量的输出通过门控融合机制进行融合，得到最终的预测结果。

3.1、空间注意力机制

在空间维度上，一条道路上的交通状况会受到其他不同道路的影响，这种影响具有很强的动态性。为了对这些属性进行建模，本发明设计了一种空间注意力机制来自适应地捕捉道路网络中不同地理位置之间的相关性。空间注意力机制旨在不同的时间点为不同顶点(例如传感器)动态分配不同的权重。

以邻近部分的空间注意力机制为例:：

其中，

是第r个时空块的输入，C_r-1是第r层中输入数据的通道。当r＝1，C₀＝F时，T_r-1是第r层中时间序列的长度。当r＝1时，在邻近部分中T₀＝T_h，V_s，b_s∈R^N×N，

是可学习的参数，使用softmax函数来约束节点的注意力权重总和为1。空间注意力矩阵S由该层的当前输入动态计算。在空间注意力矩阵S中，S_i，j表示节点i和节点j之间的相关性强度。

3.2、时间注意力机制

某一时间的交通状况与其先前的交通状况具有相关性，并且这种相关性随着时间步长的增加呈现非线性变化。为了对这些属性进行建模，本发明的时间注意力机制来自适应地对不同时间点之间的非线性相关性进行建模。

以邻近部分的时间注意力机制为例:

其中，

U₁∈R^N，

是可学习参数。时间注意力矩阵E由输入确定。在时间注意力矩阵S中，S_i，j表示时间i和j之间的依赖性强度。通过softmax函数对注意力矩阵E进行归一化处理。并将归一化的时间注意力矩阵E作为输入，得到

通过融合相关信息来动态调整输入。

3.3、门控融合机制

一条道路在特定时间点的交通状况与其先前的测量值以及其他道路的交通状况都具有相关性。如图3所示，本发明的门控融合机制来自适应地融合空间注意力机制和时间注意力机制。在第L个STA-Block中，空间注意力机制和时间注意力机制的输出分别表示为

和

和

通过等式(8)进行融合：

其中，W_z，1∈R^D×D，W_z，2∈R^D×D，b_z∈R^D是可学习的参数，z is the gate.门控融合机制自适应地控制每个节点和时间步中交通流的空间相关性和时间依赖性。

3.4、图卷积网络和卷积网络

STA-Block使网络自适应地对有价值的信息给予更多的关注，通过门控融合机制融合后的输出输入到GCN和CN，通过GCN捕获邻域的空间相关性，CN捕获邻近时间的时间依赖性。

为了充分利用交通网络的拓扑特性，本发明在每个时间片上采用基于频谱图理论的图卷积网络直接处理信号，频谱方法将交通网络图转换为代数形式，以分析图的拓扑属性。图卷积是通过使用线性运算符实现的卷积运算，该线性运算符在傅立叶域中通过对角化来替换经典卷积运算符。因此，图G上的信号x由内核gθ滤波：

gθ*Gx＝gθ(L)x＝gθ(UΛU^T)x＝Ugθ(Λ)U^Tx (10)

其中，*G是图卷积运算，其中图傅立叶基U∈R^n×n是归一化图拉普拉斯

特征向量的矩阵(I_n是一个单位矩阵，D∈R^n×n是对角度矩阵，其中D_ii＝∑_jW_ij)；Λ∈R^n×n是L的特征值的对角矩阵，滤波gθ(Λ)也是一个对角矩阵。

然而，当图的比例较大时，直接在拉普拉斯矩阵上执行特征值分解是很困难的。因此，本发明使用采用Chebyshev多项式近似有效地解决了这个问题:

其中，参数θ∈R^K是多项式系数的向量，

λ_max是拉普拉斯矩阵的最大特征值。Chebyshev多项式的递归定义是T_k(x)＝2xT_k-1(x)-T_k-2(x)，其中T₀(x)＝1，T₁(x)＝x。图卷积网络使用修正线性单元(ReLU)作为最终的激活函数，即ReLU(gθ*Gx)。

为了动态调整节点之间的相关性，对于Chebyshev多项式的每个项，本发明将

与空间注意力矩阵S′∈R^N×N相乘，然后得到

其中*表示Hadamard乘积。因此，等式(11)可以重写为等式(12)：

图卷积运算捕获了图上每个节点的邻近信息之后，进一步堆叠标准卷积层，以通过融合相邻时间片上的信息来更新节点的信息。以最近组成部分中第r层上的运算为例：

其中，μ是标准卷积核的参数，ReLU是激活函数。

当融合不同组成部分的输出时，每个节点这三个组成部分的影响权重是不同的，为了提高预测的准确性，应该从历史数据中学习它们。因此，融合后的最终预测结果为：

其中，W_h，W_d和W_w是可学习的参数，反映三个时间维度分量对预测目标的影响程度。

综上所述，时空注意力机制和门控融合机制组成了STA-Block，GCN和CN能够很好地捕捉交通流数据中的空间特征和时间特征。通过多个STA-Block，GCN和CN进行叠加，以进一步提取更大范围的动态时空相关性。最后，通过FC，并使用ReLU作为激活函数，以确保每个分量的输出与预测目标具有相同大小的尺寸和形状。

3.5、损失函数

训练的目的是最小化道路网络中实际的交通速度和预测的交通速度之间的误差。本发明使用均方误差(MSE)作为损失函数，不同路段实际的交通速度和预测的交通速度分别用yi和

表示，n为样本的个数。因此，STAGCN方法的损失函数如等式(15)所示：

4、实验

4.1、数据描述

本发明在加利福尼亚的两个高速公路交通数据集PeMSD04和PeMSD08上验证了本发明提出的STAGCN方法的预测性能，该数据集由Caltrans性能测量系统(PeMS)每30秒实时收集一次。实验的交通数据集包含不同的属性，例如位置，日期，时间段，速度和流量等。实验数据集的详细信息如表1所示：

表1.实验数据集描述

PeMSD04：该数据集包含29条道路上的3848个检测器。该数据集的时间跨度为2018年1月至2月。本发明选择前50天的数据作为训练集，其余的作为测试集。

PeMSD08：该数据集包含8条道路上的1979个检测器。该数据集的时间跨度为2016年7月至8月。本发明选择前50天的数据作为训练集，最后12天的数据作为测试集。

本发明删除了部分冗余检测器，其中，PeMSD04中有307个检测器，PeMSD08中有170个检测器。交通数据每5分钟汇总一次，因此每个检测器每天包含288个数据点。数据集中丢失的数据，本发明使用线性插值方法来填充缺失值。在将数据输入预测方法之前，本发明使用Z-score标准化方法对数据进行处理，使平均值为0。标准化公式为

其中μ表示所有样本数据的均值，σ表示所有样本数据的标准差，Z表示标准化后的输入数据。

4.2、实验环境及参数设置

本实验是在Linux服务器上进行编译和运行的(CPU:Intel(R)Xeon(R)CPU E5-2620 v4@2.10GHz,GPU:NVIDIA GeForce GTX 1080)，基于MXNET深度学习框架，在PyCharm开发环境中完成交通流预测方法的训练。

在本发明的方法中，使用Adam优化器来训练方法，在训练阶段，手动设置初始学习率为0.001，批量大小为64。所有的图卷积层和标准卷积层均使用64个卷积核，预测窗口T_p的大小为12，本发明使用一个小时的历史数据来预测下一个小时的交通流，即使用过去的12个连续时间步长来预测未来的12个连续时间步长。

4.3、方法评价

为了更好地分析实验结果，评估方法的预测性能，本发明基于以下指标评估实际交通流速度和预测结果之间的误差：

(1)平均绝对误差(MAE):

(2)根均方误差(RMSE):

(3)平均绝对百分比误差(MAPE):

式中，y_i和

分别表示实际交通速度和预测交通速度。n是观测次数。使用MAE，RMSE以及MAPE来衡量预测误差，预测值越小，则说明预测效果越好。

4.4、实验结果与分析

本发明将STAGCN方法在PeMSD04和PeMSD08数据集上进行实验，同时与八种基线方法进行比较，表2显示了STAGCN方法和不同基线方法在PeMSD04和PeMSD08数据集上的预测性能。从表2中可以看出，本发明的STAGCN方法在两组数据集上表现出了最佳的预测性能。

例如，在PeMSD08数据集上，与SVR方法相比，STAGCN方法，DCRNN，STGCN，STSGCN和Graph WaveNet方法的MAE分别降低了约33.76％，30.01％，28.08％，33.52％，21.08％，RMSE分别降低了约30.28％，29.77％，29.07％，29.31％，16.25％。与LSTM方法相比，STAGCN方法，DCRNN，STGCN，STSGCN和Graph WaveNet方法的MAPE分别降低了约3.01％，3.31％，3.29％，3.76％，1.54％。由于HA，SVR，VAR和LSTM方法仅考虑时间依赖性，忽略了交通网络的空间相关性。STGCN，DCRNN，Graph WaveNet，STSGCN和本发明的STAGCN方法都考虑了空间相关性，因此与仅用于时间序列预测的方法相比，它们具有更好的预测性能。

在PeMSD04数据集上，与STGCN，DCRNN，Graph WaveNet和STSGCN方法相比，本发明的STAGCN方法的MAE分别降低了约10.77％，18.27％，20.93％，1.04％。RMSE分别降低了约7.97％，14.16％，18.20％，0.68％。由于DCRNN，STGCN和Graph WaveNet分别使用两个部分对空间相关性和时间依赖性进行建模，而忽略了交通流数据中时间依赖性和周期性的变化。本发明的方法同时捕获了交通流数据中的时空相关性，并且考虑了时间依赖性和周期性变化，因此本发明的方法与基线方法相比具有更好的预测性能。

表2：不同交通流预测方法在PeMSD04和PeMSD08数据集上的性能比较

为了进一步研究STAGCN不同的性能，本发明设计了STAGCN方法的两个变体，研究了注意力机制与门控融合机制对方法性能的影响，并将这两个变体与STAGCN方法在PeMSD04和PeMSD08数据集上进行比较，进行了15分钟，30分钟和60分钟的交通流预测，如表3所示。这两种变体方法与STAGCN方法的差异为：

Without Attention：该方法没有注意力机制和门控融合机制。

Without Gated Fusion：该方法具有注意力机制，没有门控融合机制。

表3：STAGCN方法与两个变体方法在不同时间点的预测性能

在15分钟下，STAGCN方法相比Without Attention和Without Gated Fusion方法在PeMSD08数据集上的MAE分别降低了约39.38％，9.14％，RMSE分别降低了约28.13％，6.74％。在30分钟下，MAE分别降低了约34.65％，9.35％，RMSE分别降低了约25.62％，5.01％。在60分钟下，MAE分别降低了约33.41％，8.45％，RMSE分别降低了约25.28％，5.08％。同理，STAGCN方法在PeMSD08数据集上同样取得了较好的预测性能。此外，通过表3可得，在不同的时间点下，STAGCN方法均取得了最佳的预测性能。

总体而言，随着预测时间步长的增加，相应的预测难度越来越大，因此预测误差也会增加。从图4和图5可以看出，Without Attention方法相比Without Gated Fusion方法和本发明的STAGCN方法，无论时间步长多少，均没有表现出良好的预测性能，随着预测时间步长的增加，Without Gated Fusion方法的MAPE，MAE，RMSE均变得越来越大，这是由于Without Attention方法并没有同时考虑交通流的时空相关性。随着预测时间步长的增加，Without Gated Fusion方法的MAPE，MAE，RMSE增加的较为缓慢。相比之下，本发明所提出的STAGCN方法几乎在所有时间步中都取得了较好的预测性能，说明时空注意力机制和门控融合机制相结合的策略可以更好地挖掘交通流数据中的时空相关性。

虽然，以上所述已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (1)

1.一种基于时空注意力机制的卷积网络交通流预测方法，其特征在于：所述的交通流组合预测方法主要由时空注意力STA-Block，图卷积网络GCN和标准卷积网络CN三个组成，分别对交通流的周期性，空间相关性和时间依赖性进行建模；STA-Block通过时空注意力机制和门控融合机制对不同时间步长之间的时空相关性进行建模，使用GCN和CN分别捕获交通流的空间特征和时间特征；最后，将三个分量的输出通过门控融合机制进行预测；其具体步骤为：

步骤(1)设在交通网络G中每个节点上的第f个时间序列是交通流序列，其中，f表示时间序列，F表示第f个时间序列中的第F个时间片，f∈(1,...,F)；

表示节点i在t时刻的第c个特征值，

表示节点i在t时刻的所有特征值；

表示所有节点在t时刻的所有特征值；D＝(X₁,X₂,...,X_τ)^T∈^N×F×τ表示所有节点的所有特征在τ个时间片上的值；设

表示节点i在t时刻的交通流；

通过交通路网上所有节点在过去τ个时间片上的历史测量值，可预测下一个T_p时间片上整个交通网络上所有节点的未来交通流序列

其中

表示从τ+1到节点i的交通流；

假设检测器每天的采样频率是q次，当前时间和预测窗口大小分别为t₀和T_p，按时间顺序分别截取三个长度为T_h，T_d和T_w的时间序列段，分别作为邻近，每日周期和每周周期分量的输入，其中T_h，T_d和T_w均为T_p的整数倍；三个时间序列段的详细信息如下：

(1)邻近部分：

邻近部分是直接与预测时段相邻的一段历史时间序列；由于交通拥堵的形成是一个渐进的过程，历史交通流不可避免地会对未来的交通流产生影响；

(2)每日周期部分：

由历史时间序列中与预测时段相同的时间段组成；每日时间段部分是对交通流数据的日周期性进行建模；

(3)每周周期部分：

由过去的几个周的时间段组成，它们具有与预测周期相同的周周期属性和时间间隔；

这三个部分具有相同的网络结构，每一部分都是由多个STA-Block、GCN、CN和一个全连接层共同堆叠而成；每个STA-Block中有一个空间注意力机制、时间注意力机制和一个门控融合机制；

步骤(2)预设了一种空间注意力机制来自适应地捕捉道路网络中不同地理位置之间的相关性；空间注意力机制旨在不同的时间点为不同顶点动态分配不同的权重；

以邻近部分的空间注意力机制为例：

其中，

是第r个时空块的输入，C_r-1是第r层中输入数据的通道；当r＝1，C₀＝F时，T_r-1是第r层中时间序列的长度；当r＝1时，在邻近部分中T₀＝T_h；其中V_s∈R^N×N，b_s∈R^N×N，

是可学习的参数，使用softmax函数来约束节点的注意力权重总和为1；注意力矩阵S由该层的当前输入动态计算；在注意力矩阵S中，S_i,j表示节点i和节点j之间的相关性强度；S′_i,j表示空间注意力矩阵；

步骤(3)预设了一种时间注意力机制来自适应地对不同时间点之间的非线性相关性进行建模；

以邻近部分的时间注意力机制为例：

其中，V_e，

U₁∈R^N，

是可学习参数；注意力矩阵E由输入确定；在注意力矩阵E中，E_i,j表示时间i和j之间的依赖性强度；通过softmax函数对注意力矩阵E进行归一化处理；并将归一化的注意力矩阵E作为输入，得到

通过融合相关信息来动态地调整输入；E′_i,j表示时间注意力矩阵；

步骤(4)预设了一种门控融合机制来自适应地融合空间注意力机制和时间注意力机制；在第L个STA-Block中，空间注意力机制和时间注意力机制的输出分别表示为

和

和

通过等式(8)进行融合：

其中，W_z,1∈R^D×D，W_z,2∈R^D×D，b_z∈R^D是可学习的参数，z是门控机制；门控融合机制自适应地控制每个节点和时间步中交通流的空间相关性和时间依赖性；

步骤(5)在每个时间片上采用基于频谱图理论的图卷积网络直接处理信号，频谱方法将交通网络图转换为代数形式，以分析图的拓扑属性；图卷积是通过使用线性运算符实现的卷积运算，该线性运算符在傅立叶域中通过对角化来替换经典卷积运算符；图G上的信号x由内核gθ滤波：

gθ*Gx＝gθ(L)x＝gθ(UΛU^T)x＝Ugθ(Λ)U^Tx (10)

其中，*G是图卷积运算，其中图傅立叶基U∈R^n×n是归一化图拉普拉斯

特征向量的矩阵，I_n是一个单位矩阵，D∈R^n×n是对角度矩阵，其中

Λ∈R^n×n是L的特征值的对角矩阵，滤波gθ(Λ)一个对角矩阵；

当图的比例较大时，直接在拉普拉斯矩阵上执行特征值分解是很困难的；使用采用Chebyshev多项式近似有效地解决了这个问题：

其中，参数θ∈R^K是多项式系数的向量，

λ_max是拉普拉斯矩阵的最大特征值；Chebyshev多项式的递归定义是T_k(x)＝2xT_k-1(x)-T_k-2(x)，其中T₀(x)＝1，T₁(x)＝x；图卷积使用修正线性单元(ReLU)作为最终的激活函数，即ReLU(gθ*Gx)；

为了动态调整节点之间的相关性，对于Chebyshev多项式的每个项，将

与空间注意力矩阵S′∈R^N×N相乘，然后得到

其中*表示Hadamard乘积；等式(11)可以重写为等式(12)：

图卷积运算捕获了图上每个节点的邻近信息之后，进一步堆叠标准卷积层，以通过融合相邻时间片上的信息来更新节点的信息；以最近组成部分中第r层上的运算为例：

其中，μ是标准卷积核的参数，ReLU是激活函数；

当融合不同组成部分的输出时，每个节点这三个组成部分的影响权重是不同的，为了提高预测的准确性，从历史数据中学习它们；融合后的最终预测结果为：

其中，W_h，W_d和W_W是可学习的参数，

表示邻近部分全连接层的输出值，

表示每日周期部分全连接层的输出值，

表示每周周期部分全连接层的输出值，反映三个时间维度分量对预测目标的影响程度。

Images