CN116011684A - 一种基于时空图卷积网络的交通流量预测方法 - Google Patents

Abstract

本发明提出了一种基于时空图卷积网络的交通流量预测方法，旨在解决交通速流量预测中数据高维、非线性、不确定性等难以解决的问题。所提出的预测模型包括全连接神经网络层、时空卷积块和一维卷积层。交通流量数据经过全连接层后进入时空卷积块，以捕获流量数据的时间特征与空间特征。最后，时空卷积块的结果输入一维卷积层得到最后的预测结果。时空卷积块包括时间卷积网络层、时间注意力层、图卷积层、门控融合层。时间卷积网络层与时间注意力层用于捕获交通流量不同尺度的时间特征，图卷积层用于动态捕获空间特征，门控融合层用于融合不同尺度的特征矩阵。时空卷积块动态捕获了交通流量不同尺度的时空特征且筛选了重要的部分，提高了预测精度。

Description

一种基于时空图卷积网络的交通流量预测方法

技术领域

本发明涉及一种基于时空图卷积网络的交通流量预测方法。

背景技术

随着城市化进程的不断推进，城市交通流量的预测越来越受到人们的关注。交通流量的预测可以为城市交通管理提供有力的支持，如优化交通信号控制、提高交通运输效率等。传统的交通流量预测方法大多采用时间序列预测模型，但由于交通流量数据的高维、非线性和不确定性等特点，这些方法往往难以准确预测交通流量。近年来，深度学习技术在交通流量预测方面取得了较好的效果，尤其是基于图卷积网络(Graph ConvolutionalNetworks，GCN)的方法的预测精度取得了很大的提示，受到国内外学者的广泛关注。

随着智能交通系统的提出和发展，各大城市和高速公路都部署了大量传感器等信息收集设备。这些设备能收集大量交通流量数据和地理位置信息，为交通流量预测提供了大量的可靠数据。

交通流量数据是一种典型的时空数据，由于交通流量数据同时具有时间特征与空间特征，因此交通流量预测的难点在于动态地提取时间特征与空间特征。在时间特征提取方面，传统的预测方法基于线性假设通过找出历史交通流量数据的线性规律来进行预测，然而真实交通流量的演变是非线性且非平稳的，所以传统预测方法的预测精度不佳。近年，基于深度学习的循环神经网络(Recurrent Neural Networks，RNN)、长短期记忆网络(LongShort-Term Memory，LSTM)、时间卷积网络(Temporal Convolutional Network，TCN)能够对时序数据进行建模并取得了较好的预测效果。上述深度神经网络结合图卷积神经网络(Graph Convolutional Neural Networks，GCN)的使得交通流量预测模型的效果进一步提升。当前收集的交通数据量能够满足深度学习的数据要求，使用深度学习方法能从数据中挖掘到深层次的时空特征提高预测精度。

具体地，给定一个长度为T_h的历史交通信号矩阵

交通流量预测的目标是建立一个模型将X作为输入然后输出未来T′个时间步的交通流量矩阵Y^pre∈R^N×T′×c。其中N表示交通路网节点数量，C表示交通特征数量，如果仅仅将交通流量数据输入模型则C＝1。

发明内容

本发明的目的是提供一种基于时空图卷积网络的交通流量预测方法，可以捕获交通流量数据深层的时间特征与空间特征，提高预测精度。

本发明解决上述问题的技术方案如下：一种基于时空图卷积网络的交通流量预测方法，其特征在于：利用时空卷积块捕获交通流量的时间特征与空间特征；在时空卷积块中包含时间卷积网络与时间注意力层，其目的在于从不同尺度捕获交通流量的时间特征；在时空卷积块中使用图卷积网络捕获交通流量的空间特征；在时空卷积块中使用门控融合层将具有不同尺度的时空特征的交通流量特征矩阵进行融合；使用一维卷积网络作为预测层输出预测结果。

本发明提供的这种基于时空图卷积网络的交通流量预测方法，过程如下：

步骤1：获取原始数据集并对其进行预处理，得到训练集、验证集、测试集。

步骤2：基于图卷积网络(Graph convolution neural network，GCN)、时间卷积网络(Temporal Convolutional Network，TCN)、注意力机制(Attention mechanism)、一维卷积神经网络(Convolutional Neural Network，CNN)构建交通流量预测模型。

步骤3：使用步骤1获得的训练集、验证集输入步骤2中构建的交通流量预测模型进行训练、评估。

步骤4：使用步骤3训练后的交通流量预测模型对步骤1中得到的测试集数据进行交通流量预测，并采用平均绝对误差(mean absolute error，MAE)，均方根误差(root meansquare error，RMSE)和平均绝对百分比误差(mean absolute percentage error，MAPE)作为评估标准。

步骤1所述的交通数据预处理，具体过程如下：

1)收集目标区域交通数据采集装置采集的数据；检查数据完整性情况、利用线性插值替换或填充异常数据并按照每5分钟聚合一次将数据处理成大小为N×T的交通流量矩阵；其中N表示交通路网中数据采集点数量，T表示时间点数量。

2)对1)中得到的交通流量矩阵进行标准化，得到标准化的交通流量矩阵。

3)将2)中得到的标准化交通流量矩阵划分成训练集、验证集、测试集。具体地，将60％的数据划分为训练集，20％划分为验证集，剩余20％划分为测试集。

步骤2所述的基于图卷积网络、时间卷积网络、注意力机制等构建交通流量预测模型，具体步骤如下：

交通流量预测模型包括：两个串联的全连接层、三个串联的时空卷积块、以及一维卷积神经网络层。时空卷积块的作用是捕获交通流量数据的时空特征；时空卷积块中包含时间卷积网络层、时间注意力层、图卷积层和门控融合层。其中，时间卷积网络层和时间注意力层分别从不同尺度捕获交通流量数据的时间特征，图卷积层动态捕获交通流量数据的空间特征，门控融合层用来融合具有不同尺度的时空特征的交通流量特征矩阵。一维卷积神经网络作为预测层输出最终的预测数据。

1)上述全连接层公式表达如式(1)。

X′＝sigmoid(WX+B)    (1)

其中sigmoid为非线性激活函数，W和B表示可学习的权重矩阵和偏置向量。

2)所述的使用时间卷积网络层与时间注意力层从不同尺度捕获交通流量数据的时间相关性，具体如下：

时间卷积网络层中采用空洞卷积利用多层卷积网络捕获交通流量的局部时间特征，其中每一层卷积神经网络拥有多个卷积核大小为(1×k)，并且在每个卷积网络层中都使用残差连接和标准化层。具体地公式如下，

h_l＝Relu(W_l*h(_l-1)+b_l)    (2)

其中，h_l表示第l个卷积网络层提取到的特征矩阵，最初的特征矩阵由全连接层得到，即h₀＝X′；*是一维卷积操作，卷积核大小为(1×k)；W_l和b_l表示可学习的权重矩阵和偏置向量；Relu是非线性激活函数。

在时空卷积块中通过串联多个时间卷积网络层捕获交通数据的局部时间特征，时间卷积层串联的数量是超参数可以根据具体数据训练进行训练调整以达到更好的预测效果。

时间注意力层从全局的尺度利用缩放点积注意力机制捕获交通流量数据中非相邻时间点之间全局时间特征，具体如下：

采用缩放点积注意力机制计算各个时间点的交通流量数据的全局相关性，由于注意力机制不会区分不同时间点的流量数据的重要程度，而流量数据的先后顺序会影响它们之间的互相关联程度。所以为了让注意力计算的时候区分顺序在数据进行注意力分数计算之前需要加入一些用于区分不同时间点数据的标记。本模型采用时间位置嵌入，如式(3)所示，X′即为添加时间位置嵌入后的交通流量矩阵。

X′[i，：]＝X′_t[i，：]+e_t      (3)

其中，i表示不同的时间点，d为数据特征维度，e_t表示时间位置嵌入的具体数值。

添加时间位置嵌入以后将交通流量矩阵通过线性层映射为查询向量Q、键向量K、值向量V后进行注意力分数计算，如式(5)所示。

Q＝W_Q·X′+b_Q                (6)

K＝W_K·X′+b_K                 (7)

V＝W_v@X′+b_V                (8)

其中Q、K、V分别表示查询向量、键向量与值向量，W_Q、W_K、W_v与b_Q、b_K、b_V分别表示权重参数矩阵与偏置向量，K^T表示K的转置；

是归一化函数，C表示矩阵维度。

h_l∈R^N×T与h_TA∈R^N×T分别为时间卷积网络层与时间注意力层的输出。此外，在每一个时空卷积块中堆叠了多层时间卷积网络层与时间注意力层，上一层的输出矩阵作为下一层的输入数据。

3)所述的使用图卷积层动态捕获交通节点之间的空间相关性，具体如下：

在时空卷积块中时间卷积网络层与时间注意力层输出的特征矩阵都将单独输入图卷积层中进一步捕获交通流量的空间特征。在图卷积层中使用动态邻接矩阵捕获交通节点之间不断变化的空间特征，根据路网节点地理距离计算得到路网邻接矩阵是一种静态的矩阵，如式(9)所示。而真实情况下交通节点之间的关联程度会根据不同的车辆运行状况而改变，所以本模型中使用自注意力机制在每一个时间点计算交通节点之间的数据关联程度，得到的注意力得分与静态邻接矩阵相乘得到动态邻接矩阵，如式(10)所示。

其中dis(i，j)表示节点i和节点j之间的地理距离，τ作为超参数是根据实际情况人为设置的一个阈值；A^s为静态邻接矩阵，I_N为大小为N的单位矩阵，⊙表示哈达玛积；

表示交通流量特征矩阵各个节点之间的自注意力得分，i＝1时表示来自时间卷积网络层的特征矩阵计算得到的注意力得分，i＝2时表示来自时间注意力层特征矩阵计算得到的注意力得分。

得到动态邻接矩阵后采用空域图卷积对两个不同尺度的交通流量特征矩阵中的空间特征进行捕获，具体如下：

其中，GCN()表示图卷积操作，

代表动态邻接矩阵，

分别表示

的度矩阵；

与

表示该时间点的动态邻接矩阵；h_l和h_TA分别表示来自时间卷积网络层和时间注意力层的交通流量特征矩阵；σ是非线性激活函数，通常使用Relu；W_c1和W_c2是可学习的权重参数矩阵，⊙表示哈达玛积；H_G1与H_G2分别是来自时间卷积网络层与时间注意力层的输出经过图卷积操作后具有不同尺度的时空特征的交通流量特征矩阵。

4)所述的门控融合层具体过程如下：为了将H_G1与H_G2连个具有不同尺度的时空特征矩阵进行融合，本模型中采用门控机制，筛选出两个特征矩阵中的重要信息，丢弃不重要信息，融合过程表达如式(14)所示。

H_G＝H_G1⊙sigmoid(H_G1)+H_G2⊙sigmoid(H_G2)      (15)

其中，H_G为融合后的交通流量特征矩阵，sigmoid为非线性激活函数，⊙为哈达玛积。

5)整个预测模型中通过串联多个时空卷积块来捕获交通流量的时空特征，且在每一个时空卷积块之间都使用残差连接，如附图1所示。由于空域图卷积网络堆叠太多层数后会导致数据过度平滑的问题，所以在模型中时空卷积块的数量不宜串联太多，否则会导致模型性能下降。

6)步骤2所述的使用一维卷积神经网络作为输出层对所有交通节点未来T′个时间片的交通流量进行预测，具体如下：

采用1维卷积神经网络输入过去12个时间点的交通流量矩阵，输出未来12个时间点的交通流量矩阵，预测步长可以根据实际需要更改。

步骤3所述的将训练集、验证集输入交通流量预测模型进行训练，具体过程如下：

训练过程中采用MAE损失函数进行损失计算，采用Adam作为优化器。

训练过程中使用训练集对原始交通流量预测进行训练，使用验证集对训练后的模型进行评估，对模型重复训练、评估直到模型收敛。设置训练轮数epoch＝200，并使用提前结束训练策略，如果连续30次模型的评估结果没有提成则直接停止训练，保存最佳模型参数。

步骤4所述的采用步骤3训练后的交通流量预测模型对步骤一中的测试集进行交通流量预测并评估预测效果，具体如下：

1)将交通流量预测模型的模式从训练模式修改为预测模式。

2)交通流量预测模型加载训练过程中保存的最佳参数文件，并将测试集中的数据输入模型进行交通流量预测并采用平均绝对误差MAE、均方根误差RMSE和平均绝对百分比误差MAPE对预测数据进行评估并保存预测的流量数据。

时空卷积块中包含的时间卷积网络层与时间注意力层结合图卷积层从不同的时间尺度动态捕获交通流量数据中的时间特征与空间特征，并通过门控融合层对不同尺度的交通流量特征矩阵进行融合，自适应调整两种尺度的占比，更加精准地挖掘到数据中的深层时空特征，提高预测精度。最后利用一维卷积层将目标预测长度的交通流量一次性输出，减少逐步预测带来的误差累计，进一步提高了预测精度。

附图说明

图1为本发明涉及的交通流量预测模型的结构示意图；

图2为本发明涉及的一种基于时空图卷积网络的交通流量预测方法总流程图；

图3为本发明涉及的一种基于时空图卷积网络的交通流量预测模型训练流程图；

图4为本发明涉及的最终预测流程图；

具体实施方式

以下结合附图并对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

图1为本发明涉及的交通流量预测模型的框架示意图；图2为本发明涉及的一种基于时空图卷积网络的交通流量预测方法的总流程图；图3为本发明涉及的一种基于时空图卷积网络的交通流量预测模型训练流程图；图4为本发明涉及的一种基于时空图卷积网络的交通流量预测模型的预测流程图；如图1，2，3，4所示，一种基于时空图卷积网络的交通流量预测方法的具体步骤如下：

步骤1：对原始交通流量数据进行预处理，具体步骤如下：

1)收集目标区域交通数据采集装置采集的数据；检查数据完整性情况并使用线性插值补全缺省数据和异常数据，并按5分钟一次进行聚合；将数据处理成大小为N×T的交通流量矩阵；其中N表示交通路网中数据采集点数量，T表示时间片数量。

2)对1)中得到的交通流量矩阵进行标准化，得到标准化的交通流量矩阵。

3)将2)中得到的标准化交通流量矩阵划分成训练集、验证集、测试集。将60％的数据划分为训练集，20％划分为验证集，剩余20％划分为测试集。

步骤2：使用深度学习框架比如Pytorch构建交通流量预测模型，并加载数据和参数文件初始化模型。

步骤3：加载训练集、验证集数据对模型开始训练；进行第一轮训练，即epoch＝1，根据参数文件初始化参数模型参数。

步骤4：如图3所示对模型进行训练，训练集分批次输入交通流量预测模型开始第一轮训练，具体步骤如下：

1)首先交通流量数据X输入全连接层得到X′。

2)将X′输入时间卷积网络、将X′添加时间位置嵌入后输入时间注意力层。

3)得到第一层时间卷积网络层的输出并输入下一层时间卷积网络层，直到走完第一个时空卷积块中所有的时间卷积网络层。

4)得到第一层时间注意力层的输出并输入下一层时间注意力层，直到走完第一个时空卷积块中所有的时间卷积网络层。

5)将时间卷积网络层的输出h_l与时间注意力层的输出h_TA分别输入图卷积层得到两个交通流量时空特征矩阵H_G1与H_G2；

6)将H_G1与H_G2输入门控融合层，去除不重要信息后得到H_G。

7)将H_G输入下一个时空卷积块，重复2)-6)，直到数据走完所有时空卷积块。

8)将最后一个时空卷积块输出的特征矩阵输入一维卷积层，得到第一轮训练的预测值Y^pre，计算损失，采用MAE损失作为损失函数。

步骤5：预测模型反向传播更新模型参数。

步骤6：将验证集数据输入第一轮训练后的模型进行验证，计算验证损失并保存交通流量预测模型的训练参数文件。在验证阶段不进行反向传播，仅计算损失。

步骤7：循环步骤4至步骤6，直至当前训练轮数大于设置的最大训练轮数或达到提前结束训练条件时结束训练。

步骤8：如图4所示，对测试集数据进行交通流量预测，具体步骤如下：

1)构建交通流量预测模型，将预测模型从训练模式更改为预测模式，加载训练过程中保存的最佳模型参数文件初始化预测模型。

2)加载测试集数据并输入模型，对测试集进行预测。

3)根据真实流量值计算预测值的平均绝对误差MAE、均方根误差RMSE、平均绝对百分比误差MAPE并输出。

4)保存交通流量预测数据文件。

以上所述仅为本发明的较佳实施例子，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于时空图卷积网络的交通流量预测方法，其特征在于：网络结构包括全连接层、多个串联且带有残差连接的时空卷积块、一维卷积层，其中时空卷积块中包括多层堆叠的时间卷积层与时间注意力层、图卷积层与门控融合层。

所述交通流量预测方法，具体过程如下：

步骤1：对原始交通流量数据预处理，输出预处理完成后的交通流量信号矩阵X∈R^N×T，其中N表示交通路网的节点数量，T为交通流量的采集数量。

步骤2：将步骤1处理后的交通流量数据输入两个串联的全连接层中，定义为式(1)。

X′＝sigmoid(WX+B)        (1)

其中,X为交通流量数据矩阵，X′为经过全连接层后的交通流量矩阵；W与B为可学习的权重矩阵与偏置向量，sigmoid()是非线性激活函数。

步骤3：基于步骤2的输出提取交通流量数据的时空特征。这一步骤由时空卷积块完成，公式表达如下：

其中，STB表示时间卷积块；A为交通路网中节点拓扑图的邻接矩阵，D是A的度矩阵,

是时空卷积块第一次捕获到的交通流量特征矩阵。

步骤4：基于步骤3输出的带有时空特征的交通流量矩阵，进一步捕获更深层次的时空特征。注意，该过程可重复捕获多次，每一次的输出可作为下一次捕获的输入，如式(3)所示。

其中，i表示重复捕获的次数，

表示第i次捕获时空特征后的交通流量特征矩阵。

步骤5：步骤1处理过后的交通流量数据经过步骤2、步骤3和步骤4的特征提取后最后经过一层一维卷积层得到未来T_h个时间步的预测结果。T_h是根据需求人为设定的预测时间步数量。

2.根据权利要求1所述的一种基于时空图卷积网络的交通流量预测方法，其特征在于：步骤1中的数据预处理包括对原始数据丢失或异常部分进行线性插值、将原始数据归一化、根据交通网络中各个节点的地理距离计算预定义邻接矩阵以及将数据划分成训练集、验证集和测试集。

具体来说，将60％划分为训练集，20％的数据划分为验证集，20％的数据划分为测试集。基于地理距离的预定义邻接矩阵的计算方式如式(4)：

其中，dis(i,j)表示交通节点i和j之间的距离；τ∈(0,0.1)是根据具体情况人工设置的阈值。

3.根据权利要求1所述的一种基于时空图卷积网络的交通流量预测方法，其特征在于：步骤2中涉及的时空卷积块中包括时间卷积网络与时间注意力层。时间卷积网络的核心在于通过空洞卷积捕获交通流量细粒度的时间特征。具体来说，时间卷积网络包含l层卷积网络层，每个卷积网络层包括多个大小为(1×k)的卷积核，且在每个卷积网络层之间使用残差连接和一个标准化层。时间卷积网络中第l层卷积层的输出h_l表示为式(5)。

h_l＝Relu(W_l*h_(l-1)+b_l)         (5)

其中*表示卷积操作，卷积核大小为(1×k)，卷积数量为m；W_l∈R^m×d×k表示第l层卷积层的卷积核权重，b_l∈R^m是偏置向量；Relu表示激活函数；d是卷积层的输出通道数量。第一个卷积层的输入为权利要求1中步骤2处理后的交通流量矩阵X′，即h₀＝X′；h_l为表示第l-1层卷积层输出的特征矩阵，也即时间卷积网络层输出的局部时间特征矩阵。

时间注意力层用于捕获非相邻时间点之间的全局时间特征，使用缩放点积注意力实现，如式(6)所示。

Q＝W_Q·X′+b_Q          (7)

K＝W_K·X′+b_K          (8)

V＝W_V·X′+b_V         (9)

其中Q、K、V分别表示查询向量、键向量与值向量，W_Q、W_K、W_V与b_Q、b_K、b_V分别表示权重参数矩阵与偏置向量，K^T表示K的转置，d是式(5)中卷积层的输出通道数量；h_TA为时间注意力层输出的全局时间特征矩阵。

h_l∈R^N×T与h_TA∈R^N×T分别为时间卷积网络层与时间注意力层的输出。此外在每一个时空卷积块中堆叠了多层时间卷积网络层与时间注意力层，上一层的输出作为下一层的输入。

4.根据权利要求1所述的一种基于时空图卷积网络的交通流量预测方法，其特征在于：步骤2中所涉及的时空卷积块中图卷积层的作用在于将时间卷积网络层与时间注意力层的输出进行图卷积操作，捕获交通流量数据的空间特征。具体来说，图卷积层通过聚合不同节点的信息捕获交通节点之间的空间依赖特征，公式表达如下：

其中GCN()表示图卷积操作，

表示动态邻接矩阵，

与

分别为

与

的度矩阵；σ为激活函数，通常为Relu；W_G1与W_G2为可学习的权重矩阵，⊙表示哈达玛积；H_G1与H_G2分别是来自时间卷积网络层与时间注意力层的输出经过图卷积操作后具有不同尺度的时空特征的交通流量特征矩阵；

表示自注意力得分，i＝1时表示来自时间卷积网络层的输出h_l的自注意得分，i＝2时表示来自时间注意力层的输出h_TA的自注意得分；A^s表示式(4)中的静态邻接矩阵，I_N表示大小为N的单位矩阵。

5.根据权利要求1所述的一种基于时空图卷积网络的交通流量预测方法，其特征在于：步骤2中所涉及的时空卷积块中门控融合层的作用在于融合具有不同尺度的时空特征的交通流量特征矩阵H_G1与H_G2。具体来说，使用门控机制将两个特征矩阵的重要部分保留，去除不重要的一部分，融合过程的公式如式(14)所示。

H_G＝H_G1⊙sigmoid(H_G1)+H_G2⊙sigmoid(H_G2)        (14)

其中，H_G为融合后的交通流量特征矩阵，sigmoid为非线性激活函数，⊙为哈达玛积。

6.根据权利要求1所述的一种基于时空图卷积网络的交通流量预测方法，其特征在于：在多个时空卷积块之间使用残差连接并且使用一维卷积神经网络作为该流量预测方法的预测层。预测层采用一维卷积操作一次性预测出多个时间步的交通流量值而不是逐步预测，此方法可以避免逐步预测带来的误差累计。

Images