CN114299728B - 结合注意力机制与动态时空卷积模型的车辆流量预测方法 - Google Patents

Abstract

本发明涉及一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，针对现有模型无法有效利用道路间车流量转移关系的问题，提出了道路级流量转移嵌入模块，学习到道路间的流量转移时间序列的张量表示；针对现有方法无法捕获动态变化的空间依赖的问题，提出了动态空间注意力模块，用于计算动态变化的空间依赖矩阵；针对现有模型无法有效对时序重要性有效建模的问题，提出了动态时间注意力模块，用于计算时序注意力权重。通过上述组件，本模型可以有效利用道路流量转移数据、捕获道路间动态变化的时空依赖关系，从而提高道路电动自行车流量预测的准确性。

Description

结合注意力机制与动态时空卷积模型的车辆流量预测方法

技术领域

本发明涉及一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，具体是注意力机制与动态时空图卷积模型的道路电动自行车流量预测方法，属于时空数据挖掘与交通预测术领域。

背景技术

近年来，随着全球定位系统(Global Positioning System，GPS)的大范围应用，GPS传感器在各类交通工具上得到了大规模部署，由此产生了海量的轨迹数据。我国的电动自行车的销售量与保有量不断上涨，许多城市通过在电动自行车上安装GPS传感器，实现对城区内电动自行车的综合管理。海量的电动自行车轨迹数据可以用于多种研究，例如挖掘城市居民出行规律、分析城市道路拥堵情况，为城市规划者提供决策支持。

交通状态预测是智能交通系统(Intelligent Transport System，ITS)领域的重要课题，包括了道路流量预测、道路平均车速预测与道路通行时间预测。道路流量预测是交通状态预测问题中最受关注的研究方向。然而，交通数据由于以下特点，1)高度非线性；2)时空依赖；3)不满足时间平稳性假设，导致道路流量预测具有很大的挑战性。现有的交通预测方法可以分为模型驱动的方法与数据驱动的方法。模型驱动的方法包括了基于统计模型的方法与基于传统机器学习模型的方法。基于统计模型的方法例如差分整合移动平均自回归模型(Autoregressive Integrated Moving Average model，ARIMA)、向量自回归模型(Vector Autoregression Model，VAR)与卡尔曼滤波(Kalman Filtering)等方法，因交通数据不满足时间平稳性假设而效果不佳。基于传统机器学习模型的方法如支持向量回归(support vector regression，SVR)、K近邻(K-Nearest Neighbor，KNN)等模型结构较浅，无法挖掘交通数据的深层次的时空依赖关系，因而无法在海量交通数据上取得较好的效果。以深度学习模型为代表的数据驱动方法例如卷积神经网络(Convolutional NeuralNetworks，CNN)与循环神经网络(Recurrent Neural Networks，RNN)被广泛应用于道路流量预测问题上。CNN中的卷积操作能够有效捕获网格数据上的局部信息与全局结构信息，但是由于交通数据是非欧的，因此CNN不能直接应用于道路流量预测问题。近年来，研究人员提出了基于图卷积神经网络(Graph Convolutional Networks，GCN)的道路流量预测方法。GCN模型能够在图结构上进行卷积，充分利用了图结构的拓扑结构信息与图节点间的空间相关性。目前，图卷积方法可以分为两大类，分别为谱方法与空间方法，其中谱方法基于图谱理论，然而现有基于谱方法的图卷积模型使用固定的邻接矩阵表示图结构，无法捕获图结构上空间依赖的动态变化。此外，现有道路流量预测方法无法有效利用道路间的流量转移关系数据。综上，现有方法存在较大改进空间。

目前已有一种基于注意力机制的图神经网络交通流量预测方法及系统(公开号CN111161535B)获取待预测的城市交通流量数据；根据道路连接关系构建路网图；对待预测的城市交通流量数据进行预处理；将路网图和预处理后的结果，输入到预训练的基于注意力机制的神经网络中，最后输出城市交通流量的预测结果。根据路网信息对道路和卡口进行编码，并根据道路上下游关系建立路网图结构，统计卡口不同时间维度下的过车数据，汇总形成路网车流量数据表；构建有多层注意力模块堆叠组成的图神经网络，使用时序注意力机制和图注意力网络对整个路网中车流量进行建模，预测指定卡口未来的车流量情况，与本发明的区别在于动态空间注意力模块和动态时间注意力模块的设置。

发明内容

本发明针对现有的基于图卷积神经网络模型的方法无法有效利用道路车流量转移关系且不能捕获动态变化的空间依赖问题，提出了一种结合注意力机制与动态时空图卷积模型的道路电动自行车流量预测方法。

为实现上述目的，本发明的技术方案是：

一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，包括以下步骤：

步骤一：输入原始电动自行车轨迹数据，对原始电动自行车轨迹数据依次进行数据清洗、轨迹地图匹配与道路流量提取，获得路网上各条道路上流量的时间序列以及道路间转移流量的时间序列；

步骤二：输入路网图，将路网上的道路作为图节点构建图，计算出图的邻接矩阵；

步骤三：构建道路级流量转移嵌入模块，输入为每条道路与下游相邻道路的流量转移关系，输出为每条道路嵌入后的张量表示；所述流量转移关系输入为道路间流量转移时间序列；

步骤四：构建动态空间注意力模块，输入为步骤三得到的每条道路嵌入后的张量表示。首先计算出道路间的空间依赖矩阵，然后对空间依赖矩阵与步骤二得到的邻接矩阵加权得到动态邻接矩阵；

步骤五：构建动态时间注意力模块，输入为每条道路与下游相邻道路的流量转移关系。首先计算出时序注意力权重，然后使用步骤一得到的流量时间序列与时序注意力权重点乘，得到加权后流量时间序列；所述流量时间序列为各条道路上流量的时间序列；

步骤六：构建动态时空卷积模块，每个动态时空卷积块包含两层时序卷积层与一层空间卷积层，输入为步骤四得到的动态邻接矩阵与步骤五得到的加权后的流量时间序列，输出为每个道路的多通道多时间步张量表示；

步骤七：串行堆叠若干个动态时空卷积模块，利用一个全连接层计算出未来若干时间步的流量，全连接层的输入为最后一个动态时空卷积模块的输出；

步骤八：对提出的模型进行训练，拟合最佳参数，然后实施预测。

与现有技术相比，本发明的有益效果在于：

本发明涉及的一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，提出了道路级流量转移嵌入模块，学习到道路间的流量转移时间序列的张量表示；针对现有方法无法捕获动态变化的空间依赖的问题，提出了动态空间注意力模块，用于计算动态变化的空间依赖矩阵；针对现有模型无法有效对时序重要性有效建模的问题，提出了动态时间注意力模块，用于计算时序注意力权重。通过上述组件，本模型可以有效利用道路流量转移数据、捕获道路间动态变化的时空依赖关系，从而提高道路电动自行车流量预测的准确性，解决了现有模型无法有效利用道路间车流量转移关系的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的结合注意力机制与动态时空卷积模型的车辆流量预测方法的方法流程图；

图2是本发明提供的结合注意力机制与动态时空卷积模型的车辆流量预测方法的模型结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面将对本发明所提出的结合注意力机制与动态时空图卷积模型的道路电动自行车流量预测方法做具体说明，方法的执行过程如图1所示。

为叙述方便，给出相关符号的定义与道路流量预测问题的定义：

路网图定义为：G(V,A)，V＝{v₁,v₂,…,v_N}表示路网中的道路集合，道路数量为N，

为路网图的邻接矩阵，A_i,j表示道路v_i与道路v_j之间的空间相关性，正式定义为：

其中，dist(v_i,v_j)表示道路v_i与道路v_j之间的欧式距离。

道路流量序列定义为：

N为道路数量，T为时间序列长度，X_i,t表示道路v_i在t时间步的流量大小。

道路流量转移序列定义为：

T为时间序列长度，TF_i,j,t表示在t时间步上道路v_i转移到道路v_j的流量大小。

道路流量预测问题：对于输入道路流量序列

需要为每条道路预测出未来T_p个时间步的流量

表示道路v_i在t′时间步的流量大小。

步骤一.输入原始轨迹数据，对原始轨迹数据依次进行数据清洗、轨迹地图匹配与道路流量提取，获得路网上各条道路上流量的时间序列X以及道路间转移流量的时间序列TF；

步骤二.输入路网图，将路网上的道路作为图节点构建图，计算出图的邻接矩阵

步骤三.构建道路级流量转移嵌入模块，输入为道路间流量转移时间序列

输出为道路嵌入后的张量

F为道路级流量转移嵌入模块中每条道路在每个时间步上嵌入后的维度大小，H_i,:,t表示道路v_i在t时间步上嵌入后的F维向量；

步骤四.构建动态空间注意力模块，输入为步骤三得到的道路嵌入后的张量

首先按照如下定义计算出道路间的空间依赖矩阵S∈R ^N×N，S_i,j表示学习到的道路v_i与道路v_j之间的空间相关性，

S＝softmax(V_s·ReLU(H·W₁·W₂·(W₃·H)+b_s))

其中

与

均为可学习参数，激活函数设置为线性整流单元(Rectified Linear Unit，ReLU)，softmax为归一化指数函数，将空间依赖矩阵S的每一行进行归一化。然后对空间依赖矩阵S与步骤二得到的邻接矩阵A加权得到动态邻接矩阵

具体定义如下：

其中，r₁与r₂均为可学习常量权重参数；

步骤五.构建动态时间注意力模块，输入为道路间流量转移时间序列

首先计算中间变量h_avg与h_max，

为流量转移时间序列TF在时间维度上平均池化的结果，正式定义为：

其中TF_i,j表示所有时间步上道路v_i转移到道路v_j的流量大小。

为流量转移时间序列TF在时间维度上最大池化的结果，正式定义为：

然后使用缩放组件计算出时序注意力权重T_att，计算公式为：

T_att＝ReLU(F_ex(F_seq(h_avg+h_max)))，

其中

与

均为可学习参数，F_seq将h_avg与h_max的和映射到较小的维度d，d＜T，F_ex再将其维度从d上升为T；最后使用步骤一得到的流量时间序列X与时序注意力权重T_att点乘，得到加权后流量时间序列

步骤六.构建动态时空卷积模块，每个动态时空卷积块包含两层时序卷积层与一层空间卷积层，空间卷积层位于两个时序卷积层之间。本发明提出的模型共使用h个动态时空卷积模块串行堆叠，第一个动态时空卷积模块的输入为步骤四得到的动态邻接矩阵

与步骤五得到的加权后的流量时间序列

第一个时序卷积层使用的卷积核

c_in和c_spatial分别为第一个时序卷积层输入数据的通道数和输出数据通道数，卷积核Φ₁长宽分别为k_t与1。空间卷积层使用的卷积核

输入数据与输出数据的通道数均为c_spatial。第二个时序卷积层使用的卷积核

c_spatial和c_out分别为第二个时序卷积层输入数据的通道数和输出数据通道数，卷积核Φ₂长宽分别为k_t与1。动态时空卷积模块的计算过程定义为：

其中*表示利用时序卷积过程，

表示第r-1个动态时空卷积模块的输出，

表示第r个动态时空卷积模块的输出，第一个动态时空卷积模块的输入为

即

步骤七.串行堆叠h个动态时空卷积模块，利用一个全连接层计算出未来T_p个时间步的流量

表示道路v_i在t′时间步的流量大小，正式定义为：

其中，

为最后一个动态时空卷积模块的输出，MLP表示全连接层。

步骤八.对提出的模型进行训练，损失函数设置为：

模型训练参数如下：

batch_size＝50，表示每批训练的数据量为50；

T＝12，表示模型输入的流量时间序列的长度为12；

T_p＝1，表示模型输出的预测流量时间序列的长度为1；

F＝10，表示道路级流量转移嵌入模块中每条道路在每个时间步上嵌入后的维度大小为10；

d＝4，表示动态时间注意力模块使用的缩放组件中，将输入流量时间序列长度T缩小到的维度大小。

k_t＝3，时序卷积核的长度为3；

c_in＝64，c_spatial＝64，c_out＝64，第一个时序卷积层卷积核Φ₁的输入数据通道数与输出数据通道数均为64，空间卷积层的输入数据通道数与输出数据通道数均为6，第二个时序卷积层卷积核Φ₂的输入数据通道数与输出数据通道数均为64；

h＝2，动态时空卷积模块的个数；

learning_rate＝0.001，学习率大小设置为0.001；

epochs＝100，最大迭代次数为100轮；

在模型训练参数设置完成后，不断迭代训练，通过最小化损失函数loss，得到模型参数的最优值，进而得到最终的模型，后续就可以进行流量预测。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，其特征在于：包括以下步骤：

步骤一、输入原始电动自行车轨迹数据，对原始电动自行车轨迹数据依次进行数据清洗、轨迹地图匹配与道路流量提取，获得路网上各条道路上流量的时间序列以及道路间转移流量的时间序列；

步骤二、输入路网图，将路网上的道路作为图节点构建图，计算出图的邻接矩阵；

步骤三、构建道路级流量转移嵌入模块，输入为每条道路与下游相邻道路的流量转移关系，输出为每条道路嵌入后的张量表示；所述流量转移关系输入为道路间流量转移时间序列；

步骤四、构建动态空间注意力模块，输入为步骤三得到的每条道路嵌入后的张量表示，计算出道路间的空间依赖矩阵，对空间依赖矩阵与步骤二得到的邻接矩阵加权得到动态邻接矩阵；

步骤五、构建动态时间注意力模块，输入为每条道路与下游相邻道路的流量转移关系，计算出时序注意力权重，使用步骤一得到的流量时间序列与时序注意力权重点乘，得到加权后流量时间序列；所述流量时间序列为各条道路上流量的时间序列；

步骤六、构建动态时空卷积模块，每个动态时空卷积块包含两层时序卷积层与一层空间卷积层，输入为步骤四得到的动态邻接矩阵与步骤五得到的加权后的流量时间序列，输出为每个道路的多通道多时间步张量表示；

步骤七、串行堆叠若干个动态时空卷积模块，利用一个全连接层计算出未来若干时间步的流量，全连接层的输入为最后一个动态时空卷积模块的输出；

步骤八、对提出的模型进行训练，然后实施预测。

2.根据权利要求1所述的一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，其特征在于：所述步骤二包括以下步骤：

路网图定义为：G(V,A)，V＝{v₁,v₂,…,v_N}表示路网中的道路集合，道路数量为N，

为路网图的邻接矩阵，A_i,j表示道路v_i与道路v_j之间的空间相关性，定义为：

其中，dist(v_i,v_j)表示道路v_i与道路v_j之间的欧式距离；

道路流量序列定义为：

N为道路数量，T为时间序列长度，X_i,t表示道路v_i在t时间步的流量大小。

3.根据权利要求1所述的一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，其特征在于：所述步骤三包括以下步骤：

输入为道路间流量转移时间序列

输出为道路嵌入后的张量

F为道路级流量转移嵌入模块中每条道路在每个时间步上嵌入后的维度大小，H_i,t表示道路v_i在t时间步上嵌入后的F维向量。

4.根据权利要求1所述的一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，其特征在于：所述步骤四包括以下步骤：

输入为步骤三得到的道路嵌入后的张量

根据下式计算出道路间的空间依赖矩阵S∈R^N×N，S_i,j表示学习到的道路v_i与道路v_j之间的空间相关性，S＝softmax(V_s·ReLU(H·W₁·W₂·(W₃·H)+b_s))

其中

与

均为可学习参数，激活函数设置为线性整流单元，softmax为归一化指数函数，将空间依赖矩阵S的每一行进行归一化，然后对空间依赖矩阵S与步骤二得到的邻接矩阵A加权得到动态邻接矩阵

具体定义如下：

其中，r₁与r₂均为可学习常量权重参数。

5.根据权利要求1所述的一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，其特征在于：所述步骤五包括以下步骤：

输入为道路间流量转移时间序列

计算中间变量h_avg与h_max，

为流量转移时间序列TF在时间维度上平均池化的结果，正式定义为：

其中TF_i,j表示所有时间步上道路v_i转移到道路v_j的流量大小，

为流量转移时间序列TF在时间维度上最大池化的结果，正式定义为：

使用缩放组件计算出时序注意力权重T_att，计算公式为：

T_att＝ReLU(F_ex(F_seq(h_avg+h_max)))，

其中

与

均为可学习参数，F_seq将h_avg与h_max的和映射到较小的维度d，d＜T，F_ex再将其维度从d上升为T；后使用步骤一得到的流量时间序列X与时序注意力权重T_att点乘，得到加权后流量时间序列

6.根据权利要求1所述的一种结合注意力机制与动态时空卷积模型的车辆流量预测方法，其特征在于：所述步骤六包括以下步骤：

每个动态时空卷积块包含两层时序卷积层与一层空间卷积层，空间卷积层位于两个时序卷积层之间，第一个动态时空卷积模块的输入为步骤四得到的动态邻接矩阵

与步骤五得到的加权后的流量时间序列

第一个时序卷积层使用的卷积核

c_in和c_spatial分别为第一个时序卷积层输入数据的通道数和输出数据通道数，卷积核Φ₁长宽分别为k_t与1，空间卷积层使用的卷积核

输入数据与输出数据的通道数均为c_spatial，

第二个时序卷积层使用的卷积核

c_spatial和c_out分别为第二个时序卷积层输入数据的通道数和输出数据通道数，卷积核Φ₂长宽分别为k_t与1，动态时空卷积模块的计算过程定义为：

其中*表示时序卷积过程，

表示第r-1个动态时空卷积模块的输出，

表示第r个动态时空卷积模块的输出，第一个动态时空卷积模块的输入为

即

Images