CN117236492A

CN117236492A - 基于动态多尺度图学习的交通需求预测方法

Info

Publication number: CN117236492A
Application number: CN202311142178.5A
Authority: CN
Inventors: 李天瑞; 彭莉兰; 李崇寿
Original assignee: Southwest Jiaotong University
Current assignee: Southwest Jiaotong University
Priority date: 2023-09-06
Filing date: 2023-09-06
Publication date: 2023-12-15
Anticipated expiration: 2043-09-06
Also published as: CN117236492B

Abstract

本发明公开了一种基于动态多尺度图学习的交通需求预测方法，在时间上使用基于多尺度的时间卷积模块，用层次化的残差方法来捕获不同时间尺度和不同时间尺度间的深层时间依赖关系；在空间上考虑空间依赖关系随时间的动态变化，且不同时间尺度的空间依赖关系可能相似的特性，使用基于动态多尺度的图生成模块来构建不同时间尺度的动态图结构，减少模型的参数；同时，用基于图卷积神经网络的空间表示模块来表示复杂的空间依赖关系。本发明可以同时关注时间和空间维度的多尺度表示，提高交通需求预测任务的空间和时间表示能力，提升城市交通需求预测的准确性。

Description

基于动态多尺度图学习的交通需求预测方法

技术领域

本发明涉及时空数据挖掘技术领域，特别是基于动态多尺度图学习的交通需求预测方法。

背景技术

近年来，智慧交通行业快速成长，对城市交通需求预测投入了极大的关注，特别是面向城市交通大数据(如交通需求数据、气象数据、POI数据等)的智能计算和预测建模来辅助智慧城市管理决策，是城市智慧交通行业的热点问题。准确的城市共享单车、出租车等交通需求预测，有利于减少城市交通出行的等待时间，避免叫不到车或者车空闲的情况，实现城市交通出行的高效性，促进城市智慧交通的快速发展。

城市交通大数据作为最具代表性的一类城市时空大数据，具有时空关联、动态演化等特点。基于数据驱动的经典交通需求预测模型在时间表示方面，主要考虑时间依赖关系的邻近性、周期性、趋势性等，而时间属性还有多尺度的依赖关系，不同时间尺度的依赖关系不同；同时，不同时间尺度间的依赖关系也不同。因此，如何表示多尺度以及多尺度间的时间依赖关系是现已技术的一大问题。在空间表示方面，现有的方法要么仅用一个或多个静态图，要么对每个时间步都学习一个动态图。但前者未考虑城市交通大数据动态演化的特点，即空间依赖关系会随时间的变化而发生变化，而后者却忽略了不同时间步的空间依赖关系的相似性，存在模型参数过多的问题。

(1)时间多尺度表示

多尺度表示在图像视觉领域已经取得了一定的研究成果，参考文献1“Res2net：ANew Multi-scale Backbone Architecture”(Gao S，Cheng M，Zhao K，et al.，IEEETransactions on Pattern Analysis and Machine Intelligence，2021(2)：43.)提出了一种多尺度卷积神经网络模型，即Res2Net，通过在单个残差块中构造层次化的残差连接，来捕获图像的不同尺度的特征，Res2Net主要应用在图像领域二维的数据特征的表示。在时空领域，还少有考虑时间一维的多尺度和多尺度间的依赖关系。参考文献2“Connectingthe Dots：Multivariate Time Series Forecasting with Graph Neural Networks”(WuZ，Pan S，Long G，et al.，Proceedings of the SIGKDD Conference on KnowledgeDiscovery and Data Mining.2020：753-763.)提出一种基于因果卷积的时间卷积方法，结合不同的卷积核来捕捉不同尺度的时间依赖关系，但是其忽略了不同时间尺度间的依赖关系，不能捕获高级别的时间依赖关系。

(2)动态图学习

参考文献3“Spatio-Temporal Dynamic Graph Relation Learning for UrbanMetro Flow Prediction”(Xie P,Ma M，Li T，et al.，IEEE Transactions on Knowledgeand Data Engineering，2023：1-12)提出了一种时空动态图关系学习方法用于地铁流量预测，主要从结点的动态嵌入和边的动态生成来学习动态的图结构。该方法虽然学习了空间依赖关系的动态特征，但是其会每个时间步都生成一个动态图，存在模型参数过多的问题。参考文献4“Long-term Spatio-temporal Forecasting via Dynamic Multiple-GraphAttention”(Shao W，Jin Z，Wang S，et al.，Proceedings of the Thirty-FirstInternational Joint Conference on Artificial Intelligence，2022：2225--2232)提出了一种基于动态图和静态图结合的多图注意力方法来表示空间属性。这种动态图和静态图联合学习方法也是每个时间步都生成一个图结构，忽略了不同时间步的图结构(例如：每天的早高峰和晚高峰)可能是相似的，存在模型参数过多的问题。

发明内容

本发明的目的是提供基于动态多尺度图学习(Dynamic and Multi-scale GraphLearning,DMGL)的交通需求预测方法。

实现本发明目的的技术方案如下：

基于动态多尺度图学习的交通需求预测方法，包括：

步骤1：从交通数据集X＝(x₁,x₂,…,x_N)∈R^T×N×D中选取交通需求数据子集通过多层感知机的线性层，得到/>其中，R表示实数，T表示时间序列，N表示交通图的结点总数，D表示属性特征维度；B是批次大小，in_dim表示输入的即历史的时间序列长度，/>表示新的特征维度，C表示通道数；所述新的特征维度/>包含时间特征和属性特征；

步骤2：将输入基于动态多尺度图学习的时空表示模型的第一层，得到/>在第一层的时间表示和空间表示；所述基于动态多尺度图学习的时空表示模型包括多层，每一层包括基于动态多尺度的图生成模块、基于多尺度的时间卷积模块和基于图卷积神经网络的图表示模块；

具体为：

2.1将输入到基于多尺度的时间卷积模块中，对交通需求数据子集/>进行多尺度时间表示，输出多尺度时间特征/>其中，C_f是多尺度的时间特征维度；

2.2将和交通图的结点的静态邻接拓扑关系A_s∈R^N×N输入到基于动态多尺度的图生成模块中，对交通需求数据进行结点动态表示和结点连接，生成多尺度的动态图A¹,A²,A³,…,A^m；

2.3将A¹,A²,A³,…,A^m和多尺度时间特征输入到基于图卷积神经网络的图表示模块，输出交通需求数据子集/>的空间表示；

步骤3：通过残差连接的方法，将第一层的步骤2.1的输入即和步骤2.3的输出即的空间表示连接，作为基于动态多尺度图学习的时空表示模型的第二层的输入，按照步骤2.1-2.3相同的方法，得到/>在第二层的时间表示和空间表示；以此类推，得到/>在每一层的时间表示和空间表示；

步骤4：通过跳跃连接的方式，将交通需求数据子集每一层的步骤2.1的输出即多尺度时间特征/>传递到由全连接层构成的输出模块，输出预测的交通需求数据其中，out_dim表示输出的即预测的时间序列长度。

优选的，所述步骤2.1，包括：

步骤2.1.1：将分别输入两个层次化的残差层，分别得到两个层次化的残差层的输出；具体为：

1.1将输入到一个1×1的卷积神经网络，得到/>S_f表示新的时间特征维度；

1.2将的时间特征平均划分为s个特征映射子集P_i,i∈{1,2,…,S}；1.3除了P₁，每个子集P_i分别输入到一个1×3的卷积神经网络得到Q_i，如下：

式中，函数M_i()表示1×3的卷积神经网络，M_i()的输出由Q_i表示；当2<i≤s时，P_i和M_i-1()的输出Q_i-1连接，并作为M_i()的输入；

1.4连接所有的Q_i后，将其输入到1×n的卷积神经网络，n是可学习的参数；

1.5将步骤1.1的输出和步骤1.4的输出连接，然后再通过一个1×6的卷积神经网络，得到所述层次化的残差层的输出；

步骤2.1.2：采用tanh和sigmoid函数分别将两个层次化的残差层的输出连接起来，得到

上述技术方案中，所述N表示交通图的结点总数，D表示属性特征维度，具体为：N表示交通图中出租车停靠的站点，D表示出租车上车的数量和出租车下车的数量。或者，N表示交通图中自行车停放的站点，D表示自行车开锁的数量和关锁的数量。

本发明的有益效果在于，在时间上使用基于多尺度的时间卷积模块，用层次化的残差方法来捕获不同时间尺度和不同时间尺度间的深层时间依赖关系；在空间上考虑空间依赖关系随时间的动态变化，且不同时间尺度的空间依赖关系可能相似的特性，使用基于动态多尺度的图生成模块来构建不同时间尺度的动态图结构，减少模型的参数；同时，用基于图卷积神经网络的空间表示模块来表示复杂的空间依赖关系。本发明可以同时关注时间和空间维度的多尺度表示，提高交通需求预测任务的空间和时间表示能力，提升城市交通需求预测的准确性。

附图说明

图1是基于多尺度的时间卷积模块的结构图。

图2是基于动态多尺度的图生成模块的结构图。

图3是基于图卷积神经网络的空间表示模块的结构图。

图4是基于动态多尺度图学习的交通需求预测模型图。

具体实施方式

基于动态多尺度图学习的交通需求预测方法，包括：

步骤1：输入交通需求数据集X＝(x₁,x₂,…,x_N)∈R^T×N×D，T表示时间序列，N表示交通图的结点总数，D表示属性特征维度(例如：出租车上车的数量和出租车下车的数量)。首先对交通需求数据子集进行一个多层感知机的线性操作，B是批次大小，in_dim表示输入的/历史的时间序列长度，输出/> 表示新的特征维度(包含时间特征和属性特征)，C表示通道数；

步骤2：将输入基于动态多尺度图学习的时空表示模型的第一层，得到/>在第一层的时间表示和空间表示；所述基于动态多尺度图学习的时空表示模型包括l层，每一层包括基于动态多尺度的图生成模块、基于多尺度的时间卷积模块和基于图卷积神经网络的图表示模块；具体过程包括：

2.1将输入到基于多尺度的时间卷积模型中，实现对交通需求数据的时间表示，该模型包括门控机制和层次化的残差层两个部分。层次化的残差层主要是从不同尺度和不同尺度间两个方面来表示时间的依赖关系；门控机制主要是融合两个层次化的残差层的输出，最后输出多尺度的时间特征张量/>C_f是多尺度的时间特征维度；

2.2将交通图的结点的静态邻接拓扑关系A_s∈R^N×N和输入到基于动态多尺度的图生成模型中，生成不同尺度的动态图，减少模型的参数。该模型包括结点动态表示和结点连接两个部分：

2.2.1结点动态表示部分，首先将多尺度的时间特征分解为m×d部分，得到(f¹,f²,f^d,…,f^(m-1)d+1,…,f^md)，然后对分解后的多尺度时间特征进行聚合，得到(R¹,R²,R³,…,R^m)，同时通过结点特征抽取器抽取结点的静态特征/>C_s是结点的静态特征维度，并将聚合后的时间特征R^m和抽取的结点静态特征a_s输入到门控循环单元(GatedRecurrent Unit，GRU)，得到不同时间尺度的结点动态特征/>C_e是结点的动态特征维度；

2.2.2结点连接部分，通过多层感知机和掩码的方法将任意两个结点动态特征α^m连接起来，生成多尺度的动态图A¹,A²,A³,…,A^m。

2.3将多尺度的动态图A^m和多尺度的时间特征输入到基于图卷积神经网络的空间表示模型中，捕获交通需求数据的空间依赖关系，该模型包括混合传播层和图表示融合两个部分。混合传播层用于实现动态图的空间依赖关系的表示，包括空间信息的横向传播和纵向选择两个部分；图表示融合即将多个动态图的空间依赖表示相加，得到交通需求数据的空间依赖关系；

步骤3：为了避免梯度消失，通过残差连接的方法，将第一层的步骤2.1的输入即和步骤2.3的输出即/>的空间表示连接，作为基于动态多尺度图学习的时空表示模型的第二层的输入，按照步骤2.1-2.3相同的方法，得到/>在第二层的时间表示和空间表示；以此类推，得到/>在每一层的时间表示和空间表示；

步骤4：为了捕获时空的全局信息，通过跳跃连接的方式，将交通需求数据子集每一层的步骤2.1的输出即多尺度时间特征/>传递到由全连接层构成的输出模块，输出预测的交通需求数据/>其中，out_dim表示输出的即预测的时间序列长度。。

以下结合附图和具体实施例对本发明进一步说明。

一、基于多尺度的时间卷积模型，如图1所示，该模型包括两个层次化的残差层和门控机制两部分，具体为：

步骤1：将输入到一个层次化的残差层

1.1首先将输入到一个1×1的卷积神经网络，得到S_f表示新的时间特征维度；

1.2将的时间特征平均划分为s个特征映射子集P_i,i∈

{1,2,…,s}；

1.3除了P₁，每个子集P_i都输入到一个1×3的卷积神经网络，由函数M_i()表示，M_i()的输出由Q_i表示。当2<i≤s时，P_i和M_i-1()的输出Q_i-1连接，并作为M_i()的输入。Q_i可由公式1表示。

特别注意的是每个1×3卷积操作M_i()都可能从所有时间特征子集

{P_j,j<s}中捕获时间特征信息。每个特征子集P_j经过1×3卷积操作时，输出结果可以获得比P_j更大的感受野。通过多尺度方式处理，有利于提取局部和全局的时间特征信息。

1.4为了融合不同尺度的时间特征信息，连接所有的Q_i，并将其输入到一个

1×n的卷积神经网络，n是可学习的参数。

1.5为了匹配特征维度，将步骤1.1的输出和步骤1.4的输出连接，然后再通过一个1×6的卷积神经网络。

步骤2：如图1所示，通过门控机制，采用tanh和sigmoid函数将两个层次化的残差层连接起来，输出C_f是多尺度的时间特征维度。

二、基于动态多尺度的图生成模型图，如图2所示，该模型包括结点动态表示和结点连接两个部分，具体为：

步骤1：结点动态表示

1.1输入交通图的结点的静态邻接拓扑关系A_s∈R^N×N，通过结点特征抽取器抽取结点的静态特征C_s表示结点的静态特征维度；

1.2将基于多尺度的时间卷积模型的输出的时间特征划分为m×d部分，得到(f¹,f²,f^d,…,f^(m-1)d+1,…,f^md)；

1.3不同时间步的结点可能是相似的，因此通过聚合操作AGG()对结点特征进行聚合，即以d个时间特征维度为单位对f^md进行聚合，得到(R¹,R²,R³,…,R^m)，其计算公式如公式2所示，AGG()表示d个时间特征的平均；

R^m＝AGG(f^{((m-1)d+1：md)}) (2)

1.4由于当前时间尺度的图结构可能与上一时间尺度的图结点和当前时间尺度的结点特征相关，因此，通过GRU来学习结点动态表示，如公式3所示，r^m是更新门，u^m是重置门，h^m是候选隐藏状态，W_r，W_u，W_h，b_r，b_u，b_h是可学习参数，⊙是哈达玛积，σ是sigmoid函数，μ是tanh函数，是结点动态特征，C_e表示结点的动态特征维度，α^m-1是上一步隐藏状态，GRU的初始状态α⁰＝MLP(a_s)，MLP()是一个全连接层。

步骤2：结点连接

2.1为了连接任意两个结点，通过多层感知机来生成图结构另外，通过学习一个掩码/>来控制输出信息的比例，如公式4所示，i和j表示第i个结点和第j个结点，⊙是哈达玛积，σ是sigmoid函数，MLP_e()和MLP_m()是多层感知机，最后输出多个图结构A¹，A²，A³，...，A^m。

三、基于图卷积神经网络的图表示模型，如图3所示，该模型包括混淆传播层和图表示融合两个部分，具体为：

步骤1：混淆传播层

将生成的动态图Am和时间信息输入到一个混淆传播层，如图3所示。混淆传播层包括横向传播和纵向选择两部分。横向传播的公式如公式5所示，H_in是上一次的输出隐藏状态，作为当前层的输入隐藏状态，H^(k)是第k跳的信息传播，/>是可学习的参数。纵向选择的公式如公式6所示，H_out是当前层的输出隐藏状态，k表示传播的深度，W^(k)是特性选择器。

步骤2：图表示融合

对步骤1的图表示结果相加，输出所有动态图的空间表示信息。

四、基于动态多尺度图学习的交通需求预测框架

基于动态多尺度图学习的交通需求预测框架，如图4所示，该框架包括输入模块、l层堆叠的基于动态多尺度图学习的时空表示模型和输出模块。

步骤1：输入交通需求数据X＝(x₁，x₂，...，x_N)∈R^T×N×D，首先将通过一个多层感知机的线性层，得到/>

步骤2：然后将输入到一个l层的基于动态多尺度图学习的时空表示模型中，该模型包括基于多尺度的时间卷积模块、基于动态多尺度的图生成模块和基于图卷积神经网络的图表示模块；

2.1将输入到基于多尺度的时间卷积模块中，实现交通需求数据的多尺度时间表示，输出时间特征/>

2.2将和交通图的结点的静态邻接拓扑关系A_s∈R^N×N输入到基于动态多尺度的图生成模块中，对交通需求数据进行结点动态表示和结点连接，生成多尺度的动态图A¹，A²，A³，...，A^m；

2.3将生成的多个动态图A^m和多尺度时间特征输入到基于图卷积神经网络的图表示模块，实现对交通需求数据的空间表示；

步骤3：为了避免梯度消失，通过残差连接的方法将每层的步骤2.1的输入端和步骤2.3的输出端连接起来，并将结果作为下一层的输入；

步骤4：为了捕获时空的全局信息，通过跳跃连接的方式，将输入、每层的步骤2.1的输出信息传递到由全连接层构成的输出模块，输出预测的交通需求数据

本发明的实施例，其步骤如下：

步骤1：输入交通需求数据X＝(x₁，x₂，...，x_N)∈R^T×N×D，T表示时间序列，N表示交通图的结点总数，D表示属性特征维度。例如：NYC-Taxi数据集X∈R^4368×266×2，该数据集包括4368个时间序列，266个出租车停靠的站点，2个特征维度：出租车上车的数量和出租车下车的数量。NYC-Bike数据集X∈R^4368×250×2，该数据集包括4368个时间序列，250个自行车停放的站点，2个特征维度：自行车开锁的数量和自行车关锁的数量。将数据集按照训练数据集、验证数据集和测试数据集以7：1.5：1.5的比例进行划分。训练数据设置批次大小B为16，输入时间序列in_dim是12，输出时间序列out_dim是12，本发明的实施例主要以NYC-Taxi数据集来进行说明。将交通需求数据输入到多层感知机的线性层，即“Conv2d(2，32，kernel_size＝(1，1)，stride＝(1，1))”，输出/>的张量，通道数C设置为32，新的特征维度/>设置为16。

步骤2：将步骤1的输出输入到一个3层的基于动态多尺度图学习的时空表示模型中。

2.1基于多尺度的时间卷积模型，首先将输入到1×1的卷积层得到S_f设置为16，然后再将/>分解为4个子集(P₁，P₂，P₃，P₄)，Q₁＝P₁，除了P₁外，(P₂，P₃，P₄)分别通过1×3的卷积操作得到(M₂(P₂)，M₃(P₃)，M₄(P₄))，Q₂＝M₂(P₂)，将P₃和Q₂结合作为M₃()的输入得到Q₃＝M₃(P₃+Q₂)，同理Q₄＝M₄(P₄+Q₃)。为了融合不同尺度的时间特征信息，将(Q₁，Q₂，Q₃，Q₄)进行连接，然后通过一个1×n的卷积操作得到W，第1层到第3层n分别等于(85，55，25)，然后将W和/>连接并通过一个1×6的卷积操作。通过门控机制控制时间特征输入到下一模块的比例，输出/>，第1层到第3层C_f分别等于(11，6，1)。

2.2将时间表示的结果和交通静态图A_s∈R^266×266输入到基于动态多尺度的图生成模型中，该模型包括结点动态表示和结点连接两个部分。

2.2.1结点动态表示，抽取交通图中结点的静态特征a_s∈R^266×40，即C_s＝40；并将结点的静态特征a_s和步骤2.1输出的时间特征作为输入；将时间特征分解为m×d部分，并聚合得到(R¹，R²，R³，...，R^m)，d设置为1；将其和结点特征输入到GRU中，输出结点动态表示α^m∈R^266×20，C_e设置为20，α⁰＝MLP(a_s)为GRU的初始状态。

2.2.2结点连接，将任意的两个α^m，通过多层感知机和掩码的方法关联起来，生成多尺度的动态图A¹，A²，A³，...，A^m。

2.3将生成的多尺度动态图Am和时间特征输入到基于图卷积神经网络的空间表示模型中，该模型包括基于混合传播的图卷积神经网络和图表示融合两个部分。基于混合传播的图卷积神经网络中的/>设置为0.05，k设置为2。

步骤3：为了避免梯度消失，通过残差连接的方式将每层步骤2.1的输入端和步骤2.3的输出端连接起来，并将结果作为下一层的输入；

步骤4：为了捕获时空的全局信息，通过跳跃连接的方式，将输入、每层的步骤2.1的输出信息传递到由全连接层构成的输出模块，输出预测的交通需求数据其中D是特征维度(例如：出租车上车的数量和出租车下车的数量，则设置D为2)，N是结点数量(例如：266个结点)，out_dim是预测时间序列的长度(例如：12个时间步长)。

仿真实验

为了验证本发明方法的有效性，使用两个真实世界的数据集(NYC-Bike和NYC-Taxi)进行了实验，并与现有8个基准方法做了比较，即基于梯度爆炸树的方法XGBoot，扩散卷积循环神经网络方法DCRNN，时空图卷积网络方法STGCN，时空图到序列的方法STG2Seq，时空同步图卷积网络的方法STSGCN，多变量图神经网络的方法MTGNN，双层卷积神经网络的方法CCRNN和用于时间序列的图方法GTS。本专利使用交通预测任务中常用的3种性能评估标准指标包括均方根误差(Root Mean Squared Error,RMSE)，平均绝对误差(MeanAbsolute Error,MAE)和经验相关系数(Empirical Correlation Coefficient,CORR)来评估性能的预测方法。公式如下所示，y_i表示第i个样本的实际值,表示第i个样本的预测值,n表示总的样本数量。

实验一：为了验证所提出的动态多尺度图学习的交通需求预测方法的有效性，与8个基准方法进行对比和分析。表1展示了不同方法在两个真实世界数据集上的实验结果。从实验结果可以看出，本专利提出的方法，实现了最好的实验结果，验证了本专利提出方法的有效性。

表1在两个数据集上不同基准方法的对比结果

实验二：为了验证所提方法的基于动态多尺度的图生成模块和基于多尺度的时间卷积模块的有效性，我们在NYC-Taxi数据集上设计了两个消融实验，消融实验1用静态图结构替换动态多尺度生成的图结构模型,用w/o DGC表示；实验2去掉基于多尺度的时间卷积模块，只做简单的卷积操作，用w/o HRL表示。实验结果如图2所示，从实验结果可以看出，没有基于动态多尺度的图生成模块和基于多尺度的时间卷积模块对实验结果都有影响，都没有DMGL的结果好。

表2：在NYC-Taxi上的消融实验结果

Claims

1.基于动态多尺度图学习的交通需求预测方法，其特征在于，包括：

具体为：

步骤3：通过残差连接的方法，将第一层的步骤2.1的输入即和步骤2.3的输出即/>的空间表示连接，作为基于动态多尺度图学习的时空表示模型的第二层的输入，按照步骤2.1-2.3相同的方法，得到/>在第二层的时间表示和空间表示；以此类推，得到/>在每一层的时间表示和空间表示；

2.如权利要求1所述的基于动态多尺度图学习的交通需求预测方法，其特征在于，所述步骤2.1，包括：

1.2将的时间特征平均划分为s个特征映射子集P_i,i∈{1,2,…,s}；

1.3除了P₁，每个子集P_i分别输入到一个1×3的卷积神经网络得到Q_i，如下：

3.如权利要求1所述的基于动态多尺度图学习的交通需求预测方法，其特征在于，所述N表示交通图的结点总数，D表示属性特征维度，具体为：N表示交通图中出租车停靠的站点，D表示出租车上车的数量和出租车下车的数量。

4.如权利要求1所述的基于动态多尺度图学习的交通需求预测方法，其特征在于，所述N表示交通图的结点总数，D表示属性特征维度，具体为：N表示交通图中自行车停放的站点，D表示自行车开锁的数量和关锁的数量。