CN111899510A - 基于发散卷积和gat的智能交通系统流量短期预测方法及系统 - Google Patents

Abstract

本发明公开了基于发散卷积和GAT的智能交通系统流量短期预测方法及系统，通过统计相关的方法例如历史平均值法补全交通流数据集中的缺失值，通过计算各个节点之间的距离，使用带阈值的高斯核建立表示节点邻近程度的邻接矩阵，并利用发散卷积层充分提取交通流数据的时空特征，再将提取的特征利用基于图注意力机制和发散卷积门控循环单元网络的带计划采样的编解码器程序进行预测。本发明能有效改善了数据缺失的问题，在预测精度和运算效率上都有显著提高，尤其是短时预测效果更佳。

Description

基于发散卷积和GAT的智能交通系统流量短期预测方法及 系统

技术领域

本发明属于人工智能预测算法技术领域，尤其是一种基于发散卷积和图注意力机制(Graph Attention Network，GAT)算法的智能交通系统流量短期预测方法及其系统。

背景技术

近年来，随着的科技和经济水平不断提高，使得人们的交通出行方式不断丰富，城市居民的机动车拥有量也出现了突飞猛进的变化。这使得人们的生活变得便捷，但同时产生了不少社会问题，例如交通拥堵、交通事故、能源过度消耗和碳的过量排放。其中，城市交通拥堵的现象更是日益严重，轻则增加了人们的出行时间，影响行程安排，重则容易引发交通事故，影响城市交通的正常运行，并加剧城市的环境污染，影响生态环境。如果能够实现对城市道路网交通网络流量的有效预测，有效预判城市交通现状，进而合理地进行调度，就能够缓解城市交通堵塞现象，提高城市道路通行能力。

近几十年来，国内外越来越多的专家学者投入到交通流量状况预测相关的研究中，因此交通流预测方法发展飞速。现有研究中的数据驱动方法可以分为三大类，分别是统计模型、浅层机器学习模型和深度学习模型。随着人工智能算法的飞速发展和计算机学习能力的不断提高，深度学习方法得到广泛而成功的应用，与此同时，它逐渐进入到交通流预测领域。Huang等人(Deep architecture for traffic flow prediction:deep beliefnetworks with multitask learning，2014)将深度信任网络用于无监督特征学习，这在交通流预测中被证明是有效的。Lv等人(Traffic flow prediction with big data:a deeplearning approach，2015)应用堆叠式自动编码器模型来学习通用的交通流特征。Ma等人(Long short-term memory neural network for traffic speed prediction usingremote microwave sensor data，2015)使用长短期记忆神经网络(Long Short-TermMemory，LSTM)来有效捕捉非线性交通动力学。Polson和Sokolov(Deep learning forshort-term traffic flow prediction，2017)结合了正则化L1范数和一个由tanh作为激活函数的多层网络来检测交通流的尖锐非线性。

卷积神经网络(Convolutional Neural Networks，CNN)的崛起，为在大规模高维数据集中提取有意义的统计模式提供了一种有效的体系结构。由于其极强的学习局部平稳结构的能力，在图像和视频识别领域带来了突破。在2017年，Ma等人(Learning traffic asimages:a deep convolutional neural network for large-scale transportationnetwork speed prediction，2017)提出了一种用于交通流预测的深度卷积神经网络，其中时空交通动态被转换成图像。Wang等人(Traffic speed prediction and congestionsource exploration:a deep learning method，2017)将高速公路处理为带状图像，随后提出了用于连续交通速度预测的误差反馈递归卷积神经网络结构。Ke等人(Short-termforecasting of passenger demand under on-demand ride services:a spatio-temporal deep learning approach，2017)将城市区域划分为统一的网格，随后将卷积层与LSTM层相结合，以预测每个网格中的乘客需求。所有上述研究都将交通网络转换为规则网格，因为卷积神经网络仅限于处理欧几里德结构的数据。然而，交通流预测中道路网络上的时间序列是分布在拓扑图上的连续序列，拓扑图是非欧几里德结构数据的典型代表，所以在这种情况下，原卷积神经网络结构可能不适用。

为了填补这一缺陷，图卷积神经网络(Graph Convolutional Network，GCN)在这几年发展了起来，Thomas N.Kipf等人(Semi-Supervised Classification with GraphConvolutional Networks，2016)在谱图论的背景下推广非欧几里德域上的卷积。几项新发表的研究对交通流预测进行了图形卷积。采用基于谱的图形卷积，并将其与时间卷积和递归神经网络(Recurrent Neural Network，RNN)相结合来预测交通流状态。但上述研究没有直接定义道路网络上的图形卷积，而是通过计算阈值高斯核传感器之间的成对距离来构造交通检测器图形。最近，Zhang等人(Multistep speed prediction on traffic networks:A deep learning approach considering spatio-temporal dependencies，2019)提出一种定制的深度学习框架，将注意力机制和图形卷积网络集成到编码器解码器模型结构中，以同时捕捉多步交通状况预测中复杂的非平稳时间动态和空间相关性，并取得了很好的成效。

不过，目前主流的交通流预测方法的效果并不是特别理想，这是因为道路网路段的空间相关性难以捕捉，随着路况而改变的非线性时间动态性难以模拟，以及多步预测的固有困难。更重要的是，由于种种原因，有些数据集出现了数据缺失的现象，这使得模型训练的难度增加，对交通流数据的分析和数据挖掘造成了不利的影响，现有交通流数据缺失，交通流预测模型的准确率和运算效率不够高等技术问题也普遍存在。

发明内容

为了解决现有技术中的不足，本发明提出了基于发散卷积和GAT的智能交通系统流量短期预测方法，通过统计相关的方法例如历史平均值法补全交通流数据集中的缺失值，通过计算各个节点之间的距离，使用带阈值的高斯核建立表示节点邻近程度的邻接矩阵，并利用发散卷积层充分提取交通流数据的时空特征，再将提取的特征利用基于图注意力机制和发散卷积门控循环单元网络的带计划采样的编解码器程序进行预测。

本发明所采用的技术方案如下：

一种基于发散卷积和GAT的智能交通系统流量短期预测系统，包括实测交通流数据信息采集模块、缺失值处理模块、时空特征提取模块、预测模块和输出模块；所述实测交通流数据信息采集模块由城市道路网中的探测器构成的采集网络，通过各个探测器所探测的交通流数据信息；并将交通流数据信息输入缺失值处理模块；

所述缺失值处理模块补全所输入交通流数据信息中的缺失值；

所述时空特征提取模块利用发散卷积层充分提取交通流数据信息的时空特征，并将所提取的时空特征输入预测模块；

所述预测模块包括编码器、基于图注意力机制预测单元和解码器，输入的时空特征依次经过编码器、基于图注意力机制预测单元和解码器对交通系统流量进行预测。

进一步，所述编码器和解码器都含有2层的发散卷积门控循环单元网络；所述发散卷积门控循环单元网络的结构如下：

H^(t)＝u^(t)⊙H^(t-1)+(1-u^(t))⊙C^(t)，

其中，X^(t)和H^(t)分别表示在时间t时的输入和输出，r^(t)和u^(t)分别表示重置门和更新门在时间t时的状态，σ为sigmoid函数，C^(t)为当前时间t的候选状态，

表示发散卷积，Θ_r，Θ_u，Θ_C分别表示重置门、更新门、候选状态的可学习权重参数，，⊙为向量元素乘积，tanh为双曲正切函数，b_r、b_u、b_C分别是滤波器的参数，即重置门、更新门、候选状态的可学习偏置参数。

进一步，在所述编码器中设定衰减概率ε_i实现计划采样。

一种基于发散卷积和GAT的智能交通系统流量短期预测方法，包括以下步骤：

S1,实测交通流数据信息，将城市道路网的探测器网络表示成一个带权重的有向图

为探测器构成的节点集，ε是边集，W是代表节点邻近程度的加权邻接矩阵；并对实测交通流数据信息进行预处理形成按采样点编号的交通流时序数据；

其中，所述节点邻近程度的加权邻接矩阵W的计算方法为：

W_ij表示第i个探测器v_i与第j个探测器v_j的边权重，dist(v_i，v_j)表示道路网上第i个探测器v_i到第j个探测器v_j的距离，σ是道路网两两探测器距离的标准差，K是阈值。

S2,补全预处理后交通流时序数据的缺失值，具体可以采用基于时间相关性的历史平均值法、指数平滑法、线性回归法、基于空间相关性的相邻探测器平均值法或相邻探测器加权法对缺失的交通流时序数据补全。

S3,利用发散卷积层充分提取交通流数据信息的时空特征；

S4,基于图注意力机制对交通系统流量进行预测。

进一步，S2中补全预处理后交通流时序数据缺失值的方法为：采用基于时间相关性的历史平均值法、指数平滑法、线性回归法、基于空间相关性的相邻探测器平均值法、相邻探测器加权法等方法对缺失的交通流时序数据补全。

进一步，S3中提取交通流数据信息的时空特征的方法为：将交通流时序数据与扩散过程相联系来模拟空间依赖性，扩散过程利用有向图

上的随机游走来刻画，在多个时间步之后，最终会收敛到平稳分布；封闭解

表示为:

再加入反向扩散过程，这样的双向扩散过程为模型提供了更大的灵活性来捕获上游和下游交通的影响；故将图信号X和滤波器f_θ的发散卷积运算定义为：

对p∈{1，...，P}

其中，X_：，p为所有节点的第p个输入特征的图信号向量，

为所定义的发散卷积运算符号，P为输入特征维度，p为第p个输入特征，

是滤波器的参数，

和

分别表示扩散过程和反向扩散过程的状态转移矩阵，θ_k，1、θ_k，2分别为矩阵形式的滤波器参数；k为扩散步数；

建立一个从P维输入特征映射到Q维输出特征的发散卷积层，发散卷积层表示为：

对q∈{1，...，Q}，

其中，X是发散卷积层的输入，H是发散卷积层的输出，

是滤波器，activate是激活函数，q为第q个输出特征，发散卷积层可以学习图结构数据的表示法，并利用基于随机梯度下降的方法对其进行训练。

进一步，S4中进行预测的方法为：

S4.1,在训练期间，将历史时空特征输入编码器，并使用编码器最终状态来初始化解码器；

S4.2,编码器和解码器都含有2层的发散卷积门控循环单元网络，将门控循环单元中的矩阵乘积替换为扩散卷积；

S4.3,在编码器和解码器之间引入图注意力机制，发散卷积门控循环单元网络的输入形式为节点时空特征的集合

图注意力机制层的输出形式为另一个节点时空特征的集合

N为节点个数。

进一步，图注意力机制的过程为：

S4.3.1,用权重参数矩阵

对一个共享的线性变换进行参数化，并应用到每个节点；

S4.3.2,计算每个节点的自注意力系数

为第i个节点的时空特征向量，

为第j个节点的时空特征向量，a为注意力机制层，W权重参数矩阵；

S4.3.3,用softmax函数对各个节点的注意力系数进行归一化，

其中，α_ij为归一化后的注意力系数，exp(·)为以自然常数e为底的指数函数，k为集合

中的节点，e_ik为节点i与任一邻接节点k的注意力系数；

S4.3.4,利用LeakyReLU进行非线性化，将注意力系数全部展开后如下：

表示权重向量用

的转置，||表示拼接操作。

S4.3.5,应用非线性处理后，作为每个节点的最终输出特征：

采用多头注意力机制层，即由K个独立的注意力机制拼接得到：

其中，||表示拼接操作，

是由第k个注意力机制层(a^k)的归一化注意力系数，W^k是相应的第k个注意力机制层(a^k)对输入特征线性变换的权重参数矩阵，输出h′的特征数就为KF′；

进一步，对网络的最后一层，即预测层进行多头注意力机制层的操作，拼接就不再有意义了，相反地，先使用平均后再使用非线性处理，即：

进一步，编码器采用计划采样，通过设定一个衰减概率ε_i，i为迭代次数，以衰减概率ε_i将真实观测值喂入模型，以概率1-ε_i将预测值喂入模型，衰减概率ε_i具体定义如下：

τ是控制收敛速度的参数，exp(·)为以自然常数e为底的指数函数。

本发明的有益效果：

1、本发明在针对含有缺失数据的城市道路网交通流量数据集，提出的缺失值处理模块，有效改善了数据缺失的问题，且具有普适性，在预测精度和运算效率上都有显著提高，尤其是短时预测效果更佳。

2、城市道路网络是有向图，而传统的图卷积只能处理无向图问题，本发明中的发散卷积则可以处理有向图的问题，更能充分捕捉交通流的时空特性。而且发散卷积也包含了图卷积的优点，第一是适用性极广，适用于不规则的拓扑图，而城市道路网就是这样的图，第二是它能有效提取节点特征，是目前对图数据学习任务的最佳选择，第三是它的局部参数共享，运算效率高。

3、发散卷积门控循环单元网络是GRU的变体，在处理时序数据中有着广泛的应用，本技术将图注意力机制、发散卷积门控循环单元网络、编解码器结合在一起，更能充分捕捉带缺失值数据交通流预测问题中的时空依赖性，即道路网络中复杂的空间相关性和随着路况的变化而变化的时间动态性，模型具有更好的精度和更强的泛化能力。

附图说明

图1是本方法中各个部分的结构示意图；

图2是本方法中缺失值处理程序及发散卷积算法示意图；

图3是本方法图注意力机制(GAT)示意图；

图4是本方法门控循环单元(GRU)单元结构图；

图5是本方法中编码器解码器(Encoder-Decoder)结构图；

图6是本方法的预测效果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。

如图1所示的基于发散卷积和GAT的智能交通系统流量短期预测系统，包括实测交通流数据信息采集模块、缺失值处理模块、时空特征提取模块、预测模块和输出模块；具体地：实测交通流数据信息采集模块由城市道路网中的探测器构成的采集网络，通过各个探测器所探测的交通流数据信息；并将交通流数据信息输入缺失值处理模块；

缺失值处理模块补全所输入交通流数据信息中的缺失值；

时空特征提取模块利用发散卷积层充分提取交通流数据信息的时空特征，并将所提取的时空特征输入预测模块；

预测模块包括编码器、基于图注意力机制预测单元和解码器，输入的时空特征依次经过编码器、基于图注意力机制预测单元和解码器对交通系统流量进行预测；在本系统中，编码器和解码器结构采用Sequence to Sequence或Encoder-Decoder。编码器和解码器都含有2层的发散卷积门控循环单元网络；发散卷积门控循环单元网络的结构如下：

H^(t)＝u^(t)⊙H^(t-1)+(1-u^(t))⊙C^(t)，

其中，X^(t)和H^(t)分别表示在时间t时的输入和输出，r^(t)和u^(t)分别表示重置门和更新门在时间t时的状态，σ为sigmoid激活函数，C^(t)为当前时间t的候选状态，

表示发散卷积，Θ_r，Θ_u，Θ_C分别表示重置门、更新门、候选状态的可学习权重参数，⊙为向量元素乘积，tanh为双曲正切函数，b_r、b_u、b_C分别是重置门、更新门、候选状态的可学习偏置参数。

交通流预测的目标是根据已观察到的道路网中相邻N个探测器的信息(例如速度、时间)，预测将来某个时间段的速度。本发明所提出的基于发散卷积和GAT的智能交通系统流量短期预测方法，包括如下步骤：

S1,实测交通流数据信息，并对实测交通流数据信息进行预处理；

首先，将城市道路网中的探测器作为节点，并将城市道路网的探测器网络表示成一个带权重的有向图

其中，

为探测器构成的节点集，且

N为探测器个数，ε是边集，W是代表节点邻近程度的加权邻接矩阵，

为为N×N维的实数集合。

交通流预测的过程为：令t时刻所观察到的图信号表示为X^(t)，则将T′个时间段的历史图信号映射到T个未来时间段的图信号表示为：

其中，X^(t-T′+1)、X^(t+1)、X^(t+T)分别为(t-T′+1)、t+1、t+T时间段图信号，h(·)为预测过程中待学习的函数。

实测交通流数据信息预处理包括对各个节点所采集的时间信息、速度信息进行标准化等处理，预处理后形成按采样点编号的交通流时序数据。为了统一量纲，使数据服从标准正态分布，这里采用z-score标准化进行数据处理，即

其中x为原始数据，

为原始数据的均值，s为原始数据的标准差，z为标准化后的数据。

对预处理后的交通流时序数据用带阈值的高斯核David I Shuman等人，2013，Theemerging field of signal processing on graphs:Extending high dimensional dataanalysis to networks and other irregular domains)建立节点邻近程度的加权邻接矩阵W_ij具体定义如下：

其中，W_ij表示第i个探测器v_i与第j个探测器v_j的边权重，dist(v_i，v_j)表示道路网上第i个探测器v_i到第j个探测器v_j的距离，σ是道路网两两探测器距离的标准差，K是阈值。

S2,补全预处理后交通流时序数据的缺失值，如图2；采用基于时间相关性的历史平均值法、指数平滑法、线性回归法、基于空间相关性的相邻探测器平均值法、相邻探测器加权法等方法对缺失的交通流时序数据补全。

S3,利用发散卷积层充分提取交通流数据信息的时空特征；

本发明通过将交通流时序数据与扩散过程相联系来模拟空间依赖性，扩散过程利用有向图

上的随机游走来刻画，其中，起始概率为α∈[0，1]，状态转移矩阵为

D_O＝diag(W1)，是一个出度的对角矩阵，W为节点邻近程度的加权邻接矩阵，1是全1向量，

在多个时间步之后，像这样的马尔科夫过程，最终会收敛到平稳分布

其中第i行

表示节点

的最可能扩散情况。扩散过程的平稳分布可以表示为图上无限个随机游动的加权组合，其封闭解

表示为:

其中，k是扩散步数。本发明还加入了反向扩散过程如式(4)，这样的双向扩散过程为模型提供了更大的灵活性来捕获上游和下游交通的影响。

本发明将图信号

和滤波器f_θ的发散卷积运算定义为：

对p∈{1，...，P}， (4)

其中，X_：，p为所有节点的第p个输入特征的图信号向量，

为所定义的发散卷积运算符号，P为输入特征维度，p为第p个输入特征，

是滤波器的参数，

和

分别表示扩散过程和反向扩散过程的状态转移矩阵，θ_k，1、θ_k，2分别为矩阵形式的滤波器参数；k为扩散步数；

为N×P维的实数集合。

本发明建立了一个从P维输入特征映射到Q维输出特征的发散卷积层，记参数张量为

其中，

是从第P维输入特征到第Q维输出特征的卷积滤波器参数。发散卷积层表示为：

对q∈{1，...，Q}， (5)

其中，

是发散卷积层的输入，

是发散卷积层的输出，

是滤波器，activate是激活函数(例如ReLU，Sigmoid)，q为第q个输出特征。发散卷积层可以学习图结构数据的表示法，并利用基于随机梯度下降的方法对其进行训练，X_：，p为所有节点的第p个输入特征的图信号。

S4,基于图注意力机制对交通系统流量进行预测的方法为：

S4.1,在训练期间，将历史时空特征输入编码器如图5，并使用编码器最终状态来初始化解码器。根据观测到的真实值，解码器会自动生成预测值。训练和测试编码器时的输入分布差异可能导致模型的性能下降，为了减轻这样的问题，本发明结合了计划采样(Scheduled Sampling)到编解码器中，通过设定一个衰减概率ε_i，其中，i为迭代次数，以衰减概率ε_i将真实观测值喂入模型，以概率1-ε_i将预测值喂入模型，衰减概率ε_i具体定义如下：

其中，i是迭代次数，τ是控制收敛速度的参数，exp(·)为以自然常数e为底的指数函数。

S4.2,编码器和解码器都含有2层的发散卷积门控循环单元网络，是门控循环单元(Gated Recurrent Units，GRU)的一个变体，即直接将门控循环单元(GRU)中的矩阵乘积替换为上述式(4)中定义的扩散卷积，该发散卷积门控循环单元网络的结构如下：

H^(t)＝u^(t)⊙H^(t-1)+(1-u^(t))⊙C^(t)， (10)

其中，X^(t)和H^(t)分别表示在时间t时的输入和输出，r^(t)和u^(t)分别表示重置门和更新门在时间t时的状态，σ为sigmoid激活函数，C^(t)为当前时间t的候选状态，

表示发散卷积，Θ_r，Θ_u，Θ_C分别表示重置门、更新门、候选状态的可学习权重参数，⊙为向量元素乘积，tanh为双曲正切函数，b_r、b_u、b_C分别是重置门、更新门、候选状态的可学习偏置参数。该模块可用于建立循环神经网络层，并通过时间反向传播进行训练如图4。

S4.3,在编码器和解码器之间引入图注意力机制，即解码器的不同时间步使用不同的中间向量C，以增强泛化能力。发散卷积门控循环单元网络的输入形式为节点时空特征的集合，记为

其中，N为节点个数，即为探测器个数，F为每个节点的特征数，记该图注意力机制层的输出形式为另一个节点时空特征的集合，记为

F′为每个节点的输出特征数如图3。为了获得足够的表达能力将输入特征转换为更高层次的特征，至少需要一次可学习的线性转换。为此，作为初始步骤，用权重参数矩阵

对一个共享的线性变换进行参数化，并应用到每个节点。接下来计算每个节点的自注意力系数，即一个共享的

从映射到

的注意力机制层a，注意力系数计算公式为：

其中，

为第i个节点的时空特征向量，

为第j个节点的时空特征向量，a为注意力机制层，可以是拼接、点积、感知器等运算；注意力系数e_ij表示节点j的特征对节点i的重要程度，且这里仅计算节点i的邻接节点

的注意力系数，记节点i的图上一阶邻接节点集合为

为了使各个节点的注意力系数有可比性，用softmax函数进行归一化：

其中，α_ij为归一化后的注意力系数，exp(·)为以自然常数e为底的指数函数，k为集合

中的节点，e_ik为节点i与任一邻接节点k的注意力系数；实际上注意力机制层a就是一个单层的前馈神经网络(FNN)，权重向量用

表示，并利用LeakyReLU(输入为负数时的斜率参数为0.2)进行非线性化，将注意力系数全部展开后如下：

其中，

表示权重向量用

的转置，||表示拼接操作。归一化注意力系数被用来计算与之对应的特征的线性组合，再一次应用非线性(例如Sigmoid函数)处理后，即可作为每个节点的最终输出特征：

甚至可以采用多头注意力机制层，即由K个独立的注意力机制拼接得到：

其中，||表示拼接操作，

是由第k个注意力机制层(a^k)的归一化注意力系数，W^k是相应的第k个注意力机制层(a^k)对输入特征线性变换的权重参数矩阵，这样一来，输出h′的特征数就为KF′，而不是F′。特别地，如果对网络的最后一层，即预测层进行多头注意力机制层的操作，拼接就不再有意义了，相反地，先使用平均后再使用非线性处理，即：

将城市道路网交通流数据作为以上述的一种基于发散卷积和图注意力机制算法的智能交通系统流量短期预测方法的输入，经过以上所述的交通流数据信息处理部分和算法软件部分，一般来说，通常用前一个小时的历史观测信息，预测时间为十五分钟、三十分钟、一个小时的未来信息。采用平均绝对误差：

作为损失函数，其中x＝x₁，...，x_n表示真实值，

表示预测值，Ω表示观测样本的集合。模型评价指标还有平均绝对百分比误差

根均方误差

通过不断比较真实值和预测值，整个神经网络会将训练误差不断反向传播，并调整其中的权值参数。运用批量梯度下降法降低损失函数，所以每经过一批次的训练数据，中间的权值参数就会被调整一次，直到达到迭代次数要求或者误差、精度等满足一定的阈值就停止训练。

为了验证本发明基于发散卷积和GAT的智能交通系统流量短期预测方法，以近年来用于交通流预测分析较为热门的数据集，洛杉矶高速数据集METR-LA为例，选取了从2012年3月1日到2012年6月30日四个月共207个探测器测到的车速，设定的时间间隔为5分钟，总共观察到的数据个数为6,519,002。其原始数据是一个二维矩阵，行指标表示时间窗，列指标表示探测器个数，缺失值占比高达百分之八。交通流数据信息处理部分中的实测交通流数据信息预处理包括对时间信息、速度信息进行标准化等处理，预处理后形成按采样点编号的交通流时序数据，并按照百分之七十、百分之二十、百分之十的比例分成训练集、测试集、验证集。在实例中，用带阈值的高斯核建立节点邻接矩阵模块中的阈值K取为0.1，这个邻接矩阵是一个稀疏矩阵，可以充分提取道路网各个节点的特征，且运算效率高。

缺失值处理包括基于时间相关性的历史平均值法、指数平滑法、线性回归法、基于空间相关性的相邻探测器平均值法、相邻探测器加权法等。一般为了方便起见，可以选择历史平均值法，经验证，可以取前15分钟的历史数据的平均值作为缺失值的替代值，简洁且表现出色。在发散卷积层中，一般选择用双向随机游走来模拟交通流的空间依赖性，随机游走的扩散步数k通常设置为3，将2维的输入特征(时间、速度)映射到1维的输出特征(速度)。

基于图注意力机制和发散卷积门控循环单元网络的带计划采样的编解码器程序中，图注意力机制中的注意力系数可以选择通过点积、拼接、感知机层等计算，一般可采用传统的点积运算即可。图注意力机制可以根据实例的需求选择性删除，该实例的数据集较小，所以没有纳入图注意力机制。发散卷积门控循环单元网络中，网络的层数取为2，每层网络中的单元数取为64，计划采样的参数τ取为2000。

在实例中，损失函数选择MAE，优化方法选择Adam，初始学习率设置为0.01，从第二十个epoch开始，每十个epoch衰减到之前的十分之一，且可以通过监控验证集的误差来提前停止训练。通过不断比较真实值和预测值，整个神经网络会将训练误差不断反向传播，并调整其中的权值参数。运用批量梯度下降法降低损失函数，所以每经过一批次的训练数据，中间的权值参数就会被调整一次，直到达到迭代次数要求或者误差、精度等满足一定的阈值就停止训练。

为了验证本发明提出方法的预测效果，采用以上所述METR-LA数据集，并选择了以下几种的基准模型来进行对比，包括经典的时间序列模型和深度学习模型，即历史平均模型(HA)、带卡尔曼滤波的自回归整合移动平均模型(ARIMA_kal)、向量自回归模型(VAR)、线性支持向量回归模型(SVR)、前馈神经网络(FNN)、带peehole的lstm编解码器结构(FC-LSTM)、扩散卷积循环神经网络(DCRNN)。预测效果对比表如下：

从上表可看出，本发明在预测时间长度为15分钟和30分钟时，在所有度量下，都优于其他基准模型，虽然在预测时间长度为1小时时，本发明的MAE和RMSE指标并不是最小的，但是仅亚于极个别模型。经查证训练日志，本发明的训练效率是显著提高的，以DCRNN为例，DCRNN模型是基准模型中表现最好的模型。在同样配置的实验环境下，DCRNN模型训练一个epoch的时间约十一分钟，而本发明则只要五分钟半的时间，整整是减少了一半的时间，提高了一倍的运算效率。图6是本发明的预测效果图。

上述分析说明，本发明所提出的一种基于发散卷积和图注意力机制(GAT)算法的智能交通系统流量短期预测方法，解决了现有交通流数据缺失，交通流预测模型的准确率和运算效率不够高等技术问题，实现智能交通系统流量的短期预测，具有运算效率高，预测精度高强，能充分捕捉交通流的时空特性等优点。本发明可以为城市道路网络交通流量大数据预测研究提供一种方法，为城市道路交通管理等系统提供思路与理论依据，最终目标是提高交通效率和安全性，具有一定的参考价值和实际经济效益。

以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。

Claims (10)

1.一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，包括以下步骤：

S1,实测交通流数据信息，将城市道路网的探测器网络表示成一个带权重的有向图

为探测器构成的节点集，ε是边集，W是代表节点邻近程度的加权邻接矩阵；并对实测交通流数据信息进行预处理形成按采样点编号的交通流时序数据；

S2,补全预处理后交通流时序数据的缺失值，具体可以采用基于时间相关性的历史平均值法、指数平滑法、线性回归法、基于空间相关性的相邻探测器平均值法或相邻探测器加权法对缺失的交通流时序数据补全。

S3,利用发散卷积层充分提取交通流数据信息的时空特征；

S4,基于图注意力机制对交通系统流量进行预测。

2.根据权利要求1所述的一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，S2中补全预处理后交通流时序数据缺失值的方法为：采用基于时间相关性的历史平均值法、指数平滑法、线性回归法、基于空间相关性的相邻探测器平均值法、相邻探测器加权法等方法对缺失的交通流时序数据补全。

3.根据权利要求1所述的一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，所述节点邻近程度的加权邻接矩阵W的计算方法为：

W_ij表示第i个探测器v_i与第j个探测器v_j的边权重，dist(v_i，v_j)表示道路网上第i个探测器v_i到第j个探测器v_j的距离，σ是道路网两两探测器距离的标准差，K是阈值。

4.根据权利要求3所述的一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，S3中提取交通流数据信息的时空特征的方法为：将交通流时序数据与扩散过程相联系来模拟空间依赖性，扩散过程利用有向图

上的随机游走来刻画，在多个时间步之后，最终会收敛到平稳分布；封闭解

表示为:

再加入反向扩散过程，这样的双向扩散过程为模型提供了更大的灵活性来捕获上游和下游交通的影响；故将图信号X和滤波器f_θ的发散卷积运算定义为：

对p∈{1，...，P}

其中，X_：，p为所有节点的第p个输入特征的图信号向量，

为所定义的发散卷积运算符号，P为输入特征维度，p为第p个输入特征，

是滤波器的参数，

和

分别表示扩散过程和反向扩散过程的状态转移矩阵，θ_k，1、θ_k，2分别为矩阵形式的滤波器参数；k为扩散步数；

建立一个从P维输入特征映射到Q维输出特征的发散卷积层，发散卷积层表示为：

对q∈{1，...，Q}，

其中，X是发散卷积层的输入，H是发散卷积层的输出，

是滤波器，activate是激活函数，q为第q个输出特征，发散卷积层可以学习图结构数据的表示法，并利用基于随机梯度下降的方法对其进行训练。

5.根据权利要求3所述的一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，S4中进行预测的方法为：

S4.1,在训练期间，将历史时空特征输入编码器，并使用编码器最终状态来初始化解码器；

S4.2,编码器和解码器都含有2层的发散卷积门控循环单元网络，将门控循环单元中的矩阵乘积替换为扩散卷积；

S4.3,在编码器和解码器之间引入图注意力机制，发散卷积门控循环单元网络的输入形式为节点时空特征的集合

图注意力机制层的输出形式为另一个节点时空特征的集合

N为节点个数。

6.根据权利要求5所述的一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，图注意力机制的过程为：

S4.3.1,用权重参数矩阵

对一个共享的线性变换进行参数化，并应用到每个节点；

S4.3.2,计算每个节点的自注意力系数

为第i个节点的时空特征向量，

为第j个节点的时空特征向量，a为注意力机制层，W权重参数矩阵；

S4.3.3,用softmax函数对各个节点的注意力系数进行归一化，

其中，α_ij为归一化后的注意力系数，exp(·)为以自然常数e为底的指数函数，k为集合

中的节点，e_ik为节点i与任一邻接节点k的注意力系数；

S4.3.4,利用LeakyReLU进行非线性化，将注意力系数全部展开后如下：

表示权重向量用

的转置，||表示拼接操作。

S4.3.5,应用非线性处理后，作为每个节点的最终输出特征：

采用多头注意力机制层，即由K个独立的注意力机制拼接得到：

其中，||表示拼接操作，

是由第k个注意力机制层(a^k)的归一化注意力系数，W^k是相应的第k个注意力机制层(a^k)对输入特征线性变换的权重参数矩阵，输出h′的特征数就为KF′。

7.根据权利要求6所述的一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，对网络的最后一层，即预测层进行多头注意力机制层的操作，拼接就不再有意义了，相反地，先使用平均后再使用非线性处理，即：

8.根据权利要求1所述的一种基于发散卷积和GAT的智能交通系统流量短期预测方法，其特征在于，编码器采用计划采样，通过设定一个衰减概率ε_i，i为迭代次数，以衰减概率ε_i将真实观测值喂入模型，以概率1-ε_i将预测值喂入模型，衰减概率ε_i具体定义如下：

τ是控制收敛速度的参数，exp(·)为以自然常数e为底的指数函数。

9.一种基于发散卷积和GAT的智能交通系统流量短期预测系统，其特征在于，包括实测交通流数据信息采集模块、缺失值处理模块、时空特征提取模块、预测模块和输出模块；所述实测交通流数据信息采集模块由城市道路网中的探测器构成的采集网络，通过各个探测器所探测的交通流数据信息；并将交通流数据信息输入缺失值处理模块；所述缺失值处理模块补全所输入交通流数据信息中的缺失值；所述时空特征提取模块利用发散卷积层充分提取交通流数据信息的时空特征，并将所提取的时空特征输入预测模块；所述预测模块包括编码器、基于图注意力机制预测单元和解码器，输入的时空特征依次经过编码器、基于图注意力机制预测单元和解码器对交通系统流量进行预测。

10.根据权利要求9所述的一种基于发散卷积和GAT的智能交通系统流量短期预测系统，其特征在于，所述编码器和解码器都含有2层的发散卷积门控循环单元网络；所述发散卷积门控循环单元网络的结构如下：

H^(t)＝u^(t)⊙H^(t-1)+(1-u^(t))⊙C^(t)，

其中，X^(t)和H^(t)分别表示在时间t时的输入和输出，r^(t)和u^(t)分别表示重置门和更新门在时间t时的状态，σ为sigmoid函数，C^(t)为当前时间t的候选状态，

表示发散卷积，Θ_r，Θ_u，Θ_C分别表示重置门、更新门、候选状态的可学习权重参数，，⊙为向量元素乘积，tanh为双曲正切函数，b_r、b_u、b_C分别是滤波器的参数，即重置门、更新门、候选状态的可学习偏置参数。

Images