CN115828990A - 融合自适应图扩散卷积网络的时空图节点属性预测方法 - Google Patents

Abstract

融合自适应图扩散卷积网络的时空图节点属性预测方法，步骤如下：(1)预处理；(2)图构建；(3)模型结构；(4)离线训练；(5)在线预测；本发明设计并实现一种自适应图扩散卷积网络的时空图节点属性预测模型。针对时空图不能有效捕捉时空数据动态依赖性等问题，提出一种自适应图扩散卷积网络的时空图节点属性预测模型。首先从图结构和语义上预定义图邻接矩阵。其次提出自适应学习方法实现图结构动态加权融合扩散卷积提取动态空间依赖。然后提出门控扩展因果卷积提取时序特征。最后堆叠时空卷积块实现时空图属性预测。本发明方法在METR‑LA等大型交通数据集下与基准模型对比实验，验证本发明方法预测结果的准确性与良好的应用前景。

Description

融合自适应图扩散卷积网络的时空图节点属性预测方法

技术领域

本发明涉及一种融合自适应图扩散卷积网络的时空图节点属性预测方法，属于时空图数据建模领域。

背景技术

物理世界中存在大量时空数据，比如交通道路网络数据、空气质量监测数据、矿山微震波形数据等。时空图结构可以更高级的抽象时空数据，有效挖掘时空图数据特征，就能对时空图数据建模分析，从而实现时空图数据预测。预测不同场景下未来时刻的时空图属性特征具有重要研究意义。然而时空图数据具有时空相关性、异质性、周期性特点，如何捕获时空动态依赖性成为难点问题。现有的建模方法在学习过程中将时空图表示为固定图结构，具有很大的局限性，不能有效捕捉时空数据动态依赖。有效获取时空特征动态依赖关系是亟待解决的问题。

发明内容

本发明提供一种融合自适应图扩散卷积网络的时空图节点属性预测方法，解决现有技术中时空图表示受限于固定图结构，不能有效捕捉时空数据动态依赖性，导致预测准确度低等问题。

本发明是通过以下技术方案实现的：融合自适应图扩散卷积网络的时空图节点属性预测方法，步骤如下：

1)数据预处理：获取原始采集的时空图数据，将原始数据聚合并进行归一化处理。将处理后的数据划分为训练集，测试集和验证集；

2)图邻接矩阵构建：将时空图结构表示为有向权重图G_t＝(V,E,X_t)，X_t∈R^N×D，其中N为节点数，D表示节点特征维度，V,E分别表示顶点集和边权重集。实体节点i和j之间存在有向连接关系，W表示i和j之间的权重。用加权邻接矩阵A来表示(V,E)，t时刻的图G_t＝(A_s,A_h,X_t)，其中A_s,A_h为预定义邻接矩阵：

2.1)预定义结构邻接矩阵：

利用Dijkstra算法计算最短路径距离来定义不同节点之间的权重D^dst，然后使用阈值高斯核函数来构建邻接矩阵A_s∈R^N×N，表示方式如式(1)：

D^dst(·)表示节点间的距离差，σ是标准方差，ε是阈值。

2.2)预定义语义权重矩阵：

使用DTW算法来计算节点对时间序列的相似性S^dtw得到节点之间的语义相似度。然后使用阈值高斯核函数来构建邻接矩阵A_h∈R^N×N，表示方式如式(2)所示：

3)自适应时空图扩散卷积网络结构：

提出由自适应扩散卷积和门控融合、门控扩展因果卷积、时空卷积块、残差连接与跳层连接、全连接层组成的基于自适应图扩散卷积网络的时空图节点属性预测模型结构：

3.1)图结构自适应学习：

基于两种空间结构来动态加权生成边权重实现图结构自适应学习。将A_s的加权方式简记为MD，将A_h的加权方式记为GA：

MD方式是构造一个可学习参数矩阵，它由两个可学习参数E_s,E_t∈R^N×C组成，其中E_s,E_t分别是源节点嵌入和目标节点嵌入，将两者做矩阵相乘便得到自适应空间依赖矩阵A_md，相乘后的矩阵带有学习到的节点嵌入信息，其表示如式(3)所示：

A_md＝softmax(Relu(E_sE_t ^T)) (3)

将结构权重矩阵A_s用A_md进行加权，得到动态加权矩阵A_smd，如式(4)表示：

A_smd＝A_s+_eA_md (4)

+_e表示元素间的加法运算。

GA方式是利用注意力机制构造节点之间的权重矩阵。使用时序聚合器TA沿时间维度聚合节点属性H，之后再利用节点之间的注意力关系获取权重矩阵A_ga。通过卷积运算实现时序聚合器TA，如式(5)所示：

其中*表示有效2维互相关运算符，

是输出信号的第j个通道。

是描述第j个输出通道和k输入通道之间相关性的可训练参数。得到聚合后的节点特征H'，然后利用权重矩阵W∈R^C×M，对H'应用共享的线性变换，再对每个节点应用共享的注意力机制计算邻域节点对v_i,v_j在图上的注意力系数，其表示如式(6)所示：

e_ij＝a(Wh_i,Wh_j),j∈N_i (6)

其中a是一个单层前馈神经网络。N_i为节点i在图上的邻域节点集。然后使用softmax对j的所有选择进行标准化，如式(7)：

一个展开后的α_ij可以表示为公式(8)形式：

其中，LeakRelu表示激活函数，其负输入斜率为0.2，a^T表示a的转置，||表示拼接操作。所有节点的注意力系数可以构成注意力系数矩阵A_ga，对权重矩阵A_h用A_ga进行加权，得到动态加权矩阵A_hga：

A_hga＝A_h+_eA_ga (9)

3.2)空间特征学习单元：

扩散卷积可以处理有向时空图，其表示形式如式(10)所示：

其中P_f＝A/rowsum(A)，

是P_f的k阶矩阵幂级数。P_b＝A^T/rowsum(A^T)，

是P_b的k阶矩阵幂级数。k表示扩散步数，θ_k,f与θ_k,b是可学习参数；

首先泛化上述扩散卷积过程表示为式(11)所示：

其中X∈R^N×D表示输入信号，Z∈R^N×M表示输出，W∈R^D×M表示模型参数矩阵。将动态加权矩阵融合到扩散卷积使其能够在处理有向图结构的同时实现图结构自适应学习，将扩散矩阵实现方式表示为式(12)和式(13)形式：

P_f＝A_l/rowsum(A_l) (12)

P_b＝A_l ^T/rowsum(A_l ^T) (13)

采用GLU门控单元来融合两种空间结构中学习结果，融合方式形如式(14)表示：

Z＝(θ₁*_G X+b)Θσ(θ₂*_G X+c) (14)

σ表示Sigmoid函数，*_G表示图上的卷积操作，X表示图卷积层的输入；

当存在图结构未知或者不可用的时，将这种情况下的卷积定义为公式(15)形式：

其中A_l表示自适应学习矩阵A_md或者A_ga。

3.3)时序特征学习单元：

在节点v_i给定一个一维时序序列x∈R^T和一个滤波核Δ∈R^K，在时间步t下x与Δ的扩展因果卷积运算表示为式(16)所示：

其中d是扩张因子控制着跳跃距离，*表示扩展因果卷积运算符，K表示卷积核尺寸大小。

利用扩展因果卷积捕获时间依赖关系，然后利用GLU门控机制充分建模时间维度上的非线性关系，表示如式(17)：

Z^l＝a^lΘσ(b^l) (17)

Θ为矩阵的Hadamard乘积，σ为Sigmod函数，

表示l层输出，a^l,b^l表示有相同通道数目的分割结果。

3.4)时空卷积块：

时空块输入为时空图数据，首先通过扩展因果卷积提取时序特征，然后利用融合门控机制获取时序重要信息，其次在两个不同空间域上利用自适应图扩散卷积提取空间特征，通过动态加权的方式获取空间动态依赖性，最后利用门控机制将两个不同空间特征输出融合。

在每个时空块间添加了一个残差连接，避免深层网络出现梯度消失，其表示如式(18)：

表示融合门控后的扩散卷积输出结果。

利用跳层连接将不同时空层的表示融合在一起，其表示如式(19)所示：

表示第l个时空层的全连接网络。

3.5)自适应时空图扩散卷积网络结构：

首先输入训练数据集以及预定义邻接矩阵，然后在模型迭代过程中随机选择批样本先计算自适应学习矩阵再进行动态加权，其次分别通过时序特征提取和空间特征提取单元，数据流在时空卷积块之间传递，最后通过全连接层得到预测结果，根据目标函数计算损失，通过反向传播进行梯度更新，直到模型满足迭代终止条件

4)离线训练：实现模型多步预测，将模型的感受野大小设计为输入的序列长度，将最后一层的输出通道数设置为步长T的调节因子。选择真值数据与预测值之间的MSE为模型的目标函数，使用反向传播算法进行训练。使用Adam Optimezer优化器来减小误差，利用训练集和预设规则学习率策略训练模型并保存最优参数；

5)在线预测：应用测试集验证模型性能或加载预训练参数恢复整个模型结构，利用参数共享实现模型及时训练和时空图属性预测。

本发明创造的有益效果是：

本发明采用上述方案，通过获取原始采集的时空图数据，将原始数据聚合并应用Z分数进行归一化处理。利用Dijkstra算法和DTW算法分别计算节点对之间的权重值，然后使用阈值高斯核函数来构建结构和语义邻接矩阵。使用全连接层映射划分后的数据，接着将映射数据通过提出的门控扩展因果卷积，来捕捉原始信号的时间依赖关系。其次，通过提出的自适应扩散卷积层得到时空数据动态空间依赖关系，然后通过门控机制融合不同空间下的输出结果。数据流通过带有残差和跳层连接的时空卷积块提取时空依赖特征。最后通过全连接层完成未来时刻时空图属性预测。提出的融合自适应图扩散卷积网络的时空图节点属性预测方法，考虑到时空数据的时间和空间动态相关性，并将两种特征进行融合，可以在复杂时空数据、未知图结构下实现高准确度属性预测。本发明在大型交通数据集上对时空图数据进行属性预测。

附图说明

图1为有向权重时空图；

图2为可学习参数矩阵图；

图3为语义注意力权重图；

图4为扩展因果卷积图；

图5为时空卷积块结构图；

图6为模型整体结构图；

图7为预测结果曲线对比图；

图8a为自适应邻接矩阵热图；

图8b为语义权重矩阵热图；

图8c为节点地理分布图。

具体实施方式

融合自适应图扩散卷积网络的时空图节点属性预测方法，其步骤为：

1)数据预处理：将原始数据聚合到5分钟的窗口中，并应用Z分数进行归一化处理。将处理后的数据70％用于训练，20％用于测试，剩余10％数据用于验证；

2)图邻接矩阵构建：将时空图结构表示为有向权重图G_t＝(V,E,X_t)，X_t∈R^N×D，其中N为节点数，D表示节点特征维度，V,E分别表示顶点集和边权重集。如图1所示，实体节点i和j之间存在有向连接关系，W表示i和j之间的权重。用加权邻接矩阵A来表示(V,E)，t时刻的图G_t＝(A_s,A_h,X_t)，其中A_s,A_h为预定义邻接矩阵：

2.1)预定义结构邻接矩阵：

在时空图结构中，节点之间具有不同的出入度以及权重，因此利用Dijkstra算法计算最短路径距离来定义不同节点之间的权重D^dst，然后使用阈值高斯核函数来构建邻接矩阵A_s∈R^N×N，表示方式如式(1)：

D^dst(·)表示节点间的距离差，σ是标准方差，ε是阈值。

2.2)预定义语义权重矩阵：

地理位置上不存在连接关系的节点，可能存在语义上的相关性。为了获取时空图的语义权重值，使用DTW算法来计算节点对时间序列的相似性S^dtw得到节点之间的语义相似度。然后使用阈值高斯核函数来构建邻接矩阵A_h∈R^N×N，表示方式如式(2)所示：

3)自适应时空图扩散卷积网络结构：

提出由自适应扩散卷积和门控融合、门控扩展因果卷积、时空卷积块、残差连接与跳层连接、全连接层组成的融合自适应图扩散卷积网络的时空图节点属性预测方法结构：

3.1)图结构自适应学习：

基于两种空间结构来动态加权生成边权重，有效聚合邻域信息，实现图结构自适应学习。将A_s的加权方式简记为MD，将A_h的加权方式记为GA：

MD方式是构造一个可学习参数矩阵，如图2所示，它由两个可学习参数E_s,E_t∈R^N×C组成，其中E_s,E_t分别是源节点嵌入和目标节点嵌入，将两者做矩阵相乘便得到自适应空间依赖矩阵A_md，相乘后的矩阵带有学习到的节点嵌入信息，其表示如式(3)所示：

A_md＝softmax(Relu(E_sE_t ^T)) (3)

将结构权重矩阵A_s用A_md进行加权，得到动态加权矩阵A_smd，如式(4)表示：

A_smd＝A_s+_eA_md (4)

+_e表示元素间的加法运算。

GA方式是利用注意力机制构造节点之间的权重矩阵，学习节点对嵌入之间的依赖关系。如图3所示，先使用时序聚合器TA沿时间维度聚合节点属性H，之后再利用节点之间的注意力关系获取权重矩阵A_ga。通过卷积运算实现时序聚合器TA，如式(5)所示：

其中*表示有效2维互相关运算符，

是输出信号的第j个通道。

是描述第j个输出通道和k输入通道之间相关性的可训练参数。得到聚合后的节点特征

然后利用权重矩阵W∈R^C×M，对H'应用共享的线性变换，再对每个节点应用共享的注意力机制a:R^M×R^M→R计算邻域节点对v_i,v_j在图上的注意力系数，其表示如式(6)所示：

e_ij＝a(Wh_i,Wh_j),j∈N_i (6)

其中a是一个单层前馈神经网络。N_i为节点i在图上的邻域节点集。然后使用softmax对j的所有选择进行标准化，如式(7)：

一个展开后的α_ij可以表示为公式(8)形式：

其中，LeakRelu表示激活函数，其负输入斜率为0。2，a^T表示a的转置，||表示拼接操作。所有节点的注意力系数可以构成注意力系数矩阵A_ga，对权重矩阵A_h用A_ga进行加权，得到动态加权矩阵A_hga：

A_hga＝A_h+_eA_ga (9)

3.2)空间特征学习单元：

扩散卷积可以处理有向时空图，其表示形式如式(10)所示：

其中

是P_f的k阶矩阵幂级数。P_b＝A^T/rowsum(A^T)，

是P_b的k阶矩阵幂级数。k表示扩散步数，θ_k,f，θ_k,b是可学习参数；

首先泛化上述扩散卷积过程表示为式(11)所示：

其中X∈R^N×D表示输入信号，Z∈R^N×M表示输出，W∈R^D×M表示模型参数矩阵。为了实现自适应，将动态加权矩阵融合到扩散卷积使其能够在处理有向图结构的同时实现图结构自适应学习，将扩散矩阵实现方式表示为式(12)和式(13)形式：

P_f＝A_l/rowsum(A_l) (12)

P_b＝A_l ^T/rowsum(A_l ^T) (13)

采用GLU门控单元来融合两种空间结构中学习结果，融合方式形如式(14)表示：

Z＝(θ₁*_G X+b)Θσ(θ₂*_G X+c) (14)

σ表示Sigmoid函数，其作用是用来消除信息不相关性，*_G表示图上的卷积操作，X表示图卷积层的输入；

当存在图结构未知或者不可用的时，将这种情况下的卷积定义为公式(15)形式：

其中A_l表示自适应学习矩阵A_md或者A_ga。这种学习方式不需要预先知道图结构就能自动探索图结构空间依赖关系。

3.3)时序特征学习单元：

如图4所示，扩展因果卷积网络TCN通过引入扩展率，可以增加网络层深度获得指数级增长的感受野，从而有效扩大对时序列数据处理的历史范围。在节点v_i给定一个一维时序序列x∈R^T和一个滤波核Δ∈R^K，在时间步t下x与Δ的扩展因果卷积运算表示为式(16)所示：

其中d是扩张因子控制着跳跃距离，*表示扩展因果卷积运算符，K表示卷积核尺寸大小。

当给定TCN输入为多维输入时，其表示变为

时序卷积核Δ^l∈R^K×D×2D可以将输入映射为

其中l表示第l层，a^l,b^l表示有相同通道数目的分割结果，卷积运算过程变为式(17)和式(18)所示：

a^l,b^l＝X^l-1*Δ^l (18)

其中*表示扩展因果卷积，K表示卷积核，s表示步长，d表示扩展因子。

为了充分建模时间维度上的非线性关系，利用GLU门控机制获取这种强弱依赖，表示如式(19)：

Z^l＝a^lΘσ(b^l) (19)

Θ为矩阵的Hadamard乘积，σ为Sigmod函数，

表示l层输出。

3.4)时空卷积块：

时空块输入为时空图数据，其组成包括门控扩展因果卷积和门控自适应扩散卷积，如图5所示，首先通过扩展因果卷积提取时序特征，然后利用融合门控机制获取时序重要信息，其次在两个不同空间域上利用自适应图扩散卷积提取空间特征，通过动态加权的方式获取空间动态依赖性，最后利用门控机制将两个不同空间特征输出融合。

如模型整体结构图6所示，在每个时空块间添加了一个残差连接，从而避免深层网络出现梯度消失的情况，其表示如式(20)：

表示融合门控后的扩散卷积输出结果。

利用跳层连接将不同时空层的表示融合在一起，避免模型难以收敛的同时融合不同时空块的学习表示，其表示如式(21)所示：

表示第l个时空层的全连接网络。

3.5)自适应时空图扩散卷积网络结构：

模型整体结构图如图6所示，首先输入训练数据集以及预定义邻接矩阵，然后在模型迭代过程中随机选择批样本先计算自适应学习矩阵再进行动态加权，其次分别通过时序特征提取和空间特征提取单元，数据流在时空卷积块之间传递，最后通过全连接层得到预测结果，根据目标函数计算损失，通过反向传播进行梯度更新，直到模型满足迭代终止条件

4)离线训练：实现模型多步预测，将模型的感受野大小设计为输入的序列长度，将最后一层的输出通道数设置为步长T的调节因子，以获得所需的输出维度。在模型输出值后应用全连接层获得未来T个时刻的预测结果。选择真值数据与预测值之间的Mean SquareError(MSE)为模型的目标函数，使用反向传播算法进行训练。训练过程中用Adam优化器来减小误差，利用训练集和预设规则学习率策略训练模型并保存最优参数；

5)在线预测：应用测试集验证模型性能或加载预训练参数恢复整个模型结构，利用参数共享实现模型及时训练和时空图属性预测。

实施例1：

一、本发明方案的理论依据：

1、图卷积神经网络

图卷积网络研究有两大主流方法：基于空间的方法和基于谱域的方法。

基于空间方法的思想是利用图上的信息传播机制，从节点域出发，通过定义聚合函数来聚合每个中心节点和其邻近节点，即节点状态不断更新，每一时刻更新都使用了上一时刻相邻节点状态信息，所以这种方法的核心是如何采样邻居节点以及更新节点。例如，扩散卷积神经网络DCNN，GraphSAGE模型，图注意力GAT神经网络等。

基于谱域的方法是在频域中从图信号处理的角度引入滤波器来定义图卷积，其通过傅里叶变换利用拉普拉斯算子和卷积定理定义卷积操作，将图节点信号转变到频谱域，因此也被称之为谱图卷积。谱图卷积运算是在傅里叶域中计算拉普拉斯图的特征解。图卷积神经网络GCN，将逐层卷积运算限制为K＝1并引入了一个重规范化技巧。将*_G表示为图卷积运算符，那么图谱卷积层可以定义为：x*_Gθ＝x(L)θ＝U((U^Tθ)Θ(U^Tx))＝Ug_θU^Tx，其中，*_G表示图卷积算子，x表示图上节点输入信号，θ表示卷积核，Θ指哈达玛积，U为图G的标准化拉普拉斯矩阵L的特征向量矩阵，其中

I_N∈R^N×N是一个单位矩阵，D∈R^N×N是一个度矩阵，其中

g_θ∈R^N×N是L的特征值对角矩阵。

2、扩展因果卷积

由于使用循环神经网络处理时序数据时，存在梯度消失和梯度爆炸的问题，不能捕获长时间的时间特征。而在扩张因果卷积网络中，通过引入扩展率，跳过部分输入来使滤波核可以应用于大于滤波核本身长度的区域，可以增加网络层深度获得指数级增长的感受野，从而有效扩大对时序列数据处理的历史范围。

假设在节点v_i给定一个一维时序序列x∈R^T和一个滤波核Δ∈R^K，在时间步t下x与Δ的扩展因果卷积运算表示为式(22)所示：

其中d是扩张因子控制着跳跃距离，*表示扩展因果卷积运算符，K表示卷积核尺寸大小。因此通过堆叠带有扩张因子的扩展因果卷积层，模型的感受野就可以成指数递增，就可以更好的捕捉长时序特征。

扩展因果卷积示意图如图4所示。扩展因果卷积感受野在每一层上分别扩大了1、2、4倍。通过堆叠有限深度的网络层，就能捕获较长时序列数据间的相关性，从而有效节省计算资源。与基于递归的方法相比，扩展因果卷积能够以非递归的方式处理长时序列数据，不仅有利于并行加速，而且缓解了梯度爆炸问题。

3、时空网络建模

时空图模型背后的一个基本假设是，节点的未来信息取决于其历史信息以及邻居的历史信息。因此，如何同时捕获空间和时间依赖性成为一个主要挑战。对时空图建模的研究主要分为两个方向。它们要么集成图卷积网络(GCN)到递归神经网络(RNN)中或集成到卷积神经网络(CNN)中。

在时空图中，以图拓扑结构中的节点表示实体，边描述实体的相互关系，每个节点包含多个时序的特征，从而形成时空网络。可基于通用的图卷积神经网络的模型框架，从谱域角度研究时空图预测问题。或者结合时空卷积与自适应学习矩阵对节点对权重关系自适应学习，实现属性预测。针对网络深度增加而模型训练精度下降的问题，在深度网络结构中引入残差单元可以提高模型的训练精度。

二、本发明技术方案的实现过程：

1.数据预处理：将原始数据聚合并应用归一化处理。将处理后的数据划分训练集，测试集和验证集；

2.图邻接矩阵构建：将时空图结构表示为有向权重图。利用Dijkstra算法计算最短路径距离来定义不同节点之间的权重，然后使用阈值高斯核函数来构建结构邻接矩阵A_s∈R^N×N。使用DTW算法来计算节点对时间序列的相似性得到节点之间的语义相似度。然后使用阈值高斯核函数来构建语义邻接矩阵A_h∈R^N×N。

3.提出模型结构：

3.1图结构自适应学习：

基于两种空间结构来动态加权生成边权重，实现图结构自适应学习。

构造一个可学习参数矩阵，它由两个可学习参数E_s,E_t∈R^N×C组成，其中E_s,E_t分别是源节点嵌入和目标节点嵌入，将两者做矩阵相乘便得到自适应空间依赖矩阵A_md，相乘后的矩阵带有学习到的节点嵌入信息，将结构权重矩阵A_s用A_md进行加权，得到动态加权矩阵A_smd。

利用注意力机制构造节点之间的权重矩阵，学习节点对嵌入之间的依赖关系。先使用时序聚合器TA沿时间维度聚合节点属性H，之后再利用节点之间的注意力关系获取权重矩阵A_ga。通过卷积运算实现时序聚合器TA。对聚合后的节点特征应用共享的线性变换，再对每个节点应用共享的注意力机制计算邻域节点对在图上的注意力系数，所有节点的注意力系数可以构成注意力系数矩阵A_ga，对权重矩阵A_h用A_ga进行加权，得到动态加权矩阵A_hga。

3.2空间特征学习单元：

扩散卷积可以处理有向时空图，首先泛化扩散卷积过程，将动态加权矩阵融合到扩散卷积使其能够在处理有向图结构的同时实现图结构自适应学习。采用GLU门控单元来融合两种空间结构中学习结果。当存在图结构未知或者不可用的时，更改卷积定义使其不需要预先知道图结构就能自动探索图结构空间依赖关系。

3.3时序特征学习单元：

扩展因果卷积网络TCN通过引入扩展率，可以有效扩大对时序列数据处理的历史范围。利用TCN提取时间依赖关系，利用GLU门控机制充分建模时间维度上的非线性关系。

3.4时空卷积块：

时空块输入为时空图数据，首先通过扩展因果卷积提取时序特征，然后利用融合门控机制获取时序重要信息，其次在两个不同空间域上利用自适应图扩散卷积提取空间特征，通过动态加权的方式获取空间动态依赖性，最后利用门控机制将两个不同空间特征输出融合。时空块间添加残差连接避免深层网络出现梯度消失。利用跳层连接将不同时空层的表示融合在一起。

3.5自适应时空图扩散卷积网络结构：

首先输入训练数据集以及预定义邻接矩阵，然后在模型迭代过程中随机选择批样本先计算自适应学习矩阵再进行动态加权，其次分别通过时序特征提取和空间特征提取单元，数据流在时空卷积块之间传递，最后通过全连接层得到预测结果，根据目标函数计算损失，通过反向传播进行梯度更新，直到模型满足迭代终止条件

4.离线训练：选择真值数据与预测值之间的MSE为模型的目标函数，使用反向传播算法进行训练。训练过程中用Adam Optimezer优化器来减小误差，利用训练集和预设规则学习率策略训练模型并保存最优参数；

5.在线预测：应用测试集验证模型性能或加载预训练参数恢复整个模型结构，利用参数共享实现模型及时训练和时空图属性预测。

评价指标：包括平均绝对误差(MAE)平均绝对百分比误差(MAPE)和均方根误差(RMSE)。假设N表示图中节点的数量，T表示预测步长，X表示真实值，

表示预测值，那么指标定义如式(23)～(25)。

5.1数据集

选取三组交通领域真实大规模数据集，分别是METR-LA，PEMS-BAY，JINAN。METR-LA数据集记录了洛杉矶高速公路上的207个传感器2012年3月1日至2012年6月30日四个月的交通速度统计数据。PEMS-BAY数据集包含海湾地区的325个传感器从2017年1月1日到2017年5月31日六个月的交通速度统计数据。JINAN数据集是由滴滴出行在济南地区用561个传感器采集到的一年的交通速度统计数据。对于METR-LA和PEMS-BAY数据集，将传感器的观测值用5分钟的窗口进行聚合，对于JINAN数据集使用10分钟的窗口聚合。输入数据采用Z分数归一化。所有数据集按时间顺序进行划分，其中70％用于训练，10％用于验证，20％用于测试。数据集的详细统计数据如表1所示。

表1实验数据集

5.2基准模型

将本发明DST-ADCN与基准模型进行比较。HA：历史平均值。ARIMA：自回归综合移动平均模型。FC-LSTM(2014)：使用三个LSTM层和64个隐藏单元实现的编码器-解码器框架。ST-GCN(2018)：时空图卷积网络，联合了1D卷积与图卷积实现时空特征提取。DCRNN(2018)：扩散卷积递归神经网络。GWNet(2019)：使用图卷积网络中的自适应图来捕获空间相关性，并使用1D扩展卷积来捕获时间相关性。HGCN(2021)：从宏观与微观角度考虑了图结构的层级依赖，使用动态转移块来融合区域特征。HGCN_wh(2021)：是HGCN不带有层级结构的变体版本。

5.3实验结果与分析

表2在METR-LA和PEMS-BAY数据集上与基线模型对比实验结果

表2显示了DST-ADCN和基线模型在METR-LA和PEMS-BAY两个交通数据集上提前15分钟、30分钟和1小时预测的性能比较。在METR-LA数据集上DST-ADCN几乎在所有预测结果中都取得了优异的结果。在PEMS-BAY数据集上相比于GWNet而言DST-ADCN在长时间预测中取得了最优的结果。

DST-ADCN不仅考虑了时间动态依赖性，还从多种角度考虑了隐藏在数据中变化空间特征，利用动态加权的方式充分考虑了图形结构的动态性和自适应性。因此DST-ADCN模型在METR-LA数据集上取得了最好的学习结果，在PEMS-BAY数据集上虽然在短期预测中没完全超过GWNet模型的学习结果，但是在长期预测结果中取得了最好的学习结果，这表明本发明模型在长时序预测中具有一定的探索能力。从MAPE指标结果来看，本发明在这些基准模型上有了大幅提升，说明了本发明预测结果的准确性，表明了它能自适应推断图形结构，学习到真实的空间关系。

表3在JINAN数据集上与基线模型对比实验结果

在JINAN大图数据集上使用历史两个小时的数据作为输入，来预测未来两个小时的交通速度值。从表3所示结果，可以看出与最先进的模型相比本发明在前一个小时预测结果中取得了最好的结果，在第二小时预测结果虽然不及HGCN模型，但其结果仍然优于GWNet模型。原因是由于HGCN在很大程度上考虑了空间上的局部与全局层次关系因此在长时序预测中取得了较好的结果，但这种方式在很大程度上依赖于预定义的空间结构矩阵，因此这种模型的适应性能力较差。

5.4预测曲线变化

在图7中的测试数据快照上绘制了GWNet和DST-ADCN两个模型在METR-LA上提前一小时的预测值与真实值的曲线变化图。使用DST-ADCN与GWNet进行对比预测。从图7中可以看到当速度有较小波动时(第一个紫色框，8：00am至10：00am)，GWNet无法准确预测未来交通速度，其预测曲线与真实值曲线之间存在较大误差。与GWNet相比，DST-ADCN可以更准确地预测未来速度情况，更符合真实值曲线。GWNet在交通速度急剧变化的时间段(第二个紫色框，8：00pm至10：00pm)无法准确捕捉到突变。而DST-ADCN可以更准确地预测高峰的开始和结束，这再次证明了本发明比其他方法对复杂多变的交通状况建模的能力更强。

5.5自适应图结构的学习结果分析

为了直观地解释本发明提出的自适应图结构学习组件的效果，我们进行了一个案例研究，如图8所示。选择METR-LA数据集中的前50个传感器作为研究对象，传感器的地理分布如图8(c)所示。图8(a)表示MD学习方式学习到的自适应邻接矩阵的前50个节点的热图表示，图8(b)表示GA方式学习到的第二个节点与前50个节点在语义上的动态依赖关系矩阵。

通过对比热图8(a)与节点分布图8(c)，可以发现自适应学习邻接矩阵在很大程度上表示出了实际节点分布的依赖情况。例如，节点12所在位置与节点4，节点9和节点15之间的热图有很强的相互依赖性，因为他们在实际分布中处于相近的地理位置，所以这些节点的速度之间存在很强的相关性，即它们的交互关系是强依赖的。如图8(b)所示，节点1(在图中标号为0)和节点42，尽管它们在欧几里得空间中距离遥远，但它们的交通速度存在近似性。这表明遥远节点之间存在语义上的相关性，因此它们具有相同的趋势。无论从地理位置关系还是语义关系的角度来看，上述情况都可以证明本发明提出的自适应学习方式能够揭示时空数据信息传输的真实模式，具有更好的可解释性，并在一定程度上反映了节点之间的真实空间依赖性。

本发明提出的算法可应用在智能交通、空气质量检测等时空图数据领域。通过对原始数据聚合和归一化处理，输入到融合自适应图扩散卷积网络的时空图节点属性预测方法中。利用自适应学习参数矩阵与图注意力学习方法实现图结构动态加权，实现门控自适应扩散卷积完成动态空间依赖提取。然后利用门控扩展因果卷积实现时序特征提取以充分建模时序非线性依赖关系。最后堆叠时空卷积块来有效捕获时空动态相关性，实现未来时刻时空图属性预测。

Claims (2)

1.融合自适应图扩散卷积网络的时空图节点属性预测方法，其特征在于，步骤如下：

1)数据预处理：获取原始采集的时空图数据，将原始数据聚合并进行归一化处理；将处理后的数据划分为训练集、测试集和验证集；

2)图邻接矩阵构建：将时空图结构表示为有向权重图G_t＝(V,E,X_t)，X_t∈R^N×D，其中N为节点数，D表示节点特征维度，V,E分别表示顶点集和边权重集；实体节点i和j之间存在有向连接关系，W表示i和j之间的权重；用加权邻接矩阵A来表示(V,E)，t时刻的图G_t＝(A_s,A_h,X_t)，其中A_s,A_h为预定义邻接矩阵：

3)自适应时空图扩散卷积网络结构：

提出由自适应扩散卷积和门控融合、门控扩展因果卷积、时空卷积块、残差连接与跳层连接、全连接层组成的基于自适应图扩散卷积网络的时空图节点属性预测模型结构：

3.1)图结构自适应学习：

基于两种空间结构来动态加权生成边权重，实现图结构自适应学习；将A_s的加权方式简记为MD，将A_h的加权方式记为GA：

MD方式是构造一个可学习参数矩阵，它由两个可学习参数E_s,E_t∈R^N×C组成，其中E_s,E_t分别是源节点嵌入和目标节点嵌入，将两者做矩阵相乘便得到自适应空间依赖矩阵A_md，相乘后的矩阵带有学习到的节点嵌入信息，其表示如式(3)所示：

A_md＝soft max(Relu(E_sE_t ^T)) (1)

将结构权重矩阵A_s用A_md进行加权，得到动态加权矩阵A_smd，如式(4)表示：

A_smd＝A_s+_eA_md (2)

+_e表示元素间的加法运算；

GA方式是利用注意力机制构造节点之间的权重矩阵；使用时序聚合器TA沿时间维度聚合节点属性H，之后再利用节点之间的注意力关系获取权重矩阵A_ga；通过卷积运算实现时序聚合器TA，如式(5)所示：

其中*表示有效2维互相关运算符，

是输出信号的第j个通道；

是可训练参数；得到聚合后的节点特征H'，然后利用权重矩阵W∈R^C×M，对H'应用共享的线性变换，再对每个节点应用共享的注意力机制a计算邻域节点对v_i,v_j在图上的注意力系数，其表示如式(6)所示：

e_ij＝a(Wh_i,Wh_j),j∈N_i (4)

其中a是一个单层前馈神经网络；N_i为节点i在图上的邻域节点集；然后使用softmax对j的所有选择进行标准化，如式(7)：

一个展开后的α_ij可以表示为公式(8)形式：

其中，LeakRelu表示激活函数，其负输入斜率为0.2，a^T表示a的转置，||表示拼接操作；所有节点的注意力系数可以构成注意力系数矩阵A_ga，对权重矩阵A_h用A_ga进行加权，得到动态加权矩阵A_hga：

A_hga＝A_h+_eA_ga (7)

3.2)空间特征学习单元：

扩散卷积可以处理有向时空图，其表示形式如式(10)所示：

其中P_f＝A/rowsum(A)，

是P_f的k阶矩阵幂级数；P_b＝A^T/rowsum(A^T)，

是P_b的k阶矩阵幂级数；k表示扩散步数，θ_k,f与θ_k,b是可学习参数；

首先泛化上述扩散卷积过程表示为式(11)所示：

其中X∈R^N×D表示输入信号，Z∈R^N×M表示输出，W∈R^D×M表示模型参数矩阵；将动态加权矩阵融合到扩散卷积使其能够在处理有向图结构的同时实现图结构自适应学习，将扩散矩阵实现方式表示为式(12)和式(13)形式：

P_f＝A_l/rowsum(A_l) (10)

P_b＝A_l ^T/rowsum(A_l ^T) (11)

利用GLU门控单元来融合两种空间结构中学习结果，融合方式形如式(14)表示：

Z＝(θ₁*_GX+b)Θσ(θ₂*_GX+c) (12)

σ表示Sigmoid函数，*_G表示图上的卷积操作，X表示图卷积层的输入；

当存在图结构未知或者不可用的时，将这种情况下的卷积定义为公式(15)形式：

其中A_l表示自适应学习矩阵A_md或者A_ga；

3.3)时序特征学习单元：

在节点v_i给定一个一维时序序列x∈R^T和一个滤波核Δ∈R^K，在时间步t下x与Δ的扩展因果卷积运算表示为式(16)所示：

其中d是扩张因子，*表示扩展因果卷积运算符，K表示卷积核尺寸大小；

利用扩展因果卷积捕获时间相关性，然后利用GLU门控机制充分建模时间维度上的非线性依赖关系，表示如式(17)：

Z^l＝a^lΘσ(b^l) (15)

Θ为矩阵的Hadamard乘积，σ为Sigmod函数，

表示l层输出，a^l,b^l表示有相同通道数目的分割结果；

3.4)时空卷积块：

时空块输入为时空图数据，首先通过扩展因果卷积提取时序特征，然后利用融合门控机制获取时序重要信息，其次在两个不同空间域上利用自适应图扩散卷积提取空间特征，通过动态加权的方式获取空间动态依赖性，最后利用门控机制将两个不同空间特征输出融合；

在每个时空块间添加了一个残差连接，避免深层网络出现梯度消失，其表示如式(18)：

表示融合门控后的扩散卷积输出结果；

利用跳层连接将不同时空层的表示融合在一起，其表示如式(19)所示：

表示第l个时空层的全连接网络；

3.5)数据流流向：

首先输入训练数据集以及预定义邻接矩阵，然后在模型迭代过程中随机选择批样本先计算自适应学习矩阵再进行动态加权，其次分别通过时序特征提取和空间特征提取单元，数据流在时空卷积块之间传递，最后通过全连接层得到预测结果，根据目标函数计算损失，通过反向传播进行梯度更新，直到模型满足迭代终止条件；

4)离线训练：实现模型多步预测，将模型的感受野大小设计为输入的序列长度，将最后一层的输出通道数设置为步长T的调节因子；选择真值数据与预测值之间的MSE为模型的目标函数，使用反向传播算法进行训练；使用Adam Optimezer优化器来减小误差，利用训练集和预设规则学习率策略训练模型并保存最优参数；

5)在线预测：应用测试集验证模型性能或加载预训练参数恢复整个模型结构，利用参数共享实现模型及时训练和时空图属性预测。

2.根据权利要求1所述的融合自适应图扩散卷积网络的时空图节点属性预测方法，其特征在于，所述的步骤2)中具体为：

2.1)预定义结构邻接矩阵：

利用Dijkstra算法计算最短路径距离来定义不同节点之间的权重D^dst，然后使用阈值高斯核函数来构建邻接矩阵A_s∈R^N×N，表示方式如式(1)：

D^dst(·)表示节点间的距离差，σ是标准方差，ε是阈值；

2.2)预定义语义权重矩阵：

使用DTW算法来计算节点对时间序列的相似性S^dtw得到节点之间的语义相似度；然后使用阈值高斯核函数来构建邻接矩阵A_h∈R^N×N，表示方式如式(2)所示：

Images