CN115906954A - 一种基于图神经网络的多变量时间序列预测方法及装置 - Google Patents

Abstract

本发明公开了一种基于图神经网络的多变量时间序列预测方法及装置，收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；根据所述图结构数据，构建图神经网络；根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；根据所述最佳模型对多变量时间序列进行预测。本发明方案结合多变量时间序列数据的时空关联特性，使用图神经网络去预测未来时刻的结果，结合图神经网络对于节点与边之间强大的表征关系解决预测问题，提升模型预测效果。

Description

一种基于图神经网络的多变量时间序列预测方法及装置

技术领域

本发明涉及时间序列预测技术领域，特别涉及一种基于图神经网络的多变量时间序列预测方法及装置。

背景技术

近年来，在农业、商业、气象军事和医疗等研究领域都包含大量的多变量时间序列数据。时间序列的预测指的是基于序列的历史数据，以及可能对结果产生影响的其他相关序列，对序列未来的可能取值做出预测。现实生活中的时间序列数据预测问题有很多，包括语音分析、噪声消除以及股票期货市场的分析等，其本质主要是根据前T个时刻的观测数据推算出T+1时刻的时间序列的值。

然而，现有的多变量时序预测方法并没有有效地探索变量之间的潜在空间依赖关系。统计方法如VAR假设变量之间存在线性依赖关系，随着变量的增加，模型复杂度二次方增长，容易导致过拟合。深度学习方法如长短时记忆网络，虽然能够捕获非线性关系，但是无法明确地建模成对变量之间的依赖关系。

发明内容

本发明提供一种基于图神经网络的多变量时间序列预测方法及装置，能够解决现有技术中准确预测下一时刻预测值的问题。

根据本发明的一个方面，提供了一种基于图神经网络的多变量时间序列预测方法，包括以下步骤：

收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；

根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；

根据所述图结构数据，构建图神经网络；

根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；

根据所述最佳模型对多变量时间序列进行预测。

所述数据预处理，包括：

若预测数据集中含有缺失值，选择业务适合的数据值进行填充；

对所述预测数据集进行离散变量数值化处理，将离散变量通过标签编码数值化；

对所述预测数据集进行归一化处理，通过估计器将数据分别缩放和转换成给定范围的值。

所述构建图结构数据，包括：

对于每一个数据样本，以每个特征分别做图的节点，记为V＝(V₁，V₂，V₃...V_m),以特征两两之间的相关系数作为边，记为E＝(E₁，E₂，E₃...E_m)；样本的相关系数用字母r表示，用来度量两个变量X与Y间的线性关系：

其中，con(X，Y)表示协方差，var[X]和var[Y]表示方差，开根号之后为标准差；

给定网络g＝(V，E)和历史信息Y＝(Y₁，Y₂，Y₃...Y_m),建立一个模型f，将一个长度为m的新序列X＝(X₁，X₂，X₃...X_m))作为输入，预测未来T′个时间步的信息X_pred＝(X_T+1，X_T+2，X_T+3...X_T+T′)。

所述图神经网络，包括空间图神经网络层S-GNN及对应的第一门控循环单元层，其中，

在图神经网络中引入了注意力机制以学习邻居节点对于中心节点的贡献度，注意力机制根据如下方式获取：

其中

为激活函数，p_i和p_j为不同节点i和j的潜空间特征；score为评分函数，根据p_i和p_j的点积计算；

最终空间图神经网络层输出结果h_i’为：

每个第一门控循环单元的输入X_t和隐藏层输出H_t-1都要经过S-GNN的计算：

其中，A为邻接矩阵，输入和隐藏层都要经由S-GNN以捕捉空间的关系。

所述图神经网络，包括全连接空间-时间关系映射层，其中，

通过线性变换映射到时间节点，具体如下：

y＝xw_xf+b_f

其中，x表示上一层的输出，y表示本层的输出，w_xf为权重，b_f为偏置量。

所述图神经网络，包括时间图结构，其中，

全连接层通过线性映射，将特征表示变成t个一维的数值y_t，t为时间步长度；以每一个时间步输出的y_t作为时间图的节点，以两两节点之间的曼哈顿距离作为边，构建新的时间图。

所述时间图结构，包括时间图神经网络层T-GNN及对应的第二全连接层，其中，

H^l+1＝σ(AH^l W^l)

其中，W^l为第l层的权重参数矩阵，σ(·)为非线性激活函数，H^l+1为输出结果；

第二门控循环单元层捕捉每个节点在时间维度上的依赖。

所述图神经网络，包括预测层，其中，

预测层使用全连接网络，表示为

y＝xw_xp+b_p

其中，x表示上一层的输出，y表示本层的输出，w_xp为权重，b_p为偏置量。

所述图神经网络，包括损失函数，其中，

损失函数为真实目标y与预测值

之间差值绝对值的平均值，具体如下：

其中，n为测试集样本数量。

根据本发明的另一个方面，提供了一种基于图神经网络的多变量时间序列预测装置，包括：

预处理单元，用于收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；

图数据构建单元，用于根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；

图神经网络构建单元，用于根据所述图结构数据，构建图神经网络；

优化单元，用于根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；

预测单元，用于根据所述最佳模型对多变量时间序列进行预测。

采用本发明的技术方案，提出了一种基于图神经网络的多变量时间序列预测方案，收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；根据所述图结构数据，构建图神经网络；根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；根据所述最佳模型对多变量时间序列进行预测。

本发明实施例中，包括对多变量数据样本进行数据预处理，划分训练集验证集测试集，以及设计基于图神经网络的深度神经网络等多个部分。将处理好的数据集输入深度神经网络中进行训练，最终得到最佳模型进行预测。本发明中的图神经网络，主要由以下结构组成:(1)构建空间图结构；(2)S-GNN空间图神经网络层；(3)第一门控循环单元层；(4)全连接空间-时间关系映射层；(5)构建时间图结构；(6)T-GNN时间图神经网络层；(7)第二门控循环单元层；(8)预测层。本发明使用平均绝对值误差损失函数。

本发明实施例根据多变量时间序列模型的特点构建出空间图结构，使用基于图神经网络的模型结构进行预测，通过构建空间图结构与时间图结构形成时空关联，从而更好地提取关键信息。

本发明的方案结合多变量时间序列数据的时空关联特性，使用图神经网络去预测未来时刻的结果。结合图神经网络对于节点与边之间强大的表征关系解决预测问题。本发明设计思路清晰，使用方式简便，在工程实际中，具有广泛的适用性。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的基于图神经网络的多变量时间序列预测原理流程图；

图2为本发明实施例提供的基于图神经网络的多变量时间序列预测方法的流程图；

图3为本发明实施例提供的基于图神经网络的多变量时间序列预测系统图；

图4为本发明实施例提供的门控循环单元结构图；

图5为本发明实施例提供的使用本发明在某数据集上的预测结果图之一；

图6为本发明实施例提供的使用本发明在某数据集上的预测结果图之二；

图7为本发明实施例提供的基于图神经网络的多变量时间序列预测装置结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图是一种数据结构，可以描述节点之间的关系。目前，图神经网络由于排列不变性、局部连接以及组合性的特点，在处理图数据上取得较大的成功。多变量时序预测从图视角来看，变量可以当作节点，它们通过隐层依赖关系相互连接。所以，图神经网络可以建模多变量时序预测。以图神经网络的角度去构建空间图与时间图，使用图神经网络去解决多变时序预测的问题，是本发明实施例的创新点。

图1为本发明实施例中基于图神经网络的多变量时间序列预测流程图。如图1及图2所示预测方法，该基于图神经网络的多变量时间序列预测流程包括以下步骤：

步骤101、收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集。

本发明实施例中，获取历史数据，如表1所示，包括需要预测列(特征0)以及其他相关特征。表1为部分示例数据。

表1

时间	特征0	特征2	特征3	特征4	特征5
						2021/11/11	1560.01	10	2	4	9
2021/11/12	1608.01	9	2	6	5
						2021/11/13	1775.03	8	2	6	3

填充缺失值，如果数据集中含有缺失值，可以选择业务适合的数据值进行填充，可以选前向填充，后向填充，中位数填充，众数填充等多种填充方法，本示例选择的是前向填充方法。

数据预处理-离散变量数值化，特征1为离散变量，将离散变量通过标签编码数值化。

数据预处理-归一化处理，最小最大缩放法通过估计器将数据分别缩放和转换成给定范围([0,1]之间)的值。去除单位限制转为无量纲数据，避免数据量纲不一致的问题。

数据预处理-划分训练集验证集测试集，通常将比例设置为7:2:1。

步骤102、根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据。

本发明实施例中，如图2及图3，对于每一个样本，以每个特征分别做图的节点，记为V＝(V₁，V₂，V₃...V_m),以特征两两之间的相关系数作为边，记为E＝(E₁，E₂，E₃…E_m)，求解公式如下：

样本的相关系数用字母r表示，用来度量两个变量X与Y间的线性关系，计算公式为：

其中，cov(X，Y)表示协方差，var[X]和var[Y]表示方差，开根号之后为标准差。

给定网络g＝(V，E)和历史信息Y＝(Y₁，Y₂，Y₃…Y_m),我们的目的是建立一个模型f，可以将一个长度为m的新序列X＝(X₁，X₂，X₃...X_m)作为输入，预测未来T′个时间步的信息X_pred＝(X_T+1，X_T+2，X_T+3...X_T+T′)。

步骤103，根据所述图结构数据，构建图神经网络。

本发明实施例中，图神经网络包括(1)构建空间图结构；(2)S-GNN空间图神经网络层；(3)门控循环单元层；(4)全连接空间-时间关系映射层；(5)构建时间图结构；(6)T-GNN时间图神经网络层；(7)门控循环单元层；(8)预测层。具体如下：

空间图神经网络(S-GNN)层

在图神经网络中引入了注意力机制以学习邻居节点对于中心节点的贡献度，但是稍微不同于图注意力神经网络GAT，这里注意力机制的计算所需的参数更少。注意力机制计算的公式如下：

其中

代表激活函数，p_i和p_j代表不同节点i和j的潜空间特征。score是一种评分函数，用p_i和p_j的点积计算。得到最终空间图神经网络层输出结果h_i’为：

第一门控循环单元层的作用是捕捉每个空间节点在时间维度上的短时依赖，在这里每个门控循环单元的输入X_t和隐藏层输出H_t-1都要经过S-GNN的计算：

这里的门控循环单元公式与普通的门控循环单元公式区别不大，主要需要注意的地方是输入和隐藏层都要经由S-GNN以捕捉空间的关系。

全连接空间-时间关系映射层。

这一层通过线性变换映射到时间节点，具体公式表示为

y＝xw_xf+b_f

其中，x表示上一层的输出，y表示本层的输出，w_xf为权重，b_f为偏置量。

构建时间图结构。

上一层的全连接层通过线性映射，将特征表示变成t个一维的数值y_t，t为时间步长度。我们以每一个时间步输出的y_t作为时间图的节点，以两两节点之间的曼哈顿距离作为边，构建新的时间图。

时间图神经网络(T-GNN)层。

H^l+1＝σ(AH^lW^l)

其中，W^l为第l层的权重参数矩阵，σ(·)为非线性激活函数，例如ReLU。H^l+1为输出结果。这种思路基于节点特征与其所有邻居节点相关联的思想，表示为邻接矩阵A与特征H^l相乘。

第二门控循环单元层的作用是捕捉每个节点在时间维度上的依赖，结构如图4。

预测层使用全连接网络，表示为

y＝xw_xp+b_p

其中，x表示上一层的输出，y表示本层的输出，w_xp为权重，b_p为偏置量。损失函数为真实目标y与预测值

之间差值绝对值的平均值

其中，n为测试集样本数量。

步骤104，根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型。

本发明实施例中，利用训练得到的图神经网络，结合训练集、验证集及测试集进行验证测试，根据验证测试结果调整相关超参数，优化图神经网络，从而得到一个最佳模型。

步骤105，根据所述最佳模型对多变量时间序列进行预测。

利用最佳模型对所需的序列进行预测，并根据预测结果建立一个评价体系，对整个预测模型进行评价。

图5及图6为本发明实施例提供的使用本发明在某数据集上的预测结果图。

采用本发明的技术方案，提出了一种基于图神经网络的多变量时间序列预测方案，收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；根据所述图结构数据，构建图神经网络；根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；根据所述最佳模型对多变量时间序列进行预测。

本发明实施例中，包括对多变量数据样本进行数据预处理，划分训练集验证集测试集，以及设计基于图神经网络的深度神经网络等多个部分。将处理好的数据集输入深度神经网络中进行训练，最终得到最佳模型进行预测。本发明中的图神经网络，主要由以下结构组成:(1)构建空间图结构；(2)S-GNN空间图神经网络层；(3)第一门控循环单元层；(4)全连接空间-时间关系映射层；(5)构建时间图结构；(6)T-GNN时间图神经网络层；(7)第二门控循环单元层；(8)预测层。本发明使用平均绝对值误差损失函数。

为了实现上述流程，本发明技术方案还提供一种基于图神经网络的多变量时间序列预测装置，如图7所示，该基于图神经网络的多变量时间序列预测装置包括：

预处理单元21，用于收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；

图数据构建单元22，用于根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；

图神经网络构建单元23，用于根据所述图结构数据，构建图神经网络；

优化单元24，用于根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；

预测单元25，用于根据所述最佳模型对多变量时间序列进行预测。

综上所述，本发明实施例根据多变量时间序列模型的特点构建出空间图结构，使用基于图神经网络的模型结构进行预测，通过构建空间图结构与时间图结构形成时空关联，从而更好地提取关键信息。

本发明的方案结合多变量时间序列数据的时空关联特性，使用图神经网络去预测未来时刻的结果。结合图神经网络对于节点与边之间强大的表征关系解决预测问题。本发明设计思路清晰，使用方式简便，在工程实际中，具有广泛的适用性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于图神经网络的多变量时间序列预测方法，其特征在于，包括以下步骤：

收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；

根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；

根据所述图结构数据，构建图神经网络；

根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；

根据所述最佳模型对多变量时间序列进行预测。

2.根据权利要求1所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述数据预处理，包括：

若预测数据集中含有缺失值，选择业务适合的数据值进行填充；

对所述预测数据集进行离散变量数值化处理，将离散变量通过标签编码数值化；

对所述预测数据集进行归一化处理，通过估计器将数据分别缩放和转换成给定范围的值。

3.根据权利要求1所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述构建图结构数据，包括：

对于每一个数据样本，以每个特征分别做图的节点，记为V＝(V₁，V₂，V₃...V_m)，以特征两两之间的相关系数作为边，记为E＝(E₁，E₂，E₃…E_m)；样本的相关系数用字母r表示，用来度量两个变量X与Y间的线性关系：

其中，cov(X，Y)表示协方差，var[X]和var[Y]表示方差，开根号之后为标准差；

给定网络g＝(V，E)和历史信息Y＝(Y₁，Y₂，Y₃...Y_m)，建立一个模型f，将一个长度为m的新序列X＝(X₁，X₂，X₃...X_m)作为输入，预测未来T个时间步的信息X_pred＝(X_T+1，X_T+2，X_{T+ 3}...X_T+T′)。

4.根据权利要求3所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述图神经网络，包括空间图神经网络层S-GNN及对应的第一门控循环单元层，其中，

在图神经网络中引入了注意力机制以学习邻居节点对于中心节点的贡献度，注意力机制根据如下方式获取：

其中

为激活函数，p_i和p_j为不同节点i和j的潜空间特征；score为评分函数，根据p_i和p_j的点积计算；

最终空间图神经网络层输出结果h_i’为：

每个第一门控循环单元的输入X_t和隐藏层输出H_t-1都要经过S-GNN的计算：

其中，A为邻接矩阵，输入和隐藏层都要经由S-GNN以捕捉空间的关系。

5.根据权利要求4所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述图神经网络，包括全连接空间-时间关系映射层，其中，

通过线性变换映射到时间节点，具体如下：

y＝xw_xf+b_f

其中，x表示上一层的输出，y表示本层的输出，w_xf为权重，b_f为偏置量。

6.根据权利要求5所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述图神经网络，包括时间图结构，其中，

全连接层通过线性映射，将特征表示变成t个一维的数值y_t，t为时间步长度；以每一个时间步输出的y_t作为时间图的节点，以两两节点之间的曼哈顿距离作为边，构建新的时间图。

7.根据权利要求6所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述时间图结构，包括时间图神经网络层T-GNN及对应的第二全连接层，其中，

H^l+1＝σ(AH^lW^l)

其中，W^l为第1层的权重参数矩阵，σ(·)为非线性激活函数，H^l+1为输出结果；

第二门控循环单元层捕捉每个节点在时间维度上的依赖。

8.根据权利要求7所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述图神经网络，包括预测层，其中，

预测层使用全连接网络，表示为

y＝xw_xp+b_p

其中，x表示上一层的输出，y表示本层的输出，w_xp为权重，b_p为偏置量。

9.根据权利要求8所述的一种基于图神经网络的多变量时间序列预测方法，其特征在于，所述图神经网络，包括损失函数，其中，

损失函数为真实目标y与预测值

之间差值绝对值的平均值，具体如下：

其中，n为测试集样本数量。

10.一种基于图神经网络的多变量时间序列预测装置，其特征在于，包括：

预处理单元，用于收集预测内容及相关特征的历史数据，进行数据预处理得到预测数据集，并划分训练集、验证集、测试集；

图数据构建单元，用于根据所述训练集追踪每个数据特征作为图结构的一个节点，构建图结构数据；

图神经网络构建单元，用于根据所述图结构数据，构建图神经网络；

优化单元，用于根据图神经网络对所述训练集、验证集及测试集对所述图神经网络进行测试验证，并调整相关超参数，优化所述图神经网络得到最佳模型；

预测单元，用于根据所述最佳模型对多变量时间序列进行预测。

Images