CN117113054A - 一种基于图神经网络和Transformer的多元时间序列预测方法 - Google Patents

一种基于图神经网络和Transformer的多元时间序列预测方法 Download PDF

Info

Publication number
CN117113054A
CN117113054A CN202311072943.0A CN202311072943A CN117113054A CN 117113054 A CN117113054 A CN 117113054A CN 202311072943 A CN202311072943 A CN 202311072943A CN 117113054 A CN117113054 A CN 117113054A
Authority
CN
China
Prior art keywords
module
graph
time
neural network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311072943.0A
Other languages
English (en)
Inventor
曹杰
王愈
吴秋雨
黄进
缪巍巍
曾锃
张明轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Jiangsu Electric Power Co Ltd
Nanjing University of Finance and Economics
Original Assignee
State Grid Jiangsu Electric Power Co Ltd
Nanjing University of Finance and Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Jiangsu Electric Power Co Ltd, Nanjing University of Finance and Economics filed Critical State Grid Jiangsu Electric Power Co Ltd
Priority to CN202311072943.0A priority Critical patent/CN117113054A/zh
Publication of CN117113054A publication Critical patent/CN117113054A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种基于图神经网络和Transformer的多元时间序列预测方法，如下步骤：收集数据集，训练模型为基于图神经网络和Transformer的多元时间序列预测模型；多元时间序列首先被输入到全连接层中，得到初始表示，然后被输入到特征提取器中，特征提取器包括一层时间卷积模块、自动编码器模块和一个图卷积神经网络模块；通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积神经网络模块。Transformer自动编码器模块被设计成以自注意的方式处理时态表示，允许捕获不同时态特征之间的远程依赖关系和交互；Transformer自动编码器模块中采用的自关注机制使模型能够关注不同重要程度的不同时间步长，图卷积神经网络模块以基于图的方式处理时态表示；该模块利用图形卷积神经网络操作，模型输出预测结果。

Description

一种基于图神经网络和Transformer的多元时间序列预测 方法
技术领域
本发明适用于可再生能源和电力等工业应用领域，涉及一种多元时间序列预测方法，具体地说是一种基于图神经网络和Transformer的多元时间序列预测方法。
背景技术
近年来，多变量时间序列分析在电力消费预测、公共交通等各个领域得到越来越广泛的应用。然而，现有的方法未能充分利用变量之间潜在的依赖性。为了解决这个问题，研究人员转向图神经网络，它在处理序列依赖性方面显示出很大的希望。图神经网络通过邻域聚合建立图中节点和边的表示，允许每个节点更新其周围的局部图结构表示。
然而，现有的图神经网络模型忽略了全局特征在准确预测时间序列数据中的重要性。
CN2020114701159公开了一种基于transformer模型编码器的语音情感特征提取方法，但未有与图神经网络结合的方法。传统的时间序列预测方法难以同时提取时间序列的时间和空间信息,应本方法通过将Transformer自动编码器和图形卷积模块与时间卷积模块结合在一起，该模型能够捕获数据中的时间和空间依赖性，从而得到对输入数据的更全面的表示。
发明内容
本发明的目的是，提出一种基于图神经网络和Transformer的多元时间序列预测方法，并提高数据预测的准确率。
本发明的目的通过以下技术方案实现：一种基于图神经网络和Transformer的多元时间序列预测方法，其特征在于，包括如下步骤：收集数据集，训练模型为基于图神经网络和Transformer的多元时间序列预测模型；多元时间序列首先被输入到全连接层中，得到初始表示，然后被输入到特征提取器中，特征提取器由三部分组成。它们是一层时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块；通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积神经网络模块。Transformer自动编码器模块被设计成以自注意的方式处理时态表示，允许捕获不同时态特征之间的远程依赖关系和交互；Transformer自动编码器模块中采用的自关注机制使模型能够关注不同重要程度的不同时间步长，从而便于对复杂时间关系的建模；另一方面，图卷积神经网络模块以基于图的方式处理时态表示。该模块利用图形卷积神经网络操作来捕获以图形形式组织的时间特征之间的空间依赖关系和相互作用最后模型输出预测结果。包括以下步骤：
1)收集数据集，训练模型为基于图神经网络和Transformer的多元时间序列预测模型；
2)多元时间序列首先被输入到全连接层中，得到数据的初始表示；
3)初始表示的数据被输入到到后面的模块特征提取器中，特征提取器由三部分组成。它们是一个时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块；
4)通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积神经网络模块；
5)根据Transformer自动编码器模块和图卷积神经网络模块得到的时间和空间特征信息来对模型进行训练；
6)根据训练模型得到的数据(参数)进行时间序列预测,最终得到预测结果。
进一步地，所述基于图卷积神经网络和Transformer的多元时间序列预测的模型具体为以下模块：
时间卷积模块：时间卷积模块由两个扩展的初始层组成，它们一起工作以捕获多个尺度上的表示。这些初始层使用扩展，或控制过滤器权重之间的间距，以有效地捕获输入序列中不同时间步长的信息；
Transformer模块:使用了一个基于Transformer的自动编码器来提取时间序列中的长期依赖关系，并通过自关注获得整个序列的全局信息。我们使用了一种有效的自注意机制ProbSpare Self-attention；
图卷积神经网络模块：图卷积神经网络模块旨在整合来自节点邻居的信息，以捕获图中的空间依赖关系。该模块通常由两个混合跳传播层组成，一个混合跳传播层用于处理流入信息，另一个混合跳传播层用于分别处理流出信息。流入信息通过将这两个混合跳传播层的输出相加得到，从而使网络能够有效地组合和整合来自相邻节点的信息；
为了解决现有问题：忽略全局特征在准确预测时间序列的作用，本发明提出了一个专门为时间序列分析设计的新的图神经网络框架。本发明的框架利用分层图结构结合展开卷积提取时间和空间依赖性，然后应用变压器提取全局信息。例如具体来说，我们在变压器中使用了ProbSparse自关注机制来提高模型的准确性。为了实现图结构、图卷积和时间卷积的联合学习，本发明将这些模块合并到一个端到端的框架中。
Transformer自动编码器模块被设计成以自关注的方式处理时态表示，允许捕获不同时态特征之间的远程依赖关系和交互。Transformer自动编码器中采用的自关注机制使模型能够关注不同重要程度的不同时间步长，从而便于对复杂时间关系的建模。另一方面，图卷积模块负责以基于图的方式处理时态表示。该模块利用图形卷积操作来捕获以图形形式组织的时间特征之间的空间依赖关系和相互作用。
传统的时间序列预测方法难以同时提取时间序列的时间和空间信息,应本方法通过将Transformer自动编码器和图形卷积模块与时间卷积模块结合在一起，该模型能够捕获数据中的时间和空间依赖性，从而得到对输入数据的更全面的表示。
总的来说，本发明我们提出的框架为分析多变量时间序列数据提供了一种新的方法，并有可能在一系列应用中显著提高预测精度。
有益效果：本发明提出的一种基于图神经网络和Transformer的多元时间序列预测方法，并提高数据预测的准确率。具体来说，通过将Transformer自动编码器模块和图形卷积模块与时间卷积模块结合在一起，该模型能够捕获数据中的时间和空间依赖性，从而促进对输入数据的更全面的表示。广泛的对比实验表明，本发明方法比最先进的方法更有优势。特别是，本发明的方法能够在提取数据短期和长期依赖的同时更能提取数据的时间和空间信息。
附图说明
图1为本发明的整体框架图；
图2为本模型在Solar-energy数据集上的仿真图。
表1为本发明模型在几个通用数据集和其它模型的比较结果。
具体实施方式
下面结合附图和具体实施方式对本发明所属方法进一步说明。
一种基于图神经网络和Transformer的多元时间序列预测方法，其特征在于包括如下步骤：收集数据集，训练模型为基于图神经网络和Transformer的多元时间序列预测模型；多元时间序列首先被输入到全连接层中，得到初始表示，然后被输入到特征提取器中，特征提取器由三部分组成。特征提取器是一层时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块。通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积模块。Transformer自动编码器模块被设计成以自注意的方式处理时态表示，允许捕获不同时态特征之间的远程依赖关系和交互。Transformer自动编码器中采用的自关注机制使模型能够关注不同重要程度的不同时间步长，从而便于对复杂时间关系的建模。
另一方面，图卷积模块负责以基于图的方式处理时态表示。该模块利用图形卷积操作来捕获以图形形式组织的时间特征之间的空间依赖关系和相互作用最后模型输出预测结果。包括以下步骤：
步骤1，收集数据集，训练模型为基于图神经网络和Transformer的多元时间序列预测模型,表达式为:
步骤2，多元时间序列首先被输入到全连接层中，得到初始表示,在图一中MLP模块中展现；
步骤3，初始表示被输入到特征提取器中，特征提取器由三部分组成。它们是一个时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块,在图1中分别对应了TCN模块、Encoder模块、GCN模块；
步骤4，通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积模块；
步骤5，根据Transformer自动编码器模块和图卷积模块得到的时间和空间特征信息来对模型进行训练；
步骤6，根据训练模型得到的参数进行时间序列预测,最终得到预测结果。图2为本模型在Solar-energy数据集上的仿真图,在短期预测训练的参数上进行7天的预测结果。横坐标为10分钟一个点,纵坐标为发电量。
所述的得到数据的初始表示具体为：
多元时间序列X首先被送入全连接层得到初始表示Z。
所述的特征提取器具体为：
它们是一个时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块。通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积模块。Transformer自动编码器模块被设计成以自关注的方式处理时态表示，允许捕获不同时态特征之间的远程依赖关系和交互。Transformer自动编码器中采用的自关注机制使模型能够关注不同重要程度的不同时间步长，从而便于对复杂时间关系的建模。在自关注机制中，每个时间步长的输入都会生成一个查询(query)、一个键(key)和一个值(value)。这些查询、键和值用于计算注意力权重，以便在解码器中聚焦于相关的输入。另一方面，图卷积神经网络模块负责以基于图的方式处理时态表示,即将每个传感器看作为一个节点,传感器之间的时间关系作为边。在图卷积神经网络中，每个节点表示一个时间步长的特征向量，边表示不同时间步长之间的关系。图卷积模块通过迭代地聚合邻居节点的特征信息，逐步更新每个节点的表示该模块利用图形卷积神经网络操作来捕获以图形形式组织的时间特征之间的空间依赖关系和相互作用。
进一步地，所述的时间卷积模块具体为：
时间卷积模块采用一组标准的扩展1D卷积滤波器来提取高级时间特征。该模块由两个扩展的初始层组成。
第一个扩展的初始层使用滤波器对输入进行卷积操作，以捕捉时间相关特征。其输出经过正切双曲激活函数，引入非线性响应，增强特征表示。
第二个扩展的初始层后面是一个sigmoid激活函数，作为门控制信息的传递。这个门根据输入的值来决定信息的通过程度，高值表示更多信息通过，低值表示信息被抑制。初始架构进一步增强了模块在不同尺度上提取特征的能力，允许它在输入数据中捕获本地和全局时间模式。该体系结构中的时间卷积模块使用一组专门的过滤器从输入数据中提取重要的时间特征。滤波层从输入中捕获相关信息，门控层根据学习到的门控机制控制可以通过下一模块的信息量，扩展卷积定义为:
式中，s为膨胀因子，Z为特定层节点的输入序列，f1×k为大小为k的一维卷积滤波器核，T是时间。扩展卷积被重新定义为:
η＝contact(Z★f1×k1,Z★f1×k2,Z★f1×k3,...,Z★f1×kh)
其中[k1,k2,k3,...,kh]是不同的滤波器大小，在本模型中设置为[2,3,6,7]。不同滤波器的输出被最大滤波器截断为商定的长度，并在通道维度中级联。门控机制控制传递给下一个模块的信息。
进一步地，所述的Transformer自动编码器模块和图卷积模块具体为：
使用了一个基于Transformer的自动编码器来提取时间序列中的长期依赖关系，并通过自关注获得整个序列的全局信息。我们使用了一种有效的自注意机制ProbSpareSelf-attention；
自注意力的一般公式是如下：
其中d是输入维度,下面是ProbSpare Self-attention的算式:
其中是自注意里点积中的起到关键作用的Q。
图神经网络中的图卷积模块旨在整合来自节点邻居的信息，以捕获图中的空间依赖关系。该模块通常由两个混合跳传播层组成，一个用于处理流入信息，另一个用于分别处理流出信息。流入信息通过将这两个混合跳传播层的输出相加得到，从而使网络能够有效地组合和整合来自相邻节点的信息。
时间卷积模块的输出将被输入图卷积模块以生成一系列邻接矩阵A(l)。
其中d(l)是时间间隔,M(l)决定第l层邻接矩阵的个数,η(l)为时间卷积层的输出,图神经网络中的图卷积模块旨在整合来自节点邻居的信息，以捕获图中的空间依赖关系。
流入和流出信息的融合使图卷积模块能够捕获上下文信息，并改进生成的图中每个节点的表示。它包括信息传播和信息选择两个步骤。信息传播定义为:
H(θ)＝βHin+(1-β)AH(θ-1)
其中Hin表示图卷积层的输入，H(θ)表示在θ跳处的表示，H(0)＝Hin，β是控制保留根节点原始状态的比率的超参数,β设置为0.05。图是需要输入到图神经网络中的邻接矩阵,由Encoder层学习到的。
信息选择步骤定义为:
其中θ为传播深度，Hout表示当前层的输出隐藏状态，W(θ)是包含关键信息跳的因子选择器。最后，将第l层第m个时间间隔的表示信息及其对应的邻接矩阵A(l,m)输入mix-hop传播层，定义为:
其中表示混合跳在第l层的传播情况。/>为图卷积在第m层、第l层的输出，为第l层所有段的输出集。
表1为本发明模型在几个通用数据集和其它模型的比较结果，其中GEIFA为本模型,其余模型为基准模型表1：
表1为本方法与其它六个时间序列预测模型在两个个公开数据集(Solar-Energe、Wind)上的实验结果，数据集说明:Solar-energy数据集来自美国国家可再生能源实验室，包含阿拉巴马州137个光伏电站2007年的太阳能发电记录。气象数据每10分钟采集一次，数据集共包含52560条记录。Wind数据集包含1986-2015年某地区逐时能量潜力估算。每1天采集一次气象数据。该数据集总共包含10957条记录。我们将数据分为三个子集:1)训练；2)V验证；3)测试数据。训练集占数据的60％，验证集占20％，测试集占剩余的20％。我们采用RSE(根相对平方误差)、CORR(相关系数)作为评价指标,具体公式如下,其中其中N为样本总数，N为节点数。y和表示真实值和预测值。/>和/>表示平均值:。
实验结果表明，与现有的最先进的方法相比，本发明提出的模型可以更准确的预测未来的结果。

Claims (6)

1.一种基于图神经网络和Transformer的多元时间序列预测方法，其特征在于，包括如下步骤：收集数据集，训练模型为基于图神经网络和Transformer的多元时间序列预测模型；多元时间序列首先被输入到全连接层中，得到初始表示，然后被输入到特征提取器中，特征提取器包括一层时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块；通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积神经网络模块。Transformer自动编码器模块被设计成以自注意的方式处理时态表示，允许捕获不同时态特征之间的远程依赖关系和交互；Transformer自动编码器模块中采用的自关注机制使模型能够关注不同重要程度的不同时间步长，从而便于对复杂时间关系的建模；图卷积神经网络模块以基于图的方式处理时态表示；该模块利用图形卷积神经网络操作来捕获以图形形式组织的时间特征之间的空间依赖关系和相互作用最后模型输出预测结果；步骤如下：
1)收集数据集，训练模型为基于图神经网络和Transformer的多元时间序列预测模型；
2)数据经训练模型后成为多元时间序列首先被输入到全连接层中，得到初始表示；
3)初始表示的数据被输入到特征提取器中，特征提取器由三部分组成。它们是一个时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块；
4)通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积神经网络模块；
5)根据Transformer自动编码器模块和图卷积神经网络模块得到的时间和空间特征信息来对模型进行训练；
6)根据训练模型得到的数据(参数)进行时间序列预测,最终得到预测结果。
2.如权利要求1所述的基于图神经网络和Transformer的多元时间序列预测方法，其特征在于：所述步骤1中，具体训练模型是：
所述基于图神经网络和Transformer的多元时间序列预测的模型具体为以下模块：
时间卷积模块：时间卷积模块由两个扩展的初始层组成，它们一起工作以捕获多个尺度上的表示。这些层使用扩展，或控制过滤器权重之间的间距，以有效地捕获输入序列中不同时间步长的信息；
Transformer模块:使用了一个基于Transformer的自动编码器来提取时间序列中的长期依赖关系，并通过自关注获得整个序列的全局信息，使用一种自注意机制ProbSpareSelf-attention；
图卷积神经网络模块：图卷积神经网络模块旨在整合来自节点邻居的信息，以捕获图中的空间依赖关系。该模块通常由两个混合跳传播层组成，一个混合跳传播层用于处理流入信息，另一个混合跳传播层用于分别处理流出信息。流入信息通过将这两个混合跳传播层的输出相加得到，从而使网络能够有效地组合和整合来自相邻节点的信息。
3.如权利要求1所述的基于图神经网络和Transformer的多元时间序列预测方法，其特征在于：所述步骤2中，得到数据的初始表示具体为：
多元时间序列X首先被送入全连接层得到初始表示Z。
4.如权利要求1所述的基于图神经网络和Transformer的多元时间序列预测方法，其特征在于：所述步骤3中，特征提取器具体为：
一个时间卷积模块、一个Transformer自动编码器模块和一个图卷积神经网络模块依次相连，通过时间卷积模块得到其在时间维度上的表示，然后将时间卷积模块的输出分别送入Transformer自动编码器模块和图卷积模块；Transformer自动编码器模块被设计成以自关注的方式处理时态表示，允许捕获不同时态特征之间的远程依赖关系和交互；Transformer自动编码器中采用的自关注机制使模型能够关注不同重要程度的不同时间步长，从而便于对复杂时间关系的建模；另一方面，图卷积神经网络模块负责以基于图的方式处理时态表示；该模块利用图形卷积神经网络操作来捕获以图形形式组织的时间特征之间的空间依赖关系和相互作用。
5.如权利要求1所述的基于图神经网络和Transformer的多元时间序列预测方法，其特征在于：所述步骤4中，时间卷积模块具体为：
时间卷积模块由两个扩展的初始层组成，它们一起工作以捕获多个尺度上的表示；这些扩展的初始层使用扩展，或控制过滤器权重之间的间距，以有效地捕获输入序列中不同时间步长的信息；初始架构进一步增强了模块在不同尺度上提取特征的能力，允许它在输入数据中捕获本地和全局时间模式；该体系结构中的时间卷积模块使用一组专门的过滤器从输入数据中提取重要的时间特征；它由两扩展的初始层组成，每层使用不同类型的激活函数；一层通过应用正切双曲激活函数作为过滤器，而另一层通过应用s型激活函数作为门；
滤波层从输入中捕获相关信息，门控层根据学习到的门控机制控制可以通过下一模块的信息量，扩展卷积定义为:
式中，s为膨胀因子，Z为特定层节点的输入序列，f1×k为大小为k的一维卷积滤波器核；扩展卷积被重新定义为:
η＝contact(Z★f1×k1,Z★f1×k2,Z★f1×k3,...,Z★f1×kh)
其中[k1,k2,k3,...,kh]是不同的滤波器大小，不同滤波器的输出被最大滤波器截断为商定的长度，并在通道维度中级联；门控机制控制传递给下一个模块的信息。
6.如权利要求1所述的基于对比生成对抗网络的多元时间序列异常检测方法，其特征在于：所述步骤5中，Transformer自动编码器模块和图卷积模块具体为：
使用了一个基于Transformer的自动编码器来提取时间序列中的长期依赖关系，并通过自关注获得整个序列的全局信息；使用了一种有效的自注意机制ProbSpare Self-attention；
自注意力的公式如下：
其中d是输入维度,下面是ProbSpare Self-attention的公式:
其中是自注意里点积中的起到关键作用的Q；
图神经网络中的图卷积模块旨在整合来自节点邻居的信息，以捕获图中的空间依赖关系；该模块通常由两个混合跳传播层组成，一个用于处理流入信息，另一个用于分别处理流出信息；流入信息通过将这两个混合跳传播层的输出相加得到，从而使网络能够有效地组合和整合来自相邻节点的信息；
时间卷积模块的输出将被输入图卷积模块以生成一系列邻接矩阵A(l)；
其中d(l)是时间间隔,M(l)决定第l层邻接矩阵的个数；图神经网络中的图卷积模块旨在整合来自节点邻居的信息，以捕获图中的空间依赖关系；
流入和流出信息的融合使图卷积模块能够捕获上下文信息，并改进图中每个节点的表示；它包括信息传播和信息选择两个步骤；信息传播定义为:
H(θ)＝βHin+(1-β)AH(θ-1)
其中Hin表示图卷积层的输入，H(θ)表示在θ跳处的表示，H(0)＝Hin，β是控制保留根节点原始状态的比率的超参数；
信息选择步骤定义为:
其中θ为传播深度，Hout表示当前层的输出隐藏状态，W(θ)是包含关键信息跳的因子选择器；最后，将第l层第m个时间间隔的表示信息及其对应的邻接矩阵A(l,m)输入mix-hop传播层，定义为:
其中表示混合跳在第l层的传播情况；/>为图卷积在第m层、第l层的输出，/>为第l层所有段的输出集；
CN202311072943.0A 2023-08-24 2023-08-24 一种基于图神经网络和Transformer的多元时间序列预测方法 Pending CN117113054A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311072943.0A CN117113054A (zh) 2023-08-24 2023-08-24 一种基于图神经网络和Transformer的多元时间序列预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311072943.0A CN117113054A (zh) 2023-08-24 2023-08-24 一种基于图神经网络和Transformer的多元时间序列预测方法

Publications (1)

Publication Number Publication Date
CN117113054A true CN117113054A (zh) 2023-11-24

Family

ID=88812287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311072943.0A Pending CN117113054A (zh) 2023-08-24 2023-08-24 一种基于图神经网络和Transformer的多元时间序列预测方法

Country Status (1)

Country Link
CN (1) CN117113054A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117494906A (zh) * 2023-12-28 2024-02-02 浙江省白马湖实验室有限公司 一种基于多元时间序列的天然气日负荷预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117494906A (zh) * 2023-12-28 2024-02-02 浙江省白马湖实验室有限公司 一种基于多元时间序列的天然气日负荷预测方法
CN117494906B (zh) * 2023-12-28 2024-03-29 浙江省白马湖实验室有限公司 一种基于多元时间序列的天然气日负荷预测方法

Similar Documents

Publication Publication Date Title
Shamshirband et al. A survey of deep learning techniques: application in wind and solar energy resources
CN109214575A (zh) 一种基于小波长短期记忆网络的超短期风电功率预测方法
CN112561058B (zh) 基于Stacking-集成学习短期光伏功率预测方法
CN105760961A (zh) 光伏输出功率预测方法和系统
CN113988477A (zh) 基于机器学习的光伏功率短期预测方法、装置及存储介质
CN109583588B (zh) 一种短期风速预测方法及系统
CN113591368A (zh) 一种综合能源系统多能负荷预测方法及系统
CN114119273A (zh) 一种园区综合能源系统非侵入式负荷分解方法及系统
CN116702627B (zh) 一种基于深度卷积神经网络的城市暴雨内涝快速模拟方法
CN117113054A (zh) 一种基于图神经网络和Transformer的多元时间序列预测方法
CN117439045A (zh) 综合能源系统多元负荷预测方法
CN112381673A (zh) 一种基于数字孪生的园区用电信息分析方法及装置
CN113837434A (zh) 太阳能光伏发电预测方法、装置、电子设备和存储介质
CN113642255A (zh) 基于多尺度卷积循环神经网络的光伏发电功率预测方法
JP7529334B1 (ja) エネルギー時系列データ予測システム
Fan Research on deep learning energy consumption prediction based on generating confrontation network
CN115577748A (zh) 一种集成挤压激励注意力机制的双通道风电预测方法
Gao et al. A multifactorial framework for short-term load forecasting system as well as the jinan’s case study
CN115238854A (zh) 一种基于tcn-lstm-am的短期负荷预测方法
CN113783715B (zh) 一种采用因果卷积神经网络的机会网络拓扑预测方法
CN117034780B (zh) 一种基于深度学习的多尺度次季节降水量预测方法
Wang et al. A transformer-based multi-entity load forecasting method for integrated energy systems
CN116913098B (zh) 一种融合空气质量与车流量数据的短时交通流预测方法
CN113095479A (zh) 一种基于多尺度注意力机制的冰下层结构提取方法
CN112270123A (zh) 一种基于卷积生成对抗网络的流域水库群径流随机生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination