CN116307206A - 基于分段图卷积和时间注意力机制的天然气流量预测方法 - Google Patents
基于分段图卷积和时间注意力机制的天然气流量预测方法 Download PDFInfo
- Publication number
- CN116307206A CN116307206A CN202310291882.0A CN202310291882A CN116307206A CN 116307206 A CN116307206 A CN 116307206A CN 202310291882 A CN202310291882 A CN 202310291882A CN 116307206 A CN116307206 A CN 116307206A
- Authority
- CN
- China
- Prior art keywords
- time
- convolution
- segment
- layer
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 title claims abstract description 137
- 239000003345 natural gas Substances 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 54
- 230000007246 mechanism Effects 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 30
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 35
- 239000011159 matrix material Substances 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 29
- 230000006870 function Effects 0.000 claims description 18
- 238000010606 normalization Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000005096 rolling process Methods 0.000 claims description 9
- 238000003062 neural network model Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 8
- 230000010339 dilation Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 claims description 4
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005215 recombination Methods 0.000 claims description 3
- 230000006798 recombination Effects 0.000 claims description 3
- 239000007789 gas Substances 0.000 abstract description 14
- 230000004931 aggregating effect Effects 0.000 abstract 1
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001364 causal effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000008570 general process Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Game Theory and Decision Science (AREA)
- Development Economics (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Operations Research (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Biomedical Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于分段图卷积和时间注意力机制的天然气流量预测方法。该方法的设计了一种基于分段图卷积和时间注意力机制的多元时间序列预测模型，模型的分段图卷积层基于余弦相似度构建分段图结构，通过分段图卷积提取成对变量之间变化的序列间相关性，模型的时间膨胀卷积层提取序列内部的时间特征并对序列进行降维，模型的输出部分设计了一个基于两阶段注意机制的时序模式增强模块，用于聚合序列内时序模式。利用训练后的该多元时间序列预测模型，可实现对燃气时间序列未来某个时间步的预测，且具有较高的预测精度。
Description
技术领域
本发明涉及时序数据预测领域，尤其涉及一种基于分段图卷积和时间注意力机制的天然气流量预测方法。
背景技术
天然气是现代社会不可或缺的重要能源，广泛用于家庭、工业、商业和交通等领域。为了能源市场供需平衡-预测天然气用量有助于平衡天然气市场的供应和需求。准确预测其用量可以为天然气供应商、管道运营商和市场决策者提供有效的参考信息，以平衡天然气供需市场。同时通过准确预测天然气用量，天然气供应商也可以更好地规划天然气调度计划、采购计划，提高配置效率。因此，总体而言，为有效管理和分配天然气资源，对精准预测气量的需求越来越强烈。
在目前的天然气行业中，燃气公司将天然气通过城市燃气管道输送到各用气点，部署在用气点的工商业燃气流量计等仪表可自动采集天然气使用的相关数据，并通过物联网技术定时上传到燃气公司的数据库中。因此，这些由不同传感器记录的时间序列数据，为天然气的用量预测奠定了数据基础。
天然气用量的时序数据是一种典型由多传感器同步的多元时间序列数据，现有技术在进行多元时间序列预测时，需要同时对序列间相关性和序列内部的特征进行建模。传统的基于统计的方法，如VAR和GP，只能挖掘多元实现序列的各变量存在线性关系。目前基于递归神经网络和卷积神经网络的方法，如LSTNet和TPA-LSTM，能够处理单序列在时间维度上的规律，对多元时间序列的所有变量同时做出预测，但提取成对变量的关联信息的能力有限。受到用图神经网络建模道路交通的相关性启发，部分现有技术将多元时间序列各变量作为图中的节点，利用图结构学习模块学习时间序列之间的图结构，再利用图卷积网络提取变量之间的关联信息。尽管将图神经网络扩展到多元时间序列预测已经被证明是有效的，但是在多元时间序列预测问题中仍然存在一些挑战：
其一是如何建模时间序列之间隐式且随时间演变的关联性。在现实场景中，天然气的计量设备之间不像交通道路那样在物理上自然地相互关联，即不存在预定义的拓扑关系。相反，它们遵循一种隐式的、取决于设备或用户的模式，这极大地增加了提取序列间关联信息的难度。虽然引入图结构可以表征序列间的相关性，但这种相关性并不是一成不变的，而是会随时间推移而演变。
其二是如何提取多元时间序列之中类型众多且可能不连续的天然气时序规律。天然气的多元时间序列数据来自不同的设备，这意味着由不同用户产生的不同类型的规律并行存在。一些工业工厂的天然气使用集中在工作时间，而餐馆的用气高峰时间则分布在三餐时间。类型多样且变化不连续的复杂天然气用量时序规律会大大提升模型预测的难度。
因此，如何解决上述天然气用量预测过程中存在的难题，提高天然气用量预测的准确性，是目前亟待解决的技术问题。
发明内容
为了克服上述现有技术的不足，提高天然气用量预测的准确性，本发明提供一种基于分段图卷积和时间注意力机制的天然气流量预测方法，可有效解决上述问题。
本发明具体采用的技术方案如下：
一种基于分段图卷积和时间注意力机制的天然气流量预测方法，其包括以下步骤：
S1、针对用户需要监控的各个目标流量传感器，获取由各个目标流量传感器记录的天然气流量历史时间序列，对各序列进行归一化后再使用固定长度的时间窗口在序列上进行滑动提取，生成带标签的训练样本并构建训练样本集合；每个训练样本的输入为各目标流量传感器在一个时间窗口内的天然气流量数据组成的多元时间序列段，标签为该时间窗口后指定时间步上各目标流量传感器的记录值；所有带标签的训练样本构成训练样本集合；
S2、利用S1中得到的训练样本集合，对基于分段图卷积和时间注意力机制的多元时间序列预测模型进行模型训练，直到模型收敛，使其能够预测输入数据所在时间窗口后指定时间步上各目标流量传感器的记录值；
所述基于分段图卷积和时间注意力机制的多元时间序列预测模型包括一个分段图卷积模块、一个时间膨胀卷积模块和一个时间信息增强模块，模型的输入为多元时间序列段；所述分段图卷积模块将输入的多元时间序列段按照时间维度进行分段，根据段内序列间的余弦相似度构建分段邻接矩阵，再进行多层分段图卷积，提取序列间的相关性，得到第一输出信号；所述时间膨胀卷积模块将分段图卷积模块输出的第一输出信号输入多层堆叠的带有膨胀卷积的门限控制单元中，进一步提取每条序列内的特征并降维，得到第二输出信号；所述时间信息增强模块将输入的多元时间序列段输入到LSTM网络，对LSTM网络各隐藏步的信号按照时间进行分组，并对各组应用注意力机制提取分段上下文向量，然后在分段上下文向量上继续应用注意力机制生成时间上下文向量，最后将时间上下文向量与LSTM网络隐藏层的最后一个信号进行拼接，并将拼接结果经过一层全连接层，得到第三输出信号；最后将第二输出信号和第三输出信号相加，经过反归一化后得到多元时间序列预测模型的最终预测输出；
S3、在实际预测时，从各目标流量传感器记录数据中获取当前最近一个时间窗口内的天然气流量数据并构成实时多元时间序列段，将实时多元时间序列段归一化后输入经过训练的所述多元时间序列预测模型中，预测未来指定时间步时各目标流量传感器对应的天然气流量值。
作为优选，所述S1具体包括以下子步骤：
S11、获取用户需要监控的N个目标流量传感器记录的天然气流量历史时间序列
每条天然气流量历史时间序列/>
以各自的最大值作为标度值归一化，形成归一化时间序列/>
由所有归一化时间序列/>
组成多元时间序列/>
S12、以固定长度W的时间窗口在多元时间序列
上按照预设步长s进行滑动，滑动过程中每个时间窗口从多元时间序列/>
中提取窗口内的多元时间序列段X∈R{N×W}，并以多元时间序列/>
上位于时间窗口后第h个时间步处的值Y∈R{N}作为模型的回归标签，生成模型的训练数据集，数据集中每个样本表示为{X∈R{N×W},Y∈R{N}}。
作为优选，所述S2中，基于分段图卷积和时间注意力机制的多元时间序列预测模型中的具体处理过程如下：
S21、将输入模型的多元时间序列段X输入分段图卷积模块中，首先根据预设的分段数量超参数P，对输入的多元时间序列段X在时间维度上平均分割为P段，每一分段表示为Xk∈R{N×S}，S＝W/P；
然后以分段Xk内的各目标流量传感器对应的序列为节点，使用余弦相似度来计算分段Xk内节点的邻接度，得到分段Xk对应的图邻接矩阵A′k∈R{N×N}，A′k中任意节点i和节点j在同一分段Xk中连接边的强度表示为：
式中：Xk,i和Xk,j分别代表分段Xk内的第i个和第j个目标流量传感器对应的序列；
再使用Softmax函数对所述图邻接矩阵A′k按照行进行归一化，形成归一化后的图邻接矩阵Ak，其中Ak中与A′k,i,j对应的邻接度Ak,i,j计算式为：
最后对每一个分段Xk，根据得到的分段邻接矩阵Ak通过图卷积网络进行总共G层图卷积计算，输出最终图卷积结果H(G)；且图卷积网络中第l层的图卷积过程表示如下：
其中Dk为邻接矩阵Ak的度矩阵，
为可训练参数矩阵，/>
是前一个图卷积层的最终输出经过分解后的第k个分段；l＝1,2,…,G，/>
图卷积网络将第l层图卷积得到的分段卷积结果
在时间维度上进行重组拼接，得到第l层图卷积的输出：
图卷积网络将第l层图卷积结果
与原始输入的多元时间序列段X进行残差连接，得到第l层图卷积的最终输出/>
S22、将S21得到的最终图卷积结果H(G)输入时间膨胀卷积模块中，进行总共C层的时间膨胀卷积，其中第c层时间膨胀卷积的过程表示如下：
其中Z(c-1)是前一膨胀卷积层的输出，
表示矩阵点乘，σ(·)表示sigmoid激活函数，*表示膨胀卷积操作，Wf (c)和/>
分别表示两部分卷积核的可学习参数，两部分卷积核的数量都为M，卷积核的大小为C1；c＝1,2,…,C；
对每层时间膨胀卷积输出的信号Z(c)进行加权叠加，再使用一层普通卷积将信号处理成预测目标的大小，得到时间膨胀卷积模块的最终输出为：
其中Ws (c)表示对第c层卷积的信号Z(c)进行加权时的可训练权重矩阵；We(·)代表普通卷积，卷积核的数量为Me，卷积核的大小为Ce；
S23、将输入模型的多元时间序列段X输入时间信息增强模块中，首先由具有N个隐藏层单元的LSTM网络进行特征提取，并根据分段数量超参数P对长度为W的LSTM网络隐藏层输出H′进行分段，得到P段分段隐藏层信号H′k：
H′＝LSTM(X)＝[h1,h2,…,hW]
H′k＝[hk*S-s+1,hk*s-S+2,…,hk*S],k＝1,2,…P
然后将得到的分段隐藏层信号H′k经过可训练参数Wk′加权后得到
经过Softmax函数计算得到对应的分段权值a′k，由各分段隐藏层信号H′k与各分段权值a′k加权求和得到分段上下文向量C′：
再将分段上下文向量C′经过可训练参数W″加权后得到
中包含S个时间步的隐藏层信号/>
经过Softmax函数计算得到时间步权值a″i，时间上下文向量C″由各时间步的隐藏层信号/>
与时间步权值a″i加权求和得到：
最后将得到的时间上下文向量C″与LSTM网络隐藏层的最后一个时间步信号hW拼接，经过一层全连接层输出时间信息增强信号：
HA＝WA·concat(C″,hW)+b
式中：WA和b分别表示全连接层的可学习权重和偏置；
S24、将时间膨胀卷积模块的最终输出HC和时间信息增强模块输出的时间信息增强信号HA相加，并经过反归一化后得到网络模型的最终预测输出：
式中：scale表示反归一化系数。
作为优选，所述时间窗口的长度W取168，时间窗口的滑动步s取1。
作为优选，所述分段数量超参数P优选为7。
作为优选，所述图卷积网络中的图卷积层数G优选为2。
作为优选，所述时间膨胀卷积模块的时间膨胀卷积层数C优选为5，每层卷积核的数量M优选为24，卷积核的大小优选为1×3，5层卷积核的膨胀率D分别取1、3、6、12、24.
作为优选，所述时间膨胀卷积模块中，最后一层普通卷积的卷积核数量Me取1，卷积核的大小Ce取1×76。
作为优选，所述多元时间序列预测模型进行模型训练时采用的损失函数为平均绝对误差。
作为优选，所述多元时间序列预测模型进行模型训练时，使用AdamW优化器更新神经网络模型所有可训练参数，且学习率α取0.0001,衰减权重β取0.00001。
本发明提出的基于分段图卷积和时间注意力机制的多元能源时间序列预测方法，具有如下有益效果：
本发明通过对用于多个传感器构成的历史多元时间序列学习，所设计的神经网络模型能够基于最新的历史燃气流量数据，利用分段图卷积神经网络学习序列间的关联，利用时间膨胀卷积和时间信息增强模块学习序列内部时序特征，精确预测未来某个时间步上各燃气流量传感器的流量值。
附图说明
图1为基于分段图卷积和时间注意力机制的天然气流量预测方法的流程图。
图2为本发明所提出的多元时间序列预测模型结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
如图1所示，在本发明的一个较佳实施例中，上述基于分段图卷积和时间注意力机制的天然气流量预测方法具体包括S1～S3步骤，下面对各步骤的具体实现方式进行展开描述。
S1、针对用户需要监控的各个目标流量传感器，获取由各个目标流量传感器记录的天然气流量历史时间序列，对各序列进行归一化后再使用固定长度的时间窗口在序列上进行滑动提取，生成带标签的训练样本并构建训练样本集合；每个训练样本的输入为各目标流量传感器在一个时间窗口内的天然气流量数据组成的多元时间序列段，标签为该时间窗口后指定时间步(记指定时间步为时间窗口之后的第h步)上各目标流量传感器的记录值；所有带标签的训练样本构成训练样本集合。
在本发明的实施例中，上述步骤S1具体包括以下子步骤：
S11、获取用户需要监控的N个目标流量传感器记录的天然气流量历史时间序列
每条天然气流量历史时间序列/>
以各自的最大值作为标度值进行最大值归一化，形成归一化时间序列/>
由所有归一化时间序列/>
组成多元时间序列/>
上述最大值归一化属于现有技术，假设每条天然气流量历史时间序列
中的最大值为MAX(S[i])，则可将其作为标度值分别对每条序列/>
进行最大值归一化：
其中
表示第i条条天然气流量历史时间序列，/>
表示第i条经过最值归一化后的历史时间序列。
S12、以固定长度W的时间窗口在多元时间序列
上按照预设步长s进行滑动，滑动过程中每个时间窗口从多元时间序列/>
中提取窗口内的多元时间序列段X∈R{N×W}，并以多元时间序列/>
上位于时间窗口后第h个时间步处的值Y∈R{N}作为模型的回归标签，生成模型的训练数据集，数据集中每个样本表示为{X∈R{N×W},Y∈R{N}}。
S2、利用S1中得到的训练样本集合，对基于分段图卷积和时间注意力机制的多元时间序列预测模型进行模型训练，直到模型收敛，使其能够预测输入数据所在时间窗口后指定时间步上各目标流量传感器的记录值。
如图2所示，展示了本发明提供的基于分段图卷积和时间注意力机制的多元时间序列预测模型结构，该模型包含一个分段图卷积模块、一个时间膨胀卷积模块和一个时间信息增强模块。模型的输入为前述的多元时间序列段X。该模型中的大致处理流程如下：
上述分段图卷积模块将输入的多元时间序列段按照时间维度进行分段，根据段内序列间的余弦相似度构建分段邻接矩阵，再进行多层分段图卷积，提取序列间的相关性，得到第一输出信号.
在一些时间序列数据中，单条序列的时间模式并不是一直不保持不变，而是随着时间的推移呈现出不断演变的模式，因此本发明中设计了上述分段图卷积结构，以适应同一时间窗口内不同时间段之间图连通性的变化。以本发明的天然气流量为例，假设用户的用气模式在短期内(如一天内)是稳定的，则长度为W的短期天然气序列具有相同的图邻接矩阵。
上述时间膨胀卷积模块将分段图卷积模块输出的第一输出信号输入多层堆叠的带有膨胀卷积的门限控制单元中，进一步提取每条序列内的特征并降维，得到第二输出信号。
时间膨胀因果卷积可设置膨胀率，单个卷积核的感受野随着卷积层数的增加而呈指数增长。与未设置膨胀的卷积核相比，膨胀卷积核能够捕获时间序列更大的历史范围。上述时间膨胀卷积模块的任务是分别提取每个节点的序列内部时间模式，同时对分段图卷积模块的输出信号进行降维，对多元时间序列每个变量进行初步预测。
上述时间信息增强模块将输入的多元时间序列段输入到LSTM网络，对LSTM网络各隐藏步的信号按照时间进行分组，并对各组应用注意力机制提取分段上下文向量，然后在分段上下文向量上继续应用注意力机制生成时间上下文向量，最后将时间上下文向量与LSTM网络隐藏层的最后一个信号进行拼接，并将拼接结果经过一层全连接层，得到第三输出信号；最后将第二输出信号和第三输出信号相加，经过反归一化后得到多元时间序列预测模型的最终预测输出。
虽然时间膨胀卷积层能够有效地提取每个变量的序列内时间模式，但随着卷积层数的增加，原始序列的趋势和周期信息会减少。当模型预测未来的周期内变量的值时，除了关注每个变量的近期的变化，它还需要在之前的周期中提取同一时间的趋势和模式，而不相关的历史部分，如连续值为零的历史部分应当被忽略。传统的全局注意力机制计算整个序列中每个时间步的权重，并将其聚合成一个上下文向量来修正网络的输出。随着序列长度的增长，上下文向量包含了太多无效的历史信息，对模型预测效果提升有限。因此，时间信息增强模块采用两阶段注意机制提取长序列的特征，两阶段注意力机制的主要思想是将关键片段整合到分段上下文向量中，并过滤不相关的片段，然后进一步从分段上下文中提取时间上下文向量。
在本发明的实施例中，上述步骤S2中基于分段图卷积和时间注意力机制的多元时间序列预测模型中的具体处理过程如下：
S21、将输入模型的多元时间序列段X输入分段图卷积模块中，得到最终图卷积结果H(G)。分段图卷积模块中执行的流程如下述S211～S214所示：
S211、首先根据预设的分段数量超参数P，对输入的多元时间序列段X在时间维度上平均分割为P段，每一分段表示为Xk∈R{N×S}，S＝W/P。
S212、然后以分段Xk内的各目标流量传感器对应的序列为节点，使用余弦相似度来计算分段Xk内节点的邻接度，得到分段Xk对应的图邻接矩阵A′k∈R{N×N}，A′k中任意节点i和节点j在同一分段Xk中连接边的强度表示为：
式中：Xk,i和Xk,j分别代表分段Xk内的第i个和第j个目标流量传感器对应的序列，||代表取模运算。
S213、再使用Softmax函数对所述图邻接矩阵A′k按照行进行归一化，形成归一化后的图邻接矩阵Ak，其中Ak中与A′k,i,j对应的邻接度Ak,i,j计算式为：
由于余弦相似度的范围为[-1,1]，其值越接近于1，表示两个向量的方向更为接近，而小于0则代表方向相反。因此，上述模型在计算连接边的强度时设置0为下限过滤无关节点，并使用Softmax函数对每个多元时间序列分割段的相似度矩阵Ak逐行归一化。
S214、最后对每一个分段Xk，根据得到的分段邻接矩阵Ak通过图卷积网络进行总共G层图卷积计算，输出最终图卷积结果H(G)；且图卷积网络中第l层的图卷积过程表示如下：
其中Dk为邻接矩阵Ak的度矩阵，
为可训练参数矩阵，/>
是前一个图卷积层的最终输出经过分解后的第k个分段；l＝1,2,…,G，/>
图卷积网络将第l层图卷积得到的分段卷积结果
在时间维度上进行重组拼接，得到第l层图卷积的输出：
图卷积网络将第l层图卷积结果
与原始输入的多元时间序列段X进行残差连接，得到第l层图卷积的最终输出/>
残差连接的引入，是为了防止梯度消失，使模型更容易训练。
通过多层图卷积过程，HG中的每个节点从邻居节点收集关联信息，然后传递给时间膨胀卷积层。
S22、将S21得到的最终图卷积结果H(G)输入时间膨胀卷积模块中，进行总共C层的时间膨胀卷积，得到时间膨胀卷积模块的最终输出HC。堆叠C层时间膨胀卷积层，每层时间膨胀卷积层为带有膨胀卷积的门限控制单元GLU(Gate Linear Unit)，包含特征学习部分和信号量控制部分，可学习每个变量的时间变化规律，每个卷积层被分成两条信号路径：滤波器和信号阈值。特征学习部分通过线性加权来学习信号的隐藏特征。信号量控制部分使用sigmoid激活函数，用于控制当前卷积层输出进入下一层的信号量。时间膨胀卷积模块中的具体过程如下述S221～S222所示：
S221、依次执行C层时间膨胀卷积，其中任意第l层时间膨胀卷积的过程表示如下：
其中：c＝1,2,…,C；Z(c-1)是前一膨胀卷积层的输出，
表示矩阵点乘(即哈达玛积)，σ(·)表示sigmoid激活函数，*表示膨胀卷积操作，Wf (c)和/>
分别表示两部分卷积核的可学习参数，两部分卷积核的数量都为M，卷积核的大小为C1，膨胀率为D。由于大多数时间序列具有相对固定的采样频率(如1h或10min)，且在不同的时间尺度上具有周期性，因此此处的膨胀卷积可使用3*2n作为膨胀率，使得卷积核的感受野更好地覆盖从小到大的时间尺度(即当膨胀率为24(3*2n)，采样频率为1h时，卷积核的感受野将覆盖连续数天的同一小时)。这一设置的有效性将在后续实施例中展示。
S222、得到C层时间膨胀卷积各自输出的信号Z(c)后，对每层时间膨胀卷积输出的信号Z(c)进行加权叠加，再使用一层普通卷积将信号处理成预测目标的大小(即多元时间序列预测模型的预测输出大小)，得到时间膨胀卷积模块的最终输出为：
其中Ws (c)表示对第c层卷积的信号Z(c)进行加权时的可训练权重矩阵；We(·)代表普通卷积，卷积核的数量为Me，卷积核的大小为Ce。HC将不同扩张速率的卷积输出叠加在一起，能够捕获不同感受野的序列信息。
S23、将输入模型的多元时间序列段X输入时间信息增强模块中，得到时间信息增强信号HA。时间信息增强模块中执行的流程如下述S231～S234所示：
S231、首先由具有N个隐藏层单元的LSTM网络进行特征提取，并根据分段数量超参数P对长度为W的LSTM网络隐藏层输出H′进行分段，得到P段分段隐藏层信号H′k：
H′＝LSTM(X)＝[h1,h2,…,hW]
H′k＝[hk*S-S+1,hk*S-S+2,…,hk*S],k＝1,2,…P
S232、然后将得到的分段隐藏层信号H′k经过可训练参数Wk′加权后得到
经过Softmax函数计算得到对应的分段权值a′k，由各分段隐藏层信号H′k与各分段权值a′k加权求和得到分段上下文向量C′：
S233、再将分段上下文向量C′经过可训练参数W″加权后得到
中包含S个时间步的隐藏层信号/>
经过Softmax函数计算得到时间步权值a″i，时间上下文向量C″由各时间步的隐藏层信号/>
与时间步权值a″i加权求和得到：
S234、最后将得到的时间上下文向量C″与LSTM网络隐藏层的最后一个时间步信号hW拼接，经过一层全连接层输出时间信息增强信号：
HA＝WA·concat(C″,hW)+b
式中：WA和b分别表示全连接层的可学习权重和偏置；
S24、将时间膨胀卷积模块的最终输出Hc和时间信息增强模块输出的时间信息增强信号HA相加，并经过反归一化后得到网络模型的最终预测输出：
式中：scale表示反归一化系数。
需注意的是，此处的反归一化是与S11中的归一化对应的，因此每一个目标流量传感器的预测值对应的反归一化系数scale是由该传感器对应的序列最大值，即前述的标度值。
需要说明的是，上述多元时间序列预测模型的具体训练方式属于现有技术，其中训练采用的损失函数可采用平均绝对误差(MAE)。具体训练时，可将S24得到的神经网络模型预测输出
与输入样本的预测目标实际标签值Y进行平均绝对误差计算，从而得到损失函数值L：
由于Y预先经过了归一化，因此需要先进行反归一化才能进行MAE计算。
根据所得的神经网络预测损失L可计算模型的随机梯度，使用AdamW优化器以学习率α,衰减权重β,更新神经网络模型所有可训练参数，如此循环训练过程，直到模型收敛。
S3、在实际预测时，从各目标流量传感器记录数据中获取当前最近一个时间窗口内的天然气流量数据并构成实时多元时间序列段，将实时多元时间序列段归一化后输入经过训练的所述多元时间序列预测模型中，预测未来指定时间步时各目标流量传感器对应的天然气流量值。
为了展示本发明上述S1～S3所示的方法的优点，下面将其应用于一个具体的示例中，以展示其技术效果。
实施例
本实施例步骤与前述S1～S3所示，在此不再进行赘述。下面就部分实施过程和实施结果进行展示：
本实施例所用的原始数据为天然气数据集(Nature-gas-1和Nature-gas-2)：两个数据集都来自某公司提供的工商业天然气流量计数据库。原始数据需预先对流量计的标况累计流量进行重采样、插值和差分生成天然气标况流量序列。由于不同的天然气传感器有不同的上传频率，为了展示模型在不同采样频率下的表现，本实施例相应地构建了两个天然气数据集。其中，Natural-gas-1包含2020年7月1日至2021年9月5日52个高频天然气流量序列，采样频率为10min，Natural-gas-2包含2020年3月9日至2021年9月5日118个低频天然气流量序列，采样频率为1小时。由于天然气行业的特殊性，春节前后部分工商用户处于暂停用气状态，因此本实施例删除了两个数据集2021年2月份的时间段的数据。处理后的数据按照时间的顺序，分割成训练集(60％)，验证集(20％)和测试集(20％)。按照本发明前述S1～S2所示的方法进行模型训练并以验证集为参考，在训练集上训练所提出的神经网络模型，最后按照前述S3步骤用测试集进行测试。
为了便于叙述，将本发明前述S1～S3所示的方法中训练的称为SGTANN。在本实施例中，SGTANN的参数的选择如下：时间窗口的长度W取168，时间窗口的滑动步长s取1，分段数量超参数P取7，分段图卷积模块的图卷积网络中图卷积层数G取2，时间膨胀卷积模块的层数C取5，每层卷积核的数量M取24，卷积核的大小C1取1×3，5层卷积核的膨胀率D分别取1、3、6、12、24，时间膨胀卷积模块的普通卷积输出层的卷积核数量Me取1，卷积核的大小Ce取1×76。多元时间序列预测模型训练过程中，AdamW优化器更新神经网络模型所有可训练参数，且学习率α取0.0001,衰减权重β取0.00001。
本实施例的实验将SGTANN与若干预测方法进行了比较，作为对照的预测方法有：(1)VAR：一种自回归模型；(2)GP：采用高斯过程进行时间序列建模的回归模型；(3)GRU:一种使用全连接GRU单元的循环神经网络；(4)MTGNN：一种基于GCN的神经网络模型，利用自学习的邻接矩阵来描述成对变量之间的相关性。
为了验证本发明技术方案的技术效果，选择相对平方根误差(RSE)和经验相关系数(CORR)作为方法的评估指标，计算公式如下：
其中yt,i和
分别是在时间步t上，多元时间序列变量i的真实值和估计值。RSE数值越小，表示模型对该多元时间的预测误差越小。CORR是每个时间序列与其拟合序列的经验相关系数的均值，数值越高代表预测模型对多元时间序列的趋势拟合越好。
所有方法分别在不同预测步，即h＝3，6，12，24上分别进行了实验，不同的预测步代表以输入时间窗口后的第h个时间步的值作为预测目标。各方法在测试集上的实验结果如表1和表2所示。
表1所有方法在Nature-gas-1数据集上的表现
表2所有方法在Nature-gas-2数据集上的表现
总体而言，各预测方法在数据集上的RSE都随着预测步的增加而缓慢增加的，这意味着包含本发明在内的各预测方法的预测能力也随着预测步的增加而下降。但横向对比不同的预测方法可见，传统的统计方法模型(即VAR和GP)表现最差，其RSE随着预测步的增加而显著扩大。在深度学习模型(即GRU、TCN和LSTNet-skip)中，TCN在大多数数据集中优于其他两个基于RNN的模型，由于引入了膨胀因果卷积，其RSE较低，CORR较高。基于图神经网络的模型(即MTGNN、StemGNN和SGTANN)在大多数实验中优于传统的统计学习模型和深度学习模型，这证明了引入图神经网络的有效性。SGTANN在两个天然气数据集上均取得了领先的结果，特别是在RSE上。除个别预测步的CORR略低外，SGTANN在不同的预测步上的表现也基本优于其他模型。且SGTANN在采样频率较高的Nature-gas-1数据集上相对于采样频率较低的Nature-gas-2数据集表现更好。可见本发明提出的基于分段图卷积和时间注意力机制的天然气流量预测方法的有效性。
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。
Claims (10)
1.一种基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，包括以下步骤：
S1、针对用户需要监控的各个目标流量传感器，获取由各个目标流量传感器记录的天然气流量历史时间序列，对各序列进行归一化后再使用固定长度的时间窗口在序列上进行滑动提取，生成带标签的训练样本并构建训练样本集合；每个训练样本的输入为各目标流量传感器在一个时间窗口内的天然气流量数据组成的多元时间序列段，标签为该时间窗口后指定时间步上各目标流量传感器的记录值；所有带标签的训练样本构成训练样本集合；
S2、利用S1中得到的训练样本集合，对基于分段图卷积和时间注意力机制的多元时间序列预测模型进行模型训练，直到模型收敛，使其能够预测输入数据所在时间窗口后指定时间步上各目标流量传感器的记录值；
所述基于分段图卷积和时间注意力机制的多元时间序列预测模型包括一个分段图卷积模块、一个时间膨胀卷积模块和一个时间信息增强模块，模型的输入为多元时间序列段；所述分段图卷积模块将输入的多元时间序列段按照时间维度进行分段，根据段内序列间的余弦相似度构建分段邻接矩阵，再进行多层分段图卷积，提取序列间的相关性，得到第一输出信号；所述时间膨胀卷积模块将分段图卷积模块输出的第一输出信号输入多层堆叠的带有膨胀卷积的门限控制单元中，进一步提取每条序列内的特征并降维，得到第二输出信号；所述时间信息增强模块将输入的多元时间序列段输入到LSTM网络，对LSTM网络各隐藏步的信号按照时间进行分组，并对各组应用注意力机制提取分段上下文向量，然后在分段上下文向量上继续应用注意力机制生成时间上下文向量，最后将时间上下文向量与LSTM网络隐藏层的最后一个信号进行拼接，并将拼接结果经过一层全连接层，得到第三输出信号；最后将第二输出信号和第三输出信号相加，经过反归一化后得到多元时间序列预测模型的最终预测输出；
S3、在实际预测时，从各目标流量传感器记录数据中获取当前最近一个时间窗口内的天然气流量数据并构成实时多元时间序列段，将实时多元时间序列段归一化后输入经过训练的所述多元时间序列预测模型中，预测未来指定时间步时各目标流量传感器对应的天然气流量值。
2.如权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述S1具体包括以下子步骤：
S11、获取用户需要监控的N个目标流量传感器记录的天然气流量历史时间序列
每条天然气流量历史时间序列/>
以各自的最大值作为标度值归一化，形成归一化时间序列
由所有归一化时间序列/>
组成多元时间序列/>
S12、以固定长度W的时间窗口在多元时间序列
上按照预设步长s进行滑动，滑动过程中每个时间窗口从多元时间序列/>
中提取窗口内的多元时间序列段X∈R{N×W}，并以多元时间序列/>
上位于时间窗口后第h个时间步处的值Y∈R{N}作为模型的回归标签，生成模型的训练数据集，数据集中每个样本表示为{X∈R{N×W},Y∈R{N}}。
3.如权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述S2中，基于分段图卷积和时间注意力机制的多元时间序列预测模型中的具体处理过程如下：
S21、将输入模型的多元时间序列段X输入分段图卷积模块中，首先根据预设的分段数量超参数P，对输入的多元时间序列段X在时间维度上平均分割为P段，每一分段表示为Xk∈R{N×S}，S＝W/P；
然后以分段Xk内的各目标流量传感器对应的序列为节点，使用余弦相似度来计算分段Xk内节点的邻接度，得到分段Xk对应的图邻接矩阵A′k∈R{N×N}，A′k中任意节点i和节点j在同一分段Xk中连接边的强度表示为：
式中：Xk,i和Xk,j分别代表分段Xk内的第i个和第j个目标流量传感器对应的序列；
再使用Softmax函数对所述图邻接矩阵A′k按照行进行归一化，形成归一化后的图邻接矩阵Ak，其中Ak中与A′k,i,j对应的邻接度Ak,i,j计算式为：
最后对每一个分段Xk，根据得到的分段邻接矩阵Ak通过图卷积网络进行总共G层图卷积计算，输出最终图卷积结果H(G)；且图卷积网络中第l层的图卷积过程表示如下：
其中Dk为邻接矩阵Ak的度矩阵，
为可训练参数矩阵，/>
是前一个图卷积层的最终输出经过分解后的第k个分段；l＝1,2,…,G，/>
图卷积网络将第l层图卷积得到的分段卷积结果
在时间维度上进行重组拼接，得到第l层图卷积的输出：
图卷积网络将第l层图卷积结果
与原始输入的多元时间序列段X进行残差连接，得到第l层图卷积的最终输出/>
S22、将S21得到的最终图卷积结果H(G)输入时间膨胀卷积模块中，进行总共C层的时间膨胀卷积，其中第c层时间膨胀卷积的过程表示如下：
其中Z(c-1)是前一膨胀卷积层的输出，
表示矩阵点乘，σ(·)表示sigmoid激活函数，*表示膨胀卷积操作，Wf (c)和/>
分别表示两部分卷积核的可学习参数，两部分卷积核的数量都为M，卷积核的大小为C1，膨胀率为D；c＝1,2,…,C；
对每层时间膨胀卷积输出的信号Z(c)进行加权叠加，再使用一层普通卷积将信号处理成预测目标的大小，得到时间膨胀卷积模块的最终输出为：
其中Ws (c)表示对第c层卷积的信号Z(c)进行加权时的可训练权重矩阵；We(·)代表普通卷积，卷积核的数量为Me，卷积核的大小为Ce；
S23、将输入模型的多元时间序列段X输入时间信息增强模块中，首先由具有N个隐藏层单元的LSTM网络进行特征提取，并根据分段数量超参数P对长度为W的LSTM网络隐藏层输出H′进行分段，得到P段分段隐藏层信号H′k：
H′＝LSTM(X)＝[h1,h2,…,hW]
H′k＝[hk*S-S+1,hk*S-S+2,…,hk*S],k＝1,2,…P
然后将得到的分段隐藏层信号H′k经过可训练参数Wk′加权后得到
经过Softmax函数计算得到对应的分段权值a′k，由各分段隐藏层信号H′k与各分段权值a′k加权求和得到分段上下文向量C′：
再将分段上下文向量C′经过可训练参数W″加权后得到
中包含S个时间步的隐藏层信号/>
经过Softmax函数计算得到时间步权值a″i，时间上下文向量C″由各时间步的隐藏层信号/>
与时间步权值a″i加权求和得到：
最后将得到的时间上下文向量C″与LSTM网络隐藏层的最后一个时间步信号hW拼接，经过一层全连接层输出时间信息增强信号：
HA＝WA·concat(C″,hW)+b
式中：WA和b分别表示全连接层的可学习权重和偏置；
S24、将时间膨胀卷积模块的最终输出HC和时间信息增强模块输出的时间信息增强信号HA相加，并经过反归一化后得到网络模型的最终预测输出：
式中：scale表示反归一化系数。
4.根据权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述时间窗口的长度W取168，时间窗口的滑动步s取1。
5.根据权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述分段数量超参数P优选为7。
6.根据权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述图卷积网络中的图卷积层数G优选为2。
7.根据权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述时间膨胀卷积模块的时间膨胀卷积层数C优选为5，每层卷积核的数量M优选为24，卷积核的大小C1优选为1×3，5层卷积核的膨胀率D分别取1、3、6、12、24。
8.根据权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述时间膨胀卷积模块中，最后一层普通卷积的卷积核数量Me取1，卷积核的大小Ce取1×76。
9.如权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述多元时间序列预测模型进行模型训练时采用的损失函数为平均绝对误差。
10.根据权利要求1所述的基于分段图卷积和时间注意力机制的天然气流量预测方法，其特征在于，所述多元时间序列预测模型进行模型训练时，使用AdamW优化器更新神经网络模型所有可训练参数，且学习率α取0.0001,衰减权重β取0.00001。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291882.0A CN116307206A (zh) | 2023-03-23 | 2023-03-23 | 基于分段图卷积和时间注意力机制的天然气流量预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310291882.0A CN116307206A (zh) | 2023-03-23 | 2023-03-23 | 基于分段图卷积和时间注意力机制的天然气流量预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116307206A true CN116307206A (zh) | 2023-06-23 |
Family
ID=86783192
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310291882.0A Pending CN116307206A (zh) | 2023-03-23 | 2023-03-23 | 基于分段图卷积和时间注意力机制的天然气流量预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116307206A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575341A (zh) * | 2023-10-25 | 2024-02-20 | 湖北省天然气发展有限公司 | 一种基于大数据天然气传输网络的气量调度评价方法 |
-
2023
- 2023-03-23 CN CN202310291882.0A patent/CN116307206A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117575341A (zh) * | 2023-10-25 | 2024-02-20 | 湖北省天然气发展有限公司 | 一种基于大数据天然气传输网络的气量调度评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Deep transformer models for time series forecasting: The influenza prevalence case | |
| CN111161535B (zh) | 基于注意力机制的图神经网络交通流量预测方法及系统 | |
| CN112949828B (zh) | 一种基于图学习的图卷积神经网络交通预测方法及系统 | |
| CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
| CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
| CN112101480B (zh) | 一种多变量聚类与融合的时间序列组合预测方法 | |
| CN111080032A (zh) | 一种基于Transformer结构的负荷预测方法 | |
| Yu et al. | Error correction method based on data transformational GM (1, 1) and application on tax forecasting | |
| Zhang et al. | Comparison of econometric models and artificial neural networks algorithms for the prediction of baltic dry index | |
| Sun et al. | Dual dynamic spatial-temporal graph convolution network for traffic prediction | |
| CN109886403A (zh) | 一种基于神经网络模型的工业数据生成方法 | |
| CN107798383B (zh) | 改进的核极限学习机定位方法 | |
| Peng et al. | Lifelong property price prediction: A case study for the toronto real estate market | |
| CN106126910A (zh) | 基于马尔科夫状态转移模型的状态转换预测方法及系统 | |
| Han et al. | Network traffic prediction using variational mode decomposition and multi-reservoirs echo state network | |
| CN112396234A (zh) | 一种基于时域卷积神经网络的用户侧负荷概率预测方法 | |
| CN112258262A (zh) | 一种基于卷积自注意力网络的会话推荐方法 | |
| CN116307206A (zh) | 基于分段图卷积和时间注意力机制的天然气流量预测方法 | |
| CN115828990A (zh) | 融合自适应图扩散卷积网络的时空图节点属性预测方法 | |
| Tessoni et al. | Advanced statistical and machine learning methods for multi-step multivariate time series forecasting in predictive maintenance | |
| Zhou et al. | Functional networks and applications: A survey | |
| CN114169091A (zh) | 工程机械部件剩余寿命的预测模型建立方法及预测方法 | |
| Kayim et al. | Time series forecasting with volatility activation function | |
| Yang et al. | A structure optimization algorithm of neural networks for large-scale data sets | |
| CN116578858A (zh) | 基于图神经网络的空压机故障预测与健康度评价方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |