CN117668743A - 一种关联时空关系的时序数据预测方法 - Google Patents

一种关联时空关系的时序数据预测方法 Download PDF

Info

Publication number
CN117668743A
CN117668743A CN202311394688.1A CN202311394688A CN117668743A CN 117668743 A CN117668743 A CN 117668743A CN 202311394688 A CN202311394688 A CN 202311394688A CN 117668743 A CN117668743 A CN 117668743A
Authority
CN
China
Prior art keywords
time
data
space
humidity
extraction module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311394688.1A
Other languages
English (en)
Other versions
CN117668743B (zh
Inventor
李金平
刘伟
张恒飞
喻淼
唐光辉
江慧宁
刘浩
崔俊杰
梁云昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changjiang Xinda Software Technology Wuhan Co ltd
Original Assignee
Changjiang Xinda Software Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changjiang Xinda Software Technology Wuhan Co ltd filed Critical Changjiang Xinda Software Technology Wuhan Co ltd
Priority to CN202311394688.1A priority Critical patent/CN117668743B/zh
Publication of CN117668743A publication Critical patent/CN117668743A/zh
Application granted granted Critical
Publication of CN117668743B publication Critical patent/CN117668743B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种关联时空关系的时序数据预测方法。包括：构建所需气象湿度数据集；根据气象湿度数据集内的数据各采集点间是否存在空间相关性建立邻接矩阵；使用邻接矩阵构建基于图注意力网络的空间依赖特征提取模块，用于提取气象湿度数据集内的数据各采集点间的空间依赖特征；使用邻接矩阵构建基于自注意力机制的时间依赖特征提取模块，用于提取气象湿度数据集内的数据各时间点间的时间依赖特征；构建使用门控机制的时空特征融合模块；组合上述多个模块生成并训练综合预测模型；将气象湿度数据集输入已经训练好的综合预测模型并计算气象湿度预测结果。本发明进行时空数据融合，降低数据损失，具有考虑全面，准确度高的优点。

Description

一种关联时空关系的时序数据预测方法
技术领域
本发明属于数据处理和回归预测技术领域，具体涉及一种关联时空关系的时序数据预测方法。
背景技术
时间序列预测是根据已有的历史数据对未来进行预测，广泛应用于气象湿度数据、油田产量预测、股市、故障检测等方面。实际生产过程获取的时序数据（尤其是气象湿度数据）具有非线性、非稳态、空间相关性强的特点。由于传统方法未考虑空间相关性，导致预测精度不高。此外，由于数据间的空间相关性难以挖掘、特别是如何将时间与空间特征进行融合目前没有较好的解决办法，因此如何细粒度刻画气象湿度数据的时空特性进而时空特征融合是影响预测精度的关键，也是生产动态预测研究的重点。
早期研究主要是建立诸如加权滑动平均模型、差分整合移动平均自回归模型之类的自回归参数模型进行预测，简单直观，但极易损失变量间的动态依赖信息。当前典型时序数据多使用传统浅层机器学习如人工神经网络、支持向量机难以挖掘数据间的动态依赖关系，若增加参数则又极易产生过拟合现象，而循环神经网路模型如长短期记忆网络、门控循环单元、最小门控单元、混合门控单元等变体模型，存在长期依赖和累计误差等问题。因此有学者引入自注意力机制开展时序预测，如时间融合变换网络，捕获序列间的长期依赖关系，以并行方式处理，计算速度快。但典型时序数据诸如气象湿度数据，均存在空间关联。例如，多个空气湿度采集点的数据存在相关关联，风向、风速会将某一采集点的水分分散到不同采集点，致使不同采集点的水分存在相互影响，若存在采集点间存在物理屏障如高山则可能采集点间的空间影响较小，若采集点间存在电厂蒸汽塔则传感器采集点空降影响就会变大；传统浅层机器学习仅考虑了时序特征，虽然自注意力机制可以减少长期依赖现象但忽略了数据的空间相关性，导致模型泛化性较差。
图神经网络是非欧空间图形数据的表示方法，擅于提取图时空结构特征，分频域和空域两种。空域图神经网络放方法如消息传递网络，能处理有向图但需要全图聚合、计算效率较低。最新的时空变换网络（STTNS）提供了基于图卷积网络的空间和时间Transformer模块，可有效克服累计误差问题。但该网络使用的图卷积网络仅可处理无向图，无法处理有向图，但空气湿度受风向、风速影响，不同风向的风导致的结果不尽相同，因此应该采用有向图描述湿度传感器采集点的空间关系的普适性、泛化性和鲁棒性更高。图注意力网络通过计算当前湿度采集点的一阶邻居的注意力权重聚合其相邻节点的空间影响特征，适用于有向图计算且精度较高可以用于提取空间依赖关系。
综上所述，现有的典型气象时序预测存在以下问题：1）仅从单条数据出发，忽略不同采集点数据间的空间依赖性。2）传统循环神经网络方法存在长期依赖关系，难以挖掘数据间的时序长程相关性，容易出现数据丢失。3）现有图神经网络空间特征提取未考虑时空特征融合，未对时间和空间特征数据分配动态权重，影像数据精度。
解决以上问题及缺陷的难度为：
早期研究有限制，几乎无法预测气象湿度数据中温度、空气湿度、风向、风速等高度非线性的数据，加入数学约束会提高运算的复杂度，且无法明显提高精度。目前很少人会使用传统方法进行预测。
在提取时间特征方面，浅层机器学习参数很复杂导致算法收敛较慢，这使得通过对模型的优化提升多变量时间预测效果的方式几乎不可能，而且其学习算法采用了经验风险最小化原理，无法保证期望风险最小化，这使得模型容易产生过拟合问题，并且容易陷入局部最优。
在提取空间特征方面，目前广泛使用的基础图卷积网络仅仅能处理无向图，若使用图注意力网络处理有向图数据则需要考虑如何针对时序数据进行适应，使用有向图表示湿度传感器采集点的空间关系。
在融合时间和空间特征方面，目前融合时间和空间特征的方法仅为简单加和，没有为时间特征和空间特征单独分配可供训练的动态权重，极易在融合过程中损失数据产生失真，需要设计一种可供训练的自适应权重时空特征融合模块。
发明内容
本发明的目的就是为了解决上述背景技术存在的不足，提供一种关联时空关系的时序数据预测方法。
本发明采用的技术方案是：一种关联时空关系的时序数据预测方法，包括：
包括以下步骤：
S1：构建所需气象湿度数据集，所述气象湿度数据集包括空气湿度数据、温度数据、风向数据、风速数据，对气象湿度数据集内的数据进行缺失平滑处理、特高值处理、归一化处理；
S2：根据气象湿度数据集内的数据各采集点间是否存在空间相关性建立邻接矩阵；
S3：使用邻接矩阵构建基于图注意力网络的空间依赖特征提取模块，用于提取气象湿度数据集内的数据各采集点间的空间依赖特征；
S4：使用邻接矩阵构建基于自注意力机制的时间依赖特征提取模块，用于提取气象湿度数据集内的数据各时间点的时间依赖特征；
S5：构建使用门控机制的时空特征融合模块用于融合空间依赖特征提取模块和时间依赖特征提取模块的输出特征；
S6：组合上述多个模块生成并训练综合预测模型；
S7：将气象湿度数据集输入已经训练好的综合预测模型并计算气象湿度预测结果。
步骤S1具体包括：
1）缺失平滑处理：
对气象湿度数据集内的短期缺失数据采取平均取值，取数据缺失点前后三天时序数据进行平均平滑；
2）特高值处理：
对由传感器失真所引起的非常规特高值进行处理，将重新特高值点前后五天的数据剔除；
3）归一化处理：
采用归一化方式将有量纲的气象湿度数据集内的数据化为无量纲的纯量时序数据，具体方式如下：
；
式中，为真实气象湿度数据；、分别对应时序数据的最大与最小值；为归一化的时序数据。
步骤S2包括：定义一个有向图结构描述空间采集点的空间关系，N个采集点，各采集点含有F个属性，气象湿度数据集的有向图G可以表示为：
；
式中，湿度传感器采集点结构定义为；其中V为湿度传感器采集点；E为采集点间是否存在空间影响关系；A为基于空间关系表征的邻接矩阵；
气象湿度数据集的图G为，，为历史数据长，为属性通道数目，分别作为时间依赖特征提取模块和空间依赖特征提取模块的输入；
所属图G的图注意力网络的初始邻接矩阵的构建方式为：
；
式中，表示采集点空间相关关系，表征邻接矩阵；表示采集点i和j。
步骤S4包括：将气象湿度数据集内的数据按时间顺序组成时序数据序列并输入时间嵌入层，时间嵌入层将时序序列中的属性数据映射到高维空间，将时序数据特征变换为细粒度特征供权重计算层提取时间特征，时间嵌入层处理计算方法为：
=；
式中，为通过嵌入得到的高维细粒度特征，并作为（Q、K、V）三元组特征的输入项；
权重输出层的处理计算方法为：
；
；
；
；
；
；
式中，、、分别对应Query、Key、Value三元组；表示 Key矩阵的转置；为时间注意力图谱；表示权重计算层的输出；d k 表示的模；分别表示Query、Key、Value三元组对应的权重矩阵；
信息更新层是一个全连接层，负责将权重输出层计算得到的湿度细粒度特征进行融合并映射到与原始输入数据维度相同维度，为后续提出时空特征融合模块提供时间特征数据：
() ；
式中，是与维度相同的输出，；表示全连接层；是时间依赖特征提取模块的最终输出，输出包含细粒度的长期依赖特征。
步骤S3包括：模块内的图注意力网络以气象湿度数据集={, },和湿度传感器采集点邻接矩阵输入，计算得到注意力系数后，依据邻接矩阵判断连通关系，当中心湿度传感器采集点和其一阶邻居湿度传感器采集点无空间影响关系时，将对应的注意力系数置0，注意力矩阵中每个元素的计算方式如下：
；
式中，表示湿度传感器采集点相对于采集点的注意力系数；为连通性表征的邻接矩阵；
得到注意力系数后，基于多头注意力机制，对当前中心湿度传感器采集点的邻域采集点加权求和操作得采集点的更新状态：
= ；
式中，表示湿度传感器采集点的时序数据；表示中心湿度传感器采集点的更新状态；为多头注意力头数；表示向量拼接；表示第头注意力对应的权重矩阵；
考虑到输入数的湿度传感器采集点特征包含多个属性通道，参考多头注意力机制，对时序数据的每一通道使用改进图注意力网络提取空间特征后进行拼接，具体传播过程为：
=，；
式中，表示空间依赖特征提取模块中提取的湿度传感器采集点间空间特征矩阵；表示GAT进行计算时的通道个数；表示中心采集点的在通道上的更新状态；表示向量拼接。
步骤S5包括：
基于标准门控机制传播方式进行改进：
；
式中，g(x)表示门控输出，为激活函数，为输入数据；为偏置项，W为权重矩阵；
改进时空特征融合模块的训练传播方式为：
；
；
；
式中，，分别为时间门控组件和空间门控组件的权重矩阵；是时间依赖特征提取模块、空间依赖特征提取模块的输出；和是对应生成的门控组件；是，是，用于将信息映射到[0,1]；是时空特征融合模块的输出。
步骤S6包括：
综合预测模型作为隐含层，添加输入层和输出层；
其中，输入层主要负责对原始气象湿度数据集内的数据进行增维，数据输入层为一层卷积层，将气象湿度数据集输入数据映射到更高维空间，提供更细粒度特征；
在隐含层的综合预测模型中，处理过的气象湿度数据集内部数据通过空间依赖特征提取模块、时间依赖特征提取模块提取气象湿度时空信息O T ，O S 后经过时空特征融合模块聚合时空特征后得到门控输出O G ；
输出层一层卷积层，负责将时空特征融合模块结果O G 转换为t+1时刻的气象湿度预测结果Y t+1，即输入数据X的下一个时刻t+1的气象湿度预测数据；
根据预测输出Y t+1和对应时间气象湿度数据x t+1计算损失函数，通过反向传播更新所有可训练参数矩阵，并重新预测直至损失收敛或满足早期停止条件，再经过反归一化得到最终的预测序列Y。。
本发明不仅解决了传统时序预测方法忽略数据空间相关性，且存在长期依赖现象导致泛化性和数据预测效果较差的问题，还对如何进行时空数据融合，降低数据损失提出了解决的思路与方法，具有考虑全面，准确度高的优点。
附图说明
图1为所属图G的图注意力网络的初始邻接矩阵图；
图2为基于自注意力的时间依赖特征提取模块框架图；
图3为时序注意力机制映射图；
图4为数据间的空依赖关系图；
图5为内嵌多头图注意力网络原理图；
图6为时空特征融合模块示意图；
图7为本发明逻辑示意图；
图8为综合预测模型示意图；
图9为训练初期的图；
图10为结束训练的图。
实施方式
下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。
本实施例包括以下步骤：
1）数据处理：
（1）缺失平滑处理
实际气象湿度数据随因传感器异常造成数据缺失，影响预测结果。对短期缺失数据采取平均取值，取数据缺失点前后三天时序数据进行平均平滑，以减少数据误差。
（2）特高值处理
实际生产过程中常出现湿度传感器失真现象，可能会出现特高值。对由传感器失真所引起的非常规特高值进行处理，将重新特高值点前后五天的数据剔除，减少由于失真引起的特高值噪音。
（3）归一化处理
由于改进模型基于梯度下降方法进行训练，为加快模型的收敛速度，采用归一化方式将有量纲的气象湿度数据集内的数据化为无量纲的纯量时序数据，具体方式如下：
；
式中，为真实气象湿度数据；、分别对应时序数据的最大与最小值；为归一化的时序数据。
2）初始化图结构：
给定具有N个湿度传感器采集点，各湿度传感器采集点含有F个属性（即空气湿度数据，温度数据，风向数据，风速数据）的有向图G：
；
式中，湿度传感器采集点结构定义为；其中V为湿度传感器采集点；E为采集点间是否存在空间影响关系；A为基于空间关系表征的邻接矩阵；
气象湿度数据集的图G的时序数据表示为，，为历史数据长，为属性通道数目，分别作为时间依赖特征提取模块和空间依赖特征提取模块的输入；
所属图G的图注意力网络的初始邻接矩阵的构建方式为：
；
式中，表示采集点空间相关关系，表征邻接矩阵；表示（湿度传感器）采集点i和j；
依据上述构建过程，对于如图1下所示的气象湿度数据输入图，它的邻接矩阵表示为：
。
3）时间依赖特征提取模块：
为避免出现长期依赖现象，本发明使用自注意力机制计算时间特征，基于自注意力机制的时间特征提取速度较循环神经网络模型速度更快。
如图2所示，考虑到时序数据的长程相关性难以刻画，时间嵌入层将气象湿度数据集中的数据映射到高维空间，将时序数据特征变换为细粒度特征供权重计算层提取时间特征，时间嵌入层处理计算方法为：
=；
式中，为通过嵌入得到的高维细粒度特征，并作为（Q、K、V）三元组特征的输入项。
考虑到长期依赖问题以及时序数据非稳态的问题，权重输出层的核心采用Dot-Product Attention自注意力机制，主要是对数据内部不同数据点间的相关性进行细粒度刻画。由于任意的注意力系数计算仅与自身有关与距离无关，可以有效减少长期依赖问题，计算方式如下：
；
；
；
；
；
；
式中，、、分别对应Query、Key、Value三元组；表示 Key矩阵的转置；为时间注意力图谱；表示权重计算层的输出；d k 表示的模；分别表示Query、Key、Value三元组对应的权重矩阵。
基于Dot-Product Attention的时间依赖特征提取模块的注意力机制映射图如图3示：
信息更新层是一个全连接层，负责将权重输出层计算得到的细粒度特征进行融合并映射到与原始输入数据维度相同维度，为后续提出时空特征融合模块提供时间特征数据：
() ；
式中，是与维度相同的输出，；表示全连接层；是时间依赖特征提取模块的最终输出，输出包含细粒度的长期依赖特征。
4）空间依赖特征提取模块：
使用谱域图卷积网络提取无向图结构表征的空间特性，不可处理气象湿度有向图，而图注意力网络针对不同中心湿度传感器采集点采用不同的图卷积核参与计算，更细粒度的刻画数据间的空依赖关系，如图4所示。
图注意力网络以={, },和邻接矩阵输入，对于湿度传感器采集点i和邻域湿度传感器采集点j注意力相关性系数的方法为：
；
式中，表示湿度传感器采集点对于湿度传感器采集点的影响力；表示向量拼接；为图注意力映射矩阵；为实际为单程前馈神经网络；其内部包含权重向量∈，采用激活时，注意力系数可表示为：
；
计算得到注意力系数后，依据邻接矩阵判断连通关系，当中心湿度传感器采集点和其一阶邻居湿度传感器采集点无连通关系时，将对应的注意力系数置0，注意力矩阵中每个元素的计算方式如下：
；
式中，表示湿度传感器采集点相对于湿度传感器采集点的注意力系数；为连通性表征的邻接矩阵；
基于多头注意力机制，对当前中心湿度传感器采集点的邻域采集点加权求和操作得到采集点的更新状态：
= ；
式中，表示湿度传感器采集点的时序数据；表示中心湿度传感器采集点的更新状态；为多头注意力头数；表示向量拼接；表示第头注意力对应的权重矩阵；
考虑到输入数的湿度传感器采集点特征包含多个通道，参考多头注意力机制，对时序数据的每一通道使用改进图注意力网络提取空间特征后进行拼接，具体传播过程为：
= ，；
式中，表示空间依赖特征提取模块中提取的湿度传感器采集点间的空间特征；表示GAT进行计算时的通道个数；表示中心采集点的在通道上的更新状态；表示向量拼接；
以采集点3为中心采集点，采集点1、2、4为一阶邻居节点，根据式上式图注意力网络计算的自注意力机制如图5所示，三色图结构表示GAT模块进行计算时的通道个数，即=3，节点间的箭头虚线表示节点间的影响，即=2。
基于连通性关系构建的图注意力网络针对不同的中心湿度传感器采集点的邻域湿度传感器采集点分别设立独立的参数矩阵，两两计算注意力系数表征湿度传感器采集点间关联度。对于数据的每个通道特征都进行独立计算，细粒度刻画节点间的空间相关性，因此可以有效刻画气体十分流体流动规律，提高模型预测精度。
5）时空特征融合模块：
标准门控机制传播方式：
；
式中，g(x)表示门控输出，为激活函数，为输入数据；为偏置项，为权重矩阵。
时序数据结构复杂，对于同一数据而言其他数据对其施加的空间影响和其自己的时序自相关性对于最终预测结果的影响不尽相同，例如有些气象湿度数据采集点地形封闭很少收到其他气象湿度数据采集点的影响，这时时序自相关性是影响预测精度的主要因素，需着重考虑时间依赖特征；对于有些气象湿度数据采集点因地形开阔极易收到其他节点水分逸散的影响，此时空间依赖特征占主要因素。因此需要区分对待时间特征和空间特征，应对时空特征分配不同的权重开展时空特征融合。
针对上述问题，基于门控机制设计新的时空特征融合模块，构建2个门控组件分别学习气象湿度数据时空特征对于预测的重要性程度，并依据重要性程度自适应分配融合权重。整体架构设计如图6所示。
图中的绿色部分为时空特征融合模块，新的门控组件G T 、G S 通过权重矩阵 动态学习时间特征O T 和和空间特征O S 。门控组件输出介于[0,1]之间，用于表示气象湿度数据时间和空间依赖特征提取模块的整合程度。基于标准门控机制传播方式改进时空特征融合模块的训练传播方式为：
；
；
；
式中，，分别为时间门控组件和空间门控组件的权重矩阵；是时间依赖特征提取模块、空间依赖特征提取模块的输出；和是对应生成的门控组件；是，是，用于将信息映射到[0,1]；是时空特征融合模块的输出。
6）组合并训练综合预测模型
本发明所设计的综合预测模型作为隐含层，添加输入层和输出层，假设有个湿度传感器采集点即组数据，只考虑空气湿度数据即对应属性数为1，空气湿度数据历史数据长度为10时，使用本发明进行预测框架图7所示。
其中，输入层主要负责对原始空气湿度数据进行增维，数据输入层是一个卷积，将输入数据映射到更高维空间，提供更细粒度空气湿度时序相关及空间相关特征。
隐含层单元是本发明提出的综合预测模型，在综合预测模型内部数据通过空间、时间依赖特征提取模块提取空气湿度时空信息，后经过时空特征融合模块聚合时空特征后输出 ，单元如图8所示。
输出层为卷积层，负责将门控融合块气象湿度结果转换为时刻的预测结果，即输入数据的下一个时刻的气象湿度预测数据。
训练模块负责把握优化方向：根据预测的气象湿度输出和对应气象湿度数据计算损失函数，通过反向传播更新所有可训练参数矩阵，并重新预测直至损失收敛或满足早期停止条件，并经过反归一化后得到最终的预测序列。
以气象湿度数据集中的3个数据组作为实施对象，针对各节点组采用本发明提出的进行实验，数据编码依次为TK648、TK744、TK664、T606、TK649。
实施环境：
以气象湿度数据集为实施对象，采用本发明提出的计算模型进行实验，分析空间依赖特征提取模块中GAT的注意力映射矩阵以及不同训练时期的门控融合块门控组件权重矩阵变化程度，对比新模型与LSTM，GRU，GCN，GAT，STTNS等传统模型的性能。上述LSTM，GRU，GCN，GAT，STTNS均是本领域常用的预测模型。
所有实施例均基于Pytorch开源深度学习框架，具体环境下表所示：
环境配置表：
选择平均绝对误差MAE和对称平均绝对百分比误差MAPE作为评估模型性能的误差指标，使用均方根误差RMSE作为模型训练的损失函数，训练时依据各批量计算所得的RMSE值进行反向传播操作。度量指标定义如下：
；
；
；
式中，是样本总数；是研究提出模型的预测值；是S80单元对应节点组的真实值，其中RMSE衡量了样本中生产指标预测值和真实值的偏差程度，RMSE值越小，预测结果和真实值越接近，模型效果越好。
实施例主要分为2部分：
1）矩阵分析：空间依赖特征提取模块中的GAT网络通过注意力映射矩阵计算注意力系数，为证明这两者的有效性，对训练前期和后期的GAT注意力权重矩阵的权重变化做出分析。
为刻画空间依赖特征提取模块GAT网络对流体运动规律的效果，研究以TK634为例，对GAT内部的注意力映射矩阵及GAT网络注意力图谱开展分析。由于维度较高、不易衡量特征向量的变化趋势，使用频率直方图描述训练过程中权重矩阵的变化，其中横坐标为注意力映射矩阵权重矩阵，纵坐标为权重矩阵值的频率。
图9与图10分别为训练初期和结束训练的频率分布直方图。对比图9、图10发现时间门控权重矩阵早期部分权重值近似正态分布；中间最大参数量接近2500，包含少量特高值参数项；后期权重系数参数向均分布在-0.2至0.15之间，且分布数量大多介于400到600之间，不包含特高参数项。说明在训练过程中改变了权重系数，通过学习数据特征消除了异常特高值的影响。
从图形整体变化趋势上看，图10的权重参数均与分布于在[-0.2,0.15]参数空间内，相对于图9，图10在整体参数空间内分布更加均衡，说明在训练过程中能将参数均匀分布到整个参数空间，挖掘整个参数空间的隐匿特征，提高特征提取能力。
2）对比实验：将本发明的模型与传统循环神经网络模型（LSTM，GRU）、传统图卷积模型（GCN，GAT，STTNS）进行对比，在相同的软硬件条件下分别对同样的数据集进行训练、生产预测，比较不同网络的在各预测指标下的表现。
实施例结果如下：
将本发明提出的综合模型( Spatial-Temporal Graph Attention GateNetworks)缩写为STGAN，结果如下表所示：其中STGAN部分表示添加STGAN模型后所有模型的最优效果。
在以TK606为例，该采集点的预测值与真实值对比，LSTM、GRU模型对于突变点拟合程度较好，但由于未考虑空间因素，在平稳上升或下降段出现较多误判，整体精度弱于其他模型；本发明提出的STGAN模型效果最优，相比STTNS整体趋势与真实值更加接近，预测精度更高。
结果表明本发明提出的模型对比传统模型预测结果均相对较好。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (7)

1.一种关联时空关系的时序数据预测方法，其特征在于：包括以下步骤：
S1：构建所需气象湿度数据集，对气象湿度数据集内的数据进行缺失平滑处理、特高值处理、归一化处理；
S2：根据气象湿度数据集内的数据各采集点间是否存在空间相关性建立邻接矩阵；
S3：使用邻接矩阵构建基于图注意力网络的空间依赖特征提取模块，用于提取气象湿度数据集内的数据各采集点间的空间依赖特征；
S4：使用邻接矩阵构建基于自注意力机制的时间依赖特征提取模块，用于提取气象湿度数据集内的数据各时间点的时间依赖特征；
S5：构建使用门控机制的时空特征融合模块用于融合空间依赖特征提取模块和时间依赖特征提取模块的输出特征；
S6：组合上述多个模块生成并训练综合预测模型；
S7：将气象湿度数据集输入已经训练好的综合预测模型并计算气象湿度预测结果。
2.根据权利要求1所述的一种关联时空关系的时序数据预测方法，其特征在于：步骤S1具体包括：
1）缺失平滑处理：
对气象湿度数据集内的短期缺失数据采取平均取值，取数据缺失点前后三天时序数据进行平均平滑；
2）特高值处理：
对由传感器失真所引起的非常规特高值进行处理，将重新特高值点前后五天的数据剔除；
3）归一化处理：
采用归一化方式将有量纲的气象湿度数据集内的数据化为无量纲的纯量时序数据，具体方式如下：
；
式中，为真实气象湿度数据；、分别对应时序数据的最大与最小值；为归一化的时序数据。
3.根据权利要求1所述的一种关联时空关系的时序数据预测方法，其特征在于：步骤S2包括：定义一个有向图结构描述空间采集点的空间关系，N个采集点，各采集点含有F个属性，气象湿度数据集的有向图G可以表示为：
；
式中，湿度传感器采集点结构定义为；其中V为湿度传感器采集点；E为采集点间是否存在空间影响关系；A为基于空间关系表征的邻接矩阵；
气象湿度数据集的图G为，，为历史数据长，为属性通道数目，分别作为时间依赖特征提取模块和空间依赖特征提取模块的输入；
所属图G的图注意力网络的初始邻接矩阵的构建方式为：
；
式中，表示采集点空间相关关系，表征邻接矩阵；表示采集点i和j。
4.根据权利要求3所述的一种关联时空关系的时序数据预测方法，其特征在于：步骤S4包括：将气象湿度数据集内的数据按时间顺序组成时序数据序列并输入时间嵌入层，时间嵌入层将时序序列中的属性数据映射到高维空间，将时序数据特征变换为细粒度特征供权重计算层提取时间特征，时间嵌入层处理计算方法为：
=；
式中，为通过嵌入得到的高维细粒度特征，并作为（Q、K、V）三元组特征的输入项；
权重输出层的处理计算方法为：
；
；
；
；
；
；
式中，、、分别对应Query、Key、Value三元组；表示 Key矩阵的转置；为时间注意力图谱；表示权重计算层的输出；d k 表示的模；分别表示Query、Key、Value三元组对应的权重矩阵；
信息更新层是一个全连接层，负责将权重输出层计算得到的湿度细粒度特征进行融合并映射到与原始输入数据维度相同维度，为后续提出时空特征融合模块提供时间特征数据：
() ；
式中，是与维度相同的输出，；表示全连接层；是时间依赖特征提取模块的最终输出，输出包含细粒度的长期依赖特征。
5.根据权利要求3所述的一种关联时空关系的时序数据预测方法，其特征在于：步骤S3包括：模块内的图注意力网络以气象湿度数据集={, },和湿度传感器采集点邻接矩阵输入，计算得到注意力系数后，依据邻接矩阵判断连通关系，当中心湿度传感器采集点和其一阶邻居湿度传感器采集点无空间影响关系时，将对应的注意力系数置0，注意力矩阵中每个元素的计算方式如下：；
式中，表示湿度传感器采集点相对于采集点的注意力系数；为连通性表征的邻接矩阵；
得到注意力系数后，基于多头注意力机制，对当前中心湿度传感器采集点的邻域采集点加权求和操作得采集点的更新状态：
= ；
式中，表示湿度传感器采集点的时序数据；表示中心湿度传感器采集点的更新状态；为多头注意力头数；表示向量拼接；表示第头注意力对应的权重矩阵；
考虑到输入数的湿度传感器采集点特征包含多个属性通道，参考多头注意力机制，对时序数据的每一通道使用改进图注意力网络提取空间特征后进行拼接，具体传播过程为：
=，；
式中，表示空间依赖特征提取模块中提取的湿度传感器采集点间空间特征矩阵；表示GAT进行计算时的通道个数；表示中心采集点的在通道上的更新状态；表示向量拼接。
6.根据权利要求1所述的一种关联时空关系的时序数据预测方法，其特征在于：步骤S5包括：
基于标准门控机制传播方式进行改进：
；
式中，g(x)表示门控输出，为激活函数，为输入数据；为偏置项，W为权重矩阵；
改进时空特征融合模块的训练传播方式为：
；
；
；
式中，，分别为时间门控组件和空间门控组件的权重矩阵；是时间依赖特征提取模块、空间依赖特征提取模块的输出；和是对应生成的门控组件；是，是，用于将信息映射到[0,1]；是时空特征融合模块的输出。
7.根据权利要求6所述的一种关联时空关系的时序数据预测方法，其特征在于：步骤S6包括：
综合预测模型作为隐含层，添加输入层和输出层；
其中，输入层主要负责对原始气象湿度数据集内的数据进行增维，数据输入层为一层卷积层，将气象湿度数据集输入数据映射到更高维空间，提供更细粒度特征；
在隐含层的综合预测模型中，处理过的气象湿度数据集内部数据通过空间依赖特征提取模块、时间依赖特征提取模块提取气象湿度时空信息O T ，O S 后经过时空特征融合模块聚合时空特征后得到门控输出O G ；
输出层一层卷积层，负责将时空特征融合模块结果O G 转换为t+1时刻的气象湿度预测结果Y t+1，即输入数据X的下一个时刻t+1的气象湿度预测数据；
根据预测输出Y t+1和对应时间气象湿度数据x t+1计算损失函数，通过反向传播更新所有可训练参数矩阵，并重新预测直至损失收敛或满足早期停止条件，再经过反归一化得到最终的预测序列Y。
CN202311394688.1A 2023-10-26 2023-10-26 一种关联时空关系的时序数据预测方法 Active CN117668743B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311394688.1A CN117668743B (zh) 2023-10-26 2023-10-26 一种关联时空关系的时序数据预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311394688.1A CN117668743B (zh) 2023-10-26 2023-10-26 一种关联时空关系的时序数据预测方法

Publications (2)

Publication Number Publication Date
CN117668743A true CN117668743A (zh) 2024-03-08
CN117668743B CN117668743B (zh) 2024-09-27

Family

ID=90083431

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311394688.1A Active CN117668743B (zh) 2023-10-26 2023-10-26 一种关联时空关系的时序数据预测方法

Country Status (1)

Country Link
CN (1) CN117668743B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765403A (zh) * 2024-02-22 2024-03-26 山西余得水农牧有限公司 提高作物抗倒伏能力和籽粒品质的施肥方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807616A (zh) * 2021-10-22 2021-12-17 重庆理工大学 基于时空注意力和异构图卷积网络的信息扩散预测系统
CN115828990A (zh) * 2022-11-03 2023-03-21 辽宁大学 融合自适应图扩散卷积网络的时空图节点属性预测方法
WO2023123625A1 (zh) * 2021-12-31 2023-07-06 中国科学院深圳先进技术研究院 一种城市疫情时空预测方法、系统、终端以及存储介质
CN116778709A (zh) * 2023-05-11 2023-09-19 上海电力大学 一种基于注意力时空图卷积网络交通流速度的预测方法
CN116822382A (zh) * 2023-08-30 2023-09-29 中国海洋大学 基于时空多重特性图卷积的海表面温度预测方法及网络
CN116894384A (zh) * 2023-07-11 2023-10-17 湖北工业大学 一种多风机风速时空预测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807616A (zh) * 2021-10-22 2021-12-17 重庆理工大学 基于时空注意力和异构图卷积网络的信息扩散预测系统
WO2023123625A1 (zh) * 2021-12-31 2023-07-06 中国科学院深圳先进技术研究院 一种城市疫情时空预测方法、系统、终端以及存储介质
CN115828990A (zh) * 2022-11-03 2023-03-21 辽宁大学 融合自适应图扩散卷积网络的时空图节点属性预测方法
CN116778709A (zh) * 2023-05-11 2023-09-19 上海电力大学 一种基于注意力时空图卷积网络交通流速度的预测方法
CN116894384A (zh) * 2023-07-11 2023-10-17 湖北工业大学 一种多风机风速时空预测方法及系统
CN116822382A (zh) * 2023-08-30 2023-09-29 中国海洋大学 基于时空多重特性图卷积的海表面温度预测方法及网络

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117765403A (zh) * 2024-02-22 2024-03-26 山西余得水农牧有限公司 提高作物抗倒伏能力和籽粒品质的施肥方法
CN117765403B (zh) * 2024-02-22 2024-04-30 山西余得水农牧有限公司 提高作物抗倒伏能力和籽粒品质的施肥方法

Also Published As

Publication number Publication date
CN117668743B (zh) 2024-09-27

Similar Documents

Publication Publication Date Title
CN113053115B (zh) 一种基于多尺度图卷积网络模型的交通预测方法
CN108900346B (zh) 基于lstm网络的无线网络流量预测方法
CN112988723B (zh) 一种基于空间自注意力图卷积循环神经网络的交通数据修复方法
CN113158543B (zh) 一种软件定义网络性能智能预测方法
CN109508360B (zh) 一种基于元胞自动机的地理多元流数据时空自相关分析方法
CN112101480B (zh) 一种多变量聚类与融合的时间序列组合预测方法
CN113313947B (zh) 短期交通预测图卷积网络的路况评估方法
CN110851782A (zh) 一种基于轻量级时空深度学习模型的网络流量预测方法
CN114818515A (zh) 一种基于自注意力机制和图卷积网络的多维时序预测方法
CN117668743B (zh) 一种关联时空关系的时序数据预测方法
CN106656357B (zh) 一种工频通信信道状态评估系统和方法
CN113554466A (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN109242150A (zh) 一种电网可靠性预测方法
CN113516304A (zh) 基于时空图网络的区域污染物时空联合预测方法及装置
CN113947182A (zh) 基于双阶段堆叠图卷积网络的交通流预测模型构建方法
CN113128666A (zh) 基于Mo-S-LSTMs模型的时间序列多步预测方法
CN109784562B (zh) 一种基于大数据时空聚类的智慧电网电力负荷预测方法
CN117636633B (zh) 一种基于时空感知混合图的交通流量预测方法
CN117688362A (zh) 基于多元数据特征增强的光伏功率区间预测方法及装置
CN116975642A (zh) 一种使用动态多图融合进行交通流量预测的方法
CN116578858A (zh) 基于图神经网络的空压机故障预测与健康度评价方法及系统
CN116094758A (zh) 一种大规模网络流量采集方法及系统
CN113469331B (zh) 基于全局和局部时空图卷积的车辆尾气预测方法及系统
CN114943328A (zh) 基于bp神经网络非线性组合的sarima-gru时序预测模型
CN114254214A (zh) 一种基于时空层次化网络的交通预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant