CN112862190A - 一种基于改进Seq2Seq框架的水质时间序列预测方法 - Google Patents

一种基于改进Seq2Seq框架的水质时间序列预测方法 Download PDF

Info

Publication number
CN112862190A
CN112862190A CN202110174054.XA CN202110174054A CN112862190A CN 112862190 A CN112862190 A CN 112862190A CN 202110174054 A CN202110174054 A CN 202110174054A CN 112862190 A CN112862190 A CN 112862190A
Authority
CN
China
Prior art keywords
model
water quality
covariate
prediction
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110174054.XA
Other languages
English (en)
Other versions
CN112862190B (zh
Inventor
许建龙
王琨
徐卓
林澈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shantou University
Original Assignee
Shantou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shantou University filed Critical Shantou University
Priority to CN202110174054.XA priority Critical patent/CN112862190B/zh
Publication of CN112862190A publication Critical patent/CN112862190A/zh
Application granted granted Critical
Publication of CN112862190B publication Critical patent/CN112862190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18—Water
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Chemical & Material Sciences (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Game Theory and Decision Science (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例公开了一种基于改进Seq2Seq框架的水质时间序列预测方法，通过采用改进的seq2seq架构，构造的模型对时间序列数据有着不错的预测性能，且可以自由地设定已知时间步与预测时间步，使用编码和解码的过程使得预测长度的灵活可变。采用本发明，解决水质预测问题中的利用协变量来预测单变量的关键问题，将GRU模型作为编码器和解码器，并集成FM模型，从而解决数据的高度稀疏与高维特征交互问题，解决了现有技术中水质预测模型没有解决的技术难题。

Description

一种基于改进Seq2Seq框架的水质时间序列预测方法
技术领域
本发明涉及一种水质检测方法，尤其涉及一种基于改进Seq2Seq框架的水质时间序列预测方法。
背景技术
近年来随着工业水平的不断上升，工厂的数量也随着不断上涨，部分工厂对废弃材料与废水的不当处理是导致各地区水域污染的最大原因，区域水质一旦受到污染，周边的动植物的生存环境也将受到严重威胁，最终将危及到整个水域的生态。因此，对于水环境的治理工作变得越发重要，而在水质环境的治理中，水质数据的预测扮演着举足轻重的角色，若能在污染发生之前对其进行定向的处理，将使得水质的治理做到有的放矢，事半功倍。然而，水质数据的预测面临的挑战非常多，如：(1)水质数据中包含的指标非常多。根据国家环保部门的规定，仅基本污染物就包含24个指标，加上各种化学元素与有机化合物等，合计109种不同指标。指标的数量越多，对预测模型的并行运算的要求就越高。(2)水质数据的采样频率不固定。由于不同的监测指标具有不同的化学属性，因此监测站对不同的监测指标采样的频率不同，其中包含每小时监测、每日监测、每月监测等。采样频率的多样化将给数据的处理与模型的构建带来不同程度的麻烦。(3)水质数据的指标并非相互独立。水质数据的指标有上百余种，然而不同指标之间并非一定相互独立，而可能互相有着复杂的关联性如深层的因果关系等。如无法准确地挖掘到指标之间的相互影响的关系，水质预测模型的精度将会大打折扣。(4)水质数据的时间跨度很长。由于环境治理并非一个短期的任务，需要长年累月对水质进行处理与保护，这将导致水质监测数据的时间跨度非常大，如何使得多年以前的水质监测数据依然能对未来水质的预测产生影响也将成为一个在模型构建中非常关键的问题。
近年来，水质预测领域被更多的学者所注意到，针对以上提出的问题与传统水质模型的不足，学者们提出了许多不同类型的算法模型。
统计学与机器学习方法：
Edwin T.Jaynes等人在1982年提出了经典的Autoregressive IntegratedMoving Average model(ARIMA)模型，采用差分与滑动平均的自回归方法对时间序列进行预测。C.V.Cardoso和G.L.Cruz提出了一个集成ARIMA与Artificia lNeural Network(ANN)的时间序列分析模型，由于ARIMA无法提取非线性特征之间的交互，而ANN神经网络弥补了这一缺点，因此实验结果较传统ARIMA有较大提升。Tianliang Li和他的团队将supportvector machine(SVM)结合混沌理论，根据互信息和假近邻法分别计算了相位空间重建的延迟和嵌入维数参数。此模型的精度在洛伦兹混沌时间序列上得到证明。Mohsen Behzad等学者对巴赫蒂亚里大坝的水库流量数据进行分析，证明了在参数选择最优的情况下，SVM比经典的ANN及ANN－Genetic Algorithms(ANN－GA)预测精度要高。Jalal Shiri等人使用Extreme Learning Machines(ELM)的方式对Urima Lake的水位序列数据进行预测，实验表明ELM比Genetic Programming(GP)与ANN的性能更强，且GP在精度几乎不受影响的情况下，训练时间远远低于传统的前馈神经网络。Jun－He Yang等学者以台湾石门水库监测站提供的水位数据为数据集，使用基于Random Forest的时间序列分析模型进行水位预测，实验证明在数据完整的情况下，随机森林比传统的统计学模型的预测精度要更高。郭涛等人将SVM改进为least squares support vector machine(LSSVM)，此模型在大多数时间内都可以提升SVM的预测精度，此方案在长江的日水位预报中得到了应用。然而，传统统计学方法通常无法获取许多潜在的特征关系；而机器学习的方案往往需要在前期进行复杂的特征工作，在训练之前我们就必须找到非常重要的特征，而这需要大量实际经验与特定领域知识的学者来人工实现，这是目前机器学习在数据分析方向上的瓶颈。
除了传统的统计学与机器学习的方法，近几年随着计算机计算能力的增强，Centra lProcessing Unit(CPU)与Graphics Processing Unit(GPU)的高速发展，深度学习开始在时间序列分析中大放异彩，在时间序列预测问题上逐渐超越并取代传统机器学习的地位。
深度学习方法：
肖勤坤等人通过结合Long Short－Term Memory(LSTM)与贝叶斯图形推理提出了一个名为Long－Short Term Memory and Dynamic Bayesian Network(LSTM－DBN)的时间序列分析模型，通过最佳估计原理与递归算法训练参数，提升了LSTM的精度。GentaIndraWinata等学者在Encoder－Decoder模型中引入了Attention机制，旨在使模型对时间序列的某些目标区域投入更多的注意力资源以模拟生物观察的内部过程，在Attention机制中，模型会在Encoder时对更加重要的时序部分施以更大的权重参数从而使模型的输出更加精准。另外该文也论证了双向LSTM相较于单向LSTM在时间序列分析上具有更高的准确率。Qiangqiang Ye与他的团队提出使用基于(Recurrent neural net work)RNN的变体：长短期记忆模型即LSTM来实现在对跨度较长的水质数据序列进行预测时，仍能从较早期的数据中提取信息的能力。QuanXiDong等学者提出了一个叫做SG－ED－LSTM的模型，模型采用嵌入LSTM cel l的Encoder－Decoder框架以实现多步预测，在数据预处理阶段使用Savitzky－Golay(SG)Filter对原始数据进行过滤，此方法可提高时间序列的平滑度并减少噪声干扰同时保持时间序列的形状和长度。Geng Tang等人提出了一种新颖的思想，使用变分模态分解(VMD)将复杂的风速时间序列分解为更简化的模式，再结合GRU对风速区间进行预测，为时间序列分析中数据的处理方法提供了新的方向。Rahim Barzegar团队提出了一个state of the art的方法将Convolutional Neural Net work(CNN)与LSTM相结合，此hybrid CNN－LSTM模型将水质数据序列输入进卷积层进行特征提取，然后经过flattinglayer再作为LSTM的输入得到target的预测值。经过实验对比，此方案集成了CNN与RNN两个经典模型的优势，CNN层用于了解输入的顺序特征，而较低的LSTM层通过处理预测目标值的远程依赖关系来整合这些功能。Mingyang Pan等人提出来一个CNN－GRU模型用来对Yangtze River的水位情况进行预测，GRU在LSTM的基础上减少了门控的数量，也即减少了参数的数量，可以实现在不影响精度的前提下，大幅降低运算时间，相比LSTM要更加高效。以上两个方案的缺陷是CNN对稀疏数据十分敏感，而现实世界中的数据集往往并不完美，容易出现各种空值或奇异值，这会严重影响CNN获取特征信息的能力。
发明内容
本发明实施例所要解决的技术问题在于，提供一种基于改进Seq2Seq框架的水质时间序列预测方法。可解决数据的高度稀疏与高维特征交互问题。
为了解决上述技术问题，本发明实施例提供了一种基于改进Seq2Seq框架的水质时间序列预测方法，包括以下步骤：
S1：对协变量x0到
Figure BDA0002939595890000031
及目标真实值l做线性升维变换，使其维度与超参数隐藏层宽度相同，并将线性升维变换后的协变量x1输入进FM模型以获取x1的多维特征信息f1；
S2：将所述多维特征信息f1、线性升维变换后的协变量x1、线性变换后的上个时间步的目标真实值l1及GRU的上个时间步的输出连接起来后输入GRU模型，重复至编码步骤结束
S3：对时间步的协变量
Figure BDA0002939595890000032
到xT做线性升维变换，并将此阶段对协变量做线性升维变换后的结果x2输入到所述FM模型中，以获得多维特征信息f2，将所述x2、编码阶段的输出对解码阶段的输出计算出两份匹配情况的评估分数并分别加权求和获得两份注意力向量；
S4：将所述两份注意力向量与线性变换处理后的协变量x2，多维特征信息f2及隐藏层向量连接起来一起输入GRU解码器获得预测值
Figure BDA0002939595890000033
到
Figure BDA0002939595890000034
S5：将所述预测值
Figure BDA0002939595890000035
到
Figure BDA0002939595890000036
与实际的目标值进行误差分析与参数调整，使用训练好模型以相同编码解码方式对未来时间步的数值进行预测。
其中，所述FM模型为
Figure BDA0002939595890000041
其中x表示协变量，w0表示偏置常数项，wi表示xi的参数，wij表示二阶交叉项的参数。
进一步地，还包括使用辅助矩阵V对所述二阶交叉项的参数wij进行估计的步骤，包括建立维度为(n＊k)的辅助矩阵V，将辅助矩阵中的每个参数随机进行初始化，通过所述步骤S1－S5进行预测，进而使用批量梯度下降的方法不断优化辅助矩阵V的辅助参数。
其中，所述二阶交叉项分解后为
Figure BDA0002939595890000042
其中VT表示V矩阵的转置矩阵，
Figure BDA0002939595890000043
vi表示行向量vi1，vi2...，vik。
实施本发明实施例，具有如下有益效果：本发明使用了Seq2Seq的循环神经网络框架，以解决水质预测问题中的利用协变量来预测单变量的关键问题，将GRU模型作为编码器和解码器，并集成FM模型，从而解决数据的高度稀疏与高维特征交互问题，解决了现有技术中水质预测模型没有解决的技术难题。
附图说明
图1是有双重注意力的Seq2Seq框架示意图；
图2是GRU模型的外部输入输出结构示意图；
图3是双重注意力(dual－attention)的获取示意图；
图4是FM－GRU模型框架示意图；
图5是FM模块中参数K对实验结果的影响的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。
本发明实施例的一种基于改进Seq2Seq框架的水质时间序列预测方法，通过以下三个主要阶段进行。
编码阶段：
首先对协变量x0到
Figure BDA0002939595890000051
及目标真实值l做线性升维变换，使其维度与用户自定义的超参数隐藏层宽度相同，并将线性升维变换后的协变量x1输入进FM模型以获取x1的多维特征信息f1，然后将此多维特征信息f1、线性变换后的协变量x1、线性变换后的上个时间步的目标真实值l1及GRU的上个时间步的输出(初始值为0)连接后输入GRU模型。
重复上述过程直到编码步骤结束。
解码阶段：
首先通过与编码阶段相同的方式对解码阶段的时间步的协变量
Figure BDA0002939595890000052
到xT做线性升维变换，并将此阶段对协变量做线性升维变换后的结果x2输入到FM模型中，以获得多维特征信息f2，
通过线性变换后的协变量x2、编码阶段的输出(output隐藏层的输出)对解码阶段的输出(初始值为编码阶段最后一层在最后一个时间步上的输出)计算出两份匹配情况的评估分数并分别加权求和获得两份注意力向量。
这两份注意力向量与线性变换处理后的协变量x2，多维特征信息f2及隐藏层向量(初始值为编码阶段最后输出的隐藏层向量)连接起来一起输入进GRU解码器从而获取预测值
Figure BDA0002939595890000053
到
Figure BDA0002939595890000054
预测阶段：
使用解码阶段获得的预测值
Figure BDA0002939595890000055
到
Figure BDA0002939595890000056
与实际的目标值进行误差分析与参数调整，即：使用Mean Squared Errors(MSE)损失函数计算训练集上预测值与真实值之间的误差，通过梯度下降法对上述模型中各参数进行调整优化，重复上述步骤训练epochs(用户定义)次。最后使用训练好模型以相同编码解码方式对未来时间步的数值进行预测。
以下对上述FM模型进行实施说明。
FM模型表示为
Figure BDA0002939595890000057
其中，x表示协变量，w0表示偏置常数项，wi表示xi的参数，wij表示二阶交叉项的参数。
此模型中的参数数目为1+n+n(n－1)/2，在高阶组合特征的任意两个参数之间互相独立，这在实际应用中将导致一个严重的问题，即现实中获取到的数据往往不是完美的，数据往往会出现部分缺失，由于交叉项对缺失的数据十分敏感，这将导致参数无法正常训练，在现实数据集中此模型的性能将会受到严重影响。因此引入矩阵分解的思想，对交叉项的参数wij进行建模，引入辅助矩阵V来估计wij。
具体实现方法为：建立维度为(n＊k)的辅助矩阵V，将辅助矩阵中的每个参数随机进行初始化，将此矩阵分解问题转化为一个参数优化问题，通过本发明的整体框架进行预测，进而使用批量梯度下降的方法不断优化V矩阵中的辅助参数，直到辅助参数矩阵中的辅助参数尽可能地拟合真实值。
本发明实施例通过设置epochs超参数，作用为设置模型对全体参数的训练次数，随着epochs设置得越大，模型中的参数将被更多次地优化，模型的预测精度初期一般会上升，而后将不再影响精度，但是这将导致训练时间的增加。因此这是一个多次试验通过经验得到的超参数，没有具体标准，模型参数的更新次数只与此超参数epochs有关。
分解后的交叉项为
Figure BDA0002939595890000061
(其中VT表示V矩阵的转置矩阵)
其中
Figure BDA0002939595890000062
v表示辅助参数，在模型训练前将随机赋值，通过训练来优化此参数，加粗的vi表示行向量(vi1，vi2...，vik)。
则
Figure BDA0002939595890000063
其中
Figure BDA0002939595890000064
表示待估计的参数wij，V表示辅助矩阵。
代入上述交叉项，得：
Figure BDA0002939595890000065
其中＜，＞表示点积。
以上模型的交叉项的时间复杂度为O(Kn2)，但是通过数学方法，可以将以上模型进行优化，优化模型表达式为：
Figure BDA0002939595890000066
其中加粗的v表示组成辅助矩阵的辅助向量，K为超参数，小写的v表示每个辅助参数。
显然，优化后的模型复杂度为O(Kn)。
以下对改进的Seq2Seq进行说明。
传统的Seq2Seq(sequence to sequence)框架构造的模型对时间序列数据有着不错的预测性能，且可以自由地设定已知时间步与预测时间步。但是对于长时间跨度的时间序列容易出现两种长程信息丢失的情况：
编码时时间步较早的数据信息由于距句末语义向量(cell state)较远，语义向量中易丢失它们的信息。
解码时的预设时间步如果较长，容易出现解码初期的协变量数据信息在多个时间步后丢失的情况。
这些容易丢失的长程的信息依然是十分重要的，因此本发明在改进的Seq2Seq框架中加入了双重注意力(dual－attention)，如图1所示，带有双重注意力的Seq2Seq框架中，通过对编码阶段各个时间步的输出(output)施加不同的权重、对解码阶段各个协变量x施加不同的权重，实现对时间步与协变量的双重注意力。
图2中，左边部分为编码部分，编码器h采用GRU模型，其表达式为：
Figure BDA0002939595890000071
其中，每个时间步的输入为上一时间步的隐藏层h与已知的目标值z、当前时间步的协变量x和FM模型的输出f，
Figure BDA0002939595890000072
表示t0－1时刻GRU模型的输出，
Figure BDA0002939595890000073
表示t0－1的隐藏层。
GRU模型是一种循环自回归神经网络，可以实现与LSTM模型相同的性能的情况下，减少模型的参数，从而降低模型的运行时间。图2为GRU的基本外部输入输出结构，本发明对其进行了一些改进，将本时间步的FM模型的输出向量及上一时刻的目标值与协变量x同时输入进GRU模型中，并对GRU模型的神经网络宽度做相应的调整。
图1的右边这一部分为解码部分，每个时间步的输入为本时间步的协变量x、FM模型的输出f及两部分关于注意力的向量，分别为对训练阶段的输出(output)施加的注意力与对解码阶段输入的协变量x施加的注意力，即
Figure BDA0002939595890000074
为保持一致性，本发明依然使用GRU模型作为解码器。
图3为改进的Seq2Seq模型中双重注意力的获取方式，此图以整个解码过程中的三个时间步为例，并以t0+1作为当前时间步详细描述了双重注意力的实现方法。
双重注意力的计算步骤如下：
在t0+1时间步，取t0时间步的输出h分别与解码阶段的所有协变量x和编码阶段所有时间步的最后一层的输出做相关性评估，此处的相关性评估有多种方式可选，如使用余弦相似度或建立神经网络等，本模型采用的方法为先对两个待评估的张量做线性变换，然后使用两个张量做矩阵乘法。
对矩阵相乘的结果输入到激活函数(归一化指数函数)，获取两份评估分数。
使用评估分数作为权重对所有协变量x与编码阶段的所有输出(output)做加权求和，即得到
Figure BDA0002939595890000081
与
Figure BDA0002939595890000082
与
Figure BDA0002939595890000083
将作为t0+1时间步的模型的输入。
本发明的总体框架FM－GRU如图4所示。其中包含FM模块与改进的Seq2Seq模块之间的关系与训练数据及验证数据的流向，x1到
Figure BDA0002939595890000084
为编码阶段的协变量输入，
Figure BDA0002939595890000085
到xT为解码阶段的协变量输入，
Figure BDA0002939595890000086
到
Figure BDA0002939595890000087
为解码阶段对应的预测值。
在一个实施例中，已知一段时间(假设为10天)的水质数据(假设包含5个水质指标)，将这五个水质指标中的某一个作为预测目标，剩余四个指标作为用于预测的原材料(称为协变量)。
本模型采用改进的seq2seq架构，使用编码和解码的过程使得预测长度的灵活可变。详细过程为：使用10天中q前6天作为编码过程，使用剩余4天作为解码过程，通过前6天的五个指标的数据来编码，解码时使用前6天的编码信息与后4天的4个协变量水质指标作为材料来解码预测后4天的另一个指标的数据。
本发明方法具有如下效果：
1.本方法在多步时间序列预测问题中启发式地引入了因子分解机的思想，解决了传统人工特种工程繁杂费时的缺点，为多步时间序列预测问题提供了新的思路，并用消融实验验证了因子分解机对本发明的性能提升。如表1，在本方法移除FM模块后，预测误差(RMSE指标)上升约15％。
表1：
Figure BDA0002939595890000088
误差评估指标分别为1).绝对平均误差(MAE)；2).均方误差(MSE)；3).均方根误差(RMSE)；4).标准化均方根误差(NRMSE)。
2.本方法利用因子分解机提取特征间的交互关系，解决了现实世界中水质数据集的稀疏导致的训练不充分、预测不准确问题。
3.本方法利用因子分解机获取数据中潜在的高维特征信息，增强模型的预测性能。
4.本方法在Seq2Seq框架中加入了双重注意力(dual－attention)，以保证时间跨度较长的长程数据信息不丢失，解决了多步时间序列预测中常见的分心问题，提升了预测准确度。
5.本方法联合因子分解机模型与Seq2Seq模型同步进行训练，从而使参数的训练高效而准确。
6.如表2，本方法在真实水质数据数据集中，能够达到优于其他方法的精度。其中，相较机器学习方法XGBoost精度提升约2倍，相较深度学习方法FC－LSTM精度提升约2.5倍。
表2：在某水质时间序列数据集上的各种预测方法的预测误差对比，在表中，本方法被命名为FM－GRU方法。
模型/指标 MAE MSE RMSE NRMSE
HA 4.36 21.4 4.62 0.97
Arima 1.88 6.29 2.51 2.62
LR 1.85 4.58 2.14 0.66
XG Boost 1.2 2.26 1.50 0.39
FFNN 2.28 6.52 2.55 0.79
FC－LSTM 1.73 3.85 1.96 0.48
FC－GRU 1.75 3.91 1.98 0.50
FM－GRU 0.57 0.64 0.77 0.16
误差评估指标分别为1).绝对平均误差(MAE)；2).均方误差(MSE)；3).均方根误差(RMSE)；4).标准化均方根误差(NRMSE)
7.如图5所示，本方法通过实验得出了该方法最优的超参数K约为84，这有利于进一步提高预测的准确度和效率，图中，误差评估指标分别为1).绝对平均误差(MAE)；2).均方误差(MSE)；3).均方根误差(RMSE)；4).标准化均方根误差(NRMSE)。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (4)

1.一种基于改进Seq2Seq框架的水质时间序列预测方法，其特征在于，包括以下步骤：
S1：对协变量x0到
Figure FDA0002939595880000011
及目标真实值l做线性升维变换，使其维度与超参数隐藏层宽度相同，并将线性升维变换后的协变量x1输入进FM模型以获取x1的多维特征信息f1；
S2：将所述多维特征信息f1、线性升维变换后的协变量x1、线性变换后的上个时间步的目标真实值l1及GRU的上个时间步的输出连接起来后输入GRU模型，重复至编码步骤结束
S3：对时间步的协变量
Figure FDA0002939595880000012
到xT做线性升维变换，并将此阶段对协变量做线性升维变换后的结果x2输入到所述FM模型中，以获得多维特征信息f2，将所述x2、编码阶段的输出对解码阶段的输出计算出两份匹配情况的评估分数并分别加权求和获得两份注意力向量；
S4：将所述两份注意力向量与线性变换处理后的协变量x2，多维特征信息f2及隐藏层向量连接起来一起输入GRU解码器获得预测值
Figure FDA0002939595880000013
到
Figure FDA0002939595880000014
S5：将所述预测值
Figure FDA0002939595880000015
到
Figure FDA0002939595880000016
与实际的目标值进行误差分析与参数调整，使用训练好模型以相同编码解码方式对未来时间步的数值进行预测。
2.根据权利要求1所述的基于改进Seq2Seq框架的水质时间序列预测方法，其特征在于，所述FM模型为
Figure FDA0002939595880000017
其中x表示协变量，w0表示偏置常数项，wi表示xi的参数，wij表示二阶交叉项的参数。
3.根据权利要求2所述的基于改进Seq2Seq框架的水质时间序列预测方法，其特征在于，还包括使用辅助矩阵V对所述二阶交叉项的参数wij进行估计的步骤，包括建立维度为(n＊k)的辅助矩阵V，将辅助矩阵中的每个参数随机进行初始化，通过所述步骤S1－S5进行预测，进而使用批量梯度下降的方法不断优化辅助矩阵V的辅助参数。
4.根据权利要求3所述的基于改进Seq2Seq框架的水质时间序列预测方法，其特征在于，所述二阶交叉项分解后为
Figure FDA0002939595880000018
其中VT表示V矩阵的转置矩阵，
Figure FDA0002939595880000021
vi表示行向量vi1，vi2...，vik。
CN202110174054.XA 2021-02-09 2021-02-09 一种基于改进Seq2Seq框架的水质时间序列预测方法 Active CN112862190B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110174054.XA CN112862190B (zh) 2021-02-09 2021-02-09 一种基于改进Seq2Seq框架的水质时间序列预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110174054.XA CN112862190B (zh) 2021-02-09 2021-02-09 一种基于改进Seq2Seq框架的水质时间序列预测方法

Publications (2)

Publication Number Publication Date
CN112862190A true CN112862190A (zh) 2021-05-28
CN112862190B CN112862190B (zh) 2022-09-27

Family

ID=75989309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110174054.XA Active CN112862190B (zh) 2021-02-09 2021-02-09 一种基于改进Seq2Seq框架的水质时间序列预测方法

Country Status (1)

Country Link
CN (1) CN112862190B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360848A (zh) * 2021-06-04 2021-09-07 北京工商大学 一种时序数据预测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140350856A1 (en) * 2013-05-22 2014-11-27 S.S. Papadopulos & Associates, Inc. Simultaneous multi-event universal kriging methods for spatio-temporal data analysis and mapping
CN108399434A (zh) * 2018-03-20 2018-08-14 东北大学 基于特征提取的高维时间序列数据的分析预测方法
CN111291937A (zh) * 2020-02-25 2020-06-16 合肥学院 基于支持向量分类与gru神经网络联合的处理污水水质预测方法
CN112330005A (zh) * 2020-10-27 2021-02-05 武汉祁联生态科技有限公司 一种基于序列到序列深度学习机理的水质预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140350856A1 (en) * 2013-05-22 2014-11-27 S.S. Papadopulos & Associates, Inc. Simultaneous multi-event universal kriging methods for spatio-temporal data analysis and mapping
CN108399434A (zh) * 2018-03-20 2018-08-14 东北大学 基于特征提取的高维时间序列数据的分析预测方法
CN111291937A (zh) * 2020-02-25 2020-06-16 合肥学院 基于支持向量分类与gru神经网络联合的处理污水水质预测方法
CN112330005A (zh) * 2020-10-27 2021-02-05 武汉祁联生态科技有限公司 一种基于序列到序列深度学习机理的水质预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
徐帅等: "基于MIKE 21 FM模型的地表水影响预测", 《环境科学与技术》 *
梁宇轩: "基于多层注意力神经网络的地理传感器时间序列预测", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113360848A (zh) * 2021-06-04 2021-09-07 北京工商大学 一种时序数据预测方法及装置

Also Published As

Publication number Publication date
CN112862190B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
Shen et al. A novel time series forecasting model with deep learning
Yang et al. GAMI-Net: An explainable neural network based on generalized additive models with structured interactions
Asteris et al. A novel heuristic algorithm for the modeling and risk assessment of the COVID-19 pandemic phenomenon
CN111242377B (zh) 一种集成深度学习和数据去噪的短期风速预测方法
CN113704075B (zh) 一种基于故障日志的高性能计算系统故障预测方法
CN112434848A (zh) 基于深度信念网络的非线性加权组合风电功率预测方法
Gu et al. Bayesian Takagi–Sugeno–Kang fuzzy model and its joint learning of structure identification and parameter estimation
Buruzs et al. Advanced learning of fuzzy cognitive maps of waste management by bacterial algorithm
CN111447217A (zh) 一种稀疏编码下的基于htm的流数据异常检测方法及系统
CN112529071B (zh) 一种文本分类方法、系统、计算机设备和存储介质
CN115168443A (zh) 一种基于gcn-lstm和注意力机制的异常检测方法及系统
CN113326966A (zh) 基于ceemd-lstm的综合能源系统多元负荷预测方法
Osogami et al. Bidirectional learning for time-series models with hidden units
Liu et al. Incremental Bayesian broad learning system and its industrial application
CN112862190B (zh) 一种基于改进Seq2Seq框架的水质时间序列预测方法
Bi et al. An improved attention-based LSTM for multi-step dissolved oxygen prediction in water environment
CN113360848A (zh) 一种时序数据预测方法及装置
CN116665483A (zh) 一种新的预测剩余停车位的方法
CN113627685B (zh) 一种考虑风电上网负荷限制的风力发电机功率预测方法
Tanaka et al. Symplectic spectrum Gaussian processes: learning Hamiltonians from noisy and sparse data
El-Laham et al. Policy gradient importance sampling for Bayesian inference
CN113128666A (zh) 基于Mo-S-LSTMs模型的时间序列多步预测方法
CN116737521A (zh) 一种基于自监督对比学习的hpc作业功耗预测方法及系统
CN116205135A (zh) 基于数据分解和神经网络的so2排放预测方法及系统
CN116578858A (zh) 基于图神经网络的空压机故障预测与健康度评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant