CN112541839B - 基于神经微分方程的水库入库流量预测方法 - Google Patents

基于神经微分方程的水库入库流量预测方法 Download PDF

Info

Publication number
CN112541839B
CN112541839B CN202011535767.6A CN202011535767A CN112541839B CN 112541839 B CN112541839 B CN 112541839B CN 202011535767 A CN202011535767 A CN 202011535767A CN 112541839 B CN112541839 B CN 112541839B
Authority
CN
China
Prior art keywords
representing
network
time
reservoir
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011535767.6A
Other languages
English (en)
Other versions
CN112541839A (zh
Inventor
罗玮
黄颖
胡立春
周子祺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guoneng Daduhe Big Data Service Co ltd
Original Assignee
Guoneng Daduhe Big Data Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guoneng Daduhe Big Data Service Co ltd filed Critical Guoneng Daduhe Big Data Service Co ltd
Priority to CN202011535767.6A priority Critical patent/CN112541839B/zh
Publication of CN112541839A publication Critical patent/CN112541839A/zh
Application granted granted Critical
Publication of CN112541839B publication Critical patent/CN112541839B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/11—Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • G06F17/13—Differential equations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Optimization (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Marketing (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Development Economics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Educational Administration (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • Primary Health Care (AREA)

Abstract

本发明公开了基于神经微分方程的水库入库流量预测方法，涉及水库入库流量预测，其技术方案要点是：对多元水电时序数据和所述外部因素进行数据预处理；通过引入ODE求解器对随机递归神经网络中的隐藏状态的均值和方差在时间上进行连续转换，并通过重采样技术得到任意时间点连续的随机潜在变量序列；通过ODE外推网络对当前随机潜在变量进行外推学习，得到未来任意时间点对应的随机潜在变量特征；通过外部因素特征提取网络提取所述外部因素中的因素特征；将步骤S1‑S4中学习到的特征融合，并通过多层感知机依据融合结果对未来多步的水库入库流量进行预测，得到水库入库流量预测值。本发明预测结果误差小、准确度高、适应性强。

Description

基于神经微分方程的水库入库流量预测方法
技术领域
本发明涉及水库入库流量预测，更具体地说，它涉及基于神经微分方程的水库入库流量预测方法。
背景技术
人工水库是通过在河流上修建水坝，在雨季储存过多的水来调节自然水流以及将储存的水供将来使用而建立的。大型水库在优化水资源管理方面发挥着至关重要的作用，例如供水、洪水/干旱调整、水力发电最大化、水生生态系统平衡、沉积物运输以及潜在的地质灾害，潜在的地质灾害如滑坡、河流沉积等。大多数水坝根据气候变化和历史观测依据预定的规则运行。由于内在因素和外在因素都受到多种影响因素的影响，内在因素如降水、融雪，外在因素如下游水调节、农业灌溉，导致最佳的水库运营难度很大。例如，夏季应储存过多的水以用于将来的水力发电，但必须将储水能力保持在较低水平，以承受可能的洪峰。但是，排水可能会导致大量的电力收入损失，如果可以提前进行准确而可靠的入库预测，则可以从根本上减少水的收入。
传统的入库预测是根据专家的知识进行操作的，通常会设计数学/物理模型来模拟流入/流出的动力学。但是，基于规则的预定义模型无法处理突发事件，例如洪水和水坝溃决，这阻止了它们在实时水库运营中的适用性。典型的机器学习方法已显示出能够拟合复杂的多元时间序列数据的能力，并提取经验知识和时变要求以改善水库的运行。例如，自回归综合移动平均线(ARIMA)家族模型已用于对水文时间序列进行建模；贝叶斯网络以及K-means聚类被用于预测年度和每月流量；其他算法，例如支持向量回归和神经网络，也已用于学习文献中水文数据的非线性和非平稳特征；而在深度学习的最新进展中，尤其是递归神经网络(RNN)，其中一些研究应用RNN进行水文时间序列建模和预测水库流量。最近的一项研究评估了几种深度自回归模型，包括RNN、长短期记忆(LSTM)和门控递归单元(GRU)，通过利用土耳其Ermenekdam水库的日常观测流量进行流量预测，发现LSTM在预测精度方面表现最佳。
然而，在先前研究中虽然取得了可喜的成果，但它们仍然容易受到特殊挑战的影响。首先，由于观测结果不准确和因素的不可预测性，例如融雪和地下水，未来的水库入库具有内在的不确定性。尽管先前的努力已经将多个确定性结果组合在一起以产生概率预测或推断出预测错误的概率分布，但很少有工作关注建模不确定性观察能力和推断神经网络随机变量密度的能力；此外，水库入库预测是指一系列连续时间序列的预测，例如排水、水力发电和气候变化，而传统的神经网络是将离散时间的观测值作为输入，并未对连续动态系统进行建模。这将无法满足复杂控制系统的要求，例如水库运行，在这种情况下，需要高频反馈来保持系统的灵活性和稳定性；另外，对高鲁棒性的系统必不可少的多步预测尚未得到充分研究，例如每小时和每周。
因此，如何研究设计一种基于神经微分方程的水库入库流量预测方法是我们目前急需解决的问题。
发明内容
为解决现有技术中的不足，本发明的目的是提供基于神经微分方程的水库入库流量预测方法。
本发明的上述技术目的是通过以下技术方案得以实现的：基于神经微分方程的水库入库流量预测方法，包括以下步骤：
S1：获取目标水库的多元水电时序数据和外部因素，并对所述多元水电时序数据和所述外部因素进行数据预处理；
S2：将所述多元水电时序数据输入到预构建的随机递归神经网络中进行深度学习，通过引入0DE求解器对所述随机递归神经网络中的隐藏状态的均值和方差在时间上进行连续转换，并通过重采样技术得到任意时间点连续的随机潜在变量序列；
S3：通过ODE外推网络对当前随机潜在变量进行外推学习，得到未来任意时间点对应的随机潜在变量特征；
S4：通过外部因素特征提取网络提取所述外部因素中的因素特征；
S5：将步骤S1-S4中学习到的特征融合，并通过多层感知机依据融合结果对未来多步的水库入库流量进行预测，得到水库入库流量预测值。
进一步的，所述多元水电时序数据包括历史水流数据和历史电力数据；
所述历史水流数据的流量维度分别为入库流量、流出流量和用于发电的水流量；
所述历史电力数据的流量维度分别为总发电量、上网电量和厂用电量。
进一步的，所述多元水电时序数据和所述外部因素的数据预处理过程具体为：
对所述多元水电时序数据和所述外部因素进行线性归一化处理后转换到[0，1]的范围数值；
以及，将所述多元水电时序数据中的每一条训练数据的序列长度划分为至少一批固定长度序列，所述固定长度序列的大小满足所述随机递归神经网络的输入训练数据需求。
进一步的，若所述多元水电时序数据中存在着离群点、异常值的序列点时，则在所述数据预处理阶段通过插值法或平滑措施进行数据处理。
进一步的，对所述多元水电时序数据的分布进行连续转换的具体过程为：
通过所述ODE求解网络将所述多元水电时序数据中参与深度学习的目标特征的时间变量以微分形式无限细分后转换成连续变量；
根据所述连续变量计算得到任意期望时间步的均值和方差，并通过初始化所述均值和所述方差对潜在变量进行连续变换选择；
所述随机递归神经网络依据所述潜在变量的连续变换选择完成无限步的潜在变量的更新，得到任意时间点连续的随机潜在变量。
进一步的，通过初始化所述均值μ和所述方差σ对潜在变量进行连续变换选择的具体计算公式为：
Figure GDA0003177312050000031
Figure GDA0003177312050000032
Figure GDA0003177312050000033
Figure GDA0003177312050000034
Figure GDA0003177312050000035
Figure GDA0003177312050000036
其中，R表示GRU网络中的重置门；U表示GRU网络中的更新门；I表示重置门、更新门的输入；O表示GRU网络中新均值和方差更新网络的输入；
Figure GDA0003177312050000037
表示t时刻对应的隐藏状态h的均值；
Figure GDA0003177312050000038
表示t-1时刻对应的隐藏状态h的均值；
Figure GDA0003177312050000039
表示t时刻对应的隐藏状态h的方差；
Figure GDA00031773120500000310
表示t-1时刻对应的隐藏状态h的方差；xt表示t时刻对应的多元水电时序数据输入；fθ表示由θ参数化的可微网络；Wo表示GRU网络中可学习的参数；bo表示与输入O有关的偏置项；
Figure GDA00031773120500000311
表示均值更新时的中间状态；
Figure GDA00031773120500000312
表示方差更新时的中间状态。
进一步的，无限步的所述潜在变量的更新具体过程为：
通过重新参数化从学习分布的推断网络直接采样潜在变量，计算公式如下：
Figure GDA00031773120500000313
其中，Wμ表示与均值μ学习相关的参数矩阵；Wσ表示与方差σ相关的参数矩阵；∈表示从标准高斯分布中采样的样本。
进一步的，所述推断网络通过最大化证据下界进行训练，具体计算公式如下：
qφ(zt|Xt，zt-1)
Figure GDA0003177312050000041
其中，qφ表示随机递归神经网络中的推断网络；ELBO表示最大化证据下界；
Figure GDA0003177312050000042
表示基于后验分布的重构似然函数；
Figure GDA0003177312050000043
表示先验分布的KL散度参数；
Figure GDA0003177312050000044
表示后验分布的KL散度参数；θ表示生成网络的参数；φ表示推断网络的参数。
进一步的，所述外部因素特征提取网络提取所述外部因素中的因素特征的具体过程为：
将所述外部因素输入至所述外部因素特征提取网络以及将连续的时间特征嵌入到外部因素特征提取网络后进行学习，得到呈低级维度的因素特征；
将呈低级维度的因素特征直接馈入到所述外部因素特征提取网络中的全连接网络进行学习与融合，得到将所述外部因素中的信息压缩至一个向量ve中的所述因素特征；
该向量同时包含负值信息和正值信息，通过门控融合层筛选出负面因素同时保持有益的知识后生成影响因素，影响因素生成的计算公式如下：
Figure GDA0003177312050000047
其中，e表示因素特征；be表示与因素特征学习有关的偏置项；sigmoid表示激活函数，将影响因素的因子规约到[0，1]。
进一步的，所述水库入库流量预测值的获得过程具体为：
将所述因素特征与步骤S1-S4学习到的特征连接起来，并通过基本的MLP作为最后的预测器来预测在时间步长τ上产生未来的水库入库流量情况，具体计算公式如下：
zτ＝ODESolve(fω，zt，τ)
Figure GDA0003177312050000045
其中，fω表示由参数ω构成的可微分方程；
Figure GDA0003177312050000046
表示水库入库流量预测值；zτ表示未来时间步长τ对应的潜在变量；eτ表示τ时刻的外部因素；
通过同时最小化实际流入流量和所述水库入库流量预测值之间的均方误差，并同时最大化ELBO来最终收敛预测模型，具体计算公式如下：
Figure GDA0003177312050000051
其中，L(Θ)表示损失函数；Θ表示预测模型中的所有可学习参数；wτ表示实际流入流量。
与现有技术相比，本发明具有以下有益效果：
1、本发明通过提出将神经常微分方程与RNN网络相结合形成新的随机递归神经网络SRNN，通过SRNN去深度捕获多元水电时序数据之间的依赖性和不确定性，从建模随机潜在变量(Stochas“c Latent Variable，SLV)的角度出发，对随机潜在变量的分布进行连续的变化从而获得一个更加接近真实世界的潜在变量分布，能够对未来水库的入库流量做多步预测而无需重新训练模型，与传统的方法相比，该方法在预测误差上有明显的降低；
2、本发明通过用ODE求解器对潜在变量进行外推变换，可以获得未来目标时间点的潜在变量，从而更加精确地预测未来水库入库流量的大小；
3、本发明考虑到外部因素对水库入库流量的影响，通过对外部因素的建模提高整个模型的鲁棒性，能够在恶劣环境下也能较为准确地预测；
4、本发明采用神经常微分方程来求解隐藏状态数据分布能够平衡计算成本和预测精度，为决策者提供高度的灵活性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例中的整体流程图；
图2是本发明实施例中SRNN模型的具体实现逻辑图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。
术语解释：
NODE是Neural Ordinary Differential Equation的缩写，表示“神经微分方程”。神经微分方程的思想是不断将R。
RNN是Recurrent Neural Network的缩写，表示“递归神经网络”，可以用于时间序列数据的建模，来提取数据的时间依赖性。
SLV是Stochastic Latent Variables的缩写，表示“随机潜在变量”。
ELB0是Evidence Lower Bound的缩写，表示“证据下界”。
实施例1
基于神经微分方程的水库入库流量预测方法，如图1所示，具体由以下步骤实现。
步骤一：获取目标水库的多元水电时序数据和外部因素，并对所述多元水电时序数据和所述外部因素进行数据预处理。
多元水电时序数据包括历史水流数据和历史电力数据。
历史水流数据Wt具体为：
Wt＝wt-N+1，wt-N+2，…，wt∈RN×P
其中，N表示历史观测数目；P表示流量维度大小，取值为3；历史水流数据的流量维度分别为入库流量、流出流量和用于发电的水流量。
历史电力数据Vt具体为：
Vt＝vt-N+1，vt-N+2，…，vt∈RN×P
其中，N表示历史观测数目；P表示流量维度大小，取值为3；历史电力数据的流量维度分别为总发电量、上网电量和厂用电量。
首先把多元水电时序数据的全集定义为X，并且将一年中的前41周的数据作为训练集Xtrain，将一年中的后10周数据作为测试集Xtest。而对于每一条完整的训练数据x∈Xtrain，都由电流量v和水流量w组成，其中电流量v＝{v1，v2，v3}包括总发电量，上网电量和厂用电量，水流量w＝{w1，w2，w3}包含入库流量，流出流量和用于发电的水流量。将划分好的训练集、测试集放入到构建好的模型fθ中进行训练和测试，来得到最后的测试结果。
对于多元水电时序数据和外部因素，不同的特征存在着量纲和数量级的影响。因此，需要将对所述多元水电时序数据和所述外部因素进行线性归一化处理后转换到[0，1]的范围数值来加快模型的训练速度合提高模型的性能。
此外，在大量的多元水电时序数据中，有可能存在着离群点和异常值的点，所以在数据预处理阶段找到这些值，然后通过插值法或者平滑等手段来进行处理。
在将多元水电时序数据送入到SRNN模型训练之前，需要将所述多元水电时序数据中的每一条训练数据的序列长度划分为至少一批固定长度序列，所述固定长度序列的大小满足所述随机递归神经网络的输入训练数据需求。例如，序列长度划分为固定长度序列L，L＝1×24×7。即总长为一周，所有采样间隔均为1小时。因此，每批训练数据的形状为Xt∈RB ×L×2P其中B表示批大小。
步骤二：如图2所示，将所述多元水电时序数据输入到预构建的随机递归神经网络中进行深度学习，通过引入ODE求解器对所述随机递归神经网络中的隐藏状态的均值和方差在时间上进行连续转换，并通过重采样技术得到任意时间点连续的随机潜在变量序列。随机潜在变量序列由多个随机潜在变量组成。
多元水电时序数据的分布进行连续转换的具体过程为：通过ODE求解网络将所述多元水电时序数据中参与深度学习的目标特征的时间变量以微分形式无限细分后转换成连续变量；根据所述连续变量计算得到任意期望时间步的均值和方差，并通过初始化所述均值和所述方差对潜在变量进行连续变换选择；所述随机递归神经网络依据所述潜在变量的连续变换选择完成无限步的潜在变量的更新，得到任意时间点连续的所述随机潜在变量。
ODE求解网络对目标特征进行连续的转换，从而可以更精确地获得任意期望时间步的μ和σ，来完成神经网络中的无限步潜在变量的更新。具体而言，如果我们将时间t∈[0，T]作为连续变量，将0到T这中间的时间无限细分，则其微分形式如下：
Figure GDA0003177312050000071
其中，f表示ODE网络中的微分方程，一般它由可微分的神经网络构成，θ表示可学习参数。当需要计算在具体时刻的隐藏状态时，若给出开始时间(0)和结束时间(T)，则可以利用以上微分方程进行积分计算，具体积分计算如下：
Figure GDA0003177312050000072
其中，z(T)表示T时刻的潜在变量；z(0)表示0时刻的潜在变量。
通过初始化所述均值μ和所述方差σ对潜在变量进行连续变换选择的具体计算公式为：
Figure GDA0003177312050000081
Figure GDA0003177312050000082
Figure GDA0003177312050000083
Figure GDA0003177312050000084
Figure GDA0003177312050000085
Figure GDA0003177312050000086
其中，R表示GRU网络中的重置门；U表示GRU网络中的更新门；I表示重置门、更新门的输入；O表示GRU网络中新均值和方差更新网络的输入；
Figure GDA0003177312050000087
表示t时刻对应的隐藏状态h的均值；
Figure GDA0003177312050000088
表示t-1时刻对应的隐藏状态h的均值；
Figure GDA0003177312050000089
表示t时刻对应的隐藏状态h的方差；
Figure GDA00031773120500000810
表示t-1时刻对应的隐藏状态h的方差；xt表示t时刻对应的多元水电时序数据输入；fθ表示由θ参数化的可微网络；wo表示GRU网络中可学习的参数；bo表示与输入O有关的偏置项；
Figure GDA00031773120500000813
表示均值更新时的中间状态；
Figure GDA00031773120500000814
表示方差更新时的中间状态。
无限步的所述潜在变量的更新具体过程为：
通过重新参数化从学习分布的推断网络直接采样潜在变量，计算公式如下：
Figure GDA00031773120500000811
其中，Wμ表示与均值μ学习相关的参数矩阵；Wσ表示与方差σ相关的参数矩阵；∈表示从标准高斯分布中采样的样本。
推断网络通过最大化证据下界进行训练，具体计算公式如下：
qφ(zt|Xt，zt-1)
Figure GDA00031773120500000812
其中，qφ表示随机递归神经网络中的推断网络；ELBO表示最大化证据下界；
Figure GDA0003177312050000091
表示基于后验分布的重构似然函数；
Figure GDA0003177312050000092
表示先验分布的KL散度参数；
Figure GDA0003177312050000093
表示后验分布的KL散度参数；θ表示生成网络的参数；φ表示推断网络的参数。
步骤三：通过ODE外推网络对当前所述随机潜在变量进行外推学习，得到未来任意时间点对应的特征变量，而非离散化的结果。
在本实施例中，选择精确度更高Dopris数值方法的作为我们的ODE外推求解器，具体计算如下：
zτ＝ODESolve(fω，zt，τ)
τ＝t+Δt
其中，fω表示由参数ω构成的可微分方程；τ表示时间步长；Δt可为一小时、一天或一周中的任意一种。
步骤四：外部因素对预测水库的入库流量也至关重要，例如上游水库的降水和洪水排放。此外，水库入库量是高度季节性的，并随天气状况而变化很大。例如，温度升高将导致冰川融化。此外，人类活动也将影响水库的入库，例如灌溉和航行。因此，将这些影响统称为外部因素，并设计一个学习这些因素影响的外部因素特征提取网络。通过外部因素特征提取网络提取所述外部因素中的因素特征。
外部因素特征提取网络提取所述外部因素中的因素特征的具体过程为：
将所述外部因素输入至所述外部因素特征提取网络以及将连续的时间特征嵌入到外部因素特征提取网络后进行学习，得到呈低级维度的因素特征；
将呈低级维度的因素特征直接馈入到所述外部因素特征提取网络中的全连接网络进行学习与融合，得到将所述外部因素中的信息压缩至一个向量ve中的所述因素特征；例如噪声、异常值、异常点和不准确的测量点；
该向量同时包含负值信息和正值信息，通过门控融合层筛选出负面因素同时保持有益的知识后生成影响因素，影响因素生成的计算公式如下：
Figure GDA0003177312050000094
其中，e表示因素特征；be表示与因素特征学习有关的偏置项；sigmoid表示激活函数，将影响因素的因子规约到[0，1]。
步骤五：将步骤一至四中学习到的特征融合，并通过多层感知机依据融合结果对未来多步的水库入库流量进行预测，得到水库入库流量预测值。
水库入库流量预测值的获得过程具体为：
将所述因素特征与步骤S1-S4学习到的特征连接起来，并通过基本的MLP作为最后的预测器来预测在时间步长τ上产生未来的水库入库流量情况，具体计算公式如下：
zτ＝ODESolve(fω，zt，τ)
Figure GDA0003177312050000101
其中，fω表示由参数ω构成的可微分方程；
Figure GDA0003177312050000102
表示水库入库流量预测值；zτ表示未来时间步长τ对应的潜在变量；eτ表示外部因素。
通过同时最小化实际流入流量和所述水库入库流量预测值之间的均方误差，并同时最大化ELBO来最终收敛预测模型，具体计算公式如下：
Figure GDA0003177312050000103
其中，L(Θ)表示损失函数；Θ表示预测模型中的所有可学习参数；wτ表示实际流入流量。
实施例2
现对从两个大型水电站大坝中收集的两个真实数据集进行了实验。具体为瀑布沟大坝(PBG)和深溪沟(SXG)大坝。瀑布沟大坝是一个人工水坝，建于2006年，装有一个6×600MW发电机的水力发电站，总装机容量为3600MW，是大渡河上最大的水电站。深溪沟大坝下游安装了4台165兆瓦发电机。作为瀑布沟大坝的调节站，其入库量受到瀑布沟大坝排放的显着影响。
在水库入库流量预测方法中，我们分别在PBG和SXG两个个数据上使用九种基线方法(HA、ARIMA、SARIMA、SVR、BN、LSTM、Bi-LSTM、GRU-VAE、LatentODE)与本发明的基于神经微分方程的水库入库流量预测方法(FlowODE)进行比较。此外，我们使用三种广泛用于时间序列预测的指标评估所有方法：均方根误差(RMSE)，均方根绝对误差(MAE)和均方根绝对百分比误差(MAPE)，分别如下：
Figure GDA0003177312050000104
Figure GDA0003177312050000111
Figure GDA0003177312050000112
其中，M是所有样本的集合；三种指标的值越低，表示模型的方法越好。
在PBG和SXG数据集上进行水库入库流量的预测结果如表1所示。
表1在PBG和SXG数据集上进行水库入库流量的预测结果
Figure GDA0003177312050000113
从表1的实验结果可以看出，本发明提出的基于神经常微分方程的水库入库流量预测方法可以大幅度减小大型水库的入库流量大小预测的误差，且其RMSE、MAE、和MAPE评估指标都好于所有的其他对比方法。
由此可知，本发明利用神经常微分方程，在真实多元水电数据集上进行的广泛实验表明，通过引入SRNN神经网络学习多元水电数据潜在变量之间的互依赖性，外加上带有ODE求解器的外推网络，可以获得未来时间点很好的潜在变量特征表示，加上外部因素融合网络所表现出的高鲁棒性，本发明基于神经微分方程的水库入库流量预测方法具有低错误率和高可靠性。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.基于神经微分方程的水库入库流量预测方法，其特征是，包括以下步骤：
S1：获取目标水库的多元水电时序数据和外部因素，并对所述多元水电时序数据和所述外部因素进行数据预处理；
S2：将所述多元水电时序数据输入到预构建的随机递归神经网络中进行深度学习，通过引入ODE求解器对所述随机递归神经网络中的隐藏状态的均值和方差在时间上进行连续转换，并通过重采样技术得到任意时间点连续的随机潜在变量序列；
S3：通过ODE外推网络对当前随机潜在变量进行外推学习，得到未来任意时间点对应的随机潜在变量特征；
S4：通过外部因素特征提取网络提取所述外部因素中的因素特征；
S5：将步骤S1-S4中学习到的特征融合，并通过多层感知机依据融合结果对未来多步的水库入库流量进行预测，得到水库入库流量预测值。
2.根据权利要求1所述的基于神经微分方程的水库入库流量预测方法，其特征是，所述多元水电时序数据包括历史水流数据和历史电力数据；
所述历史水流数据的流量维度分别为入库流量、流出流量和用于发电的水流量；
所述历史电力数据的流量维度分别为总发电量、上网电量和厂用电量。
3.根据权利要求1所述的基于神经微分方程的水库入库流量预测方法，其特征是，所述多元水电时序数据和所述外部因素的数据预处理过程具体为：
对所述多元水电时序数据和所述外部因素进行线性归一化处理后转换到[0,1]的范围数值；
以及，将所述多元水电时序数据中的每一条训练数据的序列长度划分为至少一批固定长度序列，所述固定长度序列的大小满足所述随机递归神经网络的输入训练数据需求。
4.根据权利要求1所述的基于神经微分方程的水库入库流量预测方法，其特征是，若所述多元水电时序数据中存在着离群点、异常值的序列点时，则在所述数据预处理阶段通过插值法或平滑措施进行数据处理。
5.根据权利要求1所述的基于神经微分方程的水库入库流量预测方法，其特征是，对所述多元水电时序数据的分布进行连续转换的具体过程为：
通过所述ODE求解器将所述多元水电时序数据中参与深度学习的目标特征的时间变量以微分形式无限细分后转换成连续变量；
根据所述连续变量计算得到任意期望时间步的均值和方差，并通过初始化所述均值和所述方差对潜在变量进行连续变换选择；
所述随机递归神经网络依据所述潜在变量的连续变换选择完成无限步的潜在变量的更新，得到任意时间点连续的随机潜在变量。
6.根据权利要求5所述的基于神经微分方程的水库入库流量预测方法，其特征是，通过初始化所述均值
Figure DEST_PATH_IMAGE001
和所述方差
Figure 601299DEST_PATH_IMAGE002
对潜在变量进行连续变换选择的具体计算公式为：
Figure 420570DEST_PATH_IMAGE004
；
Figure 137990DEST_PATH_IMAGE006
；
Figure 470883DEST_PATH_IMAGE008
Figure 721473DEST_PATH_IMAGE010
Figure 747198DEST_PATH_IMAGE012
Figure 686335DEST_PATH_IMAGE014
其中， R表示GRU网络中的重置门；U表示GRU网络中的更新门；I表示重置门、更新门的输入；O表示GRU网络中新均值和方差更新网络的输入；
Figure DEST_PATH_IMAGE015
表示t时刻对应的隐藏状态h的均值；
Figure 527646DEST_PATH_IMAGE016
表示t-1时刻对应的隐藏状态h的均值；
Figure DEST_PATH_IMAGE017
表示t时刻对应的隐藏状态h的方差；
Figure 71891DEST_PATH_IMAGE018
表示t-1时刻对应的隐藏状态h的方差；
Figure DEST_PATH_IMAGE019
表示t时刻对应的多元水电时序数据输入；
Figure 173576DEST_PATH_IMAGE020
表示由
Figure DEST_PATH_IMAGE021
参数化的可微网络；
Figure 803272DEST_PATH_IMAGE022
表示GRU网络中可学习的参数；
Figure DEST_PATH_IMAGE023
表示与输入O有关的偏置项；
Figure 946809DEST_PATH_IMAGE024
表示均值更新时的中间状态；
Figure DEST_PATH_IMAGE025
表示方差更新时的中间状态。
7.根据权利要求6所述的基于神经微分方程的水库入库流量预测方法，其特征是，无限步的所述潜在变量的更新具体过程为：
通过重新参数化从学习分布的推断网络直接采样潜在变量，计算公式如下：
Figure DEST_PATH_IMAGE027
其中，
Figure DEST_PATH_IMAGE029
表示与均值
Figure 318048DEST_PATH_IMAGE001
学习相关的参数矩阵；
Figure 184111DEST_PATH_IMAGE030
表示与方差
Figure 363420DEST_PATH_IMAGE032
相关的参数矩阵；
Figure DEST_PATH_IMAGE033
表示从标准高斯分布中采样的样本。
8.根据权利要求7所述的基于神经微分方程的水库入库流量预测方法，其特征是，所述推断网络通过最大化证据下界进行训练，具体计算公式如下：
Figure DEST_PATH_IMAGE035
Figure DEST_PATH_IMAGE037
其中，
Figure 625161DEST_PATH_IMAGE038
表示随机递归神经网络中的推断网络；ELBO表示最大化证据下界；
Figure DEST_PATH_IMAGE039
表示基于后验分布的重构似然函数；
Figure 409578DEST_PATH_IMAGE040
表示先验分布的KL散度参数；
Figure DEST_PATH_IMAGE041
表示后验分布的KL散度参数；
Figure 915383DEST_PATH_IMAGE042
表示生成网络的参数；
Figure DEST_PATH_IMAGE043
表示推断网络的参数；
Figure 785250DEST_PATH_IMAGE019
表示t时刻对应的多元水电时序数据输入。
9.根据权利要求1所述的基于神经微分方程的水库入库流量预测方法，其特征是，所述外部因素特征提取网络提取所述外部因素中的因素特征的具体过程为：
将所述外部因素输入至所述外部因素特征提取网络以及将连续的时间特征嵌入到外部因素特征提取网络后进行学习，得到呈低级维度的因素特征；
将呈低级维度的因素特征直接馈入到所述外部因素特征提取网络中的全连接网络进行学习与融合，得到将所述外部因素中的信息压缩至一个向量
Figure 332906DEST_PATH_IMAGE044
中的所述因素特征；
该向量同时包含负值信息和正值信息，通过门控融合层筛选出负面因素同时保持有益的知识后生成影响因素，影响因素生成的计算公式如下：
Figure DEST_PATH_IMAGE045
其中，
Figure DEST_PATH_IMAGE047
表示因素特征；
Figure 670697DEST_PATH_IMAGE048
表示与因素特征学习有关的偏置项；sigmoid表示激活函数，将影响因素的因子规约到[0,1]。
10.根据权利要求1所述的基于神经微分方程的水库入库流量预测方法，其特征是，所述水库入库流量预测值的获得过程具体为：
将所述因素特征与步骤S1-S4学习到的特征连接起来，并通过基本的MLP作为最后的预测器来预测在时间步长
Figure DEST_PATH_IMAGE049
上产生未来的水库入库流量情况，具体计算公式如下：
Figure DEST_PATH_IMAGE051
Figure 52131DEST_PATH_IMAGE052
其中，
Figure DEST_PATH_IMAGE053
表示由参数
Figure 907829DEST_PATH_IMAGE054
构成的可微分方程；
Figure DEST_PATH_IMAGE055
表示水库入库流量预测值；
Figure 196859DEST_PATH_IMAGE056
表示未来时间步长
Figure 752605DEST_PATH_IMAGE049
对应的随机潜在变量；
Figure DEST_PATH_IMAGE057
表示
Figure 868722DEST_PATH_IMAGE049
时刻的外部因素；
通过同时最小化实际流入流量和所述水库入库流量预测值之间的均方误差，并同时最大化ELBO来最终收敛预测模型，具体计算公式如下：
Figure DEST_PATH_IMAGE059
其中，
Figure 713181DEST_PATH_IMAGE060
表示损失函数；
Figure DEST_PATH_IMAGE061
表示预测模型中的所有可学习参数；
Figure 540323DEST_PATH_IMAGE062
表示实际流入流量；ELBO表示最大化证据下界；
Figure 714690DEST_PATH_IMAGE043
表示推断网络的参数；
Figure 31402DEST_PATH_IMAGE042
表示生成网络的参数。
CN202011535767.6A 2020-12-23 2020-12-23 基于神经微分方程的水库入库流量预测方法 Active CN112541839B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011535767.6A CN112541839B (zh) 2020-12-23 2020-12-23 基于神经微分方程的水库入库流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011535767.6A CN112541839B (zh) 2020-12-23 2020-12-23 基于神经微分方程的水库入库流量预测方法

Publications (2)

Publication Number Publication Date
CN112541839A CN112541839A (zh) 2021-03-23
CN112541839B true CN112541839B (zh) 2022-02-11

Family

ID=75017609

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011535767.6A Active CN112541839B (zh) 2020-12-23 2020-12-23 基于神经微分方程的水库入库流量预测方法

Country Status (1)

Country Link
CN (1) CN112541839B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435587A (zh) * 2021-03-25 2021-09-24 北京瑞莱智慧科技有限公司 基于时间序列的任务量预测方法、装置、电子设备及介质
CN112989705A (zh) * 2021-03-30 2021-06-18 海尔数字科技（上海）有限公司 水库的入库流量值的预测方法、装置、电子设备及介质
CN113239642B (zh) * 2021-04-12 2023-04-07 大唐甘肃发电有限公司碧口水力发电厂 一种计算水库入库流量的方法
CN113096818B (zh) * 2021-04-21 2023-05-30 西安电子科技大学 基于ode和grud的急性病症发生几率的评估方法
CN113537472B (zh) * 2021-07-26 2024-04-09 北京计算机技术及应用研究所 一种低计算和存储消耗的双向递归神经网络的构建方法
CN114021836B (zh) * 2021-11-16 2023-05-16 电子科技大学 基于不同角度融合的多变量水库入水量预测系统、训练方法及应用
CN114500325B (zh) * 2022-01-27 2023-07-18 重庆邮电大学 一种基于无监督迁移学习的sdn控制器故障自适应智能检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IES20020063A2 (en) * 2001-01-31 2002-08-07 Predictions Dynamics Ltd Neutral network training
CN108510072A (zh) * 2018-03-13 2018-09-07 浙江省水文局 一种基于混沌神经网络的河道流量监测数据质量控制方法
CN108921279A (zh) * 2018-03-26 2018-11-30 西安电子科技大学 水库日入水量预测方法
CN108875161B (zh) * 2018-05-31 2022-11-29 长江勘测规划设计研究有限责任公司 基于卷积神经网络深度学习的流量等级预测方法
CN109840587B (zh) * 2019-01-04 2022-07-05 长江勘测规划设计研究有限责任公司 基于深度学习的水库入库流量预测方法
CN110969282A (zh) * 2019-10-17 2020-04-07 天津大学 一种基于lstm复合网络的径流量稳定预测方法
CN111222698B (zh) * 2020-01-06 2022-12-27 重庆邮电大学 面向物联网的基于长短时记忆网络的积水水位预测方法
CN111553394B (zh) * 2020-04-20 2023-02-07 中国长江三峡集团有限公司 基于循环神经网络和关注机制的水库水位预测方法

Also Published As

Publication number Publication date
CN112541839A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN112541839B (zh) 基于神经微分方程的水库入库流量预测方法
Ko et al. Deep concatenated residual network with bidirectional LSTM for one-hour-ahead wind power forecasting
Liu et al. Wind speed forecasting using deep neural network with feature selection
Mahmoud et al. An advanced approach for optimal wind power generation prediction intervals by using self-adaptive evolutionary extreme learning machine
Chang et al. An improved neural network-based approach for short-term wind speed and power forecast
Jain et al. Application of ANN for reservoir inflow prediction and operation
Yousuf et al. Current perspective on the accuracy of deterministic wind speed and power forecasting
Saeed et al. Hybrid bidirectional LSTM model for short-term wind speed interval prediction
Tahmasebifar et al. A new hybrid model for point and probabilistic forecasting of wind power
Malhan et al. A novel ensemble model for long-term forecasting of wind and hydro power generation
Ticlavilca et al. Multivariate Bayesian regression approach to forecast releases from a system of multiple reservoirs
Huang et al. Robust forecasting of river-flow based on convolutional neural network
Li et al. A method of rainfall runoff forecasting based on deep convolution neural networks
Huang et al. Prediction of groundwater level for sustainable water management in an arid basin using data-driven models
Maddu et al. Short-range reservoir inflow forecasting using hydrological and large-scale atmospheric circulation information
Scarcelli et al. Ensemble of Markovian stochastic dynamic programming models in different time scales for long term hydropower scheduling
Chang et al. Outflow sediment concentration forecasting by integrating machine learning approaches and time series analysis in reservoir desilting operation
Li et al. Rainfall prediction using optimally pruned extreme learning machines
Zhou et al. Forecasting reservoir inflow via recurrent neural ODEs
Vogt et al. Wind power forecasting based on deep neural networks and transfer learning
Pal et al. Short-Term Load Forecasting Using Adaptive Neuro-Fuzzy Inference System (ANFIS)
Escalante-Sandoval et al. Regional monthly runoff forecast in southern Canada using ANN, K-means, and L-moments techniques
Li et al. A Data-based Water-inflow Forcasting Method for Small/medium Sized Hydropower Plants in Spot Market
Zhou et al. Reservoir inflow forecasting in hydropower industry: a generative flow-based approach
Özbay Karakuş Impact of climatic factors on the prediction of hydroelectric power generation: a deep CNN-SVR approach

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: No.7 Tianyun Road, high tech Zone, Chengdu, Sichuan 610000

Applicant after: Guoneng Daduhe Big Data Service Co.,Ltd.

Address before: No.7 Tianyun Road, high tech Zone, Chengdu, Sichuan 610000

Applicant before: Sichuan Dahui Big Data Service Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant