CN117454778B - 蓄水量数据处理方法、设备及存储介质 - Google Patents
蓄水量数据处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN117454778B CN117454778B CN202311797976.1A CN202311797976A CN117454778B CN 117454778 B CN117454778 B CN 117454778B CN 202311797976 A CN202311797976 A CN 202311797976A CN 117454778 B CN117454778 B CN 117454778B
- Authority
- CN
- China
- Prior art keywords
- water storage
- model
- term
- predicted value
- historical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 501
- 238000003860 storage Methods 0.000 title claims abstract description 426
- 238000003672 processing method Methods 0.000 title description 14
- 230000008859 change Effects 0.000 claims abstract description 118
- 230000007774 longterm Effects 0.000 claims abstract description 60
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012937 correction Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 35
- 238000009826 distribution Methods 0.000 claims description 41
- 230000015654 memory Effects 0.000 claims description 21
- 239000013598 vector Substances 0.000 claims description 21
- 230000000737 periodic effect Effects 0.000 claims description 20
- 230000007547 defect Effects 0.000 abstract description 6
- 230000008713 feedback mechanism Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 238000012549 training Methods 0.000 description 9
- 238000012795 verification Methods 0.000 description 9
- 238000013461 design Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 230000000306 recurrent effect Effects 0.000 description 3
- 230000002277 temperature effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001704 evaporation Methods 0.000 description 2
- 230000008020 evaporation Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 102100037651 AP-2 complex subunit sigma Human genes 0.000 description 1
- 101000806914 Homo sapiens AP-2 complex subunit sigma Proteins 0.000 description 1
- 238000004887 air purification Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010219 correlation analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
- 238000013112 stability test Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/08—Fluids
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Tourism & Hospitality (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Quality & Reliability (AREA)
- Game Theory and Decision Science (AREA)
- Geometry (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Hardware Design (AREA)
- Water Supply & Treatment (AREA)
- Operations Research (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
Abstract
本发明属于数据处理技术领域,具体涉及一种蓄水量数据处理方法、设备及存储介质。该方法包括:获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;将所述历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;将所述蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;将所述修正的蓄水量预测值作为蓄水量预测结果发送至用户终端。本申请的方法,充分利用水位变化的长期规律来提高预测准确度的同时,避免递归误差影响,并且利用负反馈机制来避免长期预测不能应用于短期预测的缺陷,实现蓄水量同时适用于未来长期和短期的预测手段,提高预测精度。
Description
技术领域
本发明属于数据处理技术领域,具体涉及一种蓄水量数据处理方法、设备及存储介质。
背景技术
水源地蓄水量的准确预测是水源地蓄水量风险评估的核心基础,是制定合理的原水调度方案(即水厂向水源地取水的调度方案)的重要保障。
现有的水源地蓄水量或水位的预测技术主要分为两类:以ARIMA(自回归移动平均模型)模型为代表的传统统计学方法和以LSTM(长短期记忆递归神经网络)为代表的深度学习模型。前者利用水源地蓄水量的单变量时间序列数据进行预测,后者进一步加入了影响水源地蓄水量变化的重要外生因素。
但不论是基于ARIMA模型蓄水量预测还是基于LSTM模型的蓄水量预测均在不足之处,即这两类模型在对未来的蓄水量进行预测时,都采用了递归的形式,比如在对未来第N+1的蓄水量进行预测时,首先需要知道未来第N天的蓄水量预测值。这不可避免地带来了误差累积问题,即第N步的预测误差会放大第N+1步的预测误差,因此当预测步数很长时,预测结果就会偏离较大,甚至失效。
发明内容
为了解决现有技术中的上述问题,即为了解决现有不论是基于ARIMA模型蓄水量预测还是基于LSTM模型的蓄水量预测均在不足之处,即这两类模型在对未来的蓄水量进行预测时,都采用了递归的形式,比如在对未来第N+1的蓄水量进行预测时,首先需要知道未来第N天的蓄水量预测值。这不可避免地带来了误差累积问题,即第N步的预测误差会放大第N+1步的预测误差,因此当预测步数很长时,预测结果就会偏离较大,甚至失效的问题,本发明提供了一种蓄水量数据处理方法,包括:
获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;其中,所述天气因素数据包括降雨量和气温;
将所述历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;其中,所述历史天气因素数据和未来天气因素数据分别为预设时长的历史天气因素数据和未来天气因素数据,所述长期蓄水量预测模型是基于预设时长内的水位变化趋势量、周期性变化量、降雨量分布和气温分布训练后的线性模型;
将所述蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;其中,所述短期蓄水量修正模型是基于所述蓄水量历史实际值和蓄水量历史预测值训练后的线性参数模型;
将所述修正的蓄水量预测值作为蓄水量预测结果发送至用户终端。
在一种可能的设计中,所述长期蓄水量预测模型的获取方法包括:
根据蓄水量历史实际值和历史天气因素数据,确定模型的预设时长以及预设时长内的水位变化趋势量、周期性变化量、降雨量和气温;
根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量;
根据相邻两个预设时长结束时的蓄水量的差值和预设时长的天数的比值,确定预设时长内日平均蓄水量变化率;
根据蓄水量初始值和日平均蓄水量变化率,确定蓄水量预测值,以得到用于获取蓄水量预测值的长期蓄水量预测模型。
在一种可能的设计中,所述根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量,包括:
根据第t个预设时长内水位变化趋势量g(t)、周期性变化量s(t)、降雨量参数向量γR、日平均降雨量xR(t)、气温参数向量γT、日平均最高和最低气温构成的向量xT(t)以及随机扰动参数εt,采用如下公式:
,
确定第t个预设时长结束时的蓄水量y(t);其中,所述水位变化趋势量中的参数、周期性变化量中的参数、降雨量参数向量、气温参数向量以及随机扰动参数分别服从不同方差的正态分布。
在一种可能的设计中,所述短期蓄水量修正模型的获取方法包括:
根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率;
根据蓄水量历史实际值中的蓄水量初始值和修正的日蓄水量变化率,确定修正的蓄水量预测值,以得到用于获取修正的蓄水量预测值的短期蓄水量修正模型。
在一种可能的设计中,所述根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率,包括:
根据滞后k天的蓄水量历史实际值dyt-k、蓄水量历史预测值以及随机扰动项,采用如下公式:
,
确定修正的日蓄水量变化率dyt;其中,参数ρ>0,γi>0,参数ρ、γi、ξt服从正态分布。
在一种可能的设计中,所述长期蓄水量预测模型基于Prophet模型或NeuralProphet模型或TiDE模型构建,所述短期蓄水量修正模型基于贝叶斯模型构建。
在一种可能的设计中,获取所述未来天气因素数据,包括:
获取未来预报时长的天气因素数据;其中,所述预报时长为当前能获取的天气因素数据的时长;
将所述未来预报时长的天气因素数据和预测时长输入自回归积分滑动平均模型中,得到未来天气因素数据;其中,所述自回归积分滑动平均模型用于根据输入预设期数的时序数据以递归方式依次预测未来若干期的时序数据,所述未来天气因素数据是预测时长为预设时长的天气因素数据预测值。
第二方面,本申请提供一种蓄水量数据处理设备,包括:
获取模块,用于获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;其中,所述天气因素数据包括降雨量和气温;
处理模块,用于将所述历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;其中,所述历史天气因素数据和未来天气因素数据分别为预设时长的历史天气因素数据和未来天气因素数据,所述长期蓄水量预测模型是基于预设时长内的水位变化趋势量、周期性变化量、降雨量分布和气温分布训练后的线性模型;
所述处理模块,还用于将所述蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;其中,所述短期蓄水量修正模型是基于所述蓄水量历史实际值和蓄水量历史预测值训练后的线性参数模型;
发送模块,用于将所述修正的蓄水量预测值作为蓄水量预测结果发送至用户终端。
第三方面,本申请提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;所述存储器存储计算机执行指令;所述处理器执行所述存储器存储的计算机执行指令,以实现蓄水量数据处理方法。
第四方面,本申请提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现蓄水量数据处理方法。
本领域技术人员能够理解的是,本发明提供的蓄水量数据处理方法、设备及存储介质,通过获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;将所述历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;将所述蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;将所述修正的蓄水量预测值作为蓄水量预测结果发送至用户终端,相对于现有技术中蓄水量预测模型采用递归方式导致误差累积的缺陷,本申请充分利用水位变化的长期规律来提高预测准确度的同时,避免递归误差影响,并且利用负反馈机制来避免长期预测不能应用于短期预测的缺陷,实现蓄水量同时适用于未来长期和短期的预测手段,提高预测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的蓄水量数据处理的应用场景示意图;
图2为本申请实施例提供的蓄水量数据处理方法的流程示意图一;
图3为本申请实施例提供的蓄水量数据处理方法的流程示意图二;
图4为本申请实施例提供的蓄水量短期修正模型算法原理示意图;
图5为本申请实施例提供的蓄水量数据处理设备的结构示意图;
图6为本申请实施例提供的电子设备的硬件结构示意图;
图7为本申请实施例提供的部分时期内月度日平均蓄水量变化时间序列预测状态示意图;
图8为本申请实施例提供的部分时期内蓄水量实际变化量和预测变化量的状态示意图;
图9为本申请实施例提供的部分时期内蓄水量变化分解状态示意图,其中,(a)为趋势项,(b)为周期项,(c)为降雨量影响,(d)为气温影响;
图10为本申请实施例提供的部分时期内月度日平均蓄水量实际变化量和预测变化量的状态示意图;
图11为本申请实施例提供的部分时期内日度蓄水量实际变化量和预测变化量的状态示意图;
图12为本申请实施例提供的部分时期内日度蓄水量实际量和预测量的状态示意图;
图13为本申请实施例提供的部分时期内日度蓄水量实际变化量和预测变化量的不同预测时长修正状态示意图,其中,(a)为预测5步,(b)为预测10步,(c)为预测20步,(d)为预测30步,(e)为预测60步,(f)为预测90步;
图14为本申请实施例提供的部分时期内日度蓄水量实际量和预测量的10步预测时长修正状态示意图;
附图标记说明:
101、服务器;102、数据采集平台;103、用户终端;501、获取模块;502、处理模块;503、发送模块;601、处理器;602、存储器;603、通信部件;604、总线。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与本申请的一些方面相一致的装置和方法的例子,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先,对本申请涉及的名词进行解释:
自回归移动平均模型(Autoregressive Integrated Moving Average Model,ARIMA模型):是指一种研究时间序列的重要方法,主要由三部分构成,分别为自回归模型(AR)、差分过程(I)和移动平均模型(MA),基本思想是利用数据本身的历史信息来预测未来,通过数据的自相关性和差分的方式,提取出隐藏在数据背后的时间序列模式,然后用这些模式来预测未来的数据。
长短期记忆递归神经网络(Long Short-Term Memory,LSTM):是指一种利用时间序列对输入进行分析的递归神经网络,可用于解决长序列训练过程中的梯度消失和梯度爆炸问题。
赤池信息量准则(Akaike information criterion,AIC):是指一种衡量统计模型拟合优良性的标准,建立在熵的概念基础上。AIC越小,模型越好,通常选择AIC最小的模型。
贝叶斯信息量准则(bayesian information criterion,BIC):是指从拟合角度选择一个对现有数据拟合最好的模型,从贝叶斯因子的解释来讲,就是边际似然最大的那个模型,BIC的惩罚项比AIC的大,考虑了样本数量,样本数量过多时,可有效防止模型精度过高造成的模型复杂度过高。
K-折交叉验证:是指将原始数据分成K组(一般是均分),将每个子集数据分别做一次验证集,其余的K-1组子集数据作为训练集,这样会得到K个模型,用这K个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标。
Prophet模型:是一种基于时间和变量值结合时间序列分解和机器学习的拟合来做的时序模型。
NeuralProphet模型:是一个基于PyTorch实现的用户友好型时间序列预测工具,延续了Prophet模型的主要功能,主要用于时序数据分析,具备可解释性。
TiDE模型:由全连接组成的时间序列预测工具,用于解决线性模型无法建模预测窗口与历史窗口非线性关系、无法有效建模外部变量等问题,具备结构简单、易于拓展、训练速度快和占用内存少等优点。
Lasso模型(least absolute shrinkage and selection operator):是指一种适用于多重共线性问题,能够在参数估计的同时实现变量的选择的回归方法。
非线性最小二乘法(Non-linear least squares,NLS):是一种优化技术,可用于为包含非线性特征的数据集建立回归模型。这些数据集的模型系数是非线性的。
岭回归模型:一种专用于共线性数据分析的有偏估计回归方法,通过放弃最小二乘法的无偏性,以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法。
贝叶斯算法:是一种利用前提概率和样本数据来推断概率的方法,常用于机器学习中的分类问题。
现有的水源地蓄水量或水位的预测技术主要分为两类:以ARIMA模型为代表的传统统计学方法和以LSTM为代表的深度学习模型。前者利用水源地蓄水量的单变量时间序列数据进行预测,后者进一步加入了影响水源地蓄水量变化的重要外生因素。
具体来说,基于ARIMA模型蓄水量预测步骤如下:
1)收集水源地蓄水量或水位数据;
2)据水源地蓄水量或水位数据的时序图进行时间序列平稳性检验;
3)若检验结果不平稳,则对数据进行差分处理,直至转化为平稳序列,若平稳,直接进入下一步;
4)基于平稳序列数据,构建自相关和偏相关分析图,初步估计模型的滞后阶数。
5)构建具有不同滞后阶数的ARIMA模型,根据AIC和BIC信息准则确定最优滞后阶数及最优模型。
6)以递归的方式依次预测未来若干期的水源地蓄水量或液位。
基于LSTM模型的蓄水量预测步骤如下:
1)确定影响水源地蓄水量或水位的外生因素,现有技术采用过的因素主要包括降雨量、气温、地表径流、土壤含水量等;
2)收集水源地蓄水量、水位和各影响因素的数据;
3)按一定比例划分训练集和测试集;
4)采用K-折交叉验证进行验证比较,确定LSTM模型中的超参数,得到最优模型;
5)在测试集上利用最优模型进行测试。
通过上述预测步骤可以看出,ARIMA模型仅利用单变量时间序列进行预测,忽视了对蓄水量变化有重大影响的外生因素,尤其是降雨量。实际上,有些水源地蓄水量的重大变化主要受降雨量的影响,降雨量在蓄水量预测方面起着关键性的作用。而基于LSTM模型的蓄水量预测中,降雨量均作为一个不可或缺的特征而存在,从而解决了单变量时间序列的不足,但在对未来的蓄水量进行预测时,无论是ARIMA模型还是LSTM模型,都采用了递归的形式,比如在对未来第N+1的蓄水量进行预测时,首先需要知道未来第N天的蓄水量预测值。这不可避免地带来了误差累积问题,即第N步的预测误差会放大第N+1步的预测误差。
综上,ARIMA模型和LSTM模型都需要捕捉时间序列的上下文信息,进而进行短期预测,但当预测步数较长时,因递归属性导致预测结果与实际结果的偏离较大,使得预测功能失效。
本申请的技术构思在于:将趋势、周期、降雨量和气温因素作为影响蓄水量的模型组成部分,构建不依赖于时间序列递归分析的蓄水量长期预测模型,并利用短期修正模型修正长期预测模型应用在短期时间预测时产生的误差,得到准确的预测结果,旨在解决现有技术的如上技术问题。
图1为本申请实施例提供的蓄水量数据处理方法应用场景示意图。如图1所示,服务器101从多个数据采集平台102中获取水位、天气等数据,其中,水位包含历史水位和当前水位,天气包含历史天气、当前天气和未来的预报天气,例如,气象局通常会提供至少7天的天气预报信息,天气所代表的数据包括但不限于降雨量和气温等与蓄水量直接相关的信息,服务器101对这些数据处理分析得到蓄水量的预测结果,然后将其发送给用户终端103,以使用户基于用户终端103的显示器获取预测结果。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的蓄水量数据处理方法流程示意图一。如图2所示,该方法包括:
S201、获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据。
其中,该天气因素数据包括降雨量和气温。
具体来说,蓄水量由水库进水量、水库蒸发量和水库出水量决定,而水库出水量取决于水库供水区域的用水量,水库蒸发量数据未知,但可以确定它和气温的相关性是正向的,水库进水量未知,但它和上游各区域的降雨量的相关性也是正向的,因此,可以利用水源地供水区域的用水量、所在区域的气温以及上有区域的降雨量来预测蓄水量。
其中,水源地供水区域的用水量从长期看会存在趋势性变化规律,该趋势性变化规律对应到水位的变化率上同样适用,而气温和降雨量也会以年为单位满足相对稳定的周期性变化规律,对应气温和降雨量的水源地进水流量、出水流量以及水位也呈现以年为周期的周期性变化趋势。
因此,通过获取蓄水量历史实际值和历史天气因素数据,可以分析得到与蓄水量相关的趋势影响、周期影响和天气影响,而对于未来的预测来说,通过趋势影响和周期影响可以得到大概的预测结果,在获取到预测已相对成熟的天气影响因素后,就能进一步提高蓄水量预测结果的准确性,因此,数据处理前还需要获取未来天气因素数据。
S202、将该历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值。
其中,该历史天气因素数据和未来天气因素数据分别为预设时长的历史天气因素数据和未来天气因素数据,该长期蓄水量预测模型是基于预设时长内的水位变化趋势量、周期性变化量、降雨量分布和气温分布训练后的线性模型。
具体来说,由于趋势影响和周期影响在长时间的蓄水量变化中发挥重要作用,因此,需要包含趋势项和周期项的长期蓄水量预测模型,而天气因素也是不可缺失的重要影响因素,且天气因素包括气温和降雨量,因此,长期蓄水量预测模型中还要包含气温和降雨量两项,又由于趋势、周期以及天气只是主要因素,不能代表蓄水量的全部影响因素,且可能存在未知波动影响,因此该长期蓄水量预测模型中还要包含一个随机扰动项,以提高预测的准确性。
长期蓄水量预测模型构建后,按照预设比例将蓄水量历史实际值和历史天气因素数据分成训练集和测试集,以进行数据训练,并利用K-折交叉验证进行验证比较,优化已构建的长期蓄水量预测模型内各参数数值,提高模型准确性后,再利用获取的未来天气因素数据进行模型预测,得到蓄水量未来预测值。
S203、将该蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值。
其中,该短期蓄水量修正模型是基于该蓄水量历史实际值和蓄水量历史预测值训练后的线性参数模型。
具体来说,长期蓄水量预测模型是基于多种因素在长时间条件下的稳定性而获取的蓄水量未来预测值,由于为了保证长期蓄水量的预测精度而忽视时间序列的上下文信息,导致模型牺牲了短期预测精度,即在预测短期蓄水量时效果较差,例如,将原来依据月度数据构建的长期蓄水量预测模型细化到日度变量时,虽然可以将天气和其他日度因素带入以提高预测精度,但水库出水量受供水调度等突发情况影响较大,因此,需要再构建短期蓄水量修正模型来进一步优化蓄水量未来预测值,以提高预测准确度。
又由于短期蓄水量修正模型修正的是未来短期的预测结果,而在短期内预测结果与历史蓄水量实际值关联性较大,因而可以通过将近期的蓄水量历史预测值和蓄水量历史实际值进行拟合,并利用贝叶斯推断方法来估计模型的参数,从而有效地提高短期预测模型的泛化能力,以将拟合结果应用到蓄水量未来预测值上,从而提高蓄水量未来预测值的准确性。
优选的,由于城市供水调度计划是每隔一段时间更新一次,因而短期修正方程的参数也得动态变化。因此,在每次预测之前均采用过去30天的数据来估计短期修正方程中的参数。
S204、将该修正的蓄水量预测值作为蓄水量预测结果发送至用户终端。
具体来说,获取的数据经长期蓄水量预测模型和短期蓄水量修正模型处理后得到的蓄水量预测结果发送给用户终端,以使用户可以随时获取未来不同时间点的蓄水量预测结果。
本实施例提供的方法,通过获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;将该历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;将该蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;将该修正的蓄水量预测值作为蓄水量预测结果发送至用户终端的手段,充分利用水位变化的长期规律来提高预测准确度的同时,避免递归误差影响,并且利用负反馈机制来避免长期预测不能应用于短期预测的缺陷,实现蓄水量同时适用于未来长期和短期的预测手段,提高预测精度。
下面结合一个具体的实施例,对本申请的蓄水量数据处理方法进行详细说明。
图3为本申请实施例提供的蓄水量数据处理方法流程示意图二。如图3所示,该方法包括:
S301、获取未来预报时长的天气因素数据。
其中,该预报时长为当前能获取的天气因素数据的时长。
S302、将该未来预报时长的天气因素数据和预测时长输入自回归积分滑动平均模型中,得到未来天气因素数据。
其中,该自回归积分滑动平均模型用于根据输入预设期数的时序数据以递归方式依次预测未来若干期的时序数据,该未来天气因素数据是预测时长为预设时长的天气因素数据预测值。
具体来说,气象局提供的接口通常只有未来7天的预报数据,在对未来7天的蓄水量进行预测时,可以直接利用获取的天气预报数据作为未来预报时长的天气因素数据输入模型,但对于长期蓄水量预测来说,则需要将天气因素数据拓展到至少一个月的时长,才能获取更加准确的蓄水量长期预测结果,因此,可以利用已获取时长的天气因素数据输入ARIMA模型中,预测月平均降雨量、最高气温和最低气温。
S303、获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据。
其中,该天气因素数据包括降雨量和气温,该气温包括最高气温和最低气温。
S303的实现方式与上述S201的实现方式类似,本实施例此处不再赘述。
S304、根据蓄水量历史实际值和历史天气因素数据,确定模型的预设时长以及预设时长内的水位变化趋势量、周期性变化量、降雨量和气温。
具体来说,当预设时长t为一个月时,降雨量和气温为一系列具体的数据集。
采用如下公式:
g(t)=m+at,
确定水位变化趋势量g(t),其中,m~Normal(0,υ2),a ~Normal(0,κ2),υ2和κ2分别为参数m和a的正态分布方差。
采用如下公式:
,
确定满足傅里叶级数的周期性变化量s(t);其中,参数,β~Normal(0,ξ2),ξ2为参数β的正态分布方差,根据AIC信息准则确定N的取值为6。
S305、根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量。
具体来说,根据第t个预设时长内水位变化趋势量g(t)、周期性变化量s(t)、降雨量参数向量γR、日平均降雨量xR(t)、气温参数向量γT、日平均最高和最低气温构成的向量xT(t)以及随机扰动参数εt,采用如下公式:
,
确定第t个预设时长结束时的蓄水量y(t);其中,采用K-折交叉验证进行验证比较,确定Prophet模型中的超参数,得到最优模型,该水位变化趋势量中的参数、周期性变化量中的参数、降雨量参数向量、气温参数向量以及随机扰动参数分别服从不同方差的正态分布。
降雨量xR(t)对蓄水量的影响是线性的,参数γR服从正态分布γR~ Normal(0,τ2),τ2为参数γR的正态分布方差。
温度xT(t)对蓄水量的影响是线性的,参数向量γT服从正态分布γT~ Normal(0,ω2),ω2为参数γT的正态分布方差。
确定随机扰动参数服从正态分布εt~ Normal(0,σ2),σ2为参数的正态分布方差。其中,随机扰动项εt是独立同分布的,即影响蓄水量变化的其他因素不是自相关的。由于该模型未考虑的一个主要影响因素是多水源条件下的原水调度计划,不同时期的计划会持续一段时间,而当天的调度计划又依赖于前几天的调度计划,因而可能会导致随机扰动项是独立同分布假定失效。但对于长期预测来说,由于采用的是月度数据,调度计划的月度的自相关性会远低于日度的自相关性,因此独立同分布假定是近似成立的,从而减少测量误差的影响。但是采用日度数据,要求降雨量观测数据能够精确到分钟级,这是比较难实现的,而采用月度数据,只要求降雨量观测数据精确到小时级,实现起来更容易。
S306、根据相邻两个预设时长结束时的蓄水量的差值和预设时长的天数的比值,确定预设时长内日平均蓄水量变化率。
具体来说,根据第t个预设时长结束时的蓄水量y(t)、第t-1个预设时长结束时的蓄水量y(t-1)和第t个预设时长的天数N(t),采用如下公式:
dy(t)=(y(t)-y(t-1))/N(t),
确定第t个预设时长内日平均蓄水量变化率dy(t)。然后将获取的数据按一定比例划分训练集和测试集,对构建的长期蓄水量预测模型进行训练。
S307、根据蓄水量初始值和日平均蓄水量变化率,确定蓄水量预测值,以得到用于获取蓄水量预测值的长期蓄水量预测模型。
具体来说,上述长期蓄水量预测模型是利用月度数据进行训练和测试的,在具体预测时,通常需要以天为单位预测某天的蓄水量,可以将月份变量t细化为日度变量,并将日度因素带入蓄水量变化方程,得到日平均蓄水量变化率,便能对日度蓄水量变化值进行预测。在日平均蓄水量变化率预测完之后,将其累加并追加到已获取蓄水量历史实际值中的蓄水量初始值上去,便得到各日的蓄水量水平值。
优选的,通过MCMC方法对参数的后验分布进行推断,提高预测准确度。
S308、根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率。
具体来说,由于长期蓄水量预测模型是基于月度数据训练得到的,适合长期蓄水量变化的预测,但水库出水量受到城市供水调度计划的影响,因而这种预测方式对短期预测效果欠佳,需要结合其他模型进行组合预测,对短期预测结果进行在线修正。
图4为本申请实施例提供的蓄水量短期修正模型算法原理示意图,如图4所示,根据滞后k天的蓄水量历史实际值dyt-k、蓄水量历史预测值以及随机扰动项,采用如下公式:
,
确定修正的日蓄水量变化率dyt;其中,采用K-折交叉验证进行验证比较,确定贝叶斯短期修正模型中的超参数,得到最优模型,参数ρ、αi、βi、ξt服从正态分布。
S309、根据蓄水量历史实际值中的蓄水量初始值和修正的日蓄水量变化率,确定修正的蓄水量预测值,以得到用于获取修正的蓄水量预测值的短期蓄水量修正模型。
具体来说,为了避免在动态修正过程中出现过拟合的问题,对该方程中的参数进行约束,降低模型的复杂度,采用如下公式:
,
确定修正的日蓄水量变化率dyt。
其中,参数ρ>0,γi>0,参数ρ、γi、ξt服从正态分布,ρ~Normal(0.9,0.1),γi~Normal(0,0.1),ξt~Normal(0,σ^2),σ~InverseGamma(2,3);其中,InverseGamma表示逆伽马分布。
由上式可确定,对短期预测结果的修正过程是一个负反馈系统,当过去若干期的预测结果整体高于(低于)实际结果时,则向下(向上)修正当期的预测结果。
对于该短期蓄水量修正模型中的参数,可以用非线性最小二乘法(NLS)去估计,但是模型所需估计的参数数量相对于样本量而言较多,为了避免过拟合,需要对模型进行正则化处理。贝叶斯算法是一种有效的正则化方式,它让参数的取值范围限定在合理的范围内,而非不受约束地完全由数据决定。当参数的先验分布为正态分布时,贝叶斯推断的结果在一定程度上等价于岭回归模型;当参数的先验分布为拉普拉斯分布时,贝叶斯推断的结果在一定程度上等价于Lasso模型。这里将主要参数的先验分布设定为正态分布。
由于城市供水调度计划是每隔一段时间更新一次,因而短期修正方程的参数也得动态变化,因此,采用负反馈机制进行动态调整,构建贝叶斯短期修正模型,利用滚动回归的方式来预测短期用水量。例如,每次预测之前均采用过去30天的数据来估计短期修正方程中的参数。
S310、将该历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值。
其中,该历史天气因素数据和未来天气因素数据分别为预设时长的历史天气因素数据和未来天气因素数据,该长期蓄水量预测模型是基于预设时长内的水位变化趋势量、周期性变化量、降雨量分布和气温分布训练后的线性模型。
S311、将该蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值。
其中,该短期蓄水量修正模型是基于该蓄水量历史实际值和蓄水量历史预测值训练后的线性参数模型。
S312、将该修正的蓄水量预测值作为蓄水量预测结果发送至用户终端。
S310-S312的实现方式与上述S202-S204的实现方式类似,本实施例此处不再赘述。
本实施例提供的方法,通过获取未来预报时长的天气因素数据;将该未来预报时长的天气因素数据和预测时长输入自回归积分滑动平均模型中,得到未来天气因素数据的手段,实现基于短期天气预报数据获取长期天气预报数据的功能,便于预测未来更长时间后任意一天的蓄水量。
通过获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;根据蓄水量历史实际值和历史天气因素数据,确定模型的预设时长以及预设时长内的水位变化趋势量、周期性变化量、降雨量和气温;根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量;根据相邻两个预设时长结束时的蓄水量的差值和预设时长的天数的比值,确定预设时长内日平均蓄水量变化率;根据蓄水量初始值和日平均蓄水量变化率,确定蓄水量预测值,以得到用于获取蓄水量预测值的长期蓄水量预测模型;将该历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值的手段,充分挖掘蓄水量的长周期规律来规避递归预测导致的累计误差影响,又利用反馈机制和短期历史数据修正长期预测导致数据精度差和短期预测导致数据过拟合缺陷,保证长期预测结果的精度和短期预测结果的准确度,提升模型的泛化能力。
本发明实施例可以根据上述方法示例对电子设备或主控设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图5为本申请提供的蓄水量数据处理设备的结构示意图。如图5所示,该设备包括:
获取模块501,用于获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;其中,该天气因素数据包括降雨量和气温。
处理模块502,用于将该历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;其中,该历史天气因素数据和未来天气因素数据分别为预设时长的历史天气因素数据和未来天气因素数据,该长期蓄水量预测模型是基于预设时长内的水位变化趋势量、周期性变化量、降雨量分布和气温分布训练后的线性模型。
该处理模块502,还用于将该蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;其中,该短期蓄水量修正模型是基于该蓄水量历史实际值和蓄水量历史预测值训练后的线性参数模型。
发送模块503,用于将该修正的蓄水量预测值作为蓄水量预测结果发送至用户终端。
具体来说,该处理模块502还具体用于:根据蓄水量历史实际值和历史天气因素数据,确定模型的预设时长以及预设时长内的水位变化趋势量、周期性变化量、降雨量和气温;
根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量;
根据相邻两个预设时长结束时的蓄水量的差值和预设时长的天数的比值,确定预设时长内日平均蓄水量变化率;
根据蓄水量初始值和日平均蓄水量变化率,确定蓄水量预测值,以得到用于获取蓄水量预测值的长期蓄水量预测模型。
进一步的,该处理模块502具体用于:根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量,包括:
根据第t个预设时长内水位变化趋势量g(t)、周期性变化量s(t)、降雨量参数向量γR、日平均降雨量xR(t)、气温参数向量γT、日平均最高和最低气温构成的向量xT(t)以及随机扰动参数εt,采用如下公式:
,
确定第t个预设时长结束时的蓄水量y(t);其中,该水位变化趋势量中的参数、周期性变化量中的参数、降雨量参数向量、气温参数向量以及随机扰动参数分别服从不同方差的正态分布。
进一步的,该处理模块502还具体用于:根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率;
根据蓄水量历史实际值中的蓄水量初始值和修正的日蓄水量变化率,确定修正的蓄水量预测值,以得到用于获取修正的蓄水量预测值的短期蓄水量修正模型。
进一步的,该处理模块具体用于:根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率,包括:
根据滞后k天的蓄水量历史实际值dyt-k、蓄水量历史预测值以及随机扰动项,采用如下公式:
,
确定修正的日蓄水量变化率dyt;
其中,参数ρ>0,γi>0,参数ρ、γi、ξt服从正态分布。
进一步的,该处理模块502具体用于:触发获取模块501获取未来预报时长的天气因素数据;其中,该预报时长为当前能获取的天气因素数据的时长;
处理模块502将该未来预报时长的天气因素数据和预测时长输入自回归积分滑动平均模型中,得到未来天气因素数据;其中,该自回归积分滑动平均模型用于根据输入预设期数的时序数据以递归方式依次预测未来若干期的时序数据,该未来天气因素数据是预测时长为预设时长的天气因素数据预测值。
本实施例提供的蓄水量数据处理设备,可执行上述实施例的蓄水量数据处理方法,其实现原理和技术效果类似,本实施例此处不再赘述。
在前述的蓄水量数据处理设备的具体实现中,各模块可以被实现为处理器,处理器可以执行存储器中存储的计算机执行指令,使得处理器执行上述的蓄水量数据处理方法。
图6为本申请提供的电子设备的结构示意图。如图6所示,该电子设备包括:
至少一个处理器601和存储器602。该电子设备还包括通信部件603。其中,处理器601、存储器602以及通信部件603通过总线604连接。
在具体实现过程中,至少一个处理器601执行该存储器602存储的计算机执行指令,使得至少一个处理器601执行如上电子设备侧所执行的蓄水量数据处理方法。
处理器601的具体实现过程可参见上述方法实施例,其实现原理和技术效果类似,本实施例此处不再赘述。
在上述实施例中,应理解,处理器可以是中央处理单元(英文:CentralProcessing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:DigitalSignal Processor,简称:DSP)、专用集成电路(英文:Application Specific IntegratedCircuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器。总线可以是工业标准体系结构(IndustryStandard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述针对电子设备以及主控设备所实现的功能,对本发明实施例提供的方案进行了介绍。可以理解的是,电子设备或主控设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。结合本发明实施例中所公开的实施例描述的各示例的单元及算法步骤,本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本发明实施例的技术方案的范围。
以Q市S水库为例,利用现有技术中时间序列分解方法对水源地蓄水量和水位进行预测。
如图7所示,2020年9月到2023年8月的月度日平均蓄水量变化时间序列呈现出明显的周期性变化规律。利用2020年9月-2022年12月的蓄水量变化数据构建Prophet模型,并对2023年1月-2023年8月的月度日平均蓄水量变化值进行预测,得到如图8所示的月度蓄水量变化样本内拟合结果,其中,RMSE=0.8012,MAE=0.6531,R2=0.9108。
如图9所示,蓄水量的变化被分解成四个不同成分:图9中的(a)趋势项g(t),即时间t的数值与其系数期望值的乘积;图9中的(b)周期项s(t),即三角函数与其系数期望值乘积的和;图9中的(c)降雨量影响;图9中的(d)气温影响/>。从趋势项的数值大小来看,趋势部分并不显著;从周期项来看,蓄水量变化存在两个峰值,分别出现在6月份和10月份;从降雨量的影响来看,降雨量对蓄水量变化的影响显著为正,而且贡献率很高;从温度的影响来看,其峰值出现在气温较低的月份,表明气温对蓄水量变化的影响显著为负。
如图10所示,为S水库月度日平均蓄水量变化的样本外预测结果,其中,RMSE=0.6823,MAE=0.5916,R2=0.8969,再将拟合得到的Prophet模型应用于2023年1月-2023年8月的日度数据,得到如图11所示的日度蓄水量变化预测结果,其中,RMSE=1.6730,MAE=1.2404,R2=0.6343。以2023年1月1日的蓄水量为起点,将日度蓄水量变化预测结果进行累计求和,得到如图12所示的2023年1月-2023年8月日度蓄水量水平值预测结果。
对于模型的修正过程,如图13所示,分别设置图13中的(a)预测5步、图13中的(b)预测10步、图13中的(c)预测20步、图13中的(d)预测30步、图13中的(e)预测60步和图13中的(f)预测90步的S水库日度蓄水量变化的样本外预测修正结果,对比发现均方根误差(RMSE)、均绝对误差(MAE)均有所下降,拟合优度(R2)显著上升;具体来说,预测5步的RMSE=1.3375,MAE=1.0670,R2=0.7663;预测10步的RMSE=1.4708,MAE=1.1752,R2=0.7174;预测20步的RMSE=1.4688,MAE=1.1615,R2=0.7182;预测30步的RMSE=1.4649,MAE=1.2059,R2=0.7197;预测60步的RMSE=1.3456,MAE=1.0624,R2=0.7634;预测90步的RMSE=1.5165,MAE=1.1237,R2=0.6996。其中,如图14所示,针对10步的修正结果还原为蓄水量水平值,其中,RMSE=11.475,MAE=9.4179,平均绝对百分比误差(MAPE)=0.0076,R2=0.9880,可以发现,RMSE和MAE均显著下降,MAPE值也很小,R2显著上升,接近0.99,证明本申请蓄水量数据处理方法实际应用可行,且预测结果准确度较高。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质中存储有计算机执行指令,当处理器执行该计算机执行指令时,实现如上蓄水量数据处理方法。
该方法广泛应用于:智慧家庭(Smart Home)、智能家居、智能家用设备生态、智慧住宅(Intelligence House)生态等全屋智能数字化控制应用场景。上述网络可以包括但不限于以下至少之一:有线网络,无线网络。上述有线网络可以包括但不限于以下至少之一:广域网,城域网,局域网,上述无线网络可以包括但不限于以下至少之一:WIFI(WirelessFidelity,无线保真),蓝牙。终端设备可以并不限定于为:PC、手机、平板电脑、智能空调、智能烟机、智能冰箱、智能烤箱、智能炉灶、智能洗衣机、智能热水器、智能洗涤设备、智能洗碗机、智能投影设备、智能电视、智能晾衣架、智能窗帘、智能影音、智能插座、智能音响、智能音箱、智能新风设备、智能厨卫设备、智能卫浴设备、智能扫地机器人、智能擦窗机器人、智能拖地机器人、智能空气净化设备、智能蒸箱、智能微波炉、智能厨宝、智能净化器、智能饮水机、智能门锁等。
上述的计算机可读存储介质,上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的可读存储介质耦合至处理器,从而使处理器能够从该可读存储介质读取信息,且可向该可读存储介质写入信息。当然,可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific IntegratedCircuits,简称:ASIC)中。当然,处理器和可读存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种蓄水量数据处理方法,其特征在于,包括:
获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;其中,所述天气因素数据包括降雨量和气温;
将所述历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;其中,所述历史天气因素数据和未来天气因素数据分别为预设时长的历史天气因素数据和未来天气因素数据,所述长期蓄水量预测模型是基于预设时长内的水位变化趋势量、周期性变化量、降雨量分布和气温分布训练后的线性模型;
将所述蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;其中,所述短期蓄水量修正模型是基于所述蓄水量历史实际值和蓄水量历史预测值训练后的线性参数模型;
将所述修正的蓄水量预测值作为蓄水量预测结果发送至用户终端;
所述长期蓄水量预测模型的获取方法包括:
根据蓄水量历史实际值和历史天气因素数据,确定模型的预设时长以及预设时长内的水位变化趋势量、周期性变化量、降雨量和气温;
根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量;
根据相邻两个预设时长结束时的蓄水量的差值和预设时长的天数的比值,确定预设时长内日平均蓄水量变化率;
根据蓄水量初始值和日平均蓄水量变化率,确定蓄水量预测值,以得到用于获取蓄水量预测值的长期蓄水量预测模型;
所述短期蓄水量修正模型的获取方法包括:
根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率;
根据蓄水量历史实际值中的蓄水量初始值和修正的日蓄水量变化率,确定修正的蓄水量预测值,以得到用于获取修正的蓄水量预测值的短期蓄水量修正模型。
2.根据权利要求1所述的方法,其特征在于,所述根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量,包括:
根据第t个预设时长内水位变化趋势量g(t)、周期性变化量s(t)、降雨量参数向量γR、日平均降雨量xR(t)、气温参数向量γT、日平均最高和最低气温构成的向量xT(t)以及随机扰动参数εt,采用如下公式:确定第t个预设时长结束时的蓄水量y(t);其中,所述水位变化趋势量中的参数、周期性变化量中的参数、降雨量参数向量、气温参数向量以及随机扰动参数分别服从不同方差的正态分布。
3.根据权利要求1所述的方法,其特征在于,所述根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率,包括:
根据滞后k天的蓄水量历史实际值dyt-k、蓄水量历史预测值以及随机扰动项,采用如下公式:/>确定修正的日蓄水量变化率dyt;其中,参数ρ>0,γi>0,参数ρ、γi、ξt服从正态分布。
4.根据权利要求1所述的方法,其特征在于,所述长期蓄水量预测模型基于Prophet模型或NeuralProphet模型或TiDE模型构建,所述短期蓄水量修正模型基于贝叶斯模型构建。
5.根据权利要求1所述的方法,其特征在于,获取所述未来天气因素数据,包括:
获取未来预报时长的天气因素数据;其中,所述预报时长为当前能获取的天气因素数据的时长;
将所述未来预报时长的天气因素数据和预测时长输入自回归积分滑动平均模型中,得到未来天气因素数据;其中,所述自回归积分滑动平均模型用于根据输入预设期数的时序数据以递归方式依次预测未来若干期的时序数据,所述未来天气因素数据是预测时长为预设时长的天气因素数据预测值。
6.一种蓄水量数据处理设备,其特征在于,包括:
获取模块,用于获取蓄水量历史实际值、历史天气因素数据和未来天气因素数据;其中,所述天气因素数据包括降雨量和气温;
处理模块,用于将所述历史天气因素数据和未来天气因素数据输入长期蓄水量预测模型中,得到蓄水量历史预测值和蓄水量未来预测值;其中,所述历史天气因素数据和未来天气因素数据分别为预设时长的历史天气因素数据和未来天气因素数据,所述长期蓄水量预测模型是基于预设时长内的水位变化趋势量、周期性变化量、降雨量分布和气温分布训练后的线性模型;
所述处理模块,还用于将所述蓄水量未来预测值输入短期蓄水量修正模型中,得到修正的蓄水量预测值;其中,所述短期蓄水量修正模型是基于所述蓄水量历史实际值和蓄水量历史预测值训练后的线性参数模型;
发送模块,用于将所述修正的蓄水量预测值作为蓄水量预测结果发送至用户终端;
所述处理模块还具体用于:
根据蓄水量历史实际值和历史天气因素数据,确定模型的预设时长以及预设时长内的水位变化趋势量、周期性变化量、降雨量和气温;
根据预设时长内的水位变化趋势量、周期性变化量、降雨量和气温,确定预设时长结束时的蓄水量;
根据相邻两个预设时长结束时的蓄水量的差值和预设时长的天数的比值,确定预设时长内日平均蓄水量变化率;
根据蓄水量初始值和日平均蓄水量变化率,确定蓄水量预测值,以得到用于获取蓄水量预测值的长期蓄水量预测模型;
所述处理模块还具体用于:
根据蓄水量历史实际值和蓄水量历史预测值,确定修正的日蓄水量变化率;
根据蓄水量历史实际值中的蓄水量初始值和修正的日蓄水量变化率,确定修正的蓄水量预测值,以得到用于获取修正的蓄水量预测值的短期蓄水量修正模型。
7.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
所述存储器存储计算机执行指令;
所述处理器执行所述存储器存储的计算机执行指令,以实现如权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至5任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311797976.1A CN117454778B (zh) | 2023-12-26 | 2023-12-26 | 蓄水量数据处理方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311797976.1A CN117454778B (zh) | 2023-12-26 | 2023-12-26 | 蓄水量数据处理方法、设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117454778A CN117454778A (zh) | 2024-01-26 |
CN117454778B true CN117454778B (zh) | 2024-05-07 |
Family
ID=89586005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311797976.1A Active CN117454778B (zh) | 2023-12-26 | 2023-12-26 | 蓄水量数据处理方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117454778B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010164557A (ja) * | 2008-12-19 | 2010-07-29 | Chugoku Electric Power Co Inc:The | 降水量予測システム、降水量予測方法およびプログラム |
CN109991685A (zh) * | 2019-04-03 | 2019-07-09 | 北京市天元网络技术股份有限公司 | 一种基于多lstm模型融合的降水量预测方法以及装置 |
CN114322044A (zh) * | 2021-12-20 | 2022-04-12 | 西安交通大学 | 一种综合能源系统及其运行控制方法 |
GB2599862A (en) * | 2020-04-28 | 2022-04-13 | China Three Gorges Corp | Method for performing runoff forecast under influence of upstream reservoir group by using forecast errors |
CN117151263A (zh) * | 2022-11-14 | 2023-12-01 | 青岛特来电新能源科技有限公司 | 充电站的充电量预测方法、装置、电子设备及介质 |
-
2023
- 2023-12-26 CN CN202311797976.1A patent/CN117454778B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010164557A (ja) * | 2008-12-19 | 2010-07-29 | Chugoku Electric Power Co Inc:The | 降水量予測システム、降水量予測方法およびプログラム |
CN109991685A (zh) * | 2019-04-03 | 2019-07-09 | 北京市天元网络技术股份有限公司 | 一种基于多lstm模型融合的降水量预测方法以及装置 |
GB2599862A (en) * | 2020-04-28 | 2022-04-13 | China Three Gorges Corp | Method for performing runoff forecast under influence of upstream reservoir group by using forecast errors |
CN114322044A (zh) * | 2021-12-20 | 2022-04-12 | 西安交通大学 | 一种综合能源系统及其运行控制方法 |
CN117151263A (zh) * | 2022-11-14 | 2023-12-01 | 青岛特来电新能源科技有限公司 | 充电站的充电量预测方法、装置、电子设备及介质 |
Non-Patent Citations (5)
Title |
---|
Evaluating different predictive strategies for filling the global GRACE/-FO terrestrial water storage anomalies gap;Xiangyu Wan等;Journal of Hydrology;20231002;第626卷;全文 * |
基于GA-ELM算法的城市短期用水预测;辛珂;李文竹;刘心;;电脑知识与技术;20200505(第13期);全文 * |
基于供需平衡目标规划的地区水资源调度研究;张伟;;南通职业大学学报;20190510(第01期);全文 * |
基于时间序列分析的水位短期预测模型仿真;易云飞;盛康;;计算机工程与设计;20160516(第05期);全文 * |
预测供水水源设计参数的Markov模型;孙海洲;路金喜;赵红云;张会敏;张克平;;人民黄河;20090920(第09期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN117454778A (zh) | 2024-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | An interval decomposition-ensemble approach with data-characteristic-driven reconstruction for short-term load forecasting | |
CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
Hu et al. | A hybrid approach based on the Gaussian process with t-observation model for short-term wind speed forecasts | |
US10386544B2 (en) | Solar power forecasting using mixture of probabilistic principal component analyzers | |
CN110610232A (zh) | 一种基于深度学习的长期及短期交通流预测模型构建方法 | |
Phyo et al. | Electricity load forecasting in Thailand using deep learning models | |
Koprinska et al. | Combining pattern sequence similarity with neural networks for forecasting electricity demand time series | |
Aouad et al. | A CNN-Sequence-to-Sequence network with attention for residential short-term load forecasting | |
CN103676649A (zh) | 局部自适应小波神经网络训练系统、设备及方法 | |
CN113486303A (zh) | 一种基于修饰模型集成的长时间序列预测方法 | |
CN114862032B (zh) | 一种基于XGBoost-LSTM的电网负荷预测方法及装置 | |
CN115587666A (zh) | 基于季节趋势分解和混合神经网络的负荷预测方法及系统 | |
CN112508299A (zh) | 一种电力负荷预测方法、装置、终端设备及存储介质 | |
CN114065996A (zh) | 基于变分自编码学习的交通流预测方法 | |
CN114595861A (zh) | 基于mstl和lstm模型的中长期电力负荷预测方法 | |
Girimurugan et al. | Application of deep learning to the prediction of solar irradiance through missing data | |
CN117543544A (zh) | 一种负荷预测方法、装置、设备及存储介质 | |
Priatna et al. | Precipitation prediction using recurrent neural networks and long short-term memory | |
Zhang et al. | Accurate ultra-short-term load forecasting based on load characteristic decomposition and convolutional neural network with bidirectional long short-term memory model | |
Darmawan et al. | GRU and XGBoost Performance with Hyperparameter Tuning Using GridSearchCV and Bayesian Optimization on an IoT-Based Weather Prediction System. | |
CN117454778B (zh) | 蓄水量数据处理方法、设备及存储介质 | |
CN112686470A (zh) | 电网饱和负荷预测方法、装置及终端设备 | |
Xu et al. | Residual autoencoder-LSTM for city region vehicle emission pollution prediction | |
CN116826739A (zh) | 基于单变量时序的超短期农业电力负荷预测方法及装置 | |
Dumas et al. | Classification of load forecasting studies by forecasting problem to select load forecasting techniques and methodologies |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |