CN110969290B - 一种基于深度学习的径流概率预测方法及系统 - Google Patents
一种基于深度学习的径流概率预测方法及系统 Download PDFInfo
- Publication number
- CN110969290B CN110969290B CN201911127707.8A CN201911127707A CN110969290B CN 110969290 B CN110969290 B CN 110969290B CN 201911127707 A CN201911127707 A CN 201911127707A CN 110969290 B CN110969290 B CN 110969290B
- Authority
- CN
- China
- Prior art keywords
- model
- runoff
- prediction
- tree
- xgb
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000009826 distribution Methods 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 84
- 238000012549 training Methods 0.000 claims description 45
- 238000012795 verification Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 8
- 239000000654 additive Substances 0.000 claims description 6
- 230000000996 additive effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 6
- 238000010200 validation analysis Methods 0.000 claims description 6
- 230000010354 integration Effects 0.000 claims description 4
- 238000005315 distribution function Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012887 quadratic function Methods 0.000 claims description 3
- 238000007637 random forest analysis Methods 0.000 claims description 3
- 238000000638 solvent extraction Methods 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 3
- 238000010219 correlation analysis Methods 0.000 abstract description 2
- 230000000694 effects Effects 0.000 abstract description 2
- 238000010801 machine learning Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000010248 power generation Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Mathematical Physics (AREA)
- Development Economics (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Educational Administration (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Quality & Reliability (AREA)
- General Health & Medical Sciences (AREA)
- Game Theory and Decision Science (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Algebra (AREA)
- Entrepreneurship & Innovation (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于径流预测技术领域，公开了一种基于深度学习的径流概率预测方法及系统，采用最大信息系数分析变量间的线性和非线性相关性以筛选径流相关因子；在相关性分析的基础上搭建极限梯度提升树模型，将径流相关因子输入到训练好的XGB模型中完成径流点预测；以XGB模型得到的点预测结果输入到GPR模型中，二次预测得到径流概率预测结果；选定置信度，通过高斯分布得到相应置信度下的径流区间预测结果；采用贝叶斯优化算法对XGB和GPR模型中的超参数进行优化。本发明的预报方法可得到高精度的径流点预测结果、合适的径流预测区间和可靠的径流概率预测分布，对水资源的利用和水库调度具有至关重要的作用。
Description
技术领域
本发明属于径流预测技术领域，尤其涉及一种基于深度学习的径流概率预测方法及系统。
背景技术
目前，最接近的现有技术：
水电能源是洁净、廉价、可再生的绿色环保能源。水库运行最大的影响因素是径流，因此实现高精度并且可靠的径流概率预报对水库调度实现防洪、发电、供水和航运等综合效益具有重大意义。然而降雨径流的形成过程受到水文、地形、气象等诸多自然因素的影响，呈现高度的非线性、随机性和不确定性特征，使得传统机器学习方法预测径流所能达到的精度有限。近年来，深度学习方法因其预报精度高在图像识别和自然语言处理等领域被广泛应用，但是目前鲜有深度学习方法用于预测径流。因此，如何考虑径流相关因子并基于深度学习方法实现径流的高精度可靠预报是亟需解决的理论和实际工程问题。
径流预测方法大体上可分为过程驱动方法和数据驱动方法。过程驱动方法基于水文学概念，侧重于描述产汇流的物理机制，如新安江水文模型和数值天气预报。这类模型虽然具有较高的预测精度和可解释性，但其需要收集的基础数据太复杂，同时其模型求解非常耗时。数据驱动模型通过挖掘径流时间序列中包含的信息来预测径流，比如自回归滑动平均模型、支持向量机和人工神经网络等机器学习模型。但由于径流的复杂特征，机器学习模型达到的预测精度有限。长短期记忆网络、卷积神经网络和极限梯度提升树模型等都是深度学习方法，具有优良的性能。长短期记忆网络和卷积神经网络主要应用于语言识别和图像处理等领域，极限梯度提升树模型用于处理像径流这类回归预测问题具有很高的预测精度。然而，这类预测模型都是确定性预测模型，只能获取径流点预测结果，无法量化预报的不确定性。因此，如何将确定性预测模型转化为概率预测模型对规避径流预测误差带来的风险具有重大意义。
综上所述，现有技术存在的问题是：
(1)基于过程驱动的径流预测方法需要收集的基础数据太复杂，其模型求解非常耗时。
(2)基于数据驱动的径流预测方法中，传统机器学习方法因径流的复杂特征其能达到的预测精度有限。
(3)以往径流预测模型大多为确定性预测模型，难以量化预报的不确定性。
解决上述技术问题的难度：
(1)径流呈现出高度的非线性、随机性和不确定性特征，辨识提取有效的径流相关因子是本技术的难点之一。
(2)深度学习方法在语音识别和图像处理等领域应用广泛，但应用于径流预测领域的较少，可参考的文献有限。
(3)将确定性预测结果转化为概率预测结果并使得预测结果可靠亦是本技术的难点之一。
解决上述技术问题的意义：
(1)采用最大信息系数来挖掘径流相关因子和径流之间的线性和非线性相关性，可有效辨识提取径流的相关因子，为预测模型提升预测精度奠定基础。
(2)采用极限梯度提升树模型预测径流，集成多个弱回归树模型，并在强回归树模型中考虑了损失函数对预测值的二阶导数，使得预测精度相比于传统机器学习方法有很大提升。
(3)采用极限梯度提升树模型结合高斯过程回归将确定性点预测结果转化为概率预测结果，量化了预报的不确定性，可为规避径流预测误差风险提供技术支撑。
发明内容
针对现有技术存在的问题，本发明提供了一种基于深度学习的径流概率预测方法及系统，可以精确考虑径流及径流影响因子之间的相关关系，并能获得具有高精度且可靠的径流预测结果。
本发明是这样实现的，一种基于深度学习的径流概率预测方法具体包括：
(1)收集径流及可能是径流影响因子的数据。
(2)利用最大信息系数分析径流和可能是径流的影响因子之间的线性和非线性相关性，得到径流相关因子；其中与径流的最大信息系数大于0.85的影响因子均作为径流相关因子。
其中，X和Y分别代表状态变量和决策变量；MIC代表最大信息系数；n表示序列长度；D是有序队列，G是划分的网格，D|G表示数据D在网格G上的分布；I(D|G)表示信息系数；函数B(n)＝n0.6。
(3)基于相关因子和径流构建训练集和验证集，并完成归一化处理。
(4)搭建极限梯度提升树模型(XGB)并采用贪心算法在训练集上训练模型；
(5)将训练集和验证集相关因子分别输入到训练好的XGB模型上，分别得到训练集和验证集的第一次径流预测结果；此第一次径流预测结果为点预测结果，即对每一个时段而言，此预测结果为单个数值。
(6)将训练集和验证集的点预测结果输入到高斯过程回归(GPR)模型中，计算得出验证集的第二次径流预测结果；次第二次径流预测结果为概率预测结果，即对每一个时段而言，此预测结果为一个概率密度函数。
(7)选定置信度，根据高斯分布在概率预测结果的基础上得到相应置信度下的预测区间。
(8)为使得预测模型具有更好的性能，XGB和GPR模型中的超参数均采用贝叶斯优化算法(BOA)进行优化；对于每一组超参数组合均需要完成步骤(4)～(7)，以预测精度最高的一组超参数下的预测结果作为最终的预测结果。
(9)输出最优超参数下的径流点预测、区间预测和概率预测结果。
进一步，步骤(4)中，极限梯度提升树模型的结构：
极限梯度提升树模型是一种集成树模型，由K个弱回归树模型分别预测径流并通过加性函数集成为最终的预测模型：
其中，为第i个时段的径流预测值；Xi为第i个时段的径流相关因子；fk(·)为第k个弱回归树模型；K个弱回归树模型通过加性函数集成为强回归模型φ(·)。
进一步，步骤(4)中，极限梯度提升树模型的训练步骤和细节：
XGB模型的训练在于求解弱回归树模型个数K和每个弱回归树模型fk；同时，每个弱回归树模型fk由独立的回归树结构qk和回归树中叶子节点权重wk确定，因此，XGB模型的训练在于求解K、qk和wk这三项变量。
a.定义XGB模型总损失函数：
其中，L(φ)为XGB模型φ的总损失函数；为衡量预测值/>和真实值yi之间误差的损失函数；Ω(fk)为衡量弱回归模型fk复杂度的惩罚项，用于避免过拟合；n为训练样本总数；其余变量含义和前述相同。
b.求解弱回归树模型个数K：
弱回归树模型个数采用贪心思想求解，假设目前已有(k-1)个弱回归树模型，第k个弱回归树模型fk是否能集成到XGB模型φ中取决于fk的加入是否能显著提升模型预测精度。fk通过最小化以下损失函数得到：
其中，L(k)(fk)为加入fk之后的损失函数；为前(k-1)个弱回归树模型集成的模型预测值；其余变量含义和前述相同。
当L(k)(φ)显著小于L(k-1)(φ)时，fk可集成到φ中，同时进一步迭代贪心加入新的弱回归树模型，直到L(k)(φ)不再显著小于L(k-1)(φ)时，迭代结束；此时，弱回归树模型的总个数即为K。
c.求解回归树fk中叶子节点权重wk：
将损失函数L(k)(fk)采用二阶泰勒公式展开，近似为：
其中，和/>分别为误差函数l在预测值/>上的一阶和二阶导数。二阶导数的加入使得XGB模型相比于其他集成树模型具有更高的预报精度。
移除常数项，优化目标可以简化为：
定义Ik,j＝{i|qk(Xi)＝j}为第k棵弱回归树第j个叶子上的特征输入集合，则目标函数可以转换为：
其中，T是第k棵弱回归树上叶子总数；是描述第k棵弱回归树第j个叶子权重复杂度的变量；λ是惩罚系数；wk,j是第k棵弱回归树第j个叶子权重。
由于是T个独立的二次函数，因此，对于树结构qk，令/>可求出最优的权重/>和最优的目标函数/>
d.求解回归树fk的树结构qk：
求解回归树fk的树结构qk需要确定划分条件Ck和叶子上特征输入集合Ik。划分条件决定分支结构，分支通过分数增益贪婪地增加：
其中，s是分数增益；和/>分别是划分之后左右叶子节点上特征输入集合；
使得分数增益s最大的划分条件Ck即为最优的划分条件当分数增益s的最大值小于0时意味着当前叶子节点不需要再划分。
进一步，步骤(6)中，高斯过程回归模型计算得出验证集径流概率密度函数的方法为：
训练集通过XGB模型预测得到的点预测结果为X，训练集实际径流值为Y；验证集通过XGB模型预测得到的点预测结果为x*；验证集径流值为y；此步骤中，X、Y和x*均为已知量，y为待求量。
训练集实际径流Y的先验分布表示为：
训练集实际径流Y和验证集径流y的联合先验分布为：
则验证集径流y的后验分布为：
其中，K为核函数，和/>为概率分布函数的均值和方差；In为n阶单位矩阵；/>为噪声方差；N表示高斯分布，K为/>的简化，/>为K(X,x*)的简化，K*为K(x*,X)的简化，K**为K(x*,x*)的简化。
进一步，步骤(8)中，贝叶斯优化算法(BOA)优化超参数的方法为：
超参数优化的目的在于从多种超参数组合中选取一组最优的超参数组合使得预测模型的精度最高。超参数优化问题可被定义为：
其中，H为所有的超参数取值范围；L(h)是预测模型在超参数组合h下的损失函数；h*为最优的超参数组合。
BOA的实现步骤为：
a.在超参数定义域H中随机生成少量超参数组合[hi]；将每一种组合hi输入到训练好的XGB-GPR模型中计算对应的损失函数值li，以此构建初始数据集D＝[hi,li]。
b.在数据集D上训练一个成熟的概率回归模型M，则损失函数l的概率密度函数可表示为p(l|M,D)；值得注意的是此时的概率回归模型M不是XGB-GPR，而是已存在的概率预测模型，比如随机森林或者Parzen树估计。
c.通过当前损失函数l的概率密度函数p(l|M,D)定义一个获得函数S来替代损失函数l；此时通过最小化获得函数S来产生新的一组超参数组合hi；常用的获得函数S的形式有基于概率形式、基于期望形式和基于信息熵形式。
d.计算新产生的超参数组合hi对应的损失函数值li，并将新样本(hi,li)加入到数据集D上，重复步骤b和步骤c直到达到迭代次数限制T，将最终的超参数组合hT作为最优的超参数组合h*。
本发明的另一目的在于提供一种实现所述基于XGB结合GPR的径流概率预测方法的信息数据处理终端。
本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述基于XGB结合GPR的径流概率预测方法。
本发明的另一目的在于提供一种实现所述基于XGB结合GPR的径流概率预测方法的径流预测控制系统。
本发明的另一目的在于提供一种搭载所述基于XGB结合GPR的径流概率预测控制系统的电力控制平台。
综上所述，本发明的优点及积极效果为：
(1)本发明采用最大信息系数来挖掘径流相关因子和径流之间的线性和非线性相关性，可有效辨识提取径流的相关因子，为预测模型提升预测精度奠定基础。
(2)本发明采用极限梯度提升树模型预测径流，集成多个弱回归树模型，并在强回归树模型中考虑了损失函数对预测值的二阶导数，使得预测精度相比于传统机器学习方法有很大提升。
(3)本发明采用极限梯度提升树模型结合高斯过程回归将确定性点预测结果转化为概率预测结果，量化了预报的不确定性，可为规避径流预测误差风险提供技术支撑。
(4)本发明采用贝叶斯优化算法优选了极限梯度提升树模型和高斯过程回归模型中的超参数，使得模型在预测径流时表现出更好的性能。
本发明采用最大信息系数来探究变量间的线性和非线性相关性以筛选径流相关因子；在相关性分析的基础上搭建极限梯度提升树模型，将径流相关因子输入到训练好的XGB模型中完成径流点预测；以XGB模型得到的点预测结果输入到GPR模型中，二次预测得到径流概率预测结果；选定置信度，通过高斯分布得到相应置信度下的径流区间预测结果；为使预报模型具有更优的性能，采用贝叶斯优化算法(BOA)对XGB和GPR模型中的超参数进行优化。本发明的预报方法(XGB-GPR-BOA)可得到高精度的径流点预测结果、合适的径流预测区间和可靠的径流概率预测分布，对水资源的利用和水库调度具有至关重要的作用。
附图说明
图1是本发明实施例提供的基于深度学习的径流概率预测方法流程图。
图2是本发明实施例提供的极限梯度提升树模型结构示意图。
图3是本发明实施例提供的BOA在数据集4上优化XGB超参数收敛曲线图。
图中：(a)为BOA优化XGB超参数的收敛图，从图中可以看出BOA在65代左右完成收敛；(b)为XGB模型自身的收敛图，从图中可以看出XGB在200代左右完成收敛。
图4是本发明实施例提供的XGB-GPR在某水文站数据集4上的点预测和区间预测结果。
图5是本发明实施例提供的XGB-GPR在验证集4上时段1和时段1096的径流概率密度函数中预测得出的概率密度函数曲线图。
图中：(a)、概率密度函数曲线图一；(b)概率密度函数曲线图二。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1是本发明实施例提供的基于XGB结合GPR的径流概率预测方法流程图，其具体步骤如下：
(1)收集径流及可能是径流影响因子的数据。
(2)利用最大信息系数分析径流和可能是径流的影响因子之间的线性和非线性相关性，得到径流相关因子。其中与径流的最大信息系数大于0.85的影响因子均作为径流相关因子。
其中，X和Y分别代表状态变量和决策变量。MIC代表最大信息系数。n表示序列长度。D是有序队列，G是划分的网格，D|G表示数据D在网格G上的分布。I(D|G)表示信息系数。函数B(n)＝n0.6。
(3)基于相关因子和径流构建训练集和验证集，并完成归一化处理。
(4)搭建极限梯度提升树模型(XGB)并采用贪心算法在训练集上训练模型；
极限梯度提升树模型是一种集成树模型，如图2所示，由K个弱回归树模型分别预测径流并通过加性函数集成为最终的预测模型：
其中，为第i个时段的径流预测值；Xi为第i个时段的径流相关因子；fk(·)为第k个弱回归树模型；K个弱回归树模型通过加性函数集成为强回归模型φ(·)。
XGB模型的训练在于求解弱回归树模型个数K和每个弱回归树模型fk；同时，每个弱回归树模型fk由独立的回归树结构qk和回归树中叶子节点权重wk确定。因此，XGB模型的训练在于求解K、qk和wk这三项变量。
a.定义XGB模型总损失函数：
其中，L(φ)为XGB模型φ的总损失函数。为衡量预测值/>和真实值yi之间误差的损失函数。Ω(fk)为衡量弱回归模型fk复杂度的惩罚项，用于避免过拟合。n为训练样本总数。其余变量含义和前述相同。
b.求解弱回归树模型个数K：
弱回归树模型个数采用贪心思想求解，假设目前已有(k-1)个弱回归树模型，第k个弱回归树模型fk是否能集成到XGB模型φ中取决于fk的加入是否能显著提升模型预测精度。fk通过最小化以下损失函数得到：
其中，L(k)(fk)为加入fk之后的损失函数。为前(k-1)个弱回归树模型集成的模型预测值。其余变量含义和前述相同。
当L(k)(φ)显著小于L(k-1)(φ)时，fk可集成到φ中，同时进一步迭代贪心加入新的弱回归树模型，直到L(k)(φ)不再显著小于L(k-1)(φ)时，迭代结束。此时，弱回归树模型的总个数即为K。
c.求解回归树fk中叶子节点权重wk：
将损失函数L(k)(fk)采用二阶泰勒公式展开，近似为：
其中，和/>分别为误差函数l在预测值/>上的一阶和二阶导数。二阶导数的加入使得XGB模型相比于其他集成树模型具有更高的预报精度。
移除常数项，优化目标可以简化为：
定义Ik,j＝{i|qk(Xi)＝j}为第k棵弱回归树第j个叶子上的特征输入集合，则目标函数可以转换为：
其中，T是第k棵弱回归树上叶子总数。是描述第k棵弱回归树第j个叶子权重复杂度的变量。λ是惩罚系数。wk,j是第k棵弱回归树第j个叶子权重。
由于是T个独立的二次函数，因此，对于树结构qk，令/>可求出最优的权重/>和最优的目标函数/>
d.求解回归树fk的树结构qk：
求解回归树fk的树结构qk需要确定划分条件Ck和叶子上特征输入集合Ik。划分条件决定分支结构，分支通过分数增益贪婪地增加：
其中，s是分数增益。和/>分别是划分之后左右叶子节点上特征输入集合。
使得分数增益s最大的划分条件Ck即为最优的划分条件当分数增益s的最大值小于0时意味着当前叶子节点不需要再划分。
(5)将训练集和验证集相关因子分别输入到训练好的XGB模型上，分别得到训练集和验证集的第一次径流预测结果；此第一次径流预测结果为点预测结果，即对每一个时段而言，此预测结果为单个数值。
(6)将训练集和验证集的点预测结果输入到高斯过程回归(GPR)模型中，计算得出验证集的第二次径流预测结果。次第二次径流预测结果为概率预测结果，即对每一个时段而言，此预测结果为一个概率密度函数。
设训练集通过XGB模型预测得到的点预测结果为X，训练集实际径流值为Y。验证集通过XGB模型预测得到的点预测结果为x*。验证集径流值为y。此步骤中，X、Y和x*均为已知量，y为待求量。
训练集实际径流Y的先验分布表示为：
训练集实际径流Y和验证集径流y的联合先验分布为：
则验证集径流y的后验分布为：
其中，K为核函数，和/>为概率分布函数的均值和方差。In为n阶单位矩阵。/>为噪声方差。N表示高斯分布，K为/>的简化，/>为K(X,x*)的简化，K*为K(x*,X)的简化，K**为K(x*,x*)的简化。
(7)选定置信度，根据高斯分布在概率预测结果的基础上得到相应置信度下的预测区间。
(8)为使得预测模型具有更好的性能，XGB和GPR模型中的超参数均采用贝叶斯优化算法(BOA)进行优化。对于每一组超参数组合均需要完成步骤(4)～(7)，以预测精度最高的一组超参数下的预测结果作为最终的预测结果；
超参数优化的目的在于从多种超参数组合中选取一组最优的超参数组合使得预测模型的精度最高。超参数优化问题可被定义为：
其中，H为所有的超参数取值范围。L(h)是预测模型在超参数组合h下的损失函数。h*为最优的超参数组合。
BOA的实现步骤为：
a.在超参数定义域H中随机生成少量超参数组合[hi]；将每一种组合hi输入到训练好的XGB-GPR模型中计算对应的损失函数值li，以此构建初始数据集D＝[hi,li]；
b.在数据集D上训练一个成熟的概率回归模型M，则损失函数l的概率密度函数可表示为p(l|M,D)。值得注意的是此时的概率回归模型M不是XGB-GPR，而是已存在的概率预测模型，比如随机森林或者Parzen树估计。
c.通过当前损失函数l的概率密度函数p(l|M,D)定义一个获得函数S来替代损失函数l。此时通过最小化获得函数S来产生新的一组超参数组合hi。常用的获得函数S的形式有基于概率形式、基于期望形式和基于信息熵形式。
d.计算新产生的超参数组合hi对应的损失函数值li，并将新样本(hi,li)加入到数据集D上，重复步骤b和步骤c直到达到迭代次数限制T，将最终的超参数组合hT作为最优的超参数组合h*。
(9)输出最优超参数下的径流点预测、区间预测和概率预测结果。
下面结合具体实施例对本发明的应用作进一步描述。
实施例
本发明分别以中国某四个水文站为对象，构建四个数据集，数据集时间跨度分别为2000年至2004年、2007年至2011、2004年至2010年和2001年至2007年。以1天作为一个时段，采用前60％的数据集作为训练集，后40％的数据集作为验证集。
选取历史时段的径流作为可能影响径流的因子，计算其与径流的最大信息系数(MIC)，如表1所示。表格中大于0.85的因子采用灰色填充。其中yi-4表示前4天的径流，yi-2*Tyear表示2年前这一天的径流，以此类推。因此，数据集1的特征输入为[yi-Tyear,yi-2*Tyear,yi-1,yi-2,…,yi-5]，其余数据集的特征输入同理可得。
表1相关因子MIC值
为了验证极限梯度提升树(Extreme Gradient Boosting Tree,XGB)的预测性能，轻量级梯度提升机(Light Gradient Boosting Machine,LGB)、梯度提升回归树(GradientBoosting Regression Tree,GBR)、长短期记忆网络(Long Short-term Memory network,LSTM)、卷积神经网络(Convolutional Neural Network,CNN))、人工神经网络(ArtificialNeural Network,ANN)、支持向量机(Support Vector Regression,SVR)、分位数回归(Quantile Regression,QR)和高斯过程回归(Gaussian Process Regression,GPR)等共8个机器学习或者深度学习模型参与对比。上述9个模型中均能完成点预测，只有QR和GPR能完成概率预测。在概率预测和区间预测对比中，点预测模型均采用本发明思路结合GPR转化为概率预测模型。为了对比的公平性，9个模型的特征输入均采用表1的结果，同时模型中的超参数均采用BOA优化。
图3是本发明实例提供的BOA在数据集4上优化XGB超参数收敛曲线图。图3(a)图为BOA优化XGB超参数的收敛图，从图中可以看出BOA在65代左右完成收敛。图3(b)为XGB模型自身的收敛图，从图中可以看出XGB在200代左右完成收敛。其余数据集的收敛情况和数据集4类似。由于超参数优化模型和预测模型均收敛，故接下来展示的模型对比是可靠的。
表2列出了9个模型在4个数据集上径流点预测指标对比情况。评价指标采用均方根误差(RMSE)、平均绝对误差百分比(MAPE)和确定性系数(R2)，其中RMSE和MAPE两个指标都是值越小，预测精度越高。R2值越接近1，预测精度越高。表格中最优指标和次优指标分别用深灰色和浅灰色填充显示。从表2中可以看出，本发明模型XGB在4个数据集上的3个指标中均是最优的，说明本发明模型XGB径流预测精度非常高，在现有径流预测技术中具有最好的性能。
表2 9个模型在4个数据集上点预测指标对比
表3列出了9个模型在4个数据集上径流区间预测指标对比情况。置信度选取95％，评价指标采用区间覆盖率(CP95％)、区间平均宽度百分比(MWP95％)和区间合适度(MC95％)，理想的区间应该具有尽可能大的区间覆盖率和尽可能小的区间宽度。采用MC95％＝MWP95％/CP95％作为区间合适度综合指标，其值越小，区间合适度越好。表格中最优指标和次优指标分别用深灰色和浅灰色填充显示。从表3中可以看出，本发明模型XGB-GPR在4个数据集上的MC95％指标均是最优的，说明本发明模型XGB-GPR预测的径流区间是最合适的。
图4展示了XGB-GPR在数据集4的区间预测结果，上半部分是XGB-GPR预测结果图，从图中可以看出预测曲线非常贴近真实值，说明模型预测精度高。同时径流真实值绝大部分点位于灰色的预测区间中，且区间宽度并不大，说明模型预测的区间非常合适。下半部分是9个模型在3个区间预测指标上的排序柱状图，从图中可以直观看出本发明模型具有最好的性能。
表3 9个模型在4个数据集上区间预测指标对比
表4列出了9个模型在4个数据集上径流概率预测指标对比情况。评价指标采用连续等级概率评分(CRPS)，其可以评价点预测、区间预测、概率预测和可靠性综合性能。CRPS值越小，概率预测综合性能越优。表格中最优指标和次优指标分别用深灰色和浅灰色填充显示。从表4中可以看出，本发明模型XGB-GPR在4个数据集上的CRPS指标均是最优的，说明本发明模型XGB-GPR的径流概率预测结果综合性能最好。
图5列出了XGB-GPR在验证集4上时段1和时段1096的径流概率密度函数。
从图(a)、(b)中可以看出预测得出的概率密度函数曲线非常饱满，没有过高过低过宽过窄，径流真实值接近概率密度函数曲线的中心线，说明本发明模型预测得到的概率密度函数精度高、可靠性强。
表4 9个模型在4个数据集上概率预测指标对比
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现，所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘SolidState Disk(SSD))等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于深度学习的径流概率预测方法，其特征在于，所述基于深度学习的径流概率预测方法具体包括：
(1)收集径流及径流影响因子的数据；
(2)利用最大信息系数分析径流和径流的影响因子之间的线性和非线性相关性，得到径流相关因子；
(3)基于相关因子和径流构建训练集和验证集，并完成归一化处理；
(4)搭建极限梯度提升树模型并采用贪心算法在训练集上训练模型；
(5)将训练集和验证集相关因子分别输入到训练好的极限梯度提升树模型上，分别得到训练集和验证集的第一次径流预测结果；
(6)将训练集和验证集的点预测结果输入到高斯过程回归模型中，计算得出验证集的第二次径流预测结果；
(7)选定置信度，根据高斯分布在概率预测结果的基础上得到相应置信度下的预测区间；
(8)采用贝叶斯优化算法对极限梯度提升树模型和高斯过程回归模型中的超参数进行优化；
(9)输出最优超参数下的径流点预测、区间预测和概率预测结果；
所述步骤(2)中，与径流的最大信息系数大于0.85的影响因子均作为径流相关因子：
其中，X和Y分别代表状态变量和决策变量；MIC代表最大信息系数；n表示序列长度；D是有序队列，G是划分的网格，D|G表示数据D在网格G上的分布；I(D|G)表示信息系数；函数B(n)＝n0.6；
所述步骤(4)中，极限梯度提升树模型的结构：
极限梯度提升树模型是一种集成树模型，由K个弱回归树模型分别预测径流并通过加性函数集成为最终的预测模型：
其中，为第i个时段的径流预测值；Xi为第i个时段的径流相关因子；fk()为第k个弱回归树模型；K个弱回归树模型通过加性函数集成为强回归模型φ(·)；
所述步骤(4)中，极限梯度提升树模型的训练步骤和细节：
XGB模型的训练在于求解弱回归树模型个数K和每个弱回归树模型fk；同时，每个弱回归树模型fk由独立的回归树结构qk和回归树中叶子节点权重wk确定，因此，XGB模型的训练在于求解K、qk和wk这三项变量；
a,定义XGB模型总损失函数：
其中，L(φ)为XGB模型φ的总损失函数；为衡量预测值/>和真实值yi之间误差的损失函数；Ω(fk)为衡量弱回归模型fk复杂度的惩罚项，用于避免过拟合；n为训练样本总数；其余变量含义和前述相同；
b,求解弱回归树模型个数K：
弱回归树模型个数采用贪心思想求解，已有(k-1)个弱回归树模型，第k个弱回归树模型fk是否能集成到XGB模型φ中取决于fk的加入是否能显著提升模型预测精度；fk通过最小化以下损失函数得到：
其中，L(k)(fk)为加入fk之后的损失函数；为前(k-1)个弱回归树模型集成的模型预测值；其余变量含义和前述相同；
当L(k)(φ)显著小于L(k-1)(φ)时，fk集成到φ中，同时进一步迭代贪心加入新的弱回归树模型，直到L(k)(φ)不再显著小于L(k-1)(φ)时，迭代结束；此时，弱回归树模型的总个数即为K；
c,求解回归树fk中叶子节点权重wk：
将损失函数L(k)(fk)采用二阶泰勒公式展开，近似为：
其中，和/>分别为误差函数l在预测值/>上的一阶和二阶导数；二阶导数的加入使得XGB模型相比于其他集成树模型具有更高的预报精度；
移除常数项，优化目标简化为：
定义Ik,j＝{i|qk(Xi)＝j}为第k棵弱回归树第j个叶子上的特征输入集合，则目标函数可以转换为：
其中，T是第k棵弱回归树上叶子总数；是描述第k棵弱回归树第j个叶子权重复杂度的变量；λ是惩罚系数；wk,j是第k棵弱回归树第j个叶子权重；
由于L(k)是T个独立的二次函数，对于树结构qk，令求出最优的权重/>和最优的目标函数/>
d,求解回归树fk的树结构qk：
求解回归树fk的树结构qk需要确定划分条件Ck和叶子上特征输入集合Ik；划分条件决定分支结构，分支通过分数增益贪婪地增加：
其中，s是分数增益；和/>分别是划分之后左右叶子节点上特征输入集合；
使得分数增益s最大的划分条件Ck即为最优的划分条件当分数增益s的最大值小于0时意味着当前叶子节点不需要再划分；
所述步骤(6)中，高斯过程回归模型计算得出验证集径流概率密度函数的方法为：
训练集通过XGB模型预测得到的点预测结果为X，训练集实际径流值为Y；验证集通过XGB模型预测得到的点预测结果为x*；验证集径流值为y；此步骤中，X、Y和x*均为已知量，y为待求量；
训练集实际径流Y的先验分布表示为：
训练集实际径流Y和验证集径流y的联合先验分布为：
则验证集径流y的后验分布为：
其中，K为核函数，和/>为概率分布函数的均值和方差；In为n阶单位矩阵；/>为噪声方差；N表示高斯分布，K为/>的简化，/>为K(X,x*)的简化，K*为K(x*,X)的简化，K**为K(x*,x*)的简化；
所述步骤(8)中，贝叶斯优化算法(BOA)优化超参数的方法为：
超参数优化的目的在于从多种超参数组合中选取一组最优的超参数组合使得预测模型的精度最高，超参数优化问题可被定义为：
其中，H为所有的超参数取值范围；L(h)是预测模型在超参数组合h下的损失函数；h*为最优的超参数组合；
BOA的实现步骤为：
a，在超参数定义域H中随机生成少量超参数组合[hi]；将每一种组合hi输入到训练好的XGB-GPR模型中计算对应的损失函数值li，构建初始数据集D＝[hi,li]；
b，在数据集D上训练一个成熟的概率回归模型M，则损失函数l的概率密度函数可表示为p(l|M,D)；概率回归模型M不是XGB-GPR，而是已存在的概率预测模型，随机森林或者Parzen树估计；
c，通过当前损失函数l的概率密度函数p(l|M,D)定义一个获得函数S来替代损失函数l；此时通过最小化获得函数S来产生新的一组超参数组合hi；常用的获得函数S的形式有基于概率形式、基于期望形式和基于信息熵形式；
d，计算新产生的超参数组合hi对应的损失函数值li，并将新样本(hi,li)加入到数据集D上，重复步骤b和步骤c直到达到迭代次数限制T，将最终的超参数组合hT作为最优的超参数组合h*。
2.一种实现权利要求1所述基于深度学习的径流概率预测方法的信息数据处理终端。
3.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1所述基于深度学习的径流概率预测方法。
4.一种实现权利要求1所述基于深度学习的径流概率预测方法的基于深度学习的径流概率预测控制系统。
5.一种搭载权利要求4所述基于深度学习的径流概率预测控制系统的电力控制平台。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911127707.8A CN110969290B (zh) | 2019-11-18 | 2019-11-18 | 一种基于深度学习的径流概率预测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911127707.8A CN110969290B (zh) | 2019-11-18 | 2019-11-18 | 一种基于深度学习的径流概率预测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969290A CN110969290A (zh) | 2020-04-07 |
| CN110969290B true CN110969290B (zh) | 2023-09-26 |
Family
ID=70030788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911127707.8A Active CN110969290B (zh) | 2019-11-18 | 2019-11-18 | 一种基于深度学习的径流概率预测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969290B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111598354B (zh) * | 2020-05-26 | 2023-04-21 | 河南郑大水利科技有限公司 | 一种小型水库当日径流预测方法 |
| CN111832101B (zh) * | 2020-06-18 | 2023-07-07 | 湖北博华自动化系统工程有限公司 | 一种水泥强度预测模型的构建方法及水泥强度预测方法 |
| CN111915068A (zh) * | 2020-07-17 | 2020-11-10 | 同济大学 | 一种基于集成学习的道路能见度短临预测方法 |
| CN112001556B (zh) * | 2020-08-27 | 2022-07-15 | 华中科技大学 | 一种基于深度学习模型的水库下游水位预测方法 |
| CN112651543A (zh) * | 2020-11-10 | 2021-04-13 | 沈阳工程学院 | 一种基于vmd分解与lstm网络的日用电量预测方法 |
| CN113159972B (zh) * | 2021-05-20 | 2024-05-24 | 深圳前海微众银行股份有限公司 | 组合确定方法、装置、电子设备及计算机可读存储介质 |
| CN113705657B (zh) * | 2021-08-24 | 2024-01-19 | 华北电力大学 | 一种基于差分法消除多重共线性的逐步聚类统计降尺度方法 |
| CN114282431B (zh) * | 2021-12-09 | 2023-08-18 | 淮阴工学院 | 一种基于改进sca和qrgru的径流区间预测方法及系统 |
| CN116167526A (zh) * | 2023-04-13 | 2023-05-26 | 中国农业大学 | 径流量预测方法、装置、电子设备及存储介质 |
| CN117114523B (zh) * | 2023-10-23 | 2024-02-02 | 长江三峡集团实业发展(北京)有限公司 | 基于条件互信息的径流预报模型构建和径流预报方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030621A (ja) * | 2001-07-13 | 2003-01-31 | Fuji Electric Co Ltd | 自流式ダムの水力発電量予測方法、そのニューラルネットワーク |
| CN108573281A (zh) * | 2018-04-11 | 2018-09-25 | 中科弘云科技（北京）有限公司 | 一种基于贝叶斯优化的深度学习超参数的调优改进方法 |
| CN109146194A (zh) * | 2018-09-05 | 2019-01-04 | 重庆工商大学 | 一种基于变模态卷积自编码关联向量机的径流量预测方法 |
| CN109344999A (zh) * | 2018-09-07 | 2019-02-15 | 华中科技大学 | 一种径流概率预报方法 |
| CN109711617A (zh) * | 2018-12-25 | 2019-05-03 | 河海大学 | 一种基于blstm深度学习的中长期径流预测方法 |
-
2019
- 2019-11-18 CN CN201911127707.8A patent/CN110969290B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003030621A (ja) * | 2001-07-13 | 2003-01-31 | Fuji Electric Co Ltd | 自流式ダムの水力発電量予測方法、そのニューラルネットワーク |
| CN108573281A (zh) * | 2018-04-11 | 2018-09-25 | 中科弘云科技（北京）有限公司 | 一种基于贝叶斯优化的深度学习超参数的调优改进方法 |
| CN109146194A (zh) * | 2018-09-05 | 2019-01-04 | 重庆工商大学 | 一种基于变模态卷积自编码关联向量机的径流量预测方法 |
| CN109344999A (zh) * | 2018-09-07 | 2019-02-15 | 华中科技大学 | 一种径流概率预报方法 |
| CN109711617A (zh) * | 2018-12-25 | 2019-05-03 | 河海大学 | 一种基于blstm深度学习的中长期径流预测方法 |
Non-Patent Citations (6)
| Title |
|---|
| Monthly streamflow forecasting based on hidden Markov model and Gaussian Mixture Regression;Yongqi Liu等;Journal of Hydrology;第561卷;第146-159页 * |
| 基于贝叶斯优化的三维水动力-水质模型参数估值方法;任婷玉;梁中耀;刘永;邹锐;;环境科学学报(06);第2024-2032页 * |
| 张铭 ; 李承军 ; 张勇传 ; .贝叶斯概率水文预报系统在中长期径流预报中的应用.水科学进展.2009,(01),第40-44页. * |
| 许裕栗 ; 杨晶 ; 李柠 ; 甘中学 ; .Xgboost算法在区域用电预测中的应用!.自动化仪表.2018,(07),第1-3页. * |
| 高尚.《分布估计算法及其应用》.国防工业出版社,2016,第29-31. * |
| 黄南天 ; 齐斌 ; 刘座铭 ; 蔡国伟 ; 邢恩恺 ; .采用面积灰关联决策的高斯过程回归概率短期负荷预测.电力系统自动化.2018,(23),第64-65页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969290A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110969290B (zh) | 一种基于深度学习的径流概率预测方法及系统 | |
| Wang et al. | Deep belief network based k-means cluster approach for short-term wind power forecasting | |
| CN112488395A (zh) | 一种配电网线损预测方法及系统 | |
| CN111401755B (zh) | 基于马尔科夫链的多新能源出力场景生成方法、装置及系统 | |
| CN110751318A (zh) | 一种基于ipso-lstm的超短期电力负荷预测方法 | |
| CN114399021A (zh) | 一种基于多尺度信息的概率风速预测方法和系统 | |
| CN115688579A (zh) | 一种基于生成对抗网络的流域多点水位预测预警方法 | |
| CN112434848A (zh) | 基于深度信念网络的非线性加权组合风电功率预测方法 | |
| CN112163689A (zh) | 基于深度Attention-LSTM的短期负荷分位点概率预测方法 | |
| CN113344288B (zh) | 梯级水电站群水位预测方法、装置及计算机可读存储介质 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN115860177A (zh) | 基于组合式机器学习模型光伏发电功率预测方法及其应用 | |
| CN114169434A (zh) | 一种负荷预测方法 | |
| CN111311001B (zh) | 基于DBSCAN算法和特征选择的Bi-LSTM网络短期负荷预测方法 | |
| CN113011680A (zh) | 一种电力负荷预测方法及系统 | |
| CN115759465A (zh) | 基于多目标协同训练和nwp隐式校正的风电功率预测方法 | |
| CN116578551A (zh) | 一种基于gru-gan的电网数据修复方法 | |
| CN114498633A (zh) | 一种基于XGBoost和QRLSTM的短期负荷概率预测方法 | |
| CN117252288A (zh) | 一种区域资源有功支撑能力预测方法及系统 | |
| CN116561569A (zh) | 一种基于EO特征选择结合AdaBoost算法的工业电力负荷辨识方法 | |
| CN113240181B (zh) | 一种水库调度运行滚动模拟方法及装置 | |
| CN115907131A (zh) | 一种北方地区电采暖负荷预测模型搭建方法和系统 | |
| CN115619028A (zh) | 一种基于聚类算法融合的电力负荷精准预测方法 | |
| Viana et al. | Load forecasting benchmark for smart meter data | |
| CN112667394B (zh) | 一种计算机资源利用率优化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |