CN115062818A - 一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法 - Google Patents
一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法 Download PDFInfo
- Publication number
- CN115062818A CN115062818A CN202210505547.1A CN202210505547A CN115062818A CN 115062818 A CN115062818 A CN 115062818A CN 202210505547 A CN202210505547 A CN 202210505547A CN 115062818 A CN115062818 A CN 115062818A
- Authority
- CN
- China
- Prior art keywords
- sediment
- model
- machine learning
- mode
- reservoir
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000013049 sediment Substances 0.000 title claims abstract description 74
- 238000010801 machine learning Methods 0.000 title claims abstract description 38
- 238000012935 Averaging Methods 0.000 title claims abstract description 26
- 238000013277 forecasting method Methods 0.000 title claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000012706 support-vector machine Methods 0.000 claims abstract description 25
- 238000007637 random forest analysis Methods 0.000 claims abstract description 20
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000001932 seasonal effect Effects 0.000 claims abstract description 13
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 230000007787 long-term memory Effects 0.000 claims abstract description 7
- 230000006403 short-term memory Effects 0.000 claims abstract description 6
- 238000013079 data visualisation Methods 0.000 claims abstract description 5
- 238000007619 statistical method Methods 0.000 claims abstract description 5
- 239000004576 sand Substances 0.000 claims description 43
- 238000004088 simulation Methods 0.000 claims description 37
- 238000012937 correction Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000003062 neural network model Methods 0.000 claims description 5
- 238000007476 Maximum Likelihood Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000006386 memory function Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims 1
- 238000012805 post-processing Methods 0.000 abstract description 3
- 238000003066 decision tree Methods 0.000 description 4
- 230000008021 deposition Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000039077 Copula Species 0.000 description 1
- 238000006424 Flood reaction Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000004062 sedimentation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请涉及一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，包括以下具体步骤：采集流域水文、泥沙资料数据，包括流域的历史水位、流量、输沙率资料；对收集数据进行描述性统计分析，采用散点图、密度图形式，进行数据可视化；采用长短期记忆神经网络、随机森林和支持向量机三种机器学习方法建立水库入库泥沙计算模型；采用季节性贝叶斯模式平均方法选择上述步骤中的机器学习模型进行实时入库泥沙预报。本发明采用季节性贝叶斯模式平均方法对机器学习模型预报结果进行后处理，得到水库入库泥沙预报概率分布模型，科学合理、贴近工程实际，可操作性强，可为水库调度提供重要的参考依据。
Description
技术领域
本申请涉及水库入库泥沙概率预报领域，尤其涉及一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法。
背景技术
泥沙淤积引起水库库容损失，导致水库受到功能性、安全性和综合效益下降的影响，是水库可持续利用研究需要面对的关键问题。而入库泥沙的获取是水库科学减淤调度的重要基础。汛期利用水库入库泥沙预报技术，掌握入库泥沙过程、大小，以及沙峰在水库库区沿程输移特性，通过水库的实时调度，使沙峰能排出库外，减少水库淤积，对水库的长期使用和水库科学调度有着十分重要的实际和理论意义。
目前广泛使用的入库泥沙模型大多是确定性的，即以一个确定的点估计形式输出确定性的入库输沙量预测值给调度决策者，回避了该预测值的不确定性问题。而由于入库泥沙影响因素繁多，多个因素交互作用，导致各入库泥沙预测模型的确定性模拟结果、模拟精度也存在较大差别，实际观测的泥沙过程很可能不会与确定性模拟值完全一样，总是或远或近的分布在确定性模拟值的两侧，而传统的确定性模型否定了实况出现在确定性模拟值以外的可能性，据此而提供的泥沙模拟结果是不完善的[1]。
以概率分布形式定量描述和估计泥沙过程的不确定性，不仅可以给出模拟结果，还能给出指定该概率的置信区间，据此作出的概率预报容纳了拟合不确定性的存在，比给出确定性结果的预报过程更加真实，在理论上更加科学合理[2]，可以更好地满足决策者对风险信息的需求，在实践应用中能产生更高的经济与社会效益[3]。随着输沙量模拟概率模型的发展，对入库泥沙的概率预报带来机遇。但是目前还没有具有可操作性的水库入库泥沙概率预报方法。
涉及的参考文献如下：
[1]Mosselman E,Sloff K.The importance of floods for bed topographyand bed sediment composition:numerical modelling of Rhine bifurcation atPannerden[J].Developments in Earth Surface Processes,2007,11:161-179.
[2]高晨烨.黄土丘陵沟壑区坡面水流输沙能力计算模型研究[D].西北农林科技大学,2019.
[3]张荷惠子.基于Copula函数的无定河流域输沙量模拟研究[D].西安理工大学,2021。
发明内容
本申请实施例的目的在于提供一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，基于多种机器学习方法建立水库入库泥沙预报模型，并采用季节性贝叶斯模式平均方法对机器学习模型预报结果进行后处理，得到水库入库泥沙预报概率分布模型。
为实现上述目的，本申请提供如下技术方案：
本申请实施例提供一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，包括以下具体步骤：
采集流域水文、泥沙资料数据，包括流域的历史水位、流量、输沙率资料；
对收集数据进行描述性统计分析，采用散点图、密度图形式，进行数据可视化；
采用长短期记忆神经网络、随机森林和支持向量机三种机器学习方法建立水库入库泥沙计算模型；
采用季节性贝叶斯模式平均方法选择上述步骤中的机器学习模型进行实时入库泥沙预报。
所述采用长短期记忆神经网络方法建立水库入库泥沙计算模型具体为：
构建具有三层神经网络架构的长短期记忆神经网络模型，即LSTM模型，使用神经网络区间模拟均值法，独立运行多次神经网络模型，取平均值作为最终模拟结果；
长短期记忆神经网络将非线性自回归外因输入模式动态神经网络中的每个隐藏层换成了具有记忆功能的存储单元，简称LSTM单元，而其输入层和输出层与非线性自回归外因输入模式动态神经网络相同；
进一步地，采用最小批量梯度下降法对LSTM模型进行训练。
所述采用长短期记忆神经网络方法建立水库入库泥沙计算模型为
Qcor(t)＝FLSTM[QM(t),QM(t-1),QM(t-2),…,QM(t-N)]] (1)
Qcor(t)表示t时刻泥沙监测站输沙率系列，QM(t)表示率定LSTM模型的输入变量，QM(t-1)表示t-1时刻的模拟资料系列，N表示LSTM模型确定的滞时；FLSTM表示LSTM模型。
所述采用随机森林方法建立水库入库泥沙计算模型具体为：
随机森林法从原始训练样本集中有放回地重复随机抽取k个样本生成新的训练样本集合，然后根据自助样本集生成k个分类树组成随机森林，新数据的分类结果按分类树投票多少形成的分数而定，具体模型为
其中，Ntree代表随机森林模拟过程中的森林树木数量，fi(x)代表每个树木的预测值。
所述支持向量机方法建立水库入库泥沙计算模型具体为：
Sd(t)＝FSVM[Qin,Sin,Win,qd] (3)
式中：Sd(t)表示t时刻泥沙监测站输沙率系列，Qin表示输入SVM模型的流量变量，Sin表示输入SVM模型的输沙率变量，Win表示输入SVM模型的水位变量，qd表示历史泥沙输移条件，可决定输入变量的时段长度；FSVM表示SVM模型。
所述采用季节性贝叶斯模式平均方法选择上述步骤中的机器学习模型进行实时入库泥沙预报具体为：
采用观测期各季节的泥沙监测站输沙率系列和各机器学习模型模拟系列率定相应的季节性贝叶斯模式平均方法，令S为输沙率目标变量，R＝[D,O]表征模型输入数据，其中D为训练期各方法的校正系列，O为实测系列，f＝[f1,f2,…,fK]为K个不同校正模式的输出结果，由贝叶斯全概率公式可得S的概率密度函数如下：
式中：pk(S|fk,R)为第K个模拟模式fk在给定数据R条件下预测值S的概率密度函数；p(fk|R)为给定训练数据R时第k个模拟模式的后验概率密度函数，它表征该模式校正结果的优劣，且K个模式的后验概率总和为1；
贝叶斯模式平均方法即BMA方法的实质是采用后验概率作为权重，对校正变量不同模式下的p(fk|R)加权平均，其中校正精度较高的模式得到的权重值相对更大
BMA方法通过各模式偏差校正效果的相对贡献来优选相应权重，最终输出的校正系列是各模式校正系列的加权平均结果，当校正变量服从正态分布时，可基于正态线性分布假设推导BMA方法的校正公式如下：
式中：
表示均值为fk，方差为
的正态分布；E表示函数期望值，wk为第k个偏差校正模式的权重；
BMA方法待求的参数设为
首先通过Box-Cox函数将观测系列和机器学习模型得到的模拟系列进行正态转换，再将θ似然函数的对数形式表示如下：
式(6)难以直接得到解析解，可采用期望最大化算法得到收敛的极大似然值，从而求得
的数值解。
与现有技术相比，本发明的有益效果是：本发明基于多种机器学习方法建立水库入库泥沙预报模型，并采用季节性贝叶斯模式平均方法对机器学习模型预报结果进行后处理，得到水库入库泥沙预报概率分布模型，科学合理、贴近工程实际，可为水库调度提供重要且可操作性强的参考依据。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明实施例的方法流程示意图；
图2是本发明实施例三峡水库入库泥沙监测站点分布图；
图3是本发明实施例清溪场站与寸滩站沙峰峰值关系；
图4是本发明实施例2020年清溪场站输沙率概率预报示意图。
图5是本发明实施例2020年清溪场站输沙率概率预报示意图(8月份)。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
如图1，本发明提供了一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，包括以下具体步骤：
S1.采集流域水文、泥沙资料数据，包括流域的历史水位、流量、输沙率资料；
S2.对收集数据进行描述性统计分析，采用散点图、密度图形式，进行数据可视化；
S3.采用长短期记忆神经网络、随机森林和支持向量机三种机器学习方法建立水库入库泥沙计算模型；
S4.采用季节性贝叶斯模式平均方法选择上述步骤中的机器学习模型进行实时入库泥沙预报。
下面通过实施例，并结合附图，对本发明的技术方案做进一步具体说明：
步骤1，采集流域水文、泥沙资料数据。
采集流域水文、泥沙资料，包括流域的历史水位、流量、输沙率等资料，采集数据属于本技术领域内的常规技术。
以三峡水库入库泥沙监测的清溪场(四)站点为例，见图2，对其开展泥沙概率预报，至少需收集寸滩水位、寸滩流量、寸滩输沙率，武隆水位、武隆流量、武隆输沙率，以及清溪场(四)水位、清溪场(四)流量、清溪场(四)输沙率，共9个水文、泥沙要素的历史数据。
步骤2，对收集数据进行描述性统计分析，采用散点图、密度图等形式，进行数据可视化。分析判断，拟预报变量与拟建立模型自变量间存在的关系。
同样以清溪场站点为例，表1给出了寸滩站到清溪场站的部分沙峰传播统计结果。图3为清溪场站和寸滩站沙峰峰值关系图，两站沙峰峰值线性化关系较明显，线性化趋势线的相关系数为0.89。分析结果表明，清溪场站输沙率与模型自变量之间存在一定的相关关系，可通过机器学习算法进行模型构建。
表1寸滩站至清溪场站沙峰传播统计
步骤3，采用长短期记忆神经网络(LSTM)、随机森林和支持向量机，三种机器学习方法建立水库入库泥沙计算模型。
(1)LSTM：
本实施例构建具有三层神经网络架构的长短期记忆神经网络(LSTM)模型，使用神经网络区间模拟均值法，独立运行多次神经网络模型，取平均值作为最终模拟结果，以减少不确定性。
为解决非线性自回归外因输入模式(NARX)动态神经网络在深度学习过程(隐含层数≥2层)中引发的梯度爆炸和梯度消失问题，LSTM长短期记忆神经网络通过在NARX神经网络的隐藏层中引入存储单元，即输入门、忘记门、内部回馈连结、和输出门来选择记忆当前信息或遗忘过去记忆信息(如降雨–径流映射关系)，以增强NARX神经网络的长期记忆能力。简而言之，LSTM长短期记忆神经网络是将NARX动态神经网络中的每个隐藏层换成了具有记忆功能的存储单元，简称LSTM单元，而其输入层和输出层与NARX动态神经网络相同。
以清溪场站构建的长短期记忆神经网络(LSTM)模型为例；模拟的清溪场输沙率系列可表示为：
Qcor(t)＝FLSTM[QM(t),QM(t-1),QM(t-2),…,QM(t-N)]] (1)
式中：Qcor(t)表示t时刻清溪场输沙率系列，QM(t)表示率定LSTM模型的输入变量，包括寸滩水位、寸滩流量、寸滩输沙率，武隆水位、武隆流量、武隆输沙率，清溪场水位、清溪场流量、前期清溪场输沙率；QM(t-1)表示t-1时刻的模拟资料系列，N表示LSTM模型确定的滞时；FLSTM表示LSTM模型。
进一步地，采用本领域的常规技术最小批量梯度下降法对LSTM模型进行训练。
(2)随机森林：
随机森林法是机器学习算法的一种，采用多个决策树以形成机器学习集合样本。随机森林法从原始训练样本集N中有放回地重复随机抽取k个样本生成新的训练样本集合，然后根据自助样本集生成k个分类树组成随机森林，新数据的分类结果按分类树投票多少形成的分数而定。其实质是对决策树算法的一种改进，将多个决策树合并在一起，每棵树的建立依赖于一个独立抽取的样品，森林中的每棵树具有相同的分布，分类误差取决于每一棵树的分类能力和它们之间的相关性。特征选择采用随机的方法去分裂每一个节点，然后比较不同情况下产生的误差。能够检测到的内在估计误差、分类能力和相关性决定选择特征的数目。单棵树的分类能力可能很小，但在随机产生大量的决策树后，一个测试样品可以通过每一棵树的分类结果经统计后选择最可能的分类。本实施例随机森林法建模中，拟采用的参数及其值为森林树木数量为180，最小样本分裂数为2，最小样本叶为10，最大特征为9，均方误差用于衡量模拟结果。
其中，Ntree代表随机森林模拟过程中的森林树木数量，fi(x)代表每个树木的预测值。
(3)支持向量机：
支持向量机(SVM)是基于结构风险最小化原则，将最优分类问题转化为求解凸二次规划问题，得到全局最优解，较好地解决了局部极小值的问题，同时在一定程度上克服了“维数灾”和“过学习”等传统困难，因此在文本过滤、数据挖掘、非线性系统控制等领域广泛应用。研究选用σ为参数的Gauss径向基函数，采用寸滩水位、寸滩流量、寸滩输沙率，武隆水位、武隆流量、武隆输沙率，清溪场水位、清溪场流量、前期清溪场输沙率数据作为自变量，当前t时刻清溪场输沙率为因变量，利用遗传算法进行参数率定，得到SVM确定性预报模型。
模拟的清溪场输沙率系列可表示为：
Sd(t)＝FSVM[Qin,Sin,Win,qd] (3)
式中：Sd(t)表示t时刻清溪场输沙率系列；Qin表示输入SVM模型的流量变量，包括寸滩、武隆、清溪场流量；Sin表示输入SVM模型的输沙率变量，包括寸滩、武隆、清溪场输沙率；Win表示输入SVM模型的水位变量，包括寸滩、武隆、清溪场水位；qd表示寸滩、武隆至清溪场的历史泥沙输移条件，可决定输入变量的时段长度；FSVM表示SVM模型。
步骤4，采用季节性贝叶斯模式平均方法(BMA)选择步骤3中的机器学习模型(或组合)进行实时入库泥沙预报。BMA是一种统计后处理方法，在水文领域最早应用于水文气象预报及其不确定性评估，它依赖所有集合预报成员，而不是单一的“最优”预报模式，通过考虑多成员内部的不确定性从而改进预报结果。本实施例使用季节性BMA方法融合LSTM、随机森林和支持向量机三种机器学习模型得到的清溪场输沙率预报结果，以期提高预测精度。
采用观测期各季节的清溪场输沙率系列和各机器学习模型模拟系列率定相应的季节性BMA模型，令S为目标变量(输沙率)，R＝[D,O]表征模型输入数据(其中D为训练期各方法的校正系列，O为实测系列)，f＝[f1,f2,…,fK]为K个不同校正模式的输出结果，由贝叶斯全概率公式可得S的概率密度函数如下：
式中：pk(S|fk,R)为第K个模拟模式fk在给定数据R条件下预测值S的概率密度函数；p(fk|R)为给定训练数据R时第k个模拟模式的后验概率密度函数，它表征该模式校正结果的优劣，且K个模式的后验概率总和为1。BMA方法的实质是采用后验概率作为权重，对校正变量不同模式下的p(fk|R)加权平均，其中校正精度较高的模式得到的权重值相对更大。
BMA方法可以通过各模式偏差校正效果的相对贡献来优选相应权重，最终输出的校正系列是各模式校正系列的加权平均结果，当校正变量服从正态分布时，可基于正态线性分布假设推导BMA方法的校正公式如下：
式中：
表示均值为fk，方差为
的正态分布；E表示函数期望值，wk为第k个偏差校正模式的权重。
BMA模型待求的参数设为
首先通过Box-Cox函数将观测系列和步骤S3中的机器学习模型得到的模拟系列进行正态转换，再将θ似然函数的对数形式表示如下：
式(6)难以直接得到解析解，可采用期望最大化(EM)算法得到收敛的极大似然值，从而求得
的数值解。
本实施例中，推算的2020年清溪场站输沙率如图4(全年)、图5(典型沙峰过程)所示。系统误差为5.32％，随机不确定度25.6％，具有一定可靠性，可作为水库入库泥沙预报新的技术手段和技术支撑。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (6)
1.一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，其特征在于，包括以下具体步骤：
采集流域水文、泥沙资料数据，包括流域的历史水位、流量、输沙率资料；
对收集数据进行描述性统计分析，采用散点图、密度图形式，进行数据可视化；
采用长短期记忆神经网络、随机森林和支持向量机三种机器学习方法建立水库入库泥沙计算模型；
采用季节性贝叶斯模式平均方法选择上述步骤中的机器学习模型进行实时入库泥沙预报。
2.根据权利要求1所述的一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，其特征在于，所述采用长短期记忆神经网络方法建立水库入库泥沙计算模型具体为：
构建具有三层神经网络架构的长短期记忆神经网络模型，即LSTM模型，使用神经网络区间模拟均值法，独立运行多次神经网络模型，取平均值作为最终模拟结果；
长短期记忆神经网络将非线性自回归外因输入模式动态神经网络中的每个隐藏层换成了具有记忆功能的存储单元，简称LSTM单元，而其输入层和输出层与非线性自回归外因输入模式动态神经网络相同；
进一步地，采用最小批量梯度下降法对LSTM模型进行训练。
3.根据权利要求2所述的一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，其特征在于，所述采用长短期记忆神经网络方法建立水库入库泥沙计算模型为
Qcor(t)＝FLSTM[QM(t),QM(t-1),QM(t-2),…,QM(t-N)]] (1)
Qcor(t)表示t时刻泥沙监测站输沙率系列，QM(t)表示率定LSTM模型的输入变量，QM(t-1)表示t-1时刻的模拟资料系列，N表示LSTM模型确定的滞时；FLSTM表示LSTM模型。
4.根据权利要求1所述的一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，其特征在于，所述采用随机森林方法建立水库入库泥沙计算模型具体为：
随机森林法从原始训练样本集中有放回地重复随机抽取k个样本生成新的训练样本集合，然后根据自助样本集生成k个分类树组成随机森林，新数据的分类结果按分类树投票多少形成的分数而定，具体模型为
其中，Ntree代表随机森林模拟过程中的森林树木数量，fi(x)代表每个树木的预测值。
5.根据权利要求1所述的一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，其特征在于，所述支持向量机方法建立水库入库泥沙计算模型具体为：
Sd(t)＝FSVM[Qin,Sin,Win,qd] (3)
式中：Sd(t)表示t时刻泥沙监测站输沙率系列，Qin表示输入SVM模型的流量变量，Sin表示输入SVM模型的输沙率变量，Win表示输入SVM模型的水位变量，qd表示历史泥沙输移条件，可决定输入变量的时段长度；FSVM表示SVM模型。
6.根据权利要求1所述的一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法，其特征在于，所述采用季节性贝叶斯模式平均方法选择上述步骤中的机器学习模型进行实时入库泥沙预报具体为：
采用观测期各季节的泥沙监测站输沙率系列和各机器学习模型模拟系列率定相应的季节性贝叶斯模式平均方法，令S为输沙率目标变量，R＝[D,O]表征模型输入数据，其中D为训练期各方法的校正系列，O为实测系列，f＝[f1,f2,…,fK]为K个不同校正模式的输出结果，由贝叶斯全概率公式可得S的概率密度函数如下：
式中：pk(S|fk,R)为第K个模拟模式fk在给定数据R条件下预测值S的概率密度函数；p(fk|R)为给定训练数据R时第k个模拟模式的后验概率密度函数，它表征该模式校正结果的优劣，且K个模式的后验概率总和为1；
贝叶斯模式平均方法即BMA方法的实质是采用后验概率作为权重，对校正变量不同模式下的p(fk|R)加权平均，其中校正精度较高的模式得到的权重值相对更大
BMA方法通过各模式偏差校正效果的相对贡献来优选相应权重，最终输出的校正系列是各模式校正系列的加权平均结果，当校正变量服从正态分布时，可基于正态线性分布假设推导BMA方法的校正公式如下：
式中：
表示均值为fk，方差为
的正态分布；E表示函数期望值，wk为第k个偏差校正模式的权重；
BMA方法待求的参数设为
首先通过Box-Cox函数将观测系列和机器学习模型得到的模拟系列进行正态转换，再将θ似然函数的对数形式表示如下：
式(6)难以直接得到解析解，可采用期望最大化算法得到收敛的极大似然值，从而求得
的数值解。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505547.1A CN115062818A (zh) | 2022-05-10 | 2022-05-10 | 一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210505547.1A CN115062818A (zh) | 2022-05-10 | 2022-05-10 | 一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115062818A true CN115062818A (zh) | 2022-09-16 |
Family
ID=83198218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210505547.1A Pending CN115062818A (zh) | 2022-05-10 | 2022-05-10 | 一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115062818A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115618615A (zh) * | 2022-10-17 | 2023-01-17 | 中国长江三峡集团有限公司 | 悬移质泥沙的分布特征分析方法、装置、设备及存储介质 |
| CN118114592A (zh) * | 2024-03-07 | 2024-05-31 | 河海大学 | 一种不确定性条件下预测咸水入侵动态的替代建模方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194520A (zh) * | 2017-06-23 | 2017-09-22 | 中国水利水电科学研究院 | 水库排沙比的预测方法 |
| CN111898660A (zh) * | 2020-07-17 | 2020-11-06 | 武汉大学 | 一种基于贝叶斯模式平均融合多源数据的水文模拟方法 |
| CN114091359A (zh) * | 2022-01-21 | 2022-02-25 | 中国长江三峡集团有限公司 | 一种水库水沙预测模型训练、水库水沙预测方法及装置 |
-
2022
- 2022-05-10 CN CN202210505547.1A patent/CN115062818A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194520A (zh) * | 2017-06-23 | 2017-09-22 | 中国水利水电科学研究院 | 水库排沙比的预测方法 |
| CN111898660A (zh) * | 2020-07-17 | 2020-11-06 | 武汉大学 | 一种基于贝叶斯模式平均融合多源数据的水文模拟方法 |
| CN114091359A (zh) * | 2022-01-21 | 2022-02-25 | 中国长江三峡集团有限公司 | 一种水库水沙预测模型训练、水库水沙预测方法及装置 |
Non-Patent Citations (1)
| Title |
|---|
| 霍世青等, 黄河水利出版社 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115618615A (zh) * | 2022-10-17 | 2023-01-17 | 中国长江三峡集团有限公司 | 悬移质泥沙的分布特征分析方法、装置、设备及存储介质 |
| CN118114592A (zh) * | 2024-03-07 | 2024-05-31 | 河海大学 | 一种不确定性条件下预测咸水入侵动态的替代建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Real-time reservoir operation using recurrent neural networks and inflow forecast from a distributed hydrological model | |
| Shiri et al. | Predicting groundwater level fluctuations with meteorological effect implications—A comparative study among soft computing techniques | |
| Guven | Linear genetic programming for time-series modelling of daily flow rate | |
| Kişi | River suspended sediment concentration modeling using a neural differential evolution approach | |
| Xu et al. | Scenario tree reduction in stochastic programming with recourse for hydropower operations | |
| Talebizadeh et al. | Uncertainty analysis for the forecast of lake level fluctuations using ensembles of ANN and ANFIS models | |
| Carcano et al. | Jordan recurrent neural network versus IHACRES in modelling daily streamflows | |
| Nourani et al. | Estimation of Suspended Sediment Load Using Artificial Intelligence‐Based Ensemble Model | |
| CN108875161A (zh) | 基于卷积神经网络深度学习的流量等级预测方法 | |
| Khac‐Tien Nguyen et al. | The data‐driven approach as an operational real‐time flood forecasting model | |
| Dumedah et al. | Selecting model parameter sets from a trade-off surface generated from the non-dominated sorting genetic algorithm-II | |
| CN115062818A (zh) | 一种基于贝叶斯模式平均与机器学习的水库入库泥沙概率预报方法 | |
| CN112418491B (zh) | 一种水库剩余拦沙库容动态配置方法 | |
| Behnia et al. | Predicting crest settlement in concrete face rockfill dams using adaptive neuro-fuzzy inference system and gene expression programming intelligent methods | |
| Samantaray et al. | Sediment assessment for a watershed in arid region via neural networks | |
| Babaee et al. | Artificial intelligence approach to estimating rice yield | |
| Kişi | Evolutionary fuzzy models for river suspended sediment concentration estimation | |
| Lopes et al. | Artificial neural networks approaches for predicting the potential for hydropower generation: a case study for Amazon region | |
| Tabatabaei et al. | Suspended sediment load prediction using non-dominated sorting genetic algorithm II | |
| Chidthong et al. | Developing a hybrid multi‐model for peak flood forecasting | |
| CN116432828A (zh) | 一种缺资料流域径流量智能预测方法 | |
| Khairudin et al. | In-Depth review on machine learning models for long-term flood forecasting | |
| Anari et al. | Application of ANN and ANFIS models for estimating total infiltration rate in an arid rangeland ecosystem | |
| Ranjan et al. | ANN and GRNN-based coupled model for flood inundation mapping of the Punpun River Basin | |
| Turhan et al. | The investigation of the applicability of data-driven techniques in hydrological modeling: The case of seyhan basin |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |