CN110276477A - 一种基于分层贝叶斯网络和增量学习的洪水预报方法 - Google Patents

一种基于分层贝叶斯网络和增量学习的洪水预报方法 Download PDF

Info

Publication number
CN110276477A
CN110276477A CN201910456671.1A CN201910456671A CN110276477A CN 110276477 A CN110276477 A CN 110276477A CN 201910456671 A CN201910456671 A CN 201910456671A CN 110276477 A CN110276477 A CN 110276477A
Authority
CN
China
Prior art keywords
value
sample
time
model
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910456671.1A
Other languages
English (en)
Other versions
CN110276477B (zh
Inventor
巫义锐
于清瀚
徐维刚
冯钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201910456671.1A priority Critical patent/CN110276477B/zh
Publication of CN110276477A publication Critical patent/CN110276477A/zh
Application granted granted Critical
Publication of CN110276477B publication Critical patent/CN110276477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/10—Alarms for ensuring the safety of persons responsive to calamitous events, e.g. tornados or earthquakes
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A50/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE in human health protection, e.g. against extreme weather

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Probability & Statistics with Applications (AREA)
  • Educational Administration (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Emergency Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开一种基于分层贝叶斯网络和增量学习的洪水预报方法，属于水文预报领域。该方法包括以下步骤：步骤1：对历史数据进行数据预处理；步骤2：基于水文知识挖掘构建分层贝叶斯网络模型；步骤3：基于样本选择和样本扩充进行增量学习，反复进行迭代学习；步骤4，使用模型进行预测，对结果进行纠偏。本发明在洪峰预测的表现上有一定的优势，预报精度满足中小河流洪水预报的要求，模型有很好的通用性和很强的鲁棒性，预测精度高，学习能力强，能够精准的进行中小河流的洪水预测。

Description

一种基于分层贝叶斯网络和增量学习的洪水预报方法
技术领域
本发明涉及一种基于分层贝叶斯网络和增量学习的洪水预报方法，属于水文预报领域。
背景意义
中小河流一般是指流域面积小于3000km2的河流，该类河流所处区域复杂，时空变化多样，且受季风气候影响。时段内爆发性持续强降雨导致河流水位迅速上涨，是山洪暴发的主要原因。中小河流洪水具有突发性强、致灾时间短、洪水模式多样、难预测等特点，山洪暴发导致流域内社会经济发展造成巨大的损失。因此，展开中小河流的洪水预测预警预报工作，让流域内政府机关能提早获得预警信息，对及时组织开展防洪工作、减少财产损失和人员伤亡具有重要意义。
以上洪水预报模型在各自适应的场景和流域中均发挥了重大作用，而在洪水预报的准确性是衡量一个模型好坏的主要因素。由于人类活动、自然环境改变等因素，中小河流洪水的特性发生改变，新特性直接在新场次洪水中表现，如果忽略这些信息，将影响洪水的预报精度。而上文提到的水文预报模型均是“一次学习，多次模拟”，处理新场次洪水的一般做法是将新场次洪水与历史洪水相结合，对模型进行重新率定或训练，效率低下。此外，在长期的洪水数据收集中，由于以往测量设备的精度等原因导致收集数据质量差、缺失数据多，而随着设备不断更新换代，收集的数据质量有了很大提高、数据种类也更加丰富，如何对新场次洪水进行学习并提高模型的精度，是防洪领域中值得深入研究和探讨的问题。但部分中小河流洪水资料仍然比较匮乏，数据质量不高，洪水场次少，样本中包含知识少，也加大了信息挖掘的难度。
目前，国内外对于洪水预报模型已经有了大量的研究成果，也涌现出了各种类型的模型。通过对国内外文献的进一步分析可以发现，目前还存在着以下不足：
(1)模型的通用性不足；
(2)模型增量学习效率低；
(3)模型增量学习稳定性差。
发明内容
本发明提出了一种基于分层贝叶斯网络和增量学习的洪水预报方法，根据提取的水文过程知识，建立统一的变量空间，将任意维度水文资料数据映射统一的变量空间中，可以大大提高了模型的通用性。
本发明为解决其技术问题采用如下技术方案：
一种基于分层贝叶斯网络和增量学习的洪水预报方法，包括以下步骤：
步骤1：对历史水文数据进行数据预处理；
步骤2：基于水文知识挖掘构建分层贝叶斯网络洪水预报模型；
步骤3：基于样本选择和样本扩充进行增量学习，反复进行迭代学习；
步骤4，使用模型进行预测，对结果进行纠偏；
步骤5：通过评估标准对模型进行分析，完成洪水预报任务。
所述步骤2包括：
步骤21，构建分层贝叶斯网络的结构，基于分层贝叶斯网络洪水预报模型分为子流域产流贝叶斯网络BNrunoff和全流域汇流贝叶斯网络BNflow两部分
在子流域产流贝叶斯网络BNrunoff中，能直接测量获得包括子流域的降雨Ft、土壤张力水含量SWt、蒸发量Et变量，BNrunoff通过子流域降雨、土壤张力水含量、蒸发量直接测量值和产流、地表径流、地下径流、壤中流中间变量，最终预测该子流域的综合出流量：子流域地表总出流TRSt+1、子流域壤中流总出流TRSSt+1和子流域地下径流总出流TRGt+1；
贝叶斯网络中的节点，利用公式来表示：
其中Y表示预测值，D表示与预测值Y相关的一系列属性值Xi，P(D)表示属性值的先验概率分布，是从历史洪水信息中求得，P(Y，D)是Xi和Y的联合分布；由于Xi是由洪水信息中获得的，P(Y|D)为条件概率；
P(D)的分布与Y无关，公式变换为：
P(Y|D)∝P(Y，D)
联合概率P(Y，D)改写成：
其中，Parents(Xi)表示变量Y的直接相关属性的联合概率分布，联合分布P(Y，D)＝P(Y)P(D|Y)，其中P(D|Y)是似然函数，P(Y)是Y的先验概率分布，
通过BNrunoff得到的子流域单位面积各成分出流的均值，通过运算获得全流域总出流成分TRt+1，其计算公式为：
其中表示t+1时刻子流域i贡献的总出流；
径流量节点数据分布范围[0，2000]，综合数据分布、预报精度、离散后维度数量多种因素，采用步长为10，将区间划分成200个等宽区间，选取区间中值作为区间最终值；
步骤22，对构建的基于分层贝叶斯网络洪水预报模型进行训练。
所述步骤22的具体过程如下：
假设网络中节点k，m1，m2，…，ml为节点k的父节点，则当m1，m2，…，ml均取第j个值，节点k取第i个值时，网络节点的参数如下所示
其中，表示节点k取第i个值，r表示节点k的取值范围，m1，m2，…，ml均取第j个值时出现的次数，表示m1，m2，…，ml均取第j个值时出现的总次数；因此，节点k的所有参数表示为
其中，Mj表示节点mj取的总范围数。
所述步骤3的具体过程如下：
步骤31，构建增量学习模型，设贝叶斯网络中，包含X1，X2，…，Xn共n个变量，其中：X1为第1个变量，X2为第2个变量，Xn为第n个变量，D0表示初始数据集，D+表示增量数据集，D＝D0 ∪ D+表示总数据集，则N0＝|D0|表示初始的数据量，N+＝|D+|表示增量的数据量，N＝N++N0表示总数据集的数据量；设变量Xi的取值有其中：为变量Xi的第1个取值，为变量Xi的第2个取值，为变量Xi的第r个取值，具有G结构的贝叶斯网络的参数表示为：
其中：θijk为表示具有G结构的贝叶斯网络的参数，为变量取值，为父节点集，θi为网络参数，G代表网络结构；表示节点Xi的父节点集，其中，qi为πi的父节点的数量，rj为xj的取值数量，xm为为第m个变量，
则当加入增量数据时，
其中，其中：θ′ij(D0，G)和θ′ijk(D0，G)为网络参数，Nij(D+，G)为总数据集的数据量，Nijk(D+，G)为变量的的取值取第k个时的数据量，ri为变量的取值的数量；
网络参数θ有以下关系：
其中：θij为网络参数，qi为父节点集数量，n为变量的数量；
步骤32，基于样本选择和知识扩充进行增量学习，具体如下：
(1)首先对样本a进行预测分类，通过比较误差对样本进行选择：
|lab-c|＜λ
其中lab为模型根据现有样本对a进行的预测分类，c为样本a的实际分类，当样本的实际分类与预测分类的误差小于λ，将a加入到优先学习样本；
|lab-c|＞ε
当样本的实际分类与预测分类的误差大于ε，将a加入到噪声样本；
λ＜|lab-c|＜ε
其中：λ为误差下限，ε为误差上限；
当误差处于λ和ε之间时，将a加入到待学习样本；
一般地， 表示流域历史平均流量；
通过上述操作，对增量样本S进行一次样本选择，获得新样本集，新样本包含S0，S1，S2，其中S0为优先学习样本，S1为待学习样本，S2为噪声样本；
(2)对优先学习样本进行一次样本扩展，生成距离平均距离小于一个标准
差之内的数据[-1，1]的随机数据点集S，取S中的任意点xi，通过标准正太分
布求得函数值yi＝f(xi)
其中：yi为通过标准正态分布求得的函数值，xi为任意样本，f(x)表示标准正态分布，x为任意点，最大值计算li＝yi/ymax，其中li作为近邻矩阵的一维；
(3)将扩充后的结果与S0做一次差集运算，获得扩充后的样本S′0；
(4)重复步骤(1)，对S′0进行一次样本选择获得新样本，样本集包含S″0、S″1、S″2，S″0表示本次选择后的优先学习样本，S″1表示本次选择后的待学习样本，S″2表示本次选择后的噪声样本；将S0、S″0和S″1加入S′，S′即得到最终的优先学习样本。
所述步骤4的具体过程如下：
步骤41，选取实验数据，将测试集洪水数据输入模型，预测未来6个小时流量情况，具体做法是预先给出一组证据，作为模型的输入，模型根据推理，输出概率最大的值，即
式中，X1，X2，…，Xn作为模型输入，Y作为模型输出，X1＝x1，X2＝x2，...，Xn＝xn是预先给出的一组证据，p(Y)为先验概率；
步骤42，对模型输出的流量数据进行纠偏，采用基于预测可信判分矩阵的修正方法对模型进行补充。
所述步骤42中基于预测可信判分矩阵的修正方法的步骤如下：
假设模型在时刻T-6、T-5、T-4、T-3、T-2时均对时刻T的流量值做出预测，取值得“信任”的值来对T-1时刻对T的预测值进行修正，具体的修正步骤如下：
1)预测可信度α(X，m)
假设时刻X为观测时刻，时刻Y表示预测时刻，时刻[X-h，X-1]表示历史预测时间，期间均对时刻Y的径流量进行预报，记为P(X-b，Y)，…，P(X-1，Y)，P(X-h，Y)，…，P(X-1，Y)是时刻Y的不同的历史预测值，P(X-m，Y)的信任度的计算公式如下所示
其中，α(X，m)表示在时刻X时，历史预测步长为m时，模型对时刻Y预测结果的可信度，m＝1，2，…h，h表示获得的最长历史预测步长，P(X-m，i)为时刻i的历史预测值，R(i)为时刻i的真实值；
2)调节因子β(X，m)
3)时间权重因子τ(X，m，Y)
在修正P(X，Y)时候，使用P(X-h，Y)…P(X-1，Y)的预测值，记ρ(P(t，Y))为在修正P(X，Y)时，P(t，Y)的贡献值，则存在以下关系：
ρ(P(t1，Y))＞ρ(P(t2，Y))如果t1＜t2
ρ(P(t1，Y))表示在修正P(X，Y)时，P(t1，Y)的贡献值，ρ(P(t2，Y))表示在修正P(X，Y)时，P(t2，Y)的贡献值，
引入时间权重因子τ(X，Y)，τ(X，Y)表示在X时刻模型的Y时刻预测值的时间权重因子，其计算方式如下所示
τ(X，m，Y)＝1-γ*(Y-(X-m)+1)
其中，τ(X，m，Y)为时间权重因子，γ为时间因子；
4)修正结果
将预测可信度、调节因子、时间权重因子作为历史预测值的权重，计算加权平均作为最终的结果，其计算公式如下
其中：P(X，Y)为需要修正的预测值，P(X-m，Y)为时刻Y的历史预测值，β0表示初始权重；PX(X，Y，h)表示在X时刻，对Y时刻预测修正值；h表示获得的最长历史预测步长。
本发明的有益效果如下：
(1)应对不同流域或者同一流域不同时期预报水文资料维度不同，建立统一的变量空间：本发明先提出了水文过程知识提取方法，根据提取的水文过程知识，建立统一的变量空间。将任意维度水文资料数据映射统一的变量空间中，可以大大提高了模型的通用性。
(2)综合数据驱动模型和概念性水文模型的优缺点，建立了更为适合中小河流洪水预报的模型：模型综合两种模型的特点，挖掘水文过程知识以此建立通用水文网络拓扑，并建立贝叶斯网络，然后通过对历史资料进行数理统计，对贝叶斯网络的节点进行训练。通过对比实验发现，模型满足中小河流洪水预报的要求，并且在洪峰表现上具有较大优势，而在洪水过程模拟上效果不如其他传统数据驱动模型。在此过程中，还提出了一种基于前期雨量信息的土壤含水量估算方法。
(3)适应中小河流洪水特点的增量学习方法：探讨了中小河流洪水的特点、现有模型增量学习过程中存在的问题以及模型在增量学习过程中具有的天然优势；重点分析了增量学习过程中样本选择的重要性，提出适合中小河流洪水的样本选择算法；结合中小河流洪水的情况以及贝叶斯网络的特点指出需要对样本进行知识扩展，提出了一种基于近邻矩阵的知识扩展，通过提高样本数据的丰富程度来对模型进行优化；在样本选择算法和样本知识扩展算法的基础上，提出增量方法，该方法能在一定程度上过滤噪音，具有较强的学习能力，并能以此优化模型性能。
附图说明
图1是技术路线图。
图2是子流域产流网络示意图。
图3是全流域产流网络示意图。
具体实施方式
下面结合附图对本发明创造做进一步详细说明。
如图1所示，本发明提及的中小河流流域洪水预报方法是按如图的技术流图逐步进行。首先对历史水文数据进行预处理，通过概念水文模型得到中间变量，然后对水文过程进行知识挖掘，确定统一物理变量空间，构建分层贝叶斯网络，将预处理后的历史水文数据以及求得的中间变量按顺序输入训练模型，各节点计算条件概率表，接着输入测试数据进行模拟预测，按照一定的标准对模型进行评判分析，对训练数据进行样本扩充，使用扩充后的样本重新训练、测试、分析模型，反复迭代，率定参数，最终得到最佳参数和最佳分层贝叶斯模型。
如图2所示，在子流域产流贝叶斯网络中，能直接测量获得包括子流域的降雨、土壤张力水含量、蒸发量等变量，通过子流域降雨、土壤张力水含量、蒸发量等直接测量值和产流、地表径流、地下径流、壤中流等中间变量，最终预测该子流域的综合出流量。
如图3所示，在全流域产流贝叶斯网络中，通过各个子流域的综合出流量得到未来t+1到t+h的全流域径流量。

Claims (6)

1.一种基于分层贝叶斯网络和增量学习的洪水预报方法，其特征在于：包括以下步骤：
步骤1：对历史水文数据进行数据预处理；
步骤2：基于水文知识挖掘构建分层贝叶斯网络洪水预报模型；
步骤3：基于样本选择和样本扩充进行增量学习，反复进行迭代学习；
步骤4，使用模型进行预测，对结果进行纠偏；
步骤5：通过评估标准对模型进行分析，完成洪水预报任务。
2.根据权利要求1所述的一种基于分层贝叶斯网络和增量学习的洪水预报方法，其特征在于：所述步骤2包括：
步骤21，构建分层贝叶斯网络的结构，基于分层贝叶斯网络洪水预报模型分为子流域产流贝叶斯网络BNrunoff和全流域汇流贝叶斯网络BNflow两部分
在子流域产流贝叶斯网络BNrunoff中，能直接测量获得包括子流域的降雨Ft、土壤张力水含量SWt、蒸发量Et变量，BNrunoff通过子流域降雨、土壤张力水含量、蒸发量直接测量值和产流、地表径流、地下径流、壤中流中间变量，最终预测该子流域的综合出流量：子流域地表总出流TRSt+1、子流域壤中流总出流TRSSt+1和子流域地下径流总出流TRGt+1；
贝叶斯网络中的节点，利用公式来表示：
其中Y表示预测值，D表示与预测值Y相关的一系列属性值Xi，P(D)表示属性值的先验概率分布，是从历史洪水信息中求得，P(Y，D)是Xi和Y的联合分布；由于Xi是由洪水信息中获得的，P(Y|D)为条件概率；
P(D)的分布与Y无关，公式变换为:
P(Y|D)∝P(Y，D)
联合概率P(Y，D)改写成：
其中，Parents(Xi)表示变量Y的直接相关属性的联合概率分布，联合分布P(Y，D)＝P(Y)P(D|Y)，其中P(D|Y)是似然函数，P(Y)是Y的先验概率分布，
通过BNrunoff得到的子流域单位面积各成分出流的均值，通过运算获得全流域总出流成分TRt+1，其计算公式为：
其中表示t+1时刻子流域i贡献的总出流；
径流量节点数据分布范围[0,2000]，综合数据分布、预报精度、离散后维度数量多种因素，采用步长为10，将区间划分成200个等宽区间，选取区间中值作为区间最终值；
步骤22，对构建的基于分层贝叶斯网络洪水预报模型进行训练。
3.根据权利要求2所述的一种基于分层贝叶斯网络和增量学习的洪水预报方法，其特征在于：所述步骤22的具体过程如下：
假设网络中节点k，m1，m2，…，ml为节点k的父节点，则当m1，m2，…，ml均取第j个值，节点k取第i个值时，网络节点的参数如下所示
其中，表示节点k取第i个值，r表示节点k的取值范围，m1，m2，…，ml均取第j个值时出现的次数，表示m1，m2，…，ml均取第j个值时出现的总次数；因此，节点k的所有参数表示为
其中，Mj表示节点mj取的总范围数。
4.根据权利要求1所述的一种基于分层贝叶斯网络和增量学习的洪水预报方法，其特征在于：所述步骤3的具体过程如下：
步骤31，构建增量学习模型，设贝叶斯网络中，包含X1，X2，…，Xn共n个变量，其中：X1为第1个变量，X2为第2个变量，Xn为第n个变量，D0表示初始数据集,D+表示增量数据集,D＝D0∪D+表示总数据集，则N0＝|D0|表示初始的数据量,N+＝|D+|表示增量的数据量,N＝N++N0表示总数据集的数据量；设变量Xi的取值有其中：为变量Xi的第1个取值，为变量Xi的第2个取值，为变量Xi的第r个取值，具有G结构的贝叶斯网络的参数表示为：
其中：θijk为表示具有G结构的贝叶斯网络的参数，为变量取值，为父节点集，θi为网络参数，G代表网络结构；表示节点Xi的父节点集，其中,qi为πi的父节点的数量，rj为xj的取值数量，xm为为第m个变量，
则当加入增量数据时，
其中，其中：θ‘ij(D0，G)和θ‘ijk(D0，G)为网络参数，Nij(D+，G)为总数据集的数据量，Nijk(D+，G)为变量的的取值取第k个时的数据量，ri为变量的取值的数量；
网络参数θ有以下关系：
其中：θij为网络参数，qi为父节点集数量，n为变量的数量；
步骤32，基于样本选择和知识扩充进行增量学习，具体如下：
(1)首先对样本a进行预测分类，通过比较误差对样本进行选择：
|lab-c|＜λ
其中lab为模型根据现有样本对a进行的预测分类，c为样本a的实际分类，当样本的实际分类与预测分类的误差小于λ，将a加入到优先学习样本；
|lab-c|＞ε
当样本的实际分类与预测分类的误差大于ε，将a加入到噪声样本；
λ＜|lab-c|＜ε
其中：λ为误差下限，ε为误差上限；
当误差处于λ和ε之间时，将a加入到待学习样本；
一般地， 表示流域历史平均流量；
通过上述操作，对增量样本S进行一次样本选择，获得新样本集，新样本包含S0，S1，S2，其中S0为优先学习样本，S1为待学习样本，S2为噪声样本；
(2)对优先学习样本进行一次样本扩展，生成距离平均距离小于一个标准差之内的数据[-1,1]的随机数据点集S，取S中的任意点xi，通过标准正太分布求得函数值yi＝f(xi)
其中：yi为通过标准正态分布求得的函数值，xi为任意样本，f(x)表示标准正态分布，x为任意点，最大值计算li＝yi/ymax，其中li作为近邻矩阵的一维；
(3)将扩充后的结果与S0做一次差集运算，获得扩充后的样本S′0；
(4)重复步骤(1)，对S′0进行一次样本选择获得新样本，样本集包含S”0、S”1、S”2，S”0表示本次选择后的优先学习样本，S”1表示本次选择后的待学习样本，S”2表示本次选择后的噪声样本；将S0、S″0和S″1加入S′,S′即得到最终的优先学习样本。
5.根据权利要求1所述的一种基于分层贝叶斯网络和增量学习的洪水预报方法，其特征在于：所述步骤4的具体过程如下：
步骤41，选取实验数据，将测试集洪水数据输入模型，预测未来6个小时流量情况，具体做法是预先给出一组证据，作为模型的输入，模型根据推理，输出概率最大的值，即
式中，X1，X2，…，Xn作为模型输入，Y作为模型输出，X1＝x1,X2＝x2,…,Xn＝xn是预先给出的一组证据，p(Y)为先验概率；
步骤42，对模型输出的流量数据进行纠偏，采用基于预测可信判分矩阵的修正方法对模型进行补充。
6.根据权利要求5所述的一种基于分层贝叶斯网络和增量学习的洪水预报方法，其特征在于：所述步骤42中基于预测可信判分矩阵的修正方法的步骤如下：
假设模型在时刻T-6、T-5、T-4、T-3、T-2时均对时刻T的流量值做出预测，取值得“信任”的值来对T-1时刻对T的预测值进行修正，具体的修正步骤如下：
1)预测可信度α(X，m)
假设时刻X为观测时刻，时刻Y表示预测时刻，时刻[X-h，X-1]表示历史预测时间，期间均对时刻Y的径流量进行预报，记为P(X-h，Y)，…，P(X-1，Y)，P(X-h，Y)，…，P(X-1，Y)是时刻Y的不同的历史预测值，P(X-m，Y)的信任度的计算公式如下所示
其中，α(X，m)表示在时刻X时，历史预测步长为m时，模型对时刻Y预测结果的可信度，m＝1，2，…h，h表示获得的最长历史预测步长，P(X-m,i)为时刻i的历史预测值，R(i)为时刻i的真实值；
2)调节因子β(X，m)
3)时间权重因子τ(X，m，Y)
在修正P(X，Y)时候，使用P(X-h，Y)…P(X-1，Y)的预测值，记ρ(P(t，Y))为在修正P(X，Y)时，P(t，Y)的贡献值，则存在以下关系：
ρ(P(t1，Y))＞ρ(P(t2，Y))如果t1＜t2
ρ(P(t1,Y))表示在修正P(X，Y)时，P(t1,Y)的贡献值，ρ(P(t2,Y))表示在修正P(X，Y)时，P(t2,Y)的贡献值，
引入时间权重因子τ(X，Y)，τ(X，Y)表示在X时刻模型的Y时刻预测值的时间权重因子，其计算方式如下所示
τ(X,m,Y)＝1-γ*(Y-(X-m)+1)
其中，τ(X,m,Y)为时间权重因子，γ为时间因子；
4)修正结果
将预测可信度、调节因子、时间权重因子作为历史预测值的权重，计算加权平均作为最终的结果，其计算公式如下
其中：P(X,Y)为需要修正的预测值，P(X-m,Y)为时刻Y的历史预测值，β0表示初始权重；PX(X，Y，h)表示在X时刻，对Y时刻预测修正值；h表示获得的最长历史预测步长。
CN201910456671.1A 2019-05-29 2019-05-29 一种基于分层贝叶斯网络和增量学习的洪水预报方法 Active CN110276477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910456671.1A CN110276477B (zh) 2019-05-29 2019-05-29 一种基于分层贝叶斯网络和增量学习的洪水预报方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910456671.1A CN110276477B (zh) 2019-05-29 2019-05-29 一种基于分层贝叶斯网络和增量学习的洪水预报方法

Publications (2)

Publication Number Publication Date
CN110276477A true CN110276477A (zh) 2019-09-24
CN110276477B CN110276477B (zh) 2022-08-16

Family

ID=67959088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910456671.1A Active CN110276477B (zh) 2019-05-29 2019-05-29 一种基于分层贝叶斯网络和增量学习的洪水预报方法

Country Status (1)

Country Link
CN (1) CN110276477B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111445087A (zh) * 2020-04-17 2020-07-24 华北水利水电大学 基于极限学习机的洪水预测方法
CN111539456A (zh) * 2020-04-02 2020-08-14 浙江华睿科技有限公司 一种目标识别方法及设备
CN111626518A (zh) * 2020-05-29 2020-09-04 上海交通大学 基于深度学习神经网络的城市天级需水量在线预测方法
CN113807453A (zh) * 2021-09-24 2021-12-17 沈阳理工大学 基于加权概率融合并行贝叶斯网络的异常行为检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678419A (zh) * 2016-01-05 2016-06-15 天津大学 细粒度的森林火灾概率预报系统
CN107563567A (zh) * 2017-09-18 2018-01-09 河海大学 基于稀疏自编码的核极限学习机洪水预报方法
CN108304668A (zh) * 2018-02-11 2018-07-20 河海大学 一种结合水文过程数据和历史先验数据的洪水预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105678419A (zh) * 2016-01-05 2016-06-15 天津大学 细粒度的森林火灾概率预报系统
CN107563567A (zh) * 2017-09-18 2018-01-09 河海大学 基于稀疏自编码的核极限学习机洪水预报方法
CN108304668A (zh) * 2018-02-11 2018-07-20 河海大学 一种结合水文过程数据和历史先验数据的洪水预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
宋浩然: "基于改进的贝叶斯算法的河流洪水预报实时校正研究", 《吉林水利》 *
李芬等: "伴随时空特性的雷电预测BP-ANN模型研究", 《计算机与现代化》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111539456A (zh) * 2020-04-02 2020-08-14 浙江华睿科技有限公司 一种目标识别方法及设备
CN111539456B (zh) * 2020-04-02 2024-03-01 浙江华睿科技股份有限公司 一种目标识别方法及设备
CN111445087A (zh) * 2020-04-17 2020-07-24 华北水利水电大学 基于极限学习机的洪水预测方法
CN111626518A (zh) * 2020-05-29 2020-09-04 上海交通大学 基于深度学习神经网络的城市天级需水量在线预测方法
CN113807453A (zh) * 2021-09-24 2021-12-17 沈阳理工大学 基于加权概率融合并行贝叶斯网络的异常行为检测方法
CN113807453B (zh) * 2021-09-24 2024-01-30 沈阳理工大学 基于加权概率融合并行贝叶斯网络的异常行为检测方法

Also Published As

Publication number Publication date
CN110276477B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN110276477B (zh) 一种基于分层贝叶斯网络和增量学习的洪水预报方法
CN114254561B (zh) 一种内涝预测方法、系统及存储介质
CN109142171B (zh) 基于特征扩张的融合神经网络的城市pm10浓度预测方法
CN108304668B (zh) 一种结合水文过程数据和历史先验数据的洪水预测方法
Todini A model conditional processor to assess predictive uncertainty in flood forecasting
CN101354757B (zh) 一种精细尺度下的动态风险及易损性预测方法
CN112506990B (zh) 一种基于时空信息的水文数据异常检测方法
CN103514366B (zh) 一种城市空气质量浓度监测缺失数据的修复方法
CN111310968A (zh) 一种基于互信息的lstm神经网络循环水文预报方法
Greve et al. Quantifying the ability of environmental parameters to predict soil texture fractions using regression-tree model with GIS and LIDAR data: The case study of Denmark
Chen et al. Probabilistic forecasting of drought: a hidden Markov model aggregated with the RCP 8.5 precipitation projection
CN110738355A (zh) 一种基于神经网络的城市内涝预测方法
CN101480143A (zh) 一种预测灌区作物单产量的方法
CN113705877A (zh) 基于深度学习模型的实时月径流预报方法
Bian et al. Application, interpretability and prediction of machine learning method combined with LSTM and LightGBM-a case study for runoff simulation in an arid area
CN114372631A (zh) 一种基于小样本学习和lstm的缺资料地区径流预测方法
Kabir et al. Investigating capabilities of machine learning techniques in forecasting stream flow
Zhu et al. Internal and external coupling of Gaussian mixture model and deep recurrent network for probabilistic drought forecasting
Sawaf et al. Extent of detection of hidden relationships among different hydrological variables during floods using data-driven models
WO2023245399A1 (zh) 基于土地系统和气候变化耦合的水稻生产潜力模拟方法
Liu et al. Gully erosion susceptibility assessment based on machine learning-A case study of watersheds in Tuquan County in the black soil region of Northeast China
Teegavarapu Changes and trends in precipitation extremes and characteristics: Links to climate variability and change
Yadav et al. Application of Artificial Neural Network and Genetic Algorithm Based Artificial Neural Network Models for River Flow Prediction.
CN118350678A (zh) 基于物联网与大数据的水环境监测数据处理方法及系统
KR101703972B1 (ko) 공간정보를 이용한 지하수 부존 지역 예측시스템 및 지하수 부존 지역 예측방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant