CN114912359A - 一种基于XGBoost机器学习模型的水位动态预测方法 - Google Patents
一种基于XGBoost机器学习模型的水位动态预测方法 Download PDFInfo
- Publication number
- CN114912359A CN114912359A CN202210545239.1A CN202210545239A CN114912359A CN 114912359 A CN114912359 A CN 114912359A CN 202210545239 A CN202210545239 A CN 202210545239A CN 114912359 A CN114912359 A CN 114912359A
- Authority
- CN
- China
- Prior art keywords
- water level
- model
- data
- machine learning
- dynamic prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Abstract
本发明公开了一种基于XGBoost机器学习模型的水位动态预测方法,具体步骤包括获取真实流域的历史水情数据,并进行预处理;对预处理的历史水情数据进行划分,得到训练集和测试集;基于XGBoost机器学习建立水位动态预测模型,并根据训练集训练模型,以及利用测试集测试模型表现,并调整模型参数;根据训练完成的水位动态预测模型预测实际水位动态,并输出预测结果。本发明获取历史水情数据,再基于XGBoost机器学习建立水位动态预测模型并进行训练测试,增加模型的精确度。从而根据实际水情数据进行水位预测。能够实现以流域历史水位和当前水位数据作为模型输入,实现未来水位预测的功能,从而有效地促进洪水预报工作的开展。
Description
技术领域
本发明涉及机器学习和智慧水利技术领域,特别涉及一种基于XGBoost机器学习模型的水位动态预测方法。
背景技术
洪水是世界上最具破坏性的自然气象灾害之一,其危害包括城市内涝、河流洪水、山洪滑坡等等。历史上洪水灾害造成了重大的人员伤亡和财产损失。由于缺乏成熟的预警系统,受洪水灾害影响的人口超过20亿。世界各地仍然处于暴雨洪水灾害的威胁下,特大自然灾害的雨情汛情均呈现出如下特点:降雨过程长范围广总量大,短时降雨极强;主要河流洪水大幅超历史水平,堤坝水库险情多发;城区降雨远超排涝能力,居民小区公共设施受淹严重;山区洪水峰高流急涨势迅猛,造成大量人员伤亡。可靠有效的洪水预报能为相关部门提供及时的预警提醒,帮助相关部门提前制定灾害应对措施,减少灾害损失。因此,水位预测是洪水预报中至关重要的环节。
现有技术的不足之处在于,目前水位预测的方法主要是基于水文场景的建模方法。但传统的集成模型或分布式模型极其复杂,水文参数的标定过程使得合理的水文预测模型开发周期较长。而简化的基于物理过程的水文模型又常常无法完全描述水文系统的内在多样性。
发明内容
本发明的目的克服现有技术存在的不足,为实现以上目的,采用一种基于XGBoost机器学习模型的水位动态预测方法,以解决上述背景技术中提出的问题。
一种基于XGBoost机器学习模型的水位动态预测方法,具体步骤包括:
获取真实流域的历史水情数据,并进行预处理;
对预处理的历史水情数据进行划分,得到训练集和测试集;
基于XGBoost机器学习建立水位动态预测模型,并根据训练集训练模型,以及利用测试集测试模型表现,并调整模型参数;
根据训练完成的水位动态预测模型预测实际水位动态,并输出预测结果。
作为本发明的进一步的方案:所述获取真实流域的历史水情数据,并进行预处理的具体步骤包括:
首先从历史水情数据中提取水位数据;
将所述水位数据中的时间序列重新配置为窗口化输入数据,并将时间序列的预测问题转换成回归问题;
所述窗口化输入数据包括连续n个时间点的水位数据(x1,x2,...,xn)和基于第n个时间点的协变量信息,并将第n+1个时间点的水位数据作为回归目标y(xn+1);
其中,所述协变量包括当前月份、当前为一个月中的第几天、当前为一周中的第几天、当前为一年中的第几天,以及当前为一年中的第几周。
作为本发明的进一步的方案:所述对预处理的历史水情数据进行划分的具体为:将预处理的历史水情数据依据4:1比例的划分为训练集和测试集。
作为本发明的进一步的方案:所述基于XGBoost机器学习建立水位动态预测模型,并根据训练集训练模型的具体步骤包括:
首先基于XGBoost机器学习建立水位动态预测模型;
将预处理的历史水位数据,保存为可加载的数据集;
再设置水位动态预测模型参数,具体方法包括选择gbtree树、构建树的深度、控制模型复杂度的权重值、设置学习率、随机采样训练样本比例,以及训练参数;
所述XGBoost是经过优化的分布式梯度提升库;
构造原始目标函数,XGBoost的目标函数包含损失函数和基于树的复杂度的正则项;
目标函数的公式为:
使用泰勒公式对目标函数近似展开后得到:
根据第t-1棵树的预测值,将目标函数简化为:
其中,
最终得到:
最后求解叶子节点的权重并使用贪心算法寻找树的形状。
作为本发明的进一步的方案:所述利用测试集测试模型表现,并调整模型参数的具体步骤包括:
基于不同的统计评价标准进行模型表现测试,所述统计评价标准包括NSE纳什效率系数、RMSE均方根误差,以及WMAPE加权平均绝对百分比误差;
所述NSE纳什效率系数的表达式为:
所述RMSE均方根误差的表达式为:
所述WMAPE加权平均绝对百分比误差的表达式为:
根据利用测试集输入模型得到的预测结果调整模型参数,迭代测试得到表现较好的预测结果。
作为本发明的进一步的方案:所述根据训练完成的水位动态预测模型预测实际水位动态得到的预测结果的预测提前期为24h。
与现有技术相比,本发明存在以下技术效果:
采用上述的技术方案,通过获取历史水情数据中的相关数据,并进行数据预处理和划分,再建立基于XGBoost机器学习的水位动态预测模型,并进行训练和测试,得到最终模型,最后根据模型得到实际预测结果。实现以流域历史水位和当前水位数据作为模型输入,实现未来水位预测的功能,从而有效地促进洪水预报工作的开展。避免了物理模型的复杂性和潜在的不完整性,实现了准确度较高的基于真实历史数据的动态水位预测,能够为洪水预报、防灾减灾提供可靠有效的理论指导。
附图说明
下面结合附图,对本发明的具体实施方式进行详细描述:
图1为本申请公开的一些实施例的水位动态预测方法的步骤示意图;
图2为本申请公开的一些实施例的水位动态预测方法的理论流程图;
图3为本申请公开的一些实施例的水位动态预测方法的结果展示图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1和图2,本发明实施例中,一种基于XGBoost机器学习模型的水位动态预测方法,具体步骤包括:
S1、获取真实流域的历史水情数据,并进行预处理,具体步骤包括:
首先从历史水情数据中提取水位数据,具体的,从水位站历史数据记录中收集、提取日水位信息;
将所述水位数据中的时间序列重新配置为窗口化输入数据,并将时间序列的预测问题转换成回归问题;
所述窗口化输入数据包括连续n个时间点的水位数据(x1,x2,...,xn)和基于第n个时间点的协变量信息,并将第n+1个时间点的水位数据作为回归目标y(xn+1);本实施例中,选取n=7为例进行实施例说明。
其中,所述协变量包括当前月份、当前为一个月中的第几天、当前为一周中的第几天、当前为一年中的第几天,以及当前为一年中的第几周。
具体实施方式中,采用,month表示所在月份(取值范围1-12),day_of_month表示当前为一个月中的第几天(取值范围1-31),day_of_week表示当前为一周中的第几天(取值范围0-6,0表示周一,6表示周日),day_of_year表示当前为一年中的第几天(取值范围1-366),week_of_year表示当前为一年中的第几周(取值范围1-53)。
S2、对预处理的历史水情数据进行划分,得到训练集和测试集,具体为:将预处理的历史水情数据依据4:1比例的划分为训练集和测试集。
具体的,将80%的可用数据集用于训练模型,其余20%的可用数据集用于测试模型表现和修改模型参数。
S3、基于XGBoost机器学习建立水位动态预测模型,并根据训练集训练模型,以及利用测试集测试模型表现,并调整模型参数,具体步骤包括:
XGBoost是树模型,是否对数据进行归一化不影响模型的表现,因此在训练时不对其输入数据进行归一化;
所述基于XGBoost机器学习建立水位动态预测模型,并根据训练集训练模型的具体步骤包括:
首先基于XGBoost机器学习建立水位动态预测模型;
将预处理的历史水位数据,保存为可加载的数据集;
再设置水位动态预测模型参数,具体方法包括选择gbtree树、构建树的深度、控制模型复杂度的权重值、设置学习率、随机采样训练样本比例,以及训练参数;
所述XGBoost是经过优化的分布式梯度提升库;
构造原始目标函数,XGBoost的目标函数包含损失函数和基于树的复杂度的正则项;
目标函数的公式为:
使用泰勒公式对目标函数近似展开后得到:
根据第t-1棵树的预测值,将目标函数简化为:
其中,
最终得到:
最后求解叶子节点的权重并使用贪心算法寻找树的形状。
所述利用测试集测试模型表现,并调整模型参数,具体步骤为:
再基于不同的统计评价标准进行模型表现测试,所述统计评价标准包括NSE纳什效率系数、RMSE均方根误差,以及WMAPE加权平均绝对百分比误差;
具体的,NSE纳什效率系数,代表模型的预测能力,取值为-∞~1。取值接近1,表示模型质量好,模型可信度高;取值接近0,表示模拟结果接近观测值的平均值水平,即总体结果可信,但过程模拟误差大;取值远小于0,则模型不可信。
所述NSE纳什效率系数的表达式为:
所述RMSE均方根误差,用来评估预测值与观测值的接近程度,取值为0~+∞。取值越接近0,表示预测值与观测值越接近,其表达式为:
所述WMAPE加权平均绝对百分比误差,用来表示预测值与观测值的差值相对于观测值的显著程度,取值为0~+∞。取值越接近0,表示模型预测越准确,表达式为:
根据利用测试集输入模型得到的预测结果调整模型参数,迭代测试得到表现较好的预测结果。
S4、根据训练完成的水位动态预测模型预测实际水位动态,并输出预测结果。
本实施例中,所述根据训练完成的水位动态预测模型预测实际水位动态得到的预测结果的预测提前期为24h,水位预测值范围为22.29-30.10米。
如图3所示,图示为水位动态预测方法的结果展示图,机器学习模型对水位的动态预测具备较高的准确度,观测值与预测值演化过程非常接近,表明了本发明在水位预测、洪水预报等实际问题中应用的有效性。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定,均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于XGBoost机器学习模型的水位动态预测方法,其特征在于,具体步骤包括:
获取真实流域的历史水情数据,并进行预处理;
对预处理的历史水情数据进行划分,得到训练集和测试集;
基于XGBoost机器学习建立水位动态预测模型,并根据训练集训练模型,以及利用测试集测试模型表现,并调整模型参数;
根据训练完成的水位动态预测模型预测实际水位动态,并输出预测结果。
2.根据权利要求1所述一种基于XGBoost机器学习模型的水位动态预测方法,其特征在于,所述获取真实流域的历史水情数据,并进行预处理的具体步骤包括:
首先从历史水情数据中提取水位数据;
将所述水位数据中的时间序列重新配置为窗口化输入数据,并将时间序列的预测问题转换成回归问题;
所述窗口化输入数据包括连续n个时间点的水位数据(x1,x2,...,xn)和基于第n个时间点的协变量信息,并将第n+1个时间点的水位数据作为回归目标y(xn+1);
其中,所述协变量包括当前月份、当前为一个月中的第几天、当前为一周中的第几天、当前为一年中的第几天,以及当前为一年中的第几周。
3.根据权利要求1所述一种基于XGBoost机器学习模型的水位动态预测方法,其特征在于,所述对预处理的历史水情数据进行划分的具体为:将预处理的历史水情数据依据4:1比例的划分为训练集和测试集。
4.根据权利要求1所述一种基于XGBoost机器学习模型的水位动态预测方法,其特征在于,所述基于XGBoost机器学习建立水位动态预测模型,并根据训练集训练模型的具体步骤包括:
首先基于XGBoost机器学习建立水位动态预测模型;
将预处理的历史水位数据,保存为可加载的数据集;
再设置水位动态预测模型参数,具体方法包括选择gbtree树、构建树的深度、控制模型复杂度的权重值、设置学习率、随机采样训练样本比例,以及训练参数;
所述XGBoost是经过优化的分布式梯度提升库;
构造原始目标函数,XGBoost的目标函数包含损失函数和基于树的复杂度的正则项;
目标函数的公式为:
使用泰勒公式对目标函数近似展开后得到:
根据第t-1棵树的预测值,将目标函数简化为:
其中,
最终得到:
最后求解叶子节点的权重并使用贪心算法寻找树的形状。
6.根据权利要求1所述一种基于XGBoost机器学习模型的水位动态预测方法,其特征在于,所述根据训练完成的水位动态预测模型预测实际水位动态得到的预测结果的预测提前期为24h。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210545239.1A CN114912359A (zh) | 2022-05-19 | 2022-05-19 | 一种基于XGBoost机器学习模型的水位动态预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210545239.1A CN114912359A (zh) | 2022-05-19 | 2022-05-19 | 一种基于XGBoost机器学习模型的水位动态预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114912359A true CN114912359A (zh) | 2022-08-16 |
Family
ID=82768765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210545239.1A Pending CN114912359A (zh) | 2022-05-19 | 2022-05-19 | 一种基于XGBoost机器学习模型的水位动态预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114912359A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116738766A (zh) * | 2023-08-11 | 2023-09-12 | 安徽金海迪尔信息技术有限责任公司 | 基于数字孪生的智慧农业线上产业化服务系统 |
CN117709488A (zh) * | 2023-12-21 | 2024-03-15 | 西安理工大学 | 基于RUN-XGBoost的大坝渗流预测方法 |
-
2022
- 2022-05-19 CN CN202210545239.1A patent/CN114912359A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116738766A (zh) * | 2023-08-11 | 2023-09-12 | 安徽金海迪尔信息技术有限责任公司 | 基于数字孪生的智慧农业线上产业化服务系统 |
CN116738766B (zh) * | 2023-08-11 | 2023-10-13 | 安徽金海迪尔信息技术有限责任公司 | 基于数字孪生的智慧农业线上产业化服务系统 |
CN117709488A (zh) * | 2023-12-21 | 2024-03-15 | 西安理工大学 | 基于RUN-XGBoost的大坝渗流预测方法 |
CN117709488B (zh) * | 2023-12-21 | 2024-05-07 | 西安理工大学 | 基于RUN-XGBoost的大坝渗流预测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111310968B (zh) | 一种基于互信息的lstm神经网络循环水文预报方法 | |
Noymanee et al. | Flood forecasting with machine learning technique on hydrological modeling | |
Simonovic et al. | Methodology for assessment of climate change impacts on large-scale flood protection system | |
CN111651885A (zh) | 一种智慧型海绵城市洪涝预报方法 | |
CN114912359A (zh) | 一种基于XGBoost机器学习模型的水位动态预测方法 | |
CN108154270A (zh) | 中小流域洪水特征对变化环境的响应模型构建方法 | |
Liu et al. | Real-time forecasting of river water level in urban based on radar rainfall: A case study in Fuzhou City | |
CN116415730A (zh) | 一种预测水位的融合自注意力机制时空深度学习模型 | |
Das et al. | A stochastic modelling approach to forecast real-time ice jam flood severity along the transborder (New Brunswick/Maine) Saint John River of North America | |
CN111815043A (zh) | 一种基于暴雨特征的洪水流量预测方法及系统 | |
Kyselý et al. | Return periods of the August 2010 heavy precipitation in northern Bohemia (Czech Republic) in the present climate and under climate change | |
Camarasa et al. | Rainfall–runoff modelling of ephemeral streams in the Valencia region (eastern Spain) | |
Sultana | FLASH FLOOD FORECASTING USING ESTIl\fATEDPRECIPITATIONBY GLOBAL SATELLITE MAPPING IN THE NORTH-EAST REGION OF BANGLADESH | |
Fava et al. | Integration of information technology systems for flood forecasting with hybrid data sources | |
Khalili et al. | The effects of forecasted precipitation amount on probable maximum precipitation and probable maximum flood parameters | |
Azami Babani et al. | Prioritization flood risk of hydrologic units (Case Study: Pole Shah catchment) | |
Rokaya et al. | Towards improved real-time forecasting of river ice breakup | |
Gizaw et al. | Spatial and temporal distribution of sediment yield-case study Nashe, Blue Nile Basin, Ethiopia | |
Kumar et al. | Modelling of rainfall and runoff using HEC-HMS in Oghani Micro-watershed of Azamgarh District Uttar Pradesh | |
CN116756481B (zh) | 基于时变增益模型和Copula的流域未来水文干旱概率分析方法 | |
Schaffner et al. | Application of the KINEROS2 site specific model to south-central NY and northeast PA: forecasting gaged and ungaged fast responding watersheds | |
Gebrie et al. | Sediment Yield Modeling of Dedissa Sub Basin, Abay Basin, South-Western Ethiopia | |
Siwila et al. | Climate change impact investigation on hydro-meteorological extremes on Zambia’s Kabompo catchment | |
CN117172037B (zh) | 一种分布式水文预报方法、装置、计算机设备及介质 | |
Zaımı et al. | Flood Forecasting in the Western Lowland of Albania with Application of the Hydrological Modeling |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |