CN114154417B - 基于深度学习框架的洪水预报模型及洪水预报方法 - Google Patents

基于深度学习框架的洪水预报模型及洪水预报方法 Download PDF

Info

Publication number
CN114154417B
CN114154417B CN202111477271.2A CN202111477271A CN114154417B CN 114154417 B CN114154417 B CN 114154417B CN 202111477271 A CN202111477271 A CN 202111477271A CN 114154417 B CN114154417 B CN 114154417B
Authority
CN
China
Prior art keywords
rainfall
flood
time
sequence
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111477271.2A
Other languages
English (en)
Other versions
CN114154417A (zh
Inventor
王帆
张大伟
向立云
姜晓明
张洪斌
杜晓鹤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Institute of Water Resources and Hydropower Research
Original Assignee
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Institute of Water Resources and Hydropower Research filed Critical China Institute of Water Resources and Hydropower Research
Priority to CN202111477271.2A priority Critical patent/CN114154417B/zh
Publication of CN114154417A publication Critical patent/CN114154417A/zh
Application granted granted Critical
Publication of CN114154417B publication Critical patent/CN114154417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01W—METEOROLOGY
    • G01W1/00—Meteorology
    • G01W1/10—Devices for predicting weather conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
    • Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Environmental Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Atmospheric Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于深度学习框架的洪水预报模型及洪水预报方法，模型的构建包括以下步骤：1)收集和整理流域降雨、流量数据；2)洪水场次划分并关联降雨过程；3)确定模型的输入、输出时段数；4)数据归一化处理；5)场次降雨洪水划分和训练样本构建；6)预报模型构建；7)模型训练及超参数调整。本发明的预报模型，能够实现以流域点雨量而非面雨量作为模型输入，能够实现将前期降雨与流量过程同时作为模型输入，并能够实现将预报降雨数据作为模型输入，能够有效提高洪水预报精度。

Description

基于深度学习框架的洪水预报模型及洪水预报方法
技术领域
本发明属于水利工程技术领域，尤其涉及洪水预报技术领域，具体为一种基于深度学习框架的洪水预报模型及洪水预报方法。
背景技术
我国洪涝灾害频发，严重危害人民的生命财产安全。洪水预报是主要的防洪非工程措施之一，常用的洪水预报模型主要包括经验模型、概念性模型、分布式模型以及数据驱动模型等。其中数据驱动的洪水预报模型包括基于数理统计理论的时间序列模型，如ARMA、ARIMA等，和基于机器学习算法的模型，如ANN、SVR、DT和FIS等。基于机器学习算法的数据驱动模型还有待改进，以期提高预报精度并延长预见期。
发明内容
本发明的目的在于提出一种基于深度学习框架的洪水预报模型构建方法，区别于以往的方法，克服现有技术的缺陷，从而提高预报精度并延长预见期。本发明的目的是通过以下技术方案实现的：
一种基于深度学习框架的洪水预报模型，其构建方法包括以下步骤：
1)收集和整理流域降雨、流量数据：收集流域内雨量站及水文站观测数据，处理获得等时段时间序列，包括：流域各个雨量站的点雨量时间序列、流域面雨量时间序列及流域出口流量时间序列；
2)洪水场次划分并关联降雨过程：根据流域出口流量时间序列划分洪水场次；将场次洪水与场次降雨进行匹配关联，依次寻找每个场次洪水序列所关联的降雨事件，筛选掉无法找到关联降雨事件的洪水事件，从而得到元素一一关联的降雨事件集合与洪水事件集合；
3)确定模型的输入时长Tin、输出时长Tout；
4)数据归一化处理：采用线性归一化方法对步骤2)中获得的所有场次洪水数据及关联的点、面雨量数据进行预处理；
5)场次降雨洪水划分和训练样本构建，包括以下步骤：
5-1根据步骤3)中计算的模型输入时长Tin、输出时长Tout，对归一化处理后的场次降雨洪水数据进行样本提取，方式为：
对于场次洪水数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个洪水样本；此样本分为两部分，其中滑动窗口提取序列的前部大小为Tin的子序列为模型的输入序列，后部大小为Tout的子序列为输入序列的标记序列；
对于点雨量数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个点雨量样本；在此样本基础上，进一步将滑动窗口提取序列的前部大小为Tin的子序列提取出来，作为模型的输入序列；
对于面雨量数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个面雨量样本；在此样本基础上，进一步将滑动窗口提取序列的后部大小为Tout的子序列提取出来，作为模型的输入序列；
5-2样本构建：从步骤5-1中提取的所有样本中随机选取10％作为验证集样本，其余作为训练集样本；
6)预报模型构建：
模型结构采用双阶段注意力机制，两阶段注意力机制分别作用于Encoder和Decoder部分；第一阶段为输入注意力，在Encoder部分通过注意力机制在多个驱动因素中进行自适应选择，模型的输入数据为流域内各雨量站的点雨量和流域出口流量，模型在各个时刻通过注意力机制为各点雨量和出口流量分配权重，获得加权输入向量
Figure BDA0003393895810000021
第二阶段为时间注意力，在Decoder部分，通过注意力机制为Encoder各时刻的隐藏状态分配权重，并获得加权特征向量c(t)；
7)模型训练及超参数调整，包括以下步骤：
7-1设置模型训练样本，训练样本包含三部分内容：第一部分为Encoder部分的输入，为各站点雨量和流域出口流量拼接的向量；第二部分为Decoder的输入，包括当前时刻的面雨量和出口流量拼接向量，以及未来时刻的流域面雨量，用于与预报流量组成拼接向量；第三部分为模型的输出，为未来时刻的流域出口流量；
7-2模型的超参数包括神经元个数、批大小、损失函数、优化器、激活函数，超参数的选择方式为：通过调整超参数，对基于验证集的损失函数进行调优，从而获得合适的超参数。
进一步的，步骤1)包括如下步骤：
1-1采用线性内插法进行等时段处理，获得流域出口等时段流量时间序列数据；
1-2采用降雨量累积曲线插值进行等时段处理，获得各雨量站等时段点雨量时间序列数据；
1-3采用泰森多边形法进行面雨量的计算，获得面雨量时间序列，具体的计算方法为：对流域进行泰森多边形划分，根据站点对应的多边形面积占流域总面积的百分比计算雨量站的权重；设流域内共有m个雨量站，其中第i个雨量站对应的多边形面积为AREAi，对应的降雨时间序列为{Pi1,Pi2,...,Pij,...Pin}，则流域面雨量时间序列{P1,P2,...,Pj,...,Pn}的计算方法如式(1)所示：
Figure BDA0003393895810000031
式中，i为雨量站索引，j为降雨时间序列的长度索引，m为流域内雨量站点个数，n为雨量时间序列的总长度，AREA为流域总面积。
进一步的，步骤2)包括如下步骤：
2-1根据流域出口流量时间序列划分洪水场次，方式如下：
划分流量序列中的基流部分和洪水部分，采用数字滤波法得到流量过程的基流部分，如公式(2)所示：
Figure BDA0003393895810000032
式中，bt为时刻t的基流，Q't为时刻t的流量，β为滤波系数；
通过调整滤波次数和滤波系数来控制滤波效果，获得基流序列后，利用式(3)分离洪水序列{Q1,Q2,...,Qt}：
Qt＝Q't-bt (3)
2-2关联降雨过程：将场次洪水与场次降雨进行匹配关联，依次寻找每个场次洪水序列所关联的降雨事件，筛选掉无法找到关联降雨事件的洪水事件，从而得到元素一一关联的降雨事件集合与洪水事件集合；以洪水序列开始、结束时间点为基准进行关联降雨的提取；基于提取的降雨开始、结束时刻，分别从流域面雨量时间序列和各个雨量站的点雨量时间序列中截取降雨事件，并与洪水事件相关联。
进一步的，步骤3)包括如下步骤：
3-1基于步骤2)中获得的场次洪水数据和对应的面雨量数据，分析流域单位线，基于单位线获得流域洪峰滞时TP，净雨发生时刻至单位线最大流量出现时刻即为洪峰滞时；
3-2制作流域出口流量时间序列自相关图与偏自相关图，基于相关性确定时段数TR；
3-3选取步骤3-1中计算的洪峰滞时TP和步骤3-2中计算的TR中的大值作为模型的输入时长Tin，即Tin＝max(TP,TR)，Tout不大于Tin。
进一步的，步骤4)包括如下步骤：
采用线性归一化方法对步骤2)中获得的所有场次洪水数据及关联的点、面雨量数据进行预处理，方式如下式所示。
Figure BDA0003393895810000041
式中，xnorm为归一化数值，x为观测值，xmax和xmin分别为观测值的最大最小值。
一种基于所述的洪水预报模型进行洪水预报的方法。
进一步的，通过获取实时雨水情数据及未来降雨数据，输入训练后的所述洪水预报模型进行洪水预报，包括如下步骤：
步骤1：流域雨量站点及水文站点实时数据的准备：收集流域内所有雨量站和流域出口水文站当前时刻向前Tin个时刻的雨量和流量数据，拼接成为输入向量；
步骤2：流域预报面雨量数据的准备：通过栅格面积加权平均获得流域面雨量，获得当前时刻向后Tout个时刻的面雨量数据，组成Decoder部分的输入数据；
步骤3：将步骤1和步骤2中的数据输入至训练的所述洪水预报模型中，获得未来预报流量序列。
本发明的优点和有益效果是：
本方法构建的模型以流域内雨量站的点雨量、流域出口水文站的流量数据和流域的预报面雨量作为输入，能够实现将前期降雨与流量过程同时作为模型输入，并能够实现将预报降雨数据作为模型输入，能够充分利用水雨情信息，从而提高预报精度并延长预见期。
附图说明
下面结合附图和实施例对本发明作进一步说明。
图1为本发明方法模型构建流程示意图。
图2为局场次洪水提取参数示意图。
图3为关联降雨事件提取参数示意图。
图4为流域单位线示意图。
图5为流量时间序列自相关图(偏自相关图)。
图6为洪水预报模型结构示意图。
图7为实施例2中马渡王流域单位线。
图8为实施例2中流量自相关图与偏自相关图。
图9为实施例2中训练集及验证集损失率。
图10为实施例2中20110905场次洪水预报结果。
具体实施方式
实施例1：
一种基于深度学习框架的洪水预报模型，其构建方法包括以下步骤，如图1所示：
1)收集和整理流域降雨、流量数据：
1-1采用线性内插法进行等时段处理，获得流域出口等时段流量时间序列数据；
1-2采用降雨量累积曲线插值进行等时段处理，获得各雨量站等时段点雨量时间序列数据；
1-3采用泰森多边形法进行面雨量的计算，获得面雨量时间序列，具体的计算方法为：对流域进行泰森多边形划分，根据站点对应的多边形面积占流域总面积的百分比计算雨量站的权重；设流域内共有m个雨量站，其中第i个雨量站对应的多边形面积为AREAi，对应的降雨时间序列为{Pi1,Pi2,...,Pij,...Pin}，则流域面雨量时间序列{P1,P2,...,Pj,...,Pn}的计算方法如式(1)所示：
Figure BDA0003393895810000061
式中，i为雨量站索引，j为降雨时间序列的长度索引，m为流域内雨量站点个数，n为雨量时间序列的总长度，AREA为流域总面积。
2)洪水场次划分并关联降雨过程。
2-1根据流域出口流量时间序列划分洪水场次，方式如下：
划分流量序列中的基流部分和洪水部分。采用数字滤波法得到流量过程的基流部分，如公式(2)所示。
Figure BDA0003393895810000062
式中，bt为时刻t的基流，Q't为时刻t的流量，β为滤波系数。
通过调整滤波次数和滤波系数来控制滤波效果，获得基流序列后，利用式(3)分离洪水序列{Q1,Q2,...,Qt}：
Qt＝Q't-bt (3)
对洪水序列进行平滑处理，消除噪声项和异常点的影响，平滑公式如下式所示：
Figure BDA0003393895810000071
识别序列中的转折点：计算洪水序列的一阶差分序列{d1,d2,...,di,...,dt}，根据一阶差分序列的正负变换判断序列转折点的位置，并对极大值与极小值加以区分。对于序列首尾处，若首尾值为极大值，则将其去掉；设定阈值Thmin，若首尾值小于序列均值除以阈值Thmin，则设定其为极小值。记录转折点序列及各值对应的峰(极大值)、谷(极小值)标记。
识别洪水事件的开始、结束点：设定阈值Thslp，选定第一个极小值作为开始点并向后搜索另一极小值，依据转折点数组的一阶差分序列进行判断，寻找满足公式(5)要求的极小值点Mini作为结束点。
Mini-Min1＜Thslp·max(|d1|,|d2|,...,|di|) (5)
对上一步中提取的洪水事件进行筛选与处理：设置阈值Thpeak，对于一次独立的洪水事件，若峰值与序列起始点或结束点的差值小于阈值Thpeak，则认为本次洪水过程量级不足以纳入考虑范围；设定动态坡度阈值Thdy，对于一次独立的洪水事件，动态坡度为阈值Thdy与极差的乘积，依据动态坡度删除洪水事件前部与后部的平坦部分；设定时间阈值ThΔT，对于一次独立的洪水事件，如持续时间小于阈值ThΔT，则认为本次洪水过程不足以纳入考虑范围，如图2所示。
2-2关联降雨过程。将场次洪水与场次降雨进行匹配关联，依次寻找每个场次洪水序列所关联的降雨事件，筛选掉无法找到关联降雨事件的洪水事件，从而得到元素一一关联的降雨事件集合与洪水事件集合。以洪水序列开始、结束时间点为基准进行关联降雨的提取；具体步骤如下：
设定阈值ThS，基于流域面积确定ThS的值，如公式(6)所示。
Figure BDA0003393895810000081
式中，F为流域面积(km2)，阈值ThS(h)为以洪水开始时刻T1为起点向前考虑降雨的最大时间范围。以T1-ThS为开始时间，以洪水结束时刻T3为结束时间，初步提取降雨序列。
以步骤1)中计算的流域面雨量时间序列提取降雨开始、结束时间。首先，对降雨开始时间进行检查，去除前部的无效降雨。首先去除降雨序列前端的零值，然后计算T1时刻前无雨间隔，若无雨间隔ΔT≥6h，则只考虑无雨间隔后的降雨时段，有效降雨开始时刻记为Ts。
对降雨结束时间进行检查，去除后部的无效降雨。利用洪水序列的差分序列提取最后一个洪水峰值Qlastpeak，以0.3Qlastpeak为阈值，由洪水结束时刻T3向前搜索得到有效降雨结束时刻，记为T'e，最后一个有效降雨时刻记为Te。关联降雨事件提取参数如图3所示，其中Ts至Te时刻为有效降雨，其余降雨为初步提取但被去除的无效降雨。
基于提取的降雨开始、结束时刻，分别从流域面雨量时间序列和各个雨量站的点雨量时间序列中截取降雨事件，并与洪水事件相关联。
3)确定模型的输入、输出时段数。
3-1基于步骤2)中获得的场次洪水数据和对应的面雨量数据，分析流域单位线，基于单位线获得流域洪峰滞时TP，如图4所示，净雨发生时刻至单位线最大流量出现时刻即为洪峰滞时。
3-2制作流域出口流量时间序列自相关图与偏自相关图，形式均如图5所示，设定阈值ThR，当相关系数绝对值大于ThR，认为相关性较强，ThR的取值建议为0.5至0.8范围内选取，基于相关性确定时段数TR。
3-3选取3-1中计算的洪峰滞时TP和3-2中计算的TR中的大值作为模型的输入时长Tin，即Tin＝max(TP,TR)，输出时长Tout可根据实际需求设定，一般建议不大于Tin。
4)数据归一化处理。
采用线性归一化方法对步骤2)中获得的所有场次洪水数据及关联的点、面雨量数据进行预处理，方式如下式所示。
Figure BDA0003393895810000091
式中，xnorm为归一化数值，x为观测值，xmax和xmin分别为观测值的最大最小值。
5)场次降雨洪水划分和训练样本构建。
5-1根据步骤3)中计算的模型输入、输出时段数，对归一化处理后的场次降雨洪水数据进行样本提取，方式为：
对于场次洪水数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个洪水样本。此样本分为两部分，其中滑动窗口提取序列的前部大小为Tin的子序列为模型的输入序列，后部大小为Tout的子序列为输入序列的标记序列。
对于点雨量数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个点雨量样本。在此样本基础上，进一步将滑动窗口提取序列的前部大小为Tin的子序列提取出来，作为模型的输入序列。
对于面雨量数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个面雨量样本。在此样本基础上，进一步将滑动窗口提取序列的后部大小为Tout的子序列提取出来，作为模型的输入序列。
5-2样本构建。从步骤5-1中提取的所有样本中随机选取10％作为验证集样本，其余作为训练集样本。
6)预报模型构建。
模型结构采用双阶段注意力机制，结构如图6所示，两阶段注意力机制分别作用于Encoder和Decoder部分。第一阶段为输入注意力，在Encoder部分通过注意力机制在多个驱动因素中进行自适应选择，模型的输入数据为流域内各雨量站的点雨量和流域出口流量，模型在各个时刻通过注意力机制为各点雨量和出口流量分配权重，获得加权输入向量
Figure BDA0003393895810000101
第二阶段为时间注意力，在Decoder部分，通过注意力机制为Encoder各时刻的隐藏状态分配权重，并获得加权特征向量c(t)。
6-1具有输入注意力机制的Encoder部分；
如图5所示，Encoder部分为包含注意力机制的单层LSTM结构，输入数据为X＝{x(1),x(2),x(3),...,x(N)}，其中
Figure BDA0003393895810000102
代表i时刻的输入向量，由流域内雨量站i时刻点雨量数据和流域出口水文站点i时刻流量数据组成，K代表驱动序列的数量。对于第k个驱动序列
Figure BDA0003393895810000103
基于感知机构建相似度函数计算其权重，如公式(8)和公式(9)所示。
Figure BDA0003393895810000104
式中，
Figure BDA0003393895810000105
为Encoder中LSTM循环单元i-1时刻的隐藏状态与内部状态的拼接向量，
Figure BDA0003393895810000106
和
Figure BDA0003393895810000107
为权重矩阵，n和N分别为隐藏状态大小和输入序列的长度。
Figure BDA0003393895810000108
式中αik为i时刻第k个驱动因素的权重。
由i时刻的输入向量x(i)加权获得新的输入向量
Figure BDA0003393895810000109
如公式(10)所示。
Figure BDA00033938958100001010
进而通过公式(11)至公式(16)计算i时刻的隐藏状态。
Figure BDA0003393895810000111
Figure BDA0003393895810000112
Figure BDA0003393895810000113
Figure BDA0003393895810000114
Figure BDA0003393895810000115
Figure BDA0003393895810000116
式中，
Figure BDA0003393895810000117
为Encoder在i-1时刻的隐藏状态
Figure BDA0003393895810000118
与i时刻的加权输入向量
Figure BDA0003393895810000119
的拼接向量，
Figure BDA00033938958100001110
和
Figure BDA00033938958100001111
分别为Encoder在i时刻的隐藏状态、候选状态和内部状态，
Figure BDA00033938958100001112
和
Figure BDA00033938958100001113
分别为i时刻的遗忘门、输入门和输出门，Wf、Wi、Wo和
Figure BDA00033938958100001114
为权重矩阵bf，bi、bo和
Figure BDA00033938958100001115
为偏置项，σ为sigmoid函数。
6-2具有时间注意力机制的Decoder部分；
如图5所示，在Decoder阶段，首先通过注意力机制计算Encoder部分各时刻隐藏状态的权重，方法见公式(17)和公式(8)。
Figure BDA00033938958100001116
式中，
Figure BDA00033938958100001117
为Decoder中LSTM循环单元t-1时刻的隐藏状态与内部状态的拼接向量，
Figure BDA00033938958100001118
为Encoder部分i时刻的隐藏状态，
Figure BDA00033938958100001119
Figure BDA00033938958100001120
和
Figure BDA00033938958100001121
为权重矩阵，n和m分别为Encoder和Decoder部分LSTM循环单元隐藏状态大小。
Figure BDA00033938958100001122
式中，βti代表了Decoder在计算t时刻的隐藏状态时，Encoder中第i时刻隐藏状态的重要程度。
通过对Encoder部分各时刻隐藏状态
Figure BDA0003393895810000121
加权求和获得加权特征向量c(t)传递给Decoder，如公式所示。
Figure BDA0003393895810000122
式中
Figure BDA0003393895810000123
Decoder部分的输入数据为
Figure BDA0003393895810000124
其中
Figure BDA0003393895810000125
代表t时刻的输入向量，由流域内各雨量站点t-1时刻预报降雨和t-1时刻的预测流量
Figure BDA0003393895810000126
组成，K为驱动序列的数量。将加权特征向量c(t)与输入向量
Figure BDA0003393895810000127
进行拼接，转换为新的输入向量
Figure BDA0003393895810000128
如公式(20)所示。
Figure BDA0003393895810000129
式中，
Figure BDA00033938958100001210
为拼接向量，
Figure BDA00033938958100001211
为权重矩阵，
Figure BDA00033938958100001212
为偏置项。
进而通过公式(21)至公式(26)计算t时刻的隐藏状态。
Figure BDA00033938958100001213
Figure BDA00033938958100001214
Figure BDA00033938958100001215
Figure BDA00033938958100001216
Figure BDA00033938958100001217
Figure BDA00033938958100001218
式中，
Figure BDA00033938958100001219
为Decoder在t-1时刻的隐藏状态
Figure BDA00033938958100001220
与t时刻的输入向量
Figure BDA00033938958100001221
的拼接向量，
Figure BDA00033938958100001222
和
Figure BDA00033938958100001223
分别为Decoder在t时刻的隐藏状态、候选状态和内部状态，
Figure BDA0003393895810000131
和
Figure BDA0003393895810000132
分别为t时刻的遗忘门、输入门和输出门，Wi、Wo和
Figure BDA0003393895810000133
为权重矩阵，bi、bo和
Figure BDA0003393895810000134
为偏置项。
最终，通过全连接层获得t时刻的输出，如公式(27)所示。
Figure BDA0003393895810000135
式中，
Figure BDA0003393895810000136
为t时刻的Decoder的隐藏状态
Figure BDA0003393895810000137
与加权特征向量c(t)的拼接向量，
Figure BDA0003393895810000138
为权重矩阵，
Figure BDA0003393895810000139
为偏置项。
7)模型训练及超参数调整。
7-1设置模型训练样本，训练样本包含三部分内容：第一部分为Encoder部分的输入，为各站点雨量和流域出口流量拼接的向量；第二部分为Decoder的输入，包括当前时刻的面雨量和出口流量拼接向量，以及未来时刻的流域面雨量，用于与预报流量组成拼接向量；第三部分为模型的输出，为未来时刻的流域出口流量。
7-2模型的超参数包括神经元个数、批大小、损失函数、优化器、激活函数，超参数的选择方式为：通过调整超参数，对基于验证集的损失函数进行调优，从而获得合适的超参数。
实施例2：
本实施例为基于实施例1中所示深度学习框架的洪水预报模型的洪水预报方法。通过获取实时雨水情数据及未来降雨数据，准备模型输入，基于实施例1步骤7)中训练的预报模型进行洪水预报。
步骤1：流域雨量站点及水文站点实时数据的准备，收集流域内所有雨量站和流域出口水文站当前时刻向前Tin个时刻的雨量和流量数据，拼接称为输入向量
Figure BDA00033938958100001310
其中
Figure BDA00033938958100001311
代表i时刻的输入向量，由流域内雨量站i时刻点雨量数据和流域出口水文站点i时刻流量数据组成。
步骤2：流域预报面雨量数据的准备，预报降雨数据通常为雷达降雨、数值预报成果等，一般为栅格数据，通过栅格面积加权平均获得流域面雨量。获得当前时刻向后Tout个时刻的面雨量数据，组成Decoder部分的输入数据
Figure BDA0003393895810000141
其中
Figure BDA0003393895810000142
代表t时刻的输入向量，由流域内各雨量站点t-1时刻预报降雨和t-1时刻的预测流量
Figure BDA0003393895810000143
组成。
步骤3：将步骤1和2中的数据输入至实施例1步骤7)中训练的模型中，获得未来预报流量序列。
在本实施例中：
收集到黄河流域渭河支流灞河1970年至2015年马渡王站流量数据及流域内灞源、穆家堰、牧护关等11座雨量站的降雨数据，按照实施例1步骤1)、步骤2)介绍的方法，共提取160场洪水。
采用优化算法推求流域单位线如图7所示，根据单位线分析可知流域洪峰滞时TP约为9h。
制作马渡王站流量自相关与偏自相关图，如图8所示，设置ThR＝0.5，马渡王站8h内流量相关系数高于ThR，进一步通过偏自相关图发现，3h后流量相关性较小，则TR为3。
根据TP和TR，计算得到模型输入时长Tin＝9h，设定输出时长Tout为6h。
采用实施例1步骤4)中介绍的方法对数据进行归一化处理。
采用实施例1步骤5)中介绍的方法，划分训练样本，获得总样本6780个，其中训练集样本6102个，验证集样本678个。
采用实施例1步骤6)中介绍的方法，利用Keras函数式(Model)模型构建预报模型。
采用实施例1步骤7)中介绍的方法，对模型进行训练，并对超参数进行优选，最终获得损失率变化如图9所示，确定模型超参数为：两层LSTM神经元个数分别为16、16，批大小为256，损失函数选取ReLU，优化器为Adam，激活函数为MSE。
采用步骤1、2、3中介绍的方法，对马渡王站20110905场次洪水进行滚动预报，结果如图10所示。
最后应说明的是，以上仅用以说明本发明的技术方案而非限制，尽管参照较佳布置方案对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围。

Claims (7)

1.一种基于深度学习框架的洪水预报模型构建方法，其特征在于，包括以下步骤：
1)收集和整理流域降雨、流量数据：收集流域内雨量站及水文站观测数据，处理获得等时段时间序列，包括：流域各个雨量站的点雨量时间序列、流域面雨量时间序列及流域出口流量时间序列；
2)洪水场次划分并关联降雨过程：根据流域出口流量时间序列划分洪水场次；将场次洪水与场次降雨进行匹配关联，依次寻找每个场次洪水序列所关联的降雨事件，筛选掉无法找到关联降雨事件的洪水事件，从而得到元素一一关联的降雨事件集合与洪水事件集合；
3)确定模型的输入时长Tin、输出时长Tout；
4)数据归一化处理：采用线性归一化方法对步骤2)中获得的所有场次洪水数据及关联的点、面雨量数据进行预处理；
5)场次降雨洪水划分和训练样本构建，包括以下步骤：
5-1根据步骤3)中计算的模型输入时长Tin、输出时长Tout，对归一化处理后的场次降雨洪水数据进行样本提取，方式为：
对于场次洪水数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个洪水样本；此样本分为两部分，其中滑动窗口提取序列的前部大小为Tin的子序列为模型的输入序列，后部大小为Tout的子序列为输入序列的标记序列；
对于点雨量数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个点雨量样本；在此样本基础上，进一步将滑动窗口提取序列的前部大小为Tin的子序列提取出来，作为模型的输入序列；
对于面雨量数据，由各场次洪水对应的降雨事件开始时刻起，设置滑动窗口，窗口大小为Tin+Tout，设由降雨事件开始时刻至洪水结束时刻的时长为T，则可滑动提取T-(Tin+Tout)+1个面雨量样本；在此样本基础上，进一步将滑动窗口提取序列的后部大小为Tout的子序列提取出来，作为模型的输入序列；
5-2样本构建：从步骤5-1中提取的所有样本中随机选取10％作为验证集样本，其余作为训练集样本；
6)预报模型构建：
模型结构采用双阶段注意力机制，两阶段注意力机制分别作用于Encoder和Decoder部分；第一阶段为输入注意力，在Encoder部分通过注意力机制在多个驱动因素中进行自适应选择，模型的输入数据为流域内各雨量站的点雨量和流域出口流量，模型在各个时刻通过注意力机制为各点雨量和出口流量分配权重，获得加权输入向量
Figure FDA0003613036590000021
第二阶段为时间注意力，在Decoder部分，通过注意力机制为Encoder各时刻的隐藏状态分配权重，并获得加权特征向量c(t)；
7)模型训练及超参数调整，包括以下步骤：
7-1设置模型训练样本，训练样本包含三部分内容：第一部分为Encoder部分的输入，为各站点雨量和流域出口流量拼接的向量；第二部分为Decoder的输入，包括当前时刻的面雨量和出口流量拼接向量，以及未来时刻的流域面雨量，用于与预报流量组成拼接向量；第三部分为模型的输出，为未来时刻的流域出口流量；
7-2模型的超参数包括神经元个数、批大小、损失函数、优化器、激活函数，超参数的选择方式为：通过调整超参数，对基于验证集的损失函数进行调优，从而获得合适的超参数。
2.根据权利要求1所述的基于深度学习框架的洪水预报模型构建方法，其特征在于，步骤1)包括如下步骤：
1-1采用线性内插法进行等时段处理，获得流域出口等时段流量时间序列数据；
1-2采用降雨量累积曲线插值进行等时段处理，获得各雨量站等时段点雨量时间序列数据；
1-3采用泰森多边形法进行面雨量的计算，获得面雨量时间序列，具体的计算方法为：对流域进行泰森多边形划分，根据站点对应的多边形面积占流域总面积的百分比计算雨量站的权重；设流域内共有m个雨量站，其中第i个雨量站对应的多边形面积为AREAi，对应的降雨时间序列为{Pi1,Pi2,...,Pij,...Pin}，则流域面雨量时间序列{P1,P2,...,Pj,...,Pn}的计算方法如式(1)所示：
Figure FDA0003613036590000031
式中，i为雨量站索引，j为降雨时间序列的长度索引，m为流域内雨量站点个数，n为雨量时间序列的总长度，AREA为流域总面积。
3.根据权利要求1所述的基于深度学习框架的洪水预报模型构建方法，其特征在于，步骤2)包括如下步骤：
2-1根据流域出口流量时间序列划分洪水场次，方式如下：
划分流量序列中的基流部分和洪水部分，采用数字滤波法得到流量过程的基流部分，如公式(2)所示：
Figure FDA0003613036590000032
式中，bt为时刻t的基流，Q't为时刻t的流量，β为滤波系数；
通过调整滤波次数和滤波系数来控制滤波效果，获得基流序列后，利用式(3)分离洪水序列{Q1,Q2,K,Qt}：
Qt＝Q't-bt (3)
2-2关联降雨过程：将场次洪水与场次降雨进行匹配关联，依次寻找每个场次洪水序列所关联的降雨事件，筛选掉无法找到关联降雨事件的洪水事件，从而得到元素一一关联的降雨事件集合与洪水事件集合；以洪水序列开始、结束时间点为基准进行关联降雨的提取；基于提取的降雨开始、结束时刻，分别从流域面雨量时间序列和各个雨量站的点雨量时间序列中截取降雨事件，并与洪水事件相关联。
4.根据权利要求1所述的基于深度学习框架的洪水预报模型构建方法，其特征在于，步骤3)包括如下步骤：
3-1基于步骤2)中获得的场次洪水数据和对应的面雨量数据，分析流域单位线，基于单位线获得流域洪峰滞时TP，净雨发生时刻至单位线最大流量出现时刻即为洪峰滞时；
3-2制作流域出口流量时间序列自相关图与偏自相关图，基于相关性确定时段数TR；
3-3选取步骤3-1中计算的洪峰滞时TP和步骤3-2中计算的TR中的大值作为模型的输入时长Tin，即Tin＝max(TP,TR)，Tout不大于Tin。
5.根据权利要求1所述的基于深度学习框架的洪水预报模型构建方法，其特征在于，步骤4)包括如下步骤：
采用线性归一化方法对步骤2)中获得的所有场次洪水数据及关联的点、面雨量数据进行预处理，方式如下式所示：
Figure FDA0003613036590000041
式中，xnorm为归一化数值，x为观测值，xmax和xmin分别为观测值的最大最小值。
6.一种基于权利要求1～5中任意一项所述的洪水预报模型构建方法所构建的洪水预报模型进行洪水预报的方法。
7.根据权利要求6所述的洪水预报的方法，其特征在于：通过获取实时雨水情数据及未来降雨数据，输入训练后的所述洪水预报模型进行洪水预报，包括如下步骤：
步骤1：流域雨量站点及水文站点实时数据的准备：收集流域内所有雨量站和流域出口水文站当前时刻向前Tin个时刻的雨量和流量数据，拼接成为输入向量；
步骤2：流域预报面雨量数据的准备：通过栅格面积加权平均获得流域面雨量，获得当前时刻向后Tout个时刻的面雨量数据，组成Decoder部分的输入数据；
步骤3：将步骤1和步骤2中的数据输入至训练的所述洪水预报模型中，获得未来预报流量序列。
CN202111477271.2A 2021-12-06 2021-12-06 基于深度学习框架的洪水预报模型及洪水预报方法 Active CN114154417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111477271.2A CN114154417B (zh) 2021-12-06 2021-12-06 基于深度学习框架的洪水预报模型及洪水预报方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111477271.2A CN114154417B (zh) 2021-12-06 2021-12-06 基于深度学习框架的洪水预报模型及洪水预报方法

Publications (2)

Publication Number Publication Date
CN114154417A CN114154417A (zh) 2022-03-08
CN114154417B true CN114154417B (zh) 2022-06-07

Family

ID=80452925

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111477271.2A Active CN114154417B (zh) 2021-12-06 2021-12-06 基于深度学习框架的洪水预报模型及洪水预报方法

Country Status (1)

Country Link
CN (1) CN114154417B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115330036A (zh) * 2022-07-29 2022-11-11 福州大学 基于GRU-Seq2Seq的多步长洪水预报方法及装置
CN115271255B (zh) * 2022-09-19 2022-12-09 长江水利委员会水文局 基于知识图谱和机器学习的雨洪相似性分析方法和系统
CN115688022B (zh) * 2022-11-11 2023-05-26 中国水利水电科学研究院 一种基于最邻近算法的流域单位线实时优选方法
CN116091801B (zh) * 2023-03-07 2023-06-16 河海大学 一种基于深度学习的降雨图像相似性搜索方法
CN117726033B (zh) * 2023-12-19 2024-05-14 南京信息工程大学 一种基于Multi-headed CNN模型与卫星降雨产品的洪水预报方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583565A (zh) * 2018-11-07 2019-04-05 河海大学 基于注意力模型长短时记忆网络的洪水预测方法
CN109615011A (zh) * 2018-12-14 2019-04-12 河海大学 一种基于lstm的中小河流短期洪水预报方法
CN110288157A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于注意力机制和lstm的径流预测方法
CN110929956A (zh) * 2019-12-06 2020-03-27 中国水利水电科学研究院 一种基于机器学习的洪水预报方案实时优选方法
CN111027763A (zh) * 2019-12-06 2020-04-17 中国水利水电科学研究院 一种基于机器学习的流域洪水响应相似性分析方法
CN111027764A (zh) * 2019-12-06 2020-04-17 中国水利水电科学研究院 一种基于机器学习的适用于径流资料缺乏流域的洪水预报方法
CN111080107A (zh) * 2019-12-06 2020-04-28 中国水利水电科学研究院 一种基于时间序列聚类的流域洪水响应相似性分析方法
CN111832810A (zh) * 2020-06-23 2020-10-27 西安电子科技大学 洪水预报模型、信息处理方法、存储介质、计算机设备
CN112785043A (zh) * 2020-12-31 2021-05-11 河海大学 一种基于时序注意力机制的洪水预报方法
CN113378484A (zh) * 2021-07-12 2021-09-10 中国水利水电科学研究院 一种基于机器学习的平原河网地区洪水过程预报方法
CN113742910A (zh) * 2021-08-26 2021-12-03 北京七兆科技有限公司 基于中小流域洪水预报的水库来水量预警预报方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109583565A (zh) * 2018-11-07 2019-04-05 河海大学 基于注意力模型长短时记忆网络的洪水预测方法
CN109615011A (zh) * 2018-12-14 2019-04-12 河海大学 一种基于lstm的中小河流短期洪水预报方法
CN110288157A (zh) * 2019-06-27 2019-09-27 电子科技大学 一种基于注意力机制和lstm的径流预测方法
CN110929956A (zh) * 2019-12-06 2020-03-27 中国水利水电科学研究院 一种基于机器学习的洪水预报方案实时优选方法
CN111027763A (zh) * 2019-12-06 2020-04-17 中国水利水电科学研究院 一种基于机器学习的流域洪水响应相似性分析方法
CN111027764A (zh) * 2019-12-06 2020-04-17 中国水利水电科学研究院 一种基于机器学习的适用于径流资料缺乏流域的洪水预报方法
CN111080107A (zh) * 2019-12-06 2020-04-28 中国水利水电科学研究院 一种基于时间序列聚类的流域洪水响应相似性分析方法
CN111832810A (zh) * 2020-06-23 2020-10-27 西安电子科技大学 洪水预报模型、信息处理方法、存储介质、计算机设备
CN112785043A (zh) * 2020-12-31 2021-05-11 河海大学 一种基于时序注意力机制的洪水预报方法
CN113378484A (zh) * 2021-07-12 2021-09-10 中国水利水电科学研究院 一种基于机器学习的平原河网地区洪水过程预报方法
CN113742910A (zh) * 2021-08-26 2021-12-03 北京七兆科技有限公司 基于中小流域洪水预报的水库来水量预警预报方法及系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
A stream prediction model based on attention-LSTM;Le Yan等;《Earth Science Information》;20210216;第723-733页 *
Application of Long Short-Term Memory (LSTM) Neural Network for Flood Forecasting;Xuan-Hien Le等;《water》;20190705;第1-19页 *
Spatio-Temporal Attention LSTM Model for Flood Forecasting;Yukai Ding等;《2019 International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData)》;20191231;第458-465页 *
基于深度学习的中小河流洪水预报方法研究;马瑜君等;《国外电子测量技术》;20181231;第37卷(第12期);第7-13页 *
基于长短时记忆（LSTM）神经网络的黄河中游洪水过程模拟及预报;徐源浩等;《北京师范大学学报（自然科学版）》;20200630;第56卷(第3期);第136-141页 *
基于集成学习的中小河流洪水预报;王继民等;《计算机与现代化》;20210531(第5期);第51-58页 *
基于面平均雨量误差修正的实时洪水预报修正方法;司伟等;《湖泊科学》;20181231;第30卷(第2期);第533-541页 *
长短期记忆模型在小流域洪水预报上的应用研究;郭炅等;《水资源研究》;20190225;第8卷(第1期);第24-32页 *

Also Published As

Publication number Publication date
CN114154417A (zh) 2022-03-08

Similar Documents

Publication Publication Date Title
CN114154417B (zh) 基于深度学习框架的洪水预报模型及洪水预报方法
CN109492808B (zh) 一种室内停车场剩余车位预测方法
CN110491146B (zh) 一种基于深度学习的交通信号控制方案实时推荐方法
CN107480775B (zh) 一种基于数据修复的池塘溶解氧预测方法
CN108629144B (zh) 一种桥梁健康评估方法
CN111080107B (zh) 一种基于时间序列聚类的流域洪水响应相似性分析方法
CN104408913B (zh) 一种考虑时空相关性的交通流三参数实时预测方法
CN111882869B (zh) 一种考虑不良天气的深度学习交通流预测方法
CN111160520A (zh) 一种基于遗传算法优化的bp神经网络风速预测方法
CN109785618B (zh) 一种基于组合逻辑的短时交通流预测方法
CN110705743A (zh) 一种基于长短期记忆神经网络的新能源消纳电量预测方法
CN104899653B (zh) 基于专家系统及蓝藻生长机理时序模型的湖库蓝藻水华预测方法
CN111275255A (zh) 一种混凝土坝变形监测预报模型的构建方法
CN109215380B (zh) 一种有效停车泊位的预测方法
CN113344305B (zh) 一种暴雨内涝事件的快速预测方法
CN113554466B (zh) 一种短期用电量预测模型构建方法、预测方法和装置
CN117035201B (zh) 平原河网水工程集群多目标调度规则制定方法及系统
CN112396234A (zh) 一种基于时域卷积神经网络的用户侧负荷概率预测方法
CN115755219B (zh) 基于stgcn的洪水预报误差实时校正方法及系统
CN114219252B (zh) 一种基于sce-ua算法的流域单位线分析方法
CN114897242A (zh) 一种自适应分割时段场次降雨径流的方法
CN114596726A (zh) 基于可解释时空注意力机制的停车泊位预测方法
CN116090678B (zh) 一种数据处理方法、装置及设备
JPWO2021196997A5 (zh)
CN116955947A (zh) 一种降雨诱发的输电线路边坡位移非线性预测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant