CN116415730A - 一种预测水位的融合自注意力机制时空深度学习模型 - Google Patents

一种预测水位的融合自注意力机制时空深度学习模型 Download PDF

Info

Publication number
CN116415730A
CN116415730A CN202310385569.3A CN202310385569A CN116415730A CN 116415730 A CN116415730 A CN 116415730A CN 202310385569 A CN202310385569 A CN 202310385569A CN 116415730 A CN116415730 A CN 116415730A
Authority
CN
China
Prior art keywords
water level
data
model
deep learning
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310385569.3A
Other languages
English (en)
Inventor
鲍娜娜
李晨阳
闫星廷
朱澳凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202310385569.3A priority Critical patent/CN116415730A/zh
Publication of CN116415730A publication Critical patent/CN116415730A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种预测水位的融合自注意力机制时空深度学习模型,涉及人工智能和水文预测领域,包括,S1、收集区域历史的水位和降雨数据,S2、水位和降雨数据的预处理及数据集的构造、划分,S3、构造适用于水位预测的融合自注意力机制的时空深度学习模型,S4、模型的训练、测试与修正,S5、基于融合自注意力机制的时空深度学习模型的水位预测,本发明可以捕获长期的空间相关性,并提取全局的时空特征,相比于未考虑全局时空特征提取的方法参数更少,时间效率更高,能够弥补传统水位预测方法在空间信息和全局信息提取上的不足,实现未来长期水位的准确预测,能够为洪水预报、防灾减灾提供可靠有效的理论指导。

Description

一种预测水位的融合自注意力机制时空深度学习模型
技术领域
本发明属于人工智能和水文预测技术领域,特别是一种预测水位的融合自注意力机制时空深度学习模型
背景技术
洪水预测模型历来是水利水文领域研究的重点难点,目前主流的模型可以分为两类,传统的水文预测模型和基于数据驱动的洪水预测模型。
现今常用的预测模型往往存在一些缺点,目前基于循环神经网络(RNN)的改良上得到的长短期记忆(LSTM)已被广泛应用于水位预测,虽然时间序列预测算法可以更好地提取时间特征,但水文信息也具有空间特征,对于水位预测也具有重要的作用,于是有相关研究提出用CNN卷积神经网络提取空间特征,并结合时间序列预测算法来提取时空特征的方法,但是这些模型总是依赖于卷积层来提取空间特征,这是局部的和低效的,没有考虑到全局的时空特征。
发明内容
发明目的:本发明的目的在于解决上述背景技术中存在的不足,提高水位预测的精度,提供一种预测水位的融合自注意力机制时空深度学习模型。
本发明为解决上述技术问题采用以下技术方案:
一种预测水位的融合自注意力机制时空深度学习模型,包括:
S1、收集区域历史的水位和降雨数据;
S2、水位和降雨数据的预处理及数据集的构造、划分;
S3、构造适用于水位预测的融合自注意力机制的时空深度学习模型;
S4、模型的训练、测试与修正;
S5、基于融合自注意力机制的时空深度学习模型的水位预测。
优选的,S1中收集区域历史的水位和降雨数据,具体步骤包括:
从所研究区域历史数据中收集多个水文和气象站点的日水位和降雨信息。
优选的,S2中水位和降雨数据的预处理及数据集的构造、划分,具体步骤包括:
由于现实中数据采集设备的局限性与数据记录过程中的人为失误,数据可能存在缺失与异常,排除了异常并使用线性插值法补全了缺失的数据;
气象站只是记录某一点或某一小块区域的降雨量时序数据,而预测模型应用卷积且输入的数据格式为三维张量,所以将降雨时序数据处理为三维的类图像视频数据,通过普通克里金方法对流域网格进行格插值,将插值得到的网格矩阵数据按照时间叠加得到即三维降雨时空数据;
构建一个标准的深度学习数据集,采用滑动窗口法对数据进行重构,窗口的大小被称为时间步长,时间步长设置为7,因此构造的数据集为((x1,x2),y),x1为t-7至t-1的水位数据,x2为t-7至t-1的降雨时空数据,y为t时刻的水位;
根据比例7:3将数据集划分为训练集和测试集,将70%可用数据集用于训练模型,将其余30%可用数据集用于测试模型表现和修改模型参数。
优选的,S3中构造适用于水位预测的融合自注意力机制的时空深度学习模型,具体步骤包括:
基于自注意力机制提取全局时空特征的预测模型由自注意卷积长短期记忆网络(SA-ConvLSTM)和堆叠式的LSTM网络组成,将提取出的降雨全局时空特征与水位时间特征连接后,通过全连接得到最终预测结果。
优选的,所述SA-ConvLSTM网络由SAM模块和ConvLSTM两部分组成,所述SAM模块由特征聚合模块、记忆更新模块以及输出模块三部分组成;
将SAM模块嵌入到ConvLSTM中就得到SA-ConvLSTM网络,并结合堆叠式的LSTM网络构成基于自注意力机制提取全局时空特征的预测模型。
优选的,S4中模型的训练、测试与修正,具体步骤包括:
用训练集来训练该时空深度学习模型;
所述模型表现测试基于两种不同的统计评价标准,包括均方根误差(RMSE)、决定系数(R2)。
优选的,S5中基于融合自注意力机制的时空深度学习模型的水位预测,具体步骤如下:
利用上述训练得到的融合自注意力机制的时空深度学习模型来预测未来1天的水位。
有益效果:
本发明基于以上技术方案与现有技术相比,具有以下优点:
本发明可以捕获长期的空间相关性,并提取全局的时空特征,相比于未考虑全局时空特征提取的方法参数更少,时间效率更高,能够弥补传统水位预测方法在空间信息和全局信息提取上的不足,实现未来长期水位的准确预测,能够为洪水预报、防灾减灾提供可靠有效的理论指导。
附图说明
图1为本发明实施例的方法流程图。
图2为本发明与其他算法的结果对比图。
图3为本发明的实施例的预测效果展示图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解,下面结合具体实施例和附图,进一步阐述本发明,但下述实施例仅仅为本发明的优选实施例,并非全部。基于实施方式中的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得其它实施例,都属于本发明的保护范围。
下面结合附图描述本发明的具体实施例。
实施例1
一种预测水位的融合自注意力机制时空深度学习模型,包括:
S1、收集区域历史的水位和降雨数据,具体包括:
选取巢湖流域的经度范围为东经116.30°至东经118.30°,纬度范围为北纬30.40°至北纬32.30°作为研究区域;
从所研究区域1980年1月1日至2015年12月31日内的历史数据中收集多个水文和气象站点的日水位和降雨信息;
多个站点的日降雨信息如下表:
Figure BDA0004173785730000051
S2、水位和降雨数据的预处理及数据集的构造、划分,具体包括:
由于现实中数据采集设备的局限性与数据记录过程中的人为失误,数据可能存在缺失与异常,排除了异常并使用线性插值法补全了缺失的数据;
气象站只是记录某一点或某一小块区域的降雨量时序数据,而预测模型应用卷积且输入的数据格式为三维张量,所以将降雨时序数据处理为三维的类图像视频数据,通过普通克里金方法对流域网格进行格插值,将插值得到的网格矩阵数据按照时间叠加得到即三维降雨时空数据;
具体操作如下:将研究区域按照经纬度划均分为20*20的网格,同一网格内的降雨量可以看作是相同的,随后利用流域内的多个气象站的降雨数据与各站经纬度,选取球面模型作为普通克里金的变异函数理论模型,使用克里金插值法计算各个块的估计值,将各个时刻得到的降雨分布矩阵按照时间叠加获得降雨时空数据;
简单来说,待估计点的降雨值x0为其影响范围内的n个已知站点xi的降雨值的线性组合,其计算公式见下式:
Figure BDA0004173785730000061
其中
Figure BDA0004173785730000065
是x0处的估计值,Z(xi)为xi位置处已知的数值,λi是权重系数,为能够满足估计值与真实值的差最小的一套最优系数;
对水位数据进行最大值最小值归一化(minmaxscaling)处理,处理后的水位数据一部分作为预测模型的输入,一部分作为预测模型的输出,最大值最小值归一化的公式表达为:
Figure BDA0004173785730000062
其中,xi为水位真实值,
Figure BDA0004173785730000063
为研究区域水位的最小值,/>
Figure BDA0004173785730000064
为研究区域水位的最大值;
构建一个标准的深度学习数据集,采用滑动窗口法对数据进行重构,窗口的大小被称为时间步长,时间步长设置为7,因此构造的数据集为((x1,x2),y),x1为t-7至t-1的水位数据,x2为t-7至t-1的降雨时空数据,y为t时刻的水位;
根据比例7:3将数据集划分为训练集和测试集,将70%可用数据集用于训练模型,将其余30%可用数据集用于测试模型表现和修改模型参数。
S3、构造适用于水位预测的融合自注意力机制的时空深度学习模型,具体包括:
基于自注意力机制提取全局时空特征的预测模型由自注意卷积长短期记忆网络(SA-ConvLSTM)和堆叠式的LSTM网络组成,将提取出的降雨全局时空特征与水位时间特征连接后,通过全连接得到最终预测结果;
其中SA-ConvLSTM网络由SAM模块和ConvLSTM两部分组成,所述SAM模块由特征聚合模块、记忆更新模块以及输出模块三部分组成;
其中SAM模块接受两个输入:当前时间步的输入特征Ht和上个时间步的记忆Mt-1
特征聚合模块可以分为两个部分:F1和F2;F1的输入是当前时间步的特征Ht,经过一个普通的自注意力模块,得到Zh,F2的输入是上个时间步的记忆Mt-1,同样经过一个自注意力模块,区别是此处的查询(queryQ)是当前时间步计算得到的,键值(keyK)是上一时间步记忆Mt-1计算得到的,通过
Figure BDA0004173785730000071
计算相似性得分,再经过归一化指数函数(SoftMax)将得分映射到(0,1)区间,最后再将得分与上一时刻记忆Mt-1相乘得到Zm,将Zh和Zm拼接在一起,再与权重相乘得到Z,Z再与当前时间步的特征Ht拼接在一起,作为记忆更新模块和输出模块的输入;
记忆更新模块具体操作如下:通过Tanh激活函数处理输入数据,即
g't=tanh(Wm;zg*Z+Wm;hg*Ht+bm;g)
其中,Wm;zg是Z的权重,Wm;hg是当前时间步的特征Ht的权重,bm;g是偏置;
将其映射(-1,1)区间;通过Sigmoid激活函数处理输入数据,即
i't=σ(Wm;zi*Z+Wm;hi*Ht+bm;i)
其中,Wm;zi是Z的权重,Wm;hi是当前时间步的特征Ht的权重,bm;i是偏置。将其映射到(0,1)区间,形成gate;最后对记忆进行更新得到Mt,即
Figure BDA0004173785730000082
其中,Mt-1是上个时间步的记忆,°是Hadamard积。
输出模块具体操作如下:对输入数据进行门控处理,通过Sigmoid激活函数将其映射到(0,1)区间,即
o't=σ(Wm;zp*Z+Wm;ho*Ht+bm;o)
其中,Wm;zo是Z的权重,Wm;ho是当前时间步的特征Ht的权重,bm;o是偏置;
然后与记忆更新模块Mt得到的进行Hadamard乘积,即
Figure BDA0004173785730000081
将SAM模块嵌入到ConvLSTM中就得到SA-ConvLSTM网络,并结合堆叠式的LSTM网络构成基于自注意力机制提取全局时空特征的预测模型。
S4、模型的训练、测试与修正,具体包括:
本模型使用python语言搭建SA-ConvLSTM网络和堆叠式的LSTM网络,此外,将均方误差(MSE)作为模型的损失函数,其计算公式见下式:
Figure BDA0004173785730000091
其中,MSE为均方误差,yn为第n个样本的实际水位值,
Figure BDA0004173785730000092
为第n个样本的预测水位值,N为样本总数;
本案例的训练轮数为2000,batch_size设置为64,为便于选择最优预测模型,每一轮训练结束后,计算模型在训练集上的均方误差;当均方误差趋于稳定,选择在训练集上均方误差最小的模型作为最优预测模型;
所述模型表现测试基于两种不同的统计评价标准,包括均方根误差(RMSE)、决定系数(R2);
所述均方根误差(RMSE)用于指示模型在预测中会产生多大的误差,取值为0~+∞,误差越小,该值越小,当预测值与真实值完全吻合时等于0,即完美模型,公式表达为:
Figure BDA0004173785730000093
其中,yi为第i个样本的实际水位值,
Figure BDA0004173785730000094
为第i个样本的预测水位值,n为样本总数;
所述决定系数(R2)可以定义为模型中预测值与真实值的离散程度之比,主要用来衡量模型的拟合程度,一般介于0至1之间,越接近1,表示拟合效果越好,公式表达为:
Figure BDA0004173785730000101
其中,
Figure BDA0004173785730000102
第i个样本的预测水位值,/>
Figure BDA0004173785730000103
为实际水位的平均值,yi为第i个样本的实际水位值,n为样本总数。
S5、基于融合自注意力机制的时空深度学习模型的水位预测,具体包括:
使用训练得到的最优预测模型来查看测试集的结果,最优预测模型在测试集上的结果与ConvLSTM的对比见图2,表明该融合自注意力机制的时空深度学习模型能够弥补传统水位预测方法在空间信息和全局信息提取上的不足,实现未来长期水位的准确预测;
此外,最优预测模型在测试集上水位的预测值与水位的真实值的对比见图3,可以看出该融合自注意力机制的时空深度学习模型能够较好地进行水位预测。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的仅为本发明的优选例,并不用来限制本发明,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (7)

1.一种预测水位的融合自注意力机制时空深度学习模型,其特征在于,包括:
S1、收集区域历史的水位和降雨数据;
S2、水位和降雨数据的预处理及数据集的构造、划分;
S3、构造适用于水位预测的融合自注意力机制的时空深度学习模型;
S4、模型的训练、测试与修正;
S5、基于融合自注意力机制的时空深度学习模型的水位预测。
2.根据权利要求1所述的一种预测水位的融合自注意力机制时空深度学习模型,其特征在于,S1中收集区域历史的水位和降雨数据,具体步骤包括:
从所研究区域历史数据中收集多个水文和气象站点的日水位和降雨信息。
3.根据权利要求1所述的一种预测水位的融合自注意力机制时空深度学习模型,其特征在于,S2中水位和降雨数据的预处理及数据集的构造、划分,具体步骤包括:
由于现实中数据采集设备的局限性与数据记录过程中的人为失误,数据可能存在缺失与异常,排除了异常并使用线性插值法补全了缺失的数据;
气象站只是记录某一点或某一小块区域的降雨量时序数据,而预测模型应用卷积且输入的数据格式为三维张量,所以将降雨时序数据处理为三维的类图像视频数据,通过普通克里金方法对流域网格进行格插值,将插值得到的网格矩阵数据按照时间叠加得到即三维降雨时空数据;
构建一个标准的深度学习数据集,采用滑动窗口法对数据进行重构,窗口的大小被称为时间步长,时间步长设置为7,因此构造的数据集为((x1,x2),y),x1为t-7至t-1的水位数据,x2为t-7至t-1的降雨时空数据,y为t时刻的水位;
根据比例7:3将数据集划分为训练集和测试集,将70%可用数据集用于训练模型,将其余30%可用数据集用于测试模型表现和修改模型参数。
4.根据权利要求1所述的一种预测水位的融合自注意力机制时空深度学习模型,其特征在于,S3中构造适用于水位预测的融合自注意力机制的时空深度学习模型,具体步骤包括:
基于自注意力机制提取全局时空特征的预测模型由自注意卷积长短期记忆网络(SA-ConvLSTM)和堆叠式的LSTM网络组成,将提取出的降雨全局时空特征与水位时间特征连接后,通过全连接得到最终预测结果。
5.根据权利要求4所述的一种预测水位的融合自注意力机制时空深度学习模型,其特征在于,所述SA-ConvLSTM网络由SAM模块和ConvLSTM两部分组成,所述SAM模块由特征聚合模块、记忆更新模块以及输出模块三部分组成;
将SAM模块嵌入到ConvLSTM中就得到SA-ConvLSTM网络,并结合堆叠式的LSTM网络构成基于自注意力机制提取全局时空特征的预测模型。
6.根据权利要求1所述的一种预测水位的融合自注意力机制时空深度学习模型,其特征在于,S4中模型的训练、测试与修正,具体步骤包括:
用训练集来训练该时空深度学习模型;
所述模型表现测试基于两种不同的统计评价标准,包括均方根误差(RMSE)、决定系数(R2)。
7.根据权利要求1所述的一种预测水位的融合自注意力机制时空深度学习模型,其特征在于,S5中基于融合自注意力机制的时空深度学习模型的水位预测,具体步骤如下:
利用上述训练得到的融合自注意力机制的时空深度学习模型来预测未来1天的水位。
CN202310385569.3A 2023-04-12 2023-04-12 一种预测水位的融合自注意力机制时空深度学习模型 Pending CN116415730A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310385569.3A CN116415730A (zh) 2023-04-12 2023-04-12 一种预测水位的融合自注意力机制时空深度学习模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310385569.3A CN116415730A (zh) 2023-04-12 2023-04-12 一种预测水位的融合自注意力机制时空深度学习模型

Publications (1)

Publication Number Publication Date
CN116415730A true CN116415730A (zh) 2023-07-11

Family

ID=87054360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310385569.3A Pending CN116415730A (zh) 2023-04-12 2023-04-12 一种预测水位的融合自注意力机制时空深度学习模型

Country Status (1)

Country Link
CN (1) CN116415730A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117371299A (zh) * 2023-12-08 2024-01-09 安徽大学 一种托卡马克新经典环向粘滞力矩的机器学习方法
CN117372451A (zh) * 2023-09-20 2024-01-09 中山大学 基于sam图像分割模型的水体水位监测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117372451A (zh) * 2023-09-20 2024-01-09 中山大学 基于sam图像分割模型的水体水位监测方法
CN117371299A (zh) * 2023-12-08 2024-01-09 安徽大学 一种托卡马克新经典环向粘滞力矩的机器学习方法
CN117371299B (zh) * 2023-12-08 2024-02-27 安徽大学 一种托卡马克新经典环向粘滞力矩的机器学习方法

Similar Documents

Publication Publication Date Title
CN110705457A (zh) 一种遥感影像建筑物变化检测方法
CN116415730A (zh) 一种预测水位的融合自注意力机制时空深度学习模型
CN111310968A (zh) 一种基于互信息的lstm神经网络循环水文预报方法
WO2023103587A1 (zh) 短临降水预测方法及装置
CN111639787A (zh) 一种基于图卷积网络的时空数据预测方法
CN109299812B (zh) 一种基于深度学习模型和knn实时校正的洪水预测方法
CN112287294B (zh) 一种基于深度学习的时空双向土壤含水量插值方法
CN112949550B (zh) 一种基于深度学习的水体识别方法、系统和介质
Biard et al. Automated detection of weather fronts using a deep learning neural network
CN113610286B (zh) 顾及时空相关性和气象因素的pm2.5浓度预测方法及装置
CN109143408A (zh) 基于mlp的动态区域联合短时降水预报方法
CN114936691A (zh) 一种融合关联度加权与时空注意力的温度预报方法
Gauch et al. Data-driven vs. physically-based streamflow prediction models
CN110046756B (zh) 基于小波去噪与Catboost的短时天气预报方法
CN116227362A (zh) 一种基于图与深度学习的市政排水管网状态预测方法
CN115526413A (zh) 一种基于全连接神经网络日最高气温的预报方法
CN117233869A (zh) 一种基于GRU-BiTCN的站点短期风速预测方法
CN114912359A (zh) 一种基于XGBoost机器学习模型的水位动态预测方法
Wu et al. A novel bayesian additive regression trees ensemble model based on linear regression and nonlinear regression for torrential rain forecasting
CN114882373A (zh) 基于深度神经网络的多特征融合沙尘暴预测方法
CN112668711B (zh) 基于深度学习的洪水流量预测方法、装置和电子设备
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN112528557A (zh) 基于深度学习的洪水流量预测系统和方法
CN115392128B (zh) 一种利用时空卷积lstm网络模拟流域径流量的方法
CN116960962A (zh) 一种跨区域数据融合的中长期区域负荷预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination