CN112561133A - 一种基于神经网络的水流量预测系统和方法 - Google Patents
一种基于神经网络的水流量预测系统和方法 Download PDFInfo
- Publication number
- CN112561133A CN112561133A CN202011375745.8A CN202011375745A CN112561133A CN 112561133 A CN112561133 A CN 112561133A CN 202011375745 A CN202011375745 A CN 202011375745A CN 112561133 A CN112561133 A CN 112561133A
- Authority
- CN
- China
- Prior art keywords
- data
- rainfall
- flow
- rainfall data
- original
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 27
- 239000011159 matrix material Substances 0.000 claims abstract description 111
- 238000000605 extraction Methods 0.000 claims abstract description 54
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 49
- 230000008569 process Effects 0.000 claims description 45
- 238000010606 normalization Methods 0.000 claims description 34
- 239000013598 vector Substances 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 14
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010276 construction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001364 causal effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Marketing (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于神经网络的水流量预测系统,站点端向预测端发送单端原始降雨数据和原始流量数据;预测端获取单端原始降雨数据、原始流量数据、先验降雨数据和邻接矩阵,得到原始降雨数据;将原始降雨数据、原始流量数据和先验降雨数据进行预处理;利用邻接矩阵得到归一化拉普拉斯矩阵;基于处理后流量数据构建第一数据,基于处理后降雨数据、处理后先验降雨数据和归一化拉普拉斯矩阵构建第二数据;将第一数据输入洪水流量预测模型的第一分支网络进行时序特征提取;利用第二数据和第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;对两个分支网络输出的特征进行合并分类预测,得到目标水文站点未来P小时的流量预测值。
Description
技术领域
本发明属于洪水预测领域,具体涉及一种基于神经网络的水流量预测系统和方法。
背景技术
洪水是常见的自然灾害之一,每年有上亿人受洪水影响,流离失所,而洪水所造成的财力物力损失也非常巨大。有效地预测洪水流量并及时发出预警对于防洪减灾具有重大意义。
当前的洪水流量预测模型主要分为传统物理模型和智能洪水预测模型。传统物理模型例如新安江模型,其是在充分挖掘当地的地形地貌、蒸发量、植被覆盖率等物理特征的前提下,进行物理过程的参数计算,最终制定出的一套具有区域针对性的预测模型。而智能洪水预测模型是以海量的历史数据作为先验知识,利用机器学习等智能方法得到的从输入特征到输出特征的函数映射或者联合分布。
但现有的洪水流量预测模型多属于单点预测,即预测未来一个时间点的流量情况,而在实际情况中,预测得到的单个时间点的流量数据缺乏实际应用价值。并且,现有的洪水流量预测模型在利用降雨量数据时仅仅将其作为时间序列进行分析,并未考虑降雨量的空间分布情况,因此无法完全挖掘实际降雨数据所描述的信息,预测的准确性不高。
发明内容
本发明实施例的目的在于提供一种基于神经网络的水流量预测系统和方法,以实现未来一个时间段的洪水流量预测,并充分挖掘实际降雨数据所描述的信息,得到与实际降雨情况相符的准确性高的预测结果的目的。具体技术方案如下:
第一方面,本发明实施例提供了一种基于神经网络的水流量预测系统,所述系统包括:
N个站点端和一个预测端,其中所述N个站点端是预定流域的N个水文站点对应的终端,所述N个水文站点中有一个目标水文站点位于所述预定流域的出口断面处;
每个站点端,用于向所述预测端发送表征该水文站点历史K年各小时降雨数据的单端原始降雨数据,且所述目标水文站点对应的站点端还向所述预测端发送表征该目标水文站点历史K年各小时流量数据的原始流量数据;
预测端,用于获取所述单端原始降雨数据、所述原始流量数据、未来P小时各水文站点的先验降雨数据和表征所述N个水文站点位置连接关系的邻接矩阵,并由获取到的所有单端原始降雨数据得到原始降雨数据;将所述原始降雨数据、所述原始流量数据和所述先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据;利用所述邻接矩阵得到归一化拉普拉斯矩阵;基于所述处理后流量数据构建第一数据,并基于所述处理后降雨数据、所述处理后先验降雨数据和所述归一化拉普拉斯矩阵构建第二数据;将所述第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取;利用所述第二数据和所述洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;并对两个分支网络输出的特征进行合并分类预测,得到所述目标水文站点未来P小时的流量预测值;其中N、K和P为大于1的自然数。
可选的,所述预测端将所述原始降雨数据、所述原始流量数据和所述先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据,包括:
将所述原始降雨数据进行数据剔除处理、数据补全处理和归一化处理,得到处理后降雨数据;
将所述原始流量数据进行归一化处理,得到处理后流量数据;
将所述先验降雨数据进行归一化处理,得到处理后先验降雨数据。
可选的,所述预测端将所述原始降雨数据进行数据剔除处理、数据补全处理,包括:
将所述原始降雨数据中,数据数目低于预设数量的水文站点所对应的数据剔除,得到剩余降雨数据;
对所述剩余降雨数据中缺失的降雨数据,利用反距离加权法进行数据补全。
可选的,所述预测端利用所述邻接矩阵得到归一化拉普拉斯矩阵,包括:
利用所述邻接矩阵得到度矩阵;
利用所述邻接矩阵和所述度矩阵得到归一化拉普拉斯矩阵。
可选的,所述预测端基于所述处理后流量数据构建第一数据,并基于所述处理后降雨数据、所述处理后先验降雨数据和所述归一化拉普拉斯矩阵构建第二数据,包括:
从所述处理后流量数据中选取T小时对应的数据构建第一数据;
从所述处理后降雨数据中选取T小时对应的数据与所述处理后先验降雨数据构建输入向量,由所述输入向量与所述归一化拉普拉斯矩阵以及预设的参数矩阵,构建第二数据;
其中,T为大于1的自然数,且T小于等于所述K年对应的小时数。
可选的,所述预测端将所述第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取,包括:
将所述第一数据输入所述第一分支网络,利用所述第一分支网络的GRU模块进行时序特征提取,得到第一输出特征。
可选的,所述预测端利用所述第二数据和所述洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取,包括:
将所述第二数据中的所述归一化拉普拉斯矩阵以及所述预设的参数矩阵作为所述第二分支网络的网络结构参数;
将所述输入向量作为所述第二分支网络的输入,利用所述第二分支网络的GCN模块对所述输入向量进行图数据特征提取;
将所述GCN模块提取出的特征利用所述第二分支网络的维度变化模块进行维度重构;
将维度重构后的特征利用所述第二分支网络的GRU模块进行时序特征提取;
将所述GRU模块提取出的特征利用所述第二分支网络的注意力层进行加权处理,得到第二输出特征。
可选的,所述预测端对两个分支网络输出的特征进行合并分类预测,得到所述目标水文站点未来P小时的流量预测值,包括:
将所述第一输出特征和所述第二输出特征输入所述洪水流量预测模型的第三网络,利用所述第三网络的concat模块进行特征合并,得到合并特征;
将所述合并特征利用所述第三网络的多个全连接层进行分类预测,得到所述目标水文站点未来P小时的流量预测值。
可选的,所述预测端为所述目标水文站点对应的站点端。
第二方面,本发明实施例提供了一种基于神经网络的水流量预测方法,应用于基于神经网络的水流量预测系统中的预测端,所述基于神经网络的水流量预测系统还包括N个站点端,其中,所述N个站点端是预定流域的N个水文站点对应的终端,所述N个水文站点中有一个目标水文站点位于所述预定流域的出口断面处;每个站点端向所述预测端发送表征该水文站点历史K年各小时降雨数据的单端原始降雨数据,且所述目标水文站点对应的站点端还向所述预测端发送表征该目标水文站点历史K年各小时流量数据的原始流量数据;所述方法包括:
获取所述单端原始降雨数据、所述原始流量数据、未来P小时各水文站点的先验降雨数据和表征所述N个水文站点位置连接关系的邻接矩阵,并由获取到的所有单端原始降雨数据得到原始降雨数据;将所述原始降雨数据、所述原始流量数据和所述先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据;利用所述邻接矩阵得到归一化拉普拉斯矩阵;基于所述处理后流量数据构建第一数据,并基于所述处理后降雨数据、所述处理后先验降雨数据和所述归一化拉普拉斯矩阵构建第二数据;将所述第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取;利用所述第二数据和所述洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;并对两个分支网络输出的特征进行合并分类预测,得到所述目标水文站点未来P小时的流量预测值;其中N、K和P为大于1的自然数。
本发明实施例所提供的方案中,利用各水文站点的连接关系,引入降雨的空间分布信息,并与历史降雨数据和未来先验降雨数据构建图数据,利用预先训练的洪水流量预测模型的分支网络之一进行图数据特征提取,以及时序特征提取。并将历史流量数据利用洪水流量预测模型的分支网络之另一进行时序特征提取,通过对两分支网络的输出特征进行合并分类预测,可以得到未来一个时间段的洪水流量预测值。本发明实施例首次将图卷积神经网络应用于洪水流量预测领域,所提出的预测方法可以一次性得到未来一个时间段的洪水流量预测结果,该结果考虑到降雨至流量变化过程中通过河道连接的水文站点的降雨对流量变化的影响,因此能够充分挖掘实际降雨数据所描述的信息,得到与实际降雨情况相符的预测结果,预测的准确性较高。
附图说明
图1为本发明实施例所提供的一种基于神经网络的水流量预测系统的结构示意图;
图2为本发明实施例所提供的基于神经网络的水流量预测系统的预测端的结构示意图;
图3为本发明实施例作为示例的息县地图;
图4为本发明实施例的第一输入数据和输入向量的示例图;
图5为本发明实施例的洪水流量预测模型的结构示意图;
图6为本发明实施例的预测过程示意图;
图7为本发明实施例的洪水峰值预测效果对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了实现未来一个时间段的洪水流量预测,并充分挖掘实际降雨数据所描述的信息,得到与实际降雨情况相符的准确性高的预测结果的目的,本发明实施例提供了一种基于神经网络的水流量预测系统和方法。
下面,首先对本发明实施例所提供的一种基于神经网络的水流量预测系统进行介绍。
第一方面,如图1所示,本发明实施例所提供的一种基于神经网络的水流量预测系统100,可以包括N个站点端110和一个预测端120。
其中,N个站点端110是预定流域的N个水文站点对应的终端,N个水文站点中有一个目标水文站点位于预定流域的出口断面处。
每个站点端110,用于向预测端120发送表征该水文站点历史K年各小时降雨数据的单端原始降雨数据,且目标水文站点对应的站点端还向预测端发送表征该目标水文站点历史K年各小时流量数据的原始流量数据;
预测端120,用于获取单端原始降雨数据、原始流量数据、未来P小时各水文站点的先验降雨数据和表征N个水文站点位置连接关系的邻接矩阵,并由获取到的所有单端原始降雨数据得到原始降雨数据;将原始降雨数据、原始流量数据和先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据;利用邻接矩阵得到归一化拉普拉斯矩阵;基于处理后流量数据构建第一数据,并基于处理后降雨数据、处理后先验降雨数据和归一化拉普拉斯矩阵构建第二数据;将第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取;利用第二数据和洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;并对两个分支网络输出的特征进行合并分类预测,得到目标水文站点未来P小时的流量预测值;其中N、K和P为大于1的自然数。
以下针对各部分分别进行说明:
1)针对站点端110:
预定流域是一个地理区域,在该地理区域内包含N个水文站点,用于监测降雨情况,N个水文站点中有一个目标水文站点位于预定流域的出口断面,用于监测该预定流域出口断面的水位及流量的变化情况。
每个水文站点记录并存储有该水文站点在每小时的降雨数据,目标水文站点还记录并存储有该目标水文站点在每小时的流量数据。水文站点可以将上述降雨数据或者流量数据存储在对应的站点端110中。站点端110可以是一个处理器或者其余电子设备等。或者,水文站点也可以将上述降雨数据或者流量数据存储在与对应的站点端110具有通信连接的一个存储地址中,这都是合理的。
每个站点端110可以在响应于预测端120的一个数据请求之后,从存储的降雨数据中,提取该水文站点在历史K年中每小时的降雨数据形成单端原始降雨数据,并向预测端120发送;并且目标水文站点对应的站点端110还可以从存储的流量数据中提取该目标水文站点在历史K年中每小时的流量数据形成原始流量数据,并向预测端120发送。
作为优选的实施方案,历史K年可以为历史数据中,距离当前时间最近的连续K年。
2)针对预测端120:
参见图2,图2为本发明实施例所提供的基于神经网络的水流量预测系统的预测端的结构示意图;预测端120可以包括数据确定模块1201、数据预处理模块1202、矩阵生成模块1203、数据构建模块1204以及模型预测模块1205。以下分别介绍各个模块的具体工作过程。
①数据确定模块1201,用于获取单端原始降雨数据、原始流量数据、未来P小时各水文站点的先验降雨数据和表征N个水文站点位置连接关系的邻接矩阵,并由获取到的所有单端原始降雨数据得到原始降雨数据。
数据确定模块1201将获取到的所有单端原始降雨数据,依据时间进行合并整合得到原始降雨数据。
作为本发明实施例的具体示例,选择中国河南省的息县流域作为预定流域,息县流域共有50个水文站点,时间范围可以选择为2013年~2018年,即N=50,K=6。获得的原始降雨数据和原始流量数据的示例如表1和表2所示,因作为形式示例,具体数值不进行示出。其中,TM为时间戳,以一小时为单位;S1~S50表示50个水文站点的降雨数据。Q表示目标水文站点的流量数据,S1~S50、Q均以毫米为单位。
表1原始降雨数据示例表
TM | S1 | S2 | … | S50 |
2013年1月1日0时 | / | / | / | / |
2013年1月1日1时 | / | / | / | / |
…… | / | / | / | / |
2013年12月31日23时 | / | / | / | / |
…… | / | / | / | / |
2018年12月31日23时 | / | / | / | / |
表2原始流量数据示例表
TM | Q |
2013年1月1日0时 | / |
2013年1月1日1时 | / |
…… | / |
2013年12月31日23时 | / |
…… | / |
2018年12月31日23时 | / |
本领域技术人员可以理解的是,表1示例的整个表格维度为[(6×365×24+1),51]=[52561,51]。表2示例的整个表格维度为[52561,2]。
数据确定模块1201除了从站点端获取单端原始降雨数据、原始流量数据之外,还可以通过天气预报等手段,获取未来P小时各水文站点的先验降雨数据。未来P小时即为需要预测的未来时间段。比如P可以为24小时等。
同时,发明人考虑到由降雨过程到流量变化的过程是降雨量的汇聚过程,在降雨量汇聚的过程中,位于同一河道上的水文站点的流量将一起汇聚然后传递到下游。不具有河道连接关系的水文站点之间的降雨量则相对独立。发明人进行分析发现,本发明实施例这种涉及到元素之间连接关系的场景,比较适合采用图数据进行表征。图数据一般用G=(V,E)表示,V中元素为顶点(vertex),E中元素为边(edge)。而图卷积神经网络(GraphConvolutional Network,GCN)可以有效地对图数据进行特征提取从而实现分类或者预测任务。因此,发明人考虑可以将水文站点抽象为图数据G中的节点V,将水文站点之间按照实际河道的连接关系抽象为对应节点之间的边E。随后采用GCN网络进行图数据特征提取,再结合其余处理模块,实现对目标水文站点未来一段时间的流量预测。
因此,为了实现上述设想,除了获取预定流域的原始降雨数据、原始流量数据之外,还需要根据GCN网络的需要,获取表征预定流域的N个水文站点位置连接关系的邻接矩阵。邻接矩阵(Adjacency Matrix)是表示顶点之间相邻关系的矩阵,可以用来将一个图数据进行数值表示。获取该邻接矩阵的过程可以包括:
获取预定流域的N个水文站点和河道连接关系的资料,从中确定各水文站点之间的位置连接关系。依据确定的位置连接关系,生成各水文站点之间的邻接矩阵。可选的一种实施方式中,可以包括以下方式:
获取预定流域的N个水文站点的位置图,比如该位置图可以是包含预定流域的N个水文站点的地图,在具体示例中,该地图可以如图3所示,图3为本发明实施例作为示例的息县地图。从位置图中可以获知不同水文站点之间通过预定流域的河道的连接关系。通过上述连接关系可以建立一个邻接矩阵,用于表示N个水文站点中每两个水文站点之间是否具有连接关系。
得到的邻接矩阵A中,元素ai,j代表水文站点i和水文站点j的连接关系,如果ai,j=1,代表水文站点i和水文站点j之间存在边,即具有连接关系;如果ai,j=0,代表水文站点i和水文站点j之间不存在边,即不具有连接关系。并且,各水文站点考虑自连接,即ai,i=1。本发明实施例共计N个水文站点,因此得到的邻接矩阵A为N×N的矩阵。
②数据预处理模块1202,用于将原始降雨数据、原始流量数据和先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据。
数据预处理模块1202对原始降雨数据的处理过程可以包括:
将原始降雨数据进行数据剔除处理、数据补全处理和归一化处理,得到处理后降雨数据。
可选的一种实施方式中,上述过程可以分为三个步骤:
A,将原始降雨数据中,数据数目低于预设数量的水文站点所对应的数据剔除,得到剩余降雨数据。
在实际中,由于疏漏等原因,水文站点的降雨数据可能存在缺失,可以理解的是,如果使用缺失数据过多的原始降雨数据进行计算,会影响后续预测的准确性,因此,首先需要对缺失数据过多的水文站点的数据进行剔除。
比如针对表1的原始降雨数据,如果某一个水文站点的降雨数据的数目低于预设数量30000,则表明现存数据比例已经小于意味着数据缺失近半数,对于如此多的确实数据,没有必要在后续进行缺失值补全。因为如果对其进行缺失值补全,将会引入过多人工因素,使得模型泛化能力下降。使得最终神经网络学习到的规律不符合真实的数据关系。因此,可以将缺失数据较多的水文站点所对应的数据剔除,保留优选水文站点的降雨数据,得到剩余降雨数据。
关于预设数量可以根据原始降雨数据的维度以及数据精度的需要进行合理选择。
B,对剩余降雨数据中缺失的降雨数据,利用反距离加权法进行数据补全,得到补全降雨数据。
本领域技术人员可以理解的是,在剩余降雨数据中仍会有一些时间点的降雨数据存在缺失,可以使用缺失值补全算法对缺失的降雨数据进行补全。
其中,反距离加权算法(Inverse Distance Weighted,IDW)是缺失值补全的经典算法。反距离加权算法按照距离越远,相关性越小的原则,使用临近水文站点的降雨数据来对某一水文站点的缺失降雨数据进行补全。反距离加权算法的公式如下公式(1)所示。
针对本发明实施例,公式(1)中x为出现数据缺失的水文站点的降雨数据估计值;M为参与计算的水文站点个数;xr为相邻水文站点的降雨数据实际值;dr为参与计算的相邻水文站点距离数据缺失的水文站点的实际距离;p为计算距离向量的范数类型,一般可以取值为2。
利用上述反距离加权算法可以对剩余降雨数据中缺失降雨数据的水文站点的降雨数据补全,从而得到补全降雨数据。即表1中的数据得以完整填充。
C,将补全降雨数据进行归一化处理,得到处理后降雨数据。
归一化是一种无量纲处理手段,使物理系统数值的绝对值变成某种相对值关系。是简化计算,缩小量值的有效办法。通过合适的归一化处理,可以加快梯度下降求最优解的速度,降低模型参数数值大小,加快模型训练过程中的收敛速度,改善模型的性能,提高精度。
常用的归一化方法包括:min-max标准化、标准差标准化、非线性归一化等。由于降雨数据和流量数据并不满足正态分布,因此,本发明实施例优选的实施方案中,归一化处理包括[0,1]归一化处理。
[0,1]归一化处理属于min-max标准化,其通过对数据的每一个维度的值进行重新调节,使得最终的数据向量落在[0,1]之间。[0,1]归一化处理具体公式如下公式(2)所示。
其中,ymax和ymin分别是数据样本中的最大值和最小值;y是归一化前的原数据,y*是归一化后的数据。
通过上述[0,1]归一化处理,可以得到补全降雨数据进行归一化处理后的处理后降雨数据。
数据预处理模块1202对原始流量数据的处理过程可以包括:
将原始流量数据进行归一化处理,得到处理后流量数据。
该过程的归一化处理与步骤C中的归一化处理相同。通过上述[0,1]归一化处理,可以得到原始流量数据进行归一化处理后的处理后流量数据。
数据预处理模块1202对先验降雨数据的处理过程可以包括:
将先验降雨数据进行归一化处理,得到处理后先验降雨数据。
该过程的归一化处理与步骤C中的归一化处理相同。对获取到的先验降雨数据进行上述归一化处理,可以得到处理后先验降雨数据。
③矩阵生成模块1203,用于利用邻接矩阵得到归一化拉普拉斯矩阵。
可选的一种实施方式中,该过程可以包括两个步骤:
首先,利用邻接矩阵得到度矩阵。
度矩阵是图数据中常用的一种矩阵,其是对角阵,对角上的元素为各个顶点的度。度矩阵的计算公式如公式(3)所示。
其中,A表示邻接矩阵,D表示度矩阵,i和j为下标值。
其次,利用邻接矩阵和度矩阵得到归一化拉普拉斯矩阵。
拉普拉斯矩阵是图论中用到的一种重要矩阵,本发明实施例具体使用归一化拉普拉斯矩阵。归一化拉普拉斯矩阵L的计算公式如公式(4)所示。
L=D-1/2AD-1/2 (4)
④数据构建模块1204,用于基于处理后流量数据构建第一数据,并基于处理后降雨数据、处理后先验降雨数据和归一化拉普拉斯矩阵构建第二数据。
1)针对第一数据的构建过程,包括:
从处理后流量数据中选取T小时对应的数据构建第一数据。
具体的,从针对历史K年的处理后流量数据中,选取T小时对应的数据构建维度为[T,1]的第一输入数据。其中,T为大于1的自然数,T小于等于K年对应的小时数,即T≤(K*365*24)。比如T可以为100等。且优选的实施方式中,T小时为距离当前时间最近的连续T小时。
2)针对第二数据的构建过程,包括:
从处理后降雨数据中选取T小时对应的数据与处理后先验降雨数据构建输入向量,由输入向量与归一化拉普拉斯矩阵以及预设的参数矩阵,构建第二数据。
GCN网络的核心单元是GCN层,GCN层的计算思想可参见公式(5):
X′=f(LXW) (5)
其中,f表示GCN层对应的计算函数,L为归一化拉普拉斯矩阵,X为适合GCN网络的输入向量X,W为参数矩阵,参数矩阵W的目的是为了增加网络的拟合能力。
因此,本发明实施例所构建的第二输入数据包含L、W和X。
针对归一化拉普拉斯矩阵L,参见前文描述,在此不再赘述。
针对参数矩阵W,本发明实施例可以预设其中的值作为初始值,以便于模型训练。关于该部分内容请参见相关现有技术理解,在此不再赘述。
针对输入向量X,其为GCN网络的实际处理对象,在本发明实施例中,其构建过程包括:
从处理后降雨数据中选取T小时对应的数据,与处理后先验降雨数据,依据时间先后顺序排列,构建维度为[T+P,N,1]的输入向量。
关于第一输入数据和输入向量的形式可以参见图4,图4为本发明实施例的第一输入数据和输入向量的示例图。
本发明实施例中,第一数据和第二数据的构建过程不分先后顺序。
⑤模型预测模块1205,用于将第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取;利用第二数据和洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;并对两个分支网络输出的特征进行合并分类预测,得到目标水文站点未来P小时的流量预测值。
模型预测模块1205内置有预先训练得到的洪水流量预测模型。为了便于理解本发明实施例的预测过程,首先,对本发明实施例的洪水流量预测模型的结构和训练过程予以介绍。
本发明实施例基于python搭建洪水流量预测模型,如图5所示,图5为本发明实施例的洪水流量预测模型的结构示意图。该洪水流量预测模型包括:
串联的分支网络组和第三网络,分支网络组包括并联的第一分支网络和第二分支网络;
其中,第一分支网络包括GRU模块,第二分支网络包括顺次连接的GCN模块、维度变化模块、GRU模块和注意力层;第三网络包括concat模块和多个全连接层。
其中,GCN模块是基于GCN网络构建的。GRU模块是基于GRU(Gate Recurrent Unit)网络构建的。GRU网络是循环神经网络(Recurrent Neural Network,RNN)的一种。循环神经网络是一种专门处理具有时序特征的神经网络,其内部特殊的隐含状态传递机制,可以使得当前的数据特征传递给下一时刻合并分析。从而让整个序列具有时间上的因果连续性。本发明实施例具体使用RNN的变体结构GRU网络,相比于RNN,GRU添加了遗忘门,可以有效的防止时序过长导致的梯度爆炸问题。concat是神经网络中特征融合的一种方式,是通道数的合并。
本发明实施例为了实现未来一个时间段的洪水流量的准确预测,采用Seq2Seq模型的生成模式,结合降雨的空间分布特征,利用GCN网络和循环神经网络构建洪水流量预测模型。其中,Seq2Seq是一种循环神经网络(RNN)的变种,常用于自然语言处理领域,是输出的长度不确定时采用的一种模型。
本发明实施例的洪水流量预测模型是利用N个水文站点的历史数据中的T个小时的降雨数据、流量数据,在后的P小时的降雨数据和流量数据,以及N个水文站点的位置连接关系训练得到的。
比如,可以利用历史数据中2013至2017年的100小时的降雨数据和流量数据、基于50个水文站点的位置连接关系得到的归一化拉普拉斯矩阵L、针对待预测时间段为24小时的已知的各水文站点降雨数据,以及参数矩阵W,构建若干个样本数据组,每一样本数据组包括第一样本数据和第二样本数据(参考前文第一数据和第二数据的构建过程)。
基于若干个样本数据组,依次利用洪水流量预测模型进行训练,每次训练中,将第一样本数据输入第一分支网络,将第二样本数据中的输入向量X输入第二分支网络,并利用归一化拉普拉斯矩阵L和预设的参数矩阵W作为第二分支网络的网络结构参数,以该样本数据组针对待预测时间段为24小时的目标水文站点已知的流量数据作为真值,进行迭代训练,比如迭代达到100次,直至获得训练好的模型参数,即得到训练完成的洪水流量预测模型。关于模型训练过程概述为如下步骤。
1)将每一样本数据组和对应的真值,通过如图5结构所示的初始的网络模型进行训练,获得各样本数据组的训练结果。
2)将每一样本数据组的训练结果与该样本数据组对应的真值进行比较,得到该样本数据组对应的预测结果。
3)根据各个样本数据组对应的预测结果,计算网络模型的损失值。
4)根据损失值调整网络模型的参数,并重新进行1)-3)步骤,直至网络模型的损失值达到了一定的收敛条件,也就是损失值达到最小,这时,意味着每一样本数据组的训练结果与该样本数据组对应的真值一致,从而完成网络模型的训练,得到训练完成的洪水流量预测模型。
具体的,训练过程采用Adam(Adaptive moment estimation)梯度下降的优化算法,以获得较好的损失下降过程。损失函数采用MSE(mean-square error,均方误差)。学习率为0.01。训练轮次为100,每轮每次输入的数据数目为32。
在训练完成后,可以将待预测的数据输入预先训练得到的洪水流量预测模型进行循环迭代预测。具体的,模型预测模块1205的预测过程可以包括以下步骤S1~S3:
S1,将第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取。
可选的一种实施方式中,该过程可以包括:
将第一数据输入第一分支网络,利用第一分支网络的GRU模块进行时序特征提取,得到第一输出特征。
S2,利用第二数据和洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取。
可选的一种实施方式中,该过程S2可以包括S21~S25:
S21,将第二数据中的归一化拉普拉斯矩阵以及预设的参数矩阵作为第二分支网络的网络结构参数;
S22,将输入向量作为第二分支网络的输入,利用第二分支网络的GCN模块对输入向量进行图数据特征提取;
S23,将GCN模块提取出的特征利用第二分支网络的维度变化模块进行维度重构;
S24,将维度重构后的特征利用第二分支网络的GRU模块进行时序特征提取;
S25,将GRU模块提取出的特征利用第二分支网络的注意力层进行加权处理,得到第二输出特征。
需要说明的是,S1和S2可以是并行执行的。
S3,对两个分支网络输出的特征进行合并分类预测,得到目标水文站点未来P小时的流量预测值。
可选的一种实施方式中,S3包括S31~S32:
S31,将第一输出特征和第二输出特征输入洪水流量预测模型的第三网络,利用第三网络的concat模块进行特征合并,得到合并特征。
S32,将合并特征利用第三网络的多个全连接层进行分类预测,得到目标水文站点未来P小时的流量预测值。
可选的一种实施方式中,第一分支网络的GRU模块包括三个GRU层;第二分支网络的GCN模块包括三个GCN层,第二分支网络的GRU模块包含三个GRU层。第一分支网络和第二分支网络的三个GRU层的卷积核数量分别为50、30和20。第三网络包括三个全连接层,神经元数量分别为50、40和24。
具体预测过程可以参见图6,图6为本发明实施例的预测过程示意图。以N=50,T=100,P=24为例说明。
第一输入数据经由第一分支网络的三层GRU层进行时序特征提取,得到第一输出特征,维度从[100,1]变为[20]。
第二输入数据(包含归一化拉普拉斯矩阵L,输入向量X,参数矩阵W)经由第二分支网络处理,将输入向量X利用三层GCN层进行图数据特征提取,得到维度为[124,50,30]的向量;再将该向量的维度变化为[124,30],将维度变化后的向量利用第二分支网络的三层GRU层进行时序特征提取,得到维度为[124,20]的向量,之后,针对[124,20]的向量利用注意力层为124小时数据中每个小时的数据附加一个权重,并进行加权求和,得到维度为[20]的第二输出特征。
将第一输出特征和第二输出特征利用第三网络的concat模块进行向量合并,得到的合并特征维度为[40],之后将合并特征利用三层全连接层进行分类预测,实现网络的数值拟合,最终得到维度为[24]的目标水文站点未来P小时的流量预测值。
其中,在图6中标记有各层处理的数据维度,以便于理解数据变化。关于GRU层、GCN层、注意力层和全连接层的具体处理过程请参见现有技术理解,在此不再赘述。
具体预测结果请参见图7,图7为本发明实施例的洪水峰值预测效果对比图。其中,上图为2018年实际流量图,下图为2018年预测流量图,flow为洪水峰值,单位为毫米。time为时间,单位h表示小时。可以看到,上下两图相似度极高,表明应用本发明实施例的洪水流量预测模型可以达到较高的预测准确性。具体预测效果请一并参见表3,本发明实施例的洪水流量预测模型在最优情况下的损失函数值为0.002065,即MSE(Mean Squared Error,均方误差)的取值。MSE是指参数估计值与参数真值之差平方的期望值,MSE可以评价数据的变化程度,本发明实施例中MSE表征的是预测出来的流量和实际流量误差的大小。MSE的值越小,说明预测模型描述实验数据具有更好的精确度,即表明预测结果越准确。本发明实施例的MSE值说明具有较好的预测效果。实验验证本发明实施例的洪水流量预测模型对于洪峰峰值以及洪峰到达时间的预测准确度均可以达到100%。对洪峰持续时间的预测准确度也达到了90%。
表3模型验证数据
MSE | 0.002065 |
洪峰峰值预测准确度 | 100% |
洪峰到达时间 | 100% |
洪峰持续时间 | 90% |
因此,利用本发明实施例的基于神经网络的水流量预测方法可以实现未来一个时间段的洪水流量的准确预测。
可以理解的是,通过本发明实施例的洪水流量预测模型得到的流量预测值也是归一化的数据,之后,可选的,可以利用相应的数据处理,得到与真实测量得到的流量值同一数据规格的数值。对此不再赘述。
可选的实施方式中,预测端120还可以包括输出模块,输出模块可以将得到的目标水文站点未来P小时的流量预测值进行输出,比如发送给另一设备或者进行显示,如显示在预定电子设备的显示屏上等等。
可选的实施方式中,预测端120在得到目标水文站点未来P小时的流量预测值之后,还用于:
向目标水文站点对应的站点端110发送目标水文站点未来P小时的流量预测值。其中,该过程可以由预测端120的一个发送模块执行。
可选的实施方式中,预测端120还可以将得到的目标水文站点未来P小时的流量预测值与预定阈值进行比较,当目标水文站点未来P小时的流量预测值大于等于预定阈值时,发出警示信息。其中,该过程可以由预测端120的一个报警模块执行。
可选的实施方式中,预测端120为目标水文站点对应的站点端110。
也就是说,目标水文站点对应的站点端接收其余水文站点发送的单端原始降雨数据,并结合自身的单端原始降雨数据和原始流量数据进行预测。因此,可以省去目标水文站点向外发送数据的环节,提高处理速度。
本发明实施例所提供的方案中,利用各水文站点的连接关系,引入降雨的空间分布信息,并与历史降雨数据和未来先验降雨数据构建图数据,利用预先训练的洪水流量预测模型的分支网络之一进行图数据特征提取,以及时序特征提取。并将历史流量数据利用洪水流量预测模型的分支网络之另一进行时序特征提取,通过对两分支网络的输出特征进行合并分类预测,可以得到未来一个时间段的洪水流量预测值。本发明实施例首次将图卷积神经网络应用于洪水流量预测领域,所提出的预测方法可以一次性得到未来一个时间段的洪水流量预测结果,该结果考虑到降雨至流量变化过程中通过河道连接的水文站点的降雨对流量变化的影响,因此能够充分挖掘实际降雨数据所描述的信息,得到与实际降雨情况相符的预测结果,预测的准确性较高。
第二方面,相应于上述方法实施例,本发明实施例还提供了一种基于神经网络的水流量预测方法,应用于基于神经网络的水流量预测系统中的预测端,基于神经网络的水流量预测系统还包括N个站点端,其中,N个站点端是预定流域的N个水文站点对应的终端,N个水文站点中有一个目标水文站点位于预定流域的出口断面处;每个站点端向预测端发送表征该水文站点历史K年各小时降雨数据的单端原始降雨数据,且目标水文站点对应的站点端还向预测端发送表征该目标水文站点历史K年各小时流量数据的原始流量数据;方法包括:
获取单端原始降雨数据、原始流量数据、未来P小时各水文站点的先验降雨数据和表征N个水文站点位置连接关系的邻接矩阵,并由获取到的所有单端原始降雨数据得到原始降雨数据;将原始降雨数据、原始流量数据和先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据;利用邻接矩阵得到归一化拉普拉斯矩阵;基于处理后流量数据构建第一数据,并基于处理后降雨数据、处理后先验降雨数据和归一化拉普拉斯矩阵构建第二数据;将第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取;利用第二数据和洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;并对两个分支网络输出的特征进行合并分类预测,得到目标水文站点未来P小时的流量预测值;其中N、K和P为大于1的自然数。
其中,本发明实施例中的基于神经网络的水流量预测系统即为第一方面的系统。
可选的,将原始降雨数据、原始流量数据和先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据,包括:
将原始降雨数据进行数据剔除处理、数据补全处理和归一化处理,得到处理后降雨数据;
将原始流量数据进行归一化处理,得到处理后流量数据;
将先验降雨数据进行归一化处理,得到处理后先验降雨数据。
可选的,将原始降雨数据进行数据剔除处理、数据补全处理,包括:
将原始降雨数据中,数据数目低于预设数量的水文站点所对应的数据剔除,得到剩余降雨数据;
对剩余降雨数据中缺失的降雨数据,利用反距离加权法进行数据补全。
可选的,利用邻接矩阵得到归一化拉普拉斯矩阵,包括:
利用邻接矩阵得到度矩阵;
利用邻接矩阵和度矩阵得到归一化拉普拉斯矩阵。
可选的,基于处理后流量数据构建第一数据,并基于处理后降雨数据、处理后先验降雨数据和归一化拉普拉斯矩阵构建第二数据,包括:
从处理后流量数据中选取T小时对应的数据构建第一数据;
从处理后降雨数据中选取T小时对应的数据与处理后先验降雨数据构建输入向量,由输入向量与归一化拉普拉斯矩阵以及预设的参数矩阵,构建第二数据;
其中,T为大于1的自然数,且T小于等于K年对应的小时数。
可选的,将第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取,包括:
将第一数据输入第一分支网络,利用第一分支网络的GRU模块进行时序特征提取,得到第一输出特征。
可选的,利用第二数据和洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取,包括:
将第二数据中的归一化拉普拉斯矩阵以及预设的参数矩阵作为第二分支网络的网络结构参数;
将输入向量作为第二分支网络的输入,利用第二分支网络的GCN模块对输入向量进行图数据特征提取;
将GCN模块提取出的特征利用第二分支网络的维度变化模块进行维度重构;
将维度重构后的特征利用第二分支网络的GRU模块进行时序特征提取;
将GRU模块提取出的特征利用第二分支网络的注意力层进行加权处理,得到第二输出特征。
可选的,对两个分支网络输出的特征进行合并分类预测,得到目标水文站点未来P小时的流量预测值,包括:
将第一输出特征和第二输出特征输入洪水流量预测模型的第三网络,利用第三网络的concat模块进行特征合并,得到合并特征;
将合并特征利用第三网络的多个全连接层进行分类预测,得到目标水文站点未来P小时的流量预测值。
可选的,预测端为目标水文站点对应的站点端。
关于各部分的具体内容请参见第一方面的描述,在此不再赘述。
本发明实施例所提供的方案中,利用各水文站点的连接关系,引入降雨的空间分布信息,并与历史降雨数据和未来先验降雨数据构建图数据,利用预先训练的洪水流量预测模型的分支网络之一进行图数据特征提取,以及时序特征提取。并将历史流量数据利用洪水流量预测模型的分支网络之另一进行时序特征提取,通过对两分支网络的输出特征进行合并分类预测,可以得到未来一个时间段的洪水流量预测值。本发明实施例首次将图卷积神经网络应用于洪水流量预测领域,所提出的预测方法可以一次性得到未来一个时间段的洪水流量预测结果,该结果考虑到降雨至流量变化过程中通过河道连接的水文站点的降雨对流量变化的影响,因此能够充分挖掘实际降雨数据所描述的信息,得到与实际降雨情况相符的预测结果,预测的准确性较高。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (10)
1.一种基于神经网络的水流量预测系统,其特征在于,包括N个站点端和一个预测端,其中所述N个站点端是预定流域的N个水文站点对应的终端,所述N个水文站点中有一个目标水文站点位于所述预定流域的出口断面处;
每个站点端,用于向所述预测端发送表征该水文站点历史K年各小时降雨数据的单端原始降雨数据,且所述目标水文站点对应的站点端还向所述预测端发送表征该目标水文站点历史K年各小时流量数据的原始流量数据;
预测端,用于获取所述单端原始降雨数据、所述原始流量数据、未来P小时各水文站点的先验降雨数据和表征所述N个水文站点位置连接关系的邻接矩阵,并由获取到的所有单端原始降雨数据得到原始降雨数据;将所述原始降雨数据、所述原始流量数据和所述先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据;利用所述邻接矩阵得到归一化拉普拉斯矩阵;基于所述处理后流量数据构建第一数据,并基于所述处理后降雨数据、所述处理后先验降雨数据和所述归一化拉普拉斯矩阵构建第二数据;将所述第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取;利用所述第二数据和所述洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;并对两个分支网络输出的特征进行合并分类预测,得到所述目标水文站点未来P小时的流量预测值;其中N、K和P为大于1的自然数。
2.根据权利要求1所述的系统,其特征在于,所述预测端将所述原始降雨数据、所述原始流量数据和所述先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据,包括:
将所述原始降雨数据进行数据剔除处理、数据补全处理和归一化处理,得到处理后降雨数据;
将所述原始流量数据进行归一化处理,得到处理后流量数据;
将所述先验降雨数据进行归一化处理,得到处理后先验降雨数据。
3.根据权利要求2所述的系统,其特征在于,所述预测端将所述原始降雨数据进行数据剔除处理、数据补全处理,包括:
将所述原始降雨数据中,数据数目低于预设数量的水文站点所对应的数据剔除,得到剩余降雨数据;
对所述剩余降雨数据中缺失的降雨数据,利用反距离加权法进行数据补全。
4.根据权利要求1所述的系统,其特征在于,所述预测端利用所述邻接矩阵得到归一化拉普拉斯矩阵,包括:
利用所述邻接矩阵得到度矩阵;
利用所述邻接矩阵和所述度矩阵得到归一化拉普拉斯矩阵。
5.根据权利要求2所述的系统,其特征在于,所述预测端基于所述处理后流量数据构建第一数据,并基于所述处理后降雨数据、所述处理后先验降雨数据和所述归一化拉普拉斯矩阵构建第二数据,包括:
从所述处理后流量数据中选取T小时对应的数据构建第一数据;
从所述处理后降雨数据中选取T小时对应的数据与所述处理后先验降雨数据构建输入向量,由所述输入向量与所述归一化拉普拉斯矩阵以及预设的参数矩阵,构建第二数据;
其中,T为大于1的自然数,且T小于等于所述K年对应的小时数。
6.根据权利要求5所述的系统,其特征在于,所述预测端将所述第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取,包括:
将所述第一数据输入所述第一分支网络,利用所述第一分支网络的GRU模块进行时序特征提取,得到第一输出特征。
7.根据权利要求6所述的系统,其特征在于,所述预测端利用所述第二数据和所述洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取,包括:
将所述第二数据中的所述归一化拉普拉斯矩阵以及所述预设的参数矩阵作为所述第二分支网络的网络结构参数;
将所述输入向量作为所述第二分支网络的输入,利用所述第二分支网络的GCN模块对所述输入向量进行图数据特征提取;
将所述GCN模块提取出的特征利用所述第二分支网络的维度变化模块进行维度重构;
将维度重构后的特征利用所述第二分支网络的GRU模块进行时序特征提取;
将所述GRU模块提取出的特征利用所述第二分支网络的注意力层进行加权处理,得到第二输出特征。
8.根据权利要求7所述的系统,其特征在于,所述预测端对两个分支网络输出的特征进行合并分类预测,得到所述目标水文站点未来P小时的流量预测值,包括:
将所述第一输出特征和所述第二输出特征输入所述洪水流量预测模型的第三网络,利用所述第三网络的concat模块进行特征合并,得到合并特征;
将所述合并特征利用所述第三网络的多个全连接层进行分类预测,得到所述目标水文站点未来P小时的流量预测值。
9.根据权利要求1所述的系统,其特征在于,所述预测端为所述目标水文站点对应的站点端。
10.一种基于神经网络的水流量预测方法,其特征在于,应用于基于神经网络的水流量预测系统中的预测端,所述基于神经网络的水流量预测系统还包括N个站点端,其中,所述N个站点端是预定流域的N个水文站点对应的终端,所述N个水文站点中有一个目标水文站点位于所述预定流域的出口断面处;每个站点端向所述预测端发送表征该水文站点历史K年各小时降雨数据的单端原始降雨数据,且所述目标水文站点对应的站点端还向所述预测端发送表征该目标水文站点历史K年各小时流量数据的原始流量数据;所述方法包括:
获取所述单端原始降雨数据、所述原始流量数据、未来P小时各水文站点的先验降雨数据和表征所述N个水文站点位置连接关系的邻接矩阵,并由获取到的所有单端原始降雨数据得到原始降雨数据;将所述原始降雨数据、所述原始流量数据和所述先验降雨数据进行预处理,分别得到处理后降雨数据、处理后流量数据和处理后先验降雨数据;利用所述邻接矩阵得到归一化拉普拉斯矩阵;基于所述处理后流量数据构建第一数据,并基于所述处理后降雨数据、所述处理后先验降雨数据和所述归一化拉普拉斯矩阵构建第二数据;将所述第一数据输入预先训练得到的洪水流量预测模型的第一分支网络进行时序特征提取;利用所述第二数据和所述洪水流量预测模型的第二分支网络进行针对降雨数据的图数据特征提取和时序特征提取;并对两个分支网络输出的特征进行合并分类预测,得到所述目标水文站点未来P小时的流量预测值;其中N、K和P为大于1的自然数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375745.8A CN112561133A (zh) | 2020-11-30 | 2020-11-30 | 一种基于神经网络的水流量预测系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011375745.8A CN112561133A (zh) | 2020-11-30 | 2020-11-30 | 一种基于神经网络的水流量预测系统和方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112561133A true CN112561133A (zh) | 2021-03-26 |
Family
ID=75045475
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011375745.8A Withdrawn CN112561133A (zh) | 2020-11-30 | 2020-11-30 | 一种基于神经网络的水流量预测系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112561133A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113377750A (zh) * | 2021-05-19 | 2021-09-10 | 山东大学 | 水文数据清洗方法及系统 |
CN114841402A (zh) * | 2022-03-25 | 2022-08-02 | 北京科技大学 | 一种基于多特征图网络的地下水位高度预测方法及系统 |
CN117671531A (zh) * | 2023-12-05 | 2024-03-08 | 吉林省鑫科测绘有限公司 | 一种无人机航测数据处理方法及系统 |
-
2020
- 2020-11-30 CN CN202011375745.8A patent/CN112561133A/zh not_active Withdrawn
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113377750A (zh) * | 2021-05-19 | 2021-09-10 | 山东大学 | 水文数据清洗方法及系统 |
CN114841402A (zh) * | 2022-03-25 | 2022-08-02 | 北京科技大学 | 一种基于多特征图网络的地下水位高度预测方法及系统 |
CN117671531A (zh) * | 2023-12-05 | 2024-03-08 | 吉林省鑫科测绘有限公司 | 一种无人机航测数据处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106650767B (zh) | 基于聚类分析和实时校正的洪水预报方法 | |
CN111223301B (zh) | 一种基于图注意力卷积网络的交通流量预测方法 | |
CN112561133A (zh) | 一种基于神经网络的水流量预测系统和方法 | |
Salehin et al. | An artificial intelligence based rainfall prediction using LSTM and neural network | |
CN112561134A (zh) | 一种基于神经网络的水流量预测方法、装置和电子设备 | |
CN110210644A (zh) | 基于深度神经网络集成的交通流量预测方法 | |
Ge et al. | Temporal graph convolutional networks for traffic speed prediction considering external factors | |
CN112561132A (zh) | 一种基于神经网络的水流量预测模型 | |
CN111242395B (zh) | 用于od数据的预测模型构建方法及装置 | |
CN112182063A (zh) | 一种基于时空特征的水文预报模型的构建方法 | |
CN113283155B (zh) | 一种近地表气温估算方法、系统、存储介质及设备 | |
CN111178585A (zh) | 基于多算法模型融合的故障接报量预测方法 | |
Zhao et al. | Joint spatial and temporal modeling for hydrological prediction | |
CN115829163B (zh) | 基于多模式集成的长江中下游流域径流预测方法和系统 | |
Saffari et al. | Deep convolutional graph rough variational auto-encoder for short-term photovoltaic power forecasting | |
Guo et al. | A combined model based on sparrow search optimized BP neural network and Markov chain for precipitation prediction in Zhengzhou City, China | |
CN115545758A (zh) | 城市服务设施自适应增量选址的方法和系统 | |
CN114265913A (zh) | 工业物联网边缘设备上基于联邦学习的空时预测算法 | |
CN112668711B (zh) | 基于深度学习的洪水流量预测方法、装置和电子设备 | |
Vafakhah et al. | Application of intelligent technology in rainfall analysis | |
CN112528557A (zh) | 基于深度学习的洪水流量预测系统和方法 | |
Dhunny et al. | Flood Prediction using Artificial Neural Networks: Empirical Evidence from Mauritius as a Case Study. | |
Gao et al. | A multifactorial framework for short-term load forecasting system as well as the jinan’s case study | |
CN112529270A (zh) | 基于深度学习的水流量预测模型 | |
Öztürk et al. | Short term load forecasting for Turkey energy distribution system with artificial neural networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
WW01 | Invention patent application withdrawn after publication | ||
WW01 | Invention patent application withdrawn after publication |
Application publication date: 20210326 |