CN116989749A - 基于人工智能水文模型的流域洪水预测方法 - Google Patents
基于人工智能水文模型的流域洪水预测方法 Download PDFInfo
- Publication number
- CN116989749A CN116989749A CN202310237364.0A CN202310237364A CN116989749A CN 116989749 A CN116989749 A CN 116989749A CN 202310237364 A CN202310237364 A CN 202310237364A CN 116989749 A CN116989749 A CN 116989749A
- Authority
- CN
- China
- Prior art keywords
- characteristic
- lstm
- water level
- data
- size
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 239
- 239000013598 vector Substances 0.000 claims abstract description 125
- 238000012544 monitoring process Methods 0.000 claims abstract description 102
- 239000011159 matrix material Substances 0.000 claims abstract description 91
- 238000010586 diagram Methods 0.000 claims abstract description 65
- 238000011144 upstream manufacturing Methods 0.000 claims abstract description 56
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 28
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 25
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 235000008733 Citrus aurantifolia Nutrition 0.000 claims description 19
- 235000011941 Tilia x europaea Nutrition 0.000 claims description 19
- 239000004571 lime Substances 0.000 claims description 19
- 238000005457 optimization Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 16
- 230000000694 effects Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 230000014759 maintenance of location Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 230000002860 competitive effect Effects 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 238000006424 Flood reaction Methods 0.000 claims 2
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008595 infiltration Effects 0.000 description 26
- 238000001764 infiltration Methods 0.000 description 26
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 21
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 21
- 239000002689 soil Substances 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000010276 construction Methods 0.000 description 9
- 230000015654 memory Effects 0.000 description 8
- 238000001556 precipitation Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 238000001704 evaporation Methods 0.000 description 7
- 230000008020 evaporation Effects 0.000 description 7
- 230000002688 persistence Effects 0.000 description 7
- 238000003860 storage Methods 0.000 description 6
- 238000012876 topography Methods 0.000 description 6
- 210000004027 cell Anatomy 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000007787 long-term memory Effects 0.000 description 4
- 230000035699 permeability Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 239000003673 groundwater Substances 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000006403 short-term memory Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 239000011148 porous material Substances 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000000547 structure data Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002844 continuous effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 125000004122 cyclic group Chemical class 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 238000013277 forecasting method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C13/00—Surveying specially adapted to open water, e.g. sea, lake, river or canal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/10—Devices for predicting weather conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental & Geological Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Hydrology & Water Resources (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种基于人工智能水文模型的流域洪水预测方法,包括:建立待预测流域的流域拓扑;基于流域拓扑建立流域的监测点,并在监测点上布设雨量站以及包括水位计、流量计和流速计的传感器,获取监测点上的降雨量、泄洪量、上游水位及潮汐数据;构建结合变分模态分解、LSTM和图神经网络的人工智能水文模型,以挖掘流域水位跟降雨量、泄洪量、上游水位和潮汐关系;输入监测点上的降雨量、泄洪量、上游水位和潮汐数据,先进行数据预处理,然后采用变分模态分解对水位特征进行模态分解,构造滞后特征,再通过LSTM提取时序特征,接着通过图卷积神经网络对流域拓扑结构图进行特征提取,而后重塑特征向量矩阵,并通过全连接回归预测层输出预测水位;通过构建的人工智能水文模型进行流域洪水预测。该方法有利于提高流域洪水预测的便捷性和准确性。
Description
技术领域
本发明涉及水文预报技术领域,具体涉及一种基于人工智能水文模型的流域洪水预测方法。
背景技术
水文预报是根据前期或现时水文气象资料,运用水文学、气象学、水力学等原理和方法,对河流等水体在未来一定时段内的水文状况作出定性或定量的预测。水文预报在防汛、抗旱、水资源合理利用和国防中有重要作用。水文现象是由众多因素相互作用的复杂过程,它与大气圈、地壳圈、生物圈都有着十分密切的关系,属于综合性的自然现象。迄今为止,人们还不可能对水文现象用严格的物理定律来描述。常见的研究方法是将复杂水文现象加以概化,忽略次要的与随机的因素,保留主要因素和具有基本规律的部分,建立具有一定物理意义的数学物理模型,并在计算机上实现。流域水文模型是为模拟流域水文过程所建立的数学结构,被模拟的水文现象称为原型,模型则是对原型的物理和逻辑过程的概化。通过建立水文现象的水文模型,来对相关流域未来一段时间的水文状况进行预测。
国内外开发研制的水文模型众多,结构各异,按照模型构建有无物理基础来划分,流域水文模型可以分为物理模型、概念性模型和系统理论模型。完全物理化的模型的通用性非常好,这是水文工作者希望提出的理想化模型。概念性模型就是模型中含有物理意义,但是又不是完全的遵循物理规律,需要提出一定的假设条件。现在大多数发展起来的概念性模型有新安江模型、SAC模型、VIC模型等等。黑箱子模型是一种完全没有物理背景的模型,它的大概模式就是:输入-运行-输出。这样的模型大多数都是随机水文模型,比如BP人工神经网络模型,回归模型,模糊数学模型等等。
但是,现有的众多流域水文模型在水文预报,特别是洪水预报实践中,大多无法取得令人满意的预报结果。概念性模型适用于大流域和中短期的水文预测,有一定的物理基础,但模型参数的率定十分复杂和困难。概念性模型的参数大都具有明确的物理意义,参数值原则上可根据其物理意义直接定量的。但由于缺乏降雨径流形成过程中各要素的实测与试验过程,故在实际应用中只能根据出口断面的实测流量过程,用系统识别的方法推求。由于参数多,信息量少,就会产生参数相关性、不稳定性和不唯一性问题。物理模型是严格基于物理过程的水流预测模型,但模型的建立存在如下问题:1)需要有非常详细的河道地形数据,对于资料不全的地区这种方法就不能发挥作用;2)采用传统的三角形网格进行网格剖分,预测结果的误差大。此类模型一般适用于重要水库、湖泊和河流的重要河段等水体,不适用于流域尺度。系统理论模型是建立在经验统计的基础上的一种模型,该类模型简单灵活,适用性广。但是,用于外延预报,则模型隐含的物理基础消失了,变成了纯数学表达,所以外延效果较差。因此,有必要提供一种新的流域洪水预测方法,以克服现有技术存在的问题。
发明内容
本发明的目的在于提供一种基于人工智能水文模型的流域洪水预测方法,该方法有利于提高流域洪水预测的便捷性和准确性。
为实现上述目的,本发明采用的技术方案是:一种基于人工智能水文模型的流域洪水预测方法,包括:
建立待预测流域的流域拓扑;根据防洪需求,基于流域拓扑建立流域的监测点,并在监测点上布设雨量站以及包括水位计、流量计和流速计的传感器,获取监测点上的降雨量、泄洪量、上游水位及潮汐数据;
构建结合变分模态分解、LSTM和图神经网络的人工智能水文模型,以挖掘流域水位跟降雨量、泄洪量、上游水位和潮汐关系;输入监测点上的降雨量、泄洪量、上游水位和潮汐数据,先进行数据预处理,然后采用变分模态分解对水位特征进行模态分解,构造滞后特征,再通过LSTM提取时序特征,接着通过图卷积神经网络对流域拓扑结构图进行特征提取,而后重塑特征向量矩阵,并通过全连接回归预测层输出预测水位;
通过构建的人工智能水文模型进行流域洪水预测。
进一步地,所述数据预处理包括异常值处理、缺失值处理和数据归一化处理;在完成数据的异常值、缺失值处理后,为规范数据,加快模型的训练,剔除量纲对模型的影响,对每个监测点的所有数据依次进行归一化处理,将数据映射到0和1之间:
式中,X为待归一化数据,X min和X max分别表示待归一化数据中的最大值和最小值,最终将数据映射到0和1之间后,作为特征数据输入模型进行训练。
进一步地,输入的数据需要执行两个任务:任务1是以当天源头水库泄洪量和降雨量、流域多点K个监测点水位作为一个时间点的特征,通过过去N天的特征预测未来一天中K个监测点的水位;任务2是以当天源头水库未来三天泄洪量和降雨量、流域多点K个监测点作为一个时间点的特征,通过过去N个时间点的特征完成对未来三天流域K个监测点的水位的预测;
将数据处理成符合模型输入格式:多个监测点的特征被分别处理为F*D形状的矩阵,其中F为特征维度:任务1时为K+2,水库特征降雨量和泄洪量,K个监测点特征水位;任务2时为K+6,未来三天水库特征降雨量和泄洪量,K个监测点特征水位;D为总天数;随后使用一个大小为N的输入滑动窗口,在时间流逝方向进行滑动,滑动步长为1,N即为过去天数,每滑动一个步长形成新的样本特征,作为模型的输入;使用一个大小为1或3的标签滑动窗口在时间流逝方向进行滑动,每滑动一个步长形成新的样本标签,标签值为一天或三天监测点特征的水位值;流域水位数据集前70%部分作为训练集,后30%部分作为测试集。
进一步地,为将地理信息融入图拓扑结构,将地图中每个监测点视为图中的一个节点,遍历每个监测点,将其和其欧氏距离最近的监测点相连接,如果该条边已经存在,则遍历下一个监测点,以此构建出邻接矩阵进而计算度矩阵与拉普拉斯矩阵,获得包含地理位置信息与地理空间依赖关系的拓扑结构图,最终输出尺寸为(K,K)的邻接矩阵。
进一步地,构建14个LSTM特征编码层进行时序特征提取;
第1个LSTM特征编码层的特征集为降雨量、水位、泄洪量,用于预测第一级水库的水位;构建第1个LSTM特征编码层,输入尺寸为(B,H,F1)的特征向量,包含第一级水库降雨量、泄洪量、第一级水库水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第2-4个LSTM特征编码层的特征集为降雨量、水位、泄洪量、前一级水库的泄洪量,用于预测第2-4级水库的水位;构建第2-4个LSTM特征编码层,输入尺寸为(B,H,F2)的特征向量,包含降雨量、泄洪量、水位和前一级水库的泄洪量数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第5个LSTM特征编码层的特征集为支流降雨量、本级水库降雨量、水位、泄洪量、前一级水库的泄洪量,用于预测第5级水库的水位;构建第5个LSTM特征编码层,输入尺寸为(B,H,F3)的特征向量,包含支流降雨量、本级水库降雨量、水位、泄洪量、前一级水库的泄洪量数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第6-9个LSTM特征编码层,即水库间的LSTM特征编码层的特征集为降雨量、泄洪量、水位,用于预测水库间流域的水位;构建第6-9个LSTM特征编码层,输入尺寸为(B,H,F4)的特征向量,包含降雨量、泄洪量、水位的数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F4为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第10个LSTM特征编码层,即第5级水库后面流域上游的LSTM特征编码层的特征集为降雨量、泄洪量、水位,用于预测第5级水库后面流域上游的水位;构建第10个LSTM特征编码层,输入尺寸为(B,H,F4)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F4为第5级水库后面流域上游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第11个LSTM特征编码层,即第5级水库后面流域中游的LSTM特征编码层的特征集为降雨量、上游水位、水位、泄洪量,用于预测第5级水库后面流域中游的水位;构建第11个LSTM特征编码层,输入尺寸为(B,H,F5)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F5为第5级水库后面流域中游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第12个LSTM特征编码层,即第5级水库后面流域下游的LSTM特征编码层的特征集为降雨量、中游水位、水位、泄洪量,用于预测第5级水库后面流域下游的水位;构建第12个LSTM特征编码层,输入尺寸为(B,H,F6)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F6为第5级水库后面流域中游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第13个LSTM特征编码层,即入海口的LSTM特征编码层的特征集为降雨量、下游水位、水位、潮位、泄洪量,用于预测入海口的水位;构建第13个LSTM特征编码层,输入尺寸为(B,H,F7)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F7为第5级水库后面流域中游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第14个LSTM特征编码层,即支流的LSTM特征编码层的特征集为降雨量、下游水位、水位、泄洪量,用于预测支流的水位;构建第14个LSTM特征编码层,输入尺寸为(B,H,F8)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F8为支流的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
将经过14个LSTM网络表示学习后得到的特征向量表示按时间维度进行拼接,同时不产生新的维度,最终输出包含每个监测点历史属性的时间关联特征向量,尺寸为(B,14,F')。
进一步地,复制地理信息图,将包含地理位置信息与地理空间依赖关系的尺寸为(K,K)的拓扑结构图作为输入,按批次数量值进行复制操作,最终输出尺寸为(B,K,K)的特征向量矩阵;并获取拼接后的尺寸为(B,14,F')的特征向量矩阵作为特征矩阵,同时将尺寸为(B,K,K)的地理信息图作为邻接矩阵输入该层,获得包含时间特征信息与地理位置信息的拓扑结构图,一同作为图卷积层的特征矩阵输入,对拓扑结构图进行特征提取,最终输出尺寸为(B,14,F')的特征向量矩阵。
进一步地,经过图卷积之后,重塑获得的特征向量矩阵形状;即将特征提取后输出尺寸为(B,14,F')的特征向量矩阵作为重塑的对象,维度设为拼接后的向量矩阵第一维的数值与后二维度的积进行特征向量重塑,将特征变量维度合并,最终输出尺寸为(B,14*F')的向量矩阵;
然后构建全连接回归预测层;将重塑后尺寸为(B,14*F')的特征向量矩阵作为全连接回归预测层的特征矩阵输入,根据具体的任务1或2预测天数Z输出为1或3通过全连接神经网络计算流域多点特征预测值,通过设定输出端神经元数量K*Z,最终输出尺寸为(B,K*Z)的预测向量矩阵,当执行任务1时输出最终特征向量尺寸为(B,K),当执行任务2时输出最终特征向量尺寸为(B,K*3);
全连接层计算公式如下:
式中,Dj为第j个输出,f(x)为激活函数,Wji为第j个输出的第i个输入权值参数,εj为第j个输出的偏置参数,n为输入的总数;
重塑特征向量矩阵,获取全连接回归预测层输出的尺寸为(B,K*Z)的特征向量预测矩阵作为重塑特征向量矩阵的输入,维度设为拼接后的向量矩阵第一维的数值、任务所需预测天数与流域多点特征,将特征矩阵向量按原本形式重塑,最终输出尺寸为(B,Z,K)的预测向量矩阵,当执行任务1时输出尺寸为(B,1,K)的特征向量,当执行任务2时输出尺寸为(B,3,K)的特征向量,最终得到基于LSTM和GCN的流域多点水位时空关联混合模型;
output=reshape(x')
其中,x'∈RB*(K*Z),output∈RB*Z*K,Z表示天数,K表示节点数;当执行任务1时,Z=1,执行任务2时,Z=3。
进一步地,采用LIME算法进行模型的解释性分析,其通过调整特征值来修改单个数据样本,并观察其对输出的影响;LIME的输出是一组解释,代表特征变化对单个样本预测的贡献。
进一步地,采用NSGA2多目标优化算法对各预测点的MSE进行优化,洪水预测中希望对每个监测点的预测损失都进行最小化,其中第i个监测点的优化目标为:
其中,fi(·)为预测模型,θ为模型的超参数,y为监测点i的真实水位;由于无法区分每个监测点的重要性,最终目标是得到一个包含所有Pareto最优解的解集,采用NSGA2算法进行优化;
NSGA2多目标优化算法首先随机初始化种群,包含N组超参数,每组超参数被作为种群中的一个个体,对种群中的个体进行支配等级排序,并计算每个个体的拥挤距离;随后开始循环迭代如下过程:
1)选择:使用二元竞标赛选择子代种群;
2)交叉:从子代种群中随机挑选两个进行特征片段的交换;3)变异:随机挑选个体选择一个特征添加扰动;
4)父子代合并:合并父子代种群;
5)快速非支配排序:根据个体被其他个体的支配程度进行排序;先去除不被支配的个体,取出后设为支配等级1,随后重新计算不被支配的个体,取出后设为支配等级2;重复如上操作直到个体被取完;
6)拥挤度计算:计算个体在特征空间中的相似程度;
7)种群保留:优先保留支配等级高的个体,如果支配等级相同,保留拥挤度低的个体;
达到最高迭代次数后停止迭代。
与现有技术相比,本发明具有以下有益效果:提供了一种基于人工智能水文模型的流域洪水预测方法,该方法解决了一个流域水文预测需要多模型的问题,一个人工智能水文模型可以应用于带有水库、闸门和潮汐的复杂场景,解决了可同时进行多监测点多步长水位预测问题;模型的自动训练和自动部署,可以节省大量的人工成本,无需另外增加模型性能的验证成本。
附图说明
图1是本发明实施例的方法实现流程图。
图2是本发明实施例中流域拓扑图。
图3是本发明实施例中流域水位影响因素图。
图4是本发明实施例中流域汇流示意图。
图5是本发明实施例中流域水文预测过程图。
图6是本发明实施例中人工智能水文模型架构图。
图7是本发明实施例中人工智能水文模型技术构成图。
图8是本发明实施例中水位特征VMD分解示意图。
图9是本发明实施例中执行任务1时的数据读取过程。
图10是本发明实施例中执行任务2时的数据读取过程。
图11是本发明实施例中地理关系拓扑结构图。
图12是本发明实施例中邻接矩阵。
图13是本发明实施例中流域监测点编码。
图14是本发明实施例中流域监测点基本特征。
图15是本发明实施例中总体特征编码结构图。
图16是本发明实施例中第1个LSTM特征编码层结构示意图。
图17是本发明实施例中第2-4个LSTM特征编码层结构示意图。
图18是本发明实施例中第5个LSTM特征编码层结构示意图。
图19是本发明实施例中第6-9个LSTM特征编码层结构示意图。
图20是本发明实施例中第10个LSTM特征编码层结构示意图。
图21是本发明实施例中第11个LSTM特征编码层结构示意图。
图22是本发明实施例中第12个LSTM特征编码层结构示意图。
图23是本发明实施例中第13个LSTM特征编码层结构示意图。
图24是本发明实施例中第14个LSTM特征编码层结构示意图。
图25是本发明实施例中图卷积层结构示意图。
图26是本发明实施例中模型可解释性示意图。
图27是本发明实施例中多目标优化算法流程图。
图28是本发明实施例中模型训练流程图。
图29是本发明实施例中人工智能水文模型自动化训练和部署流程图。
图30是本发明实施例中LSTM架构图。
图31是本发明实施例中降雨量特征构造示意图。
图32是本发明实施例中上游水位滞后特征构造示意图。
图33是本发明实施例中LIME架构图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出,以下详细说明都是示例性的,旨在对本申请提供进一步的说明。除非另有指明,本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图1所示,本实施例提供了一种基于人工智能水文模型的流域洪水预测方法,包括:
建立待预测流域的流域拓扑;根据防洪需求,基于流域拓扑建立流域的监测点,并在监测点上布设雨量站以及包括水位计、流量计和流速计的传感器,获取监测点上的降雨量、泄洪量、上游水位及潮汐数据;
构建结合变分模态分解、LSTM和图神经网络的人工智能水文模型,以挖掘流域水位跟降雨量、泄洪量、上游水位和潮汐关系;输入监测点上的降雨量、泄洪量、上游水位和潮汐数据,先进行数据预处理,然后采用变分模态分解对水位特征进行模态分解,构造滞后特征,再通过LSTM提取时序特征,接着通过图卷积神经网络对流域拓扑结构图进行特征提取,而后重塑特征向量矩阵,并通过全连接回归预测层输出预测水位;
通过构建的人工智能水文模型进行流域洪水预测。
下面对本发明涉及的相关内容作进一步详细说明。
1.流域拓扑
流域,指由分水线所包围的河流集水区。分地面集水区和地下集水区两类。如果地面集水区和地下集水区相重合,称为闭合流域;如果不重合,则称为非闭合流域。
像流域这种复杂的拓扑结构,有人在尝试建立全流域的洪水模拟模型,对各部分统一求解。但这种办法在交互式预报调度时会遇到诸多不便,而且对于各个不同的流域不可能用相同的全流域的洪水模拟模型。
对于河道特征比较复杂、水利工程比较多的流域来说,洪水计算首先要将流域水系进行概化,将流域概化成互相联系的不同类型的节点,通过构图,可以很自然地将流域中各个站点连接起来,并对各个站点地数据进行关联挖掘,满足各个站点水位地预测需求,在这里,把流域看成是由不同类型的节点联接在一起的一个有机整体,节点类型主要有产汇流分区节点、河道洪水演进节点、水库节点、闸门节点以及水量交汇点与其他节点。
该方法的核心思想就是将流域概化为一张节点图,对节点的属性、联接方式以及拓扑关系进行分析,运用邻接表、邻接矩阵和深度优先遍历的方法解决节点间数据地挖掘问题。本实施例中流域拓扑如图2所示。
图神经网络(Graph Neural Network,GNN)是指使用神经网络来学习图结构数据,提取和发掘图结构数据中节点的特征和模式,满足流域水位预测地需求。
2.流域监测传感器部署
根据流域的具体情况,科学部署传感器,可以满足对流域洪水的精准预测。
2.1雨量站部署
合理布设雨量站点,控制站网密度,探索降水量与径流之间的转化规律,对于中小流域水资源合理开发利用起着至关重要的作用。理论上锥体法是以雨量站均匀分布作为规划原则,但在实际中受地形条件限制,雨量站均匀布设有一定的难度,对防汛有重要作用的地区以及暴雨区的站网适当加密,同时应考虑影响雨量站网布设的其他因素。
2.2水位计和流量及流速计部署
根据防洪地需求,合理建设流域水文站,即合理部署水位计、流量计和流速计。
2.3数据采集
预测粒度跟数据的采集时间密切相关,需要合理规划各类传感器的数据采集频率,满足预测粒度的需求,采集密度根据最小粒度进行规划,粗粒度可以根据小粒度进行汇集归纳。
预测粒度:5分钟、15分钟、30分钟、1小时、2小时、4小时、1天、2天、...
3.流域拓扑节点水文特征
表1流域拓扑节点水文特征
4.河流水位影响因素分析
河流水位的影响因素包含降雨量、泄洪量和潮汐的影响,其中的降雨量除去蒸发、土地吸收和拦堵后的部分,将形成径流,直接影响河流水位。流域水位影响因素如图3所示。
地表蒸散发是一种复杂的物理过程,其与空气温度、湿度、风速、大气压有关,与气温和气压具有显著相关关系,与湿度、风速相关关系弱,蒸散发与各气象因子的相关性整体表现为气温>气压>湿度>风速。
(1)降雨量指从天空降落到地面上的液态或固态(经融化后)水,未经蒸发、渗透、流失,而在水平面上积聚的深度。
(2)降水量扣除蒸散发、植物截留、洼地储蓄以及补充土壤含水量等水量损失,沿着地面流走的水叫径流。
对于零星降雨,降雨量形成的径流百分比比较低,对于连续的大雨,降雨量形成径流的百分比比较高。
(3)水库泄洪流量就是单位时间内流了多少水,泄洪量的具体数值和取值点的截面有关,每秒经过该点的水量就是该点的泄洪流量。
(4)降雨量渗透的影响因素
1)土壤特性的影响:决定于土壤的透水性和土壤前期含水量。土壤透水性真好,前期含水量越小,下渗能力越大。透水性与土壤的质地、孔隙的多少与大小有关系。一般来说土壤颗粒越粗,孔隙直径越大,透水性越好,下渗能力越强。
2)降水特性的影响:降水特性包括降水强度、历时、降水时空分布。
降水强度直接影响土壤下渗强度和下渗水量。当降水强度小于下渗能力时,降水全部渗入土壤。当降水强度大于下渗能力时,下渗率等于下渗能力。对裸露的土壤,强降雨击碎土颗填充土壤空隙造成下渗能力减小。降水的时程分布也影响下渗,如相同条件下,连续性降水的下渗量要小于间歇性下渗量。
3)流域植被、地形条件影响:通常有植被的地区,由于植被的滞水作用,增加了下渗时间,从而减少了地表径流,增大了下渗量。地形坡度对下渗的影响是通过影响供水强度来实现的。相同降水强度下,有坡度时的供水强度将小于平地上的供水强度。此外,不同的地形条件,影响地面漫流的速度和汇流时间。相同条件下,地面坡度大,漫流速度快,历时短,下渗量小。
4)人类活动的影响:人类活动即能增大下渗也能抑制下渗。如植树造林、蓄水工程均增加水的滞留时间,从而增大下渗;反之,砍伐森林,不合理耕作、则加剧水士流失,减小下渗。5.产流/泄洪量/上游水位的滞后影响和持续效应
降雨量对水位的影响受到流域的地形、土壤、植被等自然因素的作用,表现出了显著的滞后性、持续性等特点,同样,受地理位置和流域地形的作用,泄洪量对水位的影响,及上游水位对下游水位的影响同样存在滞后性、持续性等特点。根据这些滞后性、持续性特点,构造滞后特征集,可以让模型学习到这些滞后特征,通过多个滞后特征,可以描述降雨量的持续性,进一步提升模型的性能。
6.产汇流
6.1产流
R.E.霍顿把下渗理论和流域出口断面洪水过程的分析结合起来,把产流概括为三种情况:
(1)强度大、历时短的降雨形成的洪水。此时,由于降雨强度大于下渗能力,只产生地面径流。因为降雨历时短,下渗量小,土壤缺水量不能补足,所以不产生地下径流。
(2)强度小、历时长的降雨形成的洪水。此时,由于雨强小于下渗能力,不产生地面径流,但由于降雨历时长可以把土壤缺水量补足,因而产生地下径流。
(3)强度大历时也长的降雨形成的洪水,此时降雨强度大于下渗能力,土壤缺水量又得到满足,所以既产生地面径流,也产生地下径流。
6.2汇流
对于新安江模型,在汇流计算方面,单元面积的地面径流汇流一般采用单位线法,壤中水径流和地下水径流的汇流则采用线性水库法,河网汇流一般采用分段连续演算的马斯京根法或滞时演算法。流域汇流如图4所示。
7.流域洪水的预测过程
机器学习的过程,就是通过图神经网络,挖掘流域水位跟降雨量、泄洪量、上游水位和潮汐关系的过程。
对于零星降雨,降雨量形成的径流百分比比较低,对于连续的大雨,降雨量形成径流的百分比比较高,因此,通过图神经网络,挖掘降雨量跟水位的关系,实际上是挖掘降雨量跟径流的关系,径流的产生跟降雨量的强度和持续时间有关,因此,图神经网络实际上是间接挖掘了河流水位跟降雨量的强度和持续时间的关系。
在降雨量跟径流之间,还存在蒸发、渗透等情形,因此,还挖掘了河流水位跟蒸发、渗透的关系,可以通过输入蒸散发量来挖掘河流水位跟蒸散发的关系,由于渗透跟降雨强度、土壤的类别密切相关,渗透还将引起降雨量对河流水位的滞后影响,可以引入滞后特征来挖掘河流水位跟降雨量滞后特征的关系,渗透还将引起雨量的损失,由于没有相关的渗透数据可以输入图神经网络,只能进行隐性的挖掘。
流域水文预测过程如图5所示。
8.流域洪水预测需求描述
本发明方法,利用特征构造,通过图神经网络,挖掘河流水位影响因素、滞后因素和持续效应跟水位的关联关系,就是挖掘多个支流原始降雨量和汇流点水位的关联关系,也就是挖掘降雨强度、降雨时长、降雨量跟水位的关系。
流域洪水预测的需求是预测的准确性和预见期的长短要求,输入的数据执行两个任务:任务1以当天源头水库泄洪量和降雨量、流域多点K个监测点水位作为一个时间点(天)的特征,通过过去N天的特征预测未来一天中K个监测点的水位。任务2以当天源头水库未来三天泄洪量和降雨量、流域多点K个监测点作为一个时间点的特征,通过过去N个时间点的特征完成对未来三天流域K个监测点的水位的预测。
9.图神经网络人工智能水文模型
9.1概述
图神经网络可以对非欧氏空间的数据进行建模,捕获数据的内部依赖关系,图的节点可以是水库、水文站点和闸门,构建的图可以是有向图和无向图。图神经网络人工智能水文模型,适用于带有水库、潮汐变化的复杂流域的洪水环境,可同时进行多监测点和多时间点的水位预测,多监测点包含产汇流分区节点、河道洪水演进节点、水库节点、闸门节点以及水量交汇点,通过一个算法模型,即可进行全流域洪水的预测。
9.1.1架构图
本实施例中人工智能水文模型的架构图如图6所示,其技术构成图如图7所示。
9.2数据提取
1.提取初始数据
根据相关水文规范,一个表包含了1类传感器的多个监测点的数据,需要通过多个表提取一个监测点必需的所有初始数据,包括降雨量、水位、泄洪量,甚至流量和流速,针对一个断面,水位和流量可以进行互换算。
2.初始数据的时间对齐
将原始数据进行时间点对齐,每个时间点,必须包含一个监测点相关的数据,即包含降雨量、水位、泄洪量,甚至流量和流速数据。
9.3数据预处理
1.异常值处理
对数据进行异常值处理。
2.缺失值处理
对数据进行缺失值处理。
3.数据的归一化处理
在完成了数据的异常值、缺失值处理后,为规范数据,加快模型的训练,剔除量纲对模型的影响,对每个监测点的所有变量依次做归一化(Min-Max Normalization)处理,将数据映射到0和1之间:
最大最小值归一化预处理:
在公式(1)中,X为待归一化数据,X min和X max分别表示待归一化数据中的最大值和最小值,最终将数据映射到0和1之间后,作为特征数据输入模型进行训练;
9.4变模态分解水位特征
如图8所示,以流域水位特征为基础,使用变模态技术对其进行模态分解,得到5个更为稳定的水位子模态特征(IMF0,IMF1,IMF2,IMF3,IMF4)。此外,分解的多个模态不仅可以作为新特征扩充入数据集,同时也可以作为变模态预测的标签。
9.5数据集构建和划分
输入的数据需要执行两个任务:任务1以当天源头水库泄洪量和降雨量、流域多点K个监测点水位作为一个时间点(天)的特征,通过过去N天的特征预测未来一天中K个监测点的水位。任务2以当天源头水库未来三天泄洪量和降雨量、流域多点K个监测点作为一个时间点的特征,通过过去N个时间点的特征完成对未来三天流域K个监测点的水位的预测。
其中任务1旨在完全通过历史数据进行预测。而实际应用中,未来的降雨量可以通过天气预报获得较为精准的估计,未来的泄洪量是人为控制的,因此引入任务2,通过未来的天气和自定义泄洪量辅助预测,并将任务拓展到多步预测。
进一步地如图9至图10所示,将数据处理成符合模型输入格式:多个监测点(源头水库、流域K个监测点)的特征被分别处理为F*D形状的矩阵,其中F为特征维度(任务1时为K+2,水库特征降雨量和泄洪量,K个监测点特征水位;任务2时为K+6,未来三天水库特征降雨量和泄洪量,K个监测点特征水位),D为总天数。随后使用一个大小为N(默认为8)的输入滑动窗口,在时间流逝方向进行滑动,滑动步长为1,N即为过去天数,每滑动一个步长形成新的样本特征,作为模型的输入;使用一个大小为1(任务1)或3(任务2)的标签滑动窗口在时间流逝方向进行滑动,每滑动一个步长形成新的样本标签,标签值为一天或三天监测点特征的水位值。流域水位数据集前70%部分作为训练集,后30%部分作为测试集。
9.6地理关系图构建
为将地理信息融入图拓扑结构,我们设计了一个简单有效的方法。具体地,地图中每个监测点被视为图中的一个节点,遍历每个监测点,将其和其欧氏距离最近的监测点相连接,如果该条边已经存在,则遍历下一个监测点。图3-5展示了在我们当前数据集上构图的真实案例。在未来我们监测点越来越多的情况下,该方法同样能适用。
在地图中,将K个监测点视为图结构中的节点,遍历每个监测点,将其和其欧氏距离最近的监测点相连接,如果该条边已经存在,则遍历下一个监测点,以此构建出邻接矩阵进而计算度矩阵与拉普拉斯矩阵,获得包含地理位置信息与地理空间依赖关系的拓扑结构图,最终输出尺寸为(K,K)的邻接矩阵。
以图11为例,河流流域设有K个监测点(例中K=14),将监测点视为图结构中的节点,将其和其欧氏距离最近的监测点相连接视为图结构的边,遍历计算各个监测点得到其拓扑结构图。邻接矩阵表示各个节点之间的边关系,是K阶方阵(K为监测点数量),当两监测点m,n(,0<m<K,0<n<K)之间有相互连接的边时,K阶方阵的第m行n列和第n行m列的值为1,若无相互连接的边第m行n列和第n行m列值则为0,两两计算所有监测点最终得到尺寸为(14,14)的邻接矩阵,如图12所示。
拓扑结构图表示为G=G(V,E),其中V和E分别是节点和边的集,节点的意义为源头水库与K个流域监测点,而边为两个点之间欧氏距离最短的连线。设vi∈V是一个节点,eij=(vi,vj)∈E表示vi和vj之间的一条边。然后,一个节点v的邻域可以定义为N(v)={u∈V|(v,u)∈E}。故一个地理信息图可以用生成的邻接矩阵A∈RN×N来描述,其中N是节点数,即N=|V|。在无向图中,Aij表示节点vi和vj之间的边连接,在实际应用中,地理信息图所具有节点特征矩阵(也称为属性)X∈RN×c,其中c是一个节点特征向量的维数,就是经过模型处理后的数据集中源头水库与流域水位的数据信息。
9.7特征提取
9.7.1流域特征编制
如图13所示,根据流域拓扑图编制每个测点的特征。
9.7.1.1流域各监测点基本特征编制
本实施例中流域监测点基本特征如图14所示。
9.7.1.2流域各监测点扩展特征编制
特征集包含了基本特征集、模态分解后的特征集及滞后特征集,这些特征都可输入模型。
水位特征集1:初始特征集。
水位特征集2:对降雨量及滞后特征进行模态分解,采用这些分解后的特征及其他原始特征组成水位特征集2,采用该特征集对模型进行训练。
水位特征集3:在水位特征集2的基础上,增加了水库泄洪量滞后特征。
水位特征集4:对水位进行模态分解,并对分解的每一个模态分别进行预测,对预测结果相加,得到预测值。
表2流域拓扑节点水文特征扩展编制
9.7.1.3本发明采用的特征集
下面以水位特征集1对水位进行预测。
表3水文特征集1细化表
9.7.2总体特征编码结构
本实施例中总体特征编码结构图如图15所示。
9.7.3 LSTM提取时序特征
9.7.3.1第1个LSTM特征编码层
第一级水库的LSTM特征编码层的特征集为降雨量、水位、泄洪量,用于预测第一级水库的水位,第一个LSTM特征编码层的图示如图16所示。
构建第一个LSTM特征编码层,输入尺寸为(B,H,F1)的特征向量,包含第一级水库降雨量、泄洪量、第一级水库水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.2第2-第4个LSTM特征编码层
第2-第4级水库的LSTM特征编码层的特征集为降雨量、水位、泄洪量、前一级水库的泄洪量,用于预测第2-第4级水库的水位,第2-第4个LSTM特征编码层的图示如图17所示。
构建第2-第4个LSTM特征编码层,输入尺寸为(B,H,F2)的特征向量,包含降雨量、泄洪量、水位和前一级水库的泄洪量数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.3第5个LSTM特征编码层
第5级水库的LSTM特征编码层的特征集为支流降雨量、本级水库降雨量、水位、泄洪量、前一级水库的泄洪量,用于预测第5级水库的水位,第5个LSTM特征编码层的图示如图18所示。
构建第5个LSTM特征编码层,输入尺寸为(B,H,F3)的特征向量,包含支流降雨量、本级水库降雨量、水位、泄洪量、前一级水库的泄洪量数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.4第6-第9个LSTM特征编码层
水库间的LSTM特征编码层的特征集为降雨量、泄洪量、水位,用于预测水库间流域的水位,水库间的LSTM特征编码层的图示如图19所示。
构建第6-第9个LSTM特征编码层,输入尺寸为(B,H,F4)的特征向量,包含降雨量、泄洪量、水位的数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F4为源头水库的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.5第10个LSTM特征编码层
第5级水库后面流域上游的LSTM特征编码层的特征集为降雨量、泄洪量、水位,用于预测第5级水库后面流域上游的水位,第10个LSTM特征编码层的图示如图20所示。
构建第10个LSTM特征编码层,输入尺寸为(B,H,F4)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F4为第5级水库后面流域上游的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.6第11个LSTM特征编码层
第5级水库后面流域中游的LSTM特征编码层的特征集为降雨量、上游水位、水位、泄洪量,用于预测第5级水库后面流域中游的水位,第11个LSTM特征编码层的图示如图21所示。
构建第11个LSTM特征编码层,输入尺寸为(B,H,F5)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F5为第5级水库后面流域中游的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.7第12个LSTM特征编码层
第5级水库后面流域下游的LSTM特征编码层的特征集为降雨量、中游水位、水位、泄洪量,用于预测第5级水库后面流域下游的水位,第12个LSTM特征编码层的图示如图22所示。
构建第12个LSTM特征编码层,输入尺寸为(B,H,F6)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F6为第5级水库后面流域中游的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.8第13个LSTM特征编码层
入海口的LSTM特征编码层的特征集为降雨量、下游水位、水位、潮位、泄洪量,用于预测入海口的水位,第13个LSTM特征编码层的图示如图23所示。
构建第12个LSTM特征编码层,输入尺寸为(B,H,F7)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F7为第5级水库后面流域中游的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.3.9第14个LSTM特征编码层
支流的LSTM特征编码层的特征集为降雨量、下游水位、水位、泄洪量,用于预测支流的水位,第14个LSTM特征编码层的图示如图24所示。
构建第14个LSTM特征编码层,输入尺寸为(B,H,F8)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batch size大小;H为时间长度,根据H个数据预测未来一天的数据;F8为支流的特征维度,根据具体任务设为2或6。根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F'。输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量。
9.7.4 LSTM特征的拼接
将经过14个LSTM网络表示学习后得到的特征向量表示按时间维度(第二维度)进行拼接,同时不产生新的维度,最终输出包含每个监测点历史属性的时间关联特征向量,尺寸为(B,14,F')。
9.7.5图卷积层
复制地理信息图,将包含地理位置信息与地理空间依赖关系的尺寸为(K,K)的拓扑结构图作为输入,K为节点的数量,在本示例中为14,按批次数量值进行复制操作,最终输出尺寸为(B,K,K)的特征向量矩阵。并获取拼接后的尺寸为(B,14,F')的特征向量矩阵作为特征矩阵,同时将尺寸为(B,K,K)的地理信息图作为邻接矩阵输入该层,获得包含时间特征信息与地理位置信息的拓扑结构图,一同作为如图25所示的图卷积层的特征矩阵输入,对拓扑结构图进行特征提取,最终输出尺寸为(B,14,F')的特征向量矩阵。
9.7.6重塑向量矩阵
经过图卷积之后,重塑获得的特征向量矩阵形状。即将特征提取后输出尺寸为(B,14,F')的特征向量矩阵作为重塑的对象,维度设为拼接后的向量矩阵第一维的数值与后二维度的积进行特征向量重塑,将特征变量维度合并,最终输出尺寸为(B,14*F')的向量矩阵。
9.7.7构建全连接回归预测层
接下来,构建全连接回归预测层。将重塑后尺寸为(B,14*F')的特征向量矩阵作为全连接回归预测层的特征矩阵输入,根据具体的任务1或2预测天数Z输出为1或3通过全连接神经网络计算流域多点特征预测值,通过设定输出端神经元数量K*Z,最终输出尺寸为(B,K*Z)的预测向量矩阵,当执行任务1时输出最终特征向量尺寸为(B,K),当执行任务2时输出最终特征向量尺寸为(B,K*3)。
全连接层计算公式如下:
在公式(2)中,Dj为第j个输出,f(x)为激活函数,Wji为第j个输出的第i个输入权值参数,εj为第j个输出的偏置参数,n为输入的总数。
重塑特征向量矩阵,获取全连接回归预测层输出的尺寸为(B,K*Z)的特征向量预测矩阵作为重塑特征向量矩阵的输入,维度设为拼接后的向量矩阵第一维的数值、任务所需预测天数与流域多点特征,将特征矩阵向量按原本形式重塑,最终输出尺寸为(B,Z,K)的预测向量矩阵,当执行任务1时输出尺寸为(B,1,K)的特征向量,当执行任务2时输出尺寸为(B,3,K)的特征向量,最终得到基于LSTM和GCN的流域多点水位时空关联混合模型。Z天数K节点数
output=reshape(x') (3)
其中x'∈RB*(K*Z),output∈RB*Z*K。当执行任务1时,Z=1,执行任务2时,Z=3。
9.7.8模型的可解释性
本发明采用LIME算法进行模型的解释性分析,其通过调整特征值来修改单个数据样本,并观察其对输出的影响,。它扮演着"解释者"的角色,解释每个数据样本的预测。LIME的输出是一组解释,代表特征变化对单个样本预测的贡献,这是一种局部可解释性。
9.7.8.1模型可解释性样例
图26所示是采用LIME对第一个训练样本的局部解释结果。其中t-0为降雨量;t-1为泄洪量;t-2为上游水位、t-3为下游水位。可以看出,降雨量>0.57为模型对该预测结果的主要理由。此外,排名前7的理由都与降雨量和泄洪量有关,可见降雨量和泄洪量对预测非常关键,两者在现实中也的确是影响水位变化的主要原因。
9.7.9人工智能水文模型自动化训练及本地部署
9.7.9.1多目标优化算法
9.7.9.1.1优化参数
学习率(lr):学习率表示了每次参数更新的幅度大小。
权重衰减(weight_decay):权重衰减等价于L2范数正则化.通过为模型损失函数添加惩罚项使学出的模型参数值较小,是应对过拟合的常用手段。
历史时间点数(horizon):每次输入所利用的过去特征天数。
迭代次数(epoch):模型迭代优化的次数。
小批量大小(batch_size):模型每一次前向传播所使用的数据量。改值越小模型训练所占的内存越小。越大则泛化能力越好。
LSTM单元数(LSTM_dim):所使用LSTM的隐藏单元数。
9.7.9.1.2损失函数
mse,分别计算各个监测点水位预测的mse值。
9.7.9.1.3多目标优化算法
采用NSGA2多目标优化算法对各预测点的MSE进行优化,洪水预测中我们希望对每个监测点的预测损失都进行最小化,其中第i个监测点的优化目标为:
其中,fi(·)为预测模型,θ为模型的超参数,y为监测点i的真实水位。由于无法区分每个监测点的重要性,我们的最终目标是得到一个包含所有Pareto最优解的解集,采用NSGA2算法进行优化。
NSGA2是遗传算法在多目标优化上的一个改进算法,其执行流程下图27所示。首先,随机初始化种群(包含N组超参数,每组超参数被作为种群中的一个个体),对种群中的个体进行支配等级排序,并计算每个个体的拥挤距离。随后开始循环迭代如下过程:
①选择:使用二元竞标赛选择子代种群。
②交叉:从子代种群中随机挑选两个进行特征片段的交换。
③变异:随机挑选个体选择一个特征添加扰动
④父子代合并:合并父子代种群
⑤快速非支配排序:根据个体被其他个体的支配程度进行排序。先去除不被支配的个体,取出后设为支配等级1,随后重新计算不被支配的个体,取出后设为支配等级2。重复如上操作直到个体被取完。
⑥拥挤度计算:计算个体在特征空间中的相似程度。
⑦种群保留:优先保留支配等级高的个体,如果支配等级相同,保留拥挤度低的个体。
达到最高迭代次数后算法停止。算法所优化的模型参数如下表所示。
9.7.9.1.4优化结果样例
以下为2个水位监测点的优化示例结果
执行NSGA2得到的20组参数及结果如下:
(1)lr:0.00564 weight_decay:8.61e-05 batch_size:40.0 LSTM_dim:813.0GCN_dim:439.0 horizon:5.0
上游MSE:0.22716543 下游MSE:0.57048744 MSE:0.3988264551188978MAE0.3778148333231608 MAPE:3.0503401525654934RMSE:0.42873327349372664
(2)lr:0.00564 weight_decay:5.48e-05 batch_size:40.0 LSTM_dim:813.0GCN_dim:496.0 horizon:9.0
上游MSE:0.2279959 下游MSE:0.53503615 MSE:0.3815160588614092MAE0.38212082530912117 MAPE:3.1159022247974466 RMSE:0.4355642505396182
(3)lr:0.00335 weight_decay:3.67e-05 batch_size:40.0 LSTM_dim:1011.0GCN_dim:734.0 horizon:11.0
上游MSE:0.48400804 下游MSE:0.48400804 MSE:0.3853945739343355MAE0.3940860013492772 MAPE:3.187164661342207 RMSE:0.4427107423326089
(4)lr:0.00529 weight_decay:9.4e-05 batch_size:17.0 LSTM_dim:701.0GCN_dim:941.0 horizon:6.0
上游MSE:0.26646888 下游MSE:0.5177403 MSE:0.3921045970463693MAE0.39709113579428656 MAPE:3.204122765210987 RMSE:0.446852899005205
(5)lr:0.00274 weight_decay:2.17e-05 batch_size:6.0 LSTM_dim:663.0GCN_dim:542.0 horizon:25.0
上游MSE:0.23115668 下游MSE:0.5295573 MSE:0.3803569391385171MAE0.37207211766924175 MAPE:2.9984543937933887 RMSE:0.42338659299524617
(6)lr:0.00335 weight_decay:3.67e-05 batch_size:40.0 LSTM_dim:1011.0GCN_dim:734.0 horizon:11.0
上游MSE:0.27347666 下游MSE:0.51694274 MSE:0.3952096546304322MAE0.3831013512741673 MAPE:3.055154519153077 RMSE:0.43281374764219815
(7)lr:0.00893 weight_decay:8.86e-05 batch_size:24.0 LSTM_dim:903.0GCN_dim:777.0 horizon:26.0
上游MSE:0.32252112 下游MSE:0.49825975 MSE:0.41039045343775515MAE0.39614294387482024 MAPE:3.166668232182389 RMSE:0.4459838405009266
(8)lr:0.00335 weight_decay:5.8e-06 batch_size:40.0 LSTM_dim:1011.0GCN_dim:734.0 horizon:5.0
上游MSE:0.23155984 下游MSE:0.5898838 MSE:0.4107218199791959MAE0.40509805732599186 MAPE:3.286213788474447 RMSE:0.4577358315647619
(9)lr:0.00335 weight_decay:8.61e-05 batch_size:40.0 LSTM_dim:813.0GCN_dim:734.0 horizon:9.0
上游MSE:0.32925123 下游MSE:0.5065815 MSE:0.41791637903992707MAE0.4137400685094338 MAPE:3.3166978980327095 RMSE:0.463936558502384
(10)lr:0.00335 weight_decay:5.8e-06 batch_size:40.0 LSTM_dim:1011.0GCN_dim:734.0 horizon:5.0
上游MSE:0.4898701 下游MSE:0.4898701 MSE:0.37116387077932794MAE0.3787870433304336 MAPE:3.0398356742967576 RMSE:0.42743030720533964
(11)lr:0.00335 weight_decay:3.67e-05 batch_size:40.0 LSTM_dim:918.0GCN_dim:439.0 horizon:5.0
上游MSE:0.29680675 下游MSE:0.56771636 MSE:0.43226158983240437MAE0.40668551308768136 MAPE:3.2363251910012747 RMSE:0.45783674410596087
(11)lr:0.00335 weight_decay:3.67e-05 batch_size:40.0 LSTM_dim:813.0GCN_dim:734.0 horizon:5.0
上游MSE:0.2344254 下游MSE:0.6151673 MSE:0.4247963516587618MAE0.3965775979963761 MAPE:3.216877072404383 RMSE:0.4482558014840676
(13)lr:0.00335 weight_decay:3.67e-05 batch_size:40.0 LSTM_dim:1011.0GCN_dim:734.0 horizon:11.0
上游MSE:0.49131295 下游MSE:0.49131295 MSE:0.39850794684900165MAE0.3958310481629085 MAPE:3.1912630731799725 RMSE:0.4457072539526894
(14)lr:0.00423 weight_decay:4.11e-05 batch_size:40.0 LSTM_dim:858.0GCN_dim:439.0 horizon:25.0
上游MSE:0.24196307 下游MSE:0.5983145 MSE:0.42013880905926787MAE0.39322388771525973 MAPE:3.171086293780479 RMSE:0.447468411663294
(15)lr:0.00529 weight_decay:3.67e-05 batch_size:42.0 LSTM_dim:1011.0GCN_dim:734.0 horizon:2.0
上游MSE:0.25692225 下游MSE:0.62590927 MSE:0.44141575790542575MAE0.39945294516427177 MAPE:3.209104774652847 RMSE:0.45182712914355094
(16)lr:0.00335 weight_decay:9.4e-05 batch_size:83.0 LSTM_dim:701.0GCN_dim:734.0 horizon:6.0
上游MSE:0.49164027 下游MSE:0.49164027 MSE:0.3694720173071191MAE0.3742868795499697 MAPE:2.9918673462336782 RMSE:0.42425697782857913
(17)lr:0.00335 weight_decay:9.4e-05 batch_size:83.0 LSTM_dim:701.0GCN_dim:734.0 horizon:6.0
上游MSE:0.25074235 下游MSE:0.6273782 MSE:0.4390603042130915MAE0.40787132359083805 MAPE:3.262210590114515 RMSE:0.46383323586639597
(18)lr:0.00335 weight_decay:4.11e-05 batch_size:40.0 LSTM_dim:858.0GCN_dim:734.0 horizon:6.0
上游MSE:0.29804286 下游MSE:0.9731442 MSE:0.6355934914639169MAE0.532789967750591 MAPE:4.233153308410951 RMSE:0.6062737837680313
(19)lr:0.00335 weight_decay:9.4e-05 batch_size:83.0 LSTM_dim:701.0GCN_dim:734.0 horizon:6.0
上游MSE:0.49210173 下游MSE:0.49210173 MSE:0.39951329889774156MAE0.4011096243041655 MAPE:3.218268995682673 RMSE:0.45038213586551795
(20)lr:0.00564 weight_decay:8.61e-05 batch_size:94.0 LSTM_dim:813.0GCN_dim:439.0 horizon:9.0
上游MSE:0.31350014 下游MSE:0.6277734 MSE:0.47063675683058265MAE0.4134969139099121 MAPE:3.2872380577027798 RMSE:0.46933441038493456
9.7.9.2模型训练核心流程
模型训练固定的epoch数量,每个epoch将所有训练数据分批次(batch)输入LSTM_GCN模型,并根据MSE损失函数进行反向传播更新参数。训练数据每全部训练完成一次(即一个epoch),对所有测试数据进行测试,计算测试数据预测结果和真实值的MAE、MSE、MAPE等评价指标,以MSE为基准挑选训练最好的模型。当所有epoch执行完毕,返回最好的模型和该模型上的测试结果。训练过程的流程图如图28所示。
9.7.9.3模型自动化训练及本地部署
水库行业涉及的传感器种类多,需要训练和部署的模型数量多,并且在项目建设初期数据量都比较小,需要随着数据量的增多,和环境的变化不断训练和部署模型,模型训练和部署不是一劳永逸的工作,靠人工难免出现差错,本发明研发一套模型的自动训练和部署平台,调度模型的自动化训练与部署,减少模型训练更新部署的人为干预,节约模型训练、部署成本,提高模型更新部署的效率及安全性。人工智能水文模型自动化训练和部署流程如图29所示。
下面对本发明涉及的LSTM、GCN、VMD变分模态分解特征构造、降雨量滞后特征构造、泄洪量滞后特征构造以及LIME作进一步描述。
1、LSTM
LSTM(Long Short Term Memory)是循环神经网络的变形结构,即在普通RNN基础上,在隐藏层各神经单元中增加记忆单元,从而使时间序列上的记忆信息可控,每次在隐藏层各单元间传递时通过几个可控门(遗忘门、输入门、候选门、输出门),可以控制之前信息和当前信息的记忆和遗忘程度,从而使RNN网络具备了长期记忆功能,对于RNN的实际应用,有巨大作用。
LSTM引入了三个门限:输入门i<t>、遗忘门f<t>、输出门o<t>;引入了表征长期记忆的细胞态c<t>、引入了等待存入长期记忆的候选态C<t>,三个门限都是当前时刻的输入特征x<t>和上个时刻的短期记忆a<t-1>的函数,分别表示为:
输入门:i<t>=σ(Wi[a<t-1>,x<t>]+bi),决定了多少比例的信息会存入当前细胞态;
遗忘门:f<t>=σ(Wf[a<t-1>,x<t>]+bf),将细胞态中的信息选择性的遗忘;
输出门:o<t>=σ(Wo[a<t-1>,x<t>]+bo),将细胞态中的信息选择性的输出;
候选态:C<t>=tanh(WC[a<t-1>,x<t>]+bc),表示归纳出的待存入细胞态的新知识;
细胞态:c<t>=i<t>*C<t>+f<t>*c<t-1>,表示长期记忆;
记忆体:a<t>=o<t>*tanhc<t>,表示短期记忆。
LSTM架构如图30所示。
2、GCN
图卷积神经网络(Graph Convolution Networks,GCN),其灵感源于深度学习中的卷积神经网络CNN。CNN具有局部连接和权值共享两大特性,其利用参数共享的卷积核对感受野进行卷积,从而达到提取特征的目的。图结构是没有规律的非欧式空间,不具有平移不变性,因此,CNN无法使用。图神经网络为此发展出图卷积神经网络,核心思想是利用边的信息对节点信息进行聚合从而生成新的节点表示。
假设有一个图G(A,X),A为邻接矩阵,X为节点特征,(In为单位矩阵,对角矩阵D可由邻接矩阵得到),L为对称归一化图拉普拉斯矩阵用以描述图原始的拓扑特征。基于此有谱图卷积:gθ*Gx=UgθUTx,(其中gθ=diag(θ),*G为算子,U为拉普拉斯特征向量,UTx为在图上的傅里叶变换),其原理是将特征投影到谱域卷积,卷积后再傅里叶逆变换回原来空间。一个图谱卷积形式的图卷积层可以被定义为:
其中,L为当前的卷积层数,W和b分别为可训练的权重矩阵和偏置向量。
3、VMD变分模态分解特征构造
VMD模型是一种新的信号分析方法,是一种可以将信号分解为一定数量的包含有限带宽信息的本征模态函数BLIMF(band-limited intrinsic mode functions)的完全非递归方法,每个BLIMF包含原信号一定的特征信息。更重要的是,它克服了离散小波变换(DWT)、经验模态分解(EMD)、局域均值分解(LMD)等模式中存在的模态混合、不能正确地消除附加噪声和确定本征模态函数(IMF)个数的问题;而且VMD是针对频谱进行分析的,对噪音具有很强的鲁棒性,处理具有波动性的水位流量数据有很好的效果。VMD方法的目标是将原始序列分解为一定数量的具有原序列数据特定信息的BLIMF;基本原理是将原始序列构建的变分问题通过不断迭代的方式求取分解分量以及对应频率中心的最佳值,以实现原始序列的分解;具体方法执行分为VMD模型的构建过程以及其解析过程两部分,首先将原始序列构建成包含分解分量以及对应的中心频率的变分约束问题,之后通过迭代的方式进行求解,最终得到多个BLIMF以及对应的中心频率。将主要的中心频率的分解分量纳入原始特征辅助预测。
每个原始序列都可视为由具有不同中心频率的分解分量组成,因此可由分量及其对应的中心频率构建变分方程。变分方程的原则是分解分量的带宽之和,最小约束条件是分解分量之和等于原始序列。具体构建过程如下:
首先通过希尔伯特变化将变量Unk(t)转化为具有单边频谱的分析信号U’nk(t):
之后将分析信号U’nk(t)与指数调谐项e-jwkt相乘,将单边频谱向下移至0频率基带。最后根据高斯估计(即平方L2范数)来解调信息的平滑度,得到每个BLIMF的宽带。其中{Unk}:={Un1,...,Unk},是第n个变量分解的k个分量的集合。{ωnk}:={ωn1,...,ωnk}是第n个变量分解的分量对应的中心频率的集合,f是原始序列。
4、降雨量滞后特征构造
降雨量特征构造如图31所示。流域基本水位序列Wu、Wd保持不动,将rT(1)序列整体往后移动1个时间单位,得到rT(2)序列,依此类推,得到rT(N)序列。
物理含义:在t1时刻的雨量a,由于流域的地形、降雨、土壤、植被等自然因素,会对t2,t3,...,tn时刻的上游监测点的水位产生滞后的影响,降雨量对水位的影响具有滞后性和持续性等特点,由此可以构造出rT(1)...rT(N)等特征。
5、泄洪量滞后特征构造
上游水位滞后特征构造如图32所示。流域上下游水位序列wu、wd保持不动,将f(1)序列整体往后移动1个时间单位,得到f(2)序列,依此类推,得到f(N)序列,f(1),f(2),...,f(N)构成了泄洪量的滞后特征集。
在初始t1时刻的水库泄洪量f1,由于流域的地形、土壤、植被和上下游的距离等自然因素,会对t2,t3,...,tm(在此实例中m=9,等于构造的滞后特征数)时刻的下游监测点的水位产生滞后的影响,在最后t13时刻的流域上游水位x13,由于流域的地形、土壤、植被和上下游的距离等自然因素,会对t14,t15,...,tn时刻的下游监测点的水位产生滞后的影响,泄洪量对上下游水位的影响具有滞后性和持续性等特点,由此可以构造出f(1),f(2),...,f(N)等特征,n的初始选择可以稍微大一点,后面可以通过相关系数进行初步筛选。
6、LIME
LIME全称Local Interpretable Model-Agnostic Explanations,由MarcoRibeiro,Sameer Singh和Carlos Guestrin三个人在2016年《“Why Should I Trust You?”Explaining the Predictions of Any Classififier》这一文中提出来的,是一种事后解析方法,即在建立模型之后所做的解释。LIME架构如图33所示。LIME在训练完模型后给出模型的解释,解释结果可以用于判断模型是否出错。如果出错,我们将结果反馈到模型当中,重新训练模型;如果无误,则将结果用于落地实施。LIME的名称很好的反映了它的特点:
Local:基于想要解释的预测值及其附近的样本,构建局部的线性模型或其他代理模型;
Interpretable:LIME做出的解释易被人类理解。利用局部可解释的模型对黑盒模型的预测结果进行解释,构造局部样本特征和预测结果之间的关系;
Model-Agnostic:LIME解释的算法与模型无关,无论是用Random Forest、SVM还是XGBoost等各种复杂的模型,得到的预测结果都能使用LIME方法来解释;
Explanations:LIME是一种事后解析方法。
LIME可处理不同类型的输入数据,如表格数据(Tabular Data)、图像数据(ImageData)或文本数据(Text Data)。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作其它形式的限制,任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型,仍属于本发明技术方案的保护范围。
Claims (9)
1.一种基于人工智能水文模型的流域洪水预测方法,其特征在于,包括:
建立待预测流域的流域拓扑;根据防洪需求,基于流域拓扑建立流域的监测点,并在监测点上布设雨量站以及包括水位计、流量计和流速计的传感器,获取监测点上的降雨量、泄洪量、上游水位及潮汐数据;
构建结合变分模态分解、LSTM和图神经网络的人工智能水文模型,以挖掘流域水位跟降雨量、泄洪量、上游水位和潮汐关系;输入监测点上的降雨量、泄洪量、上游水位和潮汐数据,先进行数据预处理,然后采用变分模态分解对水位特征进行模态分解,构造滞后特征,再通过LSTM提取时序特征,接着通过图卷积神经网络对流域拓扑结构图进行特征提取,而后重塑特征向量矩阵,并通过全连接回归预测层输出预测水位;
通过构建的人工智能水文模型进行流域洪水预测。
2.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,所述数据预处理包括异常值处理、缺失值处理和数据归一化处理;在完成数据的异常值、缺失值处理后,为规范数据,加快模型的训练,剔除量纲对模型的影响,对每个监测点的所有数据依次进行归一化处理,将数据映射到0和1之间:
式中,X为待归一化数据,Xmin和Xmax分别表示待归一化数据中的最大值和最小值,最终将数据映射到0和1之间后,作为特征数据输入模型进行训练。
3.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,输入的数据需要执行两个任务:任务1是以当天源头水库泄洪量和降雨量、流域多点K个监测点水位作为一个时间点的特征,通过过去N天的特征预测未来一天中K个监测点的水位;任务2是以当天源头水库未来三天泄洪量和降雨量、流域多点K个监测点作为一个时间点的特征,通过过去N个时间点的特征完成对未来三天流域K个监测点的水位的预测;
将数据处理成符合模型输入格式:多个监测点的特征被分别处理为F*D形状的矩阵,其中F为特征维度:任务1时为K+2,水库特征降雨量和泄洪量,K个监测点特征水位;任务2时为K+6,未来三天水库特征降雨量和泄洪量,K个监测点特征水位;D为总天数;随后使用一个大小为N的输入滑动窗口,在时间流逝方向进行滑动,滑动步长为1,N即为过去天数,每滑动一个步长形成新的样本特征,作为模型的输入;使用一个大小为1或3的标签滑动窗口在时间流逝方向进行滑动,每滑动一个步长形成新的样本标签,标签值为一天或三天监测点特征的水位值;流域水位数据集前70%部分作为训练集,后30%部分作为测试集。
4.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,为将地理信息融入图拓扑结构,将地图中每个监测点视为图中的一个节点,遍历每个监测点,将其和其欧氏距离最近的监测点相连接,如果该条边已经存在,则遍历下一个监测点,以此构建出邻接矩阵进而计算度矩阵与拉普拉斯矩阵,获得包含地理位置信息与地理空间依赖关系的拓扑结构图,最终输出尺寸为(K,K)的邻接矩阵。
5.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,构建14个LSTM特征编码层进行时序特征提取;
第1个LSTM特征编码层的特征集为降雨量、水位、泄洪量,用于预测第一级水库的水位;构建第1个LSTM特征编码层,输入尺寸为(B,H,F1)的特征向量,包含第一级水库降雨量、泄洪量、第一级水库水位数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第2-4个LSTM特征编码层的特征集为降雨量、水位、泄洪量、前一级水库的泄洪量,用于预测第2-4级水库的水位;构建第2-4个LSTM特征编码层,输入尺寸为(B,H,F2)的特征向量,包含降雨量、泄洪量、水位和前一级水库的泄洪量数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第5个LSTM特征编码层的特征集为支流降雨量、本级水库降雨量、水位、泄洪量、前一级水库的泄洪量,用于预测第5级水库的水位;构建第5个LSTM特征编码层,输入尺寸为(B,H,F3)的特征向量,包含支流降雨量、本级水库降雨量、水位、泄洪量、前一级水库的泄洪量数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第6-9个LSTM特征编码层,即水库间的LSTM特征编码层的特征集为降雨量、泄洪量、水位,用于预测水库间流域的水位;构建第6-9个LSTM特征编码层,输入尺寸为(B,H,F4)的特征向量,包含降雨量、泄洪量、水位的数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F4为源头水库的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第10个LSTM特征编码层,即第5级水库后面流域上游的LSTM特征编码层的特征集为降雨量、泄洪量、水位,用于预测第5级水库后面流域上游的水位;构建第10个LSTM特征编码层,输入尺寸为(B,H,F4)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F4为第5级水库后面流域上游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第11个LSTM特征编码层,即第5级水库后面流域中游的LSTM特征编码层的特征集为降雨量、上游水位、水位、泄洪量,用于预测第5级水库后面流域中游的水位;构建第11个LSTM特征编码层,输入尺寸为(B,H,F5)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F5为第5级水库后面流域中游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第12个LSTM特征编码层,即第5级水库后面流域下游的LSTM特征编码层的特征集为降雨量、中游水位、水位、泄洪量,用于预测第5级水库后面流域下游的水位;构建第12个LSTM特征编码层,输入尺寸为(B,H,F6)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F6为第5级水库后面流域中游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第13个LSTM特征编码层,即入海口的LSTM特征编码层的特征集为降雨量、下游水位、水位、潮位、泄洪量,用于预测入海口的水位;构建第13个LSTM特征编码层,输入尺寸为(B,H,F7)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F7为第5级水库后面流域中游的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
第14个LSTM特征编码层,即支流的LSTM特征编码层的特征集为降雨量、下游水位、水位、泄洪量,用于预测支流的水位;构建第14个LSTM特征编码层,输入尺寸为(B,H,F8)的特征向量,包含降雨量、泄洪量、水位数据信息,其中,B为batchsize大小;H为时间长度,根据H个数据预测未来一天的数据;F8为支流的特征维度,根据具体任务设为2或6;根据输入数据设置LSTM网络层的输入维度,同时给定LSTM网络的输出维度F';输入数据经过LSTM网络层后,取最后时刻的特征表示作为网络的输出,最终输出尺寸为(B,1,F')的特征向量;
将经过14个LSTM网络表示学习后得到的特征向量表示按时间维度进行拼接,同时不产生新的维度,最终输出包含每个监测点历史属性的时间关联特征向量,尺寸为(B,14,F')。
6.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,复制地理信息图,将包含地理位置信息与地理空间依赖关系的尺寸为(K,K)的拓扑结构图作为输入,按批次数量值进行复制操作,最终输出尺寸为(B,K,K)的特征向量矩阵;并获取拼接后的尺寸为(B,14,F')的特征向量矩阵作为特征矩阵,同时将尺寸为(B,K,K)的地理信息图作为邻接矩阵输入该层,获得包含时间特征信息与地理位置信息的拓扑结构图,一同作为图卷积层的特征矩阵输入,对拓扑结构图进行特征提取,最终输出尺寸为(B,14,F')的特征向量矩阵。
7.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,经过图卷积之后,重塑获得的特征向量矩阵形状;即将特征提取后输出尺寸为(B,14,F')的特征向量矩阵作为重塑的对象,维度设为拼接后的向量矩阵第一维的数值与后二维度的积进行特征向量重塑,将特征变量维度合并,最终输出尺寸为(B,14*F')的向量矩阵;
然后构建全连接回归预测层;将重塑后尺寸为(B,14*F')的特征向量矩阵作为全连接回归预测层的特征矩阵输入,根据具体的任务1或2预测天数Z输出为1或3通过全连接神经网络计算流域多点特征预测值,通过设定输出端神经元数量K*Z,最终输出尺寸为(B,K*Z)的预测向量矩阵,当执行任务1时输出最终特征向量尺寸为(B,K),当执行任务2时输出最终特征向量尺寸为(B,K*3);
全连接层计算公式如下:
式中,Dj为第j个输出,f(x)为激活函数,Wji为第j个输出的第i个输入权值参数,εj为第j个输出的偏置参数,n为输入的总数;
重塑特征向量矩阵,获取全连接回归预测层输出的尺寸为(B,K*Z)的特征向量预测矩阵作为重塑特征向量矩阵的输入,维度设为拼接后的向量矩阵第一维的数值、任务所需预测天数与流域多点特征,将特征矩阵向量按原本形式重塑,最终输出尺寸为(B,Z,K)的预测向量矩阵,当执行任务1时输出尺寸为(B,1,K)的特征向量,当执行任务2时输出尺寸为(B,3,K)的特征向量,最终得到基于LSTM和GCN的流域多点水位时空关联混合模型;
output=reshape(x')
其中,x'∈RB*(K*Z),output∈RB*Z*K,Z表示天数,K表示节点数;当执行任务1时,Z=1,执行任务2时,Z=3。
8.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,采用LIME算法进行模型的解释性分析,其通过调整特征值来修改单个数据样本,并观察其对输出的影响;LIME的输出是一组解释,代表特征变化对单个样本预测的贡献。
9.根据权利要求1所述的基于人工智能水文模型的流域洪水预测方法,其特征在于,采用NSGA2多目标优化算法对各预测点的MSE进行优化,洪水预测中希望对每个监测点的预测损失都进行最小化,其中第i个监测点的优化目标为:
其中,fi(·)为预测模型,θ为模型的超参数,y为监测点i的真实水位;由于无法区分每个监测点的重要性,最终目标是得到一个包含所有Pareto最优解的解集,采用NSGA2算法进行优化;
NSGA2多目标优化算法首先随机初始化种群,包含N组超参数,每组超参数被作为种群中的一个个体,对种群中的个体进行支配等级排序,并计算每个个体的拥挤距离;随后开始循环迭代如下过程:
1)选择:使用二元竞标赛选择子代种群;
2)交叉:从子代种群中随机挑选两个进行特征片段的交换;
3)变异:随机挑选个体选择一个特征添加扰动;
4)父子代合并:合并父子代种群;
5)快速非支配排序:根据个体被其他个体的支配程度进行排序;先去除不被支配的个体,取出后设为支配等级1,随后重新计算不被支配的个体,取出后设为支配等级2;重复如上操作直到个体被取完;
6)拥挤度计算:计算个体在特征空间中的相似程度;
7)种群保留:优先保留支配等级高的个体,如果支配等级相同,保留拥挤度低的个体;
达到最高迭代次数后停止迭代。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237364.0A CN116989749A (zh) | 2023-03-13 | 2023-03-13 | 基于人工智能水文模型的流域洪水预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310237364.0A CN116989749A (zh) | 2023-03-13 | 2023-03-13 | 基于人工智能水文模型的流域洪水预测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116989749A true CN116989749A (zh) | 2023-11-03 |
Family
ID=88532802
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310237364.0A Pending CN116989749A (zh) | 2023-03-13 | 2023-03-13 | 基于人工智能水文模型的流域洪水预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116989749A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236199A (zh) * | 2023-11-14 | 2023-12-15 | 水利部交通运输部国家能源局南京水利科学研究院 | 城市水网区域河湖水质提升与水安全保障方法及系统 |
CN117744504A (zh) * | 2024-02-20 | 2024-03-22 | 成都理工大学 | 一种泄洪雾化雨强度分析模型建立方法和装置 |
-
2023
- 2023-03-13 CN CN202310237364.0A patent/CN116989749A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117236199A (zh) * | 2023-11-14 | 2023-12-15 | 水利部交通运输部国家能源局南京水利科学研究院 | 城市水网区域河湖水质提升与水安全保障方法及系统 |
CN117236199B (zh) * | 2023-11-14 | 2024-02-09 | 水利部交通运输部国家能源局南京水利科学研究院 | 城市水网区域河湖水质提升与水安全保障方法及系统 |
CN117744504A (zh) * | 2024-02-20 | 2024-03-22 | 成都理工大学 | 一种泄洪雾化雨强度分析模型建立方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Barzegar et al. | Forecasting of groundwater level fluctuations using ensemble hybrid multi-wavelet neural network-based models | |
Haghizadeh et al. | Forecasting flood-prone areas using Shannon’s entropy model | |
Nourani et al. | Hybrid wavelet-M5 model tree for rainfall-runoff modeling | |
Sun et al. | Data-driven models for accurate groundwater level prediction and their practical significance in groundwater management | |
Hung et al. | An artificial neural network model for rainfall forecasting in Bangkok, Thailand | |
CN116989749A (zh) | 基于人工智能水文模型的流域洪水预测方法 | |
Kakahaji et al. | Prediction of Urmia Lake water-level fluctuations by using analytical, linear statistic and intelligent methods | |
Gholami et al. | Comparison of self-organizing map, artificial neural network, and co-active neuro-fuzzy inference system methods in simulating groundwater quality: geospatial artificial intelligence | |
Bai et al. | Short-term streamflow forecasting using the feature-enhanced regression model | |
Tayyab et al. | Discharge forecasting by applying artificial neural networks at the Jinsha River Basin, China | |
Khan et al. | Estimation of suspended sediment load using three neural network algorithms in Ramganga River catchment of Ganga Basin, India | |
Bai et al. | Groundwater potential mapping in hubei region of china using machine learning, ensemble learning, deep learning and automl methods | |
Li et al. | A method of rainfall runoff forecasting based on deep convolution neural networks | |
Chen et al. | CRML: A convolution regression model with machine learning for hydrology forecasting | |
CN114861277A (zh) | 一种长时序国土空间功能与结构模拟方法 | |
CN115310532A (zh) | 一种基于时空关联混合深度学习模型的流域多点预测预警方法 | |
Trivedi et al. | Flood forecasting using the avenue of models | |
Lu et al. | Development and application of a GIS-based artificial neural network system for water quality prediction: A case study at the Lake Champlain area | |
Yu et al. | The study of artificial intelligence for predicting land use changes in an arid ecosystem | |
CN114372631A (zh) | 一种基于小样本学习和lstm的缺资料地区径流预测方法 | |
Asati et al. | Comparative study of stream flow prediction models | |
Karimi et al. | Monthly rainfall prediction using ARIMA and gene expression programming: A case study in Urmia, Iran | |
Patil et al. | Prediction of sediment deposition in reservoir using artificial neural networks | |
Basin | Adaptive neuro fuzzy inference system for monthly groundwater level prediction in Amaravathi river minor basin | |
Lee et al. | Improving applicability of neuro-genetic algorithm to predict short-term water level: a case study |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |