CN114386686A - 一种基于改进lstm的流域水质短期预测方法 - Google Patents
一种基于改进lstm的流域水质短期预测方法 Download PDFInfo
- Publication number
- CN114386686A CN114386686A CN202111659799.1A CN202111659799A CN114386686A CN 114386686 A CN114386686 A CN 114386686A CN 202111659799 A CN202111659799 A CN 202111659799A CN 114386686 A CN114386686 A CN 114386686A
- Authority
- CN
- China
- Prior art keywords
- water quality
- lstm
- gate
- term
- short
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 claims abstract description 62
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 52
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 33
- 231100000719 pollutant Toxicity 0.000 claims abstract description 33
- 238000013508 migration Methods 0.000 claims abstract description 29
- 230000005012 migration Effects 0.000 claims abstract description 29
- 230000015556 catabolic process Effects 0.000 claims abstract description 27
- 238000006731 degradation reaction Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 26
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 33
- 238000004364 calculation method Methods 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 238000009826 distribution Methods 0.000 claims description 26
- 230000004913 activation Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 9
- 239000000356 contaminant Substances 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 210000004027 cell Anatomy 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000004088 simulation Methods 0.000 abstract description 19
- 230000008859 change Effects 0.000 abstract description 7
- 238000011156 evaluation Methods 0.000 description 10
- 238000005457 optimization Methods 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010835 comparative analysis Methods 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007787 long-term memory Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000003647 oxidation Effects 0.000 description 1
- 238000007254 oxidation reaction Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Human Resources & Organizations (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Public Health (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于改进LSTM的流域水质短期预测方法，包括：构建基于改进LSTM的水质短期预测模型；其中，改进LSTM算法包括：一方面，在LSTM前端构建能够获取不同监测断面水质空间关联性的状态单元，提取不同监测断面水质的空间关联特征；一方面，将污染物在水体中运移的降解系数引入LSTM的权重更新机制，使LSTM中包含污染物运移信息；对构建的基于改进LSTM的水质短期预测模型进行训练；利用训练好的水质短期预测模型对流域水质进行短期预测，并对预测结果进行评估。本发明结合水环境的演变规律，构建改进的LSTM网络，用于流域水质短期预测，预测结果与水质实际变化具有高匹配性，模型具备较好的模拟能力。
Description
技术领域
本发明涉及流域水质预测技术领域，特别涉及一种基于改进LSTM的流域水质短期预测方法。
背景技术
流域水质问题是流域水环境管理的重要内容，解决水质问题的主要措施包括水质监测、水环境监管和水质预测等。近年来，随着我国水污染治理相关政策的出台和生态环境大数据的快速发展，逐步增强了对流域污染源和水质状况的监测监管能力，极大地减缓了流域水质问题的发生。
同时，流域水质时空连续预测技术作为预防流域水质问题的重要抓手、应对突发水污染事件的决策支持和跟踪流域水质变化的重要手段，已成为流域水环境管理不可或缺的帮手。当前，生态环境大数据技术在数据存储体量、数据处理类型和数据计算速率等方面均取得了突破性进展，由此给流域水质预测提出了准确、高效、实时和时空连续的新要求。
其中，流域水质短期预测是水环境管控的重要决策支持技术，然而传统的水质预测技术(统计学法、水质模型等)存在机理模型建模难、数据实时更新慢、物理方程参数多、计算效率低和较难实现水质短期预测等问题，不适应大数据背景下对流域水质短期预测的要求。
发明内容
本发明的目的在于提供一种基于改进LSTM的流域水质短期预测方法，将离散要素的空间关联特征提取机制与污染物降解参数引入传统LSTM算法(Long Short Term MemoryNetwork，LSTM)中，得到改进的长短时记忆网络(Improved Long Short Term MemoryNetwork，Im-LSTM)，并由此实现对流域流域离散断面水质的短期(7日)预测，为流域水环境监管提供有力的技术支撑。
为解决上述技术问题，本发明的实施例提供如下方案：
一种基于改进LSTM的流域水质短期预测方法，包括以下步骤：
S1、构建基于改进LSTM的水质短期预测模型；
其中，改进LSTM算法包括：一方面，在LSTM前端构建能够获取不同监测断面水质空间关联性的状态单元，提取不同监测断面水质的空间关联特征；另一方面，将污染物在水体中运移的降解系数引入LSTM的权重更新机制，使LSTM中包含污染物运移信息；
S2、对构建的基于改进LSTM的水质短期预测模型进行训练；
S3、利用训练好的水质短期预测模型对流域水质进行短期预测，并对预测结果进行评估。
优选地，所述步骤S1中，构建基于改进LSTM的水质短期预测模型包括采集模型数据并进行数据处理、构建基于改进LSTM的模型框架、以及对模型进行评估。
优选地，所述采集模型数据并进行数据处理包括：
以流域水文、水质和气象数据作为多维数据集，进行模型数据采集；
对于采集的模型数据，在空间上按流域的上、中、下游进行划分，在时间上按连续7天监测数据划分为一个样本，同时将4个连续样本构成一组样本单元，即水质短期预测以连续28天的水文、水质和气象数据为模型训练的基础；
采用Min-Max Normalization算法对所有数据进行归一化，以消除不同数据之间的量级差异。
优选地，所述构建基于改进LSTM的模型框架具体包括：
采用Java和Python语言对水质短期预测模型进行编码实现，通过TensorFlow库的基本功能模块搭建水质短期预测模型框架，并对Keras库的LSTM模块进行编码改进，以实现改进LSTM算法在Keras中的应用。
优选地，所述改进LSTM算法中，在LSTM前端构建能够获取不同监测断面水质空间关联性的状态单元具体包括：
在LSTM前端构建迁移门和分布门，具体计算公式如下：
dt＝σ(Wd.[X′t,xt]+bd) (2)
其中mt是迁移门，dt是分布门，Wm是迁移门的权重矩阵，Wd是分布门的权重矩阵，bm是迁移门的偏置项，bd是分布门的偏置项，xt是计算监测位置当前时刻输入项，x't-1是其它监测位置上一时刻输入项，x't是其它监测位置当前时刻输入项，X't是其它监测位置当前时刻输入项矩阵，Eu(x',x)是计算监测位置与其它监测位置的欧氏距离，max()和σ是激活函数。
优选地，所述改进LSTM算法中，将污染物在水体中运移的降解系数引入LSTM的权重更新机制具体包括：
将污染物的降解系数引入LSTM的输入门，所述污染物为COD和NH3-N，污染物的降解方程如下：
其中SCi是污染物量，Ci是水质组分i的浓度，Ki是水质组分i的一阶降解系数；
LSTM的遗忘门、输入门和输出门的算法方程如下：
ft＝σ(Wf·[ht-1，xt]+bf) (4)
it＝σ(Wi·[ht-1,xt]+bi) (6)
ot＝σ(Wo·[ht-1,xt]+bo) (9)
式中，ft是遗忘门；it是输入门；
是当前输入单元状态；ct是当前时刻的单元状态；ot是输出门；ht是LSTM最终输出；Wf是遗忘门的权重矩阵，包括Wfh和Wfx；Wfh是对应输入项ht-1的权重矩阵；Wfx是对应输入项Xt的权重矩阵；[ht-1,Xt]表示把两个向量连接成一个更长的向量；bf是遗忘门的偏置项；σ是激活函数；Wi是输入门的权重矩阵；bi是输入门的偏置项；Wc是当前输入单元状态
的权重矩阵；bc是当前输入单元状态
的偏置项；Wo是输出门的权重矩阵；bo是输出门的偏置项；tanh()是激活函数；
表示按元素乘；
将式(3)的降解系数引入式(6)可得到新的输入门方程，
it＝σ(Ki·Wi·[ht-1,xt]+bi) (11)
将式(1)和式(2)引入式(10)可得到新的最终输出方程，
优选地，所述对模型进行评估包括：
采用决定系数和均方误差对水质短期预测结果进行评估，具体计算方法如下：
其中R2是决定系数，MSE是均方误差，N是样本数量，yn为实际值，
为预测值。
优选地，所述步骤S2中，对构建的基于改进LSTM的水质短期预测模型进行训练具体包括：
通过反向传播算法对改进LSTM网络进行训练，包括：
对神经网络中的各个神经元进行记忆单元的计算，所述记忆单元包括遗忘门ft、输入门it、输出门ot、迁移门mt、分布门dt向量的值；
通过反向计算对各神经元的误差项δ进行计算，进而通过迭代计算减小误差；改进LSTM误差项的反向计算方法为沿时序信息的时间轴和神经网络的层级两个传播方向进行误差计算，并根据相应的误差项，计算每个权重的梯度，具体计算公式如下：
式(15)为误差项向前传递到任意k时刻的公式，其中：
分别表示j时刻输出门、遗忘门、输入门、单元状态、迁移门和分布门的误差项；Woh、Wfh、Wih、Wch、Wmh、Wdh分别表示输出门、遗忘门、输出门、单元状态、迁移门和分布门对应输入项ht-1的权重矩阵；式(16)为误差传递到上一层的公式，其中：E是误差函数；Wix、Wfx、Wox、Wcx分别表示输出门、遗忘门、输出门和单元状态对应输入项Xt的权重矩阵；
是l-1层的
f'()表示激活函数的导数。
优选地，所述基于改进LSTM的水质短期预测模型采用5层神经网络，其中4层为改进LSTM层，最后接全连接层，模型中采用的激活函数σ为指数线性单元，全连接层的激活函数采用线性单元。
本发明实施例提供的技术方案带来的有益效果至少包括：
本发明实施例中，在LSTM核心算法的基础上，在LSTM前端构建能够获取不同监测断面水质空间关联性的状态单元，提取不同监测断面水质的空间关联特征，并将污染物在水体中运移的降解系数引入LSTM的权重更新机制，结合水环境的演变规律，构建了改进的LSTM网络，用于流域水质短期预测，预测的水质结果与水质实际变化具有高匹配性，尤其在水质发生突变波动时，模型仍可保持较好的模拟能力，与现有预测方法相比，具有更好的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于改进LSTM的流域水质短期预测方法的流程图；
图2是本发明实施例提供的水质短期预测模型的框架示意图；
图3是本发明实施例提供的改进LSTM算法的前馈计算过程示意图；
图4(a)、图4(b)、图4(c)是四种算法在模型训练、验证和测试阶段中的性能评估结果示意图；
图5(a)和图5(b)是本发明实施例提供的四种算法对王道闸和唐口桥NH3-N污染物的预测结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明的实施例提供了一种基于改进LSTM的流域水质短期预测方法，如图1所示，所述方法包括以下步骤：
S1、构建基于改进LSTM的水质短期预测模型；
其中，改进LSTM算法包括：一方面，在LSTM前端构建能够获取不同监测断面水质空间关联性的状态单元，提取不同监测断面水质的空间关联特征；另一方面，将污染物在水体中运移的降解系数引入LSTM的权重更新机制，使LSTM中包含污染物运移信息；
S2、对构建的基于改进LSTM的水质短期预测模型进行训练；
S3、利用训练好的水质短期预测模型对流域水质进行短期预测，并对预测结果进行评估。
其中，步骤S1所述构建基于改进LSTM的水质短期预测模型主要包括以下内容：采集模型数据并进行数据处理、构建基于改进LSTM的模型框架、以及对模型进行评估。
进一步地，所述采集模型数据并进行数据处理包括：
以流域水文、水质和气象数据作为多维数据集，进行模型数据采集；
对于采集的模型数据，在空间上按流域的上、中、下游进行划分，在时间上按连续7天监测数据划分为一个样本，同时将4个连续样本构成一组样本单元，即水质短期预测以连续28天的水文、水质和气象数据为模型训练的基础；
采用Min-Max Normalization算法对所有数据进行归一化，以消除不同数据之间的量级差异。
作为本发明的一种具体实施例，模型数据采用小清河流域内的4个水文站，水文要素主要为日均流量数据，时间范围为2008年～2015年；水质数据主要包括三类，分别为：流域26个监测断面的人工逐月检测数据、流域26个监测断面的逐日自动检测数据、流域390个污染源逐日自动检测数据；气象数据采用小清河流域内及周边的6个气象站，气象要素主要为日降雨量、日蒸发量和日均气温，时间范围为2008年～2020年。
模型数据在空间和时间上存在时空差异性，为规避数据时空尺度差异所引发预测误差，本发明从空间和时间上将数据进行归并统一，获取的流域水质特征，既有不同要素(水质、水文、气象)之间的关联特征，也有不同时间尺度上的趋势特征，进而使预测模型的水质预测更准确。
进一步地，所述构建基于改进LSTM的模型框架具体包括：
采用Java和Python语言对水质短期预测模型进行编码实现，通过TensorFlow库的基本功能模块搭建水质短期预测模型框架，并对Keras库的LSTM模块进行编码改进，以实现改进LSTM算法在Keras中的应用。
所述模型框架主要分为三个部分，如图2所示，首先采用多元回归方法从月尺度和日尺度定量分析了监测断面水质与自然要素、污染源要素之间的数学关系，进而为模型预测机制提供神经元权重的初始分布状态，同时判断预测结果是否匹配已知统计规律。其次，本发明从两方面对LSTM算法进行改进，一方面是在LSTM之前增加对要素空间关联特征提取的神经网络，即将不同监测断面水质受水系联通的影响特征进行提取，避免监测断面水质预测封闭在“自我变化”的圈子里；另一方面是将污染物在水体中运移的降解系数引入LSTM的权重更新机制，使LSTM中包含污染物运移部分物理机制。最后，采用传统的数据挖掘算法(人工神经网络、RNN、LSTM)对监测断面水质进行预测，进而与改进的LSTM算法(Im-LSTM)计算结果进行对比评估。
长短时记忆网络(LSTM)是基于RNN创新和发展的，减少了网络训练中可能出现的梯度消失和梯度爆炸等问题，该方法常应用于网络虚拟社交、图形解读和自然语言处理等领域。LSTM不同于全连接神经网络和卷积神经网络，开创性地在隐藏层增加了输入门、遗忘门、输出门等“记忆单元”来判断信息是否有用，进而很好地获取了时序信息间的相互关联关系，对信息在时间尺度的特征具有较强的描述能力。
在水环境领域，污染物从污染源排放，随河流逐渐向下游扩散，至水质监测断面，整个过程具有时序性、连续性和阶段性。污染源的排污种类和数量会受行业类别、生产工艺和市场经营环境等因素影响，因此水质监测指标会呈现一定的阶段性特点。同时，污染物的排放和运移在时间维度上是连续的，污染物的转化存在物化关系。由此，污染物的时序变化是前后联系的，具备了应用LSTM的机理条件。
根据LSTM的原理可知，该算法通过一系列记忆控制单元将信息的时序特征提取，这有效地提升了对时序信息的挖掘能力。但是，流域的水质状况不是孤立的，不同断面水质存在空间上的关联，这些空间关联特征能够对监测断面的水质预测提供必要的辅助。由此，本发明在LSTM的前端构建了能够获取不同监测断面水质空间关联性的状态单元，即迁移门(Migration Gate)与分布门(Distribution Gate)。迁移门决定上一时刻其它监测位置有多少水质信息迁移到计算监测位置，分布门决定当前时刻其它监测位置与计算监测位置之间有多少水质信息关联。具体计算公式如下：
dt＝σ(Wd·[X't,xt]+bd) (2)
其中mt是迁移门，dt是分布门，Wm是迁移门的权重矩阵，Wd是分布门的权重矩阵，bm是迁移门的偏置项，bd是分布门的偏置项，xt是计算监测位置当前时刻输入项，x't-1是其它监测位置上一时刻输入项，x't是其它监测位置当前时刻输入项，X't是其它监测位置当前时刻输入项矩阵，Eu(x',x)是计算监测位置与其它监测位置的欧氏距离，max()和σ是激活函数。
式(1)中将空间位置的欧氏距离引入迁移门的权重优化机制，并通过激活函数获取计算监测位置的最大迁移门，即获取空间关联度最高的监测位置。式(2)中将所有其它监测位置输入项与计算监测位置输入项结合，以表征空间上各监测位置水质的分布情况，进而保留它们之间的关联信息。
进一步地，不同污染物在水体中拥有不同的降解能力，而降解能力影响污染物在水体中随时间的变化过程。所述改进LSTM算法中，将污染物在水体中运移的降解系数引入LSTM的权重更新机制具体包括：
将污染物的降解系数引入LSTM的输入门，从理论上完善了当前时刻水质信息向单元状态传输的有效信息量。本发明采用水质机理模型对小清河干流中污染物COD与NH3-N进行时空模拟，通过模型的率定和验证得到了适宜的降解系数，同时参考相似河道的污染物降解系数取值，最终污染物降解系数(COD氧化速率和NH3-N硝化速率)取值为0.08d-1。污染物的降解方程如下：
其中SCi是污染物量，Ci是水质组分i的浓度，Ki是水质组分i的一阶降解系数；
LSTM的遗忘门、输入门和输出门的算法方程如下：
ft＝σ(Wf·[ht-1,xt]+bf) (4)
it＝σ(Wi·[ht-1,xt]+bi) (6)
ot＝σ(Wo·[ht-1,xt]+bo) (9)
式中，ft是遗忘门；it是输入门；
是当前输入单元状态；ct是当前时刻的单元状态；ot是输出门；ht是LSTM最终输出；Wf是遗忘门的权重矩阵，包括Wfh和Wfx；Wfh是对应输入项ht-1的权重矩阵；Wfx是对应输入项Xt的权重矩阵；[ht-1,Xt]表示把两个向量连接成一个更长的向量；bf是遗忘门的偏置项；σ是激活函数；Wi是输入门的权重矩阵；bi是输入门的偏置项；Wc是当前输入单元状态
的权重矩阵；bc是当前输入单元状态
的偏置项；Wo是输出门的权重矩阵；bo是输出门的偏置项；tanh()是激活函数；
表示按元素乘；
将式(3)的降解系数引入式(6)可得到新的输入门方程，
it＝σ(Ki·Wi·[ht-1,xt]+bi) (11)
将式(1)和式(2)引入式(10)可得到新的最终输出方程，
综上，本发明在LSTM核心算法的基础上，结合水环境的演变规律，引入了迁移门、分布门和降解系数等创新机制，对原有LSTM的方程进行了变形，由此改进LSTM算法(Im-LSTM)的前馈计算过程，如图3所示。
进一步地，所述对模型进行评估包括：
采用决定系数和均方误差对水质短期预测结果进行评估，具体计算方法如下：
其中R2是决定系数，MSE是均方误差，N是样本数量，yn为实际值，
为预测值。
在本发明的实施例中，步骤S2所述对构建的基于改进LSTM的水质短期预测模型进行训练具体包括：
通过反向传播算法对改进LSTM网络进行训练，包括：
对神经网络中的各个神经元进行记忆单元的计算，所述记忆单元包括遗忘门ft、输入门it、输出门ot、迁移门mt、分布门dt向量的值；
通过反向计算对各神经元的误差项δ进行计算，进而通过迭代计算减小误差；改进LSTM误差项的反向计算方法为沿时序信息的时间轴和神经网络的层级两个传播方向进行误差计算，并根据相应的误差项，计算每个权重的梯度，具体计算公式如下：
式(15)为误差项向前传递到任意k时刻的公式，其中：
分别表示j时刻输出门、遗忘门、输入门、单元状态、迁移门和分布门的误差项；Woh、Wfh、Wih、Wch、Wmh、Wdh分别表示输出门、遗忘门、输出门、单元状态、迁移门和分布门对应输入项ht-1的权重矩阵；式(16)为误差传递到上一层的公式，其中：E是误差函数；Wix、Wfx、Wox、Wcx分别表示输出门、遗忘门、输出门和单元状态对应输入项Xt的权重矩阵；
是l-1层的
f'()表示激活函数的导数。表1为各参数权重梯度.
表1 Im-LSTM算法权重梯度公式
作为本发明的一种具体实施方式，通过随机抽样的方式，使模型训练样本达到1万个样本，进而增强模型训练学习能力。水质预测模型的核心模块采用5层神经网络(见表2)，其中4层为Im-LSTM层，最后接全连接层(Dense)。模型中采用的激活函数σ为指数线性单元(Exponential Linear Units，ELU)，它融合了Sigmoid和ReLU各自的优势，使其能够缓解模型梯度消失。全连接层的激活函数采用线性单元(Linear)，使模型输出结果符合断面监测值的数量级。
表2核心模块框架
型采用的激活函数方程如下：
模型编译的损失函数采用均方误差函数(MSE)，神经网络优化算法采用Adam。Adam算法是基于自适应估计的低阶优化方法，该方法易于实现、计算效率高、内存需求少，适用于参数较大的网络模型。其中，学习速率和模糊因子是优化函数中重要的优化参数，决定了模型参数的调整能力，本发明方法将学习速率取值为0.001，模糊因子取值为10-8。
本发明在模型训练验证中采用交叉验证方法，交叉验证方法是将样本总量分为训练样本和验证样本，不同的样本分配比例直接影响模型的学习效果，训练样本过少导致模型捕捉数据特征不足(泛化)，训练样本过多导致模型出现过拟合。由此，本发明将样本按照比例进行划分，即训练样本和验证样本的比例分别为70％和30％。同时，模型的迭代次数对数据的有效信息获取也起到重要的作用，本发明结合计算机运算能力和模型评估参数变化的稳定程度等两种因素，模型的迭代次数设置为1000次。
基于此，本发明对小清河流域26个水质监测断面的典型污染物(COD和NH3-N)进行模拟预测。表3显示了模型对各监测断面模拟结果的评估结果，其评估指标主要包括上述两项水质指标的均方误差和决定系数，其中均方误差表征预测值与监测值之间的差异程度，决定系数表征预测值的变差对监测值总变差的比值。由表3所示，模型模拟各监测断面COD的均方误差范围在3.1582～490.357之间，其流域平均均方误差为38.9982；NH3-N的均方误差范围在0.0014～0.0937之间，其流域平均均方误差为0.0398。模型模拟各监测断面COD的决定系数范围在0.53～0.93，其流域平均决定系数为0.82。其中，流域COD最大决定系数出现在辛丰庄站，最小决定系数出现在张建桥站。同时，小清河干流监测断面睦里庄、辛丰庄、唐口桥、西闸、范李、王道闸和羊口的COD决定系数分别为0.86、0.93、0.91、0.76、0.91、0.80、0.80，其决定系数均为0.75以上。模型模拟各监测断面NH3-N的决定系数范围在0.48～0.90，其流域平均决定系数为0.79。其中，流域NH3-N最大决定系数出现在辛丰庄和卧虎山水库站，最小决定系数仍出现在张建桥站。同时，小清河干流监测断面睦里庄、辛丰庄、唐口桥、西闸、范李、王道闸和羊口的NH3-N决定系数分别为0.88、0.90、0.81、0.82、0.84、0.80、0.81，其决定系数均为0.80以上。综上所述，基于改进LSTM的水质预测模型的模拟能力较好，可满足流域水质监管的基本需求。
表3模型预测监测断面水质结果
注：粗体为小清河干流监测断面。
进一步地，本发明将不同算法对流域监测断面水质模拟预测能力进行对比评估。
本发明采用ANN、RNN和LSTM算法分别对小清河流域监测断面的典型污染物(COD和NH3-N)进行模拟。为了确保对不同算法模拟能力的准确评估，本发明采用了相同的运行环境、编码结构、输入参数和迭代次数等基本条件。其中，ANN算法采用一个输入层、三个隐藏层和一个输入层的框架，输入参数为气象和污染源信息，输出参数为水质信息；RNN与LSTM算法均采用五层结构，前四层分别选用Keras框架的rnn()和lstm()编码包，最后一层仍选用Dense()编码包，并且输入输出参数与Im-LSTM模型框架一致。据此，本发明仍采用决定系数和均方误差两个评估指标对上述方法的模拟能力进行对比评估。
图4(a)、图4(b)、图4(c)分别显示了ANN、RNN、LSTM和Im-LSTM等四种算法在模型训练、验证和测试阶段中的性能评估结果，箱形图为流域26个水质监测断面污染物模拟评估的统计值。由图4(a)所示，ANN在训练、验证和测试三个阶段的模拟平均决定系数分别为0.56、0.52、0.49；RNN在三个阶段的模拟平均决定系数分别为0.75、0.74、0.72；LSTM在三个阶段的模拟平均决定系数分别为0.78、0.73、0.73；Im-LSTM在三个阶段的模拟平均决定系数分别为0.81、0.80、0.80。由图4(b)所示，COD均方误差在三个阶段中呈现测试阶段>验证阶段>训练阶段，并且在四种算法中呈现ANN>RNN>LSTM>Im-LSTM。由图4(c)可知，Im-LSTM模拟的NH3-N均方误差显著低于其它三种算法。
表4列出了四种算法在验证阶段的模拟评估结果，由表4可知，Im-LSTM的模拟平均决定系数均高于其它三种算法，Im-LSTM对LSTM的改进使模拟决定系数平均提升了9.5％，COD均方误差平均下降27.4％，NH3-N均方误差平均下降58.4％。同时，图4(a)也表明Im-LSTM算法能够减少训练阶段的过拟合问题，使不同阶段的模拟决定系数在正常范围浮动。图5(a)和图5(b)显示了四种算法对污染物的预测结果，图中以王道闸和唐口桥的NH3-N预测结果为例，表征了基于Im-LSTM的污染物预测结果与污染物实际变化的高匹配性，尤其在污染物发生突变波动时，模型仍可保持较好的模拟能力，具有显著的优越性。
表4基于不同算法的预测能力评估
综上所述，本发明将离散断面水质的空间关联特征提取机制与污染物降解参数引入LSTM算法方程中，重新对算法的前向与反馈计算机制进行了推导，得到了改进的LSTM算法(Im-LSTM)。在此基础上，构建了基于Im-LSTM的面向离散断面的水质短期预测模型，实现了对流域断面的水质短期(7日)预测，并且针对水质预测性能开展了与传统数据挖掘算法之间的对比研究，论证了Im-LSTM水质预测模型的性能。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于改进LSTM的流域水质短期预测方法，其特征在于，包括以下步骤：
S1、构建基于改进LSTM的水质短期预测模型；
其中，改进LSTM算法包括：一方面，在LSTM前端构建能够获取不同监测断面水质空间关联性的状态单元，提取不同监测断面水质的空间关联特征；另一方面，将污染物在水体中运移的降解系数引入LSTM的权重更新机制，使LSTM中包含污染物运移信息；
S2、对构建的基于改进LSTM的水质短期预测模型进行训练；
S3、利用训练好的水质短期预测模型对流域水质进行短期预测，并对预测结果进行评估。
2.根据权利要求1所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述步骤S1中，构建基于改进LSTM的水质短期预测模型包括采集模型数据并进行数据处理、构建基于改进LSTM的模型框架、以及对模型进行评估。
3.根据权利要求2所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述采集模型数据并进行数据处理包括：
以流域水文、水质和气象数据作为多维数据集，进行模型数据采集；
对于采集的模型数据，在空间上按流域的上、中、下游进行划分，在时间上按连续7天监测数据划分为一个样本，同时将4个连续样本构成一组样本单元，即水质短期预测以连续28天的水文、水质和气象数据为模型训练的基础；
采用Min-Max Normalization算法对所有数据进行归一化，以消除不同数据之间的量级差异。
4.根据权利要求2所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述构建基于改进LSTM的模型框架具体包括：
采用Java和Python语言对水质短期预测模型进行编码实现，通过TensorFlow库的基本功能模块搭建水质短期预测模型框架，并对Keras库的LSTM模块进行编码改进，以实现改进LSTM算法在Keras中的应用。
5.根据权利要求1所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述改进LSTM算法中，在LSTM前端构建能够获取不同监测断面水质空间关联性的状态单元具体包括：
在LSTM前端构建迁移门和分布门，具体计算公式如下：
dt＝σ(Wd·[X't,xt]+bd) (2)
其中mt是迁移门，dt是分布门，Wm是迁移门的权重矩阵，Wd是分布门的权重矩阵，bm是迁移门的偏置项，bd是分布门的偏置项，xt是计算监测位置当前时刻输入项，x't-1是其它监测位置上一时刻输入项，x't是其它监测位置当前时刻输入项，X't是其它监测位置当前时刻输入项矩阵，Eu(x',x)是计算监测位置与其它监测位置的欧氏距离，max()和σ是激活函数。
6.根据权利要求1所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述改进LSTM算法中，将污染物在水体中运移的降解系数引入LSTM的权重更新机制具体包括：
将污染物的降解系数引入LSTM的输入门，所述污染物为COD和NH3-N，污染物的降解方程如下：
其中
是污染物量，Ci是水质组分i的浓度，Ki是水质组分i的一阶降解系数；
LSTM的遗忘门、输入门和输出门的算法方程如下：
ft＝σ(Wf·[ht-1,xt]+bf) (4)
it＝σ(Wi·[ht-1,xt]+bi) (6)
ot＝σ(Wo·[ht-1,xt]+bo) (9)
式中，ft是遗忘门；it是输入门；
是当前输入单元状态；ct是当前时刻的单元状态；ot是输出门；ht是LSTM最终输出；Wf是遗忘门的权重矩阵，包括Wfh和Wfx；Wfh是对应输入项ht-1的权重矩阵；Wfx是对应输入项Xt的权重矩阵；[ht-1,Xt]表示把两个向量连接成一个更长的向量；bf是遗忘门的偏置项；σ是激活函数；Wi是输入门的权重矩阵；bi是输入门的偏置项；Wc是当前输入单元状态
的权重矩阵；bc是当前输入单元状态
的偏置项；Wo是输出门的权重矩阵；bo是输出门的偏置项；tanh()是激活函数；
表示按元素乘；
将式(3)的降解系数引入式(6)可得到新的输入门方程，
it＝σ(Ki·Wi·[ht-1,xt]+bi) (11)
将式(1)和式(2)引入式(10)可得到新的最终输出方程，
7.根据权利要求2所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述对模型进行评估包括：
采用决定系数和均方误差对水质短期预测结果进行评估，具体计算方法如下：
其中R2是决定系数，MSE是均方误差，N是样本数量，yn为实际值，
为预测值。
8.根据权利要求1所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述步骤S2中，对构建的基于改进LSTM的水质短期预测模型进行训练具体包括：
通过反向传播算法对改进LSTM网络进行训练，包括：
对神经网络中的各个神经元进行记忆单元的计算，所述记忆单元包括遗忘门ft、输入门it、输出门ot、迁移门mt、分布门dt向量的值；
通过反向计算对各神经元的误差项δ进行计算，进而通过迭代计算减小误差；改进LSTM误差项的反向计算方法为沿时序信息的时间轴和神经网络的层级两个传播方向进行误差计算，并根据相应的误差项，计算每个权重的梯度，具体计算公式如下：
式(15)为误差项向前传递到任意k时刻的公式，其中：
分别表示j时刻输出门、遗忘门、输入门、单元状态、迁移门和分布门的误差项；Woh、Wfh、Wih、Wch、Wmh、Wdh分别表示输出门、遗忘门、输出门、单元状态、迁移门和分布门对应输入项ht-1的权重矩阵；式(16)为误差传递到上一层的公式，其中：E是误差函数；Wix、Wfx、Wox、Wcx分别表示输出门、遗忘门、输出门和单元状态对应输入项Xt的权重矩阵；
是l-1层的
'
f()表示激活函数的导数。
9.根据权利要求1所述的基于改进LSTM的流域水质短期预测方法，其特征在于，所述基于改进LSTM的水质短期预测模型采用5层神经网络，其中4层为改进LSTM层，最后接全连接层，模型中采用的激活函数σ为指数线性单元，全连接层的激活函数采用线性单元。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111659799.1A CN114386686B (zh) | 2021-12-30 | 2021-12-30 | 一种基于改进lstm的流域水质短期预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111659799.1A CN114386686B (zh) | 2021-12-30 | 2021-12-30 | 一种基于改进lstm的流域水质短期预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114386686A true CN114386686A (zh) | 2022-04-22 |
| CN114386686B CN114386686B (zh) | 2022-10-18 |
Family
ID=81200849
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111659799.1A Active CN114386686B (zh) | 2021-12-30 | 2021-12-30 | 一种基于改进lstm的流域水质短期预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114386686B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723188A (zh) * | 2022-06-09 | 2022-07-08 | 广东盈峰科技有限公司 | 水质预测方法、装置、计算机设备和存储介质 |
| CN115545678A (zh) * | 2022-11-29 | 2022-12-30 | 浙江贵仁信息科技股份有限公司 | 一种基于水环境画像与污染物溯源的水质监测方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071384A1 (en) * | 2017-10-09 | 2019-04-18 | Bl Technologies, Inc. | INTELLIGENT SYSTEMS AND METHODS FOR THE TREATMENT AND EVALUATION OF SANITATION DIAGNOSIS, DETECTION AND CONTROL OF ANOMALY IN WASTEWATER TREATMENT FACILITIES OR IN DRINKING WATER FACILITIES |
| CN111639748A (zh) * | 2020-05-15 | 2020-09-08 | 武汉大学 | 一种基于lstm-bp时空组合模型的流域污染物通量预测方法 |
| CN111652425A (zh) * | 2020-05-29 | 2020-09-11 | 重庆工商大学 | 一种基于粗糙集和长短期记忆网络的河流水质预测方法 |
| CN111915097A (zh) * | 2020-08-14 | 2020-11-10 | 南通大学 | 基于改进遗传算法优化lstm神经网络的水质预测方法 |
| CN112949894A (zh) * | 2020-12-10 | 2021-06-11 | 北京工业大学 | 一种基于简化型长短期记忆神经网络的出水bod预测方法 |
-
2021
- 2021-12-30 CN CN202111659799.1A patent/CN114386686B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019071384A1 (en) * | 2017-10-09 | 2019-04-18 | Bl Technologies, Inc. | INTELLIGENT SYSTEMS AND METHODS FOR THE TREATMENT AND EVALUATION OF SANITATION DIAGNOSIS, DETECTION AND CONTROL OF ANOMALY IN WASTEWATER TREATMENT FACILITIES OR IN DRINKING WATER FACILITIES |
| CN111639748A (zh) * | 2020-05-15 | 2020-09-08 | 武汉大学 | 一种基于lstm-bp时空组合模型的流域污染物通量预测方法 |
| CN111652425A (zh) * | 2020-05-29 | 2020-09-11 | 重庆工商大学 | 一种基于粗糙集和长短期记忆网络的河流水质预测方法 |
| CN111915097A (zh) * | 2020-08-14 | 2020-11-10 | 南通大学 | 基于改进遗传算法优化lstm神经网络的水质预测方法 |
| CN112949894A (zh) * | 2020-12-10 | 2021-06-11 | 北京工业大学 | 一种基于简化型长短期记忆神经网络的出水bod预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| PUZE WANG等: "Exploring the application of artificial intelligence technology for identification of water pollution characteristics and tracing the source of water quality pollutants", 《SCIENCE OF THE TOTAL ENVIRONMENT》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723188A (zh) * | 2022-06-09 | 2022-07-08 | 广东盈峰科技有限公司 | 水质预测方法、装置、计算机设备和存储介质 |
| CN115545678A (zh) * | 2022-11-29 | 2022-12-30 | 浙江贵仁信息科技股份有限公司 | 一种基于水环境画像与污染物溯源的水质监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114386686B (zh) | 2022-10-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109886498B (zh) | 一种基于特征选择的emd-gru短期电力负荷预测方法 | |
| CN110909926A (zh) | 基于tcn-lstm的太阳能光伏发电预测方法 | |
| CN112990556A (zh) | 一种基于Prophet-LSTM模型的用户用电能耗预测方法 | |
| CN114386686B (zh) | 一种基于改进lstm的流域水质短期预测方法 | |
| CN111563706A (zh) | 一种基于lstm网络的多变量物流货运量预测方法 | |
| CN111260136A (zh) | 一种基于arima-lstm组合模型的楼宇短期负荷预测方法 | |
| CN111079998B (zh) | 基于长短时序相关性注意力机制模型的流量预测方法 | |
| CN113887787B (zh) | 一种基于长短时记忆网络和nsga-ii算法的洪水预报模型参数多目标优化方法 | |
| CN113554466A (zh) | 一种短期用电量预测模型构建方法、预测方法和装置 | |
| CN115016040B (zh) | 基于多模型智能选择的海雾预测方法、装置、设备及介质 | |
| CN113935513A (zh) | 一种基于ceemdan的短期电力负荷预测方法 | |
| CN113988210A (zh) | 结构监测传感网失真数据修复方法、装置及存储介质 | |
| CN112330005A (zh) | 一种基于序列到序列深度学习机理的水质预测方法 | |
| CN114219131A (zh) | 一种基于lstm的流域径流预测方法 | |
| CN112765894A (zh) | 一种基于k-lstm的铝电解槽状态预测方法 | |
| CN115796351A (zh) | 基于变分模态分解和微波衰减的降雨短临预测方法及装置 | |
| CN114970946A (zh) | 基于深度学习模型与经验模态分解耦合的pm2.5污染浓度长时空预测方法 | |
| CN114091768A (zh) | 基于stl和带有注意力机制的lstm的旅游需求预测方法 | |
| CN116303786B (zh) | 一种基于多维数据融合算法的区块链金融大数据管理系统 | |
| CN112767692A (zh) | 基于SARIMA-GA-Elman组合模型的短时交通流量预测系统 | |
| CN110009132A (zh) | 一种基于lstm深度神经网络的短期电力负荷精细化预测方法 | |
| CN116306803A (zh) | 一种基于wsfa-afe的ilstm神经网络的出水bod浓度预测方法 | |
| CN115330082A (zh) | 一种基于注意力机制的lstm网络的pm2.5浓度预测方法 | |
| CN115099499A (zh) | 一种基于随机森林的emd-lstm对pm2.5浓度预测的方法 | |
| CN113962431A (zh) | 一种两阶段特征处理的母线负荷预测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |