CN112132333B - 一种基于深度学习的短期水质水量预测方法及系统 - Google Patents
一种基于深度学习的短期水质水量预测方法及系统 Download PDFInfo
- Publication number
- CN112132333B CN112132333B CN202010982913.3A CN202010982913A CN112132333B CN 112132333 B CN112132333 B CN 112132333B CN 202010982913 A CN202010982913 A CN 202010982913A CN 112132333 B CN112132333 B CN 112132333B
- Authority
- CN
- China
- Prior art keywords
- water quality
- prediction
- value
- model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 156
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 52
- 238000012360 testing method Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 22
- 238000013528 artificial neural network Methods 0.000 claims abstract description 19
- 241001123248 Arma Species 0.000 claims abstract description 17
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000006870 function Effects 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 229910052751 metal Inorganic materials 0.000 claims description 4
- 239000002184 metal Substances 0.000 claims description 4
- 230000005855 radiation Effects 0.000 claims description 4
- 239000007788 liquid Substances 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 244000005700 microbiome Species 0.000 claims description 3
- 239000005416 organic matter Substances 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 229910052721 tungsten Inorganic materials 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 description 4
- 101001095088 Homo sapiens Melanoma antigen preferentially expressed in tumors Proteins 0.000 description 3
- 102100037020 Melanoma antigen preferentially expressed in tumors Human genes 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 2
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 239000008239 natural water Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000010865 sewage Substances 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- XFXPMWWXUTWYJX-UHFFFAOYSA-N Cyanide Chemical compound N#[C-] XFXPMWWXUTWYJX-UHFFFAOYSA-N 0.000 description 1
- KRHYYFGTRYWZRS-UHFFFAOYSA-M Fluoride anion Chemical compound [F-] KRHYYFGTRYWZRS-UHFFFAOYSA-M 0.000 description 1
- 229910019142 PO4 Inorganic materials 0.000 description 1
- ISWSIDIOOBJBQZ-UHFFFAOYSA-N Phenol Chemical compound OC1=CC=CC=C1 ISWSIDIOOBJBQZ-UHFFFAOYSA-N 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- UCKMPCXJQFINFW-UHFFFAOYSA-N Sulphide Chemical compound [S-2] UCKMPCXJQFINFW-UHFFFAOYSA-N 0.000 description 1
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003945 anionic surfactant Substances 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000005008 domestic process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 150000004820 halides Chemical class 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 229910052757 nitrogen Inorganic materials 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- NBIIXXVUZAFLBC-UHFFFAOYSA-K phosphate Chemical compound [O-]P([O-])([O-])=O NBIIXXVUZAFLBC-UHFFFAOYSA-K 0.000 description 1
- 239000010452 phosphate Substances 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 238000003911 water pollution Methods 0.000 description 1
- 229910052725 zinc Inorganic materials 0.000 description 1
- 239000011701 zinc Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Economics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Tourism & Hospitality (AREA)
- Data Mining & Analysis (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供了一种基于深度学习的短期水质水量预测方法,包括以下步骤:步骤A:对原始水质水量数据进行预处理,将处理后的数据划分为训练集和测试集;步骤B:将训练集输入LSTM网络中进行训练,使用adam算法更新权重,得到预测模型;步骤C:基于原始水质水量数据使用预测模型预测测试集中的预测值;步骤D:将预测误差输入ARMA模型中得到误差序列的误差修正模型;步骤E:将待预测数据分别输入预测模型和误差修正模型,将结算结果几何相加得到预测值;本发明还提供水质水量预测系统。本发明的优点在于:通过LSTM神经网络和ARMA模型分别对待预测时刻的水质水量和预测误差进行计算,具备更强的通用性和稳定性,使得水质水量预测结果更为稳健。
Description
技术领域
本发明涉及水环境保护与监测技术领域;尤其涉及一种基于深度学习的短期水质水量预测方法及系统。
背景技术
水是人类社会最重要的资源之一,目前我国的黄河、松花江、淮河流域均存在轻度污染,而海河、辽河流域部分地区处于重度污染状态,及时的对水质水量进行预测,能够提前获知水质污染的可能性,以及水流量的异常,有助于及时发现区域内的水环境问题,为管理和维护当地水源地的水环境状况提供重要依据,也是近年来水环境保护和监测领域的研究热点之一。
目前国内对于水质水量预测的方法主要有:时间序列预测法、回归分析预测法、灰色系统预测法、数理统计预测法、人工神经网络预测法等,相对于其他4种方法,人工神经网络预测法凭借其可以摒弃客观因素的影响,只根据样本水质水量自身特点进行分析学习的优点在水质水量预测领域得到了广泛应用,目前常用的人工神经网络预测方法包括:BP神经网络、径向基函数神经网络、广义神经网络等。
河流水质水量变化具有渐变性、非线性、不稳定性以及复杂性等特点,目前运用于水质水量预测的神经网络模型,例如BP神经网络、径向基函数神经网络、广义神经网络在进行复杂时间序列预测时容易陷入局部最优。同时由于水质水量数据序列表现出的强非线性特征和弱线性特征,单一的预测模型对水质水量的弱线性特征难以充分处理,需要结合其他线性算法。
公开号为CN111027776A的发明专利申请公开了一种基于改进型长短期记忆LSTM神经网络的污水处理水质水量预测方法,其通过对污水数据进行处理,构建LSTM神经网络模型从而对待预测数据进行预测处理,得到水质情况,这种方法适用于解决长时间跨度水质时间序列预测,仅能有效表征水质时间序列中的非线性特征,但是自然水环境的水质时间序列同时具有强非线性特征和弱线性特征,且水质水量预测方面要求高时效性与及时性,而短期水质水量预测相较于长期水质水量预测更能及时预警水污染事件的发生。
发明内容
本发明所要解决的技术问题在于提供一种基于长短期记忆神经网络对自然水环境进行短期水质水量预测的方法,以克服水质水量数据序列的强非线性特征和弱线性特征对水质水量预测技术的限制。
本发明是通过以下技术方案解决上述技术问题的:一种基于深度学习的短期水质水量预测方法,包括以下步骤:
步骤A:对原始水质水量数据进行预处理,将处理后的数据划分为训练集和测试集;
步骤B:将训练集输入LSTM网络中进行训练,使用adam算法更新遗忘门、输入门和输出门的权重,以损失函数值和迭代次数作为训练终止条件,得到预测模型;
步骤C:基于原始水质水量数据使用预测模型预测测试集对应的预测值,并根据实际值与预测值计算预测误差;
步骤D:将预测误差输入ARMA模型中得到误差序列的误差修正模型;
步骤E:将待预测数据分别输入步骤B得到的预测模型和步骤D得到的误差修正模型,将结算结果几何相加得到预测值。
本发明通过LSTM模型,充分挖掘水质水量数据之间的相互关联性,通过遗忘门、输出门等节点之间的结构,解决了传统神经网络方法在训练过程中由于长时间跨度数据的学习出现的梯度消失和梯度爆炸的问题。另一方面,由于水质水量数据序列呈现强非线性特征和弱线性特征,单一的预测模型难以充分处理水质水量的弱线性特征,需要结合其他的算法,而ARMA模型的特征可以作为LSTM模型在处理线性数据的有效补充,LSTM模型与ARMA模型相结合的方法,在单一预测模型的基础之上,具备更强的通用性和稳定性,使得水质水量预测结果更为稳健。
优选的,步骤A所述的原始水质数据包括物理指标,常规水质指标、金属含量、无机物含量、有机物含量、微生物含量、辐射量、水位、液位、流量、流速;原始水质数据的集合为以时序排列的参数集合。
优选的,步骤A所述的预处理包括缺失值处理和归一化处理,
所述缺失值处理的方式为使用之前两个时刻的平均值填充缺失值;
所述归一化处理的方法为:
其中,xt为t时刻的原始参数,xmin为序列中参数的最小值,xmax为序列中参数的最大值,Xt为归一化后t时刻的参数;
预处理完成后按时序排列,以前70%作为训练集,后30%作为测试集。
优选的,所述LSTM神经网络的计算公式为:
ft=σ(Wf·[ht-1,Xt]+bf)
it=σ(Wi·[ht-1,Xt]+bi)
ot=σ(Wo·[ht-1,Xt]+bo)
其中,h为LSTM神经网络的输出,训练中以后一时刻的水质水量数据作为前一时刻水质水量数据的输出;f、i、o分别表示遗忘门、输入门和输出门;σ表示sigmoid函数,W和b分别表示权重和偏差矩阵;
损失函数为平均绝对误差,预设训练的最大迭代次数和损失函数值的阈值,通过adam算法更新权重,每次更新权值之后计算损失函数值,如果损失函数值小于等于阈值或训练次数达到最大迭代次数,则训练结束,将权重代入以上公式,计算出偏差矩阵;得到所述预测模型。
优选的,步骤C中根据原始水质水量数据使用预测模型计算测试集对应的预测数据,计算预测误差的公式为:
其中,yt为测试集的实际值,为测试集的预测值,σt为预测误差。
优选的,步骤D中将测试集的预测误差σt输入ARMA模型,经过训练得到误差修正模型;对于待预测时刻的水质水量,使用步骤B中的预测模型计算预测值使用步骤D得到的误差修正模型计算误差修正值/>则
其中,zt为待预测时刻的预测值。
本发明还提供了一种基于深度学习的短期水质水量预测系统,包括
预处理模块:对原始水质水量数据进行预处理,将处理后的数据划分为训练集和测试集;
预测模型训练模块:将训练集输入LSTM网络中进行训练,使用adam算法更新遗忘门、输入门和输出门的权重,以损失函数值和迭代次数作为训练终止条件,得到预测模型;
预测误差计算模块:基于原始水质水量数据使用预测模型预测测试集对应的预测值,并根据实际值与预测值计算预测误差;
误差修正模型训练模块将预测误差输入ARMA模型中得到误差序列的误差修正模型;
计算模块:将待预测数据分别输入预测模型和误差修正模型,将结算结果几何相加得到预测值。
本发明提供的基于深度学习的短期水质水量预测方法及系统的优点在于:通过LSTM神经网络和ARMA模型分别对待预测时刻的水质水量和预测误差进行计算,克服了由于水质水量历史数据序列的强非线性特征以及弱线性特征而无法进行有效预测的问题,通过LSTM模型,充分挖掘水质水量数据之间的相互关联性,通过遗忘门、输出门等节点之间的结构,解决了传统神经网络方法在训练过程中由于长时间跨度数据的学习出现的梯度消失和梯度爆炸的问题。另一方面,由于水质水量数据序列呈现强非线性特征和弱线性特征,单一的预测模型难以充分处理水质水量的弱线性特征,需要结合其他的算法,而ARMA模型的特征可以作为LSTM模型在处理线性数据的有效补充,LSTM模型与ARMA模型相结合的方法,在单一预测模型的基础之上,具备更强的通用性和稳定性,使得水质水量预测结果更为稳健;相对于现有技术不仅能够表征自然水域水质水量时间序列中的非线性特征,同时也能表征水质水量时间序列中的线性特征。
附图说明
图1为本发明的实施例提供的基于深度学习的短期水质水量预测方法的流程图;
图2为本发明的实施例提供的基于深度学习的短期水质水量预测方法的效果对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明作进一步的详细说明。
如图1所示,本实施例提供了一种基于深度学习的短期水质水量预测方法,其中,短期水质水量预测是指水质水量监测时间比较短的时间序列预测,本实施例中所用水质水量时间序列监测频率为4h/次,从而能够及时的对水污染情况进行预警发现,具体包括以下步骤:
步骤A:对原始水质水量数据进行预处理,将处理后的数据划分为训练集和测试集;
其中,原始水质水量数据包括物理指标,常规水质指标、金属含量、无机物含量、有机物含量、微生物含量、辐射量、水位、液位、流量、流速;具体的,物理指标包括水温、PH、透过率、悬浮物、浊度;常规水质指标包括溶解氧含量、高锰酸盐指数、化学需氧量、五日生化需氧量、氨氮含量、总磷含量、总氮含量;金属含量包括铜、铁、锌、汞、铬、铅;无机物含量包括氟化物、卤化物、磷酸盐类、硫化物;有机物含量包括氰化物、挥发酚、石油类、阴离子表面活性剂;微生物含量包括粪大肠杆菌群;辐射量包括总α、总β、3H、14C、90Sr活度浓度;所述水量数据包括水位、流量、流速等;原始水质水量数据的集合为以时序排列的参数集合;
所述的预处理包括缺失值处理和归一化处理,
所述缺失值处理的方式为使用之前两个时刻的平均值填充缺失值;
所述归一化处理的方法为:
其中,xt为t时刻的原始参数,xmin为序列中参数的最小值,xmax为序列中参数的最大值,Xt为归一化后t时刻的参数;
预处理完成后按时序排列,以前70%作为训练集,后30%作为测试集。
步骤B:将训练集输入LSTM网络中进行训练,计算公式为:
ft=σ(Wf·[ht-1,Xt]+bf)
it=σ(Wi·[ht-1,Xt]+bi)
ot=σ(Wo·[ht-1,Xt]+bo)
其中,h为LSTM神经网络的输出,训练中输入为t时刻的水质水量数据,输出为t+1时刻的水质水量数据;f、i、o分别表示遗忘门、输入门和输出门;σ表示sigmoid函数,W和b分别表示权重和偏差矩阵;
损失函数为平均绝对误差(MAE),训练前预设训练的最大迭代次数和损失函数值的阈值,通过adam算法更新遗忘门、输入门和输出门的权重,每次更新权值之后计算损失函数值,如果损失函数值小于等于阈值或训练次数达到最大迭代次数,则训练结束,将权重代入以上公式,计算出偏差矩阵;即得到所述预测模型。
其中,平均绝对误差的计算方法为:
其中n为样本个数,为预测值,yi为实际值。
步骤C:基于原始水质水量数据使用预测模型预测测试集中的预测值,然后计算预测误差,公式为:
其中,yt为t时刻测试集的实际值,为t时刻测试集的预测值,σt为预测误差。
步骤D:将测试集的预测误差σt输入ARMA模型,ARMA(p,q)基本形式为:
其中{εt}为白噪声,为自回归模型参数,θ1,θ2……,θq为滑动平均模型参数。
完整的训练过程为:
(1)首先通过ADF检验验证误差序列的平稳性
主要方法为:比较1%、5%、10%不同程度拒绝原假设的统计值和ADF Testresult的大小,若ADF Test result同时小于1%、5%、10%即说明非常好地拒绝该假设,本实例中通过实验得到ADF Test result同时小于1%、5%、10%三个程度的统计值,说明水质水量时间序列的误差是平稳的;
(2)时间序列定阶,本实施实例中通过ACF、PACF截尾判断识别ARMA模型的阶数,以最小信息量准则(Akaike Information Criterion,AIC)作为模型定阶的标准,通过不断实验选择AIC较小的为最优模型,AIC模型的计算公式为其中n为样本数量,k为参数数量,RSS为序列残差平方和,通过实验确定模型阶数为(3,3);
(3)构建模型和预测,经过训练得到误差修正模型。
步骤E:将待预测数据分别输入步骤B得到的预测模型和步骤D得到的误差修正模型,将结算结果几何相加得到预测值;即
其中,zt为待预测时刻的预测值,为t时刻的预测值,/>为t时刻的误差修正值。
本实施例通过LSTM神经网络和ARMA模型分别对待预测时刻的水质水量和预测误差进行计算,克服了由于水质水量历史数据序列的强非线性特征以及弱线性特征而无法进行有效预测的问题,通过LSTM模型,充分挖掘水质水量数据之间的相互关联性,通过遗忘门、输出门等节点之间的结构,解决了传统神经网络方法在训练过程中由于长时间跨度数据的学习出现的梯度消失和梯度爆炸的问题。另一方面,由于水质水量数据序列呈现强非线性特征和弱线性特征,单一的预测模型难以充分处理水质水量的弱线性特征,需要结合其他的算法,而ARMA模型的特征可以作为LSTM模型在处理线性数据的有效补充,LSTM模型与ARMA模型相结合的方法,在单一预测模型的基础之上,具备更强的通用性和稳定性,使得水质水量预测结果更为稳健。
本实施例还引入了百分比误差(MAPE)对算法结果进行评估,计算公式为:
其中,n为总的预测时间数。
图2示出了使用本实施例提供的短期水质水量预测方法的预测结果与真实值的比对,可以看出本实施例提供的水质水量预测方法的预测结果与真实结果基本一致,经过比较,使用本实施例提供的LSTM-ARMA模型的MAPE值为12.6%;LSTM模型MAPE值为15%,因此本实施例提供的短期水质水量预测方法的效果明显优于LSTM模型。
本实施例还提供了基于深度学习的短期水质水量预测系统,包括
预处理模块:对原始水质水量数据进行预处理,将处理后的数据划分为训练集和测试集;
预测模型训练模块:将训练集输入LSTM网络中进行训练,使用adam算法更新遗忘门、输入门和输出门的权重,以损失函数值和迭代次数作为训练终止条件,得到预测模型;
预测误差计算模块:基于原始水质水量数据使用预测模型预测测试集对应的预测值,并根据实际值与预测值计算预测误差;
误差修正模型训练模块将预测误差输入ARMA模型中得到误差序列的误差修正模型;
计算模块:将待预测数据分别输入预测模型和误差修正模型,将结算结果几何相加得到预测值。
Claims (7)
1.一种基于深度学习的短期水质水量预测方法,其特征在于:包括以下步骤:
步骤A:对原始水质水量数据进行预处理,将处理后的数据划分为训练集和测试集;
步骤B:将训练集输入LSTM网络中进行训练,使用adam算法更新遗忘门、输入门和输出门的权重,以损失函数值和迭代次数作为训练终止条件,得到预测模型;
步骤C:基于原始水质水量数据使用预测模型预测测试集对应的预测值,并根据实际值与预测值计算预测误差;
步骤D:将预测误差输入ARMA模型中得到误差序列的误差修正模型;
步骤E:将待预测数据分别输入步骤B得到的预测模型和步骤D得到的误差修正模型,将结算结果几何相加得到预测值。
2.根据权利要求1所述的一种基于深度学习的短期水质水量预测方法,其特征在于:步骤A所述的原始水质水量数据包括物理指标,常规水质指标、金属含量、无机物含量、有机物含量、微生物含量、辐射量、水位、液位、流量、流速,原始水质数据的集合为以时序排列的参数集合。
3.根据权利要求2所述的一种基于深度学习的短期水质水量预测方法,其特征在于:步骤A所述的预处理包括缺失值处理和归一化处理,
所述缺失值处理的方式为使用之前两个时刻的平均值填充缺失值;
所述归一化处理的方法为:
其中,xt为t时刻的原始参数,xmin为序列中参数的最小值,xmax为序列中参数的最大值,Xt为归一化后t时刻的参数;
预处理完成后按时序排列,以前70%作为训练集,后30%作为测试集。
4.根据权利要求3所述的一种基于深度学习的短期水质水量预测方法,其特征在于:所述LSTM神经网络的计算公式为:
ft=σ(Wf·[ht-1,Xt]+bf)
it=σ(Wi·[ht-1,Xt]+bi)
ot=σ(Wo·[ht-1,Xt]+bo)
其中,h为LSTM神经网络的输出,训练中以后一时刻的水质水量数据作为前一时刻水质水量数据的输出;f、i、o分别表示遗忘门、输入门和输出门;σ表示sigmoid函数,W和b分别表示权重和偏差矩阵;
损失函数为平均绝对误差,预设训练的最大迭代次数和损失函数值的阈值,通过adam算法更新权重,每次更新权值之后计算损失函数值,如果损失函数值小于等于阈值或训练次数达到最大迭代次数,则训练结束,将权重代入以上公式,计算出偏差矩阵;得到所述预测模型。
5.根据权利要求4所述的一种基于深度学习的短期水质水量预测方法,其特征在于:步骤C中根据原始水质水量数据使用预测模型计算测试集对应的预测数据,计算预测误差的公式为:
其中,yt为测试集的实际值,为测试集的预测值,σt为预测误差。
6.根据权利要求5所述的一种基于深度学习的短期水质水量预测方法,其特征在于:步骤D中将测试集的预测误差σt输入ARMA模型,经过训练得到误差修正模型;对于待预测时刻的水质水量,使用步骤B中的预测模型计算预测值使用步骤D得到的误差修正模型计算误差修正值/>则
其中,zt为待预测时刻的预测值。
7.一种基于深度学习的短期水质水量预测系统,其特征在于:包括
预处理模块:对原始水质水量数据进行预处理,将处理后的数据划分为训练集和测试集;
预测模型训练模块:将训练集输入LSTM网络中进行训练,使用adam算法更新遗忘门、输入门和输出门的权重,以损失函数值和迭代次数作为训练终止条件,得到预测模型;
预测误差计算模块:基于原始水质水量数据使用预测模型预测测试集对应的预测值,并根据实际值与预测值计算预测误差;
误差修正模型训练模块将预测误差输入ARMA模型中得到误差序列的误差修正模型;
计算模块:将待预测数据分别输入预测模型和误差修正模型,将结算结果几何相加得到预测值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010982913.3A CN112132333B (zh) | 2020-09-16 | 2020-09-16 | 一种基于深度学习的短期水质水量预测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010982913.3A CN112132333B (zh) | 2020-09-16 | 2020-09-16 | 一种基于深度学习的短期水质水量预测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112132333A CN112132333A (zh) | 2020-12-25 |
CN112132333B true CN112132333B (zh) | 2024-02-02 |
Family
ID=73841138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010982913.3A Active CN112132333B (zh) | 2020-09-16 | 2020-09-16 | 一种基于深度学习的短期水质水量预测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112132333B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112988538B (zh) * | 2021-03-12 | 2023-01-13 | 山东英信计算机技术有限公司 | 人工智能开发平台监控告警数据预测方法、装置及介质 |
CN112926807A (zh) * | 2021-04-15 | 2021-06-08 | 德州欧瑞电子通信设备制造有限公司 | 考虑预测误差的机柜设备发热量超短期预测方法及系统 |
CN113379029B (zh) * | 2021-04-22 | 2022-08-30 | 中国地质大学(武汉) | 基于物理定律和过程驱动的深度学习模型的水质预测方法 |
CN113851184B (zh) * | 2021-09-29 | 2023-07-04 | 湖南工商大学 | 一种基于人工智能的粪大肠杆菌群数的预测方法及装置 |
CN113931270B (zh) * | 2021-10-08 | 2023-07-25 | 合肥学院 | 一种基于深度学习的截流井智能监控系统及监控方法 |
CN114595631B (zh) * | 2022-03-07 | 2024-04-19 | 中电万维信息技术有限责任公司 | 一种基于efdc模型和机器学习算法的水质预测方法 |
CN114660677A (zh) * | 2022-03-25 | 2022-06-24 | 澜途集思生态科技集团有限公司 | 一种城市雨洪水质水量预测动力学系统与方法 |
CN114878772B (zh) * | 2022-06-07 | 2023-02-21 | 中国水利水电科学研究院 | 一种应用于污水处理的检测预警监测系统 |
CN115470702A (zh) * | 2022-09-14 | 2022-12-13 | 中山大学 | 一种基于机器学习的污水处理水质预测方法及系统 |
CN115952685B (zh) * | 2023-02-02 | 2023-09-29 | 淮阴工学院 | 基于集成深度学习的污水处理过程软测量建模方法 |
CN117055451B (zh) * | 2023-10-12 | 2024-01-05 | 浙江大学 | 污水处理智能监控系统及其方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221642A (ja) * | 2010-04-06 | 2011-11-04 | Nippon Steel Corp | 品質予測装置、品質予測方法、コンピュータプログラム、およびコンピュータ読み取り可能な記録媒体 |
CN109272146A (zh) * | 2018-08-23 | 2019-01-25 | 河海大学 | 一种基于深度学习模型和bp神经网络校正的洪水预测方法 |
CN110135637A (zh) * | 2019-05-13 | 2019-08-16 | 武汉科技大学 | 基于长短期记忆与自适应提升的微电网短期负荷预测方法 |
CN110647980A (zh) * | 2019-09-18 | 2020-01-03 | 成都理工大学 | 一种基于gru神经网络的时间序列预测方法 |
CN111079906A (zh) * | 2019-12-30 | 2020-04-28 | 燕山大学 | 基于长短时记忆网络的水泥成品比表面积预测方法及系统 |
-
2020
- 2020-09-16 CN CN202010982913.3A patent/CN112132333B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011221642A (ja) * | 2010-04-06 | 2011-11-04 | Nippon Steel Corp | 品質予測装置、品質予測方法、コンピュータプログラム、およびコンピュータ読み取り可能な記録媒体 |
CN109272146A (zh) * | 2018-08-23 | 2019-01-25 | 河海大学 | 一种基于深度学习模型和bp神经网络校正的洪水预测方法 |
CN110135637A (zh) * | 2019-05-13 | 2019-08-16 | 武汉科技大学 | 基于长短期记忆与自适应提升的微电网短期负荷预测方法 |
CN110647980A (zh) * | 2019-09-18 | 2020-01-03 | 成都理工大学 | 一种基于gru神经网络的时间序列预测方法 |
CN111079906A (zh) * | 2019-12-30 | 2020-04-28 | 燕山大学 | 基于长短时记忆网络的水泥成品比表面积预测方法及系统 |
Non-Patent Citations (2)
Title |
---|
K-Similarity 降噪的LSTM 神经网络水质多因子预测模型;刘晶晶 等;《计算机系统应用》;第28卷(第2期);226-232 * |
Water Quality Prediction Method Based on IGRA and LSTM;Jian Zhou 等;《Water》;第10卷(第1128期);1-11 * |
Also Published As
Publication number | Publication date |
---|---|
CN112132333A (zh) | 2020-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112132333B (zh) | 一种基于深度学习的短期水质水量预测方法及系统 | |
CN111291937A (zh) | 基于支持向量分类与gru神经网络联合的处理污水水质预测方法 | |
CN108898215B (zh) | 一种基于二型模糊神经网络的污泥膨胀智能辨识方法 | |
CN112884056A (zh) | 基于优化的lstm神经网络的污水水质预测方法 | |
CN111210128B (zh) | 一种基于人工智能及随机自适应阈值的湿地预警方法 | |
CN112381292B (zh) | 一种顾及时空相关性和气象因素的河流水质预测方法 | |
CN108536106B (zh) | 一种基于卡尔曼滤波-极限学习机的曝气系统溶解氧在线调控方法 | |
CN111652425A (zh) | 一种基于粗糙集和长短期记忆网络的河流水质预测方法 | |
CN112101789A (zh) | 一种基于人工智能的水污染报警等级识别方法 | |
CN113077039A (zh) | 基于任务驱动rbf神经网络的出水总氮tn软测量方法 | |
CN111693667A (zh) | 一种基于门控递归阵列水质检测系统及方法 | |
CN113435124A (zh) | 一种基于长短时记忆和径向基函数神经网络的水质时空关联预测方法 | |
CN116128039A (zh) | 一种地表水体水质预测模型的构建方法和预测方法 | |
CN114707692A (zh) | 基于混合神经网络的湿地出水氨氮浓度预测方法及系统 | |
Qambar et al. | Prediction of municipal wastewater biochemical oxygen demand using machine learning techniques: a sustainable approach | |
CN113111576B (zh) | 一种基于混合编码粒子群-长短期记忆神经网络出水氨氮软测量方法 | |
CN113887119B (zh) | 一种基于sarima-lstm的河流水质预测方法 | |
CN111259340B (zh) | 一种基于logistic回归的饱和负荷预测方法 | |
CN110164510B (zh) | 一种城市河道水质的估计方法 | |
Xie et al. | Surface water quality evaluation based on Bayesian network | |
CN111310974A (zh) | 一种基于ga-elm的短期需水预测方法 | |
CN115689014A (zh) | 基于双向长短时记忆神经网络和时间注意力机制的水质指标预测方法 | |
CN113851184A (zh) | 一种基于人工智能的粪大肠杆菌群数的预测方法及装置 | |
Li et al. | Long short-term memory network-based wastewater quality prediction model with sparrow search algorithm | |
CN113838542A (zh) | 化学需氧量智能预测方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |