CN109426857B - 一种基于状态池网络的水质指标预测方法 - Google Patents

一种基于状态池网络的水质指标预测方法 Download PDF

Info

Publication number
CN109426857B
CN109426857B CN201710717555.1A CN201710717555A CN109426857B CN 109426857 B CN109426857 B CN 109426857B CN 201710717555 A CN201710717555 A CN 201710717555A CN 109426857 B CN109426857 B CN 109426857B
Authority
CN
China
Prior art keywords
water quality
data
network
output
state pool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710717555.1A
Other languages
English (en)
Other versions
CN109426857A (zh
Inventor
程振波
朱天奇
肖刚
黄初冬
周华康
唐文庆
高晶莹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201710717555.1A priority Critical patent/CN109426857B/zh
Publication of CN109426857A publication Critical patent/CN109426857A/zh
Application granted granted Critical
Publication of CN109426857B publication Critical patent/CN109426857B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Feedback Control In General (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一种基于状态池网络的水质指标预测方法,步骤如下:1)确定水质参数的输入和输出数据;2)设计用于检测水质异常的状态池网络结构;3)在进行状态池网络训练之前,考虑到水质在测量中水体不稳定带来的误差以及异常,首先筛选有效的数据,剔除异常的部分;4)使用最小二乘法对网络的输出权重进行调整;5)状态池网络训练;6)使用状态池网络进行水质预测。保存第(5)步中训练得到的状态池网络结构参数,并使用测试数据集进行网络效果测试评估。同样使用均方根误差对水质预测数据进行评价,得到RMS的值。

Description

一种基于状态池网络的水质指标预测方法
技术领域
本发明涉及利用递归神经网络进行水质预测的应用。通过检测水体中指标,如如氨氮、溶解氧、叶绿素a、悬浮物、总磷和总氮等的含量可以确定水质等级。本发明根据水体指标在时间和空间变化的对应关系,提出一种利用递归神经网络预测水质参数的方法,该方法对于河流水体等级预测与监控具有一定的应用前景。
背景技术
传统的水质检测设备往往分布在水处理厂以及河流的一些定点位置。为了测试水体质量,一般都需要采集水体样本,然后对样本进行化学分析从而得到水体中各个指标的结果。然而,由于传感器分布受到气候、地形以及成本等限制,无法获取全流域内水质指标的数据变化趋势。此外,一般河流甚至会跨越几个地市,受到人力、资金等限制,水质指标数据的采集时间等不同等因素影响,造成河流可能没有完整的水质指标数据。这种数据的缺失不但在评价流域水质历史变化时会有遗漏,也会导致构建的水质数据预测模型不可靠。所以,使用统计或者人工智能算法,对特定流域或者流域未来水体指标进行预测已成为水质环境监测的常用手段之一。
受到环境变化的影响,水质指标在时间与空间上存在联系。现有的水质指标模型主要有经验模型、生物光学模型、统计回归算法、层次回归法等线性模型,以及BP人工神经网络,径向基神经网络(RBF)等非线性模型。尽管这些方法能在一定程度上进行水质指标预测,然而由于这些方法没有融合水质指标在时间上的相关性,导致现有方法要么预测误差大,或者预测规模小等弊端。为了建立能构建水质指标在时间尺度上的关系,本发明提出利用一类特殊的递归神经网络——状态池网络(Reservoir Network,RN)用于构建水质指标关系模型。
状态池网络是一类稀疏递归神经网络,递归层接受来自输入的信号,通过递归连接矩阵产生输出。通过设置稀疏递归连接矩阵,可以使得网络具备短时记忆,也就是当前时刻的输出受前一段时间输入的影响,这一特性使得该网络非常适用于建模输入时序信号。此外,通过调整递归层与输出神经元之间的连接权重,可以获得期望的时序输出信号。为此,本项目采用递归最小二乘法,快速调整输出连接权重,获得期望的输出。该学习算法最大的优势就是可以在少量训练数据的情况下,使得网络收敛。这使得模型可以在只有少量水质指标数据的情况下,就可以获得较好的预测结果。
总之,本发明提出使用状态池递归神经网络进行水质指标预测的方法,对环境监测部门监控大流域水质指标变化将具有广阔的应用前景。
发明内容
针对现有技术存在的不足,本发明的目的在于提供一种基于状态池网络模型的水质数据预测方法。状态池网络的主要特性是隐藏层的神经元之间为稀疏连接,训练时算法只调整状态池神经元与输出层神经元之间连接的权重。
本发明的技术方案是这样实现的:
基于状态池网络的水质指标预测方法,步骤如下:
1)确定水质参数的输入和输出数据,通过分析,选取流域上游几个采样点的水质参数为输入,流域下游的一个采样点的水质参数为输出。进行以天为单位的连续采样和分析,得到水质参数,如:叶绿素a,透明度SD、总磷TP、总氮 TN、高锰酸钾指数CODmn、溶解氧、PH值等。
2)设计用于检测水质异常的状态池网络结构,根据输入与输出的数据,最终确定状态池的结构为:输入层(Input Layer,IL),递归层(Recurrent neural layer,RNL),输出层(Output Layer,OL)。
输入层包含输入信号,由向量y=[P1a,P1b,…P1m,…Pna,Pnb,…Pnm]表示, y由t时刻的水质采样点的n段时间m种水质数据(Pia,Pib,…Pim)构成的时间序列。输入层与递归层由突触向量WIL连接。WIL中的值从高斯分布N(0,0,5)中随机采样。
中间层为递归层。中间层包含大量的神经元节点,神经元节点由大小为N×1 的向量x表示。中间层的神经元之间随机相互连接。连接用一个大小为N×N的稀疏矩阵WRNL表示。其中每一权重的非0项服从高斯分布N(0,g2/pN)的随机变量随机产生;其中,g=1.5,p=0.1。
递归层通过大小为N×m(m为水质参数个数)的输出权向量WOL合并成为一个包含两个节点的输出层,由向量Z表示。网络的输出为预测目标在t时刻的水质参数。
网络的输出为z(t),通过被激活的神经元的加权和得到。网络中被激活的神经元在时刻t表示r(t),其中r(.)=tanh(.)。连接神经元到输出向量的权重为W。输出表示为:
Figure BDA0001384147160000021
状态池网络的递归过程表示为:
Figure BDA0001384147160000022
其中,τ=0.01毫秒,Inoise为每一个状态池神经元的随机噪声,服从N(0,10-6) 的高斯分布。
3)在进行状态池网络训练之前,考虑到水质在测量中水体不稳定带来的误差以及异常,首先筛选有效的数据,剔除异常的部分。利用格拉布斯准则对样本数据进行异常值检测:
Figure BDA0001384147160000023
式中:Gs为Grubbs准则检验特征数据;Xi为可疑的数据,
Figure BDA0001384147160000024
为数据集的算术平均值,S为数据集的标准差。若Gs大于临界值Gp(n),则判断该数据为异常值。 Gp(n)与两个参数有关,检出水平σ=0.05,检验次数n为数据集个数。剔除水质异常值的做法是将水质数据按照升序排列,从两端依次去除异常值,直到数据集满足要求。
4)使用最小二乘法(Recursive Least Squares,RLS)对网络的输出权重进行调整。输出层权重的调整由下式确定:
w(t)=w(t-Δt)-e_(t)P(t)r(t) (4)
其中,e_(t)为时刻t网络的实际输出w(t-Δt)与期望输出f(t)之间的差值:
et=w(t-Δt)–f(t) (5)
P(t)为N×N矩阵,它控制着RNL层神经元与输出神经元之间每一个权重调整的比率。这个矩阵在每一步同样需要按下式更新:
Figure BDA0001384147160000031
由于P在网络运行过程中需要不断更新,为此它需要设定一个初始值:
Figure BDA0001384147160000032
其中I为单位矩阵,α为常数。
5)状态池网络开始训练时,选取T1-Tn时段采样点的(a、b、c……等)水质数据作为输入,Tn+1时刻的(A、B、C……等)水质数据作为目标,其中水质参数类型与个数可根据预期计划调整。训练结束后,用均方根误差 (Root-Mean-Square Error,RMS error)表示网络的预测误差,均方根误差的计算公式为:
Figure BDA0001384147160000033
其中xi、yi...mi为状态池网络输出的m类水质参数,每种参数包含i个数据;
Figure BDA0001384147160000034
为这些水质参数期望的输出。
6)使用状态池网络进行水质预测。保存第(5)步中训练得到的状态池网络结构参数,并使用测试数据集进行网络效果测试评估。同样使用均方根误差对水质预测数据进行评价,得到RMS的值。
本发明的优点是:通过状态池网络对时间序列的水质数据进行分析训练,快速生成未来水质指标预测模型状态池网络能很好的对水质数据进行预测,在几个关键的曲线变化拐点上,都有较好的输出结果。根据本发明提出的方法,经过完整训练的状态池网络模型,可以对水质数据的变化趋势有较好的预测能力,对水质的变化有较快的预警能力。
附图说明
图1是本发明进行数据预处理后的训练数据:氨氮
图2.是本发明进行数据预处理后的训练数据:溶解氧
图3.是本发明进行数据预处理后的训练数据:CODmn
图4.是本发明进行数据预处理后的训练数据:总磷
图5.是本发明进行数据预处理后的训练数据:总氮
图6.是本发明使用的状态池网络结构图
图7.是本发明训练的结果:氨氮的网络输出与实际输出
图8.是本发明训练的结果:溶解氧的网络输出与实际输出
图9.是本发明测试的结果:氨氮的网络输出与实际输出
图10.是本发明测试的结果:溶解氧的网络输出与实际输出
图11.是本发明中状态池网络的训练误差图
图12.是本发明中状态池网络的测试误差图
具体实施方式
下面结合实验对本发明作进一步描述:
为了验证本次发明所提出方法的可行性,我们采用:氨氮、溶解氧、CODmn、总磷、总氮,五种水质数据作为输入数据,氨氮、溶解氧两种水质数据作为输出数据来训练状态池网络模型。在训练完毕后,保存状态池网络的结构参数,并使用新的数据对状态池网络进行测试,验证该网络的有效性。在效果良好的情况下,训练新的网络模型,将输出数据换成水质等级重新训练
收集水质数据,本次数据来源为某水库2012年-2015年的水质数据集,采集时间为每天12点。训练集的时间范围为2012年5月1日-2014年4月30两年的数据集。测试数据集为2014年5月1日至2015年4月30日的水质数据。
时间序列是指按照一定时间间隔排列的数据集,水质预测中,时间序列的输入为历史n天的数据,预测输出为后一天的水质数据。因此,我们从数据集中提取按照7天时间间隔排列的水质数据,按照y=[P1a,P1b,…P1m,…Pna,Pnb,… Pnm]表示,y由t时刻的水质采样点的n段(天)时间、m种水质数据(Pia,Pib,…Pim) 所构成的时间序列。
考虑到水质测量存在误差以及由于水体不稳定带来的异常状态,首选需要对水质数据集进行预处理。对水质数据集中某些时间段未能采集到的水质数据,进行补零操作,然后使用格拉布斯准则去除异常值。在训练之前,对训练与测试数据进行归一化处理,训练数据如图1至图5所示。最后按照时间序列排列生成输入、输出数据。数据筛选后有519组输入时间序列,每组序列包含7天的5个水质数据。
状态池网络的主要参数为:
a.P(t)为N×N矩阵,其中保存有隐藏层的连接权重,N=1000
b.更新参数α=1.5
c.更新步长dt=0.05
网络结构设计如图6所示。
完成训练后,对每次神经网络的误差值做记录,训练的误差趋势如图11所示:
训练完成后,网络的输出与实际水质指标曲线,如图7、图8所示,其中实线为实际水质数据,折线为神经网络输出水质数据。可证明,状态池网络有拟合复杂曲线的能力,且收敛能力较强。
通过已保存的状态池网络参数,我们使用2014年5月1日至2015年4月30 日的水质数据集进行验证。通过时间序列排列,得到261组输入数据,每组序列包含7天的5个水质数据。得到测试的误差如图12所示。
测试模拟输出与实际水质曲线如图9、图10所示,其中实线为实际水质数 据,折线为神经网络输出水质数据。
综上所述,实验结果表明,状态池网络能很好的对水质数据进行预测,在几个关键的曲线变化拐点上,都有较好的输出结果。根据本次发明提出的方法,经过完整训练的状态池网络模型,可以对水质数据的变化趋势有较好的预测能力,对水质的变化有较快的预警能力。

Claims (1)

1.一种基于状态池网络的水质指标预测方法,步骤如下:
1)确定水质参数的输入和输出数据,通过分析,选取流域上游几个采样点的水质参数为输入,流域下游的一个采样点的水质参数为输出;进行以天为单位的连续采样和分析,得到水质参数:叶绿素a,透明度SD、总磷TP、总氮TN、高锰酸钾指数CODmn、溶解氧、PH值;
2)设计用于检测水质异常的状态池网络结构,根据输入与输出的数据,最终确定状态池的结构为:输入层即Input Layer,简称IL,递归层即Recurrent neural layer,简称RNL,输出层即Output Layer,简称OL;
输入层包含输入信号,由向量y=[P1a,P1b,…P1m,…Pna,Pnb,…Pnm]表示,y由t时刻的水质采样点的n段时间m种水质数据(Pia,Pib,...Pim)构成的时间序列;输入层与递归层由突触向量WIL连接,WIL中的值从高斯分布N(0,0,5)中随机采样;
中间层为递归层;中间层包含大量的神经元节点,神经元节点由大小为N×1的向量x表示;中间层的神经元之间随机相互连接,连接用一个大小为N×N的稀疏矩阵WRNL表示;其中每一权重的非0项服从高斯分布N(0,g2/pN)的随机变量随机产生;其中,g=1.5,p=0.1;
递归层通过大小为N×m的输出权向量WOL合并成为一个包含两个节点的输出层,由向量Z表示;其中,m为水质参数个数;网络的输出为预测目标在t时刻的水质参数;
网络的输出为z(t),通过被激活的神经元的加权和得到;网络中被激活的神经元在时刻t表示r(t),其中r(.)=tanh(.);连接神经元到输出向量的权重为W,输出表示为:
Figure FDA0002969617010000011
状态池网络的递归过程表示为:
Figure FDA0002969617010000012
其中,τ=0.01毫秒,Inoise为每一个状态池神经元的随机噪声,服从N(0,10-6)的高斯分布;
3)在进行状态池网络训练之前,考虑到水质在测量中水体不稳定带来的误差以及异常,首先筛选有效的数据,剔除异常的部分;利用格拉布斯准则对样本数据进行异常值检测:
Figure FDA0002969617010000013
式中:Gs为Grubbs准则检验特征数据;Xi为可疑的数据,
Figure FDA0002969617010000014
为数据集的算术平均值,S为数据集的标准差;若Gs大于临界值Gp(n),则判断该数据为异常值;Gp(n)与检出水平和检验次数有关,检出水平σ=0.05,检验次数n为数据集个数;剔除水质异常值的做法是将水质数据按照升序排列,从两端依次去除异常值,直到数据集满足要求;
4)使用最小二乘法,即Recursive Least Squares,简称RLS,对网络的输出权重进行调整;输出层权重的调整由下式确定:
w(t)=w(t-Δt)-e_(t)P(t)r(t) (4)
其中,e_(t)为时刻t网络的实际输出w(t-Δt)与期望输出f(t)之间的差值:
et=w(t-Δt)–f(t) (5)
P(t)为N×N矩阵,它控制着RNL层神经元与输出神经元之间每一个权重调整的比率;这个矩阵在每一步同样需要按下式更新:
Figure FDA0002969617010000021
由于P在网络运行过程中需要不断更新,为此它需要设定一个初始值:
Figure FDA0002969617010000022
其中I为单位矩阵,α为常数;
5)状态池网络开始训练时,选取T1-Tn时段采样点的水质数据作为输入,Tn+1时刻的水质数据作为目标,其中水质参数类型与个数可根据预期计划调整;训练结束后,用均方根误差,即Root-Mean-Square Error,简称RMS error,表示网络的预测误差,均方根误差的计算公式为:
Figure FDA0002969617010000023
其中xi、yi...mi为状态池网络输出的m类水质参数,每种参数包含i个数据;
Figure FDA0002969617010000024
为这些水质参数期望的输出;
6)使用状态池网络进行水质预测;保存第5)步中训练得到的状态池网络结构参数,并使用测试数据集进行网络效果测试评估;同样使用均方根误差对水质预测数据进行评价,得到RMS的值。
CN201710717555.1A 2017-08-21 2017-08-21 一种基于状态池网络的水质指标预测方法 Active CN109426857B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710717555.1A CN109426857B (zh) 2017-08-21 2017-08-21 一种基于状态池网络的水质指标预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710717555.1A CN109426857B (zh) 2017-08-21 2017-08-21 一种基于状态池网络的水质指标预测方法

Publications (2)

Publication Number Publication Date
CN109426857A CN109426857A (zh) 2019-03-05
CN109426857B true CN109426857B (zh) 2021-06-08

Family

ID=65497708

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710717555.1A Active CN109426857B (zh) 2017-08-21 2017-08-21 一种基于状态池网络的水质指标预测方法

Country Status (1)

Country Link
CN (1) CN109426857B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112557307B (zh) * 2020-12-09 2022-09-27 武汉新烽光电股份有限公司 天空地一体化湖库水质监测融合数据方法
CN115385445B (zh) * 2022-09-21 2023-04-04 南京晓庄学院 一种基于大数据的污水生化处理用软测量管理系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061950A1 (en) * 2005-11-18 2007-05-31 Georgia Tech Research Corporation System, apparatus and methods for augmenting filter with adaptive element
CN101158674A (zh) * 2007-11-15 2008-04-09 天津市市政工程设计研究院 基于BP神经网络的水体中叶绿素a浓度预测方法
CN101819410A (zh) * 2010-04-28 2010-09-01 李华 用于水质检测的智能分光光度人工神经元网络训练方法
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080104001A1 (en) * 2006-10-27 2008-05-01 Kipp James E Algorithm for estimation of binding equlibria in inclusion complexation, host compounds identified thereby and compositions of host compound and pharmaceutical

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007061950A1 (en) * 2005-11-18 2007-05-31 Georgia Tech Research Corporation System, apparatus and methods for augmenting filter with adaptive element
CN101158674A (zh) * 2007-11-15 2008-04-09 天津市市政工程设计研究院 基于BP神经网络的水体中叶绿素a浓度预测方法
CN101819410A (zh) * 2010-04-28 2010-09-01 李华 用于水质检测的智能分光光度人工神经元网络训练方法
CN106407649A (zh) * 2016-08-26 2017-02-15 中国矿业大学(北京) 基于时间递归神经网络的微震信号到时自动拾取方法

Also Published As

Publication number Publication date
CN109426857A (zh) 2019-03-05

Similar Documents

Publication Publication Date Title
Wagena et al. Comparison of short-term streamflow forecasting using stochastic time series, neural networks, process-based, and Bayesian models
Chen et al. Deformation prediction of landslide based on improved back-propagation neural network
Lv et al. A long Short-Term memory cyclic model with mutual information for hydrology forecasting: A Case study in the xixian basin
El-Din et al. A neural network model to predict the wastewater inflow incorporating rainfall events
Wu et al. Effects of data normalization and inherent-factor on decision of optimal coagulant dosage in water treatment by artificial neural network
CN111291937A (zh) 基于支持向量分类与gru神经网络联合的处理污水水质预测方法
Jalalkamali et al. Monthly groundwater level prediction using ANN and neuro-fuzzy models: a case study on Kerman plain, Iran
CN111160520A (zh) 一种基于遗传算法优化的bp神经网络风速预测方法
Parthiban et al. Neural network analysis for corrosion of steel in concrete
Bouzeria et al. Using artificial neural network (ANN) for prediction of sediment loads, application to the Mellah catchment, northeast Algeria
CN110824915A (zh) 基于ga-dbn网络的废水处理智能监控方法及系统
CN113837364B (zh) 基于残差网络和注意力机制的污水处理软测量方法及系统
CN107798431A (zh) 一种基于改进Elman神经网络的中长期径流预报方法
CN109426857B (zh) 一种基于状态池网络的水质指标预测方法
CN113988210A (zh) 结构监测传感网失真数据修复方法、装置及存储介质
Shabri A hybrid wavelet analysis and adaptive neuro-fuzzy inference system for drought forecasting
CN110991776A (zh) 一种基于gru网络实现水位预测的方法及系统
CN111353640B (zh) 一种组合法风速预测模型构建方法
CN115482877A (zh) 一种基于时序图网络的发酵过程软测量建模方法
CN117540329B (zh) 基于机器学习的排水管网缺陷在线预警方法及系统
Tashaouie et al. Artificial neural network modeling for predict performance of pressure filters in a water treatment plant
CN112986393B (zh) 一种桥梁拉索损伤的检测方法和系统
Porte et al. Groundwater level prediction using artificial neural network model
CN117350146A (zh) 一种基于ga-bp神经网络的排水管网健康性评价方法
Sharma et al. Prediction of evapotranspiration by artificial neural network and conventional methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant