CN108846423A - 水质预测方法和系统 - Google Patents

水质预测方法和系统 Download PDF

Info

Publication number
CN108846423A
CN108846423A CN201810531233.2A CN201810531233A CN108846423A CN 108846423 A CN108846423 A CN 108846423A CN 201810531233 A CN201810531233 A CN 201810531233A CN 108846423 A CN108846423 A CN 108846423A
Authority
CN
China
Prior art keywords
water quality
nerve network
sequence
reverse transmittance
transmittance nerve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810531233.2A
Other languages
English (en)
Inventor
李振波
吴静
钮冰姗
彭芳
李光耀
岳峻
李道亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN201810531233.2A priority Critical patent/CN108846423A/zh
Publication of CN108846423A publication Critical patent/CN108846423A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/18Water
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

本发明实施例提供水质预测方法和系统。其中,方法包括:获取一定时间段内的水质参数的观测数据,将一定时间段内每一时间单位的水质参数的观测数据按照时间顺序进行排序,获取观测数据序列;根据预设的滑动窗口,获取观测数据序列末端的子序列作为特征序列;将特征序列输入至预设的反向传播神经网络,根据预设的反向传播神经网络的输出,获得水质参数的预测结果。本发明实施例提供的水质预测方法和系统,通过滑动窗口处理一定时间段内的水质参数的观测数据获得特征序列,并将特征序列输入反向传播神经网络,获得水质参数的预测结果,能有效提高预测精度。

Description

水质预测方法和系统
技术领域
本发明实施例涉及环境预测技术领域,尤其涉及水质预测方法和系统。
背景技术
地下水作为人类饮用水重要来源之一,一旦水质受到污染,将对人体 健康和生命安全构成了严重威胁。水质变化预测是实现水资源管理、水污 染治理的前提工作。水质的影响因子为pH值、溶解氧(DO)、电导率(EC)、 浊度(TU)、氨氮(NH3-N)、化学需氧量(COD)、高锰酸盐等水质参数,对 其中溶解氧、氨氮、高锰酸盐的预测,对不同流域的污染治理、水源管理 具有预警作用。使用历史数据,可通过不同的预测方法挖掘水质指标之间 的非线性关系或待预测水质指标本身随时间的变化规律。地下水水质受人 类活动和水文气象条件的双重影响,需要及时地监测地下水的水量与水质 状况,预测后续水质变化。
现有技术中,有采用反向传播神经网络(Back Propagation Neural Network,简称BPNN、BP神经网络)进行水质预测的方法。该类方法中, 大多提取气象数据、水塘的特征数据作为特征,进行水质预测;也有采用 水质的时间序列作为特征进行水质预测的方法。上述方法存在BPNN的训 练速度较慢、容易陷入误差性能函数的局部最小,导致预测的速度较慢和 精度不足。
发明内容
针对现有技术存在的水质预测的精度不足的问题,本发明实施例提供 水质预测方法和系统。
根据本发明的第一方面,本发明实施例提供一种水质预测方法,包括:
获取一定时间段内的水质参数的观测数据,将所述一定时间段内每一时 间单位的水质参数的观测数据按照时间顺序进行排序,获取观测数据序列;
根据预设的滑动窗口,获取观测数据序列末端的子序列作为特征序列;
将所述特征序列输入至预设的反向传播神经网络,根据所述预设的反向 传播神经网络的输出,获得水质参数的预测结果;
其中,所述预设的反向传播神经网络是根据样本特征序列进行训练后获 得的;每一所述样本特征序列为根据所述预设的滑动窗口获取的所述观测数 据序列中的子序列。
根据本发明的第二方面,本发明实施例提供一种水质预测系统,包括:
序列获取模块,用于获取一定时间段内的水质参数的观测数据,将所述 一定时间段内每一时间单位的水质参数的观测数据按照时间顺序进行排序, 获取观测数据序列;
特征获取模块,用于根据预设的滑动窗口,获取观测数据序列末端的子 序列作为特征序列;
水质预测模块,用于将所述特征序列输入至预设的反向传播神经网络, 根据所述预设的反向传播神经网络的输出,获得水质参数的预测结果;
其中,所述预设的反向传播神经网络是根据样本特征序列进行训练后获 得的;每一所述样本特征序列为根据所述预设的滑动窗口获取的所述观测数 据序列中的子序列。
根据本发明的第三方面,本发明实施例提供一种水质预测设备,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所 述程序指令能够执行本发明实施例水质预测方法及其所有可选实施例的分析 方法。
根据本发明的第四方面,本发明实施例提供一种非暂态计算机可读存储 介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使 所述计算机执行本发明实施例水质预测方法及其所有可选实施例的分析方 法。
本发明实施例提供的水质预测方法和系统,通过滑动窗口处理一定时间 段内的水质参数的观测数据获得特征序列,并将特征序列输入反向传播神经 网络,获得水质参数的预测结果,能有效提高预测精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下 面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在 不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例水质预测方法的流程图;
图2为本发明实施例水质预测系统的功能框图;
图3为本发明实施例水质预测设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发 明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述, 显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于 本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获 得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例水质预测方法的流程图。如图1所示,一种水质预 测方法包括:步骤S101、获取一定时间段内的水质参数的观测数据,将一定 时间段内每一时间单位的水质参数的观测数据按照时间顺序进行排序,获取 观测数据序列。
需要说明的是,对于部分水域,例如草原流域的地下水等,水质参数随 时间的起伏并不大,这是因为草原流域的地下水比较稳定,因而水质参数随 时间的变化比较平缓,特别是冬季,水质参数几乎不变化。对于这类水域, 气象数据、水域自身的特征等并不能很好地表征水质,选取水质参数的历史 观测数据作为水质的特征,构成序列,由于该序列是具有周期性与趋势性的 时间序列,能很好地表征水质,因此,该序列可以作为很好的特征,用于水 质预测,提高水质预测的精度。
一定时间段,指进行水质预测的时间单位之前的一段时间。
时间单位,可以是年、季、月、旬、周、日或其他时间单位,本发明实 施例对此不作限制。
获取一定时间段内每一时间单位的水质参数的观测数据后,将各时间单 位的水质参数的观测数据按照时间先后进行排序,获取观测数据序列。
例如,一定时间段为1980年至2000年,时间单位为年,将这21年间每 年的水质参数的观测数据组成长度为21的观测数据序列;一定时间段为2008 至2010年,时间单位为月,将这3年间每月的水质参数的观测数据组成长度 为36的观测数据序列。
步骤S102、根据预设的滑动窗口,获取观测数据序列末端的子序列作为 特征序列。
由于观测数据序列的长度可能很长,获的观测数据序列之后,根据预设 的滑动窗口(sliding window)选取观测数据序列末端的子序列作为特征序列。
滑动窗口的长度,为特征序列中水质参数的观测数据的个数。滑动窗口 的长度可以通过人机交互的方式人为进行预设,也可以通过合适的算法自动 选取。
假设观测数据序列中的每个水质参数的观测数据与该水质参数的观测数 据之前的多个水质参数的观测数据有联系,对于观测数据序列D1,D2,...,Dk, 若滑动窗口的预设长度S=1,实际上就是用观测数据序列中的第t-1个时间单 位的水质参数的观测数据D(t-1)来预测第t个时间单位的水质参数数据Dt,D(t-1)为特征序列;若S=N,根据观测数据序列末端的子序列D(t-N),D(t-N+1),…,D(t-1), 预测第t个时间单位的水质参数据Dt,D(t-N),D(t-N+1),…,D(t-1)为特征序列。
步骤S103、将特征序列输入至预设的反向传播神经网络,根据预设的反 向传播神经网络的输出,获得水质参数的预测结果。其中,预设的反向传播 神经网络是根据样本特征序列进行训练后获得的;每一样本特征序列为根据 预设的滑动窗口获取的观测数据序列中的子序列。
获得特征序列后,将特征序列输入至预设的反向传播神经网络,获得预 设的反向传播神经网络的输出;根据预设的反向传播神经网络的输出,获得 水质参数的预测结果。
BP神经网络(BPNN,反向传播神经网络)以误差反传神经网络拓扑结 构为基础。训练BP神经网络的基本原理是正向传播得到输出层误差,通过 输入层输入样本,再经由隐藏层和输出层函数计算,输出层判断是否反向传 播,若输出层误差与期望不符则反向传播,修正各层单元的权值,直到误差 减少到可接受程度,将此时的反向传播神经网络确定为预设的反向传播神经 网络。
对BP神经网络进行训练时,根据预设的滑动窗口,获取观测数据序列 中的多个子序列,作为样本特征序列。获取的每一子序列,为一个样本特征 序列。
根据滑动窗口,获取多个样本特征序列的过程,与根据滑动窗口,获取 特征序列的过程类似,此处不再赘述。
例如,观测数据序列为1月中每日的水质参数构成的历史时间序列,滑 动窗口的长度为10,对2月1日的水质进行预测;根据滑动窗口的长度为10, 从观测数据序列中选取为1月22日至1月31日这10天的水质参数的观测数 据构成的子序列为特征序列;根据滑动窗口的长度为10,从观测数据序列中 依次选取1月1日至1月10日、1月2日至1月11日、…、1月21日至1 月30日的水质参数的观测数据构成的子序列为样本特征序列。
将样本特征序列输入至预设的反向传播神经网络,根据反向传播神经网 络的输出与实际观测值之差,不断修正反向传播神经网络的参数,直至获得 满足要求的反向传播神经网络,作为预设的反向传播神经网络。
本发明实施例通过滑动窗口处理一定时间段内的水质参数的观测数据获 得特征序列,并将特征序列输入反向传播神经网络,获得水质参数的预测结 果,能有效提高预测精度。
基于上述实施例,获得预设的反向传播神经网络的具体步骤包括:将样 本特征序列输入参数为初始值的反向传播神经网络,根据弹性BP算法,对 参数为初始值的反向传播神经网络进行训练,获得预设的反向传播神经网络。 其中,反向传播神经网络的参数的初始值根据粒子群优化方法确定。
需要说明的是,对反向传播神经网络之前,需要确定反向传播神经网络 的参数的初始值。反向传播神经网络的参数包括反向传播神经网络中各神经 元的连接权重和阈值。
一般情况下,初始化反向传播神经网络时,随机生成反向传播神经网络 的参数的初始值。此时,由于反向传播神经网络的参数的初始值是随机生成 的,可能导致网络初始值敏感问题,可以通过合适的算法对随机生成的反向 传播神经网络的参数的初始值进行优化,将进行优化后确定的反向传播神经 网络的参数的初始值作为反向传播神经网络的参数的初始值,以避免导致网 络初始值敏感问题。
作为一个优选实施例,反向传播神经网络的参数的初始值,根据粒子群 优化方法确定。
由于BP神经网络的训练过程中,采用梯度下降法等方法进行训练时, 可能导致网络初始值敏感问题,即由于BP神经网络的参数的初始值选择不 当,导致网络收敛慢、鲁棒性差,进而导致水质预测的精度低、速度慢,通 过粒子群优化方法对BP神经网络的的参数的初始值,避免网络初始值敏感 和误差波动,同时加快训练速度。
粒子群优化(Particle Swarm Optimization,简称PSO)方法,又称微粒群算 法。PSO算法是基于群体的,根据对环境的适应度将群体中的个体移动到好 的区域。然而它不对个体使用演化算子,而是将每个个体看作是D维搜索空 间中的一个没有体积的粒子(点),粒子在搜索空间中以一定的速度飞行, 这个速度根据它本身的飞行经验和同伴的飞行经验来动态调整。
获得样本特征序列后,将样本特征序列输入参数为初始值的反向传播神 经网络,根据反向传播神经网络的输出结果的误差,利用弹性BP算法,调 整反向传播神经网络的参数的值,直至反向传播神经网络的输出结果的误差 满足预设的条件,获得预设的反向传播神经网络。
BP神经网络训练过程中可能陷入局部最小,而不能获得全局最小值,不 能使BP神经网络的预测误差快速下降到满足要求的水平。为了避免BP神经 网络训练过程中陷入局部最小,采用弹性BP算法能帮助BP神经网络寻找全 局最小值。
本发明实施例通过粒子群优化方法确定反向传播神经网络的参数的初始 值,能避免网络初始值敏感和误差波动,同时加快训练速度,减少训练时间, 从而能更快地获得水质预测的结果。进一步地,通过采用弹性BP算法进行 BP神经网络训练,改变BP神经网络训练时的学习率,避免BP网络陷入局 部最小值,提高了网络的预测性能。
基于上述实施例,作为一个可选实施例,确定反向传播神经网络的参数 的初始值的具体步骤包括:对反向传播神经网络进行初始化,获取反向传播 神经网络的参数的原始值。
具体地,根据粒子群优化方法确定反向传播神经网络的参数的初始值时, 先进行反向传播神经网络进行初始化,获取原始的反向传播神经网络的参数 的初始值,作为反向传播神经网络的参数的原始值。
将反向传播神经网络的参数的原始值作为粒子群中粒子的初始值,迭代 更新粒子的值,直至迭代的次数达到预设的最大迭代次数;将迭代的次数达 到预设的最大迭代次数时的粒子的值,确定为反向传播神经网络的参数的初 始值。
具体地,获取反向传播神经网络的参数的原始值后,将反向传播神经网 络的参数作为粒子群中的粒子,将反向传播神经网络的参数的原始值作为粒 子群中粒子的初始值,根据粒子群优化方法,对粒子群中粒子的值进行迭代 更新,直至迭代的次数达到预设的最大迭代次数。
当迭代的次数达到预设的最大迭代次数时,将此时的粒子的值,确定为 反向传播神经网络的参数的初始值。
基于上述实施例,将反向传播神经网络的参数的原始值作为粒子的初始 值之前还包括:初始化粒子群的粒子维度、最大迭代次数、粒子数、第一加 速度常数和第二加速度常数。
具体地,将反向传播神经网络的参数的原始值作为粒子的初始值之欠, 对粒子群优化方法的参数进行初始化。粒子群优化方法的参数包括粒子维度 n、最大迭代次数I、粒子数m、第一加速度常数c1、第二加速度常数c2。根 据粒子群优化方法的参数,建立粒子群。
粒子群优化方法的具体过程如下。
(1)建立粒子群。
在一个n维的搜索空间中,建立由m个粒子组成一个种群(粒子群), 即X={x1,x2,…,xi,…,xm};粒子群中第i个粒子的位置为: xi=(xi1,xi2,…,xin),其速度为Vi=(Vi1,Vi2,…,Vin),粒子的个体极值(local best value)为:Pi=(Pi1,Pi2,…,Pin),种群的全局极值(global best value)为: Qi=(Q1,Q2,…,Qn)。其中,1≤i≤m。
(2)根据优化目标计算每个粒子的适应度值。
优选地,适应度值取BP神经网络训练误差的绝对值。
将样本数据集中的数据输入参数为初始值的反向传播神经网络,获取BP 神经网络训练误差的绝对值作为每个粒子的适应度值。
(3)通过迭代寻找最优解。
在每一次迭代过程中,每个粒子当前所找到的最优解为P,整个种群目 前所找到的最优解为Q。将粒子的个体历史最优值和当前粒子适应值进行比 较,如果当前的适应值比历史最优值小,则用当前的适应值替换个体历史最 优值。再将粒子历史最优适应值序列中最小的值与当前的全局最优值进行比 较,更新Q。
(4)更新种群中粒子的速度和位移。
每个粒子通过这两极值来更新自己的速度和位置,粒子更新方程为为:
其中,d=1,2,…,n,i=1,2,…,m;r1、r2是[0,1]之间的随机数,主要 目的是为了增加粒子飞行的随机性;t表示第t次迭代;c1、c2表示加速度常 数。
(5)若满足停止条件,例如迭代次数达到预设的最大迭代次数,停止迭 代,输出结果;否则,返回(2),重新根据优化目标计算每个粒子的适应度 值。
基于上述实施例,作为一个可选实施例,根据各样本特征序列构建训练 样本集和验证样本集;训练样本集和验证样本集均包括多个样本特征序列, 且训练样本集包括的任一样本特征序列与验证样本集包括的任一样本特征序 列不同训练样本集验证样本集。
作为一个可选实施例,BP神经网络的训练过程中,采用交叉验证的方式。
将获得的全部样本特征序列至少分为两个部分,将上述两个部分分别构 建成训练样本集和验证样本集。训练样本集和验证样本集均包括多个样本特 征序列。
通常情况下,训练样本集包括的样本特征序列的数量大于和验证样本集 包括的样本特征序列的数量。同一样本特征序列包括在训练样本集或验证样 本集中,而不同时包括在训练样本集和验证样本集中。
相应地,将样本特征序列输入参数为初始值的反向传播神经网络,根据 弹性BP算法,对参数为初始值的反向传播神经网络进行训练,获得预设的 反向传播神经网络的具体步骤包括:将训练样本集中的数据分成多个数据组, 每个数据组包括多个数据。
具体地,为了提高BP神经网络的训练效率,将训练样本集中的样本特 征序列分成多个数据组,每个数据组包括多个样本特征序列。
对于训练样本集中的每一数据组,将该数据组中的各样本特征序列分别 输入参数为初始值的反向传播神经网络,根据弹性BP算法,对参数为初始 值的反向传播神经网络进行训练,获取待验证的反向传播神经网络,并将验 证样本集中的样本特征序列输入待验证的反向传播神经网络,获取预测误差。
具体地,将训练样本集中的样本特征序列分成多个数据组后,每次将一 个数据组中的样本特征序列输入参数为初始值的反向传播神经网络,根据弹 性BP算法,对参数为初始值的反向传播神经网络进行训练,获取待验证的 反向传播神经网络,完成一次训练。
每次训练完成后,将验证样本集中的样本特征序列输入本次训练获得待 验证的反向传播神经网络,获取本次训练获得待验证的反向传播神经网络的 预测误差。
若判断获知连续的预设数量的预测误差呈非下降的趋势,则将连续的预 设数量的预测误差中,最小的预测误差对应的待验证的反向传播神经网络作 为预设的反向传播神经网络。
具体地,当获取本次训练获得待验证的反向传播神经网络的预测误差后, 将本次训练获得待验证的反向传播神经网络的预测误差,以及本次训练前连 续若干次训练获得待验证的反向传播神经网络的预测误差按照训练先后排 列,分析上述多个预测误差呈现的趋势。
本次训练前连续若干次训练的数量,等于预设数量减一。
例如,预设数量为5;完成第5次训练后,分析第1至第5次训练得到 的预测误差呈现的趋势;完成第6次训练后,分析第2至第6次训练得到的 预测误差呈现的趋势。
对连续的预设数量的预测误差进行分析,若连续的预设数量的预测误差 呈下降的趋势,例如连续的预设数量的预测误差中在后的多个预测误差呈递 减的趋势,说明可能通过继续反向传播神经网络,进一步减小预测误差,此 时,进行下一次训练;若连续的预设数量的预测误差呈现非下降的趋势,如 下降后又上升或一直上升,说明训练的误差已经不再减小,难以得到更好的 训练效果,没有必要继续进行训练,此时,停止训练。
例如,对于预设数量为6,第1至第6次训练得到的预测误差e1、e2、e3、 e4、e5、e6,,e1<e2<e3且e3>e4>e5>e6,这6次训练得到的预测误差中的后 四个预测误差呈下降的趋势,则进行第7次训练;第7次训练得到的预测误 差e7,e6>e7,第2至第7次训练得到的预测误差中的后五个预测误差呈下降 的趋势,则进行第8次训练;第8次训练得到的预测误差e8,e8>e7,第3至 第8次训练得到的预测误差呈现先下降后上升的趋势,停止训练,即不再进 行第9次训练。
当连续的预设数量的预测误差呈非下降的趋势时,停止训练,获取连续 的预设数量的预测误差中最小的预测误差;由于连续的预设数量的预测误差 中该最小的预测误差的值最小,说明该最小的预测误差对应的待验证的反向 传播神经网络的预测准确性最高,将该最小的预测误差对应的待验证的反向 传播神经网络作为所述预设的反向传播神经网络。
例如,上述第3至第8次训练得到的预测误差中,第7次训练得到的预 测误差最小,则将第7次训练获得的待验证的反向传播神经网络作为所述预 设的反向传播神经网络。
本发明实施例通过交叉验证方法进行反向传播神经网络的训练,避免陷 入过学习,能有效避免网络过拟合,并减少训练的时间,从而提高水质预测 的精度和速度。
基于上述实施例,作为一个可选实施例,水质参数包括:pH值、溶解氧、 电导率、浊度、氨氮浓度、化学需氧量、高锰酸盐浓度、总磷和总氮中的至 少一种。
具体地,pH值,用于表示水的酸碱度。
溶解氧,指溶解在水中的空气中的分子态氧,通常记作DO,用每升水里 氧气的毫克数表示。
电导率,指水中可溶性盐浓度或者,通常记作EC。
浊度,指水对光线通过时所产生的阻碍程度,它包括悬浮物对光的散射 和水中的溶质分子对光的吸收,通常记作NTU或TU。
氨氮(NH3-N),指水中以游离氨(NH3)和铵离子(NH4+)形式存在 的氮,用每升水里氨氮的毫克数表示。
化学需氧量(Chemical Oxygen Demand,简称COD),是以化学方法测 量水样中需要被氧化的还原性物质的量。
高锰酸盐浓度,用每升水里高锰酸盐的毫克数表示。
总磷(TP)是水样经消解后将各种形态的磷转变成正磷酸盐后测定的结 果,以每升水样含磷毫克数计量。
总氮(TN)的定义是水中各种形态无机和有机氮的总量,包括NO3-、 NO2-和NH4+等无机氮和蛋白质、氨基酸和有机胺等有机氮,以每升水含氮 毫克数计算。
可以上述参数中的一个或多个作为水质参数,进行水质预测。
基于上述实施例,作为一个可选实施例,根据预设的滑动窗口,获取观 测数据序列末端的子序列作为特征序列之前还包括:对观测数据序列进行预 处理,删除观测数据序列中的空缺数据和异常数据。
具体地,由于获得的观测数据序列中,可能存在空缺数据和异常数据, 获得观测数据序列后,对观测数据序列进行预处理。
空缺数据,指该时间单位的水质参数的观测数据未记录或丢失。
异常数据,指该时间单位的水质参数的观测数据明显存在错误。例如,pH值为负数或大于15。
预处理的具体方式为,对于观测数据序列中的空缺数据和异常数据,直 接进行删除,减少观测数据序列的长度。
本发明实施例通过对观测数据序列进行预处理,避免空缺数据和异常数 据造成的干扰,能提高水质预测的准确率。
下面通过一个实例说明本发明提供的水质预测方法的效果。
根据历史数据对内蒙古锡林郭勒地下水质进行预测。选择化学需氧量 COD作为水质参数。
在预测条件相同的情况下,分别采用本发明提供的水质预测方法、反向 传播神经网络(BPNN)方法、反向传播神经网络结合粒子群优化方法 (PSO-BPNN)、反向传播神经网络结合滑动窗口方法(BPNN+sliding window)进行预测。
采用均方误差(mean-square error,简称MSE)、均方根差(root mean squareerror,简称RMSE)和平均绝对误差(Mean Absolute Deviation,简称MAE)评 价上述四种预测方法的性能。
式中N代表预测的次数,yi表示实际值,yi表示预测值。
上述四种预测方法的性能如表1所示。
表1模型精度
MSE RMSE MAE
BPNN 2.56 16 0.638
PSOBPNN 0.615 7.842 0.469
BPNN+sliding window 1.24 11.14 0.820
本发明 0.437 6.611 0.251
如表1所示,在预测条件相同的情况下,本发明提供的水质预测方法的MSE、RMSE和MAE均优于其他三种方法。
图2为本发明实施例水质预测系统的功能框图。基于上述实施例,如图 2所示,一种水质预测系统包括:序列获取模块201,用于获取一定时间段内 的水质参数的观测数据,将一定时间段内每一时间单位的水质参数的观测数 据按照时间顺序进行排序,获取观测数据序列;特征获取模块202,用于根 据预设的滑动窗口,获取观测数据序列末端的子序列作为特征序列;水质预 测模块203,用于将特征序列输入至预设的反向传播神经网络,根据预设的 反向传播神经网络的输出,获得水质参数的预测结果;其中,预设的反向传 播神经网络是根据样本特征序列进行训练后获得的;每一样本特征序列为根 据预设的滑动窗口获取的观测数据序列中的子序列。
本发明提供的水质预测系统用于执行本发明提供的水质预测方法,水质 预测系统包括的各模块实现相应功能的具体方法和流程详见上述水质预测方 法的实施例,此处不再赘述。
本发明实施例通过滑动窗口处理水域水质参数历史时间序列数据获得特 征序列,并将特征序列输入反向传播神经网络,获得水质参数的预测结果, 能有效提高预测精度。进一步地,结合粒子群优化方法训练反向传播神经网 络,避免网络初始值敏感和误差波动,同时加快训练速度,减少训练时间, 从而能更快地获得水质预测的结果。
图3为本发明实施例水质预测设备的结构框图。基于上述实施例,如图 3所示,水质预测设备包括:处理器(processor)301、存储器(memory)302和总 线303;其中,处理器301和存储器302通过总线303完成相互间的通信; 处理器301用于调用存储器302中的程序指令,以执行上述各方法实施例所 提供的方法,例如包括:水质预测方法;获取观测数据序列的方法;利用滑 动窗口获取特征序列的方法;获得预设的反向传播神经网络的方法;确定反 向传播神经网络的参数的初始值的方法;对观测数据序列进行预处理的方法 等。
本发明另一实施例公开一种计算机程序产品,计算机程序产品包括存储 在非暂态计算机可读存储介质上的计算机程序,计算机程序包括程序指令, 当程序指令被计算机执行时,计算机能够执行上述各方法实施例所提供的方 法,例如包括:水质预测方法;获取观测数据序列的方法;利用滑动窗口获 取特征序列的方法;获得预设的反向传播神经网络的方法;确定反向传播神 经网络的参数的初始值的方法;对观测数据序列进行预处理的方法等。
本发明另一实施例提供一种非暂态计算机可读存储介质,非暂态计算机 可读存储介质存储计算机指令,计算机指令使计算机执行上述各方法实施例 所提供的方法,例如包括:水质预测方法;获取观测数据序列的方法;利用 滑动窗口获取特征序列的方法;获得预设的反向传播神经网络的方法;确定 反向传播神经网络的参数的初始值的方法;对观测数据序列进行预处理的方 法等。
以上所描述的系统实施例仅仅是示意性的,其中作为分离部件说明的单 元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也 可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元 上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案 的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解 并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实 施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬 件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部 分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可 读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台 计算机设备(可以是个人计算机,服务器,或者网络设备等)执行上述各个 实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其 限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术 人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或 者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技 术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种水质预测方法,其特征在于,包括:
获取一定时间段内的水质参数的观测数据,将所述一定时间段内每一时间单位的水质参数的观测数据按照时间顺序进行排序,获取观测数据序列;
根据预设的滑动窗口,获取观测数据序列末端的子序列作为特征序列;
将所述特征序列输入至预设的反向传播神经网络,根据所述预设的反向传播神经网络的输出,获得水质参数的预测结果;
其中,所述预设的反向传播神经网络是根据样本特征序列进行训练后获得的;每一所述样本特征序列为根据所述预设的滑动窗口获取的所述观测数据序列中的子序列。
2.根据权利要求1所述的水质预测方法,其特征在于,获得所述预设的反向传播神经网络的具体步骤包括:
将所述样本特征序列输入参数为初始值的反向传播神经网络,根据弹性BP算法,对参数为所述初始值的反向传播神经网络进行训练,获得所述预设的反向传播神经网络;
其中,反向传播神经网络的参数的初始值根据粒子群优化方法确定。
3.根据权利要求2所述的水质预测方法,其特征在于,确定反向传播神经网络的参数的初始值的具体步骤包括:
对反向传播神经网络进行初始化,获取反向传播神经网络的参数的原始值;
将反向传播神经网络的参数的原始值作为粒子群中粒子的初始值,迭代更新粒子的值,直至迭代的次数达到预设的最大迭代次数;
将迭代的次数达到预设的最大迭代次数时的粒子的值,确定为反向传播神经网络的参数的初始值。
4.根据权利要求3所述的水质预测方法,其特征在于,所述将反向传播神经网络的参数的原始值作为粒子的初始值之前还包括:
初始化粒子群的粒子维度、最大迭代次数、粒子数、第一加速度常数和第二加速度常数。
5.根据权利要求2所述的水质预测方法,其特征在于,根据各样本特征序列构建训练样本集和验证样本集;
所述训练样本集和验证样本集均包括多个样本特征序列,且所述训练样本集包括的任一样本特征序列与所述验证样本集包括的任一样本特征序列不同;相应地,所述将所述样本特征序列输入参数为初始值的反向传播神经网络,根据弹性BP算法,对参数为所述初始值的反向传播神经网络进行训练,获得所述预设的反向传播神经网络的具体步骤包括:
将所述训练样本集中的样本特征序列分成多个数据组,每个数据组包括多个样本特征序列;
对于所述训练样本集中的每一数据组,将该数据组中的样本特征序列输入参数为初始值的反向传播神经网络,根据弹性BP算法,对参数为所述初始值的反向传播神经网络进行训练,获取待验证的反向传播神经网络,并将所述验证样本集中的样本特征序列输入所述待验证的反向传播神经网络,获取预测误差;
若判断获知连续的预设数量的预测误差呈非下降的趋势,则将所述连续的预设数量的预测误差中,最小的预测误差对应的待验证的反向传播神经网络作为所述预设的反向传播神经网络。
6.根据权利要求1所述的水质预测方法,其特征在于,所述水质参数包括:
pH值、溶解氧、电导率、浊度、氨氮浓度、化学需氧量、高锰酸盐浓度、总磷和总氮中的至少一种。
7.根据权利要求1至6任一所述的水质预测方法,其特征在于,所述根据预设的滑动窗口,获取观测数据序列末端的子序列作为特征序列之前还包括:
对所述观测数据序列观测数据序列进行预处理,删除所述观测数据序列观测数据序列中的空缺数据和异常数据。
8.一种水质预测系统,其特征在于,包括:
序列获取模块,用于获取一定时间段内的水质参数的观测数据,将所述一定时间段内每一时间单位的水质参数的观测数据按照时间顺序进行排序,获取观测数据序列;
特征获取模块,用于根据预设的滑动窗口,获取观测数据序列末端的子序列作为特征序列;
水质预测模块,用于将所述特征序列输入至预设的反向传播神经网络,根据所述预设的反向传播神经网络的输出,获得水质参数的预测结果;
其中,所述预设的反向传播神经网络是根据样本特征序列进行训练后获得的;每一所述样本特征序列为根据所述预设的滑动窗口获取的所述观测数据序列中的子序列。
9.一种水质预测设备,其特征在于,包括:
至少一个处理器;以及
与所述处理器通信连接的至少一个存储器,其中:
所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质,其特征在于,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201810531233.2A 2018-05-29 2018-05-29 水质预测方法和系统 Pending CN108846423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810531233.2A CN108846423A (zh) 2018-05-29 2018-05-29 水质预测方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810531233.2A CN108846423A (zh) 2018-05-29 2018-05-29 水质预测方法和系统

Publications (1)

Publication Number Publication Date
CN108846423A true CN108846423A (zh) 2018-11-20

Family

ID=64209863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810531233.2A Pending CN108846423A (zh) 2018-05-29 2018-05-29 水质预测方法和系统

Country Status (1)

Country Link
CN (1) CN108846423A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109813857A (zh) * 2019-03-08 2019-05-28 新昌县以琳环保科技有限公司 基于物联网水质监测系统监测方法
CN110033118A (zh) * 2019-02-25 2019-07-19 浙江工业大学 弹性网络建模且基于遗传算法的风机多目标优化控制方法
CN110208696A (zh) * 2019-06-25 2019-09-06 华北电力大学 基于模型自弈和典型样本的磨煤机故障诊断方法
CN112862096A (zh) * 2021-02-04 2021-05-28 百果园技术(新加坡)有限公司 一种模型训练和数据处理方法、装置、设备及介质
CN113009097A (zh) * 2021-03-01 2021-06-22 中国联合网络通信集团有限公司 水质检测方法、装置及电子设备
CN115204060A (zh) * 2022-08-19 2022-10-18 水利部交通运输部国家能源局南京水利科学研究院 一种饮用水源地水质多维模型快速预警方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737288A (zh) * 2012-06-20 2012-10-17 浙江大学 一种基于rbf神经网络参数自优化的水质多步预测方法
CN103886397A (zh) * 2014-04-17 2014-06-25 中国科学院重庆绿色智能技术研究院 一种分治法与水质周期性结合的水质预测方法
CN103942461A (zh) * 2014-05-14 2014-07-23 浙江师范大学 基于在线贯序极限学习机的水质参数预测方法
CN103942457A (zh) * 2014-05-09 2014-07-23 浙江师范大学 基于关联向量机回归的水质参数时间序列预测方法
CN105184416A (zh) * 2015-09-23 2015-12-23 上海大学 基于粒子群优化反向传播神经网络的脉动风速预测方法
CN107688871A (zh) * 2017-08-18 2018-02-13 中国农业大学 一种水质预测方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102737288A (zh) * 2012-06-20 2012-10-17 浙江大学 一种基于rbf神经网络参数自优化的水质多步预测方法
CN103886397A (zh) * 2014-04-17 2014-06-25 中国科学院重庆绿色智能技术研究院 一种分治法与水质周期性结合的水质预测方法
CN103942457A (zh) * 2014-05-09 2014-07-23 浙江师范大学 基于关联向量机回归的水质参数时间序列预测方法
CN103942461A (zh) * 2014-05-14 2014-07-23 浙江师范大学 基于在线贯序极限学习机的水质参数预测方法
CN105184416A (zh) * 2015-09-23 2015-12-23 上海大学 基于粒子群优化反向传播神经网络的脉动风速预测方法
CN107688871A (zh) * 2017-08-18 2018-02-13 中国农业大学 一种水质预测方法和装置

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
丛爽 等: "《智能控制系统及其应用》", 31 August 2013 *
冯新泸 等: "《近红外光谱及其在石油产品分析中的应用》", 31 July 2002 *
施彦 等: "《神经网络设计方法与实例分析》", 31 December 2009 *
谢庆生 等: "《机械工程中的神经网络方法》", 31 March 2003 *
郑继刚 等: "《数据挖掘及其应用研究》", 31 May 2014 *
高峰 等: "基于PSO优化BP神经网络的水质预测研究", 《安全与环境学报》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033118A (zh) * 2019-02-25 2019-07-19 浙江工业大学 弹性网络建模且基于遗传算法的风机多目标优化控制方法
CN109813857A (zh) * 2019-03-08 2019-05-28 新昌县以琳环保科技有限公司 基于物联网水质监测系统监测方法
CN109813857B (zh) * 2019-03-08 2021-07-13 江西电信信息产业有限公司 基于物联网水质监测系统监测方法
CN110208696A (zh) * 2019-06-25 2019-09-06 华北电力大学 基于模型自弈和典型样本的磨煤机故障诊断方法
CN112862096A (zh) * 2021-02-04 2021-05-28 百果园技术(新加坡)有限公司 一种模型训练和数据处理方法、装置、设备及介质
CN113009097A (zh) * 2021-03-01 2021-06-22 中国联合网络通信集团有限公司 水质检测方法、装置及电子设备
CN115204060A (zh) * 2022-08-19 2022-10-18 水利部交通运输部国家能源局南京水利科学研究院 一种饮用水源地水质多维模型快速预警方法及系统

Similar Documents

Publication Publication Date Title
CN108846423A (zh) 水质预测方法和系统
CN103729550B (zh) 基于传播时间聚类分析的多模型集成洪水预报方法
Mustafa et al. Artificial neural networks modeling in water resources engineering: infrastructure and applications
Wilson et al. Towards a generic artificial neural network model for dynamic predictions of algal abundance in freshwater lakes
Heddam Generalized regression neural network-based approach for modelling hourly dissolved oxygen concentration in the Upper Klamath River, Oregon, USA
CN109214579B (zh) 基于bp神经网络的盐碱地稳定性预测方法及系统
Whitehead et al. Dynamic modelling of multiple phytoplankton groups in rivers with an application to the Thames river system in the UK
CN103454390B (zh) 一种测量溶解氧浓度的方法及装置
CN103778482A (zh) 基于多尺度分析的水产养殖溶解氧短期预测方法
CN106991285A (zh) 一种短期风速多步预测方法及装置
CN103942398A (zh) 基于遗传算法及广义回归神经网络的交通仿真校正方法
CN111310902A (zh) 神经网络模型的训练方法、边坡位移预测方法及相关装置
CN114818324A (zh) 流域尺度的水量水质自动调控方法、装置、介质和设备
Robati et al. Inflation rate modeling: Adaptive neuro-fuzzy inference system approach and particle swarm optimization algorithm (ANFIS-PSO)
Abudu et al. Comparison of the performance of statistical models in forecasting monthly total dissolved solids in the Rio Grande 1
Le et al. Neural network modeling of monthly salinity variations in oyster reef in Apalachicola Bay in response to freshwater inflow and winds
Fisch et al. Population genetics and conservation implications for the endangered delta smelt in the San Francisco Bay-Delta
CN105372995A (zh) 污水处理系统测控方法
CN110991616B (zh) 一种基于删减型前馈小世界神经网络出水bod预测方法
CN108877224A (zh) 一种可进行置信区间估计的短时交通流预测方法
CN112801364A (zh) 基于miv与改进蝙蝠算法的参考作物腾发量预测方法
Nieland et al. Modeling the sustainability of lake trout fisheries in eastern Wisconsin waters of Lake Superior
CN109541729B (zh) 一种基于narx的中国北方草原地区生长季降雨量的预测方法
CN109187898B (zh) 水产养殖环境中水质氨氮含量的软测量方法及装置
Palani et al. Development of a neural network model for dissolved oxygen in seawater

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181120

RJ01 Rejection of invention patent application after publication