CN104318325B - 多流域实时智能水质预测方法及系统 - Google Patents

多流域实时智能水质预测方法及系统 Download PDF

Info

Publication number
CN104318325B
CN104318325B CN201410543016.7A CN201410543016A CN104318325B CN 104318325 B CN104318325 B CN 104318325B CN 201410543016 A CN201410543016 A CN 201410543016A CN 104318325 B CN104318325 B CN 104318325B
Authority
CN
China
Prior art keywords
data
time
narx
model
pollution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410543016.7A
Other languages
English (en)
Other versions
CN104318325A (zh
Inventor
黎如昊
郭庆荣
王强
陈斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GUANGDONG PROVINCE ENVIRONMENTAL MONITORING CENTER
Original Assignee
GUANGDONG PROVINCE ENVIRONMENTAL MONITORING CENTER
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GUANGDONG PROVINCE ENVIRONMENTAL MONITORING CENTER filed Critical GUANGDONG PROVINCE ENVIRONMENTAL MONITORING CENTER
Priority to CN201410543016.7A priority Critical patent/CN104318325B/zh
Publication of CN104318325A publication Critical patent/CN104318325A/zh
Application granted granted Critical
Publication of CN104318325B publication Critical patent/CN104318325B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152Water filtration

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了多流域实时智能水质预测方法及系统,利用遗传算法对NARX模型进行优化处理,解决NARX模型前期参数不确定的问题;通过模型存储模块储存或调用GA‑NARX模型,使其能实时预测多流域的水质情况;对基础数据、近期数据、历史应急数据进行三段式训练,使得优化后的GA‑NARX模型能基本包含河流的污染特征,提升预测的准确性;本发明通过用天气数据代替水文数据,并进行模糊化处理,有效解决流量数据缺失对模型的影响。本发明通过改进后的DTW算法进行相似污染时间序列模板的匹配,迅速找到流域历史上相似的污染过程,借鉴学习其经验,能更精准地预测突发性应急事故。本发明可广泛应用于水质预测领域中。

Description

多流域实时智能水质预测方法及系统
技术领域
本发明涉及水质预测领域,尤其涉及一种多流域实时智能水质预测方法及系统。
背景技术
水质预测是一项前沿性工作,被广泛用在在水环境规划、评价、管理和科研中。科学合理的水质预测对水资源开发利用,实时了解河流水质的发展趋势,制订水环境监测和保护实施计划都有重要意义。随着国家对水资源保护的重视以及长期的建设探索积累,地表水自动监测网络逐渐完善,水质监测数据呈现“实时监测、指标多、网络化”等特点,为大尺度多流域水质实时预测提供了重要的数据基础。
目前,国内外对水质预测方法的研究已经推向实用化阶段,随着环境科学及人工智能、数据挖掘等研究进一步深入以及相关学科、领域的不断发展,新的预测模式还在不断出现。但由于手工建模工作量大、预测影响因素的复杂性和水文信息的缺乏等因素的影响,使大尺度多流域的水质预测结果仍不能令人满意,主要体现在以下几方面:
(1)水质预测方法可分为基于机理模型方法和非机理模型方法两大类。机理模型方法主要是根据污染物在水中的扩散迁移规律建立数学模型,使用定量的方法来仿真污染物的扩散趋势。非机理模型方法主要使用统计分析、机器学习等数据挖掘方法建立数学模型来预测水质污染物变化趋势。机理模型建模复杂,参数率定复杂,所需要的基础资料与参数(如环境参数、传输参数、边界参数、转化参数等)很多,为确定这些参数需要大量物力和财力,因而不适宜在多个流域同时建立机理模型。
(2)随着现代统计学、数据挖掘、人工智能等技术的发展,非机理模型得到了广泛的应用。本专利选神经网络中的NARX回归神经网络作为智能水质预测系统的模型,它是非线性动态系统中应用最广泛的一种神经网络,非常适合复杂的、非平稳、非线性时间序列的预测。
典型的NARX回归神经网络在应用前一般要事先确定输入和输出的延时阶数、隐层神经元个数等。由于它们的选取没有成熟的理论依据,只能由经验给出,因不确定因素太多而影响了其应用。
同时,NARX神经网络连接权值和阈值的整体分布决定着数据拟合的效果,但目前网络的初始权值和阈值是随机产生的,缺乏选择依据。
(3)NARX模型适用于于确定性关系的学习,但当存在矛盾样本和含有非实可测因素的样本时,预测精度将大打折扣。如突发性污染事故,由于训练样本是历史数据的平滑处理,没有对突发因素的描述,所以无法对这类突发污染事故进行精确预测。
由于环境部门水质监测多年的发展,积累了大量的监测数据。从历史曾发生的污染事故中学习其变化规律,能使NARX模型更好地应对突发性污染事故的预测,但如何从数据库中找到最相似的污染事件并从中学习是一个尚未解决的技术难题。
(4)水质监测数据和水文监测数据分别反映了水资源的质与量,互相结合才能更好地反映水资源的规律和特性。由于目前环境保护部门和水利部门的数据尚未实现实时共享,因此进行水质预测时没有水文数据的支持,影响了预测的精度。
针对上述现有技术中的缺陷,本发明的目的在于提供一种改进的多流域实时水质预测系统和方法,实现自动、高效、准确的多流域水质实时预测。
发明内容
为了解决上述技术问题,本发明的目的是提供一种能实现自动、高效、准确的多流域实时水质预测方法及系统。
本发明所采用的技术方案是:
多流域实时智能水质预测方法,包括以下步骤:
A、提取外源天气数据库的天气数据,并对其进行模糊化处理,得到天气特征状态量;
B、对基础训练数据库中的水质监测数据进行标准化处理,得到标准数据;
C、将天气特征状态量和标准数据融合到输入训练集,并通过NARX模型和遗传算法优化程序对输入训练集进行训练,得到优化后的GA-NARX模型,进而将其存入GA-NARX模型库中;
D、获取各个点位的实时数据并对其进行污染检测,判断是否属于突然性应急事故,若是,则通过改进的DTW方法查找流域污染特征库的最相似污染时间序列并进行训练;
E、根据各点位的实时数据及其对应的GA-NARX模型库中的模型,将最近时间段的数据对模型进行训练,进而对该点位进行水质预测,得出预测结果。
作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤A包括:
A1、从外源天气数据库获取降雨量和温度值的数据;
A2、根据年均降雨量和年均温度值,得到背景降雨量和背景温度值;
A3、根据最近若干年的年最大降雨量和年最高温度值,计算得到影响上限降雨量和影响上限温度值;
A4、根据背景降雨量、背景温度值、影响上限降雨量和影响上限温度值,得出降雨量隶属度函数和温度隶属度函数;
A5、根据降雨量隶属度函数和温度隶属度函数,得到降雨量和温度模糊化处理后的天气特征状态量。
作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤B中标准数据的计算公式为:
作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤C包括:
C1、将天气特征状态量和标准数据融合到输入训练集;
C2、根据输入训练集,通过遗传算法对NARX模型的网络结构和连接权进行优化,得到能自动寻优运行的GA-NARX模型;
C3、将GA-NARX模型存入GA-NARX模型库中。
作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤D包括:
D1、检测各个点位的实时数据是否有更新,若是,则执行步骤D2;
D2、获取各个点位更新的实时数据,并将其与对应点位所在水功能区的污染阈值进行对比,判断该点位的实时数据是否超标,若是,则执行步骤D3;反之,则执行步骤E;
D3、根据超标的实时数据,从流域污染特征库中搜索历史上最相似的污染时间序列模式;
D4、将搜索得到的污染时间序列模式提供至GA-NARX模型库中的模型进行训练。
作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤D3包括:
D31、根据流域污染特征库,查找其时间长度最短的模板,并计算得到其标准时间长度;
D32、计算流域污染特征库中其余的模板的时间长度,并计算其与标准时间长度的比例;
D33、根据计算得到的比例,对相应的模板进行相应的时间压缩;
D34、当实时数据的污染时间序列的时间长度超过预设的基准时间长度时,则对污染时间序列起止点进行匹配,并通过DTW算法对其与优化后的流域污染特征库中的模板进行匹配,得到最短路径距离的模板即为最相似的污染时间序列模式。
作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤D34中对污染时间序列起止点进行匹配,其具体为:
D341、根据预设的超标值,对实时数据在超标前的若干个高值点计算其平均值,得到背景能量值;
D342、查找若干个高值点至超标值的时间范围里的第一个超过背景能量值的数据,得到污染时间序列起始点;
D343、判断时间序列中是否有连续预设个数的数据低于超标值,若是,则查找最后一个超过超标值的数据,得到污染时间序列终点。
本发明所采用的另一技术方案是:
多流域实时智能水质预测系统,包括:
天气数据模糊化模块,用于提取外源天气数据库的天气数据,并对其进行模糊化处理,得到天气特征状态量;
基础训练数据处理模块,用于对基础训练数据库中的水质监测数据进行标准化处理,得到标准数据;
模型寻优模块,用于将天气特征状态量和标准数据融合到输入训练集,并通过NARX模型和遗传算法优化程序对输入训练集进行训练,得到优化后的GA-NARX模型,进而将其存入GA-NARX模型库中;
实时数据检测模块,用于获取各个点位的实时数据并对其进行污染检测,判断是否属于突然性应急事故,若是,则通过改进的DTW方法查找流域污染特征库的最相似污染时间序列并进行训练;
结果预测模块,用于根据各点位的实时数据及其对应的GA-NARX模型库中的模型,将最近时间段的数据对模型进行训练,进而对该点位进行水质预测,得出预测结果。
作为所述的多流域实时智能水质预测系统的进一步改进,所述模型寻优模块包括:
数据融入模块,用于将天气特征状态量和标准数据融合到输入训练集;
模型优化模块,用于根据输入训练集,通过遗传算法对NARX模型的网络结构和连接权进行优化,得到能自动寻优运行的GA-NARX模型;
模型存储模块,用于将GA-NARX模型存入GA-NARX模型库中。
作为所述的多流域实时智能水质预测系统的进一步改进,所述实时数据检测模块包括:
数据更新检测模块,用于检测各个点位的实时数据是否有更新,若是,则执行数据超标检测模块;
数据超标检测模块,用于获取各个点位更新的实时数据,并将其与对应点位所在水功能区的污染阈值进行对比,判断该点位的实时数据是否超标,若是,则执行污染时间序列模式匹配模块;反之,则执行结果预测模块;
污染时间序列模式匹配模块,用于根据超标的实时数据,从流域污染特征库中搜索历史上最相似的污染时间序列模式;
污染时间序列模式训练模块,用于将搜索得到的污染时间序列模式提供至GA-NARX模型库中的模型进行训练。
本发明的有益效果是:
本发明多流域实时智能水质预测方法及系统通过遗传算法对NARX模型进行优化处理,解决NARX模型前期参数不确定的问题;通过模型存储模块储存或调用各优化后的GA-NARX模型,使其能实时预测多流域的水质情况;本发明考虑到了不同地区的天气情况对污染的影响,通过用天气数据代替水文数据,并进行模糊化处理,有效解决流量数据缺失对模型影响的问题,提高了预测的准确性。并且本发明通过对预测模型进行三段式训练模式,充分考虑了历史数据、近期数据和突发污染数据对预测模型的影响因素,用逐步递进逼近的方式,使预测模型能基本包含河流的污染特征,从而有效提高了预测模型对预测的速度和精度,提升预测的准确性。进一步,本发明能充分考虑突发污染事故对预测结果的影响,根据国家标准设计污染阀值,把预测机理分为突发污染事故及日常预测两种情况区别对待,当发生突然污染事故时,通过改进后的DTW算法进行相似污染时间序列模板的匹配,能准确自动匹配起止点,并有效避免正常的数据混入污染时间序列的过程,而且通过对流域污染特征库中的模板进行时间压缩,从而能大大减少匹配相似污染时间序列模板的数据量、运算量和处理时间,并有效解决实时污染的时间序列与流域污染特征库中模板长度不匹配的问题,从而能迅速找到流域历史上相似的污染过程,借鉴学习其经验,能更精准地预测突发性应急事故。
附图说明
下面结合附图对本发明的具体实施方式作进一步说明:
图1是本发明多流域实时智能水质预测方法的步骤流程图;
图2是本发明多流域实时智能水质预测方法步骤A的步骤流程图;
图3是本发明多流域实时智能水质预测方法步骤C的步骤流程图;
图4是本发明多流域实时智能水质预测方法步骤D的步骤流程图;
图5是本发明多流域实时智能水质预测方法步骤D3的步骤流程图;
图6是本发明多流域实时智能水质预测方法时间序列起止点匹配的步骤流程图;
图7是本发明多流域实时智能水质预测方法中时间序列起始点匹配的示意图;
图8是本发明多流域实时智能水质预测系统的模块方框图;
图9是本发明多流域实时智能水质预测系统的系统架构图。
具体实施方式
参考图1,本发明多流域实时智能水质预测方法,包括以下步骤:
A、提取外源天气数据库的天气数据,并对其进行模糊化处理,得到天气特征状态量;
B、对基础训练数据库中的水质监测数据进行标准化处理,得到标准数据;
C、将天气特征状态量和标准数据融合到输入训练集,并通过NARX模型和遗传算法优化程序对输入训练集进行训练,得到优化后的GA-NARX模型,进而将其存入GA-NARX模型库中;
D、获取各个点位的实时数据并对其进行污染检测,判断是否属于突然性应急事故,若是,则通过改进的DTW方法查找流域污染特征库的最相似污染时间序列并进行训练;
E、根据各点位的实时数据及其对应的GA-NARX模型库中的模型,将最近时间段的数据对模型进行训练,进而对该点位进行水质预测,得出预测结果。
其中,基础训练数据库包括了历年所有流域的监测数据信息。水质监测数据在进入数据库前需按下式进行标准化处理后再进入数据库。
外源天气数据库保存了自动监测点位所在区域的降雨量及气温的数据,该数据可从天气预报网站下载获取。天气数据模糊化的作用是把天气数据模糊化,然后作为预测模型输入的一部分进行训练。根据气象因素对流域水质影响的权重,这里主要采用降雨量和气温作为输入量,由于降雨量与影响污染的雨量的关系难以精确描述,所以利用模糊数学来处理降雨量数据,提高水质预测精度。
时间序列是指以一定的时间间隔重复测量得到的一系列数据。流域污染特征库保存了自动监测点位所在河流历年的污染事故中监测数据时间序列模板。当新的污染事故发生后,系统将截取相关的监测数据时间序列并存入该数据库,使得本发明预测系统具有学习功能。
NARX模型是一种将ARX模型与神经网络相结合的系统辨识方法,它利用神经网络良好的非线性映射能力,并引入ARX模型的时间序列概念,使得NARX模型具备良好的动态特性和较高的抗干扰能力。NARX模型通常能够用来逼近任意的非线性动态系统,非常适合于水质的动态预测。NARX模型的定义为:
y(t)=f[y(t-1), y(t-2),…,y(t-ny), u(t-1),u(t-2),…,u(t-nu)]。
其中,y(t-1),y(t-2),…,y(t-ny)可以理解成过去的输出时间序列,u(t-1),u(t-2),…,u(t-nu)可以表示影响输出y(t)的多维输入时间序列。
遗传算法优化程序通过改进的遗传算法优化NARX的网络结构和连接权,实现预测模型自动寻优运行的目的。遗传算法优化NARX模型库用以存放所有水质自动监测点位已被遗传算法优化程序优化过的GA-NARX模型,只要监测数据一有更新即可进行预测。
参考图2,作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤A包括:
A1、从外源天气数据库获取降雨量和温度值的数据;
A2、根据年均降雨量和年均温度值,得到背景降雨量和背景温度值;
A3、根据最近若干年的年最大降雨量和年最高温度值,计算得到影响上限降雨量和影响上限温度值;
A4、根据背景降雨量、背景温度值、影响上限降雨量和影响上限温度值,得出降雨量隶属度函数和温度隶属度函数;
A5、根据降雨量隶属度函数和温度隶属度函数,得到降雨量和温度模糊化处理后的天气特征状态量。
由于目前缺乏水文数据,故考虑用天气数据取代水文数据来作为水质预测的影响因子。由于天气指标的雨量分级和温度分级具有模糊性,如在广东,日雨量80毫米以上称暴雨;少雨的陕西延安地区,日雨量达到30毫米以上就称为暴雨,很难用确定的定量关系表示,为此需要用模糊理论来处理天气数据的信息。
本发明步骤A的具体实施例为:
SA1、天气数据模糊化模块从外源天气数据库提取降雨量和温度的数据;
SA2、确立雨量和温度的隶属度函数;
在确立雨量的隶属度函数时,首先要设立一个背景降雨量r1和影响上限降雨量r2。背景降雨量表示该地区降雨的背景水平,用年均降雨量表示。
影响上限降雨量r2 表示降雨量超过这个水平后对水质的影响和这个水平对水质的影响是一致的。影响上限降雨量r2的计算方法为:列出最近n年的年最大降雨量,其中n视实际情况定,一般范围为5~10,去掉最高值和最小值,对剩余的(n-2)年的年最大降雨量计算平均值,此值即为影响上限降雨量r2。对降雨量的隶属度函数采用偏大型梯形分布,其隶属度函数如下式所示:
用类似的方法可得到温度的模糊隶属函数。
SA3、根据隶属度函数,得到降雨量和温度模糊化处理后的天气特征状态量。
作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤B中标准数据的计算公式为:
参考图3,作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤C包括:
C1、将天气特征状态量和标准数据融合到输入训练集;
C2、根据输入训练集,通过遗传算法对NARX模型的网络结构和连接权进行优化,得到能自动寻优运行的GA-NARX模型;
C3、将GA-NARX模型存入GA-NARX模型库中。
本发明中NARX模型利用神经网络良好的非线性映射能力,并引入ARX模型的时间序列概念,使得NARX模型具备良好的动态特性和较高的抗干扰能力, 由于单隐层结构的NARX模型无法满足水质预测较高的非线性度要求,但隐层数据的增加容易导致网络的归纳和泛化能力下降,根据实际应用的经验,本发明采用双隐层的网络结构。
本发明中NARX模型采用Series-Parallel神经网络模式,此模式下将期望输出反馈到输入端,能使NARX神经网络变为单纯的前向神经网络,可以直接使用静态的神经网络建模函数。
进一步,本发明中的遗传算法优化程序采用遗传算法对NARX的网络结构和连接权进行寻优操作。遗传算法是借鉴生物的自然选择和遗传机制而开发出的一种全局优化自适应概率搜索算法,该方法以样本适应度函数为基础,对初始群体进行选择、交叉和变异操作来指导学习并确定搜索方向。由于采用种群的方式组织搜索,所以它可以在全局解空间的多个区域内采用随机方法寻求最优解,求解问题具有全局性、并行性、快速性和自适应性的特点,能够很好地解决NARX存在的问题。但遗传算法本身存在一些缺点,如收敛速度慢,易陷入局部最优值等,故对遗传算法提出了以下两点改进措施,使之适用于NARX模型的优化设计:
(1)采用十进制编码方式取代二进制编码来直接表示参数。实数编码方式不存在编码和解码的过程,非常直观,提高了算法速度及精度。
(2)采用最优个体保存。保留算子是对于每代种群中最优的个体进行保留操作,使其不参加任何遗传操作,以保证每代产生的最优个体能够不被破坏。
本发明中遗传算法优化程序的具体计算流程如下:
SC1、建立NARX回归神经网络模型。
SC2、编码采用实数编码。染色体码由九部分组成:输入延时阶数、输出延时阶数、第一隐层单元数S1、第二隐层单元数S2、传递函数f 的组合、输入层至隐含层的连接权重、隐含层至输出层的连接权、隐含层各单元的输出阈值、输出层各单元的输出阈值。
SC3、评价函数。遗传算法进化搜索时以适应度函数为依据,利用种群中每个染色体的适应度值搜索。适应度较高的个体遗传到下一代的概率就较大,而适应度较低的个体遗传到下一代的概率就相对小一些。本系统采用将均方误差MSE的倒数作为适应度函数,该适应度其计算公式如下:
式中f(i) 即为第i条染色体的适应度值, MSEi代表第 i 条染色体所确定的网络权值和阈值时,实际A与期望输出值T之间的均方误差。
SC4、通过随机方法产生出给定数量初始群体的个体,对每个个体计算其相应的适应度,按适应度的大小评价该个体的染色体的素质。
SC5、执行遗传操作。
(1)使用轮盘赌选择算子和最佳保留选择算子,轮盘赌选择算子中,M个个体中第i个的适应值为,则其被选中的概率为。最佳保留选择算子将每一代群体中适应度最高的个体结构完整地复制到下一代群体中。
(2)交叉操作采用单点交叉。以交叉概率Pc=0.5进行个体交叉操作。
(3)变异算子采用均匀变异。对个体中每个基因座上的基因值以变异概率Pm=0.09进行变异操作。
(4)按前面(1)~(3)设定的方法找出当前最优适应度值的个体,反复迭代,直到满足条件为止。若达不到条件,则以指定的最大遗传代数为终止计算准则。操作完成后,将获得在整个遗传操作中的最优解。
SC6、把最优解代表的NARX网络结构和连接权保存到GA-NARX模型库。
参考图4,作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤D包括:
D1、检测各个点位的实时数据是否有更新,若是,则执行步骤D2;
D2、获取各个点位更新的实时数据,并将其与对应点位所在水功能区的污染阈值进行对比,判断该点位的实时数据是否超标,若是,则执行步骤D3;反之,则执行步骤E;
D3、根据超标的实时数据,从流域污染特征库中搜索历史上最相似的污染时间序列模式;
D4、将搜索得到的污染时间序列模式提供至GA-NARX模型库中的模型进行训练。
参考图5,作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤D3包括:
D31、根据流域污染特征库,查找其时间长度最短的模板,并计算得到其标准时间长度;
D32、计算流域污染特征库中其余的模板的时间长度,并计算其与标准时间长度的比例;
D33、根据计算得到的比例,对相应的模板进行相应的时间压缩;
D34、当实时数据的污染时间序列的时间长度超过预设的基准时间长度时,则对污染时间序列起止点进行匹配,并通过DTW算法对其与优化后的流域污染特征库中的模板进行匹配,得到最短路径距离的模板即为最相似的污染时间序列模式。
参考图6,作为所述的多流域实时智能水质预测方法的进一步改进,所述步骤D34中对污染时间序列起止点进行匹配,其具体为:
D341、根据预设的超标值,对实时数据在超标前的若干个高值点计算其平均值,得到背景能量值;
D342、查找若干个高值点至超标值的时间范围里的第一个超过背景能量值的数据,得到污染时间序列起始点;
D343、判断时间序列中是否有连续预设个数的数据低于超标值,若是,则查找最后一个超过超标值的数据,得到污染时间序列终点。
当自动监测点位单个监测项目的数据超过功能区水质目标两类的限值时,污染训练模块将从流域污染特征库搜索相近的污染时间序列模式,并提供给水质预测模型训练。搜索采用DTW算法对流域污染特征库的时间序列模板进行匹配,并识别出最相似的时间序列模式。
DTW 算法是一种衡量两个时间序列之间的相似度的方法.主要应用在语音识别领域,本专利把该技术创新性地用在水质预测领域。
但传统的DTW算法存在以下两个问题1、待比对的污染监测数据时间序列起止点的判别对相似时间系列识别非常重要,只有准确找出起始点和终止点,才能完整地反映污染的变化趋势,同时避免正常的数据混入污染时间序列的过程。减少数据量、运算量和处理时间。但目前没有特定的技术找出污染监测时间序列的起始点和终止点,端点检测技术一般用在语音识别的领域。2、随着流域污染特征库对污染数据时间序列模板的增加,一次识别所花费的时问会直线上升。为此相应提出两个改进技术:
(一)污染时间序列起止点的自动匹配
参考图7,针对污染时间序列的起止点问题,设置超标值和背景能量值。超标线表示水质监测数据超标的阀值,比自动监测点位所在的河流水功能区目标超出两类,如广东、福建省界大埔青溪的水质目标为Ⅲ类,超标阀值则定为Ⅴ类。背景能量值的定义为:在没有发生污染事故时数据的上限均值。计算方法为背景值在水质超标前找出n个局部高值点,n为经验值,一般取5~10个,背景能量值为这n个高值点的平均值。背景能量值公式如下:
上式中,为数据超标前时间回溯的第i个局部高值,n为经验阀值。
在第n个局部高值到数据超标值这段时间范围里,超过背景能量值的数据即为污染时间序列的起始点。
设置经验值m,当时间序列连续m个数据低于超标阀值时,确认最后一个超标数据为污染时间序列的终点。
(二) 流域污染特征库的模板优化匹配
由于流域污染特征库的每个污染时间序列模板跨越的时间不一样,给实时的污染时间序列识别带来困难,因此应设立一个公共的时间长度,对模板进行时间轴的延长或压缩,实现每个模板时间长度一致的目标。
因此,本发明步骤D3的具体实施例如下:
S1,设流域污染特征库里有m个模板,找出时间长度最短的模板,计算其为标准时间长度T。
S2,计算流域污染特征库中其余模板的时间长度Tx,计算比例L=T/Tx
S3, 根据比例L,对模板进行相应的时间压缩。如模板的函数为Y=F(t),压缩后的函数为Y=F(Lt)。实现流域污染特征库所有时间序列的时间长度一致。
S4,设置一个时间长度Ts,Ts与标准时间长度T的比例为k,k为经验值,一般≥0.1
S5,当实时的污染时间序列的时间跨度超过时间长度Ts时,即可利用DTW算法,与优化后的模板库的时间序列进行匹配。
S6,找出最佳路径最短的模板,以此为准,对模型进行训练。
此方法能减少相似污染时间序列的计算量,并解决实时污染的时间序列与流域污染特征库模板时间长度不匹配等问题,适合模型的实时训练。
进一步,相似污染时间序列模式搜索的DTW算法步骤如下:
1、根据上述的污染时间序列起止点的自动匹配技术,找出待识别污染预警时序数据起点w1,终点wm为最新获取的监测数据;
2、待识别污染预警时序数据和参考曲线分别用W[w1:wm]和C[c1:cn]表示;
3、构造一个n*m的矩阵网格,矩阵元素(i,j)表示wi和cj两个点的距离d(wi,cj);
4、采用动态规划算法寻找一条通过此网格中若干格点的路径,路径通过的格点即为待识别污染预警时序数据和参考曲线中进行距离计算的帧号;
5、为了使路径不至于过分倾斜,约束斜率在0.5~2内,如果路径已通过了格点(wi-1,ci-1),那么下一个通过的格点(wi,ci)只可能是下列3种情况之一:(wi,ci)=(wi-1+1,ci-1+2);(wi,ci)=(wi-1+l,ci-1+1);(wi,ci)=(wi-1+l,ci-1);
6、设置两个矢量D和d,分别保存前一列的累积距离和当前列的累积距离。路径的累积距离为D(wi,cj)=d(wi,cj)+min{ D(wi-1,cj),D(wi-1,cj-1),D(wi-1,cj-2)};
7、计算出最佳路径DTW(W,C),其中,
8,计算流域污染特征库内所有的时间序列模板,最短路径距离的模板即为最相似的污染时间序列模式。
参考图8-图9,本发明多流域实时智能水质预测系统,包括:
天气数据模糊化模块,用于提取外源天气数据库的天气数据,并对其进行模糊化处理,得到天气特征状态量;
基础训练数据处理模块,用于对基础训练数据库中的水质监测数据进行标准化处理,得到标准数据;
模型寻优模块,用于将天气特征状态量和标准数据融合到输入训练集,并通过NARX模型和遗传算法优化程序对输入训练集进行训练,得到优化后的GA-NARX模型,进而将其存入GA-NARX模型库中;
实时数据检测模块,用于获取各个点位的实时数据并对其进行污染检测,判断是否属于突然性应急事故,若是,则通过改进的DTW方法查找流域污染特征库的最相似污染时间序列并进行训练;
结果预测模块,用于根据各点位的实时数据及其对应的GA-NARX模型库中的模型,将最近时间段的数据对模型进行训练,进而对该点位进行水质预测,得出预测结果。
作为所述的多流域实时智能水质预测系统的进一步改进,所述模型寻优模块包括:
数据融入模块,用于将天气特征状态量和标准数据融合到输入训练集;
模型优化模块,用于根据输入训练集,通过遗传算法对NARX模型的网络结构和连接权进行优化,得到能自动寻优运行的GA-NARX模型;
模型存储模块,用于将GA-NARX模型存入GA-NARX模型库中。
作为所述的多流域实时智能水质预测系统的进一步改进,所述实时数据检测模块包括:
数据更新检测模块,用于检测各个点位的实时数据是否有更新,若是,则执行数据超标检测模块;
数据超标检测模块,用于获取各个点位更新的实时数据,并将其与对应点位所在水功能区的污染阈值进行对比,判断该点位的实时数据是否超标,若是,则执行污染时间序列模式匹配模块;反之,则执行结果预测模块;
污染时间序列模式匹配模块,用于根据超标的实时数据,从流域污染特征库中搜索历史上最相似的污染时间序列模式;
污染时间序列模式训练模块,用于将搜索得到的污染时间序列模式提供至GA-NARX模型库中的模型进行训练。
本发明中的预测模型主要分三段式训练:
1,基础训练数据库可认为包括了自动监测点位所在河流历年的水文情况和污染特征,应提前采用其数据,通过遗传算法对NARX模型进行优化并保存到GA-NARX模型库。
2,最近时间段T反映了河流近期的水文状况和污染特征,在进行预测前应调用GA-NARX模型库的模型,利用时间段T内的数据进行训练,使模型能基本包含河流近期的污染特征。因为水文条件随时可能发生改变,这个步骤的训练是有必要的。时间段T可根据实际需要定为三个月、半年或一年。
3,当监测数据超标,且持续上升时,如仪器确认没有问题,可认为突发性水污染事故正在发生,应通过流域污染特征库中识别历史上最相似的污染时间序列,并调出数据提供给模型训练,以提高预测模型对突发性应急事故数据预测的精度,以及对污染趋势的准确把握。
以上是对本发明的较佳实施进行了具体说明,但本发明创造并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。

Claims (7)

1.多流域实时智能水质预测方法,其特征在于:包括以下步骤:
A、提取外源天气数据库的天气数据,并对其进行模糊化处理,得到天气特征状态量;
B、对基础训练数据库中的水质监测数据进行标准化处理,得到标准数据;
C、将天气特征状态量和标准数据融合到输入训练集,并通过NARX模型和遗传算法优化程序对输入训练集进行训练,得到优化后的GA-NARX模型,进而将其存入GA-NARX模型库中;
D、获取各个点位的实时数据并对其进行污染检测,判断是否属于突然性应急事故,若是,则通过改进的DTW算法查找流域污染特征库的最相似污染时间序列并进行训练;
E、根据各点位的实时数据及其对应的GA-NARX模型库中的模型,将最近时间段的数据对模型进行训练,进而对该点位进行水质预测,得出预测结果;
所述步骤D包括:
D1、检测各个点位的实时数据是否有更新,若是,则执行步骤D2;
D2、获取各个点位更新的实时数据,并将其与对应点位所在水功能区的污染阈值进行对比,判断该点位的实时数据是否超标,若是,则执行步骤D3;反之,则执行步骤E;
D3、根据超标的实时数据,从流域污染特征库中搜索历史上最相似的污染时间序列模式;
D4、将搜索得到的污染时间序列模式提供至GA-NARX模型库中的模型进行训练;
所述步骤D3包括:
D31、根据流域污染特征库,查找其时间长度最短的模板,并计算得到其标准时间长度;
D32、计算流域污染特征库中其余的模板的时间长度,并计算其与标准时间长度的比例;
D33、根据计算得到的比例,对相应的模板进行相应的时间压缩;
D34、当实时数据的污染时间序列的时间长度超过预设的基准时间长度时,则对污染时间序列起止点进行匹配,并通过DTW算法对其与优化后的流域污染特征库中的模板进行匹配,得到最短路径距离的模板即为最相似的污染时间序列模式;
所述步骤D34中对污染时间序列起止点进行匹配,其具体为:
D341、根据预设的超标值,对实时数据在超标前的若干个高值点计算其平均值,得到背景能量值;
D342、查找若干个高值点至超标值的时间范围里的第一个超过背景能量值的数据,得到污染时间序列起始点;
D343、判断时间序列中是否有连续预设个数的数据低于超标值,若是,则查找最后一个超过超标值的数据,得到污染时间序列终点。
2.根据权利要求1所述的多流域实时智能水质预测方法,其特征在于:所述步骤A包括:
A1、从外源天气数据库获取降雨量和温度值的数据;
A2、根据年均降雨量和年均温度值,得到背景降雨量和背景温度值;
A3、根据最近若干年的年最大降雨量和年最高温度值,计算得到影响上限降雨量和影响上限温度值;
A4、根据背景降雨量、背景温度值、影响上限降雨量和影响上限温度值,得出降雨量隶属度函数和温度隶属度函数;
A5、根据降雨量隶属度函数和温度隶属度函数,得到降雨量和温度模糊化处理后的天气特征状态量。
3.根据权利要求1所述的多流域实时智能水质预测方法,其特征在于:所述步骤B中标准数据的计算公式为:
4.根据权利要求1所述的多流域实时智能水质预测方法,其特征在于:所述步骤C包括:
C1、将天气特征状态量和标准数据融合到输入训练集;
C2、根据输入训练集,通过遗传算法对NARX模型的网络结构和连接权进行优化,得到能自动寻优运行的GA-NARX模型;
C3、将GA-NARX模型存入GA-NARX模型库中。
5.根据权利要求1-4任一项所述的多流域实时智能水质预测方法的预测系统,其特征在于,包括:
天气数据模糊化模块,用于提取外源天气数据库的天气数据,并对其进行模糊化处理,得到天气特征状态量;
基础训练数据处理模块,用于对基础训练数据库中的水质监测数据进行标准化处理,得到标准数据;
模型寻优模块,用于将天气特征状态量和标准数据融合到输入训练集,并通过NARX模型和遗传算法优化程序对输入训练集进行训练,得到优化后的GA-NARX模型,进而将其存入GA-NARX模型库中;
实时数据检测模块,用于获取各个点位的实时数据并对其进行污染检测,判断是否属于突然性应急事故,若是,则通过改进的DTW算法查找流域污染特征库的最相似污染时间序列并进行训练;
结果预测模块,用于根据各点位的实时数据及其对应的GA-NARX模型库中的模型,将最近时间段的数据对模型进行训练,进而对该点位进行水质预测,得出预测结果。
6.根据权利要求5所述的多流域实时智能水质预测系统,其特征在于:所述模型寻优模块包括:
数据融入模块,用于将天气特征状态量和标准数据融合到输入训练集;
模型优化模块,用于根据输入训练集,通过遗传算法对NARX模型的网络结构和连接权进行优化,得到能自动寻优运行的GA-NARX模型;模型存储模块,用于将GA-NARX模型存入GA-NARX模型库中。
7.根据权利要求5所述的多流域实时智能水质预测系统,其特征在于:所述实时数据检测模块包括:
数据更新检测模块,用于检测各个点位的实时数据是否有更新,若是,则执行数据超标检测模块;
数据超标检测模块,用于获取各个点位更新的实时数据,并将其与对应点位所在水功能区的污染阈值进行对比,判断该点位的实时数据是否超标,若是,则执行污染时间序列模式匹配模块;反之,则执行结果预测模块;
污染时间序列模式匹配模块,用于根据超标的实时数据,从流域污染特征库中搜索历史上最相似的污染时间序列模式;
污染时间序列模式训练模块,用于将搜索得到的污染时间序列模式提供至GA-NARX模型库中的模型进行训练。
CN201410543016.7A 2014-10-14 2014-10-14 多流域实时智能水质预测方法及系统 Active CN104318325B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410543016.7A CN104318325B (zh) 2014-10-14 2014-10-14 多流域实时智能水质预测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410543016.7A CN104318325B (zh) 2014-10-14 2014-10-14 多流域实时智能水质预测方法及系统

Publications (2)

Publication Number Publication Date
CN104318325A CN104318325A (zh) 2015-01-28
CN104318325B true CN104318325B (zh) 2017-11-07

Family

ID=52373553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410543016.7A Active CN104318325B (zh) 2014-10-14 2014-10-14 多流域实时智能水质预测方法及系统

Country Status (1)

Country Link
CN (1) CN104318325B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107664680B (zh) * 2016-07-27 2020-08-14 复凌科技(上海)有限公司 一种水质软测量模型的自适应获取方法及装置
CN107688871B (zh) * 2017-08-18 2020-08-21 中国农业大学 一种水质预测方法和装置
CN108234669A (zh) * 2018-01-22 2018-06-29 长江水利委员会水文局 一种多源异构水文数据共享系统
CN108226436A (zh) * 2018-03-30 2018-06-29 深圳智达机械技术有限公司 一种分布式多参数水质监测系统
US11715001B2 (en) 2018-04-02 2023-08-01 International Business Machines Corporation Water quality prediction
CN109190800B (zh) * 2018-08-08 2021-12-10 上海海洋大学 一种基于spark框架的海面温度预测方法
CN109523519B (zh) * 2018-10-24 2023-09-26 深圳市锦润防务科技有限公司 一种海水中海胆数量统计的方法、系统和存储介质
CN109558973B (zh) * 2018-11-15 2021-07-06 深圳市环境科学研究院 一种水质与水生态一体化预警系统、控制设备和存储介质
CN109541729B (zh) * 2018-11-19 2021-08-13 青海民族大学 一种基于narx的中国北方草原地区生长季降雨量的预测方法
CN110135555B (zh) * 2019-03-25 2021-02-26 东莞理工学院 一种水资源承载力的前向神经网络预测模型
CN111260117B (zh) * 2020-01-10 2022-03-25 燕山大学 一种基于气象因子的ca-narx水质预测方法
CN111324684B (zh) * 2020-02-20 2020-11-27 江苏星月测绘科技股份有限公司 一种基于gis的国土空间规划分析方法
CN112348241B (zh) * 2020-10-28 2024-01-05 中国农业科学院农业资源与农业区划研究所 一种保护地农用地面源污染排放量预测方法及系统
CN112487712B (zh) * 2020-11-25 2024-08-23 中国科学院力学研究所 基于遗传算法与多维动态时间规整的埋地悬空管道工况参数智能辨识方法
CN113125037B (zh) * 2021-04-06 2024-06-07 红塔烟草(集团)有限责任公司 一种基于分布式光纤在线测温系统的电缆导体温度估算方法
CN113408938B (zh) * 2021-07-08 2022-07-19 湖北君邦环境技术有限责任公司 企业污染源在线监测方法、系统、电子设备以及存储介质
CN113835357B (zh) * 2021-07-23 2023-12-22 中国市政工程华北设计研究总院有限公司 一种与排水管网机理模型水量水质动态耦合的方法
CN114370611B (zh) * 2022-01-17 2024-04-12 四创科技有限公司 一种管网入流入渗监测方法及终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1900956A (zh) * 2006-07-11 2007-01-24 南京大学 一种改进的混合遗传算法优化水质模型参数的设计方法
CN101976380A (zh) * 2010-09-14 2011-02-16 华北电力大学 一种水环境实时调控与数字化管理方法
KR20120117045A (ko) * 2011-04-14 2012-10-24 한국건설기술연구원 단위공정 해석 모델을 이용한 실시간 정수처리 공정 평가 시스템 및 그 방법
CN103942457A (zh) * 2014-05-09 2014-07-23 浙江师范大学 基于关联向量机回归的水质参数时间序列预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101728183B1 (ko) * 2012-07-06 2017-04-18 한국전자통신연구원 수리 모형을 사용한 실시간 수질 예측 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1900956A (zh) * 2006-07-11 2007-01-24 南京大学 一种改进的混合遗传算法优化水质模型参数的设计方法
CN101976380A (zh) * 2010-09-14 2011-02-16 华北电力大学 一种水环境实时调控与数字化管理方法
KR20120117045A (ko) * 2011-04-14 2012-10-24 한국건설기술연구원 단위공정 해석 모델을 이용한 실시간 정수처리 공정 평가 시스템 및 그 방법
CN103942457A (zh) * 2014-05-09 2014-07-23 浙江师范大学 基于关联向量机回归的水质参数时间序列预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"水质时间序列的遗传神经网络预测";袁从贵;《广东水利水电》;20100625;期刊第13-15页 *

Also Published As

Publication number Publication date
CN104318325A (zh) 2015-01-28

Similar Documents

Publication Publication Date Title
CN104318325B (zh) 多流域实时智能水质预测方法及系统
CN102183621B (zh) 水产养殖溶解氧浓度在线预测方法及系统
CN108009674A (zh) 基于cnn和lstm融合神经网络的空气pm2.5浓度预测方法
CN117236673B (zh) 城市水网多尺度防洪排涝联合优化调度方法和系统
CN107609787A (zh) 基于自动生成预案的闸泵群联合自动调度方法
CN113379109A (zh) 一种基于预测模型自适应的径流预报方法
CN111242344A (zh) 一种基于循环神经网络和卷积神经网络的智能水位预测方法
CN111652425A (zh) 一种基于粗糙集和长短期记忆网络的河流水质预测方法
CN110414742A (zh) 一种多水位站联动的内河水位智能预测方法
CN106127242A (zh) 基于集成学习的年极端降水预测系统及其预测方法
CN117236199B (zh) 城市水网区域河湖水质提升与水安全保障方法及系统
CN111737853A (zh) 一种基于swmm模型的低影响开发多目标区间优化配置方法
CN106971237A (zh) 一种基于细菌觅食优化算法的中长期径流预报方法
CN107748940A (zh) 一种节电潜力量化预测方法
Li et al. A method of rainfall runoff forecasting based on deep convolution neural networks
CN113033081A (zh) 一种基于som-bpnn模型的径流模拟方法及系统
CN118350678B (zh) 基于物联网与大数据的水环境监测数据处理方法及系统
CN114119277A (zh) 一种基于人工智能神经网络的絮凝投药决策的分析方法
CN110135652B (zh) 一种长期汛期径流预测方法
Gao et al. A multifactorial framework for short-term load forecasting system as well as the jinan’s case study
CN110322124A (zh) 一种流域水系统协同承载力评价要素的协同测度方法
CN106408118A (zh) 一种基于grnn组合模型的城市日供水量预测方法
CN106021924B (zh) 基于多属性高斯核函数快速相关向量机的污水在线软测量方法
JP4486004B2 (ja) 河川汚濁負荷推定システム、方法、およびプログラム
Abozari et al. Comparison performance of artificial neural network based method in estimation of electric conductivity in wet and dry periods: Case study of Gamasiab river, Iran

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant