CN106918684A - 一种水质污染预警方法 - Google Patents
一种水质污染预警方法 Download PDFInfo
- Publication number
- CN106918684A CN106918684A CN201710085466.XA CN201710085466A CN106918684A CN 106918684 A CN106918684 A CN 106918684A CN 201710085466 A CN201710085466 A CN 201710085466A CN 106918684 A CN106918684 A CN 106918684A
- Authority
- CN
- China
- Prior art keywords
- canonical correlation
- correlation coefficient
- time
- threshold value
- canonical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Engineering & Computer Science (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Physics & Mathematics (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种水质污染预警方法,通过在预定时间段内,连续监测同一监测点受污染前各水质参数的时间序列数据,以及污染过程中各水质参数的时间序列数据,拼接形成该时间段内的总时间序列数据;根据预设的初始时间序列窗口长度,从总时间序列数据中选择每次进行典型相关分析的时间序列数据,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,当准确率和召回率都在可接受范围内时,对污染事件进行实时预警。提高了污染预警的准确性和可靠性。
Description
技术领域
本发明涉及环境工程水处理技术领域,特别涉及一种水质污染预警方法。
背景技术
饮用水涉及千家万户,关系到每一个人的切身利益。近年来,我国突发性水污染事频发,与常规污染相比,这些突发性水源污染事件没有固定的排放方式和排放途径,来势凶猛,在短时间内排放出大量的污染物,且种类繁多,带来了巨大经济损失,严重地威胁人民群众的身体健康乃至生命安全。在突发污染事故发生后,能够快速发现污染,并启用应急方案,可以将突发污染事故造成的影响降到最低。水质监测预警系统利用在线水质传感器,实时监测水质变化,为快速发现污染提供了可能。
现有的水质污染预警方法有以下几种:一是基于水动力学模型类(CN105303007,CN105224772);二是生物技术预警技术(CN102012419);三是基于监测值与历史值进行比较类(CN103728429);四是基于水质参数之间皮尔逊相关性类(CN104217040)。这几类技术应用于突发水污染事件的监测均有一定不足。
水动力学模型主要研究在污染事件发生后,污染物的扩散途径、速度,并不针对在污染发生后第一时间发现污染并报警。
生物预警技术需要根据各地自然地理及水质条件,选择合适的水生物,其次,预警水生物要在无污染的条件下经过毒理学规范标准化繁殖培养驯化,才能保证污染发生时,受试生物能够做出统一反应,减小受试生物个体差异性引起的预警误差,其时间成本和经济成本均较高。
在实际情况中,造成传感器读数波动的原因有多种,除污染事件外,还有仪器、环境噪音等。而基于监测值与历史均值进行比较类方法,能够识别水质传感器读数波动,但无法甄别造成读数波动的原因,容易将仪器、环境噪音等误判为污染事件。
基于皮尔逊相关性类模型,利用皮尔逊相关系数表征水质参数两两之间的关联性,避免了仪器、环境噪音带来的影响,但没有污染事件发生后水质参数的协同反馈现象进行充分挖掘,其准确性和可靠性需要进一步提高。
发明内容
有鉴于此,本发明的发明目的是:提高污染预警的准确性和可靠性。
为达到上述目的,本发明的技术方案具体是这样实现的:
本发明提供了一种水质污染预警方法,该方法包括:
在预定时间段内,连续获取同一监测点受污染前各水质参数的时间序列数据,以及污染过程中各水质参数的时间序列数据,拼接形成该时间段内的总时间序列数据;
根据预设的初始时间序列窗口长度,每次进行典型相关分析时,将窗口沿该时间段内的总时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类分为预设的两组,作为该次典型相关分析的两组变量;
根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,当准确率和召回率都在可接受范围内时,根据预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警。
由上述的技术方案可见,本发明通过在预定时间段内,连续监测同一监测点受污染前各水质参数的时间序列数据,以及污染过程中各水质参数的时间序列数据,拼接形成该时间段内的总时间序列数据;根据预设的初始时间序列窗口长度,从总时间序列数据中选择每次进行典型相关分析的时间序列数据,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,当准确率和召回率都在可接受范围内时,根据预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警。由此可以看出,本发明将水质参数日常监测与污染预警结合起来,实现“一网两用”,节约了预警成本。利用多参数之间的关联性,在污染事件发生后能够快速发现污染,提高了污染预警的准确性与可靠性。
附图说明
图1为本发明水质污染预警方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案、及优点更加清楚明白,以下参照附图并举实施例,对本发明进一步详细说明。
图1为本发明水质污染预警方法的流程示意图,如图1所示:
步骤11、在预定时间段内,连续获取同一监测点受污染前各水质参数的时间序列数据,以及污染过程中各水质参数的时间序列数据,拼接形成该时间段内的总时间序列数据;
具体地,本发明获取各水质参数的时间序列数据所采用的在线监测设备的监测频率在1~5min之内。采用预定浓度的丙烯酰胺标准溶液或者镉标准溶液对水质进行持续时间的污染物注入,以使在线监测设备监测到污染发生前后各水质参数的时间序列数据。
需要说明的是,本发明污染物注入采用丙烯酰胺标准溶液或者镉标准溶液进行举例说明,其他任何可以造成水质污染的溶液都在本发明的保护范围内。
步骤12、根据预设的初始时间序列窗口长度,每次进行典型相关分析时,将窗口沿该时间段内的总时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类分为预设的两组,作为该次典型相关分析的两组变量;
步骤13、根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
步骤14、根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,当准确率和召回率都在可接受范围内时,根据预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警。
具体地,在本发明的水质污染预警方案中,时间序列窗口长度的范围在50~90之间。第一典型相关系数阈值的范围在0.7~0.9之间。第二典型相关系数阈值的范围在0.4~0.8之间。
其中,所述污染事件在探测过程中分为四个类别,第一类为真阳性(TP),表示在污染事件发生过程中,探测到污染的发生;第二类为伪阳性(FP),表示在无污染事件状态下,探测到污染的发生;第三类为真阴性(TN),表示在无污染事件状态下,未探测到污染的发生;第四类为伪阴性(FN),表示在污染事件发生过程中,未探测到污染的发生;
所述根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算的方法包括:
S1411、对于一次典型相关分析,将该次典型相关分析的第一典型相关系数和第二典型相关系数分别与预设的第一典型相关系数阈值和第二典型相关系数阈值作比较,
如果第一典型相关系数或者第二典型相关系数超过其各自对应的阈值,则判断该次典型相关分析对应的时刻探测到了污染事件;
如果第一典型相关系数和第二典型相关系数均未超过其各自对应的阈值,则判断该次典型相关分析对应的时刻未探测到污染;
S1412、根据该次典型相关分析所对应的时间序列数据,判断该次典型相关分析对应的时刻处于污染事件发生过程中还是无污染事件状态下;
S1413、根据所有时刻在探测过程中的分类,确定每次典型相关分析对应的事件所属类别,并统计各类别事件的数量;
S1414、根据统计的各类别事件的数量,计算探测到的污染事件中真实发生的污染事件的比例作为准确率,计算在真实发生的污染事件中被探测出来的污染事件的比例作为召回率。
进一步地,当准确率或者召回率不在可接受范围内时,该方法还包括:
S142、对预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值进行优化,直至准确率和召回率达到可接受范围内;
S143、根据优化后的时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警。
其中,对预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值进行优化的方法包括:
S1421、根据时间序列窗口长度的优化步长长度,每次优化时将时间序列窗口长度增加步长长度,得到优化后的时间序列窗口长度;
S1422、根据第一典型相关系数阈值和第二典型相关系数阈值的优化步长长度,每次优化时将第一典型相关系数阈值和第二典型相关系数阈值的值增加步长长度,得到优化后的第一典型相关系数阈值和第二典型相关系数阈值;
S1423、根据优化后的时间序列窗口长度,每次进行典型相关分析时,将窗口沿该时间段内的总时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类又分为两组,作为该次典型相关分析的两组变量;
S1424、根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
S1425、根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及优化后的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,直至准确率和召回率都在可接受范围内。
进一步地,根据预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警的方法包括:
S1441、获取第二预定时间段内的时间序列数据;
S1442、根据预设的初始时间序列窗口长度,每次进行典型相关分析时,将窗口沿第二预定时间段内的时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类分为预设的两组,作为该次典型相关分析的两组变量;
S1443、根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
S1444、对于一次典型相关分析,将该次典型相关分析的第一典型相关系数和第二典型相关系数分别与预设的第一典型相关系数阈值和第二典型相关系数阈值作比较,
如果第一典型相关系数或者第二典型相关系数超过其各自对应的阈值,则确定该次典型相关分析对应的时刻探测到污染的发生;
如果第一典型相关系数和第二典型相关系数均未超过其各自对应的阈值,则确定该次典型相关分析对应的时刻未探测到污染的发生。
综上,完成了本发明的水质污染预警方法。基于上述原理,本发明采用Matlab作为水质污染预警方法的开发平台,通过在Matlab文件中编写代码实现对水质在线监测数据的典型相关分析。Matlab强大的矩阵计算能力,极大提高了水质预警方法的开发速度。与现有技术其他预警方法相比,本发明基于污染事件发生时多个水质参数之间的协同反馈现象,将水质常规监测与预警相结合,具有高准确率和低误报率的特点。因此,该发明可以及时准确探测水源中污染事故的发生,降低水质预警成本,为供水系统的安全提供可靠保障。
为清楚说明本发明,下面列举具体场景进行说明。
1)获取同一监测点第一时间段内的总时间序列数据,包括未受污染前各水质参数的时间序列数据,以及污染过程中各水质参数的时间序列数据。
为展现本方法的工作原理所采用的水质参数有8个:浊度、pH、温度、电导率、ORP(氧化还原电位)、UV-254、硝态氮及正磷酸盐。本方法的应用并不局限于这8种水质参数,也适用于其它多种水质参数,例如余氯等。
因此,在水质监测站安装能同时监测8个水质参数:浊度、pH、温度、电导率、ORP(氧化还原电位)、UV-254、硝态氮及正磷酸盐的在线监测设备。所用在线监测设备的频率均为1分钟/次。提取该监测点2014年11月某日21:38-23:37的监测数据为例,具体地如表1所示,来展现未受污染前各水质参数的时间序列数据。
表1
从表1可以看出,由于所用在线监测设备的频率均为1分钟/次,所以共监测到120个未受污染前各水质参数的时间序列数据。
接下来,通过污染物注入实验,模拟发生在水源的突发污染事件,并利用水质在线监测设备记录污染事件发生后的各水质指标的读数,获得污染过程中各水质参数的时间序列数据。污染数据也为包含上述8种水质参数(浊度、pH、温度、电导率、ORP(氧化还原电位)、UV-254、硝态氮及正磷酸盐)的多元数据集。污染物的选择依据近几年我国发生的水污染事件中经常涉及的污染物,包括丙烯酰胺标准溶液,镉标准溶液等;污染物注入实验至少持续30分钟。所用在线监测设备的频率均为1分钟/次。本发明实施例中持续30分钟注入1.6mg/L的丙烯酰胺标准溶液,以使在线监测设备监测到污染过程中各水质参数的时间序列数据,如表2所示。
表2
从表2可以看出,由于所用在线监测设备的频率均为1分钟/次,所以共监测到30个污染过程中各水质参数的时间序列数据。
将表1和表2数据拼接起来,形成一个连续时间段内的总时间序列数据,共120+30=150个数据。
2)预设初始时间序列窗口长度,并预设第一典型相关系数阈值和第二典型相关系数阈值。时间序列窗口长度是每次参与典型相关分析的数据长度,范围在50~90之间。第一典型相关系数阈值的范围在0.7~0.9之间。第二典型相关系数阈值的范围在0.4~0.8之间。本发明实施例中预设初始时间序列窗口长度为50,第一典型相关系数阈值为0.7,第二典型相关系数阈值为0.4。
需要说明的是,预设的三个初始参数是可以灵活设定的,如果预设的参数不能满足实时预警的要求,可以通过不断优化这三个参数,直至满足实时预警的要求。
时间序列窗口长度决定了进行典型相关分析的次数。因为时间序列窗口为50,则只能够计算得到22:27-00:07时间段(其中22:27-23:37为无污染状态,23:38-00:07为污染状态)内的典型相关系数矩阵,该矩阵共有101行,即进行了101次典型相关分析(表3)。进行典型相关分析的次数=总时间序列长度-时间序列窗口+1。
时间 | 第一典型相关系数λ1 | 第二典型相关系数λ2 |
22:27 | 0.772 | 0.502 |
22:28 | 0.789 | 0.483 |
22:29 | 0.802 | 0.467 |
22:30 | 0.813 | 0.419 |
22:31 | 0.821 | 0.434 |
… | … | … |
00:04 | 0.982 | 0.528 |
00:05 | 0.983 | 0.525 |
00:06 | 0.984 | 0.534 |
00:07 | 0.984 | 0.535 |
表3
由表3可以看出,22:27对应的典型相关系数是对150个数据中1-50个数据进行典型相关分析得到的;22:28对应的典型相关系数是对150个数据中2-51个数据进行典型相关分析得到的,依次类推,00:07对应的典型相关系数是对150个数据中101-150个数据进行典型相关分析得到的。表3中每一时刻对应一个无污染事件或污染事件。
3)该步骤详细介绍典型相关系数的具体计算过程
在步骤2)得到每次典型相关分析的时间序列数据时,其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类分为预设的两组,作为该次典型相关分析的两组变量。本发明实施例中,将8个水质参数分为两组,其中浊度、pH、电导率、温度在一组,ORP、硝态氮、UVAS、正磷酸盐在另一组。然后根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数λ1和第二典型相关系数λ2。
需要说明的是,本发明进行典型相关分析时把水质参数分为两组变量,具体如何划分是可以灵活设定的,不限于上面的分组。
本发明将多维水质参数分为X,Y两组,即X,Y分别代表两组水质参数。典型相关分析即找到一个指标来描述X与Y之间的相关关系。典型相关分析是基于随机变量(X,Y)的线性指数(即线性组合):
aTX和bTY
a和b分别代表两组水质参数进行线性组合时的线性指数向量。典型相关分析要找到向量a和b来最大化两组水质参数X,Y的相关关系:
ρ(a,b)=ρaTXbTY
假定
其中μ和ν分别代表X,Y的均值,
∑XX,∑YY,∑XY和∑YX分别代表X与X,Y与Y,X与Y及Y与Y之间的协方差矩阵。
可得:
定义
且λi(i=1,...,k)是N1=KKT和N2=KTK的非零特征值,数值λi=аi 1/2被称为典型相关系数。本方法利用λ1和λ2即第一、第二典型相关系数来构建典型相关系数矩阵M。
其中,典型相关系数矩阵M包含n行2列,n代表进行典型相关分析的次数。矩阵中第x行第1、2列分别对应第x次典型相关分析得到的第一、第二典型相关系数值。
需要说明的是,典型相关分析可以得到多个典型相关系数,本发明只取第一、第二典型相关系数值进行应用。
4)根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算。
污染事件在探测过程中分为四个类别,第一类为真阳性(TP),表示在污染事件发生过程中,探测到污染的发生;第二类为伪阳性(FP),表示在无污染事件状态下,探测到污染的发生;第三类为真阴性(TN),表示在无污染事件状态下,未探测到污染的发生;第四类为伪阴性(FN),表示在污染事件发生过程中,未探测到污染的发生。
因此,如何确定每次典型相关分析对应的污染事件在探测过程中的分类,则需要从两方面考虑,一方面是是否真实发生污染,另一方面是是否探测到污染。
对于第一方面,是否真实发生污染,则根据该次典型相关分析所对应的时间序列数据,判断该次典型相关分析对应的污染事件处于污染事件发生过程中还是无污染事件状态下。举例来说,对于第一次典型相关分析所包含的50个时间序列数据(21:38-22:27)都是在无污染的情况下监测的,因此划分为无污染事件状态下。对于第101次典型相关分析所包含的50个时间序列数据(23:18-00:07)是在无污染和注入污染物过程中监测的,因此划分为污染事件发生过程中。也就是说,只要典型相关分析时包含污染过程中的时间序列数据,则认为是在污染事件发生过程中,如果典型相关分析时包含的全部都是无污染的情况下监测的时间序列数据,则认为是在无污染事件状态下。
对于第二方面,是否探测到污染,则,将该次典型相关分析的第一典型相关系数和第二典型相关系数分别与预设的第一典型相关系数阈值和第二典型相关系数阈值作比较,如果第一典型相关系数或者第二典型相关系数超过其各自对应的阈值,则确定该次典型相关分析对应的污染事件探测到污染的发生;如果第一典型相关系数和第二典型相关系数均未超过其各自对应的阈值,则,确定该次典型相关分析对应的污染事件未探测到污染的发生。举例来说,对于第一次典型相关分析对应的λ1=0.772>0.7,λ2=0.502>0.4,则,确定该次典型相关分析对应的污染事件探测到污染的发生;对于第101次典型相关分析对应的λ1=0.984>0.7,λ2=0.535>0.4,则确定该次典型相关分析对应的污染事件探测到污染的发生。
对每一次典型相关分析对应的时刻进行分类。举例来说,第一次典型相关分析对应的污染事件所属类别是在无污染事件状态下探测到污染的发生,即属于第二类伪阳性FP。第101次典型相关分析对应的污染事件所属类别是在污染事件发生过程中,探测到污染的发生,即属于第一类真阳性TP。
统计各类别污染事件的数量,然后根据统计的各类别污染事件的数量,计算准确率和召回率:
准确率precision=TP/(TP+FP),表示探测到的污染事件中真实发生的污染事件的比例。
召回率recall=TP/(TP+FN),表示在真实发生的污染事件中被探测出来的污染事件的比例。
当准确率(precision)和召回率(recall)均在90%-95%,则这组参数组合可以应用于污染预警,否则需要进行参数进一步优化,直至准确率和召回率均达到90%-95%。
在整个污染探测过程中,TP=30,TN=0,FN=0,FP=71,可以计算出presion=TP/(TP+FP)=30/(30+71)=29.7%和recall=TP/(TP+FN)=30/(30+0)=100.00%,即在探测出的污染事件中只有29.70%为真实污染事件,所有污染事件均被成功探测出来。说明在此参数组合下容易将没有污染的基线误判为污染事件,不符合要求。因此需要进行参数优化。
5)参数优化
本方法需要优化的参数有:时间序列窗口长度,第一典型相关系数的阈值即第二典型相关系数的阈值
在本发明中时间序列窗口长度的优化范围是50到90,步长为1;第一典型相关系数的阈值和第二典型相关系数的阈值的优化范围是0到1,步长为0.001。具体优化方法为:根据时间序列窗口长度的优化步长长度1,每次优化时将时间序列窗口长度增加步长长度1,得到优化后的时间序列窗口长度;根据第一典型相关系数阈值和第二典型相关系数阈值的优化步长长度0.001,每次优化时将第一典型相关系数阈值和第二典型相关系数阈值的值增加步长长度0.001,得到优化后的第一典型相关系数阈值和第二典型相关系数阈值;根据优化后的时间序列窗口长度,每次进行典型相关分析时,将窗口沿该时间段内的总时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类又分为两组,作为该次典型相关分析的两组变量;根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及优化后的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,直至准确率和召回率都在可接受范围内。本发明实施例要求准确率和召回率的范围均在90%-95%,则属于可接受范围内。
通过优化,优化后的时间窗口长度为61,第一典型相关系数的阈值为0.804,第二典型相关系数阈值为0.696。时间序列窗口长度决定了进行典型相关分析的次数。因为时间序列窗口为61,此时能够得到从22:38-00:07时间段内(其中22:38-23:37为无污染状态,23:38-00:07为污染状态),共计90行的典型相关系数矩阵如表4。该矩阵共有90行,即进行了90次典型相关分析。进行典型相关分析的次数=总时间序列长度(150)-时间序列窗口长度(61)+1=90。
表4
由表4可以看出,22:38对应的典型相关系数是对150个数据中1-61个数据进行典型相关分析得到的;22:39对应的典型相关系数是对150个数据中2-62个数据进行典型相关分析得到的,依次类推,00:07对应的典型相关系数是对150个数据中90-150个数据进行典型相关分析得到的。表4中每一时刻对应一个污染事件。可以发现在污染发生后4分钟(23:41)第一典型相关系数超过阈值,因此此时可以探测到污染。在整个污染探测过程中,TP=27,TN=60,FP=0,FN=3,因此准确率=TP/(TP+FP)=27/(27+0)=1,召回率=TP/(TP+FN)=27/(27+3)=90.00%。在污染发生后可以迅速探测到污染,且准确率和召回率均达到90%-95%。
6)根据优化后的参数对污染事件进行实时预警
将优化后的时间序列窗口长度61、第一典型相关系数阈值0.804、第二典型相关系数阈值0.696进行实时污染事件探测。并以浓度分别为0.004mg/L(TP 56,FP 2,TN 29,FN3)、0.008mg/L(TP 57 FP 3 TN 28 FN 4)、0.016mg/L(TP 57,FP 3,TN 28,FN 4)、0.032mg/L(TP 58,FP 2,TN 29,FN 2)的镉标准溶液污染事件的复合数据进行测试。构建典型相关系数矩阵,分别计算其准确率和召回率,发现均在90%-95%范围内,符合要求。
本发明实施例根据优化后的参数对污染事件进行实时预警的方法包括:
·获取第二预定时间段内的时间序列数据;
·根据优化后的时间序列窗口长度61,每次进行典型相关分析时,将窗口沿第二预定时间段内的时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类分为预设的两组,作为该次典型相关分析的两组变量;
·根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
·对于一次典型相关分析,将该次典型相关分析的第一典型相关系数和第二典型相关系数分别与优化后的第一典型相关系数阈值0.804和第二典型相关系数阈值0.696作比较,
·如果第一典型相关系数或者第二典型相关系数超过其各自对应的阈值,则确定该次典型相关分析对应的污染事件探测到污染的发生;
·如果第一典型相关系数和第二典型相关系数均未超过其各自对应的阈值,则确定该次典型相关分析对应的污染事件未探测到污染的发生。
综上,在本发明的优选方式中,通过历史数据优化时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值,利用优化后的时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值,构建典型相关分析模型,计算典型相关系数,对实时的污染事故进行准确、快速探测。
本发明的有益效果是:
1、本发明利用Matlab平台实现了基于典型相关分析的突发污染事件的快速准确预警。相较于其他水质污染预警的方法或研究,本发明注重于水质在线监测数据的分析与应用,并借以计算机、统计技术在预警方面的优势,在突发污染事故发生后,快速准确发现污染,为保障饮用水安全提供关键技术支持。
2、本发明提出的基于典型相关分析的水质污染预警方法,可以充分挖掘水质常规参数数据的有效信息,判断污染事件是否发生。能够将水质常规监测与污染预警结合起来,降低了污染预警成本。同生物预警技术、重金属预警技术等相比具有运营成本低、操作简单、快速准确的优点。
3、本发明提出的基于典型相关分析的水质污染预警方法,突破了目前应用常规水质参数进行污染预警方法多与历史均值进行比较的局限,降低了对大量历史数据的依赖性。同时充分挖掘多个水质参数之间的关联性,并能够准确区分仪器噪音与污染事件,提高了预警方法的准确性与可靠性。
4、本发明提出的基于典型相关分析的水质污染预警方法,与基于皮尔逊相关性的预警方法相比,对多水质参数之间关联性进行了进一步挖掘,提高了预警方法的准确性与可靠性。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换以及改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种水质污染预警方法,该方法包括:
在预定时间段内,连续获取同一监测点受污染前各水质参数的时间序列数据,以及污染过程中各水质参数的时间序列数据,拼接形成该时间段内的总时间序列数据;
根据预设的初始时间序列窗口长度,每次进行典型相关分析时,将窗口沿该时间段内的总时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类分为预设的两组,作为该次典型相关分析的两组变量;
根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,当准确率和召回率都在可接受范围内时,根据预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警。
2.如权利要求1所述的方法,其特征在于,所述污染事件在探测过程中分为四个类别,第一类为真阳性TP,表示在污染事件发生过程中,探测到污染的发生;第二类为伪阳性FP,表示在无污染事件状态下,探测到污染的发生;第三类为真阴性TN,表示在无污染事件状态下,未探测到污染的发生;第四类为伪阴性FN,表示在污染事件发生过程中,未探测到污染的发生;
所述根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及预设的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算的方法包括:
对于一次典型相关分析,将该次典型相关分析的第一典型相关系数和第二典型相关系数分别与预设的第一典型相关系数阈值和第二典型相关系数阈值作比较,
如果第一典型相关系数或者第二典型相关系数超过其各自对应的阈值,则判断该次典型相关分析对应的时刻探测到了污染事件);
如果第一典型相关系数和第二典型相关系数均未超过其各自对应的阈值,则判断该次典型相关分析对应的时刻未探测到污染;
根据该次典型相关分析所对应的时间序列数据,判断该次典型相关分析对应的时刻处于污染事件发生过程中还是无污染事件状态下;
根据所有时刻在探测过程中的分类,确定每次典型相关分析对应的事件所属类别,并统计各类别事件的数量;
根据统计的各类别事件的数量,计算探测到的污染事件中真实发生的污染事件的比例作为准确率,计算在真实发生的污染事件中被探测出来的污染事件的比例作为召回率。
3.如权利要求2所述的方法,其特征在于,当准确率或者召回率不在可接受范围内时,该方法还包括:
对预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值进行优化,直至准确率和召回率达到可接受范围内;
根据优化后的时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警。
4.如权利要求3所述的方法,其特征在于,对预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值进行优化的方法包括:
根据时间序列窗口长度的优化步长长度,每次优化时将时间序列窗口长度增加步长长度,得到优化后的时间序列窗口长度;
根据第一典型相关系数阈值和第二典型相关系数阈值的优化步长长度,每次优化时将第一典型相关系数阈值和第二典型相关系数阈值的值增加步长长度,得到优化后的第一典型相关系数阈值和第二典型相关系数阈值;
根据优化后的时间序列窗口长度,每次进行典型相关分析时,将窗口沿该时间段内的总时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类又分为两组,作为该次典型相关分析的两组变量;
根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
根据每次典型相关分析的第一典型相关系数和第二典型相关系数以及优化后的第一典型相关系数阈值和第二典型相关系数阈值,进行准确率和召回率计算,直至准确率和召回率都在可接受范围内。
5.如权利要求1所述的方法,其特征在于,根据预设的初始时间序列窗口长度、第一典型相关系数阈值和第二典型相关系数阈值对污染事件进行实时预警的方法包括:
获取第二预定时间段内的时间序列数据;
根据预设的初始时间序列窗口长度,每次进行典型相关分析时,将窗口沿第二预定时间段内的时间序列数据向下移动一个单位,得到每次进行典型相关分析的时间序列数据;其中,每次进行典型相关分析的时间序列数据,按各水质参数的种类分为预设的两组,作为该次典型相关分析的两组变量;
根据所述两组变量,进行典型相关系数计算,得到每次典型相关分析的第一典型相关系数和第二典型相关系数;
对于一次典型相关分析,将该次典型相关分析的第一典型相关系数和第二典型相关系数分别与预设的第一典型相关系数阈值和第二典型相关系数阈值作比较,
如果第一典型相关系数或者第二典型相关系数超过其各自对应的阈值,则确定该次典型相关分析对应的时刻探测到污染的发生;
如果第一典型相关系数和第二典型相关系数均未超过其各自对应的阈值,则确定该次典型相关分析对应的时刻未探测到污染的发生。
6.如权利要求1所述的方法,其特征在于,所述时间序列窗口长度的范围在50~90之间。
7.如权利要求1所述的方法,其特征在于,所述第一典型相关系数阈值的范围在0.7~0.9之间。
8.如权利要求1所述的方法,其特征在于,所述第二典型相关系数阈值的范围在0.4~0.8之间。
9.如权利要求1所述的方法,其特征在于,获取各水质参数的时间序列数据所采用的在线监测设备的监测频率在1~5min之内。
10.如权利要求9所述的方法,其特征在于,采用预定浓度的丙烯酰胺标准溶液或者镉标准溶液对水质进行持续时间的污染物注入,以使在线监测设备监测到污染发生前后各水质参数的时间序列数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710085466.XA CN106918684B (zh) | 2017-02-17 | 2017-02-17 | 一种水质污染预警方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710085466.XA CN106918684B (zh) | 2017-02-17 | 2017-02-17 | 一种水质污染预警方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106918684A true CN106918684A (zh) | 2017-07-04 |
CN106918684B CN106918684B (zh) | 2019-02-22 |
Family
ID=59454181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710085466.XA Active CN106918684B (zh) | 2017-02-17 | 2017-02-17 | 一种水质污染预警方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106918684B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108665119A (zh) * | 2018-08-03 | 2018-10-16 | 清华大学 | 一种供水管网异常工况预警方法 |
CN109813857A (zh) * | 2019-03-08 | 2019-05-28 | 新昌县以琳环保科技有限公司 | 基于物联网水质监测系统监测方法 |
CN110835128A (zh) * | 2019-11-26 | 2020-02-25 | 倪世章 | 一种基于水质实时净化水质量的净水器及方法 |
CN111239346A (zh) * | 2020-03-26 | 2020-06-05 | 泛测(北京)环境科技有限公司 | 一种空气质量监测中污染事件识别方法和装置 |
CN114578011A (zh) * | 2022-03-07 | 2022-06-03 | 上海蓝长科技集团有限公司 | 一种基于多传感器多源数据融合的水质监测方法 |
CN114577978A (zh) * | 2020-11-18 | 2022-06-03 | 中移物联网有限公司 | 基于路侧单元的尾气超标车辆的检测方法及路侧单元 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101533000A (zh) * | 2009-03-05 | 2009-09-16 | 重庆大学 | 一种构建水体富营养化风险分析模型的方法 |
CN101726568A (zh) * | 2009-11-24 | 2010-06-09 | 环境保护部华南环境科学研究所 | 一种水环境安全预警预测方法 |
CN102183620A (zh) * | 2011-02-24 | 2011-09-14 | 上海城市水资源开发利用国家工程中心有限公司 | 一种水源水质污染及污染程度判断的方法 |
US20120216603A1 (en) * | 2007-01-31 | 2012-08-30 | Yingping Jeffrey Yang | Adaptive real-time contaminant detection and early warning for drinking water distribution systems |
CN104217040A (zh) * | 2014-10-11 | 2014-12-17 | 清华大学 | 一种基于传统在线监测仪的污染事件快速探测方法 |
-
2017
- 2017-02-17 CN CN201710085466.XA patent/CN106918684B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120216603A1 (en) * | 2007-01-31 | 2012-08-30 | Yingping Jeffrey Yang | Adaptive real-time contaminant detection and early warning for drinking water distribution systems |
CN101533000A (zh) * | 2009-03-05 | 2009-09-16 | 重庆大学 | 一种构建水体富营养化风险分析模型的方法 |
CN101726568A (zh) * | 2009-11-24 | 2010-06-09 | 环境保护部华南环境科学研究所 | 一种水环境安全预警预测方法 |
CN102183620A (zh) * | 2011-02-24 | 2011-09-14 | 上海城市水资源开发利用国家工程中心有限公司 | 一种水源水质污染及污染程度判断的方法 |
CN104217040A (zh) * | 2014-10-11 | 2014-12-17 | 清华大学 | 一种基于传统在线监测仪的污染事件快速探测方法 |
Non-Patent Citations (2)
Title |
---|
B.KHALIL等: "Estimation of water quality characteristics at ungauged sites using artificial neural networks and canonical correlation analysis", 《JOURNAL OF HYDROLOGY》 * |
MIO CHENG CHAN等: "Integrating Principle Component Analysis and Canonical Correlation Analysis for Monitoring Water Quality in Storage Reservoir", 《APPLIED MECHANICS AND MATERIALS》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108665119A (zh) * | 2018-08-03 | 2018-10-16 | 清华大学 | 一种供水管网异常工况预警方法 |
CN108665119B (zh) * | 2018-08-03 | 2021-05-28 | 清华大学 | 一种供水管网异常工况预警方法 |
CN109813857A (zh) * | 2019-03-08 | 2019-05-28 | 新昌县以琳环保科技有限公司 | 基于物联网水质监测系统监测方法 |
CN109813857B (zh) * | 2019-03-08 | 2021-07-13 | 江西电信信息产业有限公司 | 基于物联网水质监测系统监测方法 |
CN110835128A (zh) * | 2019-11-26 | 2020-02-25 | 倪世章 | 一种基于水质实时净化水质量的净水器及方法 |
CN110835128B (zh) * | 2019-11-26 | 2021-12-07 | 陈文印 | 一种基于水质实时净化水质量的净水器及方法 |
CN111239346A (zh) * | 2020-03-26 | 2020-06-05 | 泛测(北京)环境科技有限公司 | 一种空气质量监测中污染事件识别方法和装置 |
CN114577978A (zh) * | 2020-11-18 | 2022-06-03 | 中移物联网有限公司 | 基于路侧单元的尾气超标车辆的检测方法及路侧单元 |
CN114577978B (zh) * | 2020-11-18 | 2023-08-15 | 中移物联网有限公司 | 基于路侧单元的尾气超标车辆的检测方法及路侧单元 |
CN114578011A (zh) * | 2022-03-07 | 2022-06-03 | 上海蓝长科技集团有限公司 | 一种基于多传感器多源数据融合的水质监测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106918684B (zh) | 2019-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106918684B (zh) | 一种水质污染预警方法 | |
CN106650797B (zh) | 一种基于集成elm的配电网窃电嫌疑用户智能识别方法 | |
CN111275333B (zh) | 污染数据处理方法和装置 | |
Liu et al. | Contamination event detection using multiple types of conventional water quality sensors in source water | |
US20220157149A1 (en) | Water environment risk prediction and early warning method | |
CN108665119B (zh) | 一种供水管网异常工况预警方法 | |
CN106600509B (zh) | 一种基于基础数据分析判断企业兑水排污行为的方法 | |
CN107292501A (zh) | 一种评估废水监测数据质量的方法及设备 | |
CN107436277A (zh) | 基于相似距离判别的单指标数据质量控制方法 | |
CN111160776A (zh) | 利用分块主成分分析的污水处理过程异常工况检测方法 | |
CN104217040A (zh) | 一种基于传统在线监测仪的污染事件快速探测方法 | |
CN107563597A (zh) | 污染物排放总量的智能预警方法 | |
CN112884197B (zh) | 一种基于双模型的水华预测方法和装置 | |
CN107422088A (zh) | 一种污水监测管理方法及装置 | |
CN106940363B (zh) | 一种基于海洋生物行为反应的海洋污染预警方法 | |
CN112270633B (zh) | 一种基于大数据驱动的公益诉讼线索研判系统和方法 | |
CN115063014A (zh) | 一种基于5g网络的工业废水监管系统及方法 | |
CN113341087A (zh) | 一种河道水质污染源智能监测分析方法、系统及计算机存储介质 | |
CN116990479B (zh) | 一种基于Zigbee技术的水质监测方法、系统、设备及介质 | |
CN114169424A (zh) | 基于k近邻回归算法和用电数据的排污量预测方法 | |
CN116308415A (zh) | 一种污水排放数据真伪风险评估方法 | |
CN117273203A (zh) | 一种基于GAT-Transformer时间序列模型的水质预测方法与系统 | |
CN110849938A (zh) | 一种超标排污自动预警和留样方法及装置 | |
CN116881747B (zh) | 基于医疗废水监测的智能处理方法及系统 | |
Che et al. | Contaminant detection using multiple conventional water quality sensors in an early warning system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |