CN113239957A - 一种突发水污染事件在线识别方法 - Google Patents

一种突发水污染事件在线识别方法 Download PDF

Info

Publication number
CN113239957A
CN113239957A CN202110377372.6A CN202110377372A CN113239957A CN 113239957 A CN113239957 A CN 113239957A CN 202110377372 A CN202110377372 A CN 202110377372A CN 113239957 A CN113239957 A CN 113239957A
Authority
CN
China
Prior art keywords
water quality
data
event
pollution
abnormal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110377372.6A
Other languages
English (en)
Inventor
陈运
廖振良
田文翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202110377372.6A priority Critical patent/CN113239957A/zh
Publication of CN113239957A publication Critical patent/CN113239957A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

一种突发水污染事件在线识别方法，利用历史数据来训练水质预测模型，以期获得水质的基线波动，在此基础上，结合层次聚类的方法对滤除基线波动的数据进行分析，来区分出异常，最后通过水质指标融合来判断事件发生。通过对历史数据的离线调试，将优化后的参数和模型传给在线识别过程，以完成对水质数据的事件判断：监测故障、污染警报、基线变化，若是判断为正常，则将数据存入历史数据继续用于离线调试反复进行训练，不断优化并调整模型和参数。本发明借助时间序列增量、层次聚类等方法实现突发水污染事件的在线识别，相比于传统的阈值法来说，对污染事件检测的误报率、检出率有了明显的提升，并且降低事件检出延时性。

Description

一种突发水污染事件在线识别方法
技术领域
本发明属于水质监测领域，涉及地表水突发水污染事件识别技术，尤其是基于历史数据离线调试的突发水污染事件在线识别方法。
背景技术
突发水污染事件在线识别方法，即运用于水质在线监测系统，通过分析实时监测的水质数据，快速准确识别突发性水污染事件的技术方法。
突发水污染事件带来的水质安全问题,直接关系到广大人民群众的生产、生活和健康。因此，突发水污染事件的实时检测识别引起了广大关注。水质在线监测设备因能快速检测出水质参数，实时反映水体中水质变化，从20世纪60年代起在国外出现，随后在国内外迅速发展，为突发水污染事件的实时检测提供了基础条件。而如何从大量的水质实时监测数据中及时发现异常，检测出污染事件，是当前研究的关注点。目前，常用的突发水污染事件在线识别方法有阈值法和水质预测等。
现在普遍使用的阈值法，即为每一个水质参数设定阈值，当监测数据超过这个阈值时，判定为发生污染。阈值法操作简单，但是其误判率高、检出率低，且难以检测出低于阈值的污染事件。而水质预测，即利用在线监测的历史数据训练预测模型，然后用训练好的预测模型实时预测，并与在线监测数据进行比较，当差值大于设定的阈值，判定为发生污染。该方法的核心在于预测模型充当水质基线，相比于简单的阈值法，其误判率、检出率等性能有一定的提升，但仍不理想，且之后阈值的设定也带来了不确定的因素。
发明内容
本发明的目的就是为了克服现有技术存在的上述缺陷而提供一种基于历史数据离线调试的突发水污染事件在线识别方法。
本发明的目的可以通过以下技术方案来实现：
一种突发水污染事件在线识别方法，利用历史数据来训练水质预测模型，以期获得水质的基线波动，在此基础上，结合层次聚类的方法对滤除基线波动的数据进行分析，来区分出异常，最后通过水质指标融合来判断事件发生。
进一步，通过对历史数据的离线调试，将优化后的参数和模型传给在线识别过程，以完成对水质数据的事件判断：监测故障、污染警报、基线变化，若是判断为正常，则将数据存入历史数据继续用于离线调试反复进行训练，不断优化和调整模型和参数，以达到提升突发水污染事件在线识别效果的目标。
所述在线识别方法的离线调试(part1)部分，其步骤包括：步骤S1：利用站点的历史水质数据，数据量的选取用滑动窗口尺寸W来表示，不同的W代表选取不同时间步长的历史水质数据；
步骤S2：处理水质数据的零点、极值点、无信号、负值情况，如属该类情况则用前一时刻的水质数据进行替换；
步骤S3：利用时间序列增量(TSI)方法对历史水质数据进行分析，建立水质预测模型，作为水质基线，并与历史数据做差，得预测差值数据(difference data)；
步骤S4:将模拟的污染事件叠加到差值，得污染数据(superimposed data)，再用层次聚类(Hiera Cluster)方法对superimposed data进行分析，选取聚类簇数n，得到聚类结果(cluster result)，将水质数据分为“正常”、“异常”两类，用真阳率(TPR)和假阳率(FPR)进行评估，获得最佳节点参数nbest；
步骤S5:对cluster result进行污染事件判断，设置一个事件判断的异常个数N，若某个时间点的水质异常指标个数大于等于N时，判断为污染事件。步骤S6:通过评估不同事件判断的异常个数N下污染事件的检出率(PD)、误报率(FAR)和平均检出时间(MTTD)，获得最佳事件判断异常个数Nbest；通过评估不同滑动窗口尺寸W下污染事件的检出率(PD)、误报率(FAR)和平均检出时间(MTTD)，获得最佳滑动窗口尺寸Wbest。
所述离线调试(part1)部分的步骤S1：历史水质数据包含不同的水质指标数据，因此不同地表水水质监测站点监测水质指标不同，历史水质数据的内容会有所不同，但不影响本技术方法的使用，同时历史水质数据数据集尽量保证一个季度的采集数据。
滑动窗口尺寸W选取50到总数据量的2/3，单位为一个数据采集时间步长，每间隔10个时间步长取一个值。
步骤S2中：水质在线监测设备正常运行时，其监测数据不会出现零点(水质数值为0)、负值(水质数值为负数)，极大值(远超出监测水体的水质浓度的数值，本方法以100倍滑动窗口尺寸W下的水质数据的平均值为准)，无信号(没有水质数值)。
步骤S3中：时间序列增量(TSI)方法是指用前一时刻的实测水质数据作为当前时刻的水质数据的预测值。
步骤S4包括模拟污染事件和聚类分析两个过程，包括：
步骤S41：本方法模拟的污染事件由事件类型、事件强度、事件步长三个参数决定，事件类型分为三类“高斯型”、“U型”、“方型”，以步骤S3得到的差值difference data的标准差为1倍的事件强度，事件步长可取7到45个时间步长，污染事件生成公式如下：
xE(t)＝xB(t)+δEindσxEmax (1.1)
其中，xE(t)——污染事件的水质信号，叠加污染事件后的水质数据，
xB(t)——水质背景信号，即原始数据，
δ——-1或1，表示异常偏离背景水质的方向，
Eind——污染事件发生的位置，由不同的污染事件类型和事件步长决定，
σx——水质背景数据的标准方差，
Emax——污染事件的的峰值，即事件强度。
步骤S42：往difference data叠加一组模拟污染事件，叠加的位置可以随机选定；
步骤S43：本方法采用Python第三方库sklearn里的cluster.AgglomerativeClustering算法，对superimposed data进行聚类分析，选取不同的聚类簇数n，会得到不同聚类结果。
步骤S44：将聚类结果中数据量占比最高的聚类簇归为“正常”类，其它聚类簇归为“异常”类，得到水质数据异常识别序列。
步骤S45：以叠加模拟污染事件的水质数据作为污染事件实际发生的位置，其它水质数据为实际“正常”值，将聚类结果的“正常”、“异常”类作为判断情况，建立混淆矩阵，算出TPR、FPR。
步骤S46：选取不同的聚类簇数n，产生不同的聚类结果，会得到不同的TPR、FPR，而最高的TPR、最低的FPR对应的n值即为最佳聚类簇数nbest。
步骤S5中：污染事件判断的依据是对每个时间点各水质指标异常个数与设置的事件判断异常个数N进行比较，当大于等于N时判断该时刻发生污染事件，否则为正常情况；N的最小值为1，最大值不超过水质指标总数。
步骤S6中：三个评估指标检出率(PD)指在一定时间里污染事件判断算法检测出的污染次数占实际发生总次数的百分比；误报率(FAR)指在一定时间内，染事件判断算法检测出的虚假污染次数占实际发生次数的百分比；平均检出时间(Mean Time to Detection，MTTD)：指污染事件判断算法给出报警信息的时间与实际发生水质污染时间的差值的算术平均。
在nbest、W不变的情况下，改变N的取值，比较PD、FAR、MTTD，在PD最高、FAR最低、MTTD最小的情况下取得Nbest；在nbest、Nbest不变的情况下，改变W的取值，比较PD、FAR、MTTD，在PD最高、FAR最低、MTTD最小的情况下取得Wbest。
所述在线识别方法的在线识别(part2)部分，其步骤包括：
步骤S7，以part1获得的Wbest作为part2的滑动窗口尺寸，随着在线数据采集周期向前滚动，即接收了Xt后，相应剔除(t-Wbest)时刻的水质数据；
步骤S8：对Xt进行零点、极值点、无信号、负值处理，若为该类异常情况，将该时刻的水质数据判定为“监测故障”；
步骤S9：利用TSI预测模型对t时刻的水质进行预测，得Yt，并与Xt做差，得差值
Figure BDA0003011702890000041
步骤S10，对t时刻之前的Wbest的预测残差数据叠加污染事件数据后，进行Hiera Cluster，聚类簇数选取nbest，获得各水质指标的“正常”、“异常”类，计算出“正常”、“异常”类的数值范围Rn、Ra；若差值
Figure BDA0003011702890000042
属于Rn、则判断为正常，若差值
Figure BDA0003011702890000043
属于Ra，则判断为异常；
步骤S11，判断t时刻个水质指标为异常的个数，当大于等于Nbest时判断为发生污染事件；并将t-1时刻的水质数据代替Xt，否则视为水质正常；
步骤S12，事件识别结果警报，分为“监测故障”、“污染警报”、“基线变化”、“水质正常”四种情况，“监测故障”由S8判断出；“污染警报”由S11判断；“基线变化”表示“污染警报”发生持续时间超过Wbest的一半时的情况；“水质正常”表示水质数据正常。
步骤S7中，t时刻的水质数据为在线监测设备实时监测到各指标的水质数据，Wbest是由part1的S6得出的。
步骤S8中，水质在线监测设备正常运行时，其监测数据不会出现零点(水质数值为0)、负值(水质数值为负数)，极大值(本方法以100倍滑动窗口尺寸W下的水质数据的平均值为准)，无信号(没有水质数值)，若出现该类情况，则用t-1时刻的水质数据代替Xt。
步骤S10中，叠加的污染事件依据事件类型、事件强度、事件步长三个参数来确定，这里建议选择事件强度为3、事件步长为15、事件类型为倒U型的污染事件。
步骤S10中，这里的nbest是由part1的S4得出的，且每个水质指标的nbest可能不同。
步骤S11中Nbest是由part1的S6得出的。
步骤S12中，当判断为“基线变化”时，需要重新对本方法进行离线调试，重新训练模型，筛选出最佳滑动窗口尺寸Wbest、最佳聚类簇数nbest、最佳事件判断异常个数Nbest。
与现有技术相比，本发明具有以下有益效果：
1)对突发水污染事件的误判率低、检出率高；
2)并且对污染事件的平均检出时间短；
3)克服了水质预测模型对于精确预测的依赖；
4)可以检测出“监测故障”、“基线变化”非突发水污染事件。
附图说明
图1为本发明的流程示意图。
图2为本发明的结构示意图。
图3为具体实施案例的数据示意图。
图4为具体实施例的结果示意图。
具体实施方式
突发水污染事件在线识别技术是从水质时间序列数据中区分出正常和异常，并对异常的发生进行事件识别判断。传统阈值法是根据经验设置阈值，来区分异常和正常，并判断事件的发生；水质预测的方法是基于对历史数据的分析，来预测未来某个时间点的水质数据，从而判断在线监测数据的异常，来判断事件的发生。而本发明的思想是利用历史数据来训练水质预测模型，以期获得水质的基线波动，在此基础上，结合层次聚类的方法对滤除基线波动的数据进行分析，来区分出异常，最后通过水质指标融合来判断事件发生。
按照本发明的模型结构和运行方式，突发水污染事件在线识别构建思路如下：通过对历史数据的离线调试，将优化后的参数和模型传给在线识别过程，以完成对水质数据的事件判断：监测故障、污染警报、基线变化，若是判断为正常，则将数据存入历史数据继续用于离线调试反复进行训练，不断优化和调整模型和参数，以达到提升突发水污染事件在线识别效果的目标。
基于历史数据离线调试的突发水污染事件在线识别方法的优点有：(1)由于本发明中训练的水质预测模型主要是为了后续进行基线滤除，对其预测精度不会过于依赖；(2)同样的原因，也使本发明对不同的水质情况有较好的适应性；(3)本发明通过离线调试阶段可以优化模型和参数，减少了很多人为因素干扰，便于决策者管理；(4)同时，由于本发明在线识别阶段通过数据预处理和污染事件持续时间的长度，可以区别“监测故障”、“基线变化”两类非突发水污染事件；(5)本发明使用多水质指标融合来对异常结果进行污染事件判断，不同于以往检测出异常即判定为事件发生，这样使得该方法对突发水污染事件的误判率低、检出率高，并且可以保证检出延时短。
一种基于历史数据离线调试的突发水污染事件在线识别方法的离线调试(part1)部分，包括：
步骤S1：利用站点的历史水质数据，数据量的选取用滑动窗口尺寸W来表示，不同的W代表选取不同时间步长的历史水质数据。
步骤S2：处理水质数据的零点、极值点、无信号、负值情况，如属该类情况则用前一时刻的水质数据进行替换。
步骤S3：利用时间序列增量(TSI)方法对历史水质数据进行分析，建立水质预测模型，作为水质基线，并与历史数据做差，得预测差值数据(difference data)。
步骤S4：将模拟的污染事件叠加到差值，得污染数据(superimposed data)，再用层次聚类(Hiera Cluster)方法对superimposed data进行分析，选取聚类簇数n，得聚类结果(cluster result)，将水质数据分为“正常”、“异常”两类，用真阳率(TPR)和假阳率(FPR)进行评估，获得最佳节点参数nbest。
步骤S5：对cluster result进行污染事件判断，设置一个事件判断的异常个数N，若某个时间点的水质异常指标个数大于等于N时，判断为污染事件。
步骤S6：通过评估不同事件判断的异常个数N下污染事件的检出率(PD)、误报率(FAR)和平均检出时间(MTTD)，获得最佳事件判断异常个数Nbest；通过评估不同滑动窗口尺寸W下污染事件的检出率(PD)、误报率(FAR)和平均检出时间(MTTD)，获得最佳滑动窗口尺寸Wbest。
其中part2的步骤如下(以t时刻的实时水质数据Xt为例)：
本发明借助时间序列增量、层次聚类等方法实现突发水污染事件的在线识别，相比于传统的阈值法来说，对污染事件检测的误报率、检出率有了明显的提升，并且其事件检出延时性短。因此该发明是一种高效准确的突发污染事件在线识别方法。
一种基于历史数据离线调试的突发水污染事件在线识别方法的在线识别(part2)部分，其步骤包括：
步骤S7：以part1获得的Wbest作为part2的滑动窗口尺寸，随着在线数据采集周期向前滚动，即接收了Xt后，相应剔除(t-Wbest)时刻的水质数据。
步骤S8：对Xt进行零点、极值点、无信号、负值处理，若为该类异常情况，将该时刻的水质数据判定为“监测故障”。
步骤S9：利用TSI预测模型对t时刻的水质进行预测，得Yt，并与Xt做差，得差值
Figure BDA0003011702890000071
步骤S10：对t时刻之前的Wbest的预测残差数据叠加污染事件数据后，进行HieraCluster，聚类簇数选取nbest，获得各水质指标的“正常”、“异常”类，计算出“正常”、“异常”类的数值范围Rn、Ra；若差值
Figure BDA0003011702890000072
属于Rn、则判断为正常，若差值
Figure BDA0003011702890000073
属于Ra，则判断为异常。
步骤S11：判断t时刻个水质指标为异常的个数，当大于等于Nbest时判断为发生污染事件；并将t-1时刻的水质数据代替Xt，否则视为水质正常。
步骤S12：事件识别结果警报，分为“监测故障”、“污染警报”、“基线变化”、“水质正常”四种情况，“监测故障”由S8判断出；“污染警报”由S11判断；“基线变化”表示“污染警报”发生持续时间超过Wbest的一半时的情况；“水质正常”表示水质数据正常。
以下结合附图及实施例对本发明作进一步的说明。
一种基于历史数据离线调试的突发水污染事件在线识别方法，如图1和图2所示，包括：
一种基于历史数据离线调试的突发水污染事件在线识别方法的离线调试(part1)部分，主要是训练模型，并且筛选出最佳滑动窗口尺寸Wbest、最佳聚类簇数nbest、最佳事件判断异常个数Nbest：
步骤S1：在线监测站点的历史水质数据，常用的水质参数有很多，现以七种水质指标为例：pH、温度、溶解氧、浊度、电导率、CODMn、氨氮，共2276组数据，以前1000组数据历史水质数据，当作离线调试阶段的训练数据，后1276组数据当作在线识别阶段的测试数据，如图3。滑动窗口尺寸W取值为{50，100，150，200，250，300，400，500，600}，初始选200个时间步长；
步骤S2：本案例采用的数据不存在零点、极值点、无信号、负值之类的“监测故障”；
步骤S3：水质基线预测模型采用时间序列增量(TSI)算法，即用前一时刻的实测值Zt-1当作当前时刻的预测值Z* t，即：
Z* t＝Zt-1
然后当前时刻的实测值Zt减去预测值，得到预测残差数据，公式如下：
Different data＝Zt-Z* t
步骤S4：包括模拟污染事件和聚类分析两个过程，具体如下：
步骤S41：本方法模拟的污染事件由事件类型、事件强度、事件步长三个参数决定，事件类型分为三类“高斯型”、“U型”、“方型”，以步骤S3得到的差值difference data的标准差为1倍的事件强度，事件步长可取7到45个时间步长，污染事件生成公式如下：
xE(t)＝xB(t)+δEindσxEmax (1.1)
其中，xE(t)——污染事件的水质信号，叠加污染事件后的水质数据，
xB(t)——水质背景信号，即原始数据，
δ——-1或1，表示异常偏离背景水质的方向，根据方向不同，事件类型又可以分为“正高斯”、“倒高斯”、“正U型”、“倒U型”、“正方型”、“倒方型”。
Eind——污染事件发生的位置，由不同的污染事件类型和事件步长决定，
σx——水质背景数据的标准方差，
Emax——污染事件的的峰值，即事件强度。
步骤S42：本案例模拟的污染事件参数选择为δ＝-1，“U型”，事件强度Emax＝3，时间步长＝15，将模拟的污染事件数据叠加到difference data，叠加的初始位置选则在W/2处，这样形成了superimposed data；
步骤S43：本方法采用Python第三方库sklearn里的cluster.AgglomerativeClustering算法，对superimposed data进行聚类分析，聚类簇数n一般取值{2，3，4，5，6，7，8，9，10}，各水质指标的n初始取值均为2。在Python软件中的代码如下：
from sklearn.cluster import AgglomerativeClustering
ac＝AgglomerativeClustering(n_clusters＝2，affinity＝′euclidean′，linkage＝′average′，distance_thre shold＝None)
model＝ac.fit(pHsuperimposed data)#pHsuperimposed data表示水质指标pH叠加污染事件后的预测残差数据
labels＝ac.fit_predict(pHsuperimposed data)
步骤S44：其中labels即为聚类结果，将聚类结果中数据量占比最高的聚类簇归为“正常”类，其它聚类簇归为“异常”类，得到水质数据异常识别序列。
步骤S45：以叠加模拟污染事件的水质数据作为污染事件实际发生的位置，其它水质数据为实际“正常”值，将聚类结果的“正常”、“异常”类作为判断情况，建立如下混淆矩阵：
Figure BDA0003011702890000091
算出TPR、FPR，公式如下：
Figure BDA0003011702890000092
Figure BDA0003011702890000093
步骤S46：选取不同的聚类簇数n，产生不同的聚类结果，会得到不同的TPR、FPR，而最高的TPR、最低的FPR对应的n值即为最佳聚类簇数nbest为，各水质指标的nbest为2，3，3，2，2，2，2，2。
步骤S5：对cluster result进行污染事件判断，设置一个事件判断的异常个数N，本案例中因监测的水质指标为7个，故N的可能取值为{1,2,3,4,5,6,7}，若某个时间点的水质异常指标个数大于等于N时，判断为污染事件。
步骤S6：用检出率(PD)、误报率(FAR)和平均检出时间(MTTD)通过评估不同事件判断的异常个数N的性能，公式如下:
Figure BDA0003011702890000094
Figure BDA0003011702890000095
Figure BDA0003011702890000096
其中，n表示算法判断出的确实发生污染事件次数，N表示实际发生的污染事件次数，f表示算法判断出的未发生的污染事件次数，|tid-tir|表示污染事件判断算法给出报警信息的时间与实际发生水质污染时间的差值。其中检出率最高、误报率最低、平均检出时间最短对应的N为最佳事件判断异常个数Nbes为3t；同样，通过评估不同滑动窗口尺寸W下污染事件的检出率(PD)、误报率(FAR)和平均检出时间(MTTD)，获得最佳滑动窗口尺寸Wbest为200。
一种基于历史数据离线调试的突发水污染事件在线识别方法的在线识别(part2)部分，其步骤包括：
步骤S7：以part1获得的作为part2的滑动窗口尺寸，本案例Wbest＝200，随着在线数据采集周期向前滚动，即接收了Xt后，相应剔除(t-Wbest)时刻的水质数据。
步骤S8：对Xt进行零点、极值点、无信号、负值处理，若为该类异常情况，将该时刻的水质数据判定为“监测故障”，并用前一时刻的水质数据Zt-1替换该时刻数据Zt。
步骤S9：利用TSI预测模型对t时刻的水质进行预测，得Yt，并与Xt做差，得差值
Figure BDA0003011702890000101
步骤S10：对t时刻之前的Wbest的预测残差数据叠加污染事件数据后，进行HieraCluster，聚类簇数选取nbest，本案例各水质指标的nbest分别为2,3,3,2,2,2,2,2，获得各水质指标的“正常”、“异常”类，计算出“正常”、“异常”类的数值范围Rn、Ra；若差值
Figure BDA0003011702890000102
属于Rn、则判断为正常，若差值
Figure BDA0003011702890000103
属于Ra，则判断为异常，并用前一时刻的水质数据Zt-1替换该时刻数据Zt。
步骤S11：本案例中Nbest为3，当大于等于时判断为发生污染事件；并将t-1时刻的水质数据代替Xt，否则视为水质正常，污染事件判断结果如图4所示，其中叠加污染事件位置，也即实际发生污染事件的部分，而最终结果融合了七个水质指标的异常序列，污染事件判断结果与叠加污染事件的位置完美重叠，说明该方法实现了100％的检出率，且MTTD约为1。
步骤S12：事件识别结果警报，分为“监测故障”、“污染警报”、“基线变化”、“水质正常”四种情况，“监测故障”由S8判断出；“污染警报”由S11判断；“基线变化”表示“污染警报”发生持续时间超过Wbest的一半时的情况；“水质正常”表示水质数据正常。在本例中，在叠加污染事件位置将发出“污染警报”，其它时间点为“水质正常”。事件识别结束后，将该时刻的水质数据Zt当作滑动窗口数据的一部分，相应剔除(t-Wbest)时刻的水质数据。
上述相关说明以及对实施例的描述是为便于该技术领域的普通技术人员能理解和应用本发明。熟悉本领域技术的人员显然可以容易地对这些内容做出各种修改，并把在此说明的一般原理应用到其它实施例中而不必经过创造性的劳动。因此，本发明不限于上述相关说明以及对实施例的描述，本领域的技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。

Claims (18)

1.一种突发水污染事件在线识别方法，其特征在于：利用历史数据来训练水质预测模型，以期获得水质的基线波动，在此基础上，结合层次聚类的方法对滤除基线波动的数据进行分析，来区分出异常，最后通过水质指标融合来判断事件发生。
2.根据权利要求1所述的突发水污染事件在线识别方法，其特征在于：通过对历史数据的离线调试，将优化后的参数和模型传给在线识别过程，以完成对水质数据的事件判断：监测故障、污染警报、基线变化，若是判断为正常，则将数据存入历史数据继续用于离线调试反复进行训练，不断优化和调整模型和参数，以达到提升突发水污染事件在线识别效果的目标。
3.根据权利要求2所述的突发水污染事件在线识别方法，其特征在于：所述离线调试，其步骤包括：
步骤S1，利用站点的历史水质数据，数据量的选取用滑动窗口尺寸W来表示，不同的W代表选取不同时间步长的历史水质数据；
步骤S2，处理水质数据的零点、极值点、无信号、负值情况，如属该类情况则用前一时刻的水质数据进行替换；
步骤S3，利用时间序列增量方法对历史水质数据进行分析，建立水质预测模型，作为水质基线，并与历史数据做差，得预测差值数据；
步骤S4，将模拟的污染事件叠加到差值，得污染数据，再用层次聚类方法对污染数据进行分析，选取聚类簇数n，得到聚类结果，将水质数据分为“正常”、“异常”两类，用真阳率和假阳率进行评估，获得最佳节点参数nbest；
步骤S5，对聚类结果进行污染事件判断，设置一个事件判断的异常个数N，若某个时间点的水质异常指标个数大于等于N时，判断为污染事件；
步骤S6，通过评估不同事件判断的异常个数N下污染事件的检出率、误报率和平均检出时间，获得最佳事件判断异常个数Nbest；通过评估不同滑动窗口尺寸W下污染事件的检出率、误报率和平均检出时间，获得最佳滑动窗口尺寸Wbest。
4.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于：步骤S1中所述历史水质数据包含不同的水质指标数据；和/或，所述历史水质数据至少包含一个季度的采集数据。
5.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于：步骤S1中滑动窗口尺寸W选取50到总数据量的2/3，单位为一个数据采集时间步长，每间隔10个时间步长取一个值。
6.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于：步骤S2中，监测数据出现零点、负值、极大值、无信号或没有水质数值，则表明水质在线监测设备运行出现异常；所述零点表示水质数据显示为零，负值表示水质数值出现负值的，无信号表示某时刻的水质数据缺失，极大值是指远超出监测水体的水质浓度的数值，以100倍滑动窗口尺寸W下的水质数据的平均值为准。
7.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于：步骤S3中，时间序列增量方法是指用前一时刻的实测水质数据作为当前时刻的水质数据的预测值。
8.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于，步骤S4包括模拟污染事件和聚类分析两个过程，步骤如下：
步骤S41，模拟的污染事件由事件类型、事件强度、事件步长三个参数决定，事件类型分为三类“高斯型”、“U型”、“方型”，以步骤S3得到的差值difference data的标准差为1倍的事件强度，事件步长可取7到45个时间步长，污染事件生成公式如下：
xE(t)＝xB(t)+δEindσxEmax (1.1)
其中，xE(t)——污染事件的水质信号，叠加污染事件后的水质数据，
xB(t)——水质背景信号，即原始数据，
δ——-1或1，表示异常偏离背景水质的方向，
Eind——污染事件发生的位置，由不同的污染事件类型和事件步长决定，
σx——水质背景数据的标准方差，
Emax——污染事件的的峰值，即事件强度；
步骤S42：往差值difference data叠加一组模拟污染事件，叠加的位置可以随机选定；
步骤S43：本方法采用Python第三方库sklearn里的cluster.AgglomerativeClustering算法，对污染数据superimposed data进行聚类分析，选取不同的聚类簇数n，会得到不同聚类结果；
步骤S44：将聚类结果中数据量占比最高的聚类簇归为“正常”类，其它聚类簇归为“异常”类，得到水质数据异常识别序列；
步骤S45：以叠加模拟污染事件的水质数据作为污染事件实际发生的位置，其它水质数据为实际“正常”值，将聚类结果的“正常”、“异常”类作为判断情况，建立混淆矩阵，算出TPR、FPR；
步骤S46：选取不同的聚类簇数n，产生不同的聚类结果，会得到不同的TPR、FPR，而最高的TPR、最低的FPR对应的n值即为最佳聚类簇数nbest。
9.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于：步骤S5中污染事件判断的依据是对每个时间点各水质指标异常个数与设置的事件判断异常个数N进行比较，当大于等于N时判断该时刻发生污染事件，否则为正常情况；N的最小值为1，最大值不超过水质指标总数。
10.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于：步骤S6中三个评估指标检出率PD指在一定时间里污染事件判断算法检测出的污染次数占实际发生总次数的百分比；误报率FAR指在一定时间内，染事件判断算法检测出的虚假污染次数占实际发生次数的百分比；平均检出时间MTTD指污染事件判断算法给出报警信息的时间与实际发生水质污染时间的差值的算术平均。
11.根据权利要求3所述的突发水污染事件在线识别方法，其特征在于：步骤S6中在nbest、W不变的情况下，改变N的取值，比较PD、FAR、MTTD，在PD最高、FAR最低、MTTD最小的情况下取得Nbest；在nbest、Nbest不变的情况下，改变W的取值，比较PD、FAR、MTTD，在PD最高、FAR最低、MTTD最小的情况下取得Wbest。
12.根据权利要求2所述的突发水污染事件在线识别方法，其特征在于，所述在线识别包括：步骤S7，以离线调试获得的Wbest作为滑动窗口尺寸，随着在线数据采集周期向前滚动，即接收了Xt后，相应剔除(t-Wbest)时刻的水质数据；
步骤S8，对Xt进行零点、极值点、无信号、负值处理，若为该类异常情况，将该时刻的水质数据判定为“监测故障”；
步骤S9，利用TSI预测模型对t时刻的水质进行预测，得Yt，并与Xt做差，得差值
Figure FDA0003011702880000031
步骤S10，对t时刻之前的Wbest的预测残差数据叠加污染事件数据后，进行HieraCluster，聚类簇数选取nbest，获得各水质指标的“正常”、“异常”类，计算出“正常”、“异常”类的数值范围Rn、Ra；若差值
Figure FDA0003011702880000032
属于Rn、则判断为正常，若差值
Figure FDA0003011702880000033
属于Ra，则判断为异常；
步骤S11，判断t时刻个水质指标为异常的个数，当大于等于Nbest时判断为发生污染事件；并将t-1时刻的水质数据代替Xt，否则视为水质正常；
步骤S12:事件识别结果警报，分为“监测故障”、“污染警报”、“基线变化”、“水质正常”四种情况，“监测故障”由S8判断出；“污染警报”由S11判断；“基线变化”表示“污染警报”发生持续时间超过Wbest的一半时的情况；“水质正常”表示水质数据正常。
13.根据权利要求12所述的突发水污染事件在线识别方法，其特征在于：步骤S7中：t时刻的水质数据为在线监测设备实时监测到各指标的水质数据，Wbest是由离线调试的S6得出的。
14.根据权利要求12所述的突发水污染事件在线识别方法，其特征在于：步骤S8中：监测数据出现零点、负值、极大值、无信号或没有水质数值，所述零点表示水质数据显示为零，负值表示水质数值出现负值的，无信号表示某时刻的水质数据缺失，则表明水质在线监测设备运行出现异常，若出现该类情况，则用t-1时刻的水质数据代替Xt。
15.根据权利要求12所述的突发水污染事件在线识别方法，其特征在于：步骤S10中：叠加的污染事件依据事件类型、事件强度、事件步长三个参数来确定，选择事件强度为3、事件步长为15、事件类型为倒U型的污染事件。
16.根据权利要求12所述的突发水污染事件在线识别方法，其特征在于：步骤S10中nbest是由离线调试的S4得出的。
17.根据权利要求12所述的突发水污染事件在线识别方法，其特征在于：步骤S11中Nbest是由离线调试的S6得出的。
18.根据权利要求12所述的突发水污染事件在线识别方法，其特征在于：步骤S12中，当判断为“基线变化”时，需要重新对本方法进行离线调试，重新训练模型，筛选出最佳滑动窗口尺寸Wbest、最佳聚类簇数nbest、最佳事件判断异常个数Nbest。
CN202110377372.6A 2021-04-08 2021-04-08 一种突发水污染事件在线识别方法 Pending CN113239957A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110377372.6A CN113239957A (zh) 2021-04-08 2021-04-08 一种突发水污染事件在线识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110377372.6A CN113239957A (zh) 2021-04-08 2021-04-08 一种突发水污染事件在线识别方法

Publications (1)

Publication Number Publication Date
CN113239957A true CN113239957A (zh) 2021-08-10

Family

ID=77131264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110377372.6A Pending CN113239957A (zh) 2021-04-08 2021-04-08 一种突发水污染事件在线识别方法

Country Status (1)

Country Link
CN (1) CN113239957A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150295A (zh) * 2022-07-05 2022-10-04 中国银行股份有限公司 一种工况数据的检测方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020642A (zh) * 2012-10-08 2013-04-03 江苏省环境监测中心 水环境监测质控数据分析方法
US20130317659A1 (en) * 2011-09-06 2013-11-28 Stevens Water Monitoring Systems, Inc. Distributed low-power wireless monitoring
CN104217040A (zh) * 2014-10-11 2014-12-17 清华大学 一种基于传统在线监测仪的污染事件快速探测方法
CN104630410A (zh) * 2015-02-10 2015-05-20 东北大学 一种基于数据解析的转炉炼钢质量实时动态预测方法
CN105930670A (zh) * 2016-04-29 2016-09-07 浙江大学 基于模型参数不确定性的河流突发污染事故动态预测方法
CN106779200A (zh) * 2016-12-07 2017-05-31 东北大学 基于在历史数据中进行相似搜索的风电机组状态预测方法
CN111122811A (zh) * 2019-12-14 2020-05-08 北京工业大学 一种oica和rnn融合模型的污水处理过程故障监测方法
CN111191855A (zh) * 2020-01-13 2020-05-22 大连理工大学 一种基于管网多元水质时序数据的水质异常事件识别预警方法
CN112084230A (zh) * 2020-07-30 2020-12-15 同济大学 一种地表水水质预测方法
CN112506990A (zh) * 2020-12-03 2021-03-16 河海大学 一种基于时空信息的水文数据异常检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130317659A1 (en) * 2011-09-06 2013-11-28 Stevens Water Monitoring Systems, Inc. Distributed low-power wireless monitoring
CN103020642A (zh) * 2012-10-08 2013-04-03 江苏省环境监测中心 水环境监测质控数据分析方法
CN104217040A (zh) * 2014-10-11 2014-12-17 清华大学 一种基于传统在线监测仪的污染事件快速探测方法
CN104630410A (zh) * 2015-02-10 2015-05-20 东北大学 一种基于数据解析的转炉炼钢质量实时动态预测方法
CN105930670A (zh) * 2016-04-29 2016-09-07 浙江大学 基于模型参数不确定性的河流突发污染事故动态预测方法
CN106779200A (zh) * 2016-12-07 2017-05-31 东北大学 基于在历史数据中进行相似搜索的风电机组状态预测方法
CN111122811A (zh) * 2019-12-14 2020-05-08 北京工业大学 一种oica和rnn融合模型的污水处理过程故障监测方法
CN111191855A (zh) * 2020-01-13 2020-05-22 大连理工大学 一种基于管网多元水质时序数据的水质异常事件识别预警方法
CN112084230A (zh) * 2020-07-30 2020-12-15 同济大学 一种地表水水质预测方法
CN112506990A (zh) * 2020-12-03 2021-03-16 河海大学 一种基于时空信息的水文数据异常检测方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MIRELA PRAISLER: "Hierarchical Cluster Analysis: A reliable tool allowing more detailed (regional) traceability investigations", 《IEEE》 *
廖振良 等: "基于案例推理的突发性环境污染事件应急预案系统", 《环境污染与防治》 *
徐玉妃 等: "滇池草海水质等级预测模型研究", 《水生态学杂志》 *
许乐: "基于关联站点融合的供水管网水质异常检测方法研究", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115150295A (zh) * 2022-07-05 2022-10-04 中国银行股份有限公司 一种工况数据的检测方法及装置
CN115150295B (zh) * 2022-07-05 2024-04-09 中国银行股份有限公司 一种工况数据的检测方法及装置

Similar Documents

Publication Publication Date Title
CN108444708A (zh) 基于卷积神经网络的滚动轴承智能诊断模型的建立方法
CN108569607B (zh) 基于双向门控循环神经网络的电梯故障预警方法
CN110515781B (zh) 一种复杂系统状态监测及故障诊断方法
CN113305645B (zh) 一种基于混合神经模型的数控机床刀具剩余寿命预测方法
CN106404441A (zh) 一种基于非线性相似度指标的故障分类诊断方法
CN116204842B (zh) 一种电气设备的异常监测方法及系统
CN115409131B (zh) 基于spc过程管控系统的生产线异常检测方法
CN113657221A (zh) 一种基于智能感知技术的电厂设备状态监测方法
CN113806969B (zh) 一种基于时域数据关联建模的压缩机组健康预测方法
CN116991130A (zh) 一种石化生产智能化自动化控制系统和方法
CN113239957A (zh) 一种突发水污染事件在线识别方法
CN116629627A (zh) 输电在线监测装置的智能检测系统
CN104298187A (zh) 金湿法冶金全流程三层结构过程监测方法
CN115470850A (zh) 一种基于管网水质时空数据的水质异常事件识别预警方法
CN112036087A (zh) 一种多策略融合的核动力关键设备故障诊断方法及系统
Xu et al. Anomaly detection with gru based bi-autoencoder for industrial multimode process
CN110320802B (zh) 基于数据可视化的复杂系统信号时序识别方法
CN117168861A (zh) 污水处理设备的异常监测方法及其系统
CN116796261A (zh) 一种基于人工智能的封闭开关设备机械特性预测方法
CN107909822A (zh) 一种基于流量和饱和度分析的scats线圈检测器自动诊断方法
CN115171362B (zh) 一种面向重点区域防控的预警方法及系统
CN201017225Y (zh) 丙烯聚合生产数据检测及故障诊断装置
CN114065651A (zh) 一种用于旋转类设备的故障时间预测方法
CN113685166A (zh) 一种钻井事故预警方法及系统
CN113723649A (zh) 基于半监督模型的化工工艺异常监控方法及模型优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210810