CN108665119A - 一种供水管网异常工况预警方法 - Google Patents
一种供水管网异常工况预警方法 Download PDFInfo
- Publication number
- CN108665119A CN108665119A CN201810882353.7A CN201810882353A CN108665119A CN 108665119 A CN108665119 A CN 108665119A CN 201810882353 A CN201810882353 A CN 201810882353A CN 108665119 A CN108665119 A CN 108665119A
- Authority
- CN
- China
- Prior art keywords
- water quality
- supply network
- water supply
- data
- early warning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 220
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000012549 training Methods 0.000 claims abstract description 44
- 239000013598 vector Substances 0.000 claims abstract description 41
- 238000000605 extraction Methods 0.000 claims abstract description 28
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000005457 optimization Methods 0.000 claims abstract description 11
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000012360 testing method Methods 0.000 claims description 40
- 238000012544 monitoring process Methods 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 13
- 125000001309 chloro group Chemical group Cl* 0.000 claims description 9
- 238000002790 cross-validation Methods 0.000 claims description 6
- 230000000153 supplemental effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 239000004744 fabric Substances 0.000 claims description 2
- 230000033116 oxidation-reduction process Effects 0.000 claims description 2
- 238000011109 contamination Methods 0.000 abstract description 21
- 230000036541 health Effects 0.000 abstract description 4
- 238000012706 support-vector machine Methods 0.000 description 30
- 230000000694 effects Effects 0.000 description 23
- 238000003911 water pollution Methods 0.000 description 14
- 239000002253 acid Substances 0.000 description 8
- 230000002596 correlated effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000008929 regeneration Effects 0.000 description 6
- 238000011069 regeneration method Methods 0.000 description 6
- 239000002351 wastewater Substances 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000009825 accumulation Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000002378 acidificating effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- ZAMOUSCENKQFHK-UHFFFAOYSA-N Chlorine atom Chemical compound [Cl] ZAMOUSCENKQFHK-UHFFFAOYSA-N 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 239000000460 chlorine Substances 0.000 description 1
- 229910052801 chlorine Inorganic materials 0.000 description 1
- 238000013079 data visualisation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000009713 electroplating Methods 0.000 description 1
- 238000013210 evaluation model Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 239000003295 industrial effluent Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910021645 metal ion Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000008399 tap water Substances 0.000 description 1
- 235000020679 tap water Nutrition 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Economics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Theoretical Computer Science (AREA)
- General Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Quality & Reliability (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本公开提供了一种供水管网异常工况预警方法，包括以下步骤：采集水质参数数据；对采集的水质参数数据进行数据预处理；对预处理后的数据进行数据特征提取，构建特征矢量；利用所述特征矢量训练模型，对模型进行优化；利用优化的模型确定供水管网异常工况，完成供水管网异常工况预警。本公开利用多水质指标之间的关联性，放大单个水质指标微小的异常变化特征，在污染事件发生后能够快速发现污染，降低事故危害，保障用户健康安全，从而提高了污染预警的准确性与可靠性。
Description
技术领域
本公开属于市政工程水处理技术领域，具体涉及供水管网突发水污染预警，尤其涉及一种供水管网异常工况预警方法。
背景技术
在人均水资源短缺、水污染形势严峻、城市化进程加速等因素的影响下，我国城市用水需求压力增大。据不完全统计，近几年来我国每年发生环境污染事件近2000起，直接经济损失数亿元。在突发污染事故发生后，能够快速发现污染，并启用应急方案，可以将突发污染事故造成的影响降到最低。
突发水污染事件的非自动检测方法主要依靠人员力量，通过长时间的人工监测和观察得到异常事件，需要的人力和时间等运行成本较高，且无法实现事件的全程实时跟踪。利用在线水顾传感器，实时监测供水管网水质变化，为快速发现突发污染提供了可能。
基于常规水质参数的水质预警技术主要有以下几种类型：一是基于水动力学模型类(CN105303007、CN105224772)；二是生物技术预警技术 (CN102012419)；三是基于监测值与历史值进行比较类(CN103728429)；四是基于多个水质参数类(CN107153874、CN105095997、CN104217040)。然而，现有的应用于突发水污染事件监测的方法均有一定不足，未能有效区分无污染背景、噪声干扰和污染事件时水质数据微小的异常变化特征，使得水质预警技术的准确率不高。
发明内容
(一)要解决的技术问题
鉴于上述问题，本公开目的是提供一种供水管网异常工况预警方法，利用多水质指标之间的关联性，放大单个水质指标微小的异常变化特征，在污染事件发生后能够快速发现污染，降低事故危害，保障用户健康安全，从而提高了污染预警的准确性与可靠性。
(二)技术方案
为了达到上述目的，作为本公开的一个方面，提供了一种供水管网异常工况预警方法，包括以下步骤：
采集水质参数数据；
对采集的水质参数数据进行数据预处理；
对预处理后的数据进行数据特征提取，构建特征矢量；
利用所述特征矢量训练模型，对模型进行优化；以及
利用优化的模型确定供水管网异常工况，完成供水管网异常工况预警。
在一些实施例中，在供水管网的一监测点布设多个单参数水质传感器或一个多参数水质传感器，或者在供水管网的不同监测点布设单参数水质传感器，采集水质参数数据。
在一些实施例中，将采集的水质参数数据实时传输至数据中心，利用累积和控制图进行数据预处理，筛除水质传感器读数异常数据和数据传输异常数据。
在一些实施例中，所述数据特征提取的步骤包括以下子步骤：
计算水质参数数据间的第一相关系数；
将水质参数数据间的第一相关系数变换为第二相关系数；
基于水质参数数据和第二相关系数构建特征矢量。
在一些实施例中，所述第二相关系数与第一相关系数满足以下关系式：第二相关系数＝1-|第一相关系数|；所述第一相关系数为皮尔逊相关系数或典型相关系数。
在一些实施例中，利用所述特征矢量训练模型，并对模型优化的步骤包括以下子步骤：
将由训练集中的水质参数数据构建的特征矢量输入建立的模型，对模型进行训练；以及
根据训练结果对模型进行优化。
在一些实施例中，所述的供水管网异常工况预警方法还包括：将由测试集中的水质参数数据构建的特征矢量输入训练好的模型，对模型进行测试。
在一些实施例中，采用SVM方法对模型进行训练：
选取动态时间窗口长度L、SVM的惩罚系数C和核参数γ这三个模型参数的取值范围；
将由训练集中的水质参数数据构建的特征矢量输入建立的SVM模型，对其进行训练；
使用网格搜索和K-折交叉验证进行L、C、γ取值的优化；以及
将模型参数取值设定为最优L、C、γ取值，得到训练好的SVM模型。
在一些实施例中，在利用优化的模型确定供水管网异常工况，完成供水管网异常工况预警的步骤中，
将所采集的供水管网的实时水质参数数据经预处理、特征提取、特征矢量构建后，输入至训练好的模型中，若模型输出结果为异常，则进行预警。
在一些实施例中，所述水质参数数据包括：余氯、pH、浊度、温度、电导率、氧化还原电位(ORP)及化学需氧量。
(三)有益效果
(1)相对于现有的水污染预警方法，本公开利用多水质指标间的关联性，放大单个水质指标微小的异常变化特征，在污染事件发生后能够快速发现污染，降低事故危害，保障用户健康安全，从而提高了污染预警的准确性与可靠性。
(2)本公开提出的一种供水管网异常工况预警方法，相对于人为的经验判断，利用历史水质数据和突发污染时水质数据间的相关系数构建特征矢量，对供水系统的安全性进行实时的评估，可有效区分无污染背景、噪声干扰和污染事件，大幅降低错报率与漏报率，改善了污染事件探测的方法。
(3)本公开方法采用传统在线监测仪器即可完成供水管网异常工况预警，无需额外添加监测设备，具有运行成本低、操作简单、探测效果好、探测时间短等优点。
附图说明
图1为本公开供水管网异常工况预警方法流程图。
图2为本公开多个水质传感器布设于同一监测点的示意图。
图3为本公开实施例供水管网突发再生水污染时水质监测数据变化趋势图。
图4为本公开数据特征提取流程图。
图5为本公开模型训练与测试流程图。
图6为本公开多个水质传感器布设于多个监测点的示意图。
图7为本公开实施例供水管网突发工业酸性废水污染时水质监测数据变化趋势图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。
本公开供水管网异常工况预警方法结合了智慧水务的感、传、知、用四个模块，利用多水质指标之间的关联性提取数据特征，实现了异常工况准确、可靠预警。所述供水管网异常工况预警方法包括以下步骤：
S1，布设水质传感器，进行水质参数数据监测。具体的，在供水管网的某一监测点布没多个水质传感器或多参数水质传感器，或是在不同监测点布设单参数水质传感器。其中，所述水质参数，也即水质指标，包括但不限于余氯、pH、浊度、温度、电导率、氧化还原电位(ORP)、化学需氧量(COD)等。
S2，数据采集与传输。具体的，将水质传感器采集的水质参数数据实时远传至供水公司的数据中心进行分析处理，优选的，采集传输的时间间隔小于20min。
S3，数据预处理。具体的，对传输至数据中心的数据进行筛查，删除水质传感器读数异常和数据传输异常造成的异常数据，所述异常数据为大量零值或缺失值，采用累积和(CUSUM)控制图对异常数据进行筛查。
S4，数据特征提取。具体的，通过建立多水质指标间的内在相关关系，放大单个水质指标微小的异常变化特征。
更具体而言，所述数据特征提取的步骤包括以下子步骤：
S41，选取动态时间窗口长度L，若各水质指标的读数时间间隔为a，动态时间窗口长度即时间序列的长度为L，t时刻截取各指标[t-L+a，t]时间区间的时间序列；
S42，计算水质指标间的内在相关系数P，水质指标间的内在相关系数可通过皮尔逊相关系数、典型相关系数等方法建立；
S43，将水质指标间的内在相关系数P变换为相关系数D；
S44，构建特征矢量，所述特征矢量由原始水质指标x和相关系数D 构成。
S5，模型训练与测试。模型通过对数据特征提取得到的相关特征矢量进行分类，分类结果包括正常和异常两类。
具体的，所述模型训练与测试的步骤包括以下子步骤：
S51，设定训练集和测试集，可选的，将水质传感器监测到的水质参数(简称水质监测数据)数据按2∶1的比例随机分为训练集和测试集，训练集和测试集内都包含正常和异常值的水质数据。
S52，训练模型，模型的输入是训练集的相关特征矢量(由训练集中的水质参数数据构建的特征矢量)，输出是水质状况正常或异常。
更具体而言，采用SVM方法训练模型，模型训练过程如下：
a.选取动态时间窗口长度L、SVM的惩罚系数C和核参数γ这三个模型参数的取值范围；
b.将训练集进行特征提取、特征矢量构建后输入构建的SVM，对其进行训练；
c.使用网格搜索和K-折交叉验证进行L、C、γ取值的优化；
d.将模型参数取值设定为所述最优L、C、γ取值，得到训练好的SVM 模型。
S53，测试模型，将测试集经特征提取、特征矢量构建后，输入训练好的SVM模型，进行模型效果评价，并输出对测试集的分类结果。
以分类正确率、准报率和误报率作为模型效果评价指标。
分类正确率，即分类结果正确的次数占分类总次数的百分比，分类正确率越高，模型训练效果越好；
准报率，即发生异常工况时，模型的分类结果为异常的次数占异常工况发生总次数的百分比，准报率越高，模型训练效果越好；
误报率，即正常工况基线状态下，模型分类结果错误判断为异常的次数占基线状态的百分比，误报率越低，模型训练效果越好。
S6，异常工况甄别与预警，读取供水管网在线传感器的水质实时数据，将数据进行预处理、特征提取、特征矢量构建后输入模型，将模型甄别出的疑似污染事件进行预警，预警发布的时间间隔小于10min。
在以下实施例中，可利用Python 3.6软件作为模型的开发平台，并采用Numpy库进行数据读取、存储和分析，采用Matplotlib库进行数据可视化表达，采用Skleam库进行支持向量机构建，大幅提高了开发效率。
以下结合实施例1和实施例2详细介绍本公开供水管网异常工况预警方法。
实施例1
非饮用用途的再生水进入供水管网后输配至用户，将导致用户健康安全受到威胁。因此，本实施例将对供水管网中突发再生水污染进行探测与预警，具体实施方式如下。
图1为本公开实施例1流程图。
本实施例供水管网异常工况预警方法主要包括：水质传感器布设、数据采集与传输、数据预处理、数据特征提取、模型建立与测试、异常工况甄别与预警。
1.水质传感器布设
为了能够实时探测与识别供水管网突发污染事件，首先需要在供水管网中布设水质传感器。如图2所示，本实施例中，将余氯、pH、浊度、温度、电导率、氧化还原电位(ORP)、化学需氧量(COD)等七个水质传感器布设于供水管网的同一监测点。
2.数据采集与传输
本实施例中水质传感器采集的水质监测数据时间间隔为1min，采集后的数据传输至数据中心的计算机进行分析处理。
3.数据预处理
使用累积和(CUSUM)控制图对获取的水质监测数据进行预处理，判断是否存在水质传感器读数异常和数据传输异常。若发现异常，则进行反馈，对异常情况进行排查和维修。
4.特征提取
本实施例包含18个水质监测数据集，每个数据集时长为180min，第 1～120分钟水质正常，从121分钟起至第180分钟存在供水管网中突发再生水污染。对水质监测数据进行分析可以发现，当再生水进入供水管网时，会导致多常规水质指标出现协同反馈，余氯和ORP下降，浊度、pH、电导率和COD上升，温度变化不明显。然而，当进入供水管网中的再生水比例较低时，各指标的变化十分微弱，如图3所示，除余氯和ORP变化相对明显外，电导率仅升高约2μS/cm，其它指标变化十分微弱。这种情况下，若直接利用各指标读数，难以有效探测到水质污染并预警。因此，需对水质监测数据进行特征提取，将各指标微弱的变化特征放大，以便提高水质污染预警的有效性。
由图3可以看出，供水管网中突发再生水污染时，单个水质指标的变化幅度较小，但多指标会出现协同变化，这使得多指标间的相关性大大增强。因此，可利用皮尔逊相关系数定量衡量多指标间的相关性，从而对单指标微弱的变化进行特征提取，表达为多指标间的相关性。在正常状况下，多指标间的相关性较小，皮尔逊相关系数的绝对值也较小，接近于0；污染发生时，多指标协同变化，相关性大大增强，皮尔逊相关系数的绝对值也增大，接近于1。因而污染特征被提取表达，水质污染事故得以被有效探测。
如图4所示为本公开数据特征提取流程图。本实施例中的特征提取步骤如下：
(1)皮尔逊相关系数计算
若各水质指标的读数时间间隔为a，动态时间窗口长度即时间序列的长度为L，t时刻截取各指标[t-L+a，t]时间区间的时间序列，通过式(1) 计算两两水质指标间的皮尔逊相关系数，衡量指标间的相关性。
式(1)中，X1、X2分别为两个水质指标；为t时刻X1和X2时间序列间的皮尔逊相关系数；x1，i、x2，i分别为水质指标X1、X2在i时刻的读数；分别为X1、X2在时间区间[t-L+a，t]内读数的均值。
本实施例中a＝1min，L是重要的参数，需在后续过程中进行优化。
(2)相关特征矢量构建
若包含m个水质参数，则t时刻通过式(1)计算可得到n个两个水质指标间的皮尔逊相关系数，n通过式(2)计算。
经过变换得到n个两个水质指标间的相关系数，如式(3)。
DX1X2，t＝1-|PX1X2，t| 式(3)
利用m个水质参数和n个相关系数DX1X2，t构建t时刻相关特征矢量，该特征矢量如式(4)所示。
[x1，t x2，t ...xm，t DX1X2，t DX1X3，t...DXm-1Xm，t] 式(4)
式(4)中，x1，tx2，t...xm，t分别为水质指标X1X2...Xm在t时刻的读数， DX1X2， tDX1X3，t...DXm-1Xm，t分别为t时刻对应的两个水质指标间的相关系数。
本实施例中m＝7，n＝21。
式(4)所示即为本实施例中对原始水质监测数据所提取出的特征，将原始读数转化为相关系数组成的相关特征矢量，从而供水管网中突发再生水污染时的数据变化特征被放大，有利于进行水质污染预警。
5.模型建立与测试
本实施例主要利用支持向量机(SVM)进行疑似污染事件甄别。SVM 是基于训练集在样本空间中找到一个可将不同类别样本分开的最优超平面，使分类间隔最大，离最优超平面最近的几个训练样本被称为“支持向量”。此处利用SVM对特征提取得到的相关特征矢量进行分类，从而甄别管道错接污染事件。
SVM属于监督学习模型，需对模型进行训练和测试，将水质监测数据按2∶1的比例随机分为训练集和测试集，则训练集包含12个数据集，分别编号为训练集1～12，测试集包含6个数据集，分别编号为训练集1～6。利用训练集训练好的模型可用于供水管网中突发再生水污染事件甄别，利用测试集评价模型效果。
如图5所示为本公开模型建立与测试流程图，具体步骤为：
(1)SVM训练
SVM的训练过程如下：
a.选取动态时间窗口长度L、SVM的惩罚系数C和核参数γ这三个模型参数的取值范围；
b.将训练集进行特征提取、特征矢量构建后输入构建的SVM，对其进行训练；
c.使用网格搜索和K-折交叉验证进行L、C、γ取值的优化，网格搜索即逐一尝试L、C、γ取值的所有组合，K-折交叉验证为对于每一L、C、γ取值组合，将训练集随机分割为K个子样本，其中K-1个子样本用于模型训练，剩余一个子样本用于验证模型效果，交叉验证重复K次，每个子样本验证一次，平均K次的验证结果，选取模型效果最好的L、C、γ取值组合为该训练下最优的参数组合，其中模型效果以分类正确率，即正确分类的样本数占样本总量的百分比，作为评价指标；
d.将模型参数取值设定为所述最优L、C、γ取值，得到训练好的SVM 模型。
经上述步骤，本实施例得到最优参数组合为L＝29min、C＝0.01、γ＝ 0.03，此时对训练集的分类正确率最高，达94.7％。并得到训练好的SVM 模型。
(2)SVM测试——疑似污染事件甄别
将测试集经特征提取、特征矢量构建后输入训练好的SVM模型，进行模型效果评价，并输出对测试集的分类结果。以分类正确率、准报率和误报率作为模型效果评价指标，其中分类正确率为分类结果正确的次数占分类总次数的百分比；准报率为发生污染时，模型的分类结果也为污染的次数占污染发生总次数的百分比；误报率为未发生污染时自来水基线状态下，模型分类结果错误判断为污染的次数占基线状态的百分比。
模型效果见表1，本实施例中，对6个测试集的污染事件甄别效果均较好。对其中4个测试集的分类正确率达到100％，平均分类正确率达 98.83％。对测试集1～5的准报率均为100％，仅针对测试集6准报率为92％，漏报发生在第175～180分钟。仅针对测试集2存在误报，误报发生在第70～74分钟，此时实际水质正常，但模型输出结果误分类为污染，针对其它测试集未出现误报，模型平均误报率仅为0.83％。
表1 SVM模型效果
6.异常工况甄别与预警
读取供水管网在线传感器的水质实时数据，将数据进行预处理、特征提取、特征矢量构建后输入模型，将模型甄别出的疑似污染事件进行预警。在疑似污染事件甄别中，由于水质监测数据时间间隔为1min，因此每分钟进行一次甄别。但在实际应用中，每分钟发布一次水质状况过于频繁，且由于环境、仪器噪音等因素影响，可能导致方法偶尔出现误报。为降低误报率，此处每10分钟进行一次水质污染预警发布。若当前时刻及前9 分钟的共10次模型输出结果中，有6次及以上为污染，则发布水质预警。
以上结果表明，本公开建立的基于多常规水质参数的污染预警方法对供水管网中突发再生水污染的预警效果较好，可达到及时、高准报率、低误报率预警，实用性较强。
实施例2
为了能够实时探测与识别供水管网突发污染事件，本实施例中以供水管网突发酸性废水污染事件为例，首先需要在供水管网中布设水质传感器。
1.水质传感器布设
如图6所示，本实施例中，将多个水质传感器布设于多个监测点，监测指标包括pH、浊度、温度、电导率、ORP、余氯和COD。
2.数据采集与传输
本实施例中水质传感器采集的水质监测数据时间间隔为1min，采集后的数据传输至数据中心的计算机进行分析处理。
3.数据预处理
使用累积和(CUSUM)控制图对获取的水质监测数据进行预处理，判断是否存在水质传感器读数异常和数据传输异常。若发现异常，则进行反馈，对异常情况进行排查和维修。
4.特征提取
本实施例包含18个水质监测数据集，每个数据集时长为180min，第 1～60分钟水质正常，从61分钟起至第180分钟存在供水管网中突发酸性废水污染。电镀工业酸性废水中含金属离子Cu2+，含量约为300mg/L，酸性工业废水pH为1-2呈强酸性。对水质监测数据进行分析可以发现，当酸性废水进入自来水管道时，会导致多常规水质指标出现协同反馈，余氯、 pH和ORP下降，浊度、电导率和COD上升，温度变化不明显。由于废水中有机物等杂质含量高于供水管网会引起COD水质参数上升。突发污染后，余氯在10min内迅速由0.35mg/L消耗至0。酸性废水具有一定氧化性，但在酸性废水实验中ORP参数明显下降，这是由于余氯被消耗导致。在本实施例中，利用典型相关系数定量衡量多指标间的相关性，对水质监测数据进行特征提取，将各指标微弱的变化特征放大，以便提高水质污染预警的有效性。
如图4所示为本公开数据特征提取流程图。本实施例中的特征提取步骤如下：
(1)典型相关系数计算
若各水质指标的读数时间间隔为a，动态时间窗口长度即时间序列的长度为L，t时刻截取各指标[t-L+a，t]时间区间的时间序列，本实施例中a ＝1min，L是重要的参数，需在后续过程中进行优化。
通过式(5)计算多水质指标间的典型相关系数，衡量多指标间的相关性。
式(5)中，ρ为典型相关系数，X，Y分别代表两组水质参数，a和 b分别代表两组水质参数进行线性组合时的线性指数向量，∑XX，∑YY，∑XY分别代表X与X，Y与Y，X与Y之间的协方差矩阵。
(2)相关特征矢量构建
本实施例中包含7个水质参数X1X2...X7，则t时刻将7个水质参数分为两组有种方式，即有56个典型相关系数。通过式(6)将典型相关系数变换得到水质相关系数D。
Dt＝1-|ρt| 式(6)
构建t时刻相关特征矢量，如式7所示。
[x1，t x2，t ...x7，t D1，t D2，t...D56，t] 式(7)
式(7)中，x1，tx2，t...x7，t分别为水质指标X1X2...X7在t时刻的读数， D1，tD2， t...D56，t分别为t时刻对应的水质指标间的典型相关系数。
5.模型建立与测试
本实施例主要利用支持向量机(SVM)进行疑似污染事件甄别。SVM 属于监督学习模型，需对模型进行训练和测试，将水质监测数据按2∶1的比例随机分为训练集和测试集，则训练集包含12个数据集，分别编号为训练集1～12，测试集包含6个数据集，分别编号为训练集1～6。利用训练集训练好的模型可用于突发酸性废水污染事件甄别，利用测试集评价模型效果。
按照图5所示步骤训练SVM模型，本实施例得到最优参数组合为L＝ 20min、C＝0.05、γ＝0.05，此时对训练集的分类正确率最高，达95.2％。并得到训练好的SVM模型。
将测试集经特征提取、特征矢量构建后输入训练好的SVM模型，进行模型效果评价，并输出对测试集的分类结果。模型效果见表2，本实施例中，对6个测试集的污染事件甄别效果均较好。对其中4个测试集的分类正确率达到100％，平均分类正确率达98.78％。对测试集2～6的准报率均为100％，仅针对测试集1准报率为92％，漏报发生在第60～70分钟。仅针对测试集2存在误报，误报发生在第50～55分钟，此时实际水质正常，但模型输出结果误分类为酸性废水污染，模型对其它测试集的误报率为0，平均误报率为1％。
表2 SVM模型效果
6.异常工况甄别与预警
读取供水管网在线水质传感器的水质实时数据，将数据进行预处理、特征提取、特征矢量构建后输入模型，将模型甄别出的疑似污染事件进行预警，预警发布的时间间隔为5min。
以上结果表明，本公开建立的基于多常规水质参数的污染预警方法对供水管网突发各类污染的预警效果较好，可达到及时、高准报率、低误报率预警，实用性较强。
此外，上述对各元件和方法的定义并不仅限于实施例中提到的各种具体结构、形状或方式，本领域普通技术人员可对其进行简单地更改或替换。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个公开方面中的一个或多个，在上面对本公开的示例性实施例的描述中，本公开的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开解释成反映如下意图：即所要求保护的本公开要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，公开方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本公开的单独实施例。
还需要说明的是，本文可提供包含特定值的参数的示范，但这些参数无需确切等于相应的值，而是可在可接受的误差容限或设计约束内近似于相应值。实施例中提到的方向用语，例如“上”、“下”、“前”、“后”、“左”、“右”等，仅是参考附图的方向，并非用来限制本发明的保护范围。此外，除非特别描述或必须依序发生的步骤，上述步骤的顺序并无限制于以上所列，且可根据所需设计而变化或重新安排。并且上述实施例可基于设计及可靠度的考虑，彼此混合搭配使用或与其它实施例混合搭配使用，即不同实施例中的技术特征可以自由组合形成更多的实施例。
以上所述的具体实施例，对本公开的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本公开的具体实施例而已，并不用于限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
Claims (10)
1.一种供水管网异常工况预警方法，包括以下步骤：
采集水质参数数据；
对采集的水质参数数据进行数据预处理；
对预处理后的数据进行数据特征提取，构建特征矢量；
利用所述特征矢量训练模型，对模型进行优化；以及
利用优化的模型确定供水管网异常工况，完成供水管网异常工况预警。
2.根据权利要求1所述的供水管网异常工况预警方法，其中，在供水管网的一监测点布设多个单参数水质传感器或一个多参数水质传感器，或者在供水管网的不同监测点布设单参数水质传感器，采集水质参数数据。
3.根据权利要求2所述的供水管网异常工况预警方法，其中，将采集的水质参数数据实时传输至数据中心，利用累积和控制图进行数据预处理，筛除水质传感器读数异常数据和数据传输异常数据。
4.根据权利要求1所述的供水管网异常工况预警方法，其中，所述数据特征提取的步骤包括以下子步骤：
计算水质参数数据间的第一相关系数；
将水质参数数据间的第一相关系数变换为第二相关系数；
基于水质参数数据和第二相关系数构建特征矢量。
5.根据权利要求4所述的供水管网异常工况预警方法，其中，所述第二相关系数与第一相关系数满足以下关系式：第二相关系数＝1-|第一相关系数|；所述第一相关系数为皮尔逊相关系数或典型相关系数。
6.根据权利要求1所述的供水管网异常工况预警方法，其中，利用所述特征矢量训练模型，并对模型优化的步骤包括以下子步骤：
将由训练集中的水质参数数据构建的特征矢量输入建立的模型，对模型进行训练；以及
根据训练结果对模型进行优化。
7.根据权利要求6所述的供水管网异常工况预警方法，还包括：将由测试集中的水质参数数据构建的特征矢量输入训练好的模型，对模型进行测试。
8.根据权利要求6所述的供水管网异常工况预警方法，其中，采用SVM方法对模型进行训练：
选取动态时间窗口长度L、SVM的惩罚系数C和核参数γ这三个模型参数的取值范围；
将由训练集中的水质参数数据构建的特征矢量输入建立的SVM模型，对其进行训练；
使用网格搜索和K-折交叉验证进行L、C、γ取值的优化；以及
将模型参数取值设定为最优L、C、γ取值，得到训练好的SVM模型。
9.根据权利要求1所述的供水管网异常工况预警方法，其中，在利用优化的模型确定供水管网异常工况，完成供水管网异常工况预警的步骤中，
将所采集的供水管网的实时水质参数数据经预处理、特征提取、特征矢量构建后，输入至训练好的模型中，若模型输出结果为异常，则进行预警。
10.根据权利要求1所述的供水管网异常工况预警方法，其中，所述水质参数数据包括：余氯、pH、浊度、温度、电导率、氧化还原电位(ORP)及化学需氧量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810882353.7A CN108665119B (zh) | 2018-08-03 | 2018-08-03 | 一种供水管网异常工况预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810882353.7A CN108665119B (zh) | 2018-08-03 | 2018-08-03 | 一种供水管网异常工况预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108665119A true CN108665119A (zh) | 2018-10-16 |
| CN108665119B CN108665119B (zh) | 2021-05-28 |
Family
ID=63789757
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810882353.7A Active CN108665119B (zh) | 2018-08-03 | 2018-08-03 | 一种供水管网异常工况预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108665119B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110345991A (zh) * | 2019-07-18 | 2019-10-18 | 清华大学 | 一种再生水管网错接识别方法 |
| CN111724048A (zh) * | 2020-06-03 | 2020-09-29 | 浙江中烟工业有限责任公司 | 基于特征工程对成品库调度系统性能数据的特征抽取方法 |
| WO2020244265A1 (zh) * | 2019-06-06 | 2020-12-10 | 浙江清华长三角研究院 | 一种利用支持向量机预测农村生活污水处理设施运行有效性的方法 |
| CN113670536A (zh) * | 2021-07-06 | 2021-11-19 | 浙江浙能台州第二发电有限责任公司 | 火电厂用电用水监测和信息化管理方法 |
| CN114113232A (zh) * | 2020-09-01 | 2022-03-01 | 清华大学 | 一种水环境监测管理系统 |
| CN116451142A (zh) * | 2023-06-09 | 2023-07-18 | 山东云泷水务环境科技有限公司 | 一种基于机器学习算法的水质传感器故障检测方法 |
| CN116955092A (zh) * | 2023-09-20 | 2023-10-27 | 山东小萌信息科技有限公司 | 基于数据分析的多媒体系统监控方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101718774A (zh) * | 2009-11-09 | 2010-06-02 | 东南大学 | 在线采集水质数据有效性的诊断方法 |
| CN104217040A (zh) * | 2014-10-11 | 2014-12-17 | 清华大学 | 一种基于传统在线监测仪的污染事件快速探测方法 |
| CN105956702A (zh) * | 2016-04-29 | 2016-09-21 | 中国农业大学 | 一种基于数据融合的水产养殖水质溶解氧预测方法 |
| CN106918684A (zh) * | 2017-02-17 | 2017-07-04 | 清华大学 | 一种水质污染预警方法 |
| CN108132340A (zh) * | 2017-12-14 | 2018-06-08 | 浙江大学 | 一种河道多传感器融合上下游污染预警系统及方法 |
-
2018
- 2018-08-03 CN CN201810882353.7A patent/CN108665119B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101718774A (zh) * | 2009-11-09 | 2010-06-02 | 东南大学 | 在线采集水质数据有效性的诊断方法 |
| CN104217040A (zh) * | 2014-10-11 | 2014-12-17 | 清华大学 | 一种基于传统在线监测仪的污染事件快速探测方法 |
| CN105956702A (zh) * | 2016-04-29 | 2016-09-21 | 中国农业大学 | 一种基于数据融合的水产养殖水质溶解氧预测方法 |
| CN106918684A (zh) * | 2017-02-17 | 2017-07-04 | 清华大学 | 一种水质污染预警方法 |
| CN108132340A (zh) * | 2017-12-14 | 2018-06-08 | 浙江大学 | 一种河道多传感器融合上下游污染预警系统及方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020244265A1 (zh) * | 2019-06-06 | 2020-12-10 | 浙江清华长三角研究院 | 一种利用支持向量机预测农村生活污水处理设施运行有效性的方法 |
| US12043560B2 (en) | 2019-06-06 | 2024-07-23 | Yangtze Delta Region Inst. Of Tsinghua University | Method for predicting operation effectiveness of decentralized sewage treatment facility by using support vector machine |
| CN110345991A (zh) * | 2019-07-18 | 2019-10-18 | 清华大学 | 一种再生水管网错接识别方法 |
| CN111724048A (zh) * | 2020-06-03 | 2020-09-29 | 浙江中烟工业有限责任公司 | 基于特征工程对成品库调度系统性能数据的特征抽取方法 |
| CN114113232A (zh) * | 2020-09-01 | 2022-03-01 | 清华大学 | 一种水环境监测管理系统 |
| CN113670536A (zh) * | 2021-07-06 | 2021-11-19 | 浙江浙能台州第二发电有限责任公司 | 火电厂用电用水监测和信息化管理方法 |
| CN113670536B (zh) * | 2021-07-06 | 2024-03-05 | 浙江浙能台州第二发电有限责任公司 | 火电厂用电用水监测和信息化管理方法 |
| CN116451142A (zh) * | 2023-06-09 | 2023-07-18 | 山东云泷水务环境科技有限公司 | 一种基于机器学习算法的水质传感器故障检测方法 |
| CN116955092A (zh) * | 2023-09-20 | 2023-10-27 | 山东小萌信息科技有限公司 | 基于数据分析的多媒体系统监控方法及系统 |
| CN116955092B (zh) * | 2023-09-20 | 2024-01-30 | 山东小萌信息科技有限公司 | 基于数据分析的多媒体系统监控方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108665119B (zh) | 2021-05-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108665119A (zh) | 一种供水管网异常工况预警方法 | |
| Arnon et al. | Water characterization and early contamination detection in highly varying stochastic background water, based on Machine Learning methodology for processing real-time UV-Spectrophotometry | |
| CN106650797B (zh) | 一种基于集成elm的配电网窃电嫌疑用户智能识别方法 | |
| CN109470667A (zh) | 一种结合水质参数和三维荧光光谱进行污染物溯源的方法 | |
| Raciti et al. | Anomaly detection in water management systems | |
| CN109064048B (zh) | 基于废水处理流程分析的废水排放源快速排查方法与系统 | |
| CN107677614A (zh) | 一种水中重金属污染风险在线预警系统及方法 | |
| Murray et al. | Real-time water quality monitoring: assessment of multisensor data using Bayesian belief networks | |
| CN110348150A (zh) | 一种基于相关概率模型的故障检测方法 | |
| WO2020244265A1 (zh) | 一种利用支持向量机预测农村生活污水处理设施运行有效性的方法 | |
| Ba-Alawi et al. | Simultaneous sensor fault diagnosis and reconstruction for intelligent monitoring in wastewater treatment plants: An explainable deep multi-task learning model | |
| Liu et al. | Tracing sources of oilfield wastewater based on excitation-emission matrix fluorescence spectroscopy coupled with chemical pattern recognition techniques | |
| Zhao et al. | Water quality event detection in drinking water network | |
| Langergraber et al. | Time-resolved delta spectrometry: a method to define alarm parameters from spectral data | |
| Kayalvizhi et al. | Prediction of ground water quality in western regions of Tamil Nadu using deep auto encoders | |
| CN103399185A (zh) | 一种基于智能电表反窃电的计算机系统 | |
| Liu et al. | A method of detecting contamination events using multiple conventional water quality sensors | |
| CN105320993A (zh) | 基于证据理论的水资源污染检测方法 | |
| CN115792165B (zh) | 一种环境水质智能监测方法及系统 | |
| Mounce et al. | Water quality event detection and customer complaint clustering analysis in distribution systems | |
| Henry et al. | Off-line robust fault diagnosis using the generalized structured singular value | |
| Yu et al. | Detection of water contamination events using fluorescence spectroscopy and alternating trilinear decomposition algorithm | |
| Vilim et al. | Computerized operator support system and human performance in the control room | |
| Wen et al. | Online quantitative analysis of accidental contaminant in water distribution system based on Dempster-Shafer evidence theory | |
| Yang et al. | Testing method for pharmaceutical water quality of inorganic hybrid nano drugs |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |