CN110929743B - 基于时间序列关联与聚类分析的水质污染物变化监测系统 - Google Patents
基于时间序列关联与聚类分析的水质污染物变化监测系统 Download PDFInfo
- Publication number
- CN110929743B CN110929743B CN201811096012.3A CN201811096012A CN110929743B CN 110929743 B CN110929743 B CN 110929743B CN 201811096012 A CN201811096012 A CN 201811096012A CN 110929743 B CN110929743 B CN 110929743B
- Authority
- CN
- China
- Prior art keywords
- water quality
- data
- time
- real
- time series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 53
- 239000003344 environmental pollutant Substances 0.000 title claims abstract description 21
- 231100000719 pollutant Toxicity 0.000 title claims abstract description 21
- 238000012544 monitoring process Methods 0.000 title claims abstract description 16
- 238000007621 cluster analysis Methods 0.000 title claims abstract description 15
- 238000012098 association analyses Methods 0.000 title claims abstract description 4
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000000034 method Methods 0.000 claims description 12
- 239000000356 contaminant Substances 0.000 claims description 10
- 238000010219 correlation analysis Methods 0.000 claims description 10
- 230000002159 abnormal effect Effects 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 6
- 229910052760 oxygen Inorganic materials 0.000 claims description 6
- 239000001301 oxygen Substances 0.000 claims description 6
- 238000005259 measurement Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 claims description 3
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 claims description 3
- 229910052698 phosphorus Inorganic materials 0.000 claims description 3
- 239000011574 phosphorus Substances 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 description 4
- 230000033116 oxidation-reduction process Effects 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000012300 Sequence Analysis Methods 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002352 surface water Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
Abstract
本发明涉及一种基于时间序列关联与聚类分析的水质污染物变化监测系统，包括：实时河道水质检测装置，用于采集多维度的实时河道水质数据；数据预处理装置，用于对所述实时河道水质数据进行预处理；历史时间序列获取装置，用于保存经预处理的实时河道水质数据，形成每一测量对象的历史时间序列，并获取每一测量对象的动态合理阈值；污染物变化测量装置，用于根据多个检测站点的所述历史时间序列，聚类获得主要污染变化情况。与现有技术相比，本发明具有自动化程度高、实时性好、效率高等优点。
Description
技术领域
本发明涉及河道水质监测技术领域，尤其是涉及一种基于时间序列关联与聚类分析的水质污染物变化监测系统及方法。
背景技术
随着在我国地表水资源短缺等问题日益突出的今天，“河长制”成为促进水资源可持续利用和推动社会经济发展与水环境承载能力相协调的有力制度。河道水质检测是监视和测定水体中污染物的种类、各类污染物的浓度及变化趋势，评价水质状况的过程。在河道水质检测体系中，在不同流域、不同河段的检测数据则成为了河长制管理体系的重要信息来源和决策支撑，然而当前的河道水质检测原始数据具有项目多、专业度高、难关联等特点，需要对数据进行进一步的挖掘和关联分析，得到更加方便河长制管理和决策的分析结果。
特别的，在河长制的河道水质检测与污染情况分析中，河道的主要污染物的测定、变化跟踪是一个非常重要的参考指标，然而传统的水质检测方法，对于主要污染物的分析非常复杂且耗时较多，难以全自动、实时、实地的进行获取。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于时间序列关联与聚类分析的水质污染物变化监测系统。
本发明的目的可以通过以下技术方案来实现：
一种基于时间序列关联与聚类分析的水质污染物变化监测系统，包括：
实时河道水质检测装置，用于采集多维度的实时河道水质数据；
数据预处理装置，用于对所述实时河道水质数据进行预处理；
历史时间序列获取装置，用于保存经预处理的实时河道水质数据，形成每一测量对象的历史时间序列，并获取每一测量对象的动态合理阈值；
污染物变化测量装置，用于根据多个检测站点的所述历史时间序列，聚类获得主要污染变化情况。
进一步地，所述实时河道水质数据包括化学需氧量、磷、氨氮、氧化还原电位、溶氧量、电导率和/或浊度。
进一步地，所述数据预处理装置包括：
缺失值检查单元，用于对接收的数据进行漏传缺项检测并补全；
异常值处理单元，用于剔除数据中超出所述动态合理阈值范围的错误数据；
数据合并单元，用于将所有数据进行合并处理。
进一步地，所述历史时间序列获取装置包括：
序列统计模块，用于对历史时间序列中单一测量对象的时间序列进行平稳性和周期性统计。
进一步地，所述污染物变化测量装置包括：
污染物类型识别模块，用于根据所述历史时间序列利用KMeans聚类算法获取不同时间的污染类型。
进一步地，利用KMeans聚类算法获取污染类型的具体过程包括以下步骤：
1)获取聚类类别及数量；
2)对数据进聚类，并对离群点进行判定和清除；
3)根据少量样本数据特征均值调整各类别的聚类中心；
4)计算全样本数据与步骤3)获得的各聚类中心的距离，将其划分至最近类别中；
5)重新计算每个类别的聚类中心；
6)判断聚类结果是否收敛，若是，则结束，若否，则返回步骤3)。
进一步地，该系统还包括：
站点间水质对比装置，用于利用Minkowski距离方法计算获得各检测站点的水质参数差距。
进一步地，该系统还包括：
报警装置，用于在主要污染变化情况发生异常时产生报警信息。
进一步地，每个所述检测站点均设有一实时河道水质检测装置、一数据预处理装置和一历史时间序列获取装置。
与现有技术相比，本发明具有以如下有益效果：
1、本发明基于水质数据时间序列分析和聚类分析获得主要污染物变化，可以及时准确地获得河道主要污染物变化情况，自动化程度高，提高水质监测准确性和效率。
2、本发明进行聚类分析时，利用少量水质样本实验结果进行聚类中心调整，优化非监督聚类的站点多维度指标特征提取，提高聚类准确性。
附图说明
图1为本发明的结构示意图；
图2为本发明的原理说明图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
如图1和图2所示，本实施例提供一种基于时间序列关联与聚类分析的水质污染物变化监测系统，包括：
实时河道水质检测装置1，用于采集多维度的实时河道水质数据，包括化学需氧量(COD)、磷(P)、氨氮(NH3N)、氧化还原电位(ORP)、溶氧量(DO)、电导率(EC)和/或浊度(Turbidity)等；
数据预处理装置2，用于对所述实时河道水质数据进行预处理；
历史时间序列获取装置3，用于保存经预处理的实时河道水质数据，形成每一测量对象的历史时间序列，并获取每一测量对象的动态合理阈值；
污染物变化测量装置4，用于根据多个检测站点的所述历史时间序列，聚类获得主要污染变化情况。
每个所述检测站点均设有一实时河道水质检测装置、一数据预处理装置和一历史时间序列获取装置。
数据预处理装置包括：
缺失值检查单元，用于对接收的数据进行漏传缺项检测并补全，检测站点数据上传具有特定的频次规律，因此对比每次上传数据的时间，可以发现上下两次时间间隔大于规定值范围的情况，从而判断漏传，对于缺项数据使用差值法补全；
异常值处理单元，用于剔除数据中超出所述动态合理阈值范围的错误数据；
数据合并单元，用于将所有数据进行合并处理，方便查找。
历史时间序列获取装置包括序列统计模块，用于对历史时间序列中单一测量对象的时间序列进行平稳性和周期性统计。
污染物变化测量装置包括：污染物类型识别模块，用于根据所述历史时间序列利用KMeans聚类算法获取不同时间的污染类型。利用KMeans聚类算法获取污染类型的具体过程包括以下步骤：
1)获取聚类类别及数量；
2)对数据进聚类，并对离群点进行判定和清除；
3)根据少量样本数据特征均值调整各类别的聚类中心，公式如下：
其中，ci为类别i中的样本聚类中心，sij为对应每个样本的坐标向量；
4)计算全样本数据与步骤3)获得的各聚类中心的距离，将其划分至最近类别中：
ci＝arg minj||xi-μi||2
5)重新计算每个类别的聚类中心；
6)判断聚类结果是否收敛，若是，则结束，若否，则返回步骤3)。
在聚类结束后，可以验证各样本数据分类是否正确，若不正确，则调整KMeans聚类参数。
在本某些实施例中，该系统还可包括站点间水质对比装置5，用于利用Minkowski距离方法计算获得各检测站点的水质参数差距。
在本某些实施例中，该系统还可包括：报警装置6，用于在主要污染变化情况发生异常时产生报警信息。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (6)
1.一种基于时间序列关联与聚类分析的水质污染物变化监测系统，其特征在于，包括：
实时河道水质检测装置，用于采集多维度的实时河道水质数据；
数据预处理装置，用于对所述实时河道水质数据进行预处理；
历史时间序列获取装置，用于保存经预处理的实时河道水质数据，形成每一测量对象的历史时间序列，并获取每一测量对象的动态合理阈值；
污染物变化测量装置，用于根据多个检测站点的所述历史时间序列，聚类获得主要污染变化情况；
所述历史时间序列获取装置包括：
序列统计模块，用于对历史时间序列中单一测量对象的时间序列进行平稳性和周期性统计；
所述污染物变化测量装置包括：
污染物类型识别模块，用于根据所述历史时间序列利用KMeans聚类算法获取不同时间的污染类型；
利用KMeans聚类算法获取污染类型的具体过程包括以下步骤：
1)获取聚类类别及数量；
2)对数据进聚类，并对离群点进行判定和清除；
3)根据少量样本数据特征均值调整各类别的聚类中心；
4)计算全样本数据与步骤3)获得的各聚类中心的距离，将其划分至最近类别中；
5)重新计算每个类别的聚类中心；
6)判断聚类结果是否收敛，若是，则结束，若否，则返回步骤3)。
2.根据权利要求1所述的基于时间序列关联与聚类分析的水质污染物变化监测系统，其特征在于，所述实时河道水质数据包括化学需氧量、磷、氨氮、氧化还原电位、溶氧量、电导率和/或浊度。
3.根据权利要求1所述的基于时间序列关联与聚类分析的水质污染物变化监测系统，其特征在于，所述数据预处理装置包括：
缺失值检查单元，用于对接收的数据进行漏传缺项检测并补全；
异常值处理单元，用于剔除数据中超出所述动态合理阈值范围的错误数据；
数据合并单元，用于将所有数据进行合并处理。
4.根据权利要求1所述的基于时间序列关联与聚类分析的水质污染物变化监测系统，其特征在于，还包括：
站点间水质对比装置，用于利用Minkowski距离方法计算获得各检测站点的水质参数差距。
5.根据权利要求1所述的基于时间序列关联与聚类分析的水质污染物变化监测系统，其特征在于，还包括：
报警装置，用于在主要污染变化情况发生异常时产生报警信息。
6.根据权利要求1所述的基于时间序列关联与聚类分析的水质污染物变化监测系统，其特征在于，每个所述检测站点均设有一实时河道水质检测装置、一数据预处理装置和一历史时间序列获取装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811096012.3A CN110929743B (zh) | 2018-09-19 | 2018-09-19 | 基于时间序列关联与聚类分析的水质污染物变化监测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811096012.3A CN110929743B (zh) | 2018-09-19 | 2018-09-19 | 基于时间序列关联与聚类分析的水质污染物变化监测系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110929743A CN110929743A (zh) | 2020-03-27 |
| CN110929743B true CN110929743B (zh) | 2024-02-09 |
Family
ID=69856121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811096012.3A Active CN110929743B (zh) | 2018-09-19 | 2018-09-19 | 基于时间序列关联与聚类分析的水质污染物变化监测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110929743B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111351915A (zh) * | 2020-04-26 | 2020-06-30 | 蛟龙（厦门）科技有限公司 | 一种水环境监测系统及质控分析方法 |
| CN112380992B (zh) * | 2020-11-13 | 2022-12-20 | 上海交通大学 | 一种加工过程监控数据准确性评估与优化方法及装置 |
| CN113077019B (zh) * | 2021-06-07 | 2021-09-17 | 芯视界（北京）科技有限公司 | 污染类型识别方法及装置和存储介质 |
| CN114062442B (zh) * | 2021-08-13 | 2024-04-26 | 浙江工业大学 | 一种自动寻污采样水质监测方法及监测船 |
| CN114529226B (zh) * | 2022-04-23 | 2022-06-24 | 南通腾宇环保设备有限公司 | 基于工业物联网的地下水污染的监测方法与系统 |
| CN115128229B (zh) * | 2022-06-01 | 2024-07-12 | 福建健水工程有限公司 | 基于大数据的水环境治理污染源检测管理系统 |
| CN115545576B (zh) * | 2022-11-30 | 2023-04-18 | 广东广宇科技发展有限公司 | 一种基于多目标的河流内湖水质监测方法 |
| CN116183845B (zh) * | 2022-12-06 | 2023-09-22 | 北京华科仪科技股份有限公司 | 一种饮用水水质检测分析评估方法及系统 |
| CN117829381B (zh) * | 2024-03-05 | 2024-05-14 | 成都农业科技职业学院 | 基于物联网的农业大棚数据优化采集系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102650527A (zh) * | 2012-05-25 | 2012-08-29 | 北京航空航天大学 | 一种基于时间序列分析消噪的光纤陀螺温度补偿方法 |
| CN107528722A (zh) * | 2017-07-06 | 2017-12-29 | 阿里巴巴集团控股有限公司 | 一种时间序列中异常点检测方法及装置 |
| CN108132340A (zh) * | 2017-12-14 | 2018-06-08 | 浙江大学 | 一种河道多传感器融合上下游污染预警系统及方法 |
| CN108519465A (zh) * | 2018-03-29 | 2018-09-11 | 深圳森阳环保材料科技有限公司 | 一种基于大数据的空气污染智能监测系统 |
-
2018
- 2018-09-19 CN CN201811096012.3A patent/CN110929743B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102650527A (zh) * | 2012-05-25 | 2012-08-29 | 北京航空航天大学 | 一种基于时间序列分析消噪的光纤陀螺温度补偿方法 |
| CN107528722A (zh) * | 2017-07-06 | 2017-12-29 | 阿里巴巴集团控股有限公司 | 一种时间序列中异常点检测方法及装置 |
| CN108132340A (zh) * | 2017-12-14 | 2018-06-08 | 浙江大学 | 一种河道多传感器融合上下游污染预警系统及方法 |
| CN108519465A (zh) * | 2018-03-29 | 2018-09-11 | 深圳森阳环保材料科技有限公司 | 一种基于大数据的空气污染智能监测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110929743A (zh) | 2020-03-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929743B (zh) | 基于时间序列关联与聚类分析的水质污染物变化监测系统 | |
| CN111275307B (zh) | 一种水质自动在线站高频连续观测数据质量控制方法 | |
| CN113011481B (zh) | 一种基于决策树算法的电能表功能异常评估方法及系统 | |
| CN108319649B (zh) | 一种提高水情水调数据质量的系统和方法 | |
| CN111680764B (zh) | 一种行业复工复产程度监控方法 | |
| CN111160791A (zh) | 一种基于gbdt算法及因素融合的异常用户识别方法 | |
| CN109947815B (zh) | 一种基于离群点算法的窃电辨识方法 | |
| CN109446243B (zh) | 一种基于大数据分析检测光伏电站发电异常的方法 | |
| CN109874148B (zh) | 天馈异常检测方法、装置、系统及计算机设备 | |
| CN111458471A (zh) | 一种基于图神经网络的水域检测预警方法 | |
| CN112906738A (zh) | 一种水质检测及处理方法 | |
| CN114201374A (zh) | 基于混合机器学习的运维时序数据异常检测方法及系统 | |
| CN116821832A (zh) | 针对高压工商业用户用电负荷的异常数据辨识与修正方法 | |
| CN116796403A (zh) | 一种基于商业建筑综合能耗预测的建筑节能方法 | |
| CN117411436B (zh) | 光伏组件状态检测方法、系统及存储介质 | |
| CN109948738A (zh) | 涂装烘干室的能耗异常检测方法、装置及系统 | |
| CN113810792A (zh) | 一种基于云计算的边缘数据采集分析系统 | |
| CN110738415A (zh) | 基于用电采集系统和离群点算法的窃电用户分析方法 | |
| CN117786584A (zh) | 基于大数据分析的畜牧业水源污染监测预警方法及系统 | |
| CN116881747B (zh) | 基于医疗废水监测的智能处理方法及系统 | |
| CN111812292B (zh) | 水质污染类型溯源方法、装置、设备及可读存储介质 | |
| CN117368434A (zh) | 一种基于大数据的水质监测系统 | |
| CN111695735B (zh) | 一种基于流计算的铁路弓网实时预警方法、系统及装置 | |
| CN111612054B (zh) | 一种基于非负矩阵分解和密度聚类的用户窃电行为识别方法 | |
| CN115859068B (zh) | 一种用于智能水利架构的环境信息感知方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |