CN108509602A - 一种污水智能监测系统 - Google Patents

一种污水智能监测系统 Download PDF

Info

Publication number
CN108509602A
CN108509602A CN201810284985.3A CN201810284985A CN108509602A CN 108509602 A CN108509602 A CN 108509602A CN 201810284985 A CN201810284985 A CN 201810284985A CN 108509602 A CN108509602 A CN 108509602A
Authority
CN
China
Prior art keywords
water pollution
pollution concentration
concentration data
data
water
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810284985.3A
Other languages
English (en)
Inventor
邱炎新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ming Automatic Control Technology Co Ltd
Original Assignee
Shenzhen Ming Automatic Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ming Automatic Control Technology Co Ltd filed Critical Shenzhen Ming Automatic Control Technology Co Ltd
Priority to CN201810284985.3A priority Critical patent/CN108509602A/zh
Publication of CN108509602A publication Critical patent/CN108509602A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A20/00—Water conservation; Efficient water supply; Efficient water use
    • Y02A20/152—Water filtration

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Educational Administration (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提供了一种污水智能监测系统，包括多个水质量监测装置和大数据处理中心，每个水质量监测装置皆连接至大数据处理中心，每个水质量监测装置用于采集一个水质监测区域内的多个水质监测节点的水污染浓度数据；大数据处理中心用于对采集的水污染浓度数据进行处理分析，实现对水质的实时监测；大数据处理中心包括数据预处理单元、数据聚类处理单元、异常点检测单元、数据库。

Description

一种污水智能监测系统
技术领域
本发明涉及水质监测技术领域，具体涉及一种污水智能监测系统。
背景技术
现有技术中采用人工取样实验室分析的方法进行水质监测。这种方法只能得到水质监测区域内某段时间内的监测值，无法进行实时监测，监测结果受人为的影响很大。
发明内容
针对上述问题，本发明提供一种污水智能监测系统。
本发明的目的采用以下技术方案来实现：
提供了一种污水智能监测系统，包括多个水质量监测装置和大数据处理中心，每个水质量监测装置皆连接至大数据处理中心，每个水质量监测装置用于采集一个水质监测区域内的多个水质监测节点的水污染浓度数据；大数据处理中心用于对采集的水污染浓度数据进行处理分析，实现对水质的实时监测。
优选地，每个水质量监测装置包括设置于各个水质监测节点的传感器节点，还包括基站，传感器节点用于采集所在水质监测节点的水污染浓度数据，基站负责传感器节点和大数据处理中心之间的双向信息交互。
当水污染浓度数据量达到一定阈值时，传感器节点将采集到的水污染浓度数据整理成水污染浓度数据文件并发送至基站，进而由基站将接收的水污染浓度数据文件发送至数据中心。
优选地，大数据处理中心包括数据预处理单元、数据聚类处理单元、异常点检测单元、数据库，数据预处理单元用于对水质量监测装置采集的水污染浓度数据进行预处理；数据聚类处理单元对数据预处理单元预处理后的水污染浓度数据进行聚类处理；异常点检测单元对聚类处理后的水污染浓度数据进行异常点检测，得到异常点集，并将异常点集进行标记后存储到数据库中。
本发明的有益效果为：基于大数据处理技术和无线传感器网络技术，实现水质的实时监测和相关数据的统一分析处理，提高对水质的监测能力，智能便捷，节省人力，成本相对较低。
附图说明
利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。
图1是本发明一个示例性实施例的污水智能监测系统的结构示意框图；
图2是本发明一个示例性实施例的大数据处理中心的结构示意框图。
附图标记：
水质量监测装置1、大数据处理中心2、数据预处理单元10、数据聚类处理单元20、异常点检测单元30、数据库40。
具体实施方式
结合以下实施例对本发明作进一步描述。
参见图1，本实施例提供的一种污水智能监测系统，包括多个水质量监测装置1和大数据处理中心2，每个水质量监测装置1皆连接至大数据处理中心2，每个水质量监测装置1用于采集一个水质监测区域内的多个水质监测节点的水污染浓度数据；大数据处理中心2用于对采集的水污染浓度数据进行处理分析，实现对水质的实时监测。
在一个实施例中，每个水质量监测装置1包括设置于各个水质监测节点的传感器节点，还包括基站，传感器节点用于采集所在水质监测节点的水污染浓度数据，基站负责传感器节点和大数据处理中心2之间的双向信息交互。
其中，水污染浓度数据包括各种污染元素的浓度数据，污染元素包括钠、硅等。
在一个实施例中，如图2所示，大数据处理中心2包括数据预处理单元10、数据聚类处理单元20、异常点检测单元30、数据库40，数据预处理单元10用于对水质量监测装置1采集的水污染浓度数据进行预处理；数据聚类处理单元20对数据预处理单元10预处理后的水污染浓度数据进行聚类处理；异常点检测单元30对聚类处理后的水污染浓度数据进行异常点检测，得到异常点集，并将异常点集进行标记后存储到数据库40中。
本发明上述实施例基于大数据处理技术和无线传感器网络技术，实现水质的实时监测和相关数据的统一分析处理，提高对水质的监测能力，智能便捷，节省人力，成本相对较低。
在一个实施例中，所述对水质量监测装置1采集的水污染浓度数据进行预处理，具体包括：对存在0值或负值的水污染浓度数据进行预处理，将0值或负值替换为预先设定的替代值。
本实施例能够防止水污染浓度数据中的0值或负值对后续的水污染浓度数据聚类处理造成影响。
在一个实施例中，所述对数据预处理单元预处理后的水污染浓度数据进行聚类处理，具体包括：
(1)提取预处理后的设定时间段的水污染浓度数据作为一个水污染浓度数据集，设为X；
(2)在第一次迭代时，随机选择水污染浓度数据集X中的一个未标记的水污染浓度数据作为第一个簇中心点O1，计算其余水污染浓度数据与该簇中心点O1之间的相似度，若水污染浓度数据xi与簇中心点O1之间的相似度大于设定的相似度阈值，则将水污染浓度数据xi分配到该簇中心点O1，并进行标记；
(3)令迭代次数λ加1，随机选择水污染浓度数据集X中的一个未标记的水污染浓度数据作为另一个簇中心点Oλ+1，计算其余水污染浓度数据与该簇中心点Oλ+1之间的相似度，若水污染浓度数据xj未标记且与Oλ+1之间的相似度大于设定的相似度阈值，则将水污染浓度数据xj分配到该簇中心点Oλ+1，并进行标记；若水污染浓度数据xj已标记且满足下列再分配条件，则将水污染浓度数据xj分配到该簇中心点Oλ+1，并进行标记，否则对水污染浓度数据xj不作任何操作：
F[S(xk,Oλ+1)-ST]×[S(xk,Oλ+1)-S(xk,Ok0)]>0
式中，S(xk,Oλ+1)表示水污染浓度数据xk与簇中心点Oλ+1之间的相似度，ST为所述设定的相似度阈值，F[S(xk,Oλ+1)-ST]为设定的判断取值函数，当S(xk,Oλ+1)-ST>0时，F[S(xk,Oλ+1)-ST]＝1，当S(xk,Oλ+1)-ST≤0时，F[S(xk,Oλ+1)-ST]＝0；S(xk,Ok0)为水污染浓度数据xk与其所分配的簇中心点之间的相似度；
(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的水污染浓度数据皆已被标记，执行(5)；
(5)更新每个簇的簇中心点为该簇中所有水污染浓度数据的均值，分配每个非簇中心点到与它相似度最高的簇中心点所在的簇，当所有的簇中心点都不再更新时，算法停止。
本实施例设定了对数据预处理单元预处理后的水污染浓度数据进行聚类处理的具体机制，该机制能够简单快捷地完成水污染浓度数据的聚类，不需要预先指定簇的个数，其中创新性地设定了再分配条件，通过将满足再分配条件的水污染浓度数据重新分配到新的簇中心点中，能够使得每一个水污染浓度数据都能够分配给与它最相似的簇，相比于传统的k-means聚类方式，能够获得更好的聚类效果。
其中，水污染浓度数据与簇中心点之间的相似度可以采用现有的相似度函数进行计算，例如采用余弦相似性、皮尔逊相关系数等进行度量。
在一个优选实施例中，设定水污染浓度数据xk与簇中心点Ol之间的相似度的计算公式为：
式中，S(xk,Ol)表示水污染浓度数据xk与簇中心点Ol之间的相似度，xkα表示水污染浓度数据xk的第α维属性值，Olα表示簇中心点Ol的第α维属性值，β为水污染浓度数据的维数，min表示取最小值，max表示取最大值，f(xkα,Olα)为设定的比较取值函数，当xkα＝Olα时，f(xkα,Olα)＝0，当当xkα≠Olα时，f(xkα,Olα)＝1。
本实施例创新性地设定了相似度的计算公式，提出了一种新的相似度度量机制，通过该计算公式得到的相似度来衡量两个水污染浓度数据之间的相似性，能够使得相似度的计算不受到水污染浓度数据的维度影响，从而避免任何不必要的数据转换，使得对水污染浓度数据的聚类更加简单快捷。
在一个实施例中，所述对聚类处理后的水污染浓度数据进行异常点检测，具体包括：
(1)若聚类后存在一个簇的水污染浓度数据个数低于设定的个数阈值，则将该簇视为异常簇，将异常簇中的所有水污染浓度数据视为异常水污染浓度数据；
(2)计算其他正常簇的簇中心点与异常簇的簇中心点之间的相似度；
(3)若存在一个异常簇的簇中心点与正常簇的簇中心点之间的相似度大于设定的簇相似度阈值，则将该正常簇作为待检测簇，并利用该异常簇的水污染浓度数据来检测待检测簇中的水污染浓度数据，设该异常簇的水污染浓度数据集合为Xδ＝{x1,x2,..,xδ}，当待检测簇中的水污染浓度数据满足下列异常条件时，将水污染浓度数据视为异常水污染浓度数据：
式中，表示水污染浓度数据的第α维属性值，xθα表示水污染浓度数据xθ的第α维属性值，xθ∈Xδ，β为水污染浓度数据的维数，St为另一设定的相似度阈值，为设定的取小值函数，当时，当 时，为设定的取大值函数，当时，当时，
由于规模性较小的簇中的水污染浓度数据之间相对较为松散，而且相对于其他水污染浓度数据较为孤立，因此现有技术中通常将规模较小的簇中的数据视为异常数据。基于此，本实施例对聚类处理后的水污染浓度数据进行异常点检测，从中创新性地提出了用于检测水污染浓度数据是否为异常的异常条件，该异常条件根据水污染浓度数据与相似度最高的异常簇的水污染浓度数据均值之间的相似度阈值来判断该水污染浓度数据是否为异常水污染浓度数据，具备一定的检测精度，且能够使得检测不受到维度的影响，具备一定的鲁棒性，检测方式简单有效。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (6)

1.一种污水智能监测系统，其特征是，包括大数据处理中心和多个水质量监测装置，每个水质量监测装置皆连接至大数据处理中心，每个水质量监测装置用于采集一个水质监测区域内的多个水质监测节点的水污染浓度数据；大数据处理中心用于对采集的水污染浓度数据进行处理分析，实现对水质的实时监测；大数据处理中心包括数据预处理单元、数据聚类处理单元、异常点检测单元、数据库，数据预处理单元用于对水质量监测装置采集的水污染浓度数据进行预处理；数据聚类处理单元对数据预处理单元预处理后的水污染浓度数据进行聚类处理；异常点检测单元对聚类处理后的水污染浓度数据进行异常点检测，得到异常点集，并将异常点集进行标记后存储到数据库中。
2.根据权利要求1所述的一种污水智能监测系统，其特征是，每个水质量监测装置包括设置于各个水质监测节点的传感器节点，还包括基站，传感器节点用于采集所在水质监测节点的水污染浓度数据，基站负责传感器节点和大数据处理中心之间的双向信息交互。
3.根据权利要求2所述的一种污水智能监测系统，其特征是，当水污染浓度数据量达到一定阈值时，传感器节点将采集到的水污染浓度数据整理成水污染浓度数据文件并发送至基站，进而由基站将接收的水污染浓度数据文件发送至数据中心。
4.根据权利要求1-3任一项所述的一种污水智能监测系统，其特征是，所述对水质量监测装置采集的水污染浓度数据进行预处理，具体包括：对存在0值或负值的水污染浓度数据进行预处理，将0值或负值替换为预先设定的替代值。
5.根据权利要求4所述的一种污水智能监测系统，其特征是，所述对数据预处理单元预处理后的水污染浓度数据进行聚类处理，具体包括：
(1)提取预处理后的设定时间段的水污染浓度数据作为一个水污染浓度数据集，设为X；
(2)在第一次迭代时，随机选择水污染浓度数据集X中的一个未标记的水污染浓度数据作为第一个簇中心点O1，计算其余水污染浓度数据与该簇中心点O1之间的相似度，若水污染浓度数据xi与簇中心点O1之间的相似度大于设定的相似度阈值，则将水污染浓度数据xi分配到该簇中心点O1，并进行标记；
(3)令迭代次数λ加1，随机选择水污染浓度数据集X中的一个未标记的水污染浓度数据作为另一个簇中心点Oλ+1，计算其余水污染浓度数据与该簇中心点Oλ+1之间的相似度，若水污染浓度数据xj未标记且与Oλ+1之间的相似度大于设定的相似度阈值，则将水污染浓度数据xj分配到该簇中心点Oλ+1，并进行标记；若水污染浓度数据xj已标记且满足下列再分配条件，则将水污染浓度数据xj分配到该簇中心点Oλ+1，并进行标记，否则对水污染浓度数据xj不作任何操作：
F[S(xk,Oλ+1)-ST]×[S(xk,Oλ+1)-S(xk,Ok0)]>0
式中，S(xk,Oλ+1)表示水污染浓度数据xk与簇中心点Oλ+1之间的相似度，ST为所述设定的相似度阈值，F[S(xk,Oλ+1)-ST]为设定的判断取值函数，当S(xk,Oλ+1)-ST>0时，F[S(xk,Oλ+1)-ST]＝1，当S(xk,Oλ+1)-ST≤0时，F[S(xk,Oλ+1)-ST]＝0；S(xk,Ok0)为水污染浓度数据xk与其所分配的簇中心点之间的相似度；
(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的水污染浓度数据皆已被标记，执行(5)；
(5)更新每个簇的簇中心点为该簇中所有水污染浓度数据的均值，分配每个非簇中心点到与它相似度最高的簇中心点所在的簇，当所有的簇中心点都不再更新时，算法停止。
6.根据权利要求5所述的一种污水智能监测系统，其特征是，设定水污染浓度数据xk与簇中心点Ol之间的相似度的计算公式为：
式中，S(xk,Ol)表示水污染浓度数据xk与簇中心点Ol之间的相似度，xkα表示水污染浓度数据xk的第α维属性值，Olα表示簇中心点Ol的第α维属性值，β为水污染浓度数据的维数，min表示取最小值，max表示取最大值，f(xkα,Olα)为设定的比较取值函数，当xkα＝Olα时，f(xkα,Olα)＝0，当当xkα≠Olα时，f(xkα,Olα)＝1。
CN201810284985.3A 2018-04-02 2018-04-02 一种污水智能监测系统 Withdrawn CN108509602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810284985.3A CN108509602A (zh) 2018-04-02 2018-04-02 一种污水智能监测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810284985.3A CN108509602A (zh) 2018-04-02 2018-04-02 一种污水智能监测系统

Publications (1)

Publication Number Publication Date
CN108509602A true CN108509602A (zh) 2018-09-07

Family

ID=63379700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810284985.3A Withdrawn CN108509602A (zh) 2018-04-02 2018-04-02 一种污水智能监测系统

Country Status (1)

Country Link
CN (1) CN108509602A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378369A (zh) * 2019-06-06 2019-10-25 特斯联（北京）科技有限公司 应用人工智能分析的广域水务状态可视化系统及方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378369A (zh) * 2019-06-06 2019-10-25 特斯联（北京）科技有限公司 应用人工智能分析的广域水务状态可视化系统及方法

Similar Documents

Publication Publication Date Title
CN108333314B (zh) 一种空气污染智能监测系统
Heip et al. Data processing, evaluation and analysis
Amini et al. On density-based data streams clustering algorithms: A survey
CN104317681B (zh) 针对计算机系统的行为异常自动检测方法及检测系统
CN105307200B (zh) 一种基于轨迹的无线传感器网络多维数据异常值检测方法
CN108519465B (zh) 一种基于大数据的空气污染智能监测系统
CN109829435A (zh) 一种视频图像处理方法、装置及计算机可读介质
CN107426680B (zh) 面向楼宇监测的无线传感器网络数据收集系统
CN108509602A (zh) 一种污水智能监测系统
Dong et al. Forecasting smart meter energy usage using distributed systems and machine learning
CN116929454A (zh) 一种河流水质污染监测方法、介质及系统
Agharazi et al. A swarm intelligence-based approach to anomaly detection of dynamic systems
CN117196349A (zh) 一种住院床位信息智能管理系统
Hemdan et al. Smart water quality analysis using IoT and big data analytics: a review
CN109561498A (zh) 基于改进牛顿法的传感器节点分布式定位方法
Deligiannakis et al. Outlier-aware data aggregation in sensor networks
CN109347969A (zh) 基于大数据的农业种植环境智能监控系统
CN108650309A (zh) 一种基于大数据的农产品储运环境智能监控系统
CN115424196A (zh) 一种基于人工智能的跟踪监测系统
CN109361724A (zh) 生态环境智能监测系统
Kalpana et al. Automated irrigation system with pest detection using IoT with OTSU algorithm
CN110063294B (zh) 一种湿地水鸟生境偏好度划分方法
CN108564133A (zh) 基于大数据技术的电网量测数据智能处理系统
CN108769938A (zh) 一种基于大数据的空气污染实时监测系统
CN108830310A (zh) 基于多关系网络的mnmf聚类多变量时间序列的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20180907