CN117807382B - 基于智慧物联的排水管网污染监测数据智能处理方法 - Google Patents
基于智慧物联的排水管网污染监测数据智能处理方法 Download PDFInfo
- Publication number
- CN117807382B CN117807382B CN202410223623.9A CN202410223623A CN117807382B CN 117807382 B CN117807382 B CN 117807382B CN 202410223623 A CN202410223623 A CN 202410223623A CN 117807382 B CN117807382 B CN 117807382B
- Authority
- CN
- China
- Prior art keywords
- data
- turbidity data
- turbidity
- current
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 56
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 52
- 230000002159 abnormal effect Effects 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims description 50
- 238000000034 method Methods 0.000 claims description 33
- 238000013507 mapping Methods 0.000 claims description 18
- 230000005856 abnormality Effects 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000003064 k means clustering Methods 0.000 claims description 5
- 102100029469 WD repeat and HMG-box DNA-binding protein 1 Human genes 0.000 claims description 3
- 101710097421 WD repeat and HMG-box DNA-binding protein 1 Proteins 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims description 2
- 238000009825 accumulation Methods 0.000 abstract description 8
- 239000003344 environmental pollutant Substances 0.000 abstract description 7
- 231100000719 pollutant Toxicity 0.000 abstract description 7
- 238000012545 processing Methods 0.000 abstract description 7
- 238000012423 maintenance Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000002689 soil Substances 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 150000002500 ions Chemical class 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910021645 metal ion Inorganic materials 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000010865 sewage Substances 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/10—Pre-processing; Data cleansing
- G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2123/00—Data types
- G06F2123/02—Data types in the time domain, e.g. time-series data
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Chemical & Material Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Food Science & Technology (AREA)
- Pathology (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Medicinal Chemistry (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
Abstract
本发明涉及排水管网污染监测数据处理技术领域,具体涉及一种基于智慧物联的排水管网污染监测数据智能处理方法。本发明基于CBLOF算法对排水管网污染状态进行实时监测,首先获取排水管网污染的浊度数据并进行聚类;进一步根据浊度数据其他相关数据的差异,修正当前浊度数据;进一步获取每个大聚类簇的自适应参考系数,获取当前浊度数据的异常因子;最后根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测。本发明考虑到传感器元件出现损耗和污染物堆积对传感器的影响,通过监测数据中其他相关数据对浊度数据进行修正,赋予不同大聚类簇自适应参考权重,获取当前浊度数据的准确异常因子,提高对水管网污染状态监测的准确度。
Description
技术领域
本发明涉及排水管网污染监测数据处理技术领域,具体涉及一种基于智慧物联的排水管网污染监测数据智能处理方法。
背景技术
传统的排水管网污染监测普遍是由人工对水质进行采样,从而获取当前水流的污染数据,该方法需要耗费大量的人力、物力,并且对于污染数据的监测并不及时。通过智慧物联的方法,利用传感器对排水管网中水流的污染数据进行实时监测,大大提高对数据监测的效率,并且可以更加及时的得知水流污染程度的变化,从而做到及时的防范,因此数据的智能处理显得尤为重要。
在利用基于聚类的局部异常因子检测算法(Cluster-based Local OutlierFactor,CBLOF)对排水管中的污染数据进行处理的过程中,由于水质的浊度受泥土、粉砂、微细有机物、无机物、浮游生物等多种因素的影响,测量数据的准确性不稳定,并且传感器所在的工作环境中所存在的污染物可能会堆积在传感器附近,从而导致传感器所采集的浊度数据偏离实际的污染数据,在最终计算浊度数据异常分数值时,导致数据点的异常分数值出现更大的误差,影响对排水管网污染状态进行准确监测。
发明内容
为了解决浊度数据测量值容易出现偏差,影响对排水管网污染状态进行准确监测的技术问题,本发明的目的在于提供一种基于智慧物联的排水管网污染监测数据智能处理方法,所采用的技术方案具体如下:
以预设采集频率获取排水管网中传感器在工作过程中采集到的浊度数据以及相关污染数据;每次采集数据后利用预设聚类算法在时序上对所述浊度数据进行聚类,获得大聚类簇;
根据当前浊度数据与同采样时刻下的相关污染数据之间的差异,结合当前浊度数据采集时传感器的工作时间,获取当前浊度数据的修正参数;利用所述修正参数,修正对应的所述浊度数据,获得修正浊度数据;
根据所述大聚类簇中所有所述浊度数据的修正程度,结合当前浊度数据与每个所述大聚类簇的聚类中心的时间间隔,获取每个所述大聚类簇的参考系数;根据修正浊度数据与每个大聚类簇的聚类中心的距离,结合每个所述大聚类簇的参考系数,获取当前浊度数据的异常因子;
根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测。
进一步地,所述修正参数的获取方法包括:
所述相关污染数据至少包括水温数据、电导率数据、水流流速数据;
根据当前浊度数据与整体浊度数据的差异,获取第一参数;
根据当前浊度数据与整体电导率数据的差异,获取第二参数;
根据整体电导率数据和整体水温数据,修正当前时刻的水流动能;根据当前浊度数据与当前浊度数据采集时传感器的工作时间,结合修正后的水流动能,获取第三参数;
将所述第一参数、第二参数和第三参数的乘积映射到-1到1之间,获得修正参数。
进一步地,所述第一参数的获取方法包括:
将当前浊度数据与所有浊度数据的均值的差值绝对值作为第一参数。
进一步地,所述第二参数的获取方法包括:
将所有电导率数据的均值与当前浊度数据的比值减去预设比值参数,再将差值映射到-1到1之间,获得第二参数,其中所述预设比值参数大于零。
进一步地,所述第三参数的获取方法包括:
利用第三参数计算公式获取第三参数;所述第三参数计算公式包括:
;其中,/>表示第/>个浊度数据的第三参数;/>表示第/>个浊度数据采集时传感器的工作时间;/>表示第/>个浊度数据采集时,所有水温数据的均值;/>表示第/>个浊度数据采集时,所有电导率数据的均值;/>表示水的密度;/>表示重力加速度;/>表示第/>个浊度数据采集时的水流流速。
进一步地,所述修正浊度数据的获取方法包括:
将所述修正参数加上预设调控参数,再与浊度数据相乘,将乘积作为修正浊度数据。
进一步地,所述参考系数的获取方法包括:
将所述大聚类簇内所有所述浊度数据的修正参数的绝对值进行求和,获得第一和值;将所述大聚类簇内所有修正浊度数据和对应的浊度数据的差值绝对值进行求和,获得第二和值;
将当前浊度数据与每个所述大聚类簇的聚类中心的时间间隔作为每个所述大聚类簇的间隔参数;
将每个所述大聚类簇的所述第一和值、所述第二和值和所述间隔参数的乘积负相关映射,获得每个所述大聚类簇的参考系数。
进一步地,所述异常因子的获取方法包括:
获取当前修正浊度数据与每个大聚类簇的聚类中心的欧氏距离,将当前修正浊度数据与每个大聚类簇的聚类中心的欧氏距离与对应的所述参考系数的乘积进行求和,求和结果归一化后作为当前浊度数据的异常因子。
进一步地,所述根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测的方法包括:
当前浊度数据的异常因子大于预设异常阈值时,认为当前排水管网污染状态存在异常。
进一步地,所述大聚类簇的获取方法包括:
利用K-means聚类算法对浊度数据进行聚类,根据聚类簇内数据点的数量从大到小进行排序,将排序中的聚类簇对应的数据点数量进行依次相加,直到相加结果首次达到或超过所有浊度数据总量的预设比例时,将进行相加的聚类簇标记为大聚类簇。
本发明具有如下有益效果:
本发明基于CBLOF算法对排水管网污染状态进行实时监测,首先获取排水管网污染的浊度数据并进行聚类,以便后续分析提供数据基础;进一步根据浊度数据与监测数据中其他相关数据的差异,以及传感器工作的持续时间,从侧面印证浊度数据的偏离程度,修正当前浊度数据,减少传感器因工作损耗造成的数据波动,或者污染物堆积导致的传感器监测数据偏离,为评判当前排水管网污染状态提供更加准确的数据依据;进一步根据每个大聚类簇中浊度数据的修正程度,结合每个大聚类簇与当前浊度数据的时间间隔,获取每个大聚类簇对应当前浊度数据的参考系数,充分考虑到排水管内水体在不断流动,不同时间内水体的污染特征在不断变化的特征和聚类簇内修正程度越大,数据可靠性越低的特征,为后续异常判断做准备;进一步距离特征,分析当前浊度数据与大簇的联系程度或者紧密程度,获取当前浊度数据的异常因子;最后根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测。本发明考虑到传感器元件出现损耗和污染物堆积对传感器的影响,通过监测数据中其他相关数据对浊度数据进行修正,赋予不同大聚类簇自适应参考权重,获取当前浊度数据的准确异常因子,提高对水管网污染状态监测的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于智慧物联的排水管网污染监测数据智能处理方法的流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于智慧物联的排水管网污染监测数据智能处理方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于智慧物联的排水管网污染监测数据智能处理方法的具体方案。
本发明为对排水管网污染进行实时监测,在每次采集数据后对当前时刻的浊度数据进行处理,输出当前时刻的异常情况。首先对当前浊度数据进行修正,然后对监测数据中浊度数据获得的大聚类簇并获得大聚类簇的参考权重,根据当前浊度数据到每个大聚类簇的距离和对应大聚类簇的参考权重,判别当前浊度数据的异常情况,对排水管网污染状态进行实时监测。
请参阅图1,其示出了本发明一个实施例提供的一种基于智慧物联的排水管网污染监测数据智能处理方法的流程图,具体包括:
步骤S1:以预设采集频率获取排水管网中传感器在工作过程中采集到的浊度数据以及相关污染数据;每次采集数据后利用预设聚类算法在时序上对浊度数据进行聚类,获得大聚类簇。
在本发明实施例中,考虑到CBLOF算法是根据已有的数据集对新增的数据进行异常检测,并且将数据集划分为簇,通过分析新增数据与大簇的联系程度或者紧密程度,判别新增数据的异常情况,而且对排水管网污染状态进行实时监测,也需要实时的监测数据,所以首先采集监测数据,每次采集后进行聚类,以便后续进行异常分析。
优选地,在本发明一个实施例中,考虑到K-means聚类算法简单且易于实现,计算效率高,适用性较强,所以利用K-means聚类算法对监测数据内浊度数据进行聚类,根据聚类簇内数据点的数量从大到小进行排序,将排序中的聚类簇对应的数据点数量进行依次相加,直到相加结果首次达到或超过所有浊度数据总量的预设比例时,将进行相加的聚类簇标记为大聚类簇。
需要说明的是,在本发明一个实施例中,聚类簇数量为10,预设比例为90%,并且聚类簇内的数据需要在时序上连续,例如,获取聚类簇并进行降序排序后,排序中前7个聚类簇的数据点数量之和占据总数据量的82%,加上第8个聚类簇后,占据比例达到91%,首次超过90%,那么这8个聚类簇就为大聚类簇,CBLOF算法和K-means聚类算法已是本领域技术人员所熟知的技术手段,在此不再进行详细描述,在本发明其他实施例中,实施者可以选择其他聚类簇数量,调整预设比例,也可以选择其他聚类算法进行分析。
需要说明的是,在本发明实施例中,考虑到由于传感器会随着时间推移,水中的污染物质会污染和附着传感器,而且传感器的一些元件也会受到氧化和腐蚀,出现老化和磨损,所以传感器会定期维护或者当数据的准确程度较低时进行维护,监测数据会因为传感器维护而出现隔断;从传感器维护后监测数据更加准确以及维护前数据准确度相对较低角度,以及监测数据的数量随时间推移数据集增大,聚类数据量和分析数据量更多,导致每次判定新增数据的异常所需要的计算量不断增大的角度,从这两个角度考虑,将每次传感器维护后作为一段数据的起点,对浊度数据进行分析时,以最后一次传感器维护后采集的监测数据为基础,其中,传感器的工作过程为一次维护结束到下一次维护开始。
需要说明的是,在本发明一个实施例中,采集频率为10秒1次,在本发明其他实施例中,实施者可以根据计算资源和实际监测需求,改为其他采集频率对排水管网污染实时监测。
需要说明的是,每次传感器维护后,监测数据从传感器重新开始工作时,初始阶段监测数据数量较少,例如采集了5次数据,此时聚类簇数量为10明显不合适,所以初始阶段CBLOF算法对浊度数据不能够实时监测,可以设计数据累积阶段,例如传感器维护后的10分钟为数据累积阶段,数据累积阶段的浊度数据不利用CBLOF算法进行检测,可以选用其他方法进行检测,例如改为STL算法计算浊度数据的残差,通过设置异常阈值,监测数据累积阶段的浊度数据。
需要说明的是,利用STL算法进行时序数据的异常检测,已是本领域技术人员所熟知的技术手段,在此不再进行赘述。
步骤S2:根据当前浊度数据与同采样时刻下的相关污染数据之间的差异,结合当前浊度数据采集时传感器的工作时间,获取当前浊度数据的修正参数;利用修正参数,修正对应的浊度数据,获得修正浊度数据。
由于水质的浊度受泥土、粉砂、微细有机物、无机物、浮游生物等多种因素的影响,测量数据的准确性不稳定,并且传感器会随着时间推移,采集的浊度数据可靠性也在下降,而监测数据中一些和浊度有关的参数,能够从侧面印证浊度数据的准确性,所以根据当前浊度数据与监测数据的差异,结合当前浊度数据与监测数据的起始时刻的间隔,对浊度数据进行修正。
优选地,在本发明一个实施例中,考虑到当前浊度数据与监测数据中整体浊度数据的偏离程度越大,说明当前浊度数据受噪声影响的可能性越大,准确性可能越低,修正幅度需要越大;水温的变化也会影响光的传播特性,比如水温增加会导致水中的颗粒物的运动更加活跃,而且有利于微生物、浮游生物的滋生,水质的浊度就更大;当水流中融入的盐类、金属离子、酸性或者碱性等化学物质较多时,导致水流折射率增大,从而浊度数据增大,同时水流的电导性因为导电离子的增多而增大,所以水流的电导性也能侧面反应出浊度数据的偏离情况;基于此,相关污染数据至少包括水温数据、电导率数据、水流流速数据;
根据当前浊度数据与整体浊度数据的差异,将当前浊度数据与所有浊度数据的均值的差值绝对值作为第一参数。
根据当前浊度数据整体电导率数据的差异,将所有电导率数据的均值与当前浊度数据的比值减去预设比值参数,再将差值映射到-1到1之间,获得第二参数。
根据整体电导率数据和整体水温数据,修正当前时刻的水流动能;根据当前浊度数据与当前浊度数据采集时传感器的工作时间,结合修正后的水流动能,构建第三参数计算公式,利用第三参数计算公式获取第三参数;
将第一参数、第二参数和第三参数的乘积映射到-1到1之间,获得修正参数,用公式表示为:
其中,为当前浊度数据的序号;/>表示第/>个浊度数据的修正参数;/>表示预设标准化函数,用于将括号内数据值域映射到[-1,1];/>表示第/>个浊度数据的第一参数,,/>表示第/>个浊度数据采集时,所有浊度数据的均值,/>表示第/>个浊度数据的数据值;/>表示第/>个浊度数据的第二参数,/>,表示第/>个浊度数据采集时,所有电导率数据的均值,/>表示预设比值参数,/>;/>表示第/>个浊度数据的第三参数,第三参数计算公式包括:/>,其中,/>表示第/>个浊度数据的第三参数;/>表示第/>个浊度数据采集时传感器的工作时间;/>表示第/>个浊度数据采集时,所有水温数据的均值,/>表示第/>个浊度数据的采集时刻的水流动能;/>表示水的密度;/>表示第/>个浊度数据采集时的水流流速。
修正参数的计算公式中,越大,说明当前浊度数据与整体浊度数据的偏离程度越大,说明当前浊度数据受噪声影响的可能性越大,准确性可能越低,修正幅度需要越大,第一参数就越大,修正参数与零的偏离程度越大;当/>大于零时,说明从电导率数据反映出当前浊度数据偏小,需要增大当前浊度数据,并且偏离程度越大,标准化后第二参数就越大,当/>等于零时,说明从电导率数据反映出当前浊度数据准确,不需要进行修正,标准化后第二参数就为零,同时修正参数就为零;第三参数中,/>越大,说明传感器进行维护后工作的时间越长,数据出现异常波动的可能性越大,准确度越低,越需要进行修正;水流流速越大,水流压强减少,沉淀的污染物容易重新漂浮在水中,并且水温越高,浮游生物更加活跃,数量更多,电导率越高,越容易腐蚀或损害传感器元件,均会影响到传感器获取准确的浊度数据,所以第三参数越大,修正参数与零的偏离程度越大,当前浊度数据修正幅度越大。
需要说明的是,由于各项监测指标的数据单位不一致,所以在进行计算时,仅考虑数值进行计算,排水管一般用于排放污水,所以排水管的浊度数据不可能为零,在本发明一个实施例中,预设标准化函数为Sigmoid函数的变形,;在本发明其他实施例中,实施者可以设定其他预设比值参数,分析电导率数据与浊度数据的相对大小特征,选用双曲正切函数等其他函数进行标准化,使得修正参数的值域分布在[-1,1],也可选用其他基础数学运算或者函数映射实现相关映射,其均为本领域技术人员熟知的技术手段,在此不做赘述。
获得修正参数后就可以对当前浊度数据进行修正,为后续分析提供更准确的数据基础。
优选地,在本发明一个实施例中,将修正参数加上预设调控参数,再与浊度数据相乘,将乘积作为修正浊度数据,用公式表示为:
其中,为当前浊度数据的序号;/>表示第/>个浊度数据的修正浊度数据;/>表示第/>个浊度数据的修正参数;/>表示第/>个浊度数据的数据值,/>表示预设调控参数,在本发明一个实施例中,/>。
需要说明的是,在本发明一个实施例中,,/>的值域为[-1,1],那么浊度数据的修正范围为浊度数据的0到200%,在本发明其他实施例中,实施者可以设置其他调控参数,也可以将调控参数与修正参数相乘,控制浊度数据的修正范围,也可选用其他基础数学运算或者函数映射实现相关映射,其均为本领域技术人员熟知的技术手段,在此不做赘述。
步骤S3:根据大聚类簇中所有浊度数据的修正程度,结合当前浊度数据与每个大聚类簇的聚类中心的时间间隔,获取每个大聚类簇的参考系数;根据修正浊度数据与每个大聚类簇的聚类中心的距离,结合每个大聚类簇的参考系数,获取当前浊度数据的异常因子。
通过步骤S2对浊度数据进行修正后,基于CBLOF算法,就可以根据当前修正浊度数据到各个大聚类簇的距离进行异常程度判断。
在本发明实施例中,考虑到不同大聚类簇内浊度数据的修正程度不同,修正程度更大的大聚类簇内数据可靠性越低,参考性较低,并且排水管内水体在不断流动,不同时间内水体的污染特征在不断变化,时间间隔越远,参考性越低,所以不同大聚类簇对于当前修正浊度数据的参考性不一致,为了对当前修正浊度数据进行准确评判,需要首先根据大聚类簇中所有浊度数据的修正程度,结合当前浊度数据与每个大聚类簇的聚类中心的时间间隔获取每个大聚类簇的参考系数。
优选地,在本发明一个实施例中,考虑到修正参数的绝对值越大,浊度数据的修正幅度越大,同时修正浊度数据和对应的浊度数据的差值绝对值越大,也说明浊度数据的修正幅度越大,所以将大聚类簇内所有浊度数据的修正参数的绝对值进行求和作为第一和值,所有修正浊度数据和对应的浊度数据的差值绝对值进行求和作为第二和值,第一和值和第二和值的求和结果越大,说明大聚类簇的浊度数据整体修正幅度越大,修正程度越大;考虑到不同时间内水体的污染特征在不断变化,当前浊度数据采集时刻与大聚类簇的聚类中心的时间间隔越大参考性越低;又因为修正程度越大,参考性越低,所以将当前浊度数据与每个大聚类簇的聚类中心的时间间隔作为每个大聚类簇的间隔参数;
将每个大聚类簇的第一和值、第二和值和间隔参数的乘积负相关映射,获得每个大聚类簇的参考系数,用公式表示为:
其中,为当前浊度数据的序号;/>表示第/>个大聚类簇对应第/>个浊度数据的参考系数;/>第/>个浊度数据与第/>个大聚类簇的聚类中心的时间间隔;表示第二和值,/>表示第/>个大聚类簇内,第/>个浊度数据的修正浊度数据的数据值,/>表示第/>个大聚类簇内,第/>个浊度数据的数据值;/>表示第一和值,/>表示第/>个大聚类簇内,第/>个浊度数据的修正系数。
需要说明的是,在本发明其他实施例中,也可选用其他基础数学运算或者函数映射实现相关映射,其均为本领域技术人员熟知的技术手段,在此不做赘述。
需要说明的是,如果出现第一和值以及第二和值为零时,此时说明对应的大聚类簇内数据参考性较高,为确保分母不为零,令第一和值和第二和值的乘积为0.1或其他较小正数。
获得各个大聚类簇的参考系数后,就可以利用当前修正浊度数据与每个大聚类簇的聚类中心的距离,结合每个大聚类簇的参考系数,获取当前浊度数据的异常因子。
优选地,在本发明一个实施例中,考虑到欧氏距离是一种简单且常用的距离衡量方式,所以利用欧氏距离度量当前修正浊度数据与大聚类簇的距离,基于此,获取当前修正浊度数据与每个大聚类簇的聚类中心的欧氏距离,将当前修正浊度数据与每个大聚类簇的聚类中心的欧氏距离与对应的参考系数的乘积进行求和,求和结果归一化后作为当前浊度数据的异常因子。用公式表示为:
其中,为当前浊度数据的序号;/>表示第/>个浊度数据的异常因子;/>表示标准归一化函数;/>表示大聚类簇的数量;/>表示第/>个大聚类簇对应第/>个浊度数据的参考系数;/>表示第/>个大聚类簇对应第/>个浊度数据的修正浊度数据的欧氏距离。
异常因子的计算公式中,越大,说明第/>个大聚类簇对应第/>个浊度数据的参考性越强,赋予其距离特征的权重就越大;/>越大,说明当前浊度数据修正后,距离大聚类簇越远,孤立性越明显,异常可能性越大,异常分数越高。
需要说明的是,在本发明其他实施例中,也可选用其他基础数学运算或者函数映射实现相关映射,其均为本领域技术人员熟知的技术手段,在此不做赘述。
步骤S4:根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测。
通过步骤S3获得当前浊度数据的异常因子后,就可以对当前排水管网污染状态进行评判,做到对排水管网污染状态进行实时监测。
优选地,在本发明一个实施例中,考虑到异常因子越大,当前排水管网污染状态异常程度越大,所以设置预设异常阈值,当前浊度数据的异常因子大于预设异常阈值时,认为当前排水管网污染状态存在异常。
需要说明的是,在本发明一个实施例中,预设异常阈值为0.5,在本发明其他实施例中,实施者可以根据实际情况,自行设定其他异常阈值。
综上所述,本发明针对浊度数据测量值容易出现偏差,影响对排水管网污染状态进行准确监测的技术问题,提出了一种基于智慧物联的排水管网污染监测数据智能处理方法。本发明基于CBLOF算法对排水管网污染状态进行实时监测,首先获取排水管网污染的浊度数据并进行聚类;进一步根据浊度数据与监测数据中其相关他数据的差异,修正当前浊度数据;进一步根据每个大聚类簇中浊度数据的修正程度,结合每个大聚类簇与当前浊度数据的时间间隔以及距离特征,获取当前浊度数据的异常因子;最后根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测。本发明考虑到传感器元件出现损耗和污染物堆积对传感器的影响,通过监测数据中其他相关数据对浊度数据进行修正,赋予不同大聚类簇自适应参考权重,获取当前浊度数据的准确异常因子,提高对水管网污染状态监测的准确度。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
Claims (4)
1.一种基于智慧物联的排水管网污染监测数据智能处理方法,其特征在于,所述方法包括:
以预设采集频率获取排水管网中传感器在工作过程中采集到的浊度数据以及相关污染数据;每次采集数据后利用预设聚类算法在时序上对所述浊度数据进行聚类,获得大聚类簇;
根据当前浊度数据与同采样时刻下的相关污染数据之间的差异,结合当前浊度数据采集时传感器的工作时间,获取当前浊度数据的修正参数;利用所述修正参数,修正对应的所述浊度数据,获得修正浊度数据;
根据所述大聚类簇中所有所述浊度数据的修正程度,结合当前浊度数据与每个所述大聚类簇的聚类中心的时间间隔,获取每个所述大聚类簇的参考系数;根据修正浊度数据与每个大聚类簇的聚类中心的距离,结合每个所述大聚类簇的参考系数,获取当前浊度数据的异常因子;
根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测;
所述修正参数的获取方法包括:
所述相关污染数据至少包括水温数据、电导率数据、水流流速数据;
根据当前浊度数据与整体浊度数据的差异,获取第一参数;
根据当前浊度数据与整体电导率数据的差异,获取第二参数;
根据整体电导率数据和整体水温数据,修正当前时刻的水流动能;根据当前浊度数据与当前浊度数据采集时传感器的工作时间,结合修正后的水流动能,获取第三参数;
将所述第一参数、第二参数和第三参数的乘积映射到-1到1之间,获得修正参数;
所述第一参数的获取方法包括:
将当前浊度数据与所有浊度数据的均值的差值绝对值作为第一参数;
所述第二参数的获取方法包括:
将所有电导率数据的均值与当前浊度数据的比值减去预设比值参数,再将差值映射到-1到1之间,获得第二参数,其中所述预设比值参数大于零;
所述第三参数的获取方法包括:
利用第三参数计算公式获取第三参数;所述第三参数计算公式包括:
;其中,/>表示第/>个浊度数据的第三参数;/>表示第/>个浊度数据采集时传感器的工作时间;/>表示第/>个浊度数据采集时,所有水温数据的均值;/>表示第/>个浊度数据采集时,所有电导率数据的均值;/>表示水的密度;/>表示重力加速度;/>表示第/>个浊度数据采集时的水流流速;
所述参考系数的获取方法包括:
将所述大聚类簇内所有所述浊度数据的修正参数的绝对值进行求和,获得第一和值;将所述大聚类簇内所有修正浊度数据和对应的浊度数据的差值绝对值进行求和,获得第二和值;
将当前浊度数据与每个所述大聚类簇的聚类中心的时间间隔作为每个所述大聚类簇的间隔参数;
将每个所述大聚类簇的所述第一和值、所述第二和值和所述间隔参数的乘积负相关映射,获得每个所述大聚类簇的参考系数;
所述异常因子的获取方法包括:
获取当前修正浊度数据与每个大聚类簇的聚类中心的欧氏距离,将当前修正浊度数据与每个大聚类簇的聚类中心的欧氏距离与对应的所述参考系数的乘积进行求和,求和结果归一化后作为当前浊度数据的异常因子。
2.根据权利要求1所述的一种基于智慧物联的排水管网污染监测数据智能处理方法,其特征在于,所述修正浊度数据的获取方法包括:
将所述修正参数加上预设调控参数,再与浊度数据相乘,将乘积作为修正浊度数据。
3.根据权利要求1所述的一种基于智慧物联的排水管网污染监测数据智能处理方法,其特征在于,所述根据当前浊度数据的异常因子,对排水管网污染状态进行实时监测的方法包括:
当前浊度数据的异常因子大于预设异常阈值时,认为当前排水管网污染状态存在异常。
4.根据权利要求1所述的一种基于智慧物联的排水管网污染监测数据智能处理方法,其特征在于,所述大聚类簇的获取方法包括:
利用K-means聚类算法对浊度数据进行聚类,根据聚类簇内数据点的数量从大到小进行排序,将排序中的聚类簇对应的数据点数量进行依次相加,直到相加结果首次达到或超过所有浊度数据总量的预设比例时,将进行相加的聚类簇标记为大聚类簇。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410223623.9A CN117807382B (zh) | 2024-02-29 | 2024-02-29 | 基于智慧物联的排水管网污染监测数据智能处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410223623.9A CN117807382B (zh) | 2024-02-29 | 2024-02-29 | 基于智慧物联的排水管网污染监测数据智能处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117807382A CN117807382A (zh) | 2024-04-02 |
CN117807382B true CN117807382B (zh) | 2024-05-10 |
Family
ID=90430254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410223623.9A Active CN117807382B (zh) | 2024-02-29 | 2024-02-29 | 基于智慧物联的排水管网污染监测数据智能处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117807382B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118059428B (zh) * | 2024-04-17 | 2024-07-26 | 大连欣洋电子设备有限公司 | 一种车载超细干粉灭火器压力智能监测方法 |
CN118091072B (zh) * | 2024-04-22 | 2024-07-16 | 成都博瑞科传科技有限公司 | 一种uvcod传感器微生物影响补偿方法及系统 |
CN118137675B (zh) * | 2024-04-30 | 2024-09-10 | 江苏天南电力股份有限公司 | 用于输电线路传感器的能耗均衡方法及系统 |
CN118133059B (zh) * | 2024-05-08 | 2024-08-06 | 武汉鼎业安环科技集团有限公司 | 一种基于数字孪生的安全风险智能检测方法及系统 |
CN118225999B (zh) * | 2024-05-22 | 2024-07-26 | 中铁七局集团第三工程有限公司 | 一种大直径压力钢管焊缝无损检测方法及系统 |
CN118312863B (zh) * | 2024-06-07 | 2024-08-13 | 山东交通学院 | 基于数据分析的乘务人员值乘状态监测方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108387692A (zh) * | 2018-04-25 | 2018-08-10 | 深圳森阳环保材料科技有限公司 | 一种大气污染智能监测系统 |
CN108519465A (zh) * | 2018-03-29 | 2018-09-11 | 深圳森阳环保材料科技有限公司 | 一种基于大数据的空气污染智能监测系统 |
CN111414694A (zh) * | 2020-03-19 | 2020-07-14 | 天津中德应用技术大学 | 一种基于fcm和bp算法的污水监测系统及其建立方法 |
CN112347155A (zh) * | 2020-10-29 | 2021-02-09 | 南京大学 | 基于数据挖掘的场地污染特征因子识别和监测指标优化方法 |
US11758887B1 (en) * | 2022-08-10 | 2023-09-19 | China Agricultural University | Method, system and apparatus for intelligently monitoring aquafarm with multi-dimensional panoramic perception |
-
2024
- 2024-02-29 CN CN202410223623.9A patent/CN117807382B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108519465A (zh) * | 2018-03-29 | 2018-09-11 | 深圳森阳环保材料科技有限公司 | 一种基于大数据的空气污染智能监测系统 |
CN108387692A (zh) * | 2018-04-25 | 2018-08-10 | 深圳森阳环保材料科技有限公司 | 一种大气污染智能监测系统 |
CN111414694A (zh) * | 2020-03-19 | 2020-07-14 | 天津中德应用技术大学 | 一种基于fcm和bp算法的污水监测系统及其建立方法 |
CN112347155A (zh) * | 2020-10-29 | 2021-02-09 | 南京大学 | 基于数据挖掘的场地污染特征因子识别和监测指标优化方法 |
US11758887B1 (en) * | 2022-08-10 | 2023-09-19 | China Agricultural University | Method, system and apparatus for intelligently monitoring aquafarm with multi-dimensional panoramic perception |
Also Published As
Publication number | Publication date |
---|---|
CN117807382A (zh) | 2024-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117807382B (zh) | 基于智慧物联的排水管网污染监测数据智能处理方法 | |
CN104280526B (zh) | 水质自动在线监测设备测量误差的分析和估计方法 | |
CN108564229A (zh) | 一种基于arima模型的工业污水进水量预测的方法 | |
CN116881745B (zh) | 基于大数据的压力变送器异常监测方法 | |
CN113095694B (zh) | 一种适用于多地貌类型区的降雨输沙模型构建方法 | |
CN117371337B (zh) | 一种基于数字孪生的水利模型构建方法及系统 | |
CN114580260B (zh) | 一种基于机器学习和概率理论的滑坡区间预测方法 | |
CN117952308B (zh) | 一种区域可持续发展动态监测与评估的方法及系统 | |
CN114580852B (zh) | 基于工业大数据的水泵挡水板清理实时提醒系统 | |
CN116757898B (zh) | 一种基于预测比对的汛期污染强度核算方法及系统 | |
CN112414694A (zh) | 基于多元状态估计技术的设备多级异常状态识别方法及装置 | |
CN110879927A (zh) | 一种用于海目标检测的海杂波幅度统计分布现场建模方法 | |
CN114757413A (zh) | 一种基于时序数列分析耦合神经网络预测的不良数据辨识方法 | |
CN114323412B (zh) | 一种供水管网压力扰动事件检测方法 | |
CN117872900B (zh) | 基于物联网技术的无纺布生产设备远程监控系统 | |
CN114935527A (zh) | 一种基于油井天然气开采的传感器智能清洁方法及系统 | |
CN110146122A (zh) | 一种农村生活污水处理设施运行有效性的预测方法 | |
CN113887119B (zh) | 一种基于sarima-lstm的河流水质预测方法 | |
CN117273207A (zh) | 预测自来水厂臭氧生物活性炭工艺出水高锰酸盐指数的方法 | |
CN116502758A (zh) | 一种基于深度学习的水质水量预警方法 | |
CN118047516B (zh) | 一种污水污泥浓缩自动化处理方法及系统 | |
CN117408440B (zh) | 基于多维传感器的河道排污口污水智能处理方法及系统 | |
CN118393111B (zh) | 一种土壤污染状况采样监测数据分析方法 | |
CN116821589B (zh) | 促进生态服务功能提升的植被覆盖度恢复上限计算方法 | |
CN117787912B (zh) | 一种工业园区管理系统平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |