CN116881749A - 一种污染场地施工监测方法及系统 - Google Patents
一种污染场地施工监测方法及系统 Download PDFInfo
- Publication number
- CN116881749A CN116881749A CN202311118182.8A CN202311118182A CN116881749A CN 116881749 A CN116881749 A CN 116881749A CN 202311118182 A CN202311118182 A CN 202311118182A CN 116881749 A CN116881749 A CN 116881749A
- Authority
- CN
- China
- Prior art keywords
- cluster
- data
- clusters
- preset
- construction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 147
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012544 monitoring process Methods 0.000 title claims abstract description 62
- 230000008859 change Effects 0.000 claims abstract description 72
- 239000003344 environmental pollutant Substances 0.000 claims abstract description 72
- 231100000719 pollutant Toxicity 0.000 claims abstract description 72
- 230000002159 abnormal effect Effects 0.000 claims abstract description 60
- 238000012545 processing Methods 0.000 claims abstract description 28
- 238000013450 outlier detection Methods 0.000 claims abstract description 11
- 239000006185 dispersion Substances 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 24
- 238000013508 migration Methods 0.000 claims description 20
- 230000005012 migration Effects 0.000 claims description 20
- 230000005856 abnormality Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 14
- 238000010586 diagram Methods 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000010219 correlation analysis Methods 0.000 claims description 7
- 238000012097 association analysis method Methods 0.000 claims description 6
- 238000012216 screening Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 11
- 238000007405 data analysis Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 54
- 230000005540 biological transmission Effects 0.000 description 17
- 239000002957 persistent organic pollutant Substances 0.000 description 15
- 230000007613 environmental effect Effects 0.000 description 11
- 230000008439 repair process Effects 0.000 description 9
- 239000000356 contaminant Substances 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 239000002689 soil Substances 0.000 description 6
- 230000008054 signal transmission Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- JOPOVCBBYLSVDA-UHFFFAOYSA-N chromium(6+) Chemical compound [Cr+6] JOPOVCBBYLSVDA-UHFFFAOYSA-N 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004062 sedimentation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000011065 in-situ storage Methods 0.000 description 1
- 230000000813 microbial effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000002243 precursor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000003900 soil pollution Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/906—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Artificial Intelligence (AREA)
- Tourism & Hospitality (AREA)
- Pure & Applied Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Operations Research (AREA)
- Algebra (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Probability & Statistics with Applications (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及施工场地污染数据分析技术领域,特别是一种污染场地施工监测方法及系统,在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,对施工场地中的动态数据进行深入分析,发现潜在风险和制定有效的应对措施,有助于提高污染场地施工过程中的监测水平。
Description
技术领域
本发明涉及施工场地污染数据分析技术领域,特别是一种污染场地施工监测方法及系统。
背景技术
随着工业化和城市化的快速发展,土壤污染问题日益严重。污染场地的修复和施工过程中,如何有效地监测和控制污染物的扩散、二次污染等风险,对保障环境安全和人类健康具有重要意义。传统的污染场地施工监测方法主要依赖人工分析,这些方法在时间和空间上的覆盖范围有限,无法满足实时、全面的监测需求。此外,传统方法往往缺乏对施工场地数据的深入分析,难以发现施工场地潜在风险和制定有效应对措施。
近年来,数据分析技术在环境监测领域得到了广泛应用。通过对大量施工场地数据进行挖掘和分析,可以揭示污染物浓度的变化情况等信息,为污染场地施工的管理和决策提供科学依据。然而,现有的基于数据分析的污染场地施工监测方法仍存在一定的局限性,如数据预处理不足、分析方法单一、实时监控能力不强等,亟待研发更为先进和完善的数据分析方法。
发明内容
本发明克服了现有技术的不足,提供了一种污染场地施工监测方法及系统。
为达到上述目的本发明采用的技术方案为:
本发明第一方面公开了一种污染场地施工监测方法,包括以下步骤:
S102:构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据;
S104:在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;
S106:对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集;并对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;
S108:获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案。
进一步地,本发明的一个较佳实施例中,构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据,具体包括以下步骤:
获取污染场地中污染物的类型信息,通过大数据网络获取污染物在不同预设地质参数条件之下的动态特性数据;其中,所述动态特性数据包括污染物浓度变化数据、污染物迁移速度数据以及污染物迁移方向数据;
构建数据库,将污染物在不同预设地质参数条件之下的动态特性数据导入所述数据库中,得到动态数据库;
获取污染场地的实际地质参数,并将所述实际地质参数导入所述动态数据库中;基于灰色关联分析法计算所述实际地质参数与各预设地质参数之间的关联度,得到多个关联度;
构建排序表,将多个所述关联度导入所述排序表中进行大小排序,排序完成后,在所述排序表中提取出最大关联度,获取与所述最大关联度对应的预设地质参数,根据与所述最大关联度对应的预设地质参数确定出污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据。
进一步地,本发明的一个较佳实施例中,在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集,具体包括以下步骤:
S202:在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,将所述实时动态特征数据进行格式转换,以使得各实时动态特征数据均以文本向量的形式表示,并将所述文本向量进行降维处理,并将所述文本向量映射到二维平面上,以使得所述文本向量在二维平面上以数据点的形式表示;
S204:获取各数据点在二维平面中的坐标信息,根据所述坐标信息计算得到各数据点之间的欧几里德距离,并基于所述欧几里德距离构建得到距离矩阵;
S206:将每个数据点视为一个单独的群集,在所述距离矩阵中检索出距离最近的两个群集,并将距离最近的两个群集合并成一个新的群集,并更新矩阵以及反映新的群集间距离;
S208:重复S206步骤,直至群集数量达到预设聚类数量后,停止迭代,得到若干个迭代完毕后的群集;
S210:将若干个迭代完毕后的群集可视化为树状图,其中纵轴表示群集间的距离,横轴表示合并的顺序;根据预设聚类数量,对所述树状图进行水平切割,以将数据点划分为相应数量的聚类群集。
进一步地,本发明的一个较佳实施例中,对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集,具体包括以下步骤:
计算每个聚类群集中所有数据点的均值向量,根据聚类群集中所有数据点的均值向量确定出聚类群集的聚类中心;获取聚类群集中所有数据点与聚类中心之间的欧几里德距离,将距离聚类中心最短的欧几里德距离的数据点标记为样本点;
计算每个聚类群集中所有数据点与样本点之间的欧几里德距离,并将每个聚类群集中所有数据点与样本点之间的欧几里德距离求和后取平均值处理,得到聚类内离散度;其中,聚类内离散度表示聚类群集内部的离散度;
计算每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离,并将每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离求和后取平均值处理,得到聚类间离散度;其中,聚类间离散度表示聚类群集间的离散度;
根据所述聚类内离散度与聚类间离散度计算得到每个聚类群集的卡林斯基-哈拉巴斯指数;并将所述卡林斯基-哈拉巴斯指数与预设阈值进行比较;
将卡林斯基-哈拉巴斯指数大于预设阈值对应的聚类群集标定为密度正常聚类群集;将卡林斯基-哈拉巴斯指数不大于预设阈值对应的聚类群集标定为密度异常聚类群集。
进一步地,本发明的一个较佳实施例中,对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集,具体包括以下步骤:
通过孤立森林算法计算密度异常聚类群集中各数据点在孤立树中的平均路径长度,根据各数据点在孤立树中的平均路径长度确定出各数据点的异常程度得分;
将所述异常程度得分与预设异常程度得分进行比较,将异常程度得分大于预设异常程度得分的数据点标记为离群点,并将所述离群点在对应的聚类群集中清除;
将所述离群点分配至其余聚类群集中,分配完毕后,对其余聚类群集进行更新,并计算该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数;将该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数与预设阈值进行比较;
若该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数均不大于预设阈值,则将该离群点标记为无效数据点;
若该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数存在大于预设阈值的情况,则构建序列表,并将该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数均导入所述序列表中进行大小排序,排序完成后,提取出最大的卡林斯基-哈拉巴斯指数,并将该离群点聚类至与最大的卡林斯基-哈拉巴斯指数对应的聚类群集中;
对所有聚类群集进行更新,得到最终聚类群集,根据所述最终聚类群集生成分类结果;其中每个最终聚类群集中包含相似的数据点,即包含相似的实时动态特征数据。
进一步地,本发明的一个较佳实施例中,获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,具体包括以下步骤:
S302:获取各个最终聚类群集中的实时动态特征数据,并通过灰色关联分析法计算各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据之间的相似度;
S304:将相似度不大于预设相似度对应的实时动态特征数据标记为动态变化异常数据;
S306:基于所述动态变化异常数据建立检索标签,根据所述检索标签对大数据网络进行检索,得到多个施工调整方案;
S308:获取各个施工调整方案对应的调控成功率,将调控成功率最高的施工调整方案标记为最佳施工调整方案,并将所述最佳施工调整方案输出。
本发明第二方面公开了一种污染场地施工监测系统,所述污染场地施工监测系统包括存储器与处理器,所述存储器中存储有污染场地施工监测方法程序,当所述污染场地施工监测方法程序被所述处理器执行时,实现如下步骤:
构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据;
在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;
对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集;并对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;
获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案。
进一步地,本发明的一个较佳实施例中,构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据,具体包括以下步骤:
获取污染场地中污染物的类型信息,通过大数据网络获取污染物在不同预设地质参数条件之下的动态特性数据;其中,所述动态特性数据包括污染物浓度变化数据、污染物迁移速度数据以及污染物迁移方向数据;
构建数据库,将污染物在不同预设地质参数条件之下的动态特性数据导入所述数据库中,得到动态数据库;
获取污染场地的实际地质参数,并将所述实际地质参数导入所述动态数据库中;基于灰色关联分析法计算所述实际地质参数与各预设地质参数之间的关联度,得到多个关联度;
构建排序表,将多个所述关联度导入所述排序表中进行大小排序,排序完成后,在所述排序表中提取出最大关联度,获取与所述最大关联度对应的预设地质参数,根据与所述最大关联度对应的预设地质参数确定出污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据。
进一步地,本发明的一个较佳实施例中,对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集,具体包括以下步骤:
计算每个聚类群集中所有数据点的均值向量,根据聚类群集中所有数据点的均值向量确定出聚类群集的聚类中心;获取聚类群集中所有数据点与聚类中心之间的欧几里德距离,将距离聚类中心最短的欧几里德距离的数据点标记为样本点;
计算每个聚类群集中所有数据点与样本点之间的欧几里德距离,并将每个聚类群集中所有数据点与样本点之间的欧几里德距离求和后取平均值处理,得到聚类内离散度;其中,聚类内离散度表示聚类群集内部的离散度;
计算每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离,并将每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离求和后取平均值处理,得到聚类间离散度;其中,聚类间离散度表示聚类群集间的离散度;
根据所述聚类内离散度与聚类间离散度计算得到每个聚类群集的卡林斯基-哈拉巴斯指数;并将所述卡林斯基-哈拉巴斯指数与预设阈值进行比较;
将卡林斯基-哈拉巴斯指数大于预设阈值对应的聚类群集标定为密度正常聚类群集;将卡林斯基-哈拉巴斯指数不大于预设阈值对应的聚类群集标定为密度异常聚类群集。
进一步地,本发明的一个较佳实施例中,获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,具体包括以下步骤:
获取各个最终聚类群集中的实时动态特征数据,并通过灰色关联分析法计算各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据之间的相似度;
将相似度不大于预设相似度对应的实时动态特征数据标记为动态变化异常数据;
基于所述动态变化异常数据建立检索标签,根据所述检索标签对大数据网络进行检索,得到多个施工调整方案;
获取各个施工调整方案对应的调控成功率,将调控成功率最高的施工调整方案标记为最佳施工调整方案,并将所述最佳施工调整方案输出。
本发明解决了背景技术中存在的技术缺陷,本发明具备以下有益效果:通过在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,本方法通过对施工场地中的动态数据进行深入分析,以发现潜在风险和制定有效的应对措施,本方法具有实时性、全面性、准确性、风险评估、预警功能、科学决策和节省资源功能,有助于提高污染场地施工过程中的监测和管理水平。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他实施例的附图。
图1为一种污染场地施工监测方法的第一方法流程图;
图2为一种污染场地施工监测方法的第二方法流程图;
图3为一种污染场地施工监测方法的第三方法流程图;
图4为一种污染场地施工监测系统的系统框图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
如图1所示,本发明第一方面公开了一种污染场地施工监测方法,包括以下步骤:
S102:构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据;
S104:在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;
S106:对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集;并对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;
S108:获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案。
进一步地,本发明的一个较佳实施例中,构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据,具体包括以下步骤:
获取污染场地中污染物的类型信息,通过大数据网络获取污染物在不同预设地质参数条件之下的动态特性数据;其中,所述动态特性数据包括污染物浓度变化数据、污染物迁移速度数据以及污染物迁移方向数据;
构建数据库,将污染物在不同预设地质参数条件之下的动态特性数据导入所述数据库中,得到动态数据库;
获取污染场地的实际地质参数,并将所述实际地质参数导入所述动态数据库中;基于灰色关联分析法计算所述实际地质参数与各预设地质参数之间的关联度,得到多个关联度;
构建排序表,将多个所述关联度导入所述排序表中进行大小排序,排序完成后,在所述排序表中提取出最大关联度,获取与所述最大关联度对应的预设地质参数,根据与所述最大关联度对应的预设地质参数确定出污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据。
需要说明的是,地质参数包括地层岩性及分布特征、土壤温度、土壤湿度、土壤孔隙度、地层干扰物位置等。在对污染场地进行修复时,污染物在不同地质参数条件下标准的动态特性数据各不相同,如挥发性或半挥发性有机污染物的迁移速度会受到土壤温度的影响,土壤温度会影响此类污染物的赋存形态、土壤微生物活性以及化学反应速率等因素,从而间接地影响挥发或半挥发性有机污染物在土壤中的迁移速度。因此,可以首先通过大数据网络获取污染物在不同预设地质参数条件之下的动态特性数据,从而构建得到动态数据库。并且提取通过一系列传感器、地层检测设备等获取污染场地的实际地质参数。灰色关联分析的目标是通过比较不同数列之间的关联度,来评估它们之间的相似性和关联程度。通过本步骤能够在动态数据库中快速配对得到污染场地中污染物在实际地质参数条件之下的预设动态特性数据,以将预设动态特性数据作为标准动态特性数据使用。
进一步地,本发明的一个较佳实施例中,在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集,如图2所示,具体包括以下步骤:
S202:在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,将所述实时动态特征数据进行格式转换,以使得各实时动态特征数据均以文本向量的形式表示,并将所述文本向量进行降维处理,并将所述文本向量映射到二维平面上,以使得所述文本向量在二维平面上以数据点的形式表示;
S204:获取各数据点在二维平面中的坐标信息,根据所述坐标信息计算得到各数据点之间的欧几里德距离,并基于所述欧几里德距离构建得到距离矩阵;
S206:将每个数据点视为一个单独的群集,在所述距离矩阵中检索出距离最近的两个群集,并将距离最近的两个群集合并成一个新的群集,并更新矩阵以及反映新的群集间距离;
S208:重复S206步骤,直至群集数量达到预设聚类数量后,停止迭代,得到若干个迭代完毕后的群集;
S210:将若干个迭代完毕后的群集可视化为树状图,其中纵轴表示群集间的距离,横轴表示合并的顺序;根据预设聚类数量,对所述树状图进行水平切割,以将数据点划分为相应数量的聚类群集。
需要说明的是,在预设施工时间段内通过提前安装在施工场地中的污染物浓度监测传感器、污染物迁移方向检测器等监测设备获取施工场地中污染物的实时动态特征数据,如挥发性或半挥发性有机污染物实时浓度变化数据、挥发性或半挥发性有机污染物实时迁移速度数据以及挥发性或半挥发性有机污染物实时迁移方向数据。由于在施工时间段所采集到的实时动态特征数据庞大且杂乱,如采集后系统并不知道哪些是挥发性或半挥发性有机污染物实时浓度变化数据,哪些是挥发性或半挥发性有机污染物实时迁移方向数据,此时需要通过层次聚类法对庞大且杂乱的实时动态特征数据进行分类处理,从而得到若干个聚类群集,其中每个聚类群集中分类有对应性质的实时动态特征数据,如某一个聚类群集中分类有挥发性或半挥发性有机污染物实时浓度变化数据,而另一个聚类群集中分类有挥发性或半挥发性有机污染物实时迁移方向数据。通过本步骤能够快速将不同性质的实时动态特征数据进行分类处理,能够进一步提高数据处理速率,提高系统鲁棒性。
进一步地,本发明的一个较佳实施例中,对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集,具体包括以下步骤:
计算每个聚类群集中所有数据点的均值向量,根据聚类群集中所有数据点的均值向量确定出聚类群集的聚类中心;获取聚类群集中所有数据点与聚类中心之间的欧几里德距离,将距离聚类中心最短的欧几里德距离的数据点标记为样本点;
计算每个聚类群集中所有数据点与样本点之间的欧几里德距离,并将每个聚类群集中所有数据点与样本点之间的欧几里德距离求和后取平均值处理,得到聚类内离散度;其中,聚类内离散度表示聚类群集内部的离散度;
计算每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离,并将每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离求和后取平均值处理,得到聚类间离散度;其中,聚类间离散度表示聚类群集间的离散度;
根据所述聚类内离散度与聚类间离散度计算得到每个聚类群集的卡林斯基-哈拉巴斯指数;并将所述卡林斯基-哈拉巴斯指数与预设阈值进行比较;
将卡林斯基-哈拉巴斯指数大于预设阈值对应的聚类群集标定为密度正常聚类群集;将卡林斯基-哈拉巴斯指数不大于预设阈值对应的聚类群集标定为密度异常聚类群集。
需要说明的是,卡林斯基-哈拉巴斯指数(Calinski-Harabasz指数)是一种用于评估聚类结果的指标,用于衡量聚类结果的紧密度和分离度,它基于聚类结果的内部距离和类间距离之比来评估聚类的质量,值越大表示聚类结果越好,卡林斯基-哈拉巴斯指数的计算公式为:
;
式中,为林斯基-哈拉巴斯指数;/>为聚类间离散度;/>为聚类内离散度;/>为数据点的总数;/>为聚类群集数量。
需要说明的是,在通过层次聚类法对庞大的实时动态特征数据进行分类过程中难免会出现将某些数据分类至错误的聚类群集的情况,如将某些六价铬实时浓度变化数据分类至六价铬实时迁移速度数据的聚类群集中。通过本步骤能够检测出各聚类群集的紧密度,并且根据紧密度进一步判断出各聚类群集是否为异常聚类群集,减少过度拟合或拟合不足的风险,有助于验证聚类群集的有效性、可解释性以及可靠性,为数据分析决策提供更可靠的支持。
进一步地,本发明的一个较佳实施例中,对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集,具体包括以下步骤:
通过孤立森林算法计算密度异常聚类群集中各数据点在孤立树中的平均路径长度,根据各数据点在孤立树中的平均路径长度确定出各数据点的异常程度得分;
将所述异常程度得分与预设异常程度得分进行比较,将异常程度得分大于预设异常程度得分的数据点标记为离群点,并将所述离群点在对应的聚类群集中清除;
将所述离群点分配至其余聚类群集中,分配完毕后,对其余聚类群集进行更新,并计算该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数;将该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数与预设阈值进行比较;
若该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数均不大于预设阈值,则将该离群点标记为无效数据点;
若该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数存在大于预设阈值的情况,则构建序列表,并将该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数均导入所述序列表中进行大小排序,排序完成后,提取出最大的卡林斯基-哈拉巴斯指数,并将该离群点聚类至与最大的卡林斯基-哈拉巴斯指数对应的聚类群集中;
对所有聚类群集进行更新,得到最终聚类群集,根据所述最终聚类群集生成分类结果;其中每个最终聚类群集中包含相似的数据点,即包含相似的实时动态特征数据。
需要说明的是,孤立森林算法是一种用于异常检测的无监督学习算法,根据每个样本在所有孤立树中的平均路径长度,计算出异常程度得分。通常,路径长度越短的样本被认为是异常值,可以根据异常程度得分设定一个阈值来判断哪些样本是异常值,可以根据经验或者基于验证集的性能评估来确定阈值。
需要说明的是,将异常程度得分大于预设异常程度得分的数据点标记为离群点,并将所述离群点在对应的聚类群集中清除,接着将在当前聚类群集中清除出来的离群点分配到其余聚类群集,并且计算该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数,然后根据该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数判断出该离群点是否归属于这些聚类群集中。
综上所述,通过本步骤不仅能够检测出密度异常聚类群集的离群数据点,还能够将离群数据点进行重新分类至正确的聚类群集,以弥补层次聚类算法的算法缺陷,从而改善数据的聚类效果,从而得到可靠的数据分类结果,为后续数据分析和决策提供更可靠的支持。
进一步地,本发明的一个较佳实施例中,获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,如图3所示,具体包括以下步骤:
S302:获取各个最终聚类群集中的实时动态特征数据,并通过灰色关联分析法计算各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据之间的相似度;
S304:将相似度不大于预设相似度对应的实时动态特征数据标记为动态变化异常数据;
S306:基于所述动态变化异常数据建立检索标签,根据所述检索标签对大数据网络进行检索,得到多个施工调整方案;
S308:获取各个施工调整方案对应的调控成功率,将调控成功率最高的施工调整方案标记为最佳施工调整方案,并将所述最佳施工调整方案输出。
需要说明的是,通过获取各个最终聚类群集中的实时动态特征数据,然后将其与对应的预设动态特性数据进行比较,如将在预设施工时间段内的挥发性或半挥发性有机污染物实时浓度变化数据与预设挥发性或半挥发性有机污染物浓度变化数据进行比较。若两者的相似度不大于预设相似度,说明在预设施工时间段内的挥发性或半挥发性有机污染物实时浓度变化情况预设预设情况不相符,则说明在预设施工时间段内挥发性或半挥发性有机污染物实时浓度变化情况异常。此时根据挥发性或半挥发性有机污染物实时浓度变化情况在大数据网络中检索得到相应的施工调整方案,并且筛选出最佳施工调整方案,如当挥发性或半挥发性有机污染物实时浓度率过高时,可以通过适当增强原位加热修复设备的温度等工艺参数来调整挥发性或半挥发性有机污染物实时浓度率,以使得挥发性或半挥发性有机污染物实时浓度率保持在合适的范围内。通过本步骤能够根据实时动态特征数据判断分析出施工状况是否正常,并能够自动生成相应的施工调整方案,可以有效地监控施工过程中的污染物变化情况,为污染场地修复和管理提供科学依据。
此外,所述一种污染场地施工监测方法还包括以下步骤:
通过大数据网络获取在各种预设环境因子组合条件之下各监测设备的无线信号的预设传输特性;构建知识图谱,并将在各种预设环境因子组合条件之下各监测设备的无线信号的预设传输特性导入所述知识图谱中;其中,所述传输特性包括传输速率以及信噪比;
获取施工场地中各监测设备的信号传输通道的实时环境因子,将所述实时环境因子导入所述知识图谱中,通过哈希算法计算所述实时环境因子与各种预设环境因子组合之间的哈希值,根据所述哈希值确定出实时环境因子与各种预设环境因子组合之间的相似率,得到多个相似率;
在多个相似率中提取出最大相似率,获取与所述最大相似率对应的预设环境因子组合,根据与所述最大相似率对应的预设环境因子组合确定出各监测设备的无线信号在实时环境因子条件之下的标准传输特性;
获取各监测设备的无线信号的实时传输特性;将各监测设备的无线信号的实时传输特性与对应的标准传输特性进行比较;
若监测设备的无线信号的实时传输特性大于对应的标准传输特性,则该监测设备的信号传输特性正常;
若监测设备的无线信号的实时传输特性不大于对应的标准传输特性,则按比增加信号发射站与信号接收站的数量,直至该监测设备的无线信号的实时传输特性大于对应的标准传输特性。
其中,环境因子包括气压、风速、日照、温度、湿度等。
需要说明的是,当监测设备把施工场地中各区域位置所采集到的信号传送至管理平台上时,需要通过提取设定好的信号传输通道完成,而无线信号在传输过程中,其信号传输特性受环境影响,由于信号发射站与信号接收站的数量有限,因此需要对施工场地的信号传输质量进行有效监测,以保证信号传输质量。通过本步骤能够监测出监测设备在各环境因子条件之下的传输特征是否达标,若不达标,则及时进行调整,以确保施工场地所采集到的无线信号的质量。
此外,所述一种污染场地施工监测方法还包括以下步骤:
获取施工场地中修复设备在预设时间内的工作参数信息,并根据在预设时间内的工作参数信息计算得到参数变化率;
若所述参数变化率大于预设参数变化率,则获取参数变化率大于预设参数变化率的修复设备的工作环境信息;以及获取参数变化率大于预设参数变化率的修复设备的特征报告;
根据所述特征报告构建评估指标,基于所述工作环境信息确定评估分数,根据所述评估指标与评估分数构建评估体系;
将修复设备在预设时间内的工作参数信息导入所述评估体系中,并基于层次分析法在所述评估体系中根据所述工作参数信息推算修复设备的故障情况,得到修复设备的故障概率值;
若所述故障概率值大于预设故障概率值,则将该修复设备标记为故障设备。
需要说明的是,特征报告中包含设备历史时间、设备精度等级、历史故障报告等。通过本方法能够结合修复设备的工作环境与性能特征推算出修复设备是否发生了故障。
此外,所述一种污染场地施工监测方法还包括以下步骤:
通过大数据网络获取施工场地发生施工现场沉降时的沉降图像信息,构建识别模型,并将所述沉降图像信息导入所述识别模型中进行训练,得到训练好的识别模型;
获取施工场地的实时施工图像信息,将所述实时施工图像信息导入所述训练好的识别模型中进行识别,得到第一识别结果或第二识别结果;
若识别结果为第一识别结果,则获取施工沉降位置,并在第一预设时间节点与第二预设时间节点获取施工沉降位置的第一图像信息与第二图像信息;根据所述第一图像信息与第二图像信息分别构建得到施工沉降位置的第一三维模型图与第二三维模型图;
将所述第一三维模型图与第二三维模型图进行比较,得到模型偏差;根据所述模型偏差确定出施工沉降的变化速率;将所述变化速率与预设变化速率进行比较;
若所述变化速率大于预设变化速率,则生成一级预警措施;若所述变化速率不大于预设变化速率,则生成二级预测措施。
需要说明的是,在施工场地进行施工时,施工坍塌是主要的施工事故,而发生施工坍塌时,往往会伴随着地面凹陷沉降的前兆,若所述变化速率大于预设变化速率,说明地面发生坍塌的概率极大,则生成一级预警措施,使得蜂鸣器立即发出警报,以警示施工人员立刻撤离。若所述变化速率不大于预设变化速率,说明地面发生坍塌的概率较小,则生成二级预警措施,持续对该施工位置进行监测。
如图4所示,本发明第二方面公开了一种污染场地施工监测系统,所述污染场地施工监测系统包括存储器11与处理器19,所述存储器11中存储有污染场地施工监测方法程序,当所述污染场地施工监测方法程序被所述处理器19执行时,实现如下步骤:
构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据;
在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;
对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集;并对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;
获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案。
进一步地,本发明的一个较佳实施例中,构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据,具体包括以下步骤:
获取污染场地中污染物的类型信息,通过大数据网络获取污染物在不同预设地质参数条件之下的动态特性数据;其中,所述动态特性数据包括污染物浓度变化数据、污染物迁移速度数据以及污染物迁移方向数据;
构建数据库,将污染物在不同预设地质参数条件之下的动态特性数据导入所述数据库中,得到动态数据库;
获取污染场地的实际地质参数,并将所述实际地质参数导入所述动态数据库中;基于灰色关联分析法计算所述实际地质参数与各预设地质参数之间的关联度,得到多个关联度;
构建排序表,将多个所述关联度导入所述排序表中进行大小排序,排序完成后,在所述排序表中提取出最大关联度,获取与所述最大关联度对应的预设地质参数,根据与所述最大关联度对应的预设地质参数确定出污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据。
进一步地,本发明的一个较佳实施例中,对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集,具体包括以下步骤:
计算每个聚类群集中所有数据点的均值向量,根据聚类群集中所有数据点的均值向量确定出聚类群集的聚类中心;获取聚类群集中所有数据点与聚类中心之间的欧几里德距离,将距离聚类中心最短的欧几里德距离的数据点标记为样本点;
计算每个聚类群集中所有数据点与样本点之间的欧几里德距离,并将每个聚类群集中所有数据点与样本点之间的欧几里德距离求和后取平均值处理,得到聚类内离散度;其中,聚类内离散度表示聚类群集内部的离散度;
计算每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离,并将每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离求和后取平均值处理,得到聚类间离散度;其中,聚类间离散度表示聚类群集间的离散度;
根据所述聚类内离散度与聚类间离散度计算得到每个聚类群集的卡林斯基-哈拉巴斯指数;并将所述卡林斯基-哈拉巴斯指数与预设阈值进行比较;
将卡林斯基-哈拉巴斯指数大于预设阈值对应的聚类群集标定为密度正常聚类群集;将卡林斯基-哈拉巴斯指数不大于预设阈值对应的聚类群集标定为密度异常聚类群集。
进一步地,本发明的一个较佳实施例中,获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,具体包括以下步骤:
获取各个最终聚类群集中的实时动态特征数据,并通过灰色关联分析法计算各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据之间的相似度;
将相似度不大于预设相似度对应的实时动态特征数据标记为动态变化异常数据;
基于所述动态变化异常数据建立检索标签,根据所述检索标签对大数据网络进行检索,得到多个施工调整方案;
获取各个施工调整方案对应的调控成功率,将调控成功率最高的施工调整方案标记为最佳施工调整方案,并将所述最佳施工调整方案输出。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本发明各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种污染场地施工监测方法,其特征在于,包括以下步骤:
S102:构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据;
S104:在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;
S106:对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集;并对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;
S108:获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案。
2.根据权利要求1所述的一种污染场地施工监测方法,其特征在于,构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据,具体包括以下步骤:
获取污染场地中污染物的类型信息,通过大数据网络获取污染物在不同预设地质参数条件之下的动态特性数据;其中,所述动态特性数据包括污染物浓度变化数据、污染物迁移速度数据以及污染物迁移方向数据;
构建数据库,将污染物在不同预设地质参数条件之下的动态特性数据导入所述数据库中,得到动态数据库;
获取污染场地的实际地质参数,并将所述实际地质参数导入所述动态数据库中;基于灰色关联分析法计算所述实际地质参数与各预设地质参数之间的关联度,得到多个关联度;
构建排序表,将多个所述关联度导入所述排序表中进行大小排序,排序完成后,在所述排序表中提取出最大关联度,获取与所述最大关联度对应的预设地质参数,根据与所述最大关联度对应的预设地质参数确定出污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据。
3.根据权利要求1所述的一种污染场地施工监测方法,其特征在于,在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集,具体包括以下步骤:
S202:在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,将所述实时动态特征数据进行格式转换,以使得各实时动态特征数据均以文本向量的形式表示,并将所述文本向量进行降维处理,并将所述文本向量映射到二维平面上,以使得所述文本向量在二维平面上以数据点的形式表示;
S204:获取各数据点在二维平面中的坐标信息,根据所述坐标信息计算得到各数据点之间的欧几里德距离,并基于所述欧几里德距离构建得到距离矩阵;
S206:将每个数据点视为一个单独的群集,在所述距离矩阵中检索出距离最近的两个群集,并将距离最近的两个群集合并成一个新的群集,并更新矩阵以及反映新的群集间距离;
S208:重复S206步骤,直至群集数量达到预设聚类数量后,停止迭代,得到若干个迭代完毕后的群集;
S210:将若干个迭代完毕后的群集可视化为树状图,其中纵轴表示群集间的距离,横轴表示合并的顺序;根据预设聚类数量,对所述树状图进行水平切割,以将数据点划分为相应数量的聚类群集。
4.根据权利要求1所述的一种污染场地施工监测方法,其特征在于,对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集,具体包括以下步骤:
计算每个聚类群集中所有数据点的均值向量,根据聚类群集中所有数据点的均值向量确定出聚类群集的聚类中心;获取聚类群集中所有数据点与聚类中心之间的欧几里德距离,将距离聚类中心最短的欧几里德距离的数据点标记为样本点;
计算每个聚类群集中所有数据点与样本点之间的欧几里德距离,并将每个聚类群集中所有数据点与样本点之间的欧几里德距离求和后取平均值处理,得到聚类内离散度;其中,聚类内离散度表示聚类群集内部的离散度;
计算每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离,并将每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离求和后取平均值处理,得到聚类间离散度;其中,聚类间离散度表示聚类群集间的离散度;
根据所述聚类内离散度与聚类间离散度计算得到每个聚类群集的卡林斯基-哈拉巴斯指数;并将所述卡林斯基-哈拉巴斯指数与预设阈值进行比较;
将卡林斯基-哈拉巴斯指数大于预设阈值对应的聚类群集标定为密度正常聚类群集;将卡林斯基-哈拉巴斯指数不大于预设阈值对应的聚类群集标定为密度异常聚类群集。
5.根据权利要求1所述的一种污染场地施工监测方法,其特征在于,对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集,具体包括以下步骤:
通过孤立森林算法计算密度异常聚类群集中各数据点在孤立树中的平均路径长度,根据各数据点在孤立树中的平均路径长度确定出各数据点的异常程度得分;
将所述异常程度得分与预设异常程度得分进行比较,将异常程度得分大于预设异常程度得分的数据点标记为离群点,并将所述离群点在对应的聚类群集中清除;
将所述离群点分配至其余聚类群集中,分配完毕后,对其余聚类群集进行更新,并计算该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数;将该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数与预设阈值进行比较;
若该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数均不大于预设阈值,则将该离群点标记为无效数据点;
若该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数存在大于预设阈值的情况,则构建序列表,并将该离群点在其余聚类群集中的卡林斯基-哈拉巴斯指数均导入所述序列表中进行大小排序,排序完成后,提取出最大的卡林斯基-哈拉巴斯指数,并将该离群点聚类至与最大的卡林斯基-哈拉巴斯指数对应的聚类群集中;
对所有聚类群集进行更新,得到最终聚类群集,根据所述最终聚类群集生成分类结果;其中每个最终聚类群集中包含相似的数据点,即包含相似的实时动态特征数据。
6.根据权利要求1所述的一种污染场地施工监测方法,其特征在于,获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,具体包括以下步骤:
S302:获取各个最终聚类群集中的实时动态特征数据,并通过灰色关联分析法计算各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据之间的相似度;
S304:将相似度不大于预设相似度对应的实时动态特征数据标记为动态变化异常数据;
S306:基于所述动态变化异常数据建立检索标签,根据所述检索标签对大数据网络进行检索,得到多个施工调整方案;
S308:获取各个施工调整方案对应的调控成功率,将调控成功率最高的施工调整方案标记为最佳施工调整方案,并将所述最佳施工调整方案输出。
7.一种污染场地施工监测系统,其特征在于,所述污染场地施工监测系统包括存储器与处理器,所述存储器中存储有污染场地施工监测方法程序,当所述污染场地施工监测方法程序被所述处理器执行时,实现如下步骤:
构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据;
在预设施工时间段内通过监测设备获取施工场地中污染物的实时动态特征数据,并对所述实时动态特征数据进行分类处理,得到若干个聚类群集;
对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集;并对密度异常聚类群集进行离群检测处理,得到若干离群点,并将所述离群点进行重新分类,得到若干个最终聚类群集;
获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案。
8.根据权利要求7所述的一种污染场地施工监测系统,其特征在于,构建动态数据库,获取污染场地的实际地质参数,将所述实际地质参数导入所述动态数据库中进行配对,得到污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据,具体包括以下步骤:
获取污染场地中污染物的类型信息,通过大数据网络获取污染物在不同预设地质参数条件之下的动态特性数据;其中,所述动态特性数据包括污染物浓度变化数据、污染物迁移速度数据以及污染物迁移方向数据;
构建数据库,将污染物在不同预设地质参数条件之下的动态特性数据导入所述数据库中,得到动态数据库;
获取污染场地的实际地质参数,并将所述实际地质参数导入所述动态数据库中;基于灰色关联分析法计算所述实际地质参数与各预设地质参数之间的关联度,得到多个关联度;
构建排序表,将多个所述关联度导入所述排序表中进行大小排序,排序完成后,在所述排序表中提取出最大关联度,获取与所述最大关联度对应的预设地质参数,根据与所述最大关联度对应的预设地质参数确定出污染场地中污染物在当前实际地质参数条件之下的预设动态特性数据。
9.根据权利要求7所述的一种污染场地施工监测系统,其特征在于,对若干所述聚类群集进行聚类密度检测处理,筛选出密度异常聚类群集,具体包括以下步骤:
计算每个聚类群集中所有数据点的均值向量,根据聚类群集中所有数据点的均值向量确定出聚类群集的聚类中心;获取聚类群集中所有数据点与聚类中心之间的欧几里德距离,将距离聚类中心最短的欧几里德距离的数据点标记为样本点;
计算每个聚类群集中所有数据点与样本点之间的欧几里德距离,并将每个聚类群集中所有数据点与样本点之间的欧几里德距离求和后取平均值处理,得到聚类内离散度;其中,聚类内离散度表示聚类群集内部的离散度;
计算每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离,并将每个聚类群集中样本点与其余聚类群集中样本点之间的欧几里德距离求和后取平均值处理,得到聚类间离散度;其中,聚类间离散度表示聚类群集间的离散度;
根据所述聚类内离散度与聚类间离散度计算得到每个聚类群集的卡林斯基-哈拉巴斯指数;并将所述卡林斯基-哈拉巴斯指数与预设阈值进行比较;
将卡林斯基-哈拉巴斯指数大于预设阈值对应的聚类群集标定为密度正常聚类群集;将卡林斯基-哈拉巴斯指数不大于预设阈值对应的聚类群集标定为密度异常聚类群集。
10.根据权利要求7所述的一种污染场地施工监测系统,其特征在于,获取各个最终聚类群集中的实时动态特征数据,将各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据进行比较分析,得到动态变化异常数据,根据所述动态变化异常数据生成最佳施工调整方案,具体包括以下步骤:
获取各个最终聚类群集中的实时动态特征数据,并通过灰色关联分析法计算各个最终聚类群集中的实时动态特征数据与对应的预设动态特性数据之间的相似度;
将相似度不大于预设相似度对应的实时动态特征数据标记为动态变化异常数据;
基于所述动态变化异常数据建立检索标签,根据所述检索标签对大数据网络进行检索,得到多个施工调整方案;
获取各个施工调整方案对应的调控成功率,将调控成功率最高的施工调整方案标记为最佳施工调整方案,并将所述最佳施工调整方案输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311118182.8A CN116881749B (zh) | 2023-09-01 | 2023-09-01 | 一种污染场地施工监测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311118182.8A CN116881749B (zh) | 2023-09-01 | 2023-09-01 | 一种污染场地施工监测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116881749A true CN116881749A (zh) | 2023-10-13 |
CN116881749B CN116881749B (zh) | 2023-11-17 |
Family
ID=88264721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311118182.8A Active CN116881749B (zh) | 2023-09-01 | 2023-09-01 | 一种污染场地施工监测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116881749B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117150244A (zh) * | 2023-10-30 | 2023-12-01 | 山东凯莱电气设备有限公司 | 基于电参数分析的智能配电柜状态监测方法及系统 |
CN117171223A (zh) * | 2023-11-02 | 2023-12-05 | 北京建工环境修复股份有限公司 | 一种微生物修复过程中的微生物培养方案推荐方法及系统 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2897088A1 (en) * | 2014-01-16 | 2015-07-22 | Fundació Privada Barcelona Digital Centre Tecnologic | Method and apparatus for optimum spatial clustering |
US20160023255A1 (en) * | 2012-03-13 | 2016-01-28 | Reterro | Feedback loop control for soil evaporative desorption |
CN111414694A (zh) * | 2020-03-19 | 2020-07-14 | 天津中德应用技术大学 | 一种基于fcm和bp算法的污水监测系统及其建立方法 |
CN111897810A (zh) * | 2020-07-29 | 2020-11-06 | 上海大学 | 建立定量化不同尺度区域间大气污染联防联控方案的方法 |
CN113919235A (zh) * | 2021-10-29 | 2022-01-11 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于lstm演化聚类的移动源污染异常排放检测方法及介质 |
WO2023024463A1 (zh) * | 2021-12-30 | 2023-03-02 | 南京大学 | 一种水体有机污染智能化溯源方法及系统 |
CN115994570A (zh) * | 2022-12-08 | 2023-04-21 | 生态环境部南京环境科学研究所 | 地下水污染自然衰减能力预测方法及模型训练方法 |
CN116228021A (zh) * | 2023-03-06 | 2023-06-06 | 广西壮族自治区地质环境监测站 | 一种基于环境监测的矿山生态修复评价分析方法及系统 |
CN116363601A (zh) * | 2023-06-02 | 2023-06-30 | 北京建工环境修复股份有限公司 | 一种污染监测设备的数据采集与分析方法及系统 |
-
2023
- 2023-09-01 CN CN202311118182.8A patent/CN116881749B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160023255A1 (en) * | 2012-03-13 | 2016-01-28 | Reterro | Feedback loop control for soil evaporative desorption |
EP2897088A1 (en) * | 2014-01-16 | 2015-07-22 | Fundació Privada Barcelona Digital Centre Tecnologic | Method and apparatus for optimum spatial clustering |
CN111414694A (zh) * | 2020-03-19 | 2020-07-14 | 天津中德应用技术大学 | 一种基于fcm和bp算法的污水监测系统及其建立方法 |
CN111897810A (zh) * | 2020-07-29 | 2020-11-06 | 上海大学 | 建立定量化不同尺度区域间大气污染联防联控方案的方法 |
CN113919235A (zh) * | 2021-10-29 | 2022-01-11 | 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) | 基于lstm演化聚类的移动源污染异常排放检测方法及介质 |
WO2023024463A1 (zh) * | 2021-12-30 | 2023-03-02 | 南京大学 | 一种水体有机污染智能化溯源方法及系统 |
CN115994570A (zh) * | 2022-12-08 | 2023-04-21 | 生态环境部南京环境科学研究所 | 地下水污染自然衰减能力预测方法及模型训练方法 |
CN116228021A (zh) * | 2023-03-06 | 2023-06-06 | 广西壮族自治区地质环境监测站 | 一种基于环境监测的矿山生态修复评价分析方法及系统 |
CN116363601A (zh) * | 2023-06-02 | 2023-06-30 | 北京建工环境修复股份有限公司 | 一种污染监测设备的数据采集与分析方法及系统 |
Non-Patent Citations (1)
Title |
---|
周脚根;赵春江;王纪华;黄文江;: "基于局部离群指数的土壤重金属污染评价方法", 农业工程学报, no. 1 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117150244A (zh) * | 2023-10-30 | 2023-12-01 | 山东凯莱电气设备有限公司 | 基于电参数分析的智能配电柜状态监测方法及系统 |
CN117150244B (zh) * | 2023-10-30 | 2024-01-26 | 山东凯莱电气设备有限公司 | 基于电参数分析的智能配电柜状态监测方法及系统 |
CN117171223A (zh) * | 2023-11-02 | 2023-12-05 | 北京建工环境修复股份有限公司 | 一种微生物修复过程中的微生物培养方案推荐方法及系统 |
CN117171223B (zh) * | 2023-11-02 | 2024-02-06 | 北京建工环境修复股份有限公司 | 一种微生物修复过程中的微生物培养方案推荐方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN116881749B (zh) | 2023-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116881749B (zh) | 一种污染场地施工监测方法及系统 | |
CN115578015B (zh) | 基于物联网的污水处理全过程监管方法、系统及存储介质 | |
CN115081945B (zh) | 一种地下水环境监测井的损伤监测与评估方法及系统 | |
CN117235655B (zh) | 基于联邦学习的智慧供热异常工况识别方法及系统 | |
CN116485020B (zh) | 一种基于大数据的供应链风险识别预警方法、系统及介质 | |
CN114422184A (zh) | 基于机器学习的网络安全攻击类型和威胁等级预测方法 | |
CN115600513B (zh) | 一种岩溶塌陷监测预警及防控一体化信息化模拟研判系统 | |
CN106935038B (zh) | 一种停车检测系统及检测方法 | |
CN117809439B (zh) | 一种基于多种环境因素中河流流量异常预警系统 | |
CN113487470A (zh) | 一种基于大数据的环保隐患精准监测定位方法 | |
CN117538503A (zh) | 一种实时智能的土壤污染监测系统及方法 | |
CN117368651B (zh) | 一种配电网故障综合分析系统及方法 | |
CN117454283A (zh) | 一种用于风电机组运行检测数据的状态评估方法 | |
CN117172430B (zh) | 一种基于深度学习的水体环境评估与预测方法及系统 | |
CN117473571B (zh) | 一种数据信息安全处理方法及系统 | |
CN112949735A (zh) | 一种基于离群数据挖掘的液态危化品挥发浓度异常发现方法 | |
CN115144548B (zh) | 有害气体成分实时监测系统及其监测方法 | |
CN116126807A (zh) | 一种日志分析方法及相关装置 | |
CN113902249A (zh) | 一种土壤重金属影响因素解析方法及装置 | |
CN113590663A (zh) | 一种环境检测方法及系统 | |
CN118094266A (zh) | 一种智能终端核辐射检测分析方法及系统 | |
CN116290203B (zh) | 基于神经网络的疏浚施工参数选优模型方法 | |
CN118015795B (zh) | 一种基于卷积神经网络的ppb级污染物监测预警方法及系统 | |
CN116011745B (zh) | 一种基于云服务的生态修复方案优化方法及系统 | |
CN117171678B (zh) | 一种微生物修复过程中土壤微生物菌群调控方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |