CN117115637A - 一种基于大数据技术的水质监测预警方法及系统 - Google Patents
一种基于大数据技术的水质监测预警方法及系统 Download PDFInfo
- Publication number
- CN117115637A CN117115637A CN202311345379.5A CN202311345379A CN117115637A CN 117115637 A CN117115637 A CN 117115637A CN 202311345379 A CN202311345379 A CN 202311345379A CN 117115637 A CN117115637 A CN 117115637A
- Authority
- CN
- China
- Prior art keywords
- early warning
- data
- water quality
- quality monitoring
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 167
- 238000012544 monitoring process Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000005516 engineering process Methods 0.000 title claims abstract description 29
- 238000007726 management method Methods 0.000 claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 25
- 238000013500 data storage Methods 0.000 claims abstract description 20
- 238000007405 data analysis Methods 0.000 claims abstract description 12
- 239000000126 substance Substances 0.000 claims description 13
- 238000003066 decision tree Methods 0.000 claims description 12
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 11
- 229910052760 oxygen Inorganic materials 0.000 claims description 11
- 239000001301 oxygen Substances 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000006399 behavior Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 7
- 239000013618 particulate matter Substances 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000001419 dependent effect Effects 0.000 claims description 6
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000003911 water pollution Methods 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 5
- 230000036541 health Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 238000013459 approach Methods 0.000 claims description 3
- 238000013079 data visualisation Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 7
- 238000004458 analytical method Methods 0.000 abstract description 3
- 230000002265 prevention Effects 0.000 abstract description 3
- 230000009193 crawling Effects 0.000 abstract description 2
- 238000011269 treatment regimen Methods 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract 1
- 238000004590 computer program Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000013138 pruning Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2219—Large Object storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/26—Visual data mining; Browsing structured data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/05—Underwater scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/20—Controlling water pollution; Waste water treatment
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Public Health (AREA)
- Water Supply & Treatment (AREA)
- Multimedia (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明涉及一种基于大数据技术的水质监测预警方法及系统，具体涉及水质监测技术领域，包括数据采集模块、数据存储管理模块、数据分析模块、预警模型模块以及预警响应管理模块，利用大数据技术结合生物技术实现对水质监测数据的高速实时处理和分析，提高对水质问题的响应速度，减少潜在风险，通过数据分析和多种系统模型集成，提供决策支持，并指导相关部门制定合理的预防和治理策略，提高决策的科学性和准确性，实质性水质数据指标相比于大数据爬取历史数据适应复杂多变的水质环境，提高预警的准确性和可靠性，集成监测设备和传感器组成网络系统和模型，预防设备故障对水质监测的影响。
Description
技术领域
本发明涉及水质监测技术领域，更具体地说，本发明涉及一种基于大数据技术的水质监测预警方法及系统。
背景技术
水是人类生存和发展的基本需求，随着大数据技术的不断进步，基于对水资源安全的保护需求，结合传统监测方法的局限性以及大数据技术的发展，建立水质监测预警方法及系统对于保护水资源安全具有重要意义。
现有技术（公开号为CN116258403A的发明专利）公开了一种基于大数据的水质监测预警方法及系统，通过大数据获得水质监测信息，对历史水质监测数据库进行水质事故提取分析，实现对水质进行监测预警。现有技术对水质监测过程中，仅仅使用大数据获取水质数据，利用模型预测水质结构进行水质监测，导致对水质事故的预防、预警效果不佳，缺少实质性数据对水质进行监测预警，因此，亟需一种基于大数据技术的水质监测预警方法及系统。
发明内容
本发明针对现有技术中存在的技术问题，提供一种基于大数据技术的水质监测预警方法及系统，通过数据分析模块、预警模型模块以及预警响应管理模块，以解决上述背景技术中提出的问题。
本发明解决上述技术问题的技术方案如下：包括数据采集模块、数据存储管理模块、数据分析模块、预警模型模块以及预警响应管理模块；
数据采集模块：利用水质传感器监测水体温度变化、水体酸碱性、水体氧气含量以及悬浮颗粒物浓度，利用生物传感器实现拍摄水下图像判断水中生物的种类和数量，利用水下摄像头通过高清摄像技术记录水生生物的存在和行为；
数据存储管理模块：整理采集生物监测数据，对于存在命名规则、单位定义差异问题数据进行标准化，收集和定义与生物监测相关的各种数据并设计数据库表结构，用于创建相应的表实现数据存储管理；
数据分析模块：对存在的错误、异常以及离群值在存储之前进行检测和清洗处理，建立线性回归模型，通过分析回归系数判断不同生物种类和数量对水质污染程度的影响程度；
预警模型模块：根据水质监测指标的历史大数据和相关标准并预设阈值，提取统计有效特征，利用决策树进行模型学习；
预警响应管理模块：根据预警模型输出结果确定相应预警规则，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果。
在一个优选地实施方式中，所述数据采集模块安装硬件设备用于监测水体化学特性和生物指标，包括水质传感器、生物传感器以及水下摄像头，所述水质传感器包括温度传感器、pH传感器、溶解氧传感器以及浊度传感器，用于监测水体温度变化、水体酸碱性、水体氧气含量以及悬浮颗粒物浓度，生物传感器利用荧光传感、生物声呐实现拍摄水下图像判断水中生物的种类和数量，所述判断过程利用特定生物化学物质存在及其浓度和接收分析生物体声音信号，判断水中生物的种类和数量，通过声波反射判断水中存在的生物体积和种类，所述判断过程通过发射器发射声波信号，发射的声波信号在水中传播并与水中生物体发生相互作用，生物体表面反射回来形成回波信号，接收不同方向反射形成回波信号，并将回波信号的时间、幅度以及相位信息转换为图像，进行生物体种类的分类和数量的估计，安装特定位置水下摄像头，通过高清摄像技术记录水生生物的存在和行为，捕捉水体中的鱼类、水生植物、底栖生物的活动情况，集成多种分布式传感器节点组成传感器网络，利用无线通信方式传输采集数据至数据存储管理模块。
在一个优选地实施方式中，所述数据存储管理模块整理采集生物监测数据，对于存在命名规则、单位定义差异问题数据进行标准化，所述标准化将数据按比例缩放，使其值域落在以0为中心的[-1,1]的范围内，消除数值间的量纲和单位差异，利用Z-score算法实现数据转换为具有零均值和单位标准差的标准正态分布，其具体公式为：其中/>表示标准化后的值，/>表示原始值，/>表示原始数据的均值，/>表示原始数据的标准差，将数据选择性存储云端以及本地数据库，所述云端存储具备冗余和备份机制，本地数据库允许对数据的完全控制，包括存储结构、备份策略和数据迁移，确定记录和管理的数据字段，收集和定义与生物监测相关的各种数据，包括个体信息、生理指标、实验条件，设计数据库表结构，其中每个表对应于一个数据实体和主题，利用一个表存储个体信息，另一个表存储生理指标数据，建立生物监测数据库索引，在选定的数据库管理系统中创建相应的表实现数据存储管理。
在一个优选地实施方式中，所述数据分析模块对存在的错误、异常以及离群值在存储之前进行检测和清洗处理，删除重复数据，利用插值填充方法进行缺失值填充，所述插值填充方法通过已知的相邻两个数据点，根据线性关系估计并填补缺失值，从原始数据选择与水质相关特征，筛选预测目前重要特征并进行提取，并对特征值进行转换，将不同特征的取值范围进行归一化，所述归一化为最小-最大归一化，其具体公式为：其中Z表示归一化后的数据，x表示原始数据，/>表示原始数据的最小值，/>表示原始数据的最大值，消除不同特征之间的量纲差异，通过不同特征的组合和交互构造新的特征加入特征集，利用大数据技术和数据挖掘算法，识别水质状况特征和模式，建立水体生物种类和数量与水质污染程度之间的关联性模型，将水体生物种类和数量作为自变量，水质污染程度作为因变量，建立线性回归模型，其具体公式为：/>其中/>表示，/>表示自变量/>的回归系数，为自变量对因变量的影响程度，/>表示自变量，为水体生物种类和数量，/>表示误差项，为模型无法完全解释的随机误差，通过分析回归系数判断不同生物种类和数量对水质污染程度的影响程度。
在一个优选地实施方式中，所述预警模型模块根据水质监测指标的历史大数据和相关标准，预设阈值，当观测数据超过和接近阈值时，发出相应的预警信号，根据不同水质监测指标之间的关系，制定判断水体健康情况规则，包括浑浊度和溶解氧同时超过阈值时，发出预警信号，收集水质监测指标历史数据和指标特点，提取统计有效特征，划分特征集为训练集和测试集，利用决策树进行模型学习，所述构建决策树步骤基于特征划分，根据水质监测指标相关性和重要特征，输入特征集，通过从根节点开始，不断根据特征值划分数据特征集，令每个子集内部数据尽可能属于同一类别，通过预剪枝和后剪枝方式选择剪枝策略，并进行拟合，利用基尼系数指标随机从子节点选择特征样本，衡量其类别被错误分类的概率，基尼系数越小，表示使用该特征进行划分减少错误分类程度。
在一个优选地实施方式中，所述预警响应管理模块部署预警模型，用于实时分析和预测生物监测数据并发出预警信号，根据预警模型输出结果确定相应预警规则，所述预警规则为当水质指标超过警戒值以及出现异常变化趋势，系统自动发出相应的预警信号，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果，根据管理响应系统对比结果、预警规则以及模型输出发出预警信号，利用预警可视化界面系统接收预警信号，提供数据可视化和报告功能。
在一个优选地实施方式中，具体包括以下步骤：
S101：利用水质传感器监测水体温度变化、水体酸碱性、水体氧气含量以及悬浮颗粒物浓度，利用生物传感器实现拍摄水下图像判断水中生物的种类和数量，利用水下摄像头通过高清摄像技术记录水生生物的存在和行为；
S102：整理采集生物监测数据，对于存在命名规则、单位定义差异问题数据进行标准化，收集和定义与生物监测相关的各种数据并设计数据库表结构，用于创建相应的表实现数据存储管理；
S103：对存在的错误、异常以及离群值在存储之前进行检测和清洗处理，建立线性回归模型，通过分析回归系数判断不同生物种类和数量对水质污染程度的影响程度；
S104：根据水质监测指标的历史大数据和相关标准并预设阈值，提取统计有效特征，利用决策树进行模型学习；
S105：根据预警模型输出结果确定相应预警规则，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果。
本发明的有益效果是：利用大数据技术结合生物技术实现对水质监测数据的高速实时处理和分析，使得预警系统可以及时发出预警信号，提高对水质问题的响应速度，减少潜在风险，通过数据分析和多种系统模型集成，提供决策支持，并指导相关部门制定合理的预防和治理策略，提高决策的科学性和准确性，实质性水质数据指标相比于大数据爬取历史数据适应复杂多变的水质环境，使得预警系统更加智能和适应性，提高预警的准确性和可靠性，集成监测设备和传感器组成网络系统和模型，有助于提高监测设备的稳定性和可靠性，预防设备故障对水质监测的影响，保证监测数据的有效性和准确性。
附图说明
图1为本发明系统流程图；
图2为本发明系统结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，术语“例如”一词用来表示“用作例子、例证或说明”。本申请中被描述为“例如”的任何实施例不一定被解释为比其它实施例更优选或更具优势。为了使本领域任何技术人员能够实现和使用本发明，给出了以下描述。在以下描述中，为了解释的目的而列出了细节。应当明白的是，本领域普通技术人员可以认识到，在不使用这些特定细节的情况下也可以实现本发明。在其它实例中，不会对公知的结构和过程进行详细阐述，以避免不必要的细节使本发明的描述变得晦涩。因此，本发明并非旨在限于所示的实施例，而是与符合本申请所公开的原理和特征的最广范围相一致。
实施例：本实施例提供了如图1所示一种基于大数据技术的水质监测预警方法，具体包括以下步骤：
S101:利用水质传感器监测水体环境信息数据，利用生物传感器判断特定生物化学物质存在及其浓度和接收分析生物体声音信号，利用水下摄像头通过高清摄像技术记录水生生物的存在和行为；
S102:利用Z-score算法实现数据转换为具有零均值和单位标准差的标准正态分布并建立生物监测数据库索引，在选定的数据库管理系统中创建相应的表实现数据存储管理；
S103:筛选预测目前重要特征并进行提取，并对特征值进行转换，将不同特征的取值范围进行归一化，建立水体生物种类和数量与水质污染程度之间的关联性模型；
S104:根据不同水质监测指标之间的关系，制定判断水体健康情况规则，划分特征集为训练集和测试集，利用决策树进行模型学习；
S105:根据预警模型输出结果确定相应预警规则，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果。
本实施例提供了如图2所示一种基于大数据技术的水质监测预警系统，具体包括：包括数据采集模块、数据存储管理模块、数据分析模块、预警模型模块以及预警响应管理模块；
数据采集模块：利用水质传感器监测水体温度变化、水体酸碱性、水体氧气含量以及悬浮颗粒物浓度，利用生物传感器实现拍摄水下图像判断水中生物的种类和数量，利用水下摄像头通过高清摄像技术记录水生生物的存在和行为；
数据存储管理模块：整理采集生物监测数据，对于存在命名规则、单位定义差异问题数据进行标准化，收集和定义与生物监测相关的各种数据并设计数据库表结构，用于创建相应的表实现数据存储管理；
数据分析模块：对存在的错误、异常以及离群值在存储之前进行检测和清洗处理，建立线性回归模型，通过分析回归系数判断不同生物种类和数量对水质污染程度的影响程度；
预警模型模块：根据水质监测指标的历史大数据和相关标准并预设阈值，提取统计有效特征，利用决策树进行模型学习；
预警响应管理模块：根据预警模型输出结果确定相应预警规则，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果。
S101：利用水质传感器监测水体环境信息数据，利用生物传感器判断特定生物化学物质存在及其浓度和接收分析生物体声音信号，利用水下摄像头通过高清摄像技术记录水生生物的存在和行为；
本实施例中，具体需要说明的是数据采集模块，所述数据采集模块安装硬件设备用于监测水体化学特性和生物指标，包括水质传感器、生物传感器以及水下摄像头，所述水质传感器包括温度传感器、pH传感器、溶解氧传感器以及浊度传感器，用于监测水体温度变化、水体酸碱性、水体氧气含量以及悬浮颗粒物浓度，生物传感器利用荧光传感、生物声呐实现拍摄水下图像判断水中生物的种类和数量，所述判断过程利用特定生物化学物质存在及其浓度和接收分析生物体声音信号，判断水中生物的种类和数量，通过声波反射判断水中存在的生物体积和种类，所述判断过程通过发射器发射声波信号，发射的声波信号在水中传播并与水中生物体发生相互作用，生物体表面反射回来形成回波信号，接收不同方向反射形成回波信号，并将回波信号的时间、幅度以及相位信息转换为图像，进行生物体种类的分类和数量的估计，安装特定位置水下摄像头，通过高清摄像技术记录水生生物的存在和行为，捕捉水体中的鱼类、水生植物、底栖生物的活动情况，集成多种分布式传感器节点组成传感器网络，利用无线通信方式传输采集数据至数据存储管理模块。
S102：利用Z-score算法实现数据转换为具有零均值和单位标准差的标准正态分布并建立生物监测数据库索引，在选定的数据库管理系统中创建相应的表实现数据存储管理；
本实施例中，具体需要说明的是数据存储管理模块，所述数据存储管理模块整理采集生物监测数据，对于存在命名规则、单位定义差异问题数据进行标准化，所述标准化将数据按比例缩放，使其值域落在以0为中心的[-1,1]的范围内，消除数值间的量纲和单位差异，利用Z-score算法实现数据转换为具有零均值和单位标准差的标准正态分布，其具体公式为：其中/>表示标准化后的值，/>表示原始值，/>表示原始数据的均值，/>表示原始数据的标准差，将数据选择性存储云端以及本地数据库，所述云端存储具备冗余和备份机制，本地数据库允许对数据的完全控制，包括存储结构、备份策略和数据迁移，确定记录和管理的数据字段，收集和定义与生物监测相关的各种数据，包括个体信息、生理指标、实验条件，设计数据库表结构，其中每个表对应于一个数据实体和主题，利用一个表存储个体信息，另一个表存储生理指标数据，建立生物监测数据库索引，在选定的数据库管理系统中创建相应的表实现数据存储管理。
S103:筛选预测目前重要特征并进行提取，并对特征值进行转换，将不同特征的取值范围进行归一化，建立水体生物种类和数量与水质污染程度之间的关联性模型；
本实施例中，具体需要说明的是数据分析模块，所述数据分析模块对存在的错误、异常以及离群值在存储之前进行检测和清洗处理，删除重复数据，利用插值填充方法进行缺失值填充，所述插值填充方法通过已知的相邻两个数据点，根据线性关系估计并填补缺失值，从原始数据选择与水质相关特征，筛选预测目前重要特征并进行提取，并对特征值进行转换，将不同特征的取值范围进行归一化，所述归一化为最小-最大归一化，其具体公式为：其中Z表示归一化后的数据，x表示原始数据，/>表示原始数据的最小值，/>表示原始数据的最大值，消除不同特征之间的量纲差异，通过不同特征的组合和交互构造新的特征加入特征集，利用大数据技术和数据挖掘算法，识别水质状况特征和模式，建立水体生物种类和数量与水质污染程度之间的关联性模型，将水体生物种类和数量作为自变量，水质污染程度作为因变量，建立线性回归模型，其具体公式为：其中/>表示，/>表示自变量/>的回归系数，为自变量对因变量的影响程度，/>表示自变量，为水体生物种类和数量，/>表示误差项，为模型无法完全解释的随机误差，通过分析回归系数判断不同生物种类和数量对水质污染程度的影响程度。
S104:根据不同水质监测指标之间的关系，制定判断水体健康情况规则，划分特征集为训练集和测试集，利用决策树进行模型学习；
本实施例中，具体需要说明的是预警模型模块，所述预警模型模块根据水质监测指标的历史大数据和相关标准，预设阈值，当观测数据超过和接近阈值时，发出相应的预警信号，根据不同水质监测指标之间的关系，制定判断水体健康情况规则，包括浑浊度和溶解氧同时超过阈值时，发出预警信号，收集水质监测指标历史数据和指标特点，提取统计有效特征，划分特征集为训练集和测试集，利用决策树进行模型学习，所述构建决策树步骤基于特征划分，根据水质监测指标相关性和重要特征，输入特征集，通过从根节点开始，不断根据特征值划分数据特征集，令每个子集内部数据尽可能属于同一类别，通过预剪枝和后剪枝方式选择剪枝策略，并进行拟合，利用基尼系数指标随机从子节点选择特征样本，衡量其类别被错误分类的概率，基尼系数越小，表示使用该特征进行划分减少错误分类程度。
S105:根据预警模型输出结果确定相应预警规则，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果
本实施例中，具体需要说明的是预警响应管理模块，所述预警响应管理模块部署预警模型，用于实时分析和预测生物监测数据并发出预警信号，根据预警模型输出结果确定相应预警规则，所述预警规则为当水质指标超过警戒值以及出现异常变化趋势，系统自动发出相应的预警信号，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果，根据管理响应系统对比结果、预警规则以及模型输出发出预警信号，利用预警可视化界面系统接收预警信号，提供数据可视化和报告功能。
需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。
Claims (7)
1.一种基于大数据技术的水质监测预警方法，其特征在于，具体包括以下步骤：
S101:利用水质传感器监测水体环境信息数据，利用生物传感器判断特定生物化学物质存在及其浓度和接收分析生物体声音信号，利用水下摄像头通过高清摄像技术记录水生生物的存在和行为；
S102:利用Z-score算法实现数据转换为具有零均值和单位标准差的标准正态分布并建立生物监测数据库索引，在选定的数据库管理系统中创建相应的表实现数据存储管理；
S103:筛选预测目前重要特征并进行提取，并对特征值进行转换，将不同特征的取值范围进行归一化，建立水体生物种类和数量与水质污染程度之间的关联性模型；
S104:根据不同水质监测指标之间的关系，制定判断水体健康情况规则，划分特征集为训练集和测试集，利用决策树进行模型学习；
S105:根据预警模型输出结果确定相应预警规则，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果。
2.根据权利要求1所述的一种基于大数据技术的水质监测预警方法，其特征在于：所述S101中，监测水体环境信息数据包括水体温度变化、水体酸碱性、水体氧气含量以及悬浮颗粒物浓度，所述生物传感器判断过程利用特定生物化学物质存在及其浓度和接收分析生物体声音信号，判断水中生物的种类和数量。
3.根据权利要求1所述的一种基于大数据技术的水质监测预警方法，其特征在于：所述S102中，Z-score算法具体公式为：
；
其中表示标准化后的值，/>表示原始值，/>表示原始数据的均值，/>表示原始数据的标准差，利用云端和本地数据库在选定的数据库管理系统中创建相应的表实现数据存储管理。
4.根据权利要求1所述的一种基于大数据技术的水质监测预警方法，其特征在于：所述S103中，所述归一化为最小-最大归一化，其具体公式为：
；
其中Z表示归一化后的数据，x表示原始数据，表示原始数据的最小值，/>表示原始数据的最大值，将水体生物种类和数量作为自变量，水质污染程度作为因变量，建立线性回归模型，其具体公式为：
；
其中表示，/>表示自变量/>的回归系数，为自变量对因变量的影响程度，/>表示自变量，为水体生物种类和数量，/>表示误差项，为模型无法完全解释的随机误差，通过分析回归系数判断不同生物种类和数量对水质污染程度的影响程度。
5.根据权利要求1所述的一种基于大数据技术的水质监测预警方法，其特征在于：所述S104中，根据水质监测指标的历史大数据和相关标准，预设阈值，当观测数据超过和接近阈值时，发出相应的预警信号，所述决策树进行模型学习的步骤：基于特征划分，根据水质监测指标相关性和重要特征，输入特征集，通过从根节点开始，不断根据特征值划分数据特征集，令每个子集内部数据尽可能属于同一类别。
6.根据权利要求1所述的一种基于大数据技术的水质监测预警方法，其特征在于：所述S105中，根据管理响应系统对比结果、预警规则以及模型输出发出预警信号，利用预警可视化界面系统接收预警信号，提供数据可视化和报告功能。
7.一种基于大数据技术的水质监测预警系统应用于如权利要求1-6任一所述的一种基于大数据技术的水质监测预警方法，其特征在于：包括数据采集模块、数据存储管理模块、数据分析模块、预警模型模块以及预警响应管理模块；
数据采集模块：利用水质传感器监测水体温度变化、水体酸碱性、水体氧气含量以及悬浮颗粒物浓度，利用生物传感器实现拍摄水下图像判断水中生物的种类和数量，利用水下摄像头通过高清摄像技术记录水生生物的存在和行为；
数据存储管理模块：整理采集生物监测数据，对于存在命名规则、单位定义差异问题数据进行标准化，收集和定义与生物监测相关的各种数据并设计数据库表结构，用于创建相应的表实现数据存储管理；
数据分析模块：对存在的错误、异常以及离群值在存储之前进行检测和清洗处理，建立线性回归模型，通过分析回归系数判断不同生物种类和数量对水质污染程度的影响程度；
预警模型模块：根据水质监测指标的历史大数据和相关标准并预设阈值，提取统计有效特征，利用决策树进行模型学习；
预警响应管理模块：根据预警模型输出结果确定相应预警规则，建立水质监测预警管理响应系统，用于对比分析预警模型输出结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311345379.5A CN117115637A (zh) | 2023-10-18 | 2023-10-18 | 一种基于大数据技术的水质监测预警方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311345379.5A CN117115637A (zh) | 2023-10-18 | 2023-10-18 | 一种基于大数据技术的水质监测预警方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117115637A true CN117115637A (zh) | 2023-11-24 |
Family
ID=88809349
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311345379.5A Pending CN117115637A (zh) | 2023-10-18 | 2023-10-18 | 一种基于大数据技术的水质监测预警方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117115637A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117555892A (zh) * | 2024-01-10 | 2024-02-13 | 江苏省生态环境大数据有限公司 | 大气污染物多模式融合核算模型后处理方法 |
| CN118410312A (zh) * | 2024-06-27 | 2024-07-30 | 交通运输部天津水运工程科学研究所 | 一种干散货码头污水处理设备智能控制方法 |
| CN118569443A (zh) * | 2024-07-26 | 2024-08-30 | 深圳市普拉图科技发展有限公司 | 一种智慧城市基础设施智能监控系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102203813A (zh) * | 2008-11-04 | 2011-09-28 | 株式会社日立制作所 | 信息处理系统以及信息处理装置 |
| CN111835738A (zh) * | 2020-06-30 | 2020-10-27 | 山东大学 | 一种基于时间序列挖掘的网络异常流量自动检测方法 |
| CN114238432A (zh) * | 2021-11-22 | 2022-03-25 | 国网浙江省电力有限公司营销服务中心 | 一种基于关联规则挖掘的电力营销辅助决策方法及系统 |
| CN115015506A (zh) * | 2022-06-07 | 2022-09-06 | 中国水利水电科学研究院 | 一种分布式人工湿地出水水质监控系统及方法 |
| CN116242436A (zh) * | 2023-03-06 | 2023-06-09 | 播梦碳科技有限公司 | 一种环境保护监测用水质监测系统 |
| CN116796907A (zh) * | 2023-07-11 | 2023-09-22 | 桂林理工大学 | 一种基于物联网的水环境动态监测系统及其方法 |
-
2023
- 2023-10-18 CN CN202311345379.5A patent/CN117115637A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102203813A (zh) * | 2008-11-04 | 2011-09-28 | 株式会社日立制作所 | 信息处理系统以及信息处理装置 |
| CN111835738A (zh) * | 2020-06-30 | 2020-10-27 | 山东大学 | 一种基于时间序列挖掘的网络异常流量自动检测方法 |
| CN114238432A (zh) * | 2021-11-22 | 2022-03-25 | 国网浙江省电力有限公司营销服务中心 | 一种基于关联规则挖掘的电力营销辅助决策方法及系统 |
| CN115015506A (zh) * | 2022-06-07 | 2022-09-06 | 中国水利水电科学研究院 | 一种分布式人工湿地出水水质监控系统及方法 |
| CN116242436A (zh) * | 2023-03-06 | 2023-06-09 | 播梦碳科技有限公司 | 一种环境保护监测用水质监测系统 |
| CN116796907A (zh) * | 2023-07-11 | 2023-09-22 | 桂林理工大学 | 一种基于物联网的水环境动态监测系统及其方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117555892A (zh) * | 2024-01-10 | 2024-02-13 | 江苏省生态环境大数据有限公司 | 大气污染物多模式融合核算模型后处理方法 |
| CN117555892B (zh) * | 2024-01-10 | 2024-04-02 | 江苏省生态环境大数据有限公司 | 大气污染物多模式融合核算模型后处理方法 |
| CN118410312A (zh) * | 2024-06-27 | 2024-07-30 | 交通运输部天津水运工程科学研究所 | 一种干散货码头污水处理设备智能控制方法 |
| CN118410312B (zh) * | 2024-06-27 | 2024-10-18 | 交通运输部天津水运工程科学研究所 | 一种干散货码头污水处理设备智能控制方法 |
| CN118569443A (zh) * | 2024-07-26 | 2024-08-30 | 深圳市普拉图科技发展有限公司 | 一种智慧城市基础设施智能监控系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117115637A (zh) | 一种基于大数据技术的水质监测预警方法及系统 | |
| CN106769052B (zh) | 一种基于聚类分析的机械系统滚动轴承智能故障诊断方法 | |
| CN116796907A (zh) | 一种基于物联网的水环境动态监测系统及其方法 | |
| CN109657880A (zh) | 一种基于贝叶斯网络的船舶碰撞事故等级预测方法和系统 | |
| CN115169479A (zh) | 污水处理过程远程监控方法、系统及存储介质 | |
| CN106940281A (zh) | 一种基于信息融合技术智能模型的航空油液分析方法 | |
| CN112414694B (zh) | 基于多元状态估计技术的设备多级异常状态识别方法及装置 | |
| CN111222526B (zh) | 一种渔船实时捕捞行为识别方法、装置、设备及存储介质 | |
| CN109002888B (zh) | 一种赤潮预警方法 | |
| CN102013148B (zh) | 多信息融合火灾探测方法 | |
| CN110636066B (zh) | 基于无监督生成推理的网络安全威胁态势评估方法 | |
| CN109783903A (zh) | 一种基于时间序列的工业用水管道故障诊断方法及系统 | |
| EP1958034B1 (en) | Use of sequential clustering for instance selection in machine condition monitoring | |
| WO2020148992A1 (ja) | モデル生成装置、モデル生成方法、モデル生成プログラム、モデル生成システム、検査システム、及び監視システム | |
| CN116991146B (zh) | 一种超声波清洗装置的控制方法及系统 | |
| CN109255201B (zh) | 一种基于som-mqe的滚珠丝杠副健康评估方法 | |
| CN111191855B (zh) | 一种基于管网多元水质时序数据的水质异常事件识别预警方法 | |
| CN116952654B (zh) | 一种行政监督用环境监测预警系统 | |
| CN101871928A (zh) | 一种基于免疫否定选择的水质异常检测方法 | |
| NL2037440A (en) | A method, system, and medium for intelligent recognition of fishing activities based on image processing | |
| CN111204842A (zh) | 一种通过神经网络实现超滤膜污染评价的方法、装置、系统 | |
| CN117114425B (zh) | 一种应对突发事件的智能预警方法、系统及介质 | |
| CN112365093A (zh) | 一种基于gru深度学习的多特征因子赤潮预测模型 | |
| CN117456637A (zh) | 车辆数据检测方法、车辆数据检测装置、车辆和存储介质 | |
| CN110532699B (zh) | 基于模糊dcd的湿法冶金浓密洗涤过程故障诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20231124 |