CN116519895B - 一种基于大数据平台的水质在线监测分析管理系统 - Google Patents
一种基于大数据平台的水质在线监测分析管理系统 Download PDFInfo
- Publication number
- CN116519895B CN116519895B CN202310425107.XA CN202310425107A CN116519895B CN 116519895 B CN116519895 B CN 116519895B CN 202310425107 A CN202310425107 A CN 202310425107A CN 116519895 B CN116519895 B CN 116519895B
- Authority
- CN
- China
- Prior art keywords
- water quality
- data
- analysis
- water
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 261
- 238000004458 analytical method Methods 0.000 title claims abstract description 81
- 238000012544 monitoring process Methods 0.000 title claims abstract description 57
- 238000005070 sampling Methods 0.000 claims abstract description 51
- 238000003860 storage Methods 0.000 claims abstract description 35
- 238000004891 communication Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims description 73
- 238000001514 detection method Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000008859 change Effects 0.000 claims description 24
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 18
- 229910052760 oxygen Inorganic materials 0.000 claims description 18
- 239000001301 oxygen Substances 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000007405 data analysis Methods 0.000 claims description 5
- 230000007547 defect Effects 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000006698 induction Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003911 water pollution Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007849 functional defect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Food Science & Technology (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
Abstract
本发明公开一种基于大数据平台的水质在线监测分析管理系统，涉及水质在线监测技术领域，包括水体采样区域划分模块、水质检测点、水质信息采集模块、水质分析模块、通信模块、水质信息存储模块和大数据平台，水质在线监测分析管理系统机基于大数据平台通过对水域进行采样区域划分实现全方位水域实时监测，同时水质信息采集模块通过设置深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器实现多样水质信息的采集，解决了传统的水质监测系统无法实时监测分析水质、水质采样信息类别丰富度不足和水质监测不全面的问题。
Description
技术领域
本发明涉及水质在线监测技术领域，且更具体地涉及一种基于大数据平台的水质在线监测分析管理系统。
背景技术
近年来，随着社会的发展，各地水域水质出现污染，水污染已经成了一个相当严峻的问题。水质污染造成水生动物大面积死亡，而水生动物的死亡会造成水域发烂发臭，加剧水域的污染，周而复始，恶性循环。原本清澈透亮的水域水质渐渐变差，水平面下降，严重影响了人们的生活环境、身体健康以及生态系统。
因此对水域水质进行实时监测是非常有必要的，水质监测系统应运而生，而传统的水质监测系统受一些客观技术条件因素所限，还存在着一些共性或个性不足，具体如下：
(1)传统的水质监测系统采用人工取样，在实验室完成监测分析，耗费大量的人力物力，工作周期长，无法做到实时监测分析水质；
(2)传统的水质监测系统在水质采样信息类别上丰富度不足；
(3)传统的水质监测系统在水域区域划分上是对湖水表面区域进行划分，水质监测不全面，不利于水质污染分析；
综上可见，传统水质监测系统受自身技术条件限制存在诸多功能缺陷，因此如何实现大数据实时监测、丰富水质采样类型和全面监测水质的水质监测系统是我们需要解决的问题。
发明内容
针对上述技术的不足，本发明公开一种基于大数据平台的水质在线监测分析管理系统，基于物联网模式完成水质实时监控、测量、分析和存储管理；一种基于大数据平台的水质在线监测分析管理系统具有实时监测、采样信息多样化和全面监测水域的优势。
本发明采用以下技术方案：
一种基于大数据平台的水质在线监测分析管理系统，包括水体采样区域划分模块、水质检测点、水质信息采集模块、水质分析模块、通信模块、水质信息存储模块和大数据平台；
水体采样区域划分模块，用于对监测水域进行采样区域划分，并对划分后的区域进行编号；
水质检测点，用于安置水质监测设备，并根据不同采样划分区域设置对应的水质检测点；
水质信息采集模块，用于采集监测水域水质信息，所述水质信息采集检测模块包括深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器；
水质分析模块，用于对采集到的水质信息进行分析，并将分析结果发送至通信模块；
通信模块，用于接收所述水质分析模块发送的水质信息分析结果，并将分析结果上传到云端服务器和水质信息存储模块；
水质信息存储模块，用于存储分析后的水质检测信息，便于操作人员查看；
大数据平台，用于信息的交换和通信，实现监控、测量、分析和存储管理；
所述水质采样区域划分模块连接所述水质检测点，所述水质检测点连接所述水质信息采集模块，所述水质信息采集模块连接所述水质分析模块，所述水质分析模块连接所述通信模块，所述通信模块连接所述水质信息存储模块，所述水体采样区域划分模块、水质检测点、水质信息采集模块、水质分析模块、通信模块和水质信息存储模块均与大数据平台连接。
作为本发明进一步的技术方案，所述水体采样区域划分模块对水域进行采样区域划分的方式为：
步骤1、以水域中心点为原点建立三维坐标系；
步骤2、以水域中心向周围按照设定距离等距扩散同心圆，得到圆环，各圆环所在区域即是各采样圆环区域；
步骤3、以水域中心向下方按照设定距离等距离划分深度层；
步骤4、根据采样水体所在圆环和深度确认采样区域。
作为本发明进一步的技术方案，所述水质检测点等距离布设在岸边20米处，并对布设的水质检测点按其对应的采样划分区域进行编号，所述水质监测点安放有检测分析用采样水质设备。
作为本发明进一步的技术方案，所述水质信息采集模块基于可变窗特定趋势算法采用不同类型传感器实现水质信息采集。
作为本发明进一步的技术方案，所述可变窗特定趋势算法值y(n)为：
式(1)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，u(x)为单位阶跃函数，且
N的取值直接影响信号趋势计算的结果，窗长短，趋势值对信号变化敏感，窗长计算出的趋势值较平滑；
为了同时表征并计算信号的正、负两种变化趋势，定义符号函数sqn(x)为：
为了在趋势计算中体现阶跃变化的信号，如采样水体深度、温度、pH、电导率、溶解氧和浑浊度，将深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器的输出信号xi(n)(i＝1,2…,n)进行映射变换得：
式(4)中，mi(n)为深度信号、温度信号、pH信号、电导率信号、溶解氧信号和浑浊度信号，参数k为信号变化的最大(或最小)上升(或下降)速率；
由式(3)和式(4)可得可变窗特定趋势算法值y(n)为：
式(5)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，mi(n)为深度信号、温度信号、pH信号、电导率信号、溶解氧信号和浑浊度信号；
多种信号检测增加了可靠性与准确性，引入信号的稳态值(RW)，克服趋势抗干扰弱的缺点，定义两个新的函数符号sqn1(x)和sqn2(x)，
将窗长分为两部分，使趋势计算随信号的不同特征而变化，一部分取固定较小值，便于快速检测到信号，另一部分取变化值，随信号趋势逐渐增大，引入累加函数k(n)，
式(8)中，st为预警值，u(x)为单位阶跃函数，因此趋势计算中总的计算窗
长为N’＝N+k(n)(9)
则以N’为窗长的可变窗长特定趋势算法计算式为：
式(10)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，RW为信号的稳态值。
作为本发明进一步的技术方案，所述水质分析模块分析采集到的水质信息的方法为：
首先通过分析函数对输入的数据信息进行计算，计算函数为：
式(11)中,V表示数据信息分析函数，R、G、B分别表示数据信息分析函数中的模糊度、类别和数据属性；处理后的数据信息特征集函数为：
根据模糊度、类别和数据属性筛选出的函数如公式(12)和(13)所示；
然后通过欧几里得距离计算实际计算属性与处理后数据信息之间的差距，欧几里得距离方程表示为：
式(14)中，x表示分析水质信息时，故障数据信息特征集中的特征向量；y表示分析水质信息输入待匹配的特征向量，xi、yi表示输入数据信息特征对应的特征分量；
最后将分析后的水质信息数据传输至通信模块。
作为本发明进一步的技术方案，所述通信模块采用无线传感器网络系统实现水质信息分析结果的数据传输。
作为本发明进一步的技术方案，所述无线传感器网络系统通过GTA算法模型实现水质信息分析结果的数据传输信息计算；通过GTA算法对无线传感器网络节点数据进行博弈归纳和计算，以提高数据信息计算能力，其中目标函数为：
Q＝[lnp(real)|x1]+E[lnp|x2] (15)
式(15)中，Q表示GTA算法输入的目标函数，p(real)表示选取节点数据对应的博弈函数，p表示运行正常情况结点博弈函数，x1表示数据库中设备参数，x2表示博弈状态下的设备参数变化；
博弈函数为：
Q＝E[lnp(c)|x1]+E[lnp(C)|x2] (16)
式(16)中，Q表示所构建的GTA算法个体博弈函数，E表示单独个体节点安全运行数据，p(C2)表示结点博弈限制函数，C2表示限制自变量，p(c1)表示节点博弈正常函数，c1表示水质检测运行故障种类；
在算法运算过程中假设yk+1＝0，博弈结果公式为：
式(17)中，L表示GTA算法运行后的调整博弈结果，Ex～Pg表示结点博弈后稳定预测值，yk+1表示博弈过程中不可抗影响因素，yi'表示水质检测各区域信息通过网络节点变化量，N表示不同博弈组数，p表示运行正常情况结点博弈函数，i表示博弈系数，K表示影响因素系数；
GTA算法调整函数为：
LFM＝‖E1′ f(x)-E2′ f(L)‖ (18)
式(18)中，LFM表示GTA算法推算出的无线传感器网络节点最佳调整方案，E1′表示调整函数所达到的最大稳定调整量，E2′表示实际稳定调整量，f(x)表示结点稳定变化函数，x表示变化系数变量，f(L)表示博弈结果函数，L表示GTA算法运行后的调整博弈结果。
作为本发明进一步的技术方案，所述水质信息存储模块采用hdfs、hbase、rdbms、redis与mongodb存储引擎，hdfs用于存储水质信息原始数据和需要进行离线分析的数据，hbase用于存储终端的历史轨迹和状态体量大和海量物联网终端的历史数据的查询，rdbms用来存储终端基础数据、字典数据和数据分析结果，redis基于内存的kv数据库，用来缓存频繁更新和访问的数据，mongodb存储复杂的数据类型，包括分析好的数据报表以及设备汇报的日志信息，并对这些信息进行多维度的分析。
作为本发明进一步的技术方案，所述大数据平台基于物联网模式满足现代化水质监测的需求，大数据平台汇集各域的结构化数据，智能感知与理解非结构化数据，进行精确的结构化数据采集，进行信息交换和通信，完成水质监控、测量、分析和存储管理。
积极有益效果：
本发明基于物联网模式完成水质实时监控、测量、分析和存储管理，具有实时监测、采样信息多样化和全面监测水域的优势。
水质在线监测分析管理系统机基于大数据平台通过对水域进行采样区域划分实现全方位水域实时监测，同时水质信息采集模块设置深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器实现多样水质信息的采集。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还根据这些附图获得其他的附图，其中：
图1为本发明一种基于大数据平台的水质在线监测分析管理系统的整体架构原理图；
图2为本发明一种基于大数据平台的水质在线监测分析管理系统水体采样区域划分流程图；
图3为本发明一种基于大数据平台的水质在线监测分析管理系统水质信息存储模块存储引擎框架图；
图4为本发明一种基于大数据平台的水质在线监测分析管理系统大数据原理图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。
如图1所示，一种基于大数据平台的水质在线监测分析管理系统，包括水体采样区域划分模块、水质检测点、水质信息采集模块、水质分析模块、通信模块、水质信息存储模块和大数据平台；
水体采样区域划分模块，用于对监测水域进行采样区域划分，并对划分后的区域进行编号；
水质检测点，用于安置水质监测设备，并根据不同采样划分区域设置对应的水质检测点；
水质信息采集模块，用于采集监测水域水质信息，所述水质信息采集检测模块包括深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器；
水质分析模块，用于对采集到的水质信息进行分析，并将分析结果发送至通信模块；
通信模块，用于接收所述水质分析模块发送的水质信息分析结果，并将分析结果上传到云端服务器和水质信息存储模块；
水质信息存储模块，用于存储分析后的水质检测信息，便于操作人员查看；
大数据平台，用于信息的交换和通信，实现监控、测量、分析和存储管理；
所述水质采样区域划分模块连接所述水质检测点，所述水质检测点连接所述水质信息采集模块，所述水质信息采集模块连接所述水质分析模块，所述水质分析模块连接所述通信模块，所述通信模块连接所述水质信息存储模块，所述水体采样区域划分模块、水质检测点、水质信息采集模块、水质分析模块、通信模块和水质信息存储模块均与大数据平台连接。
进一步地，如图2所示，所述水体采样区域划分模块对水域进行采样区域划分的方式为：
步骤1、以水域中心点为原点建立三维坐标系；
步骤2、以水域中心向周围按照设定距离等距扩散同心圆，得到圆环，各圆环所在区域即是各采样圆环区域；
步骤3、以水域中心向下方按照设定距离等距离划分深度层；
步骤4、根据采样水体所在圆环和深度确认采样区域。
进一步地，所述水质检测点等距离布设在岸边20米处，并对布设的水质检测点按其对应的采样划分区域进行编号，所述水质监测点安放有检测分析用采样水质设备。
所述水质检测点的工作过程为：对水域不同划分区域设置对应水质检测点，在水体完成采样后送至对应水质检测点进行水质信息采集。
进一步地，所述水质信息采集模块基于可变窗特定趋势算法采用不同类型传感器实现水质信息采集。
所述水质信息采集模块的工作过程为：水质信息采集检测模块通过设置深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器对采样水质的温度、pH、电导率、溶解氧和浑浊度信息进行采集，实现水质采样信息多样化。
进一步地，所述可变窗特定趋势算法值y(n)为：
式(1)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，u(x)为单位阶跃函数，且
N的取值直接影响信号趋势计算的结果，窗长短，趋势值对信号变化敏感，窗长计算出的趋势值较平滑；
为了同时表征并计算信号的正、负两种变化趋势，定义符号函数sqn(x)为：
为了在趋势计算中体现阶跃变化的信号，如采样水体深度、温度、pH、电导率、溶解氧和浑浊度，将深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器的输出信号xi(n)(i＝1,2…,n)进行映射变换得：
式(4)中，mi(n)为深度信号、温度信号、pH信号、电导率信号、溶解氧信号和浑浊度信号，参数k为信号变化的最大(或最小)上升(或下降)速率；
由式(3)和式(4)可得可变窗特定趋势算法值y(n)为：
式(5)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，mi(n)为深度信号、温度信号、pH信号、电导率信号、溶解氧信号和浑浊度信号；
多种信号检测增加了可靠性与准确性，引入信号的稳态值(RW)，克服趋势抗干扰弱的缺点，定义两个新的函数符号sqn1(x)和sqn2(x)，
将窗长分为两部分，使趋势计算随信号的不同特征而变化，一部分取固定较小值，便于快速检测到信号，另一部分取变化值，随信号趋势逐渐增大，引入累加函数k(n)，
式(8)中，st为预警值，u(x)为单位阶跃函数，因此趋势计算中总的计算窗
长为N’＝N+k(n)(9)
则以N’为窗长的可变窗长特定趋势算法计算式为：
式(10)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，RW为信号的稳态值。
进一步地，所述水质分析模块分析采集到的水质信息的方法为：
首先通过分析函数对输入的数据信息进行计算，计算函数为：
式(11)中,V表示数据信息分析函数，R、G、B分别表示数据信息分析函数中的模糊度、类别和数据属性；处理后的数据信息特征集函数为：
根据模糊度、类别和数据属性筛选出的函数如公式(12)和(13)所示；
然后通过欧几里得距离计算实际计算属性与处理后数据信息之间的差距，欧几里得距离方程表示为：
式(14)中，x表示分析水质信息时，故障数据信息特征集中的特征向量；y表示分析水质信息输入待匹配的特征向量，xi、yi表示输入数据信息特征对应的特征分量；
最后将分析后的水质信息数据传输至通信模块。
进一步地，所述通信模块采用无线传感器网络系统实现水质信息分析结果的数据传输。
进一步地，所述无线传感器网络系统通过GTA算法模型实现水质信息分析结果的数据传输信息计算；通过GTA算法对无线传感器网络节点数据进行博弈归纳和计算，以提高数据信息计算能力，其中目标函数为：
Q＝[lnp(real)|x1]+E[lnp|x2] (15)
式(15)中，Q表示GTA算法输入的目标函数，p(real)表示选取节点数据对应的博弈函数，p表示运行正常情况结点博弈函数，x1表示数据库中设备参数，x2表示博弈状态下的设备参数变化；
博弈函数为：
Q＝E[lnp(c)|x1]+E[lnp(C)|x2] (16)
式(16)中，Q表示所构建的GTA算法个体博弈函数，E表示单独个体节点安全运行数据，p(C2)表示结点博弈限制函数，C2表示限制自变量，p(c1)表示节点博弈正常函数，c1表示水质检测运行故障种类；
在算法运算过程中假设yk+1＝0，博弈结果公式为：
式(17)中，L表示GTA算法运行后的调整博弈结果，Ex～Pg表示结点博弈后稳定预测值，yk+1表示博弈过程中不可抗影响因素，yi'表示水质检测各区域信息通过网络节点变化量，N表示不同博弈组数，p表示运行正常情况结点博弈函数，i表示博弈系数，K表示影响因素系数；
GTA算法调整函数为：
LFM＝‖E1′ f(x)-E2′ f(L)‖ (18)
式(18)中，LFM表示GTA算法推算出的无线传感器网络节点最佳调整方案，E1′表示调整函数所达到的最大稳定调整量，E2′表示实际稳定调整量，f(x)表示结点稳定变化函数，x表示变化系数变量，f(L)表示博弈结果函数，L表示GTA算法运行后的调整博弈结果。
进一步地，如图3所示，所述水质信息存储模块采用hdfs、hbase、rdbms、redis与mongodb存储引擎，hdfs用于存储水质信息原始数据和需要进行离线分析的数据，hbase用于存储终端的历史轨迹和状态体量大和海量物联网终端的历史数据的查询，rdbms用来存储终端基础数据、字典数据和数据分析结果，redis基于内存的kv数据库，用来缓存频繁更新和访问的数据，mongodb存储复杂的数据类型，包括分析好的数据报表以及设备汇报的日志信息，并对这些信息进行多维度的分析。
所述水质信息存储模块的工作过程为：信息存储模块接收通信模块发送的水质检测信息，水质信息存储模块利用电平的高低来存放水质检测信息并进行标记，当监测人员有调用需求时，所述水质信息存储模块将保存的对应水质检测信息提取出来以供查阅。
进一步地，所述大数据平台基于物联网模式满足现代化水质监测的需求，大数据平台汇集各域的结构化数据，智能感知与理解非结构化数据，进行精确的结构化数据采集，进行信息交换和通信，完成水质监控、测量、分析和存储管理。
所述大数据平台的工作原理为：大数据平台依据大数据的海量信息，结合了机器学习、数据挖掘、数据分析和知识发现多种技术，收集、处理和分析海量数据，以获得有价值的信息；如图4所示，大数据原理分为数据收集、数据处理、数据挖掘、数据分析和知识发现五部分。
虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些具体实施方式仅是举例说明，本领域的技术人员在不脱离本发明的原理和实质的情况下，对上述方法和系统的细节进行各种省略、替换和改变。例如，合并上述方法步骤，从而按照实质相同的方法执行实质相同的功能以实现实质相同的结果则属于本发明的范围。因此，本发明的范围仅由所附权利要求书限定。
Claims (7)
1.一种基于大数据平台的水质在线监测分析管理系统，其特征在于：包括水体采样区域划分模块、水质检测点、水质信息采集模块、水质分析模块、通信模块、水质信息存储模块和大数据平台；
水体采样区域划分模块，用于对监测水域进行采样区域划分，并对划分后的区域进行编号；
水质检测点，用于安置水质监测设备，并根据不同采样划分区域设置对应的水质检测点；
水质信息采集模块，用于采集监测水域水质信息，所述水质信息采集检测模块包括深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器；
水质分析模块，用于对采集到的水质信息进行分析，并将分析结果发送至通信模块；
通信模块，用于接收所述水质分析模块发送的水质信息分析结果，并将分析结果上传到云端服务器和水质信息存储模块；
水质信息存储模块，用于存储分析后的水质检测信息，便于操作人员查看；
大数据平台，用于信息的交换和通信，实现监控、测量、分析和存储管理；
所述水质采样区域划分模块连接所述水质检测点，所述水质检测点连接所述水质信息采集模块，所述水质信息采集模块连接所述水质分析模块，所述水质分析模块连接所述通信模块，所述通信模块连接所述水质信息存储模块，所述水体采样区域划分模块、水质检测点、水质信息采集模块、水质分析模块、通信模块和水质信息存储模块均与大数据平台连接；
所述水质分析模块分析采集到的水质信息的方法为：
首先通过分析函数对输入的数据信息进行计算，计算函数为：
式(11)中,V表示数据信息分析函数，R、G、B分别表示数据信息分析函数中的模糊度、类别和数据属性；处理后的数据信息特征集函数为：
根据模糊度、类别和数据属性筛选出的函数如公式(12)和(13)所示；
然后通过欧几里得距离计算实际计算属性与处理后数据信息之间的差距，欧几里得距离方程表示为：
式(14)中，x表示分析水质信息时，故障数据信息特征集中的特征向量；y表示分析水质信息输入待匹配的特征向量，xi、yi表示输入数据信息特征对应的特征分量；
最后将分析后的水质信息数据传输至通信模块；
所述通信模块采用无线传感器网络系统实现水质信息分析结果的数据传输；
所述无线传感器网络系统通过GTA算法模型实现水质信息分析结果的数据传输信息计算；通过GTA算法对无线传感器网络节点数据进行博弈归纳和计算，以提高数据信息计算能力，其中目标函数为：
Q＝[lnp(real)|x1]+E[lnp|x2] (15)
式(15)中，Q表示GTA算法输入的目标函数，p(real)表示选取节点数据对应的博弈函数，p表示运行正常情况结点博弈函数，x1表示数据库中设备参数，x2表示博弈状态下的设备参数变化；
博弈函数为：
Q＝E[lnp(c1)|x1]+E[lnp(C2)|x2] (16)
式(16)中，Q表示所构建的GTA算法个体博弈函数，E表示单独个体节点安全运行数据，p(C2)表示结点博弈限制函数，C2表示限制自变量，p(c1)表示节点博弈正常函数，c1表示水质检测运行故障种类；
在算法运算过程中假设yk+1＝0，博弈结果公式为：
式(17)中，L表示GTA算法运行后的调整博弈结果，Ex～Pg表示结点博弈后稳定预测值，yk+1表示博弈过程中不可抗影响因素，y′i表示水质检测各区域信息通过网络节点变化量，N表示不同博弈组数，p表示运行正常情况结点博弈函数，i表示博弈系数，K表示影响因素系数；
GTA算法调整函数为：
LFM＝‖E′1f(x)-E′2f(L)‖ (18)
式(18)中，LFM表示GTA算法推算出的无线传感器网络节点最佳调整方案，E′1表示调整函数所达到的最大稳定调整量，E′2表示实际稳定调整量，f(x)表示结点稳定变化函数，x表示变化系数变量，f(L)表示博弈结果函数，L表示GTA算法运行后的调整博弈结果。
2.根据权利要求1所述的一种基于大数据平台的水质在线监测分析管理系统，其特征在于：所述水体采样区域划分模块对水域进行采样区域划分的方式为：
步骤1、以水域中心点为原点建立三维坐标系；
步骤2、以水域中心向周围按照设定距离等距扩散同心圆，得到圆环，各圆环所在区域即是各采样圆环区域；
步骤3、以水域中心向下方按照设定距离等距离划分深度层；
步骤4、根据采样水体所在圆环和深度确认采样区域。
3.根据权利要求1所述的一种基于大数据平台的水质在线监测分析管理系统，其特征在于：所述水质检测点等距离布设在岸边20米处，并对布设的水质检测点按其对应的采样划分区域进行编号，所述水质监测点安放有检测分析用采样水质设备。
4.根据权利要求1所述的一种基于大数据平台的水质在线监测分析管理系统，其特征在于：所述水质信息采集模块基于可变窗特定趋势算法采用不同类型传感器实现水质信息采集。
5.根据权利要求4所述的一种基于大数据平台的水质在线监测分析管理系统，其特征在于：所述可变窗特定趋势算法值y(n)为：
式(1)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，u(x)为单位阶跃函数，且
N的取值直接影响信号趋势计算的结果，窗长短，趋势值对信号变化敏感，窗长计算出的趋势值较平滑；
为了同时表征并计算信号的正、负两种变化趋势，定义符号函数sqn(x)为：
为了在趋势计算中体现阶跃变化的信号，如采样水体深度、温度、pH、电导率、溶解氧和浑浊度，将深度传感器、水温传感器、pH传感器、电导率传感器、溶解氧传感器和浑浊度传感器的输出信号xi(n)(i＝1,2…,n)进行映射变换得：
式(4)中，mi(n)为深度信号、温度信号、pH信号、电导率信号、溶解氧信号和浑浊度信号，参数k为信号变化的最大(或最小)上升(或下降)速率；
由式(3)和式(4)可得可变窗特定趋势算法值y(n)为：
式(5)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，mi(n)为深度信号、温度信号、pH信号、电导率信号、溶解氧信号和浑浊度信号；
多种信号检测增加了可靠性与准确性，引入信号的稳态值(RW)，克服趋势抗干扰弱的缺点，定义两个新的函数符号sqn1(x)和sqn2(x)，
将窗长分为两部分，使趋势计算随信号的不同特征而变化，一部分取固定较小值，便于快速检测到信号，另一部分取变化值，随信号趋势逐渐增大，引入累加函数k(n)，
式(8)中，st为预警值，u(x)为单位阶跃函数，因此趋势计算中总的计算窗长为N’＝N+k(n)(9)
则以N’为窗长的可变窗长特定趋势算法计算式为：
式(10)中，N是用于观察数据的窗长，i＝j＝0,1,2,…n，RW为信号的稳态值。
6.根据权利要求1所述的一种基于大数据平台的水质在线监测分析管理系统，其特征在于：所述水质信息存储模块采用hdfs、hbase、rdbms、redis与mongodb存储引擎，hdfs用于存储水质信息原始数据和需要进行离线分析的数据，hbase用于存储终端的历史轨迹和状态体量大和海量物联网终端的历史数据的查询，rdbms用来存储终端基础数据、字典数据和数据分析结果，redis基于内存的kv数据库，用来缓存频繁更新和访问的数据，mongodb存储复杂的数据类型，包括分析好的数据报表以及设备汇报的日志信息，并对这些信息进行多维度的分析。
7.根据权利要求1所述的一种基于大数据平台的水质在线监测分析管理系统，其特征在于：所述大数据平台基于物联网模式满足现代化水质监测的需求，大数据平台汇集各域的结构化数据，智能感知与理解非结构化数据，进行精确的结构化数据采集，进行信息交换和通信，完成水质监控、测量、分析和存储管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310425107.XA CN116519895B (zh) | 2023-04-20 | 2023-04-20 | 一种基于大数据平台的水质在线监测分析管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310425107.XA CN116519895B (zh) | 2023-04-20 | 2023-04-20 | 一种基于大数据平台的水质在线监测分析管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116519895A CN116519895A (zh) | 2023-08-01 |
| CN116519895B true CN116519895B (zh) | 2024-03-29 |
Family
ID=87393418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310425107.XA Active CN116519895B (zh) | 2023-04-20 | 2023-04-20 | 一种基于大数据平台的水质在线监测分析管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116519895B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116519895B (zh) * | 2023-04-20 | 2024-03-29 | 安徽禾美环保集团有限公司 | 一种基于大数据平台的水质在线监测分析管理系统 |
| CN117167671B (zh) * | 2023-09-06 | 2024-05-14 | 深圳市科荣软件股份有限公司 | 一种基于大数据的管网运行监测控制系统 |
| CN117290559B (zh) * | 2023-11-22 | 2024-03-01 | 山东贵玉复合材料有限公司 | 一种水处理剂含量监测方法及系统 |
| CN118039013B (zh) * | 2024-04-12 | 2024-07-26 | 山东省海洋资源与环境研究院(山东省海洋环境监测中心、山东省水产品质量检验中心) | 一种海洋水质检测数据处理方法和系统 |
| CN118584078B (zh) * | 2024-08-06 | 2024-10-18 | 深圳市纽福斯科技有限公司 | 多点位分布式水体水质检测方法、系统、设备及存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105300909A (zh) * | 2015-12-02 | 2016-02-03 | 重庆大学 | 基于直接光谱法的全天候长流域水质监测与预警系统 |
| CN109495860A (zh) * | 2018-12-04 | 2019-03-19 | 广州优里贸易有限公司 | 一种实时智能的区域空气质量监测系统 |
| CN114755383A (zh) * | 2022-04-22 | 2022-07-15 | 武汉鸿驰智能装备有限公司 | 一种基于大数据平台的水质在线监测分析管理系统 |
| KR20220146864A (ko) * | 2021-04-26 | 2022-11-02 | 충북대학교 산학협력단 | 게임 이론을 이용한 스마트 팩토리 환경의 무선 센서 네트워크 자원 할당 방법 및 이를 기록한 기록매체 |
| CN116074123A (zh) * | 2023-03-15 | 2023-05-05 | 北京百汇安科技有限公司 | 一种物联网数字信息安全传输的方法 |
| CN116519895A (zh) * | 2023-04-20 | 2023-08-01 | 荆州市昊运水利机械工程有限公司 | 一种基于大数据平台的水质在线监测分析管理系统 |
| CN116798176A (zh) * | 2023-04-23 | 2023-09-22 | 李玉勤 | 基于大数据和智慧安防的数据管理系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100312579A1 (en) * | 2009-03-10 | 2010-12-09 | Searete Llc, A Limited Liability Corporation Of The State Delaware | Computational systems and methods for health services planning and matching |
| US12118790B2 (en) * | 2021-04-21 | 2024-10-15 | Meta Platforms, Inc. | Auto-capture of interesting moments by assistant systems |
-
2023
- 2023-04-20 CN CN202310425107.XA patent/CN116519895B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105300909A (zh) * | 2015-12-02 | 2016-02-03 | 重庆大学 | 基于直接光谱法的全天候长流域水质监测与预警系统 |
| CN109495860A (zh) * | 2018-12-04 | 2019-03-19 | 广州优里贸易有限公司 | 一种实时智能的区域空气质量监测系统 |
| KR20220146864A (ko) * | 2021-04-26 | 2022-11-02 | 충북대학교 산학협력단 | 게임 이론을 이용한 스마트 팩토리 환경의 무선 센서 네트워크 자원 할당 방법 및 이를 기록한 기록매체 |
| CN114755383A (zh) * | 2022-04-22 | 2022-07-15 | 武汉鸿驰智能装备有限公司 | 一种基于大数据平台的水质在线监测分析管理系统 |
| CN116074123A (zh) * | 2023-03-15 | 2023-05-05 | 北京百汇安科技有限公司 | 一种物联网数字信息安全传输的方法 |
| CN116519895A (zh) * | 2023-04-20 | 2023-08-01 | 荆州市昊运水利机械工程有限公司 | 一种基于大数据平台的水质在线监测分析管理系统 |
| CN116798176A (zh) * | 2023-04-23 | 2023-09-22 | 李玉勤 | 基于大数据和智慧安防的数据管理系统 |
Non-Patent Citations (5)
| Title |
|---|
| Data aggregation algorithm based on clustering for wireless sensor networks;Shaung Zhai;the international journal of advanced manufacturing technology;475-484 * |
| Evaluating entity-description conflict on duplicate data;lingli li;journal of combination optimal;第31卷;918-941 * |
| 基于博弈论的无线网络节点行为研究;黄莉;中国优秀博硕士学位论文全文数据库（硕士）信息科技辑;I136-473 * |
| 基于模糊聚类算法的图像分割研究;胡加亮;中国优秀博硕士学位论文全文数据库（硕士）信息科技辑;I138-800 * |
| 火灾探测信号处理算法及其性能评估方法研究;厉剑;中国优秀博硕士学位论文全文数据库（博士）信息科技辑;I140-99 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116519895A (zh) | 2023-08-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116519895B (zh) | 一种基于大数据平台的水质在线监测分析管理系统 | |
| CN106779418B (zh) | 基于神经网络和证据理论的水污染事件智能决策方法 | |
| CN112734694A (zh) | 一种基于大数据的水质监测方法 | |
| CN114047719A (zh) | 一种农村生活污水处理设施远程监测评估系统与运行方法 | |
| CN103235098A (zh) | 地下水在线水质监测系统 | |
| CN115080290B (zh) | 一种基于智能算法的异常数据检测方法及系统 | |
| CN112418737A (zh) | 一种区域水环境管理平台 | |
| CN116991146B (zh) | 一种超声波清洗装置的控制方法及系统 | |
| CN117195135B (zh) | 一种水污染异常溯源检测方法及系统 | |
| CN113610381A (zh) | 一种基于5g网络的水质远程实时监测系统 | |
| CN114839343B (zh) | 一种便携式水质监测巡检仪装置及使用方法 | |
| CN110309609A (zh) | 一种基于粗糙集和小波神经网络的建筑室内空气品质评价方法 | |
| CN115994692B (zh) | 基于5g和大数据的智慧河湖管理平台 | |
| CN117969789B (zh) | 一种地下水资源的水情预测方法及监测系统 | |
| CN117115637A (zh) | 一种基于大数据技术的水质监测预警方法及系统 | |
| CN115393817A (zh) | 一种多传感器信息融合的农机作业环境的识别方法及装置 | |
| AU2021106280A4 (en) | A Method of Water Environment Risk Assessment Based on Fuzzy Integral Model | |
| CN118350735A (zh) | 基于数字孪生的生鲜仓储物流在线监测系统及监测方法 | |
| CN117228853B (zh) | 一种河道生态修复方法及系统 | |
| CN117473134B (zh) | 一种用于污染物溯源的水资源监控管理方法及系统 | |
| CN117953398A (zh) | 一种基于无人机巡河技术的水域状况智能监测方法及系统 | |
| CN114638290B (zh) | 基于边缘计算和bp神经网络的环境监测仪器故障预测方法 | |
| CN113836813B (zh) | 一种基于数据分析的高炉风口漏水检测方法 | |
| CN115508528A (zh) | 一种河湖水质-水动力学在线智能监测系统和方法 | |
| CN108829084A (zh) | 一种基于粒子滤波的分布式智能故障诊断方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240221 Address after: 215-13, Block B, Phase III (South Area), Huguang Road, Shushan Economic and Technological Development Zone, Hefei, Anhui Province, 230000 Applicant after: Anhui Hemei Environmental Protection Group Co.,Ltd. Country or region after: China Address before: No. 16, Fangyin 3rd Road, Dongfang Avenue, Shashi District, Jingzhou City, Hubei Province, 434010 Applicant before: Jingzhou Haoyun Water Conservancy Machinery Engineering Co.,Ltd. Country or region before: China |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |