CN111510500A - 一种基于边缘计算的水质监测数据校准方法 - Google Patents
一种基于边缘计算的水质监测数据校准方法 Download PDFInfo
- Publication number
- CN111510500A CN111510500A CN202010319998.7A CN202010319998A CN111510500A CN 111510500 A CN111510500 A CN 111510500A CN 202010319998 A CN202010319998 A CN 202010319998A CN 111510500 A CN111510500 A CN 111510500A
- Authority
- CN
- China
- Prior art keywords
- water quality
- data calibration
- data
- monitoring
- calibration model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 222
- 238000012544 monitoring process Methods 0.000 title claims abstract description 137
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000004364 calculation method Methods 0.000 title claims abstract description 24
- 239000002352 surface water Substances 0.000 claims abstract description 19
- 230000007613 environmental effect Effects 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims description 22
- 238000012549 training Methods 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 7
- XKMRRTOUMJRJIA-UHFFFAOYSA-N ammonia nh3 Chemical compound N.N XKMRRTOUMJRJIA-UHFFFAOYSA-N 0.000 claims description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 6
- 239000001301 oxygen Substances 0.000 claims description 6
- 229910052760 oxygen Inorganic materials 0.000 claims description 6
- 238000011161 development Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 239000003381 stabilizer Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/18—Water
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/66—Arrangements for connecting between networks having differing types of switching systems, e.g. gateways
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A20/00—Water conservation; Efficient water supply; Efficient water use
- Y02A20/152—Water filtration
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Chemical & Material Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Educational Administration (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Economics (AREA)
- Computing Systems (AREA)
- Computer Security & Cryptography (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明公开了一种基于边缘计算的水质监测数据校准方法,涉及物联网技术领域。该方法包括以下步骤:获取微型水质监测站和环境地表水水质自动监测站的水质历史数据;基于XGBoost算法进行水质数据校准,建立水质数据校准模型;将获得的水质数据校准模型基于TCP/IP协议远程更新至边缘网关;在边缘网关使用水质数据校准模型并根据外部环境的不同定期调整更新水质数据校准模型至边缘网关。本申请实现了在终端硬件进行实时数据的校准,节省了网络流量,降低了云端服务器的计算压力;提高了微型水质监测站的精度和准确率,并通过定期进行水质数据校准模型的优化更新,使其适应外部环境,能够实际应用于嵌入式设备的开发及环保大数据平台。
Description
技术领域
本发明涉及物联网技术领域,具体涉及一种基于边缘计算的水质监测数据校准方法。
背景技术
随着经济的迅速发展,环境问题尤其是水环境与水生态问题日益突出。水环境恶化对经济的发展产生严重影响和制约。通常通过建设水质监测站对重点地区进行水质监控,但是高精度的水质监测站建设成本高,测量频率低,难以进行大规模的安装。江苏卓易信息科技股份有限公司自主研发了一种成本较低、精度一般的微型水质监测站来监测水质数据,能够对水质数据进行高频测量,且成本得到了有效的控制,但是微型水质监测站精度较低,且准确率不高,存在一定的错误率。
基于机器学习的设备校准方法能够有效地对设备进行校准。Muhammad A. Razi等提出了回归树的模型CART树,该方法改进了决策树模型,解决了决策树只能用于分类,不能进行回归分析的问题,Chen T等(2016)提出了一种集成树模型XGBoost,该方法基于GBDT算法进行改进,通过集成多个决策树或回归树,从而组成一个功能更强大的机器学习模型。陈援非等提出了一种基于机器学习算法的云端数据联调校准方法,对空气监测数据进行校准,该方法能够在一定程度上解决了测量数据偏移的问题。但是传统的机器学习校准模型都是基于云端服务器来实现的,云端服务器计算压力大,网络流量消耗大,云端服务器不便于接入更多的终端设备进行大规模的推广。
发明内容
针对现有技术存在的上述问题,本发明所要解决的技术问题在于提供一种基于边缘计算的水质监测数据校准方法。
为了解决上述技术问题,本发明所采用的技术方案如下:
一种基于边缘计算的水质监测数据校准方法,包括以下步骤:
1)分别获取微型水质监测站的水质历史数据和环境地表水水质自动监测站的水质历史数据;
2)云端服务器基于XGBoost算法进行水质数据校准,建立水质数据校准模型;
3)将步骤2)获得的水质数据校准模型基于TCP/IP协议远程更新至边缘网关;
4)在边缘网关使用水质数据校准模型并根据外部环境的不同定期调整更新水质数据校准模型至边缘网关。
进一步的,步骤2)中,云端服务器基于XGBoost算法进行水质数据校准,建立水质数据校准模型包括以下步骤:选择物联网终端环境的电压、电平、温度、水质浊度、水质电导率与微型水质监测站的各个监测指标的监测值作为水质数据校准模型的树节点,以环境地表水水质自动监测站的水质历史数据为学习样本数据,使用XGBoost算法对微型水质监测站的各个监测指标进行模型训练,得到水质数据校准模型。
进一步的,微型水质监测站的各个监测指标为pH、溶解氧、氨氮、高锰酸盐指数、温度、水质浊度、水质电导率。
进一步的,使用XGBoost算法对微型水质监测站的pH、溶解氧、氨氮、高锰酸盐指数4个监测指标进行模型训练,得到水质数据校准模型。
进一步的,使用平均绝对误差MAE值对水质数据校准模型进行评价,平均绝对误差MAE值越小,水质数据校准模型越优。
进一步的,步骤4)中,在边缘网关使用水质数据校准模型的步骤如下:
根据水质数据校准模型的参数列表,边缘网关获取物联网终端环境的电压、电平、温度、水质浊度、水质电导率的当前值,将物联网终端环境的电压、电平、温度、水质浊度、水质电导率的当前值与微型水质监测站的各个监测指标的监测值输入水质数据校准模型,并基于水质数据校准模型进行校准结果计算,边缘网关基于预设的规则对校准结果进行二次规则校验,边缘网关将通过校验的结果发送至云端服务器,将未通过校验的结果进行本地日志记录。
进一步的,边缘网关基于预设的规则对校准结果进行二次规则校验具体为:
规则1:基于微型水质监测站各监测指标的历史数据,在云端服务器设置监测指标的区间范围,并更新至边缘网关;如果监测指标的监测值不在区间范围内,则校验不通过,否则通过规则1的校验;
规则2:在边缘网关比较当前微型水质监测站各监测指标的监测值以及终端环境的电压、电平、温度、水质浊度、水质电导率的当前值与上一条数据的记录是否全部相同,如果相同,则判定为重复数据,校验不通过,否则通过规则2 的校验。
进一步的,步骤4)中,根据外部环境的不同定期调整更新水质数据校准模型至边缘网关的步骤如下:
A、每月定期对水质监测站的终端设备进行巡检,同时对终端设备的SDK 卡中的历史数据进行拷贝;检查SDK卡状态,如果已写满,则在拷贝完成后清空SDK数据;
B、在云端服务器通过数据交换的方式,获取环境地表水水质自动监测站的水质历史数据;
C、云端服务器基于微型水质监测站的水质历史数据及环境地表水水质自动监测站的水质历史数据,进行基于XGBoost的水质数据校准模型训练;
D、通过TCP/IP协议将云端服务器训练的水质数据校准模型远程覆盖更新至边缘网关;
E、定期执行步骤A至步骤D,使水质数据校准模型随着外部环境的不同而不断更新。
进一步的,微型水质监测站通过外置集成机柜,将传感器集成在机柜内,集成机柜内部安装有采水泵,通过采水口,将水样抽至机柜内;所述集成机柜内温度为5-35℃,相对湿度≤90%RH。
本申请的基于边缘计算的水质监测数据校准方法,首先,分别获取微型水质监测站和环境地表水水质自动监测站的历史数据,并基于XGBoost算法建立水质数据校准模型,其次,将水质数据校准模型通过TCP/IP协议远程更新至边缘网关,实现在终端硬件进行实时数据的校准。
有益效果:相比于现有技术,本发明的优点为:
1)本申请的基于边缘计算的水质监测数据校准方法,终端不需要将所有的参数数据发送给云端,从而有效地节省了网络流量,且计算均在终端进行,可以极大的降低云端服务器的计算压力;
2)本申请的基于边缘计算的水质监测数据校准方法,能够有效地提高微型水质监测站的精度和准确率,通过每月定期进行水质数据校准模型的优化和更新,水质数据校准模型能够适应周边环境的变化,能够实际应用于嵌入式设备的开发及环保大数据平台。
附图说明
图1是英特尔Quark SoC X1000处理器的示意图;
图2是微型水质监测站的实景图;
图3是微型水质监测站点的分布图;
图4是本申请基于边缘计算的水质监测数据校准方法的总体流程示意图;
图5是基于边缘网关的模型应用流程图。
具体实施方式
下面结合具体实施例对本发明进一步进行描述。
实施例1
本实施例样区为江苏省宜兴市乌溪港。宜兴境内河网密布,纵横交叉,丘陵山区多为溪流涧河,平原圩区为河网,约有河道3700条,总长3242km。乌溪港位于宜兴市丁蜀镇内,乌溪港桥断面汇水范围内水系以乌溪港为主干河道、并包括西渡河、长征河、长闽河、农场河、横荡河和定跨港6条支河流。
本实施例使用江苏卓易信息科技股份公司的微型水质监测站,集成了浙江微兰环境科技有限公司的传感器,微型水质监测站监测指标及监测指标的技术参数如表1所示。
表1微型水质监测站监测指标及其技术参数
本实施例终端环境下的边缘网关使用英特尔Quark SoC X1000处理器作为主控制器,如图1所示,英特尔Quark SoC X1000处理器是基于英特尔X86架构的超低功耗的SoC,拥有更高的安全性和更强的可管理性,位于15毫米× 15毫米封装中的集成I/O接口、时钟和稳压器简化了设计。结合水质监测数据采集具体应用场景,扩展出RS232、RS485、IIC、SPI等接口。设备嵌入式平台采用基于Yocto项目的开源嵌入式Linux实时操作系统,通过对系统的高度定制,简化不必要的模块,使系统性能达到最佳,确保为数据采集应用程序提供稳定、可靠的运行平台。
微型水质监测站实景图如图2所示,通过外置集成机柜,将传感器集成在机柜内。集成机柜内部安装有采水泵,通过采水口,将水样从河流内抽至机柜内,采水口采集的水样具有代表性、可靠性和连续性。机柜内内安装空调,空调功率1.5kW,保证柜内环境温度在5-35℃范围、相对湿度≤90%RH。
本实施例在乌溪港地区设置5个微型水质监测站,用于监测水质数据,微型水质监测站分布如图3所示。其中汉光站建设在江苏省环境地表水水质自动监测站(黄渎港站)附近,用于与江苏省环境地表水水质自动监测站的水质数据进行对比,并以江苏省环境地表水水质自动监测站的水质数据为学习样本,建立水质数据校准模型,以提高卓易微型水质监测站的测量精度。
实施例2
黄渎港水质监测站为江苏省环境地表水水质自动监测站,水质监测数据精度高,在黄渎港站附近建立相应的水质监测站,本实施例以黄渎港水质监测站的水质数据作为学习样本,进行基于XGBoost的水质数据校准。总体的方法流程示意图见图4所示,首先分别获取微型水质监测站的水质历史数据和江苏省环境地表水水质自动监测站(黄渎港站)的水质历史数据,并进行基于XGBoost 的水质数据校准,建立水质数据校准模型,然后将水质数据校准模型通过4g网络并基于TCP/IP协议远程更新至边缘网关,边缘网关在物联网终端获取当前的终端环境,并输入水质数据校准模型,进行水质数据校准,并且对校准结果进行二次规则校验,最后边缘网关将校准结果发送至云端。通过每月定期进行水质数据校准模型的优化和更新,水质数据校准模型能够适应周边环境的变化,且可以有效的提高精度和准确率。
(1)基于XGBoost的水质数据校准模型
本申请基于XGBoost进行水质数据的回归分析,选择cart树算法作为模型的回归树,基于XGBoost算法进行集成学习。XGBoost的目标函数如式(1) 所示,其中,代表损失函数,为模型预测值,yi为真实值,选取平方损失函数,即k代表一共有k颗树,fm代表第m颗树的函数模型,Ω(f)为正则项,γ和λ为常量系数,T表示每颗树的叶子节点数量,ω为每棵树的叶子节点的分数组成的集合。
XGBoost算法通过不断地添加树来优化模型,每添加一棵树,即添加一个新的函数,模型表达式如式(2)所示,其中ft(x)代表第t颗树的函数模型。每次新增的树函数都必须尽量是目标函数降低。
本申请基于物联网终端环境来进行水质数据的校准,选择终端硬件的电压、电平,以及终端环境的温度,水质浊度,水质电导率、指标的监测值,作为水质数据校准模型的参数,使用江苏省环境地表水水质自动监测站(黄渎港站) 的水质历史数据作为学习样本数据,对微型水质监测站的各个监测指标进行模型训练。其具体步骤如下:
I、分别获取江苏省环境地表水水质自动监测站(黄渎港站)的近期的水质历史数据及微型水质监测站的水质历史数据。
II、选择终端设备检测到的电压、电平,温度,水质浊度和水质电导率,及微型水质监测站的各个监测指标的监测值作为水质数据校准模型的树节点,使用XGBoost算法进行模型训练。
III、使用平均绝对误差对模型进行评价,评价标准如式(3)所示,MAE 值越小,代表模型越优。
IV、调整模型的常量系数γ和λ,使得MAE值最小。
分别对pH、溶解氧、氨氮、高锰酸盐指数这4个监测指标进行模型训练,最后得到针对监测指标的4个校准模型。
(2)基于边缘网关的模型应用及更新方法
在边缘网关使用水质数据校准模型的过程如图5所示,其步骤如下:
①根据水质数据校准模型的参数列表,边缘网关获取终端环境的电压、电平、温度、水质浊度、水质电导率的当前值;
②将终端环境的电压、电平、温度、水质浊度、水质电导率的当前值及微型水质监测站的各个监测指标的监测值输入水质数据校准模型,并基于水质数据校准模型进行校准结果计算;
③设置校验规则,边缘网关对校准结果进行规则校验;如果通过校验,则继续步骤④,否则转步骤⑤;
④边缘网关将校准后的监测数据及原始监测数据发送至云端服务器,将参数列表及原始监测数据保存至本地SDK卡;
⑤边缘网关将校验日志记录至本地SDK卡。
其中,步骤③中校验规则主要是针对错误数据及重复数据进行二次校验,其具体规则如下:
规则1:基于微型水质监测站各监测指标的历史数据,在云端设置指标的区间范围,并更新至边缘网关。如果监测指标的数值不在规则的区间范围内,则校验不通过,否则通过规则1的校验;
规则2:在边缘网关比较当前微型水质监测站各监测指标的监测值以及终端环境的电压、电平、温度、水质浊度、水质电导率的当前值与上一条数据的记录是否全部相同,如果相同,则判定为重复数据,校验不通过,否则通过规则 2的校验。
随着环境(例如大气环境,周边自然环境或社会环境)的不同,水质数据校准模型需要不断进行调整更新。将云端服务器训练的水质数据校准模型远程更新至边缘网关的步骤如下:
A、每月定期对水质监测站的终端设备进行巡检,同时对终端设备的SDK 卡中的水质历史数据进行拷贝。检查SDK卡状态,如果已写满,则在拷贝完成后清空SDK数据;
B、在云端服务器通过数据交换的方式,获取江苏省环境地表水水质自动监测站(黄渎港站)的水质历史数据;
C、基于微型水质监测站的水质历史数据及江苏省环境地表水水质自动监测站(黄渎港站)的水质历史数据,进行基于XGBoost的水质数据校准模型训练;
D、通过TCP/IP协议将水质数据校准模型远程覆盖更新至边缘网关;
E、定期执行步骤A至步骤D,使模型随着外部环境的不同而不断更新。
(3)水质数据校准结果分析
本实施例采用的操作系统为Windows 7专业版,使用的开发语言为Java1.8 及Python 3.6,CPU是Intel Core i7,内存为16G,硬盘位PCIe SSD,显卡为 GeoforceGTX1060。通过对2019年4月、5月两个月的数据进行校准,结果如表2所示:结果表明,经过模型校准后,总体误差均控制在4%以内,其中PH,溶解氧和氨氮总体误差均控制在3%以内,并且误差基本上再20%以内,偏离程度较低。
表2水质数据校准结果分析
使用基于边缘计算的方式进行模型校准,由于终端不需要将所有的参数数据发送给云端,因此有效地节省了网络流量,而且计算过程在终端进行,在一定程度上降低了云端服务器压力。本实施例分别统计2019年4月基于边缘计算的方式进行数据校准及在云端进行数据校准的方法的网络流量消耗及CPU平均占用率,结果如表3所示,可以看出,与云端计算相比,边缘计算的方法将流量消耗降低了30.1%,CPU占率率降低了25%。
表3:水质数据校准结果分析
监测指标 | 单站点流量消耗 | 云端CPU占用率 |
边缘计算 | 37.26MB | 43% |
云端计算 | 26.04MB | 18% |
Claims (9)
1.一种基于边缘计算的水质监测数据校准方法,其特征在于,包括以下步骤:
1)分别获取微型水质监测站的水质历史数据和环境地表水水质自动监测站的水质历史数据;
2)云端服务器基于XGBoost算法进行水质数据校准,建立水质数据校准模型;
3)将步骤2)获得的水质数据校准模型基于TCP/IP协议远程更新至边缘网关;
4)在边缘网关使用水质数据校准模型并根据外部环境的不同定期调整更新水质数据校准模型至边缘网关。
2.根据权利要求1所述的基于边缘计算的水质监测数据校准方法,其特征在于,步骤2)中,云端服务器基于XGBoost算法进行水质数据校准,建立水质数据校准模型包括以下步骤:选择物联网终端环境的电压、电平、温度、水质浊度、水质电导率与微型水质监测站的各个监测指标的监测值作为水质数据校准模型的树节点,以环境地表水水质自动监测站的水质历史数据为学习样本数据,使用XGBoost算法对微型水质监测站的各个监测指标进行模型训练,得到水质数据校准模型。
3.根据权利要求2所述的基于边缘计算的水质监测数据校准方法,其特征在于,所述微型水质监测站的各个监测指标为pH、溶解氧、氨氮、高锰酸盐指数、温度、水质浊度、水质电导率。
4.根据权利要求2所述的基于边缘计算的水质监测数据校准方法,其特征在于,使用XGBoost算法对微型水质监测站的pH、溶解氧、氨氮、高锰酸盐指数4个监测指标进行模型训练,得到水质数据校准模型。
5.根据权利要求2所述的基于边缘计算的水质监测数据校准方法,其特征在于,使用平均绝对误差MAE值对水质数据校准模型进行评价,平均绝对误差MAE值越小,水质数据校准模型越优。
6.根据权利要求1所述的基于边缘计算的水质监测数据校准方法,其特征在于,步骤4)中,在边缘网关使用水质数据校准模型的步骤如下:
根据水质数据校准模型的参数列表,边缘网关获取物联网终端环境的电压、电平、温度、水质浊度、水质电导率的当前值,将物联网终端环境的电压、电平、温度、水质浊度、水质电导率的当前值与微型水质监测站的各个监测指标的监测值输入水质数据校准模型,并基于水质数据校准模型进行校准结果计算,边缘网关基于预设的规则对校准结果进行二次规则校验,边缘网关将通过校验的结果发送至云端服务器,将未通过校验的结果进行本地日志记录。
7.根据权利要求6所述的基于边缘计算的水质监测数据校准方法,其特征在于,所述边缘网关基于预设的规则对校准结果进行二次规则校验具体为:
规则1:基于微型水质监测站各监测指标的历史数据,在云端服务器设置监测指标的区间范围,并更新至边缘网关;如果监测指标的监测值不在区间范围内,则校验不通过,否则通过规则1的校验;
规则2:在边缘网关比较当前微型水质监测站各监测指标的监测值以及终端环境的电压、电平、温度、水质浊度、水质电导率的当前值与上一条数据的记录是否全部相同,如果相同,则判定为重复数据,校验不通过,否则通过规则2的校验。
8.根据权利要求1所述的基于边缘计算的水质监测数据校准方法,其特征在于,步骤4)中,根据外部环境的不同定期调整更新水质数据校准模型至边缘网关的步骤如下:
A、每月定期对水质监测站的终端设备进行巡检,同时对终端设备的SDK卡中的历史数据进行拷贝;检查SDK卡状态,如果已写满,则在拷贝完成后清空SDK数据;
B、在云端服务器通过数据交换的方式,获取环境地表水水质自动监测站的水质历史数据;
C、云端服务器基于微型水质监测站的水质历史数据及环境地表水水质自动监测站的水质历史数据,进行基于XGBoost的水质数据校准模型训练;
D、通过TCP/IP协议将云端服务器训练的水质数据校准模型远程覆盖更新至边缘网关;
E、定期执行步骤A至步骤D,使水质数据校准模型随着外部环境的不同而不断更新。
9.根据权利要求1所述的基于边缘计算的水质监测数据校准方法,其特征在于,所述微型水质监测站通过外置集成机柜,将传感器集成在机柜内,集成机柜内部安装有采水泵,通过采水口,将水样抽至机柜内;所述集成机柜内温度为5-35℃,相对湿度≤90%RH。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010319998.7A CN111510500B (zh) | 2020-04-21 | 2020-04-21 | 一种基于边缘计算的水质监测数据校准方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010319998.7A CN111510500B (zh) | 2020-04-21 | 2020-04-21 | 一种基于边缘计算的水质监测数据校准方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111510500A true CN111510500A (zh) | 2020-08-07 |
CN111510500B CN111510500B (zh) | 2023-03-31 |
Family
ID=71864847
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010319998.7A Active CN111510500B (zh) | 2020-04-21 | 2020-04-21 | 一种基于边缘计算的水质监测数据校准方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111510500B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112087528A (zh) * | 2020-09-29 | 2020-12-15 | 南昌工程学院 | 一种基于深度学习的水环境智能监测系统及方法 |
CN112187932A (zh) * | 2020-09-29 | 2021-01-05 | 长江勘测规划设计研究有限责任公司 | 基于边缘计算的中小型水库大坝智能监测预警方法 |
CN112801145A (zh) * | 2021-01-12 | 2021-05-14 | 深圳市中博科创信息技术有限公司 | 安全监测方法、装置、计算机设备及存储介质 |
CN112859700A (zh) * | 2021-01-22 | 2021-05-28 | 江苏智水智能科技有限责任公司 | 基于物联网技术的测控系统 |
WO2023030513A1 (zh) * | 2021-09-05 | 2023-03-09 | 汉熵通信有限公司 | 物联网系统 |
WO2023115159A1 (en) * | 2021-12-23 | 2023-06-29 | Max Finselbach | System and method for remotely monitoring water quality |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104931669A (zh) * | 2015-06-02 | 2015-09-23 | 苏州高新区、虎丘区环境监测站 | 一种地表水水质自动监测集成系统 |
CN107657348A (zh) * | 2017-10-13 | 2018-02-02 | 上环境科技(金华)有限公司 | 一种基于物联网的全方位水质智能监管方法及其系统 |
CN108171259A (zh) * | 2017-12-13 | 2018-06-15 | 南京理工大学 | 一种基于NB-IoT的智慧末梢水质监测系统及方法 |
CN109284619A (zh) * | 2018-11-07 | 2019-01-29 | 重庆光电信息研究院有限公司 | 异源城市物联网的区域定置式边缘计算系统及方法 |
CN109740286A (zh) * | 2019-01-21 | 2019-05-10 | 北京工业大学 | 一种混合优化bp神经网络的湖泊水质预测模型构建方法 |
CN109859183A (zh) * | 2019-01-29 | 2019-06-07 | 江河瑞通(北京)技术有限公司 | 基于边缘计算的多要素一体化水体智能识别方法及生态站 |
-
2020
- 2020-04-21 CN CN202010319998.7A patent/CN111510500B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104931669A (zh) * | 2015-06-02 | 2015-09-23 | 苏州高新区、虎丘区环境监测站 | 一种地表水水质自动监测集成系统 |
CN107657348A (zh) * | 2017-10-13 | 2018-02-02 | 上环境科技(金华)有限公司 | 一种基于物联网的全方位水质智能监管方法及其系统 |
CN108171259A (zh) * | 2017-12-13 | 2018-06-15 | 南京理工大学 | 一种基于NB-IoT的智慧末梢水质监测系统及方法 |
CN109284619A (zh) * | 2018-11-07 | 2019-01-29 | 重庆光电信息研究院有限公司 | 异源城市物联网的区域定置式边缘计算系统及方法 |
CN109740286A (zh) * | 2019-01-21 | 2019-05-10 | 北京工业大学 | 一种混合优化bp神经网络的湖泊水质预测模型构建方法 |
CN109859183A (zh) * | 2019-01-29 | 2019-06-07 | 江河瑞通(北京)技术有限公司 | 基于边缘计算的多要素一体化水体智能识别方法及生态站 |
Non-Patent Citations (4)
Title |
---|
FANGLING PU等: "Unified Management and Control of Heterogeneous Water Quality Measuring Devices via Edge Computing Nodes", 《2017 IEEE SENSORS》 * |
KATHLEEN JOSLYN: "Water Quality Factor Prediction Using Supervised Machine Learning", 《REU FINAL REPORTS》 * |
蔡旺华: "运用机器学习方法预测空气中臭氧浓度", 《中国环境管理》 * |
谢学和: "水质自动监测站在水环境监测中的应用", 《区域治理》 * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112087528A (zh) * | 2020-09-29 | 2020-12-15 | 南昌工程学院 | 一种基于深度学习的水环境智能监测系统及方法 |
CN112187932A (zh) * | 2020-09-29 | 2021-01-05 | 长江勘测规划设计研究有限责任公司 | 基于边缘计算的中小型水库大坝智能监测预警方法 |
CN112087528B (zh) * | 2020-09-29 | 2023-09-19 | 南昌工程学院 | 一种基于深度学习的水环境智能监测系统及方法 |
CN112801145A (zh) * | 2021-01-12 | 2021-05-14 | 深圳市中博科创信息技术有限公司 | 安全监测方法、装置、计算机设备及存储介质 |
CN112801145B (zh) * | 2021-01-12 | 2024-05-28 | 深圳市中博科创信息技术有限公司 | 安全监测方法、装置、计算机设备及存储介质 |
CN112859700A (zh) * | 2021-01-22 | 2021-05-28 | 江苏智水智能科技有限责任公司 | 基于物联网技术的测控系统 |
WO2023030513A1 (zh) * | 2021-09-05 | 2023-03-09 | 汉熵通信有限公司 | 物联网系统 |
WO2023115159A1 (en) * | 2021-12-23 | 2023-06-29 | Max Finselbach | System and method for remotely monitoring water quality |
Also Published As
Publication number | Publication date |
---|---|
CN111510500B (zh) | 2023-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111510500B (zh) | 一种基于边缘计算的水质监测数据校准方法 | |
CN111505433B (zh) | 一种低压台区户变关系纠错及相位识别方法 | |
CN102183621B (zh) | 水产养殖溶解氧浓度在线预测方法及系统 | |
CN113281697B (zh) | 一种运行误差在线分析方法及系统 | |
CN112926265A (zh) | 基于遗传算法优化神经网络的大气多孔探针测量校准方法 | |
CN111259522B (zh) | 一种水文模型在地理空间上多流域并行率定的方法 | |
CN110430578B (zh) | 基于移动终端数据实现小区方位角预测的方法 | |
CN105069537A (zh) | 一种组合式空气质量预报模型的构建方法 | |
CN112348290B (zh) | 河流水质预测方法、装置、存储介质及设备 | |
CN113406558B (zh) | 基于线性回归的电表失准检测方法、装置及电子设备 | |
CN113447879A (zh) | 基于多应力影响的电能表计量误差预测方法、系统及装置 | |
CN108615054B (zh) | 排水管网节点间相似性衡量的综合指标构建方法 | |
CN116662840A (zh) | 一种基于机器学习的低压台区用户相位识别方法 | |
CN116702926A (zh) | 一种空气质量模式预报机器学习集成订正方法 | |
CN103235216A (zh) | 一种基于LabVIEW的增氧机自动测试系统 | |
CN107729593B (zh) | 一种基于支持向量机的绝缘子检测机器人测量电压值修正方法 | |
CN116484554A (zh) | 一种配电网的拓扑辨识方法、装置、设备及介质 | |
CN114565186A (zh) | 一种基于广义回归神经网络的预测风速校正方法和系统 | |
CN115345343A (zh) | 一种供水管网浊度的预测方法及预测装置 | |
CN112528566A (zh) | 基于AdaBoost训练模型的空气质量数据实时校准方法及系统 | |
CN106022972B (zh) | 一种基于状态矩阵对称性的配电网异常数据辨识方法 | |
CN117335912B (zh) | 一种频谱智能感知方法及系统 | |
Liu et al. | A method for calibrating measurement data of a micro air quality monitor based on MLR-BRT-ARIMA combined model | |
CN115994639B (zh) | 一种基于冗余分析的水网格局与地形地貌关联性评价方法 | |
CN117113261B (zh) | 一种电力物联网异常检测方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |