CN108614071B - 分布式室外大气质量监测精度校正系统及参数更新方法 - Google Patents

分布式室外大气质量监测精度校正系统及参数更新方法 Download PDF

Info

Publication number
CN108614071B
CN108614071B CN201810235239.5A CN201810235239A CN108614071B CN 108614071 B CN108614071 B CN 108614071B CN 201810235239 A CN201810235239 A CN 201810235239A CN 108614071 B CN108614071 B CN 108614071B
Authority
CN
China
Prior art keywords
correction
sensor
distributed
sensor terminal
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810235239.5A
Other languages
English (en)
Other versions
CN108614071A (zh
Inventor
李双双
张文生
韩刚
张征
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN201810235239.5A priority Critical patent/CN108614071B/zh
Publication of CN108614071A publication Critical patent/CN108614071A/zh
Application granted granted Critical
Publication of CN108614071B publication Critical patent/CN108614071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/0004Gaseous mixtures, e.g. polluted air
    • G01N33/0006Calibrating gas analysers
    • G01N33/0008Details concerning storage of calibration data, e.g. in EEPROM
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00Measuring or testing not otherwise provided for
    • G01D21/02Measuring two or more variables by means not covered by a single other subclass

Abstract

本发明属于大气质量监测技术领域,具体涉及一种分布式室外大气质量监测精度校正系统及参数更新方法,旨在解决大范围分布式大气监测系统精度校正问题,该系统包括Hadoop云平台、分布于监测站的传感器终端;所述Hadoop云平台与所述传感器终端通过通信链路连接;所述传感器终端集群性划分;所述Hadoop云平台包括采用HDFS文件存储系统来进行分布式存储分布式文件存储模块、对各集群的所述传感器终端分别进行采集模型的并行化校正计算获取各传感器终端的校正模型参数的并行化校正算法模块、判断传感器终端是否需要启动校正的智能校正模块。本发明可以适时在线自动调整各传感器终端的校正模型参数,获得更加精准的监测数据。

Description

分布式室外大气质量监测精度校正系统及参数更新方法
技术领域
本发明属于大气质量监测技术领域,具体涉及一种分布式室外大气质量监测精度校正系统及参数更新方法。
背景技术
近十几年来,随着工业的发展以及汽车保有量的不断增加,空气污染问题日渐严重,PM10、PM2.5、PM1.0、NO2、SO2、CO、O3等污染物成为影响人体健康的关键因素,因此对大气质量进行精准监测就显得尤为重要。
目前在大气质量监测领域中,有害气体检测方法可大致分为两类:一类是长光程方法,另一类是传感器检测方法。常用的化学分析方法,如采用差分吸收光谱法原理的长光程法,虽然有检测精度高的优点,但存在仪器成本高,需要专业检测人员操作以及检测周期偏长等缺点,同时也不适用于分布式大范围大气质量监测的场合。传感器检测主要采用金属氧化物半导体型气体传感器或电化学型气体传感器。金属氧化物半导体型气体传感器虽然成本低,但其受环境温湿度影响较大,且存在一致性不好、选择性较差等缺陷,实际工作过程中往往表现不佳;电化学型气体传感器较金属氧化物半导体型气体传感器精度要高,但也易受温湿度的影响,现场实用时需要进行人工校正。
此外,一方面,传感器检测方法还存在传感器漂移问题,即人工校正后的算法在工作一段时间以后不再匹配传感器的响应,导致监测精度下降或者监测值不准。另一方面,由于气体传感器本身制作材料及制作工艺的差异性,同一批次的传感器在测量同一环境的空气质量的时候往往得出的结果存在差异性,这给装置的校正带来了难度,尤其在面对大范围分布式大气监测系统精度校正的场合。
发明内容
为了解决现有技术中的上述问题,即为了解决大范围分布式大气监测系统精度校正问题,本发明的一方面,提出了一种分布式室外大气质量监测精度校正系统,包括Hadoop云平台、分布于监测站的传感器终端;所述Hadoop云平台与所述传感器终端通过通信链路连接;
所述传感器终端,配置为监测大气质量并发送所述Hadoop云平台,还配置为依据所述并行化校正算法模块输出的校正模型参数进行参数更新;所述传感器终端集群性划分;
所述Hadoop云平台包括分布式文件存储模块、并行化校正算法模块、智能校正模块;
所述分布式文件存储模块,采用Hadoop的HDFS文件存储系统来进行分布式存储;
所述并行化校正算法模块,用于对各集群的所述传感器终端分别进行采集模型的并行化校正计算,得到各传感器终端的校正模型参数;
所述智能校正模块,用于判断传感器终端是否需要启动校正。
本发明一种优选的实时方式中,所述并行化校正算法模块,基于MapReduce分布式编程架构进行设计,包括第一Map函数处理单元、第二Map函数处理单元、Reduce阶段处理单元;
所述第一Map函数处理单元,用于将HDFS中存储的各个传感器终端的数据按照监测站的传感器集群进行划分;
所述第二Map函数处理单元,用于将每个传感器集群中各传感器终端数据和监测站的数据进行组合;
所述Reduce阶段处理单元,用于基于所述第二Map函数处理单元的输出计算每个传感器终端的校正模型参数。
本发明一种优选的实时方式中,各集群的所述传感器终端围绕监测站分布,该监测站发布的各类污染气体浓度值可以作为该集群各所述传感器终端采集模型校正中的正确值。
本发明一种优选的实时方式中,所述分布式文件存储模块存储有实时获取的各传感器上传的各类污染气体的浓度信息、以及监测站温度信息和湿度信息。
本发明一种优选的实时方式中,“基于所述第二Map函数处理单元的输出计算每个传感器终端的校正模型参数”,其方法为:
θ=(KTK)-1KTY
其中,θ为被监测污染气体的校正模型参数,K为传感器终端数据的K矩阵,Y为监测站采集的对应监测的污染气体的数据组成的向量;
Figure BDA0001603730590000031
该表达式中,g为所采集污染气体种类的数量,n为历史数据样本大小,
Figure BDA0001603730590000032
Figure BDA0001603730590000033
为第g类污染气体的第n个样本数据归一化值,
Figure BDA0001603730590000034
为温度t的第n个样本数据归一化值,
Figure BDA0001603730590000035
为湿度h的第n个样本数据归一化值,c为被监测污染气体对应常数。
本发明一种优选的实时方式中,“判断传感器终端是否需要启动校正”,其方法为:
统计每个采集周期的第j个集群所述传感器终端的第q类污染气体的误差率之和Ej
统计Ej大于设定误差率阈值Eset的次数C;
若C大于设定次数Cset,则第j个集群第q类污染气体需要启动校正;
其中:
Figure BDA0001603730590000041
p为第j个集群所述传感器终端的数量,ei为该集群中第i个传感器终端的第q类污染气体误差率。
本发明一种优选的实时方式中,所述精度校正系统还包括用户终端;
所述用户终端与所述Hadoop云平台通过通信链路连接,用于进行数据访问以及数据显示。
本发明的另一方面,提出了一种分布式室外大气质量监测精度校正系统参数更新方法,基于权利要求1-7任一项所述的分布式室外大气质量监测精度校正系统,包括以下步骤:
步骤S1,基于所述分布式文件存储模块中存储的历史数据,将对第j个集群所述传感器终端所采集的各类污染气体的体积浓度转换为质量浓度值;
步骤S2,对步骤S1中转化得到的各类污染气体的质量浓度值、以及所述分布式文件存储模块中存储温度值、湿度值进行归一化处理;
步骤S3,基于所需校正模型参数的污染气体对应的c值,根据高斯核函数来计算样本数据的K矩阵
Figure BDA0001603730590000042
其中,g为所采集污染气体种类的数量,n为历史数据样本大小,
Figure BDA0001603730590000052
为第g类污染气体的第n个样本数据归一化值,
Figure BDA0001603730590000053
为温度t的第n个样本数据归一化值,
Figure BDA0001603730590000054
为湿度h的第n个样本数据归一化值,c为被监测污染气体对应常数;
步骤S4,计算感器终端的污染气体的校正模型参数θ,并更新第j个集群各所述传感器终端的校正模型参数;
θ=(KTK)-1KTY
其中,
Figure BDA0001603730590000057
Y为监测站采集的对应监测的污染气体的数据组成的向量。
本发明一种优选的实时方式中,该方法还包括判断传感器终端是否需要启动校正的步骤,包括:
统计每个采集周期的第j个集群所述传感器终端的第q类污染气体的误差率之和Ej
统计Ej大于设定误差率阈值Eset的次数C;
若C大于设定次数Cset,则第j个集群第q类污染气体需要启动校正;
其中:
p为第j个集群所述传感器终端的数量,ei为该集群中第i个传感器终端的第q类污染气体误差率。
本发明一种优选的实时方式中,第j个集群各传感器终端第q类污染气体误差率e通过如下公式计算:
Figure BDA0001603730590000056
其中,yreal为第j个集群中检测站的真实值,f(K)为对应传感器终端计算得到的测量值。
本发明一种优选的实时方式中,步骤S3中各类样本数据归一化值的计算方法为:
Figure BDA0001603730590000061
其中,xa为样本数据归一化值,x为污染气体样本数据的质量浓度或对应同组数据的温度值或湿度值,xmin为数据库中样本数据的最小值,xmax为数据库中样本数据的最大值。
本发明尤其适用于远程大范围、大规模室外空气质量的监测与自动校正,通过对各传感器终端与围绕监测站监测数据的差异的实时监测,适时在线自动调整各传感器终端的校正模型参数,从而获得更加精准的监测数据。
附图说明
图1为本发明实施例的大气监测系统的结构框示意图;
图2为本发明实施例的Hadoop云平台的HDFS存储结构示意图;
图3为本发明实施例的Hadoop云平台并行化校正算法结构示意图;
图4为本发明实施例的传感器终端结构示意图;
图5为本发明实施例的数据储存格式示意图;
图6为本发明实施例的校正算法流程示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明的分布式室外大气质量监测精度校正系统融合了传感器、物联网、云计算、机器学习等技术,实时采集并存储各个监测站的空气质量及位置信息,通过智能校正系统运算处理后得到各监测站校正模型,同时在校正后一段时间内可根据误差情况自动启动校正算法,得到最新的校正模型参数,解决分布式大规模传感器校正困难和漂移问题。
本发明实施例的分布式室外大气质量监测精度校正系统,如图1所示,包括Hadoop云平台、分布于监测站的传感器终端;在一些实施方式中,还可以进一步包括用户终端。Hadoop云平台分别与传感器终端和用户终端通过通信链路连接。
传感器终端,配置为监测大气质量并发送所述Hadoop云平台,还配置为依据所述并行化校正算法模块输出的校正模型参数进行参数更新;所述传感器终端集群性划分。本发明的一些实施例中,各集群的传感器终端围绕监测站分布,该监测站发布的各类污染气体浓度值可以作为该集群各所述传感器终端采集模型校正中的正确值。
用户终端与所述Hadoop云平台通过通信链路连接,用于进行数据访问以及数据显示。用户终端可以为电脑、手机、平板设备等,只要可以满足数据访问和数据显示的人机交互均可以作为本发明中的用户终端使用,在部份仅需要数据显示,无需根据使用人员需求进行数据调取的使用环境中,用户终端也可以仅仅为数据显示装置。
Hadoop云平台包括分布式文件存储模块、并行化校正算法模块、智能校正模块;分布式文件存储模块,采用Hadoop的HDFS(Hadoop Distributed File System,分布式文件系统)文件存储系统来进行分布式存储和备份;并行化校正算法模块,用于对各集群的所述传感器终端分别进行采集模型的并行化校正计算,得到各传感器终端的校正模型参数;智能校正模块,用于判断传感器终端是否需要启动校正。
本实施例中,Hadoop云平台接收传感器终端发送来的传感器响应信号(污染气体监测值)及温度、湿度信息(在一些实施例中传感器终端发送来的信息还可以包括监测点位置),通过HDFS存储模块进行存储,并通过分布式校正算法模块进行运算处理后,得到各个传感器终端的各类气体的校正模型,采用智能校正模块决定传感器终端是否启动校正,并将空气质量实时推送到PC或手机端。
Hadoop云平台为分布式存储和计算框架,用于海量数据的存储备份和计算需求,满足分布式大规模传感器终端的校正需求,使得监测结果更加精准。Hadoop平台采用分布式文件系统HDFS进行数据的备份和存储,如图2所示,一个HDFS集群是由一个NameNode和若干个DataNode组成的,其中NameNode作为主服务器,管理数据文件系统的命名空间和PC端或手机端用户对数据的访问操作;集群中的DataNode管理存储的各传感器终端数据。数据文件被分成若干个数据块,存储在DataNode上,存储用DataNode和备份用DataNode分别通过机架1盒机架2进行服务器架设。NameNode执行文件系统的命名空间操作,比如打开、关闭、重命名文件或目录等操作,负责数据块到具体DataNode的映射。DataNode负责处理文件系统客户端的数据读写请求,并在NameNode的统一调度下进行数据块的创建、删除和复制工作。
Hadoop平台的计算框架采用MapReduce编程模型,MapReduce的工作过程分为两个阶段:Map阶段和Reduce阶段,每个阶段都有Key/value对作为输入和输出,并且它们的类型可人为选择。应用MapReduce编程模型实现分布式多传感器终端的校正方法的结构示意如图3所示。首先,第一个Map函数将HDFS中存储的各个传感器终端的数据按位置划分为不同的传感器集群(如图3种的Ⅰ、Ⅱ。。T个集群,分别包含的传感器终端序号为1~N、N+1~M、。。。K+1~P),使得单个集群中的传感器都分布在一个固定监测站周围,该固定监测站发布的空气质量值作为该集群模型校正中的正确值;第二Map函数将每个集群中传感器终端数据和固定监测站的数据组合在一起;而在Reduce阶段直接将第二Map函数的输出作为输入,调用校正模型算法,得出的结果为每个传感器终端的校正模型参数。
对应的,本实施例的并行化校正算法模块,基于MapReduce分布式编程架构进行设计,包括第一Map函数处理单元、第二Map函数处理单元、Reduce阶段处理单元。
第一Map函数处理单元,用于将HDFS中存储的各个传感器终端的数据按照监测站的传感器集群进行划分。
第二Map函数处理单元,用于将每个传感器集群中各传感器终端数据和监测站的数据进行组合。
Reduce阶段处理单元,用于基于所述第二Map函数处理单元的输出计算每个传感器终端的校正模型参数。
如图4所示,所述传感器终端包括微处理器模块、气体传感器模块、颗粒传感器模块、A/D转换模块、GPS模块、无线通信模块、温度传感器模块、湿度传感器模块、存储模块、供电模块,其中所述气体传感器模块将检测到的气体信息转化为电信号,并经放大电路输出到所述A/D转化模块;所述颗粒传感器模块将检测到的空气中颗粒信息转化为电信号输出到所述A/D转化模块;所述A/D转换模块将模拟信号转换为数字信号输出到所述微处理器,所述GPS模块用于获取检测点的位置信息,所述温度传感器用于检测监测点的温度,所述湿度传感器用于检测监测点的湿度,所述微处理器控制用于处理并计算接受的信号,所述无线通信模块将传感器信号及监测点的位置、温度、湿度信息发送至所述Hadoop云平台,所述供电模块为所述传感器终端供电,所述存储模块用于存储所述传感器终端的数据信息。在本实施例中,气体传感器模块设置了4个气体传感器,分别为7NE/O3-1、7NE/NO2-1、7NE/CO-200和7NE/SO2-1。
所述传感器终端上传的数据格式如图5所示,包含数据接收时间(Set_time)、传感器终端编号(Set_ID)、传感器终端位置(Location)、传感器终端采集数据(Data_origin)。图5中所示出的数据为包括,Set_time:2017-09-01 15:30,Set_ID:002,Location:zhongguancun,Data_origin:xxxxxxxxx。
本发明实施例中,“基于所述第二Map函数处理单元的输出计算每个传感器终端的校正模型参数”,其方法如公式(1)所示:
θ=(KTK)-1KTY (1)
其中,θ为被监测污染气体的校正模型参数,K为传感器终端数据的K矩阵,如式(2)所示,Y为监测站采集的对应监测的污染气体的数据组成的向量;
Figure BDA0001603730590000101
Figure BDA0001603730590000102
该表达式中,g为所采集污染气体种类的数量,n为历史数据样本大小,
Figure BDA0001603730590000103
Figure BDA0001603730590000104
为第g类污染气体的第n个样本数据归一化值,
Figure BDA0001603730590000105
为温度t的第n个样本数据归一化值,
Figure BDA0001603730590000106
为湿度h的第n个样本数据归一化值,c为被监测污染气体对应常数,不同污染气体的校正模型参数计算时该常数不同,本实施例中通过提前预设的方式进行设置。
本实施例中,“判断传感器终端是否需要启动校正”,其方法为:
统计每个采集周期的第j个集群所述传感器终端的第q类污染气体的误差率之和Ej
统计Ej大于设定误差率阈值Eset的次数C;
若C大于设定次数Cset,则第j个集群第q类污染气体需要启动校正;
其中误差率之和Ej的计算如公式(3)所示:
Figure BDA0001603730590000111
在公式(3)中,p为第j个集群所述传感器终端的数量,ei为该集群中第i个传感器终端的第q类污染气体误差率。
本发明实施例的分布式室外大气质量监测精度校正系统参数更新方法,基于上述的分布式室外大气质量监测精度校正系统进行设计,包括参数更新的步骤,在一些优选的实施方案中,还包括判断传感器终端是否需要启动校正的步骤。
本发明实施例的参数更新方法中的参数更新步骤包括:
步骤S1,基于所述分布式文件存储模块中存储的历史数据,将对第j个集群所述传感器终端所采集的各类污染气体的体积浓度转换为质量浓度值;
步骤S2,对步骤S1中转化得到的各类污染气体的质量浓度值、以及所述分布式文件存储模块中存储温度值、湿度值进行归一化处理;
步骤S3,基于所需校正模型参数的污染气体对应的c值,根据高斯核函数来计算样本数据的K矩阵,如式(2)所示;
步骤S4,通过公式(1)计算感器终端的污染气体的校正模型参数θ,并更新第j个集群各所述传感器终端的校正模型参数;其中
Figure BDA0001603730590000123
为(g+3)*1的列向量。
本实施例的步骤S3中,各类样本数据归一化值的计算方法如公式(4)所示:
Figure BDA0001603730590000122
其中,xa为样本数据归一化值,x为污染气体样本数据的质量浓度或对应同组数据的温度值或湿度值,xmin为数据库中样本数据的最小值,xmax为数据库中样本数据的最大值。
本发明实施例的参数更新方法中的判断传感器终端是否需要启动校正的步骤步骤包括:
统计每个采集周期的第j个集群所述传感器终端的第q类污染气体的误差率之和Ej
统计Ej大于设定误差率阈值Eset的次数C;
若C大于设定次数Cset,则第j个集群第q类污染气体需要启动校正;
其中误差率之和Ej的计算如公式(3)所示。
本发明实施例中,第j个集群各传感器终端第q类污染气体误差率e通过公式(5)计算:
其中,yreal为第j个集群中检测站的真实值,f(K)为对应传感器终端计算得到的测量值。
为了更清晰地对本发明技术方案进行说明,下面以CO气体的校正为例对本发明的分布式室外大气质量监测精度校正系统参数更新方法进行说明。
该实施例给20台分布于不同监测点的传感器终端编号A0-A19,并按照离固定监测站的距离将其分为四个集群:T1,T2,T3和T4,每个集群为5个传感器终端;采集的历史数据样本大小为n,数据样本根据传感器终端的上传数据实时更新,本实施例中的监测站为固定检测站。由于各集群的处理方式相同,下面仅对其中集群T1中的CO气体的模型参数校正步骤进行说明,如图6所示,包括以下步骤:
步骤S501:根据集群T1中各传感器终端的校正模型参数,利用校正模型(如公式(6)所示)计算出每个传感器终端的CO气体的体积浓度值;
f(x)=θTK′ (6)
公式(6)中,K′如式(7)所示:
Figure BDA0001603730590000131
Figure BDA0001603730590000132
其中,xCO为当前时刻CO浓度归一化值,xNO2当前时刻NO2浓度归一化值,xO3为当前时刻O3浓度归一化值,xSO2当前时刻SO2浓度归一化值,xt为当前时刻温度t归一化值,xh为当前时刻湿度h归一化值,湿度h的第一个样本数据归一化值。
步骤S502:采用公式(5)计算每个传感器终端CO气体的误差率,此时yreal为集群T1中检测站所监测的CO气体的体积浓度值,作为集群T1所在区域的真实值,f(K)为步骤S501中计算出来的各传感器终端的CO气体的体积浓度测量值。
进一步采用公式(3)计算每个采集周期集群T1中各传感器终端CO气体的误差率之和,此时传感器终端数量p的取值为5,可表示为公式(8):
其中,ei为集群T1中第i个传感器终端的CO气体误差率。
步骤S503:统计出集群T1中CO气体误差率之和大于设定的误差Eset的采集周期个数C,如果C大于设定次数Cset,则执行步骤S504,否则进行下一周期的传感器终端数据采集并跳转步骤S501;
步骤S504,利用当前周期采集的传感器终端数据对历史样本数据进行更新,并将传感器终端测量的体积浓度转换成为质量浓度值;本实施例中可以采用公式(9)进行计算:
Figure BDA0001603730590000142
公式(9)中,x为传感器终端的质量浓度,M为气体分子量,xppm为采集的气体体积浓度,t为传感器终端的温度,Ba为传感器终端的大气压力。
步骤S505,将数据库中CO、NO2、O3、SO2、温度、湿度等数据做归一化预处理,xco表示CO预处理后的值,通过公式(10)计算:
Figure BDA0001603730590000143
公式(10)中,xco为CO的实际采集值,xmin为数据库中CO的最小值,xmin为数据库中CO的最大值。
步骤S506,根据高斯核函数来计算样本数据的K矩阵,如式(11)所示:
Figure BDA0001603730590000151
其中
Figure BDA0001603730590000153
Figure BDA0001603730590000154
为CO的第一个样本数据归一化值,
Figure BDA0001603730590000155
为NO2第一个样本数据的归一化值,为O3的第一个样本数据归一化值,
Figure BDA0001603730590000157
为SO2第一个样本数据归一化值,
Figure BDA0001603730590000158
为温度t的第一个样本数据归一化值,
Figure BDA0001603730590000159
为湿度h的第一个样本数据归一化值,c为CO气体对应的常数,不同污染气体的计算中c值不同。
步骤S507,基于公式(1)计算每个传感器终端的CO的校正模型参数并对传感器终端校正模型参数进行更新,此时公式(1)中的Y为固定监测站采集的CO气体的数据组成的向量;该实施例中θ=[θ.0 θ1 θ2 θ3 θ4 θ5 θ6]T为7*1的列向量,在计算CO的校正模型参数时,选取θ的值即为所计算的CO的校正模型参数。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、单元及方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (8)

1.一种分布式室外大气质量监测精度校正系统,其特征在于,包括Hadoop云平台、分布于监测站的传感器终端;所述Hadoop云平台与所述传感器终端通过通信链路连接;
所述传感器终端,配置为监测大气质量并发送所述Hadoop云平台,还配置为依据并行化校正算法模块输出的校正模型参数进行参数更新;所述传感器终端集群性划分;
所述Hadoop云平台包括分布式文件存储模块、并行化校正算法模块、智能校正模块;
所述分布式文件存储模块,采用Hadoop的HDFS文件存储系统来进行分布式存储;
所述并行化校正算法模块,用于对各集群的所述传感器终端分别进行采集模型的并行化校正计算,得到各传感器终端的校正模型参数;
所述智能校正模块,用于判断传感器终端是否需要启动校正;
所述并行化校正算法模块,基于MapReduce分布式编程架构进行设计,包括第一Map函数处理单元、第二Map函数处理单元、Reduce阶段处理单元;
所述第一Map函数处理单元,用于将HDFS中存储的各个传感器终端的数据按照监测站的传感器集群进行划分;
所述第二Map函数处理单元,用于将每个传感器集群中各传感器终端数据和监测站的数据进行组合;
所述Reduce阶段处理单元,用于基于所述第二Map函数处理单元的输出计算每个传感器终端的校正模型参数;
所述分布式文件存储模块存储有实时获取的各传感器上传的各类污染气体的浓度信息、以及监测站温度信息和湿度信息;
“基于所述第二Map函数处理单元的输出计算每个传感器终端的校正模型参数”,其方法为:
θ=(KTK)-1KTY
其中,θ为被监测污染气体的校正模型参数,K为传感器终端数据的K矩阵,Y为监测站采集的对应监测的污染气体的数据组成的向量;
该表达式中,g为所采集污染气体种类的数量,n为历史数据样本大小,
Figure FDA0002232898150000022
Figure FDA0002232898150000023
为第g类污染气体的第n个样本数据归一化值,
Figure FDA0002232898150000024
为温度t的第n个样本数据归一化值,为湿度h的第n个样本数据归一化值,c为被监测污染气体对应常数。
2.根据权利要求1所述的分布式室外大气质量监测精度校正系统,其特征在于,各集群的所述传感器终端围绕监测站分布,该监测站发布的各类污染气体浓度值作为该集群各所述传感器终端采集模型校正中的正确值。
3.根据权利要求1或2所述的分布式室外大气质量监测精度校正系统,其特征在于,“判断传感器终端是否需要启动校正”,其方法为:
统计每个采集周期的第j个集群所述传感器终端的第q类污染气体的误差率之和Ej
统计Ej大于设定误差率阈值Eset的次数C;
若C大于设定次数Cset,则第j个集群第q类污染气体需要启动校正;
其中:
Figure FDA0002232898150000031
p为第j个集群所述传感器终端的数量,ei为该集群中第i个传感器终端的第q类污染气体误差率。
4.根据权利要求1或2所述的分布式室外大气质量监测精度校正系统,其特征在于,所述精度校正系统还包括用户终端;
所述用户终端与所述Hadoop云平台通过通信链路连接,用于进行数据访问以及数据显示。
5.一种分布式室外大气质量监测精度校正系统参数更新方法,其特征在于,基于权利要求1-4任一项所述的分布式室外大气质量监测精度校正系统,包括以下步骤:
步骤S1,基于所述分布式文件存储模块中存储的历史数据,将对第j个集群所述传感器终端所采集的各类污染气体的体积浓度转换为质量浓度值;
步骤S2,对步骤S1中转化得到的各类污染气体的质量浓度值、以及所述分布式文件存储模块中存储温度值、湿度值进行归一化处理;
步骤S3,基于所需校正模型参数的污染气体对应的c值,根据高斯核函数来计算样本数据的K矩阵
Figure FDA0002232898150000041
其中,g为所采集污染气体种类的数量,n为历史数据样本大小,
Figure FDA0002232898150000042
Figure FDA0002232898150000043
为第g类污染气体的第n个样本数据归一化值,
Figure FDA0002232898150000044
为温度t的第n个样本数据归一化值,
Figure FDA0002232898150000045
为湿度h的第n个样本数据归一化值,c为被监测污染气体对应常数;
步骤S4,计算感器终端的污染气体的校正模型参数θ,并更新第j个集群各所述传感器终端的校正模型参数;
其中,校正模型参数θ的计算公式如下所示
θ=(KTK)-1KTY
其中,θ=[θ0 θ1 θ2 ... θg θg+1 θg+2]T,Y为监测站采集的对应监测的污染气体的数据组成的向量。
6.根据权利要求5所述的分布式室外大气质量监测精度校正系统参数更新方法,其特征在于,该方法还包括判断传感器终端是否需要启动校正的步骤,包括:
统计每个采集周期的第j个集群所述传感器终端的第q类污染气体的误差率之和Ej
统计Ej大于设定误差率阈值Eset的次数C;
若C大于设定次数Cset,则第j个集群第q类污染气体需要启动校正;
其中:
Figure FDA0002232898150000051
p为第j个集群所述传感器终端的数量,ei为该集群中第i个传感器终端的第q类污染气体误差率。
7.根据权利要求6所述的分布式室外大气质量监测精度校正系统参数更新方法,其特征在于,第j个集群各传感器终端第q类污染气体误差率e通过如下公式计算:
Figure FDA0002232898150000052
其中,yreal为第j个集群中检测站的真实值,f(K)为对应传感器终端计算得到的测量值。
8.根据权利要求5-7任一项所述的分布式室外大气质量监测精度校正系统参数更新方法,其特征在于,步骤S3中各类样本数据归一化值的计算方法为:
Figure FDA0002232898150000061
其中,xa为样本数据归一化值,x为污染气体样本数据的质量浓度或对应同组数据的温度值或湿度值,xmin为数据库中样本数据的最小值,xmax为数据库中样本数据的最大值。
CN201810235239.5A 2018-03-21 2018-03-21 分布式室外大气质量监测精度校正系统及参数更新方法 Active CN108614071B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810235239.5A CN108614071B (zh) 2018-03-21 2018-03-21 分布式室外大气质量监测精度校正系统及参数更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810235239.5A CN108614071B (zh) 2018-03-21 2018-03-21 分布式室外大气质量监测精度校正系统及参数更新方法

Publications (2)

Publication Number Publication Date
CN108614071A CN108614071A (zh) 2018-10-02
CN108614071B true CN108614071B (zh) 2020-02-07

Family

ID=63659255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810235239.5A Active CN108614071B (zh) 2018-03-21 2018-03-21 分布式室外大气质量监测精度校正系统及参数更新方法

Country Status (1)

Country Link
CN (1) CN108614071B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109669405A (zh) * 2018-11-19 2019-04-23 东莞理工学院 一种基于大数据的工业控制监测系统
CN109631973B (zh) * 2018-11-30 2021-04-16 苏州数言信息技术有限公司 一种传感器的自动校准方法和系统
CN110426493B (zh) * 2019-08-01 2021-10-29 北京软通智慧科技有限公司 空气质量监测数据校准方法、装置、设备和存储介质
CN114152654B (zh) * 2021-11-18 2024-03-26 国网山东省电力公司电力科学研究院 一种大气可溶盐沉积量监测装置及测量方法
CN116577469B (zh) * 2023-05-17 2024-01-23 广州德亨信息技术有限公司 基于数据精度校准的大气环境监测系统、数据预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学(保定) 一种状态监测数据的分布式存储与并行挖掘方法
CN105205563A (zh) * 2015-09-28 2015-12-30 国网山东省电力公司菏泽供电公司 一种基于大数据的短期负荷预测平台
CN106405007A (zh) * 2016-08-30 2017-02-15 河北先河环保科技股份有限公司 气体传感器、颗粒物传感器的新校准方法
CN106872663A (zh) * 2017-03-06 2017-06-20 河南理工大学 一种基于大数据平台的瓦斯突出预测预警方法
CN107764950A (zh) * 2017-11-25 2018-03-06 广东先河科迪隆科技有限公司 工业园区环境空气质量监管系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10690641B2 (en) * 2015-06-17 2020-06-23 Trane International Inc. Sensor calibration systems and methods

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102685221A (zh) * 2012-04-29 2012-09-19 华北电力大学(保定) 一种状态监测数据的分布式存储与并行挖掘方法
CN105205563A (zh) * 2015-09-28 2015-12-30 国网山东省电力公司菏泽供电公司 一种基于大数据的短期负荷预测平台
CN106405007A (zh) * 2016-08-30 2017-02-15 河北先河环保科技股份有限公司 气体传感器、颗粒物传感器的新校准方法
CN106872663A (zh) * 2017-03-06 2017-06-20 河南理工大学 一种基于大数据平台的瓦斯突出预测预警方法
CN107764950A (zh) * 2017-11-25 2018-03-06 广东先河科迪隆科技有限公司 工业园区环境空气质量监管系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于Hadoop的海量传感数据管理系统;成飞龙;《中国优秀硕士学位论文全文数据库》;20130615;正文第5-9、20-21、42页 *

Also Published As

Publication number Publication date
CN108614071A (zh) 2018-10-02

Similar Documents

Publication Publication Date Title
CN108614071B (zh) 分布式室外大气质量监测精度校正系统及参数更新方法
US10883974B2 (en) Method for providing air quality information
CN109781934A (zh) 环境传感器检测数据的处理装置、处理方法、计算机可读存储介质、以及环境传感器系统
CN113219130B (zh) 一种多参数气体传感器的校准方法及测试平台
CN111510500B (zh) 一种基于边缘计算的水质监测数据校准方法
CN116499938B (zh) 一种职业工作场所气溶胶悬浮物智能监测方法
CN108254495A (zh) 一种隧道机动车污染物监测方法及系统
CN115824993B (zh) 水体化学需氧量的确定方法、装置、计算机设备及介质
CN114328075A (zh) 一种智能配电房传感器多维数据融合异常事件检测方法、系统及计算机可读存储介质
CN113687609A (zh) 应用于异常环境下的物联网智能监测系统及监测方法
CN111931426A (zh) Scr反应器入口氮氧化物浓度影响因素的确定方法及设备
Mishra Air pollution monitoring system based on IoT: Forecasting and predictive modeling using machine learning
CN112364940A (zh) 基于多源数据的大气污染物源解析方法、存储介质及设备
JP5110891B2 (ja) 水処理施設における流入水水質の統計的予測方法及びその装置
AU2020102518A4 (en) A method of gas sensor calibration based on linear optimization
CN108775921A (zh) 工业烟气在线连续监测装置
CN112611688A (zh) 一种大气监测设备的自动校准装置及方法
CN112650740B (zh) 一种降低在线监测碳排放量数据不确定度的方法及系统
JPH06117600A (ja) ガス、蒸気等の漏洩地点および漏洩量推定システム
JP7099623B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112528566A (zh) 基于AdaBoost训练模型的空气质量数据实时校准方法及系统
CN113778042A (zh) 基于信息化建模的工控设备指令模拟运行通信系统
Cviklovič et al. Dynamic properties of electrochemical oxygen gas sensor and method to estimate of new steady-state
CN115329148B (zh) 一种基于多重大数据处理的数据筛选整合方法及系统
Yi Enabling Personalized Air Pollution and Health Monitoring Using Low-Cost Sensors and Artificial Intelligence

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant