CN106777864A - 一种低成本pm2.5监测节点的校准方法 - Google Patents

一种低成本pm2.5监测节点的校准方法 Download PDF

Info

Publication number
CN106777864A
CN106777864A CN201610997001.7A CN201610997001A CN106777864A CN 106777864 A CN106777864 A CN 106777864A CN 201610997001 A CN201610997001 A CN 201610997001A CN 106777864 A CN106777864 A CN 106777864A
Authority
CN
China
Prior art keywords
model
data
node
sample
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201610997001.7A
Other languages
English (en)
Inventor
董玮
高艺
陈远
卜佳俊
陈纯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201610997001.7A priority Critical patent/CN106777864A/zh
Publication of CN106777864A publication Critical patent/CN106777864A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/06Investigating concentration of particle suspensions
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks
    • G01N15/075

Abstract

低成本PM2.5监测节点的校准方法,步骤为:在空气质量检测站附近部署节点,得到在时间和空间上一致的训练样本;建立模型表示节点读数和PM2.5真实值之间的关系;训练数据预处理:部分特征标准化,留出法确定训练样本集和测试样本集;对于线性不变模型,在训练样本集上采用三层反向传播神经网络训练多元线性回归模型,在测试样本集上完成对模型准确性的验证;对于线性可变模型,时间区间内训练样本通过最小二乘法简单拟合得到线性参数,将不同时间段内的线性参数、节点读数平均值、敏感性特征数据平均值作为新的训练样本,在新的训练样本上采用基于后剪枝策略的CART回归树训练,在测试样本上完成模型可靠性的验证;将验证准确的离线模型写入节点程序。

Description

一种低成本PM2.5监测节点的校准方法
技术领域
本发明涉及一种低成本PM2.5监测节点的校准方法,特别是获取可靠的时空一致性数据样本、对于室内环境和室外环境的数据样本分别选用合适的机器学习模型。
背景技术
空气质量指数(AQI)主要成分包括,细颗粒物(PM2.5)、可吸入颗粒物(PM10)、二氧化硫(SO2)、二氧化氮(NO2)、臭氧(O3)、一氧化碳(CO)等各项污染物的实测浓度值。其中细颗粒物(PM2.5),是指直径小于等于2.5微米的颗粒物。细颗粒物面积大,活性强,易附带有毒、有害物质,且在大气中的停留时间长、输送距离远,因为直径越小,进入呼吸道的部分越深。2微米以下的可深入到细支气管和肺泡,细颗粒物进入人体到肺泡后,直接影响肺的通气功能,使机体容易处于缺氧状态。在中国,PM2.5是空气污染物的主要来源,因此PM2.5监测是关系的全国人民健康的重要因素。
现有的PM2.5监测检测节点主要包括下面二类:1)PM2.5监测站,监测站采用脱水称重的方式,得到最精确的PM2.5浓度。然而,由于监测站的部署成本和维护成本较高,在一个城市监测站的数量是有限的,因此难以的得到覆盖城市范围内细粒度的PM2.5浓度。2)PM2.5监测节点,主要是一些基于光散射原理廉价的传感器,精度低于监测站的PM2.5浓度,由于成本较低PM2.5监测节点可以在城市范围大量部署,从而得到细粒度的PM2.5浓度。
针对1)中的缺陷,U-Air提出利用城市大数据训练区间估计模型,对无监测站的区间内的PM2.5浓度进行预测。然而,这种基于历史数据估计的方法,存在一个重要的缺陷:无法对区间内PM2.5浓度的变化做出及时的相应。通过大量部署2)中的PM2.5监测节点可以解决1)中的缺陷,然而节点读数的精度较低成为一个不容忽视的问题。
发明内容
本文要克服现有技术的上述缺点,提供了一种低成本PM2.5监测节点的校准方法。
为实现以上目的,本发明所采取的技术方案是:一种低成本PM2.5监测节点的校准方法,包括以下步骤:
步骤1,获取时间和空间上一致的数据样本,包括:
(1.1)节点硬件集成,主要集成PM2.5监测节点,敏感性特征传感器,无线传输模块和供电模块。
(1.2)节点软件功能设计,主要剖分为定时采集,数据校准,定时传输,低能耗等功能。
(1.3)节点部署,在空气检测站附近的室内环境和室外环境分别部署节点。
(1.4)在本地搭建数据库,设置程序:定时接受节点传输的数据和定时获取空气质量监测站数据,并存入数据库。
步骤2,对于室内环境和室外环境选取不同校准模型,包括:
(2.1)将数据样本按照室内环境节点和室外环境节点分为两组,并进行数据清洗。
(2.2)用最小二乘法对两组样本分别拟合,分别计算校准过的PM2.5节点数据和真实值之间的偏差。
(2.3)对于室内的数据样本,线性拟合后的偏差较小,结合敏感性特征,采用不变线性参数假设,建立多元线性参数回归模型。
(2.4)对于室外的数据样本,线性拟合后的偏差较大,结合敏感性特征,采用可变线性参数假设,建立线性参数学习模型。
步骤3,数据预处理,模型训练和测试,包括:
(3.1)数据预处理,对两组数据样本进行清洗,主要包括异常数据去除,数据缺失值补充。
(3.2)对于每组数据样本,按时间进行排序,选取前一半数据样本作为训练样本,选取后一半数据作为测试样本。
(3.3)对于室内环境的训练样本,采用多元线性回归模型进行训练,将训练好的模型用测试样本进行验证。
(3.4)对于室外环境的训练样本,采用线性参数学习模型进行训练,将训练好的模型用测试样本进行验证。
(3.5)对于室内环境的节点将验证过的离线模型参数写入校准程序。
(3.6)对于室外环境的节点将验证过的离线模型写入校准程序。
步骤4,将验证过的神经网络和回归树离线模型分别写入室内节点和室外节点的校准程序。
本发明的有益效果是:本方法针对室内环境和室外环境,分别建立合适的校准模型。校准模型是经离线训练的再写入节点程序的,无需对之后节点程序进行任何的变动。校准过的数据能得到较大的精度提升。
附图说明
图1是本发明方法的工作流程图。
具体实施方式
下面结合附图对本发明作进一步描述。本发明的具体实施方式如下:
步骤1,获取时间和空间上一致的数据样本,包括:
(1.1)集成节点,敏感性特征传感器和无线传输模块。敏感性特征为湿度,温度,气压强度。
(1.2)在节点设置程序,数据定时传输回本地。节点数据采样周期和传输周期为30分钟。节点传输数据的方式是基于GPRS的HTTP-POST协议。
(1.3)部署节点在空气质量监测站附近。
(1.4)在本地设置程序,定时获取空气质量监测站数据。本地通过爬虫程序从官网上获取官方PM2.5数据,周期为30分钟。数据样本收集时间长达一年。
步骤2,对于室内环境和室外环境选取不同校准模型,包括:
(2.1)选择实验环境,室内环境和室外环境,在不同环境下分别采集一定量的数据样本。
(2.2)对室内和室外环境的数据样本采用线性拟合,分析拟合值和真实值的偏差。采用二次均方差法和皮尔森系数。
(2.3)对于室内环境,线性拟合偏差小,认为线性参数恒定,结合敏感性特征,采用多元线性回归模型。
(2.4)对于室外环境,线性拟合偏差大,认为线性参数是敏感变化的,结合敏感特征,采用线性参数学习模型。
(2.5)室内环境校准模型假设:
y=w*x+b+ep+eu 公式(1)
其中X是未校准过的PM2.5浓度和敏感性特征,y是校准过的PM2.5浓度,w和b是校准线性参数,ep是未加入敏感性特征所带来的误差,eu是系统噪声所带来的误差。随着新的敏感特征数量的增加,ep会不断减小。对w,b采取基于人工神经网络的多元线性回归模型进行拟合。
(2.6)室外环境校准假设:
y=w(f)*x+b(f)+eu 公式(2)
不同于上面的假设,认为校准线性参数是对特征敏感的,x是未校准的pm2.5的浓度值,f是敏感性特征,y是校准过的PM2.5的值。W,b是特征敏感的线性参数,eu是系统噪声带来的误差。采用基于CART回归树模型学习w和b。
步骤3,数据预处理,模型训练和测试,包括:
(3.1)数据预处理,湿度,温度,气压强度需经过正太标准化,异常数据检测采用基于距离的方法,异常数据和缺失数据用均值补充。
(3.2)人工神经网络模型,层数为三层:输入层,隐藏层,输出层。输入特征为未校准的PM2.5浓度,温度,湿度,气压强度。输出为校准过的PM2.5浓度。层与层之间的传递函数采取简单的线性函数:
f(x)=wx+b 公式(3)
(3.3)CART回归树模型,输入特征为未校准过的PM2.5浓度,温度,湿度,气压强度,和时间。输出为w和b的值。树的剪枝采取后剪枝策略。
(3.4)对于未校准过的PM2.5浓度添加其二次项的值作为新的特征。
步骤4,将验证过的神经网络和回归树离线模型分别写入室内节点和室外节点的校准程序。

Claims (3)

1.一种低成本PM2.5监测节点的校准方法,其特征在于以下步骤:
步骤1,获取时间上和空间上一致的训练样本,包括:
(1.1)集成节点,敏感性特征传感器和无线传输模块。
(1.2)在节点设置程序,数据定时传输回本地。
(1.3)部署节点在空气质量监测站附近。
(1.4)在本地设置程序,定时获取空气质量监测站数据。
步骤2,对于室内环境和室外环境选取不同校准模型,包括:
(2.1)选择实验环境,室内环境和室外环境,在不同环境下分别采集一定量的数据样本。
(2.2)对室内和室外环境的数据样本采用线性拟合,分析拟合值和真实值的偏差。
(2.3)对于室内环境,线性拟合偏差小,认为线性参数恒定,结合敏感性特征,采用多元线性回归模型。
(2.4)对于室外环境,线性拟合偏差大,认为线性参数是敏感变化的,结合敏感特征,采用线性参数学习模型。
步骤3,数据预处理,模型训练和测试,包括:
(3.1)对数据样本进行清洗,去掉异常的数据
(3.2)按照室内环境和室外环境,将数据样本分为两组。
(3.3)对每组数据样本,按时间排序,选取前一半作为训练样本,后一半作为测试样本。
(3.4)对每组数据样本中的敏感性特征进行标准化处理。
(3.5)对每组训练样本,分别用上面两个模型进行训练。
(3.6)对训练好的模型用对应的测试样本进行测试。
步骤4,将验证过的神经网络和回归树离线模型分别写入室内节点和室外节点的校准程序。
2.根据权利要求1所述的一种低成本PM2.5节点的校准方法,其特征在于在所述步骤(1.2)所述的定时,是权衡时间粒度和能耗的数据传输周期。
3.根据权利要求1所述的一种低成本PM2.5节点的校准方法,其特征在于在所述步骤(3.1)所述的清洗,是根据去噪和异常检测的方法对数据进行过滤。
CN201610997001.7A 2016-11-11 2016-11-11 一种低成本pm2.5监测节点的校准方法 Withdrawn CN106777864A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610997001.7A CN106777864A (zh) 2016-11-11 2016-11-11 一种低成本pm2.5监测节点的校准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610997001.7A CN106777864A (zh) 2016-11-11 2016-11-11 一种低成本pm2.5监测节点的校准方法

Publications (1)

Publication Number Publication Date
CN106777864A true CN106777864A (zh) 2017-05-31

Family

ID=58973457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610997001.7A Withdrawn CN106777864A (zh) 2016-11-11 2016-11-11 一种低成本pm2.5监测节点的校准方法

Country Status (1)

Country Link
CN (1) CN106777864A (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107084912A (zh) * 2017-06-14 2017-08-22 河海大学常州校区 一种大气颗粒物低成本监测系统及监测数据滤波方法
CN107464009A (zh) * 2017-06-23 2017-12-12 南京航空航天大学 一种北京市冬季大气pm2.5浓度变化预测方法
CN108414682A (zh) * 2018-01-29 2018-08-17 东莞理工学院 一种基于无线传感器网络的空气质量监测数据快速校准方法
CN108537336A (zh) * 2018-03-26 2018-09-14 上海电力学院 一种基于深度神经网络的空气质量预测方法
CN108806201A (zh) * 2018-06-29 2018-11-13 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN108982764A (zh) * 2018-06-29 2018-12-11 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN109030730A (zh) * 2018-06-29 2018-12-18 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN109100469A (zh) * 2018-06-29 2018-12-28 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN109284554A (zh) * 2018-09-27 2019-01-29 大连理工大学 无线传感网络中基于气体运动模型的有毒气体监测与追踪方法
CN109781934A (zh) * 2017-11-13 2019-05-21 富士通株式会社 环境传感器检测数据的处理装置、处理方法、计算机可读存储介质、以及环境传感器系统
CN110389087A (zh) * 2019-08-02 2019-10-29 中国科学院遥感与数字地球研究所 一种污染天气下的pm2.5浓度卫星遥感估算方法
CN110766138A (zh) * 2019-10-21 2020-02-07 中国科学院自动化研究所 基于脑发育机制的自适应神经网络模型的构建方法及系统
CN111062876A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN113945684A (zh) * 2021-10-14 2022-01-18 中国计量科学研究院 一种基于大数据的微型空气站自校准方法
CN115508511A (zh) * 2022-09-19 2022-12-23 中节能天融科技有限公司 基于网格化设备全参数特征分析的传感器自适应校准方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006127049A3 (en) * 2004-12-29 2007-03-01 Nasa System and method for determining gas optical density changes in a non-linear measurement regime
CN201937834U (zh) * 2010-12-18 2011-08-17 西安迅腾科技有限责任公司 远距离自动采样测量空气质量的无线传感器节点
US20140278186A1 (en) * 2013-03-13 2014-09-18 Aclima Inc. Calibration method for distributed sensor system
CN104122180A (zh) * 2014-07-21 2014-10-29 青岛众瑞智能仪器有限公司 一种测量颗粒物质量浓度的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006127049A3 (en) * 2004-12-29 2007-03-01 Nasa System and method for determining gas optical density changes in a non-linear measurement regime
CN201937834U (zh) * 2010-12-18 2011-08-17 西安迅腾科技有限责任公司 远距离自动采样测量空气质量的无线传感器节点
US20140278186A1 (en) * 2013-03-13 2014-09-18 Aclima Inc. Calibration method for distributed sensor system
CN104122180A (zh) * 2014-07-21 2014-10-29 青岛众瑞智能仪器有限公司 一种测量颗粒物质量浓度的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YI GAO 等: "《Mosaic: A Low-Cost Mobile Sensing System for Urban Air Quality Monitoring》", 《IEEE INFOCOM2016》 *

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107084912A (zh) * 2017-06-14 2017-08-22 河海大学常州校区 一种大气颗粒物低成本监测系统及监测数据滤波方法
CN107464009A (zh) * 2017-06-23 2017-12-12 南京航空航天大学 一种北京市冬季大气pm2.5浓度变化预测方法
CN109781934A (zh) * 2017-11-13 2019-05-21 富士通株式会社 环境传感器检测数据的处理装置、处理方法、计算机可读存储介质、以及环境传感器系统
CN108414682A (zh) * 2018-01-29 2018-08-17 东莞理工学院 一种基于无线传感器网络的空气质量监测数据快速校准方法
CN108537336B (zh) * 2018-03-26 2021-07-20 上海电力学院 一种基于深度神经网络的空气质量预测方法
CN108537336A (zh) * 2018-03-26 2018-09-14 上海电力学院 一种基于深度神经网络的空气质量预测方法
CN108806201A (zh) * 2018-06-29 2018-11-13 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN108982764A (zh) * 2018-06-29 2018-12-11 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN109030730A (zh) * 2018-06-29 2018-12-18 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN109100469A (zh) * 2018-06-29 2018-12-28 湖北海纳天鹰科技发展有限公司 一种空气质量预警方法和装置
CN109284554A (zh) * 2018-09-27 2019-01-29 大连理工大学 无线传感网络中基于气体运动模型的有毒气体监测与追踪方法
CN109284554B (zh) * 2018-09-27 2022-12-02 大连理工大学 无线传感网络中基于气体运动模型的有毒气体监测与追踪方法
CN111062876A (zh) * 2018-10-17 2020-04-24 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN111062876B (zh) * 2018-10-17 2023-08-08 北京地平线机器人技术研发有限公司 用于校正模型训练和图像校正的方法和装置及电子设备
CN110389087A (zh) * 2019-08-02 2019-10-29 中国科学院遥感与数字地球研究所 一种污染天气下的pm2.5浓度卫星遥感估算方法
CN110766138A (zh) * 2019-10-21 2020-02-07 中国科学院自动化研究所 基于脑发育机制的自适应神经网络模型的构建方法及系统
CN113945684A (zh) * 2021-10-14 2022-01-18 中国计量科学研究院 一种基于大数据的微型空气站自校准方法
CN115508511A (zh) * 2022-09-19 2022-12-23 中节能天融科技有限公司 基于网格化设备全参数特征分析的传感器自适应校准方法

Similar Documents

Publication Publication Date Title
CN106777864A (zh) 一种低成本pm2.5监测节点的校准方法
Borrego et al. Assessment of air quality microsensors versus reference methods: The EuNetAir joint exercise
CN110009245A (zh) 基于神经网络的室内空气质量预测方法、装置及电子设备
CN106056210A (zh) 一种基于混合神经网络的pm2.5浓度值预测方法
Megantoro et al. IoT-based weather station with air quality measurement using ESP32 for environmental aerial condition study
CN112304831B (zh) 基于质量守恒的学生行为对教室内pm2.5浓度的计算方法
Dai et al. Achieving better indoor air quality with IoT systems for future buildings: Opportunities and challenges
CN111551888A (zh) 一种改进型AdaBoost算法的电能表计量数据故障分析方法
CN107121463A (zh) 一种多通道电子鼻检测系统及其测量方法
Truong et al. Design and deployment of an IoT-based air quality monitoring system
Rastogi et al. Context-aware monitoring and control of ventilation rate in indoor environments using internet of things
Sumathi et al. Retracted: Soil monitoring and evaluation system using EDL‐ASQE: Enhanced deep learning model for IoT smart agriculture network
Guanochanga et al. Towards a real-time air pollution monitoring systems implemented using wireless sensor networks: preliminary results
Lin et al. CalibrationTalk: A farming sensor failure detection and calibration technique
CN116013426A (zh) 一种高时空分辨率的站点臭氧浓度预测方法
Jia et al. Continuous low-power ammonia monitoring using long short-term memory neural networks
CN109493973B (zh) 一种家用住宅空气环境健康风险预警方法及系统
Liu et al. Research on data correction method of micro air quality detector based on combination of partial least squares and random forest regression
Saha et al. Monitoring air quality of Dhaka using IoT: effects of COVID-19
CN203276349U (zh) 一种自习室人数智能查询装置
Feng et al. API Monitor based on internet of things technology
CN205373755U (zh) 一种基于ZigBee网络的鸡舍环境无线监测系统
CN113533875A (zh) 智能化判断实验室设备运行状态及计算设备利用率的方法
Montañez et al. Evaluation of a recurrent neural network LSTM for the detection of exceedances of particles PM10
CN109616209A (zh) 一种通用儿童健康视动能力智能测评系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170531

WW01 Invention patent application withdrawn after publication