CN107656905B

CN107656905B - 一种利用误差传递的空气质量数据实时校准方法

Info

Publication number: CN107656905B
Application number: CN201710789191.8A
Authority: CN
Inventors: 戴晶; 谢乾; 蒋圣; 龚俊; 谢智
Original assignee: Kunshan Byosoft Electronic Technology Co ltd; Nanjing Byosoft Co ltd; Jiangsu Zhuoyi Information Technology Co ltd
Current assignee: Kunshan Byosoft Electronic Technology Co ltd; Nanjing Byosoft Co ltd; Jiangsu Zhuoyi Information Technology Co ltd
Priority date: 2017-09-05
Filing date: 2017-09-05
Publication date: 2022-02-08
Anticipated expiration: 2037-09-05
Also published as: CN107656905A

Abstract

本发明公开了一种利用误差传递的空气质量数据实时校准方法，其特征在于：首先初始化模型，然后采集最近时间段的国标数据和卓易设备数据，并对采集的国标数据进行克里金插值，得到采样频率与卓易设备相等的国标插值数据；其次，对国标插值数据及卓易设备数据进行基于Bagging模型的建模；接着，基于上次模型的误差，对本次Bagging模型输出的结果进行数据校准，得到校准值；最后等待最新国标数据的采集，并根据新采集的国标数据，来更新校准误差，并将误差传递给下一个模型。本方法通过对宜兴的实测数据进行模型验证，本方法能够有效的提高低精度设备的精度和准确率，能够进行区域部署，应用于实际生产环境。

Description

一种利用误差传递的空气质量数据实时校准方法

技术领域

本发明属于空气质量数据实时校准方法技术领域，具体涉及一种利用误差传递的空气质量数据实时校准方法。

背景技术

随着我国工业化的发展，环境污染问题也日益严重。近年来，我国对环境问题逐步重视，我国环境污染程度逐步降低，但与发达国家相比仍差距很大。目前，监测空气环境质量是控制空气环境污染的一种有效手段。通过对工业区的空气质量进行实时监测，能够有效地监控企业的污染排放程度，严格控制空气质量环境。但是目前高精度高准确率的空气质量监测站使用的传感器成本较大，且实时性较低。江苏卓易信息科技股份有限公司自主研发了一种基于ARM架构的嵌入式设备(以下简称卓易设备)，使用了成本和国家监测站相比较低的便携式传感器，能够准实时地监测空气环境质量。但是卓易设备精度和国家监测站相比较低，且准确率不高，存在一定的错误率。

基于机器学习的设备校准方法能够有效地对设备进行校准，提高设备的精度和准确度。文献1[Ma T T.P–Q decoupled control schemes using fuzzy neural networksfor the unified power flow controller[J].International Journal of ElectricalPower&Energy Systems,2007,29(10):748-758.]提出了一种基于模糊神经网络的在线校准方法运用于工业控制，文献2[Li C,Liu K,Wang H.The incremental learningalgorithm with support vector machine based on hyperplane-distance[J].AppliedIntelligence,2011,34(1):19-27.]提出了一种支持向量机的在线训练方法，能够实现增量样本的学习。但是文献1、2的方法构建的模型有效时间较短，无法长时间学习，而重新构建支持向量机或神经网络的时间复杂度较高，计算时间较长。文献3[Breiman L.Baggingpredictors[J].Machine learning,1996,24(2):123-140.]提出了一种集成学习算法——Bagging算法，能够集成多种机器学习算法，组成一个功能更强大的机器学习模型。文献4[Prasad AM,Iverson L R,Liaw A.Newer classification and regression treetechniques:bagging and random forests for ecological prediction[J].Ecosystems,2006,9(2):181-199.]提出了基于Bagging算法的回归树模型，能够对连续型数值进行回归分析，并且具有较低的时间复杂度。但是文献3、4的机器学习方法生成的模型是独立的模型，均不能满足使用需求。

发明内容

发明目的：针对现有技术中存在的不足，本发明的目的是提供一种利用误差传递的空气质量数据实时校准方法，能够有效的提高低精度设备的精度和准确率，能够进行区域部署。

技术方案：为实现上述发明目的，本发明采用的技术方案是：

一种利用误差传递的空气质量数据实时校准方法：首先初始化模型，然后采集最近时间段的国标数据和卓易设备数据，并对采集的国标数据进行克里金插值，得到采样频率与卓易设备相等的国标插值数据；其次，对国标插值数据及卓易设备数据进行基于Bagging模型的建模；接着，基于上次模型的误差，对本次Bagging模型输出的结果进行数据校准，得到校准值；最后等待最新国标数据的采集，并根据新采集的国标数据，来更新校准误差，并将误差传递给下一个模型。

所述的利用误差传递的空气质量数据实时校准方法，具体过程如下：

1)建立模型，通过多次实验的方法初始化模型参数，初始化误差error为0，每次建模使用的训练数据集大小m为30000条，误差影响率alpha为0.9，每次校准的数据量n为8；

2)实时采集最近时间段的国标数据和卓易设备数据，并保存至实时数据库，并对采集的国标数据进行克里金插值，得到采样频率与卓易设备相等的国标插值数据；其中，克里金插值采用普通克里金法；

3)对国标插值数据及卓易设备数据进行基于Bagging模型的建模；其中，Bagging模型使用基于回归树的Bagging模型，回归树时间复杂度为O(m*logm)，其中m为训练集大小；

4)使用误差传递的方法，基于上次模型的误差，对本次Bagging模型输出的结果进行数据实时校准，得到校准值；

5)等待最新国标数据的采集，并根据新采集的国标数据，来更新校准误差。继续执行步骤2)，并将误差传递给下一个模型。

步骤2)中，普通克里金法使用空间上已知的点来估计未知的点，如式(1)所示：

其中，Y′_n+1为估计值，其真实值为Y_n+1，且满足估计值与真实值之间的经验均方误差最小和无偏估计两个条件，即满足式(2)和式(3)

E(Y′_n+1-Y_n+1)＝0 (3)

使用拉格朗日方法求得估计值Y′_n+1。

步骤3)中，Bagging模型：对训练集进行多次随机抽样，生成多个训练子集，并对每个训练子集使用回归树的方法进行建模，最后使用投票的方式，对多个回归树模型进行组合，形成了Bagging校准模型。

步骤4)中，数据实时校准方法的基本过程为：

(1)从步骤2)的实时数据库读入时间上最近的一个数据集；

(2)使用步骤3)的Bagging模型得到得到下个时间段n个数据的校准值；；

(3)根据拉依达准则去除n个校准值中的误差值，并对结果取均值average；

(4)更新校准值为average+alpha*error，以该结果作为该时间段的测量均值；

所述的拉依达准则假设一组测量数据只含有随机误差，对这组数据进行计算得到标准偏差，然后按一定概率确定一个区间，如果数据在该区间之外，则该数据属于粗大误差而不是随机误差，应被剔除；即对一组测量值X₁，X₂…X_n，其均值为μ，标准偏差为σ；若X_i满足式(4)，则认为X_i为误差应被剔除；

|X_i-μ|>I*σ (4)

式(4)参数I被初始化为3。

步骤5)中，等待最新国标数据的采集，并根据新采集的国标数据，来更新校准误差为：国标均值-测量均值。

有益效果：与现有技术相比，本发明的一种利用误差传递的空气质量数据实时校准的方法，用于校准空气流动速度平缓的环境下的空气参数数据，为每次空气质量数据的校准建立一个Bagging模型，并考虑到空气质量环境的时间序列相关性，在基于回归树的Bagging算法的基础上，通过模型误差将各个模型相关起来，能够实现空气质量数据的实时校准。本方法考虑在空气流动速度平缓状态下，空气质量数据在时间上具有连续性，设备误差也具有连续性，每次使用最近时间段的历史数据作为训练数据，并计算模型误差，使用上一个模型的误差来校准下一个模型的数据。通过对宜兴的实测数据进行模型验证，本方法能够有效的提高低精度设备的精度和准确率，能够进行区域部署，应用于实际生产环境，具有很好的实用性。

附图说明

图1是方法总体流程示意图；

图2是Bagging模型示意图；

图3是空气质量数据实时校准流程图。

具体实施方式

下面结合实施例对本发明作进一步说明。

实施例1

本实施例的样区为江苏省宜兴市。宜兴市北纬31°07′～31°37′，东经119°31′～120°03′，处于江苏省、安徽省、浙江省三省交界之处，东面与太湖水面相连。宜兴市具有两个国家监测站点，分别为宜园和宜兴市环保局。本实施例使用2017年6月1日至2017年7月31日的宜园监测站数据作为标准数据，分别对卓易设备采集的PM2.5、PM10、SO₂、CO、NO、O₃共6个空气参数进行数据校准。卓易设备使用美国SPEC公司生产的3SP系列传感器，通过电化学方法测量SO₂、CO、NO、O₃共4个参数，使用济南诺方电子技术有限公司生产的SDS018传感器，通过光散射法测量PM2.5、PM10共2个参数。卓易设备使用的传感器具有采样频率高，成本低，精度及准确率低等特点。卓易设备采样频率为15秒每次，除了6个空气参数，还可采集温度、湿度、光照强度等多个指标。本实施例对宜园国标数据进行克里金插值，得到时间间隔为15秒的国标插值数据，使用国标插值数据作为模型学习的样本数据，对卓易设备采集的6个空气参数进行数据校准。

利用误差传递的空气质量数据实时校准方法，其流程示意图见图1所示。首先初始化模型，然后采集最近时间段的国标数据和卓易设备数据，并对采集的国标数据进行克里金插值，得到采样频率与卓易设备相等的国标插值数据；其次，对国标插值数据及卓易设备数据进行基于Bagging模型的建模；接着，基于上次模型的误差，对本次Bagging模型输出的结果进行数据校准，得到校准值；最后等待最新国标数据的采集，并根据新采集的国标数据，来更新校准误差，并将误差传递给下一个模型。具体过程如下：

步骤1)建立模型，通过多次实验的方法初始化模型参数，初始化误差error为0，每次建模使用的训练数据集大小m为30000条，误差影响率alpha为0.9，每次校准的数据量n为8；

步骤2)实时采集最近时间段的国标数据和卓易设备数据，保存至实时数据库，并对采集的国标数据进行克里金插值，得到采样频率与卓易设备相等的国标插值数据；

克里金插值方法是空间地理学中常用的一种优化插值方法。针对传统的反距离插值法，克里金插值方法引进了以距离为变量的半变差函数，解决了描述空间关联程度不够准确等问题，能够更有效准确的完成插值。克里金插值方法主要分为普通克里金法和泛克里金法。普通克里金法是是目前使用最广泛的方法，是针对单个变量的局部线性最优无偏估计的方法。本文针对单个变量进行插值，因此使用普通克里金法[Van Beers W C M,Kleijnen J P C.Kriging interpolation in simulation:a survey[C]//SimulationConference,2004.Proceedings of the 2004Winter.IEEE,2004,1.]。

普通克里金法使用空间上已知的点来估计未知的点，如式(1)所示：

其中，Y′_n+1为估计值，其真实值为Y_n+1，且满足估计值与真实值之间的经验均方误差(Empirical Integrated Mean SquaredError，EIMSE)最小和无偏估计两个条件，即满足式(2)和式(3)

E(Y′_n+1-Y_n+1)＝0 (3)

使用拉格朗日方法可以求得估计值Y′_n+1。

步骤3)对国标插值数据及卓易设备数据进行基于Bagging模型的建模；

Bagging模型如图2所示：对训练集进行多次随机抽样，生成多个训练子集，并对每个训练子集使用回归树的方法进行建模，最后使用投票的方式，对多个回归树模型进行组合，形成了Bagging校准模型。

本实施例使用基于回归树的Bagging模型，回归树时间复杂度为O(n*logn)，其中n为训练集大小。经实验测试，计算时间较短，能够满足实时计算的要求。

步骤4)基于上次模型的误差，对本次Bagging模型输出的结果进行数据实时校准，得到校准值；

空气质量数据实时校准方法的流程图如图3所示，其基本过程为：

(1)使用步骤1)中初始化的模型参数，初始化误差error为0，每次建模使用的训练数据集大小m为30000条，误差影响率alpha为0.9，每次校准的数据量n为8；

(2)从步骤2)中的实时数据库读入时间上最近的一个数据集；

(3)使用步骤3)中的Bagging校准模型得到下个时间段n个数据的校准值；

(4)根据拉依达准则去除n个数据中的误差值，并对结果取均值average；

(5)更新校准值为average+alpha*error，以该结果作为该时间段的测量均值；

(6)根据步骤5)的方法来更新误差值error。

其中拉依达准则是一种去除误差的方法。拉依达准则假设一组测量数据只含有随机误差，对这组数据进行计算得到标准偏差，然后按一定概率确定一个区间，如果数据在该区间之外，则该数据属于粗大误差而不是随机误差，应被剔除。即对一组测量值X₁，X₂…X_n，其均值为μ，标准偏差为σ。若X_i满足式(4)，则认为X_i为误差应被剔除。

|X_i-μ|>I*σ (4)

式(4)参数I被初始化为3。

步骤5)等待最新国标数据的采集，并根据新采集的国标数据，来更新校准误差为：国标均值-测量均值，并将误差传递给下一个模型。

本实施例实时校准的方法适用于空气流动速度平缓的环境中。在该环境中，空气质量数据变化较平缓，因此可以使用均值来代表一段时间(约2-5分钟)的测量值。本实施例的卓易设备的测量误差与空气环境相关，在空气流动速度平缓的环境中，误差变化也较为平缓，因此可以根据上一个模型的误差来修正下一个模型的校准值。最终实验证明，该方法能够有效的降低卓易设备误差，提高卓易设备的准确率。

本实施例对2017年6月、7月两个月的数据进行校准，结果如表1所示：

表1.空气质量数据实时校准结果分析

结果表明，使用了本发明的实时校准方法之后，总体误差得到了有效的控制，全部控制在10％以内。其中PM2.5，PM10，NO三个参数校准后结果较好，Bagging模型的拟合优度较高，均在95％以上，最终个体误差基本控制在20％以内，总体误差在5％以内。SO₂，CO，O₃三个参数使用Bagging模型校准后的结果一般，模型拟合优度在85％以下，但是在加入拉依达准则及误差传递修正两种方法之后，个体误差基本控制在50％以内，且大部分误差控制在20％以内。其中对CO的校准结果尤为明显，个体误差均落在20％以内，总体误差为0.025％。

Claims

1.一种利用误差传递的空气质量数据实时校准方法，其特征在于，具体过程包括如下步骤：

1)建立模型，使用多次实验的方法确定模型参数，初始化误差error为0，数据集大小m为30000条，误差影响率alpha为0 .9，每次校准的数据量n为8；

2)采集最近时间段的国标数据和最近时间段的基于ARM架构的嵌入式设备数据，并保存至实时数据库，并对采集的国标数据进行克里金插值，得到采样频率与基于ARM架构的嵌入式设备相等的国标插值数据；其中，克里金插值采用普通克里金法，基于ARM架构的嵌入式设备能够实时地监测空气环境质量；

3)对最近时间段的国标插值数据及最近时间段的基于ARM架构的嵌入式设备数据进行基于Bagging模型的建模；其中，Bagging模型使用基于回归树的Bagging模型；

4)基于上一个Bagging模型的误差，对本次Bagging模型输出的结果进行数据实时校准，得到校准值；

5)等待最新国标数据的采集，并根据新采集的国标数据，来更新校准误差，更新校准误差为：国标均值-测量均值，继续执行步骤2)，并将误差传递给下一个Bagging模型；

步骤4)中，数据实时校准方法的基本过程为：

(1)从步骤2)的实时数据库读入时间上最近的一个数据集；

(2)使用步骤3)的Bagging模型得到下个时间段n个数据的校准值；

(3)根据拉依达准则去除n个数据中的误差值，并对结果取均值average；

(4)更新校准值为average+alpha*error，以该结果作为该时间段的测量均值。

2.根据权利要求1所述的利用误差传递的空气质量数据实时校准方法，其特征在于，步骤2)中，普通克里金法使用空间上已知的点来估计未知的点，如式(1)所示：

（1）

其中，

为估计值，其真实值为

，且满足估计值与真实值之间的经验均方误差最小和无偏估计两个条件，即满足式(2)和式(3)

(2)

E(Y′_k+1-Y_k+1)＝0 (3)

使用拉格朗日方法求得估计值

。

3.根据权利要求1所述的利用误差传递的空气质量数据实时校准方法，其特征在于，步骤3)中，Bagging模型包括：对训练集进行多次随机抽样，生成多个训练子集，并对每个训练子集使用回归树的方法进行建模，最后使用投票的方式，对多个回归树模型进行组合，形成了Bagging模型。

4.根据权利要求1所述的利用误差传递的空气质量数据实时校准方法，其特征在于，步骤(3)中，所述的拉依达准则假设一组测量数据只含有随机误差，对这组数据进行计算得到标准偏差，然后按一定概率确定一个区间，如果数据在该区间之外，则该数据属于粗大误差而不是随机误差，应被剔除；即对一组测量值X₁，X₂…，X_n，其均值为μ，标准偏差为σ；若X_i满足|X_i-μ|>I*σ，则认为X_i为误差应被剔除；其中，参数I被初始化为3。