CN113945684A - 一种基于大数据的微型空气站自校准方法 - Google Patents

Abstract

本发明涉及一种基于大数据的微型空气站自校准方法，其中，数据处理模块对至少一个高精度设备和若干空气微站的距离、风速等数据进行判断处理，按顺序执行条件判断，符合相同环境气体条件后，获取数据流：所述数据处理模块对所述数据流进行数据预处理；所述数据处理模块对数据流进行有效数据判断；对有效数据序列建立训练模型；根据训练模型获得的校准参数建立评价模型；从评价模型中选择校准参数进行结果输出，数据处理模块利用该校准系数修正空气微站的监测值，完成校准修正。本发明的自校准方法提高了校准效率，节约了校准成本，采用存储多组校准参数的方法，克服了差数据带来的校准误差，提高了模型自校准的数据可靠性。

Description

一种基于大数据的微型空气站自校准方法

技术领域

本发明属于环保领域，特别是涉及一种基于大数据的微型空气站自校准方法。

背景技术

环境污染问题尤其是大气污染问题，不止带来了严重的生态破坏，还威胁着人类的生命健康。目前，建成的环境空气质量监测网络主要以国家环境空气质量自动监测站(简称“国控站”)、省控环境空气质量自动监测站(简称“省控站”)为主，小型的环境空气监测站(简称“空气微站”)为辅；应用物联网、大数据等信息化技术，能够及时发现污染源，为环境污染精细化防控提供快速有效的决策支持。其中，国控站、省控站使用的监测设备数据精度高，但建设和维护成本高，限制其建站密度，导致环境监测网无法全面覆盖；空气微站使用的是低成本传感器，成本低，体积小，补充了国控站和省控站的不足，被广泛应用于城市网格化环境监测，但低成本传感器在使用一段时间后就会出现数据漂移、校准曲线漂移等问题，严重影响了监测数据的质量。因此需要通过定期校准来提高空气微站监测数据的质量。

城市网格化环境监测所使用的空气微站一般相距1～2km，分布广泛、数量大、且安装后不易拆卸。目前常用的校准方法有：1.采用标准物质进行校准，与检定校准规程中方法一致，该方法具有精度高的优点；但效率低，成本高，完成所有空气微站的校准工作量将非常大，几乎不可行。2.参照量值传递方法进行校准，图1为设备量值传递校准示意图，即采用校准过的高精度设备对空气微站所使用的低成本传感器进行传递校准。图2为设备量值传递校准-进气示意图，按照量值传递校准要求，需确保“环境空气1”和“环境空气2”为相同样气，这样才能进行比对。该方法校准精度高，但缺点也是效率低、成本高、工作量大。

近年来，业界人员一直在研究一种远程自校准方法，以提高校准效率并节约成本，研究中大部分都融合了物联网、大数据等信息技术。

例如，专利“基于机器学习算法的云端数据联调校准方法”(CN 108469273 A)通过回归模型分析空气质量监测微站和国家标准监测站的数据规律性，利用相关系数和偏离度来判断是否需要校准，采用一元线性回归模型训练校准系数，并对颗粒物传感器进行了检验。在该专利有未解决以下问题，1.未描述在什么条件下，“环境空气1”和“环境空气2”可以近似为相同样气；2.建模需要有效数据，垃圾数据会给模型带来很大的误差，该专利并未对此描述；3.若模型校准效果差，无法进行自动修复；4.电化学气体传感器存在明显的交叉影响，专利中并未涉及修正方法。

专利“一种环境空气质量监测智能校准方法”(CN 112394137 A)采用神经网络模型对空气微站和国家标准站监测数据进行训练，并用SO₂传感器进行了检验。该专利有以下问题未解决，1.未描述在什么条件下，“环境空气1”和“环境空气2”可以近似为相同样气；2.模型复杂，且未展示模型效果；3.SO₂电化学气体传感器存在明显的交叉影响，专利中并未涉及修正方法。

专利“环境空气监测的传感器远程校准方法及环境空气质量监测装置”(CN112147280A)只对传感器的零点漂移进行校准，并未解决校准曲线漂移的问题。专利“空气质量监测数据校准方法、装置、设备和存储介质”(CN 110426493 A)提出气象数据满足稳态要求时，可以进行空气微站数据校准，但是该专利并未描述详细的气象参数。

综上，目前亟需提出一种可实用的远程自校准方法，实现“环境空气1”和“环境空气2”可以近似为相同样气，减小垃圾数据对校准效果的影响，修正电化学传感器交叉影响，从而真正提高空气微站的数据质量。

发明内容

本发明旨在建立一种可实用的远程自校准方法，其基于空间、气象、环境监测数据的能够自动校准微型空气站的方法，即基于大数据的微型空气站自校准方法。

本发明提供了一种基于大数据的微型空气站自校准方法，其包括：步骤一、数据处理模块对至少一个高精度设备和若干空气微站的距离、风速等数据进行判断处理，按顺序执行条件判断，符合相同环境气体条件后，获取数据流：步骤二、数据预处理，所述数据处理模块对所述数据流进行数据预处理；步骤三、所述数据处理模块对数据流进行有效数据判断；步骤四、对有效数据序列建立训练模型；步骤五、根据训练模型获得的校准参数建立评价模型；步骤六、从评价模型中选择校准参数进行结果输出，数据处理模块利用该校准系数修正空气微站的监测值，完成校准修正。

其中，判定高精度设备和空气微站之间的距离满足距离阈值，该距离阈值为1.5Km。

其中，判断高精度设备和空气微站之间的风速是否满足风速阈值，所述风速阈值为3m/s。

其中，所述步骤二包括对高精度设备环境空气监测数据按照污染物因子依次进行预处理，发现异常值和空值后，进行删除；同时删除对应因子对应时刻空气微站监测数据.

其中，所述步骤三中对高精度站点与空气微站对应污染物因子进行相关性计算，判断相关性是否一致。

本发明公开了一种基于大数据的微型空气站自校准方法，能够通过模型训练，分析后能自动找到适合当地空气微站的校准条件和有效数据特征判断方法。该方法能够基于空间、气象、环境监测数据判断校准时机，建立筛选有效建模数据的方法，通过可解释性强的线性回归模型建模，并修正气体交叉干扰影响，通过建立校准参数成本函数，避免校准失败无法恢复。该方法具有自动化，学习能力强，具有自恢复功能，易于编程实现，能够有效提高空气微站中颗粒物传感器和气体传感器的数据质量。

本发明的自校准方法提高了校准效率，节约了校准成本，采用存储多组校准参数的方法，克服了差数据带来的校准误差，提高了模型自校准的数据可靠性。

附图说明

图1为设备量值传递校准示意图；

图2为设备量值传递校准-进气示意图；

图3为数据来源示意图；

图4为本发明的高精度设备校准周围空气微站示意图；

图5为本发明的自校准流程图。

具体实施方式

为了便于理解本发明，下面结合附图对本发明的实施例进行说明，本领域技术人员应当理解，下述的说明只是为了便于对发明进行解释，而不作为对其范围的具体限定。

图3为环境空气监测数据采集存储计算示意图。在本发明的自校准方法中，数据采集模块采集数据后，通过通信模块上传到大数据平台上，数据处理模块在大数据平台上运行。

所述数据采集模块包括至少一个高精度设备和若干个空气微站，所述至少一个高精度设备优选为国控站或省控站空气监测设备，所述至少一个高精度设备也可以为自建的高精度空气监测设备；所述数据采集模块所采集的数据主要包括：风速、风向、温度等气象数据，还有经纬度等GPS数据，以及颗粒物和气态污染物监测数据。图4所示为本发明的高精度设备校准周围空气微站示意图。

所述通信模块优选为4G或5G通信模块，还可以是红外通信模块或蓝牙连接模块，或者其它任何可实现无线数据通信的模块，该通信模块能够将所有的监测数据实时上传到大数据平台中。

所述大数据平台具有数据处理模块和数据存储模块，数据采集模块所获得的数据经通信模块传输并存储到所述数据存储模块中，所述数据处理模块能够对所述数据存储模块中的海量数据进行实时计算和展示。

如图4所示，自校准方法可以同时对至少一个高精度设备周围的多个空气微站进行校准，在预定距离范围内，寻找至少一个高精度设备周围的“环境空气1”和空气微站周围的“环境空气2”近似为相同样气的条件，根据模型训练结果，发现当高精度设备风速小于3m/s，空气微站风速小于3m/s时，模型训练效果比较好。通过GPS数据计算，当至少一个空气微站在布置高精度设备1.5km范围内，气象条件允许时，即可启动校准。

图5是本发明的基于大数据的微型空气站自校准方法自校准方法的流程图，下面按照步骤分别进行介绍：

步骤100，获取数据流。所述数据处理模块对至少一个高精度设备和若干空气微站的距离、风速等数据进行判断处理，按顺序执行条件判断，符合相同环境气体条件后，获取数据流：

条件一，当高精度设备和空气微站之间的距离满足距离阈值，该距离阈值优选为1.5Km，作为一个实施例，可根据gps或其它距离定位方式，确定所述高精度设备和空气微站之间的距离，当所述距离之间小于1.5Km时，判定高精度设备和空气微站之间的距离满足距离阈值，则进入条件二；

条件二，判断高精度设备和空气微站之间的风速是否满足风速阈值，所述风速阈值为3m/s。如果所述高精度设备和空气微站的风速均小于3m/s，所述风速阈值为小于3m/s；条件二满足，则进行数据流获取。

具体而言，所述数据采集模块对环境数据进行采集，其中，所述高精度设备和空气微站获取周围的风速、风向、温度等气象数据、经纬度等GPS数据、颗粒物和气态污染物监测数据；在判断条件二满足之后，将符合上述条件的数据导入后续的数据处理模块中；

从大数据平台中导入高精度设备环境空气监测数据和其附近空气微站监测数据，建立队列长度为n。此数据是为了后续建模所用。

将高精度设备监测数据定义为：

Y(PM25)＝{y₁(PM25),y₂(PM25),…,y_n(PM25)}；

Y(PM10)＝{y₁(PM10),y₂(PM10),…,y_n(PM10)}；

Y(CO)＝{y_c1,y_c2,…,y_cn}；

Y(O₃)＝{y_o1,y_o2,…,y_on}；

Y(NO₂)＝{y_n1,y_n2,…,y_nn}；

Y(SO₂)＝{y_s1,y_s2,…,y_sn}；

将空气微站监测数据定义为：

X(PM25)＝(x₁(PM25),x₂(PM25),…,x_n(PM25)}；

X(PM10)＝(x₁(PM10),x₂(PM10),…,x_n(PM10)}；

X(CO)＝{x_c1,x_c2,…,x_cn}；

X(O₃)＝{x_o1,x_o2,…,x_on}；

X(NO₂)＝{x_n1,x_n2,…,x_nn}；

X(SO₂)＝{x_s1,x_s2,…,x_sn}；

步骤200，数据预处理，所述大数据平台的数据处理模块对所述数据采集模块的数据流进行数据预处理。

步骤201，对高精度设备环境空气监测数据按照污染物因子依次进行预处理，发现异常值和空值后，进行删除；

步骤202，同时删除对应因子对应时刻空气微站监测数据。

步骤300，有效数据判断。所述数据处理模块对数据流进行有效数据判断，对高精度站点与空气微站对应污染物因子进行相关性计算。

在对有效数据进行处理和判断步骤中，对高精度站点与空气微站对应污染物因子进行相关性计算，判断相关性是否一致：其中颗粒物、CO相关系数>0.8；NO₂相关系数>0.7；O₃相关系数>0.75，判定相关性一致，进入下一步骤；相关性不一致，该序列数据无效。

具体而言，选取某一长度为N序列，对同一污染物因子Y(PM25)和X(PM25)、Y(PM10)和X(PM10)、Y(CO)和X(CO)、Y(O₃)和X(O₃)、Y(NO₂)和X(NO₂)，分别计算皮尔逊相关系数，计算公式为：

r(X,Y)代表皮尔逊相关系数。

上述任一污染物因子序列符合“相关性一致”条件，即可进入对应因子后续步骤400。例如：PM25因子相关性一致，CO因子相关性不一致，PM25因子对应序列进入后续步骤；CO因子对应序列直接丢弃，待后续CO因子序列进入再计算。

以某一污染物因子为例，计算过程如下，高精度设备监测序列为Y＝{y₁,y₂,…,y_n}序列，空气微站对应序列为X＝{x₁,x₂,…,x_n}序列。LY用于存储从Y序列中筛选的有效数据，LX用于存储从X序列中筛选的有效数据。

1.选择{y₁,y₂,y₃,y₄}和{x₁,x₂,x₃,x₄}计算皮尔逊相关系数r，若r≥0.8,则{x₁,y₁}，{x₂,y₂}，{x₃,y₃}，{x₄,y₄}为有效数据，存储到新序列LY,LX中；反之，这四对数字不能存储到新序列LY,LX中。

2.选择{y₁,y₂,y₃,y₄,y₅}和{x₁,x₂,x₃,x₄,x₅}计算皮尔逊相关系数r，若r≥0.8,则{x₅,y₅}为有效数据，存储到新序列LY,LX中；反之，{x₅,y₅}不能存储到新序列LY,LX中。

3.选择{y₁,y₂,y₃,y₄,y₅,y₆}和{x₁,x₂,x₃,x₄,x₅,x₆}计算皮尔逊相关系数r，若r≥0.8,则{x₆,y₆}为有效数据，存储到新序列LY,LX中；反之，{x₆,y₆}不能存储到新序列LY,LX中。

4.选择{y₁,y₂,y₃,y₄,y₅,y₆,y₇}和{x₁,x₂,x₃,x₄,x₅,x₆,x₇}计算皮尔逊相关系数r，若r≥0.8,则{x₇,y₇}为有效数据，存储到新序列LY,LX中；反之，{x₇,y₇}不能存储到新序列LY,LX中。

5.选择{y₁,y₂,y₃,y₄,y₅,y₆,y₇,y₈}和{x₁,x₂,x₃,x₄,x₅,x₆,x₇,x₈}计算皮尔逊相关系数r，若r≥0.8,则{x₈,y₈}为有效数据，存储到新序列LY,LX中；反之，{x₈,y₈}不能存储到新序列LY,LX中。

6.定义i＝{1,2,…，N-8}，选择{y_i+1,y_i+2,y_i+3,y_i+4,y_i+5,y_i+6,y_i+7,y_i+8}和{x_i+1,x_i+2,x_i+3,x_i+4,x_i+5,x_i+6,x_i+7,x_i+8}计算皮尔逊相关系数r_i，若r_i≥0.8,则{x_i+8,y_i+8}为有效数据，存储到新序列LY,LX中；反之，{x_i+8,y_i+8}不能存储到新序列LY,LX中。

LX,LY即为该污染物因子的有效数据序列。

步骤400，对有效数据序列建立训练模型。在所述大数据平台中具备训练处理模块，在所述训练处理模块中建立训练模型，训练模型有多种机器学习算法可以选择，比如神经网络算法、线性回归算法，考虑到监测设备的线性响应特性，本发明选择了可解释性强，较适合的线性回归模型。将有效数据分为训练集和测试集。

由于NO₂气体对O₃电化学气体传感器存在有明显的交叉干扰影响，对于PM25、PM10、NO₂、CO电化学传感器建模采用一元线性回归，O₃电化学传感器建模采用二元线性回归。模型训练使用的成本函数为均方误差。

训练后校准公式如下：

Ycal(PM25)＝k(PM25)×X(PM25)+b(PM25)

Ycal(PM10)＝k(PM10)×X(PM10)+b(PM10)

Ycal(NO₂)＝k(NO₂)×X(NO₂)+b(NO₂)

Ycal(CO)＝k(CO)×X(CO)+b(CO)

Ycal(O₃)＝k(O₃)×X(O₃)+k_no×Ycal(NO₂)+b(O₃)

线性回归模型为：

其中，

代表模型校准值，x_i代表第i个特征，θ_i代表特征权重。

成本函数为：

θ^TgX⁽ⁱ⁾代表模型校准值，y⁽ⁱ⁾代表高精度设备监测值，成本函数目的是使得校准值和高精度设备监测值之间误差最小。

按照上述方式建模，采用训练集LX(train),LY(train)进行训练：

使用一元线性回归模型的污染物因子(PM25、PM10、NO₂、CO)，只需一个特征，其中，采用空气微站监测值LX(PM25或PM10或NO₂或CO)作为特征值；

采用二元线性回归模型的污染物因子(O₃)，需要两个特征：空气微站臭氧监测值LX(O₃)和二氧化氮监测值LX(NO₂)。

Ycal(PM25)，Ycal(PM10)，Ycal(NO₂)，Ycal(CO)，Ycal(O₃)代表校准值，X(PM25)，X(PM10)，X(NO₂)，X(CO)，X(O₃)代表空气微站校准前的监测值。k(PM25)，k(PM10)，k(NO₂)，k(CO，k(O₃)，k_no，b(PM25)，b(PM10)，b(NO₂)，b(CO)，b(都属于模型训练得到的校准参数。

输出校准参数到评价模型中。

步骤500：根据训练模型获得的校准参数建立评价模型。评价函数为均方误差。评价序列为测试集。

随着有效数据的增加，每组污染物因子会至少存6组校准参数。分别为校准参数1，校准参数2，校准参数3，校准参数4，校准参数5,校准参数6。一组传感器原始输出，共计7列数值。

当后续有第7组校准参数输入时，与前面存储的6组校准参数的均方误差值比较。舍弃均方误差值最大的校准参数，每次都只存储6组校准参数。防止质量差的数据建模引入效果差的校准参数。

对每一组评价结果为“是”的有效数据进行存储并标记，用于后续统计分析有效数据特征，为气象参数阈值，有效数据特征分析优化做准备。

步骤600，从评价模型中选择校准参数进行结果输出，数据处理模块利用该校准系数修正空气微站的监测值，完成校准修正。

采用测试集LX(test)，LY(test)进行评价；评价函数为

X⁽ⁱ⁾为LX(test)序列值，y⁽ⁱ⁾为LY(test)序列值。

假设某一污染物因子的校准系数等信息存储到下表中，

校准参数	评价函数计算值	有效数据标识
			未校准	M0
校准系数1	M1	T/F
			校准系数2	M2	T/F
校准系数3	M3	T/F
			校准系数4	M4	T/F
校准系数5	M5	T/F
			校准系数6	M6	T/F

上述表中，M0为空气微站传感器原始输出值作为X⁽ⁱ⁾计算得到。

第一次训练后得到第一组校准系数，其评价函数计算值M1只能与MO比，一般情况下，M1均小于MO，因此将校准系数1输出；有效数据标识为“T”

第二次训练得到第二组校准系数，选择评价函数计算值MO，M1，M2中值最小的一组校准系数输出；若M2最小，则有效数据标识为“T”，否则为“F”。

第三次训练得到第三组校准系数，选择评价函数计算值MO，M1，M2，M3中值最小的一组校准系数输出；若M3最小，则有效数据标识为“T”，否则为“F”。

第四次训练得到第四组校准系数，选择评价函数计算值MO，M1，M2，M3，M4中值最小的一组校准系数输出；若M4最小，则有效数据标识为“T”，否则为“F”。

第五次训练得到第五组校准系数，选择评价函数计算值MO，M1，M2，M3，M4，M5中值最小的一组校准系数输出；若M5最小，则有效数据标识为“T”，否则为“F”。

第六次训练得到第六组校准系数，选择评价函数计算值MO,M1,M2,M3,M4,M5,M6中值最小的一组校准系数输出；若M6最小，则有效数据标识为“T”，否则为“F”。

目前，从第七组校准系数开始，将M7与M1,M2,M3,M4,M5,M6按大小值做排序，若M7为最大值，则第七组校准系数舍弃，将评价函数MO,M1,M2,M3,M4,M5,M6中值最小的一组校准系数输出；若M7不是M1,M2,M3,M4,M5,M6,M7中最大值，用M7及第七组校准系数替换最大值对应的校准系数，并将最小值对应的校准系数输出。若M7最小，则有效数据标识为“T”，否则为“F”。

至于存多少组校准系数合适，这个应该根据项目实际情况调整。

校准系数输出后，数据处理模块利用该校准系数修正空气微站的监测值，完成校准修正。

作为一个实施例，从评价模型中选择均方误差最小的校准参数为结果输出。Java程序自动获取校准参数并对空气微站监测数据进行校准修正。

本发明给出了一种通过统计有效建模数据，找到一种判断“环境空气1”和“环境空气2”近似为相同样气的条件；给出了一种有效数据的判别方法；易于实现。通过引入多元线性回归模型，修正了NO₂气体对臭氧电化学传感器的交叉干扰，提高了空气微站O₃传感器监测精度。通过配置带GPS、风向信息的高精度设备(可以是校准后的便携式设备)，在合适条件下能够同时校准周围多台空气微站，校准精度在±20％以内，和传统方法相比，提高了校准效率，节约了校准成本。采用存储多组校准参数的方法，克服了差数据带来的校准误差，提高了模型自校准的数据可靠性。统计分析有效数据特征模块可升级优化为自动化模式。数据处理模块能够自动判断有效数据并训练模型，模型将越训练越精准。

可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (5)

1.一种基于大数据的微型空气站自校准方法，其特征在于：步骤一、数据处理模块对至少一个高精度设备和若干空气微站的距离、风速等数据进行判断处理，按顺序执行条件判断，符合相同环境气体条件后，获取数据流：步骤二、数据预处理，所述数据处理模块对所述数据流进行数据预处理；步骤三、所述数据处理模块对数据流进行有效数据判断；步骤四、对有效数据序列建立训练模型；步骤五、根据训练模型获得的校准参数建立评价模型；步骤六、从评价模型中选择校准参数进行结果输出，数据处理模块利用该校准系数修正空气微站的监测值，完成校准修正。

2.如权利要求1所述的基于大数据的微型空气站自校准方法，其特征在于：判定高精度设备和空气微站之间的距离满足距离阈值，该距离阈值为1.5Km。

3.如权利要求1所述的基于大数据的微型空气站自校准方法，其特征在于：判断高精度设备和空气微站之间的风速是否满足风速阈值，所述风速阈值为3m/s。

4.如权利要求1所述的基于大数据的微型空气站自校准方法，其特征在于：所述步骤二包括对高精度设备环境空气监测数据按照污染物因子依次进行预处理，发现异常值和空值后，进行删除；同时删除对应因子对应时刻空气微站监测数据。

5.如权利要求1所述的基于大数据的微型空气站自校准方法，其特征在于：所述步骤三中对高精度站点与空气微站对应污染物因子进行相关性计算，判断相关性是否一致。

Images