CN115508511B - 基于网格化设备全参数特征分析的传感器自适应校准方法 - Google Patents

Abstract

本发明公开了基于网格化设备全参数特征分析的传感器自适应校准方法，包括：通过网格化设备获取大气污染物数据，构建零点漂移自适应校准模型；对大气污染物数据进行加工处理，获得目标样本集；基于目标样本集对零点漂移自适应校准模型进行训练，获得目标校准模型；对目标校准模型进行适用性评价，将满足性能需求的目标校准模型部署到网格化设备进行数据校准。本发明利用网格化设备全参数时空瞬‑稳态数据，耦合聚类、回归以及克里金插值等机器学习算法，实现传感器的动态簇全生命周期自适应智能校准。

Description

基于网格化设备全参数特征分析的传感器自适应校准方法

技术领域

本发明属于传感器自适应校准领域，特别是涉及基于网格化设备全参数特征分析的传感器自适应校准方法。

背景技术

为了更好地解决由六项常规大气污染物(PM2.5，PM10，NO₂，CO，O₃，SO₂)导致的空气质量问题，越来越多的网格化设备被使用，借助传感器和大数据技术使空气质量监测走向精细化、智能化。网格化设备的使用意味着传感器分布更加广泛，使得环境监测更加全面、更加精细，检测者有能力采集甚至于低成本采集数据，数据量有所增加，数据的准确性成为充分发挥网格化设备作用的关键。只有数据准确，才能够实现对大气微环境的综合、实时监测，以辅助更加准确、及时地实施靶向决策和环境空气质量的精细化管控。

而现有技术中的单变量线性回归方法是基于污染物数据自身规律去拟合准确数据，未考虑其他污染物的影响，但在实际的复杂大气环境中，六项常规大气污染物相互间存在不同程度的影响。因此，忽视多种污染物复杂关系的单变量线性回归方法不适用于真实环境，且使用时具有较差的适应能力和泛化能力，模型衰减速度较快，未真正体现网格化设备数据校准的使用意义和现实价值。

不分场景多变量回归方法在建模时不仅仅考虑了污染物自身数据，还综合考虑了其他污染物、气象等数据的影响，在一定程度上可提升不同污染物的模型拟合效果。但是，不同的网格化设备所处的气象条件、污染物浓度都是不一致的，随着时间推移会对网格化设备产生一定的影响，因此，忽略不同实际应用场景的统一模型会降低网格化设备在本地化使用过程中的准确性。

发明内容

为解决上述问题，本发明提供了如下方案：基于网格化设备全参数特征分析的传感器自适应校准方法，包括：

通过网格化设备获取大气污染物数据，构建零点漂移自适应校准模型；

对所述大气污染物数据进行加工处理，获得目标样本集；

基于所述目标样本集对所述零点漂移自适应校准模型进行训练，获得目标校准模型；

对所述目标校准模型进行适用性评价，将满足性能需求的目标校准模型部署到所述网格化设备进行数据校准。

优选地，通过网格化设备获取大气污染物数据之前还包括，

根据聚类算法对网格化设备进行类别划分，获得类别中心点；

基于所述类别中心点划分自学习网格化设备和非自学习网格化设备。

优选地，基于所述目标样本集对所述零点漂移自适应校准模型进行训练，获得目标校准模型的过程包括，

利用污染物的浓度值及气象数据获得模型输入向量，基于回归算法对所述模型输入向量进行计算，输出得到模型的拟合数据；

其中，所述污染物的浓度值至少包括PM2.5，PM10，NO₂，CO，O₃，SO₂的浓度值。

优选地，对所述目标校准模型进行适用性评价根据R²、r进行评价；

表达式为：

其中，SSR为回归平方和，SST为总平方和，y_i为标签值，

为标签值的均值，/>

为拟合值，/>

为拟合值的平均值。

优选地，将满足性能需求的目标校准模型部署到所述网格化设备进行数据校准包括部署到自学习网格化设备；

将所述目标校准模型部署到所述自学习网格化设备进行数据校准的过程包括，根据监测性能指标判断所述目标校准模型应用过程中的性能下降情况，当所述目标校准模型不满足性能需求时，更新数据集对所述目标校准模型重新训练直至满足需求后部署到网格化设备进行数据校准。

优选地，更新数据集对所述目标校准模型重新训练包括对模型输入向量进行加工以及选择多种模型进行训练，比较获得目标最优模型；

对模型输入向量进行加工包括通过除法、ln、sqrt、平方、离散化对原有变量进行加工获得衍生变量；

选择多种模型进行训练包括多元线性回归模型、XGBRegressor模型、多项式回归模型、高斯回归模型。

优选地，将满足性能需求的目标校准模型部署到所述网格化设备进行数据校准还包括部署到非自学习网格化设备；

将所述目标校准模型部署到所述非自学习网格化设备进行数据校准的过程包括，

存储部署自学习网格化设备的类别中心点，根据所述自学习网格化设备的类别中心点的中心点信息和非自学习网格化设备累积浓度的斜率和气象信息，计算与不同类别中心点的距离并进行比较，获得距离非自学习网格化设备最近中心点之间的第一距离；计算最先进中心点与其他所有中心点的最小距离，获得第二距离；当所述第一距离小于第二距离时，获得对应的传感器簇，将所述对应的传感器簇部署到所述非自学习网格化设备进行数据校准；否则，判定为离群点；通过克里金插值对所述离群点进行单独校准。

本发明公开了以下技术效果：

本发明提供的基于网格化设备全参数特征分析的传感器自适应校准方法，针对目前网格化设备数据不准确、非自学习网格化设备没有标签数据的问题，充分考虑了多污染物之间的相关影响及气象条件影响，利用了网格化设备全参数时空瞬-稳态数据。对于算法单一的问题，本发明结合聚类算法、回归算法、克里金插值等多种方法，建立网格化设备站点污染物浓度数据的校准体系。对于模型单一的问题，根据不同场景对不同传感器设备进行传感器簇的判定，有针对性地在不同场景下创建不同的模型，实现传感器的动态簇全生命周期自适应智能校准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例的自学习网格化设备技术方案实现流程图图；

图2为本发明实施例的非自学习网格化设备技术方案流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本实施例考虑一方面现有技术使用的变量仅为污染物浓度相关变量，而没有充分利用气象条件等数据，变量设定较为简单将会导致所建的模型不具备较强的学习能力，而在实际应用环境中，每个网格化设备都处于复杂的大气环境之中，也就意味着有复杂的时空特征等待挖掘，如果建模特征过于简单将导致现有校准方法不能捕捉到一些重要信息，在提升网格化设备数据准确性上作用不大，鉴于上述情况，需要充分考虑各个维度特征数据，提高模型准确性、全面性；另一方面现有技术在模型选择方面较为单一，对于不同场景适应性较差，应该结合聚类算法、回归算法、克里金插值等方法，对网格化设备站点污染物浓度数据实现更精细化校准，其中聚类算法是为了划分场景，使得模型有针对性，回归算法是针对有标签的数据直接进行模型训练，克里金插值是针对依据划分条件不能够很好地划分到类别中从而成为离群点的网格化设备。另外，现有技术无法进行衰减建模，场景在变化，数据规律也随之变化，需要对模型效果评价指标进行监控，当指标数据出现衰减时需要根据实际情况及时更新模型。

本发明提供了基于网格化设备全参数特征分析的传感器自适应校准方法,本地化模型使用聚类算法对所有网格化设备进行类别划分并找到类别中心点，成为类别中心点的网格化设备我们称之为自学习网格化设备，除此以外的设备称之为非自学习网格化设备。随着时间推移和空间环境的变化，本地化模型效果衰减，通过构建零点漂移自适应校准模型的方式来适应不同场景。两种不同阶段的模型都会对自学习网格化设备、非自学习网格化设备有针对性地建模。

如图1所示，自学习网格化设备数据校准过程包括，

获取数据源：包括网格化设备原始数据和标签数据

加工数据集：加工模型需要使用的样本集

训练模型：

自学习网格化设备可以依据性能指标的变化情况使用便携式设备做数据比对和设备校准，即以便携式设备数据作为标签数据使得自学习网格化设备校准模型得以不断学习更新。

模型训练：

考虑到网格化设备长期使用会受到气象环境影响，且不同污染物之间相互影响，因此构建如公式(1)所示拟合模型的输入向量X_i，由六种污染物(PM2.5，PM10，NO₂，CO，O₃，SO₂)浓度值以及气象数据构成，其中i代表样本集的样本序号，i∈[1,n]，n为总样本量大小。如公式(2)所示，f_r为回归算法，可选择多元线性回归、多项式回归、高斯回归等模型得到拟合数据Fregression，回归算法得到的结果即为模型的输出。

X_i＝(pm2.5_i,pm10_i,no_2i,co_i,o_3i,so_2i,temp_i,humi_i,ws_i,wd_i,eap_i) (1)

Fregression＝f_r(X_i) (2)

适用性评价：依据指标评价模型是否适用

使用公式(3)所示的R2，公式(4)所示的r作为主要的回归模型效果的评价指标。其中SSR为回归平方和，SST为总平方和，y_i为标签值，

为标签值的均值，/>

为拟合值，/>

为拟合值的平均值。除此之外还会参考均方误差、相对误差、绝对误差来加以辅助判断模型效果。

部署模型：将满足性能需求的模型部署使用

当评价指标的值满足需求时把可用的模型部署到网格化设备中，用于数据校准。不满足时需要重新训练，通过不断地优化模型使其符合性能指标要求。

阈值判定：模型应用过程中需要监控性能指标有没有下降，还能不能满足性能需求来决定继续使用还是重新训练。

从监控指标阈值的角度来看，当监控指标值即将接近我们设定的阈值范围时，说明模型效果已经变差需要考虑更新模型；从指标下降幅度的角度来看，一段时间内下降显著，说明此指标有更快的模型迭代需求，要提前准备好要更新的模型。

迭代过程中需要加入新数据更新训练集和测试集。目前用到的特征涉及六个大气污染指标浓度和气象条件，为更好提升模型的效果，在重新训练模型过程中，根据现有数据加工一些衍生变量，如除法、ln、sqrt、平方、离散化等方式对原有变量进行加工，丰富特征数据；选择多种模型进行尝试，找到最优的模型使用，如多元线性回归、XGBRegressor、多项式回归(Polynomial Regression)、高斯回归等。

如图2所示，非自学习网格化设备数据校准过程包括，

如上所述对网格化设备使用聚类算法做类别划分，那么对于上述的类别中心点可以通过便携设备进行自学习，非中心点的设备使用上述方案不再可行，因此本实施例充分利用这些类别中心点的时间空间信息数据来完成非自学习网格化设备的校准。

传感器簇判定：依据自学习网格化设备部署模型时存储的中心点信息和非自学习网格化设备自身的累积浓度和气象信息实现传感器簇的判别

部署模型：符合划分的将所属类别对应的模型部署使用

离群点校准：不符合划分的作为离群点单独校准

具体包括，根据非自学习网格化设备累计浓度的斜率及周边气象条件，计算与不同类别中心点的距离并进行比较，找到最接近的类，即非自学习网格化设备找到与其距离最近的中心点(此距离记为D_es)，计算此中心点与其他所有中心点的最小距离(此距离记为D_ss)，当D_es<D_ss时符合划分，即找到了对应的传感器簇，否则判定为离群点，使用克里金插值等方法进行校准。

自学习网格化设备通过回归算法拟合的方式进行校准，针对非自学习网格化设备在没有标签数据的条件下的校准，本实施例提出了集成多个模型的解决方案，充分利用气象条件数据、累计浓度数据等时空特征，通过聚类算法对网格化设备所处的环境、场景进行簇的划分，不同簇使用不同的针对性模型，对于未被划分到簇中的网格化设备以离群点的形式使用离群点预测的方式进行校准，形成一个动态簇全生命周期自适应智能校准体系。

本实施例对网格化设备数据进行了探索性数据分析，从而了解数据概况。分别分析了网格化设备数据各个污染物自相关性、各个污染物之间的相关性，为后面的建模提供数据支撑。另外还分析了随着时间变化污染物浓度的变化趋势，在一定程度上体现了随着时间推移不同污染物在网格化设备上发生不同程度的数据漂移，即累积浓度对网格化设备数据有所影响。本发明充分利用污染物浓度间的复杂关系以及气象条件瞬-稳态数据，建立多维度时空特征网格化设备校准模型，进而提高其准确性。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (3)

1.基于网格化设备全参数特征分析的传感器自适应校准方法，其特征在于，包括：

通过网格化设备获取大气污染物数据，构建零点漂移自适应校准模型；

对所述大气污染物数据进行加工处理，获得目标样本集；

基于所述目标样本集对所述零点漂移自适应校准模型进行训练，获得目标校准模型；

对所述目标校准模型进行适用性评价，将满足性能需求的目标校准模型部署到所述网格化设备进行数据校准；

将满足性能需求的目标校准模型部署到所述网格化设备进行数据校准包括部署到自学习网格化设备；

将所述目标校准模型部署到所述自学习网格化设备进行数据校准的过程包括，根据监测性能指标判断所述目标校准模型应用过程中的性能下降情况，当所述目标校准模型不满足性能需求时，更新数据集对所述目标校准模型重新训练直至满足需求后部署到网格化设备进行数据校准；

将满足性能需求的目标校准模型部署到所述网格化设备进行数据校准还包括部署到非自学习网格化设备；

将所述目标校准模型部署到所述非自学习网格化设备进行数据校准的过程包括，

存储部署自学习网格化设备的类别中心点，根据所述自学习网格化设备的类别中心点的中心点信息和非自学习网格化设备累积浓度的斜率和气象信息，计算与不同类别中心点的距离并进行比较，获得距离非自学习网格化设备最近中心点之间的第一距离；计算最近中心点与其他所有中心点的最小距离，获得第二距离；当所述第一距离小于第二距离时，获得对应的传感器簇，将所述对应的传感器簇部署到所述非自学习网格化设备进行数据校准；否则，判定为离群点；通过克里金插值对所述离群点进行单独校准；

通过网格化设备获取大气污染物数据之前还包括，

根据聚类算法对网格化设备进行类别划分，获得类别中心点；

基于所述类别中心点划分自学习网格化设备和非自学习网格化设备；

基于所述目标样本集对所述零点漂移自适应校准模型进行训练，获得目标校准模型的过程包括，

利用污染物的浓度值及气象数据获得模型输入向量，基于回归算法对所述模型输入向量进行计算，输出得到模型的拟合数据；

其中，所述污染物的浓度值至少包括PM2.5，PM10，NO₂，CO，O₃，SO₂的浓度值。

2.根据权利要求1所述的基于网格化设备全参数特征分析的传感器自适应校准方法，其特征在于，

对所述目标校准模型进行适用性评价根据R²、r进行评价；

表达式为：

/>

其中，SSR为回归平方和，SST为总平方和，y_i为标签值，

为标签值的均值，/>

为拟合值，

为拟合值的平均值。

3.根据权利要求1所述的基于网格化设备全参数特征分析的传感器自适应校准方法，其特征在于，

更新数据集对所述目标校准模型重新训练包括对模型输入向量进行加工以及选择多种模型进行训练，比较获得目标最优模型；

对模型输入向量进行加工包括通过除法、ln、sqrt、平方、离散化对原有变量进行加工获得衍生变量；

选择多种模型进行训练包括多元线性回归模型、XGBRegressor模型、多项式回归模型、高斯回归模型。

Images