CN114676779A - 基于鲁棒宽度网络的大气质量监测数据校准方法及系统 - Google Patents

Abstract

本发明公开了一种基于鲁棒宽度网络的大气质量监测数据校准方法及系统，涉及大气质量监测数据处理分析技术领域。具体步骤为：获取国控点与自建点在国控点监测时间点上的差异数据；构建鲁棒宽度网络，基于所述差异数据对所述鲁棒宽度网络进行网络参数和输出权重的训练，得到训练完成的鲁棒宽度网络；通过所述训练完成的鲁棒宽度网络利用差异数据对自建点全时数据进行预测和补全，进而对比分析预测的准确性。本发明从国控点与自建点的差异数据出发，以鲁棒宽度网络为技术主线，通过对网络的鲁棒建模和训练，可有效解决原有自建点数据的噪声干扰以及网络的过拟合问题。

Description

基于鲁棒宽度网络的大气质量监测数据校准方法及系统

技术领域

本发明涉及大气质量监测数据处理分析技术领域，更具体的说是涉及一种基于鲁棒宽度网络的大气质量监测数据校准方法及系统。

背景技术

大气污染对生态环境和人类健康都构成了巨大危害，虽然国家检测站点(国控点)对空气质量数据有所分析且较为准确，但国控点布控较少，数据时间发布滞后较长且花费较大，无法实时给出全天候的空气质量监测与预报。市场上另存在商业公司自主研发的微型空气质量监测仪器(自建点)，花费小，可对当地空气质量进行实时网格化监控，并同时监测温度、湿度、风速、气压等参数。但这些微型空气质量仪由于受天气因素以及其他非常规气态污染物的浓度变化的影响，常出现内部传感器的零点漂移和量程漂移等问题，从而导致同一时间内自建点与国控点采集的数据存在一定的差异。为了实现地区全天候空气质量的高效监测，利用国控点每小时的数据，对国控点紧邻的自建点数据进行分析和校准，而目前已存的预测和分析技术存在特征表达不足、预测效率低和抗干扰能力差等不足，无法对监测数据内部蕴含的信息进行高效鲁棒地挖掘和分析。

发明内容

有鉴于此，本发明提供了一种基于鲁棒宽度网络的大气质量监测数据校准方法及系统，以解决背景技术中存在的问题。

为了实现上述目的，本发明采用如下技术方案：一种基于鲁棒宽度网络的大气质量监测数据校准方法，具体步骤包括如下：

获取国控点与自建点在国控点监测时间点上的差异数据；

构建鲁棒宽度网络，基于所述差异数据对所述鲁棒宽度网络进行网络参数和输出权重的训练，得到训练完成的鲁棒宽度网络；

通过所述训练完成的鲁棒宽度网络利用差异数据对自建点全时数据进行预测和补全，进而对比分析预测的准确性。

可选的，所述差异数据的获取方法为：

在大气监测过程中采集国控点和自建点的监测数据；

通过SPSS软件对所述监测数据进行数据标准化处理除去异常值进而得到所述差异数据。

可选的，除去异常值利用的函数为：

其中，σ为标准差，μ为平均值，Z为标准分数，N为样本数量，Xi为输入样本，x为一个具体的分数。

可选的，对所述鲁棒宽度网络进行训练的过程为：

随机打乱差异数据，并将所述差异数据分为训练集和测试集；

将所述训练集乘以随机权重得到随机特征：

其中，

表示特征节点和增强节点连接到输出层的权重，

表示偏置项，N_w表示功能节点的个数，φ_i表示特征映射，X表示输入的训练样本。

将所述随机特征传入增强层，得到增强特征：

其中，ξ_j表示选定的激活函数；

所述随机特征与所述增强特征组合并与目标值直接连接，利用鲁棒损失函数优化计算输出权重。

可选的，所述鲁棒损失函数为：

其中，λ是一个权衡正则化参数，W是输出权值，A为变换特征，Y是X对应的拟合目标。

另一方面，提供一种基于鲁棒宽度网络的大气质量监测数据校准系统，包括依次连接的数据采集模块、网络构建模块、数据处理模块；

所述数据采集模块，用于获取国控点与自建点在国控点监测时间点上的差异数据；

所述网络构建模块，用于构建鲁棒宽度网络，基于所述差异数据对所述鲁棒宽度网络进行网络参数和输出权重的训练，得到训练完成的鲁棒宽度网络；

所述数据处理模块，用于通过所述训练完成的鲁棒宽度网络利用差异数据对自建点全时数据进行预测和补全，进而对比分析预测的准确性。

可选的，还包括损失函数模块，与所述网络构建模块相连，用于对所述鲁棒宽度网络进行迭代优化求解。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于鲁棒宽度网络的大气质量监测数据校准方法及系统，解决了大气质量数据监测因天气、电化学气体等因素而产生的误差与偏移问题，从国控点与自建点的差异数据出发，以鲁棒宽度网络为技术主线，通过对网络的鲁棒建模和训练，可有效解决原有自建点数据的噪声干扰以及网络的过拟合问题，在得到一系列未处理的数据后，宽度学习系统将其作为输入数据，对数据进行加权以及计算，从而得到若干组新的数据，相较于原来的数据，输出数据的准确率高，更贴近于国控点数据，且应对不同程度的噪声干扰时，算法的均方误差波动幅度较小，提高了模型的鲁棒性和泛化性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明的方法流程图；

图2为本发明的鲁棒宽度学习网络的基本架构图；

图3为测试集差异值与预测差异值对比图；

图4a为PM2.5原始数据图；

图4b为PM2.5补全后的数据图；

图5a为NO₂原始数据图；

图5b为NO₂补全后的数据图；

图6a为PM10原始数据图；

图6b为PM10补全后的数据图；

图7为本发明的系统结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例公开了一种基于鲁棒宽度网络的大气质量监测数据校准方法，如图1所示，具体步骤为：

步骤一，对通过大气监测过程中获得的一系列国控点和自建点数据进行预处理，基于SPSS软件进行异常值处理，进而取得国控点与自建点在国控点监测时间点上的差异值；具体方法为：

通过SPSS软件对大气监测过程中获得的一系列国控点和自建点数据进行预处理，得到训练样本以及测试样本的方法为：

将测试集和训练集导入SPSS软件进行数据标准化处理除去异常值，利用函数对划分的训练集和测试集进行数据异常值处理并标准化，进而得到自建点与国控点在相应监测时间的数据差值：

其中，σ为标准差，μ为平均值，Z为标准分数，N为样本数量，Xi为输入样本，X为一个具体的分数。

步骤二，通过构建鲁棒宽度网络，基于差异数据对宽度网络进行参数训练和输出权重的鲁棒学习；

相较于深度网络需不断的增加网络层数来获取更高的精度，宽度学习网络可以在需要的时候对网络进行横向扩展，避免了网络层数增加而引起的参数优化时间消耗等问题。其基本设计思路为：首先，利用输入数据映射的特征作为网络的“特征节点”。其次，特征节点被随机映射到“增强节点”。最后，将以上两部分的特征串联组合，并与输出空间通过输出权重直接连接。宽度学习网络的重要特点为单隐层结构，网络中的参数随机产生，输出权重可通过伪逆求解，因而避免了传统梯度下降式的参数优化过程，效率与精度得到有效提升和平衡。本实施例将主要利用宽度学习网络作为网络架构，进行鲁棒建模，实现对大气监测数据的鲁棒校准和分析。鲁棒宽度学习网络的基本架构图如图2所示，步骤二的具体方法为：

把所有数据进行随机打乱处理，然后从中随机抽取2372条数据，训练样本选用前2200条，剩余数据作为测试样本。利用训练样本进行模型训练。

设训练数据为{X,Y}，输入数据的维度为M，样本个数为N，得到的宽度网络的特征层包含20组特征节点，每组40个特征节点；增强层包含20组增强节点，每组40个增强节点。具体过程为：

输入测试样本数据首先通过N_w个特征映射φ_i映射到一系列随机特征空间中：

其中，

表示特征节点和增强节点连接到输出层的权重，

表示偏置项，N_w表示功能节点的个数，φ_i表示特征映射，X表示输入的训练样本。

基于宽度网络设定的特征选取方法，将训练样本的特征空间定义为：

将该随机特征

连接增强节点，传入增强层的数据通过设定的激活函数得到一系列增强特征：

其中，ξ_j表示选定的激活函数，一般我们选定为双正切函数。进而将随机特征与增强节点特征串联组合，得到宽度网络的宽度转换特征：

由于大气质量监测过程中会受到硬件、天气等因素的干扰，数据不可避免会被噪声污染。为了保证宽度网络在噪声环境下依然取得良好效果，本发明将提出新的基于l₀范数的损失函数J，其基本形式为如下的优化问题：

其中，λ是一个权衡正则化参数，W是输出权值，A为变换特征，Y是X对应的拟合目标。

因数学上对l₀范数存在优化上的困难，本发明采用l₁范数来代替l₀范数，从而得到一个新的损失函数如下:

由于基于l₁范数的损失函数不存在解析解，可采用交替方向乘子法对其进行拆分，得到一系列具备解析解的子问题，然后对这些子问题进行迭代优化求解，直到达到收敛条件，由此求得鲁棒网络的输出权重。

步骤三，通过训练得到鲁棒宽度网络，利用差异数据对自建点全时数据进行预测和补全，进而对比分析预测的准确性。测试过程为将测试样本导入宽度网络中，得到对应的宽度转换特征A_test。进而基于训练得到的鲁棒输出权重W，得到测试样本对应的差异值：

Y_test＝A_testW；

结合自建点在在非国控时间点上对大气质量的监测数据，可以求得对应时间的校准数据及分析结果。

图3为测试集差值与预测集差值对比图，具体实施步骤为：

模型训练结束后，为了直观的观察训练效果，将测试样本中的参数，即风速，压强，降水量，温度，湿度等数据代入模型，得到预测集差值，并将预测集差值以及训练集差值进行作图处理。

图4a、图4b、图5a、图5b、图6a、图6b为各污染物原始数据与补全后的数据对比图。

通过图示可以看出预测值没有明显的异常值，并且通过对比预测值与国控点测量值，发现预测值预测较为准确。

由此可见，在本实施例中通过对国控点和自建点得到的大气监测数据进行异常值预处理，基于国控时间点上两者的差异值，训练鲁棒宽度网络，通过网络的预测对自建点各项监测数据进行修正校准和分析，有效解决了原有数据中的噪声干扰及智能网络的过拟合和泛化性能差等问题。

本发明实施例2提供一种基于鲁棒宽度网络的大气质量监测数据校准系统，如图7所示，包括依次连接的数据采集模块、网络构建模块、数据处理模块；其中，

数据采集模块，用于获取国控点与自建点在国控点监测时间点上的差异数据；

网络构建模块，用于构建鲁棒宽度网络，基于差异数据对鲁棒宽度网络进行网络参数和输出权重的训练，得到训练完成的鲁棒宽度网络；

数据处理模块，用于通过训练完成的鲁棒宽度网络利用差异数据对自建点全时数据进行预测和补全，进而对比分析预测的准确性。

进一步的，还包括损失函数模块，与网络构建模块相连，用于对鲁棒宽度网络进行迭代优化求解。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (7)

1.一种基于鲁棒宽度网络的大气质量监测数据校准方法，其特征在于，具体步骤包括如下：

获取国控点与自建点在国控点监测时间点上的差异数据；

构建鲁棒宽度网络，基于所述差异数据对所述鲁棒宽度网络进行网络参数和输出权重的训练，得到训练完成的鲁棒宽度网络；

通过所述训练完成的鲁棒宽度网络利用差异数据对自建点全时数据进行预测和补全，进而对比分析预测的准确性。

2.根据权利要求1所述的一种基于鲁棒宽度网络的大气质量监测数据校准方法，其特征在于，所述差异数据的获取方法为：

在大气监测过程中采集国控点和自建点的监测数据；

通过SPSS软件对所述监测数据进行数据标准化处理除去异常值进而得到所述差异数据。

3.根据权利要求2所述的一种基于鲁棒宽度网络的大气质量监测数据校准方法，其特征在于，除去异常值利用的函数为：

其中，σ为标准差，μ为平均值，Z为标准分数，N为样本数量，X_i为输入样本，x为一个具体的分数。

4.根据权利要求1所述的一种基于鲁棒宽度网络的大气质量监测数据校准方法，其特征在于，对所述鲁棒宽度网络进行训练的过程为：

随机打乱差异数据，并将所述差异数据分为训练集和测试集；

将所述训练集乘以随机权重得到随机特征：

其中，

表示特征节点和增强节点连接到输出层的权重，

表示偏置项，N_w表示功能节点的个数，φ_i表示特征映射，X表示输入的训练样本。

将所述随机特征传入增强层，得到增强特征：

其中，ξ_j表示选定的激活函数；

所述随机特征与所述增强特征组合并与目标值直接连接，利用鲁棒损失函数优化计算输出权重。

5.根据权利要求4所述的一种基于鲁棒宽度网络的大气质量监测数据校准方法，其特征在于，所述鲁棒损失函数为：

其中，λ是一个权衡正则化参数，W是输出权值，A为变换特征，Y是X对应的拟合目标。

6.一种基于鲁棒宽度网络的大气质量监测数据校准系统，其特征在于，包括依次连接的数据采集模块、网络构建模块、数据处理模块；其中，

所述数据采集模块，用于获取国控点与自建点在国控点监测时间点上的差异数据；

所述网络构建模块，用于构建鲁棒宽度网络，基于所述差异数据对所述鲁棒宽度网络进行网络参数和输出权重的训练，得到训练完成的鲁棒宽度网络；

所述数据处理模块，用于通过所述训练完成的鲁棒宽度网络利用差异数据对自建点全时数据进行预测和补全，进而对比分析预测的准确性。

7.根据权利要求1所述的一种基于鲁棒宽度网络的大气质量监测数据校准系统，其特征在于，还包括损失函数模块，与所述网络构建模块相连，用于对所述鲁棒宽度网络进行迭代优化求解。

Images