CN106897957A

CN106897957A - 一种基于pca和pso‑elm的自动气象站实时数据质量控制方法

Info

Publication number: CN106897957A
Application number: CN201710097989.6A
Authority: CN
Inventors: 叶小岭; 熊雄; 姚润进; 沈云培; 杨星; 李慧玲
Original assignee: Nanjing University of Information Science and Technology
Current assignee: Nanjing University of Information Science and Technology
Priority date: 2017-02-22
Filing date: 2017-02-22
Publication date: 2017-06-27
Anticipated expiration: 2037-02-22
Also published as: CN106897957B

Abstract

本发明公开了一种基于PCA和PSO‑ELM的自动气象站实时数据质量控制方法，该方法，首先对被检站一定范围内观测站(邻站)一定历史时间尺度的气温数据进行采集，构成原始采集信号；然后对采集信号进行主成分分析，达到去冗余的目的；最后，通过改进的极限学习机构建气温的重建模型，并据此通过被检时刻邻站的数据得到被检时刻的估计值；最后，根据此估计值与实际观测值比较进行条件修正，完成对该时刻气温的质量控制。该方法在基本质量控制方法的基础上，一方面弥补了目前多站联网质量控制方法中邻站选择的固定性，提高了算法的动态适应性；另一方面改进的极限学习机提高了网络的泛化性能，增加了重建模型的精度。

Description

一种基于PCA和PSO-ELM的自动气象站实时数据质量控制方法

技术领域

本发明涉及自动气象站实时采集数据的质量控制领域，特别发明了一种对自动气象站实时采集气温数据的质量控制方法。

背景技术

近年来，地面气象观测站的数量不断增加，地面自动气象站具有站点分布密集、地形差异大、测站环境恶劣等分布特点，决定了观测数据存在系统误差、随机误差、粗大误差和微气象误差，这会影响自动气象站观测数据的质量，从而对气候变化、气候模式的研究及短期数值天气预报的精度产生影响。所以，需要对采集的数据进行质量控制。我国现有的三级质量控制业务从台站级的基本控制到数据中心的综合控制，从内部一致性到时空一致性的控制，可以有效地提高数据的质量，但是这其中的随机误差和微气象误差较难甄别，而这会影响自动气象站观测数据的质量。

传统的基于机器学习构建“邻站-被检站”预测模型时，一般是按照固定的半径选择邻站的个数，一些相关性不大的邻站带来冗余信息，带来一些不必要的误差，不仅增加模型的训练时间，还降低了模型的精度。所以，本发明设计引入主成分分析，选择具有贡献率较大的邻站作为模型的输入；同时，为进一步提高模型的精度，考虑粒子群算法的全局优化能力，运用粒子群对极限学习机的输入权值和隐层偏置进行优化，提高预测模型的精度。

发明内容

本发明的目的是提供一种基于主成分分析和改进极限学习机的地面气温观测资料质量控制方法，解决了目前质量控制方法不能消除随机误差、系统误差、微气象误差的问题，提高了自动气象站实时观测气温的质量。

本发明采用的技术方案为：一种基于主成分分析(PCA)和改进极限学习机(PSO-ELM)的自动气象站实时数据质量控制方法，该方法包括以下步骤：

步骤1：采集被检站及90KM范围内m个邻站在被检t时刻气温x(t)，及t时刻前某一长度的小时数据构成气温时间序列{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度。

步骤2：对步骤1中采集的m个邻站历史气温{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行主成分分析，得到去冗余的、特征分量提取的目的。首先，对{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行标准化处理，得到消除量纲和数值差异的影响；然后，建立相关矩阵R，及其特征值{λ_i|i＝1,2,…,m}和特征向量{v_i|i＝1,2,…,m}；接着，计算方差贡献率{μ_i|i＝1,2,…,m}和累积方差贡献率{μ_∑(i)|i＝1,2,…,m}，按照累积贡献方差大于75％～95％的前p作为主成分个数；最后，得到p个主成分分量

步骤3：根据步骤2得到的主成分分量与步骤1历史采样信号x(t′)，按照对应原则，构建映射样本集，即其中，训练集、测试集为前(n-1)个。经过训练、测试得到在被检时刻、在历史高维信号下的PSO-ELM气温重建模型，即

步骤4：在步骤3中得到的PSO-ELM气温重建模型中输入得到被检时刻气温的重建值x_est(t)，即完成去冗余后气温的重建。

步骤5：将t时刻去冗余重建气温值x_est(t)与采样值x(t)进行比较，若两者满足条件修正公式|x(t)-x_est(t)|≤δ，δ为条件修正阈值，则通过质量检测；否则，认为该观测数据存疑，用去噪重构值修正实际观测值，即x(t)＝x_est(t)。

步骤6：令t＝t+1，重复步骤1到步骤5，完成对历史观测气温主分量提取、实时气温重建及疑误修正的质量控制过程。

作为优选，所述步骤2中，邻站历史气温{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}标准化处理依公其中i＝1,2,…,n；j＝1,2,…,m；s_j为{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}的均值和方差。相关矩阵R按照公式R＝(x_i)^Tx_i/(n-1)计算。方差贡献率和累积方差贡献率分别按照公式和计算。主成分分析得到的p个主分量按照公式计算，其中

作为优选，所述步骤3中，在PSO-ELM气温重建模型中，按照3:1比例随机分配训练和测试样本。

作为优选，所述步骤5中，条件修正阈值δ按照公式δ＝f*S计算，其中f为质控参数，与实际质控效果相关；S＝rmse(x(t′)为t时刻历史采样信号{x(t′)|t′＝1,2,…,n}的均方根误差。

与现有技术相比，本发明具有如下有益效果：

通过主成分分析对固定邻站范围内的气温资料进行分析，使得在重构气温预测模型的输入成分减少，提高了质量控制的速度；通过粒子群算法对极限学习机输入权值和隐层偏置的优化选择，提高了重建模型的泛化性能和精度。这些都进而提高了数据质量，为资料同化系统提供一个无偏的初始化观测场，便于气候和气象的研究及短期数值天气预报精度的提高。

附图说明

图1为本发明方法的流程框图。

图2为某被检站90KM内的邻站某被检时刻对应历史资料序列。

图3为主成分分析中各个邻站的累积方差贡献率。

图4为主成分分析得到的主成分邻站资料序列。

图5为粒子群改进极限学习机的流程图。

图6为南京58238站2008年某月采样气温观测数据与本发明方法质量控制后的对比图。

图7a-7c为本发明方法与主成分分析-极限学习机重建质量控制、极限学习机重建质量控制方法在平均绝对误差、均方根误差和纳什效率系数上的比较结果图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

按照本发明方法的流程框图，如图1所示，首先采集被检站被检时刻气温值和历史参考资料，及对应90KM范围内的邻站气温及历史参考资料；然后，对邻站历史气温数据进行主成分分析，得到组成分邻站；接着，运用粒子群改进的极限学习机构建“邻站-被检站”预测模型，输入当前时刻邻站的观测气温，得到被检站被检时刻的气温估计值；最后，比较采集值与估计值，进行条件修正，完成质量控制。

以下将对南京编号为58238站2008年1月份地面气温观测资料进行实施例分析，进一步说明本发明：

步骤1：采集被检站及90KM范围内9个邻站(58235、58237、58340、58339、58242、58341、58344、58342、58345)在被检t时刻气温x(t)，及t时刻前某一长度的小时数据构成气温时间序列{x_i(t′)|t′＝1,2,…,480；i＝1,2,…,9}，如图2所示，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度，本例取历史资料20天，即n＝480。

步骤2：对步骤1中采集的9个邻站历史气温{x_i(t′)|t′＝1,2,…,480；i＝1,2,…,9}进行组成分分析，得到去冗余的、特征分量提取的目的。首先，对{x_i(t′)|t′＝1,2,…,480；i＝1,2,…,9}进行标准化处理，得到消除量纲和数值差异的影响；然后，建立相关矩阵R，及其特征值{λ_i|i＝1,2,…,9}和特征向量{v_i|i＝1,2,…,9}；接着，计算方差贡献率{μ_i|i＝1,2,…,9}和累积方差贡献率{μ_∑(i)|i＝1,2,…,9}，按照累积贡献方差大于85％～95％的前6作为主成分个数，如图3所示；最后，得到6个主成分分量如图4所示。

步骤3：根据步骤2得到的主成分分量与步骤1历史采样信号x(t′)，按照对应原则，构建映射样本集，即其中，训练集、测试集为前479个。经过训练、测试得到在被检时刻、在历史高维信号下的PSO-ELM气温重建模型，PSO-ELM气温重建模流程图如图5所示，即

步骤6：令t＝t+1，重复步骤1到步骤5，完成对历史观测气温主分量提取、实时气温重建及疑误修正的质量控制过程，图6为58238站2008年一月份检错数据和采集数据对比。

其中，步骤2中，邻站气温历史数据{x_i(t′)|t′＝1,2,…,480；i＝1,2,…,9}标准化处理按照公式计算，其中i＝1,2,…,480；j＝1,2,…,9；s_j为{x_i(t′)|t′＝1,2,…,480；i＝1,2,…,9}的均值和方差。相关矩阵R按照公式R＝(x_i)^Tx_i/(n-1)计算。方差贡献率和累积方差贡献率分别按照公式和计算。主成分分析得到的p个主分量按照公式计算，其中

步骤3中，在PSO-ELM气温重建模型中，按照3:1比例随机分配训练和测试样本。

步骤5中，条件修正阈值δ按照公式δ＝f*S计算，其中f为质控参数，与实际质控效果相关，经过多次试验选择4；S＝rmse(x(t′)为t时刻历史采样信号{x(t′)|t′＝1,2,…,480}的均方根误差，本实施为1.34。

上述实施例分析表明本发明方法具有实际可行性，为了进一步比较本发明方法具有的优越性，运用美国NOAA国家气候数据中心同时段再分析气温数据作为分析数据，分别计算本发明方法(方法一)与主成分分析-极限学习机重建质控法(方法二)和极限学习机重建质量控制法(方法三)在平均绝对误差、均方根误差和纳什效率系数上差异，如图7a-c所示。从图7a-c中可以明显看出，本发明方法的三种指标均好于其他两种方法。

综述，可以得到这样的结论：本发明方法质量控制效果明显，可以提高自动气象站实时采集数据的质量。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims

1.一种基于PCA和PSO-ELM的自动气象站实时数据质量控制方法，其特征在于：该方法包括以下步骤：

步骤1：采集被检站及90KM范围内m个邻站在被检t时刻气温x(t)，及t时刻前某一长度的小时数据构成气温时间序列{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度；

步骤2：对步骤1中采集的m个邻站历史气温{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行主成分分析，得到去冗余的、特征分量提取的目的；首先，对{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}进行标准化处理，得到消除量纲和数值差异的影响；然后，建立相关矩阵R，及其特征值{λ_i|i＝1,2,…,m}和特征向量{v_i|i＝1,2,…,m}；接着，计算方差贡献率{μ_i|i＝1,2,…,m}和累积方差贡献率{μ_∑(i)|i＝1,2,…,m}，按照累积贡献方差大于75％～95％的前p作为主成分个数；最后，得到p个主成分分量

步骤3：根据步骤2得到的主成分分量与步骤1历史采样信号x(t′)，按照对应原则，构建映射样本集，即其中，训练集、测试集为前(n-1)个；经过训练、测试得到在被检时刻、在历史高维信号下的PSO-ELM气温重建模型，即

步骤4：在步骤3中得到的PSO-ELM气温重建模型中输入得到被检时刻气温的重建值x_est(t)，即完成去冗余后气温的重建；

步骤5：将t时刻去冗余重建气温值x_est(t)与采样值x(t)进行比较，若两者满足条件修正公式|x(t)-x_est(t)|≤δ，δ为条件修正阈值，则通过质量检测；否则，认为该观测数据存疑，用去噪重构值修正实际观测值，即x(t)＝x_est(t)；

2.根据权利要求1所述的基于PCA和PSO-ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤2中，邻站历史气温{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}标准化处理依公其中i＝1,2,…,n；j＝1,2,…,m；s_j为{x_i(t′)|t′＝1,2,…,n；i＝1,2,…,m}的均值和方差；相关矩阵R按照公式R＝(x_i)^Tx_i/(n-1)计算；方差贡献率和累积方差贡献率分别按照公式和计算；主成分分析得到的p个主分量按照公式计算，其中

3.根据权利要求1所述的基于PCA和PSO-ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤3中，在PSO-ELM气温重建模型中，按照3:1比例随机分配训练和测试样本。

4.根据权利要求1所述的基于PCA和PSO-ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤5中，条件修正阈值δ按照公式δ＝f*S计算，其中f为质控参数，与实际质控效果相关；S＝rmse(x(t′)为t时刻历史采样信号{x(t′)|t′＝1,2,…,n}的均方根误差。