CN106886856A - 一种基于PSR‑FastICA‑OS_ELM的自动气象站实时数据质量控制方法 - Google Patents

Abstract

本发明公开了一种基于PSR‑FastICA‑OS_ELM的自动气象站实时数据质量控制方法，该方法，首先对单站实时气温及定长历史气温序列进行采集，构成采集信号；然后对采集信号进行基本质量控制；接着进行相空间重构；并对重构的高维矢量空间信号进行快速独立分量分析，达到去噪、去冗余的目的，得到源信号在高维矢量空间中的无偏信号；最后，通过在线序贯极限学习机构建时间序列采集信号的重建模型，得到去噪后的气温重建值；并根据此去噪重建值与实际观测值比较进行条件修正，完成对该时刻气温的质量控制。该方法满足了实时数据采集的要求，提高了实时自动气象站观测数据的质量。

Description

一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控 制方法

技术领域

本发明涉及自动气象站观测数据的质量控制领域，特别发明了一种针对自动气象站实时采集气温资料的质量控制方法。

背景技术

我国自90年代末开始在部分台站布设地面自动气象观测系统，至2011年，全国有2500多个地面自动气象站应用到气象观测业务。自动气象站具有站点分布密集、地形差异大、测站环境恶劣、数据采集和传输自动化程度高、资料实时性强、中小尺度天气现象明显等特点，其观测数据的质量问题比人工常规地面站观测资料显得更复杂和严重，因而必须对自动气象站的观测数据进行质量控制。我国对采集的数据进行两个层面质量控制，即基于观测台站的数据有效性、实时性控制和基于数据中心的内部一致性、时间一致性和空间一致性质量控制。在我国三级质量控制业务中，基层台站级控制进行基本质量控制，省级、国家级应对自动站实时数据进行全面系统质量控制。但是，自动气象站在进行数据采集过程中容易受到大量系统噪声、随机噪声、粗大噪声和微气象噪声的干扰；这些噪声中的随机噪声、系统噪声和微气象噪声是现有质量控制方法不能消除的，这会影响自动气象站观测数据的质量，从而影响气候、气象变化模型的研究和短期数值天气预报的精度。

传统基于相空间重构的气温重建实时质量控制法，是根据历史观测数据在高维矢量空间与对应气温的映射关系完成对气温的重建，进而达到质量控制的目的。这种方法忽视了历史气温数据在高维矢量空间信号中噪声部分的分离，即高维矢量空间信号包含源信号和噪声信号；也忽视了高维矢量空间信号的冗余性去除，即高维矢量空间独立信号的特征提取。这是传统基于相空间重构方法的不足之处。

发明内容

本发明的目的是提供一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法，解决了目前质量控制方法不能消除随机噪声、系统噪声、微气象噪声的问题，提高了自动气象站实时观测数据的质量。

本发明采用的技术方案为：一种基于相空间重构(PSR)、快速独立分量分析(FastICA)和在线序贯极限学习机(OS_ELM)的自动气象站实时数据质量控制方法，包括以下步骤：

步骤1：采集被检站被检t时刻气温tep(t)，即实际观测值，及t时刻前某一长度的小时数据构成气温时间采样信号{x(t′)|t′＝1,2,…,n}，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度。

步骤2：对历史气温序列信号{x(t′)|t′＝1,2,…,n}进行基本质量控制，得到基本控制后的数据

步骤3：根据公式对基本质量控制后的数据进行相空间重构，得到N(N＝n-(m-1)τ)个维数为m的矢量信号其中，m、τ为相空间重构参数嵌入维数和时间延迟。

步骤4：根据独立分量分析，步骤3得到的高维矢量信号包括源信号真实信息部分和噪声信息部分，即ICA混叠模型其中，为步骤3中得到的高维矢量信号，即混叠信号；A为未知混合矩阵；为理想的相互独立、无污染的高维矢量信号；n_i为噪声项。根据ICA解混模型求取源信号真实部分的无偏估计值其中为基于某一目标函数的最优解叠矩阵W下的源信号的估计信号。本发明运用FastICA算法的基于负熵非高斯性最大化原理求解解叠矩阵W，得到去噪、独立统计高维信号

步骤5：根据步骤4中FastICA分析所得高维矢量信号与步骤2中经基本质量控制后的历史采样信号按照高维矢量信号与对应时刻的历史采样信号的原则，构建OS_ELM样本集，即其中，训练集、测试集为前(N-1)个。经过训练、测试得到在被检t时刻、在历史高维信号下的气温tep(t)重建模型，即

步骤6：在步骤5中得到的OS_ELM模型中输入得到被检时刻气温的重建值即完成去噪后气温的重建。

步骤7：将t时刻去噪重建气温值与采样值tep(t)进行比较，若两者差值绝对值在某一阈值δ内，即则通过质量检测，否则认为该观测数据可疑，用去噪重构值修正实际观测值，即

步骤8：令t＝t+1，重复步骤1到步骤7，完成对历史观测气温高维去噪、实时气温重建及疑误修正的质量控制过程。

作为优选，所述步骤2中，进行的基本质量控制操作主要包括界限值检查、气候极值检查、时变检查、内部均一性检查和空间一致性检查。

作为优选，所述步骤3中，PSR技术参数中，嵌入维数m的选取采用了最小虚假近邻法，时间延迟τ采用了互信息法决定。

作为优选，所述步骤4中，解叠矩阵W、去噪和去冗余高维矢量信号的求取是基于最大熵近似负熵原理，即目标函数为J(y)＝[E{G(y)}-E{G(y_gauss)}]²，其中G(·)是任意二次函数，y、y_gauss为零均值和方差的变量，本发明即高维矢量信号

作为优选，所述步骤5中，在去噪高维矢量-气温的重建模型中，训练、测试样本个数按照随机3:1比例随机分配。

作为优选，所述步骤7中，临界阈值δ按照公式δ＝f·rmse(x(t′))计算，其中为f质控灵敏度参数，与实际质控效果相关；rmse(x(t′))为t时刻历史采样信号{x(t′)|t′＝1,2,…,n}的均方根误差。

与现有技术相比，本发明具有如下有益效果：

通过消除历史观测数据的高斯噪声、系统噪声和微气象噪声来实现对自动气象站实时观测数据的去噪重建质量控制，弥补了传统质量控制方法的不足，能够提高自动气象站实时观测数据在长期气候研究和短期预报的可靠性。

附图说明

图1为本发明方法的流程框图。

图2为本发明基本质量控制后的历史数据的相空间重构参数m的最小虚假邻点法求取示意图。

图3为本发明基本质量控制后的历史数据的相空间重构参数τ的互信息法求取示意图。

图4为某一t时刻基本质控历史数据在高维矢量空间分量信号图。

图5为FastICA混叠解叠模型示意图。

图6为某一t时刻经过FastICA去噪、去冗余后的在高维矢量空间分量信号图。

图7为南京58238站2009年部分采样时间气温观测数据与去噪重建质量控制后的对比图。

图8a-c为本发明方法与小波去噪重建质量控制、传统相空间去噪重建质量控制方法在信噪比、均方根误差和互相关系数上的比较结果图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

按照本发明方法的流程框图，如图1所示，对单站实时数据采集，并提取部分长度历史时间序列(历史信号)进行采集；然后对历史信号做基本质量控制；再对历史信号进行相空间重构(PSR)得到高维矢量信号；进一步对高维矢量信号进行快速独立分量分析(FastICA)，得到去噪和去冗余的高维独立分量信号；然后运用去噪和去冗余的高维独立分量信号构建在线贯序极限学习机(OS_ELM)的气温重建模型，并得到去噪后的气温重建值；最后将该重建值与实际采集气温值进行对比，进行条件修正，完成实时质量控制。

以下将对南京编号为58238站2014年全年小时气温观测数据进行实施例分析，进一步说明本发明：

步骤1：采集被检58238站被检t时刻气温tep(t)，即实际观测值，及t时刻前部分长度数据数据构成气温时间序列信号{x(t′)|t′＝1,2,…,n}。其中t为实时采样时间，t′为历史采样时间，满足t′＝t-n+1关系；本实施例选择t＝1,2,…,8040，即全年小时观测气温数据；n＝480，即20天的历史小时数据。

步骤2：对历史气温序列信号{x(t′)|t′＝1,2,…,480}进行界限值检查、气候极值检查、时变检查、内部和空间均一性检查等基本质量控制，得到基本控制后的历史信号

步骤3：根据公式对基本质量控制后的数据进行相空间重构，得到N(N＝480-(4-1)*2＝474)个维数为4的矢量信号，即其中，m、τ为相空间重构参数嵌入维数和时间延迟，分别由最小虚假最近邻点法和互信息法决定，本实施例为m＝4，τ＝2。

步骤4：进行FastICA分析，首先构建ICA混叠模型 为步骤3中得到的高维矢量信号，即混叠信号，A为未知混合矩阵，为理想的相互独立、无污染的高维矢量信号，n_i为噪声项；再构建ICA解混模型 为基于某一目标函数的最优解叠矩阵W下的源信号的无偏估计信号；最后，运用FastICA算法求解解叠矩阵W，得到去噪、独立统计高维信号

步骤5：根据步骤4中FastICA分析所得高维矢量信号与步骤2中经基本质量控制后的历史采样信号按照高维矢量信号与对应时刻的历史采样信号的原则，构建OS_ELM样本集，即其中，训练集、测试集为前(N-1)即473个，按照3:1比例随机分配。经过训练、测试得到在被检时刻、在历史高维信号下的重建模型，即

步骤6：在步骤5中得到的OS_ELM模型中输入得到被检时刻气温的重建值即完成去噪后气温的重建。

步骤7：将t时刻去噪重建气温值与采样值tep(t)进行比较，若两者差值绝对值在某一阈值δ内，即则通过质量检测，否则认为该观测数据可疑，用去噪重构值修正实际观测值，即

步骤8：令t＝t+1，重复步骤1到步骤7，完成对历史观测气温高维去噪、实时气温重建及疑误修正的质量控制过程。

本实施例将被检时刻历史数据进行了4维、延迟2小时的相空间重构。其中嵌入维数采用的是最小近邻法，如图2所示，可以看出在嵌入维数大于等于5时虚假近邻点率较低，低于10％，所以取嵌入维数为4；时间延迟采用的是互信息法，如图3所示，可以看出当时间延迟等于2、4、6、10、18时互信息量达到极小值，取第一次互信息量达到最小值时的时间为时间延迟。图4是历史信号在高维(4维)空间的信号图。

根据FastICA混叠解叠模型，如图5所示，运用FastICA算法求取去噪、去冗余的高维信号如图6所示。FastICA算法中，目标函数选用J(y)＝[E{G(y)}-E{G(y_gauss)}]²，其中G(·)是任意二次函数，y、y_gauss为零均值和方差的变量，本发明中即高维矢量信号

临界阈值δ按照公式δ＝f·rmse(x(t′))计算，其中为f质控灵敏度参数，与实际质控效果相关，本实施例在多次试验后取f＝3；rmse(x(t′))表示t时刻历史采样信号{x(t′)|t′＝1,2,…,480}的均方根误差。根据上述临界阈值，决定实时采样数据是通过质量控制还是需要进行修正。图7是南京58238站2014年部分采样时间气温观测数据与去噪重建质量控制后数据的对比图。

为分析本发明方法的优越性，运用美国NOAA国家气候数据中心同时段再分析气温数据作为分析数据，分别计算本发明方法与小波去噪重建质量控制、传统相空间去噪重建质量控制方法的信噪比、均方根误差和互相关系数进行对比，表1为随机8个采样片段效果对比。

表1

为便于直观比较，将表1评价指标进行可视化，如图8a-c所示。可以看出，本发明方法的信噪比明显高于小波去噪重建质量控制法和传统相空间去噪重建质量控制方法；均方根误差远小于小波去噪重建及传统相空间去噪重建；互相关系数高于小波去噪重建及传统相空间去噪重建。

通过表1、图8a-c对比分析，本发明方法质量控制效果明显，可以提高自动气象站实时采集数据的质量。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法，其特征在于：包括以下步骤：

步骤1：采集被检站被检t时刻气温tep(t)，即实际观测值，及t时刻前某一长度的小时数据构成气温时间采样信号{x(t′)|t′＝1,2,…,n}，其中t为实时采样时间，t′为历史采样时间，两者满足关系t′＝t-n+1，n为历史采样时间的长度；

步骤2：对历史气温序列信号{x(t′)|t′＝1,2,…,n}进行基本质量控制，得到基本控制后的数据

步骤3：根据公式对基本质量控制后的数据进行相空间重构，得到N(N＝n-(m-1)τ)个维数为m的矢量信号其中，m、τ为相空间重构参数嵌入维数和时间延迟；

步骤4：根据独立分量分析，步骤3得到的高维矢量信号包括源信号真实信息部分和噪声信息部分，即ICA混叠模型其中，为步骤3中得到的高维矢量信号，即混叠信号；A为未知混合矩阵；为理想的相互独立、无污染的高维矢量信号；n_i为噪声项；根据ICA解混模型求取源信号真实部分的无偏估计值其中为基于某一目标函数的最优解叠矩阵W下的源信号的估计信号；运用FastICA算法的基于负熵非高斯性最大化原理求解解叠矩阵W，得到去噪、独立统计高维信号

步骤5：根据步骤4中FastICA分析所得高维矢量信号与步骤2中经基本质量控制后的历史采样信号按照高维矢量信号与对应时刻的历史采样信号的原则，构建OS_ELM样本集，即其中，训练集、测试集为前(N-1)个；经过训练、测试得到在被检t时刻、在历史高维信号下的气温tep(t)重建模型，即

步骤6：在步骤5中得到的OS_ELM模型中输入得到被检时刻气温的重建值即完成去噪后气温的重建；

步骤7：将t时刻去噪重建气温值与采样值tep(t)进行比较，若两者差值绝对值在某一阈值δ内，即则通过质量检测，否则认为该观测数据可疑，用去噪重构值修正实际观测值，即

步骤8：令t＝t+1，重复步骤1到步骤7，完成对历史观测气温高维去噪、实时气温重建及疑误修正的质量控制过程。

2.根据权利要求1所述的一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤2中，进行的基本质量控制操作主要包括界限值检查、气候极值检查、时变检查、内部均一性检查和空间一致性检查。

3.根据权利要求1所述的一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤3中，PSR技术参数中，嵌入维数m的选取采用了最小虚假近邻法，时间延迟τ采用了互信息法决定。

4.根据权利要求1所述的一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤4中，解叠矩阵W、去噪和去冗余高维矢量信号的求取是基于最大熵近似负熵原理，即目标函数为J(y)＝[E{G(y)}-E{G(y_gauss)}]²，其中G(·)是任意二次函数，y、y_gauss为零均值和方差的变量，即高维矢量信号

5.根据权利要求1所述的一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤5中，在去噪高维矢量-气温的重建模型中，训练、测试样本个数按照随机3:1比例随机分配。

6.根据权利要求1所述的一种基于PSR-FastICA-OS_ELM的自动气象站实时数据质量控制方法，其特征在于：所述步骤7中，临界阈值δ按照公式δ＝f·rmse(x(t′))计算，其中为f质控灵敏度参数，与实际质控效果相关；rmse(x(t′))为t时刻历史采样信号{x(t′)|t′＝1,2,…,n}的均方根误差。