CN113282576A - 一种气象数据质量控制方法 - Google Patents

Abstract

本发明公开了一种气象数据质量控制方法，借鉴湍流通量观测数据质量控制的技术经验，在界限值检查方法的主体框架思路下，研发新的界限值计算方案进行质量控制试验，探索高频气象资料的质量控制方法和流程，力求在运算简便，计算成本低，计算时间少、准确性较高等方面展开技术创新。

Description

一种气象数据质量控制方法

技术领域

本发明涉及气象监测技术领域，具体的说是一种气象数据质量控制方法。

背景技术

地面气象站点观测资料是了解天气变化、探索天气-气候演变规律、开展科学研究和气象服务的基础，是气象观测的重要资料之一。随着气象观测技术的进步，气象要素的观测精度和时间频率越来越高，伴随着业务需求的发展和网络技术的提高，气象观测数据上传频率由1小时一次，提高到了1分钟一次甚至1秒钟多次，气象要素的时效性极大的增加。近些年，我国开始布设秒级采样地面观测业务系统。相对于传统的观测手段，高频采样(秒级)观测数据能更精细的描述大气的微物理过程，可为我国数值预报、气候监测、气候变化等科研业务工作提供重要的基础数据。但是，未经处理的高频采样数据中会包含信号噪音引起的异常值，同时由于大气中小尺度微气团的存在，自动观测系统采集得到的资料(特别是风观测资料)会存在短周期的高频脉动变化，这种原始高频脉动变化对天气分析是无意义的，影响站点观测资料的代表性。气象高频观测资料中的缺测数据和错误数据，需要对其补充或修正，从而保证观测资料最大程度的完整和最大可能的准确。在站点观测资料使用前，进行质量控制检查，是提高观测资料质量，确保资料准确性的关键环节。

目前，国际上已经有一些针对质量控制和保证的通量处理软件，例如英国爱丁堡大学的Edire(Eddy Reprocessing)、德国拜罗伊特大学的TK2(Turbulence Knight2)、荷兰瓦赫宁根大学的ECPACK等。但是这些软件本身使用不是很方便，普遍适用性还没有经过验证，还有待进一步研究(Mauder et al.，2006；；徐自为等，2008)。

以往有关气象高频观测资料的质量控制方法研究，多以小时及以上时间尺度资料分析为主。由于高频观测数据量较多，时间间隔短，直接进行质量控制难道较大，部分研究人员将这些高频数据换算为小时数据进行质量控制，未进行直接的质量控制。

以往质量控制方案多偏重于局部地区或某次大的天气过程进行数据质量控制，而针对中国区域固定单一站点的气象高频数据的质量控制方法研究尚欠缺，针对不同时间尺度的界限值方案不通用，往往月值界限值方案用于日值，误检率较高；日值界限值方案用于小时值，误检率较高，现有方案的普适性较差。数据量越大，计算效率越低，准确性难以保证。现有气象观测资料的质量控制方法：区域界限值方法，已经在全球非常通用，一般均以探求数据的上下限界限值为主，涉及阈值选取，一些方案选择上下极值为历史极值，或是极值的多少倍；一些方案选择高一时间尺度的数据来控制低一时间尺度的数据(小时数据作为界限控制分钟数据，日值数据作为界限控制小时数据，月值数据作为界限控制日值数据等等)；一些方案通过计算数据在一定区间的标准差，然后根据正态分布的原则，给定多少倍的标准差，来实现界限控制。以上方案，针对时间尺度较大，或是数据量不大情况，往往能完成控制，但对于高频观测数据，一秒一次，或是一秒多次，由于本身数据量大，计算繁琐，计算代价高，时效差，常规界限值控制方案不能在最短的时间内判断“可疑”数据，甚至有计算不下去的风险，故很多研究不针对高频观测数据进行界限值质量控制，针对中国区域的气象高频(秒级)数据的质量控制方法研究尚欠缺。

由于高频观测数据量较多，时间间隔短，直接进行质量控制难道较大，对计算机资源的需求高，计算成本高，部分研究人员将这些高频数据换算为小时、日、旬、候数据再利用传统的质量控制技术(气候学界限值检查、区域界限值检查、时间一致性检查、内部一致性检查、空间一致性检查等)进行质量控制。

本方案借鉴湍流通量观测数据质量控制的技术经验，在界限值检查方法的主体框架思路下，研发新的界限值计算方案进行质量控制试验，探索高频气象资料的质量控制方法和流程，力求在运算简便，计算成本低，计算时间少、准确性较高等方面展开技术创新。

发明内容

针对现有技术中存在的上述不足之处，本发明目的是提供一种气象数据质量控制方法。

本发明为实现上述目的所采用的技术方案是：一种气象数据质量控制方法：1)确定当前启动时刻的气象数据值及时次，以及假设认为当前启动时刻之前的数据全部为可信任数据；2)设定当前时刻之前10、20、30或60分钟时间内的高频气象数据为一个完整的箱体结构，剔除异常值(数据不全)、缺测值后，若留存数据个数大于50％的箱体整体数据个数，则进行下步运算；小于50％的箱体整体数据，则该箱体整体数据舍去；运用统计学的百分位排序法，获取对应时刻的上下限两个气象数据值，同时求取该箱体结构内数据的标准差，以给定信任度的大小值加或减1或多倍标准差得到的新值，可以确定该时刻气象数据的上下界限值；

x_imax＝x_m+aσ (1)

x_imin＝x_n-m-aσ (2)

x_imax≥x_i≥x_imin (3)

公式中：x_imax、x_imin为任意观测站点的高频观测值的上限值和下限值，σ为滑动箱体内观测值的标准差，a为倍率参数(a＝1，2，3...，n)，x_m、x_n-m为在给定信任度范围内对应排序位置上的观测值，即求取的上下限初始值。n为滑动箱体内的观测值的个数，m为x_m的序号。观测数据x_i在上下限范围内，通过检查，否则x_i为疑误数据。

即该时刻可以得到上限值、气象数据值和下限值；3)给定一个明确的时间位移区间，既箱体位移时间，在位移区间内，认为箱体内数据的标准差是不变的，给定信任度的数值也是不变的，因此上下界限值也是不变的，该时间位移区间可以构成给定时间位移区间的上限值、时间位移区间的气象数据值(整个区间的数据)、下限值；4)随着观测时间的发展，箱体数据在给定时间位移区域进行变换，进而可以十分清晰、明了、直观的发现某些时刻是否超过的界限，这些超出界限的值，再结合各类气象观测数据的容忍度，容忍度取值范围，一旦超过容忍度界限马上报警，提醒观测员检查数据，检查观测仪器设备，检查数据传输设备；容忍度取值范围通过试验获得，将检出的数据人工核查，考虑到计算结果会产生误差的情况，气温以±0.1℃为容忍度值，相对湿度以±0.4％为容忍度值，气压以±0.1hPa为容忍度值。风速以±0.2m/s为容忍度值，经过容忍度界定，检出的数据“可疑”信号全部确认消除。

方法进一步补充说明：

假设在某地点有一气象站，一天之内测量的高频温度值为t_i，本方法所要求解的即是该时刻的上限值和下限值，记为t_imax、t_imin，这样就可利用t_imax、t_imin对逐个气温观测值进行质量控制。

任意站点任意时间的高频观测值上下界限值t_imax、t_imin，即：

t_imax＝f₁(year，mon，day，mon，hour，minute，second) (1)

t_imin＝f₂(year，mon，day，mon，hour，minute，second) (2)

其中：year、mon、day、hour、min、second变量分别为年、月、日、时、分、秒；t_imax、t_imin分别表示任意观测站点的高频数据最高值和最低值(即秒级界限值)。

如：t_imax≥t_i≥t_imin

则观测数据t_i通过检查，否则t_i为疑误数据，需要进一步检查。

需要说明的是，这里的进一步检查：

如：t_imax+Δt≥t_i≥t_imin-Δt

Δt为容忍度值，即可疑值t_i在增加的容忍度范围内，通过检查，否则t_i将被为疑误数据，如疑误数据出现在观测场，将提醒观测员进行人工核查，或检查观测设备，或检查数据传输设备。本方法最终的目的是通过即时检测出的疑误数据，对观测设备可能出现的问题进行及时修正，提高获取数据的可靠性、准确性，通过较少的计算量，快速发现可能出现的问题。

进一步：所述统计学的百分位排序法指的是：百分位数指将每次滑动箱体内的n个观测值按升序从小到大排列x₁，x₂，x₃，...x_n后，

某个值小于或等于x_m的概率其计算公式：

公式中：m为x_m的序号，如果有40个观测值，那么第96(P₉₆)个百分位上的值约为排序后的x₃₉(p＝95.8％)的值；n为滑动箱体内的观测值的个数。本方法在给定信任度(上限99.9％(P_99.9)-下限0.1％(P_0.1))，在给定信任度上下限所对应位置上的观测值x_m、x_n-m，即求取的上下限初始值。

根据标准差σ的公式：

公式中：x_i为每次滑动箱体中的观测值，

为每次滑动箱体中有效观测值的平均值，n为每次滑动箱体中观测值的个数。

x_imax＝x_m+aσ (4)

x_imin＝x_n-m-aσ (5)

公式中：x_imax、x_imin为任意观测站点的高频观测值的上限值和下限值，σ为滑动箱体内观测值的标准差，a为倍率参数(a＝1，2，3...，n)，x_m、x_n-m在给定信任度范围内对应位置上的观测值。

因此，根据箱体滑动的时间步长，每个观测值所对应的时刻均会计算得到上下限值，进而可进行质量控制。

进一步：所述箱体时间位移区间可以是1秒、30秒、1、2、5、10分钟等均可，最终位移时间须根据具体观测变量的特性决定，本方法针对秒级高频数据试验结果发现，效率最优的箱体位移区间为1分钟区间，箱体大小控制为30分钟内的所有观测值。针对其他高频数据，箱体大小及位移区间不一定相同；

进一步：所述容忍度范围时：界限值+容忍度值≥观测值≥界限值-容忍度值；t_imax+Δt≥t_i≥t_imin-Δt所述容忍度为了减少正确数据的误判率而设定。

本发明的有益效果：

通过高频界限值质量控制方法，可有效的实现高频气象数据的界限值质量控制，且稳定、高效、准确性高，正确数据检出成错误数据的误检率低。可有效地提高高频气象资料在气象及气象相关各个领域的使用价值，可在观测端(观测站、观测场)等地区直接落地该方案，实现实时观测数据的界限值计算，同时对实时观测数据进行检查，对超过界限的数据实时监测报警，便于人工核查，判断是否是数据问题、观测仪器故障、数据传输设备故障等，对获取质量稳定又有代表性的测量数据，具有广泛的科学意义和重要的实际应用价值。

附图说明

图1为本发明不同时间位移和不同时间间隔的气温数据界限值检查结果。

图2为本发明不同要素数据界限值检查结果。

图3为本发明自动站相对湿度、气压、风速秒级数据界限值检查。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，一种气象数据质量控制方法：1)确定当前启动时刻的气象数据值及时次，以及假设认为当前启动时刻之前的数据全部为可信任数据；

2)设定当前时刻之前10、20、30或60分钟时间内的高频气象数据为一个完整的箱体结构，剔除异常值(数据不全)、缺测值后，若留存数据个数大于50％的箱体整体数据个数，则进行下步运算；小于50％的箱体整体数据，则该箱体整体数据舍去；运用统计学的百分位排序法，获取对应时刻的上下限两个气象数据值，同时求取该箱体结构内数据的标准差，以给定信任度的大小值加或减1或多倍标准差得到的新值，可以确定该时刻气象数据的上下界限值；

x_imax＝x_m+aσ (1)

x_imin＝x_n-m-aσ (2)

x_imax≥x_i≥x_imin (3)

公式中：x_imax、x_imin为任意观测站点的高频观测值的上限值和下限值，σ为滑动箱体内观测值的标准差，a为倍率参数(a＝1，2，3...，n)，x_m、x_n-m为在给定信任度范围内对应排序位置上的观测值，即求取的上下限初始值。n为滑动箱体内的观测值的个数，m为x_m的序号。观测数据x_i在上下限范围内，通过检查，否则x_i为疑误数据。

即该时刻可以得到上限值、气象数据值和下限值；3)给定一个明确的时间位移区间，既箱体位移时间，在位移区间内，认为箱体内数据的标准差是不变的，给定信任度的数值也是不变的，因此上下界限值也是不变的，该时间位移区间可以构成给定时间位移区间的上限值、时间位移区间的气象数据值(整个区间的数据)、下限值；4)随着观测时间的发展，箱体数据在给定时间位移区域进行变换，进而可以十分清晰、明了、直观的发现某些时刻是否超过的界限，这些超出界限的值，再结合各类气象观测数据的容忍度，容忍度取值范围，一旦超过容忍度界限马上报警，提醒观测员检查数据，检查观测仪器设备，检查数据传输设备；容忍度取值范围通过试验获得，将检出的数据人工核查，考虑到计算结果会产生误差的情况，气温以±0.1℃为容忍度值，相对湿度以±0.4％为容忍度值，气压以±0.1hPa为容忍度值。风速以±0.2m/s为容忍度值，经过容忍度界定，检出的数据“可疑”信号全部确认消除。

实施例一：

假设在某地点有一气象站，一天之内测量的高频温度值为t_i，本方法所要求解的即是该时刻的上限值和下限值，记为t_imax、t_imin，这样就可利用t_imax、t_imin对逐个气温观测值进行质量控制。

任意站点任意时间的高频观测值上下界限值t_imax、t_imin，即：

t_imax＝f₁(year，mon，day，mon，hour，minute，second) (1)

t_imin＝f₂(year，mon，day，mon，hour，minute，second) (2)

其中：year、mon、day、hour、min、second变量分别为年、月、日、时、分、秒；t_imax、t_imin分别表示任意观测站点的高频数据最高值和最低值(即秒级界限值)。

如：t_imax≥t_i≥t_imin

则观测数据t_i通过检查，否则t_i为疑误数据，需要进一步检查。

需要说明的是，这里的进一步检查：

如：t_imax+Δt≥t_i≥t_imin-Δt

Δt为容忍度值，即可疑值t_i在增加的容忍度范围内，通过检查，否则t_i将被为疑误数据，如疑误数据出现在观测场，将提醒观测员进行人工核查，或检查观测设备，或检查数据传输设备。本方法最终的目的是通过即时检测出的疑误数据，对观测设备可能出现的问题进行及时修正，提高获取数据的可靠性、准确性，通过较少的计算量，快速发现可能出现的问题。

进一步：所述统计学的百分位排序法指的是：百分位数指将每次滑动箱体内的n个观测值按升序从小到大排列x₁，x₂，x₃，...x_n后，

某个值小于或等于x_m的概率其计算公式：

公式中：m为x_m的序号，如果有40个观测值，那么第96(P₉₆)个百分位上的值约为排序后的x₃₉(p＝95.8％)的值；n为滑动箱体内的观测值的个数。本方法在给定信任度(上限99.9％(P_99.9)-下限0.1％(P_0.1))，在给定信任度上下限所对应位置上的观测值x_m、x_n-m，即求取的上下限初始值。

根据标准差σ的公式：

公式中：x_i为每次滑动箱体中的观测值，

为每次滑动箱体中有效观测值的平均值，n为每次滑动箱体中观测值的个数。

x_imax＝x_m+aσ (4)

x_imin＝x_n-m-aσ (5)

公式中：x_imax、x_imin为任意观测站点的高频观测值的上限值和下限值，σ为滑动箱体内观测值的标准差，a为倍率参数(a＝1，2，3...，n)，x_m、x_n-m在给定信任度范围内对应位置上的观测值。

因此，根据箱体滑动的时间步长，每个观测值所对应的时刻均会计算得到上下限值，进而可进行质量控制。

进一步：所述箱体时间位移区间可以是1秒、30秒、1、2、5、10分钟等均可，最终位移时间须根据具体观测变量的特性决定，本方法针对秒级高频数据试验结果发现，效率最优的箱体位移区间为1分钟区间，箱体大小控制为30分钟内的所有观测值。针对其他高频数据，箱体大小及位移区间不一定相同；

进一步：所述容忍度范围时：界限值+容忍度值≥观测值≥界限值-容忍度值；t_imax+Δt≥t_i≥t_imin-Δt所述容忍度为了减少正确数据的误判率而设定。

实际操作流程如下：

当观测设备开始收集资料，并且已完成前30分钟观测值收集时，在观测端电脑中启动本方案的质量控制模块。

1)数据筛选模块，开始筛选有效数据，并且留存数据大于整体数据的50％时，启动下一模块；

2)标准差计算模块，开始计算整个箱体中有效数据的标准差值，启动下一模块。

3)百分位排序模块，对箱体内留存的有效数据按升序从小到大排列，根据设定的信任度概率值，计算出对应的上下限初始值，启动下一模块。

4)上下限值计算模块，通过前期的上下限初始值加(减)1倍标准差值，得到新的上下限值，启动下一模块。

5)数据分析模块，将当前时刻观测值与上下限值进行对比，在范围内检测通过；超出范围，将上下限值加(减)容忍度值，再次进行比较，在范围内检测通过，超过报“可疑”。启动下一模块。

6)图像显示模块，程序将自动随时间变化出图显示观测值及上下限值的变化状况，出现可疑的时刻，程序进行报警，提示人工进行审核。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种气象数据质量控制方法，其特征在于：1)数据筛选模块：开始筛选有效数据，并且留存数据大于整体数据的50％时，启动下一模块；

2)标准差计算模块，开始计算整个箱体中有效数据的标准差值，启动下一模块；

3)百分位排序模块，对箱体内留存的有效数据按升序从小到大排列，根据设定的信任度概率值，计算出对应的上下限初始值，启动下一模块；

4)上下限值计算模块，通过前期的上下限初始值加(减)1倍标准差值，得到新的上下限值，启动下一模块；

5)数据分析模块，将当前时刻观测值与上下限值进行对比，在范围内检测通过；超出范围，将上下限值加(减)容忍度值，再次进行比较，在范围内检测通过，超过报“可疑”。启动下一模块；

6)图像显示模块，程序将自动随时间变化出图显示观测值及上下限值的变化状况，出现可疑的时刻，程序进行报警，提示人工进行审核。

2.基于权利要求1所述的一种气象数据质量控制方法，其特征在于：所述数据筛选模块，用来确定当前启动时刻的气象数据值及时次，以及假设认为当前启动时刻之前的数据全部为可信任数据。

3.基于权利要求2所述的一种气象数据质量控制方法，其特征在于：所述标准差计算模块，具体步骤如下：设定当前时刻之前10、20、30或60分钟时间内的高频气象数据为一个完整的箱体结构，剔除数据不全的异常值、缺测值后，若留存数据个数大于50％的箱体整体数据个数，则进行下步运算。

4.基于权利要求3所述的一种气象数据质量控制方法，其特征在于：所述百分位排序模块的具体排序方法如下：运用统计学的百分位排序法，获取对应时刻的上下限两个气象数据值，同时求取该箱体结构内数据的标准差，以给定信任度的大小值加或减1或多倍标准差得到的新值，可以确定该时刻气象数据的上下界限值；

x_imax＝x_m+aσ (1)

x_imin＝x_n-m-aσ (2)

x_imax≥x_i≥x_imin (3)

公式中：x_imax、x_imin为任意观测站点的高频观测值的上限值和下限值，σ为滑动箱体内观测值的标准差，a为倍率参数(a＝1，2，3...，n)，x_m、x_n-m为在给定信任度范围内对应排序位置上的观测值，即求取的上下限初始值。n为滑动箱体内的观测值的个数，m为x_m的序号。观测数据xi在上下限范围内，通过检查，否则x_i为疑误数据，即该时刻可以得到上限值、气象数据值和下限值。

5.基于权利要求4所述的一种气象数据质量控制方法，其特征在于：所述上下限值计算模块的具体计算方法如下：给定一个明确的时间位移区间，既箱体位移时间，在位移区间内，认为箱体内数据的标准差是不变的，给定信任度的数值也是不变的，因此上下界限值也是不变的，该时间位移区间可以构成给定时间位移区间的上限值、时间位移区间的气象数据值以及下限值。

Images