CN113742929A - 一种针对格点气象实况的数据质量评价方法 - Google Patents

Abstract

本发明属于气象数据评价技术领域，具体涉及一种针对格点气象实况的数据质量评价方法。本发明提出了一套格点气象实况数据评价指标体系，包括数据的周期性检验，趋势性检验，相似性检验以及差异性分析；并提出了从数据获取，数据清洗，数据评价指标体系建立到格点气象实况数据评价的全流程实现，为后续格点气象实况数据的应用提供了数据支撑。

Description

一种针对格点气象实况的数据质量评价方法

技术领域

本发明属于气象数据评价技术领域，具体涉及一种针对格点气象实况的数据质量评价方法。

背景技术

随着气象数据在各行各业的广泛应用，如交通运输、新能源、农业、移动互联软件开发和服务、智慧城市、智慧交通、智慧粮食等领域，各行业对时空连续的栅格气象数据产品要求越来越高。其中，格点数据指的是将空间分割成有规律的网格，每一个网格称为一个单元，并在各单元上赋予相应的属性值来表示实体的一种数据形式。在实际应用中，尤其是现场作业，偶有反应格点气象实况数据和实际不符，因此本发明以地面自动站观测数据为标准，实现对格点气象实况数据的评价方法。

对于格点气象实况数据，目前更多是数据的生成、存储以及数据的应用。对于气象评价，基本上是双套地面自动站的气象数据差异分析或者自动站和人工观测数据的差异分析，在差异分析技术上，选择的是每年数据对比，每月数据对比，以及差值的一致率、粗差率等。综上所述，目前的技术领域缺乏针对格点气象实况的数据质量评价。

发明内容

本发明提供了针对格点气象实况的数据质量评价方法，包括：数据获取，数据清洗，数据评价指标体系建立，格点气象实况数据质量评价。

为实现上述目的，本发明采用如下技术方案：

一种针对格点气象实况的数据质量评价方法，如图1所示，包括以下步骤：

S1、获取标准气象数据和格点气象实况数据；

S2、对步骤S1获取到的数据进行预处理，包括数据重复性检查、界限值检查、极值检查、时间一致性检查和空间一致性检查，通过预处理消除错误数据后，将得到的标准气象数据和格点气象实况数据进行时空上的近邻匹配，获得时空匹配后的数据，同时对匹配后的数据按照标准气象数据的位置信息标记不同的点位；

S3、构建数据评价指标体系，包括：

1)周期性：以时间序列的周期T为分割点，对序列进行分割；对长度是n的序列，分割后就得到n/T个单元，比较这n/T个单元的相似度，如果满足设定的相似度，则说明具有周期性，如果不是，则不具有周期性；

2)趋势性：包括同比和环比，同比是为了消除数据周期性波动的影响，将本周期的数据X_t与之前周期中相同时间点的数据X_t+nT进行比较：

其中，T表示周期，n表示周期数；

环比是将本周期的数据与上一期的数据进行对比，反应的是数据连续变化的趋势：

其中，Δt表示时间差；

3)相似性：通过Pearson系数判断相似性

其中，

T表示周期

4)差异性：包括差值及平均值、差值标准差、一致率和粗差率；设时空匹配后的数据有效样本数为N，X为标准数据，Y为格点气象实况数据，则差值Z_N及其平均值

为：

设对比差值标准差为σ，σ反映了标准数据和格点气象实况数据之间偏差的离散程度，则有：

一致率表示标准数据和格点气象实况数据相一致的程度，将对比差值小于等于标准差的2倍的即认为一致，

粗差率反映了标准数据和格点气象实况数据异常值的多寡，当

时，视为粗差；

S4、采用步骤S3的评价体系，依次对步骤S2获得的时空匹配后的数据按照标记的点位进行评价，同时对每个点位的评价是按照每个气象要素逐一进行评价，对一个点位一个气象像素的评价方法为：

S41、对所选点位的标准数据和格点气象实况数据中的一个气象要素分别根据S3中的方法计算出对应的周期,比较得到的两个周期是否一致，如果周期一致，进入S42，周期不一致则直接进入S43；

S42、根据周期，分别计算该点位的标准数据和格点气象实况数据中气象要素的同比和环比，比较同比、环比的正负是否一致，如果正负一致则表示两类数据的变化趋势相同，进入S43；如果正负不一致，进入S44；

S43、计算该点位标准数据和格点气象实况数据中气象要素的Pearson系数,该值越接近1，表示两种来源的气象要素A₁的数据相似度越高；

S44、计算该点位的标准数据和格点气象实况数据中气象要素差值的平均值、标准差、一致率、粗差率，并和阈值进行比较，如果在阈值范围内表示该点位附近的格点气象实况数据中气象要素接近标准数据；如果超过阈值，则认为远离标准数据；

重复步骤S4直至完成对所有点位所有气象要素的评价，得到质量评价结论。

本发明的有益效果为，本发明提出了一套格点气象实况数据评价指标体系，包括数据的周期性检验，趋势性检验，相似性检验以及差异性分析；并提出了从数据获取，数据清洗，数据评价指标体系建立到格点气象实况数据评价的全流程实现，为后续格点气象实况数据的应用提供了数据支撑。

附图说明

图1为本发明的逻辑顺序示意图；

具体实施方式

下面对本发明的方案进行进一步的描述：

本发明的详细步骤为：

S1、获取标准气象数据和格点气象实况数据；标准数据的获取，可选择的数据来源包括地面气象站、卫星、雷达以及人工观测数据，其中地面气象站的观测数据从获取方式、数据量、覆盖范围方面更有优势，因此选择地面气象站的观测数据作为标准数据，通过网络或者购买获取该数据。其中，数据字段有气象站位置信息(经纬度)，气象要素(风速、温度、湿度、降水)，数据更新时间。格点气象实况数据，指多源气象数据融合生成的格点实况数据。其中，数据字段有经纬度，气象要素(风速、温度、湿度、降水)，数据更新时间。

S2、对步骤S1获取到的数据进行预处理，包括数据重复性检查、界限值检查、极值检查、时间一致性检查和空间一致性检查，通过预处理消除错误数据后，将得到的标准气象数据和格点气象实况数据进行时空上的近邻匹配，获得时空匹配后的数据，同时对匹配后的数据按照标准气象数据的位置信息标记不同的点位；

本步骤用于数据清洗，即通过某些方法对数据中的错误数据进行检查和消除。其中，数据重复性检查，指数据没有重复数据；界限值检查，指数据必须在界限值之内的检查。界限值这里特指从气候学的角度不可能发生的值；极值检查，指数据是否超过极值的检查。极值是指在某个固定地点的某个的时间段内出现概率很小或不可能出现的气象数据；时间一致性检查，指一定时间范围内，同一位置的气候数据变化具有特定的规律；空间一致性检查，指在一个地区内，气象要素分布的地理空间具有相关性。空间距离近的气象观测站比距离较远的具有更大的相关性；数据时空匹配，标准数据和格点气象实况数据的时间、空间并未完全对齐，为便于后续分析，需要对数据进行时间和空间的近邻匹配。为了后续分析，对匹配后的数据按照标准数据的位置信息标记不同的点位A，B，C，……；

S3、构建数据评价指标体系，包括：

1)周期性：以时间序列的周期T为分割点，对序列进行分割；对长度是n的序列，分割后就得到n/T个单元，比较这n/T个单元的相似度，如果满足设定的相似度，则说明具有周期性，如果不是，则不具有周期性；

2)趋势性：包括同比和环比，同比是为了消除数据周期性波动的影响，将本周期的数据X_t与之前周期中相同时间点的数据X_t+nT进行比较：

其中，T表示周期，n表示周期数；

环比是将本周期的数据与上一期的数据进行对比，反应的是数据连续变化的趋势：

其中，Δt表示时间差；

3)相似性：通过Pearson系数判断相似性

其中，

T表示周期

4)差异性：包括差值及平均值、差值标准差、一致率和粗差率；设时空匹配后的数据有效样本数为N，X为标准数据，Y为格点气象实况数据，则差值Z_N及其平均值

为：

设对比差值标准差为σ，σ反映了标准数据和格点气象实况数据之间偏差的离散程度，则有：

一致率表示标准数据和格点气象实况数据相一致的程度，将对比差值小于等于标准差的2倍的即认为一致，

粗差率反映了标准数据和格点气象实况数据异常值的多寡，当

时，视为粗差；粗差次数计算方法：先根据全部数据计算σ，逐个检查对比差值，若有

时，剔除其中一个最大者，再按计算标准差的公式计算新的σ，若还有差值

者，再剔除其中的一个最大者，然后计算新的σ，直到无数据需要剔除为止；

S4、采用步骤S3的评价体系，依次对步骤S2获得的时空匹配后的数据按照标记的点位进行评价，由于S3中的各评价指标都是针对某一固定点位的某一气象要素设计的，因此本步骤中选择点位A和气象要素A₁(A₁可以选择风速、温度、湿度、降水等)进行评价：

S41、对点位A的标准数据和格点气象实况数据中的气象要素A₁分别根据S3中的方法计算出对应的周期T_XA1,T_YA1,比较周期是否一致，如果周期一致，进入S42，周期不一致则直接进入S43；

S42、根据周期，分别计算点位A的标准数据和格点气象实况数据中气象要素A₁的同比和环比，比较同比、环比的正负是否一致，如果正负一致则表示两类数据的变化趋势相同，进入S43；如果正负不一致，需要进一步分析不一致的原因，可以直接进入S44；

S43、计算点位A标准数据和格点气象实况数据中气象要素A₁的Pearson系数,该值越接近1，表示两种来源的气象要素A₁的数据相似度越高；

S44、计算点位A的标准数据和格点气象实况数据中气象要素A₁差值的平均值、标准差、一致率、粗差率，并和阈值进行比较，如果在阈值范围内表示点位A附近的格点气象实况数据中气象要素A₁接近标准数据；如果超过阈值，需要进一步分析超过的原因，是否是客观原因，比如不同海拔温度会有差距，迎风坡和背风坡的风速会有差距；

重复以上步骤，对点位A的其他气象要素和其他点位的气象要素进行评价，并得出最终的评价结果。

格点气象数据评价过程中，可能会出现位置相近但是地理环境有差异的情况，比如距离很近但是海拔不同，温度可能会相差较大，但是周期性和趋势性一致。因此，本发明在进行差异分析之前，对数据的周期性、趋势性、相似性分析给出了明确的方法。

Claims (1)

1.一种针对格点气象实况的数据质量评价方法，其特征在于，包括以下步骤：

S1、获取标准气象数据和格点气象实况数据；

S2、对步骤S1获取到的数据进行预处理，包括数据重复性检查、界限值检查、极值检查、时间一致性检查和空间一致性检查，通过预处理消除错误数据后，将得到的标准气象数据和格点气象实况数据进行时空上的近邻匹配，获得时空匹配后的数据，同时对匹配后的数据按照标准气象数据的位置信息标记不同的点位；

S3、构建数据评价指标体系，包括：

1)周期性：以时间序列的周期T为分割点，对序列进行分割；对长度是n的序列，分割后就得到n/T个单元，比较这n/T个单元的相似度，如果满足设定的相似度，则说明具有周期性，如果不是，则不具有周期性；

2)趋势性：包括同比和环比，同比是为了消除数据周期性波动的影响，将本周期的数据X_t与之前周期中相同时间点的数据X_t+nT进行比较：

其中，T表示周期，n表示周期数；

环比是将本周期的数据与上一期的数据进行对比，反应的是数据连续变化的趋势：

其中，Δt表示时间差；

3)相似性：通过Pearson系数判断相似性

其中，

T表示周期；

4)差异性：包括差值及平均值、差值标准差、一致率和粗差率；设时空匹配后的数据有效样本数为N，X为标准数据，Y为格点气象实况数据，则差值Z_N及其平均值

为：

设对比差值标准差为σ，σ反映了标准数据和格点气象实况数据之间偏差的离散程度，则有：

一致率表示标准数据和格点气象实况数据相一致的程度，将对比差值小于等于标准差的2倍的即认为一致，

粗差率反映了标准数据和格点气象实况数据异常值的多寡，当

时，视为粗差；

S4、采用步骤S3的评价体系，依次对步骤S2获得的时空匹配后的数据按照标记的点位进行评价，同时对每个点位的评价是按照每个气象要素逐一进行评价，对一个点位一个气象像素的评价方法为：

S41、对所选点位的标准数据和格点气象实况数据中的一个气象要素分别根据S3中的方法计算出对应的周期,比较得到的两个周期是否一致，如果周期一致，进入S42，周期不一致则直接进入S43；

S42、根据周期，分别计算该点位的标准数据和格点气象实况数据中气象要素的同比和环比，比较同比、环比的正负是否一致，如果正负一致则表示两类数据的变化趋势相同，进入S43；如果正负不一致，进入S44；

S43、计算该点位标准数据和格点气象实况数据中气象要素的Pearson系数,该值越接近1，表示两种来源的气象要素A₁的数据相似度越高；

S44、计算该点位的标准数据和格点气象实况数据中气象要素差值的平均值、标准差、一致率、粗差率，并和阈值进行比较，如果在阈值范围内表示该点位附近的格点气象实况数据中气象要素接近标准数据；如果超过阈值，则认为远离标准数据；

重复步骤S4直至完成对所有点位所有气象要素的评价，得到质量评价结论。

Images