CN107870376A

CN107870376A - 一种多源气象数据二次采样整合方法

Info

Publication number: CN107870376A
Application number: CN201610859621.4A
Authority: CN
Inventors: 张高峰; 周南菁; 王斌; 张孝
Original assignee: NR Electric Co Ltd; NR Engineering Co Ltd
Current assignee: NR Electric Co Ltd; NR Engineering Co Ltd
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2018-04-03

Abstract

本发明公开了一种多源气象数据二次采样整合方法，包括如下步骤：步骤1、对气象站点进行统一站点编码；步骤2、对临近的气象站点进行规整；步骤3、对气象要素信息进行整合：建立统一规范的气象要素实时信息整合表，对于没有该气象要素信息的站点，其对应的气象要素信息数据值为NULL；步骤4、进行自适应二次采样；步骤5、进行气象数据的历史存储与统计。形成统一的气象站点模型和气象整合数据，实现多来源、多结构气象数据的统一建模和存储，为后续的气象数据统计分析与处理提供高质量的气象实时历史数据。

Description

一种多源气象数据二次采样整合方法

技术领域

本发明涉及一种多源气象数据二次采样整合方法。

背景技术

在气象信息系统建设过程中，会采集多种来源的气象数据，包括，国家基本气象站、城市站点、加密站点、线路杆塔上微气象站、电网自建气象站等气象站点的温度、湿度、风速、方向、降雨、气压等气象数据。这些站点提供的气象信息及要素信息不尽相同，存在如下差异：

第一、站点名称及编号差异：

不同气象来源系统提供的气象站点名称和站点编号没有统一的标准，同一站点不同系统对其命名、编号均存在差异。

第二、站点经纬度坐标差异：

气象站点经纬度坐标是气象站点重要信息之一，直接影响气象站点位置的准确性，以及其与电网设备之间的关系。不同来源系统提供的经纬度格式、经纬度坐标值精度，以及站点的统一性存在差异。

第三、要素信息差异：

不同气象站点提供的气象要素个数和格式不一致。例如，国家基本气象站一般会提供温度、湿度、风速、风向、降雨、气压六要素，而部分城市站点可能只有其中部分内容，对于加密站，可能只存在温度、湿度等信息。而且在要素的表达格式上也存在差异。

第四、时标不一致：

气象数据的特点是每个气象数据都带有时标。不同气象数据来源的数据，其气象数据的采集时间点、采集间隔、频次都不一致。在气象数据使用时，又需要对这些带有时标数据的气象信息进行细分。

发明内容

针对上述问题，本发明提供一种多源气象数据二次采样整合方法，针对多种来源的气象数据，存在气象站点名称及编号差异、气象经纬度格式及数值差异、站点采集气象要素个数不统一、气象数据采集时标不一致等问题，建立一种多源气象数据二次采样整合方法，形成统一的气象站点模型和气象整合数据，实现多来源、多结构气象数据的统一建模和存储，为后续的气象数据统计分析与处理提供高质量的气象实时历史数据。

为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

一种多源气象数据二次采样整合方法，其特征在于，包括如下步骤：

步骤1、对气象站点进行统一站点编码，统一站点编码格式为：

国家基本气象站编码+站点数据来源编码+扩展编码，

其中，针对相同的站点数据来源的气象站点进行顺次扩展编码；

步骤2、对临近的气象站点进行规整，包括：

2A）对气象站点不规范的经纬度坐标转换成统一的坐标格式；

2B）将隶属于同一行政区域中气象站点名称相同且经纬度差值在设定范围内的气象站点置上对应的标识位；

2C）将隶属于同一行政区域中气象站点名称为包含关系的气象站点置上对应的标识位；

2D）建立气象数据的评价指标kpi_station，针对需要规整为同一气象站点的各气象站点，保留评价指标最优的气象站点，删除其余的气象站点；

步骤3、对气象要素信息进行整合：

建立统一规范的气象要素实时信息整合表，对于没有该气象要素信息的站点，其对应的气象要素信息数据值为NULL；

步骤4、进行自适应二次采样，包括：

4A）分析气象站点的原始气象数据，排除通道中断的影响因素，得到气象数据最大更新间隔max_inv和最小更新间隔min_inv，计算出气象数据有效可持续时间m_validtime；

4B）在预设的时间间隔内，对源数据进行二次抽取；

4C）当没有最新气象数据时，在m_validtime时间范围内，将上次气象数据作为本次气象数据写入；而对于超出m_validtime时间范围的气象数据，则不能作为本次气象数据写入；

步骤5、进行气象数据的历史存储与统计。

优选，步骤4B）中，对源数据进行二次抽取获得气象数据规整时标、气象数据原始时标、数据值或替代值、是否规整标识。

优选，在编码过程中，均建立统一对照表，记录统一站点编码整合表与源表在统一站点编码整合前后的站点数据来源编码、名称、以及对照关系。

优选，步骤1中，步骤2D）中，针对需要规整为同一气象站点的各气象站点最近一段时间time_period的气象数据的完整性、实时性、准确性，进行综合评价，建立评价指标kpi_station。

本发明的有益效果是：

（a）根据气象站点类型和所属行政区域，建立统一的站点编码规范，形成规范编码与原始编码对照表。

（b）根据气象站点经纬度坐标信息，结合各类站点气象要素数据质量，实现临近站点规整处理，获得有效的气象站点，减少各站点气象实时及历史数据的重复冗余。

（c）根据气象数据的采集时间点、采集间隔、采集频次等特征，分析采集数据的规律，实现原始数据二次采样加工处理，形成规整的高质量的气象实时及历史数据。为后期统计、分析、查询提供气象历史数据。可以大大提高了电网气象信息系统中气象数据的展现、查询及统计分析效率。

附图说明

图1是本发明一种多源气象数据二次采样整合方法的整体流程图；

图2是本发明统一站点编码的示意图；

图3是本发明临近站点规整处理流程图；

图4是本发明自适应二次采样流程图。

具体实施方式

下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

一种多源气象数据二次采样整合方法，针对气象数据非实时、离线化、要素个数不同的特点，以建立统一气象站点模型和气象数据格式为目标，将多种来源、不同数据结构及采集频率的气象数据，通过统一编码算法、临近站点合并、自适应规整算法及采集时差处理、历史周期存储等处理，形成统一的气象站点实时历史数据模型。根据其统一编码更新规整模型内的数据，实现从杂乱无章的多样化数据得到规整的统一格式的气象模型及数据。实现多来源、多结构气象数据的统一建模和存储，为后续的数据分析与处理打下基础。如图1所示，包括如下步骤：

步骤1、对气象站点进行统一站点编码：

由于不同来源的站点名称和编码不一致，为了进行统一的站点管理，按照站点行政区域进行站点名称规范和统一编码。统一编码的原则是以国家基本气象站为基础，隶属于同一站点数据来源的气象站点进行自动顺次扩展编码，如图2所示，统一站点编码格式为：

国家基本气象站编码+站点数据来源编码+扩展编码。

其中，站点数据来源编码：在气象信息系统建设过程中，会采集多种来源的气象数据，包括，国家基本气象站点、城市站点、加密站点、线路杆塔上微气象站、电网自建气象站等气象站点，可以利用大小写英文字母[a-zA-Z]，来表示站点数据来源，对于一个区域电网，其数据来源可支持52种气象数据来源，已能足够表示全部数据来源。

针对相同的站点数据来源的气象站点进行顺次扩展编码：即，对于某类数据来源会包括多个气象站点，可以使用5位数字编码对这类气象站点进行统一编码，比如，顺次为00001、00002……等。

步骤2、对临近的气象站点进行规整，临近站点规整的目的是，在统一站点编码整合表中，找出气象站点信息相近或同名站点的信息，减少不必要的重复。如图3所示，具体包括：

2A）对气象站点不规范的经纬度坐标转换成统一的坐标格式，比如，对站点不规范的经纬度坐标进行规范，规范后经纬度坐标格式为xxx.xxxx度。

2B）将隶属于同一行政区域中气象站点名称相同且经纬度差值在设定范围内的气象站点置上对应的标识位，具体的差值可自行设定。一般的，气象站点名称采用中文命名，以本地行政区域名称命名，在全国范围内，可能会出现重复的现象。

一般的，利用经纬度坐标，进行气象站点空间距离计算，设置可识别范围阈值distance_delta，将经纬度坐标差值落入distance_delta范围内的站点进行标识，并通过人工确认，标明是否规整为同一站点。比如对于同一地级市站点且名称相同，则置上对应的标识位。

2C）将隶属于同一行政区域中气象站点名称为包含关系的气象站点置上对应的标识位，通过程序模糊匹配的方式，针对匹配结果进行人工确认，确认后，标明是否规整为同一站点。

2D）建立气象数据的评价指标kpi_station，针对需要规整为同一气象站点的各气象站点，保留评价指标最优的气象站点，删除其余的气象站点。

优选，针对需要规整为同一气象站点的各气象站点最近一段时间time_period（可自行设置）的气象数据的完整性、实时性、准确性，进行综合评价，建立评价指标kpi_station。通过临近站点规整，可以大致得到可靠的、可信的、可用的气象数据站点信息。

步骤3、对气象要素信息进行整合：

由于不同的气象数据来源，其提供的气象数据要素个数不完全相同，通过建立统一规范的气象要素实时信息整合表，对于没有该气象要素信息的站点，其对应的气象要素信息数据值为NULL；一旦具备了该要素信息，采样存储该要素信息。气象要素实时信息整合表将具备完整的要素信息的实时值，为后期历史数据存储提供数据来源。

步骤4、进行自适应二次采样，

由于各类气象数据的采集时间点、采集间隔、频次都不太一致，而气象数据的特点是具备连续性，且变化缓慢。为提供统一的气象数据方便统计分析，考虑在原始数据的基础上进行二次采样加工。如图4所示，包括：

4A）分析气象站点的原始气象数据，统计其数据的规律，寻找其数据更新变化的频率，排除通道中断的影响因素，得到气象数据最大更新间隔max_inv和最小更新间隔min_inv，计算出气象数据有效可持续时间m_validtime；目的是当没有最新气象数据时，在合理的m_validtime范围内可以将上次气象数据作为替代；而对于超出这个时间的气象数据，则不能作为数据替代。

4B）在预设的时间间隔内，比如10min、30min或60min，对源数据进行二次抽取，获得气象数据规整时标、气象数据原始时标、数据值或替代值、是否规整标识等。

4C）当没有最新气象数据时，在m_validtime时间范围内，将上次气象数据作为本次气象数据写入；而对于超出m_validtime时间范围的气象数据，则不能作为本次气象数据写入。

大部分气象数据都具有非实时性，很多数据为延迟上送，因此，在二次采样时，需要考虑补送数据的补采样。故，可以采用下述方案：

每类气象原始数据在入库时，均触发二次采样流程，对于延迟上送的气象数据，更新到数据库中。按照二次采样的原则，可以实现对延迟上送的历史数据进行规整，保证数据不丢失和完整。

步骤5、进行气象数据的历史存储与统计。

通过二次采样后的气象数据比较完整，且具备典型性，在此基础上，基于气象要素实时信息整合表，按照历史周期间隔进行周期性的历史存储和分析统计，存储气象要素信息的抽取时标（规整时标）、数据值或替代值、数据原始时标等信息；同时各站点的各要素信息的最大值、最小值、平均值及相应原始数据指标、0-0累计降雨量、8-8累计降雨量，对于暴雨，记录暴雨时段及降雨量统计等信息。

本发明的有益效果是：

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种多源气象数据二次采样整合方法，其特征在于，包括如下步骤：

国家基本气象站编码+站点数据来源编码+扩展编码，

步骤2、对临近的气象站点进行规整，包括：

步骤3、对气象要素信息进行整合：

步骤4、进行自适应二次采样，包括：

4B）在预设的时间间隔内，对源数据进行二次抽取；

步骤5、进行气象数据的历史存储与统计。

2.根据权利要求1所述的一种多源气象数据二次采样整合方法，其特征在于，步骤4B）中，对源数据进行二次抽取获得气象数据规整时标、气象数据原始时标、数据值或替代值、是否规整标识。

3.根据权利要求1所述的一种多源气象数据二次采样整合方法，其特征在于，步骤1中，在编码过程中，均建立统一对照表，记录统一站点编码整合表与源表在统一站点编码整合前后的站点数据来源编码、名称、以及对照关系。

4.根据权利要求1所述的一种多源气象数据二次采样整合方法，其特征在于，步骤1中，步骤2D）中，针对需要规整为同一气象站点的各气象站点最近一段时间time_period的气象数据的完整性、实时性、准确性，进行综合评价，建立评价指标kpi_station。

5.根据权利要求2所述的一种多源气象数据二次采样整合方法，其特征在于，每类气象原始数据在入库时，均触发二次采样流程，对于延迟上送的气象数据，更新到数据库中。

6.根据权利要求5所述的一种多源气象数据二次采样整合方法，其特征在于，步骤4B）中，预设的时间间隔为10min、30min或60min。