CN116010525A

CN116010525A - 一种气象模式数据解码处理方法

Info

Publication number: CN116010525A
Application number: CN202310051735.6A
Authority: CN
Inventors: 郑波; 刘媛媛; 肖卫青; 杨明; 孙周军; 王�琦; 刘鑫; 徐拥军
Original assignee: National Meteorological Information Center Meteorological Data Center Of China Meteorological Administration
Current assignee: National Meteorological Information Center Meteorological Data Center Of China Meteorological Administration
Priority date: 2023-02-02
Filing date: 2023-02-02
Publication date: 2023-04-25
Anticipated expiration: 2043-02-02
Also published as: CN116010525B

Abstract

本发明公开一种气象模式数据解码处理方法，包括如下步骤：采用多线程方式，读取模式数据源文件；将所述模式数据源文件拆分成模式单场文件；将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；待数据处理和入库完成后，将入库数据的DI信息发送至“天镜”监控系统。本发明能处理和接入几乎所有现有业务中的GRIB格式的模式数据，以支撑不同的模式数据服务需求。本发明采用java语言开发，可扩展性强，平台移植性高，能同时在不同平台运行。

Description

一种气象模式数据解码处理方法

技术领域

本发明涉及气象模式数据处理技术领域。具体地说是一种气象模式数据解码处理方法。

背景技术

模式数据是气象的14大类数据之一，也是气象应用中使用最广泛的数据之一。气象大数据云平台系统中存储和使用的模式数据包括欧洲模式数据、日本模式数据、美国模式数据、德国模式数据、中国气象局的CMA-GFS模式和CMA-MESO模式以及中国气象局实况分析产品等。“天擎”作为中国气象大数据云平台系统，能够面向全国提供数算一体平台化服务。“天镜”作为我国气象综合业务实时监控系统，用于监控气象业务全流程中信息的“流动”、系统的运行、网络安全动态，从而有效保证我国气象业务系统的一体化运行。

“天擎”系统中存储和使用的模式数据为GRI B格式，GRI B格式的模式数据是世界气象组织(WMO)的标准编码手册规定的一种气象类网格模式数据，包括GRI B1和GR I B2两种格式。在旧的气象模式数据处理技术中，针对模式数据的每一段的每个字节都要进行解析，技术比较复杂，扩展性不强。因此，有必要开发一种能够结合气象模式数据使用和服务需求的气象模式数据解码处理方法，使其对气象模式数据的处理更具有针对性以及更强的扩展性和平台移植性。

发明内容

为此，本发明所要解决的技术问题在于提供一种气象模式数据解码处理方法，以解决现有气象模式数据处理技术复杂，扩展性不强等问题。

为解决上述技术问题，本发明提供如下技术方案：

一种气象模式数据解码处理方法，包括如下步骤：

步骤(1)：采用多线程方式，读取“天擎”气象业务中GRIB格式的模式数据源文件；

步骤(2)：将所述模式数据源文件拆分成模式单场文件；

步骤(3)：将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容；

步骤(4)：根据气象服务需求，将解析得到的所述模式数据属性和所述模式数据内容，重新存储入分布式表格数据库，和/或重组生成模式产品文件后入分布式文件库+索引表；

步骤(5)：待数据处理和入库完成后，将入库数据的详细日志D I(Detai lInformat i on)信息发送至“天镜”监控系统。

上述气象模式数据解码处理方法，步骤(1)中，采用RabbitMQ消息中间件，对所述模式数据源文件的到达进行通知；通过多线程方式，同时读取两个或两个以上的通知消息，并同时对两个或两个以上的所述模式数据源文件进行并发处理。RabbitMQ是实现了高级消息队列协议AMQP的开源消息代理软件，亦称面向消息的中间件。

上述气象模式数据解码处理方法，步骤(2)中，数据拆分的目的是对模式数据源文件按需进行重组存储。模式数据源文件一般是按多要素、多种层次类型在一个文件中，或者单个时效一个文件，是不规则的组织方式；这种方式不利于进行数据服务。根据WMO的标准编码手册规定的GRIB1和GRIB2格式中，数据的多场组织方式不同，采用对应的拆分方法。目前，GRI B数据有以下两种多场组织方式：

①物理组织方式，大部分的模式数据都是这种组织方式，比如欧洲模式、日本模式、美国模式、德国模式、中国气象局CMA模式等。当所述GRIB格式的所述模式数据源文件以“物理组织”的方式组织在一起时，即：按照“GRIB…7777GRI B…7777”的方式组织在一起，且每个GRIB…7777之间只有1个场，则将所述GRI B格式的所述模式数据源文件的每个场拆分成一个所述模式单场文件；

②循环嵌套方式。当所述GRIB格式的所述模式数据源文件以“循环嵌套”的方式组织在一起时，即：一个所述GRIB格式的所述模式数据源文件只包含一个“GRIB…7777”，但是中间嵌套包含两个或两个以上的场数据，且两个或两个以上的场数据从第2段、第3段或第4段开始，到第7段为循环重复段，其它非循环重复段作为固定段；则将固定段和循环重复段拼成一个所述模式单场文件。比如，一个模式数据源文件如下所示：

在上述模式数据源文件中，如果循环重复段为第4-7段，则非循环重复段为第0-3段和第8段，即固定段为第0-3段和第8段，则将固定段第0-3段和第8段与循环重复段第4-7段拼成一个模式单场文件；如果循环重复段为第3-7段，则非循环重复段为第0-2段和第8段，即固定段为第0-2段和第8段，则将固定段第0-2段和第8段与循环重复段第3-7段拼成一个模式单场文件；如果循环重复段为第2-7段，则非循环重复段为第0-1段和第8段，即固定段为第0-1段和第8段，则将固定段第0-1段和第8段与循环重复段第2-7段拼成一个模式单场文件。

针对上述两种多场组织方式，采用对应的方法进行拆分，将原始文件拆分成一个场一个文件。

上述气象模式数据解码处理方法，步骤(3)中，模式数据源文件拆分成模式单场文件后，按WMO的标准编码手册规定的GRIB1和GRIB2格式对模式单场文件进行解析；使用Unidata(统一数据)社区发布的NetCDF(network Common Data Form)网络通用数据格式的netCDF-Java组件，用java开发语言实现，将所述GRIB格式的所述模式数据源文件拆分后的所述模式单场文件进行解析。GRIB1和GRIB2格式解析出的属性相同。

上述气象模式数据解码处理方法，步骤(3)中，所述模式单场文件解析的要素名称包括资料时间、要素、网格类型、GRI B版本、层次类型、经纬度范围、区域、空间分辨率、预报时效、层次、场类型、加工过程类型、模式数据和要素长名。

上述气象模式数据解码处理方法，所述要素学科、参数类型和参数编码与要素编码对应的配置文件(此配置文件是学科、参数类型和参数编码的组合，与要素编码为对应关系)中获取，所述学科从所述模式单场文件的第0段获取，所述参数类型和所述参数编码均从所述模式单场文件的第4段获取；所述GRIB版本从所述模式单场文件的第0段获取；所述资料时间和所述场类型从所述模式单场文件的第1段获取；所述网格类型、所述经纬度范围和所述空间分辨率均从所述模式单场文件的第3段获取；所述层次类型、所述预报时效、所述层次和所述加工过程类型均从所述模式单场文件的第4段获取；所述模式数据从所述模式单场文件的第7段获取；所述要素长名从所述模式单场文件的要素变量中获取。

上述气象模式数据解码处理方法，步骤(4)中，将解析获得的所述模式数据属性和所述模式数据内容作为参数传递给应用表格存储开发包ATS(App l i cat ion Tab l eStore)入库接口，完成入分布式表格数据库的操作；通过所述应用表格存储开发包ATS入库后的模式数据按照网格化的数据模型进行存储；所述模式数据的存储分为索引表和实体数据表，以便让存储数据分布均衡，所述实体数据表按分块方式进行存储，可以实现数据存储和查询的快速响应，数据查询的效率最高达到毫秒级。

上述气象模式数据解码处理方法，步骤(4)中，将所述模式单场文件解析后获得的所述模式数据属性和所述模式数据内容进行文件的重组，得到模式产品文件，并将所述模式产品文件入库到分布式文件库+索引表中；所述模式产品文件的命名格式为：[资料标识]_[要素]_[层次类型]_[资料时次]_[区域]_[场类型]_[加工过程类型].格式类型。

上述气象模式数据解码处理方法，步骤(4)中，所述资料标识为每个资料的名称标识；所述要素是根据“天擎”的要素规范制定的要素编码；所述层次类型遵照世界气象组织WMO的标准编码手册的编码规范；所述资料时次为所述模式数据源文件的起报时间；所述区域是根据所述模式数据源文件的经纬度范围得到的区域编码；所述场类型遵照世界气象组织WMO的标准编码手册的编码规范；所述加工过程类型也是遵照世界气象组织WMO的标准编码手册的编码规范。

上述气象模式数据解码处理方法，步骤(5)中，详细日志D I信息为json格式，且符合“天镜”的模式数据类型的D I规范。

本发明的技术方案取得了如下有益的技术效果：

本发明是针对根据世界气象组织(WMO)的标准编码手册规定的GRI B1和GR I B2格式的气象类网格模式数据，进行解析和处理的技术方法；本发明根据GR I B文件格式的特点，结合气象业务中模式数据使用和服务的需求，进行特定的解析、处理和存储，为气象预报、气候分析、气象服务提供模式数据的支撑。在气象模式数据解码处理方法中，采用专用的开发包进行解析，可扩展性强，平台移植性高。

本发明通过Rabb i tMQ消息中间件获取数据源文件，使用多线程技术并发处理多个文件，再对文件拆分后，基于Netcdf开发包进行解析，获取需要的模式属性信息，最后以两种格式类型进行存储，分别是分布式表格数据库和分布式文件库。

附图说明

图1本发明实施例中气象模式数据解码处理方法的功能结构示意图。

具体实施方式

本实施例中气象模式数据解码处理方法，包括如下步骤：

(1)多线程的消息读取

采用Rabb itMQ消息中间件，读取“天擎”气象业务中GRIB格式的模式数据源文件；对所述模式数据源文件的到达进行通知；通过多线程方式，同时读取两个或两个以上的通知消息，并同时对两个或两个以上的所述模式数据源文件进行并发处理。RabbitMQ是实现了高级消息队列协议AMQP的开源消息代理软件，亦称面向消息的中间件。本实施例中GRIB格式的模式数据源文件包括GRIB1和GRIB2两种格式的模式数据源文件；

(2)模式数据的拆分

将所述模式数据源文件拆分成模式单场文件。数据拆分的目的是对模式数据源文件按需进行重组存储。模式数据源文件一般是按多要素、多种层次类型在一个文件中，或者单个时效一个文件，是不规则的组织方式；这种方式不利于进行数据服务。根据WMO的标准编码手册规定的GRIB1和GRI B2格式中，数据的多场组织方式不同，采用对应的拆分方法。目前，GRIB数据有以下两种多场组织方式：

针对上述两种多场组织方式，采用上述对应的方法进行拆分，将原始文件拆分成一个场一个文件。

(3)文件解析

将拆分的所述模式单场文件进行解析，解析完成后得到模式数据属性和模式数据内容。模式数据源文件拆分成模式单场文件后，按WMO的标准编码手册规定的GRIB1和GRIB2格式对模式单场文件进行解析；使用Un i data(统一数据)社区发布的NetCDF(networkCommon Data Form)网络通用数据格式的netCDF-Java组件，用java开发语言实现，将所述GRIB格式的所述模式数据源文件拆分后的所述模式单场文件进行解析。GRI B1和GRIB2格式解析出的属性相同，本实施例以GRIB2为例，解析的属性信息如下表所示。

表1解码属性信息表

(4)通过接口，入分布式表格(cassandra)库

将解析获得的所述模式数据属性和所述模式数据内容作为参数传递给应用表格存储开发包ATS(App l i cat i on Tab l e Store)入库接口，完成入分布式表格数据库的操作；通过所述应用表格存储开发包ATS入库后的模式数据按照网格化的数据模型进行存储；所述模式数据的存储分为索引表和实体数据表，以便让存储数据分布均衡，所述实体数据表按分块方式进行存储，可以实现数据存储和查询的快速响应，数据查询的效率最高达到毫秒级。

(5)入分布式文件库和索引表

将所述模式单场文件解析后获得的所述模式数据属性和所述模式数据内容进行文件的重组，得到模式产品文件，并将所述模式产品文件入库到分布式文件库+索引表中；所述模式产品文件的命名格式为：[资料标识]_[要素]_[层次类型]_[资料时次]_[区域]_[场类型]_[加工过程类型].格式类型。

样例：GRAPESGFSG_TEM_100_2022082500_GLB_1_2.gr i b2

各个字段的含义如下：

①资料标识

每个资料的名称标识。如欧洲模式的标识为ECMF，日本模式的标识为RJTD，样例中GRAPESGFSG为中国气象局CMA-GFS全球预报数据。

②要素

根据“天擎”的要素规范，制定要素编码。如气温为TEM，降水为PRE；样例中TEM代表气温。

③层次类型

遵照WMO的标准编码手册的编码规范，见表2和表3。

表2Gr i b1层次类型

表3Gr i b2层次类型

④资料时次

模式数据源文件的起报时间。

⑤区域

根据模式的经纬度范围，得到区域编码。如全球区域是GLB，东北半球区域是NEHE，中国区域是CHN。

⑥场类型

遵照WMO的标准编码手册的编码规范，见表4。模式数据产品按场类型(F I ELD_TYPE)分为多种不同的产品，场类型的取值和对应含义如表4所示：

表4模式的场类型

代码值	含义	代码值	含义
				0	分析产品	1	预报产品
2	分析和预报产品	3	控制预报产品
				4	扰动预报产品	5	控制和扰动预报产品
6	加工的卫星观测资料	7	加工的雷达观测资料
				8	事件概率	9—191	保留
192—254	保留，供本地使用	255	空缺

⑦加工过程类型

遵照WMO的标准编码手册的编码规范，见表5。模式产品的加工类型(GENPROCESS_TYPE字段)的含义如下：

表5模式的加工过程类型

代码值	含义	代码值	含义	代码值	含义
						0	分析	1	初始化	2	预报
3	偏差订正预报	4	集合预报	5	概率预报
						6	预报误差	7	分析误差	8	观测
9	气候	10	加权概率预报	11	偏差订正集合预报
						12—191	保留	192—254	保留，供本地使用	255	空缺值

模式产品文件生成后，同时将NAS(Network Attached Storage，中文全称网络附属存储)产品文件信息入库到虚谷索引表中；NAS就是分布式文件库，NAS产品文件就是指生成的模式产品文件。

(6)发送详细日志D I(Detai l I nformat ion)

数据处理和入库完成后，根据“天镜”监视的要求，将数据的DI信息发送至“天镜”监控系统。DI信息为json格式，符合“天镜”的模式数据类型的DI规范。

本实施例采用模式数据的拆分技术，针对WMO的标准编码手册规定的GRI B1和GRIB2格式规范，对多场组织的原始数据文件，进行拆分，得到模式单场文件；本实施例采用针对气象特色的模式数据解析技术，用java开发语言实现，使用netcdfAl l开发包，解析出气象模式数据的资料时间、要素、网格类型、层次类型、经纬度范围、区域、空间分辨率、预报时效、层次、场类型、加工过程类型等信息；并针对不同的气象应用需求，将模式数据存储入分布式表格系统(cassandra)和分布式文件库+索引表。在分布式表格系统(cassandra)的数据一般保存半个月到一个月，数据的访问达到毫秒级，面向实时的天气预报的交互需求。在分布式文件库+索引表中存储的数据，至少保存近5年至10年的数据存储，面向一个月之前的数据访问服务，尤其是长序列的数据访问，用于数据分析、数据检验、模式评估等应用。

本发明针对气象业务中GRIB格式数据实现了处理，能处理和接入几乎所有现有业务中的GRIB格式的模式数据，每种数据的接入只需要进行配置即可接入，能配置选择入分布式表格系统(cassandra)和分布式文件库+索引表这两种存储类型中的一种或两种，以支撑不同的模式数据服务需求。另外，本发明采用java语言开发、可扩展性强、平台移植性高，能同时在不同平台运行。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本专利申请权利要求的保护范围之中。

Claims

1.一种气象模式数据解码处理方法，其特征在于，包括如下步骤：

步骤(2)：将所述模式数据源文件拆分成模式单场文件；

步骤(5)：待数据处理和入库完成后，将入库数据的详细日志DI信息发送至“天镜”监控系统。

2.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(1)中，采用RabbitMQ消息中间件，对所述模式数据源文件的到达进行通知；通过多线程方式，同时读取两个或两个以上的通知消息，并同时对两个或两个以上的所述模式数据源文件进行并发处理。

3.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(2)中，当所述GRIB格式的所述模式数据源文件以“物理组织”的方式组织在一起时，即：按照“GRIB…7777GRIB…7777”的方式组织在一起，且每个GRIB…7777之间只有1个场，则将所述GRIB格式的所述模式数据源文件的每个场拆分成一个所述模式单场文件；

当所述GRIB格式的所述模式数据源文件以“循环嵌套”的方式组织在一起时，即：一个所述GRIB格式的所述模式数据源文件只包含一个“GRIB…7777”，但是中间嵌套包含两个或两个以上的场数据，且两个或两个以上的场数据从第2段、第3段或第4段开始，到第7段为循环重复段，其它非循环重复段作为固定段，则将固定段和循环重复段拼成一个所述模式单场文件。

4.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(3)中，使用Netcdf开发包，用java开发语言实现，将所述GRIB格式的所述模式数据源文件拆分后的所述模式单场文件进行解析。

5.根据权利要求4所述的气象模式数据解码处理方法，其特征在于，步骤(3)中，所述模式单场文件解析的要素名称包括资料时间、要素、网格类型、GRIB版本、层次类型、经纬度范围、区域、空间分辨率、预报时效、层次、场类型、加工过程类型、模式数据和要素长名。

6.根据权利要求5所述的气象模式数据解码处理方法，其特征在于，所述要素从学科、参数类型和参数编码与要素编码对应的配置文件中获取，所述学科从所述模式单场文件的第0段获取，所述参数类型和所述参数编码均从所述模式单场文件的第4段获取；所述GRIB版本从所述模式单场文件的第0段获取；所述资料时间和所述场类型从所述模式单场文件的第1段获取；所述网格类型、所述经纬度范围和所述空间分辨率均从所述模式单场文件的第3段获取；所述层次类型、所述预报时效、所述层次和所述加工过程类型均从所述模式单场文件的第4段获取；所述模式数据从所述模式单场文件的第7段获取；所述要素长名从所述模式单场文件的要素变量中获取。

7.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(4)中，将解析获得的所述模式数据属性和所述模式数据内容作为参数传递给应用表格存储开发包ATS入库接口，完成入分布式表格数据库的操作；通过所述ATS入库后的模式数据按照网格化的数据模型进行存储；所述模式数据的存储分为索引表和实体数据表，所述实体数据表按分块方式进行存储。

8.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(4)中，将所述模式单场文件解析后获得的所述模式数据属性和所述模式数据内容进行文件的重组，得到模式产品文件，并将所述模式产品文件入库到分布式文件库+索引表中；所述模式产品文件的命名格式为：[资料标识]_[要素]_[层次类型]_[资料时次]_[区域]_[场类型]_[加工过程类型].格式类型。

9.根据权利要求8所述的气象模式数据解码处理方法，其特征在于，步骤(4)中，所述资料标识为每个资料的名称标识；所述要素是根据“天擎”的要素规范制定的要素编码；所述层次类型遵照世界气象组织WMO的标准编码手册的编码规范；所述资料时次为所述模式数据源文件的起报时间；所述区域是根据所述模式数据源文件的经纬度范围得到的区域编码；所述场类型遵照世界气象组织WMO的标准编码手册的编码规范；所述加工过程类型也是遵照世界气象组织WMO的标准编码手册的编码规范。

10.根据权利要求1所述的气象模式数据解码处理方法，其特征在于，步骤(5)中，详细日志DI信息为json格式，且符合“天镜”的模式数据类型的DI规范。