CN108763323A - 基于资源集和大数据技术的气象格点文件应用方法 - Google Patents

Abstract

本发明公开了基于资源集和大数据技术的气象格点文件应用方法，包括HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务，本发明提供出一种全新的格点文件应用方案，通过云计算技术，实现了云端标准化的数据加工与处理，省去了数据移动的环节，降低了格点文件的使用门槛，提高了使用效率，减少了重复工作。采用REST规范，方便用户在实现不同的系统对接，有利于标准化系统的构建。同时，本发明创建了格点文件的资源集构建方法、格点文件资源标准化指令集、基于资源集和指令集的格点文件应用架构。其中，格点文件资源集包括资源索引表的设计、资源索引表上的操作、文件名解析器和一组查询方法组成。

Description

基于资源集和大数据技术的气象格点文件应用方法

技术领域

本发明涉及数据应用领域，具体为基于资源集和大数据技术的气象格点文件应用方法。

背景技术

气象预报正在向精细化的方向发展，无论是天气预报模式还是气候预测模式，时间分辨率、空间分辨率还有预报时长都在不断提高，这一发展的直接结果就是气象预报的数据增长越来越快，

随着精细化预报技术的发展，产生了越来越庞大的数值预报文件，在数据的使用中形成了标准的数据格式如NC,Grib等，统称格点文件，是一种标准化的自描述文件，这种存储方式将数据的描述信息与数据存放在同一个文件中，通过解析文件可以获得文件中的变量名称、维度、类型等信息，这种文件格式有利于数据的存储、传输、管理、交换和使用。虽然这种自描述文件给实际应用带来了极大的便利，但随着海量文件的生成，给存储和处理都带了极大的挑战，目前常用的方式还是非常传统的，在业务系统中像普通文件一样存储在服务器上，通过FTP服务器实现数据下载或交换，对文件的使用基于不同的系统和技术分别实现，这种小而散的方式效率低，就给格点文件的使用带来了极大的瓶颈，需要设计新的方法来更好地使用这些格点文件。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于资源集和大数据技术的气象格点文件应用方法。

本发明通过以下技术方案来实现上述目的。

基于资源集和大数据技术的气象格点文件应用方法，包括HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务，其特征在于所述HDFS存储集群以格点文件为资源，众多格点文件形成资源集，并在资源集上定义标准化的命令集，实现对格点的文件操作，通过HDFS集群集中存储数据文件，所述资源索引服务通过对格点文件资源集形成的HDFS集群建立文件索引，所述指令服务主要用于响应接收到的处理请求，所述计算集群主要用于运行格点文件的处理程序，在云服务端完成格点文件的处理，所述文件服务主要向客户端提供处理好的资源，并将结果提供给客户端使用。HDFS存储集群提供海量文件的存储和管理，按标准化目录结构存储格点文件，并提供目录挂载功能，所述标准化目录根据数据类别名称建立，目录层级与数据类别按级别相对应，数据文件的路径与ResourceKey唯一对应，在每个分类数据目录下，数据文件按时间组织。HDFS存储集群完成文件批量导入、文件增量导入、文件检查、文件名修改等功能，文件批量导入通过直接拷贝、FTP下载等方式实现；文件增量导入通过后台程序进行，定时检查是否新生成文件，然后导入HDFS集群；文件检查主要是对文件名、文件大小、文件类型、文件生成时间进行检查，判断是否存在文件异常；文件名修改是根据需要进行规范化处理。资源索引服务提供资源集构建和资源定位服务，设计为资源索表、资源索引表上的操作、文件名解析器和一组查询方法组成。指令服务设计由接收指令、指令集、解析指令、查找任务模板和参数功能、发出计算请求和请求响应组成。计算集群为统一的计算环境、插件库、任务模板管理和调度引擎，以实现格点文件处理任务的运行。文件服务用于存储处理好的结果，供下载、服务使用。文件服务子系统提供了HDFS和对象存储两种方式用于存储不同的资源，其中HDFS用于存储大文件，对象存储用于存储小文件。

本发明提供出一种全新的格点文件应用方案，通过云计算技术，实现了云端标准化的数据加工与处理，省去了数据移动的环节，降低了格点文件的使用门槛，提高了使用效率，减少了重复工作。采用REST规范，方便用户在实现不同的系统对接，有利于标准化系统的构建。同时，本发明创建了格点文件的资源集构建方法、格点文件资源标准化指令集、基于资源集和指令集的格点文件应用架构。其中，格点文件资源集包括资源索引表的设计、资源索引表上的操作、文件名解析器和一组查询方法组成。

附图说明

附图中，图1为气象格点文件应用方法的总体步骤，图2为格点文件服务的处理过程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供一种格点数据应用方法，包括以下步骤：

步骤S1：用户在向格点文件应用系统发出指令；

步骤S2：格点文件应用系统收到指令后，首先对指令格式进行检查，按规则解析指令；

步骤S3：根据指令配置资源，包括格点文件、处理流程：

步骤S301：接收指令解析后的参数；

步骤S302：根据参数查找相应的资源，根据ResourceKey查找存储目录，解析TimeString得到资源文件；

步骤S303：根据S302的目录和文件列表，定位格点文件资源；

步骤S304：根据Command调用任务模板，解析Parameters的参数并自动填入任务模板；

步骤S305：检查资源情况，设置任务流状态为是否可执行；

步骤S306：向计算集群发出异步计算请求；

步骤S307：向客户端返回请求结果；

步骤S4：按请求处理格点文件；

步骤S5：将处理结果发送到文件服务器，响应请求。

本发明基于大数据和REST（表现层状态转化）规范设计了一种气象格点文件的使用方法，方法以格点文件为资源，在资源集上定义标准化的命令集，实现对格点的文件操作，通过HDFS集群集中存储数据文件，并建立文件索引作为资源集，接收到处理请求后，在云服务端完成格点文件的处理，并将结果提供给客户端使用。

参见图1所示，方法中包含HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务五个部分。HDFS存储通过分布式存储集中存储气象数据文件；资源索引服务根据规范建立目录和文件列表的索引集；指令服务响应客户端发出的资源使用指令；计算集群运行格点文件的处理程序；文件服务向客户端提供处理好的资源。

首先，针对HDFS存储集群，集群提供海量文件的存储和管理，按标准化目录结构存储格点文件，并提供目录挂载功能。标准化目录根据数据类别名称建立，目录层级与数据类别按级别相对应，数据文件的路径与ResourceKey唯一对应。在每个分类数据目录下，数据文件按时间组织。HDFS集群完成文件批量导入、文件增量导入、文件检查、文件名修改等功能。文件批量导入通过直接拷贝、FTP下载等方式实现；文件增量导入通过后台程序进行，定时检查是否新生成文件，然后导入HDFS集群；文件检查主要是对文件名、文件大小、文件类型、文件生成时间进行检查，判断是否存在文件异常；文件名修改是根据需要进行规范化处理。

其次，针对资源索引服务，资源索引服务提供资源集构建和资源定位服务，设计为资源索引表、资源索引表上的操作、文件名解析器和一组查询方法组成。主要包括：1）资源索引表，资源索引表由资源标识（ResourceKey）、资源路径（ResourcePath）、文件名规则（FileNameFormat）、源文件地址（ImportFrom）、元数据（ResourceMetadata）等组成，ResourceKey由格点文件所属种类的标准名称用下划线”_”连接组合而成，数据种类的名称规范可参见文档《GB/T 33674-2017气象数据集核心元数据》；ResourcePath为文件在HDFS集群中的存储路径；FileNameFormat是描述文件命名规则的字符串，由固定字符与时间戳构成，通常文件名中包括两个起报时刻和预报时效两个时间戳，每中时间戳可以使用通配符来匹配多个文件；ResourceMetadata为资源的元数据描述信息，设计了以下字段：数据生产者、数据名称、更新频次、更新时间、预报时效、预报时刻、空间范围、空间分辨率、投影方式、数据生产方法描述。2）资源索引表上的操作，资源索引表提供了创建记录、删除记录、读取记录的方法，更新记录通过先读取记录到程序中，修改后创建新记录，同步删除原始记录的步骤进行。3）文件名解析器，文件名解析器（FileNameParser）在接收到资源标识（ResourceKey）和时间参数（TimeString）后，会根据FileNameFormat解析出完整的文件名（FileName），然后根据文件名得到唯一的资源地址（ResourceURI）和存储路径（FilePath），分别设计为：

FileName = FileNameParser.parseName(ResourceKey, TimeString)

ResourceURI=ResourceKey+’__’+FileName

FilePath=ResourcePath +FileName。

在ResourceKey和FileName之间通过两个下划线（”__”）来连接，也可直接将其封装为方法：

(ResourceURI, FilePath) = FileNameParser.getResource(ResourceKey,TimeString)。

4）资源索引服务的查询方法，

资源索引服务上设计了四个查询方法：Resources、GetPath、GetFiles和GetMetadata：

a) Resources = Resources()

输入参数：无

返回：所有资源标识、资源存储路径、资源元数据

b) ResourcePath = GetPath(ResourceKey)

输入参数：资源标识

返回：资源存储路径

c) FileList= GetFiles(ResourceKey, Time)

输入参数：资源标识，时间或时间范围

返回：时间或范围内的格点文件列表

d) ResourceMetadata = GetMetadata(ResourceKey)

输入参数：资源标识

返回：资源元数据信息。

然后，针对指令服务，指令服务设计由接收指令、指令集、解析指令、查找任务模板和参数功能、发出计算请求和请求响应组成。主要包括：1）接收指令，指令服务按REST规范设计，提供命令行方式和http方式，分别设计为：

命令方式：

GFAI.Command(ResourceKey, TimeString, Parameters)

http方式：

http://IpAddress/GFAI/Command/ResourceURI/Parameters。

其中，Command为指令集中的命令，ResourceKey为资源标识，TimeString为处理资源的时间段，Parameter为处理格点文件时的相关参数，IpAddress为指令服务器地址。

2）命令集，Command集合设计

文件级别

动词	功能	参数	返回
				GET	获取文件	资源标识URI	目标资源
CREATE	创建文件	资源标识URI，数组	操作结果
				RENAME	重命名文件	旧资源标识URI、新资源标识URI	操作结果
DELETE	删除文件	资源标识URI	操作结果
				SHOW	显示单个资源的信息	资源标识URI	Json格式文件信息，包括文件大小，变量列表、长变量、短变量名称、维度信息等

文件内容级别

动词	功能	参数	返回
				SLICE	对文件进行切片	资源标识URI，切片规则	结果资源标识URI
CONCATENATE	将多个文件合成一个文件	资源标识URI或列表，新资源标识URI	结果资源标识URI
				TRANSFORM	转换文件格式	资源标识URI，新资源标识URI	结果资源标识URI
CONTOUR	将变量绘制为图形	资源标识URI，变量	结果资源标识URI
				SCALAR	对变量进行标量计算	变量,运算符(ADD/MUL/DIV),标量值	新变量
ARRAY	对维度相同的变量按数组进行计算	变量1，运算符(ADD/SUB/MUL/DIV)，变量2	新变量

文件目录级别

动词	功能	参数	返回
				DATA_CHECK	显示资源的元数据	资源标识URI	Json格式的资源信息，包括数据来源、更新频次、发布单位、维度信息、数据格式、资源列表等
LIST	列出文件夹下的所有文件	资源文件夹	Json格式的文件列表
				FILTER	文件过滤	资源标识URI，过滤规则	文件列表
ZIP	压缩多个文件	资源标识URI，新资源标识URI	结果资源标识URI

Parameters集合设计

关键字	格式	含义
			Time	YYYYMMDDhhmmss	时间字段，年用4位表示，月日时分秒用2位表示
Lon1	浮点型	经度开始范围
			Lon2	浮点型	经度结束范围
Lat1	浮点型	纬度开始范围
			Lat2	浮点型	纬度结束范围
Level	整型数组	垂直层次标识
			Projection	枚举	投影方式

其余命令；

3）解析指令，解析指令从客户端的发送的请求中解析出资源、命令、处理参数等字段，供处理格点文件使用，对无法识别的指令，返回出错信息。4）匹配任务模板和参数，任务模板是与指令相对应的预先设定的处理流程，根据指令中的命令加载相应的处理流程，并将相关的参数传入插件，从指令中解析出的参数此时根据插件预留的接口传入。5）发出计算请求，如果模板参数设置正确，将向计算集群发出计算指令，此计算请求为异步方式。如果参数错误，直接向客户端发现错误提示。6）响应请求，收到计算集群处理的结果，将任务处理结果、结果资源地址等通知客户端。

再然后，针对计算集群，计算集群设计为统一的计算环境、插件库、任务模板管理和调度引擎，以实现格点文件处理任务的运行。计算环境实现了插件运行所需环境支持，并由调度引擎负责任务流的调度运行。插件运行环境支持包括Spark程序类和专用工具类。Spark环境提供Yarn方式来运行Spark程序，支持Scala、Java和Python编写的程序，HDFS文件访问支持等功能，用户可直接运行Spark程序来处理HDFS中存储的文件；专用工具是在计算节点上安装部署专用工具的运行环境，在接收到命令或脚本后，可在节点上运行专业工具，对HDFS中文件的读取通过挂载目录实现。通过插件库来管理所有插件，包括插件索引、插件分类、插件版本管理、插件安装等，位于插件库中的插件才能被平台调用。任务模板是对插件按处理逻辑的组织，配置了插件的执行过程和参数，其实例化后为一个具体的任务流，调度引擎来指挥任务流的执行。调度引擎提供了两种方式来调度任务流，第一种是按计划调度，预先设定任务的执行时间、参数，任务定时执行，主要用于格点文件导入、数据管理等标准化的任务；第二种是按指令执行，收到请求后，由指令服务通知调度引擎执行相应的流程。在两种方式中，都采用分布式计算技术，避免了单节点的失效，保障请求的完成。在任务流处理完成后，会将处理结果返回给指令服务。

最后，针对文件服务，文件服务用于存储处理好的结果，供下载、服务使用。文件服务子系统提供了HDFS和对象存储两种方式用于存储不同的资源，其中HDFS用于存储大文件，对象存储用于存储小文件。文件服务子系统提供多种文件使用方式，包括FTP服务、http下载、scp拷贝、对象资源访问地址等方式提供文件等资源的访问，FTP服务用于大量文件的访问，http下载用于单个或少数文件的访问，scp拷贝用于需要使用文件推送的场景，对象存储主要用于图片等资源的直接访问。在文件服务子系统中，所有的资源是非持久化存储的，在生命周期内用户按授权访问资源，生命周期结束后，由系统自动删除资源，释放存储空间。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (8)

1.基于资源集和大数据技术的气象格点文件应用方法，包括HDFS存储集群、资源索引服务、指令服务、计算集群、文件服务，其特征在于所述HDFS存储集群以格点文件为资源，众多格点文件形成资源集，并在资源集上定义标准化的命令集，实现对格点的文件操作，通过HDFS集群集中存储数据文件，所述资源索引服务通过对格点文件资源集形成的HDFS集群建立文件索引，所述指令服务主要用于响应接收到的处理请求，所述计算集群主要用于运行格点文件的处理程序，在云服务端完成格点文件的处理，所述文件服务主要向客户端提供处理好的资源，并将结果提供给客户端使用。

2.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述HDFS存储集群提供海量文件的存储和管理，按标准化目录结构存储格点文件，并提供目录挂载功能，所述标准化目录根据数据类别名称建立，目录层级与数据类别按级别相对应，数据文件的路径与ResourceKey唯一对应，在每个分类数据目录下，数据文件按时间组织。

3.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述HDFS存储集群完成文件批量导入、文件增量导入、文件检查、文件名修改等功能，文件批量导入通过直接拷贝、FTP下载等方式实现；文件增量导入通过后台程序进行，定时检查是否新生成文件，然后导入HDFS集群；文件检查主要是对文件名、文件大小、文件类型、文件生成时间进行检查，判断是否存在文件异常；文件名修改是根据需要进行规范化处理。

4.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述资源索引服务提供资源集构建和资源定位服务，设计为资源索表、资源索引表上的操作、文件名解析器和一组查询方法组成。

5.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述指令服务设计由接收指令、指令集、解析指令、查找任务模板和参数功能、发出计算请求和请求响应组成。

6.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述计算集群为统一的计算环境、插件库、任务模板管理和调度引擎，以实现格点文件处理任务的运行。

7.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述文件服务用于存储处理好的结果，供下载、服务使用。

8.根据权利要求1所述的基于资源集和大数据技术的气象格点文件应用方法，其特征在于所述文件服务子系统提供了HDFS和对象存储两种方式用于存储不同的资源，其中HDFS用于存储大文件，对象存储用于存储小文件。