CN108255539B

CN108255539B - 基于云计算和数据虚拟化的气象卫星数据处理系统

Info

Publication number: CN108255539B
Application number: CN201711391975.1A
Authority: CN
Inventors: 邱珩; 李强; 陈俊锋
Original assignee: Huafeng Xiangji Beijing Meteorological Technology Co ltd
Current assignee: Huafeng Xiangji Beijing Meteorological Technology Co ltd
Priority date: 2017-12-21
Filing date: 2017-12-21
Publication date: 2021-03-12
Anticipated expiration: 2037-12-21
Also published as: CN108255539A

Abstract

本发明公开了基于云计算和数据虚拟化的气象卫星数据处理系统，提出的数据资源池解决了海量卫星数据存储和计算问题，并解决了海量卫星数据存储和卫星数据存储的时空一致性问题，时空属性是气象卫星数据最基本的属性，也是其最复杂的属性，是存储方案的难点，在存储系统和方案设计中，可在统一的环境中通过文件名、key、文件目录、URI等方式来构建并标识卫星的时空属性，并可根据存储和应用的时空尺度上对卫星数据进行抽取、重构、映射等虚拟化操作，提供丰富的数据视图；基于数据视图，系统可以完成复杂的气象卫星数据计算与处理，这些都将给气象卫星数据的应用带来极大的便利。

Description

基于云计算和数据虚拟化的气象卫星数据处理系统

技术领域

本发明涉及计算机系统领域，具体为基于云计算和数据虚拟化的气象卫星数据处理系统。

背景技术

天气预报的所有工作都建立在大量、广泛的监测数据之上，随着技术的发展进步，卫星正成为最重要的监测手段，但一直以来，气象卫星获取的海量数据都缺乏有效技术手段支持，应用困难，使用率非常低，造成了大量的数据浪费。

气象卫星数据种类多、数量大、格式多样，存储资源消耗高，对气象卫星数据的处理和计算也是非常复杂和专业的工作。目前对气象卫星数据的使用方式基本是先由用户根据需要从数据存储中心下载数据（如国家卫星气象中心的风云卫星遥感数据服务网，或中国气象局的CMAcast文件推送系统），然后将数据移动到如高性能计算机这样专门的计算系统中进行；另外一种对卫星产品的使用方式是用户安装专业的产品处理软件，用户在客户端通过交互方式使用平台生产产品（如国家卫星气象中心研发的卫星监测分析与遥感应用系统SMART，卫星天气应用平台SWAP）。在这两种方式中，前一种需要巨大的工作量和资源支持，后一种缺乏灵活性，用户无法根据需求处理卫星数据生成产品，这种方式限于对成熟产品的简单分发，同时由于只使用本地资源处理数据，只能处理非常有限的数据，无法满足对海量卫星分析、研究、个性处理的需求；从技术上来看，目前的系统都没有使用大数据、云计算这样先进的技术来构建完整的气象卫星数据和产品处理系统，这也就限制了对气象卫星数据的使用。

根据检索，目前也有一些涉及到遥感卫星处理的大数据平台专利申请（如基于云计算平台的遥感卫星大数据处理系统及方法），提出了对服务响应的一种方式和处理逻辑，其中缺乏对气象卫星数据处理所需的算法支持，而这才是气象卫星大数据平台的关键技术。

发明内容

本发明的目的就在于为了解决上述问题而提供一种以资源池封装为基础，通过调度引擎和任务流与业务相结合的气象卫星数据和产品处理系统的基于云计算和数据虚拟化的气象卫星数据处理系统。

本发明通过以下技术方案来实现上述目的。

基于云计算和数据虚拟化的气象卫星数据处理系统，系统由数据资源池、插件集、调度引擎、生产流组成，数据资源池提供各种与数据相关的软硬资源，插件集提供了对数据资源的处理工具，调度引擎负责插件执行和计算资源分配，任务流实现生产应用，其特征在于先将数据和存储资源封装成数据资源池，再将气象卫星数据处理算法或第三方处理命令封装为可以在平台上运行的插件，气象卫星数据处理算法或第三方处理命令封装的插件通过数据代理器来访问数据资源池中的资源，然后用调度引擎调用所述气象卫星数据处理算法或第三方处理命令封装的插件，并从计算资源池中分配相应的资源给所述气象卫星数据处理算法或第三方处理命令封装的插件，再将完成一定任务的所述气象卫星数据处理算法或第三方处理命令封装的插件进行逻辑上的编排后得到工作流，工作流根据时间来定时、重复执行这些所述气象卫星数据处理算法或第三方处理命令封装的插件，并负责结果的输出。

数据资源池提供存储服务和虚拟化服务。存储服务提供气象卫星数据的物理存储方案，基于底层的存储资源池和气象卫星数据的常用格式，提供集中的数据存储，实现数据在时间、空间、种类上的统一。虚拟化服务针对使用场景构建不同的虚拟视图，屏蔽了数据在不同存储方式下的差异，可动态创建表并加载数据，并通过封装实现了简单统一的数据访问。虚拟化服务提供的功能包括但不限于空间数据提取、通道数据提取、时间序列提取、投影转换、NC文件生成、HDF文件生成、元数据管理、Gdal命令调用、动态数据表构建、实时数据增量导入、字段映射、表关联、查询语句封装、数据访问SDK。所述气象卫星数据处理算法或第三方处理命令封装的插件集提供各类插件的统一管理，实现从气象卫星数据从格式解析、通道数据提取运算、图片操作及专业算法实现等各方面的工作。所述气象卫星数据处理算法或第三方处理命令封装的插件集提供的功能包括：扩展库管理、外部命令封装、插件库管理、通道运算、图像增强、矢量数据叠加、特征面积计算、金字塔图片生成、瓦片图生成、图片拼接。调度引擎主要为所述气象卫星数据处理算法或第三方处理命令封装的插件实例分配计算资源并运行插件，主要在于分布式计算资源分配（节点管理器）、程序调度、全局变量管理。

本发明还提供基于云计算和数据虚拟化的气象卫星数据处理算法，包括以下步骤：步骤S1：用户在Web页面上配置数据下载插件；步骤S2：用户在Web页面上配置数据处理插件，为插件配置要处理的数据、所需的CPU和内存资源、输出结果等；步骤S3：用户在Web页面编排任务清单；步骤S4：调度器根据任务清单执行其中的插件；步骤S5：取得返回结果，支持具体服务。

更进一步，S1包括以下步骤：步骤S101：配置接入数据源，包括数据源服务器地址、帐号信息、接入方式、更新频次、文件名过滤规则等；步骤S102：配置接入数据属性，包括文件格式、仪器名称、通道名称等信息；步骤S103：配置数据使用属性，用于查询、文件服务、计算服务还是地图服务；步骤S104：根据使用属性分别存于NoSQL数据库、分布式文件系统或用逻辑分块方式存于对象或文件系统中；步骤S105：数据代理器为数据表封装统一SQL查询接口。

更进一步，S3包括以下步骤：步骤S301：配置任务的基本信息，包括任务的描述、所有者、功能、使用数据的描述、输出数据描述等信息；步骤S302：选择处理卫星数据所需的插件，每个插件与气象卫星数据处理过程中相应的步骤相关，逻辑上划分的处理步骤对应为系统中的具体插件，插件可以平台预制的，也可以根据任务需要新编写的；步骤S303：根据业务逻辑设计插件的执行顺序，通过拖拽方式排列插件的顺序，并连接插件完成插件之间的拓扑图，就完成了对插件逻辑的建立；步骤S304：根据插件在执行中的依赖关系，设置插件的耦合方式，耦合方式有四种：数据耦合、逻辑耦合、全局耦合、消息耦合；步骤S305：设置任务的执行计划，主要是执行时间，是否重复等，最后将保存配置好的任务在生产流中，并可根据业务的变化重新编辑、调整任务的插件、执行计划等信息。

本发明能有效解决以下问题：（1）可以存储并处理海量、异构的气象卫星数据，解决了卫星气象数据的应用瓶颈，（2）整合了数据的存储和计算过程，将传统的先移动数据再进行计算的方式变为存算一体化，（3）开放灵活的配置管理功能在业务具有广泛的应用场景，其整体框架优于现有卫星系统的方案。提出的数据资源池解决了海量卫星数据存储问题，并解决了海量卫星数据存储和卫星数据存储的时空一致性问题，时空属性是气象卫星数据最基本的属性，也是其最复杂的属性，是存储方案的难点，在存储系统和方案设计中，可在统一的环境中通过文件名、key、文件目录、URI等方式来构建并标识卫星的时空属性，并可根据存储和应用的时空尺度上对卫星数据进行抽取、重构、映射等虚拟化操作，提供丰富的数据视图，这些都将给气象卫星数据的应用带来极大的便利。

附图说明

附图中，图1为系统组成模块与工作流程，图2为数据代理器工作流程，图3为气象卫星数据处理流程，图4为数据导入流程，图5为任务清单配置流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims

1.基于云计算和数据虚拟化的气象卫星数据处理系统，系统由数据资源池、插件集、调度引擎、生产流组成，数据资源池提供各种与数据相关的软硬资源，插件集提供了对数据资源的处理工具，调度引擎负责插件执行和计算资源分配，生产流实现生产应用，其特征在于：先将数据和存储资源封装成数据资源池，再将气象卫星数据处理算法或第三方处理命令封装为在系统上运行的插件，气象卫星数据处理算法或第三方处理命令封装的插件通过数据代理器来访问数据资源池中的资源，然后用调度引擎调用所述气象卫星数据处理算法或第三方处理命令封装的插件，并从数据资源池中分配相应的资源给所述气象卫星数据处理算法或第三方处理命令封装的插件，再将完成一定任务的所述气象卫星数据处理算法或第三方处理命令封装的插件进行逻辑上的编排后得到生产流，生产流根据时间来定时、重复执行这些所述气象卫星数据处理算法或第三方处理命令封装的插件，并负责结果的输出。

2.根据权利要求1所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于：所述数据资源池提供存储服务和虚拟化服务。

3.根据权利要求2所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于：所述存储服务提供气象卫星数据的物理存储方案，基于底层的存储资源池和气象卫星数据的常用格式，提供集中的数据存储，实现数据在时间、空间、种类上的统一。

4.根据权利要求2所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于：所述虚拟化服务针对使用场景构建不同的虚拟视图，屏蔽了数据在不同存储方式下的差异，动态创建表并加载数据，并通过封装实现简单统一的数据访问。

5.根据权利要求2所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于：所述虚拟化服务提供的功能包括但不限于空间数据提取、通道数据提取、时间序列提取、投影转换、NC文件生成、HDF文件生成、元数据管理、Gdal命令调用、动态数据表构建、实时数据增量导入、字段映射、表关联、查询语句封装、数据访问SDK。

6.根据权利要求1所述的基于云计算和数据虚拟化的气象卫星数据处理系统，其特征在于：所述插件集提供各类插件的统一管理，实现气象卫星数据从格式解析、通道数据提取运算、图片操作及专业算法实现各方面的工作。

7.一种如权利要求1所述的基于云计算和数据虚拟化的气象卫星数据处理系统的操作方法，包括以下步骤：步骤S1：用户在Web页面上配置数据下载插件；步骤S2：用户在Web页面上配置数据处理插件，为插件配置要处理的数据、所需的CPU和内存资源、输出结果；步骤S3：用户在Web页面编排任务清单；步骤S4：调度引擎根据任务清单执行其中的插件；步骤S5：取得返回结果，支持具体服务。

8.根据权利要求7所述的操作方法，其特征在于：S1包括以下步骤：步骤S101：配置接入数据源，包括数据源服务器地址、帐号信息、接入方式、更新频次、文件名过滤规则；步骤S102：配置接入数据属性，包括文件格式、仪器名称、通道名称；步骤S103：配置数据使用属性，用于查询、文件服务、计算服务、地图服务；步骤S104：根据使用属性分别存于NoSQL数据库、分布式文件系统或用逻辑分块方式存于对象或文件系统中；步骤S105：数据代理器为数据表封装统一SQL查询接口。

9.根据权利要求7所述的操作方法，其特征在于：S3包括以下步骤：步骤S301：配置任务的基本信息，包括任务的描述、所有者、功能、使用数据的描述、输出数据描述；步骤S302：选择处理卫星数据所需的插件，每个插件与气象卫星数据处理过程中相应的步骤相关，逻辑上划分的处理步骤对应为系统中的具体插件，插件由平台预制，或根据任务需要重新编写；步骤S303：根据业务逻辑设计插件的执行顺序，通过拖拽方式排列插件的顺序，并连接插件完成插件之间的拓扑图，完成对插件逻辑的建立；步骤S304：根据插件在执行中的依赖关系，设置插件的耦合方式，耦合方式有四种：数据耦合、逻辑耦合、全局耦合、消息耦合；步骤S305：设置任务的执行计划，包括执行时间、是否重复，最后保存配置好的任务在生产流中，并根据业务的变化重新编辑、调整任务的插件、执行计划。