CN107798059B - 一种nco气象数据结构化存储方法和装置 - Google Patents

Abstract

本发明提供一种NCO气象数据结构化存储方法和装置，先将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS，然后对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS，最后根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库，实现NCO气象数据的解析和结构化存储。本发明提供的技术方案基于Hadoop的可靠、高效和可伸缩性，并通过Sqoop、MapReduce和Hive等技术一气呵成地实现NCO气象数据的迁移、解析和结构化存储，实现过程简单明了，避免了代码复杂和编程繁琐等问题。

Description

一种NCO气象数据结构化存储方法和装置

技术领域

本发明涉及新能源技术领域，具体涉及一种NCO气象数据结构化存储方法和装置。

背景技术

风电功率预测对电力系统有着重要的意义，精确的预测可以降低风电并网带来的冲击，提高风电渗透率，增强电力系统运行的稳定性。基于广域时空大数据分析的风电功率预测方法旨在借助数据挖掘技术研究广域时空下大量气象观测数据及功率测试数据之间的相关关系以实现对风电功率短期精确预测的目的。

气象数据通常需要借助NetCDF数据操作员(NetCDF Operator，NCO)存储为网络通用数据格式(network Common Data Form，NetCDF)，是一种典型的非结构化数据，并基于目录树形结构的文件系统进行组织，而风电功率测试数据在电网系统中通常存放于关系型数据库进行管理。由于气象数据的非结构化存储方式和风电功率测试数据的结构化存储方式有着本质区别，所以需要将NCO气象数据进一步解析并存放为结构化的关系型数据，提高后续数据研究应用的便捷性。

近年来，随着当前电厂和风电厂的快速发展，气象业务持续增多，气象数据的存储量也成几何数量级迅猛增长，于是基于单机计算的传统的java语言、c语言等的NCO气象数据的解析、与入库的结构化存储的缓慢问题逐渐暴露，而分布式计算技术的成熟，存储系统及存储的多样化很好解决了大规模数据处理的效率问题。但类似DFS(Distributed FileSystem)、GFS(Google File System)、TFS(Taobao File System)的分布式文件系统(Hadoop Distributed File System，HDFS)只适合小量的NCO气象数据的非结构化存储，而用于NCO气象数据的非结构化存储的DRDS(Distributed Relational Database Service)、DCDB(Digital Cadastral Data Base)、TDSQL(Tecent Distribute SQL)等收费系统成本高，并且要通过繁琐的编程才能实现对计算大规模数据的有效分割和合理分配。

发明内容

为了克服上述现有技术中存储量小、成本高、以及编程繁琐的不足，本发明提供一种NCO气象数据结构化存储方法和装置，先将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS，然后对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS，最后根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库，实现NCO气象数据的解析，并进一步实现NCO气象数据的结构化存储。

为了实现上述发明目的，本发明采取如下技术方案：

本发明提供一种NCO气象数据结构化存储方法，所述NCO气象数据为NetCDF格式的气象数据，所述NetCDF为网络通用数据格式；所述方法包括：

将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS；

对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；

根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库。

所述将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS包括：

对基础气象数据进行天气预报模式WRF运算，并将WRF模式运算后的气象数据基于C语言的CDL语法结构进行行赋值；

通过NCO将行赋值后的气象数据存储为NetCDF格式的NCO气象数据，并将NetCDF格式的NCO气象数据存储至本地文件系统；

通过Sqoop将NetCDF格式的NCO气象数据上传至HDFS，并通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点。

所述对基础气象数据进行天气预报模式WRF运算包括：

在时间积分上采用三阶或者四阶的Runge-Kutta算法对基础气象数据进行处理。

所述对HDFS中的NCO气象数据进行解析包括：

对NetCDF格式的NCO气象数据进行Map处理，并对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据。

所述对NetCDF格式的NCO气象数据进行Map处理包括：

打开NetCDF格式的NCO气象数据，读取NetCDF格式的NCO气象数据的全局属性；

从读取的全局属性中提取维对象、变量以及变量在对应维度下的数值；

对提取的维对象、变量以及变量在对应维度下的数值进行整合，得到键值对形式的气象数据。

所述对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据包括：

Combiner对键值对形式的气象数据进行Combine处理，并通过Shuffle与Sort将Combine处理后的键值对形式的气象数据传输到Reducer；

Reducer对Shuffle与Sort传输的所述Combine处理后的键值对形式的气象数据进行Reduce处理，得到结构化气象数据。

所述将解析得到的结构化气象数据保存至HDFS包括：

将解析得到的结构化气象数据以.txt格式保存至HDFS。

所述根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库包括：

通过Sqoop将用于分布式环境的结构化气象数据存储至Hive关系型数据库，并将用于单机环境的结构化气象数据存储至Oracle关系型数据库。

本发明还提供一种NCO气象数据结构化存储装置，所述NCO气象数据为NetCDF格式的气象数据，所述NetCDF为网络通用数据格式；所述装置包括：

上传模块，用于将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS；

解析模块，用于对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；

存储模块，用于根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库。

所述上传模块具体用于：

对基础气象数据进行天气预报模式WRF运算，并将WRF模式运算后的气象数据基于C语言的CDL语法结构进行行赋值；

通过NCO将行赋值后的气象数据存储为NetCDF格式的NCO气象数据，并将NetCDF格式的NCO气象数据存储至本地文件系统；

通过Sqoop将NetCDF格式的NCO气象数据上传至HDFS，并通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点，实现NetCDF格式的NCO气象数据的多副本存储。

所述上传模块具体用于：

在时间积分上采用三阶或者四阶的Runge-Kutta算法对基础气象数据进行处理。

所述解析模块具体用于：

对NetCDF格式的NCO气象数据进行Map处理，并对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据。

所述解析模块具体用于：

打开NetCDF格式的NCO气象数据，读取NetCDF格式的NCO气象数据的全局属性；

从读取的全局属性中提取维对象、变量以及变量在对应维度下的数值；

对提取的维对象、变量以及变量在对应维度下的数值进行整合，得到键值对形式的气象数据。

所述解析模块具体用于：

Combiner对键值对形式的气象数据进行Combine处理，并通过Shuffle与Sort将Combine处理后的键值对形式的气象数据传输到Reducer；

Reducer对Shuffle与Sort传输的所述Combine处理后的键值对形式的气象数据进行Reduce处理，得到结构化气象数据。

所述解析模块具体用于：

将解析得到的结构化气象数据以.txt格式保存至HDFS。

所述存储模块具体用于：

通过Sqoop将用于分布式环境的结构化气象数据存储至Hive关系型数据库，并将用于单机环境的结构化气象数据存储至Oracle关系型数据库。

与最接近的现有技术相比，本发明提供的技术方案具有以下有益效果：

本发明提供的NCO气象数据结构化存储方法先将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS，然后对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS，最后根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库，实现NCO气象数据的解析，并进一步实现NCO气象数据的结构化存储；

本发明提供的技术方案基于分布式架构Hadoop的可靠、高效和可伸缩性，实现NCO气象数据的结构化存储，且Hadoop是开源的分布式基础架构，其能够部署在低廉的硬件设备上，因此大大降低了了资源配置成本；

本发明提供的技术方案通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点，实现NetCDF格式的NCO气象数据的多副本存储；

本发明提供的技术方案中的MapReduce能够调用自身携带的基础函数实现对NETCDF格式数据的解析，避免了复杂和繁琐的自定义编程，且基于MapReduce实现HDFS中NetCDF格式的NCO气象数据的解析，具体是通过对NetCDF格式的NCO气象数据进行Map处理，并对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，进而得到结构化气象数据；

本发明提供的技术方案通过同步工具Sqoop实现NetCDF格式的NCO气象数据从本地文件系统到HDFS的迁移，并通过同步工具Sqoop实现结构化气象数据从HDFS到Hive关系型数据库或Oracle关系型数据库的迁移；

本发明提供的技术方案通过Hive关系型数据库实现用于分布式环境的结构化气象数据的存储，并通过Oracle关系型数据库实现用于单机环境的结构化气象数据的存储，且Hive关系型数据库和Oracle关系型数据库具有高吞吐性，能够实现NCO气象数据的大量存储；

本发明提供的NCO气象数据结构化存储方法实现过程简单明了，且适用范围广泛，特别适用于批量同类型的NCO气象数据的存储。

附图说明

图1是本发明实施例中NCO气象数据结构化存储方法流程图；

图2是本发明实施例中NCO气象数据结构化存储方法示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

本发明实施例提供一种NCO气象数据结构化存储方法，该方法的具体流程图和示意图如图1和图2所示，该方法具体执行过程如下：

S101：将本地文件系统中NetCDF格式的NCO气象数据上传至分布式文件系统HDFS；

S102：通过MapReduce对S101中上传至HDFS中的NetCDF格式的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；

S103；根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库(包括Hive关系型数据库和Oracle关系型数据库)。

上述S101中，将本地文件系统中NetCDF格式的NCO气象数据上传至HDFS的具体过程如下：

1)对基础气象数据进行天气预报模式WRF运算，并将WRF模式运算后的气象数据基于汉字描述语言CDL进行行赋值；

2)通过NCO将行赋值后的气象数据存储为NetCDF格式的NCO气象数据，并将NetCDF格式的NCO气象数据存储至本地文件系统；

3)通过Sqoop将NetCDF格式的NCO气象数据上传至HDFS，并通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点，实现NetCDF格式的NCO气象数据的多副本存储。

上述1)中，对基础气象数据进行天气预报模式WRF运算具体是在时间积分上采用三阶或者四阶的Runge-Kutta算法对基础气象数据进行处理。

上述S102中，对HDFS中NetCDF格式的NCO气象数据进行解析的具体过程如下：

1、对NetCDF格式的NCO气象数据进行Map处理；

2、对Map处理得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，进而得到结构化气象数据。

上述对NetCDF格式的NCO气象数据进行Map处理的具体过程如下：

1)打开NetCDF格式的NCO气象数据，读取NetCDF格式的NCO气象数据的全局属性；

2)从读取的全局属性中提取维对象、变量以及变量在对应维度下的数值；

3)对提取的维对象、变量以及变量在对应维度下的数值进行整合，得到键值对形式的气象数据。

上述对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据的具体过程如下：

1)Combiner对键值对形式的气象数据进行Combine处理，并通过Shuffle与Sort将Combine处理后的键值对形式的气象数据传输到Reducer；

2)Reducer对Shuffle与Sort传输的所述Combine处理后的键值对形式的气象数据进行Reduce处理，得到结构化气象数据。

上述S102中，将解析得到的结构化气象数据保存至HDFS具体是将解析得到的结构化气象数据以.txt格式保存至HDFS。

上述S103中，根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库具体过程如下：

通过Sqoop将用于分布式环境的结构化气象数据存储至Hive关系型数据库，并将用于单机环境的结构化气象数据存储至Oracle关系型数据库。

基于同一发明构思，本发明实施例还提供了一种NCO气象数据结构化存储装置，这些设备解决问题的原理与NCO气象数据结构化存储方法相似，本发明实施例提供NCO气象数据结构化存储装置可以包括上传模块、解析模块和存储模块，下面分别对三个模块的功能进行介绍：

其中的上传模块，用于将本地文件系统中的NCO气象数据上传至分布式文件系统HDFS；

其中的解析模块，用于对HDFS中NetCDF格式的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；

其中的存储模块，用于根据结构化气象数据的应用场景将HDFS中的结构化气象数据存储至相应的关系型数据库。

上述上传模块将本地文件系统中的NCO气象数据上传至HDFS的具体过程如下：

1)对基础气象数据进行天气预报模式WRF运算，并将WRF模式运算后的气象数据基于C语言的CDL语法结构进行行赋值；

2)通过NCO将行赋值后的气象数据存储为NetCDF格式的NCO气象数据，并将NetCDF格式的NCO气象数据存储至本地文件系统；

3)通过Sqoop将NetCDF格式的NCO气象数据上传至HDFS，并通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点，实现NetCDF格式的NCO气象数据的多副本存储。

上述1)中，对基础气象数据进行WRF运算具体是在时间积分上采用三阶或者四阶的Runge-Kutta算法对基础气象数据进行处理。

上述解析模块对HDFS中NetCDF格式的NCO气象数据进行解析具体过程如下：

1、对NetCDF格式的NCO气象数据进行Map处理；

2、对Map处理得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据。

上述解析模块对NetCDF格式的NCO气象数据进行Map处理的具体过程如下：

1-1：打开NetCDF格式的NCO气象数据，读取NetCDF格式的NCO气象数据的全局属性；

1-2：从读取的全局属性中提取维对象、变量以及变量在对应维度下的数值；

1-3：对提取的维对象、变量以及变量在对应维度下的数值进行整合，得到键值对形式的气象数据。

上述解析模块对Map处理得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据具体过程如下：

2-1：Combiner对键值对形式的气象数据进行Combine处理，并通过Shuffle与Sort将Combine处理后的键值对形式的气象数据传输到Reducer；

2-2：Reducer对Shuffle与Sort传输的所述Combine处理后的键值对形式的气象数据进行Reduce处理，得到结构化气象数据。

上述的解析模块将解析得到的结构化气象数据保存至HDFS具体是将解析得到的结构化气象数据以.txt格式保存至HDFS。

上述的存储模块通过Sqoop将用于分布式环境的结构化气象数据存储至Hive关系型数据库，并将用于单机环境的结构化气象数据存储至Oracle关系型数据库。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本申请时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。

Claims (2)

1.一种NCO气象数据结构化存储方法，其特征在于，包括：

将本地文件系统中的NCO气象数据上传至HDFS；

对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；

将结构化气象数据存储至关系型数据库；

所述将本地文件系统中的NCO气象数据上传至HDFS包括：

对基础气象数据进行WRF运算，并将WRF模式运算后的气象数据基于C语言的CDL语法结构进行行式赋值；

通过NCO将行式赋值后的气象数据存储为NetCDF格式的NCO气象数据，并将NetCDF格式的NCO气象数据存储至本地文件系统；

通过Sqoop将NetCDF格式的NCO气象数据上传至HDFS，并通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点，实现NetCDF格式的NCO气象数据的多副本存储；

所述对基础气象数据进行WRF运算包括：

在时间积分上采用三阶或者四阶的Runge-Kutta算法对基础气象数据进行处理；

所述对HDFS中的NCO气象数据进行解析包括：

对NetCDF格式的NCO气象数据进行Map处理，并对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据；

所述对NetCDF格式的NCO气象数据进行Map处理包括：

打开NetCDF格式的NCO气象数据，读取NetCDF格式的NCO气象数据的全局属性；

从读取的全局属性中提取维对象、变量以及变量在对应维度下的数值；

对提取的维对象、变量以及变量在对应维度下的数值进行整合，得到键值对形式的气象数据；

所述对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据包括：

Combiner对键值对形式的气象数据进行Combine处理，并通过Shuffle与Sort将Combine处理后的键值对形式的气象数据传输到Reducer；

Reducer对Shuffle与Sort传输的所述Combine处理后的键值对形式的气象数据进行Reduce处理，得到结构化气象数据；

所述将解析得到的结构化气象数据保存至HDFS包括：

将解析得到的结构化气象数据以.txt格式保存至HDFS；

所述将结构化气象数据存储至关系型数据库包括：

通过Sqoop将用于分布式环境的结构化气象数据存储至Hive关系型数据库，并将用于单机环境的结构化气象数据存储至Oracle关系型数据库。

2.一种NCO气象数据结构化存储装置，其特征在于，包括：

上传模块，用于将本地文件系统中的NCO气象数据上传至HDFS；

解析模块，用于对HDFS中的NCO气象数据进行解析，并将解析得到的结构化气象数据保存至HDFS；

存储模块，用于将结构化气象数据存储至关系型数据库；

所述上传模块具体用于：

对基础气象数据进行WRF运算，并将WRF模式运算后的气象数据基于C语言的CDL语法结构进行行式赋值；

通过NCO将行式赋值后的气象数据存储为NetCDF格式的NCO气象数据，并将NetCDF格式的NCO气象数据存储至本地文件系统；

通过Sqoop将NetCDF格式的NCO气象数据上传至HDFS，并通过HDFS将NetCDF格式的NCO气象数据分发给Hadoop中不同节点，实现NetCDF格式的NCO气象数据的多副本存储；

所述上传模块具体用于：

在时间积分上采用三阶或者四阶的Runge-Kutta算法对基础气象数据进行处理；

所述解析模块具体用于：

对NetCDF格式的NCO气象数据进行Map处理，并对得到的键值对形式的气象数据依次进行Combine处理和Reduce处理，得到结构化气象数据；

所述解析模块具体用于：

打开NetCDF格式的NCO气象数据，读取NetCDF格式的NCO气象数据的全局属性；

从读取的全局属性中提取维对象、变量以及变量在对应维度下的数值；

对提取的维对象、变量以及变量在对应维度下的数值进行整合，得到键值对形式的气象数据；

所述解析模块具体用于：

Combiner对键值对形式的气象数据进行Combine处理，并通过Shuffle与Sort将Combine处理后的键值对形式的气象数据传输到Reducer；

Reducer对Shuffle与Sort传输的所述Combine处理后的键值对形式的气象数据进行Reduce处理，得到结构化气象数据；

所述解析模块具体用于：

将解析得到的结构化气象数据以.txt格式保存至HDFS；

所述存储模块具体用于：

通过Sqoop将用于分布式环境的结构化气象数据存储至Hive关系型数据库，并将用于单机环境的结构化气象数据存储至Oracle关系型数据库。

Images