CN116126942B - 一种多维空间气象网格数据分布式存储查询方法 - Google Patents

Abstract

本发明提出了一种多维空间气象网格数据分布式存储查询方法，其包括：步骤1：构建多维空间的网格化数据模型；步骤1：构建多维空间的网格化数据模型；步骤2：基于构建的网格化数据模型，建立索引与数据的对应关系，将整个气象网格数据分解为多个数据块，形成数据块池；步骤3：将模型、索引‑数据㬇射关系存储到索引表，每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表；步骤4：通过计算和查询索引，获取到索引对应的数据块，合并数据块形成新的网格数据集。

Description

一种多维空间气象网格数据分布式存储查询方法

技术领域

本发明设计气象服务技术领域，具体涉及一种多维空间气象网格数据分布式存储查询方法。

背景技术

气象网格数据主要包括数值预报、卫星、雷达等数据产品，广泛应用于气象监测、气象预报和气象服务等方面，高效的数据存储与查询性能对气象业务和防灾减灾，具有非常重要的意义。由于气象网络数据具有数据量较大、多维等特征，且云计算技术已应用于气象大数据的存储和服务，但气象网格数据的存储和服务一直采用整块存储与服务，没有充分考虑到气象网格数据的多维和分布式等特征，从而导致存储和服务效率仍远不能满足大数据的要求，缺乏统一的存储结构，因此目前的对气象网格数据的存储和服务存在可扩展性差以及服务性能差的问题。

传统的气象网格数据存储方法采用按照一定的格式整块存储和服务的方法，其将网格数据按照一定的格式(常见有Grib格式、Netcdf或自定义格式)整块存储为文件或存储到非结构化数据库，该方法应用较广泛且简单，但是由于其存储特性，读取的数据量为整块数据，这导致网络传输花费大和查询效率低下，难以满足气象大数据的高性能、高并发存储和服务需求，气象数据的传统存储和服务方法在实时大数据存储、实时处理和服务方面遇到了许多挑战。因此，如何有效地实现气象数据的传输、存储和服务已成为一个亟待解决的问题。

发明内容

针对上述存在的问题，本发明提出了一种多维空间气象网格数据分布式存储查询方法，将气象网格数据通过构建网格数据模型、建立索引数据关系，按照建立的模型和索引分解数据块，存储到不同的分布式存储节点；通过计算和查询索引，读取对应的部分数据，形成新的数据集，实现了数据的高效存储与查询目的。

实现本发明目的的技术解决方案为：

一种多维空间气象网格数据分布式存储查询方法，其特征在于，包括以下步骤：

步骤1：构建多维空间的网格化数据模型；

步骤2：基于构建的网格化数据模型，建立索引与数据的对应关系，将整个气象网格数据分解为多个数据块，形成数据块池；

步骤3：将模型、索引-数据映射关系存储到索引表，每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表；

步骤4：通过计算和查询索引，获取到索引对应的数据，合并数据块形成新的网格数据集。

进一步地，步骤1构建的网格化数据模型包括表空间结构、表结构、行结构、主键结构、列结构、主键类型、列数据类型，其中表空间结构包括名称、描述、表集合属性；表结构包括名称、行集、数据存活时间、描述；行结构包括主键集、列集、描述；主键结构包括名称、类型、主键值；列结构包括名称、类型、列值；主键类型分为字符串、长整型、日期型、双浮点型、整型和集合；列数据类型包括字符串、长整型、日期型、双浮点型、整型、集合、数组、二进制、布尔型、单浮点型、键值型和集合型；

所述主键结构包括一组主键列；

所述列结构包括数据列和属性列，所述数据列包括：索引表存储索引-数据映射关系值以及数据表存储索引对应的数据块；属性列包括网格经纬度范围、格距、产品制作者、制作时间信息，用于存储网格数据的属性信息。

进一步地，步骤2的具体操作步骤包括：

步骤21：获取多维气象网格数据的地理范围、数据大小并将将整个气象网格数据分解为多个数据块，配置每个数据块的大小；

步骤22：根据公式(1)-(3)，分别计算每个数据块的索引值、起始字节位置和结束字节位置；

1)数据块的索引值计算公式为：

Index_i＝T_size/BlockSize_i (1)

其中，Index_i表示第i个数据块的索引值，T_size表示多维气象网格数据的单个场数据量，BlockSize_i表示第i个数据块的定义的数据块大小；

2)每个数据块的起始字节位置和结束字节位置计算公式如下：

B_startpos＝Block_i/BlockSize_i (2)

B_endpos＝B_startpos+BlockSize_i (3)

其中，B_startpos表示第i个数据块的起始字节位置，Block_i表示块号，BlockSize_i表示第i个数据块的单块数据量大小，B_endpos表示第i个数据块的结束字节位置；

步骤23：根据公式(4)建立索引值与数据块的对应关系，再根据公式(5)合并数据库，形成数据-索引模型，并其存储到属性列；

BlockD_i＝read(B_startpos，B_endpos) (4)

其中，BlockD_i表示第i个数据块的数据，n表示数据块总数。

D_set＝Map{BlockD₁，BlockD₂，…，BlockD_n} (5)；

进一步地，步骤3的具体操作步骤包括：

步骤31：存储数据主键列(资料编码、时间、层次、时次)、属性列、数据列中的索引-数据映射关系值到分布式NoSQL数据库系统的索引表；

步骤32：每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表。

进一步地，步骤4的具体操作步骤包括：

步骤41：读取某个网格场数据主键、索引和属性信息，获取第i个数据块的单块数据量大小BlockSize_i，单个数据所占字节数ByteSize_i、地理信息范围最小经度为minLng，最小纬度为minLat，横向网格数Count_x，纵向网格数Count_y，横向网格间距Res_x，纵向网格间距Res_y；

步骤42：通过公式(6)，计算每个单块数据个数S_i：

S_i＝BlockSize_i/ByteSize_i (6)；

步骤43：按照地理范围，计算查询数据所在的块号Block_i：

ILng_j＝(lng_j-minLng)/Res_x (7)

ILat_k＝(lat_k-minLat)/Res_y (8)

Block_i＝(ILat_k*Count_x+ILng_j)/S_i (9)

得到地理范围的所有数据块集Block_set：

Block_set＝{Block₁，Block₂，…，Block_n} (10)

其中，lng_j表示查询地理范围中的第j个经度，lat_k表示查询地理范围中的第k个纬度，ILng_j表示经度方向上的位置，ILat_k表示纬度方向上的位置，n表示块数；

步骤44：按块号索引值Index_i，读取相应的列数据：

D_sst＝read(Map(Block_set)) (11)

其中，Map表示Index_i和Block_i唤射关系；

步骤45：基于读取的块内数据D_set，从整体数据块中获取新的网格数据场并返回。

进一步地，步骤45的具体操作步骤包括：

步骤451：计算数据在块内的位置，公式如下：

BI_i＝Block_i％S_i (12)

其中，BI_i表示数据在块内的序号。

步骤452：合并数据块，按照查询范围生成新的网格数据场NewD_set，公式如下：

NewD_set(i*Count_x+j)＝D_set(BI_i) (13)

步骤453：返回新的网格数据场NewD_set。

有益效果：

本发明提出了适合于多维空间气象网格数据的分布式存储与查询方法，在此基础上，构建了分布式气象网络数据存储与查询的系统实时应用表格系统ATS(ApplicationTable System)，通过提出的数据模型、存储和查询方法和系统，解决了传统气象网格数据存储和服务存储查询效率不高，难以满足气象大数据的高性能、高并发需求的问题，保证了多维空间气象网格数据的存储与查询的高效和高并发。本发明采用多语言开发，具有可扩展性强，平台移植性高，为多维空间气象网格数据(如数值预报等)的应用提供支撑基础，使其发挥最大的价值。

附图说明

图1为本发明所提方法的示意图；

图2为本发明的索引数据块关系存储结构示意图；

图3为本发明所提系统的架构图；

图4为本发明所提系统的示意图；

图5为本发明所提系统返回地理范围内的网格数据示意图。

具体实施方式

为了使本领域的普通技术人员能更好的理解本发明的技术方案，下面结合附图和实施例对本发明的技术方案做进一步的描述。

本发明提出了一种多维空间气象网格数据分布式存储查询方法，其核心思路为：首先建立多维空间的气象网格数据模型；其次，基于所述的网格数据模型，按照自定义的数据块大小，通过计算网格数据与自定义数据块的起始字节位置和结束字节位置及索引值，将多维空间气象网格数据分解为若干个小的数据块，建立索引与数据的对应关系。索引和数据参数信息作为属性存储到数据库，数据以索引值为主键，存储到不同的数据池节点，从而构建统一的分布式存储模型；最后，通过计算和查询索引，获取到索引对应的数据池节点中的部分数据块，从而将大气象网格数据合理分解为多个数据块，实现数据存储与查询快速响应引擎和系统，其具体流程如附图1所示。

1、构建网格化数据模型

先针对多维空间气象网格数据，构建网格化数据模型。该网格化数据模型包括建立表空间、表、行、主键、列、索引和数据模型：

表空间结构(ATSKeyspace)：名称、描述、表集合。

表结构(ATSTable)：名称、行集、数据存活时间、描述。

行结构(ATSRow):主键集、列集、描述。

主键结构(ATSRowPrimaryKey)：名称、类型、主键值。

列结构(ATSColumn):名称、类型、列值。

主键类型(ATSPrimaryKeyType)：STRING(字符串),LONG(长整型),

DATETIME(日期型),DOUBLE(双浮点型),INTEGER(整型),INSET(集合)。

列数据类型(ATSColumnType)：STRING(字符串),LONG(长整型),

DATETIME(日期型),DOUBLE(双浮点型),INTEGER(整型),INSET(集合)、ARRAY(数组),BINARY(二进制),BOOLEAN(布尔型)，FLOAT(单浮点型),MAP(键值型),LIST(集合型)。

所述主键结构包括一组主键列，包括资料编码、时间、层次、时次；

所述列结构包括数据列和属性列，所述数据列包括：索引表存储索引-数据映射关系值以及数据表存储索引对应的数据块；属性列包括网格经纬度范围、格距、产品制作者、制作时间信息，用于存储网格数据的属性信息。

2、数据库索引存储和查询方法

包括以下步骤：

(1)获取多维气象网格数据的地理范围、数据大小和配置每个数据块的大小，数据块的大小根据不同的数据库系统特征设置；

(2)按照公式(1)-(3)，分别计算获取每个数据块的索引值、起始字节位置和结束字节位置，将整个气象网格数据分解为多个数据块，建立索引与数据的对应关系存储到属性列。数据块的索引值计算如下：

Index_i＝T_size/BlockSize_i (1)

其中，Index_i表示第i个数据块的索引值，T_size表示多维气象网格数据的单个场数据量，BlockSize_i表示第i个数据块的定义的数据块大小。

将整个气象网格数据分解为多个数据块，每个数据块的起始字节位置和结束字节位置计算公式如下：

B_startpos＝Block_i/BlockSize_i (2)

B_endpos＝B_startpos+Blocksize_i (3)

其中，B_startpos表示第i个数据块的起始字节位置，Block_i(从0至n)表示块号，Blocksize_i表示第i个数据块的单块数据量大小(固定值)，B_endpos表示第i个数据块的结束字节位置，i从0至n。

合并数据块，形成数据-索引模型：

BlockD_i＝read(B_startpos，B_endpos) (4)

其中，BlockD_i表示第i个数据块的数据；

D_set＝Map{BlockD₁，BlockD₂,…，BlockD_n} (5)

(3)存储数据主键集(资料编码、时间、层次、时次)、属性列、数据列(索引值)；并将每个数据块存储到分布式NoSQL数据库系统。

(4)查询数据时，读取索引表数据及地理信息属性，根据地理信息范围和每个数据块的大小，计算需要读取的数据块存储位置，分别读取各个数据块并合并成整体数据。设查询的地理信息范围西经为wLng，东经为eLng，北纬为nLat，南纬为sLat。

(a)读取某个网格场数据主键、索引和属性信息，获取单块数据量大小Blocksize_i，单个数据所占字节数ByteSize_i、地理信息范围最小经度为minLng，最小纬度为minLat，横向网格数Count_x，纵向网格数Count_y，横向网格间距Res_x，纵向网格间距Res_y。

(b)计算每个单块数据个数S_i：

S_i＝BlockSize_i/ByteSize_i (6)

(c)按照地理范围，计算查询数据所在的块号Block_i：

ILng_j＝(lng_j-minLng)/Res_x (7)

ILat_k＝(lat_k-minLat)/Res_y (8)

Block_i＝(ILat_k*Count_x+ILng_j)/S_i (9)

得到地理范围的所有数据块集Block_set：

Block_set＝{Block₁，Block₂，…，Block_n} (10)

其中，lng_j表示查询地理范围中的第j个经度，lat_k表示查询地理范围中的第k个纬度，ILng_j表示经度方向上的位置，ILat_k表示纬度方向上的位置，n表示块数。

(d)按块号索引值Index_i，读取相应的列数据：

D_set＝read(Map(Block_set)) (11)

其中，Map表示Index_i和Block_i唤射关系。

(5)根据查询地理信息范围从整体数据块中，获取地理信息范围内的数据并返回：

(a)按照公式(9)，计算地理信息范围内的数据所在块号Block_i，按照公式(11)，读取块内数据；

(b)计算数据在块内的位置，公式如下：

BI_i＝Block_i％S_i (12)

其中，BI_i表示数据在块内的序号。

(c)合并数据块，按照查询范围生成新的网格数据场NewD_set，公式如下：

NewD_set(i*Count_x+j)＝D_set(BI_i) (13)

(d)返回新的网格数据场NewD_set。

本发明基于该方法，还提供一种多维空间气象网格数据分布式存储查询系统，其具体架构如图3所示。从图3中可知，本系统主要分为四个部分，分别是应用层、客户端SDK、服务端和数据层；

所述应用层，表示用户应用系统；

所述客户端SDK，用于为应用层的应用系统提供JAVA/Python/C#语言SDK和Restful API，实现与服务端进行交互；

所述服务端，用于向客户端提供各种服务，其采用多节点分布式的方式，提供负载均衡、SDK服务端，数据层调用和操作功能；

所述数据层，用于数据库操作、模型建立、数据存储与查询，提供数据服务API、模型定义、库表操作、数据操作、算法扩展包、数据配置服务功能，分为基本操作模块、模型与通用算法模型模块、数据库模型模块3个模块。

(1)基本操作模块

a.数据服务API模块：为服务端提供统一的模型定义、数据配置服务、数据库连接、表空间操作、表操作、客户端关闭API；

b.客户端创建与初始化模块：用于创建系统对象、初始化API，包括配置信息读取、数据库连接和服务模块初始化；

c.数据库连接模块：根据配置数据信息(数据库类型、数据库连接地址、用户名和密码、表空间等信息)，数据库连接模块；

d.表空间操作模块：提供创建、修改、删除表空间等操作的功能，调用服务层表空间操作模块，并接收服务层操作信息向用户返回；

e.表操作模块：提供表创建、表属性修改、读写表、批量读写表、任意点查询、范围查询、几何(点、线、面)和基于任意地理数据的查询、表删除的功能。提供了自适应数据分割、压缩、网格提取、插值和单点计算，以实现气象数据处理；

f.客户端关闭模块：关闭NoSQL数据库连接，释放数据库资源。

(2)模型与通用算法模型

a.模型类模块(自定义)：定义了点、线、面、区域的形状模型，定义了表、行、列、数据、数据类型的数据模型，定义了批处理、处理结果、版本等辅助模型，为整个系统提供模型支撑。

b.通用与算法类模块：提供字节转换、文件操作、数据加密、压缩、批任务通用类，提供分块、检索算法，为其他模块使用。

(3)数据库模型

a.通用异构模块：通过抽象类，实现了通过数据库连接与操作类，提供Cassandra等NoSQL数据库异构支撑。

b.数据存储模型：通过继承通用异构类，数据按照索引数据块关系存储结构，进行存储到NoSQL数据库的各个节点。

本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。尽管参照前述实施例对本发明专利进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种多维空间气象网格数据分布式存储查询方法，其特征在于，包括以下步骤：

步骤1：构建多维空间的网格化数据模型；

步骤2：基于构建的网格化数据模型，建立索引与数据的对应关系，将整个气象网格数据分解为多个数据块，形成数据块池；

步骤3：将模型、索引-数据映射关系存储到索引表，每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表；

步骤4：通过计算和查询索引，获取到索引对应的数据，合并数据块形成新的网格数据集；

步骤4的具体操作步骤包括：

步骤41：读取某个网格场数据主键、索引和属性信息，获取第i个数据块的单块数据量大小BlockSize_i，单个数据所占字节数ByteSize_i、地理信息范围最小经度为minLng,最小纬度为minLat,横向网格数Count_x，纵向网格数Count_y,横向网格间距Res_x，纵向网格间距Res_y；

步骤42：通过公式(6)，计算每个单块数据个数S_i：

S_i＝BlockSize_i/ByteSize_i (6)；

步骤43：按照地理范围，计算查询数据所在的块号Block_i：

ILng_j＝(lng_j-minLng)/Res_x (7)

ILat_k＝(lat_k-minLat)/Res_y (8)

Block_i＝(ILat_k*Count_x+ILng_j)/S_i (9)得到地理范围的所有数据块集Block_set：

Block_set＝{Block₁,Block₂,…,Block_n} (10)

其中，lng_j表示查询地理范围中的第j个经度，lat_k表示查询地理范围中的第k个纬度，ILng_j表示经度方向上的位置，ILat_k表示纬度方向上的位置,n表示块数；

步骤44：按块号索引值Index_i，读取相应的列数据：

D_set＝read(Map(Block_set)) (11)

其中，Map表示Index_i和Block_i映射关系；

步骤45：基于读取的块内数据D_set，从整体数据块中获取新的网格数据场并返回；

并且，步骤45的具体操作步骤包括：

步骤451：计算数据在块内的位置，公式如下：

BI_i＝Block_i％S_i (12)

其中，BI_i表示数据在块内的序号；

步骤452：合并数据块，按照查询范围生成新的网格数据场NewD_set,公式如下：

NewD_set(i*Count_x+j)＝D_set(BI_i) (13)

步骤453：返回新的网格数据场NewD_set。

2.根据权利要求1所述的一种多维空间气象网格数据分布式存储查询方法，其特征在于，步骤1构建的网格化数据模型包括表空间结构、表结构、行结构、主键结构、列结构、主键类型、列数据类型，其中表空间结构包括名称、描述、表集合属性；表结构包括名称、行集、数据存活时间、描述；行结构包括主键集、列集、描述；主键结构包括名称、类型、主键值；列结构包括名称、类型、列值；主键类型分为字符串、长整型、日期型、双浮点型、整型和集合；列数据类型包括字符串、长整型、日期型、双浮点型、整型、集合、数组、二进制、布尔型、单浮点型、键值型和集合型；

所述主键结构包括一组主键列；

所述列结构包括数据列和属性列，所述数据列包括：索引表存储索引-数据映射关系值以及数据表存储索引对应的数据块；属性列包括网格经纬度范围、格距、产品制作者、制作时间信息，用于存储网格数据的属性信息。

3.根据权利要求1所述的一种多维空间气象网格数据分布式存储查询方法，其特征在于，步骤2的具体操作步骤包括：

步骤21：获取多维气象网格数据的地理范围、数据大小并将将整个气象网格数据分解为多个数据块，配置每个数据块的大小；

步骤22：根据公式(1)-(3)，分别计算每个数据块的索引值、起始字节位置和结束字节位置；

1)数据块的索引值计算公式为：

Index_i＝T_size/BlockSize_i (1)

其中，Index_i表示第i个数据块的索引值,T_size表示多维气象网格数据的单个场数据量，BlockSize_i表示第i个数据块的单块数据量大小；

2)每个数据块的起始字节位置和结束字节位置计算公式如下：

B_startpos＝Block_i/BlockSize_i (2)

B_endpos＝B_startpos+BlockSize_i (3)

其中，B_startpos表示第i个数据块的起始字节位置，Block_i表示块号，BlockSize_i表示第i个数据块的单块数据量大小，B_endpos表示第i个数据块的结束字节位置；

步骤23：根据公式(4)建立索引值与数据块的对应关系，再根据公式(5)合并数据库，形成数据-索引模型，并其存储到属性列；

BlockD_i＝read(B_startpos,B_endpos) (4)

其中，BlockD_i表示第i个数据块的数据，n表示数据块总数；

D_set＝Map{BlockD₁,BlockD₂,…,BlockD_n} (5)。

4.根据权利要求1所述的一种多维空间气象网格数据分布式存储查询方法，其特征在于，步骤3的具体操作步骤包括：

步骤31：存储数据主键列、属性列、数据列中的索引-数据映射关系值到分布式NoSQL数据库系统的索引表；

步骤32：每个索引对应的数据块存储到分布式NoSQL数据库系统的数据表。