CN115129795A - 一种基于地球空间网格的数据空时存储方法 - Google Patents

Abstract

本发明公开了一种基于地球空间网格的数据空时存储方法，该方法获取所有待组织和管理的地球时空大数据，根据数据空间信息获取气氛部区域的北斗网格位置编码，定义集群化的空间数据存储架构，建立存储空间与地理空间的映射关系，并对数据存储的应用层、管理层、集群层和数据层定义存储架构协议，利用北斗网格位置编码和网格索引码生成方法，对地球时空大数据提供统一位置标识索引，提供对多种类型地理空间信息的位置标识编码，以及对多种类型地理空间信息的统一网格索引，实现基于北斗网格的信息关联检索和数据资源统计。本发明实现了空间数据按实际地理位置进行存储，且即时汇聚局部区域全量多源数据，并提供高效数据计算接口。

Description

一种基于地球空间网格的数据空时存储方法

技术领域

本发明属于地球时空大数据分布式存储及计算领域，具体涉及一种基于地球空间网格的数据空时存储方法。

背景技术

随着对地卫星观测、原位传感器、物联网和社会感知等尖端技术的发展，人们获取了越来越多关于地球表面、大气、海洋、固体地球等方面的地球空间数据。其中地球空间数据的存储问题正日益受到学术界和工业界的广泛关注。目前，地球空间数据主流存储模式是以时间优先的时空存储。以高分遥感数据为例，随着对地观测技术的迅猛发展以及各类传感器在全球的广泛部署，高分遥感数据的体量呈爆炸性增长。为了分散巨大的存储压力，各大遥感数据中心采用的主流存储策略是根据数据的存入时间判断新旧程度后分别存储在不同的存储设备上，因此有在线、近线、离线这三种不同的存储方式。实现北斗空时存储系统能为后续的数据查询、处理、分析、计算提供强有力的支撑，具有重要的研究意义和应用前景。

时空大数据的存储、迁移和计算主要存在于以下难点，空间指导原则的数据、资源分配，以及对高性能计算的支撑。

首先，现有技术方案将分布式存储资源虚拟成一个整体，同一区域的空间数据被分散存储在整个存储空间中，空间数据分布的异质性无法得到直观体现。也就是说，现有技术方案利用计算机领域成熟技术暂时地解决了空间数据的海量存储问题，但却缺少利用空间原则指导存储资源分配和调度的基础存储结构，数据管理者很难直观地掌握不同区域空间数据在存储资源中的分布状况。同时，由于缺乏空间原则指导下的存储结构，现有技术方案也很难根据不同区域实际存储需求，进行动态可调的存储资源配置。

其次，对于以物联网为代表的边缘计算和雾计算场景，其边缘节点往往体现有明显的地域特征，在存储架构上应当体现出“云+雾+端”的空间分布特点。但现有技术实现方案大部分以集中式的云存储和云计算为背景，很少考虑边缘计算、雾计算等分布式存储场景，也很难实现按照空间原则指导存储系统的分布式部署。现有超大规模数据存储与计算方式没有考虑到地理空间特性，计算资源与数据之间独立分散工作，数据调度和并行IO往往难以避免不必要的数据读取和预处理。

因此，发展一个具有超大规模地理空间数据存储能力，空间数据按实际地理位置进行存储的新型存储系统，该系统能够即时汇聚局部区域全量多源数据，并提供高效计算接口是目前亟待解决重要问题。

发明内容

有鉴于上述问题，本发明提供了一种基于地球空间网格的数据空时存储方法，实现了对时空大数据的有效管理，提供以北斗空间网格为指导原则的分布式存储，为快速区域数据汇聚、迁移和网格高性能计算奠定了基础。

为达到上述目的，本发明提供一种基于地球空间网格的数据空时存储方法，包括如下步骤：

S1、获取所有待组织和管理的地球时空大数据，根据数据空间信息获取气氛部区域的北斗网格位置编码，三维北斗网格高度域定义和划分的原则遵循20141448-T-466规定的高度域定义和划分方法，并且选择和地球表面4°、30′、15′、1′、4″、2″、1/4″、1/32″、1/256″、1/2048″十个基本网格作为北斗网格位置码定义大地高的中的θ；

S2、基于北斗网格位置编码，定义集群化的空间数据存储架构，建立存储空间与地理空间的映射关系；

S3、针对所有地球空间数据以及其对应的北斗网格位置编码，对数据存储的应用层、管理层、集群层和数据层定义存储架构协议；

S4、利用北斗网格位置编码和网格索引码生成方法，对地球时空大数据提供统一位置标识索引，提供对多种类型地理空间信息的位置标识编码，以及对多种类型地理空间信息的统一网格索引，实现基于北斗网格的信息关联检索和数据资源统计。

进一步地，北斗网格高度维方向编码结构与代码取值如下：

第一部分，用0、1标识地上、地下，其中：地表以下，用1标识、地表以上，标识为0；第二部分，采用和赤道4°长度一致的划分，编码标识采用0-63，每个划分约445.28km；第三部分，采用和赤道30′长度一致的划分，编码标识采用0-7，每个划分约55.66km；第四部分，采用和赤道15′长度一致的划分，编码标识采用0-1，每个划分约27.83km；第五部分，采用和赤道1′长度一致的划分，编码标识采用0-9、A-E，每个划分约1.85km；第六部分，采用和赤道4″长度一致的划分，编码标识采用0-9、A-E，每个划分约123.69m；第七部分，采用和赤道2″长度一致的划分，编码标识采用0-1，每个划分约61.84m；第八部分，采用和赤道1/4″长度一致的划分，编码标识采用0-7，每个划分约7.73m；第九部分，采用和赤道1/32″长度一致的划分，编码标识采用0-7，每个划分约0.97m；第十部分，采用和赤道1/256″长度一致的划分，编码标识采用0-7，每个划分约12.1cm；第十一部分，采用和赤道1/2048″长度一致的划分，编码标识采用0-7，每个划分约1.5cm。

进一步，建立地理空间与存储空间的映射关系，其中地理空间由北斗网格框架进行表达，存储空间由可实际分配的存储节点进行表达。存储节点与网格单元一一对应，各层级存储单元数量与北斗网格数量一致，换言之，存储集群簇是按照空间原则分配存储资源的。每个网格对应一个存储设备，地球空间数据根据实际地理位置分配相应的网格，然后存储到对应的存储设备，实现全球范围统一的逻辑划分与物理存储。

进一步地，针对所有地球空间数据以及其对应的北斗网格位置编码，对数据存储的应用层、管理层、集群层和数据层定义存储架构协议：其中：

数据层协议包括数据剖分协议：用于对地球时空数据进行多层级网格化剖分组织；数据编码协议：用于按照层级剖分协议涉及网格编码，体现网格对应的空间划分；数据表达协议：根据剖分和编码协议，定义空间数据网格化表达方法。

集群层协议包括数据存储协议：依照北斗网格剖分原则设计集群拓扑结构及扩展方法；数据寻址协议：集群簇中集群节点ip地址与北斗网格编码对应，数据按照空间位置关系进行寻址和存储。

管理层协议包括数据组织协议：每个网格存储集群设备内采用分布式数据库和北斗网格索引大表来管理和组织时空大数据；数据容错协议：空时存储系统内部空间数据在线备份机制，使得当某一个、某些或某地节点失效时，还能保证数据检索和访问的正确性；数据检索协议：由北斗网格编码提供海量数据快速索引功能。

应用层协议包括数据汇聚协议：在检索协议基础上发展出单网格聚合，用户自定义空时范围聚合等应用方法；数据迁移协议：在聚合协议基础上，研究插拔备份存储设备代替传统数据汇聚，以实现即时迁移某地区数据功能；数据计算协议：在聚合协议基础上，考虑每个网格存储器中实际的数据存储量，配备相应的算力，进一步发展出网格加速器以支撑超大规模网格并行计算。

本发明具有如下有益效果：

本发明提供了一种面向多源时空大数据的有效、统一的存储方法，是利用时空大数据的空间位置信息，利用北斗网格编码进行关联、标识、组织和存储；本发明通过北斗网格编码分块存储时空大数据，从而将每一个网格的时空数据对应的空间范围都被进行了网格化和网格编码。

本发明在北斗网格数据组织体系下实现局部数据物理汇聚存储，可根据各行业应用需要，快速聚合成各型各类数据产品。

本发明根据网格层级定义，提供不同层级网格数量可以对应不同的存储器数量，存储器内部根据数据量、访问热点等因素提供可伸缩性。并支持超大规模地球科学数据分布式计算、网格关联计算等方法，为超大规模地球科学计算提供快速数据管理接口和业务支撑。

附图说明

图1为本发明基于地球空间网格的数据空时存储方法流程图；

图2北斗空时存储集群拓扑结构图；

图3北斗空时存储逻辑模型与物理架构；

图4北斗空时存储系统总体设计；

图5空间数据存储规则：数据编码与设备编码的完全匹配。

具体实施方式

下面结合附图并举实施例，对本发明进行详细描述。

本发明提供了一种基于地球空间网格的数据空时存储方法和系统，为使本发明的目的、技术方案和优点表述的更加清楚明白，以下结合附图并举实施例，对本发明实现方法做详细说明。本发明流程图如图1所示，包括如下步骤：

S1、获取所有待组织和管理的地球时空数据，根据数据空间信息获取气氛部区域的北斗网格码；时空数据包含台风强度数据和海洋数据(海流、海水盐度、海水温度、海面高)，测试范围包含中国大陆地区的随机网格以及南海地区的随机网格；根据网格位置数据剖分存储于对应网格区域的集群设备中的数据库，有些以数据点的形式进行存储，有些以数据范围的形式存储。

S2、基于北斗网格模型，定义集群化的空间数据存储架构，建立存储空间与地理空间的映射关系。

基于北斗网格模型，定义集群化的空间数据存储架构。建立存储空间与地理空间的映射关系，其中地理空间由北斗网格框架进行表达，存储空间由N个存储单元构成，空时存储集群拓扑结构如2所示。每个存储单元可根据数据存储增长规模或访问热度，按照北斗网格的四叉树分裂方式进行扩展。各层级存储单元数量与北斗网格数量一致，例如当地球进行一次剖分时将产生4个网格单元，那么4个存储节点将分配到相应的网格单元中并存储网格范围内的地球数据。相较于传统分布式系统(如分布式文件系统、非关系型数据库、并行数据库)，空时存储集群簇最大优势在于每一个存储节点都具有明确的地学含义，换言之，空时存储集群簇是按照空间原则分配存储资源的。每个网格对应一个存储设备，地球空间数据根据实际地理位置分配相应的网格，然后存储到对应的存储设备，实现全球范围统一的逻辑划分与物理存储。存储集群中的每一个存储节点均具有唯一设备标识码(即北斗网格编码)，根据该编码可快速寻址、定位到存储节点，实现空间数据的高效存储与访问，以及多尺度区域汇聚数据与保障。此外，空间数据经网格剖分后也会带有相应网格编码标识，称之为数据编码。因此，在存储集群中，任何待存储的数据文件，只要带有数据编码，就将自动匹配设备编码，存入对应的存储设备中，在物理上实现同一区域数据汇聚于同一存储设备的空时一体化存储与管理体系。

每个存储单元对应一个网格数据小集群，物化为网格存储器，按空时存储逻辑模型进行分布式部署，如图3所示。部署时，可根据区域历史数据存储体量与当前数据规模增长速度，或区域的重要程度，配置不同的存储资源。从全局角度，不同网格空间的数据在存储时，被物理隔离开。从局部角度，在空间上处于一个网格单元的多源空间数据在物理上汇聚于同一网格存储器。

S3、针对所有地球空间数据以及其对应的北斗网格位置编码，对数据存储的应用层、管理层、集群层和数据层定义存储架构协议，如图4所示。

数据层协议：基于北斗网格空间剖分理论，提供对地球空间数据进行编码存储的底层机制；其中剖分协议定义地球空间层次化剖分的方法及过程。具体实现时按照北斗网格地球剖分框架：一个上至地球外围5万公里空间，下至地心，并将整个地球空间剖分成数以兆亿个大到全球空间，小到厘米级精度，由32级剖分体元组成的地球空间参考网格框架；编码协议具体实现时按照北斗网格剖分编码体系，通过一个剖分编码，能够快速确定其所对应的网格的空间范围、所处的剖分层次及相邻的网格的编码；表达协议负责实现基于剖分编码的地球空间数据(矢量、栅格)的表达方法，目前针对点、线、面对象实现了具体的表达方法。例如，点对象的网格化表达方法是在剖分空间将点状实体表达为特定层级下的一个网格。线对象的网格化表达方法是在剖分空间将线状实体视为一组点实体按照一定的顺序依次连接而得到的一维实体，表达为特定层级下的单尺度网格集合。面对象的网格化表达方法是在剖分空间将面状实体视为一组点实体按照一定的顺序依次连接而得到的封闭且连通的二维实体，表达为特定层级下单尺度边界与内部网格集合。

集群层协议：通过分布式存储与计算机集群技术，在地球剖分网格的基础上实现空间数据的存储、处理、计算服务；其中存储协议指导空时存储集群的拓扑结构设计及扩展方法，定义集群化的空间数据存储方法。该子协议负责建立存储空间与地理空间的映射关系，其中地理空间由北斗网格框架进行表达，存储空间由N个存储单元构成，存储单元与网格单元一一对应。每个存储单元可根据数据存储增长规模或访问热度，按照北斗网格的四叉分裂方式进行扩展；寻址协议负责在空时集群中快速定位与访问空时存储设备，其寻址基础在于每个存储设备都具有唯一的设备标识码，该标识码就是网格编码。在具体实现层面，会建立设备标识码与设备物理地址之间的映射关系，即逻辑地址与物理地址之前的映射，并设立寻址服务器维护存储设备的标识码与其物理地址(ip)之间的映射，以支持空时存储系统对空间数据的高效存储与访问；此外，该子协议还规定了空间数据的具体存储规则：在上述分布式空时存储架构与寻址机制下，空间数据被放置在哪个或哪几个存储设备中，其存储规则是根据地理空间数据所覆盖的北斗网格单元及其个数决定。首先，对空间数据按所属网格进行物理切分，再将切分好的数据文件按寻址策略部署到相应的存储设备中。因此，在空时存储系统中，存储的本质是数据编码与设备编码的完全匹配，如图5所示。

管理层协议：在集群层的基础上，实现空间数据的有效管理和访问；其中组织协议作用于单个存储设备内的空间数据组织与管理方法。目前在单个存储器中采用的数据组织方案是分布式非关系型数据库Hbase加北斗网格索引大表。数据表的主键为网格编码，数据的时间作为一个属性列存于表中；容错协议负责空时存储系统提供可靠的服务，规定空时存储系统可以配置主从存储集群，主集群提供所有功能，从集群只提供读。主集群会把所有操作同步到辅集群。这样既提供了负载均衡，又可以在主集群出现异常的情况不会中断服务或者丢失数据。检索协议：由北斗网格编码提供海量数据快速索引功能。

应用层协议：提供空时存储系统的应用接口，处于系统的顶层，实现地球空间数据的交互操作，具体包括：1)聚合协议：在检索协议基础上发展出单网格聚合，用户自定义空时范围聚合等应用方法；2)迁移协议：在聚合协议基础上，研究插拔备份存储设备代替传统数据汇聚，以实现即时应急保障；3)计算协议：在聚合协议基础上，考虑每个网格存储器中实际的数据存储量，配备相应的算力，进一步发展出网格加速器以支撑超大规模网格并行计算。

S4、在上述数据协议下，利用北斗网格位置编码和网格索引码生成方法，对多源时空大数据提供统一位置标识索引，提供对多种类型地理空间信息的位置标识编码、对多种类型地理空间信息的统一网格索引、基于网格的信息关联检索和数据资源统计。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于地球空间网格的数据空时存储方法，包括如下步骤：

1)获取所有待组织和管理的地球时空大数据，根据数据空间信息获取气氛部区域的北斗网格位置编码，其中北斗网格高度域定义和划分的原则遵循20141448-T-466规定的高度域定义和划分方法，并且选择和地球表面4°、30′、15′、1′、4″、2″、1/4″、1/32″、1/256″、1/2048″十个基本网格作为北斗网格位置编码定义大地高的中的θ；

2)基于北斗网格位置编码，定义集群化的空间数据存储架构，建立存储空间与地理空间的映射关系；

3)针对所有地球空间数据以及其对应的北斗网格位置编码，对数据存储的应用层、管理层、集群层和数据层定义存储架构协议；

4)依托北斗网格位置编码和网格索引码生成方法，对地球时空大数据提供统一位置标识索引，提供对多种类型地理空间信息的位置标识编码，以及对多种类型地理空间信息的统一网格索引，实现基于北斗网格的信息关联检索和数据资源统计。

2.如权利要求1所述的基于地球空间网格的数据空时存储方法，其特征在于，步骤1)中北斗网格高度维方向编码结构与代码取值如下：

第一部分，用0、1标识地上、地下，其中：地表以下，用1标识、地表以上，标识为0；

第二部分，采用和赤道4°长度一致的划分，编码标识采用0-63，每个划分约445.28km；第三部分，采用和赤道30′长度一致的划分，编码标识采用0-7，每个划分约55.66km；第四部分，采用和赤道15′长度一致的划分，编码标识采用0-1，每个划分约27.83km；第五部分，采用和赤道1′长度一致的划分，编码标识采用0-9、A-E，每个划分约1.85km；第六部分，采用和赤道4″长度一致的划分，编码标识采用0-9、A-E，每个划分约123.69m；第七部分，采用和赤道2″长度一致的划分，编码标识采用0-1，每个划分约61.84m；第八部分，采用和赤道1/4″长度一致的划分，编码标识采用0-7，每个划分约7.73m；第九部分，采用和赤道1/32″长度一致的划分，编码标识采用0-7，每个划分约0.97m；第十部分，采用和赤道1/256″长度一致的划分，编码标识采用0-7，每个划分约12.1cm；第十一部分，采用和赤道1/2048″长度一致的划分，编码标识采用0-7，每个划分约1.5cm。

3.如权利要求1所述的基于地球空间网格的数据空时存储方法，其特征在于，步骤2)中地理空间由北斗网格框架进行表达，存储空间由N个存储单元构成，每个存储单元对应一个北斗网格数据小集群，物化为网格存储器，按空时存储逻辑模型进行分布式部署，部署时，根据区域历史数据存储体量与当前数据规模增长速度，或区域的重要程度，配置不同的存储资源。

4.如权利要求1所述的基于地球空间网格的数据空时存储方法，其特征在于，数据层协议包括剖分协议：用于对地球时空数据进行多层级网格化剖分组织；编码协议：用于按照层级剖分协议涉及网格编码，体现网格对应的空间划分；表达协议：根据剖分和编码协议，定义空间数据网格化表达方法。

5.如权利要求1所述的基于地球空间网格的数据空时存储方法，其特征在于，集群层协议包括存储协议：依照北斗网格剖分原则设计集群拓扑结构及扩展方法；寻址协议：集群簇中集群节点ip地址与北斗网格编码对应，数据按照空间位置关系进行寻址和存储。

6.如权利要求1所述的基于地球空间网格的数据空时存储方法，其特征在于，管理层协议包括组织协议：每个网格存储集群设备内采用分布式数据库和北斗网格索引大表来管理和组织时空大数据；容错协议：空时存储系统内部空间数据在线备份机制，使得当某一个、某些或某地节点失效时，还能保证数据检索和访问的正确性；检索协议：由北斗网格编码提供海量数据快速索引功能。

7.如权利要求1所述的基于地球空间网格的数据空时存储方法，其特征在于，应用层协议包括聚合协议：在检索协议基础上发展出单网格聚合，用户自定义空时范围聚合等应用方法；迁移协议：在聚合协议基础上，研究插拔备份存储设备代替传统数据汇聚，以实现即时迁移某地区数据功能；计算协议：在聚合协议基础上，考虑每个网格存储器中实际的数据存储量，配备相应的算力，进一步发展出网格加速器以支撑超大规模网格并行计算。

Images