CN115756870A - 基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法 - Google Patents

基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法 Download PDF

Info

Publication number
CN115756870A
CN115756870A CN202211543421.XA CN202211543421A CN115756870A CN 115756870 A CN115756870 A CN 115756870A CN 202211543421 A CN202211543421 A CN 202211543421A CN 115756870 A CN115756870 A CN 115756870A
Authority
CN
China
Prior art keywords
geosot
grid
data
space
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211543421.XA
Other languages
English (en)
Inventor
刘杰
任伏虎
王强宇
伍学民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beidou Fuxi Zhongke Digital Hefei Co ltd
Original Assignee
Beidou Fuxi Zhongke Digital Hefei Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beidou Fuxi Zhongke Digital Hefei Co ltd filed Critical Beidou Fuxi Zhongke Digital Hefei Co ltd
Priority to CN202211543421.XA priority Critical patent/CN115756870A/zh
Publication of CN115756870A publication Critical patent/CN115756870A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法。其中,基于GeoSOT网格算力的组织模型构建方法,包括:确定GeoSOT网格的划分层级;基于所述划分层级分配服务器架构,服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应;基于服务器架构构建GeoSOT网格算力的组织模型。通过基于定GeoSOT网格的划分层级相应的分配服务器架构,通过GeoSOT网格对数据进行统一计算,避免数据的离散化,从而达到提高计算效率的目的。

Description

基于GeoSOT网格算力的组织模型构建方法及空时数据存储 方法
技术领域
本发明属于空域网格技术领域,尤其是涉及一种基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法。
背景技术
数据本地化存储任务旨在以空间特性为原则,在空间上分布在相同或相近的数据存储在相同或相近的存储设备上。基于空时服务器架构,需要将数据进行区域化切分,根据数据空间特性选择相应存储器进行存储和管理。其中根据数据区域特性进行分区是数据本地化存储的关键环节,区域特性的抽象决定了数据的寻址、管理和提取效率。
在现有技术中,1)Google Earth与Google Maps在线空间数据组织管理技术,Google Earth、Google Map将多源空间数据组织于不同的层级上,在其数据存储上通过分块数据进行分布式存储,在空时自相关性引出的数据局部化存储上并没有做出相应设计。因此,空间数据的组织管理需要根据空间数据的空间特性建立相应的数据本地化存储模型。2)基于分布式框架的空间大数据管理技术,Hadoop中map-reduce计算模型适用于批处理任务,即在可接受的时间内对整个数据集计算某个特定的查询的结果,该计算模型不适合需要实时反映数据变化状态的计算环境,并且map-reduce计算模型适合处理半结构或非结构化的数据,对于空间结构化数据并不适合,需要依赖GIS数据管理工具进行分析。同时,Hadoop在处理超大规模时空数据任务时数据行间没有地学逻辑和语义关联,难以按照空间区域进行数据本地化组织。3)SuperMap GIS空间数据管理技术,SuperMap提出了一种分布式层次集群方法和系统,而此架构并没有涉及到算力的空间特性。多层次集群架构与空间特性相结合的数据存储与管理技术仍是目前研究趋势。
与普适大数据不同,时空大数据作为地理科学领域的特殊数据形式,遵循以下两项空间原则:
(1)空间自相关性。空间自相关又称空间依赖性,是地理学第一定律的表达,指的是空间样本(变量)间的相互依赖特性;对比于相关性,“自”特指单类样本间的相关性。空间自相关统计量是用于度量地理数据(geographic data)的一个基本性质:某位置上的数据与其他位置上的数据间的相互依赖程度。地理数据由于受空间相互作用和空间扩散的影响,彼此之间可能不再相互独立,而是相关的。所谓的空间自相关(spatialautocorrelation)就是研究空间中,某空间单元与其周围单元间,就某种特征值,透过统计方法,进行空间自相关性程度的计算,以分析这些空间单元在空间上分布现象的特性。可采用全局和局部自相关指数来衡量空间要素属性值聚合或离散的程度。不同的自相关系数适用于不同的数据类型。空间权重是进行空间自相关分析的前提和基础。
地理学第一定律指出:任何东西与别的东西之间都是相关的,但近处的东西比远处的东西相关性更强,空间自相关性对地理数据服务器的系统部署提出了要求。首先是数据存储的位置,空间数据的访问和分析往往是基于一个特定的空间范围,而现有的很多大数据平台(如Hadoop)使用无共享存储架构,以数据块的形式组织,在地理科学数据处理中需要通过网络传输大量数据,在服务和客户端之间影响着数据的响应效率。在分布式数据计算中,数据的局部性能够减少数据的移动(网络传输或者IO),但对于传统的共享磁盘系统架构并不明显。其次,在超大规模时空数据处理任务背景下,需要大量算力在全球角度分散部署,如Geoweb的cell server组织方式为例,其思路就是为网格区域分配相应服务器,相较于“地球模拟器”为网格区域分配线程的设计,做到了数据的地理局部汇聚,本方案考虑了相似的设计思路。
(2)空间异质性-地理学第二定律。空间异质性指的是生态学过程和格局在空间分布上的不均匀性及其复杂性,可以理解为空间缀块性和梯度的总和。地理学广义的空间异质性指的是空间样本格局分布和演化过程在空间上的不均匀(质)性。事物在地理空间上的隔离,造成了差异(即异质性),在地理数据分析领域中,直观的现象是不同地区数据量、数据复杂度、查询访问频率的不同,在算力“平均分配”的策略下(如对阴阳格子分配一个线程来并发处理)很难达到任务的处理时间均衡,从而在一定程度上制约计算效率。
现有的地理数据系统在算力分配策略中,很少考虑到以空间异质性原则的算力分配问题。大多数普适性大数据处理平台通过以数据量为主导的负载平衡机制来解决数据的均衡并发度,因此基于此定律,在算力网格化组织的基础上,还需要针对每个区域的数据需求,提供区域可扩展的能力。
针对时空大数据的高性能计算任务,当前时空大数据的存储和管理存在以下问题:
(1)缺少空间自相关性指导的本地化数据存储方法,即需要根据空间数据的空间特性建立相应的数据本地化存储模型。现有技术中,时空数据以离散切分的形式存储于分布式系统中。现有技术实现了数据的空间近邻存储,然而没有做到数据的本地化。在超大规模时空数据处理周期中,数据的离散化会带来大量的数据IO和网络传输,从而制约计算效率。
(2)现有技术未考虑空间异质性带来的资源分配问题。例如相同面积地理区域中,不同的数据量、结构和复杂度等等所需的存储配置差异性大。
发明内容
针对现有技术中存在的问题,本发明提供了一种基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法,至少部分的解决现有技术中存在的数据离散化造成计算效率低和空间异质性造成存储资源分配不便的问题。
第一方面,本公开实施例提供了一种基于GeoSOT网格算力的组织模型构建方法,包括:
确定GeoSOT网格的划分层级;
基于所述划分层级分配服务器架构,服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应;
基于服务器架构构建GeoSOT网格算力的组织模型。
可选的,所述服务器架构包括全球根服务器和空时网格服务器,
所述空时网格服务器包括多个一级空时网格服务器;
多个一级空时网格服务器即对地球空间进行等分,每个一级空时网格服务器对应等分的地球;
多个一级空时网格服务器与全球根服务器网络通信。
可选的,所述全球根服务器负责整个服务器架构的管理和维护,所述全球根服务器包括网格服务器GeoIP地址管理模块;
网格服务器GeoIP地址管理模块,用于通过GeoSOT编码管理每个空时网格服务器,基于边缘计算管理框架,建立GeoSOT编码和空时网格服务器I P的映射表,并通过设备码解析得到空时网格服务器对应的真实空间位置,支持数据和空间访问请求的快速寻址和定位。
可选的,网格服务器GeoIP地址管理模块,提供每个空时网格服务器的IP地址、主机名称、由GeoSOT网格编码解析后的经纬度范围和由GeoSOT网格编码解析后的代表区域。
可选的,空时网格服务器基于数据量和计算任务动态分配算力资源和存储资源。
第二方面,本公开实施例还提供了一种空时数据存储方法,基于第一方面任一所述方法构建的组织模型,包括:
对GeoSOT数据进行编码,得到GeoSOT编码;
基于GeoSOT编码进行空时数据寻址,得到相应的存储地址;
将GeoSOT数据存储到相应的存储地址中。
可选的,将GeoSOT数据存储到相应的存储地址,包括基于GeoSOT编码、GeoSOT数据类型和GeoSOT数据标签对GeoSOT数据进行分块存储。
可选的,将GeoSOT数据存储到相应的存储地址后,还包括对存储的GeoSOT数据进行网格化管理。
可选的,对存储的GeoSOT数据进行网格化管理,包括:
基于GeoSOT编码构建数据网格化索引,
将GeoSOT网格编码作为索引表的key,GeoSOT数据的时间信息为附码,形成数据组织上的空-时结构。
可选的,基于GeoSOT编码进行空时数据寻址,得到相应的存储地址,包括:
基于设备码长度截取编码前缀,根据编码前缀与设备码匹配,并接入相匹配空时网格服务器得到存储地址。
本发明提供的基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法,其中基于GeoSOT网格算力的组织模型构建方法,通过基于定GeoSOT网格的划分层级相应的分配服务器架构,通过GeoSOT网格对数据进行统一计算,避免数据的离散化,从而达到提高计算效率的目的。
而使用GeoSOT对空间时间数据进行统一,将异质性数据都使用GeoSOT数据进行存储,从而达到便于存储分配的目的。
附图说明
通过结合附图对本公开示例性实施例进行更详细的描述,本公开的上述以及其它目的、特征和优势将变得更加明显,其中,在本公开示例性实施例中,相同的参考标号通常代表相同部件。
图1为本公开实施例提供的基于GeoSOT网格算力的组织模型构建方法的流程图;
图2为本公开实施例提供的组织模型的示意图;
图3为本公开实施例提供的服务器架构的示意图;
图4为本公开实施例提供的空时网格服务器的示意图;
图5为本公开实施例提供的数据编码和设备码的匹配示意图;
图6为本公开实施例提供的数据划分示意图。
具体实施方式
下面结合附图对本公开实施例进行详细描述。
应当明确,以下通过特定的具体实例说明本公开的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本公开的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。
需要说明的是,下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见,本文中所描述的方面可体现于广泛多种形式中,且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开,所属领域的技术人员应了解,本文中所描述的一个方面可与任何其它方面独立地实施,且可以各种方式组合这些方面中的两者或两者以上。举例来说,可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外,可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
还需要说明的是,以下实施例中所提供的图示仅以示意方式说明本公开的基本构想,图示中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
另外,在以下描述中,提供具体细节是为了便于透彻理解实例。然而,所属领域的技术人员将理解,可在没有这些特定细节的情况下实践所述方面。
为了便于理解,如图1所示,本实施例公开了一种基于GeoSOT网格算力的组织模型构建方法,包括:
确定GeoSOT网格的划分层级;
基于所述划分层级分配服务器架构,服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应;
基于服务器架构构建GeoSOT网格算力的组织模型。
可选的,所述服务器架构包括全球根服务器和空时网格服务器,
所述空时网格服务器包括多个一级空时网格服务器;
多个一级空时网格服务器即对地球空间进行等分,每个一级空时网格服务器对应等分的地球;
多个一级空时网格服务器与全球根服务器网络通信。
可选的,所述全球根服务器负责整个服务器架构的管理和维护,所述全球根服务器包括网格服务器GeoIP地址管理模块;
网格服务器GeoIP地址管理模块,用于通过GeoSOT编码管理每个空时网格服务器,基于边缘计算管理框架,建立GeoSOT编码和空时网格服务器I P的映射表,并通过设备码解析得到空时网格服务器对应的真实空间位置,支持数据和空间访问请求的快速寻址和定位。
可选的,网格服务器GeoIP地址管理模块,提供每个空时网格服务器的IP地址、主机名称、由GeoSOT网格编码解析后的经纬度范围和由GeoSOT网格编码解析后的代表区域。
可选的,空时网格服务器基于数据量和计算任务动态分配算力资源和存储资源。
在时空大数据高性能计算关键需求中的算力组织、数据本地化、数据离散化分解,以及超大规模时空数据处理离不开大型算力和存储设备的背景下,针对大规模地理数据处理任务,通过GeoSOT全球剖分框架为空间指导框架,设计了超大规模网格算力组织模型,在保证数据空间本地化特性的前提下,提供高可扩展性,最终形成超大规模时空数据计算的硬件组织方案,网格服务器组织模型如图2所示。
网格算力组织架构是基于GeoSOT全球剖分参考网格体系,建立空间网格算力组织模型,通过三层服务器架构,考虑空间自相关性和空间异质性,对每个网格区域分配可扩展的网格集群服务器,并通过网格IP映射模型对每个空时网格服务器进行设备管理,最终依托边缘计算盒子设备研制了一套网格服务器系统。
GeoSOT空时网格算力组织模型架构
基于GeoSOT全球剖分网格系统,提出地理科学数据计算平台的网格算力组织模型,结合边缘计算架构设计了三层集群架构,顶层为全球(全局)根服务器,即寻址服务器,对每个网格分配一个可扩展的主从式集群式服务器,在主服务器上可以只现空间信息,在从属服务器上可以同时体现空间和时间信息。全球根服务器通过网格编码IP映射模型对每个网格服务进行统一管理,在空时网格服务器内部,主节点以空间编码确定唯一GeoSOT网格IP标识自身,并提供区域扩展以及在线迁移等功能,具体内容如下:
GeoSOT网格空时服务器模型:
GeoSOT网格空时服务器模型(简称空时服务器模型)围绕地球空间原则,基于GeoSOT网格剖分系统建立真实空间与算力资源的映射关系。为了以通用性描述系统结构,用通用编程来描述空时网格服务器,那么基础抽象类型定义如下:
1)地球空间区域Grid:以GeoSOT网格定义的地球子空间,在服务器配置和数据组织中的标识,其层级属性L∈[0,31];
2)区域中的计算节点Node:在空时服务器架构上分配的服务器节点,每个网格位置都对应分配一个Node,该节点负责空间上属于该区域的时空数据的存储、管理、分析和计算任务,该节点的对应的网格层级l∈[L,32];
3)节点中服务器资源Assets:为该区域服务中的服务器资源,可以关联为存储资源、内存、网络、物理服务器、云服务器、边缘算力等;
4)映射函数MapFuction:资源分配规则,建立了网格空间中Node和Assets分配和管理函数集合,可以理解为网格服务器管理平台。
空时服务器模型中,基于地理空间原则每个GeoSOT网格区域映射为一个集群服务器(Cluster),称为空时网格服务器。通过映射函数MapFuction定义每个空时网格服务器的配置,具体为:
C:Cluster×N:Node→A:Assets,
在给定GeoSOT网格区域,分配一个空时网格服务器。首先需要确定GeoSOT网格层级,决定以多少离散度和区域大小划分全球空间,如表1所示,GeoSOT网格层级对应的全球网格数量。在初始划分时,一般选择低层级网格定义空时网格服务器,由于GeoSOT的四叉树划分规则,6级网格对应的全球剖分数量达到了1012个,理论数量已略超过清华大学“地球数值模拟装置”。其中,Cluster为计算机集群,Node为集群内计算节点,Assets为配置的计算资源,C、N和A分别为常数。
表1、GeoSOT网格大小和网格数量统计表
Figure BDA0003978815000000111
GeoSOT网格空时服务器架构
基于GeoSOT空时服务器模型和第一级GeoSOT网格为服务器组织层级,提出网格空时服务器系统架构,如图3所示,通过对全球(全局)以4个网格划分,形成逻辑上相对应的四个集群服务器,总体为三层集群架构。相较于分布式硬件组织架构,本系统架构的每一个空时服务器皆有明确的地学区域含义。
考虑到空间自相关性和空间异质性原则,由于每个服务器以分布式集群来设计,可以根据网格区域内不同的数据特性和访问热度进行扩展,如基于云的高性能计算环境(如阿里云等计算服务)中,可以通过动态工作负载来调配计算资源来实现负载平衡,而动态负载均衡常用的方式就是添加集群节点来满足大规模数据或高密度的计算任务。
另外,系统架构基于边缘架构,通过引入GeoSOT网格编码对应设备IP的方法对空时网格服务器进行通信和管理。空时网格服务器对应地球上特定的一个网格空间,对每个设备的IP建立一个唯一网格码映射,并在全球根服务器中提供空时网格服务器码解析功能。
空时网格服务器码解析是数据的双向入库、用户访问和数据寻址的前提条件,作为全球根服务器和空时网格服务器的中间条件。
空时服务器架构
本实施例根据GeoSOT网格空时服务器模型,设计了基于国产边缘设备的原型系统,该硬件服务器构成分为两个部分,包括全球根服务器、规定网格数量的空时网格服务器。
全球根服务器:
全球根服务器负责整个空时集群架构的管理和维护,其中包括网格服务器GeoIP地址、网格服务器的接入和卸载、网格服务器扩展、集群算力调度等管理服务。
其中空时网格服务器IP地址管理服务通过GeoSOT编码管理每个空时网格服务器,基于边缘计算管理框架,建立GeoSOT编码和空时网格服务器IP的映射表,并通过设备码解析得到设备对应的真实空间位置,支持数据和空间访问请求等的快速寻址和定位。例如,在原型系统-集群管理平台中,以一级GeoSOT网格编码来定义空时网格服务器,即对地球空间进行四分,对应东北、东南、西北和西南半球。
在管理平台中,提供每个空时网格服务器IP地址、主机名称以及由GeoSOT网格编码解析后的经纬度范围和代表区域,以主机kvbox01为例,其IP地址172.17.240.185通过建立网格码映射,代表区域为东北半球,通过设备码解析可知,该空时网格服务器服务于地球经度0~180度、纬度0~90度网格空间的数据存储管理和计算任务。
空时网格服务器:
本系统通过GeoSOT一级编码设定地球映射为四个网格空间来组织算力,并分别通过云服务器和边缘计算盒子构造了空时服务器。如图4,基于云的服务器以异构配置分为单机和集群形式。计算资源包括线程、内存和GPU,存储资源包括SSD硬盘等。
通过国产边缘计算盒子搭建了实体服务器配置,例如四台边缘计算盒子对应四个GeoSOT一级网格区域。边缘盒子可以通过虚拟机或者增加刀片服务器组成集群架构,系统以一主三从虚拟机在每个空时网格服务器进行扩展。
本实施例还公开了一种空时数据存储方法,基于本实施例构建的组织模型,包括:
对GeoSOT数据进行编码,得到GeoSOT编码;
基于GeoSOT编码进行空时数据寻址,得到相应的存储地址;
将GeoSOT数据存储到相应的存储地址中。
可选的,将GeoSOT数据存储到相应的存储地址,包括基于GeoSOT编码、GeoSOT数据类型和GeoSOT数据标签对GeoSOT数据进行分块存储。
可选的,将GeoSOT数据存储到相应的存储地址后,还包括对存储的GeoSOT数据进行网格化管理。
可选的,对存储的GeoSOT数据进行网格化管理,包括:
基于GeoSOT编码构建数据网格化索引,
将GeoSOT网格编码作为索引表的key,GeoSOT数据的时间信息为附码,形成数据组织上的空-时结构。
可选的,基于GeoSOT编码进行空时数据寻址,得到相应的存储地址,包括:
基于设备码长度截取编码前缀,根据编码前缀与设备码匹配,并接入相匹配空时网格服务器得到存储地址。
在一个具体的示例中,在GeoSOT网格算力组织架构的基础上,实现了一种多层次集群架构与空间特性相结合的数据存储与管理技术,基于网格化算力组织架构,提供一个数据本地化存储和管理方案,有效减少了数据在计算过程中的网络传输,并提供了灵活的地学区域化扩展性。
在实现数据的空间本地化存储和管理中,首先需要空间描述特性来指导数据的寻址。基于GeoSOT网格服务器设备码的设计,通过对多源数据的GeoSOT编码与设备码匹配的策略,建立数据自动寻址存储协议服务。
GeoSOT数据编码:
根据GeoSOT网格剖分系统,GeoSOT编码分为三段,包括度、分、秒级及以下编码。通过对GeoSOT编码进行分析判断,可得到网格剖分层级,例如通过判断编码长度确定网格所属剖分层级。
网格化剖分主要应用于两方面:首先,对接入数据进行网格化剖分,并通过编码与网格服务器的GeoSOT IP匹配进行数据寻址存储。其次,类似于HDFS的分块存储思想,在每个空时网格服务器中,对数据进行进一步网格化剖分,通过分块存储与数据管理的设计,在提高数据IO的技术上,也可以接入到并行计算框架中。
针对数据的本地化(局部)存储问题,基于网格服务器设备码设计,进行数据编码和设备码的匹配存储,如图5所示。
在实际数据存储中,保持数据划分与网格服务器划分尺度一致非常重要。如图6所示,本实施例通过数据与GeoIP设备码的编码尺度来解决数据与存储设备匹配问题。通过GeoSOT编码的包含关系计算,可判断数据与设备的包含关系,即引导数据寻址存储。图6中的数据为部分数据索引码。数据索引码的前缀与设备码相同,如设备码为00100101,则图6中的1000100的数据索引码为001001011000100。
在实际数据存储中与空间特性相结合,完成空间描述特性指导数据寻址。基于GeoSOT网格服务器设备码的设计,通过对多源数据的GeoSOT编码与设备码匹配的策略,建立数据自动寻址存储协议服务。
GeoSOT二进制编码包含关系计算步骤:根据设备码长度,截取数据编码前缀,根据数据前缀与设备码匹配,并接入相匹配的网格服务器进行存储。由于增量数据覆盖范围会跨网格区域,输入数据根据算法会按照网格剖分编码执行逻辑编码的同时进行物理剖分。
GeoSOT网格化数据管理:
数据网格化索引。索引表key即数据的GeoSOT网格编码,数据的时间信息为附码,形成数据组织上的空-时结构。另外网格索引大表中还记录了数据的元数据信息、数据类型等等。在网格服务器内部,GeoSOT编码索引方法执行数据分区,其中黄色框代表网格编码块,对该编码代表的空间区域记录一系列空间感知信息,包括地理位置、网格编码、数据体量及数据条目数量。
数据分块存储。在数据库设计中,创建数据中心的过程依托于“超级表”的建立,数据管理表的过程为创建“子表”,子表包括GeoSOT编码、数据中心(数据类型)、标签(tag,记录经纬度和网格码信息)。
通过对时空网格数据分区、分块存储管理,通过判断数据所属区、所属块信息,实现网格数据地快速存储与查询。
本实施例的基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法具有以下优点:
1)通过以离散空间划分为原则的地理服务器组织架构,实现数据本地化汇聚管理;通过为不同区域分配响应算力,实现全局计算任务在相同或相似时间内完成,达到大规模数据并行计算加速的目标。
2)利用服务器组织框架,保证数据局部性,即数据存储和处理的距离越短,在并行处理过程中数据的传输减少。
3)生成的响应算力分配模式,为空间差异化的数据分布提供良好的扩展性。
4)实现一种多层次集群架构与空间特性相结合的数据存储与管理技术。在局部化存储上考虑了时空自相关性和时空异质性,空间数据的组织管理根据空间数据的空间特性建立相应的数据本地化存储模型。
5)本实施例中的GeoSOT索引大表:表中的每一行对应一个空间区域,并将在空间位置上邻接的区域存储为相邻的行,行关键字表示连续的空间块。而现有技术中对空间大数据存储管理时,谷歌索引大表(Google BigTable)中的每一行对应一个地理区域,并将在地理位置上邻接的区域存储为相邻的行,行关键字表示连续的地块,与本实施例的GeoSOT索引大表完全不同。
6)模型建立了空间结构化数据,能实时反映数据变化状态的计算环境,能够灵活地提供实施在线服务的能力。
7)GeoSOT网格数据计算处理中,数据行间有地学逻辑和语义关联,能够按照空间区域进行数据本地化组织。
本实施例还公开一种基于GeoSOT网格算力的组织模型构建装置,包括:
确定模块,用于确定GeoSOT网格的划分层级;
分配模块,用于基于所述划分层级分配服务器架构,服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应;
构建模块,用于基于服务器架构构建GeoSOT网格算力的组织模型。
本实施例公开的电子设备包括存储器和处理器。该存储器用于存储非暂时性计算机可读指令。具体地,存储器可以包括一个或多个计算机程序产品,该计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
该处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中,该处理器用于运行该存储器中存储的该计算机可读指令,使得该电子设备执行前述的本公开各实施例的基于GeoSOT网格算力的组织模型构建方法全部或部分步骤。
本领域技术人员应能理解,为了解决如何获得良好用户体验效果的技术问题,本实施例中也可以包括诸如通信总线、接口等公知的结构,这些公知的结构也应包含在本公开的保护范围之内。
电子设备可以包括处理装置(例如中央处理器、图形处理器等),其可以根据存储在只读存储器(ROM)中的程序或者从存储装置加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中,还存储有电子设备操作所需的各种程序和数据。处理装置、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
通常,以下装置可以连接至I/O接口:包括例如传感器或者视觉信息采集设备等的输入装置;包括例如显示屏等的输出装置;包括例如磁带、硬盘等的存储装置;以及通信装置。通信装置可以允许电子设备与其他设备(比如边缘计算设备)进行无线或有线通信以交换数据。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在非暂态计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置从网络上被下载和安装,或者从存储装置被安装,或者从ROM被安装。在该计算机程序被处理装置执行时,执行本公开实施例的基于GeoSOT网格算力的组织模型构建方法的全部或部分步骤。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
根据本公开实施例的计算机可读存储介质,其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时,执行前述的本公开各实施例的基于GeoSOT网格算力的组织模型构建方法的全部或部分步骤。
上述计算机可读存储介质包括但不限于:光存储介质(例如:CD-ROM和DVD)、磁光存储介质(例如:MO)、磁存储介质(例如:磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如:存储卡)和具有内置ROM的媒体(例如:ROM盒)。
有关本实施例的详细说明可以参考前述各实施例中的相应说明,在此不再赘述。
以上结合具体实施例描述了本公开的基本原理,但是,需要指出的是,在本公开中提及的优点、优势、效果等仅是示例而非限制,不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外,上述公开的具体细节仅是为了示例的作用和便于理解的作用,而非限制,上述细节并不限制本公开为必须采用上述具体的细节来实现。
在本公开中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序,本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的,可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇,指“包括但不限于”,且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”,且可与其互换使用,除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”,且可与其互换使用。
另外,如在此使用的,在以“至少一个”开始的项的列举中使用的“或”指示分离的列举,以便例如“A、B或C的至少一个”的列举意味着A或B或C,或AB或AC或BC,或ABC(即A和B和C)。此外,措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
还需要指出的是,在本公开的系统和方法中,各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外,本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而,所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的,并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此,本公开不意图被限制到在此示出的方面,而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外,此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例,但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

1.一种基于GeoSOT网格算力的组织模型构建方法,其特征在于,包括:
确定GeoSOT网格的划分层级;
基于所述划分层级分配服务器架构,服务器架构中相邻层集群服务器的关联关系与GeoSOT网格的划分的网格关联关系相对应;
基于服务器架构构建GeoSOT网格算力的组织模型。
2.根据权利要求1所述的基于GeoSOT网格算力的组织模型构建方法,其特征在于,所述服务器架构包括全球根服务器和空时网格服务器,
所述空时网格服务器包括多个一级空时网格服务器;
多个一级空时网格服务器即对地球空间进行等分,每个一级空时网格服务器对应等分的地球;
多个一级空时网格服务器与全球根服务器网络通信。
3.根据权利要求2所述的基于GeoSOT网格算力的组织模型构建方法,其特征在于,所述全球根服务器负责整个服务器架构的管理和维护,所述全球根服务器包括网格服务器GeoIP地址管理模块;
网格服务器GeoIP地址管理模块,用于通过GeoSOT编码管理每个空时网格服务器,基于边缘计算管理框架,建立GeoSOT编码和空时网格服务器IP的映射表,并通过设备码解析得到空时网格服务器对应的真实空间位置,支持数据和空间访问请求的快速寻址和定位。
4.根据权利要求3所述的基于GeoSOT网格算力的组织模型构建方法,其特征在于,网格服务器GeoIP地址管理模块,提供每个空时网格服务器的IP地址、主机名称、由GeoSOT网格编码解析后的经纬度范围和由GeoSOT网格编码解析后的代表区域。
5.根据权利要求2所述的基于GeoSOT网格算力的组织模型构建方法,其特征在于,空时网格服务器基于数据量和计算任务动态分配算力资源和存储资源。
6.一种空时数据存储方法,基于权利要求1至5任一所述方法构建的组织模型,其特征在于,包括:
对GeoSOT数据进行编码,得到GeoSOT编码;
基于GeoSOT编码进行空时数据寻址,得到相应的存储地址;
将GeoSOT数据存储到相应的存储地址中。
7.根据权利要求6所述的空时数据存储方法,其特征在于,将GeoSOT数据存储到相应的存储地址,包括基于GeoSOT编码、GeoSOT数据类型和GeoSOT数据标签对GeoSOT数据进行分块存储。
8.根据权利要求6所述的空时数据存储方法,其特征在于,将GeoSOT数据存储到相应的存储地址后,还包括对存储的GeoSOT数据进行网格化管理。
9.根据权利要求8所述的空时数据存储方法,其特征在于,对存储的GeoSOT数据进行网格化管理,包括:
基于GeoSOT编码构建数据网格化索引;
将GeoSOT网格编码作为索引表的key,GeoSOT数据的时间信息为附码,形成数据组织上的空-时结构。
10.根据权利要求6所述的空时数据存储方法,其特征在于,基于GeoSOT编码进行空时数据寻址,得到相应的存储地址,包括:
基于设备码长度截取编码前缀,根据编码前缀与设备码匹配,并接入相匹配空时网格服务器得到存储地址。
CN202211543421.XA 2022-12-02 2022-12-02 基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法 Pending CN115756870A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211543421.XA CN115756870A (zh) 2022-12-02 2022-12-02 基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211543421.XA CN115756870A (zh) 2022-12-02 2022-12-02 基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法

Publications (1)

Publication Number Publication Date
CN115756870A true CN115756870A (zh) 2023-03-07

Family

ID=85343059

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211543421.XA Pending CN115756870A (zh) 2022-12-02 2022-12-02 基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法

Country Status (1)

Country Link
CN (1) CN115756870A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737392A (zh) * 2023-08-11 2023-09-12 北京智网易联科技有限公司 一种非矢量数据的处理方法、装置及计算设备
CN117762631A (zh) * 2023-12-26 2024-03-26 浙江仙宫云科技有限公司 一种多云场景算力网格化方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116737392A (zh) * 2023-08-11 2023-09-12 北京智网易联科技有限公司 一种非矢量数据的处理方法、装置及计算设备
CN116737392B (zh) * 2023-08-11 2023-11-10 北京智网易联科技有限公司 一种非矢量数据的处理方法、装置及计算设备
CN117762631A (zh) * 2023-12-26 2024-03-26 浙江仙宫云科技有限公司 一种多云场景算力网格化方法及系统

Similar Documents

Publication Publication Date Title
US10667082B2 (en) Method and apparatus for determining index grids of geo-fence
Zhao et al. Geographical information system parallelization for spatial big data processing: a review
CN115756870A (zh) 基于GeoSOT网格算力的组织模型构建方法及空时数据存储方法
CN105700948A (zh) 一种用于在集群中调度计算任务的方法与设备
JP2020531970A (ja) スケーラブルな時空密度データの融合
CN106709503B (zh) 一种基于密度的大型空间数据聚类算法k-dbscan
CN107291539B (zh) 基于资源重要程度的集群程序调度方法
CN115994197A (zh) GeoSOT网格数据计算方法
Zhang et al. Enabling point pattern analysis on spatial big data using cloud computing: Optimizing and accelerating Ripley’s K function
Wang et al. A fast candidate viewpoints filtering algorithm for multiple viewshed site planning
Cai et al. GIS spatial information sharing of smart city based on cloud computing
CN115129795A (zh) 一种基于地球空间网格的数据空时存储方法
Shao et al. An improved artificial bee colony-based approach for zoning protected ecological areas
CN109241216B (zh) 使用电网层级存储数据库架构实现网格化管理的方法
CN116796083A (zh) 一种空间数据划分方法及系统
CN116108205A (zh) 空间关系的知识图谱数据模型构建方法、装置及查询方法
Yang et al. On construction of the air pollution monitoring service with a hybrid database converter
Márquez et al. Graph-based automatic dynamic load balancing for HPC agent-based simulations
Hou et al. Design and achievement of cloud geodatabase for a sponge city
Yang et al. Efficient storage method for massive remote sensing image via spark-based pyramid model
Kim et al. Design and implementation strategy of a parallel agent-based Schelling model
Grace Cloud Computing for Decision Making within the Clinical Sector
Wu et al. ACO-DPDGW: an ant colony optimization algorithm for data placement of data-intensive geospatial workflow
CN108170720A (zh) 规划显示系统
Zeng A clustering method of combining grid and genetic algorithm in wireless sensor networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination