CN106528793A - 一种分布式空间数据库的时空分片存储方法 - Google Patents
一种分布式空间数据库的时空分片存储方法 Download PDFInfo
- Publication number
- CN106528793A CN106528793A CN201610989204.1A CN201610989204A CN106528793A CN 106528793 A CN106528793 A CN 106528793A CN 201610989204 A CN201610989204 A CN 201610989204A CN 106528793 A CN106528793 A CN 106528793A
- Authority
- CN
- China
- Prior art keywords
- data
- spatial
- interest
- memory node
- record
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/0647—Migration mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Abstract
本发明公开了一种分布式空间数据库的时空分片存储方法,所述方法包括数据存储步骤和数据迁移步骤,并且在分布式空间数据库的数据存储中充分考虑了空间数据的时空特性,将空间数据的时空信息融入到分布式数据库的数据分片之中,在多数据库服务器并行查询的同时,充分利用其服务器性能,同时通过数据迁移步骤考虑到了数据的兴趣条件的变化。实践证明,本发明提供的方法具有较高的可行性,可以满足海量空间数据存储中查询性能的要求。
Description
技术领域
本发明涉及数据存储技术领域,特别涉及一种分布式空间数据库的时空分片存储方法。
背景技术
分布式数据库是指利用计算机高速网络将物理上分散的多个数据库、组成一个逻辑上统一的大型数据库。其基本思想是将原来集中式数据库中的数据分散到多个数据存储节点上,以增加数据的存储总量,提高并发访问效率。分布式数据库的数据存储主要有分片和复制两种方式,分片就是把数据划分多个片段,每个片段存储在不同的节点上,从而实现数据的分布式存取。复制是将某一数据库中的数据复制到另一个节点数据库中,实现数据的多副本存储,以保障数据安全性与系统高可用性。
分布式空间数据库是在分布式数据库基础上发展而来的,是将数据节点的数据库替换成可以管理地理空间数据的空间数据库。上述空间数据库是指描述与特定地理位置有关的真实世界空间对象的数据集合。与传统数据库中存储数据不同,空间数据的数据量庞大、数据模型复杂,这无疑增加了数据管理难度。
在分布式空间数据库数据分片技术方面,利用一定的分片规则,将海量空间数据划分为几个片段,每个片段存储在不同的节点上,以实现各节点数据的分布式并发存取。目前,国内外结合地理空间数据的特性,将分布式空间数据库分片方式主要分为专题分片、区域分片、面向对象分片。这几种分片方式将传统分布式数据库分片方式与地理空间数据的特性结合,能够实现空间数据的分布式存储。但随着大数据时代的到来,空间数据更新速度日益加快,数据的时效性要求也日益提高,现有的空间数据分片方式未能充分考虑数据的时效性,难以满足海量空间数据的高性能存储需求。
在分布式空间数据库的数据分片方面,目前,国内外相关研究主要集中在空间数据的空间特性上,但大数据环境下,空间数据库还具有很强的时效性,现有的分片规则不能在考虑数据空间特性的同时兼顾数据的时效性,导致数据库节点中大量过时的数据,影响数据库的存储性能。
发明内容
本发明提出一种分布式空间数据库的时空分片存储方法,可充分地消除由于现有技术的限制和缺陷导致的一个或多个问题。
本发明另外的优点、目的和特性,一部分将在下面的说明书中得到阐明,而另一部分对于本领域的普通技术人员通过对下面的说明的考察将是明显的或从本发明的实施中学到。通过在文字的说明书和权利要求书及附图中特别地指出的结构可实现和获得本发明目的和优点。
本发明提供了一种分布式空间数据库的时空分片存储方法,其中,所述方法具体包括以下步骤:
步骤1,在分布式数据库的各个存储节点上部署分布式空间表;
步骤2,预设空间数据的分片存储规则,其中,
所述分片规则包括:空间数据的兴趣条件和分片存储规则,其中,
所述兴趣条件可以包括兴趣区域和兴趣时间;
所述空间数据的分片存储规则包括兴趣数据和非兴趣数据的判定规则以及兴趣数据的分片存储规则和非兴趣数据的分片存储规则,所述兴趣数据的判定规则为:将满足所述空间数据的兴趣条件的数据判定为兴趣数据,将不满足所述空间数据的兴趣条件的数据判定为非兴趣数据;所述兴趣数据的分片存储规则为:将所述存储节点分为兴趣存储节点和非兴趣存储节点,对兴趣数据的空间对象记录的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与兴趣存储节点的映射关系,将所述兴趣数据分片存储到相应的兴趣存储节点;所述非兴趣数据的存储规则为将所述非兴趣数据合并存储到一个非兴趣存储节点。
步骤3,解析空间数据,获得空间数据中的空间对象记录及其时间和空间信息。
步骤4,根据预设的空间数据的分片存储规则,确定获得的每个所述空间对象记录的存储节点。
步骤5,将所述空间对象记录存储到相应的存储节点的分布式空间表中。
优选的,各存储节点上的分布式空间表的结构相同,均包括三个字段:空间对象记录的唯一标识字段(FID)、空间对象记录的获取时间字段(F_DATE)和空间对象记录的空间位置字段(SHAPE)。
优选的,所述兴趣条件包括兴趣区域和兴趣时间,当某一区域内数据的使用次数达到第一预设阈值时,该区域为兴趣区域;当某个时间内的数据的使用次数达到第二预设阈值时,该时间为兴趣时间。
优选的,所述步骤4具体包括以下子步骤:
步骤4.1,将步骤3获得的空间对象记录的时间信息和空间信息与步骤2预设的空间数据的兴趣区域和兴趣时间进行比较;
步骤4.2,将同时满足兴趣区域和兴趣时间的数据判断为兴趣数据,并转入步骤4.3,将不满足兴趣区域或兴趣时间的数据判断为非兴趣数据,并转入步骤4.4;
步骤4.3,确定作为兴趣数据的空间对象记录的存储节点;
步骤4.4,确定作为非兴趣数据的空间对象记录的存储节点。
优选的,步骤4.3具体包括:对确定为兴趣数据的每个空间对象记录的的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与存储节点的映射关系,确定所述空间对象记录的存储节点;步骤4.4具体包括将确定为非兴趣数据的多条空间对象记录合并存储到单个非兴趣节点。
优选的,所述方法还包括:
步骤6,重新确定空间数据的兴趣条件;
步骤7,对兴趣存储节点中的数据进行迁移;
步骤8,对非兴趣存储节点中的数据进行迁移。
优选的,所述步骤6具体包括:根据海量空间数据的近期使用情况,筛选出数据使用频率达到第三阀值的N条数据,并根据N条数据的时间信息和空间信息重新确定空间数据的兴趣条件,以便重新区分兴趣数据与非兴趣数据;
优选的,所述步骤7具体包括:遍历兴趣存储节点中的空间数据记录,判定所述空间数据记录是否满足步骤6确定的新的兴趣条件,如果满足,则将该空间数据记录保留在所述兴趣存储节点中,否则,将该空间数据记录迁移至非兴趣存储节点,并在所述兴趣存储节点中删除所述空间数据记录。
优选的,所述步骤8具体包括:遍历最近使用的M1条空间对象记录,判断所述空间对象是否存储在兴趣节点中,如果存储在兴趣节点,则不对其进行操作,否则再判断该对象记录是否满足步骤6确定的新的兴趣条件,如果满足,则根据预设的分片规则确定所述空间数据记录的兴趣存储节点,并将其迁移至计算出的兴趣存储节点中,否则,将所述空间对象记录保留在非兴趣存储节点中。
优选的,在步骤8中,只对最近使用的M1条空间对象记录进行遍历,而不是对所有空间对象记录进行遍历。并且在对M1条空间对象记录遍历时,需判断所述空间对象记录是否存储在非兴趣存储节点中。
本发明公开了一种分布式空间数据库的时空分片存储方法,所述方法包括数据存储步骤和数据迁移步骤,并且在分布式空间数据库的数据存储中充分考虑了空间数据的时空特性,将空间数据的时空信息融入到分布式数据库的数据分片之中,在多数据库服务器并行查询的同时,充分利用其服务器性能,同时通过数据迁移步骤考虑到了数据的兴趣条件的变化。实践证明,本发明提供的方法具有较高的可行性,可以满足海量空间数据存储中查询性能的要求。该方法可在分布式空间数据存储中使用,产生了良好的社会经济效益。
附图说明
图1为根据本发明实施例的、分布式空间数据库的时空分片存储方法的流程图;
图2为根据本发明实施例的、分布式数据库的基本数据结构示意图;
图3为根据本发明实施例的、计算空间对象记录的存储节点并进行存储的流程图;
图4为根据本发明实施例的、数据兴趣条件变化的结构示意图;
图5为根据本发明实施例的、兴趣存储节点中的数据迁移流程示意图;
图6为根据本发明实施例的、非兴趣存储节点中的数据迁移流程示意图。
具体实施方式
下面参照附图对本发明进行更全面的描述,其中说明本发明的示例性实施例。
本发明为解决上述技术问题所采用的技术方案为:将空间对象的时间信息与空间信息作为数据分片依据,根据数据的使用频率,确定空间数据的兴趣区域与兴趣时间,将海量数据中同时满足兴趣区域与兴趣时间的兴趣数据在多个存储节点上分片存储,其余数据存储在某个存储节点上。数据查询时,使用频率较高的兴趣数据因存储在多个存储节点上,从而可实现多节点并行查询,除此之外,使用频率较低的非兴趣数据存储在单个存储节点上,不会影响兴趣数据的查询性能。通过数据的使用频率区分数据,从而充分利用数据库服务器性能,达到提高数据查询效率的目的。
本发明实施例的分布式空间数据库的时空分片存储方法,适用于分布式数据库的海量空间数据分片存储。下面,首先对分布式空间数据库的应用场景进行简单介绍:
在分布式数据库系统中,通常有多个存储节点,每个存储节点存储空间数据的一部分,即一个数据分片。这些存储节点可以位于不同的数据库服务器上,也可位于相同的数据库服务器上。通常,为了减少数据库系统响应时间,提高其执行效率,多个存储节点将会位于不同的数据库服务器中。在对分布式数据库系统增删改查等操作时,多数据库服务器可实现并发操作,以提高分布式数据库系统整体性能。
而在数据库节点的增删改查等操作中,其操作的目标数据量与数据库数据总量通常是影响其性能的关键因素,有鉴于此,本发明提供了一种基于时空信息的分布式空间数据的分片方法。
下面结合图1所示的分布式空间数据库的时空分片存储方法的流程图和图2所示的分布式数据库的基本数据结构示意图进行说明。
本发明提出的分布式空间数据库的时空分片存储方法具体包括以下步骤:
步骤1,在分布式数据库的各个存储节点上部署分布式空间表。
本发明进行时空分片存储前多时态的海量空间对象已经存在,但可能是存储在单一文件中,也可能是存储在单一的空间数据库中,本发明所提出的时空分片存储方法是将现有的海量空间对象进行分布式空间数据库的时空分片存储,那么在存储之前,需要在分布式数据库的各个存储节点上建立分布式空间表,才可以存储空间对象记录。因此,本发明所提出的方法的第一步骤就是在分布式数据库的各个存储节点上部署分布式空间表,以为后面的时空分片存储建立基础。
如图2所示,假设要对多时态的空间对象进行分布式数据库存储,则首先需要在分布式数据库的各数据节点中部署分布式空间表,即,分别在DB1、DB2、DB3、DB4上建立空间表TB,空间表TB的数据结构完全相同,并且在不同的数据库实例上,因此可以使用相同的表名,方便对分布式数据库进行增删改查等操作。同时,假设该分布式空间表所存储的空间对象为“停车场”,则每一条空间对象记录对应存储一个“停车场”实体,该分布式空间表的表结构为:
优选的,各存储节点上的分布式空间表的结构相同,均包括三个字段:空间对象记录的唯一标识字段(FID)、空间对象记录的获取时间字段(F_DATE)和空间对象记录的空间位置字段(SHAPE)。
具体的,FID为空间对象记录的唯一标识字段,为INT类型,并在所有数据节点的空间分片中是唯一的,可设为全局自增字段(FID的值随着插入记录而自动累加);F_DATE为空间对象记录的获取时间字段;SHAPE为空间对象记录的空间位置字段,采用OGC标准所定义的GEOMETRY类型进行定义,用于记录空间对象“停车场”的空间位置信息,如“POINT(12.34545.678)”代表该空间对象的空间所在位置的经纬度为(12.345,45.678)。
步骤2,预设空间数据的分片存储规则,其中,
所述分片规则包括:空间数据的兴趣条件和分片存储规则,其中,
所述兴趣条件包括兴趣区域和兴趣时间;
所述空间数据的分片存储规则包括兴趣数据和非兴趣数据的判定规则以及兴趣数据的分片存储规则和非兴趣数据的分片存储规则,所述兴趣数据的判定规则为:将满足所述空间数据的兴趣条件的数据判定为兴趣数据,将不满足所述空间数据的兴趣条件的数据判定为非兴趣数据;所述兴趣数据的分片存储规则为:将所述存储节点分为兴趣存储节点和非兴趣存储节点,对兴趣数据的空间对象记录的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与兴趣存储节点的映射关系,将所述兴趣数据分片存储到相应的兴趣存储节点;所述非兴趣数据的存储规则为将所述非兴趣数据合并存储到一个非兴趣存储节点。
根据生产需求和实际业务中数据的使用情况,选择合适的区域空间范围为空间数据的“兴趣区域”(如图2所示的区域A),选择合适的时间为空间数据的“兴趣时间”(如图2所示的时间T1)。
根据本发明的优选实施例,所述兴趣条件包括兴趣区域和兴趣时间,当某一区域内数据的使用次数达到第一预设阈值时,该区域为兴趣区域,也可称为热点区域(如图2所示的区域A);当某个时间内的数据的使用次数达到第二预设阈值时,该时间为兴趣时间,也可称为热点时间(如图2所示的时间T1)。
其中,优选的,上述“兴趣时间”可以为某一时刻、某一日期、或者某一年月,也可以为某一时间段。当兴趣时间表示为某一时间段时,该时间段内的任意时刻均属于该兴趣时间。上述“兴趣区域内”表示的是空间对象与兴趣区域的空间位置关系为“包含”,即空间对象的地理位置位于选定的兴趣区域之内。使用OGC标准所定义的GEOMETRY类型可直接通过其定义的空间关系函数WITHIN()、CONTAIN()计算空间对象与兴趣区域两者之间的拓补关系是否为“包含”。
步骤3,解析空间数据,获得空间数据中的空间对象记录及其时间信息和空间信息。
在数据库系统中,通常数据的增删改查等操作都是通过SQL语句实现的。分布式空间数据库中存在多个存储节点(即,数据节点,例如,图2中的DB1,DB2,DB3,DB4),在进行空间数据存储时,需要解析空间对象的空间信息和属性信息,构建数据库存储所需的SQL语句,并获得其时间信息和空间信息,以便后续根据分片规则计算分片节点,即,通过上述计算确定将空间对象记录存储到哪个存储节点。
本实施例中的空间数据格式选择的是地理空间领域常用的Shapefile格式,以存储该空间数据中的一个空间对象为例。在空间数据读取时,使用满足OGC规范的OGR空间数据读取组件,对于Shapefile格式的数据,使用OGR中的ESRI Shapefile驱动进行数据读取。获取Shapefile文件中的一个空间对象,并依次读取其空间信息和属性信息。
例如,空间数据中的某个表示“停车场”的空间对象记录的地理位置为东经120.345°,北纬36.789°,属性信息中的FID=1,日期为2016年8月1日0:00:00。根据OGC规范定义的坐标系,经纬度坐标中以0°经线和赤道交点为中心,向北、向东为正方向,则该点坐标为(120.345,36.789),在数据存储时,通过OGC提供的WKT格式以及相关函数,将字符串形式的空间位置信息转换成GEOMETRY的空间几何类型,以存储地理对象的空间信息。根据数据库通用SQL语言规范,并结合OGC空间数据的存储规范,构建的该空间对象的插入SQL语句为:
INSERT INTO TB (FID,F_DATE,SHAPE) VALUES (1,'2016-8-1 0:00:00',GEOMFROMTEXT('POINT(120.345 36.789)'));
通过使用OGR空间数据读取组件,即可解析出该空间对象记录的时间信息为2016-8-10:00:00,空间信息为POINT (120.345 36.789)。
步骤4,根据预设的空间数据的分片存储规则,确定获得的每个所述空间对象记录的存储节点。
下面结合图3进行详细说明。步骤4具体包括以下子步骤:
所述步骤4具体包括以下子步骤:
步骤4.1,将步骤3获得的空间对象记录的时间信息和空间信息与步骤2预设的空间数据的兴趣区域和兴趣时间进行比较;
步骤4.2,将同时满足兴趣区域和兴趣时间的数据判断为兴趣数据,并转入步骤4.3,将不满足兴趣区域或兴趣时间的数据判断为非兴趣数据,并转入步骤4.4;
步骤4.3,根据预设的分片存储规则,确定作为兴趣数据的空间对象记录的存储节点;
步骤4.4,根据预设的分片存储规则,确定作为非兴趣数据的空间对象记录的存储节点。
下面对步骤4.3进行详细说明。以多时态空间对象作为优选实施例,对空间对象记录进行分片。如图2所示,T1、T2、T3为空间数据的三个不同时态,每个时态的数据按地理空间位置划分成不同的区域,如图2中的区域A、区域B。本发明所采取的时空分片规则是将满足兴趣时间、兴趣区域内的空间对象(即为空间数据中的兴趣数据)进行多存储节点(兴趣节点)分片存储,其余空间对象(即为空间数据中的非兴趣数据)合并存储在某一个存储节点(非兴趣节点)。
本实施例中假定的兴趣时间为2016-1-1以后,即所有空间对象记录满足F_DATE大于2016-1-1 0:00:00的记录均属于兴趣时间之内;假定兴趣区域为POLYGON_A内部区域,POLYGON_A可表示为POLYGON(120 35,125 35,125 40,120 40,120 35),其表示的是4个顶点分别为(120,35),(125,35),(125,40),(120,40)所组成的多边形区域。
上述时空分片规则中的兴趣时间与兴趣区域的表述仅为说明本发明,还可能有其他类似情况,兴趣时间也可以为不包含,或者在某个时间之后等情况。兴趣区域也可以是与某个区域相等、相交等拓扑关系,此类拓扑关系可通过OGC标准中的相应的函数可以实现。
本实施例中插入的空间对象记录的时间信息为2016-8-1 0:00:00,根据制定的时空分片规则,兴趣时间是时间信息在2016-1-1之后的,故该时间信息属于兴趣时间;而空间对象记录的空间信息为POINT (120.345 36.789),根据分片规则中定义的兴趣区域A的范围,通过OGR的Contain()函数判断出该空间对象包含在兴趣区域A中,故该空间对象记录满足时空分片规则中的兴趣数据要求,属于兴趣数据。
可以根据上述方法确定每个空间对象记录是否属于兴趣数据,如图2所示,确定3个空间对象记录属于兴趣数据,并根据下面将详细描述的算法将该3个空间对象记录存储到对应的存储节点,即,实现了分片存储,可见,每个空间对象记录对应于一个空间分片,因此,在图2中将3个空间对象记录表示为空间分片1,空间分片2,空间分片3。但是本发明并不限于3个空间分片,空间分片以及存储节点的数量可以根据实际需要来确定和调整,本发明对此不作任何限制。
对于兴趣数据的多存储节点分片存储,可以通过分片算法实现。根据本发明的优选实施例,步骤4.3具体包括:对确定为兴趣数据的每个空间对象记录的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与存储节点的映射关系,确定该空间对象记录的存储节点。
如图2所示,每个空间分片都对应一个空间对象记录,即,每个空间分片都包括FID字段,并且所述多个空间分片的唯一标识字段(FID)的数值是自增长的连续整数。本发明对每个空间分片的唯一标识字段(FID)与预设值(本实施例中,将预设值设为3)进行取余运算获得取余结果,并根据预设的取余结果与存储节点的映射关系,将空间分片存储到相应的存储节点中。
根据本发明的一优选实施例,取余结果与存储节点有如下映射关系:
取余结果 | 数据分片 | 存储节点 |
0 | 空间分片1 | DB1 |
1 | 空间分片2 | DB2 |
2 | 空间分片3 | DB3 |
如前所述,FID字段作为空间对象的唯一标识,其数值是自增长的连续整数,多个空间对象记录FID字段与3进行取余运算结果依次为0、1、2,根据上述运算结果与存储节点的映射关系,连续FID的空间对象记录将会被分片到不同的存储节点中存储,如图2所示,将空间分片1,2,3分别存储到作为兴趣存储节点的DB1,DB2,DB3中,这样能够最大程度的实现兴趣数据在兴趣数据库上的均匀分布,在对数据的增删改查等操作时,充分利用数据库服务器的性能。
下面对步骤4.4进行详细说明。如图2所示,假设某个空间对象记录被判断为非兴趣数据,则选择单个非兴趣存储节点为该空间对象记录的存储节点,即,将该空间对象记录作为空间分片4存储到单个非兴趣存储节点(DB4)。
如图2所示,假设某个空间对象记录被判断为非兴趣数据,则将该空间对象记录存储到上述非兴趣节点,即作为空间分片4存储到非兴趣存储节点(DB4)中。
由以上描述可知,根据本发明的优选实施例,将存储节点分为兴趣存储节点和非兴趣存储节点,将判断为兴趣数据的多个空间对象记录分片存储到多个兴趣存储节点,将判断为非兴趣数据的空间对象记录存储到单个非兴趣节点,优选的,在判断出多条空间对象记录为非兴趣数据时,将判断为非兴趣数据的多条空间对象记录合并存储到单个非兴趣节点。
步骤5,将所述空间对象记录存储到相应的存储节点的分布式空间表中。
如图2和3所示,通过使用步骤3解析空间对象记录构建的SQL语句,将SQL语句发送至相应节点的数据库服务器中,以完成空间对象记录在相应存储节点的分布式空间表中的存储。
在进行多个空间数据存储时,只需循环执行步骤3-步骤5的操作,即可完成存储多个空间数据。
以上描述的步骤1-5可以作为本发明第一实施例的数据存储步骤,根据本发明的第二实施例,本发明所提出的分布式空间数据库的时空分片存储方法还可以包括数据迁移步骤。
在数据存储使用过程中,将会发生数据兴趣条件的变化,兴趣节点中存储的兴趣数据可能不再满足现生产中的兴趣需求,故此时需要重新计算兴趣条件,并对数据节点中的数据进行迁移以满足现有的兴趣条件。基于此,本发明提出了以下数据迁移步骤。即,本发明所提出的分布式空间数据库的时空分片存储方法还可以包括以下步骤:
步骤6,重新确定空间数据的兴趣条件,具体包括:根据海量空间数据的近期使用情况,筛选出数据使用频率达到第三阀值的N条数据,并根据N条数据的时间信息和空间信息重新确定空间数据的兴趣条件(即,确定新的兴趣时间和兴趣区域),以便重新区分兴趣数据与非兴趣数据。
根据事先的定义,数据中使用频率较高的数据即为近一段时间使用中的热点数据,本实施例中部署的分布式数据库系统经过一段时间运行之后,数据的使用频率将会产生差异,数据存储时预设的兴趣条件已不符合数据使用的现状,原预设的兴趣时间判定标准不一定满足现热点数据的兴趣时间,同理,兴趣区域的标准也不一定满足。此时,需要重新确定数据的兴趣条件。
本实施例中,根据数据库的数据使用日志,选择最近的100次查询操作的数据为样本,统计出每条数据的使用频率。预定义这100次查询中数据中使用次数大于5次的数据即可称为兴趣数据,则此统计样本为这100次查询得到的M条空间数据记录,对于M条记录可以筛选出满足条件的数据(即兴趣数据)为N条,再根据这N条兴趣数据重新计算空间数据的兴趣条件,筛选出的兴趣数据如下表所示:
FID | F_DATE | SHAPE | 次数 |
1 | 2016-8-1 0:00:00 | POINT (120.345 36.789) | 25 |
2 | 2016-8-2 12:00:00 | POINT (125.345 40.789) | 17 |
3 | 2016-7-28 0:00:00 | POINT (125.345 36.789) | 12 |
4 | 2016-8-5 18:00:00 | POINT (123.345 38.789) | 8 |
5 | 2016-8-8 11:00:00 | POINT (120.345 40.789) | 5 |
…… | …… | …… |
对于兴趣条件中的兴趣时间,可以直接将N条兴趣数据中的时间信息进行合并,以得到新的兴趣时间。本实施例中,上述兴趣数据可以合并得到新的兴趣时间为2016-7-28 0:00:00至2016-8-8 0:00:00。而兴趣区域的计算,需要对兴趣数据的空间对象进行合并以得到新的兴趣区域。本实施例中的空间对象为点对象,兴趣区域无法直接合并得到,可以通过获取所有兴趣数据点对象的外接多边形作为兴趣区域,则本实施例的兴趣区域为POINT(120.345 36.789)、POINT (125.345 40.789)、POINT (125.345 36.789)、POINT (120.34540.789)四个点的外接多边形POLYGON(120.345 36.789, 125.345 36.789, 125.34540.789, 120.345 40.789, 120.345 36.789),且POINT (123.345 38.789)在该多边形的内部。
对于兴趣数据的空间对象为线对象,也可按照上述方法求所有空间线对象的外接多边形,而空间对象为面对象时,则可以直接将所有的面对象进行合并,合并后的多边形即为新的兴趣区域。
如图4所示,根据确定的新的兴趣时间和兴趣区域,属于时间T3,区域C的数据为新兴趣数据,属于其他时间或区域的数据为新非兴趣数据。
步骤7,对兴趣存储节点中的数据进行迁移,具体包括:遍历兴趣存储节点中的空间数据记录,判断所述空间数据记录是否满足步骤6确定的新的兴趣条件,如果满足,则将该空间数据记录保留在所述兴趣存储节点中,否则,将该空间数据记录迁移至非兴趣存储节点,并在所述兴趣存储节点中删除所述空间数据记录。
空间数据的兴趣条件重置后,兴趣存储节点中不满足新确定的兴趣条件的部分数据需要对其进行迁移,兴趣存储节点中既满足新确定的兴趣时间又满足新确定的兴趣区域的数据保留在兴趣存储节点中,其他的数据将迁移至非兴趣存储节点。现结合图5对兴趣存储节点中的数据迁移过程进行说明,本实施例中,兴趣存储节点进行迁移前的数据如下表所示:
FID | F_DATE | SHAPE |
1 | 2016-8-1 0:00:00 | POINT (120.345 36.789) |
4 | 2016-8-5 18:00:00 | POINT (123.345 38.789) |
5 | 2016-8-8 11:00:00 | POINT (120.345 40.789) |
7 | 2016-8-9 13:00:00 | POINT (120.212 38.259) |
…… | …… | …… |
对兴趣存储节点中的所有数据进行遍历,兴趣存储节点中的存在不满足现兴趣条件的数据,如FID为7的这个空间对象记录,其时间为2016-8-9 13:00:00,不满足现兴趣条件中的兴趣时间为2016-7-28 0:00:00至2016-8-8 0:00:00要求,故此空间对象记录为非兴趣数据,需要将其迁移至非兴趣节点。
数据迁移时,通过数据库SQL语句操作将此条空间对象记录导出为插入SQL语句,该条记录插入的SQL语句为:
INSERT INTO TB (FID, F_DATE, SHAPE) VALUES (7, '2016-8-9 13:00:00',GEOMFROMTEXT('POINT(120.212 38.259)'));将插入语句发送至非兴趣存储节点(DB4)的数据库服务器上并执行,即可完成该记录在非兴趣存储节点上的存储。非兴趣存储节点上存储该记录后,还需要删除兴趣存储节点的原记录,记录删除时通过数据表全局唯一的FID字段进行SQL语句构建,该记录的删除SQL语句为:
DELETE FROM TB WHERE FID=7;
在兴趣存储节点执行上述删除SQL语句即可完成兴趣存储节点上的原记录删除,至此,就完成了兴趣存储节点上的一条空间对象记录的迁移,对于兴趣存储节点上的多条空间对象记录,只需要重复上述过程,即可完成迁移。
步骤8,对非兴趣存储节点中的数据进行迁移,具体包括:遍历最近使用的M1条空间对象记录,判断所述空间对象是否存储在兴趣节点中,如果存储在兴趣节点,则不对其进行操作,否则再判断该对象记录是否满足步骤6确定的新的兴趣条件,如果满足,则根据数据存储的分片规则确定所述空间数据记录的兴趣存储节点(即,对确定为兴趣数据的空间对象记录的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与存储节点的映射关系,确定空间对象记录的存储节点),并将其迁移至计算出的兴趣存储节点中,否则,将空间对象记录保留在非兴趣存储节点中。
非兴趣存储节点中数据迁移是对非兴趣存储节点中满足新的兴趣条件的数据将其迁移至兴趣存储节点,迁移时可以对最近100次查询使用的M1条数据进行遍历,将其中存储在非兴趣节点并满足新的兴趣条件的数据迁移至兴趣存储节点。对于非兴趣存储节点中,满足新的兴趣条件但不属于这M1条数据的部分,因其使用频率低而不对其进行迁移。
现结合图6对非兴趣存储节点中的数据迁移过程进行说明。优选的,对于步骤8非兴趣节点的数据迁移,只对最近使用的M1条空间对象记录进行遍历,而不是对所有空间对象记录进行遍历。本实施例中,近100次查询的M1条数据样本如下表所示:
FID | F_DATE | SHAPE |
1 | 2016-8-1 0:00:00 | POINT (120.345 36.789) |
2 | 2016-8-2 12:00:00 | POINT (125.345 40.789) |
3 | 2016-7-28 0:00:00 | POINT (125.345 36.789) |
4 | 2016-8-5 18:00:00 | POINT (123.345 38.789) |
5 | 2016-8-8 11:00:00 | POINT (120.345 40.789) |
…… | …… | …… |
对M1条数据样本进行遍历,判断数据是否存储在兴趣存储节点中,若存储在兴趣存储节点中则直接跳过该数据,否则进行二次判断。判断其是否满足新的兴趣条件,若不满足则直接跳过该数据,否则该数据为兴趣存储数据,需要对其进行迁移。上述数据中FID为3的空间对象记录,其时间为2016-7-28 0:00:00,空间信息为POINT (125.345 36.789),经判断该对象存储在非兴趣节点中。再对其时空信息进行判断,满足现兴趣条件的要求,故需要对此空间对象进行迁移。
数据迁移前需要对兴趣数据的分片存储节点进行计算,该计算过程与步骤4相同,即,按照存储过程中的兴趣数据分片规则,对确定为兴趣数据的空间对象记录的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与存储节点的映射关系,确定空间对象记录的存储节点。本实施例中该空间对象记录的分片字段为FID,其值为3,对FID字段进行
取余运算,其计算结果为0,按照分片规则设定的映射关系,其存储的数据节点为DB1。
数据迁移的步骤和上述兴趣存储节点中的数据迁移步骤类似,通过数据库SQL语句操作将此条空间对象记录导出为插入SQL语句,该条记录插入的SQL语句为:
INSERT INTO TB (FID, F_DATE, SHAPE) VALUES (3, '2016-7-28 0:00:00',GEOMFROMTEXT('POINT(125.345 36.789)'));
将插入语句发送至兴趣存储节点(DB1)数据库服务器上并执行,即可完成该记录在该兴趣节点上的存储。兴趣存储节点上存储该记录后,还需要删除非兴趣存储节点的原记录,记录删除时通过数据表全局唯一的FID字段进行SQL语句构建,该记录的删除SQL语句为:
DELETE FROM TB WHERE FID=3;
在非兴趣存储节点执行上述删除SQL语句即可完成兴趣节点上的原记录删除,至此,就完成了非兴趣存储节点中的一个兴趣数据的迁移,对于非兴趣存储节点上的多个兴趣数据,只需要重复上述过程,即可完成迁移。
本发明的实施例在分布式空间数据库的数据存储中充分考虑了空间数据的时空特性,将空间数据的时空信息融入到分布式数据库的数据分片之中,在多数据库服务器并行查询的同时,充分利用其服务器性能。相对于现有的分布式空间数据库的空间分片规则,本发明加入了时间这一特性,将两种特性结合制定分片规则,以充分满足空间数据存储应用中的性能要求。另外,对于数据使用过程中面临的用户兴趣条件的变化,本发明所提出的时空分片存储方法还包括分布式数据库节点间的数据迁移步骤。实践证明,本发明提供的方法具有较高的可行性,可以满足海量空间数据存储中查询性能的要求。
以上内容仅为本发明的较佳实施例,对于本领域的普通技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种分布式空间数据库的时空分片存储方法,其特征在于,所述方法具体包括以下步骤:
步骤1,在分布式数据库的各个存储节点上部署分布式空间表;
步骤2,预设空间数据的分片存储规则,其中,
所述分片规则包括:空间数据的兴趣条件和分片存储规则,其中,
所述兴趣条件可以包括兴趣区域和兴趣时间;
所述空间数据的分片存储规则包括兴趣数据和非兴趣数据的判定规则以及兴趣数据的分片存储规则和非兴趣数据的分片存储规则,所述兴趣数据的判定规则为:将满足所述空间数据的兴趣条件的数据判定为兴趣数据,将不满足所述空间数据的兴趣条件的数据判定为非兴趣数据;所述兴趣数据的分片存储规则为:将所述存储节点分为兴趣存储节点和非兴趣存储节点,对兴趣数据的空间对象记录的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与兴趣存储节点的映射关系,将所述兴趣数据分片存储到相应的兴趣存储节点;所述非兴趣数据的存储规则为将所述非兴趣数据合并存储到一个非兴趣存储节点;
步骤3,解析空间数据,获得空间数据中的空间对象记录及其时间和空间信息;
步骤4,根据预设的空间数据的分片存储规则,确定获得的每个所述空间对象记录的存储节点;
步骤5,将所述空间对象记录存储到相应的存储节点的分布式空间表中。
2.根据权利要求1所述的分布式空间数据库的时空分片存储方法,其特征在于,各存储节点上的分布式空间表的结构相同,均包括三个字段:空间对象记录的唯一标识字段(FID)、空间对象记录的获取时间字段(F_DATE)和空间对象记录的空间位置字段(SHAPE)。
3.根据权利要求1所述的分布式空间数据库的时空分片存储方法,其特征在于,所述兴趣条件包括兴趣区域和兴趣时间,当某一区域内数据的使用次数达到第一预设阈值时,该区域为兴趣区域;当某个时间内的数据的使用次数达到第二预设阈值时,该时间为兴趣时间。
4.根据权利要求1所述的分布式空间数据库的时空分片存储方法,其特征在于,所述步骤4具体包括以下子步骤:
步骤4.1,将步骤3获得的空间对象记录的时间信息和空间信息与步骤2预设的空间数据的兴趣区域和兴趣时间进行比较;
步骤4.2,将同时满足兴趣区域和兴趣时间的数据判断为兴趣数据,并转入步骤4.3,将不满足兴趣区域或兴趣时间的数据判断为非兴趣数据,并转入步骤4.4;
步骤4.3,确定作为兴趣数据的空间对象记录的存储节点;
步骤4.4,确定作为非兴趣数据的空间对象记录的存储节点。
5.根据权利要求4所述的分布式空间数据库的时空分片存储方法,其特征在于,步骤4.3具体包括:对确定为兴趣数据的每个空间对象记录的的唯一标识字段(FID)与预设值进行取余运算获得取余结果,并根据预设的取余结果与存储节点的映射关系,确定所述空间对象记录的存储节点;步骤4.4具体包括将确定为非兴趣数据的多条空间对象记录合并存储到单个非兴趣节点。
6.根据权利要求1-5中的任意一项所述的分布式空间数据库的时空分片存储方法,其特征在于,所述方法还包括:
步骤6,重新确定空间数据的兴趣条件;
步骤7,对兴趣存储节点中的数据进行迁移;
步骤8,对非兴趣存储节点中的数据进行迁移。
7.根据权利要求6所述的分布式空间数据库的时空分片存储方法,其特征在于,所述步骤6具体包括:根据海量空间数据的近期使用情况,筛选出数据使用频率达到第三阀值的N条数据,并根据N条数据的时间信息和空间信息重新确定空间数据的兴趣条件,以便重新区分兴趣数据与非兴趣数据。
8.根据权利要求7所述的分布式空间数据库的时空分片存储方法,其特征在于,所述步骤7具体包括:遍历兴趣存储节点中的空间数据记录,判定所述空间数据记录是否满足步骤6确定的新的兴趣条件,如果满足,则将该空间数据记录保留在所述兴趣存储节点中,否则,将该空间数据记录迁移至非兴趣存储节点,并在所述兴趣存储节点中删除所述空间数据记录。
9.根据权利要求7所述的分布式空间数据库的时空分片存储方法,其特征在于,所述步骤8具体包括:遍历最近使用的M1条空间对象记录,判断所述空间对象是否存储在兴趣节点中,如果存储在兴趣节点,则不对其进行操作,否则再判断该对象记录是否满足步骤6确定的新的兴趣条件,如果满足,则根据预设的分片规则确定所述空间数据记录的兴趣存储节点,并将其迁移至计算出的兴趣存储节点中,否则,将所述空间对象记录保留在非兴趣存储节点中。
10.根据权利要求9所述的分布式空间数据库的时空分片存储方法,其特征在于,在步骤8中,只对最近使用的M1条空间对象记录进行遍历,而不是对所有空间对象记录进行遍历,并且在对M1条空间对象记录遍历时,需判断所述空间对象记录是否存储在非兴趣存储节点中。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610989204.1A CN106528793B (zh) | 2016-12-14 | 2016-12-14 | 一种分布式空间数据库的时空分片存储方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610989204.1A CN106528793B (zh) | 2016-12-14 | 2016-12-14 | 一种分布式空间数据库的时空分片存储方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106528793A true CN106528793A (zh) | 2017-03-22 |
CN106528793B CN106528793B (zh) | 2019-12-24 |
Family
ID=58350967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610989204.1A Active CN106528793B (zh) | 2016-12-14 | 2016-12-14 | 一种分布式空间数据库的时空分片存储方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106528793B (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107277144A (zh) * | 2017-06-22 | 2017-10-20 | 浙江力石科技股份有限公司 | 一种分布式高并发云存储数据库系统及其负荷均衡方法 |
CN107357883A (zh) * | 2017-06-30 | 2017-11-17 | 北京奇虎科技有限公司 | 数据迁移方法及装置 |
CN108804465A (zh) * | 2017-05-04 | 2018-11-13 | 中兴通讯股份有限公司 | 一种分布式缓存数据库数据迁移的方法及系统 |
CN109144966A (zh) * | 2018-07-06 | 2019-01-04 | 航天星图科技(北京)有限公司 | 一种海量时空数据的高效组织与管理方法 |
CN110019234A (zh) * | 2017-12-28 | 2019-07-16 | 中国电信股份有限公司 | 用于分片存储数据的方法和系统 |
CN110515923A (zh) * | 2019-08-15 | 2019-11-29 | 福建中信网安信息科技有限公司 | 一种分布式数据库之间的数据迁移方法和系统 |
CN112380276A (zh) * | 2021-01-15 | 2021-02-19 | 四川新网银行股份有限公司 | 一种分布式系统分库分表后非分片键字段查询数据的方法 |
CN112966312A (zh) * | 2021-03-02 | 2021-06-15 | 中国银联股份有限公司 | 数据存储方法、装置、设备及存储介质 |
CN113704228A (zh) * | 2021-08-31 | 2021-11-26 | 北京达佳互联信息技术有限公司 | 字段自增的方法、装置、电子设备和存储介质 |
CN115442388A (zh) * | 2022-10-21 | 2022-12-06 | 四川省华存智谷科技有限责任公司 | 用于分布式存储集群利用率100%的扩容方法、装置及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101370025A (zh) * | 2007-08-17 | 2009-02-18 | 北京灵图软件技术有限公司 | 地理信息数据的存储方法、调度方法及管理系统 |
US20130254212A1 (en) * | 2012-03-23 | 2013-09-26 | Nec (China) Co., Ltd. | Data indexing system, data indexing method and data querying method |
CN103870602A (zh) * | 2014-04-03 | 2014-06-18 | 中国科学院地理科学与资源研究所 | 数据库空间分片复制方法及系统 |
CN103995861A (zh) * | 2014-05-16 | 2014-08-20 | 罗敬宁 | 一种基于空间关联的分布式数据装置、方法及系统 |
CN104239470A (zh) * | 2014-09-03 | 2014-12-24 | 河海大学 | 一种面向分布式环境的空间数据复合处理系统和方法 |
US20160085833A1 (en) * | 2009-02-13 | 2016-03-24 | Paypal, Inc. | Targeted multi-dimension data extraction for real-time analysis |
-
2016
- 2016-12-14 CN CN201610989204.1A patent/CN106528793B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101370025A (zh) * | 2007-08-17 | 2009-02-18 | 北京灵图软件技术有限公司 | 地理信息数据的存储方法、调度方法及管理系统 |
US20160085833A1 (en) * | 2009-02-13 | 2016-03-24 | Paypal, Inc. | Targeted multi-dimension data extraction for real-time analysis |
US20130254212A1 (en) * | 2012-03-23 | 2013-09-26 | Nec (China) Co., Ltd. | Data indexing system, data indexing method and data querying method |
CN103870602A (zh) * | 2014-04-03 | 2014-06-18 | 中国科学院地理科学与资源研究所 | 数据库空间分片复制方法及系统 |
CN103995861A (zh) * | 2014-05-16 | 2014-08-20 | 罗敬宁 | 一种基于空间关联的分布式数据装置、方法及系统 |
CN104239470A (zh) * | 2014-09-03 | 2014-12-24 | 河海大学 | 一种面向分布式环境的空间数据复合处理系统和方法 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108804465A (zh) * | 2017-05-04 | 2018-11-13 | 中兴通讯股份有限公司 | 一种分布式缓存数据库数据迁移的方法及系统 |
CN108804465B (zh) * | 2017-05-04 | 2023-06-30 | 中兴通讯股份有限公司 | 一种分布式缓存数据库数据迁移的方法及系统 |
CN107277144B (zh) * | 2017-06-22 | 2021-02-09 | 浙江力石科技股份有限公司 | 一种分布式高并发云存储数据库系统及其负荷均衡方法 |
CN107277144A (zh) * | 2017-06-22 | 2017-10-20 | 浙江力石科技股份有限公司 | 一种分布式高并发云存储数据库系统及其负荷均衡方法 |
CN107357883A (zh) * | 2017-06-30 | 2017-11-17 | 北京奇虎科技有限公司 | 数据迁移方法及装置 |
CN110019234A (zh) * | 2017-12-28 | 2019-07-16 | 中国电信股份有限公司 | 用于分片存储数据的方法和系统 |
CN109144966A (zh) * | 2018-07-06 | 2019-01-04 | 航天星图科技(北京)有限公司 | 一种海量时空数据的高效组织与管理方法 |
CN110515923A (zh) * | 2019-08-15 | 2019-11-29 | 福建中信网安信息科技有限公司 | 一种分布式数据库之间的数据迁移方法和系统 |
CN112380276A (zh) * | 2021-01-15 | 2021-02-19 | 四川新网银行股份有限公司 | 一种分布式系统分库分表后非分片键字段查询数据的方法 |
CN112966312A (zh) * | 2021-03-02 | 2021-06-15 | 中国银联股份有限公司 | 数据存储方法、装置、设备及存储介质 |
CN113704228A (zh) * | 2021-08-31 | 2021-11-26 | 北京达佳互联信息技术有限公司 | 字段自增的方法、装置、电子设备和存储介质 |
CN113704228B (zh) * | 2021-08-31 | 2024-02-06 | 北京达佳互联信息技术有限公司 | 字段自增的方法、装置、电子设备和存储介质 |
CN115442388A (zh) * | 2022-10-21 | 2022-12-06 | 四川省华存智谷科技有限责任公司 | 用于分布式存储集群利用率100%的扩容方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106528793B (zh) | 2019-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106528793A (zh) | 一种分布式空间数据库的时空分片存储方法 | |
Pahins et al. | Hashedcubes: Simple, low memory, real-time visual exploration of big data | |
CN107423368B (zh) | 一种非关系数据库中的时空数据索引方法 | |
CN103020204B (zh) | 一种对分布式顺序表进行多维区间查询的方法及其系统 | |
CN110019396B (zh) | 一种基于分布式多维分析的数据分析系统及方法 | |
CN105912666B (zh) | 一种面向云平台的混合结构数据高性能存储、查询方法 | |
Whitman et al. | Spatial indexing and analytics on Hadoop | |
CN105528367B (zh) | 基于开源大数据对时间敏感数据的存储和近实时查询方法 | |
CN103561133B (zh) | 一种ip地址归属信息索引方法及快速查询方法 | |
CN110291518A (zh) | 合并树无用单元指标 | |
WO2017096892A1 (zh) | 索引构建方法、查询方法及对应装置、设备、计算机存储介质 | |
CN108205562B (zh) | 地理信息系统的定位数据存储、检索方法及其装置 | |
CN109255055A (zh) | 一种基于分组关联表的图数据存取方法和装置 | |
CN108009265B (zh) | 一种云计算环境下的空间数据索引方法 | |
CN106933833A (zh) | 一种基于空间索引技术的位置信息快速查询方法 | |
CN106599040A (zh) | 一种面向云存储的分层索引方法与检索方法 | |
CN101587484B (zh) | 一种基于T-lt树的主存数据库的索引方法 | |
CN102156739A (zh) | 海量闪电数据的gis平台处理方法 | |
CN108268614A (zh) | 一种森林资源空间数据的分布式管理方法 | |
CN106528756B (zh) | 一种基于时空关联性的网络地图数据组织方法 | |
CN116610672A (zh) | 一种基于时空编码的空管数据分布式存储与快速查询方法 | |
CN102004771A (zh) | 基于动态裁剪的移动对象反向近邻查询方法 | |
Li et al. | Efficient path query processing over massive trajectories on the cloud | |
CN107291875B (zh) | 一种基于元数据图的元数据组织管理方法和系统 | |
CN102436453B (zh) | 一种父子维的处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 100830 No. 28 Lianhuachi West Road, Haidian District, Beijing Applicant after: Ministry of Natural Resources Land Satellite Remote Sensing Application Center Address before: 100830 No. 28 Lianhuachi West Road, Haidian District, Beijing Applicant before: Satellite Surveying and Mapping Application Center, NASG |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |