CN111104457A - 基于分布式数据库的海量时空数据管理方法 - Google Patents

Abstract

本发明提供了一种基于分布式数据库的海量时空数据管理方法，该方法包括以下步骤：步骤S1，对时空数据的区域进行分片：基于地理格网的划分规则将时空数据进行格网离散，并将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引；步骤S2，将时空数据的索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码构成；步骤S3，设计时空数据的存储表，并将时空数据导入分布式数据库中，通过综合考虑地理格网的编码原理和规则，在保证数据空间相关性的同时将时空数据均匀离散地存储到了各个数据库节点上，均衡了各个节点的负载；另外，将空间、时间关系紧密的数据存储到了更为接近的位置，提高数据的读写效率。

Description

基于分布式数据库的海量时空数据管理方法

技术领域

本发明属于地理信息系统数据处理技术领域，具体地涉及一种基于分布式数据库的海量时空数据管理方法。

背景技术

随着时空数据全面迈向“大数据”时代，数据的存储模式也进入了“集群管理”时代。使用分布式数据库存储时空数据是广泛采用的时空数据存储方案。分布式数据库采用可扩展的系统架构，整合了集群中各节点的存储和计算资源，通过利用多台存储服务器分担存储负荷，位置服务器定位存储信息，可以满足对时空大数据的高效存储和快速访问。此外，在分布式数据库中，常将一组或几组的数据按顺序连续排列在一起，形成数据库管理的块状基本单元，我们将这种块状单元统称为数据块。将数据块作为数据组织和管理的基本单元，可以实现对数据的高效存储和管理，满足时空大数据的存储和管理需求。因此，越来越多的研究人员将分布式数据库应用到了时空数据的存储领域中。

用分布式数据库存储时空数据时，为了减轻数据库的存储压力，常将原本庞大的时空数据拆分成细粒度的空间单元存储到不同的数据节点中，实现对海量时空数据的连续存储和快速访问。这种存储模式核心思想是利用格网和空间填充曲线对地理空间进行连续分割格网划分和统一编码，再将时空数据装载在单元格中并离散存储于分布式数据库中。这样的存储思想充分考虑到了数据之间的空间相关性，基于各种空间编码为数据设计时空索引，将空间相关性高的数据存储在相近的位置，提高了查询效率。L.Wang等人将HBase应用到遥感影像的存储中，并引入了GeoSot来作为第一索引编码，实现遥感影像的高效存储。A.Fox等人在Accumulo中存储时空点数据和面数据，通过引入地理格网Geohash作为数据的空间键，结合数据的时间编码来索引数据，实现了数据的时空查询和有效过滤。

这些研究人员将格网编码作为第一索引依据来存储时空数据，从而将空间相关性强的数据存储到相近的位置，提高数据获取的效率。但是，分布式数据库节点间的负载均衡和数据的组织模式却往往没得到应有的重视。这样的存储设计存在两个问题。首先，局部区域的数据由于具有相似的索引而存储过于集中，读写请求只集中于集群中的部分节点上，节点间的请求负载不均衡，进而影响到数据的读写效率。其次，由于数据以所处格网的空间编码为主要依据排序，随着时序数据的增加，某一空间范围下，处于同一采集时间节点下的数据的物理存储距离变远。而时空数据的查询又常以某一空间范围、某一时间范围为基本条件，因此这样的数据组织方式会增加目标数据的定位耗时。因此，在存储时空数据时，在保证空间相关性的前提下，如何确保分布式数据库各个节点的负载均衡，根据应用情景合理组织时空数据的存储模式是亟待解决的问题。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种能够保证分布式数据库各个节点的负载均衡并且能数据组织和排序模式合理的基于分布式数据库的海量时空数据管理方法。

本发明提供了一种基于分布式数据库的海量时空数据管理方法，其特征在于，包括以下步骤：步骤S1，对时空数据的区域进行分片：根据精度需求，并基于地理格网的划分规则将时空数据进行格网离散，并将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引；步骤S2，根据业务需求为时空数据设计索引结构：将索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码构成；步骤S3，设计时空数据的存储表，并将时空数据导入到分布式数据库中。

在本发明提供的基于分布式数据库的海量时空数据管理方法中，还可以具有这样的特征，其中，分区编码用于确定数据所存储的数据节点，在步骤S2中，分区编码为根据地理格网的编码特征生成得到。

在本发明提供的基于分布式数据库的海量时空数据管理方法中，还可以具有这样的特征，其中，倒排时间用于将同一空间位置的数据按时间排序，在步骤S2中，倒排时间通过如下公式计算得到：

Rt＝Pt-St

式中，Rt为倒排时间，St为标准时间值，Pt为时空数据产生的Long型时间。

在本发明提供的基于分布式数据库的海量时空数据管理方法中，还可以具有这样的特征，其中，时间编码用于控制数据的组织和排序方式，在步骤S2中，时间编码的生成过程为：首先将某一时间作为数据管理的初始时间；其次，将某一特定的时间序列长度作为基本时间单元；最后，根据数据采集时间和初始时间的差值所包含的基本时间单元的数量来求得该数据的时间编码。

在本发明提供的基于分布式数据库的海量时空数据管理方法中，还可以具有这样的特征，其中，时间编码基于倒排时间得到，通过如下公式计算得到：

式中：Rt为时空数据的倒排时间，C为Long型的基本时间单元长度。

在本发明提供的基于分布式数据库的海量时空数据管理方法中，还可以具有这样的特征，其中，地理编码用于将空间相关性高的时空数据组织到相近的位置，在步骤S2中，地理编码根据格网编码算法生成得到。

发明的作用与效果

根据本发明所涉及的基于分布式数据库的海量时空数据管理方法，首先，对时空数据的区域进行分片：根据精度需求，并基于地理格网的划分规则将时空数据进行格网离散，并将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引；然后，根据业务需求为时空数据设计索引结构：索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码构成；最后，设计时空数据的存储表，并将时空数据导入到分布式数据库中，本发明综合考虑了地理格网的编码原理和规则，在保证了数据空间相关性的同时将时空数据均匀离散地存储到了各个数据库节点上，均衡了各个节点的负载；同时，针对时空数据的使用场景特点，将空间、时间关系紧密的数据存储到了更为接近的位置，可以提高数据的读写效率。

附图说明

图1是本发明的实施例中基于分布式数据库的海量时空数据管理方法的动作流程图。

图2是本发明的实施例中时空数据索引结构构成示意图。

图3是本发明的实施例中Google S2编码的数据结构图。

图4是本发明的实施例中分区编码的生成规则示意图。

具体实施方式

下面通过实施例的方式进一步说明本发明，但并不因此将本发明限制在所述的实施例范围之中。

<实施例>

图1是本发明的实施例中基于分布式数据库的海量时空数据管理方法的动作流程图。

如图1所示，在本实施例中，基于分布式数据库的海量时空数据管理方法是一种利用分布式数据库高效存储和管理时空大数据的方法，时空数据的空间索引通过地理格网确定，如Google S2，Geohash等。时间索引则为数据的采集时间。主要解决的是考虑时空数据空间相关性的基础上，如何保证分布式数据库各个节点的负载均衡。同时，针对具体的应用场景，设计合理的数据组织和排序模式。具体包含以下步骤：

步骤S1，对时空数据的区域进行分片：根据实际应用的精度需求，以地理格网的划分规则为基础来将时空数据进行格网离散，将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引。

步骤S2，根据业务需求为时空数据设计索引结构：根据实际的业务需求，为时空数据设计合适的索引结构。

图2是本发明的实施例中时空数据索引结构构成示意图。

如图2所示，为便于直观展示数据的组织和分布原理，忽略额外的业务条件，将时空数据的索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码五个部分构成。

分区编码用于确定数据所存储的数据节点，在步骤S2中，分区编码为根据地理格网的编码特征生成得到。由于地理格网本质上是通过空间填充曲线生成的，而空间填充曲线又是由若干个相同的基本单元经过一定的旋转和连接所得的，因此这些基本单元的编码具有一定的相似性。利用这种编码的相似性来将数据均匀离散的存储到各个数据节点上。

倒排时间用于将同一空间位置下数据的按时间排序。在步骤S2中，时空数据的倒排时间Rt通过公式(1)计算得到：

Rt＝Pt-St (1)

式中：St为标准时间值，是一个Long型常数。如存储遥感影像数据时，St取值为第一幅遥感影像生产时间的标准时间值；Pt为时空数据产生的Long型时间。

时间编码用于控制数据的组织和排序方式。在步骤S2中，时间编码的生成过程为：首先将某一时间作为数据管理的初始时间，一般选择有实际意义的时间，比如首个数据的采集时间。其次，将某一特定的时间序列长度作为标准时间跨度，称之为基本时间单元。在时空数据的存储和管理中，建议以“年”、“月”、“旬”或“周”为基本时间单元。最后，根据数据采集时间和初始时间的差值所包含的基本时间单元的数量来求得该数据的时间编码。时间编码基于倒排时间得到，具体计算方式如公式(2)所示。

式中：Rt为时空数据的倒排时间，C为Long型的基本时间单元长度，如以“周”为一个基本时间单元时，C的取值为7天对应的Long型时间序列大小。

地理编码用于将空间相关性高的时空数据组织到相近的位置，其生成方式由格网编码算法所得。

唯一编码用于确定数据的唯一性，通常通过数据的唯一标识生成。

步骤S3，设计时空数据的存储表，并将时空数据导入到分布式数据库中。

基于上述基于分布式数据库的海量时空数据管理方法的技术方案，以下以48景GF1遥感影像为例具体说明。

为了更好的进行说明，选择的遥感影像均处于洱海区域附近，选择优秀的分布式数据库HBase作为数据库，节点数为4，选择Google S2作为遥感数据的空间索引基准。具体的实施流程步骤如下：

步骤S1，针对遥感影像的特殊性，以Google S2为基准对遥感影像进行切片处理。Google S2等级为11级，每个切片大小为512*512，切片总数为111680。将切片所处的GoogleS2格网编码作为该切片的地理编码，用于空间索引。

步骤S2，根据HBase的索引机制，设计合理的rowkey结构。Rowkey由五部分构成，分别是：分区编码、时间编码、地理编码、倒排时间和唯一编码。

图3是本发明的实施例中Google S2编码的数据结构图。

步骤S2.1，分区编码的生成。分区编码用于确定遥感切片数据所存储的HBase节点。分区编码是根据Google S2的编码规则得到的，Google S2编码的数据结构如附图3所示。生成方法：首先选取Google S2编码的标志位之前的长度为l的二进制串N，l由式(3)获得。之后，我们选择长度为l的二进制串R来和N进行与运算获得映射二进制串H’，R由式(4)获得。最后，我们通过分区数M的取值来获得最终的空间编码H。当分区数M＝4ⁿ(n＝1,2…)时，H＝H’。当分区数M≠4ⁿ(n＝1,2…)时，截取H’中不包含首位的二进制子串作为空间编码H。

式中，M为数据表的分区数，分区数和节点数一致，取值为M＝2ⁿ，(n＝1,2,3…)

图4是本发明的实施例中分区编码的生成规则示意图。

如图4所示，分别列举了分区数为4和8时分区编码的生成过程。

步骤S2.2，倒排时间的生成。倒排时间用于将同一空间位置下数据的按时间排序。时空数据的倒排时间Rt通过公式(1)计算。公式(1)中，St为标准时间值，是一个Long型常数，本实施例中St取值为第一幅遥感影像生产时间的标准时间值。Pt为遥感影像的生成时间centertime。

步骤S2.3，时间编码的生成。时间编码用于控制数据的组织和排序方式。时间编码的生成方式如下。将第一幅卫星影像的采集时间作为数据管理的初始时间，将“月”作为基本时间单元。根据遥感影像数据采集时间和初始时间的差值所包含的基本时间单元的数量来求得该遥感切片数据的时间编码。公式(2)所示，式中C的取值为30天对应的Long型时间序列大小。

步骤S2.4，Google S2编码的生成。Google S2编码越相似，代表切片之间的空间相关性越高，应该组织到相近的位置。综合考虑GF1影像的分辨率和每个切片的大小，选择Google S2编码的生成等级为11级。

步骤S2.5，唯一编码的生成。唯一编码用于确定数据的唯一性，通常通过数据的唯一标识生成。在本实施例中，选择GF1影像的产品号来作为唯一编码，产品号可以确保遥感影像的唯一性，能满足唯一编码的应用目的和要求。

步骤S3，设计遥感切片存储的存储表。数据表结构由两个列族构成，一个列族存储影像的波段数据值，以byte[]数组的形式存储。另一个列族存储切片的空间信息，如仿射变换参数、地理坐标系等。据HBase的Region划分和负载均衡规则，在导入切片数据之前，需要先进行预分区。从而将属于一阶Hilbert曲线的相同拐点的切片数据存储到一个节点上。这些相同拐点的切片数据的Google S2编码具有相似的部分编码后缀，根据这个后缀的取值来控制数据落入的节点。将数据表进行预分区，预分区数为4，分区rowkey范围分别为[—，00|)，[00|，01|)，[01，10|)，(10|，—)。在完成对数据表的预分区后，构造切片数据的导入集合，将输入导入到分布式数据库HBase中。

实施例的作用与效果

根据本实施例所涉及的基于分布式数据库的海量时空数据管理方法，首先，对时空数据的区域进行分片：根据精度需求，并基于地理格网的划分规则将时空数据进行格网离散，并将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引；然后，根据业务需求为时空数据设计索引结构：索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码构成；最后，设计时空数据的存储表，并将时空数据导入到分布式数据库中，本实施例综合考虑了地理格网的编码原理和规则，在保证了数据空间相关性的同时将时空数据均匀离散地存储到了各个数据库节点上，均衡了各个节点的负载；同时，针对时空数据的使用场景特点，将空间、时间关系紧密的数据存储到了更为接近的位置，可以提高数据的读写效率。

本实施例方法在同一硬件基础上，相对于常规的基于地理格网存储空间数据的方法，可以最大程度上发挥数据库的性能，均衡分布式数据库各个节点的负载压力提升数据库的抗压能力，提高时空数据的读写性能；同时，针对实际的数据使用场景来设计时空数据在数据库中的排列和分布模式，提高了数据的读写性能你，在时空数据的存储和管理场景中具有重要的实际意义。

本发明适用于基于地理格网的分布式存储场景下，具体实施时，可以根据采用的地理格网和分布式数据库特征，设计计算机软件技术实现自动运行流程。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (6)

1.一种基于分布式数据库的海量时空数据管理方法，其特征在于，包括以下步骤：

步骤S1，对时空数据的区域进行分片：根据精度需求，并基于地理格网的划分规则将时空数据进行格网离散，并将时空数据所处的地理格网的地理空间编码作为时空数据的空间索引；

步骤S2，根据业务需求为时空数据设计索引结构：将所述索引结构设计为由分区编码、时间编码、地理编码、倒排时间和唯一编码构成；

步骤S3，设计时空数据的存储表，并将时空数据导入到分布式数据库中。

2.根据权利要求1所述的基于分布式数据库的海量时空数据管理方法，其特征在于：

其中，所述分区编码用于确定数据所存储的数据节点，

在所述步骤S2中，所述分区编码为根据地理格网的编码特征生成得到。

3.根据权利要求2所述的基于分布式数据库的海量时空数据管理方法，其特征在于：

其中，所述倒排时间用于将同一空间位置的数据按时间排序，

在所述步骤S2中，所述倒排时间通过如下公式计算得到：

Rt＝Pt-St

式中，Rt为所述倒排时间，St为标准时间值，Pt为时空数据产生的Long型时间。

4.根据权利要求3所述的基于分布式数据库的海量时空数据管理方法，其特征在于：

其中，所述时间编码用于控制数据的组织和排序方式，

在所述步骤S2中，所述时间编码的生成过程为：首先将某一时间作为数据管理的初始时间；其次，将某一特定的时间序列长度作为基本时间单元；最后，根据数据采集时间和初始时间的差值所包含的基本时间单元的数量来求得该数据的所述时间编码。

5.根据权利要求4所述的基于分布式数据库的海量时空数据管理方法，其特征在于：

其中，所述时间编码基于所述倒排时间得到，通过如下公式计算得到：

式中：Rt为时空数据的所述倒排时间，C为Long型的基本时间单元长度。

6.根据权利要求5所述的基于分布式数据库的海量时空数据管理方法，其特征在于：

其中，所述地理编码用于将空间相关性高的时空数据组织到相近的位置，

在所述步骤S2中，所述地理编码根据格网编码算法生成得到。

Images