CN108628951A

CN108628951A - 基于文档模型的空间数据块状组织存储与化简压缩方法

Info

Publication number: CN108628951A
Application number: CN201810294069.8A
Authority: CN
Inventors: 崔登吉
Original assignee: Suzhou Map Data Technology Co Ltd
Current assignee: Suzhou Map Data Technology Co Ltd
Priority date: 2018-04-03
Filing date: 2018-04-03
Publication date: 2018-10-09

Abstract

本发明公开了一种基于文档模型的空间数据块状组织存储与化简压缩方法，其针对文档型数据库设计了大规模空间数据组织、压缩与存储方案，基于非关系文档存储模型，将索引叶子节点内全部对象通过嵌套方式映射到同一文档中，实现节点内空间邻近对象的物理连续存储，即块状组织存储。嵌套文档内部实现属性数据与几何数据一体化存储，支持空间与属性的直接相互检索。以块为要素几何数据的化简压缩单元，以节点中心坐标为参照点，采用数据存储精度为控制参数，实现了单元内部对象的整体编码化简压缩。这种组织存储方式，降低了空间数据的压缩比，减少了大规模空间数据访问时的I/O跳跃、保障了I/O的连续性，实现了大规模空间数据的高效存取。

Description

基于文档模型的空间数据块状组织存储与化简压缩方法

技术领域

本发明涉及空间数据库、空间数据组织存储领域，具体为一种基于文档模型的空间数据块状组织存储与化简压缩方法。

背景技术

空间数据是对地理空间中地理对象或现象及其关系的数字化表达，具有典型的空间定位和非结构化特征。空间数据的组织存储是查询、分析、可视化与共享发布的基础。当前，数据库已成为空间数据存储的主要场所，数据库技术的快速发展为空间数据的存储提供了支撑。空间数据模型是对地理对象及其相互关系的描述与表达，作为地理对象以空间数据形式映射到数据库的桥梁，为空间数据库设计提供了基础。空间数据按其模型可划分为矢量数据与栅格数据两种基本类型。栅格数据因结构较为规则，其组织存储与化简压缩方法已较为成熟。矢量数据由于空间关系复杂，具有空间邻近性和非结构化特征，其组织存储与化简压缩是空间数据库的关键技术。

随着智慧城市的快速推进，物联网、移动定位技术和基于位置服务(LocationBase Service，LBS)的迅速发展，空间数据呈现出爆炸式增长，面对这些体量庞大、增量迅速，以多维域和非结构化为特征的空间大数据，现有空间数据库存储系统出现了查询与访问效率低下、存储与传输成本过高等一系列问题。发明新型空间数据组织存储与化简压缩技术是解决这些问题的关键。

当前空间数据主要依赖于关系型数据库或对象关系型数据库进行存储，由于关系模型的离散化组织和结构化存储与空间数据的空间邻近性和非结构化之间的矛盾，使得关系型数据库在大数据时代背景下，难以支撑大规模空间数据的高效存取，且云计算框架下，关系型数据库很难进行横向扩展，无法通过简单的添加硬件节点来提高系统性能。近年来，非关系型(NoSQL)数据存储系统因其灵活的扩展性、高可用性、高并发读写能力及开源等特性得到迅速的发展，成为云计算环境下典型的数据存储系统，为解决这些问题提供了良好的技术基础和可行方案。

NoSQL数据存储系统按数据模型的不同可划分为键值对(Key-Value)模型、列存储(Column-Family)模型和文档存储(Document-Store)模型三类。键值对模型和列存储模型由于不支持非主键查询，这种模型下主键的设计与空间查询都受到较大的限制，比较适合用于结构相对规则的栅格和影像数据的存储，难以设计顾及空间数据基本特性的矢量空间数据组织存储方案。文档模型以键值对模型为基础，每个文档都是自包含的数据单元，以多组键值对的集合形成循环嵌套的结构。对象可以使用JSON或BSON等多种形式存储。文档模型与键值对模型和列存储模型不同是值(Value)具有明确的类型，且能够支持非主键的索引与查询。文档模型的模式自由为空间数据的组织与非结构化存储提供了有力支撑。所以文档存储模型成为当前最为适合矢量空间数据组织存储的非关系模型。

在新技术背景下，空间数据组织存储方式呈现由关系型向非关系型数据库迁移的趋势。现有基于文档模型的空间数据存储方式中属性数据进行直接存储、空间数据采用GeoJSON格式进行存储。这种方式的优点是属性数据与几何数据一体化存储，不需要额外的连接，避免了属性与几何分开存储带来的一致性维护和连接问题。但GeoJSON格式存储无法对几何数据进行压缩，导致存储空间的增加，进而影响数据检索与访问的性能。当前基于文档模型的组织存储方式并没有解决空间数据的离散化组织问题，且非关系模型在无共享的本地存储模式下，表现出的最大特点就是存储系统的随机访问特性，这种随机访问特性极大的限制了大规模地理数据的存取性能。

由此可见，当前基于文档模型的空间数据组织存储存在以下突出问题：①非关系模型的随机访问特性和离散化组织方式，不可避免的带来存储系统的随机读写(I/O)操作，导致难以支持大规模空间数据的高效存取；②采用GeoJSON格式存储无法实现几何数据的压缩，增加了存储成本，限制了网络传输效率。

发明内容

本发明要解决的技术问题是：基于文档存储模型，克服现有技术的离散化组织和无法压缩的缺点，提出一种面向文档型数据库的矢量空间数据的块状组织存储与化简压缩方法，旨在实现大规模矢量数据的高效存取。

本发明的技术方案是提供一种基于文档模型的空间数据块状组织存储与化简压缩方法，其特征在于：其包括：

基于文档模型提供空间数据的块状组织方式和非结构化存储模型，用于空间数据的组织存储；在块状组织存储的基础上提供空间数据的化简压缩方法，用于空间数据的化简压缩；

当空间数据需要存储时，所述方法包括如下步骤：

S1：从文件或数据库中读取待入库数据集的元数据信息，主要包括但不限于数据集名称、数据集类型、数据集范围、坐标系信息、要素数等。将这些元数据信息组织成元数据文档对象，写入到元数据信息集合中；

S2：读取待入库数据集的要素，选取一种空间索引方式，设置合理的节点容量和利用率等参数，在入库缓存中构建空间索引。其中，空间索引方式可以采用但不限于如下索引：R树索引及其变种、STR树索引、四叉树索引、空间填充曲线索引等；

S3：获取S2中空间索引的叶子节点，读取节点的唯一值键(ID)、最小外包矩形(MinimumBounding Rectangle，MBR)等描述信息，并计算节点MBR的中心点坐标(Center Point，CP)；

S4：新建文档对象，生成文档对象的唯一值键，将S3中获取的节点MBR和CP存储到文档对象的元数据域，创建要素存储的对象数组并写入文档对象的数据域，形成块状组织存储框架；

S5：依次读取S3中叶子节点的要素数据，构建要素存储子对象，将要素的属性数据使用键值对形式存储到对象的属性域，将要素的几何数据以使用编码压缩的变长二进制形式存储到对象的空间域，并将新建的要素存储子对象添加到S4文档的对象数组中；遍历叶子节点的所有要素，将索引的叶子节点映射为一个完整的文档对象，完成块状组织存储的一个文档“块”存储；

S6：依次遍历数据集S2空间索引的所有叶子节点，重复步骤S3、S4、S5完成整个空间数据集要素的块状组织存储与化简压缩，并将S2空间索引结构序列化存储到S1元数据信息集合中。

进一步的，所述步骤S4中新建文档对象，生成文档唯一值键，组织文档元数据域，创建文档数据域，形成块状组织存储框架，其特征包括以下步骤：

S4-1：文档对象唯一值键的生成步骤可直接使用索引节点ID作为文档对象的唯一值键，通过ID实现空间索引与文档对象的映射；

S4-2：文档对象的元数据域，使用子对象的形式组织存储但不限于节点的MBR和CP等元数据信息。其中，MBR使用最小角点(MinX、MinY)和最大角点(MaxX、MaxY)表示，CP使用(CenterX，CenterY)表示；

S4-3：文档对象的数据域，使用对象数组形式存储存储要素数据，数组的大小等于节点要素数，每个对象由属性域和空间域构成。唯一值键、元数据域、数据域，数据域又包含要素属性域和要素空间域，共同组成文档模型的块状组织存储结构。

进一步的，所述步骤S5中，遍历索引叶子节点，组织构建包含属性域和空间域的要素存储子对象，完成叶子节点到文档对象的映射，其特征包括以下步骤：

S5-1：读取要素数据，新建要素存储对象，将要素FID作为要素对象的唯一键值，针对线面类型要素，要素对象结构预留几何数据MBR存储域；

S5-2：读取要素属性数据，使用键值对形式存储属性字段和属性值，依次写入要素对象的属性域；

S5-3：读取要素空间几何数据，以数据存储精度为控制参数，以节点中心坐标CP为参照基准，以节点为基本单元，对要素的几何数据和线面要素的MBR进行组内编码压缩，将编码压缩后的几何数据以变长二进制形式存储到要素对象的空间域，将编码压缩后的MBR数据以变长二进制形式存储到S51中预留MBR存储域；

S5-4：遍历整个叶子节点，重复步骤S5-1、S5-2、S5-3将全部要素用同样的方式映射到对象数组中，完成节点到文档块的组织存储。

进一步的，所述步骤S5-3中对几何数据和MBR的编码压缩存储，其特征包括以下步骤：

S5-3-1：确定精度控制参数，根据不同应用场景，采用但不限于以下方式计算精度参数：以原始数据误差的倒数为精度参数进行无损级别的编码压缩、以渐进传输中化简比例为精度参数进行渐进编码压缩、以数据可视化的像素精度为控制参数进行无损显示级别的编码压缩；S5-3-2:使用精度控制参数的倒数，将节点中心坐标CP和要素几何数据从浮点型数据转为整型数据，以无损级别控制参数为例，转换公式如下：

设L为几何数据中包含N_V个顶点的线对象，V＝{V₁，V₂，….V_NV}，顶点V_i的坐标为[X_i＇,Y_i＇]，X_i的最高精度为10^-p，Y_i的最高精度为10^-q，p、q为数据固有误差精度，将空间对象L的每个顶点进行量化，可以得到与原有精度保持一致的整型坐标[X_i′,Y_i′]，

p、q分别是数据的X、Y坐标精度，为简便起见下文仅以X坐标为例说明；

S5-3-3:以节点中心坐标CP为参照基准，充分利用组内要素的空间邻近性，对每个要素几何坐标进行差分，只存储增量数据。以线要素为例，处理后几何数据的存储结构如下SV所示：

以对象L为例，差分存储序列如下：

SX₁＝X′₁

SY₁＝Y′₁

SX_i＝X′_i-X′_i-1其中i＝2....NV

SY_i＝Y′_i-Y′_i-1其中i＝2....NV

设SV为V的存储结构：

SV＝{V₁，V₂-V₁，V₃-V₂，...，V_NV-V_NV-1}

S5-3-4:将S533距离增量存储转为二进制序列，将二进制序列左移1位，如果原值为负数则求反码，按7位一组进行划分，最后一组位数不足的前面补零，除最后一组外全部与0x80进行或操作，最后将每组转换为ASCII对应的编码，存储到要素对象的空间域；

以坐标值118.916089为例，设数据精度为10^-5，则X＝118.916089，p＝5；放大后向下取整得：

转为32位二进制值：

00000000 10110101 01110011 10011001

将二进制值左移一位(去掉符号位)：

00000001 01101010 11100111 00110010

将二进制值从低位开始每7位一组进行分块，最后一组值加128即与0x80进行“或”操作：0000101 10101011 10011100 110010

然后对二进制串进行字符编码。

与现有技术相比，本发明具有如下优点和有益效果：

本发明基于文档模型，将索引叶子节点内全部对象通过嵌套方式映射到同一文档中，实现节点内空间邻近对象的物理连续存储，即块状组织存储。这种相邻相近的组织存储方式，减少了批量数据访问的I/O跳跃，保障了批量数据访问的I/O连续性，有效提升了大规模空间数据访问的效率，为地图实时渲染和复杂空间分析等应用场景提供了良好的技术支撑。

本发明块状组织存储模式下，嵌套文档的外层记录存储节点块的元数据信息，能够支持节点级别索引构建，实现高效的粗过滤检索。嵌套文档内部实现属性数据与几何数据一体化存储，且属性数据的直接存储可支持特定属性上的二级索引机制，支持空间与属性的无需额外连接的相互检索，同时，避免了属性与几何的同步问题。

本发明块状组织存储模型作为对象几何数据的化简压缩单元，以节点中心坐标为参照点，采用数据存储精度为控制参数，实现了单元内部对象的整体编码化简压缩，更大限度的降低数据冗余，有效降低了几何数据的压缩比，实现了批量数据操作的高效读取与传输。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明空间数据组织存储流程图；

图2为本发明空间数据组织存储文档映射结构示意图；

图3为本发明空间数据要素存储结构示意图；

图4为本发明空间数据几何数据编码压缩流程图；

图5为本发明空间数据块状组织物理存储示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，如有术语“中心”、“上”、“下”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面首先结合附图具体描述根据本发明实施例的基于文档模型的空间数据块状组织存储与化简压缩方法。

如图1至图5所示，鉴于现有的空间数据管理系统存储结构化与组织离散化带来的缺点，本发明基于文档存储模型，提出一种面向文档型数据库的矢量空间数据的块状组织存储与化简压缩方法，实现大规模矢量数据的高效存取。图1为本发明空间数据组织存储流程图，如图所示，针对空间数据集的组织存储，首先是空间索引构建，构建空间索引的过程是将空间数据集进行块状空间划分的过程，由于兼顾多目标的空间划分是个NP-Hard问题，本发明并不试图给出完美的多目标约束的空间划分方法，所以并没有限定采用何种空间索引方法，而是针对空间划分后的结果，从组织、存储、压缩三项关键技术入手，实现了空间数据的块状(相邻相近)组织存储和块内的低压缩比化简压缩算法，有效减少了大规模空间数据存取时存储系统I/O的跳跃，降低了大规模空间数据网络传输代价，提高了效率大规模空间数据的存取效率。

索引构建完成后，进入本发明的关键步骤：基于构建的索引结构将空数据集映射为块状组织存储模型，如图2为本发明空间数据组织存储文档映射结构示意图。从索引的叶子节点层开始，将索引叶子节点包含的全部要素逐一映射到嵌套的块状文档存储结构中。这样将一个叶子节点组织存储到一个具体的文档结构内，从机制上保障了同一节点所有要素的物理上连续存储，对比现有技术方法(索引叶子节点存储指向要素的存储指针，查询要素时通过指针访问物理上离散存储的要素)本发明的组织存储方式有效减少了数据存取的I/O跳跃次数，从模型上保障了数据存取I/O的连续高效。

如图2中组织存储结构示意图所示，块状组织存储模型最外层元数据域是节点元数据信息的存储，存储元数据信息可以有效提高数据整体查询访问效率，具体应用中，可以在元数据域上构建用于加速查询空间索引，同样，元数据域可以加速空间操作的粗过滤过程，例如窗口相交查询操作时，可分三种情况进行处理①查询窗口与元数据域MBR相离的可以直接整组剔除要素，无需访问解压块内要素数据；②查询窗口包含元数据域MBR的可以直接整组访问雅俗，无需访问解压块内数据；③查询窗口与元数据域MBR相交的则需要访问块内要素数据。

如图3所示为块内要素数据的组织存储结构示意图，本发明在非结构化存储模型的基础上，将空间数据要素存储结构划分为元数据域、属性域和空间域。实现了空间要素数据的非结构化统一存储。该存储方式，既可以实现块内属性的直接索引和查询，又实现了空间几何数据和属性数据的统一，避免了空间几何数据与属性数据的一致性维护问题。同时，元数据域还存储了线面复杂几何要素的MBR以加快块内要素数据的访问。

与现有对象存储、WKT(Well Known Text)、WKB(Well Known Binary)等方式相比，本发明要素存储技术以块为基本压缩单元，最大化实现了空间几何数据的压缩，为数据的高效传输提供了基础支撑。如图4所示，为本发明实现块内几何数据化简压缩流程。节点内要素空间几何数据使用节点中心点坐标进行差分增量存储后，通过变长字符编码压缩后，进行空间几何数据的存储。该压缩存储方式降低了组内要素几何数据的冗余，实现空间数据的高效压缩。

如图5所示，为本发明一个索引叶子节点映射到文档模型后的物理存储示意图，一个完整的物理存储结构包含元数据域和数据域，其中数据域使用数组的形式将节点内所有要素打包存储到要素数据域的对象数组内。

根据上述五个关键步骤的说明，可以基于现有文档型数据库实现空间数据的组织存储和化简压缩，提高访问大规模空间数据的效率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在不脱离本发明的原理和宗旨的情况下在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种基于文档模型的空间数据块状组织存储与化简压缩方法，其特征在于：其包括：

基于文档模型提供空间数据的块状组织方式和非结构化存储模型，用于空间数据的组织存储；

在块状组织存储的基础上提供空间数据的化简压缩方法，用于空间数据的化简压缩；

当空间数据需要存储时，所述方法包括如下步骤：

S1：从文件或数据库中读取待入库数据集的元数据信息，主要包括但不限于数据集名称、数据集类型、数据集范围、坐标系信息、要素数等，将这些元数据信息组织成元数据文档对象，写入到元数据信息集合中；

S2：读取待入库数据集的要素，选取一种空间索引方式，设置合理的节点容量和利用率等参数，在入库缓存中构建空间索引，其中，空间索引方式可以采用但不限于如下索引：R树索引及其变种、STR树索引、四叉树索引、空间填充曲线索引等；

2.根据权利要求1所述的基于文档模型的空间数据块状组织存储与化简压缩方法，其特征在于：所述步骤S4中新建文档对象，生成文档唯一值键，组织文档元数据域，创建文档数据域，形成块状组织存储框架，其特征包括以下步骤：

S4-2：文档对象的元数据域，使用子对象的形式组织存储但不限于节点的MBR和CP等元数据信息，其中，MBR使用最小角点(MinX、MinY)和最大角点(MaxX、MaxY)表示，CP使用(CenterX，CenterY)表示；

S4-3：文档对象的数据域，使用对象数组形式存储存储要素数据，数组的大小等于节点要素数，每个对象由属性域和空间域构成，唯一值键、元数据域、数据域，数据域又包含要素属性域和要素空间域，共同组成文档模型的块状组织存储结构。

3.根据权利要求1所述的基于文档模型的空间数据块状组织存储与化简压缩方法，其特征在于：所述步骤S5中，遍历索引叶子节点，组织构建包含属性域和空间域的要素存储子对象，完成叶子节点到文档对象的映射，其特征包括以下步骤：

4.根据权利要求3所述的基于文档模型的空间数据块状组织存储与化简压缩方法，其特征在于：所述步骤S5-3中对几何数据和MBR的编码压缩存储，其特征包括以下步骤：

S5-3-1：确定精度控制参数，根据不同应用场景，采用但不限于以下方式计算精度参数：以原始数据误差的倒数为精度参数进行无损级别的编码压缩、以渐进传输中化简比例为精度参数进行渐进编码压缩、以数据可视化的像素精度为控制参数进行无损显示级别的编码压缩；

S5-3-2：使用精度控制参数的倒数，将节点中心坐标CP和要素几何数据从浮点型数据转为整型数据，以无损级别控制参数为例，转换公式如下：

设L为几何数据中包含N_V个顶点的线对象，V＝{V₁，V₂，....V_NV}，顶点V_i的坐标为[X_i′，Y_i′]，X_i的最高精度为10^-p，Y_i的最高精度为10^-q，p、q为数据固有误差精度，将空间对象L的每个顶点进行量化，可以得到与原有精度保持一致的整型坐标[X_i′，Y_i′]，

X_i′＝[X_i×10^p+0.5]

Y_i′＝[Y_i×10^q+0.5]

p、q分别是数据的X、Y坐标精度，以X坐标说明；

S5-3-3：以节点中心坐标CP为参照基准，充分利用组内要素的空间邻近性，对每个要素几何坐标进行差分，只存储增量数据，根据线要素，处理后几何数据的存储结构如下SV所示：

以对象L为例，差分存储序列如下：

SX₁＝X′₁

SY₁＝Y′₁

SX_i＝X′_i-X′_i-1其中i＝2....NV

SY_i＝Y′₁-Y′_i-1其中i＝2....NV

设SV为V的存储结构：

SV＝{V₁，V₂-V₁，V₃-V₂，...，V_NV-V_NV-1}

S5-3-4：将S533距离增量存储转为二进制序列，将二进制序列左移1位，如果原值为负数则求反码，按7位一组进行划分，最后一组位数不足的前面补零，除最后一组外全部与0x80进行或操作，最后将每组转换为ASCII对应的编码，存储到要素对象的空间域；

根据坐标值118.916089说明，设数据精度为10^-5，则X＝118.916089，p＝5；放大后向下取整得：

X′＝[X×10^p+0.5]＝[118.916089×10⁵+0.5]＝11891609

转为32位二进制值：

00000000 10110101 01110011 10011001

将二进制值左移一位(去掉符号位)：

00000001 01101010 11100111 00110010

将二进制值从低位开始每7位一组进行分块，最后一组值加128即与0x80进行“或”操作：

0000101 10101011 10011100 110010

然后对二进制串进行字符编码。