CN111782742A - 一种面向大规模地理空间数据的存储和检索方法及其系统 - Google Patents

Abstract

本发明提出了一种面向大规模地理空间数据的存储和检索方法及其系统，该方法将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。本发明实现了地理空间数据多维度检索方法和快速查询过程，降低了对数据库的访问频率，加快了数据的访问速度。

Description

一种面向大规模地理空间数据的存储和检索方法及其系统

技术领域

本发明涉及地理信息技术，具体涉及一种面向大规模地理空间数据的存储和检索方法及其系统。

背景技术

地理空间数据由于其本身固有的海量、多源、异构等特点，难以进行统一的数据处理和分析。因此，基于统一时空基准对其建立规范化的组织模型，是当前地理信息系统中对多源地理空间数据进行标准化组织的有效方案。

主流的组织模型是依靠数据的空间位置对数据实现空间格网划分，建立数据分辨率由低到高、数据量由小到大的统一尺寸的金字塔数据模型。在此基础上，通过数据裁剪、镶嵌与重采样等方式，实现数据的规范化重组，并以数据的空间位置编码化的表达方式提供数据检索功能。基于该组织模型的地理信息系统，能够根据用户的场景仅调度其所需的少量瓦片数据，从而减轻网络传输压力和客户端的计算压力。然而，这种金字塔结构的存储模型在实际应用中也面临着新的问题。首先，随着层级的增加，瓦片数量呈指数型增长，如何实现对海量小文件的快速访问，权衡存储的区域相关性和热度均匀性，对数据的索引结构、存储模型以及访问方式的设计都提出了较高的要求。与此同时，由于地理空间数据通常具有空间性、抽象性、多尺度与多态性以及多时空性等特征，现有的数据在单一空间维度上的检索方案已经无法满足现如今大数据应用场景下的数据访问需求。建立涵盖空间、时间、地物要素、地理场景等属性的多维度的数据存储和检索模型，是当前地理信息系统亟待解决的又一个问题。

综上所述，目前在相关领域内缺少面向地理空间数据的高效存储和检索方案的研究，以解决海量地理空间数据获取和查询效率问题，并提供在多种维度下的快速访问能力。

发明内容

本发明的目的在于提供一种面向大规模地理空间数据的存储和检索方法及其系统。

实现本发明目的的技术解决方案为：一种面向大规模地理空间数据的存储和检索方法，包括如下步骤：

步骤1，将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；

步骤2，构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；

步骤3，根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。

进一步的，步骤1中，将地理空间数据映射到瓦片金字塔模型，具体方法为：

步骤1.1.1，根据地理空间数据的分辨率，以及表达的经纬度范围的最大、最小值，计算该地理空间数据映射到瓦片金字塔模型中的层级和该层级下的一组瓦片坐标，并将瓦片坐标统一放在迭代器中；

步骤1.1.2，对于迭代器中的某一张瓦片，将地理空间数据相应位置的像素复制到瓦片中对应的像素坐标上，得到由该地理空间数据生成的一张瓦片，通过此方式遍历步骤1.1.1中的迭代器内的瓦片坐标，实现将地理空间数据映射到瓦片金字塔；

步骤1.1.3，对地理空间数据进行重采样处理，改变图像的分辨率，重复步骤1.1.1和步骤1.1.2中的处理过程，得到完整的瓦片金字塔模型。

进一步的，步骤1中，使用空间填充曲线对瓦片金字塔进行填充，具体方法为：

步骤1.2.1，进行各个层级的填充，填充过程中，需保证曲线上任意两个临近的瓦片在同一层级下的空间位置也临近，且每一层级在填充时都要保证以左上角为起点，右上角为终点；

对于墨卡托投影坐标系统中，使用希尔伯特空间填充曲线直接填充各个层级的整个区域；对于地理坐标系统的瓦片金字塔，先将两个区域分别标识为0和1，对0区域和1区域分别使用希尔伯特空间填充曲线进行填充，再将两区域填充曲线首尾连接，完成该层级的填充；

对于两种坐标系统，完成第1层的填充后，将其作为填充过程的初始态，对第2层进行填充；依此类推，高层级的填充都是在其上一层级的填充基础上完成的，先将其均匀划分为四个子域，然后将邻近的低层级中的填充曲线复制4份分别填充到这四个子域中，并首位相接，需要注意，部分区域在填充过程中，需要对曲线进行旋转，才能保证填充过程满足要求；

步骤1.2.2，按照层级由小到大的顺序，将各个层级的空间填充曲线首位相接，形成一条完整填充了瓦片金字塔模型的空间填充曲线，如此，在瓦片金字塔中的每一张瓦片都被唯一映射到空间填充曲线上的一个节点。

进一步的，步骤1中，对空间填充曲线上的瓦片节点进行编码化表达，具体方法为：

步骤1.3.1，将瓦片节点所属层级的瓦片集合按照空间分布均匀分成四个区域，并从左上角至右下角进行横向编号，分别为一、二、三和四，则计算每个区域所包含的瓦片数量为：

tileCount＝2^2×(level-1)

其中level表示瓦片节点所属的层级。

结合填充的空间曲线的方向，计算该节点所属区域相对于起点的瓦片偏移量，设某区域在空间曲线上的顺序为n,(1≤n≤4)，则该区域内的瓦片对应的偏移量为：

tileIndex＝(n-1)×tileCount

其中tileCount为每个区域包含的瓦片数量；

步骤1.3.2，针对节点所属的区域不断重复步骤1.3.1中的过程直到子区域中包含的瓦片数量为1，将得到节点所属子区域的相对偏移量并累加，即得到瓦片节点在该层级中的编码化表达；

步骤1.3.3，根据瓦片金字塔的填充方式，对区域中的瓦片节点的编码进行校正，即在步骤1.3.2的编码结果的基础上增加偏移量，偏移量取值为当前层级下0区域所有瓦片总数，得到瓦片节点在本层级内的编码结果；

步骤1.3.4，根据不同分辨率层级上对于空间填充曲线的串联关系，对瓦片节点的编号进行校正，即在步骤1.3.3的编码结果的基础上增加偏移量，偏移量取值为小于当前层级的所有瓦片总数，得到瓦片节点在整个瓦片金字塔中的完整编码结果；

步骤1.3.5，将步骤1.3.4的编码结果使用固定数值进行整除和取余计算，即得到每个瓦片数据对应的瓦片块标识和瓦片数据在瓦片块中的偏移量，供多维结构化存储模型构建和瓦片动态检索使用。

进一步的，步骤2中，瓦片数据表包括瓦片数据键和瓦片数据值，其中：

所述瓦片数据键包括瓦片块标识BlockID、瓦片偏移量Index、数据类型Type和生成时间Time，其中瓦片块标识BlockID和瓦片偏移量Index分别为瓦片数据对应的瓦片块标识和在瓦片块中的偏移量；数据类型为地理空间数据的类型编码；生成时间为从地理空间数据中提取的粗粒度的时间属性值；

所述瓦片数据值包括元数据列簇和瓦片数据列簇，其中元数据列簇包含ID、Type、Bands、Size、Alpha共5个基本列，分别存储地理空间数据唯一标识、数据所属类别编号、数据波段信息、数据瓦片尺寸、瓦片透明度等信息；瓦片数据列簇包含PNG、JPEG、TIF、Vector共4个基本列，分别存储PNG、JPEG、TIFF格式的栅格瓦片数据和矢量瓦片数据。

进一步的，步骤2中，瓦片索引表包括瓦片索引键和瓦片索引值，其中：

所述瓦片索引键包括检索类型、检索值、数据键，使用“_”进行连接，对于时间维度索引，其检索类型为“TIME”，检索值为从数据中提取的时间属性；对于地物要素维度索引，其检索类型为“TAG_FEATURE”，检索值为从数据中提取的地物要素信息对应的分类码；对于地理场景要素维度索引，其检索类型为“TAG_SCENE”，检索值为在数据处理过程中为其增加的地理场景标记码；

所述瓦片索引值中包含一个数据键列簇，列簇中包含一个列Key，用于存储瓦片数据键，取值与索引键中的数据键部分内容一致。

进一步的，步骤3中，根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索，分为以下三类：

(1)非空间维度，即时间和属性纬度的检索条件，包括数据的时间属性、地物要素属性以及地理场景属性，生成数据查询过滤器进行数据集检索，具体方法为：

首先，根据检索条件生成瓦片索引键的前缀，包括检索类型和检索值部分，并使用瓦片索引键前缀生成索引键过滤器；同时，根据检索条件生成数据值过滤器，设置值过滤器的列名称为检索类型，值过滤器的列值为检索值；

然后，使用索引键过滤器对二级索引表进行前缀匹配查询，通过设置不同的匹配位数实现不同级别分类的查询，得到符合查询条件的数据键集合，生成数据键过滤器；

最后，使用数据键过滤器和值过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的时间和属性纬度的快速检索；

(2)空间维度的查询条件，包括经纬度范围和分辨率范围，生成数据查询过滤器进行数据集检索，具体方法为：

首先，根据空间查询条件生成一张或一组待查询的瓦片，对瓦片节点进行编码，并提取瓦片块标识BlockID作为瓦片数据键前缀，生成数据键过滤器；

然后，使用数据键过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的空间维度的快速检索；

(3)对于同时包含非空间维度和空间维度的多维检索条件，生成数据查询过滤器进行数据集检索，具体方法为：

首先，按照(1)中描述的过程，根据时间、属性纬度的检索条件生成索引键过滤器和值过滤器，并进一步得到符合时间、属性纬度检索条件的数据键集合；

然后，按照(2)中描述的过程，根据空间查询条件生成得到瓦片数据键前缀，并对上一步得到的数据键集合进行过滤，得到符合空间检索条件的新的数据键集合，生成数据键过滤器；

最后，使用数据键过滤器和值过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的多维度快速检索。

进一步的，步骤3中，在得到的数据键集合中，将空间连续的数据键进行空间聚合，提取公共的BlockID作为数据键前缀，并与对应的连续数据键进行替换，得到新的数据键集合；

进一步的，步骤3中，结合数据特性和访问热度，调整索引键前缀和/或数据键前缀的位数，实现对瓦片数据集合大小的动态调整，完成多维的动态数据集检索。

一种面向大规模地理空间数据的存储和检索系统，包括

索引编码模块，用于将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；

多维结构化存储模块，用于构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；

数据集检索模块，用于根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。

本发明与现有技术相比，其显著优点为：1)建立了空间连续的数据索引和多维的数据存储结构，实现了地理空间数据多维度检索方法和快速查询过程；2)进行动态划分的数据集检索，根据数据特性和访问热度进行数据预热，虽然牺牲了少量的内存空间，但是降低了对数据库的访问频率，加快了数据的访问速度；3)基于以上手段，本发明拓展了在地理信息系统中对海量地理空间数据的多维度、快速访问能力，在工程应用中具有较强的实用价值。

附图说明

图1是本发明地理空间数据的存储和检索方法的结构图。

图2是本发明空间连续的索引结构图，其中(a)为墨卡托投影坐标系，(b)为地理坐标系。

图3是本发明多维存储模型结构图。

图4是本发明动态尺寸的数据集检索方法示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本发明面向大规模地理空间数据的存储和检索方法，通过定义空间连续的瓦片编码，生成覆盖空间、时间、地物要素、地理场景等属性的多维度存储模型；通过支持动态划分的数据集检索方式，实现地理空间数据的高效存储和查询，如图1所示，具体步骤如下：

步骤1，构建空间连续的索引编码结构

基于空间填充曲线的思想，使用一条连续的空间填充曲线填充整个瓦片金字塔模型，实现对瓦片金字塔模型的降维。在此基础上，按照一定的编码方式对瓦片节点进行编码，使空间位置临近的数据存储在临近的存储空间中，从而保证数据在存储和检索时具有较高的效率。空间连续的索引编码结构如图2所示，基于此，进行空间连续索引编码的具体实施步骤如下：

步骤1.1，将地理空间数据映射到瓦片金字塔模型

步骤1.1.1，根据地理空间数据的分辨率，以及表达的经纬度范围的最大、最小值，计算该地理空间数据映射到瓦片金字塔模型中的层级和该层级下的一组瓦片坐标，并将瓦片坐标统一放在迭代器中；

在瓦片金字塔模型中，瓦片数据具有统一的尺寸，第0层有1或2张瓦片(墨卡托投影坐标系统和地理坐标系统下的瓦片金字塔如图2所示)。和相邻的低层级相比，高层级中的瓦片尺寸保持不变，瓦片总数增长为4倍，每个瓦片数据表达的经度范围和纬度范围上均变为原来的二分之一，每个像素表达的经纬度范围(分辨率)也同时缩小为二分之一。因此，瓦片数据分辨率的计算方法为：

其中，tileRes表示瓦片数据的分辨率，lon_max和lon_min分别表示当前坐标系统的经度范围的最大值和最小值，tileCount_lon表示沿0°纬线上整个经度范围内的瓦片数据的数量，tileSize表示瓦片数据的尺寸；

瓦片数据的坐标(层级、列号、行号)的计算方法为：

其中，row、column分别表示瓦片的行号和列号，lon、lat分别表示瓦片中心位置的经度和纬度，lon_min、lat_min分别表示当前坐标系统的经度范围和纬度范围的最小值，span_x、span_y分别表示每张瓦片所表示的经度范围和纬度范围的大小。

步骤1.1.2，对于迭代器中的某一张瓦片，将地理空间数据相应位置的像素复制到瓦片中对应的像素坐标上，得到由该地理空间数据生成的一张瓦片。通过此方式遍历步骤1.1.1中的迭代器内的瓦片坐标，实现将地理空间数据映射到瓦片金字塔。

步骤1.1.3，为了对全球范围的地理空间数据进行充分利用，可以使用图像处理工具库对地理空间数据进行重采样处理，改变图像的分辨率，重复步骤1.1.1和步骤1.1.2中的处理过程，得到完整的瓦片金字塔模型。

步骤1.2，使用空间填充曲线对瓦片金字塔进行填充

步骤1.2.1，进行各个层级的填充。如图2，在墨卡托投影坐标系统中，可使用希尔伯特空间填充曲线直接填充各个层级的整个区域；对于地理坐标系统的瓦片金字塔，由于每一层级的东西半球可以看作两个填充结果完全相同的正方形区域，因此，先将两个区域分别标识为0和1，对0区域和1区域分别使用希尔伯特空间填充曲线进行填充，再将两区域填充曲线首尾连接，完成该层级的填充。填充过程中，需保证曲线上任意两个临近的瓦片在同一层级下的空间位置也临近，且每一层级在填充时都要保证以左上角为起点，右上角为终点。

第1层作为填充过程的初始态，空间填充曲线的填充方式如图2所示，第2层的空间填充曲线的填充过程在第1层的基础上进行，依此类推。对于高层级区域，先将其均匀划分为四个子域，然后将邻近的低层级中的填充曲线复制4份分别填充到这四个子域中，并首位相接，需要注意部分区域在填充过程中，需要对曲线进行旋转，才能保证填充过程满足要求。

步骤1.2.2，按照层级由小到大的顺序，将各个层级的空间填充曲线首位相接，形成一条完整填充了瓦片金字塔模型的空间填充曲线。如此，在瓦片金字塔中的每一张瓦片都可以唯一映射到空间填充曲线上的一个节点。

步骤1.3，对空间填充曲线上的瓦片节点进行编码化表达

步骤1.3.1，将瓦片节点所属层级的瓦片集合按照空间分布均匀分成四个区域，并从左上角至右下角进行横向编号，分别为一、二、三和四，计算每个区域所包含的瓦片数量为：

tileCount＝2^2×(level-1)

其中level表示瓦片节点所属的层级。

然后结合填充的空间曲线的方向，计算该节点所属区域相对于起点的瓦片偏移量。若某区域在空间曲线上的顺序为n,(1≤n≤4)，则该区域内的瓦片对应的偏移量为：

tileIndex＝(n-1)×tileCount

其中tileCount为每个区域包含的瓦片数量。

步骤1.3.2，针对节点所属的区域不断重复步骤1.3.1中的过程直到子区域中包含的瓦片数量为1，得到节点所属子区域的相对偏移量并累加，为瓦片节点在该层级中的编码化表达；

步骤1.3.3，根据瓦片金字塔的填充方式，对区域中的瓦片节点的编码进行校正，在该层级编码结果基础上增加偏移量，偏移量取值为当前层级下0区域所有瓦片总数，可以得到瓦片节点在本层级内的编码结果；

步骤1.3.4，根据不同分辨率层级上对于空间填充曲线的串联关系，对瓦片节点的编号进行校正，在本层级内编码结果的基础上增加偏移量，偏移量取值为小于当前层级的所有瓦片总数，可以得到瓦片节点在整个瓦片金字塔中的完整编码结果；

步骤1.3.5，为实现把将映射到空间填充曲线上的瓦片集划分成瓦片块，将得到的瓦片金字塔中的完整编码结果使用固定数值(如256)进行整除和取余计算，可以得到每个瓦片数据对应的瓦片块标识BlockID和瓦片数据在瓦片块中的偏移量Index，供多维结构化存储模型构建和瓦片动态检索功能使用。

步骤2，构建多维结构化存储模型

基于地理空间数据的空间、时间、地物要素和地理场景等属性，建立瓦片数据在键值(Key-Value，KV)数据库中的存储结构，通过将数据的空间、时间、地物要素以及地理场景等信息，映射到数据表和二级索引表的键中，提供检索能力。如图3所示，多维度存储模型包括构建瓦片数据表和瓦片索引表。瓦片数据表存储地理空间瓦片数据及其基本信息，包括地理空间瓦片数据的元信息(如地理空间数据唯一标识、数据所属类别编号、数据波段信息、数据瓦片尺寸、瓦片透明度等)、地理空间瓦片数据的图像数据。在瓦片数据表中，通过瓦片数据键可以检索地理空间瓦片数据及其基本信息。瓦片索引表存储瓦片索引键。瓦片索引表中，通过瓦片索引键可以检索对应的瓦片数据键，得到的瓦片数据键可用于在瓦片数据表中进行瓦片数据的检索。具体构建步骤如下：

步骤2.1，构建具有多维度检索功能的瓦片数据表的结构

瓦片数据表结构的构建过程主要包括两部分，瓦片数据键结构的构建和瓦片数据值结构的构建。

步骤2.1.1，构建瓦片数据键(Key)的结构

瓦片数据键的主要结构包括瓦片块标识(BlockID)、瓦片偏移量(Index)、数据类型(Type)和生成时间(Time)等几部分。

BlockID和Index分别为步骤1.3.5中得到的瓦片块唯一标识和瓦片在瓦片块中的偏移量，用于通过前缀匹配的方式批量查询某一空间位置的所有瓦片数据，为了保证数据在分布式存储中的分散性，将BlockID按照倒序进行存储。

Type为地理空间数据的类型编码(可根据实际应用的系统中对地理空间数据划分的类别和等级指定)，用于批量检索某一类型的所有数据。

Time为从地理空间数据中提取的粗粒度的时间属性值，如数据的生产年份，用于批量检索某一时间区间的所有数据。

在步骤3中进行数据检索时，将以上几种属性组合在一起生成数据键过滤器，通过字符匹配等方式可以检索符合查询条件的瓦片数据键。

步骤2.1.2，构建瓦片数据值(Value)的结构

瓦片数据值包括两个列簇，分别是元数据列簇和瓦片数据列簇。

元数据列簇包含ID、Type、Bands、Size、Alpha共5个基本列，分别存储地理空间数据唯一标识、数据所属类别编号、数据波段信息、数据瓦片尺寸、瓦片透明度等信息。此外如果必要对数据的其他属性信息进行存储，可以通过在元数据列簇中增加扩展列来实现，扩展列的名称为属性名称，扩展列中存储的值为数据对应的属性值。

瓦片数据列簇包含PNG、JPEG、TIF、Vector共4个基本列，分别存储PNG、JPEG、TIFF格式的栅格瓦片数据和矢量瓦片数据。此外如果需要存储其他格式的瓦片数据，可以通过在瓦片数据列簇中增加扩展列来实现，扩展列的名称为瓦片数据格式，扩展列中的值为对应格式的瓦片数据。

在步骤3中进行数据检索时，可以根据以上几个列分别生成对应的数据值过滤器，用于在查询过程中进行比较，从而过滤得到属性值符合查询条件的瓦片数据。

步骤2.2，构建具有多维度检索功能的瓦片索引表结构

瓦片索引表结构的构建过程主要包括两部分，瓦片索引键结构的构建和瓦片索引值结构的构建。数据索引表的建立在数据存储过程中进行，并随着数据的更新动态更新，以保证与数据表中同步。

步骤2.2.1，瓦片索引键的构建

瓦片索引键的组成结构包括检索类型、检索值、数据键等三部分，使用“_”进行连接。

对于时间维度索引，其检索类型为“TIME”，检索值为从数据中提取的时间属性，如对于2020年1月1日生产的数据，检索值设置为“20100101”。

对于地物要素维度索引，其检索类型为“TAG_FEATURE”，检索值为从数据中提取的地物要素信息(如“河流”、“路网”等)对应的分类码。对于具有多级分类的要素，检索值应设置为最小级别的分类码，如要素“地面河流”所属的分类码“210101”依据长度的不同可代表四种不同的分类，即“2”、“21”、“2101”、“210101”分别代表由大到小的四个分类“水系”、“河流”、“常年河”、“地面河流”，检索值应设置为“210101”。

对于地理场景要素维度索引，其检索类型为“TAG_SCENE”，检索值为在数据处理过程中为其增加的地理场景标记码。对于具有多级分类的场景，处理方式同上。

如果有需要对其他属性进行索引，其检索类型为“TAG_”加属性名，检索值为对应属性的取值。对于具有多级分类的属性，处理方式同上。

在步骤3中进行数据检索时，可以根据以上几种检索类型生成对应的索引键过滤器，通过字符匹配等方式来批量检索符合查询条件的瓦片索引键。

数据键是与索引键中的检索类型对应的属性值与检索值相同的瓦片数据在数据表中存储的键。

步骤2.2.2，瓦片索引值的构建

瓦片索引值中包含一个数据键列簇，列簇中包含一个列Key，用于存储瓦片数据键，取值与索引键中的数据键部分内容一致。

步骤3，构建动态划分的数据集检索方案

以多维的结构化存储模型为基础，根据数据的检索条件以及各维度与数据存储结构的相关性生成对应的数据查询过滤器。执行查询过程后将返回一个数据集合，可以根据数据特性和访问热度对数据集合的大小进行动态调整，如图4所示。进行多维度的动态数据集检索，分为以下三类：

(1)非空间维度(即时间和属性纬度)的检索条件，包括数据的时间属性、地物要素属性以及地理场景属性，生成数据查询过滤器进行数据集检索，具体方法为：

首先，根据检索条件生成瓦片索引键的前缀，包括检索类型和检索值部分，并使用瓦片索引键前缀生成索引键过滤器；同时，根据检索条件生成数据值过滤器，设置值过滤器的列名称为检索类型，值过滤器的列值为检索值；

然后，使用索引键过滤器对二级索引表进行前缀匹配查询，通过设置不同的匹配位数实现不同级别分类的查询，得到符合查询条件的数据键集合，生成数据键过滤器；

最后，使用数据键过滤器和值过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的时间和属性纬度的快速检索；

(2)空间维度的查询条件，包括经纬度范围和分辨率范围，生成数据查询过滤器进行数据集检索，具体方法为：

首先，根据空间查询条件生成一张或一组待查询的瓦片，对瓦片节点进行编码，并提取瓦片块标识BlockID作为瓦片数据键前缀，生成数据键过滤器；

然后，使用数据键过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的空间维度的快速检索；

(3)对于同时包含非空间维度和空间维度的多维检索条件，生成数据查询过滤器进行数据集检索，具体方法为：

首先，按照(1)中描述的过程，根据时间、属性纬度的检索条件生成索引键过滤器和值过滤器，并进一步得到符合时间、属性纬度检索条件的数据键集合；

然后，按照(2)中描述的过程，根据空间查询条件生成得到瓦片数据键前缀，并对上一步得到的数据键集合进行过滤，得到符合空间检索条件的新的数据键集合，生成数据键过滤器；

最后，使用数据键过滤器和值过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的多维度快速检索。

本发明还提出一种面向大规模地理空间数据的存储和检索系统，包括

索引编码模块，用于将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；

多维结构化存储模块，用于构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；

数据集检索模块，用于根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

步骤1，将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；

步骤2，构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；

步骤3，根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

步骤1，将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；

步骤2，构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；

步骤3，根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。

本发明通过定义连续的空间索引结构和多维度存储模型，提高数据在复杂业务场景下的使用效率，加快数据本地化过程，降低应用的使用成本，从而形成在多维查询需求下的地理空间数据快速获取和访问能力。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种面向大规模地理空间数据的存储和检索方法，其特征在于，包括如下步骤：

步骤1，将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；

步骤2，构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；

步骤3，根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。

2.根据权利要求1所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤1中，将地理空间数据映射到瓦片金字塔模型，具体方法为：

步骤1.1.1，根据地理空间数据的分辨率，以及表达的经纬度范围的最大、最小值，计算该地理空间数据映射到瓦片金字塔模型中的层级和该层级下的一组瓦片坐标，并将瓦片坐标统一放在迭代器中；

步骤1.1.2，对于迭代器中的某一张瓦片，将地理空间数据相应位置的像素复制到瓦片中对应的像素坐标上，得到由该地理空间数据生成的一张瓦片，通过此方式遍历步骤1.1.1中的迭代器内的瓦片坐标，实现将地理空间数据映射到瓦片金字塔；

步骤1.1.3，对地理空间数据进行重采样处理，改变图像的分辨率，重复步骤1.1.1和步骤1.1.2中的处理过程，得到完整的瓦片金字塔模型。

3.根据权利要求1所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤1中，使用空间填充曲线对瓦片金字塔进行填充，具体方法为：

步骤1.2.1，进行各个层级的填充，填充过程中，需保证曲线上任意两个临近的瓦片在同一层级下的空间位置也临近，且每一层级在填充时都要保证以左上角为起点，右上角为终点；

对于墨卡托投影坐标系统中，使用希尔伯特空间填充曲线直接填充各个层级的整个区域；对于地理坐标系统的瓦片金字塔，先将两个区域分别标识为0和1，对0区域和1区域分别使用希尔伯特空间填充曲线进行填充，再将两区域填充曲线首尾连接，完成该层级的填充；

对于两种坐标系统，完成第1层的填充后，将其作为填充过程的初始态，对第2层进行填充；依此类推，高层级的填充都是在其上一层级的填充基础上完成的，先将其均匀划分为四个子域，然后将邻近的低层级中的填充曲线复制4份分别填充到这四个子域中，并首位相接，需要注意，部分区域在填充过程中，需要对曲线进行旋转，才能保证填充过程满足要求；

步骤1.2.2，按照层级由小到大的顺序，将各个层级的空间填充曲线首位相接，形成一条完整填充了瓦片金字塔模型的空间填充曲线，如此，在瓦片金字塔中的每一张瓦片都被唯一映射到空间填充曲线上的一个节点。

4.根据权利要求1所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤1中，对空间填充曲线上的瓦片节点进行编码化表达，具体方法为：

步骤1.3.1，将瓦片节点所属层级的瓦片集合按照空间分布均匀分成四个区域，并从左上角至右下角进行横向编号，分别为一、二、三和四，则计算每个区域所包含的瓦片数量为：

tileCount＝2^2×(level-1)

其中level表示瓦片节点所属的层级。

结合填充的空间曲线的方向，计算该节点所属区域相对于起点的瓦片偏移量，设某区域在空间曲线上的顺序为n,(1≤n≤4)，则该区域内的瓦片对应的偏移量为：

tileIndex＝(n-1)×tileCount

其中tileCount为每个区域包含的瓦片数量；

步骤1.3.2，针对节点所属的区域不断重复步骤1.3.1中的过程直到子区域中包含的瓦片数量为1，将得到节点所属子区域的相对偏移量并累加，即得到瓦片节点在该层级中的编码化表达；

步骤1.3.3，根据瓦片金字塔的填充方式，对区域中的瓦片节点的编码进行校正，即在步骤1.3.2的编码结果的基础上增加偏移量，偏移量取值为当前层级下0区域所有瓦片总数，得到瓦片节点在本层级内的编码结果；

步骤1.3.4，根据不同分辨率层级上对于空间填充曲线的串联关系，对瓦片节点的编号进行校正，即在步骤1.3.3的编码结果的基础上增加偏移量，偏移量取值为小于当前层级的所有瓦片总数，得到瓦片节点在整个瓦片金字塔中的完整编码结果；

步骤1.3.5，将步骤1.3.4的编码结果使用固定数值进行整除和取余计算，即得到每个瓦片数据对应的瓦片块标识和瓦片数据在瓦片块中的偏移量，供多维结构化存储模型构建和瓦片动态检索使用。

5.根据权利要求1所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤2中，瓦片数据表包括瓦片数据键和瓦片数据值，其中：

所述瓦片数据键包括瓦片块标识BlockID、瓦片偏移量Index、数据类型Type和生成时间Time，其中瓦片块标识BlockID和瓦片偏移量Index分别为瓦片数据对应的瓦片块标识和在瓦片块中的偏移量；数据类型为地理空间数据的类型编码；生成时间为从地理空间数据中提取的粗粒度的时间属性值；

所述瓦片数据值包括元数据列簇和瓦片数据列簇，其中元数据列簇包含ID、Type、Bands、Size、Alpha共5个基本列，分别存储地理空间数据唯一标识、数据所属类别编号、数据波段信息、数据瓦片尺寸、瓦片透明度等信息；瓦片数据列簇包含PNG、JPEG、TIF、Vector共4个基本列，分别存储PNG、JPEG、TIFF格式的栅格瓦片数据和矢量瓦片数据。

6.根据权利要求1所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤2中，瓦片索引表包括瓦片索引键和瓦片索引值，其中：

所述瓦片索引键包括检索类型、检索值、数据键，使用“_”进行连接，对于时间维度索引，其检索类型为“TIME”，检索值为从数据中提取的时间属性；对于地物要素维度索引，其检索类型为“TAG_FEATURE”，检索值为从数据中提取的地物要素信息对应的分类码；对于地理场景要素维度索引，其检索类型为“TAG_SCENE”，检索值为在数据处理过程中为其增加的地理场景标记码；

所述瓦片索引值中包含一个数据键列簇，列簇中包含一个列Key，用于存储瓦片数据键，取值与索引键中的数据键部分内容一致。

7.根据权利要求1所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤3中，根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索，分为以下三类：

(1)非空间维度，即时间和属性纬度的检索条件，包括数据的时间属性、地物要素属性以及地理场景属性，生成数据查询过滤器进行数据集检索，具体方法为：

首先，根据检索条件生成瓦片索引键的前缀，包括检索类型和检索值部分，并使用瓦片索引键前缀生成索引键过滤器；同时，根据检索条件生成数据值过滤器，设置值过滤器的列名称为检索类型，值过滤器的列值为检索值；

然后，使用索引键过滤器对二级索引表进行前缀匹配查询，通过设置不同的匹配位数实现不同级别分类的查询，得到符合查询条件的数据键集合，生成数据键过滤器；

最后，使用数据键过滤器和值过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的时间和属性纬度的快速检索；

(2)空间维度的查询条件，包括经纬度范围和分辨率范围，生成数据查询过滤器进行数据集检索，具体方法为：

首先，根据空间查询条件生成一张或一组待查询的瓦片，对瓦片节点进行编码，并提取瓦片块标识BlockID作为瓦片数据键前缀，生成数据键过滤器；

然后，使用数据键过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的空间维度的快速检索；

(3)对于同时包含非空间维度和空间维度的多维检索条件，生成数据查询过滤器进行数据集检索，具体方法为：

首先，按照(1)中描述的过程，根据时间、属性纬度的检索条件生成索引键过滤器和值过滤器，并进一步得到符合时间、属性纬度检索条件的数据键集合；

然后，按照(2)中描述的过程，根据空间查询条件生成得到瓦片数据键前缀，并对上一步得到的数据键集合进行过滤，得到符合空间检索条件的新的数据键集合，生成数据键过滤器；

最后，使用数据键过滤器和值过滤器，通过批量查询和字符匹配的方式查询数据表，得到对应的瓦片数据值，实现对瓦片数据的多维度快速检索。

8.根据权利要求1所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤3中，在得到的数据键集合中，将空间连续的数据键进行空间聚合，提取公共的BlockID作为数据键前缀，并与对应的连续数据键进行替换，得到新的数据键集合。

9.根据权利要求7所述的面向大规模地理空间数据的存储和检索方法，其特征在于，步骤3中，结合数据特性和访问热度，调整索引键前缀和/或数据键前缀的位数，实现对瓦片数据集合大小的动态调整，完成多维的动态数据集检索。

10.一种面向大规模地理空间数据的存储和检索系统，其特征在于，包括索引编码模块，用于将地理空间数据映射到瓦片金字塔模型，使用空间填充曲线对瓦片金字塔进行填充，并对空间填充曲线上的瓦片节点进行编码化表达，构建空间连续的索引编码结构；

多维结构化存储模块，用于构建多维结构化存储模型，包括瓦片数据表和二级索引表，将地理空间瓦片数据及其基本信息、瓦片数据键存储到瓦片数据表，将瓦片索引键和瓦片索引值存储到二级索引表；

数据集检索模块，用于根据数据的检索条件，以及各维度与数据存储结构的相关性，生成数据查询过滤器进行数据集检索。

Images