CN110928968B - 一种二维地理空间大数据的存储与查询计算机介质 - Google Patents

Abstract

本发明公开了一种二维地理空间大数据的存储与查询计算机介质，包括存储器、节点构造器、处理器及存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：节点构造器采集二维空间数据生成MDR节点，其中节点容量为N；第一切片模块对MDR节点进行第一维度排序并对数据进行切分生成FD切片；第二切片模块对FD切片进行第二维度排序生成SD切片；搜索模块对SD切片按照当前切片和相邻切片进行划分空间对象；切片聚类模块采集空间对象长度L与节点容量为N比较进行数据聚类操作；判断所有切片是否完成聚类操作输出MDR‑Tree，满足大数据高速检索要求。

Description

一种二维地理空间大数据的存储与查询计算机介质

技术领域

本发明涉及空间大数据智能存储领域，具体涉及一种二维地理空间大数据的存储与查询计算机介质。

背景技术

近年来，国家城市化进程不断加快，二维地理空间信息数据更新迅速，其中道路网络数据不仅是路径规划、城市建设、位置服务及智能交通的基石，更为数字城市、智慧城市的发展奠定了基础。空间大数据作为大数据的一个分支，正在全球范围内迅速崛起，给政府用户、企业用户以及个人用户提供前所未有的应用价值和服务能力，空间大数据的时代已经来临。

空间大数据无疑将重构很多行业的商业思维和商业模式，其价值不言而喻^[3]。与此同时，随着定位技术的发展，空间大数据的位置标签越发精确。例如，有了WIFI、卫星定位、移动通讯蜂窝定位技术及其变速器、微陀螺、速度传感器等多种多样的微小传感器的支持，才使得虚拟社交网络系统(social network system,SNS)发展到真实世界与虚拟世界相融合的基于位置的社交网络(location based social network,LBSN)，并成为互联网企业的必争之地。在人工智能领域，无人驾驶作为其行业最受关注的应用之一，在其应用中，道路网络数据是其必不可少的实现基础。例如，高精地图发展出个性化驾驶支持，包括各种驾驶行为建议，如最佳加速点及刹车点、最佳过弯速度等，以提高无人驾驶的舒适度^[5]。在智能交通系统领域，信息采集设备的普及，每天都会采集海量的二维地理空间信息数据，这些数据及为宝贵。例如，通过对某个时间段某个路口采集到的车辆情况对该路口的车流量进行分析，可以获悉该路口的路况，向司机及时提醒道路的拥堵状况等。在日常生活中，人类所产生的数据有80％和空间位置有关，具有互动、非专业、实时、泛在、按需服务、SOA特征的新地理信息时代必将是空间大数据(big geo-data)备受瞩目的时代。

空间大数据是在城市基础地理信息基础上，将各个曾经孤立的、服务内容单一的，但具有城市管理功能的空间信息、动态信息和公共信息等城市及信息聚合而成面向大众的、跨领域的、跨系统的社会化服务信息。空间大数据作为大数据与地理信息数据的融合体，在信息时代扮演着重要的角色，已经逐渐发展成为当今社会最基本的信息服务之一。然而，面对海量数据检索时，单单依靠传统的空间索引技术，频繁的插入和删除操作会增大二维地理空间信息数据的重叠率，从而导致查找路径不唯一的情况增多，查询效率变低。

传统的空间索引技术主要分为3大类，分别为基于网格的空间索引、基于树结构的空间索引、混合空间索引。

1)基于网格的空间索引。基于网格的空间索引技术通过横竖线条把目标空间分为若干个相同大小的网格，每个网格中包含空间对象，当用户查询时，首先检索出用户查询的空间对象所在网格，再从网格中定位到所需空间对象的位置。其中，每一格代表一个桶，用来记录该格内空间实体的编号。格网空间索引的方式很简单，当数据分布均匀时，其空间查询效率很高。但是格网的大小会影响到索引表的大小，如果格网太小，索引就会膨胀，不但查询效率低，而且对索引表的维护费用也会增加。目前有很多学者对此做出的分析和研究，提出了不同的解决方案。分别为基于规则格网划分的空间索引、基于多级空间格网划分的空间索引、自适应层级网格化分空间索引。

2)基于树结构的空间索引。在基于树结构的空间索引技术中，具有代表性的树结构分别是R-树与四叉树空间索引。国内外常用树结构的空间索引技术，比如，国内典型的地理信息软件如MapGIS与SuperMap，其数据库采用的是四叉树索引；国外比较著名的地理信息软件如MapInfo公司的MapInfo，其数据库采用的是R-树索引。以及国外Oracle公司的Oracle_Spatial组件采用四叉树与R-树混合的空间索引机制。

R-树是一种高度平衡树，它是在B树基础上扩展了多维空间。R-树索引本质是是面向对象的分割索引技术，分割后的区域与每个结点相对应，每个结点又与一个磁盘页对应。R-树不但能控制树的深度，而且还能采用最小外包矩形表示空间实体，是最早支持多维空间存取的方法之一。该算法提高了数据检索和空间操作的效率，解决了传统索引算法未能解决的问题，能支持高维的空间对象，成为空间数据库索引中应用最为广泛的一种，使空间索引研究进入了另一个阶段，是很多空间索引研究的基础。

四叉树是一种常见的树状索引结构，可分为点四叉树和区域四叉树，适用于点数据、区域数据或是高维数据的索引建立，常应用于二维空间数据的分析与分类。四叉树空间索引机制是基于相同网格化分的，其工作空间是在XY方向上进行2N等分，从而形成2N*2N的固定网格，在此基础上建立N级四叉树。在四叉树中，空间要素的标识都记录在外包络矩形覆盖的每一个叶节点中。其在内存中的层次树状结构的查询效率较高。另外，层次型的树状结构并不适用直接描述数据库表，则可通过对四叉树的各层节点都编上码，从而反映四叉树的层次结构。

3)混合结构空间索引。多种空间索引的融合也是空间索引技术发展的方向，混合索引结构汲取了各自索引的长处，其大致可以分为三类：基于网格与树结构的混合索引、基于多个树结构的混合索引、图与树结构的混合索引。

网格与树混合索引的典型是基于固定网格与四叉树结合的空间索引。通过使用索引结点表和Hash技术管理类对象结点表，节省存储空间，有效地减少了磁盘读取次数，显著提高了空间查询速度，改善了GIS应用系统的性能；虽然与网格索引类似，空间对象与叶子节点出现了多对多的情况，但是相比之下，基于固定网格与四叉树结合的空间索引管理下的数据库，大面积对象重复较少；其不足在于算法的复杂度比较高，维护起来比较困难。

多个树结构的混合索引有很多，具代表性的是QR-树，首先利用四叉树将数据库的研究区域分割为多级子索引空间，然后将R-树索引应用到各级中的每个子空间上。优点在于该方法利用缩小的空间范围，提高了查询效率，随着数据量的增大，索引效果越好。但是该方法没有考虑到大空间对象对数据的影响，在检索大范围对象时，效率往往不高；索引占用的空间也比R-树大。

图与树的结合，一般是利用了图论中的思想，应用在空间索引范畴上。基于MR-Tree空间索引的Voronoi图改进及其并行空间查询方法，在MR-Tree索引基础上，引进了邻近关系判断，以替代范围查询中的冗余计算，有效地提高了分布式环境下的空间操作的效率。

发明内容

针对现有技术存在问题，本发明提供一种二维地理空间大数据的存储与查询计算机介质，该介质是对二维地理空间信息数据进行多层切片递归的空间索引树构造方法，提高数据检索效率，满足大数据处理要求。

为了解决现有技术存在的问题，本发明采用如下技术方案进行：

一种二维地理空间大数据的存储与查询计算机介质，包括存储器、节点构造器、处理器及存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现以下步骤：

节点构造器采集二维空间数据生成MDR节点，其中节点容量为N；

第一切片模块对MDR节点进行第一维度排序并对数据进行切分生成FD切片；

第二切片模块对FD切片进行第二维度排序生成SD切片；

搜索模块对SD切片按照当前切片和相邻切片进行划分空间对象；

切片聚类模块采集空间对象长度L与节点容量N比较进行数据聚类操作；

判断所有切片是否完成聚类操作输出MDR-Tree：

所述切片聚类模块采集空间对象长度L与节点容量为N比较进行数据聚类操作步骤；

获取当前切片和相邻切片中所有空间对象的列表H和长度L；

判断L大于且等于N-1，若满足条件，则在H中寻找与类中心最近的空间对象，将结果归到类中，并更新类大小和类中心；否则进入下一步；

判断L小于且等于N/2-1，若满足条件，则定义为离散值，直到当前切片都聚类完毕后，将离散值插入到距离其最近的类中，否则自聚为一类。

有益效果

在本发明中，我们构建了一种空间索引树构造算法MDR-Tree--一种针对二维地理空间信息数据进行多层切片递归的空间索引树构造算法。提出的算法首先对地图数据划分切片，然后在单一切片内聚类对比，在相邻切片内进行聚类以此保证数据间拥有最大程度的空间邻接性；其次，按照一定范围构建叶子节点类并处理离散值；最后自下而上递归生成MDR-Tree。实验表明，通过MDR-Tree算法构建的二维空间存储结构的查询性能优于现在较为流行的STR算法和STR-网格混合算法。

附图说明

图1是本发明中一种二维地理空间大数据的存储与查询计算机介质流程图。

图2是本发明中MDR-Tree算法框架图。

图3是MDR-Tree生成过程。

图4是北京市道路网络效果图。

图5是实验中用到的实验数据。

图6是MDR-Tree在北京市道路网数据下叶节点效果展示。

图7是三种空间索引结构在北京市道路网络数据下的查询结果示意图。

图8是三种空间索引结构在天津市道路网络数据下的查询结果示意图。

图9是三种空间索引结构在全国道路网络数据下的查询结果示意图。

图10STR算法在北京市和全国道路网络下的重叠量展示图。

图11是STR树和MDR树各层重叠量展示图。

具体实施方式

下面结合附图对本发明作出详细地说明：

参见图1，本节详细介绍空间索引结构的构造方法MDR-Tree，在对二维地理空间数据研究过程中，发现随着数据量的增多，空间对象的MBR之间的重叠现象会不断加大，而对空间二维对象(点、线、面)的查找方式多以相交、距离等判定方法，因此，重叠度的加大使查询过程中无用路径的数量变多，从而影响查询效率。因此文章从优化空间对象MBR的重叠数量这一角度出发，根据空间邻接性法则交叉搜索相邻切片中的空间对象，同时以空间聚类修正单维度排序所造成位置分布过于稀疏的问题，以自下而上的方式生成空间索引树型结构。本文采用的空间对象是全国道路网络数据，MBR是指每个空间数据的最小外接矩形，要想在数据量庞大的全国道路网络中查询我们想要的数据，合理、高效的空间存储结构是简化检索路径，缩短检索时间最有效的方法。

其中，MDR树结构一共包含三种节点：根节点、子节点和叶子节点，根节点和子节点主要存储孩子节点的位置，叶子节点主要存储空间经纬度信息。在MDR-Tree构建过程中，首先输入二维地理空间信息数据，通过计算所有数据的MBR，然后对树节点的各项信息做初始化操作；其次，我们按照二维数据的第一维度进行排序，紧接着，我们假设数据个数为r，对排序好的数据切分为

份，保证每个切片中包含

个空间对象；之后，对每个切片中数据按照其第二维度进行排序，至此聚类之前的初始化工作就基本完成了；最后将排序好的切片输入到MDR算法中完成聚类。

由于考虑到空间数据的邻接性和空间数据的分布情况，首先按照初始MBR中心点向四周一定的范围内设定搜索框，计算搜索框包含的当前切片和相邻切片中所有的空间对象，如果搜索框中的数据个数大于N，则在这些搜索框中的数据选择距离类心最近的数据加入到类中并更新当前类的MBR和类中心值，不断重复此步骤直到空间对象个数满足节点容量；然后重新选择新的空间数据对象作为新的初始类继续聚类操作，如果搜索框中的数据对象个数小于N-1但是大于N/2-1，根据R树对节点容量的要求(m<n<N，m一般为N/2)，我们直接将搜索框中的数据聚为一类，如果搜索框中的数据小于N/2-1，那么我们定义其为离散值，直到当前切片都聚类完毕后，将离散值插入到距离其最近的类中。当所有切片完成聚类操作后，树的第一层就构造完成了，然后利用生成的叶子节点重复上述步骤，最终生成根节点。至此，整棵MDR树构造完成。

在MDR-Tree构造算法中，搜索框的设定是以类的矩形框向四周一定距离为搜索半径的范围，同时每次聚类操作结束后都要把已完成聚类的空间数据做上标记，以免重复利用，在聚类过程内部，要注意每次添加数据后实时更新类的大小和中心点，对于命中数据个数的使用规则是参考了R树节点容量的性质：每个节点包含[m,N]个数据，其中m一般为N/2。

MDR-Tree的查找和STR-Tree类似，自上而下，逐渐将下层的数据矩形抽象到高层的正方形，即对下层数据矩形有正方形化的趋势。检索算法从树的根节点开始，它将所有与查询区域存在交叠的节点的子节点查出，然后将这些子节点作为当前节点检查它们与查询区域是否存在交叠，直到找到叶子节点的地物。MDR算法通过判断MBR与查询窗口是否相交，如果相交则遍历所有孩子节点继续判断，直到获取到叶子节点的空间对象信息。

MDR-Tree的更新和R-Tree类似，对于搜索路径上的每个节点，遍历其中的最小外包矩形(MBR)，如果搜索到一个叶子节点，则比较搜索框与它的最小外包矩形和数据，如果该叶子节点在搜索框中，则把它加入搜索结果。添加操作如遇到节点溢出则分裂，分裂的方法和R树相同，都是更新相关的一条路径上的信息，并且为了尽可能少的出现节点溢出的现象，我们会为每个节点设置多余空间作为缓冲区。

MBR是指以二维坐标表示的若干二维形状(例如点、直线、多边形)的最大范围，即以给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定下边界的矩形。

参见图2，这是本发明中提出的MDR-Tree算法框架图。

参见图3，这是MDR-Tree生成过程。

如下内容是MDR-Tree构造过程的算法描述。

参见图4，这是实验中用到的实验数据之一，北京市道路网络效果图。

参见图5，这是实验中所用到的所有实验数据说明。

参见图6，这是MDR-Tree在北京市道路网数据下叶节点效果展示。从图中可以看出MDR算法构造的矩形框多为正方形。

参见图7，这是三种空间索引结构在北京市道路网络数据下的查询结果示意图。

参见图8，这是三种空间索引结构在北京市道路网络数据下的查询结果示意图。三种算法在地市级的道路网络数据中的查询效率相差不大，三种算法的折线图走势很平缓，尤其是当查询数目为1000时，三种算法的查询时间基本相当。

参见图9，这是三种空间索引结构在全国道路网络数据下的查询结果示意图。可以看出数据量的增大对空间索引的性能要求更加苛刻。

参加图10，这是STR算法在北京市和全国道路网络下的重叠量示意图。可以很明显地看出地市级的道路网络数据和全国道路网络数据在树型空间索引结构的构造过程中矩形框的重叠量存在巨大差异，这种差异几乎是指数级别的差距。

参见图11，这是STR树和MDR-Tree各层重叠量示意图。这是基于全国道路网络数据进行的实验，实验结果验证了MDR算法查询效率更高。

下面简要介绍图11中的实验环境。在硬件方面，实验设备为联想Y700-15ISK电脑，搭载的是Windows10操作系统，基本配置为i7-6700HQ4核处理器,处理速度为主频2.6GHz超频至3.2GHz，256G固态硬盘+1T机械硬盘，16G RAM。综合以上实验结果，通过对数据规模、构树的层次以及查询数目等影响因素的测试，均显示本文提出的MDR算法，无论是在最小外包矩形的重叠数量，还是在查询时间等因素，均体现良好的执行性能。

Claims (1)

1.一种二维地理空间大数据的存储与查询计算机介质，包括存储器、节点构造器、处理器及存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现以下步骤：

节点构造器采集二维空间数据生成MDR节点，其中节点容量为N；

第一切片模块对MDR节点进行第一维度排序并对数据切分生成FD切片；

第二切片模块对FD切片进行第二维度排序生成SD切片；

搜索模块对SD切片按照当前切片和相邻切片进行划分空间对象；

切片聚类模块采集空间对象长度L与节点容量N比较进行数据聚类操作；其中：

获取当前切片和相邻切片中所有空间对象的列表H和长度L；

判断L大于或等于N-1，若满足条件，则在H中寻找与类中心最近的空间对象，将结果归到类中，并更新类大小和类中心；否则进入下一步；

判断L小于或等于N/2-1，若满足条件，则定义为离散值，直到当前切片都聚类完毕后，将离散值插入到距离其最近的类中，否则自聚为一类；

判断所有切片是否完成聚类操作输出MDR-Tree。

Images