CN106933833B - 一种基于空间索引技术的位置信息快速查询方法 - Google Patents

Abstract

本发明涉及一种基于空间索引技术的位置信息快速查询方法，包括以下步骤：根据待查询目标空间坐标信息建立R树空间索引，在HBase数据库上建立R树结点映射，形成空间索引数据库；根据用户输入坐标信息形成的最小边界矩形，在空间索引数据库中查询；将查询结果返回用户。本发明采用R树空间索引技术，能够实现对空间坐标进行快速查询。底层采用HBase数据库作为存储媒介，能够实现查询任务的并行化，提高查询性能。精准定位石油泄漏等信息，并且查询性能相对于传统方法有着显著的提高，适用于针对油田或海洋数据坐标信息查询的系统开发。

Description

一种基于空间索引技术的位置信息快速查询方法

技术领域

本发明涉及了一种基于空间索引技术的位置信息快速查询方法，属于智能制造控制领域。

背景技术

近年来，各种管理数据的技术在不断创新，其中Hadoop开源产品系列在商业实践中取得了广泛认可，几近成为事实上的大数据管理行业标准平台。Hadoop云计算平台的一个主要特点是可以提供可扩展的计算能力和存储能力，实现交互式的数据查询也是用户所关心的，是云计算成功的关键因素。HBase作为一种NoSQL存储系统，专门设计用来快速随机读写大规模数据。作为Apache Hadoop项目的子项目，一个分布式的、面向列的开源数据库，HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库，能够很好地解决在数据规模剧增时导致的系统扩展性和存储性能问题，而这些都是传统关系型数据库无法很好应付的。同时，HBase不受限于Hadoop MapReduce编程框架的高延迟数据处理机制，使得HBase可以满足大规模数据实时处理应用的需求，这也正是油田领域对于数据处理方面所需要的。然而，HBase只有对一维数据的索引，没有多维数据索引。在多维数据查询时只能全表扫描，并使用Filter进行过滤，查询效率低下。易用性和实时性差，难以满足大部分应用需求。

随着各种数据库的兴起，空间数据库索引的研究引起了人们越来越多的兴趣和关注，其中1984年Guttman提出的R树是目前最流行的动态空间索引结构，广泛应用于原型研究和商用空间数据库系统。R树是一种层次数据结构，是B树在K维空间上的自然扩展。近年来，很多学者致力于R树的研究，在R树的基础上衍生出许多变种，比较典型的有R+树，压缩R树等。基于R树索引结构需要解决的主要问题仍然是减少区域的重叠，提高搜索效率。

因此针对HBase的数据建立R树索引，可改进HBase的易用性，提升查询性能和效率，节省成本，能极大促进HBase的发展，对大规模数据的存储，分析和管理，以及对社会信息化的发展，都具有现实应用价值和实际意义。

发明内容

本发明所要解决的技术问题在针对传统工业产线流程执行过程中，对于大量的坐标信息查询性能低下的问题。提出了一种基于空间索引技术对位置信息快速搜索的方法，同事在流程执行的过程中，根据用户不同时刻需求的不同，可以按照既定的选优方法来动态的选择此时的情景最适合的服务来进行调用。

本发明的技术方案如下：一种基于空间索引技术的位置信息快速查询方法，包括以下步骤：

根据待查询目标空间坐标信息建立R树空间索引，在HBase数据库上建立R树结点映射，形成空间索引数据库；

根据用户输入坐标信息形成的最小边界矩形，在空间索引数据库中查询；

将查询结果返回用户。

所述根据待查询目标空间坐标信息建立R树空间索引，在HBase数据库上建立R树结点映射，形成空间索引数据库包括以下步骤：

首先，将待查询目标空间坐标信息形成最小边界矩形，建立R树空间索引；

然后根据R树的不同的非叶结点类型，在HBase数据库上依次建立结点映射，形成索引表；

将R树的叶结点对应的数据存入HBase数据库中，形成数据表；

将索引表中类型为指向叶结点的非叶结点对应的最小边界矩形号与数据表中的序号建立映射，这样在数据表上建立空间索引，形成空间索引数据库。

所述将待查询目标空间坐标信息形成最小边界矩形，建立R树空间索引包括以下步骤：

首先获取待查询目标空间坐标信息，即经纬度信息，然后将每个目标坐标的经纬度数值与设定值比较；

如果经纬度数值在设定值范围内，则由最初的两个点坐标形成一个矩形，将矩形插入到R树空间索引，形成一个最小边界矩形；

随着目标坐标的依次插入R树，形成多个不同类别的最小边界矩形，构建成R树空间索引。

所述根据R树的不同的非叶结点类型，在HBase数据库上依次建立结点映射包括以下步骤：

在HBase数据库存储结点间的对应关系，包括插入的最小边界矩形序号作为结点号、结点类型以及包含的子矩形信息，其中子矩形信息包括最小边界矩形范围及其指向的结点号；

R树的根结点直接存储在HBase数据库当中，并记录根结点的孩子信息，即根结点的子矩形信息；

R树的中间结点存储在HBase数据库中后，记录根结点的孩子信息和父结点信息；

最终实现将R树的非叶结点在HBase数据库上建立结点映射。

所述根据用户输入坐标信息形成的最小边界矩形，在空间索引数据库中查询包括以下步骤：

首先在客户端获取用户提交的空间限定，即经纬度的上下限；

然后根据经纬度上下限的四个数值，形成一个查询矩形；

将查询矩形直接与HBase数据库中的R树的根结点中的最小边界矩形作比较，若根结点中的最小边界矩形对应的空间范围包含查询矩形对应的空间范围，则根据根结点的指向往下一层遍历，依次与每层结点作同样的比较，直到最小边界矩形对应的范围不包含查询矩形对应的范围为止，此时获取当前正在做比较的最小边界矩形的序号；若根结点中的最小边界矩形对应的空间范围不包含查询矩形对应的空间范围，则直接获取当前正在做比较的最小边界矩形的序号。

最后根据得到的序号在数据表中获取该序号对应的完整信息。

本发明的有益效果及优点：

1.本发明采用R树空间索引技术，能够实现对空间坐标进行快速查询。

2.本发明底层采用HBase数据库作为存储媒介，能够实现查询任务的并行化，提高查询性能。

3.本发明通过设置经纬度空间范围查询，可以精准定位石油泄漏等信息，并且查询性能相对于传统方法有着显著的提高，适用于针对油田或海洋数据坐标信息查询的系统开发。

附图说明

图1是本发明软件系统的整体架构。

图2是本发明中软件系统中数据索引结构图。

图3是本发明中软件系统中一般时间查询流程图。

图4是本发明中软件系统中通过空间索引对油井坐标进行查询时的流程图。

图5是本发明中软件系统中R树与HBase整合结构图。

具体实施方式

为了使本发明的目的、技术方案以及优点等更加清楚明确，在这里举出实际例子并参考附图进行进一步的说明。

本发明通过结合油井数据的特点和项目背景，对基于HBase的油井信息查询系统进行了详细的需求分析。针对需求设计并实现一个支持多种油井信息查询系统。系统管理员将不同的数据上传加载到系统中，用户通过对时间和经纬度等条件进行范围设定，可以快速获取选择区域的油井温度、盐度和密度等数据信息。

本文在HBase上设计并实现了R树空间索引。同其它数据资料相比，结合现有的数据格式和HBase技术分析，HBase本身没有提供二维或多维索引功能，当用户基于非主键查询HBase数据的时候，只能通过Scan全表扫描来获取满足条件的数据，效率很低，无法满足大规模实时查询的需要。油井信息查询系统采用了HBase与R树空间数据结构相结合的方式，在HBase上设计并实现了R树索引，建立云端时空数据库。本文通过对R树的应用原理和特性进行分析，修改了R树底层存储结构，建立新的数据结构；针对数据表中的空闲空间的回收与分配，设计了空间数据管理回收机制及其维护算法。

参见图1，这是软件系统的整体架构图。

当客户端启动后，系统可以将系统主界面呈现给用户，客户端界面主要由查询模块和地图显示模块组成；查询模块由经度范围、纬度范围、时间范围和油井数据类型四个查询条件模块组成；地图显示模块主要显示各大油井的地理位置；经度、纬度和时间查询范围信息需要由用户提供；油井数据类型也分为多种，每种类型的数据都提供了经纬度和时间的范围查询。

参见图2，本发明涉及的油井坐标查询系统数据插入基本思想是将客户端界面中出现的数据属性作为一个整体，插入到空间索引R树，形成一个MBR(最小边界矩形，全称为Minimal Bounding Rectangle)中，这样随着后续数据的插入，形成很多个MBR，插入到R树后，系统自动将R树建立起来，然后以MBR为单位，将整个R树插入到HBase中，HBase中包含MBR的数据信息以及不同MBR间的依赖关系。

添加R树索引的HBase分为两层，分别是索引层和数据层。索引层的理念就是高效处理查询，即这里是对即将进行空间查询的操作设计的数据存储，索引层将经纬度存储在R树的MBR中，形成R树的结点，随着插入数据的增加，建立起空间索引，这时候需要将这整棵R树的结构存储在一个HBase中，即索引表。在索引表中，主要存储的是非叶结点之间的对应关系，分别要记录插入的MBR结点号、结点类型以及包含哪些子MBR信息，子MBR信息包括最小矩形Range信息和下一结点号信息。这样就能根据结点类型，进行指向。若结点为根结点或非叶子结点，MBR指向下一个指定的结点；若结点是叶子结点，其MBR中包含的是真实数据信息，即叶结点号信息，此时指针指向的将是数据表中的Point信息，即真实数据信息。这样就可以把R树以空间索引的形式建在HBase当中。

在数据存储时，需要获取存入的经纬度信息，然后对经纬度的数值进行合理化判断，如果符合经纬度标准，就根据经纬度生成MBR，插入到R树索引中，并更新R树在HBase中的结构，尤其R树各个结点的关系变化带来的HBase内部数据行的映射关系变化。在数据插入完成后，将插入状态返回给用户。

参见图3，在针对时间查询这个模块中，系统主要针对用户提交的时间查询需求进行处理。用户提交的查询请求提交给服务端HBase，之后HBase根据查询条件将符合用户限定条件的查询结果返回，并提交给显示模块，展示在系统的显示区域。由于数据存储时将时间信息只是以单纯的一列存储在HBase当中，因此不能利用传统的RowKey进行scan扫描的方式进行，而是利用filter过滤的方式进行条件限制约定。在系统中，用户提交的时间信息具体到年月日，比如“20140806”，就是指的在2014年8月6日在整个区域或者某区域拍摄到的油井信息数据，同样，这里的“20140806”在HBase中也是以列值字符串的形式存储的。在利用filter进行过滤时，是将用户输入的查询时间与HBase中time列的数据进行按位比较，将满足用户过滤出来的数据提交给scan中，之后scan以结果集ResultScanner的形式返回给服务端缓存，进而查询结束后，将缓存中的结果集返回给客户端，即返回给客户端系统界面的查询结果显示区域。

参见图4，在本发明涉及空间数据查询中，按地理位置对WOD数据进行搜索也是一个较为常见应用需求，即是对数据按照空间限定条件对数据进行搜索。在针对空间查询这个模块中主要是负责完成按用户输入的空间范围限定条件，获取到用户需要WOD数据的经纬度信息的工作。其流程为，系统首先在客户端获取用户提交的空间限定，即经纬度的上下限，然后根据这四个数值，形成一个最小边界矩形，即MBR，由于之前经纬度信息已经插入在R树的每个结点中，因此此时可以根据建立好的R树直接在HBase进行经纬度查询。每次查询结束后，R树索引返回所有结果的id号，然后系统根据id号在HBase中获取此数据的完整信息，保存在缓存之中。当所有查询都执行完后，系统再将缓存中数据返回给客户端，进行结果显示。

以下将描述本发明一个应用到油田的实例，实现空间查询的步骤具体为：

步骤S1：初始化R树。根据油田数据的维数N，初始化R树。

步骤S2：初始化HBase表。根据用户指定的表名初始化HBase表。

步骤S3：根据油田数据的经纬度属性，确定所在最小边界矩形的网格坐标。

步骤S4：先根据最小边界矩形的网格坐标在R树中查看一下，若存在此矩形范围，则不需要插入；否则将此最小边界矩形的网格坐标插入到R树中，建立起空间索引。

步骤S5：对每个最小边界矩形进行编码。

步骤S6：将编码后的最小边界矩形插入到HBase中，即将R树索引存入到HBase中，形成了空间索引数据库。

步骤S7：根据查询范围确定查询矩形的网格坐标。

步骤S8：根据网格坐标范围在R树中查询。

步骤S9：根据查询范围在建有R树空间索引的HBase数据库中进行精确匹配。若油井坐标在查询范围内，则将其加入结果集中；如果不在查询范围中，则将其淘汰。

参见图5，本发明设计的将R树与HBase整合，是本系统的核心，也是本系统的创新与技术难点所在。二者整合最关键的就是R树的非叶结点和叶结点如何在HBase中存储以及HBase中如何保留其结点间的对应关系，因此，非叶结点间的对应关系和叶结点所包含的真实Point信息数据应该分开来存。

首先需要在HBase中建立一个真实数据表，数据表中的一行对应一个真实的Point信息数据，然后随着Point的不断插入，在HBase内部将建立起整棵R树，这时候需要将这整棵R树存储在另一个HBase表中，即索引表。

在索引表中，主要存储的是非叶结点之间的对应关系，主要分为三个列族，分别为NodeID列族，用于标记新建立起来的结点号；Type列族，用于存放结点类型；MBR列族，用于存放当前结点包含哪些子MBR信息，子MBR信息包括最小矩形Range信息和下一结点号信息。这样就能根据结点类型，进行指向。若结点为根结点或非叶子结点，MBR指向下一个指定的结点；若结点是叶子结点，其MBR中包含的是LeafID信息，即叶结点号信息，此时指针指向的将是数据表中的Data信息，即真实数据信息(完整的油井数据信息)，包括油井的温度、油压和套压。这样就可以把R树以空间索引的形式建在HBase当中。

综上所述，本发明的方法，针对针对传统工业产线流程进行优化，提高了产线的性能。主要从系统服务端数据处理优化入手，详细阐述了R树应用原理特性以及HBase数据表结构的设计，修改了R树底层存储结构，建立新的数据结构；针对数据表中的空闲空间的回收与分配，设计了空间数据管理回收机制及其维护算法。然后，从数据插入、数据查询两个方面流程具体讲解了R树与HBase整合的过程，为HBase添加了R树空间索引，建立云端时空数据库。从而尽可能的提高资源利用率、降低系统能耗，提高产线的生产效率。这是一种新的针对产线的系统优化解决方案，适合推广使用。

Claims (4)

1.一种基于空间索引技术的位置信息快速查询方法，其特征在于包括以下步骤：

根据待查询目标空间坐标信息建立R树空间索引，在HBase数据库上建立R树结点映射，形成空间索引数据库；

根据用户输入坐标信息形成的最小边界矩形，在空间索引数据库中查询；

在空间索引数据库中查询包括以下步骤：

首先在客户端获取用户提交的空间限定，即经纬度的上下限；

然后根据经纬度上下限的四个数值，形成一个查询矩形；

将查询矩形直接与HBase数据库中的R树的根结点中的最小边界矩形作比较，若根结点中的最小边界矩形对应的空间范围包含查询矩形对应的空间范围，则根据根结点的指向往下一层遍历，依次与每层结点作同样的比较，直到最小边界矩形对应的范围不包含查询矩形对应的范围为止，此时获取当前正在做比较的最小边界矩形的序号；若根结点中的最小边界矩形对应的空间范围不包含查询矩形对应的空间范围，则直接获取当前正在做比较的最小边界矩形的序号；

最后根据得到的序号在数据表中获取该序号对应的完整信息；

将查询结果返回用户。

2.根据权利要求1所述的一种基于空间索引技术的位置信息快速查询方法，其特征在于所述根据待查询目标空间坐标信息建立R树空间索引，在HBase数据库上建立R树结点映射，形成空间索引数据库包括以下步骤：

首先，将待查询目标空间坐标信息形成最小边界矩形，建立R树空间索引；

然后根据R树的不同的非叶结点类型，在HBase数据库上依次建立结点映射，形成索引表；

将R树的叶结点对应的数据存入HBase数据库中，形成数据表；

将索引表中类型为指向叶结点的非叶结点对应的最小边界矩形号与数据表中的序号建立映射，这样在数据表上建立空间索引，形成空间索引数据库。

3.根据权利要求2所述的一种基于空间索引技术的位置信息快速查询方法，其特征在于所述将待查询目标空间坐标信息形成最小边界矩形，建立R树空间索引包括以下步骤：

首先获取待查询目标空间坐标信息，即经纬度信息，然后将每个目标坐标的经纬度数值与设定值比较；

如果经纬度数值在设定值范围内，则由最初的两个点坐标形成一个矩形，将矩形插入到R树空间索引，形成一个最小边界矩形；

随着目标坐标的依次插入R树，形成多个不同类别的最小边界矩形，构建成R树空间索引。

4.根据权利要求2所述的一种基于空间索引技术的位置信息快速查询方法，其特征在于所述根据R树的不同的非叶结点类型，在HBase数据库上依次建立结点映射包括以下步骤：

在HBase数据库存储结点间的对应关系，包括插入的最小边界矩形序号作为结点号、结点类型以及包含的子矩形信息，其中子矩形信息包括最小边界矩形范围及其指向的结点号；

R树的根结点直接存储在HBase数据库当中，并记录根结点的孩子信息，即根结点的子矩形信息；

R树的中间结点存储在HBase数据库中后，记录根结点的孩子信息和父结点信息；

最终实现将R树的非叶结点在HBase数据库上建立结点映射。

Images