CN110209749A - 一种基于HBase的地理信息查询方法及装置 - Google Patents

Abstract

一种基于HBase的地理信息查询方法及装置，该方法为：将二维经纬度坐标空间划分为若干数据块，计算每个数据块对应的B‑order值；根据所述B‑order值得到HBase数据库中对应的行键rowkey生成函数；根据用户输入的限定条件返回查询范围，所述限定条件为经纬度坐标。本发明首先分析地理信息的特点与HBase本身的特性，采用B‑order值填充二维经纬度空间，从而能够有效减少查询时的搜索范围，查询结果更加精确，并减少了查询时间；本发明将二维空间数据进行降维，查询时能够有效的利用空间信息对数据进行过滤，从而提高查询的效率。

Description

一种基于HBase的地理信息查询方法及装置

技术领域

本发明涉及数据处理以及云计算领域，具体涉及一种基于HBase的地理信息查询方法及装置。

背景技术

在云计算时代，网络化、信息化、数字化技术的迅猛发展推动着地理建设领域的服务产生了巨大的变化，人们对于地理信息的需求变得越来越多样。在地理空间利用方面，各类地理工程建设项目、自然保护区、生态文明建设示范区和旅游度假区等，对地理信息的查询提出了更高的要求，现有的地理信息系统已经无法满足高运算、高消耗、需求复杂的地理空间服务的日益增长的需要。

在以往的地理信息系统中，大都是借鉴地址地名定位方法中的地理编码方式，进而建立地理空间框架，用多源、多维度的方式来表达地理空间位置。然而这种方式由于采用了多维度的方式，相应的查询速度也会变得缓慢，无法满足用户高精度、高效率的要求。

发明内容

发明目的：为了克服现有技术的不足，本发明提供一种基于HBase的地理信息查询方法，该方法可以解决由于数据维度较高使得查询时的搜索范围较广，查询效率低的问题。

技术方案：本发明所述的基于HBase的地理信息查询方法，该方法包括：

将二维经纬度坐标空间划分为若干数据块，计算每个数据块对应的B-order值；

根据所述B-order值得到HBase数据库中对应的行键rowkey生成函数；

根据用户输入的限定条件返回查询范围，所述限定条件为经纬度坐标范围。

可选的，进一步包括：

所述B-order值为经度的百位和十位与纬度的十位组成的字符串；若经度对应的数字只存在个位，则所述B-order值对应位置用零占位；若纬度对应的数字只存在个位，则所述B-order值对应位置用零占位。

可选的，进一步包括：

所述HBase数据库中的行键rowkey的生成函数F()，表示为：

F()＝B_i+T+α

其中，B_i表示第i个数据块对应的B-order值，1≤i≤M，M为数据块的总数，α为生成的随机数，T为所述用户输入的限定条件中的时间信息。

可选的，进一步包括：

所述限定条件还包括时间信息。

可选的，进一步包括：

所述查询范围的计算方法包括：

根据所述限定条件中的经纬度坐标范围得到的四个不同B-order值对应的数据块组A，以及以该四个数据块形成的矩形区域触及的数据块组B，

返回数据块组A和数据块组B涉及的对应数据块，并显示数据块中涉及到的在所述经纬度坐标范围之内的数据信息，所述数据信息包括数据日期、景号、开始时间、结束时间、空间分辨率、经度、纬度、描述和图像名称。

一种基于HBase的地理信息查询装置，包括：

采集模块，用于采集气象数据，并将二维经纬度坐标空间划分为若干数据块；

存储模块，用于存储采集的气象数据以及经过处理模块处理后的经纬度坐标，包括HBase数据库；

处理模块，用于对每个数据块均采用B-order命名规则进行命名，得到对应的B-order值，并根据所述B-order值得到所述存储模块中对应的行键rowkey生成函数；

显示模块，用于根据用户输入的限定条件返回查询范围，并为用户进行数据信息显示，所述限定条件为经纬度坐标范围。

可选的，进一步包括：

所述处理模块中，所述B-order值为经度的百位和十位与纬度的十位组成的字符串；若经度对应的数字只存在个位，则所述B-order值对应位置用零占位；若纬度对应的数字只存在个位，则所述B-order值对应位置用零占位。

可选的，进一步包括：

所述HBase数据库中的行键rowkey的生成函数F()，表示为：

F()＝B_i+T+α

其中，B_i表示第i个数据块对应的B-order值，1≤i≤M，M为数据块的总数，α为生成的随机数，T为所述用户输入的限定条件中的时间信息。

可选的，进一步包括：

所述显示模块中，所述限定条件还包括时间信息。

可选的，进一步包括：

所述显示模块具体包括：

数据块组确定单元，用于根据所述限定条件中的经纬度坐标得到的四个不同B-order值对应的数据块组A，以及以该四个数据块形成的矩形区域触及的数据块组B，

返回单元，用于返回数据块组A和数据块组B涉及的对应数据块；

显示单元，用于显示数据块中涉及到的在所述经纬度坐标范围之内的数据信息，所述数据信息包括数据日期、景号、开始时间、结束时间、空间分辨率、经度、纬度、描述和图像名称。

有益效果：本发明与现有技术相比，其显著优点是：1、本发明首先分析地理信息的特点与HBase本身的特性，采用B-order值填充二维经纬度空间，从而能够有效减少查询时的搜索范围，查询结果更加精确，并减少了查询时间；2、本发明将二维空间数据进行降维，查询时能够有效的利用空间信息对数据进行过滤，从而提高查询的效率。

附图说明

图1为本发明实施例中数据存储层的结构示意图；

图2为本发明实施例中地理信息查询系统结构示意图；

图3为本发明实施例中地理信息查询方法流程图；

图4为本发明实施例中地理信息查询方法中空间划分示意图；

图5为本发明实施例中地理信息查询装置结构示意图；

图6为本发明实施例中电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

HBase数据库不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.所谓非结构化数据存储就是说HBase是基于列的而不是基于行的模式，这样方便读写大数据内容。现有技术中，HBase在查询的过程中只支持三种方式的查询：全表扫描、针对关键字的范围扫描和根据关键字的单个读取，查询效率较低。

本发明提出了一种基于HBase的地理信息查询方法，采用了网格划分的思路，使得地理信息查询速度更快、精度更高，更能满足现代社会对地理信息的需求，本发明中的NearGoos气象数据中空间信息就是典型的二维数据，要提高系统在NearGoos空间上的查找速度，就必须有效的将空间信息添加到行键rowkey中。行键Rowkey是一个字符串，属于一维数据，因此本发明使用降维方法将现有的二维数据变为一维数据，这样做有利于添加到HBase数据表中的行键rowkey中去。

参阅图1和2所示，为本发明实施例中基于HBase的地理信息查询系统，至少包括节点11、HBase数据库13、处理器21和显示设备31。

节点和HBase数据库处于数据存储层1，该层包含云平台的一个主节点和若干个子节点，以及一个HBase数据库，用于储存系统所有相关的数据。

主节点与HBase数据库进行数据交互，将主节点中的数据信息发送到HBase数据库，HBase数据库对数据信息进行保存，子节点是指的不同机构、不同企业搭建的云平台，云平台中包含大量的Modis数据，主节点为将所有子节点中的Modis数据进行汇总，从而形成大数据群。

HBase数据库中存储的数据包括两部分，一部分来自NearGoos气象数据，另一部分为Modis数据中描述图像属性信息的描述信息。

处理器21处于数据处理层2，该层包含了数据处理的相关操作，包括查询条件的获取和匹配、调用HBase进行查询、查询结果的管理。

处理器可以向HBase数据库发送或调用相关数据，并对数据信息进行处理，并将处理结果发送给显示设备，用户通过显示设备看到自己查询的结果。

显示设备处于数据显示层3，其为面向用户提供了查看存储信息和查看查询结果的功能。

进一步的，在本发明实施例中，还包括HDFS数据库13，其处于数据存储层1，由于Modis数据主要包含了两个部分：一部分是采集的图像信息；另外一部分是描述图像属性信息的描述信息，也就是文本数据，包括数据的日期、景号、开始时间、结束时间、空间分辨率、经度、纬度、描述、图像名称等。HDFS数据库存储的是图像数据，HBase数据库储存图像的描述信息。

进一步的，在本发明实施例中，还包括传统数据库，其处于数据显示层，其存储的是本地数据，可以将其上传至云平台的服务器中，也可以通过kettle从云平台数据库中抽取数据，进而与HBase进行相互转换。

值得说明的是，本发明实施例中的系统结构图是为了更加清楚地说明本发明实施例中的技术方案，并不构成对本发明实施例提供的技术方案的限制，并且，本发明实施例中也不仅限于地理信息数据业务应用，对于其它的系统结构和业务应用，本发明实施例提供的技术方案对于类似的问题，同样适用。

本发明各个实施例中，以基于HBase的地理信息查询方法用于图1所示的系统结构图为例进行示意性说明。

参阅图3所示，为本发明实施例中基于HBase的地理信息查询方法流程图，该方法包括：

步骤100、采集气象数据，并将二维经纬度坐标空间划分为若干数据块，计算每个数据块对应的B-order值。

具体的：将整个二维经纬度空间分割为M个数据块，采用B-order命名规则为每一个数据块进行命名，相同命名的数据块中的数据信息就是彼此相邻较近的数据或者说是在同一个范围之内的数据。

B-order命名规则为：由经纬度坐标的一条数据，经度的百位和十位与纬度的十位组成的字符串；若经度对应的数字只存在个位，则所述B-order值对应位置用零占位；若纬度对应的数字只存在个位，则所述B-order值对应位置用零占位。因此可知同一个数据块中会包含多个经纬度不同但B-order值的数据信息。

在实际应用中经纬度的取值是有限的，因此可以使用经度的百位和十位与纬度的十位组成一个字符串，代表落在这一N*N方格范围内的所有数据，当数据量大时可以根据实际的情况对数据划分的方格粒度做相应的调整已达到最佳效果。

下面采用具体的数据进行具体说明，如存在10*10大小的方格，一条数据其空间信息为经度110.333度，纬度28.455度，此时根据B-order规则，经度的十位和百位，即11，维度的十位，即2，则B-order值为112，对应数据块即命名为112，及该经纬度数据信息落在了该数据块内，在这里如果经度纬度缺少百位或者是十位的话，用0去占位，如001的形式。

步骤110、根据所述B-order值得到HBase数据库中对应的行键rowkey生成函数；

具体的：二维数据进行降维编码，将其编码碍到的B-order值作为rowkey的空间信息部分；

所述HBase数据库中的行键rowkey的生成函数F()，表示为：

F()＝B_i+T+α

其中，B_i表示第i个数据块对应的B-order值，1≤i≤M，M为数据块的总数，α为生成的随机数，T为所述用户输入的限定条件中的时间信息。

本发明利用rowkey的编码实现气象数据时间以及空间查找，按照输入的条件较为精确的获得rowkey的范围，通过这种方式，HBase能够将空间相近的数据对象尽可能存储在一起，并且避免扫描大量无用的数据，以便提高效率。在实现时使用的rowkey编码规则“rowkey＝B-order值+时间信息+随机数”，这样就可以根据用户输入的时间和空间条件获得多段连续的行键rowkey，从而实现对数据的相对精确的扫描。

步骤120、根据用户输入的限定条件返回查询范围。

限定条件可以为精确的经纬度坐标或者经纬度坐标范围和时间信息混合信息。

具体的：用于输入的信息可能为一个经纬度坐标或者经纬度坐标的范围，甚至有可能是时间信息和经纬度坐标的结合；

根据步骤100和110，若用户查询时为精确的经纬度坐标，则直接返回对应的数据信息；否则，若用户查询的为经纬度坐标的范围，如：(j₁,j₂)为经度坐标为，(w₁,w₂)为纬度坐标，则根据所述限定条件中的经纬度坐标得到的四个不同B-order值对应的数据块组A，以及以该四个数据块形成的矩形区域触及的数据块组B，涉及到的数据块总数为：(int(j₂-j₁)/N+1)*(int(w₂-w₁)/N+1)；其中，所述数据块包括二维经纬度坐标空间上N*N的范围。

可包含经纬度范围的数据块分为两类，第一类为：数据块中的部分数据信息落在用户查询经纬度范围内，第二类为：数据块中的全部数据信息均落在用户查询的经纬度范围内。其中，数据块组A均为第一类，由数据块组A形成矩形内的属于数据块组B的数据块为第二类，置于矩形边上属于数据块组B的数据块为第一类。

然后，返回数据块组A和数据块组B涉及的对应数据块，并对数据块中的数据信息进行筛选，得到用户查询条件的数据信息集合，并显示数据块中涉及到的在所述经纬度坐标范围之内的数据信息，所述数据信息包括数据日期、景号、开始时间、结束时间、空间分辨率、经度、纬度、描述和图像名称。

下面采用具体的数据进行具体说明，如图4所示，用户输入的限定条件是经度在115.01到135.21之间，纬度在78.9到98.5之间，经纬度两两搭配，计算出对应的四个B-order值分别为：[117,119,137,139]，其对应的范围是一个矩形区域，由于数据块的跨度是10(经度、纬度)，可以分别计算得到用户输入的条件在空间上跨越了3个数据块，因此可知需要对[117,118,119,127,128,129,137,138,139]这九个数据块进行查询，这九个数据块可以分为两个数据块组：1、[117,118,119,127,129,137,138,139]这八个数据块组成数据块组A，该组中包含的数据块中只有部分数据满足用户输入的限定条件，需要进一步对里面的数据进行筛选；2、[128]数据块组成数据块组B，该组中包含的数据块中的数据全部满足用户输入的限定条件，不需要进行筛选。

基于上述实施例，参阅图5所示，本发明实施例中，基于HBase的地理信息查询装置，具体包括：

采集模块20，用于采集气象数据，并将二维经纬度坐标空间划分为若干数据块；

存储模块21，用于存储采集的气象数据以及经过处理模块处理后的经纬度坐标，包括HBase数据库；

处理模块22，用于对每个数据块均采用B-order命名规则进行命名，得到对应的B-order值，并根据所述B-order值得到所述存储模块中对应的行键rowkey生成函数；

显示模块23，用于根据用户输入的限定条件返回查询范围，并为用户进行数据信息显示，所述限定条件为经纬度坐标。

可选的，进一步包括：

所述处理模块22中，所述B-order值为经度的百位和十位与纬度的十位组成的字符串；若经度对应的数字只存在个位，则所述B-order值对应位置用零占位；若纬度对应的数字只存在个位，则所述B-order值对应位置用零占位。

可选的，进一步包括：

所述HBase数据库中的行键rowkey的生成函数F()，表示为：

F()＝B_i+T+α

其中，B_i表示第i个数据块对应的B-order值，1≤i≤M，M为数据块的总数，α为生成的随机数，T为所述用户输入的限定条件中的时间信息。

可选的，进一步包括：

所述显示模块23中，限定条件为经纬度坐标和时间信息。

可选的，进一步包括：

所述显示模块23还包括：

数据块组确定单元，用于根据所述限定条件中的经纬度坐标得到的四个不同B-order值对应的数据块组A，以及以该四个数据块形成的矩形区域触及的数据块组B，

返回单元，用于返回数据块组A和数据块组B涉及的对应数据块；

显示单元，用于显示数据块中涉及到的在所述经纬度坐标范围之内的数据信息，所述数据信息包括数据日期、景号、开始时间、结束时间、空间分辨率、经度、纬度、描述和图像名称。

参阅图6所示，本发明实施例中，一种电子设备结构示意图。

本发明实施例提供了一种电子设备，该电子设备可以包括处理器310(CenterProcessing Unit，CPU)、存储器320、输入设备330和输出设备340等，输入设备330可以包括键盘、鼠标、触摸屏等，输出设备340可以包括显示设备，如液晶显示器(LiquidCrystal Display，LCD)、阴极射线管(Cathode Ray Tube，CRT)等。

存储器320可以包括只读存储器(ROM)和随机存取存储器(RAM)，并向处理器310提供存储器320中存储的程序指令和数据。在本发明实施例中，存储器320可以用于存储上述地理信息查询方法的程序。

处理器310通过调用存储器320存储的程序指令，处理器310用于按照获得的程序指令执行上述任一种地理信息查询方法的步骤。

基于上述实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的地理信息查询方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于HBase的地理信息查询方法，其特征在于，该方法包括：

采集气象数据，并将对应的二维经纬度坐标空间划分为若干数据块，计算每个数据块对应的B-order值；

根据所述B-order值得到HBase数据库中对应的行键rowkey生成函数；

根据用户输入的限定条件返回查询范围，所述限定条件为经纬度坐标范围。

2.根据权利要求1所述的基于HBase的地理信息查询方法，其特征在于，所述B-order值为经度的百位和十位与纬度的十位组成的字符串；若经度对应的数字只存在个位，则所述B-order值对应位置用零占位；若纬度对应的数字只存在个位，则所述B-order值对应位置用零占位。

3.根据权利要求1所述的基于HBase的地理信息查询方法，其特征在于，所述HBase数据库中的行键rowkey的生成函数F()，表示为：

F()＝B_i+T+α

其中，B_i表示第i个数据块对应的B-order值，1≤i≤M，M为数据块的总数，α为生成的随机数，T为所述用户输入的限定条件中的时间信息。

4.根据权利要求1所述的基于HBase的地理信息查询方法，其特征在于，所述限定条件还包括时间信息。

5.根据权利求4所述的基于HBase的地理信息查询方法，其特征在于，所述查询范围的计算方法包括：

根据所述限定条件中的经纬度坐标范围得到四个不同B-order值对应的数据块组A，以及以该四个数据块形成的矩形区域触及的数据块组B，返回数据块组A和数据块组B涉及的对应数据块，并显示数据块中涉及到的在所述经纬度坐标范围之内的数据信息，所述数据信息包括数据日期、景号、开始时间、结束时间、空间分辨率、经度、纬度、描述和图像名称。

6.一种基于HBase的地理信息查询装置，其特征在于，包括：

采集模块，用于采集气象数据，并将二维经纬度坐标空间划分为若干数据块；

存储模块，用于存储采集的气象数据以及经过处理模块处理后的经纬度坐标，包括HBase数据库；

处理模块，用于对每个数据块均采用B-order命名规则进行命名，得到对应的B-order值，并根据所述B-order值得到所述存储模块中对应的行键rowkey生成函数；

显示模块，用于根据用户输入的限定条件返回查询范围，并为用户进行数据信息显示，所述限定条件为经纬度坐标范围。

7.根据权利要求6所述的基于HBase的地理信息查询装置，其特征在于，所述处理模块中，所述B-order值为经度的百位和十位与纬度的十位组成的字符串；若经度对应的数字只存在个位，则所述B-order值对应位置用零占位；若纬度对应的数字只存在个位，则所述B-order值对应位置用零占位。

8.根据权利要求6所述的基于HBase的地理信息查询装置，其特征在于，所述HBase数据库中的行键rowkey的生成函数F()，表示为：

F()＝B_i+T+α

其中，B_i表示第i个数据块对应的B-order值，1≤i≤M，M为数据块的总数，α为生成的随机数，T为所述用户输入的限定条件中的时间信息。

9.根据权利要求6所述的基于HBase的地理信息查询装置，其特征在于，所述显示模块中，限定条件为经纬度坐标范围和时间信息。

10.根据权利要求9所述的基于HBase的地理信息查询装置，其特征在于，所述显示模块具体包括：

数据块组确定单元，用于根据所述限定条件中的经纬度坐标得到的四个不同B-order值对应的数据块组A，以及以该四个数据块形成的矩形区域触及的数据块组B，

返回单元，用于返回数据块组A和数据块组B涉及的对应数据块；

显示单元，用于显示数据块中涉及到的在所述经纬度坐标范围之内的数据信息，所述数据信息包括数据日期、景号、开始时间、结束时间、空间分辨率、经度、纬度、描述和图像名称。