CN109284351A - 一种基于HBase数据库的数据查询方法 - Google Patents

Abstract

本发明公开了一种基于HBase数据库的数据查询方法，涉及数据库领域。该方法包括：获取查询请求，对查询请求的查询类型进行判断；当查询请求是非主键属性的查询时，根据查询请求对HBase数据库中预设的索引表进行查询，获取索引表中待查询数据的Rowkey；根据Rowkey从HBase数据库的主数据表中获取待查询数据。本发明提供的数据查询方法，与现有技术相比，可以通过预先在索引表中查询Rowkey的方式提高HBase数据库的非主键属性的查询效率。

Description

一种基于HBase数据库的数据查询方法

技术领域

本发明涉及数据库领域，尤其涉及一种基于HBase数据库的数据查询方法。

背景技术

HBase数据库不同于一般的关系数据库，它是一个适合于非结构化数据存储的分布式数据库。但是，HBase数据库的数据存储及查询中，HBase数据库本身只支持高效的Rowkey(行键)查询，对于非主键数据等，则不能通过Rowkey进行高效查询。

在HBase数据库上检索数据的方法有如下三种：指定单个行键查询、指定行键的范围查询以及扫描。其中，扫描主要用于对非主键数据列的查询，从头开始对数据进行逐行扫描，依次检查每条数据记录的查询属性是否满足查询条件，将满足查询条件的结果集汇总返回。这种方式简单低效，难以满足大数据的实时查询需求。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于HBase数据库的数据查询方法及一种存储介质。

本发明解决上述技术问题的技术方案如下：

一种基于HBase数据库的数据查询方法，包括：

获取查询请求，对所述查询请求的查询类型进行判断；

当所述查询请求是非主键属性的查询时，根据所述查询请求对HBase数据库中预设的索引表进行查询，获取所述索引表中待查询数据的Rowkey；

根据所述Rowkey从所述HBase数据库的主数据表中获取所述待查询数据。

本发明的有益效果是：本发明提供的数据查询方法，通过预先建立索引表，并在查询时对查询的类型进行判断，当查询请求是非主键属性的查询时，先从索引表中获取待查询数据的Rowkey，再根据Rowkey从主表中进行查询，与现有技术相比，可以通过预先在索引表中查询Rowkey的方式提高HBase数据库的非主键属性的查询效率。

并且在通常情况下，索引表会比数据表小得多，进行范围查询时，查询执行引擎只需要访问一次索引表，获得查询范围内的所有存在的索引列值，将范围查询转换成批量查询，针对每个索引列值发起单值查询，最后查询执行引擎汇总查询结果，能够支持海量动态大数据的高效非主键属性查询。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的方法。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明一种基于HBase数据库的数据查询方法的实施例提供的流程示意图；

图2为本发明一种基于HBase数据库的数据查询方法的其他实施例提供的流程示意图；

图3为本发明一种基于HBase数据库的数据查询方法的其他实施例提供的数据查询流程示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

本发明的主要目的是对HBase数据库的查询中，非Rowkey查询优化的研究，现有的大多数研究者在索引的建立方式上做相关研究，很少对数据本身的结构格式或者是利用缓存技术对其数据本身的存储进行优化。因此，本发明提出了基于Redis内存的热点数据缓存策略的优化方案，针对经常被查询的热数据，将其数据本身变换存储结构，缓存到Redis内存数据库中，从而达到优化查询效率的效果。

下面对HBase数据库和Redis内存进行说明。

HBase数据库是一个开源的非关系NoSQL(非关系型数据库)的可伸缩性分布式数据库，它是面向列的，并适合于存储超大型松散数据，HBase数据库可以随机对大数据进行读写操作。

Redis内存是一种NoSQL的key-value(键-值对)组成的远程内存数据库，其特性是将数据存储于内存中，其持久化特性保证了在内存中的数据不易丢失，而且其键值支持Lists(列表)、Sets(集合)、Sortedsets(有序列表)、Hashes(哈希表)许多数据结构。因此，Redis内存数据库可以很好地实现热点数据的缓存。

基于此，本发明提供了基于热度值的二级索引缓存策略查询优化方法，下面对这种方法进行详细说明。

如图1所示，为本发明一种基于HBase数据库的数据查询方法的实施例提供的流程示意图，该数据查询方法包括：

S1，获取查询请求，对查询请求的查询类型进行判断。

应理解，查询请求的查询类型主要分为主键查询和非主键查询。

S2，当查询请求是非主键属性的查询时，根据查询请求对HBase数据库中预设的索引表进行查询，获取索引表中待查询数据的Rowkey。

应理解，在对HBase数据库中的索引表进行查询之前，需要创建索引表。需要说明的是，由于索引表存储在HBase数据库中，因此，索引表的每一行也需要一个主键。索引表的主键可以包括：HBase数据库中被索引的列的值和被索引的数据的Rowkey。

S3，根据Rowkey从HBase数据库的主数据表中获取待查询数据。

应理解，在查询之前，需要创建HBase表，才能从HBase表中查询数据。每一种终端类型对应一张HBase表，将终端类型名作为HBase的表名，指定列族名称Column Family、列限定符名称Column。

本实施例提供的数据查询方法，通过预先建立索引表，并在查询时对查询的类型进行判断，当查询请求是非主键属性的查询时，先从索引表中获取待查询数据的Rowkey，再根据Rowkey从主表中进行查询，与现有技术相比，可以通过预先在索引表中查询Rowkey的方式提高HBase数据库的非主键属性的查询效率。

并且在通常情况下，索引表会比数据表小得多，进行范围查询时，查询执行引擎只需要访问一次索引表，获得查询范围内的所有存在的索引列值，将范围查询转换成批量查询，针对每个索引列值发起单值查询，最后查询执行引擎汇总查询结果，能够支持海量动态大数据的高效非主键属性查询。

可选地，在一些实施例中，当查询请求是非主键属性的查询时，根据查询请求对HBase数据库中预设的索引表进行查询，获取索引表中待查询数据的Rowkey，具体可以包括：

当查询请求是非主键属性的查询时，对Redis内存中存储的数据进行查询；

当在Redis内存中没有查询到待查询数据时，根据查询请求对HBase数据库中预设的索引表进行查询，获取索引表中待查询数据的Rowkey。

应理解，在对Redis内存中存储的数据进行查询之前，还应包括将HBase数据库中的数据放入到Redis内存中的过程。

需要说明的是，放入到Redis内存中的数据可以根据实际需求选择，例如，可以将历史查询次数多于一定阈值的数据放入到Redis内存中，这样在查询时，首先对Redis内存中存储的常用查询数据进行查询，而Redis内存是缓存，查询速度快，避免直接对HBase数据进行查询，能够提高查询效率。

还可以将存入HBase数据中的时间小于预设时间的数据放入Redis内存中，通过将近期存入的数据放到Redis内存中，能够便于用户直接搜索近期数据，便于用户的使用。

可选地，在一些实施例中，Redis内存中可以存储有热度值满足预设条件的数据，热度值用于表示数据的历史查询次数。

需要说明的是，热度值可以加在索引表中的数据的主键前，预设条件可以根据实际需求设置。

同时，热度值与数据的历史查询次数之间的关系可以根据实际需求设置，最简单的方法，可以用热度值直接表示数据的历史查询次数，例如，当某数据被查询100次时，那么热度值也可以为100；热度值和数据的历史查询次数之间可以存在一定的比例关系，例如，每当某数据被查询10次时，可以将热度值记为1，四舍五入，例如，某数据被查询122次时，可以将热度值记为12，这样便于统计海量查询次数的数据的热度值表示。为便于说明，本申请中可以默认热度值等同于数据的历史查询次数。

例如，预设条件可以为热度值大于预设值，预设值可以根据实际需求设置，例如可以为100。

又例如，预设条件还可以为热度值排名在预设范围之前，预设范围可以根据实际需求设置，例如可以为前20％或前100。

下面以一个实例对基于热度值和Redis内存的查询进行示例性说明，以Temp为20度为查询条件作为示例。

客户端根据查询条件发起查询，首先通过Redis的get操作查询所查数据，如果查询到，则返回在Redis内存里存放的热点数据，直接返回至客户端；如果没有查询到，则通过HBase数据库的Scan操作，返回索引表中前缀为20的索引表的Rowkey，进而进一步获得该条数据在原表中Rowkey，通过原表中的Rowkey查找存储在原表中的数据，并将数据返回给客户端。

应理解，客户端对数据进行大量的查询，查询记录会存储在HMaster中，采用专门定时扫描HMaster的程序，可以实现根据某数据的查询次数对其热度值进行标记。

对于热度值高的热点数据，本发明具有明显的实验效果，对于混合数据，也比单纯的索引效率更高。基于Redis内存的热点数据缓存策略的查询优化方案能够明显的改进查询效率，尤其对于热点数据，能够将查询效率提升至3～8倍。

可选地，在一些实施例中，还可以包括：

根据HBase数据库和Redis内存中存储的全部数据的热度值，对Redis内存中存储的数据进行更新。

可选地，可以对Redis内存中存储的数据进行定期更新。

可选地，可以对Redis内存中存储的数据进行实时更新。

应理解，热度值越高，也就表示数据被查询的次数也就越多，那么可以将热度值高的数据存放到Redis内存中，而随着用户的查询操作，数据的查询次数是不断改变的，那么可以定期或实时对数据的热度值进行排序，根据排序结果对Redis内存中存储的数据进行更新。

例如，假设共有10个数据，其中数据A的热度值为20，数据B的热度值为10，数据C的热度值为5，其他数据的热度值均为0，那么假设热度值在前20％的数据可以放入到Redis内存中，那么数据A和数据B可以放到Redis内存中。假设每周对数据进行更新，那么在一周后，数据A的热度值变为25，数据B的热度值还是10，数据C的热度值变为15，其他数据的热度值均为0，那么可以将数据C放入到Redis内存中，而将数据B从Redis内存中取出，完成一次更新。

可选地，在一些实施例中，获取查询请求之前，还可以包括：

为HBase数据库中的非主键数据列建立索引表；

定义索引表的主键，索引表的主键包括：HBase数据库中被索引的列的值和被索引的数据的Rowkey。

例如，多数大数据的应用场景都是面向流式数据输入的，对于流式数据索引构建方法，可以利用HBase数据库提供的Coprocessor接口实现索引表的构建。HBase数据库提供了两种类型的Coprocessor：Observer与Endpoint，本发明可以利用Observer类型的Coprocessor来构建相关的索引。具体来说是使用HBase数据库提供的RegionObserver接口的回调函数prePut，当客户端存储一个记录之前会被触发调用。prePut方法首先根据索引信息对用户发起的Put操作进行分析，如果Put操作的数据包含有索引列，即包含要索引的数据，则触发索引数据的插入。

可以根据协处理器技术为保存在HBase数据库中的非主键数据列建立索引表，并将索引表保存在HBase数据库中，借助HBase数据库的特性获得良好的可扩展性和容错性。索引表用来存储管HBase数据库中的待查询非主键数据列的索引。由于索引表存储在HBase数据库中，因此，索引表的每一行也需要一个主键。下面以探空数据为例，为HBase数据库中待建立索引的非主键数据列定义如下格式的索引表主键：

<探空数据表索引数据|探空数据表Rowkey>

其中，探空数据表索引列数据为HBase数据库中，探空数据数据表中被索引的列的值，探空数据表Rowkey指HBase数据库中，探空数据表被索引的记录的主键值，在探空数据索引表主键存储原表的主键中存储该值有两个作用：

一是保证了索引表主键的唯一性；

二是给出了原探空数据表中被索引的记录的地址，即通过原数据表的主键，可以获得原数据表中被索引的记录。

在此构建过程中索引表将为HBase数据库实现索引数据的持久化存储，构成持久化索引存储层。

可选地，在一些实施例中，索引表的主键还可以包括：表示数据历史查询次数的热度值。

应理解，本发明提出的二级索引的查询原理是通过非主键字段在二级索引中定位到该条数据的主键，对二级索引进行整张表扫描。而二级索引表中的主键是按照字典序排序的，得出在二级索引表中“热数据”的主键基本是分散的，每次查询“热数据”都会和“冷数据”混杂在一起进行扫描，大大降低了查询效率。为了进一步提高查询效率，可以在二级索引的基础上引入热度值，即对二级索引进行热度值标注，其原理是让热数据的索引尽量集中，减少二级索引表扫描的数据，从而提高效率。

在本发明中，可以将热度值定义成一个整型，热度值越大表示热度越高，被访问次数越多。具体实现方法是在二级索引的基础上，改变二级索引的主键结构，加入热度值，还是以探空数据为例，改变后的二级索引主键结构为：

<热度值|探空数据表索引数据|探空数据表Rowkey>

其中，热度值可以为该条数据被检索的次数，探空数据表索引数据为HBase数据表中，探空数据数据表中被索引的列的值探空数据表Rowkey指HBase数据表中，探空数据数据表被索引的记录的主键值。

例如，如表1所示，展示了以探空数据为例基于热度值的索引结构，该示例中，索引表的主键可以为“15|-52.3|56029|2000-01-01|12|10540”，其中，15为探空数据表中记录为56029|2000-01-01|12|10540的数据的检索记录，即该条数据的热度值，-52.3为探空数据表中56029|2000-01-01|12|10540的Temp值，是索引列值；56029|2000-01-01|12|10540是该记录在探空数据表对应的主键。

查询时可以通过比较索引列值定位该条数据记录。

表1

可选地，在一些实施例中，定义索引表的主键之后，还可以包括：

根据排序算法对热度值从大到小排序；

将热度值满足预设条件的数据缓存到Redis内存中。

需要说明的是，这里的预设条件与查询时的预设条件相同，在前已进行说明，在此不再赘述。

可选地，在一些实施例中，将热度值满足预设条件的数据缓存到Redis内存中，具体可以包括：

将热度值满足预设条件的数据的Rowkey映射到HBase数据库的主数据表中；

通过Rowkey从主数据表中获取热度值满足预设条件的数据，并缓存到Redis内存中。

可选地，在一些实施例中，还可以包括：

根据预设时间间隔将热度值清零。

需要说明的是，预设时间间隔可以根据实际需求设置。

通过定期对热度值清零，能够保证标记的热数据是近期产生的，更具有针对性。

可选地，在一些实施例中，当有新数据产生时，可以建立新的二级索引，在索引表中增加其记录，并将其热度值初始化为0，当该数据被检索时，系统根据记录把该数据对应的二级索引热度值增加，同时系统定时周期性地按照热度值从大到小对二级索引进行刷新排序，保证热点数据集中分布在二级索引靠前的部分，在查询中，只需扫描少量的二级索引数据块就能查询到大量的热数据。

可以理解，在一些实施例中，可以包含如上述各实施例中的部分或全部步骤。

如图2所示，为本发明一种基于HBase数据库的数据查询方法的其他实施例提供的流程示意图，该方法包括：

S01，为HBase数据库中的非主键数据列建立索引表。

S02，定义索引表的主键，索引表的主键包括：HBase数据库中被索引的列的值、被索引的数据的Rowkey和表示数据历史查询次数的热度值。

S03，根据排序算法对热度值从大到小排序。

S04，将热度值满足预设条件的数据的Rowkey映射到HBase数据库的主数据表中。

S05，通过Rowkey从主数据表中获取热度值满足预设条件的数据，并缓存到Redis内存中。

S1，获取查询请求，对查询请求的查询类型进行判断。

S21，当查询请求是非主键属性的查询时，对Redis内存中存储的数据进行查询。

S22，当在Redis内存中没有查询到待查询数据时，根据查询请求对HBase数据库中预设的索引表进行查询，获取索引表中待查询数据的Rowkey。

S3，根据Rowkey从HBase数据库的主数据表中获取待查询数据。

S4，根据HBase数据库和Redis内存中存储的全部数据的热度值，对Redis内存中存储的数据进行更新。

S5，根据预设时间间隔将热度值清零。

其中，Redis内存中存储有热度值满足预设条件的数据，热度值用于表示数据的历史查询次数。

应理解，本领技术人员可以根据实际需求对本发明公开的方法的全部或部分步骤进行实施，例如，如图3所示，给出了一种优选的数据查询的实施方法，该查询方法包括：

S1，获取查询请求，对查询请求的查询类型进行判断。

S21，当查询请求是非主键属性的查询时，对Redis内存中存储的数据进行查询。

S22，当在Redis内存中没有查询到待查询数据时，根据查询请求对HBase数据库中预设的索引表进行查询，获取索引表中待查询数据的Rowkey。

S3，根据Rowkey从HBase数据库的主数据表中获取待查询数据。

需要说明的是，本实施例中与上述实施例相同的步骤的说明，可以参考上述实施例中的对应说明，在此不再赘述。

在本发明的其他实施例中，还提供一种存储介质，该存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述实施例中任一所述的方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于HBase数据库的数据查询方法，其特征在于，包括：

获取查询请求，对所述查询请求的查询类型进行判断；

当所述查询请求是非主键属性的查询时，根据所述查询请求对HBase数据库中预设的索引表进行查询，获取所述索引表中待查询数据的Rowkey；

根据所述Rowkey从所述HBase数据库的主数据表中获取所述待查询数据。

2.根据权利要求1所述的数据查询方法，其特征在于，所述当所述查询请求是非主键属性的查询时，根据所述查询请求对HBase数据库中预设的索引表进行查询，获取所述索引表中待查询数据的Rowkey，具体包括：

当所述查询请求是非主键属性的查询时，对Redis内存中存储的数据进行查询；

当在所述Redis内存中没有查询到待查询数据时，根据所述查询请求对HBase数据库中预设的索引表进行查询，获取所述索引表中待查询数据的Rowkey。

3.根据权利要求2所述的数据查询方法，其特征在于，所述Redis内存中存储有热度值满足预设条件的数据，所述热度值用于表示数据的历史查询次数。

4.根据权利要求3所述的数据查询方法，其特征在于，还包括：

根据所述HBase数据库和所述Redis内存中存储的全部数据的热度值，对所述Redis内存中存储的数据进行更新。

5.根据权利要求1至4中任一项所述的数据查询方法，其特征在于，所述获取查询请求之前，还包括：

为所述HBase数据库中的非主键数据列建立索引表；

定义所述索引表的主键，所述索引表的主键包括：所述HBase数据库中被索引的列的值和被索引的数据的Rowkey。

6.根据权利要求5所述的数据查询方法，其特征在于，所述索引表的主键还包括：表示数据历史查询次数的热度值。

7.根据权利要求6所述的数据查询方法，其特征在于，所述定义所述所述索引表的主键之后，还包括：

根据排序算法对所述热度值从大到小排序；

将热度值满足预设条件的数据缓存到Redis内存中。

8.根据权利要求7所述的数据查询方法，其特征在于，所述将热度值满足预设条件的数据缓存到Redis内存中，具体包括：

将热度值满足预设条件的数据的Rowkey映射到所述HBase数据库的主数据表中；

通过所述Rowkey从所述主数据表中获取热度值满足预设条件的数据，并缓存到Redis内存中。

9.根据权利要求6至8中任一项所述的数据查询方法，其特征在于，还包括：

根据预设时间间隔将所述热度值清零。

10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至9中任一项所述的方法。