CN111177303A

CN111177303A - 基于phoenix的Hbase二级全文索引方法及系统

Info

Publication number: CN111177303A
Application number: CN201911311508.2A
Authority: CN
Inventors: 于伟
Original assignee: Unicloud Nanjing Digital Technology Co Ltd
Current assignee: Unicloud Nanjing Digital Technology Co Ltd
Priority date: 2019-12-18
Filing date: 2019-12-18
Publication date: 2020-05-19
Anticipated expiration: 2039-12-18
Also published as: CN111177303B

Abstract

本发明提出基于phoenix的Hbase二级全文索引方法及系统，包括步骤：对Hbase原始数据表建立二级全文索引表，并存储在Elasticsearch存储引擎中，建立二级全文索引表与Hbase原始数据表的关联外键，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey；在进行全文索引时，phoenix查询服务器将客户端查询语句转换为Elasticsearch存储引擎可执行的查询表达式，并下推Elasticsearch存储引擎查询；phoenix查询服务器将Elasticsearch存储引擎返回的查询结果作为Hbase原始数据表的RowKey集合去Hbase存储引擎中查询，并将查询的最终结果返回给客户端。本发明将二级索引功能转换成了一次基于ElasticSearch的全文索引和一次基于HBase的RowKey查询，扩充了原有的Phoenix的功能，满足用户全文检索的需求。

Description

基于phoenix的Hbase二级全文索引方法及系统

技术领域

本发明涉及数据库索引技术领域，尤其是基于phoenix的Hbase二级全文索引方法及系统。

背景技术

HBase的优势是RowKey查询和范围查询，非RowKey查询则会变得异常缓慢，phoenix针对这一特性，提供了基于HBase的二级索引功能。Phoenix是通过创建两个HBase表来完成的二级索引功能的，即建立索引的时候会建立一个索引表index table1,索引表的RowKey列是原始表的非RowKey列。但是，这种二级索引技术存在以下缺陷：

由于原数据表和索引表均存储在HBase中，所以索引表的查询也要求是RowKey查询，对于原始表非RowKey列全文索引的查询则不能满足。

发明内容

发明目的：为了满足Phoenix基于HBase的二级全文索引需求，本发明提出一种基于phoenix的Hbase二级全文索引方法及系统。

技术方案：为实现上述目的，本发明提出以下技术方案：

基于phoenix的Hbase二级全文索引方法，包括步骤：

(1)利用phoenix查询服务器对Hbase原始数据表建立二级全文索引表，并存储在Elasticsearch存储引擎中；

(2)建立二级全文索引表与Hbase原始数据表的关联外键，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey；

(3)在进行全文索引时，phoenix查询服务器获取客户端查询语句，将查询语句解析成抽象语法树，将抽象语法书转换为Elasticsearch存储引擎可执行的查询表达式；Elasticsearch存储引擎执行查询表达式后返回查询结果；

(4)phoenix查询服务器将Elasticsearch存储引擎返回的查询结果作为Hbase原始数据表的RowKey集合去Hbase存储引擎中查询，并将查询的最终结果返回给客户端。

进一步的，所述基于Elasticsearch和phoenix实现的二级全文索引方法还包括步骤：

phoenix查询服务器对二级全文索引表进行维护，包括：二级全文索引表创建、修改，以及二级全文索引表中数据的插入、删除、修改。

当Hbase原始数据表的数据有插入/删除/修改操作时，phoenix查询服务器根据Hbase原始数据表的操作信息生成Hbase原始数据表更新数据至二级全文索引表更新数据的逻辑，并根据生成的逻辑更新二级全文索引表。

进一步的，所述基于phoenix的Hbase二级全文索引方法中，更新二级全文索引表通过RegionSever提供的钩子函数实现。

进一步的，所述将抽象语法书转换为Elasticsearch存储引擎可执行的查询表达式的具体步骤包括：获取抽象语法树的查询表达式；解析查询表达式的restful查询部分；通过phoenix查询服务器的DSLBuilder创建能够被的Elasticsearch存储引擎执行的restful查询语句。

本发明还提出基于phoenix的Hbase二级全文索引系统，包括：

Phoenix查询服务器、Hbase存储引擎、Elasticsearch存储引擎；

其中，

Hbase存储引擎存储Hbase原始数据表；

Elasticsearch存储引擎存储Hbase原始数据表的二级全文索引表，并执行Phoenix查询服务器下推的查询语句；

Phoenix查询服务器为Hbase原始数据表建立二级全文索引表，建立二级全文索引表与Hbase原始数据表的关联外键，并对二级全文索引表进行维护；在进行全文索引时，phoenix查询服务器获取客户端查询语句，将查询语句解析成抽象语法树，将抽象语法书转换为Elasticsearch存储引擎可执行的查询表达式；将Elasticsearch存储引擎返回的查询结果作为Hbase原始数据表的RowKey集合去Hbase存储引擎中查询，并将查询的最终结果返回给客户端。

进一步的，所述二级全文索引表与Hbase原始数据表的关联外键，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey。

进一步的，所述对二级全文索引表进行维护包括：二级全文索引表创建、修改，以及二级全文索引表中数据的插入、删除、修改。

进一步的，phoenix查询服务器执行对Hbase原始数据表中数据的插入/删除/修改操作时，同时根据Hbase原始数据表的操作信息生成Hbase原始数据表更新数据至二级全文索引表更新数据的逻辑，并根据生成的逻辑更新二级全文索引表。

有益效果：与现有技术相比，本发明具有以下优势：

本发明将存储索引数据的表放在了ElasticSearch引擎上。将二级索引功能转换成了一次基于ElasticSearch的全文索引和一次基于HBase的RowKey查询。扩充了原有的Phoenix的功能，满足用户全文检索的需求。

附图说明

图1为本发明实施例涉及的基于phoenix的Hbase二级全文索引系统的整体架构图；

图2为本发明实施例涉及的基于phoenix的Hbase二级全文索引方法中使用全文索引条件查询数据的流程图。

具体实施方式

通过分析现有的Phoenix基于HBase做的二级索引的功能，我们获取了其实现的原理：就是创建一个额外的HBase表来存储索引数据，然后通过将基于二级索引的查询转化成了基于HBase的两次RowKey查询来完成功能。

本发明在此基础上，将存储索引数据的表放在了ElasticSearch引擎上。将二级索引功能转换成了一次基于ElasticSearch的全文索引和一次基于HBase的RowKey查询。扩充了原有的Phoenix的功能，满足用户的全文检索需求。

下面将结合附图和具体实施例对本发明作更进一步的说明。但应当理解的是，本发明可以以各种形式实施，以下在附图中出示并且在下文中描述的一些示例性和非限制性实施例，并不意图将本发明限制于所说明的具体实施例。

本实施例给出根据本发明的基于phoenix的Hbase二级全文索引方法的一种实施方式，包括以下步骤：

在步骤(1)中，利用phoenix查询服务器对Hbase原始数据表建立二级全文索引表，并存储在Elasticsearch存储引擎中。具体地说，

首先建立原始数据表，例如语句：CREATE TABLE t_emplyee(id INTEGER PRIMARYKEY,name VARCHAR(100),address VARCHAR(100),salary BIGINT)；在原始数据表中插入数据，例如：UPSERT INTO t_emplyee VALUES(111,'wanglei','tianjian heping nanjingroad',2400)；UPSERT INTO t_emplyee VALUES(222,'linan','tianjian nankaizhangzizhong road',2400)；至此，原始数据表建立完成。

然后创建二级全文索引表，例如语句：CREATE FULL INDEX index_test ON t_emplyee(name,address)。

phoenix查询服务器进行SQL语法解析，解析关键字FULL INDEX，然后根据FULLINDEX的元数据在Elasticsearch存储引擎中创建相应的index(索引)。

在步骤(2)中，建立二级全文索引表与Hbase原始数据表的关联外键，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey。具体地说，是建立二级全文索引表与Hbase原始数据表的关联关系，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey是将Hbase原始数据表的rowkey即可。例如：可以将Hbase原始数据表的rowkey作为二级全文索引表的查询ID。

在步骤(3)中，在进行全文索引时，phoenix查询服务器获取客户端查询语句，将查询语句解析成抽象语法树，将抽象语法书转换为Elasticsearch存储引擎可执行的查询表达式；Elasticsearch存储引擎执行查询表达式后返回查询结果。具体地说，整个全文索引流程如图2所示，包括以下步骤：

S1:获取查询语句，例如：SELECT/*t_emplyee index_test*/*FROM t_emplyeeWHERE MATCH('{“term”:{“address”,”tianjin”}}')；

S2：phoenix语法解析器解析出查询语句抽象语法树；

S3：通过phoenix用户自定义函数match函数，获取抽象语法树查询条件部分：MATCH('{“term”:{“address”,”tianjin”}}')，该查询表达式为树形语法结构。

S4：解析查询表达式的restful查询部分；例如：获取出“term”:{“address”,”tianjin”}的子表达式；

S5：通过phoenix查询服务器的DSLBuilder((domain-specific language))创建能够被Elasticsearch存储引擎执行的elasticsearch restful查询语句；

S6：将elasticsearch restful查询语句下推到elasticsearch存储引擎；

S7:elasticsearch存储引擎查询结果返回到phoenix查询服务器；

S8：phoenix查询服务器将结果集合作为原始HBase表的RowKey集合去查询；

S9：phoenix查询服务器将查询的结果集映射成二维关系，以数据表的形式展示给用户。

在本发明的基于phoenix的Hbase二级全文索引方法的一个或多个实施中，phoenix查询服务器对二级全文索引表进行维护，包括：二级全文索引表创建、修改，以及二级全文索引表中数据的插入、删除、修改。

优选的，所述基于Elasticsearch和phoenix实现的二级全文索引方法还包括步骤：

优选的，所述基于Elasticsearch和phoenix实现的二级全文索引方法中，更新二级全文索引表通过RegionSever提供的钩子函数实现。

图1所示本实施例给出根据本发明的基于phoenix的Hbase二级全文索引系统的一种实施方式，所述系统包括：Phoenix查询服务器、Hbase存储引擎、Elasticsearch存储引擎；

其中，

Hbase存储引擎存储Hbase原始数据表；

在本发明的基于phoenix的Hbase二级全文索引系统的一个或多个实施中，所述对二级全文索引表进行维护包括：二级全文索引表创建、修改，以及二级全文索引表中数据的插入、删除、修改。

在本发明的基于phoenix的Hbase二级全文索引系统的一个或多个实施中，phoenix查询服务器执行对Hbase原始数据表中数据的插入/删除/修改操作时，同时根据Hbase原始数据表的操作信息生成Hbase原始数据表更新数据至二级全文索引表更新数据的逻辑，并根据生成的逻辑更新二级全文索引表。更新二级全文索引表通过RegionSever提供的钩子函数实现，包括对数据表的get、put、scan、delete等操作。

应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外的实施例。此外，本发明所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。

上述实施例，特别是任何“优选”实施例，是实施方式的可能示例，并且仅仅为了清楚理解本发明的原理而提出。在基本上不脱离本发明描述的技术的精神和原理的情况下，可以对上述实施例做出许多变化和修改，这些变化和修改也应视为本发明的保护范围。

Claims

1.基于phoenix的Hbase二级全文索引方法，其特征在于，包括步骤：

2.根据权利要求1所述的基于phoenix的Hbase二级全文索引方法，其特征在于，还包括步骤：

3.根据权利要求2所述的基于phoenix的Hbase二级全文索引方法，其特征在于，还包括步骤：

4.根据权利要求3所述的基于phoenix的Hbase二级全文索引方法，其特征在于，更新二级全文索引表通过RegionSever提供的钩子函数实现。

5.根据权利要求1所述的基于phoenix的Hbase二级全文索引方法，其特征在于，所述将抽象语法书转换为Elasticsearch存储引擎可执行的查询表达式的具体步骤包括：获取抽象语法树的查询表达式；解析查询表达式的restful查询部分；通过phoenix查询服务器的DSLBuilder创建能够被的Elasticsearch存储引擎执行的restful查询语句。

6.基于phoenix的Hbase二级全文索引系统，其特征在于，包括：

Phoenix查询服务器、Hbase存储引擎、Elasticsearch存储引擎；

其中，

Hbase存储引擎存储Hbase原始数据表；

7.根据权利要求6所述的基于phoenix的Hbase二级全文索引系统，其特征在于，所述二级全文索引表与Hbase原始数据表的关联外键，使得全文检索条件下推到Elasticsearch存储引擎后Elasticsearch存储引擎全文索引表的查询结果为Hbase原始数据表的rowkey。

8.根据权利要求6所述的基于phoenix的Hbase二级全文索引系统，其特征在于，所述对二级全文索引表进行维护包括：二级全文索引表创建、修改，以及二级全文索引表中数据的插入、删除、修改。

9.根据权利要求6所述的基于phoenix的Hbase二级全文索引系统，其特征在于，phoenix查询服务器执行对Hbase原始数据表中数据的插入/删除/修改操作时，同时根据Hbase原始数据表的操作信息生成Hbase原始数据表更新数据至二级全文索引表更新数据的逻辑，并根据生成的逻辑更新二级全文索引表。