CN111625544B - SQL On HBase上基于字符串切分的倒排索引的方法及系统 - Google Patents

Abstract

本发明公开了一种SQL On HBase上基于字符串切分的倒排索引的实现方法及系统，具体步骤包括如下：生成索引的结构，优化索引的语法，同时优化数据库，并进行记录插入、记录更新、禁用索引和删除数据，生成新的索引数据，根据索引数据查询数据表，获得对应的查询结果。本发明能够缩小查询范围，基于缩小的记录数在基表上进一步精确查询的办法来提高查询效率；不依赖于第三方的组件，完全基于数据库自身的架构，实现了在传统关系型数据库上才有的倒排索引，支持前模糊，中模糊后模糊和前后模糊查询，极大的提高的模糊查询的效率，也使得对非结构化数据的支持做的更好。

Description

SQL On HBase上基于字符串切分的倒排索引的方法及系统

技术领域

本发明涉及SQL On HBase数据库技术领域，更具体的说是涉及一种SQL On HBase上基于字符串切分的倒排索引的实现方法及系统。

背景技术

SQL On HBase数据库本身具备存储机构化数据和非结构化数据的能力，但是对模糊查询，尤其是前后模糊查询(如：like‘％abc％’)支持不好。对于全文检索引擎Solr和Elasticsearch，虽然它们支持的数据格式很多，能处理数据量很大，且很高效，但是他们并不能直接和数据库的SQL引擎集成。另外SQL On HBase数据库里的数据都是存储在HBase上，如果要将数据库和全文检索引擎集成，如：SQL On HBase+Solr,用户通过用户自定义函数，可以调用Solr的接口来检索从HBase传上来的数据，并将结果通过SQL引擎、驱动返回给用户。这个过程中即使用户定义函数和Solr Api的处理速度很快，还是避免不了在源HBase表上进行全表扫描的命运，如果原表记录非常多，全表扫描就会非常耗时。

对于在关系型数据库上使用的倒排索引，其索引文件是按特定的数据结构存储在文件系统上的，很难在Key-value结构的HBase上模拟这样的结构，并方便的维护表上数据的更新。

因此，如何提供一种模糊查询性能高的倒排索引的实现方法及系统是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种SQL On HBase上基于字符串切分的倒排索引的实现方法及系统，缩小查询范围，基于缩小的记录数在基表上进一步精确查询的办法来提高查询效率；不依赖于第三方的组件，完全基于数据库自身的架构，实现了在传统关系型数据库上才有的倒排索引，支持前模糊，中模糊后模糊和前后模糊查询，极大的提高的模糊查询的效率，也使得对非结构化数据的支持做的更好。

为了实现上述目的，本发明提供如下技术方案：

一种SQL On HBase上基于字符串切分的倒排索引的实现方法，具体步骤包括如下：

生成索引的结构，优化索引的语法，同时优化数据库，并进行记录插入、记录更新、禁用索引和删除数据，生成新的索引数据，根据所述索引数据查询数据表，获得对应的查询结果。

其中，索引的维护：

a)插入记录：在原表上插入记录的同时，把新插入的记录拆分成索引记录插入到索引当中；

b)记录更新：对原表上的记录进行更新时，同时更新索引中对应的记录；

c)记录和临时索引删除：在原表上删除记录时，需要根据所删除的记录的主键值在索引当中删除对应的记录；同时清理索引记录数据和元数据信息；

d)索引禁用；

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，所述创建索引的具体步骤包括如下：

创建索引时，在index关键字前增加ngram(n)语法关键字，索引列的值会被按照n个字符一组进行分片；重复的值只会被保留一份存入倒排索引中；增加表函数generate_ngram(table，index_col_name)，所述表函数根据ngram(n)语法关键字里指定的n，把原表里索引列查询出来，切分成n个字符一组的新的记录。

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，所述插入记录的具体步骤包括如下：

首先在原表上插入一行记录；

利用表函数生成多条记录；

将表函数的输出结果插入到索引当中。

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，所述记录更新的具体步骤包括如下：更新原表主键列、更新索引列、更新非主键、更新非索引列。

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，所述更新原表主键列的具体步骤包括如下：

a)删除原表的主键值对应的行，并基于原记录和新的主键值生成新的记录；

b)将新的记录插入到原表中；

c)基于索引列的值产生分片值，并和原有的主键值生成索引的主键；

d)基于生成的索引的主键，删除索引里对应的行，并基于原记录和新的主键值生成新的记录；

e)插入新的记录到索引当中。

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，所述更新索引列的具体步骤包括如下：

a)更新原表记录；

b)基于主键值删除索引里对应的记录；

b)基于新的索引值用表函数生成索引记录；

c)插入新的记录到索引当中。

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，所述更新非主键或更新非索引列的具体步骤包括如下：只需要更新原表的记录，索引的变动不受影响。

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，所述记录和临时索引删除删除的具体步骤包括如下：

优先删除原表的记录；

基于新的索引值用表函数生成索引的主键值；

基于主键值删除索引记录。

优选的，在上述的一种SQL On亲HBase上基于字符串切分的倒排索引的实现方法中，还包括：记录查询；所述记录查询包括：前模糊，中模糊，后模糊和前后模糊。

一种SQL On HBase上基于字符串切分的倒排索引系统，包括：

索引创建模块，用于生成索引的结构，然后基于表上对应的索引列和主键列的值，生成新的索引记录；

记录插入模块，用于在原表上插入记录的同时，把新插入的记录拆分成索引记录插入到索引当中；

记录更新模块，用于对原表上的记录进行更新时，同时更新索引中对应的记录；

删除模块，用于在原表上删除记录时，需要根据所删除的记录的主键值在索引当中删除对应的记录；同时清理索引记录数据和元数据信息；

统计信息模块，记录原表上或索引上数据的分布，在查询时通过查询条件确定满足条件的数据的数量。

经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种SQL OnHBase上基于字符串切分的倒排索引的实现方法及系统，缩小查询范围，基于缩小的记录数在基表上进一步精确查询的办法来提高查询效率；不依赖于第三方的组件，完全基于数据库自身的架构，实现了在传统关系型数据库上才有的倒排索引，支持前模糊，中模糊后模糊和前后模糊查询，极大的提高的模糊查询的效率，也使得对非结构化数据的支持做的更好。

附图说明

图1附图为本发明的方法流程图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明实施例公开了一种SQL On HBase上基于字符串切分的倒排索引的实现方法及系统，缩小查询范围，基于缩小的记录数在基表上进一步精确查询的办法来提高查询效率；不依赖于第三方的组件，完全基于数据库自身的架构，实现了在传统关系型数据库上才有的倒排索引，支持前模糊，中模糊后模糊和前后模糊查询，极大的提高的模糊查询的效率，也使得对非结构化数据的支持做的更好。

本发明要解决在HBase表结构上创建倒排索引的问题，并能方便原表的数据更新和索引的维护。另外数据的分片不再是以单词为单位，可以按两个字符、三个字符来分片，这样可以很好的处理‘％ab％’这样的跨单词的查询。

创建索引：

定义分片的大小，另外倒排的属性也需要记录，在该种类型的索引上匹配查询字段时，也会对查询条件进行类似的切分处理。

Create ngram(3)index t11_c2_idx on t11(c2)；

创建索引时，在index关键字前面加了ngram(n)语法关键字，该关键字标识这是一个倒排索引，索引列的值会被按照n个字符一组进行分片。在上面的例子中，分片是按照三个字符一组来进行切分的，如：

‘aaaa’将被切分成‘aaa’和‘aaa’，但是重复的值只会被保留一份存入倒排索引中。

‘abcd’将被切分成‘abc’和‘bcd’

'aabcdbb'将被切分成‘aab’，’abc’，’bcd’，’cdb’和‘dbb’。

另外，增加表函数generate_ngram(table，index_col_name)，该表函数主要是根据ngram(n)语法关键字里指定的n，把原表里索引列查询出来，切分成n个字符一组的新的记录。该函数的第一个参数是一个查询，就是要从基表了把要插入到索引里的记录查询出来，查询列表只包含索引列和主键列；表函数的第二个参数是索引列的名称。表函数会根据第二个参数的名字来确定第一个参数输出里的哪一列是要切分的列，并对其进行切分，一条记录形成多行记录。

如：

>>create table tt(id int primary key,str varchar(30))；

---SQL operation complete.

>>insert into tt values(1,'aaaa'),(2,'bbbb'),(3,'abcd'),(4,'aabcdbb')；

---4row(s)inserted.

>>create ngram(3)index tt_idx on tt(str)；

---SQL operation complete.

>>select*from table(index_table tt_idx)；

STR@ ID

--------------------------------------------------

aaa 1

aab 4

abc 3

abc 4

bbb 2

bcd 3

bcd 4

cdb 4

dbb 4

---9row(s)selected.

如图1所示，简单介绍了倒排索引的一个创建过程，其中“生成索引表”阶段主要是生成倒排索引表的元数据信息；“禁用索引”用来保证索引数据未导入前，索引是不可用的状态；“generate_ngram”阶段主要是基于原表的数据信息，经过字符串切分后，生成适合倒排索引的数据；“将表函数记录插入索引”主要负责将切分后的数据插入倒排索引；“启用索引”是使索引生效，使索引在增删改查中被应用到。

表函数处理的流程：

查询原表数据；

读取一行数据，若有数据则执行(3)，无数据则执行(4)；

切分索引字段的值、去除切分后的重复值、基于去重后的值生成多条表函数记录，执行步骤(2)；

输出表函数记录；

将表函数记录插入索引。

插入记录

当插入一行记录时，大致需要如下几个步骤：

首先需要在原表上插入一行记录；

利用generate_ngram表函数生成多条记录；

将表函数的输出结果插入到索引当中；

记录查询

ANSI SQL标准里本身是支持模糊查询的，模糊查询主要有前模糊(‘％abc’)，中模糊(‘ab％c’)，后模糊(‘abc％’)和前后模糊(‘％abc％’)。本申请实现的倒排索引可以满足上面四种情况。

具体的针对前后模糊的查询条件：

Select*from tt where str like'％abcd％'；

对于查询条件str like'％abcd％'，如果在str字段上有一个倒排索引，在优化阶段对查询条件按照倒排索引的字段切分长度对其切分、重写。

％abcd％→‘abc’,‘bcd’

在优化重写查询条件的时候有两种方案：

基于已经切分好的字符串在索引上进行精确查询，然后根据索引上匹配的记录在基表上匹配最终记录。

A:原SQL会被下面的SQL：

select tt.*from(select id from table(index_table tt_idx)where"STR@"＝'abc'or"STR@"＝'bcd'group by id having count(id)＝2)tx,tt where tx.id＝tt.id；

根据已经切分的字符串和字段的统计信息，选出选中率最低的值，在索引上做非精确查询，然后在基表上根据缩小的查询范围进一步做精确查询。

B:原SQL会被下面的SQL:

select tt.*from(select id from table(index_table tt_idx)where"STR@"＝'abc'group by id having count(id)＝1)tx,tt where tx.id＝tt.id and tt.strlike'％abcd％'；

两种方案的比较：

方案A不依赖于统计信息，在查询字符串比较长的时候，精确匹配选中的记录比较少。但是多个析取条件会导致在索引表上的全表扫描，虽然索引是按查询字段排序的，但是全表扫描还是要耗费一些时间，效率不一定是最高的。

方案B依赖于索引字段上的统计信息，如果统计信息准确，在索引字段上初步筛选出的记录会比较少，这样进一步在基表上查询的时间也会比较快。另外，基于单个条件在索引的查询是基于主键的查询，效率非常高。

索引的维护：

1、更新记录更新记录时需要区分三种情况：

更新原表主键列

a)删除原表的主键值对应的行，并基于原记录和新的主键值生成新的记录；

b)将新的记录插入到原表中；

c)基于索引列的值产生分片值，并和原有的主键值生成索引的主键；

c)基于生成的索引的主键，删除索引里对应的行，并基于原记录和新的主键值生成新的记录；

d)插入新的记录到索引当中；

更新索引列

a)更新原表记录；

b)基于主键值删除索引里对应的记录；

b)基于新的索引值用generate_ngram生成索引记录；

c)插入新的记录到索引当中；

更新非主键或索引列

只需要更新原表的记录，索引的变动不受影响。

2、删除记录

删除记录时的流程如下：

1.优先删除原表的记录；

2.基于新的索引值用generate_ngram生成索引的主键值；

3.基于主键值删除索引记录。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种SQLOnHBase上基于字符串切分的倒排索引的实现方法，其特征在于，具体步骤包括如下：

生成索引的结构，优化索引的语法，同时优化数据库，并进行记录插入、记录更新、禁用索引和删除数据，生成新的索引数据，根据所述索引数据查询数据表，获得对应的查询结果；创建索引的具体步骤包括如下：

创建索引时，在index关键字前增加ngram(n)语法关键字，索引列的值会被按照n个字符一组进行分片；重复的值只会被保留一份存入倒排索引中；并且在数据库内部增加表函数generate_ngram(table，index_col_name)，所述表函数根据ngram(n)语法关键字里指定的n，把原表里索引列查询出来，切分成n个字符一组的新的记录；

所述插入记录的具体步骤包括如下：

首先在原表上插入一行记录；

利用表函数生成多条记录；

将表函数的输出结果插入到索引当中。

2.根据权利要求1所述的一种SQLOnHBase上基于字符串切分的倒排索引的实现方法，其特征在于，所述记录更新的具体步骤包括如下：更新原表主键列、更新索引列、更新非主键、更新非索引列。

3.根据权利要求2所述的一种SQLOnHBase上基于字符串切分的倒排索引的实现方法，其特征在于，所述更新原表主键列的具体步骤包括如下：

a)删除原表的主键值对应的行，并基于原记录和新的主键值生成新的记录；

b)将新的记录插入到原表中；

c)基于索引列的值产生分片值，并和原有的主键值生成索引的主键；

d)基于生成的索引的主键，删除索引列对应的行，并基于原记录和新的主键值生成新的记录；

e)插入新的记录到索引当中。

4.根据权利要求2所述的一种SQLOnHBase上基于字符串切分的倒排索引的实现方法，其特征在于，所述更新索引列的具体步骤包括如下：

a)更新原表记录；

b)基于主键值删除索引列对应的记录；

b)基于新的索引值用表函数生成索引记录；

c)插入新的记录到索引当中。

5.根据权利要求3所述的一种SQLOnHBase上基于字符串切分的倒排索引的实现方法，其特征在于，所述更新非主键或更新非索引列的具体步骤包括如下：只需要更新原表的记录，索引的变动不受影响。

6.根据权利要求1所述的一种SQLOnHBase上基于字符串切分的倒排索引的实现方法，其特征在于，所述记录和临时索引删除删除的具体步骤包括如下：

优先删除原表的记录；

基于新的索引值用表函数生成索引的主键值；

基于主键值删除索引记录。

7.根据权利要求1所述的一种SQLOnHBase上基于字符串切分的倒排索引的实现方法，其特征在于，还包括：记录查询；所述记录查询包括：前模糊，中模糊，后模糊和前后模糊。

8.一种实现如权利要求1所述SQLOnHBase上基于字符串切分的倒排索引的实现方法的系统，其特征在于，所述系统包括：

索引创建模块，用于生成索引的结构，然后基于表上对应的索引列和主键列的值，生成新的索引记录，创建索引的具体步骤包括如下：

创建索引时，在index关键字前增加ngram(n)语法关键字，索引列的值会被按照n个字符一组进行分片；重复的值只会被保留一份存入倒排索引中；并且在数据库内部增加表函数generate_ngram(table，index_col_name)，所述表函数根据ngram(n)语法关键字里指定的n，把原表里索引列查询出来，切分成n个字符一组的新的记录；

记录插入模块，用于在原表上插入记录的同时，把新插入的记录拆分成索引记录插入到索引当中，所述插入记录的具体步骤包括如下：

首先在原表上插入一行记录；

利用表函数生成多条记录；

将表函数的输出结果插入到索引当中；

记录更新模块，用于对原表上的记录进行更新时，同时更新索引中对应的记录；

删除模块，用于在原表上删除记录时，需要根据所删除的记录的主键值在索引当中删除对应的记录；同时清理索引记录数据和元数据信息；

统计信息模块，记录原表上或索引上数据的分布，在查询时通过查询条件确定满足条件的数据的数量。