CN110427366A - 基于phoenix改造hbase旧系统的索引同步方法、装置及系统 - Google Patents

Abstract

本发明涉及了基于phoenix改造hbase旧系统的索引同步方法，包括以下步骤：读取phoenix元数据表中的映射表‑索引表关系，该索引表是hbase索引表的外部表，该映射表为hbase原表的外部表；根据映射表‑索引表关系生成索引更新逻辑；在hbase原表上加载协处理器以监控hbase原表的更新；响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。利用以上提出的技术方案，在基于phoenix改造hbase旧系统时，hbase原表发生更新，hbase索引表随着hbase原表的更新进行相应的更新，从而避免了索引不同步进而造成数据不一致的情况的出现，并且又不再需要重新梳理应用与hbase的应用程序接口api的入库程序代码，有效减少改动、降低开发成本。

Description

基于phoenix改造hbase旧系统的索引同步方法、装置及系统

技术领域

本发明涉及大数据技术领域。本发明进一步涉及一种基于phoenix改造hbase旧系统的索引同步方法、装置及系统。

背景技术

Phoenix是一个hbase上的结构化查询语言层，利用phoenix可以对hbase旧系统进行改造，将hbase由非关系类型数据库转变为新型数据库，方便业务在使用期间更好的利用现有经验来查询hbase，提供二级索引等功能，优化查询速度。

但是phoenix本身对旧系统改造支持的不太好，比如在利用phoenix映射原有通过hbase的应用程序接口api建立的hbase表的情况下，建立索引后，继续进行hbase原表的更新操作时，hbase索引表不会作出相应的更新，便会出现索引不同步而造成数据不一致的问题。因此需要对原本的入库程序进行改动，而这种改动通常是非常繁琐的。

因此，为了解决上述问题，需要提出一种解决方案以解决phoenix改造hbase旧系统时的索引不同步的方法和装置，同时又使得phoenix改造hbase旧系统时更加简单，减少重新梳理入库程序代码的工作。

发明内容

一方面，本发明基于上述目的提出了一种基于phoenix改造hbase旧系统的索引同步方法，包括以下步骤：

读取phoenix元数据表中的映射表-索引表关系，该索引表是hbase索引表的外部表，该映射表为hbase原表的外部表；

根据映射表-索引表关系生成索引更新逻辑；

在hbase原表上加载协处理器以监控hbase原表的更新；

响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。

根据本发明的基于phoenix改造hbase旧系统的索引同步方法，其中协处理器配置为监控hbase原表的插入和修改操作以及删除操作。

根据本发明的基于phoenix改造hbase旧系统的索引同步方法，其中响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表进一步包括：将hbase原表的行级更新根据索引更新逻辑编辑为hbase索引表的行级信息，将该行级信息更新入hbase索引表。

根据本发明的基于phoenix改造hbase旧系统的索引同步方法，其中还包括：通过hbase的应用程序接口建立hbase原表。

另一方面，本发明还提出了一种基于phoenix改造hbase旧系统的索引同步装置，包括：至少一个处理器；和

存储器，存储有处理器可运行的程序代码，所述程序代码在被处理器执行时实现以下步骤：

读取phoenix元数据表中的映射表-索引表关系，该索引表是hbase索引表的外部表，该映射表为hbase原表的外部表；

根据映射表-索引表关系生成索引更新逻辑；

在hbase原表上加载协处理器以监控hbase原表的更新；

响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。

根据本发明的基于phoenix改造hbase旧系统的索引同步装置，其中协处理器配置为监控hbase原表的插入和修改操作以及删除操作。

根据本发明的基于phoenix改造hbase旧系统的索引同步装置，其中响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表进一步包括：将hbase原表的行级更新根据索引更新逻辑编辑为hbase索引表的行级信息，将该行级信息更新入hbase索引表。

根据本发明的基于phoenix改造hbase旧系统的索引同步装置，其中步骤还包括：通过hbase的应用程序接口建立hbase原表。

此外，本发明实施例进一步提出了一种基于phoenix改造hbase旧系统的索引同步的系统，包括：

hbase系统，该hbase系统包括hbase原表和hbase索引表；

phoenix层，该phoenix层包括元数据表，该元数据表记载有映射表和索引表的信息，索引表是hbase索引表的外部表，映射表为hbase原表的外部表；和

基于phoenix改造hbase旧系统的索引同步装置，该装置包括：

至少一个处理器；和

存储器，存储有处理器可运行的程序代码，该程序代码在被处理器执行时实现以下步骤：

读取phoenix元数据表中的映射表-索引表关系；

根据映射表-索引表关系生成索引更新逻辑；

在hbase原表上加载协处理器以监控hbase原表的更新；

响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。

根据本发明的基于phoenix改造hbase旧系统的索引同步的系统，其中步骤还包括：通过hbase的应用程序接口建立hbase原表。

采用上述技术方案，本发明至少具有如下有益效果：本发明通过读取phoenix元数据中映射表和索引表的关系，在hbase原表上加载自定义协处理器，自动编辑索引表的更新操作，在旧系统用hbase的api插入数据的情况下，依旧能保证索引一致。也就是说，利用本发明的技术方案在解决了phoenix改造hbase旧系统时的索引不同步的问题的同时，又不再需要重新梳理应用与hbase的应用程序接口api的入库程序代码，使得phoenix改造hbase旧系统的过程更加简单方便，有效减少改动、降低开发成本、尽可能避免操作失误。

本发明提供了实施例的各方面，不应当用于限制本发明的保护范围。根据在此描述的技术可设想到其它实施方式，这对于本领域普通技术人员来说在研究以下附图和具体实施方式后将是显而易见的，并且这些实施方式意图被包含在本申请的范围内。

下面参考附图更详细地解释和描述了本发明的实施例，但它们不应理解为对于本发明的限制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对现有技术和实施例描述中所需要使用的附图作简单地介绍，附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在一些情况下比例可能已经被放大，以便强调和清楚地示出本文描述的新颖特征。另外，如本领域中已知的，结构部件可以被不同地布置。

在图中：

图1示出了根据本发明的基于phoenix改造hbase旧系统的索引同步方法的实施例的示意性框图；

图2示出了根据本发明的基于phoenix改造hbase旧系统的索引同步的系统的示意图。

具体实施方式

虽然本发明可以以各种形式实施，但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例，但应该理解的是，本公开将被认为是本发明的示例并不意图将本发明限制于所说明的具体实施例。

图1示出了根据本发明的基于phoenix改造hbase旧系统的索引同步方法的实施例的示意性框图。如图1所示，该方法包括以下步骤：

S1：读取phoenix元数据表中的映射表-索引表关系，该索引表是hbase索引表的外部表，该映射表为hbase原表的外部表；

S2：根据映射表-索引表关系生成索引更新逻辑；

S3：在hbase原表上加载协处理器以监控hbase原表的更新；

S4：响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。

在步骤S1中，读取phoenix元数据表中的映射表-索引表关系。具体地说，通过相应的读取装置或模块，从phoenix元数据表SYSTEM.CATALOG中读取关于映射表和索引表的相关信息，生成映射表-索引表关系。将获得的映射表-索引表关系以两种表关系的json字符串的形式记录下来。根据该json字符串的格式规定，必填参数为映射表，可选参数为索引表，组合索引用”,”分隔，最终产生相应的json字符串，例如：{"data_table":"RECORD2","index_table_list":[{"index_table":"IDS2","index":"INFO:NUM","INCLUDE":"INFO:PROVINCE"}]}。

随后，在步骤S2中，根据映射表-索引表关系生成索引更新逻辑。也就是说，初始化读取json字符串，根据该json字符串所记录的映射表-索引表关系生成索引更新逻辑，同时保存两张表的关系。

步骤S3在hbase原表上加载协处理器以监控hbase原表的更新。具体地说，通过相应的脚本将协处理器的jar包放到hdfs上，然后在hbase shell里，通过alter命令加载协处理器到hbase原表上。此处的协处理器，也俗称钩子。用户可以自定义上述协处理器的具体功能，包括根据需要确定对hbase原表的何种更新进行监控及如何监控等。这里的加载工作由相应的加载装置或模块自动执行，减少手动操作的失误，提高效率。

之后，在步骤S4中，响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。在步骤S3所加载的协处理器监控到hbase原表的发生更新的情况下，根据步骤S2所生成的索引更新逻辑更新hbase索引表。此时，更新过的hbase索引表与hbase原表的对应关系同步，因此它们的外部表，即phoenix的索引表和phoenix的映射表也因此更新同步。

利用以上提出的技术方案，在基于phoenix映射原有通过hbase的应用程序接口api建立的hbase表的情况下，建立索引后，继续进行hbase原表的更新操作时，hbase索引表随着hbase原表的更新进行了相应的更新，从而避免了索引不同步进而造成数据不一致的情况的出现。

在本发明的基于phoenix改造hbase旧系统的索引同步方法的一些实施例中，步骤S3所加载的协处理器配置为监控hbase原表的插入和修改(put)操作以及删除(delete)操作。即，加载的协处理器为RegionObserver类型，根据需求，将其功能配置为监控hbase原表的put和delete操作，进而针对hbase原表的put和delete更新hbase索引表。

在本发明的基于phoenix改造hbase旧系统的索引同步方法的若干实施例中，步骤S4响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表进一步包括：将hbase原表的行级更新根据索引更新逻辑编辑为hbase索引表的行级信息，将该行级信息更新入hbase索引表。在监控到hbase原表发生行级更新时，根据在步骤S2中生成的索引更新逻辑将hbase原表的行级更新编辑为hbase索引表的行级信息，随后将该行级信息更新入hbase索引表，确保按照phoenix中的映射表-索引表关系更新hbase索引表，完成hbase索引表的更新同步。

在本发明的基于phoenix改造hbase旧系统的索引同步方法的实施例中，还包括通过hbase的应用程序接口建立hbase原表。也就是说，通过hbase的应用程序接口api建立hbase原表，在对该hbase原表基于phoenix进行旧系统改造时，可以使用根据本发明的方法实现索引同步。需要注意的是，在此，并不限于通过hbase的应用程序接口建立建立hbase原表。

另一方面，本发明还提出了一种基于phoenix改造hbase旧系统的索引同步装置，包括：至少一个处理器；和存储器，存储有处理器可运行的程序代码，所述程序代码在被处理器执行时实现以下步骤：

S1：读取phoenix元数据表中的映射表-索引表关系，该索引表是hbase索引表的外部表，该映射表为hbase原表的外部表；

S2：根据映射表-索引表关系生成索引更新逻辑；

S3：在hbase原表上加载协处理器以监控hbase原表的更新；

S4：响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。

在本发明的基于phoenix改造hbase旧系统的索引同步装置的一个或多个实施例中，协处理器配置为监控hbase原表的插入和修改操作以及删除操作。

在本发明的基于phoenix改造hbase旧系统的索引同步装置的一些实施例中，步骤S4响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表进一步包括：将hbase原表的行级更新根据索引更新逻辑编辑为hbase索引表的行级信息，将该行级信息更新入hbase索引表。

在本发明的基于phoenix改造hbase旧系统的索引同步装置的若干实施例中，上述步骤还包括：通过hbase的应用程序接口建立hbase原表。但是hbase原表的建立不限于通过hbase的应用程序接口。

图2示出了根据本发明的基于phoenix改造hbase旧系统的索引同步的系统的示意图。hbase旧系统包括hbase原表和相应的应用程序接口程序。如图2所示，根据本发明的索引同步系统包括hbase系统10，该hbase系统10包括hbase原表11和hbase索引表12；phoenix层20，该phoenix层包括元数据表，该元数据表记载有映射表21和索引表22的信息，索引表22是hbase索引表12的外部表，映射表21为hbase原表11的外部表；和基于phoenix改造hbase旧系统的索引同步装置(未示出)，该装置包括：至少一个处理器；和存储器，存储有处理器可运行的程序代码，该程序代码在被处理器执行时实现以下步骤：

读取phoenix元数据表中的映射表-索引表关系；

根据映射表-索引表关系生成索引更新逻辑；

在hbase原表上加载协处理器以监控hbase原表的更新；

响应于监控到hbase原表的更新，根据索引更新逻辑更新hbase索引表。

在本发明的基于phoenix改造hbase旧系统的索引同步的系统的实施例中，hbase原表11是通过hbase的应用程序接口api建立的。

本发明实施例公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

本文所述的计算机可读存储介质(例如存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

采用上述技术方案，本发明至少具有如下有益效果：本发明通过读取phoenix元数据中映射表和索引表的关系，在hbase原表上加载自定义协处理器，自动编辑索引表的更新操作，在旧系统用hbase的api插入数据的情况下，依旧能保证索引一致。也就是说，利用本发明的技术方案在解决了phoenix改造hbase旧系统时的索引不同步的问题的同时，又不再需要重新梳理应用与hbase的应用程序接口api的入库程序代码，使得phoenix改造hbase旧系统的过程更加简单方便，有效减少改动、降低开发成本、尽可能避免操作失误。

应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外实施例。此外，本文所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤、顺序做出相应修改而不脱离本发明的保护范围。

在本申请中，反意连接词的使用旨在包括连接词。定或不定冠词的使用并不旨在指示基数。具体而言，对“该”对象或“一”和“一个”对象的引用旨在表示多个这样对象中可能的一个。然而，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。此外，可以使用连接词“或”来传达同时存在的特征，而不是互斥方案。换句话说，连接词“或”应理解为包括“和/或”。术语“包括”是包容性的并且具有与“包含”相同的范围。

上述实施例，特别是任何“优选”实施例是实施方式的可能示例，并且仅仅为了清楚理解本发明的原理而提出。在基本上不脱离本文描述的技术的精神和原理的情况下，可以对上述实施例做出许多变化和修改。所有修改旨在被包括在本公开的范围内。

Claims (10)

1.一种基于phoenix改造hbase旧系统的索引同步方法，其特征在于，所述方法包括以下步骤：

读取phoenix元数据表中的映射表-索引表关系，所述索引表是hbase索引表的外部表，所述映射表为hbase原表的外部表；

根据所述映射表-索引表关系生成索引更新逻辑；

在所述hbase原表上加载协处理器以监控所述hbase原表的更新；

响应于监控到所述hbase原表的更新，根据所述索引更新逻辑更新所述hbase索引表。

2.根据权利要求1所述的索引同步方法，其特征在于，所述协处理器配置为监控所述hbase原表的插入和修改操作以及删除操作。

3.根据权利要求1所述的索引同步方法，其特征在于，所述响应于监控到所述hbase原表的更新，根据所述索引更新逻辑更新所述hbase索引表进一步包括：

将所述hbase原表的行级更新根据所述索引更新逻辑编辑为所述hbase索引表的行级信息，将所述行级信息更新入所述hbase索引表。

4.根据权利要求1所述的索引同步方法，其特征在于，还包括：通过hbase的应用程序接口建立所述hbase原表。

5.一种基于phoenix改造hbase旧系统的索引同步装置，其特征在于，所述装置包括：

至少一个处理器；和

存储器，存储有处理器可运行的程序代码，所述程序代码在被处理器执行时实现以下步骤：

读取phoenix元数据表中的映射表-索引表关系，所述索引表是hbase索引表的外部表，所述映射表为hbase原表的外部表；

根据所述映射表-索引表关系生成索引更新逻辑；

在所述hbase原表上加载协处理器以监控所述hbase原表的更新；

响应于监控到所述hbase原表的更新，根据所述索引更新逻辑更新所述hbase索引表。

6.根据权利要求5所述的索引同步装置，其特征在于，所述协处理器配置用于监控所述hbase原表的插入和修改操作以及删除操作。

7.根据权利要求5所述的索引同步装置，其特征在于，所述响应于监控到所述hbase原表的更新，根据所述索引更新逻辑更新所述hbase索引表进一步包括以下步骤：

将所述hbase原表的行级更新根据所述索引更新逻辑编辑为所述hbase索引表的行级信息，将所述行级信息更新入所述述hbase索引表。

8.根据权利要求5所述的索引同步装置，其特征在于，所述步骤还包括：通过hbase的应用程序接口建立所述hbase原表。

9.一种基于phoenix改造hbase旧系统的索引同步的系统，其特征在于，所述系统包括：

hbase系统，所述hbase系统包括hbase原表和hbase索引表；

phoenix层，所述phoenix层包括元数据表，所述元数据表记载有映射表和索引表的信息，所述索引表是hbase索引表的外部表，所述映射表为hbase原表的外部表；和

基于phoenix改造hbase旧系统的索引同步装置，所述装置包括：

至少一个处理器；和

存储器，存储有处理器可运行的程序代码，所述程序代码在被处理器执行时实现以下步骤：

读取phoenix元数据表中的映射表-索引表关系，所述索引表是hbase索引表的外部表，所述映射表为hbase原表的外部表；

根据所述映射表-索引表关系生成索引更新逻辑；

在所述hbase原表上加载协处理器以监控所述hbase原表的更新；

响应于监控到所述hbase原表的更新，根据所述索引更新逻辑更新所述hbase索引表。

10.根据权利要求9所述的系统，其特征在于，所述步骤还包括：由hbase的应用程序接口建立所述hbase原表。