CN106547863A - 操作HBase的方法及装置 - Google Patents

Abstract

本发明公开了一种操作HBase的方法及装置，以简化对HBase的操作。其中，该方法包括：建立与HBase的连接；扫描实体类；以及当在所述实体类中扫描到注解时，根据所述扫描到的注解，对所述HBase进行操作；其中，所述注解用于映射所述HBase与所述实体类之间的关系。

Description

操作HBase的方法及装置

技术领域

本发明涉及数据库技术领域，尤其涉及一种操作HBase的方法及装置。

背景技术

HBase(Hadoop Database)是一个分布式的、面向列的开源数据库。被广泛应用于大数据处理和互联网应用中。其是一个高可靠性、高性能、面向列和可伸缩的分布式存储系统，利用HBase技术可在廉价PC(个人计算机)服务器上搭建起大规模结构化存储集群。但是基于Hbase的java API(接口)操作对于程序员编码过于复杂，即利用官方提供的接口进行编码时比较复杂。

因此，本领域需要一种新式的对HBase的操作方式，能够优化对HBase的操作。

发明内容

本发明的主要目的在于提出一种操作HBase的方法及装置，能够简化对HBase的操作。

为实现上述目的，本发明提供的一种操作HBase的方法，包括：建立与HBase的连接；扫描实体类；以及当在所述实体类代码中扫描到注解时，根据所述扫描到的注解，对所述HBase进行操作；其中，所述注解用于映射所述HBase与所述实体类之间的关系。

其中，所述建立与HBase的连接，包括：加载所述HBase的配置信息；以及根据所述配置信息，建立与所述HBase的连接。

其中，所述根据所述扫描到的注解，对所述HBase进行操作，包括：当所述扫描到的注解为表名注解时，在所述HBase中创建对应的数据表。

其中，所述根据所述扫描到的注解，对所述HBase进行操作，还包括：当所述扫描到的注解为索引注解时，在所述HBase中建立并保存索引表，所述索引表用于记录所述数据表中字段值与所述实体类中的行主键之间的对应关系。

其中，所述扫描实体类包括：当检测到对所述HBase的操作时，扫描所述实体类中的相应注解；其中，所述相应注解包括：属性注解和/或子属性注解。

此外，为实现上述目的，本发明还提出一种操作HBase的装置，包括：连接建立模块，用于建立与HBase的连接；扫描模块，用于扫描实体类；以及执行模块，用于当在所述实体类代码中扫描到注解时，根据所述扫描到的注解，对所述HBase进行操作。

其中，所述连接建立模块具体用于加载所述HBase的配置信息；以及根据所述配置信息，建立与所述HBase的连接。

其中，所述执行模块，具体用于当所述扫描到的注解为表名注解时，在所述HBase中创建对应的数据表。

其中，所述执行模块，还用于当所述扫描到的注解为索引注解时，在所述HBase中建立并保存索引表，所述索引表用于记录所述数据表中字段值与所述实体类中的行主键之间的对应关系。

其中，所述扫描模块，还用于当检测到对所述HBase的操作时，扫描所述实体类中的相应注解；其中，所述相应注解包括：属性注解和/或子属性注解。

本发明提出的操作HBase的方法及装置，通过与HBase建立连接，然后基于所述建立的连接，执行注解来对HBase进行操作。由于采用注解的方式来操作HBase，因此能够简化对HBase的操作。

附图说明

图1是本发明的操作HBase的方法的第一实施例的流程示意图；

图2是本发明的操作HBase的方法的第二实施例的流程示意图；

图3是本发明的操作HBase的方法的第三实施例的流程示意图；

图4是本发明的操作HBase的装置的实施例的结构示意图；

图5是本发明的操作HBase的装置的架构的示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明第一实施例提出的一种操作HBase的方法，其包括：

步骤101：建立与HBase的连接。

步骤102：扫描实体类。以及

步骤103：当在所述实体类代码中扫描到注解时，根据所述扫描到的注解，对所述HBase进行操作。

其中，注解用于映射所述HBase与所述实体类之间的关系。

需要说明的是，HBase是本领域比较熟知的一种数据库，其中涉及的专业术语，诸如HadoopProperties，HbaseDao，HBaseService等，是本领域技术人员所熟知的，对于其功能不做过多的赘述。

其中，在步骤101中，可以首先由HadoopProperties加载Hbase的配置信息(诸如Hbase集群部署地址，端口号，等等)，然后由HbaseDao从HadoopProperties中获取配置信息，从而与HBase集群建立连接。

通过步骤101与HBase建立连接之后，后续可以透过该建立的连接而实现对HBase的操作，例如创建表、修改表、删除表等。

其中，在步骤102中的实体类，例如为java实体类，本领域技术人员一般将其称为“model”。在步骤102中，可以由HBaseService调用TableDescriptor组件扫描java实体类(即model)。

其中，在步骤103中，当在实体类中扫描到注解时，则执行扫描到的注解，以实现对HBase的操作。其中注解例如可以为@HEntity(表名)注解、@HIndex(索引)注解、@ColumnFamily(属性)注解和@HQualifier(子属性)注解，等等。

下面对上述提及的HadoopProperties，HbaseDao，HBaseService和@HEntity注解、@HIndex注解、@ColumnFamily注解和@HQualifier等进行简单的说明。

TableDescriptor(扫描器)：扫描注解，并读取注解信息。

HIndexService(索引服务)：执行索引操作。

HBaseService(操作服务)：对hbase CURD封装操作服务。其中CURD是一个数据库技术中的缩写词，一般的项目开发的各种参数的基本功能都是CURD，它代表创建(Create)、更新(Update)、读取(Retrieve)和删除(Delete)操作。

HbaseDao：Hbase基础操作服务。

HadoopProperties：配置服务(主要存储的是Hbase数据库的IP地址、端口号、用户名、密码、官方要求等)。

@HRowKey：表中的数据的行编号。

@HColumnFamily：HBASE中表中的属性(字段)。

@HEntity：HBASE中表中的表名。

@HIndex：HBASE中表的索引。

@HQualifier：HBASE中表中的子属性。

上述中带“@”符号的为注解，上述这些注解是对Hbase数据库中存储的表进行相应的描述。

需要的说明的是，上述提及的HBaseService，HbaseDao，HIndexService可以配置成spring bean，从而支持spring框架，以简化配置。其中bean就相当于定义一个组件，这个组件是用于具体实现某个功能的。

本实施例，通过与HBase建立连接，然后基于所述建立的连接，执行注解来对HBase进行操作。由于采用注解的方式来操作HBase，因此能够简化对HBase的操作。

如图2所示，是本发明的操作HBase的方法的第二实施例的流程示意图，其包括：

步骤201：建立与HBase的连接。

步骤202：扫描实体类。

步骤203：当扫描到@HEntity注解时，在HBase中创建对应的数据表。以及

步骤204：当扫描到@HIndex注解时，在HBase中建立并保存索引表。其中，索引表用于记录数据表中字段值与实体类中的行主键(rowkey)之间的对应关系。

其中，步骤201和步骤202与前述的步骤101和步骤102相同，在此不赘述。

其中，在步骤203中，当实体类包含@HEntity注解时，HBaseService调用HbaseDao在Hbase数据库中创建对应名称的表。

步骤23举例而言，@HEntity例如为{@HEntity(table＝"category",namespace＝"cn.nubia.store.sync")，table映射表名称，namespace映射命名空间}，而HBaseService调用HbaseDao在Hbase数据库中创建对应名称的表时，上述“category”为表名称，表中的rowkey名称、列名称与簇名称通过相应注解进行创建。

其中，在步骤204中，当HBaseService在Hbase中创建表时,若扫描到实体类包含@HIndex注解，会在Hbase创建一个保存该字段值与该实体类rowkey(行主键)对应关系的索引表。HIndexService通过从该索引表中所存的对应关系，来获取该索引对应的实体类数据，从而实现对HBase的二级索引。

本发明实施例，在利用注解在HBase中创建表时，还利用@HIndex注解创建索引表，从而实现对HBase的二级索引。

如图3所示，是本发明的操作HBase的方法的第三实施例的流程示意图，其包括：

步骤301：建立与HBase的连接。

步骤302：当检测到对所述HBase的操作(如CRUD操作)时，扫描所述实体类中的相应注解。以及

步骤303：执行扫描到的注解，以对所述HBase进行操作。

其中，步骤301与前述提及的步骤101和步骤101相同，在此不赘述。下面以CURD操作为例进行说明。

其中，在步骤302中，一般是由用户通过操作调用HBaseService来触发CURD操作，然后由系统检测到CURD操作。

其中，在步骤302，相应的注解主要包括：@HColumnFamily注解和/或@HQualifier注解。

其中，步骤302和步骤303的举例说明如下：

例如，当用户操作调用HBaseService执行HBase的增删改操作时，HBaseService调用TableDescriptor扫描实体类中的注解，建立映射关系，当执行查询时，HBaseService调用HbaseDao对Hbase执行查询操作，通过注解建立的映射关系，并将查询结果映射到实体类中。当执行添加，修改时，HBaseService调用HbaseDao对Hbase执行添加，修改操作。通过注解建立的映射关系，将数据填入hbase对应表中。

本发明实施例，当用户执行CURD操作时，调用相应的注解来完成CURD操作，从而简化对HBase的操作。

以上是对本发明的方法实施例进行了说明，下面对对应于上述方法实施例的装置实施例进行说明。需要说明的是，对应的装置实施例可以由处理器来实现。

如图4所示，是本发明的操作HBase的装置400的实施例的结构示意图，其包括：连接建立模块401、扫描模块402和执行模块403。其中，

连接建立模块401，用于建立与HBase的连接。

扫描模块402，用于扫描实体类。以及

执行模块403，用于当扫描模块402在实体类代码中扫描到注解时，根据所述扫描到的注解，对所述HBase进行操作。

其中，连接建立模块401可以由HadoopProperties组件和HbaseDao组件来实现，其中可以首先由HadoopProperties加载Hbase的配置信息(诸如Hbase集群部署地址，端口号，等等)，然后由HbaseDao从HadoopProperties中获取配置信息，从而与HBase集群建立连接。

通过连接建立模块401与HBase建立连接之后，后续可以透过该建立的连接而实现对HBase的操作，例如创建表、修改表、删除表等。

其中，扫描模块402扫描的实体类，例如为java实体类，本领域技术人员一般将其称为“model”。扫描模块402可以TableDescriptor组件来实现。

其中，当在实体类中扫描到注解时，则由执行模块403执行扫描到的注解，以实现对HBase的操作。其中注解例如可以为@HEntity注解、@HIndex注解、@ColumnFamily注解和@HQualifier注解，等等。

需要的说明的是，上述提及的HBaseService，HbaseDao，HIndexService可以配置成spring bean，从而支持spring框架，以简化配置。其中bean就相当于定义一个组件，这个组件是用于具体实现某个功能的。

本实施例，通过与HBase建立连接，然后基于所述建立的连接，执行注解来对HBase进行操作。由于采用注解的方式来操作HBase，因此能够简化对HBase的操作。

继续参考图4，具本的，当扫描模块402扫描到@HEntity注解时，由执行模块403在HBase中创建对应的数据表。并且当扫描模块402扫描到@HIndex注解时，执行模块403还在HBase中建立并保存索引表。其中，索引表用于记录数据表中字段值与实体类中的行主键(rowkey)之间的对应关系。

其中，当实体类包含@HEntity注解时，HBaseService调用HbaseDao在Hbase数据库中创建对应名称的表。

举例而言，@HEntity例如为{@HEntity(table＝"category",namespace＝"cn.nubia.store.sync")，table映射表名称，namespace映射命名空间}，而HBaseService调用HbaseDao在Hbase数据库中创建对应名称的表时，上述“category”为表名称，表中的rowkey名称、列名称与簇名称通过相应注解进行创建。

其中，当HBaseService在Hbase中创建表时,若扫描到实体类包含@HIndex注解，会在Hbase创建一个保存该字段值与该实体类rowkey(行主键)对应关系的索引表。HIndexService通过从该索引表中所存的对应关系，来获取该索引对应的实体类数据，从而实现对HBase的二级索引。

本发明实施例，在利用注解在HBase中创建表时，还利用@HIndex注解创建索引表，从而实现对HBase的二级索引。

继续如图4所示，当检测到对所述HBase的操作(如CURD操作的)时，扫描模块402扫描所述实体类中的相应注解。以及执行模块403执行扫描到的注解，以操作所述HBase。

其中，一般是由用户通过操作调用HBaseService来触发CURD操作，然后由系统检测到CURD操作。

其中，相应的注解主要包括：@HColumnFamily注解和/或@HQualifier注解。

其中，扫描模块402和执行模块403的工作举例说明如下：

例如，当用户操作调用HBaseService执行HBase的增删改操作时，HBaseService调用TableDescriptor扫描实体类中的注解，建立映射关系，当执行查询时，HBaseService调用HbaseDao对Hbase执行查询操作，通过注解建立的映射关系，并将查询结果映射到实体类中。当执行添加，修改时，HBaseService调用HbaseDao对Hbase执行添加，修改操作。通过注解建立的映射关系，将数据填入hbase对应表中。

本发明实施例，当用户执行CURD操作时，调用相应的注解来完成CURD操作，从而简化对HBase的操作。

上述对本发明的实施例的方法和装置进行了描述，下面再总结一下HBase中涉及的组件和功能。如图5所示，HBase中涉及的组件包括：HBase操作服务(HBaseService)，注解扫描(TableDescriptor)，索引服务(HIndexService)，DAO(HbaseDao)和配置信息(HadoopProperties)，这些组件之间存在一定的调用关系，如图示中的箭头所示。例如，HBase操作服务可以调用注解扫找和DAO，而DAO可以调用配置信息。其中，上述组件的功能已在前述有说明，在此不赘述。

其中，注解描述所扫描的注解涉及@HRowKey(行键值)、@HColumnFamily(列族)、@HEntity(表名)、@HIndex(索引)和@HQualifier(子属性)等。而借助于DAO可以对HBase执行查询、增加、更新和删除等操作。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种操作HBase的方法，其特征在于，包括：

建立与HBase的连接；

扫描实体类；以及

当在所述实体类中扫描到注解时，根据所述扫描到的注解，对所述HBase进行操作，

其中，所述注解用于映射所述HBase与所述实体类之间的关系。

2.如权利要求1所述的操作HBase的方法，其特征在于，所述建立与HBase的连接，包括：

加载所述HBase的配置信息；以及

根据所述配置信息，建立与所述HBase的连接。

3.如权利要求1所述的操作HBase的方法，其特征在于，所述根据所述扫描到的注解，对所述HBase进行操作，包括：

当所述扫描到的注解为表名注解时，在所述HBase中创建对应的数据表。

4.如权利要求3所述的操作HBase的方法，其特征在于，所述根据所述扫描到的注解，对所述HBase进行操作，还包括：

当所述扫描到的注解为索引注解时，在所述HBase中建立并保存索引表，所述索引表用于记录所述数据表中字段值与所述实体类中的行主键之间的对应关系。

5.如权利要求1所述的操作HBase的方法，其特征在于，所述扫描实体类包括：当检测到对所述HBase的操作时，扫描所述实体类中的相应注解；

其中，所述相应注解包括：属性注解和/或子属性注解。

6.一种操作HBase的装置，其特征在于，包括：

连接建立模块，用于建立与HBase的连接；

扫描模块，用于扫描实体类；以及

执行模块，用于当在实体类中扫描到注解时，根据所述扫描到的注解，对所述HBase进行操作；

其中，所述注解用于映射所述HBase与所述实体类之间的关系。

7.如权利要求6所述的操作HBase的装置，其特征在于，所述连接建立模块具体用于加载所述HBase的配置信息；以及根据所述配置信息，建立与所述HBase的连接。

8.如权利要求6所述的操作HBase的装置，其特征在于，所述执行模块，具体用于当所述扫描到的注解为表名注解时，在所述HBase中创建对应的数据表。

9.如权利要求8所述的操作HBase的装置，其特征在于，所述执行模块，还用于当所述扫描到的注解为索引注解时，在所述HBase中建立并保存索引表，所述索引表用于记录所述数据表中字段值与所述实体类中的行主键之间的对应关系。

10.如权利要求6所述的操作HBase的装置，其特征在于，

所述扫描模块，还用于当检测到对所述HBase的操作时，扫描所述实体类中的相应注解；其中，所述相应注解包括：属性注解和/或子属性注解。