CN104573022A - 一种HBase的数据查询方法及装置 - Google Patents

Abstract

本发明提供了一种HBase的数据查询方法及装置，该方法包括：S1：将HBase中的数据映射为至少一个Java？Bean，其中，Java？Bean的类名映射为HBase中表的表名，Java？Bean的属性映射的信息中包括：HBase中的cell中预先选取的片段数据，所述片段数据对应的RowKey、列簇名和列名；S2：根据所述片段数据确定作为索引字段的索引属性；S3：通过注解的方式，标识所述索引属性；S4：根据所述索引属性生成至少一条索引数据，其中，所述每条索引数据中包括：该条索引数据对应的索引属性所在的JavaBean映射的表名，该条索引数据对应的索引属性映射的片段数据、RowKey、列簇名和列名。通过本发明提供的一种HBase的数据查询方法及装置，能够降低生成索引数据的难度。

Description

一种HBase的数据查询方法及装置

技术领域

本发明涉及数据处理技术领域，特别涉及一种HBase的数据查询方法及装置。

背景技术

HBase(Hadoop Database，分布式计算数据库)是一个分布式、可伸缩的NoSQL(Not Only Structured Query Language，非关系型数据库)数据库，它构建在Hadoop基础设施之上，依托于Hadoop的迅猛发展，HBase在大数据领域的应用越来越广泛。

HBase是以表的形式存储数据，表由行和列组成，列划分为若干个列簇，每个列都属于某一个列簇，表的每一行都对应唯一的RowKey(行键)，通过行键和列簇名、列名确定一个cell。在HBase中查询数据主要是通过查找该数据对应的RowKey来实现。HBase没有二级索引机制，如果要进行多条件查询，需要将所有可能作为索引数据的索引字段一一拼接到RowKey中。用户通过查询RowKey中的字段来确定所要查询的数据对应的RowKey，然后，根据该RowKey确定所需要的数据。

通过上述描述可见，现有技术中，如果要对HBase进行多条件的查询，需要预先设置索引数据，在生成索引数据时，需要对HBase中的RowKey进行拼接，操作复杂。

发明内容

本发明提供一种HBase的数据查询方法及装置，能够降低生成索引数据的难度。

一方面，本发明提供了一种HBase的数据查询方法，该方法包括：

S1：将HBase中的数据映射为至少一个Java Bean，其中，Java Bean的类名映射为HBase中表的表名，Java Bean的属性映射的信息中包括：HBase中的cell中预先选取的片段数据，所述片段数据对应的RowKey、列簇名和列名；

S2：根据所述片段数据确定作为索引字段的索引属性；

S3：通过注解的方式，标识所述索引属性；

S4：根据所述索引属性生成至少一条索引数据，其中，所述每条索引数据中包括：该条索引数据对应的索引属性所在的Java Bean映射的表名，该条索引数据对应的索引属性映射的片段数据、RowKey、列簇名和列名。

进一步地，所述S1包括：

通过注解的方式，将HBase中的每行数据映射为一个Java Bean，其中，该行数据中每个cell映射为Java Bean的一个属性，该属性的映射的信息中包括：对应的cell的片段数据，对应的cell对应的RowKey、列簇名和列名。

进一步地，在所述S4之后，还包括：

S5：根据用户输入的关键词查找所有索引数据，确定所述关键词对应的目标索引数据；

S6：根据每条目标索引数据中的表名、RowKey、列簇名和列名，获取HBase中对应的目标数据。

进一步地，在所述S6之后，还包括：

将同一行的目标数据转换成输出Java Bean，其中，该输出Java Bean的类名映射为该行的目标数据所在的表的表名，输出Java Bean的属性映射的信息中包括：该行的目标数据对应的RowKey、列簇名和列名。

进一步地，在所述S4之后，还包括：

将所述索引数据保存到在Solr中，并通过Solr为用户提供输入所述关键词的接口；

和/或，在所述S4之后，还包括：

封装HBase的增加、读取、更新、删除CRUD操作；

根据封装的HBase的CRUD操作，生成用户对HBase进行CRUD操作的CRUD应用程序编程接口API；

根据用户通过所述CRUD API输入的操作指令，通过反射进行HBase的CRUD操作。

另一方面，本发明提供了一种HBase的数据查询装置，包括：

映射模块，用于将HBase中的数据映射为至少一个Java Bean，其中，Java Bean的类名映射为HBase中表的表名，Java Bean的属性映射的信息中包括：HBase中的cell中预先选取的片段数据，所述片段数据对应的RowKey、列簇名和列名；

第一确定模块，用于根据所述片段数据确定作为索引字段的索引属性；

标识模块，用于通过注解的方式，标识所述索引属性；

索引数据生成模块，用于根据所述索引属性生成至少一条索引数据，其中，所述每条索引数据中包括：该条索引数据对应的索引属性所在的JavaBean映射的表名，该条索引数据对应的索引属性映射的片段数据、RowKey、列簇名和列名。

进一步地，所述映射模块，用于通过注解的方式，将HBase中的每行数据映射为一个Java Bean，其中，该行数据中每个cell映射为Java Bean的一个属性，该属性的映射的信息中包括：对应的cell的片段数据，对应的cell对应的RowKey、列簇名和列名。

进一步地，还包括：

第二确定模块，用于根据用户输入的关键词查找所有索引数据，确定所述关键词对应的目标索引数据；

获取模块，用于根据每条目标索引数据中的表名、RowKey、列簇名和列名，获取HBase中对应的目标数据。

进一步地，还包括：

转换模块，用于将同一行的目标数据转换成输出Java Bean，其中，该输出Java Bean的类名映射为该行的目标数据所在的表的表名，输出Java Bean的属性映射的信息中包括：该行的目标数据对应的RowKey、列簇名和列名。

进一步地，还包括：

Solr模块，用于将所述索引数据保存到在Solr中，并通过Solr为用户提供输入所述关键词的接口；

和/或，还包括：

封装模块，用于封装HBase的增加、读取、更新、删除CRUD操作；

接口生成模块，用于根据封装的HBase的CRUD操作，生成用户对HBase进行CRUD操作的CRUD应用程序编程接口API；

CRUD模块，用于根据用户通过所述CRUD API输入的操作指令，通过反射进行HBase的CRUD操作。

通过本发明提供的一种HBase的数据查询方法及装置，将HBase中的数据映射为Java Bean，通过注解的方式，标识Java Bean中的索引属性，根据标识的索引属性生成索引数据供用户检索，不需要对RowKey进行拼接，通过注解的方式即可生成索引数据，操作简单，降低了生成索引数据的难度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种HBase的数据查询方法流程图；

图2是本发明一实施例提供的一种HBase的数据查询装置结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种HBase的数据查询方法，参见图1，该方法包括：

S1：将HBase中的数据映射为至少一个Java Bean，其中，Java Bean的类名映射为HBase中表的表名，Java Bean的属性映射的信息中包括：HBase中的cell中预先选取的片段数据，所述片段数据对应的RowKey、列簇名和列名；

S2：根据所述片段数据确定作为索引字段的索引属性；

S3：通过注解的方式，标识所述索引属性；

S4：根据所述索引属性生成至少一条索引数据，其中，所述每条索引数据中包括：该条索引数据对应的索引属性所在的Java Bean映射的表名，该条索引数据对应的索引属性映射的片段数据、RowKey、列簇名和列名。

通过本发明实施例提供的一种HBase的数据查询方法，将HBase中的数据映射为Java Bean，通过注解的方式，标识Java Bean中的索引属性，根据标识的索引属性生成索引数据供用户检索，不需要对RowKey进行拼接，通过注解的方式即可生成索引数据，操作简单，降低了生成索引数据的难度。

为了使映射过程更加简单，在将HBase中的数据映射为Java Bean时，也可以通过注解的方式来实现，所述S1包括：

通过注解的方式，将HBase中的每行数据映射为一个Java Bean，其中，该行数据中每个cell映射为Java Bean的一个属性，该属性的映射的信息中包括：对应的cell的片段数据，对应的cell对应的RowKey、列簇名和列名。在HBase中每个表中一般会有多行数据，在本实施方式中，将每行的数据映射为一个Java Bean。而每行数据中一般会有多个cell，在每个cell中存储有数据，在本实施方式中，将每个cell映射为Java Bean的一个属性。由于一个cell通过该cell所在的表的表名、该cell对应的RowKey、列簇名和列名唯一确定，所以在该属性映射的信息中包括该cell对应的RowKey、列簇名和列名。通过Java Bean的类名映射的表名和属性映射的信息即可唯一确定对应的cell。

在生成了索引数据后，用户即可通过检索索引数据来找到HBase中对应的数据。在所述S4之后，还包括：

S5：根据用户输入的关键词查找所有索引数据，确定所述关键词对应的目标索引数据；

S6：根据每条目标索引数据中的表名、RowKey、列簇名和列名，获取HBase中对应的目标数据。

在该实施方式中，用户通过输入关键词在索引数据中查找相匹配的目标索引数据，通过目标索引数据中关于HBase中数据的信息获取目标数据。

在获取目标数据后，可以通过Java Bean的形式输出给用户，在所述S6之后，还包括：

将同一行的目标数据转换成输出Java Bean，其中，该输出Java Bean的类名映射为该行的目标数据所在的表的表名，输出Java Bean的属性映射的信息中包括：该行的目标数据对应的RowKey、列簇名和列名。

获取的目标数据可能分布在不同的表中，在同一个表中的数据也可能分布在不同的行中，本实施方式中，将在同一行的目标数据转换成一个输出JavaBean，用户通过该Java Bean可以获取对应的目标数据。

用户搜索索引数据可以通过搜索应用服务器来实现，Solr是一种独立的搜索应用服务器，它对外提供类似于Web-service的API(ApplicationProgramming Interface，应用程序编程接口)接口，用户可以通过Solr提供的接口输入关键词对索引数据进行搜索。在一种实现方式中，在所述S4之后，还包括：

将所述索引数据保存到在Solr中，并通过Solr为用户提供输入所述关键词的接口。

另外，为了方便用户对Hbase中的数据进行操作，在所述S4之后，还包括：

封装HBase的CRUD(Create、Retrieve、Update、Delete，增加、读取、更新、删除)操作；

根据封装的HBase的CRUD操作，生成用户对HBase进行CRUD操作的CRUD API；

根据用户通过所述CRUD API输入的操作指令，通过反射进行HBase的CRUD操作。

在该实现方式中，为用户提供了简单易用的CRUD API，用户通过该CRUD API可以直接对Hbase进行CRUD操作。

为了方便用户对Solr进行操作，还可以包括：

封装Solr的CRUD操作；

根据封装的Solr的CRUD操作，生成用户对Solr进行CRUD操作的CRUD API；

根据用户通过该CRUD API输入的操作指令，通过反射进行Solr的CRUD操作。

本发明实施例还提供了一种HBase的数据查询装置，参见图2，该装置包括：

映射模块201，用于将HBase中的数据映射为至少一个Java Bean，其中，Java Bean的类名映射为HBase中表的表名，Java Bean的属性映射的信息中包括：HBase中的cell中预先选取的片段数据，所述片段数据对应的RowKey、列簇名和列名；

第一确定模块202，用于根据所述片段数据确定作为索引字段的索引属性；

标识模块203，用于通过注解的方式，标识所述索引属性；

索引数据生成模块204，用于根据所述索引属性生成至少一条索引数据，其中，所述每条索引数据中包括：该条索引数据对应的索引属性所在的Java Bean映射的表名，该条索引数据对应的索引属性映射的片段数据、RowKey、列簇名和列名。

为了使映射过程更加简单，所述映射模块201，用于通过注解的方式，将HBase中的每行数据映射为一个Java Bean，其中，该行数据中每个cell映射为Java Bean的一个属性，该属性的映射的信息中包括：对应的cell的片段数据，对应的cell对应的RowKey、列簇名和列名。

在生成了索引数据后，用户即可通过检索索引数据来找到HBase中对应的数据。该装置还包括：

第二确定模块，用于根据用户输入的关键词查找所有索引数据，确定所述关键词对应的目标索引数据；

获取模块，用于根据每条目标索引数据中的表名、RowKey、列簇名和列名，获取HBase中对应的目标数据。

在获取目标数据后，可以通过Java Bean的形式输出给用户，该装置还包括：

转换模块，用于将同一行的目标数据转换成输出Java Bean，其中，该输出Java Bean的类名映射为该行的目标数据所在的表的表名，输出Java Bean的属性映射的信息中包括：该行的目标数据对应的RowKey、列簇名和列名。

在一种实现方式中，用户搜索索引数据可以通过Solr来实现，该装置还包括：

Solr模块，用于将所述索引数据保存到在Solr中，并通过Solr为用户提供输入所述关键词的接口。

另外，为了方便用户对Hbase中的数据进行操作，该装置还包括：

封装模块，用于封装HBase的增加、读取、更新、删除CRUD操作；

接口生成模块，用于根据封装的HBase的CRUD操作，生成用户对HBase进行CRUD操作的CRUD应用程序编程接口API；

CRUD模块，用于根据用户通过所述CRUD API输入的操作指令，通过反射进行HBase的CRUD操作。

本发明实施例提供的一种HBase的数据查询方法及装置，具有如下有益效果：

1、通过本发明实施例提供的一种HBase的数据查询方法及装置，将HBase中的数据映射为Java Bean，通过注解的方式，标识Java Bean中的索引属性，根据标识的索引属性生成索引数据供用户检索，不需要对RowKey进行拼接，通过注解的方式即可生成索引数据，操作简单，降低了生成索引数据的难度。

2、本发明实施例提供的一种HBase的数据查询方法及装置，通过注解的方式可以根据需要灵活的配置索引属性。

上述设备内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种HBase的数据查询方法，其特征在于，包括：

S1：将HBase中的数据映射为至少一个Java Bean，其中，Java Bean的类名映射为HBase中表的表名，Java Bean的属性映射的信息中包括：HBase中的cell中预先选取的片段数据，所述片段数据对应的行键RowKey、列簇名和列名；

S2：根据所述片段数据确定作为索引字段的索引属性；

S3：通过注解的方式，标识所述索引属性；

S4：根据所述索引属性生成至少一条索引数据，其中，所述每条索引数据中包括：该条索引数据对应的索引属性所在的Java Bean映射的表名，该条索引数据对应的索引属性映射的片段数据、RowKey、列簇名和列名。

2.根据权利要求1所述的方法，其特征在于，所述S1包括：

通过注解的方式，将HBase中的每行数据映射为一个Java Bean，其中，该行数据中每个cell映射为Java Bean的一个属性，该属性的映射的信息中包括：对应的cell的片段数据，对应的cell对应的RowKey、列簇名和列名。

3.根据权利要求1所述的方法，其特征在于，在所述S4之后，还包括：

S5：根据用户输入的关键词查找所有索引数据，确定所述关键词对应的目标索引数据；

S6：根据每条目标索引数据中的表名、RowKey、列簇名和列名，获取HBase中对应的目标数据。

4.根据权利要求3所述的方法，其特征在于，在所述S6之后，还包括：

将同一行的目标数据转换成输出Java Bean，其中，该输出Java Bean的类名映射为该行的目标数据所在的表的表名，输出Java Bean的属性映射的信息中包括：该行的目标数据对应的RowKey、列簇名和列名。

5.根据权利要求1所述的方法，其特征在于，在所述S4之后，还包括：

将所述索引数据保存到在Solr中，并通过Solr为用户提供输入所述关键词的接口；

和/或，在所述S4之后，还包括：

封装HBase的增加、读取、更新、删除CRUD操作；

根据封装的HBase的CRUD操作，生成用户对HBase进行CRUD操作的CRUD应用程序编程接口API；

根据用户通过所述CRUD API输入的操作指令，通过反射进行HBase的CRUD操作。

6.一种HBase的数据查询装置，其特征在于，包括：

映射模块，用于将HBase中的数据映射为至少一个Java Bean，其中，Java Bean的类名映射为HBase中表的表名，Java Bean的属性映射的信息中包括：HBase中的cell中预先选取的片段数据，所述片段数据对应的行键RowKey、列簇名和列名；

第一确定模块，用于根据所述片段数据确定作为索引字段的索引属性；

标识模块，用于通过注解的方式，标识所述索引属性；

索引数据生成模块，用于根据所述索引属性生成至少一条索引数据，其中，所述每条索引数据中包括：该条索引数据对应的索引属性所在的JavaBean映射的表名，该条索引数据对应的索引属性映射的片段数据、RowKey、列簇名和列名。

7.根据权利要求6所述的装置，其特征在于，所述映射模块，用于通过注解的方式，将HBase中的每行数据映射为一个Java Bean，其中，该行数据中每个cell映射为Java Bean的一个属性，该属性的映射的信息中包括：对应的cell的片段数据，对应的cell对应的RowKey、列簇名和列名。

8.根据权利要求6所述的装置，其特征在于，还包括：

第二确定模块，用于根据用户输入的关键词查找所有索引数据，确定所述关键词对应的目标索引数据；

获取模块，用于根据每条目标索引数据中的表名、RowKey、列簇名和列名，获取HBase中对应的目标数据。

9.根据权利要求8所述的装置，其特征在于，还包括：

转换模块，用于将同一行的目标数据转换成输出Java Bean，其中，该输出Java Bean的类名映射为该行的目标数据所在的表的表名，输出Java Bean的属性映射的信息中包括：该行的目标数据对应的RowKey、列簇名和列名。

10.根据权利要求6所述的装置，其特征在于，还包括：

Solr模块，用于将所述索引数据保存到在Solr中，并通过Solr为用户提供输入所述关键词的接口；

和/或，该装置还包括：

封装模块，用于封装HBase的增加、读取、更新、删除CRUD操作；

接口生成模块，用于根据封装的HBase的CRUD操作，生成用户对HBase进行CRUD操作的CRUD应用程序编程接口API；

CRUD模块，用于根据用户通过所述CRUD API输入的操作指令，通过反射进行HBase的CRUD操作。