CN104252528B - 基于标识符空间映射的大数据二级索引构建方法 - Google Patents

Abstract

本发明提出了一种基于标识符空间映射的大数据二级索引构建方法，包括：根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点。本发明有益效果：二级索引构建技术改进了HBase不支持索引构建与使用的缺点；利用云计算资源管理大量的属性索引，满足大量数据分析处理的二级索引需求；数据的检索与获得由索引节点完成，减轻了数据处理节点的负担，提高数据处理的效率。

Description

基于标识符空间映射的大数据二级索引构建方法

技术领域

本发明涉及大数据处理领域，尤其涉及一种大数据二级索引构建方法。

背景技术

在企业信息化与智能化过程中，数据量快速增长，业务数据种类也呈现多样化趋势。建立高效的企业智能决策支持系统，需要一种大数据管理系统，将各类业务数据统一存储，并提供正确、快速数据分析处理能力。HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，为大数据存储与分析处理提供较为完备的解决方案。

然而，HBase不支持二级索引，当需要查询非Rowkey属性时只能通过全表扫描方式，数据分析效率严重降低。为大数据建立索引，需要管理大量的索引条目，这需要利用云计算资源完成。而且，HBase的存储单位为HFile，HFile是一种分布式存储，不同于传统的磁盘存储，所以原有的磁盘索引不再适用。因此，结合大数据特征，本文给出一种HBase二级索引构建方法。

发明内容

本发明的目的就是为了支持大数据在HBase的高效数据分析处理，提出了一种基于标识符空间映射的大数据二级索引构建方法，该方法能够满足以下需求：1)可管理多种业务数据的索引及大量的索引条目；2)索引查询操作时间高效；3)适应HBase的分布式存储结构；4)利用云计算资源管理二级索引，并保证负载均衡。

为了解决上述问题，本发明采用如下技术方案：

一种基于标识符空间映射的大数据二级索引构建方法，包括以下步骤：

(1)根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；

(2)查询操作：数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点。

所述步骤(1)中建立索引组织的方法包括：

a)对所有的属性索引统一编号；每一个属性索引都由若干索引条目组成，设e_j为索引条目，I_i为属性索引，则I_i＝∪{e_j}；其中，i为属性索引的编号，j为索引条目编号；

b)每个索引条目e_j都通过映射函数映射到标识符空间D的某个位置；所述标识符空间D为映射函数的值域范围；

c)利用Baton组织索引节点，每个索引节点负责管理部分标识符空间，所有索引节点组成一个关于标识符空间D的覆盖网络，各索引节点基于Baton组成一个树型结构；

d)确定各索引节点负责管理的索引条目，每个索引节点利用B+树存储自己所负责的索引条目；

e)每个索引条目指向数据存储物理地址。

所述Baton协议为一种利用树形结构组织对等网络的协议，所述Baton协议能够替换为其他类型的网络结构。

所述索引条目e_j由属性值a_j与存储位置p_j组成，即e_j:<a_j,p_j>，存储位置p_j指向存储数据记录的HFile标号及逻辑偏移量。

所述索引条目e_j通过映射函数映射到标识符空间D的某个位置的方法为：

1)将标识符空间D分割为n个等大小的属性索引区，属性索引区表示为B；将每个属性索引对应存储到一个B中；

2)对于属性索引I_i的任意索引条目e_j:<a_j,p_j>，计算e_j在D的位置的方法为：

L_j＝B*i+B*(min+a_j)/(max-min) (1)

其中，L_j是e_j映射到标识符空间D中的位置，i为属性索引的编号，max与min分别为属性值a_j可取值的最大值与最小值。

所述步骤(2)的具体方法为：

Ⅰ)对于一个查询命令Q，数据处理节点解析查询命令Q要使用的属性索引I_i及索引条目e_j；

Ⅱ)选择任意一个索引节点作为入口查询节点；

Ⅲ)计算索引条目e_j在D的位置，根据Baton路由协议将查询命令Q发送到负责索引条目e_j的索引节点；

IV)所述索引节点根据索引条目e_j指向的物理地址，获得数据记录；所述索引节点可进行并行查询；

V)索引节点将数据记录返回给数据处理节点；

VI)数据处理节点获得数据，进行查询处理。

本发明有益效果：

(1)二级索引构建技术改进了HBase不支持索引构建与使用的缺点，提高了分析时常用属性的数据处理效率。

(2)可利用云计算资源管理大量的属性索引，满足大量数据分析处理的二级索引需求。

(3)数据的检索与获得由索引节点完成，减轻了数据处理节点的负担，提高数据处理的效率。

(4)索引条目直接指向记录的HFile标号及逻辑偏移量，适应HBase分布式存储系统。

(5)基于Baton协议可动态地均衡负载，节省节点资源。

附图说明

图1为本发明索引框架图；

图2为本发明索引建立与查询示意图；

图3为本发明索引建立流程图；

图4为本发明索引查询流程图。

具体实施方式

下面结合附图与具体实施例对本发明做进一步说明：

为提高大数据分析处理的效率，提出一种基于标识符空间映射的大数据二级索引构建方法。针对数据分析人员常用的查询属性，建立二级索引。索引框架如图1所示，主要思想为：

1)HBase索引机制部署在由N个索引节点(IndexServer)组成的对等网络，节点间利用Baton协议组织。

2)索引节点(IndexServer)存储二级索引，每个索引指向数据存储的HFile标号及逻辑偏移量。HFile是数据存储节点(DataNode)的文件存储单元。

3)数据处理节点(RegionServer)在查询非Rowkey属性时，将查询所需数据请求发送给索引机制。索引机制中拥有所需索引条目的索引节点通过物理地址取得数据，并发送到RegionServer。RegionServer负责处理数据。

为方便描述，给出所需的术语定义。

定义1：属性索引为提高查询效率，在Table某个属性建立的键值与存储位置对应关系的集合称为属性索引，表示为I_i，i为属性索引的编号。所有Table的属性索引统一编号，因此每个属性索引在系统中有唯一的编号。一个属性索引是由若干索引条目组成的，设e_j为索引条目，则Ii＝∪{e_j}，j为索引条目编号。索引条目是由属性值a与存储位置p组成的，即e_j＝<a_j,p_j>。存储位置p_j指向存储数据记录的HFile及偏移量。

定义2：标识符空间所有索引条目通过一致性哈希映射的值域范围称为标识符空间，用D表示。每个e_j都通过映射函数映射到D的某个位置，每个索引节点都负责部分空间范围并组成一个关于D的覆盖网络。因此e_j一定会被某个索引节点所管理。

定义3：索引节点负责管理索引条目的节点称为索引节点。每个索引节点负责一部分标识符空间，通过映射函数落入该部分的索引条目都被此节点管理与存储。

索引方法中二级索引建立如图2及图3所示，查询的过程如图2及图4所示。

索引建立步骤为：

a)对所有属性索引统一编号。

b)确定每个索引条目e_j在标识符空间D的位置。对于属性索引I_i的e_j，利用公式(1)映射到D。

c)利用Baton组织索引节点及索引条目。一个索引节点负责管理一定范围的D，各索引节点组成一个树型结构。每个索引节点利用B+树管理自己所负责的索引条目。

在实施中，可设置D的大小为2¹²⁸，B的大小为2⁹⁶，则可建立2³²个属性索引。若I₀的e₀的属性值a₀＝1，且其max与min值分别为0与2⁹⁶。那么利用公式(1)计算其在D中的值为1；若索引节点a负责标识符空间范围为[0,2¹²⁰]，那么e₀被索引节点a所管理与存储。e₀以映射后的值加入a的B+树。

索引查询步骤为：

a)对于一个查询Q，RegionServer解析Q要使用的属性索引及索引条目e_j。

b)选择任意一个索引节点作为入口查询节点。

c)利用函数(1)计算e_j在D位置，通过Baton路由协议将Q发送到负责e_j的节点。

d)索引节点根据索引条目e_j指向的物理地址，获得数据记录。由于Baton支持范围查询，所以索引节点可以并行的查询。

e)索引节点将数据记录返回给RegionServer。

f)RegionServer获得数据，进行查询处理。

例如，一个RegionServer需查询I₀中属性值a₀＝1的数据，则通过公式(1)计算要检索的索引条目在D中的值为1；若索引节点a管理标识符空间范围包含1，可根据Baton路由协议将查询指令发送到索引节点a；a节点在HFile中获得数据，并将数据返回给RegionServer，RegionServer再处理数据。

提出的二级索引方法利用索引节点并行提取数据，再将数据传输回RegionServer进行处理，有效提高了查询效率。由于是对等网络结构，索引机制可无限扩展，并且在查询与更新时可并行处理数据。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (5)

1.一种基于标识符空间映射的大数据二级索引构建方法，其特征是，包括以下步骤：

(1)根据查询属性生成索引条目，利用Baton协议组织索引节点及索引条目，建立Baton索引组织；

(2)查询操作：数据处理节点在查询非Rowkey属性时，将查询所需数据请求发送给索引节点，索引节点通过Baton路由协议将数据检索请求发送到需检索索引条目所在的索引节点，所述索引节点通过物理地址获取所需数据，并发送给相应的数据处理节点；

所述步骤(1)中建立索引组织的方法包括：

a)对所有的属性索引统一编号；每一个属性索引都由若干索引条目组成，设e_j为索引条目，I_i为属性索引，则I_i＝∪{e_j}；其中，i为属性索引的编号，j为索引条目编号；

b)每个索引条目e_j都通过映射函数映射到标识符空间D的某个位置；所述标识符空间D为映射函数的值域范围；

c)利用Baton组织索引节点，每个索引节点负责管理部分标识符空间，所有索引节点组成一个关于标识符空间D的覆盖网络，各索引节点基于Baton组成一个树型结构；

d)确定各索引节点负责管理的索引条目，每个索引节点利用B+树存储自己所负责的索引条目；

e)每个索引条目指向数据存储物理地址。

2.如权利要求1所述的一种基于标识符空间映射的大数据二级索引构建方法，其特征是，所述Baton协议为一种利用树形结构组织对等网络的协议，所述Baton协议能够替换为其他类型的网络结构。

3.如权利要求1所述的一种基于标识符空间映射的大数据二级索引构建方法，其特征是，所述索引条目e_j由属性值a_j与存储位置p_j组成，即e_j：<a_j，p_j>，存储位置p_j指向存储数据记录的HFile标号及逻辑偏移量。

4.如权利要求1所述的一种基于标识符空间映射的大数据二级索引构建方法，其特征是，所述索引条目e_j通过映射函数映射到标识符空间D的某个位置的方法为：

1)将标识符空间D分割为n个等大小的属性索引区，属性索引区表示为B；将每个属性索引对应存储到一个B中；

2)对于属性索引I_i的任意索引条目e_j：<a_j，p_j>，计算e_j在D的位置的方法为：

L_j＝B*i+B*(min+a_j)/(max-min) (1)

其中，Lj是ej映射到标识符空间D中的位置，i为属性索引的编号，max与min分别为属性值a_j可取值的最大值与最小值。

5.如权利要求1所述的一种基于标识符空间映射的大数据二级索引构建方法，其特征是，所述步骤(2)的具体方法为：

Ⅰ)对于一个查询命令Q，数据处理节点解析查询命令Q要使用的属性索引I_i及索引条目e_j；

Ⅱ)选择任意一个索引节点作为入口查询节点；

Ⅲ)计算索引条目e_j在D的位置，根据Baton路由协议将查询命令Q发送到负责索引条目e_j的索引节点；

IV)所述索引节点根据索引条目e_j指向的物理地址，获得数据记录；所述索引节点可进行并行查询；

V)索引节点将数据记录返回给数据处理节点；

VI)数据处理节点获得数据，进行查询处理。