CN101183368B - 联机分析处理中分布式计算及查询海量数据的方法和系统 - Google Patents

Abstract

本发明公开了联机分析处理中分布式计算及查询海量数据的方法和系统，该方法采用集群系统对数据立方体进行分布式的预计算以及查询。本发明基于MapReduce框架，通过MapReduce对大容量数据集进行分块并分发到各个节点上，然后节点上的Map任务对每个数据块计算出一个相应的本地封闭立方体，最后启动不同节点上Map任务对各个本地封闭立方体进行并行查询，Reduce任务再合并查询出来的度量值。本发明能够简单而有效地对大容量数据进行联机分析处理的预计算及查询，较大地压缩了数据立方体的存储空间，并能够较快响应用户的查询。

Description

联机分析处理中分布式计算及查询海量数据的方法和系统

技术领域

本发明涉及联机分析处理(OLAP)中分布式预计算及查询的方法及系统，尤其是针对海量数据的OLAP处理。

背景技术

OLAP是近年来研究的热点，它以维度模型，即数据立方体为核心，以分析为目标，通过预聚合的技术为用户提供多视角的在线数据分析。然而随着Internet的不断发展和用户需求的日益复杂性，高维以及大容量数据将会使数据立方体产生信息爆炸，如何对其有效地压缩并快速计算，已成为OLAP面临的一大挑战。

当前研究者提出了许多数据立方体压缩算法。Yannis Sismanis等人在2002年提出Dwarf Cube，该方法通过识别相同前缀和相同后缀来消除空间冗余。Laks V.S.Lakshmanany、Jian Pei等2002年提出了Quotient Cube方法，其将度量相等，且具有上卷下钻语义的一组单元无损压缩成该组中的有且仅有一个的上界，并采用自底向上，深度优先的DFS算法计算出上界集。其后Dong Xin等人于2006年称Quotient Cube为更有直观意义的封闭立方体，即closed cube，相应上界称为封闭单元，并且提出基于度量的方法有效进行单元封闭性判断，即C-Cubing。以上算法主要是基于共享元组思想对数据立方体进行压缩，而view selection、iceberg等采用了部分物化策略。然而它们大多数基于如下假设：单机处理，内存无限。面临大容量数据，这些算法却没有提出一个有效的方法和系统。shell fragments垂直分割高维数据集为多个低维数据集，即fragments，然而却没有研究怎样对fragments并行或分布式处理；cgmCUBE项目研究并行的数据立方体计算，但它采用的pipesort算法没有对数据立方体压缩，因而十分消耗空间占用，并且它是针对ROLAP(Relational OLAP)。存储模式，并不是本发明要处理的MOLAP(Multidimensional OLAP)存储模式。MapReduce是最近在并行处理领域中提出的一种实现分布式计算任务的通用框架或编程模式，它简化了由普通机器组成的超大集群上数据处理任务；在该框架中，用户只需要把主要精力专注于怎样实现map和reduce这两个函数来满足业务需求，而像数据切割、任务调度、结点通讯、系统容错等通用功能由MapReduce自动完成。然而当前文献没有研究利用MapReduce如何处理数据立方体的计算和查询任务，以及Map和Reduce的任务个数多少时，能使数据立方体取得存储空间和查询时间上的平衡。

综合上述，当前针对大容量数据集简单而有效的OLAP计算仍需要进一步的研究和改进，不仅要对数据立方体做进一步的压缩，而且要求查询响应速度快。

发明内容

本发明的目的在于克服现有技术存在的上述缺陷，提供一种联机分析处理中分布式计算及查询海量数据的方法和系统，即基于MapReduce的封闭立方体的分布式预计算和查询。

封闭立方体(closed cube)是迄今为止，已知最好的数据立方体压缩算法。它在最大压缩数据空间的同时还保留了数据单元间上卷下钻的语义关联信息。本发明提供的方法中将封闭立方体的预计算和查询在MapReduce下分布式处理。

本发明提供的方法包括如下步骤：

1)根据用户指定对空间存储和查询时间的需求，计算出合适的Map任务个数；

2)MapReduce对要计算的大容量数据集进行分块，每块的大小等于该数据集的大小除以Map任务的个数，并将数据块分发到节点上；

3)节点上的Map任务对其数据块计算并输出一个本地封闭立方体；

4)用户请求查询，MapReduce将该查询提交到节点上的Map任务；

5)Map任务对该节点上的本地封闭立方体进行查询，并返回对应的度量值；

6)Reduce任务将各个返回的度量值聚合为一个值交给用户。

上述数据块的个数等于所述Map任务的个数。

上述本地封闭立方体与所述其数据块是一一对应的，一个数据块只生成一个封闭立方体；一个封闭立方体也只来自一个数据块。

上述方法中，所有本地封闭立方体总的大小由预计算Map任务的个数决定，并随着所述预计算Map任务的增加而减小，直至所有本地封闭立方体总的大小等于所述数据集的大小。所述本地封闭立方体并不合并成一个全局的封闭立方体，从而可以获得更大的压缩率；

实现上述方法的系统，该系统包括名字节点和数据节点，所述名字节点进行数据分块，分发数据块到各节点，并读写数据块，管理数据节点，并进行分布式计算任务的划分和调度；所述数据节点保存数据块，处理Map计算任务以及Reduce计算任务。

所述系统根据用户指定对空间存储和查询时间的需求，从而计算出所述Map计算任务的个数，即也是所述数据分块的个数，相应的也决定了将要产生的所有本地封闭立方体的个数。

与现有技术相比，本发明具有如下有益效果：

这些预计算产生的本地封闭立方体并不合并成一个全局的封闭立方体。由于在子集中不封闭的数据单元可能在全集上封闭，全集上计算的封闭立方体也就比本地封闭立方体的容量总和要大得多，因此可以大大地压缩数据立方体占用的存储空间。进一步地，Map任务个数越多，本地封闭立方体的个数也越多，从而本地封闭立方体总的大小就越小(其范围在原始数据集大小和原始数据集产生的一个全局的封闭立方体之间)。尽管本地封闭立方体总的大小减少，但查询时间一般会相应增加。如果令T代表用户对查询响应时间的要求，S代表用户对存储容量的要求，则Map任务的个数n＝kT/S，其中k是常数，来自实际经验值。通过指定适当的Map任务个数，可以获得较大的压缩率，同时查询是在节点上并行处理，返回的结果很小，使得节点间的通讯开销也很小，因此能获得较快的查询响应。

本发明将封闭立方体计算由单机少量数据处理能力扩展到基于集群的大容量数据处理，并在有效地压缩数据立方体的同时，能够充分利用MapReduce带来的实现简易性和可用性。

附图说明

图1为本发明的联机分析处理在集群上分布式计算的系统结构示意图；

图2为本发明在集群上处理大容量数据集过程的示意图；

图3为本发明提供的方法的分布式预计算过程示意图；

图4为本发明的方法的分布式查询过程示意图。

图中，M代表Map计算任务，R代表Reduce计算任务。

具体实施方式

下面结合附图对本发明的实施方式作进一步说明，但本发明不限于此。

如图1所示，本发明采用的集群系统结构主要分为名字节点和数据节点。名字节点进行数据分块，分发数据块到各节点，并读写数据块，即管理数据节点，并进行分布式计算任务的调度；数据节点保存数据块，处理Map计算任务以及Reduce计算任务。

如图2所示，本发明在如图1所示的集群系统上处理大容量数据集过程为：

1)MapReduce对要计算的大容量数据集进行分块，每块的大小等于该数据集的大小除以Map任务的个数，并将数据块分发到节点上；

2)节点上的Map任务对其数据块计算并输出一个本地封闭立方体；

3)用户请求查询(如：一系列的点查询)，MapReduce将该查询提交到节点上的Map任务；

4)Map任务对该节点上的本地封闭立方体进行查询，并返回对应的本地结果集，其形式是：(查询点：度量值)；

5)这些本地结果集以查询点为键进行分区，形成一系列查询结果列表，其形式是(查询点：度量值列表)；

6)对于一个查询结果列表，Reduce任务将该列表中各个返回的度量值聚合为一个值交给用户。

具体而言，如图3所示的分布式预计算，其只有Map任务，Reduce任务只是简单地将中间键值对，即本地封闭立方体输出。Map任务的输入输出定义如下：

Map输入：(分块号，分块内容)；

Map输出：(分块号，本地封闭立方体内容)。

处理流程：

1)系统首先通过MapReduce把基本表数据集(即全集)水平平均分割为n份数据块，并分发到集群上不同的可用节点上；

2)节点对其数据块产生一个Map任务，其以分块号作为输入键，数据块内容作为输入值；

3)Map任务采用DFS算法计算出一个本地的封闭立方体，并以分块号作为中间键，本地封闭立方体数据作为中间值输出到可用节点上；

4)节点产生Reduce任务，其只是简单地将中间键值对输出，并且一个分块号对应一个最终的文件，以保存一个本地封闭立方体数据。

在图3中，用户需要计算一个数据集，该数据集有三个维度属性，一个度量属性，其元组集为：{(a1 b1 c1：6)，(a2 b1 c2：9)，(a1 b2 c1：12)，(a1b3 c3：10)，(a1 b1 c4：20)}，其被MapReduce分割为三个数据块：{(a1 b1c1：6)，(a2 b1 c2：9)}，{(a1 b2 c1：12)}，{(a1 b3 c3：10)，(a1 b1 c4：20)}。这三个数据块被分发到三个不同的节点，并作为对应节点上的Map任务的输入被分别计算和输出三个封闭立方体，如表1所示：

表1

Map输入	Map输出
		b1k0：[(a1b1c1：6)，(a2b1c2：9)]	b1k0：[a1b1c1：6)，(a2b1c2：9)，(*b1*：15)]
B1k1：[(a1b2c1：12)]	b1k1：[(a1b2c1：12)]
		B1k2：[(1ab3c3：10)，(a1b1c4：20]	b1k2：[(a1b3c3：10)，(a1b1c4：20)，(a1**：30]

接着如图4所示，当用户提交多个查询时，本发明进行分布式查询过程。其中Map任务的输入和输出定义如下：

Map输入：(分块号，本地封闭立方体内容，查询点列表)；

Map输出：(查询点，度量值)。

而Reduce任务的输入和输出定义如下：

Reduce输入：(查询点，度量值列表)；

Reduce输出：(查询点，聚合的度量值)。

处理流程：

1)用户向系统提交多个点查询请求；

2)系统以分块号为键，<本地封闭立方体内容，查询点列表>为值将本地封闭立方体文件分发到节点；

3)节点上的Map任务对本地封闭立方体采用分层查询算法进行快速查询，并将查询点作为中间键，该点对应的度量为中间值输出；

4)在MapReduce对中间键进行排序分组后，Reduce任务对该查询点对应的一系列度量值聚集成一个度量值，并将该查询点作为输出键，该度量值作为输出值输出给用户。

在图4中，用户需要对该数据集查询(a1**：？)、(*b1*：？)，本发明首先将不同本地封闭立方体以及该查询分发到不同节点上，随后节点上的Map任务对其相应的本地封闭立方体查询(a1**)以及(*b1*)，并以(a1**)作为中间键，(a1**)对应的度量值作为中间值，以及(*b1*)作为中间键，(*b1*)对应的度量值作为中间值返回。MapReduce接着将以(a1**)为键的度量值分为一组，以及以(*b1*)为键的度量值分为一组，即得到(a1**)：(6，12，30)以及(*b1*)：(15，20)。最后Reduce将(a1**)下的度量值聚合为48。(*b1*)下的度量值聚合为35。在该分布式查询过程中，Map输入输出如表2所示。

表2

Map输入	Map输出
		b1k0：{[a1b1c1：6)，(a2b1c2：9)，(*b1*：15)]，[(a1**)]，[(*b1*)]}	(a1**)：6(*b1*)：15
b1k1：{[(a1b2c1：12)]，[(a1**)]，[(*b1*)]}	(a1**)：12
		b1k2：{[a1b3c3：10)，(a1b1c4：20)，(a1**：30)]，[(a1**)]，[(*b1*)]}	(a1**)：30(*b1*)：20

Reduce输入输出如表3所示。

表3

Reduce输入	Reduce输出
		(a1**)：(6，12，30)	(a1**)：(48)
(*b1*)：(15，20)	(*b1*)：(35)

正如图4所示，由于是在节点上并行地进行查询，并且在节点上的通讯开销较小，因此可以获得较快的查询速度。

Claims (5)

1.联机分析处理中分布式计算及查询海量数据的方法，该方法基于MapReduce框架，其特征在于包括如下步骤：

(1)根据用户指定对空间存储和查询时间的需求，计算出预计算Map任务个数；

(2)MapReduce对要计算的大容量数据集进行分块，并将数据块分发到节点上；

(3)节点上的Map任务对其数据块计算并输出一个本地封闭立方体；

(4)用户请求查询，MapReduce将该查询提交到节点上的Map任务；

(5)Map任务对该节点上的本地封闭立方体进行查询，并返回对应的度量值；

(6)Reduce任务将各个返回的度量值聚合为一个值交给用户。

2.根据权利要求1所述的方法，其特征在于：所述数据块的个数等于所述Map任务的个数。

3.根据权利要求2所述的方法，其特征在于：所述本地封闭立方体与所述数据块是一一对应的，一个数据块只生成一个封闭立方体；一个封闭立方体也只来自一个数据块。

4.根据权利要求3所述的方法，其特征在于：所有所述本地封闭立方体总的大小由预计算Map任务的个数决定，并随着所述预计算Map任务的增加而减小，直至所有本地封闭立方体总的大小等于所述数据集的大小。

5.实现权利要求1～4任一项所述方法的系统，其特征在于：所述系统包括名字节点和数据节点，所述名字节点进行数据分块，分发数据块到各节点，并读写数据块，管理数据节点，并进行分布式计算任务的划分和调度；所述数据节点保存数据块，处理Map计算任务以及Reduce计算任务。

Images