CN1588358A - 对mdx多维数据查询语句的处理方法和系统 - Google Patents

Abstract

本发明公开了一种对MDX多维数据查询语句的处理方法和系统，包括用户发送MDX多维查询任务给查询处理子系统；查询处理子系统读取所述的MDX查询任务，直接对其多维查询任务进行相应分析，并对该多维查询任务进行串行和并行优化，将多维查询任务分解为多个子查询任务；查询处理子系统将子查询执行计划发送给各相应数据仓库服务器；所述数据仓库服务器执行相应子查询计划，并将查询结果返回给所述查询处理子系统；所述查询处理子系统将查询结果合成并返回至用户端。本发明实现了对MDX语言的直接分析和处理，提高了查询效率，特别适合于多维数据的查询。

Description

对MDX多维数据查询语句的处理方法和系统

技术领域

本发明涉及一种对MDX多维数据查询语句的处理方法和系统。

背景技术

目前常用的数据库查询语言SQL主要用于查询二维的关系表数据。

但SQL对多维数据的查询支持较弱。近年来，与SQL有近似功能的MDX的出现解决了多维数据查询问题，发展势头相当迅猛。

MDX是OLE DB for OLAP接口规范(由Microsoft公司提出)中定义的一组用于对多维数据进行查询的语句，类似于关系数据库中的标准SQL语句。创建MDX的主要目的是为了方便用户对多维数据进行访问。

MDX作为语义丰富的查询多维数据的语句，自发布以来逐渐成为工业界的事实标准，MicroSoft等实现了基于关系存储的MDX查询处理，其主要策略是将MDX语句转换为SQL语句，交RDBMS去处理，并没有实现MDX查询的直接处理。有关直接对MDX进行查询优化和处理的方法目前还没有见到。

发明内容

针对上述现有技术的问题和不足之处，本发明提出了一种可直接处理MDX多维查询的对MDX多维数据查询语句的处理方法和系统。

本发明是这样实现的：一种对MDX多维数据查询语句的处理方法，包括以下步骤：

1)、用户发送MDX多维查询语句给查询处理子系统；

2)、查询处理子系统读取所述的MDX多维查询语句，直接对其进行相应分析，并对该多维查询语句进行串行和并行优化，将多维查询分解为多个子查询；

3)、查询处理子系统将子查询发送给各个后台相应的数据仓库服务器执行；

4)、所述数据仓库服务器执行相应子查询，并将查询结果返回给所述查询处理子系统；

5)、所述查询处理子系统将查询结果合成并返回至用户端。

优选地，对所述多维查询语句进行分析具体为对查询语句进行词法分析、语法分析及语义检查。

优选地，对所述多维查询语句进行串行和并行优化具体为，将所述多维查询语句按照各维及各具体层次的不同组合生成不同的子查询。

优选地，所述数据仓库服务器执行子查询具体为从数据仓库中查找满足条件的数据，得到查询结果。

优选地，所述匹配所述数据仓库后，若未有完全匹配的数据，则以匹配程度最高的数据为基础，将以其他维、层查询的数据补充到该匹配程度高的数据，重新生成查询数据。

一种对MDX多维数据查询语句的处理系统，包括：

输入模块，用于MDX查询语句的输入；

MDX查询语句分析及优化模块，用于对MDX查询语句按维层的不同组合划分为各子查询，生成查询计划；

数据仓库服务器，用于接收查询计划，并执行该计划，生成查询结果；

输出模块，用于查询结果的输出和多维展现；

MDX多维查询语句通过输入模块输入后，MDX查询语句分析及优化模块对其进行相应分析和优化，将查询语句划分为多个子查询，并输入至数据仓库服务器，数据仓库服务器执行该子查询计划，生成相应的子查询结果，各子查询结果汇聚后生成总查询结果，由输出模块输出。

本发明采用直接对MDX多维查询语句进行分析，并将多维查询按维及相应层划分为多个子查询。并以子查询为单位，到数据仓库服务器中查找相关信息，得到相应数据后，将其生成相应的多维数据表格，并输至用户终端。本发明实现了对MDX语句的直接分析和划分，提高了查询效率，特别适合于多维信息的查询。本发明采用将多维查询划分为多个子查询的方式，直接解决了多维数据的获取问题，有利于数据查询的处理。

附图说明

下面结合附图对本发明作出详细说明。

图1为本发明的结构示意图；

图2为本发明Bitmap树的结构示意图；

图3为本发明的子查询任务时间Bitmap树结构示意图。

具体实施方式

如图1所示，本发明包括输入模块、MDX查询任务分析及优化模块、数据仓库服务器、输出模块。数据仓库服务器包括数据仓库以及数据仓库的存储管理机制，该数据仓库存储的数据为立方结构和关系数据结构。查询任务通过输入模块输入后，MDX查询语句分析及优化模块对其进行相应分析和优化，将查询任务划分为多个子查询，并以子查询为单位输入至数据仓库服务器，数据仓库服务器执行该子查询，生成相应的子查询结果，各子查询结果汇总后由输出模块输出。

本发明中，由于一个MDX查询常常涉及一个维的多个层，如在时间维上同时涉及月和季两层，在地区维上同时涉及国家和城市两层，而数据是以不同维、层的组合所构成的视图为单位存储的。因此，在处理MDX查询的时候，将它按照查询所涉及的维层次的不同划分成多个子查询，每个子查询对应一个视图。以对一个具有3个维的数据方体(SALESCUBE)进行查询为例，详细介绍本发明：该数据方体的3个维分别是时间维、地区维和产品维，其有一个度量值：销售额。现在用户需要了解北京和上海地区第一季度、第二季度的四月份所销售的电视机的情况，及在第一、二季度销售的衬衣的情况，并且要求结果数据集合中产品维和时间维在同一个轴上。

上例中，根据各个维层的不同组合，可以将MDX查询划分成下列3个子查询，如下表：

每个子查询同样都由Column轴和Row轴组成，Column轴上同样包含两个嵌套维(产品和时间)，Row轴上包含一个嵌套维(地区)。

由上表中查询结果处的不同标识图样可知，根据查询所涉及的维层的不同，将一个MDX查询分解成三个子查询。下面介绍本发明确定子查询的具体方法。

实际上，无法做到像上表那样，对查询结果的数据集合进行直观地划分，因为有的时候属于同一个子查询的数据元素展现的时候不一定相邻在一起。例如下表中：

在时间维上增加成员Qtr3后，横线所填充的两块区域实际上是属于同一个子查询，因为它们在各个维上的成员都属于一个维层。因此，对于本发明而言，增加成员Qtr3后并没有增加子查询的个数。

本发明的上述例子中，Column轴上第一个嵌套维(产品维)上的成员TV和Clothes.Shirt分别属于两个层，第二个嵌套维(时间维)上的成员Qtr1、Qtr2、Qtr2.Apr也是两个层。Row轴上地区维的成员Beijing和shanghai属于同一个维层，因此该MDX任务应该能够分解成2×2×1＝4个子查询。很明显，这样的划分方式有些问题，下表将帮助进一步理解本发明子查询的划分：

请注意表中的Clothes.Shirt、Qtr2.Apr对应的数据，即表中的灰色区域，该维层组合实际上是根本就不存在的，所以该子查询是无效的。实际上，子查询是2×2×1-1＝3。除此之外，本发明的有效的子查询中，还存在着无效的数据元素，例如，上表中的TV、Qtr2对应的数据，即表中的横线灰色区域。

本发明在查询处理时是以子查询为单位的，因此对于无效的查询任务，本发明不做处理。但对于有效子查询中的无效部分，本发明一律对其进行处理。

按本发明维、层划分查询的方法，上例的3个子查询任务分别为，在产品维上的取值为“TV”，在时间维上的取值为“Qtr1、Qtr2”，在地区上的取值为“Beijing，shanghai”；在产品维上的取值为“TV”，在时间维上的取值为“Qtr2.Apr”，在地区上的取值为“Beijing，shanghai”；在产品维上的取值为“Clothes.Shirt”，在时间维上的取值为“Qtr1、Qtr2”，在地区上的取值为“Beijing，shanghai”；

下面将主要介绍本发明对子查询的处理过程。一个MDX多维查询被划分成多个子查询后，需要将每个子查询所需要的信息(即子查询执行计划)表示出来。本发明采用一种称之为Bitmap树的方式来表示一个子查询的查询执行计划，如图3所示，Bitmap树是一棵二叉树结构。其中的左子树或右子树同样是bitmap树。

本发明为子查询涉及到的每一个维创建一棵Bitmap树。属于同一个子查询的多个维的多棵Bitmap树通过链表连接在一起。Bitmap树的结构如下：

typedef struct SPw Bitmap Tree{

C_Char Operation；                    //左右子树需要进行的操作

union SPw Bitmap Poimt*Operator1；    //左子树的地址指针

  union SPw Bitmap Point*Operator2；  //右子树的地址指针

}SPw Bitmap Tree；

为方便系统的识别和执行，可用以下方式对其操作进行相应的赋值，以方便实现查询：十位数上的0表示只有左结点有Bitmap列，十位数上的1表示两个结点进行与操作，十位数上的2表示两个结点进行或操作；而个位数上的0表示左右都是叶结点，1表示左右都是子树，2表示左子树右叶结点，3表示左叶结点右子树。

本发明上例中的MDX查询划分后的第一个子查询：在产品维上的取值为“TV”，在时间维上的取值为“Qtr1、Qtr2”，在地区上的取值为“Beijing，shanghai”。该子查询由三个维组成，查询的时候会生成三棵bitmap树，并用指针链接起来。假设时间维为第一个维，Qtr1的取值编码为120001(从左起第一个数字表示维的序号，第二个数字表示层的序号，后四位表示值的序号)，Qtr2的取值编码为120002。则第一个维时间维的bitmap树如图2所示。图中第一个节点“21”表示左右两个节点都是子树，并且进行或操作。第二层的两个节点都是“10”，表示左右两个节点都是叶子节点，且进行与操作。其中的序号为110001的值表示120001的父亲(此处即Qtr1的父亲为Year1)。

对于每个子查询，查询执行引擎首先到缓存中去查找数据，如果匹配成功，则取出数据直接返回；如果找不到，则查询数据字典，看是否存在已经实体化的视图可以用来响应该查询，若有，则向存储层发送该查询及相应的视图号，存储层直接取出数据返回结果。如果没有已经实体化好的视图，则需要选择一个计算代价最小的已经实体化了的视图，对该查询进行实时计算。

下面来介绍当查询所对应的视图不存在的时候，本发明如何从底层的实体化视图中选择一个代价最小的视图以及如何由该视图对查询进行实时计算。

不同的子查询，由于它们处在不同的维层，需要访问不同粒度的视图。如果将所有的视图或部分视图预先计算出来实体化存储在数据仓库中，将会缩短查询响应时间，提高分析效率。但是，当一个数据方体具有很多维而每一维又有很多层次的时候，将所有的视图预先计算出来需要大量的存储空间。一个n维的数据方体，如果不考虑层次的话，它的视图总数是2n。如果考虑层次的话，它的视图总数是： $T=\underset{i=1}{\mathrm{\Π}}(\mathrm{Li}+1)$ 其中Li是维i的层次数(没有包括最顶层all，因为聚集到all相当于去掉一维)。例如：一个10维的cube，如果每维具有4个层次的话，要计算的视图的总数是510个。可以看出，要预计算出所有的视图并将他们实体化存储是不现实的，对于一个具有很多视图并且每个视图很大的数据方体来说，比较合理的选择是选择他们中间的一部分进行预计算并将它们实体化存储在数据仓库中。本发明是这样确定代价最小视图的：一个视图的选择区域和一个查询的选择区域具有部分重叠，并且它们之间存在导出关系，则该视图可用于回答该查询。对于一个查询q的可用的视图集合V之后，本发明将选择一个最好的视图v∈V，使得查询的代价最小，即为代价最小视图。查询代价由两部分组成：视图的扫描时间和查询的聚集时间。

回答查询q时，每个视图v∈V的扫描时间是：

$t_{\mathrm{scan}}\left(v\right)=\frac{\mathrm{size}\left(v\right)}{\mathrm{pagesize}}\×t_{1\mathrm{IO}}$

其中size(v)表示v中元组的数目，pagesize是一个页面所能容纳的元组的数目，t_1IO是读一个磁盘页面所需的时间。

由视图v∈V到查询，q∈Q的聚集时间是：

t_aggregate(q，v)=t_map(v)+size(v)×t_cpm((q，v)

其中t_map(v)是将所有的维信息从一层映射到另一层所需要的时间，t_cpm(q，v)是使用输入视图和维信息对数据进行聚集的时间。

由此，使用视图v回答查询q的代价是：

          cos t(q，v)：t_scan(v)+t_aggregate(q，v)

根据上述公式，本发明即可以找到查询代价最小的实体化视图v。即可对本发明的子查询作出回应。

为对本发明进一步地说明，现将上述例子的实现方法进行描述。本发明的MDX语句格式如下：

SELECT{(TV，Qtr1)}，{(TV，Qtr2.Apr)}，{(Clothes.Shirt，Qtr1)}，

{(Clothes.Shirt，Qtr2)}ON COLUMNS

{Beijing，Shanghai}ON ROWS

FROM     SALESCUBE

WHERE    (Sales)

查询产生的结果数据集合显示于下表(假设各数据均正确地来自于系统的数据仓库)：

	TV		Clothes.Shirt
					Qtr1	Qtr2.Apr	Qtr1	Qtr2
	Beijing	4622	1356	2324					3456
Shanghai					34069	5847	4063	5847

由于本发明使用对维成员重新排序后进行划分的策略，所以子查询的查询结果在展现的时候可能彼此并不相邻，换句话说，子查询的查询结果并不一定能作为一个整体出现在查询结果中。为了使得子查询的查询结果能够被正确地填充到适当的位置上去，在查询划分的时候，必须将子查询数据元素与展现结果数据元素之间的映射信息保存下来。事实上只要保存轴序列的映射信息，就可以通过计算实现查询结果的映射。

本发明使用一个数组AxeMap来存放这两种不同的坐标系的轴序列的映射信息。这个数组对应于轴上的各个嵌套维上的成员的笛卡尔积。顺序扫描轴序列，对于每一个组合，在数组相应的位置填写组合的序号。对于不存在的组合，数组相应位置置为-1。这样就建立起来一个用户需要的查询(查询结果展现)与查询内部处理之间的对应关系。

上例中的Column轴上的各个嵌套维上的成员的笛卡尔积，根据上面的方法所建立起来的轴映射关系如下表所示：

	TV	Clothes.Shirt
			Qtr1	0	2
Qtr2	-1	3
			Qtr2.Apr	1	-1

其表示，Column轴的临时坐标中元组<TV，Qtr1>所代表的坐标点对应于目标坐标中的第0个坐标点。元组<TV，Qtr2>所代表的坐标点在目标坐标中不存在，表明该点无效。元组<TV，Qtr2.Apr>所代表的坐标点对应于目标坐标中的第1个坐标点，...，以此类推。这里，用临时坐标表示查询结果坐标，目标坐标表示显示给用户的查询结果坐标。

在Row上的映射关系如下表所示：

Beijing	0
		Shanghai	1

子查询划分完毕并且保存了临时坐标和目标坐标的映射关系以后，就可以将各个子查询发送给后台并行数据仓库服务器去执行。但是，为了指出子查询中哪些数据元素是有效的、哪些数据元素是无效的(无效的数据元素没有必要从存储层返回)，本发明在查询处理层与存储层之间通过一个数据的bitmap序列来标识这种数据的取舍情况。通过上面保存的轴坐标的映射信息，可以很方便地得到这个bitmap：那就是，值为-1的数据元素相应的bitmap位设置为0，否则相应位置设置为1。

例如，上例中的第一个子查询的Column轴上的bitmap为10(因为<TV，Qtr1>对应的值是0，<TV，Qtr2>对应的值是-1，所以前者取值1，后者取值0)，Row轴上的bitmap为11。将这两个bitmap以及子查询的其他信息一起发给存储层，存储层就可以计算出所需要返回的数据元素，查出相应的值，返回给查询处理层。

Claims (7)

1、一种对MDX多维数据查询语句的处理方法，包括以下步骤：

1)、用户发送MDX多维查询语句给查询处理子系统；

2)、查询处理子系统读取所述的MDX查询，直接对其进行相应分析，并进行优化，将多维查询分解为多个子查询，并生成并行查询计划；

3)、查询处理子系统将子查询计划发送给各相应数据仓库服务器；

4)、所述数据仓库服务器执行相应子查询，并将查询结果返回给所述查询处理子系统；

5)、所述查询处理子系统将查询结果合成并返回至用户端。

2、如权利要求1所述的对MDX多维数据查询语句的处理方法，其特征在于，对所述多维查询进行分析具体为对查询语句进行词法分析、语法分析及语义检查。

3、如权利要求1或2所述的对MDX多维数据查询语句的处理方法，其特征在于，对所述多维查询进行串行和并行优化具体为，将所述多维查询任务按各维及各具体层的不同组合生成多个子查询。

4、如权利要求3所述的对MDX多维数据查询语句的处理方法，其特征在于，所述数据仓库服务器执行子查询具体为从所述数据仓库中查找满足条件的数据，得到查询结果。

5、如权利要求4所述的对MDX多维数据查询语句的处理方法，其特征在于，所述匹配所述数据仓库后，若未有完全匹配的数据，则以匹配程度最高的数据为基础，将以其他维、层查询的数据补充到该匹配程度高的数据，重新生成查询数据。

6、如权利要求1、2、4或5所述的对MDX多维数据查询语句的处理方法，其特征在于，所述数据库存储的数据为立体实体结构，即数据属性中含有多维及层信息。

7、一种对MDX多维数据查询语句的处理系统，包括：

输入模块，用于查询任务的生成；

MDX查询任务分析及优化模块，用于对MDX查询按维层的不同组合划分为多个子查询；

数据仓库服务器，用于接收子查询并执行，生成查询结果；

输出模块，用于查询结果的输出；

查询任务通过输入模块输入后，MDX查询任务分析及优化模块对其进行相应分析和优化，将查询任务划分为多个子查询任务，并以子查询为单位，输入至数据仓库服务器，数据仓库服务器执行该子查询，生成相应的子查询结果，各子查询结果汇总后得到查询结果，由输出模块输出。