CN1564160A - 建立及查询多维数据立方体的方法 - Google Patents

Abstract

一种建立及查询多维数据立方体的方法，涉及利用在公知计算机上运行程序及对外部数据进行处理的方法，该方法包括：建索引，定义维，建维，定义事实结构，装入事实。该方法通过对事实数据的各属性成员建立索引，将事实的各属性组织为查询维，维节点指向该索引。计算时根据选择的维节点，查找索引取得事实数据，进行上卷计算。基于该立方体之上数据分析可以做到：同一个属性可以按不同分类方式进行分析，即同一个属性可以有一个以上的上卷途径；当需要调整多维立方体结构时，只需更新维节点的索引指向即可，不需要重新装入事实，使得维护过程十分简单和高效。

Description

建立及查询多维数据立方体的方法

技术领域

本发明涉及利用在公知计算机上运行计算机程序及对外部数据进行处理的方法，适合于数据库数据的动态查询和多维分析，保证多维数据模型的维与层次关系随时随意生成，提高维护过程效率、节约时间和存储介质。

背景技术

近来，数据库开发人员已经求助于数据仓库技术来解决经常发生的冲突的数据管理要求。在传统的数据分析过程中，企业的管理者、决策者往往是通过由信息技术人员通过编制程序或者通过已经“预制”在应用系统的格式固定的报表来获得信息。数据仓库以及建立在其基础之上的联机分析处理(OLAP)技术通过一个称之为多维数据立方体的数据源，为用户提供了一种多层次、多角度分析数据并且能在动态格式下展示信息的方法。

数据立方体是一个多维的数据阵列结构，是组织多维OLAP操作的基础。实际上，数据立方体只是一种逻辑概念结构，它的实现是基于事实表和维表关联的星型模型或雪花模型上模拟的，具体体现为主题中的一个表。通过在主题中选取所需的数据维和度量，生成描述星型或雪花关联信息的元数据表，数据立方体就是该表的逻辑抽象。

所以，建立多维数据立方体的办法主要有两种：一种是建立专用多维数据库系统的MOLAP；另一种是利用现有关系数据库技术来模拟多维数据的ROLAP。由于ROLAP以广泛应用的关系数据库管理系统为基础，因此在技术成熟及各方面的适应性上较MOLAP要占一定的优势。本发明建立的多维数据立方体是基于关系数据库的星型模式或雪花模式来模拟的。

目前建立及查询多维数据立方体的方法是首先由开发人员定义好基于主题的事实表和相应的维度表，然后由用户在基于该立方体上进行数据分析。运用这种的开发方式，有以下的几点不足：

1使事实与立方体过于紧密地绑在一起。即，事实的属性值直接对应维树的节点值。这样，一个事实的属性就只能对应一个查询途径，计算时也只能按一种方式上卷计算，失去了很大地灵活性；

2由于立方体是按照固定的维度预制的，所以一旦维度发生改变或数据改变时，相应的多维立方体均需要重新建立。随着数据量的增加，这种重建时间也将急剧上升，使得多维立方体的维护成为一项很费时费力的工作。

发明内容

本发明针对上述现有技术的不足，提供一种建立及查询多维数据立方体的方法。该方法能使多维数据模型的维及层次关系随时随意生成的，维护方便、省时及节约存储介质。

为了实现本发明的建立多维数据立方体目的，技术方案如下：

(1)建立基本表作为多维数据立方体的索引表：该索引表包括记录多维数据立方体节点属性类型的列、记录多维数据立方体节点属性值的列、记录多维数据立方体节点索引值的列；

(2)确定上述索引表中的索引生成方法：以节点属性类型及节点属性值为参数调用索引生成方法时，以该参数为关键字在上述的索引表中查找相应的记录，当查找到记录时返回该记录相应的节点索引值给多维数据立方体，当未查到相应记录时以不同节点属性类型及不同节点属性值为参数分别生成不同值作为对应的节点索引值，并将该节点属性类型、节点属性值及以相应节点属性类型和相应节点属性值为参数生成的相应节点索引值作为一条记录加入到索引表中；

(3)为多维数据立方体的各维表指定维层次及关系：选取维表中的列，确定维所描述的事实属性的不同层次及层次与层次之间的包含关系；层次越高，对应的层次越高，粒度也越大，维层次越多，粒度层次也越丰富；

(4)为多维数据立方体定义一个树型结构：利用上述第3步中定义的维层次关系，为各个维成员生成一个具有层次关系的树型结构；同时，以该树型结构中成员的节点类型及成员的在相应维表中的相应字段的节点属性值为参数，并利用上述第2步中确定的索引生成步骤，为该成员节点生成一个节点索引值，并存储在索引表中；

(5)为多维数据立方体定义事实结构关系：指定事实表中的属性作为外关键字与相应维表中的关键字建立对应关系；

(6)为多维数据立方体装入数据：以事实表中成员的类型为节点属性类型、以事实表中成员的属性值为节点属性值，根据上述第2步中确定的索引生成步骤，检索索引表并得到一个节点索引值，并将该节点索引值作为该事实表数据上树后的属性索引值，存放到上述第5步中定义的事实表中。

以上的事实表数据包括根据事实进行计算后的结果。值得说明的是，上述第4步及第6步操作没有先后的顺序要求。这样，就确保多维数据立方体中的维及层次能够动态生成。

查询多维数据立方体的方法包括如何提取多维数据立方体数据并计算，按以下步骤完成：

(1)读入树型结构数据；

(2)读入事实数据；

(3)接收用户对数型结构的层次及成员节点的选取；

(4)通过树型成员的节点属性值及类型，建立树型成员节点与事实表数据的对应关系：将事实表中数据所对应的索引值转换为对应树型结构的节点关键字，使事实表数据具有树节点特征；

(5)根据上述第4步所述的对应关系进行计算：对转换后的事实表数据进行上卷计算。

本发明的多维数据立方体中的树型结构只与索引有关，而与事实表数据无关；对事实表数据来讲，也只与索引有关；树型结构成员节点的关键字与其索引值是多对一关系。

多维数据立方体结构是通过树型成员节点的索引值与事实表中数据相关联的，只有节点的类型与事实表属性的类型一致，并且属性值也一致时，才能在事实表中找到相应的记录，这就是说该事实表的该属性挂上了树。

因为计算是根据维树进行的，具体上讲是通过树型结构节点位置的关键字与成员节点的索引值互换来达到数据上卷的目的，即计算通过树型成员结点的关键字实现，所以只有挂上树的属性才能进行计算。在维定义中没有与事实表定义的相关属性名对应的层次类型名，不能在该属性上进行计算；或在维定义中有与事实表定义的相关属性名对应的层次类型名，并且只有一个，在该属性上按对应的分类方式进行计算；或在维定义中有与事实表定义的相关属性名对应的层次类型名，并有一个以上，在该属性上按一个以上的上卷途径进行计算。

又因为维节点是通过类型和属性值与事实表联系的，所以只要与事实表联系的节点索引不变，改变层次结构是不需要重新装入事实的。

本发明与现有技术相比，具有以下技术效果：

①同一个属性可以有一个以上的上卷途径，也可以暂时没有上卷途径，而已有的数据仓库软件不支持同一属性在不同维上进行统计上卷。

②当需要调整多维立方体结构时，只需更新维节点的索引指向即可，不需要重新装入数据，使得维护过程十分简单和高效，不但节省用户的宝贵时间和精力，而且节约存储介质和金钱。而已有的数据仓库软件在调整多维立方体时不仅需要更新索引，更费时间的是要更新其数据块，因而所费时间较大。

                                  附图说明

图1为本发明的流程图。

图2为本发明所述方法的查询运算流程图。

图3为本发明的索引生成流程图。

图4为本发明所述实施例的一个星型模型。

图5为本发明所述实施例的一个概念模型。

图6为本发明所述实施例的一个概念模型。

图7本发明所述实施例的一个概念模型。

图8为基于本发明所建立的多维数据立方体的一个查询界面图。

                                具体实施方式

重庆弘越科技有限公司的多维数据查询系统是按照以上方法，在WIN32平台下的一个实施例。

为了以下描述的方便，现在定义几个术语：

维是关于一个组织想要记录的透视或实体，简单上讲就是人们观察数据的特定角度。例如，企业常常关心产品销售数据随着时间推移而产生的变化情况，这时他是从时间的角度来观察产品的销售，所以时间就是一个维，即时间维。

维表是数据仓库中用来保存某个维的元数据或描述信息的表，它包括维的层次及成员类别等。

事实表是数据仓库中用来存储事实的度量值及各个维值的表。事实表通过每一个维的值和维表联系在一起的。

为了更容易实施本发明，下面以Microsoft公司的例子库NorthWind来建立销售立方体模型为例说明实施过程，它适用于任何的进销存公司进行数据分析。

实施例一：

具体实施可分两大步骤：第一是建立一个多维数据立方体；第二是从多维数据立方体中提取数据并进行上卷计算。现在详细说明如下：

第一步是建立一个多维数据立方体：

1.建立一个空白的基本表作为多维数据立方体的索引表；该索引表由以下的三个列组成：用于记录多维数据立方体节点属性类型的列、用于记录多维数据立方体节点属性值的列、以及用于记录多维数据立方体节点索引值的列；

2.确定索引生成办法。在此索引值实现为整型类型或实型类型，属性值实现为字符串型；首先建立一个索引值生成函数GetIndexCode，参数为“类型、属性值”，确定其返回值作为指定参数的索引值。要求对不同“类型、属性值”参数返回不同的索引值。函数GetIndexCode应具有以下的功能：对每一个参数“类型、属性值”，以其作为关键字在现有的索引表中查找相应的记录，有则返回该索引值，否则以顺序生成或随机方式生成一个新的在表中不存在的值作为新的索引值，并把这三个值“类型、属性值、生成的索引值”作为新记录加入到索引表中，然后返回新生成的索引值；

3定义各个维的层次及相应关系，其中层次越高，对应的层次越高，粒度也越大；层次越多，粒度层次也越丰富。如图4中的客户维，其中的层次关系从大到小为国家→城市→客户→Employeeid。

在此为了方便用户阅读，对维成员加上一个成员标签的字段，成员标签的数据在没有特殊说明时与层次数据，即成员属性值相同。以下具体说明不同维的生成办法：

①定义日期维：层次分为年、月、日；相应的类型也命名为年、月、日。为了方便建立日期维，我们建一个辅助的日期表命名为hy_date，结构为如下语句(

    [date][datetime]NULL，--日

    [year][varchar](6)NULL，--年

    [thehalfyear][varchar](16)NULL，--半年

    [thequarter][varchar](16)NULL，--季度

    [themonth][varchar](16)NULL，--月

    [thetenth][varchar](16)NULL-旬)。其中没有用到的字段是为以后调整日期维考虑的。日期维的层次数据分别对应日期表的相应字段。见图4中的日期维。

②定义产品维_按供应商：层次分为国家、城市、供应商、产品。其内容分别从products表和suppliers表中获得，关联关键字是productid。产品层的标签字段对应products表中的productname，属性对应products表中的productid。见图4中的产品维_按供应商。

③定义客户维：层次分为国家、城市、客户。其内容从customers表中取得。客户层的标签字段对应customers表中的contactname，属性对应customerid。见图4中的客户维。

④定义员工维：层次分为国家、城市、员工。其内容从employees表中取得。员工层的标签字段对应firstname，属性对应employeeid。见图4中的员工维。

4为多维数据立方体定义一个树型结构，即建立各定义的维。在此根据上述第一步所述方法建立/更新索引。其方法是：首先，读入要建立的维的源表，即维表；其次，以层次类型名、对应属性字段的值作为GetIndexCode的类型参数、属性值参数去获取/更新索引；最后，将节点上树，即建维；我们的树型结构即体现为这些维及层次成员之间的关系；见图8多维数据查询-查询器中数据区的维关系即体现为一个树型结构。

5定义事实销售数量的结构：销售数量与销售日期、产品、客户、员工相关，为了能够与维联系起来，定义为(日，产品，客户，员工，销售数量)。可通过语句

select orderdate，productid，customerid，employeeid，sum(quantity)as quantity

from[orders]m join[Order Details]d

    on m.orderid＝d.ordered

group by orderdate，productid，customerid，employeeid

取得，其中orderdate对应日期维中的日，productid对应产品维中的产品，customerid对应客户维中的客户，employeeid对应员工维中的员工，quantity即是销售数量。

6装入事实数据。在此也同时建立/更新索引。方法是：首先，读入事实数据；其次，用定义的属性名、属性值为GetIndexCode的类型、属性值参数去获取/更新索引，并用相应的索引值替换相应属性，反复直至处理完所有的属性；最后，将翻译后的事实存入事实表。

以上第4、6步没有先后顺序要求。

通过以上步骤，就已经将需要的多维数据立方体建立起来。

基于本方法建立的多维数据立方体具有以下的优点：在装入事实数据后，可以调整各维的分类层次和层次的类型名，也可以对事实的某一或/和一个以上的维增加新的分类方式，即定义一个新的查询维，增加额外的计算途径。如对事实销售数量的产品属性再增加一个按类别分类的维，只需要进行两个步骤：1、定义维，产品维按类别，层次分为类别，产品，其内容从products表和categories表中取得，关联字段是categoriyid。2、根据定义用前述建维方法建立该维即可，不用重新装入事实。

当装入事实前并没有定义客户维，只说明在此时不能根据客户属性进行查询计算；但可以在装入事实后补充定义客户维，只要客户维的节点的层次类型和属性值能够与事实定义的属性名与属性值对应，就可以按新定义的维进行查询计算。

当需要对日期维进行更细的分层，如分为年、半年、季度、月、旬、日。只需修改日期维的定义，并重新建日期维。

计算时依据用户提交的节点集合，查找相关的事实，根据相应维层次上卷计算到用户指定的节点上，实施例如下：

(1)读入树型结构数据；

(2)读入事实数据；

(3)接收用户对数型结构的层次及成员节点的选取。确定选择维层次节点为(旬，产品，客户，员工，销售数量)；

(4)多维数据立方体结构是通过树型结构找到员“旬”的下级成员节点“日”，并通过成员节点“日”的索引值检索事实数据，并将找到的事实数据索引值以树型结构节点位置的关键字thetenth_id替换；

(5)于是通过以下的SQL语言，得到上述的上卷操作：

   select thetenth_id，productid，customerid，employeeid，sum(quantity)

   from[orders]m join[Order Details]d on m.orderid＝d.ordered

   group by thetenth_id，productid，eustomerid，employeeid

取得，其中orderdate对应日期维中的日，productid对应产品维中的产品，customerid对应客户维中的客户，employeeid对应员工维中的员工，quantity即是销售数量。

本发明方法同样可以运行于各个行业，其实施方式与实施例一相似。现只给出通过本方法得到的几个由星型模型模拟的多维数据立方体图示，如图5、图6可运用于商品的订货或销售分析，图7用于财务分析。另外，它们在构成维数上也可以不同的，如图5、图7为4个维度，图4、图6为5个维度。

Claims (8)

1一种建立多维数据立方体的方法，其特征在于该方法包括以下步骤：

(1)建立基本表作为多维数据立方体的索引表：该索引表包括记录多维数据立方体节点属性类型的列、记录多维数据立方体节点属性值的列、记录多维数据立方体节点索引值的列；

(2)确定上述索引表中的索引生成方法：以节点属性类型及节点属性值为参数调用索引生成方法时，以该参数为关键字在上述的索引表中查找相应的记录，当查找到记录时返回该记录相应的节点索引值给多维数据立方体，当未查到相应记录时以不同节点属性类型及不同节点属性值为参数分别生成不同值作为对应的节点索引值，并将该节点属性类型、节点属性值及以相应节点属性类型和相应节点属性值为参数生成的相应节点索引值作为一条记录加入到索引表中；

(3)为多维数据立方体的各维表指定维层次及关系：选取维表中的列，确定维所描述的事实属性的不同层次及层次与层次之间的包含关系；

(4)为多维数据立方体定义一个树型结构：利用上述第3步中定义的维层次关系，为各个维成员生成一个具有层次关系的树型结构；同时，以该树型结构中成员的节点类型及成员的在相应维表中的相应字段的节点属性值为参数，并利用上述第2步中确定的索引生成步骤，为该成员节点生成一个节点索引值，并存储在索引表中；

(5)为多维数据立方体定义事实结构关系：指定事实表中的属性作为外关键字与相应维表中的关键字建立对应关系；

(6)为多维数据立方体装入数据：以事实表中成员的类型为节点属性类型、以事实表中成员的属性值为节点属性值，根据上述第2步中确定的索引生成步骤，检索索引表并得到一个节点索引值，并将该节点索引值作为该事实表数据上树后的属性索引值，存放到上述第5步中定义的事实表中。

2根据权利要求1所述建立多维数据立方体方法，其特征在于索引表中的节点索引值是整型数据、或实型数据，或字符型数据。

3根据权利要求1所述建立多维数据立方体方法，其特征在于以节点属性类型及节点属性值为参数随机生成或顺序生成节点索引值。

4根据权利要求1所述建立多维数据立方体方法，其特征在于事实表数据包括根据事实进行计算后的结果。

5一种查询多维数据立方体数据的方法，其特征在于该方法包括以下步骤：

(1)读入树型结构数据；

(2)读入事实表数据；

(3)接收用户对数型结构的层次及成员节点的选取；

(4)通过树型成员的节点属性值及类型，建立树型成员节点与事实表数据的对应关系：将事实表中数据所对应的索引值转换为对应树型结构的节点关键字，使事实表数据具有树节点特征；

(5)根据上述第4步所述的对应关系进行计算：对转换后的事实表数据进行上卷计算。

6根据权利要求5所述查询多维数据立方体数据方法，其特征在于树型成员节点与事实表数据的对应关系通过索引值实现。

7根据权利要求5所述查询多维数据立方体数据方法，其特征在于上卷计算通过树型成员节点的关键字实现。

8根据权利要求5所述查询多维数据立方体数据方法，其特征在于树型节点成员与事实表数据的对应关系有以下的情况：

在维定义中没有与事实表定义的相关属性名对应的层次类型名，不能在该属性上进行计算；或在维定义中有与事实表定义的相关属性名对应的层次类型名，并且只有一个，在该属性上按对应的分类方式进行计算；或在维定义中有与事实表定义的相关属性名对应的层次类型名，并有一个以上，在该属性上按一个以上的上卷途径进行计算。

Images