CN111949658A

CN111949658A - 一种面向数据立方体的可操作图形透视表构建方法

Info

Publication number: CN111949658A
Application number: CN202010784486.8A
Authority: CN
Inventors: 任海潮; 杨良怀
Original assignee: Zhejiang University of Technology ZJUT
Current assignee: Zhejiang University of Technology ZJUT
Priority date: 2020-08-06
Filing date: 2020-08-06
Publication date: 2020-11-17

Abstract

本发明涉及一种面向数据立方体的可操作图形透视表构建方法，本发明将立方体投影到二维的数据透视表中，根据用户配置的透视表横纵轴展示的维度以及度量信息，采用B+树快速索引出维度的成员信息，并结合表代数计算表格结构以及表头的结构，获取到表格数据区域的行列结构以及每一个数据单元的数值属性，根据计算后的属性构造MDX查询语句查询数据立方体中对应的具体数值。当用户对维度层次的等级进行操作，仅需要重新结合维度的B+树以及表代数快速计算出表格结构并索引数据。本发明适应数据透视表简洁、直观的特点，该发明方法具有透视表操作响应敏捷，大量数据处理高效等特点，能够快速计算与降低系统I/O。

Description

一种面向数据立方体的可操作图形透视表构建方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种面向数据立方体的可操作图形透视表构建方法。

背景技术

近年来，企业在互联网时代的发展中积累了越来越多的数据，随着数据粒度越来越细以及互联网用户数的增长，这些数据的量级呈现出指数增长的趋势。存储的价格虽然日渐下降，但如何利用这些海量数据，提取出数据中有价值的信息，挖掘数据背后的意义与关联性，推动数据产生价值，将数据转化成直观的图形报表，方便企业管理者分析数据，进而推动制定企业决策，规划企业发展方向，提升企业在市场上的竞争力，这些已经成为企业的重点关注对象。通过对关系型数据库定制化查询方案，借助表与表之间进行连接查询，分析数据的变化趋势，能够有效的辅助用户的决策分析。

随着生产上累积的数据越来越多，分析和研究这些数据的价值也尤为重要。传统进行数据分析的过程为：(1)决策人员提出分析需求；(2)数据工程师采集数据；(3)前端绘制表格映射数据。在这个过程中几乎每一个过程都会涉及到人为干预，且最终的数据展现具有较为死板，图表不具备可操作性，转换表格需要重新构建等缺点。

发明内容

本发明为克服上述的不足之处，目的在于提供一种面向数据立方体的可操作图形透视表构建方法，本发明将立方体投影到二维的数据透视表中，根据用户配置的透视表横纵轴展示的维度以及度量信息，采用B+树快速索引出维度的成员信息，并结合表代数计算表格结构以及表头的结构，获取到表格数据区域的行列结构以及每一个数据单元的数值属性，根据计算后的属性构造MDX查询语句查询数据立方体中对应的具体数值。当用户对维度层次的等级进行操作，仅需要重新结合维度的B+树以及表代数快速计算出表格结构并索引数据。本发明适应数据透视表简洁、直观的特点，该发明方法具有透视表操作响应敏捷，大量数据处理高效等特点，能够快速计算与降低系统I/O。

本发明是通过以下技术方案达到上述目的：一种面向数据立方体的可操作图形透视表构建方法，根据应用场景需要，设定根据已知的数据源，选择相应维度和度量构建完成一个数据立方体,根据数据立方体信息，在数据透视表上进行OLAP操作,包括以下步骤：

(1)解析立方体配置文件信息，根据用户定义的数据立方体XML配置文件，解析得到定义的数据立方体中的维度层面以及度量层面的信息；

(2)查询维度层面的每一个层次，通过查询将维度中每一个层次的级别，以及级别上的每一个节点信息构造成一棵维度层级树，顶层为ALL节点，即该节点的统计汇总信息，对于同一个维度上的不同层次，则定义出不同的B+树并从数据源中获取到不同的层次下的不同的级别的维度成员；

(3)用户在横轴和纵轴上配置需要观察的维度，当维度下有多个层次时，则需要指定一个具体的层次，用户也需要指明当前维度层次的展开级别；其中，

横轴：xDimension1(x₁)，...，xDimensioni(x_i)，xMeasure1，...，xMeasurej

纵轴：yDimension1(y₁)，...，yDimensionm(y_m)，yMeasure1，...，yMeasuren

xDimensioni(x_i)表示在横轴上的第i个维度，且这个维度当前展开至x_i层，通过步骤(2)中的构建的维度层次成员B+树中，查询第x_i层的维度成员(XDimensioniMember1，...，XDimensioniMembern)；

通过层次表代数计算图标的数值区域的数值属性，计算方法如下：

X＝xDimension1(x₁)×...×xDimensioni(x_i)×(xMeasure1+…

+xMeasurej)

Y＝yDimension1(y₁）×...×yDimensionm(y_m)×(yMeasure1+…

+yMeasuren)

A＝{{((XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、xMeasure1)，...，(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Member1、...、YDjmensionmMember1、xMeasure1)，(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、yMeasure1)，...(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Memberm₁、...、YDjmensionmMemberm_j、yMeasure1))，...，((XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、xMeasurej)，...，(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Member1、...、YDjmensionmMember1、xMeasurej)，(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、yMeasure1)，...(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Memberm₁、...、YDjmensionmMemberm_j、yMeasure1))}，...，{((XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、xMeasure1)，...，(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Member1、...、YDjmensionmMember1、xMeasure1)，(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、yMeasuren)，...(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Memberm₁、...、YDjmensionmMemberm_j、yMeasuren))，...，((XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、xMeasurej)，...，(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Member1、...、YDjmensionmMember1、xMeasurej)，(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、yMeasuren)，...(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Memberm₁、...、YDjmensionmMemberm_j、yMeasuren))}}

B＝{{(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、xMeasure1)、...(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Member1、...、YDjmensionmMember1、xMeasurej)...(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Member1、...、YDjmensionmMember1、xMeasurej)}...{(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Memberm₁、...、YDjmensionmMemberm_j、xMeasure1)、...(XD1mensioniMember1、...、XDimensioniMember1、YD1mension1Memberm₁、...、YDjmensionmMemberm_j、xMeasurej)...(XD1mensioniMembern₁、...、XDimensioniMembern_i、YD1mension1Memberm₁、...、YDjmensionmMemberm_j、xMeasurej)}}(当Y轴不存在度量属性)

当Y轴不存在度量属性，X*Y的结果即为X轴上的维度成员与度量的笛卡尔集结果，和Y轴上的维度成员与度量的笛卡尔集结果，进行笛卡尔集的结果运算；

通过计算计算可以获得表格的排列布局，在计算结果的{{}，…，{}}中的每一个{()，…，()}表示一行的对象属性集合，在{}中的每一个()代表着一个表格的数值单元，当X轴与Y轴上都配置了度量属性，那么每一个表格的数值单元(()，…，())中其实包含着多个数据，当X轴与Y轴上仅一个轴上配置了度量属性，则一个表格的数值单元仅含有一个数据；

(4)通过步骤(3)中层次表代数计算的每一个单元格的属性，查询缓存中是否有对应的记录，若没有，则构建MDX查询语句，通过查询数据立方体获取到对应的值，并放入缓存；

(5)计算表头结构的布局；

(6)当用户希望对当前的数据透视表的维度层次进行下钻或者上卷操作时，仅需要调整横纵轴上对应的维度层次的等级数，重复执行步骤(3)-(5)步骤即可。

作为优选，所述维度层面的信息包含了层次和级别信息；所述度量层面的信息包含了事实信息。

作为优选，所述步骤(5)具体如下：

(5.1)当用户在横纵轴上均配置了度量属性时：通过表代数计算，在一个表格数据单元中会有多个属性的值，采用二维的数据透视表无法通过属性-数值的形式进行排列，选择散点图矩阵来构造图形；当横轴有M个度量属性，纵轴有N个度量属性，则构造M×N的散点图矩阵，并在对应的矩阵中映射数据；

(5.2)当用户仅在横轴或纵轴上配置了度量属性时：依据用户在横纵轴上设置的维度层次以及具体的级别，依次获取到步骤(2)中构建好的B+树，B+树只取获取到的局部用户设定的层次的局部，按照用户在横轴和纵轴上设置的对应的维度顺序，将后一个维度的维度B+树拼接到上一个维度的每一个叶子节点上，以此类推，可以获得表格表头的树形结构；如果用户仅仅在一个轴上配置了度量属性，且度量数大于1，则该轴在构建表头的树形结构的过程最后，应该在每一个叶子节点下创建N个叶子节点，叶子节点的顺序应该为用户设置的度量顺序，N为度量的个数；最后将横纵轴的表头的形结构转化成为透视表表格结构。

作为优选，所述步骤(5.2)具体如下：

(5.2.1)横轴的表头映射，表头的行数即为构建的表头树的深度，树上的每一层的节点均映射在表格的同一行中，每一个节点信息所占据的单元格数量取决于该节点在表头树中的叶子结点的个数；

(5.2.2)纵轴的表头映射，表头的列数即为构建的表头树的深度，树上的每一层的节点均映射在表格的同一列中，每一个节点信息所占据的单元格数量取决于该节点在表头树中的叶子结点的个数。

本发明的有益效果在于：本发明适应数据透视表简洁、直观的特点，该发明方法具有透视表操作响应敏捷，大量数据处理高效等特点，能够快速计算与降低系统I/O。

附图说明

图1是本发明的方法流程示意图；

图2是本发明的数据透视表结构示意图；

图3是本发明的三维数据立方体的示意图；

图4是本发明的立方体模型示意图；

图5是本发明的数据立方体维度成员B+树示意图；

图6是本发明的表结构配置示例示意图；

图7是本发明的表头树结构映射示例示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述，但本发明的保护范围并不仅限于此：

实施例：如图1所示，一种面向数据立方体的可操作图形透视表构建方法，根据应用场景需要，设定根据已知的数据源，选择相应维度和度量构建完成一个数据立方体，根据数据立方体信息，在数据透视表上进行OLAP操作，其中数据透视表如图2所示，包括以下步骤：

1)针对于图3中数据立方体的配置文件，在配置文件中获取到数据立方体的维度以及度量的定义配置信息。其中立方体模型如图4所示。

2)查询每个维度的层次，并查询维度层次的不同等级的维度成员，并构造成一棵B+树，依据图3中的数据立方体维度成员B+树示意图如图5所示；

3)根据图6中的表结构配置示例：

3.1查询各个维度对应的展开等级的维度成员

地区维度(1)＝{杭州、武汉、北京、上海}

产品维度(1)＝{文具、体育}

时间维度(1)＝{2019、2020}

3.2计算表格结构

X＝地区维度(1)×时间维度(1)×(销售额+利润)

Y＝产品维度(1)

X*Y＝{{(杭州、2019、文具、销售额)，(杭州、2019、文具、利润)，(杭州、2020、文具、销售额)，(杭州、2020、文具、利润)，...，(上海、22020、文具、利润}，{(杭州、2019、体育、销售额)，(杭州、2019、体育、利润)，(杭州、2020、体育、销售额)，(杭州、2020、体育、利润)，...，(上海、22020、体育、利润)}}

计算后可知数据透视表的数据区域是一个2行8列的结构，每一个节点的数值的属性由计算后可以知道

4)根据用户配置的维度等级，获取到从根节点到对应层级的树的结构，并根据配置的维度顺序构造表头树，并根据表头树的维度成员以及书的高度映射成数据透视表的横纵轴的表头，如图7所示；

5)计算表头结构的布局；具体如下：

6)当用户想要改变维度层次的等级，重复3)-5)步骤即可重新构造。

在本发明中，在一些数据分析的场景下能够在图形透视表中以智能的方式展示数据立方体多维分析操作(钻取，上卷，切片，切块以及旋转)后的汇集数据，更加直观的分析各种粒度的数据，有利于阅读人员更加有效的挖掘数据变化汇聚特征，通过物化联机分析处理分析中的这些视图，实现交互查询以及分析数据，能大大减少管理人员的数据分析时间，提高工作效率。

以上的所述乃是本发明的具体实施例及所运用的技术原理，若依本发明的构想所作的改变，其所产生的功能作用仍未超出说明书及附图所涵盖的精神时，仍应属本发明的保护范围。

Claims

1.一种面向数据立方体的可操作图形透视表构建方法，其特征在于，根据应用场景需要，设定根据已知的数据源，选择相应维度和度量构建完成一个数据立方体，根据数据立方体信息，在数据透视表上进行OLAP操作，包括以下步骤：

X＝xDimension1(x₁)×...×xDimensioni(x_i)×(xMeasure1+…+xMeasurej)

Y＝yDimension1(y₁)×...×yDimensionm(y_m)×(yMeasure1+…+yMeasuren)

X*Y的结果即为X轴上的维度成员与度量的笛卡尔集结果，和Y轴上的维度成员与度量的笛卡尔集结果，进行笛卡尔集的结果运算；

(5)计算表头结构的布局；

2.根据权利要求1所述的一种面向数据立方体的可操作图形透视表构建方法，其特征在于：所述维度层面的信息包含了层次和级别信息；所述度量层面的信息包含了事实信息。

3.根据权利要求1所述的一种面向数据立方体的可操作图形透视表构建方法，其特征在于：所述步骤(5)具体如下：

4.根据权利要求1所述的一种面向数据立方体的可操作图形透视表构建方法，其特征在于：所述步骤(5.2)具体如下：