CN105843842A

CN105843842A - 一种大数据环境下多维聚集查询与展示系统及方法

Info

Publication number: CN105843842A
Application number: CN201610130704.XA
Authority: CN
Inventors: 宋杰; 马忠义; 闫海平; 孟骋; 雒齐
Original assignee: Northeastern University China
Current assignee: Northeastern University China
Priority date: 2016-03-08
Filing date: 2016-03-08
Publication date: 2016-08-10

Abstract

本发明提出一种大数据环境下多维聚集查询与展示系统及方法，属于大数据的多维聚集查询、立方数据可视化和OLAP分析交互技术领域，本发明包括：采用频数统计的算法将原始大数据集压缩为小数据集，即获得频数统计图数据；将频数统计图数据处理为分析性数据并进行存储；根据所保存数据的维值采用构建数据立方的方式展示对应的聚集结果；本发明以空间换时间，通过大规模分布式处理将大数据集压缩为小数据集，解决了大数据环境下聚集分析的运算性能与查询效率问题，支持各种类型的聚集计算，提供直观的高维度分析型数据的展示与交互方式，使操作得到简化，可以供开发者开发多种交互方法，也有助于推动虚拟现实技术在数据查询与浏览方面的发展。

Description

一种大数据环境下多维聚集查询与展示系统及方法

技术领域

本发明属于大数据的多维聚集查询、立方数据可视化和OLAP分析交互技术领域，具体涉及一种大数据环境下多维聚集查询与展示系统及方法。

背景技术

在这个信息爆炸的时代，数据规模急剧增长；当n很大时，即使复杂度为O(n)的查询算法执行时间也会令人难以接受；云计算平台及相关技术能够提供处理大数据所需的计算和存储资源，而大数据环境下如何组织和存储数据，如何查询数据，以及如何以一种直观的方式展示数据，这些都是极具挑战的问题。

OLAP(联机分析处理)是支持多维数据分析性查询，帮助企业做出决策的关键技术，可以在线的完成多维数据分析型查询；OLAP操作，包括上卷、下钻、切片、切块和旋转操作，其核心是多维聚集查询(或称OLAP查询)；OLAP工具可支持从不同维度和不同粒度对数据进行聚集，并以分析报表的形式展示聚集结果；然而，大数据环境下无论是基于单一服务器的还是基于集群的OLAP都存在以下局限性包括：

1.现有预计算技术代价过高，难以枚举维上不同级别不同粒度的所有查询条件的组合，不能高效地支持中位数、众数等聚集函数；

2.现有OLAP查询算法难以对海量的事实数据进行过滤，如去除最大值和最小值的均值计算，传统OLAP查询需要扫描海量事实数据，查询性能低；

3.现有OLAP工具数据展示方式为报表或者图表，展现功能有限；报表对于概要浏览数据或者观察数据的走势与分布很方便，但是难以支持高维数据的展示；且报表的操作复杂，用户体验差；

OLAP操作的实质是多维聚集查询(OLAP查询)，为提高查询效率，或降低算法复杂度、或采用近似算法、或采用大规模分布式并行处理、或将大数据集简化为小数据集；OLAP展示的实质是如何展现一个多维的数据空间，并且能够让这个空间自由的变换。

发明内容

针对现有技术的不足，本发明提出一种大数据环境下多维聚集查询与展示系统及方法，以达到解决大数据环境下聚集分析的运算性能与查询效率问题，提供直观的高维度分析型数据的展示与交互方式，简化OLAP工具的操作的目的。

一种大数据环境下多维聚集查询与展示系统，该系统包括数据压缩模块、数据类型转换模块和多维数据立方展示模块，其中，

数据压缩模块：用于采用频数统计的算法将原始大数据集压缩为小数据集，即获得频数统计图数据，并将频数统计图数据发送至数据类型转换模块中；

数据类型转换模块：用于根据实际需求获得全部的查询条件，即所需查询的维值和所选取的聚集计算；根据所需查询的维值获得对应的频数统计图数据，并根据所选取的聚集来计算频数统计图对应的聚集结果；将维值和聚集结果进行保存，并获得每个维度的上卷和下钻结果，并保存；

多维数据立方展示模块：用于根据所保存数据的维值采用构建数据立方的方式展示对应的聚集结果。

采用大数据环境下多维聚集查询与展示系统进行的查询与展示方法，包括以下步骤：

步骤1、采用频数统计的算法将原始大数据集压缩为小数据集，即获得频数统计图数据；

步骤2、将频数统计图数据处理为分析性数据并进行存储，具体步骤如下：

步骤2-1、获得全部的查询条件，即所需查询的维值和所选取的聚集计算；

步骤2-2、根据所需查询的维值获得对应的频数统计图数据，并根据所选取的聚集来计算频数统计图对应的聚集结果；

步骤2-3、将步骤2-2中的维值和聚集结果进行保存；

步骤2-4、获得所保存的每个维度的上卷和下钻结果，并保存；

步骤3、根据所保存数据的维值采用构建数据立方的方式展示对应的聚集结果。

步骤1所述的采用频数统计的算法将原始大数据集压缩为小数据集，即获得频数统计图数据，具体步骤如下：

步骤1-1、统计原始大数据集中维值组合相同的数据的全部度量值；

步骤1-2、获得相同维值组合中各个度量值出现的次数；

步骤1-3、按照升序的方式对度量值进行排序，并按照“度量值，次数”的格式对每一个维值组合进行保存，获得频数统计图数据。

步骤2-1所述的聚集计算，包括：计算最大值、计算最小值、计算极差、计算数据量、计算求和、计算平均值、计算众数和计算中位数。

本发明优点：

本发明提出一种大数据环境下多维聚集查询与展示系统及方法，以空间换时间，通过大规模分布式处理将大数据集压缩为小数据集，以牺牲一定的存储换取查询效率的提升，解决了大数据环境下聚集分析的运算性能与查询效率问题，本发明支持各种类型的聚集计算，包括中位数、众数等在内；提供直观的高维度分析型数据的展示与交互方式，使得OLAP工具的操作得到简化，这种展示方式可以供开发者开发多种交互方法，如鼠标、触摸等，也有助于推动虚拟现实技术在数据查询与浏览方面的发展；发明中的频数统计图提供了一种数据的组织形式，利用了统计学中的知识，可以供具有离散特性的数据集参考和利用，这一组织形式允许了开发者在实际应用时开发自己需要的聚集计算，扩展性好。

附图说明

图1为本发明一种实施例的原始数据的存储模型示意图；

图2为本发明一种实施例的大数据环境下多维聚集查询与展示系统结构示意图；

图3为本发明一种实施例的大数据环境下多维聚集查询与展示方法流程图；

图4为本发明一种实施例的三维数据展示示意图；

图5为本发明一种实施例的高维数据展示示意图；

图6为本发明一种实施例的上卷操作结果示意图；

图7为本发明一种实施例的下钻操作结果示意图；

图8为本发明一种实施例的切片切块操作结果示意图；

图9为本发明一种实施例的旋转操作结果示意图。

具体实施方式

下面结合附图对本发明一种实施例做进一步说明。

本发明实施例中，以三维的电商销量数据为例说明。该商业销量数据统计了各个时间各个地点各种商品的销量数据，维度包括时间、商品分类、地点三个，度量为商品的销量。时间维的维级别包括年、季度、月、日，商品分类维的维级别包括种类、细类和商品，地点维的维级别包括地区、省、市、县；该例子中原始数据的存储模型如图1所示；

本发明实施例中，如图2所示，大数据环境下多维聚集查询与展示系统包括数据压缩模块、数据类型转换模块和多维数据立方展示模块；

本发明实施例中，数据压缩模块用于采用频数统计的算法将原始大数据集压缩为小数据集，即获得频数统计图数据，并将频数统计图数据发送至数据类型转换模块中；数据类型转换模块用于获得全部的查询条件，即所需查询的维值和所选取的聚集计算；根据所需查询的维值获得对应的频数统计图数据，并根据所选取的聚集来计算频数统计图对应的聚集结果；将维值和聚集结果进行保存，并获得每个维度的上卷和下钻结果，并保存；多维数据立方展示模块用于根据所保存数据的维值采用构建数据立方的方式展示对应的聚集结果。

本发明实施例中，采用大数据环境下多维聚集查询与展示系统进行的查询与展示方法，如图3所示，包括以下步骤：

步骤1、采用频数统计的算法将原始大数据集压缩为小数据集，即获得频数统计图数据；具体步骤如下：

在大数据环境下，数据规模巨大，事实数据表中度量的可枚举值远远小于数据量，会有度量值大量重复的现象，如表1所示：

表1

本发明实施例中，对于原始数据集事实数据表中的数据，首先将其所有维值相同的数据进行统计，并存储这些维值相同的数据对应的度量值；对表1中的数据，本发明的处理过程就是先把维值完全相同的数据统计起来，得到的数据如下：

{A₁，B₁，C₁，(78，46，32，20，78，46，32，46，20)}

{A₁，B₁，C₂，(18，18，32，24，24)}

……

{A₂，B₃，C₃，(42，29，42)}

步骤1-2、获得相同维值组合中各个度量值出现的次数；

本发明实施例中，对于经过步骤1-1处理后的数据，每一条有n个度量值，对每一个数值不重复的数据m_i(1≤i≤k≤n)，记录m_i的数值与出现的次数；

步骤1-3、按照升序的方式对度量值进行排序，并按照“度量值，次数”的格式对每一个维值组合进行保存，获得频数统计图数据；

本发明实施例中，得到了一组新的数据M＝{<m₁，c₁>，<m₂，c₂>，...，<m_k，c_k>}，m_i(1≤i≤k)为升序排列，c_i是数据m_i在原始数据中的出现次数；称数据集M为频数统计图数据；

在上述例子中，第一组数据，20出现了2次，记作20：2；32出现了2次，记作32：2，以此类推依次记录；表1中的示例数据经过频数统计处理之后的结果如表2所示：

表2

本发明实施例中，首先要找到全部查询条件，所述的查询条件即用户对维值和聚集计算的选择，例如”时间维键值为A₁，商品分类维键值为B₁，地点维键值为C₁或C₂，聚集计算为求和”；

针对每一个查询条件，首先在频数统计图中查找维值与查询条件中选取的维值相符合的数据；上例中的查询条件对应的查询结果如表3所示：

表3

本发明实施例中，对于每一个查询条件，根据查询条件中选取的维值找到对应的频数统计图数据，并根据查询条件中选取的聚集来计算频数统计图对应的聚集结果；

本发明实施例中允许用户选取的聚集计算包括最大值(max)、最小值(min)、极差(range)、数据量(count)、求和(sum)、平均值(avg)、众数(mode)和中位数(med)；

各种聚集计算在频数统计图数据上的计算公式如表4所示：

表4

以表3对应的查询结果为例，按照表4中的求和计算公式进行计算，计算结果如表5所示：

表5

步骤2-3、将步骤2-2中的维值和聚集结果进行保存；

本发明实施例中，对于步骤2-2中的结果，记录查询条件，并将各维值代码和计算得到的度量值按照一定格式保存在文件中；查询条件与文件名称一一对应，文件中数据的格式如下：

{“立方”：[{“度量”：”度量的聚集计算值”，”维”：{“维坐标1”：”维值代码”，”维坐标2”：”维值代码”，......(如果有更高维度写在后面)}}，......(有其它维值不同的写在后面)]}；

例如表5的计算结果在文件中的格式为：

{″立方″：[{″度量″：″398″，″维″：{″维坐标1″：″A₁″，″维坐标2″：″B₁″，″维坐标3″：″C₁″}}，{″度量″：″116″，″维″：{″维坐标1″：″A₁″，″维坐标2″：″B₁″，″维坐标3″：″C₂″}}]}；

本发明实施例中，该计算结果对应的文件名在本实施方式中记为F₁；

本发明实施例中，对于经过步骤2-3处理后的每一个数据文件，计算其各个维度上卷和下钻的结果，并将每一个维度上上卷下钻结果所对应的文件名称保存在本数据文件中；

对于每一个数据文件，计算其各个维度上卷和下钻的结果，并将每一个维度上上卷下钻结果所对应的文件名称保存在本数据文件中；以表5的计算结果为例，计算在时间、商品分类和地点维度上上卷下钻的结果；比如A₁代表”2015年第一季度2月1日”，其上卷的维度就是”2015年第一季度2月”，所以时间维度上进行上卷对应的查询条件即为”时间维为2015年第一季度2月1日到28日，商品分类维为B₁，地点维为C₁或C₂，聚集计算为求和”，此查询条件的文件名在本实施方式中记为F₂。则在当前的文件中记录：时间-上卷：F₂；同样，下钻为上卷的逆操作，所以F₂中记录：时间-下钻：F₁。对每一个文件都按照上述步骤进行处理；

步骤3、根据所保存数据的维值采用构建数据立方的方式展示对应的聚集结果；

本发明实施例中，具体包括如下步骤：

步骤3-1、在用户进行查询时，根据查询条件直接与已经预先计算好的分析型数据文件进行对应；

本发明实施例中，用户的查询条件为”时间维键值为A₁，商品分类维键值为B₁，地点维键值为C1或C2，聚集计算为求和”，文件F1就被调用；

步骤3-2、找到用户查询所对应的数据文件后，将数据传递到前台，进行数据展示并与用户交互；数据展示的方式如下：

本发明实施例中，根据用户选择的维构建坐标轴，等宽划分各坐标轴并分别标注数据文件中存在的维值；对于每一个维值组合对应的坐标所确定的立方体，填写上数据文件中该维值组合对应的聚集值，没有对应聚集值的立方体不填写；对于高维立方的展示，如果把1～3维数据展示看做”线”、”面”和”体”，可以理解4～6维数据为”线体”、”面体”和”体体”，反复嵌套，任何维数的数据都可以通过基本空间元素嵌套来表示；

本发明实施例中，按照上述思路，三维数据(本实施方式中选取的维度为时间、商品分类、地点)展示方式如图4所示；高维数据(本实施方式中以4维为例，选取的维度为时间、商品分类、地点、提供商)的展示方式如图5所示；

本发明实施例中，各个OLAP操作的设计如下：

上卷：用户可以选取一个维选择上卷操作，根据用户选定的维在当前数据文件中找到该维度上卷结果所对应的文件，替换掉当前文件并展示为数据立方；图5中的数据在商品分类维度进行上卷的展示结果，如图6所示；

下钻：用户可以选取一个维选择下钻操作，根据用户选定的维在当前数据文件中找到该维度下钻结果所对应的文件，替换掉当前文件并展示为数据立方；图5中的数据在时间维度进行下钻的展示结果，如图7所示；

切片与切块：用户在当前展示的数据立方中选取一部分，选定切片与切块操作之后只显示用户选取的那一部分立方；数据文件不改变；图5中的数据仅选取”娱乐”一列进行切割的展示结果，如图8所示；

旋转：数据立方按照用户操作时拖动的方向进行旋转。数据文件不改变；图5中的数据将商品分类维与地点维进行旋转的展示结果，如图9所示。

Claims

1.一种大数据环境下多维聚集查询与展示系统，其特征在于，该系统包括数据压缩模块、数据类型转换模块和多维数据立方展示模块，其中，

2.采用权利要求1所述的大数据环境下多维聚集查询与展示系统进行的查询与展示方法，其特征在于，包括以下步骤：

步骤2-3、将步骤2-2中的维值和聚集结果进行保存；

3.根据权利要求2所述的查询与展示方法，其特征在于，步骤1所述的采用频数统计的算法将原始大数据集压缩为小数据集，即获得频数统计图数据，具体步骤如下：

步骤1-2、获得相同维值组合中各个度量值出现的次数；

4.根据权利要求2所述的查询与展示方法，其特征在于，步骤2-1所述的聚集计算，包括：计算最大值、计算最小值、计算极差、计算数据量、计算求和、计算平均值、计算众数和计算中位数。