CN109002440A - 用于大数据多维分析的方法、装置及系统 - Google Patents

Abstract

本申请公开一种用于大数据多维分析的方法、装置及系统。该方法包括：根据原始数据生成结构化数据；将所述结构化数据经过分布式集群加工处理为预定数据模型；通过分布式分析引擎与所述预定数据模型生成多维分析体；以及利用网页调用所述多维分析体以进行大数据分析。本申请公开的用于大数据多维分析的方法、装置及系统，能够屏蔽数据分析的技术难度，业务分析人员通过web页面拖拽关心的维度和指标即可快速生产需要的报表数据。

Description

用于大数据多维分析的方法、装置及系统

技术领域

本发明涉及大数据分析处理领域，具体而言，涉及一种用于大数据多维分析的方法、装置及系统。

背景技术

近年来数据资产在各企业中越发重要，是企业进行商业智能(BI)的基础。多维分析是商业智能的重要实现方式之一，在创建完成多维分析体Cube之后，各位领导人员、技术开发人员、业务分析人员在可视化界面通过简单的拖拽自己需要的维度和指标即可形成表格、饼图、仪表盘、柱状图、趋势图等。在各行业BI数据统计分析项目与系统实施过程中，为满足各类领导层、技术与业务人员的相同业务范围不同维度组合下的业务指标分析场景，会采用多维分析工具来实现。当前主流BI解决方案厂家的多维分析工具可例如包括：IBMCognos、Microstrategy(MSTR)、BusinessObjects等。

由于多维分析(MOLAP)本身是对分析数据的预加工(实质是实现不同维度与指标的组合数据提前计算并保存数据结果)，通过多维分析web前端人性化自助查询功能即可直接实现从多维分析数据集中加载实现用户关心的数据分析结果。该种方式高效且快速，非常适用用中大型企业对于重点业务满足各类人员数据分析的需要。目前实现多维分析的方法分为两种：一种是采用第三方商业公司的BI产品套件，如：IBM Cognos、Microstrategy(MSTR)、BusinessObjects等；另一种是采用开源多维分析技术进行二次开发，如：Mondrian、Palo等。但是，由于商业公司多维分析产品价格昂贵，而且商业公司多维分析产品不利于企业个性化产品功能扩展，第三方公司的商业化多维分析产品使用不便。而目前存在的利用Mondrian、Palo等开源技术生成的多维分析方法也存在各种技术缺陷。

因此，需要一种新的用于大数据多维分析的方法、装置及系统。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于大数据多维分析的方法、装置及系统，能够屏蔽数据分析的技术难度，业务分析人员通过web页面拖拽关心的维度和指标即可快速生产需要的报表数据。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种用于大数据多维分析的方法，该方法包括：根据原始数据生成结构化数据；将结构化数据经过分布式集群加工处理为预定数据模型；通过分布式分析引擎与预定数据模型生成多维分析体；以及利用网页调用多维分析体以进行大数据分析。

在本公开的一种示例性实施例中，根据原始数据生成结构化数据，包括：将原始数据通过Hadoop集群进行储存，以生成结构化数据。

在本公开的一种示例性实施例中，将结构化数据经过分布式集群加工处理为预定数据模型，包括：将结构化数据经过Hadoop集群中的Hive数据仓库加工处理为预定数据模型。

在本公开的一种示例性实施例中，预定数据模型，包括：星型数据模型。

在本公开的一种示例性实施例中，通过分布式分析引擎与预定数据模型生成多维分析体，包括：通过Kylin分析引擎与预定数据模型生成多维分析体。

在本公开的一种示例性实施例中，通过Kylin分析引擎与预定数据模型生成多维分析体，包括：通过Kylin分析引擎读取预定数据模型中的维度表；通过Kylin分析引擎读取预定数据模型中的事实表；以及通过维度表与事实表生成多维分析体。

在本公开的一种示例性实施例中，利用网页调用多维分析体以进行大数据分析，包括：通过Saiku实现网页的页面；以及响应用户操作，通过网页的页面调用多维分析体以进行大数据分析。

在本公开的一种示例性实施例中，还包括：通过Hbase集群储存多维分析体。

在本公开的一种示例性实施例中，Hadoop集群，包括至少一台Kylin服务器。

在本公开的一种示例性实施例中，还包括：多维分析体通过周期性的调用restful进行刷新。

根据本发明的一方面，提出一种用于大数据多维分析的装置，该装置包括：数据模块，用于根据原始数据生成结构化数据；模型模块，用于将结构化数据经过分布式集群加工处理为预定数据模型；分析体模块，用于通过分布式分析引擎与预定数据模型生成多维分析体；以及分析模块，用于利用网页调用多维分析体以进行大数据分析。

在本公开的一种示例性实施例中，还包括：储存模块，用于通过Hbase集群储存多维分析体。

根据本发明的一方面，提出一种用于大数据多维分析的系统，该系统包括：Hadoop集群，用于根据原始数据生成结构化数据；Hive数据仓库，用于将结构化数据加工为预定数据模型；Kylin服务器，用于通过分布式分析引擎与预定数据模型生成多维分析体；以及Saiku分析引擎，用于利用网页调用多维分析体以进行大数据分析。

在本公开的一种示例性实施例中，还包括：Hbase集群，用于储存多维分析体。

根据本发明的一方面，提出一种电子设备，该电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如上文的方法。

根据本发明的一方面，提出一种计算机可读介质，其上存储有计算机程序，其特征在于，程序被处理器执行时实现如上文中的方法。

根据本发明的用于大数据多维分析的方法、装置及系统，能够屏蔽数据分析的技术难度，业务分析人员通过web页面拖拽关心的维度和指标即可快速生产需要的报表数据。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本发明。

附图说明

通过参照附图详细描述其示例实施例，本发明的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据一示例性实施例示出的一种用于大数据多维分析的方法的示例性系统架构。

图2是根据一示例性实施例示出的一种用于大数据多维分析的方法的流程图。

图3是根据一示例性实施例示出的一种用于大数据多维分析的方法的示意图。

图4是根据一示例性实施例示出的一种用于大数据多维分析的装置及的框图。

图5是根据一示例性实施例示出的一种用于大数据多维分析的系统的框图。

图6是根据另一示例性实施例示出的一种用于大数据多维分析的系统的框图。

图7是根据另一示例性实施例示出的一种电子设备的框图。

具体实施例

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本发明将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本公开概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。

本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的，因此不能用于限制本发明的保护范围。

下面结合附图对本公开示例实施方式进行详细说明。

图1示出了可以应用本申请的用于大数据多维分析的方法的示例性系统架构100。

如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105(此架构仅仅是示例，具体架构中包含的组建可以根据申请具体情况调整)。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。

终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(例如目标推送信息、产品信息--仅为示例)反馈给终端设备。

需要说明的是，本申请实施例所提供的网页生成方法一般由服务器105执行，相应地，网页生成装置一般设置于服务器105中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2是根据一示例性实施例示出的一种用于大数据多维分析的方法的流程图。

如图2所示，在S202中，根据原始数据生成结构化数据。原始数据可例如包括大数据，大数据：或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。大数据不同于一般意义上的数据，由于数据庞大，大数据的分析和处理需要使用专门的工具与算法。不管是对数据分析专家还是普通用户，数据可视化是数据分析工具最基本的要求。可视化可以直观的展示数据，让数据自己说话，让观众听到结果。基于以上的目的，可例如，将原始数据通过Hadoop集群进行储存，以生成结构化数据。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

在S204中，将结构化数据经过分布式集群加工处理为预定数据模型。可例如，将结构化数据经过Hadoop集群中的Hive数据仓库加工处理为预定数据模型。Hive是基于Hadoop的数据仓库工具，可对存储在HDFS上的文件中的数据集进行数据整理、特殊查询和分析处理，提供了类似于SQL语言的查询语言–HiveQL，可通过HQL语句实现简单的MR统计，Hive将HQL语句转换成MR任务进行执行。Hive是建立在Hadoop之上的数据仓库，由Facebook开发，在某种程度上可以看成是用户编程接口，本身并不存储和处理数据，依赖于HDFS存储数据，依赖MR处理数据。Hive把HQL语句转换成MR任务后，采用批处理的方式对海量数据进行处理。数据仓库存储的是静态数据，很适合采用MR进行批处理。Hive还提供了一系列对数据进行提取、转换、加载的工具，可以存储、查询和分析存储在HDFS上的数据。

在S206中，通过分布式分析引擎与预定数据模型生成多维分析体。可例如包括：通过Kylin分析引擎与预定数据模型生成多维分析体。Apache Kylin是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。多维分析体(cube)主要是用于支持联机分析应用(OLAP),为企业决策提供支持，通过建立cube的方式能够减低系统压力。联机分析处理OLAP(On-Line Analytical Processing)，OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

在S208中，利用网页调用多维分析体以进行大数据分析。可例如，进行多维分析，多维分析MOLAP(Multidimensional OLAP，简称MOLAP)，MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中。可例如，企业各层管理人员、业务分析人员等通过web服务来创建Cube和实现web端多维分析查询。还可例如，通过Kylin创建好Cube后，为支持人性化前端操作，可以通过java程序封装或与支持Kylin的开源工具结合实现前端web功能。如，开源免费的BI工具–Saiku。使用java封装Saiku，可以实现链接Kylin的Cube，实现表格、柱状图、折线图等多种数据分析形式。

根据本发明的用于大数据多维分析的方法，通过分布式集群将原始数据处理为结构化数据，再通过分布式引擎生成多维分析体，进而提供多维分析的方式，能够屏蔽数据分析的技术难度，业务分析人员通过web页面拖拽关心的维度和指标即可快速生产需要的报表数据。

应清楚地理解，本发明描述了如何形成和使用特定示例，但本发明的原理不限于这些示例的任何细节。相反，基于本发明公开的内容的教导，这些原理能够应用于许多其它实施例。

在本公开的一种示例性实施例中，预定数据模型，包括：星型数据模型。星形数据模型是一种多维的数据关系，它由一个事实表(Fact Table)和一组维表(DimensionTable)组成。每个维表都有一个维作为主键，所有这些维的主键组合成事实表的主键。事实表的非主键属性称为事实(Fact)，它们一般都是数值或其他可以进行计算的数据；而维大都是文字、时间等类型的数据，按这种方式组织好数据使用者就可以按照不同的维(事实表主键的部分或全部)来对这些事实数据进行求和(summary)、求平均(average)、计数(count)、百分比(percent)等等的聚集计算，可以从不同的角度数字来分析业务主题的情况。

在本公开的一种示例性实施例中，通过Kylin分析引擎与预定数据模型生成多维分析体，包括：通过Kylin分析引擎读取预定数据模型中的维度表；通过Kylin分析引擎读取预定数据模型中的事实表；以及通过维度表与事实表生成多维分析体。Cube包含两个基本概念：维度和度量。维度(Dimension)：维度提供了分类描述，表示一类分析角度，用户通过维度分析度量数据。可例如常见的三个维度：时间、产品、地域。度量(Measures)：度量表示用来聚合分析的数字信息，度量的集合组合成了一个特殊的维度。如数量、销售额等。维度表：是维度属性的集合。是分析问题的一个窗口。是人们观察数据的特定角度，是考虑问题时的一类属性，属性的集合构成一个维。事实表：是数据仓库结构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务(例如产品销售)内特定事件的数据。

在本公开的一种示例性实施例中，利用网页调用多维分析体以进行大数据分析，包括：通过Saiku实现网页的页面；以及响应用户操作，通过网页的页面调用多维分析体以进行大数据分析。Saiku：是一个轻量级的OLAP分析引擎，用户可以在非常友好的界面下利用OLAP和内存引擎进行向下钻取，过滤、分类、排序和生成图表。

在本公开的一种示例性实施例中，还包括：通过Hbase集群储存多维分析体。HBase是是一个高可靠性、高性能、面向列、可伸缩的开源分布式数据库存储系统，用以存放维度与指标组合而成的Cube多维分析数据集。在该数据库中存储的是Cube的各种维度与指标的组合结果集。实现了分析数据的提前加工计算。

在本公开的一种示例性实施例中，Hadoop集群，包括至少一台Kylin服务器。在Hadoop集群中，搭建一台或多台Kylin服务器(多台Kylin服务器可以实现负载均衡HA)。该种部署方式，Kylin属于Hadoop集群的节点，可以直接访问Hive数据仓库中的模型数据。

在本公开的一种示例性实施例中，还包括：多维分析体通过周期性的调用restful进行刷新。可例如，通过Kylin系统，创建多维分析model：通过Hive数据源，选择多维分析的维度表和事实表范围。选择维维度和指标，创建Cube。Cube创建后，Kylin将数据存储在HBase集群，数据需要根据业务数据变化以及Hive中的数据模型数据的更新进行Cube数据刷新。

Cube数据的刷新通过调用restful接口命令方式实现，步骤可例如下：

1、编写刷新Kylin中Cube的程序脚本。

以shell程序rebuild_day.sh为例，通过传递数据刷新的增量时间范围($startTime、$endTime)来实现Cube数据增量刷新，核心命令可例如：

curl-X PUT-H'Authorization:

Basic QURNSU46S1lMSU4＝

'-H'Content-Type:application/json'-d'

{"startTime":'$startTime',

"endTime":'$endTime',

"buildType":"BUILD"}'

http://152.161.17.12:7070/kylin/api/cubes/cube_test/rebuild

2、在Kylin服务器上制定crontab执行计划，周期执行Cube数据刷新操作。

定制后的crontab执行计划举例可例如：

30 8***sh/home/cubetest/rebuild_day.sh

根据本发明的用于大数据多维分析的方法，通过周期性的执行多维分析体数据刷新操作，实现多维分析体数据增量刷新功能，能够及时准确的传递数据。

图3是根据一示例性实施例示出的一种用于大数据多维分析的方法的示意图。

如图3所示，在S302中，企业生产系统产生数据，企业生产系统可例如包括：交易系统、财务系统等，是多维分析服务的数据源头。

在S304中，数据采集，企业各类生产数据经过数据采集存储到Hadoop集群中。

在S306中，Hadoop数据存储，数据采集后在hadoop中以hive数据仓库表形式实现结构化数据存储和查询。

在S308中，Hadoop集群数据模型加工，在hadoop集群中，结合Hive数据仓库,采用星型模型设计数据模型，并将hadoop集群上的原始生成数据采用ETL加工为设计的星型数据模型结构，以便于后续进行多维数据分析。

在S310中，Kylin CUBE设计，当hive表星型模型设计加工后，在Kylin中可以从Hvie库中选择星型模型中的维度表和事实表生成多维分析的CUBE(维度与指标的组合数据集，是多维分析查询数据的预计算结果)。

在S312中，Hbase CUBE数据存储，Kylin设计的Cube数据在Hbase中进行数据存储，已达到快速、高效的数据查询响应。

在S314中，Saiku web多维分析服务，采用开源saiku实现web页面，通过简单的对cube维度和指标拖拽即可实现快速的统计结果、图形展示(如：饼图、折线图、柱状图等)。

在S316中，企业多维分析数据应用，可例如，采用Saiku web多维分析提供结果，可以支持生产系统、企业经营决策支持。

本领域技术人员可以理解实现上述实施例的全部或部分步骤被实现为由CPU执行的计算机程序。在该计算机程序被CPU执行时，执行本发明提供的上述方法所限定的上述功能。所述的程序可以存储于一种计算机可读存储介质中，该存储介质可以是只读存储器，磁盘或光盘等。

此外，需要注意的是，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。

图4是根据一示例性实施例示出的一种用于大数据多维分析的装置及的框图。

数据模块402用于根据原始数据生成结构化数据。

模型模块404用于将结构化数据经过分布式集群加工处理为预定数据模型。

分析体模块406用于通过分布式分析引擎与预定数据模型生成多维分析体。

分析模块408用于利用网页调用多维分析体以进行大数据分析。

在本公开的一种示例性实施例中，还包括：储存模块(图中未示出)用于通过Hbase集群储存多维分析体。

根据本发明的用于大数据多维分析的装置，通过分布式集群将原始数据处理为结构化数据，再通过分布式引擎生成多维分析体，进而提供多维分析的方式，能够屏蔽数据分析的技术难度，业务分析人员通过web页面拖拽关心的维度和指标即可快速生产需要的报表数据。

图5是根据一示例性实施例示出的一种用于大数据多维分析的系统的框图。

Hadoop集群502用于根据原始数据生成结构化数据；

Hive数据仓库504用于将结构化数据加工为预定数据模型；

Kylin服务器506用于通过分布式分析引擎与预定数据模型生成多维分析体；

Saiku分析引擎508用于利用网页调用多维分析体以进行大数据分析。

在本公开的一种示例性实施例中，还包括：Hbase集群410用于储存多维分析体。

图6是根据另一示例性实施例示出的一种用于大数据多维分析的系统的框图。

其中，Hadoop集群用于根据原始数据生成结构化数据；Hive数据仓库用于将结构化数据加工为预定数据模型；在Hadoop集群中的Hvie数据仓库存储设计好的数据模型。数据模型建设以企业核心业务价值链为出发点，采用星型模型规范来设计各多维分析主题的维度表和事实表。Hive和Hadoop结合实现了大数据分布式环境下的BI多维分析数据模型的基础数据存储。

Kylin服务器用于通过分布式分析引擎与预定数据模型生成多维分析体；在Hadoop集群中，搭建一台或多台Kylin服务器(多台Kylin服务器可以实现负载均衡HA)。该种部署方式，Kylin属于Hadoop集群的节点，可以直接访问Hive数据仓库中的模型数据。分析师登录Kylin系统，创建多维分析model：通过Hive数据源，选择多维分析的维度表和事实表范围。选择维维度和指标，创建Cube。Cube创建后，Kylin将数据存储在HBase集群，数据需要根据业务数据变化以及Hive中的数据模型数据的更新进行Cube数据刷新。Kylin访问Hbase集群中的Cube数据。HBase集群反馈结果信息给Kylin服务器。Kylin服务请求。企业各层管理人员、业务分析人员等通过web服务来创建Cube和实现web端多维分析查询。

Saiku分析引擎，用于利用网页调用多维分析体以进行大数据分析。在本公开的一种示例性实施例中，还包括：Hbase集群，用于储存多维分析体。HBase是是一个高可靠性、高性能、面向列、可伸缩的开源分布式数据库存储系统，用以存放维度与指标组合而成的Cube多维分析数据集。在该数据库中存储的是Cube的各种维度与指标的组合结果集。实现了分析数据的提前加工计算。

在本公开的一种示例性实施例中，还包括：多维分析模块，用于通过Kylin创建好Cube后，为支持人性化前端操作，可以通过java程序封装或与支持Kylin的开源工具结合实现前端web功能。如，开源免费的BI工具–Saiku。使用java封装Saiku，可以实现链接Kylin的Cube，实现表格、柱状图、折线图、饼图、堆积图、面积图、饼图等多种数据分析形式。多维分析模块的使用者可例如为：企业管理人员、多维分析cube管理人员、Hive库模型设计人员、业务分析人员、集群维护人员等等。

本领域技术人员可以理解上述各模块可以按照实施例的描述分布于装置中，也可以进行相应变化唯一不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

图7是根据另一示例性实施例示出的一种电子设备的框图。

下面参考图7，其示出了适于用来实现本申请实施例的电子设备70的结构示意图。图7示出的电子设设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图7所示，计算机系统70包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。在RAM 703中，还存储有系统70操作所需的各种程序和数据。CPU701、ROM 702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。

以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：根据原始数据生成结构化数据；将结构化数据经过分布式集群加工处理为预定数据模型；通过分布式分析引擎与预定数据模型生成多维分析体；以及利用网页调用多维分析体以进行大数据分析。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本发明实施例的方法。

以上具体地示出和描述了本发明的示例性实施例。应可理解的是，本发明不限于这里描述的详细结构、设置方式或实现方法；相反，本发明意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

此外，本说明书说明书附图所示出的结构、比例、大小等，均仅用以配合说明书所公开的内容，以供本领域技术人员了解与阅读，并非用以限定本公开可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本公开所能产生的技术效果及所能实现的目的下，均应仍落在本公开所公开的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“第一”、“第二”及“一”等的用语，也仅为便于叙述的明了，而非用以限定本公开可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当也视为本发明可实施的范畴。

Claims (16)

1.一种用于大数据多维分析的方法，其特征在于，包括：

根据原始数据生成结构化数据；

将所述结构化数据经过分布式集群加工处理为预定数据模型；

通过分布式分析引擎与所述预定数据模型生成多维分析体；以及

利用网页调用所述多维分析体以进行大数据分析。

2.如权利要求1所述的方法，其特征在于，所述根据原始数据生成结构化数据，包括：

将原始数据通过Hadoop集群进行储存，以生成所述结构化数据。

3.如权利要求1所述的方法，其特征在于，所述将所述结构化数据经过分布式集群加工处理为预定数据模型，包括：

将所述结构化数据经过Hadoop集群中的Hive数据仓库加工处理为所述预定数据模型。

4.如权利要求3所述的方法，其特征在于，所述预定数据模型，包括：

星型数据模型。

5.如权利要求1所述的方法，其特征在于，所述通过分布式分析引擎与所述预定数据模型生成多维分析体，包括：

通过Kylin分析引擎与所述预定数据模型生成多维分析体。

6.如权利要求5所述的方法，其特征在于，所述通过Kylin分析引擎与所述预定数据模型生成多维分析体，包括：

通过所述Kylin分析引擎读取所述预定数据模型中的维度表；

通过所述Kylin分析引擎读取所述预定数据模型中的事实表；以及通过所述维度表与所述事实表生成所述多维分析体。

7.如权利要求1所述的方法，其特征在于，所述利用网页调用所述多维分析体以进行大数据分析，包括：

通过Saiku实现所述网页的页面；以及

响应用户操作，通过所述网页的页面调用所述多维分析体以进行大数据分析。

8.如权利要求1所述的方法，其特征在于，还包括：

通过Hbase集群储存所述多维分析体。

9.如权利要求2所述的方法，其特征在于，所述Hadoop集群，包括至少一台Kylin服务器。

10.如权利要求1所述的方法，其特征在于，还包括：

所述多维分析体通过周期性的调用restful进行刷新。

11.一种用于大数据多维分析的装置，其特征在于，包括：

数据模块，用于根据原始数据生成结构化数据；

模型模块，用于将所述结构化数据经过分布式集群加工处理为预定数据模型；

分析体模块，用于通过分布式分析引擎与所述预定数据模型生成多维分析体；以及

分析模块，用于利用网页调用所述多维分析体以进行大数据分析。

12.如权利要求11所述的装置，其特征在于，还包括：

储存模块，用于通过Hbase集群储存所述多维分析体。

13.一种用于大数据多维分析的系统，其特征在于，包括：

Hadoop集群，用于根据原始数据生成结构化数据；

Hive数据仓库，用于将所述结构化数据加工为预定数据模型；

Kylin服务器，用于通过分布式分析引擎与所述预定数据模型生成多维分析体；以及

Saiku分析引擎，用于利用网页调用所述多维分析体以进行大数据分析。

14.如权利要求13所述的系统，其特征在于，还包括：

Hbase集群，用于储存所述多维分析体。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-10中任一所述的方法。