CN103853818A

CN103853818A - 多维数据的处理方法和装置

Info

Publication number: CN103853818A
Application number: CN201410049049.6A
Authority: CN
Inventors: 张科; 李东
Original assignee: Bo Yi Chih Soft (beijing) Technology Ltd By Share Ltd
Current assignee: Zte Wisdom Beijing Technology Co ltd
Priority date: 2014-02-12
Filing date: 2014-02-12
Publication date: 2014-06-11
Anticipated expiration: 2034-02-12
Also published as: CN103853818B

Abstract

本申请提供了一种多维数据的处理方法和装置，该方法包括：获取多维数据的第一维度数据的第一层数据；确定第一层数据中未满足预定条件的第一数据；获取第一维度数据的第二层数据中与第一数据相对应的数据，其中，第二层数据的数据量大于第一层数据的数据量；在第二层数据中与第一数据相对应的数据中确定未满足预定条件的第二数据；根据第二数据对多维数据进行分析。本申请能够提高多维数据的处理速度。

Description

多维数据的处理方法和装置

技术领域

本申请涉及数据处理技术领域，特别是涉及一种多维数据的处理方法和装置。

背景技术

企业级通用商业智能开发平台主要应用于企业报表、信息查询、和在线分析处理（On-Line Analytical Processing，OLAP）等，并能与第三方的企业资源规划系统（ERP）、客户资源管理系统（CRM）、供应链关系管理系统（SCM）、电子政务、电子商务、地理信息系统（Geographic Information System，GIS）等进行无缝连接。

.企业级通用商业智能开发平台体系架构图。该平台遵循J2EE标准、采用XML语言和组件设计，具有开放的架构，可与其他企业应用软件实现无缝对接。同时，已成功的应用于金融、电信、电子政务等领域。

其中，在线分析处理的核心是提供能全面支持层次和多层次对数据分析的多维视图，这个视图由一些分类属性（产品和市场）和数据属性（销售和利润）组成。分类属性形成各个维，而数值属性形成多个维数据集的度量。维可以包含指定聚合层次的层次结构。通过应用一些数学函数，如求和、平均值和不同维属性组合，度量属性被聚合为不同层次的细节。多维视图突破了物理的三维概念，采用了上卷（roll up）、下钻（drill down）、切片和旋转等高维可视化技术，在屏幕上展示多维视图的结构，使用户直观地理解、分析数据，辅助决策。

上卷是立方体上的聚集动作。它通过一个维的概念分层向上攀升或通过维归约在数据立方体上进行聚集。当维归约进行上卷时，一个或多个维从给定的立方体中删除。

下钻是上卷的逆操作，它由不太详细的数据到更详细的数据。下钻可以通过沿维的概念分层向下或引入新的维来实现。

切片（stice）操作是在给定的数据立方体的一个维上进行选择，导致一个子方。切块（dice）是通过对两个或多个维进行选择，定义子方。

旋转（pivot）操作改变一个报表或页面来显示维的方向。它转动数据的视角，提供数据的替代表示。使用户能根据需求从另外一个视图角度观察数据。

上述操作使得用户可以灵活的从不同角度观察多维模型中各个层次的数据，为用户探索多维模型中的数据提供了便利。

在现有技术中，当使用OLAP进行数据处理时，如果发现一个维度的第一层数据中存在异常，则获取该维度的所有下一层数据，对该异常进行定位分析。例如，先选取时间维度的第一层（年）数据，发现2013年的销售额满足预定条件，存在异常，则选取时间维度上的所有第二层数据，包括2012年的4个季度的销售额、2012年的4个季度的销售额、和2011年的4个季度的销售额等，采用这种方法，处理数据的速度较慢。

总之，需要本领域技术人员迫切解决的一个技术问题就是：如何提高多维数据的处理速度。

发明内容

本申请所要解决的技术问题是提供一种多维数据的处理方法和装置，能够提高多维数据的处理速度。

为了解决上述问题，本申请公开了一种多维数据的处理方法，包括：获取多维数据的第一维度数据的第一层数据；确定第一层数据中未满足预定条件的第一数据；获取第一维度数据的第二层数据中与第一数据相对应的数据，其中，第二层数据的数据量大于第一层数据的数据量；在第二层数据中与第一数据相对应的数据中确定未满足预定条件的第二数据；根据第二数据对多维数据进行分析。

优选地，确定第一层数据中未满足预定条件的第一数据包括：判断第一层数据中的数据与期望值之间的误差是否大于阈值；将第一层数据中与期望值之间的误差大于阈值的数据确定为第一数据。

优选地，在根据第二数据对多维数据进行分析之前，上述方法还包括：确定多维数据中的公共维度；将公共维度的每一层数据与多维数据中的其他维度的每一层数据进行聚合；存储聚合后的结果。

优选地，根据第二数据对多维数据进行分析包括：从聚合后的结果中选取包含第一维度数据的第二层数据的聚合结果，聚合结果包括第一维度数据的第二层数据和第二维度数据；结合第二维度的数据对多维数据进行分析。

优选地，多维数据包括以下至少两个的任意组合：时间维度的数据、空间维度的数据、产品维度的数据。

为了解决上述问题，本申请公开了一种多维数据的处理装置，包括：第一获取模块，用于获取多维数据的第一维度数据的第一层数据；第一确定模块，用于确定第一层数据中未满足预定条件的第一数据；第二获取模块，用于获取第一维度数据的第二层数据中与第一数据相对应的数据，其中，第二层数据的数据量大于第一层数据的数据量；第二确定模块，用于在第二层数据中与第一数据相对应的数据中确定未满足预定条件的第二数据；分析模块，用于根据第二数据对多维数据进行分析。

优选地，第一确定模块用于：判断第一层数据中的数据与期望值之间的误差是否大于阈值；将第一层数据中与期望值之间的误差大于阈值的数据确定为第一数据。

优选地，上述装置还包括：第三确定模块，用于在根据第二数据对多维数据进行分析之前，确定多维数据中的公共维度；聚合模块，用于将公共维度的每一层数据与多维数据中的其他维度的每一层数据进行聚合；存储模块，用于存储聚合后的结果。

优选地，分析模块还用于：从聚合后的结果中选取包含第一维度数据的第二层数据的聚合结果，聚合结果包括第一维度数据的第二层数据和第二维度数据；结合第二维度的数据对多维数据进行分析。

与现有技术相比，本申请具有以下优点：

在现有技术中，当发现某一维度的第一层数据中的某一数据满足预定条件时，选取该维度所有的下一层数据进行分析，从而确定满足预定条件的具体位置。而在本申请中，当发现某一维度的第一层数据中的第一数据满足预定条件时，只需对第一数据对应的下层数据进行分析，无需分析与第一数据不对应的下层数据，因此，相对于现有技术，本申请减少了计算量，提高了数据处理速度。

附图说明

图1是本申请一种多维数据的处理方法的流程图；

图2是本申请一种多维数据的处理装置的结构框图；

图3是本申请一种多维数据的处理装置的优选的结构框图；

图4是本申请一种多维数据的处理平台的处理流程的示意图。

具体实施方式

为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。

参照图1，示出了本申请一种多维数据的处理方法，包括：

步骤102，获取多维数据的第一维度数据的第一层数据；其中，多维数据包括以下至少两个的任意组合：时间维度的数据、空间维度的数据、产品维度的数据。需要说明的是，多维数据并不限于上述几种维度，也可以根据需要添加其他维度的数据。

步骤104，确定第一层数据中未满足预定条件的第一数据；

在具体实现时，判断第一层数据中的数据与期望值之间的误差是否大于阈值；将第一层数据中与期望值之间的误差大于阈值的数据确定为第一数据。其中，该误差可以是指第一层数据中的数据与期望值之间的差值，也可以是指第一层数据中的数据与期望值之间的差值与期望值之间的比例。例如，时间维度的第一层数据为每年对应的数据，2012年的期望值是100，2012 年的实际销售额是40，此时二者的差值为60，假设当实际销售额和期望值之间的差值大于50时，表示满足预定条件，即，出现异常，在本例中，实际销售额和期望值之间的差值大于50，表示时间维度第一层数据中的2012年的数据出现异常。

步骤106，获取第一维度数据的第二层数据中与第一数据相对应的数据，其中，第二层数据的数据量大于第一层数据的数据量；

例如，时间维度的第一层数据为每一年对应的数据，例如年销售额，第二层数据为每一季度对应的数据，例如季度销售额，当确定时间维度第一层数据中的2012年的数据出现异常时，依据本实施例，获取时间维度第二层数据中2012年对应的季度的数据，即，2012年第1-4季度对应的数据。

步骤108，在第二层数据中与第一数据相对应的数据中确定未满足预定条件的第二数据；

在具体实现时，判断第二层数据中与第一数据相对应的数据与期望值之间的误差是否大于阈值；将误差大于阈值的数据确定为第二数据。其中，该误差可以是指第二层数据中与第一数据相对应的数据与期望值之间的差值，也可以是指该差值与期望值之间的比例。例如，时间维度的第二层数据为2012年第1-4季度对应的数据，2012年第一季度的期望值是20，2012年的实际销售额是8，此时二者的差值为12，假设当实际销售额和期望值之间的差值大于10时，表示满足预定条件，即，出现异常，在本例中，实际销售额和期望值之间的差值大于12，表示时间维度第二层数据中的2012年第1季度的数据出现异常。

步骤110，根据第二数据对多维数据进行分析。

在具体实现中，可以采用多种分析方式，例如，分析出现异常的数据的趋势，结合其他维度对出现异常的数据进行分析，可以结合空间维度，分析哪些地区的销售额异常较为明显等。

在本发明实施例的一个优选实例中，在根据第二数据对多维数据进行分析之前，确定多维数据中的公共维度；将公共维度的每一层数据与多维数据中的其他维度的每一层数据进行聚合；存储聚合后的结果。在实际操作过程中，由于时间维度与其他维度都相关，因此，可以将时间维度设置为公共维度，将时间维度的每一层数据和其他维度的每一层数据都进行聚合，这样，当选择时间维度的一层数据进行分析时，很容易将其和其他维度进行关联，全面地对多维数据进行分析。另外，也可以根据需要，将其他维度设置为公共维度。

在进行聚合之后，可以从聚合后的结果中选取包含第一维度数据的第二层数据的聚合结果，改聚合结果包括第一维度数据的第二层数据和第二维度数据；然后，结合第二维度的数据对多维数据进行分析。通过该方式，实现了对多维数据的综合分析。

本申请还提供了一种多维数据的处理装置，该装置用于实现上述方法，如图2所示，该装置包括：

第一获取模块202，用于获取多维数据的第一维度数据的第一层数据；

第一确定模块204，用于确定第一层数据中未满足预定条件的第一数据；

第二获取模块206，用于获取第一维度数据的第二层数据中与第一数据相对应的数据，其中，第二层数据的数据量大于第一层数据的数据量；

第二确定模块208，用于在第二层数据中与第一数据相对应的数据中确定未满足预定条件的第二数据；

分析模块210，用于根据第二数据对多维数据进行分析。

在本发明实施例的一个优选实例中，第一确定模块204用于：判断第一层数据中的数据与期望值之间的误差是否大于阈值；将第一层数据中与期望值之间的误差大于阈值的数据确定为第一数据。

在本发明实施例的一个优选实例中，上述装置还包括：

第三确定模块302，用于在根据第二数据对多维数据进行分析之前，确定多维数据中的公共维度；

聚合模块304，用于将公共维度的每一层数据与多维数据中的其他维度的每一层数据进行聚合；

存储模块306，用于存储聚合后的结果。

在本发明实施例的一个优选实例中，分析模块210还用于：从聚合后的结果中选取包含第一维度数据的第二层数据的聚合结果，聚合结果包括第一维度数据的第二层数据和第二维度数据；结合第二维度的数据对多维数据进行分析。

在本发明实施例的一个优选实例中，多维数据包括以下至少两个的任意组合：时间维度的数据、空间维度的数据、产品维度的数据。

本申请还提供了一种使用上述方法或装置的平台。下面对该平台的产品环境进行说明。

(1)图形界面开发环境

1)基于面向对象技术的对象浏览器

对象浏览器的技术，对于大多数开发环境来说都是必要的。它可以大大的简化用户操作的难度，同时提高用户对系统的认识程度。作为本实施例所述平台的基础开发环境的重要组成部分，对象浏览器全面的提升了系统的易用性。

2)方便易用的资源树

本实施例所述平台（Bi-Pilot）是以项目作为开发组织结构的，与大多数集成开发环境类似，Bi-Pilot提供工作空间-项目-条目（WorkSpace-Project-Item）结构化的树状资源结构。这样的结构非常便于用户管理、使用资源，同时传统的界面和逻辑便于用户理解，降低了培训的难度。

3)便捷的可视化服务器维护界面

直观、方便的服务器配置界面，直接降低了系统维护的难度，提高了系统整体的易用性。

4)完善的数据库连接导引

为用户方便的使用各种数据源提供了简单易用的图形界面。用户不须编程即可完成数据的连接工作，连接导引将提供4种连接方式：J2EE连接（J2EE Connections），利用J2EE的连接池，提高了连接的效率；标准Java数据库连接（Java Database Connectivity，简称JDBC）；非标准数据连接，通过JDBCAny连接；多维数据库连接。

5)直观的查询（Query）编辑器

数据查询的定义，对于大多数非专业的人员来说是不可逾越的障碍，甚至对很多专业人员来说也是非常头疼的事情。Bi-Pilot提供的图形化Query编辑环境，大大降低了查询定义的门槛，并且整合了传统的关系型数据库查询和多维查询的界面，方便了用户。

根据上述连接的种类，相应地有两种查询对应：标准查询和多维查询。其中，标准查询应包含如下功能：复杂Join的定义功能，包括自联接、外联接等；复杂Where条件定义的功能；用户导入SQL语句功能；支持商店流程（StoreProcedure）；参数（Parameter）替换功能；自定义列（Formula）功能；语义层的实现。其中多维查询应包含如下功能：Cube的选取；维度的选择；事实的再计算；语义层的实现。

(2)编程环境

编程环境将提供面向程序员的函数/公式编辑器，由于Bi-Pilot是一个集成开发环境，所以它将提供多种编程语言的编辑和编译调试环境。

(3)强大的平台功能

1)所有描述文件均基于XML语言

XML语言作为描述语言拥有很好的，Bi-Pilot使用XML作为描述语言体现了Bi-Pilot在系统开放性上的决心。在未来的IT工业界，开放的才是有生命力的，开放才是标准诞生的基础。

2)基于项目的多人协作界面

企业应用由于其复杂性，往往不是一两个优秀的程序员可以完成的，所以基于团队（Team）的协作在项目的开发中占有极其重要的地位。Bi-Pilot作为企业级的开发环境，提供了多人协作的开发环境，大大降低了协作开发的难度，提高了效率。

3)功能强大的任务调度服务

作为企业应用的运行平台，Bi-Pilot提供了灵活的任务调度功能，使得很多需要人工干预管理的工作得以自动的被触发运行，降低了系统的维护成本。

4)灵活的ACL控制及资源管理

Bi-Pilot提供基于工业标准的ACL控制机制，灵活方便的资源管理对于企业复杂的应用是必不可少的。

5)国际化的开发环境

Bi-Pilot是国际化的产品，随着WTO的进入国内企业走出国门面向世界的要求越来越强烈，Bi-Pilot提供的国际化的开发环境可以大大加速这一进程。

本实施例提供的平台能够提供报表查询方面的功能，下面对此进行详细说明。

（1）查询功能

即席查询系统就是一整套直接面向业务部门的灵活查询平台。该平台构架于Bi-Pilot智能报表产品基础上，以通用业务模型的方式构建查询模型，并将该模型以业务人员可以理解的语义层对象的形式展现给最终用户。业务人员作为最终用户直接在浏览器上访问该查询模型，并且可以将任意一个条目作为查询条件以限定查询范围，也可以将任意的条目作为查询的内容获得结果返回。

Bi-Pilot使用类似于分析模型的定义手段来定义灵活、强大的查询模型。建立映射、维度以及条件维度等复杂的查询模型。

用户可以任意的组织查询资源树，不但可以利用数据库中的现有字段，还可以使用自定义的公式作为查询资源。在查询中，系统自动的根据查询要求生成优化的查询语句，保证产生高效的查询。

在后台，一旦定义了查询模型，系统会自动的定时更新查询缓存数据，保证数据的及时更新以及高效性。

在前台，系统提供了简单易用的查询界面，保证了一般的业务人员也可以轻松的使用。

（2）报表功能

现代报表要求能实现非常复杂的逻辑、灵活的报表形式、强大的计算能力以及高度的可扩展能力。Bi-Pilot报表引擎充分考虑到这些需求，以下就是其技术特色：

1）由于商业应用数据规模庞大，对JAVA的内存管理提出了苛刻的要求。BI-Pilot不再依赖于JAVA的内存管理机制来处理来自数据库的数据，采用文件分页智能缓存方式，实现了高度优化的管理模式，使BI-Pilot对系统资源的要求大大减低。同时由于大部分JAVA报表产品未采用这一机制，在测试中往往产生非线性的运行曲线（参见表1）。

表1

Figure 2014100490496100002DEST_PATH_IMAGE002

2）多线程流水线处理数据，效率极高

Bi-Pilot采用多线程流水线处理数据，分为数据提取线程、数据分组线程、打印分页线程三道处理过程协同工作。这种方式合理的利用了系统资源，充分的协调了系统中高速设备与低速设备之间的冲突，大大的提高了报表的运行速度。

3）报表的形式非常丰富

现代报表均依赖于“数据嵌套分组”的基本原理来产生复杂的报表逻辑。BI-Pilot也秉承了这一机制，并在这一基本逻辑之上附加了多种分组及分页控制条件及多重计算点，派生出无数可能的组合。使报表可以非常简单，也可以非常复杂，这种灵活性导致了其通用性的产生，从而使其适用于各种行业，产生仁者见仁、智者见智的应用。

4）独创的JDBCAny技术，统一了非标准数据源

由于应用的多样性使得数据的存储形式趋于多样化，而面对如此之多的存储形式，如何抽取/组织它们成为难以逾越的障碍。JDBCAny正是解决这一难题的利器，它通过一组导引界面将不同源的数据组织到一起，使它们可以通过工业标准JDBC接口访问。JDBCAny的内部实现了SQL92的全部查询语法，可以在不同源之间方便的建立关系。

5）多样的输出格式，使用户在结果形式上有更灵活的选择

用户对于报表的输出格式的需求是多样的，例如在客户端打印需要PDF/POSTSCRIPT格式，查询报表及产生工作流需要HTML格式等等。Bi-Pilot基于（DOC/VIEW）方式，不同的输出格式即是不同的VIEW，所以非常容易产生新的输出格式。现在的BI-Pilot支持的格式包括PDF、 PostScript、RTF、TXT/CSV、HTML、XML、网络打印机等。

6）丰富专业的报表组件

Bi-Pilot将提供丰富的、专业的报表组件，如2D/2D的图表（Chart），交叉表（Crosstab），支持多数据源连接的子报表（Sub-report），完全可以满足用户对于报表复杂性的要求。

7）于中国式报表模式的灵活表

Bi-Pilot提供类似Excel编辑方式的中国式报表，同时将Excel类表格和数据库有机的结合起来，极大的方便了不规则报表的制作。

本实施例提供的平台还应用了WEB的开发功能，下面对此进行具体描述。

Bi-Pilot EIS服务是用于表单和WEB界面处理的中间服务。Bi-Pilot EIS服务可以构造用于前端展现的WEB界面，同时还提供对界面事件的响应。Bi-Pilot EIS服务提供丰富的控件和数据模型，以方便的搭建复杂的前端应用。

Bi-Pilot EIS是基于MVC架构设计的，前端数据模型是基于控件的，即每个控件可以定义它独立的数据模型。用户既可以使用Bi-Pilot内置的数据模型构造前端的数据，也可以通过程序来客户化自己的数据模型。

下面介绍Bi-Pilot EIS的运行机制

EIS运行时刻由5部分组成，这5部分是：前台用户界面、前台到后台数据翻译模块、后台数据处理模块、用户后台操作接口、和出错处理。

图4模拟了EIS的标准运行流程，如图4所示，该流程包括：从提交的参数中获取数据，将其保存在当前的数据模型中，在执行主查询之前，修改数据模型中的参数；根据当前环境执行主查询，修改数据库字段的值；然后，执行运算前公式，如果运算结果是刷新动作，则根据当前环境刷新数据，更新表单中的值，创建数据模型和页面对象；如果运算结果是提交动作，则执行数据库增删改动作，并执行运算后公式，然后创建数据模型和页面对象；然后执行返回前公式，并根据数据模型创建返回页面。

本申请提供的平台还可以用于在线分析，下面对此进行详细说明。

（1)数据集市

在BI-OLAP服务器（Server）中可以定义多个数据集市，每一个数据集市对应企业分析的一个侧面或局部。比如说，企业有很多部门，每个部门都可以创建自己的数据集市来对自己的业务进行分析。

数据集市是一组多维立方体的集合，这组多维立方体的维度可以在数据集市中共享。

在多维立方体中，维度成员是按照雪花型的结构分层次保存的，如“国家-地区-城市”作为地域维度的三个层次，分别保存在三个关系表中，它们之间通过主外键连接。事实的聚合表按照预先定义的组合保存在不同的聚合表中，并且与维度表通过外键连接。

在BI-OLAP Server多维数据库中，关键的技术就是动态聚合技术。动态聚合技术包含查询纪录、记录分析、代价估算、聚合优先级加权排序、聚合固化和淘汰等过程。系统根据聚合优先级排序以及系统承受能力和聚合代价的差值来确定是否需要固化或者淘汰聚合。

BI-OLAP Server API版本1.0中定义了维度和查询的界面，BI-OLAP Server基于这个界面实现了：BI-OLAP Server MD Local Driver 1.0；用于连接BI-OLAP Server多维立方体；ssbase OLAP Driver 1.0；用于连接Essbase和IBM的多维立方体；SQL Analysis Driver 1.0；用于连接SQL2000的多维立方体；Oracle Express Driver 1.0；用于连接Oracle的多维立方体。

分析驱动用于在Java代码种直接访问BI-OLAP Server数据库或者第三方的分析服务。作为BI-OLAP Server的最底层API，分析驱动API起到了统一OLAP查询界面的作用。在这个协议的约定下，实现了Essbase、SQL Server等的驱动，使得基于这个协议的应用可以不必关心分析服务器的种类，获得了完全的可移植性。

（2)多维立方体数据抽取

数据抽取是根据数据集市模型将数据加载到BI-OLAP Server在线分析服务器中的一种服务，在BI-OLAP Server中我们可以定义加载的频度和策略。Bi-Extract可以简化整个的数据集成过程，它可以使用来自任何常见的关系型数据库、ERP数据、文本数据或者可以通过开放的标准JDBC来访问的数据。

Bi抽取（Bi-Extract）可以在已经定义好的查询基础上进行数据抽取，大大的简化了IT部门数据抽取、转化和加载的工作。利用强大的数据集市建模工具，可以方便的定义所需要的维度和事实。

（3)分析、计算服务

服务器的扩展层功能都定义在共享数据集市内部，BI-OLAP Server在共享集市中可以非常方便的管理多维立方体。不但BI-OLAP Server的数据立方体可以在共享集市中进行定义和管理，来自第三方的数据集市也可以非常方便的被导入进行类似的管理。并且，对于BI-OLAP Server的提供的各种前端，共享集市提供的多维数据立方体是透明的，不需要区分哪个是BI-OLAP Server所提供的，哪个是Essbase所提供的。在共享集市中，可以对定义如下分析资源，如：可以定义维度映射表：有些数据立方体中维度/成员是以ID的形式存在的，不利于前端的现实和用户的理解。因此，BI-OLAP Server提供的附加的映射功能来解决这个问题。可以定义计算项：实际应用中，大量的指标是OLAP Service所不提供的，事实上OLAP Service只提供最基本的聚合，如SUM。这样做是非常合理的，否则将会大大的增加需要存储的数据量，因此在OLAP查询中提供计算项是非常必要的。BI-OLAP Server中提供公式编辑器，供用户添加各种复杂的计算项。可以定义成员：计算成员是对维度成员的扩展，比如可以在1998年和1999年之间插入新的成员“1999-1998”，用来计算两年之间的差额。可以定义维度的自定义排序：维度在大部分的OLAP Service中是按照字母顺序排列的，事实上这也是我们通常的要求。但是，对于某些应用就需要按照自定义的顺序来排列，如我们销售会按照所谓的“大区”，那么大区可能的排序就是由领导关心的次序来排列的。BI-OLAP Server中允许用户定义自己的排序方法。

初资源定义外，扩展层包含了大量的分析手段和底层的功能，如钻取、排序、TopN、80/20法则、权限控制等。

（4）前端服务

辅助层的功能主要是为薄客户端或者零客户端提供复杂的展现、报表和输出服务的层次。这个层次功能丰富，主要核心技术包括查询优化技术和分支技术。

查询优化技术是BI-OLAP Server最具创意的技术之一，其基本原理是“只产生屏幕可见区域所包含的多维查询”，通常这会使查询的数据量锐减到对速度的和内存使用完全忽略影响的程度。

分支技术使得在分析服务中融合了复杂报表的能力，进一步增强了分析服务器的可用性和易用性。

（5）基于多维立方体报表展现

用于WEB上多维立方体数据固定报表的产生。在线分析的技术实际上是从报表技术进化来的，最初的报表都是以嵌套分组为基础的静态报表，但是随着分组的层次和组合方式的增加，需要的报表数量呈几何级数增长，因而面向分析的报表“在线分析”应运而生了，报表中的嵌套分组成为了维度。目前的在线分析技术完美的解决了静态报表数据在维度组合和嵌套下的快速查询和计算，但是他牺牲了静态报表千变万化的格式，将数据的输出格式固定为交叉表和图表两种，限制了数据的表达方式。因此，目前的分析服务器都是不支持复杂报表服务的，而复杂报表服务器都是直接建立在RDBMS之上的。

其实，在静态报表中还有一种技术“分支技术”，是分支技术使得静态报表的表达方式不受数据的约束。分支技术是嵌套分组技术的扩展，通常的嵌套分组技术其嵌套是链状的，如国家-地区-城市；而带分支的分组是树状的，如国家-地区-城市分组中，地区可能多一个兄弟“年度”。中间服务器在辅助层实现了分支技术，利用分支技术，前端可以方便的制作复杂报表。

（6）OLAP查询优化

目前，在线分析服务器对于高粒度的聚合数据反映速度都是很快的，但是如果用户查询的是小粒度的数据，则面临极大数据量的考验；还有一种情况也使得查询的数据量巨大，那就是对巨大维度的查询（比如银行领域按账户查询，账户数量高达数亿）。在大数据量查询面前，面临三个不可避免的问题：服务器空间的压力、传输的压力、前端展现的压力。

BI-OLAP Server采用了独特的查询优化方式：根据用户的配置和有效显示区域的估算，估算出用户可见区域内的数据量，根据这个估算来生成所需的查询，这样将每次的查询数据量限制在几千条以内，随着用户的鼠标滚卷动作不断的进行后续的查询，而用户可以几乎感觉不到这个过程。这样，就同时解决了上述三个棘手的问题。查询优化实现在扩展层，因此这种优化对中间服务器挂接的任何一种分析服务器都有效。

在本实施例提供的平台中，为了解决传统OLAP操作的乏味和不能自动化的问题，采用了发现驱动的探索（discovery-driven）方法替代传统的替代假定驱动探索方法（hypothesis-driven exploration），该方法采用预计算的度量指出数据的异常，从而在所有的聚集层次上指导用户的数据分析过程。异常（exception）是指一个数据立方体中的单元（cell）值，显著不同于基于某种统计模型下的期望值。该方法提供的模型考虑单元所属的所有维上度量值的变化。例如，商品销售数据分析揭示，与其他所有月份相比，12月份的销售增长了，这对时间维看起来似乎是个异常，然而如果考虑商品维，就会发现在其他维也存在类似的增长，因此这个现象不是异常。该模型考虑隐藏在数据立方体的所有分组聚集中的异常。每个单元的异常程度用诸如背景色、边框颜色等可视化信息提示。

另外，本实施例提供的平台还可以采用多维聚集中的差异分析，帮助分析指定两个单元值之间存在巨大差异的原因，探测哪些较低层次的数据造成的这些变化。这些较低层次的数据可能是最细级别上的数据，也可能是某个聚合级别下的聚合集。

一个单元中的度量值是否异常要根据它与它的期望值相差多少（余量）来判定。如果单元中的余量值超过预定的阈值则被视为异常。在本发明实施例中，可以根据智能探查算法来确定异常的位置。

智能探查是指在用户分析的过程中，根据预计算的度量指出数据的异常，从而在所有的聚集层次上指导用户的数据分析过程，降低分析过程的盲目性。

传统概念下的OLAP系统在其功能上有很大的局限性：用户或分析者通过OLAP系统提供的诸如下钻、上卷、切片、切块等OLAP操作符搜索立方体中感兴趣的数据。这些操作虽然实现了灵活探索立方体中数据的功能，但大量的钻取操作令人乏味。传统OLAP系统不能给出有益于用户寻找到异常或感兴趣的模式的指导，使用户迷失于浩瀚的数据中。同时也不善于捕捉数据的异常，而数据的异常信息通常是决策分析所必须的。因此系统对决策的支持能力也非常有限。

现有的智能探查方法比如

Bayes（贝叶斯算法），主要依靠分类的方法来确定异常点，但是它最大的缺点是假定维度之间都是孤立没有联系的。本项目采用线性回归与五数分布（分布的五数概括由中位数M、四分位数1Q和3Q以及最小值和最大值组成）相结合的算法，既保留了线性回归的准确性，又大幅度的提高了效率。

目前主流的研究方向是利用一些简单的数据挖掘技术，为用户自主的探查提供一定的预设路径。本实施例结合目前主流的技术思路，以及多年在OLAP方面和数据挖掘方面的项目经验，总结出智能探索的算法，该智能探查算法包括：假设最初的问题在于找到立方体（cube）中最细节数据的异常情况，定义

Figure 2014100490496100002DEST_PATH_IMAGE004

为立方体C中位于第r个维上r_i位置上的值的期望值，

Figure 2014100490496100002DEST_PATH_IMAGE006

是

的高层分组的函数：

{\hat{y}}_{l_{1} l_{2} . . . l_{n}} = f (γ_{(l_{r} | d_{r} &Element; G)}^{G} | G &Subset; {d_{1}, d_{2}, . . . d_{n}}),

其中，函数f可以根据不同应用取不同的形式，例如求和函数等，γ是统计模型的系数。系数γ反映了在较多细节层次上值的差异，是基于观察高层聚集的一般印象。这样，一个单元的异常性建立在它下层维值的异常程度之上。这样的设计为用户提示了进一步的探索指导。当用户看到异常时，自然的想到通过下钻进行进一步的异常值探索。

可以选用基于均值的模型估计γ系数的值。基于均值的γ系数估计模型在异常点（outliners）异常程度非常大的情况下健壮性较差，此时可以用其他的较健壮的方法，例如，中位数平滑法和平方结合法。

应用本实施例的智能探查算法的分析服务器，可以大大的缩短终端用户在异常发现方面的时间，提高数据分析效率。在金融行业的应用中，可以快速的帮助用户定位诸如欺诈、风险等可能的异常情况，帮助用户快速的找到有用的信息辅助决策。

另外，为了进一步提高数据的处理速度，以便提高用户查询的速度，本实施例提供的平台还可以采用多维立方体聚合存储技术。多维立方体利用预先聚合的方法来提高用户查询的速度，是典型的用空间换取时间的方法。多维立方体的聚合算法就是要用可能的较小的存储空间换取较大的查询时间的算法。MOLAP的方式就是将聚合实体化，然后压缩存储实体化所产生的稀疏矩阵。本申请采用预先探测维度密度的方法获得实体化矩阵的稀疏度，以获得多数情况下的高性价比。下面对聚合空间分析和优化算法进行具体说明。

假设有5个维度分别是A、B、C、D、E，每个维度下面分别有a、b、c、d、e五个层次，那么对于组合，维度组合示例如下表所示。

表2

				E0-Ee
					A0-Aa	B0-Bb	C0-Cc	D0-Dd	Fact

其中，0表示a到e中的一个层次。如果所产生的Fact如果是一个稀疏矩阵，则称E是稀疏维。所产生的Fact如果是一个稠密矩阵，则称E是稠密维。

维密度=（Sum(count(Fact))/行数）/Ee的列数。

其中，Sum表示求和运算，count表示计数运算。在计算过程中，指定一个基准维度（也成为公共维度，一般是时间维度），其密度是100%，该维度永远不会出现在顶坐标上（因为是按照时间抽取的数据，所以时间维度是基准维度，永远是100%）。

下面对维密度与数据量的关系进行说明。

在不同的维组合中，维密度一定和分析所包含的数据量有一定的相关性。下面设计一个实际的分析模型：

一个产品生产销售型的公司存在以下几个维度：

产品维度PD(5个大类C，30个小类CD，500种产品CDP）

客户地区维度RD(10个大区R，30个省RP，400个城市RPC）

时间维度TD(两年Y，8个季度YQ，24个月YQM，730天YQMD)

客户年龄段维度AD(5个年龄段）

假设RD和AD是稀疏维，PD和TD是稠密维，则各维度的维密度（密度*最小层数量>=1）分别是：

Dr=30%

Da=20%

Dp=70%

Dt=100%。

在这种情况下，事实表的纪录数是5*730*400*500*100%*70%*20%*30%=3066万条。

分析模型中仅含有稀疏维的组合：

RD和AD所组成的分析组合的细节数据量为5*400*30%*20%=120条纪录。

分析模型中既含有稀疏维也含有稠密维的组合：

RD和PD所组成的分析组合的细节数据量为400*500*70%*20%=28,000条纪录。

分析模型中仅含有稠密维的组合：

TD和PD所组成的分析组合的细节数据量为730*500*70%=255,500条纪录。

在本申请中，稠密维度包含事实表中的大部分数据。

另外，还可以对分析模型进行存储优化分析，存储优化的目的是提高多维查询请求的响应速度，策略是以可以接受的存储空间代价换得最大的响应速度。

此外，还可以进行高层维度组合优化，高层维度的组合存储带来的代价最低，产生的效果最大。如上例中，已经假设：

产品维度PD(5个大类C，30个小类CD，500种产品CDP）

客户地区维度RD(10个大区R，30个省RP，400个城市RPC）

时间维度TD(两年Y，8个季度YQ，24个月YQM，730天YQMD）

客户年龄段维度AD(5个年龄段）。

此时，可以存储以下组合：

第一层C,R,Y,A：最多产生5*10*2*5*20%=100条纪录。

第二层CD,RP,YQ,A：最多产生30*30*8*5*20%=72,00条纪录。

第三层CDP,RPC,YQM,A：最多产生500*400*24*5*70%*30%*20%=1,008,000条纪录。

根据数据密度来选择在哪个层次停止存储，对优化高粒度数据有很明显的效果。

在本申请的一个优选实例中，还提供了高密度维的存储优化，其中，维数据量=密度*最小层条目数量。假设由于高密度维的大数据量，在一个分析模型中，同时展开两个或者以上的高密度维到细节的可能性不存在。假设ABCD四个维度组成一个分析模型，细节数据量A=500,B=600,C=10,D=50，其中AB是高密度维，假如同时将AB展开将产生500*600=30万条纪录，在一个图形界面上显示30万个单元显然是没有分析价值的。

对于ABCD优化的存储组合包括：

C0-D0-B0-Ax

C1-D1-B1-Ax

Cx-Dx-Bn-Ax

C0-D0-A0-Bx

C1-D1-A1-Bx

Cx-Dx-An-Bx。

在本申请的另一个优选实例中，还提供了高密度维分区存储优化。上面假设两个以上的高密度维交叉查询的可能性不大，但是实际应用中获取这种交叉中部分数据的可能性还是存在的，因此可以在高密度维存储优化的基础上对高密度维的最小粒度进行分区存储，以保证每次查询落在一个较小的分区中。

本申请提供的平台遵循J2EE（Java2Platform,Enterprise Edition）规范，J2EE规范提供了底层开发的环境和依据，对于企业级的应用如集群、数据库连接池、线程池等底层提供了有效的支持。

本申请提供的平台使用可扩展标记语言（eXtensible Markup Language，XML），XML语言作为描述语言拥有很好的开放性。在IT工业界，开放的才是有生命力的，开放才是标准诞生的基础。

使用XML语言的平台可以应用到以下至少之一：对象模型描述、工程结构描述、商业逻辑描述、数据结构、元数据描述、分析模型描述、和前端展现描述。

本申请提供的平台使用WEB技术。由于现在基于Web的应用在用户界面和商业逻辑之间总是存在着断层，专业的网页设计人员与专业的业务逻辑实现人员存在着沟通的困难，从而使得项目的进展变得不如人意。本实施例所提供的平台中应用了封装的Web Application Graphics User Interface（Web应用图形用户界接口），这正是为了解决这一难题而产生的，该接口提供了一系列通用、美观的控件，使得程序员可以更加专注于业务逻辑的设计；同时对于现有的核心应用，提供了快速搭建不同界面的能力。本申请所述的平台应用了WEB的以下技术标准至少之一：WEB应用框架、标准表单、数据库操作、后台应用接口、和前端控件。

本实施例所述的平台还可以使用组件，组件是当前流行的基于OO技术的开发方法，可以比较好地支持业务模块重用。可以认为构件由一方定义其规格说明，被另一方实现，然后供给第三方使用。接口（interface）是用户与构件发生交互的连接渠道，第三方只能通过构件接口的规格说明理解和复用构件，接口规格说明也是一种“契约”（contract）,它足够精确地描述构件实现的功能，同时又不把构件限定于唯一的实现方法，这种不确定带来多解决方案的灵活性。另一方面，虽然构件可以独立部署的，但是一个构件可能会用到其它构件或平台提供的服务，或者说基于构件的软件系统中通常是多个构件协作完成一定功能，所以构件依赖于组装环境或称为语境（context）。

构件基础设施（infrastructure）是异构构件互操作的标准和通信平台，构件框架（Framework）是构件实例“即插即用”的支撑结构。通过一定的环境条件和交互规则，构件框架允许一组构件形成一个“孤岛”，独立地与外部构件或其他框架交互和协作，因此构件框架及其内含的构件也可以视为一个构件，于是构件通过不断的迭代和合成，构成一个结构复杂的应用系统。

本实施例提供的平台能够实现以下指标：对于报表部分，即席查询响应时间<3秒，业务报表（第一页不需要整体数据计算的）第一页响应时间<5秒，单查询处理数据<2的31次方（条）；对于在线分析部分，单位时间内维度查询能力：3000成员/秒，多维查询响应时间（查询中含有不超过一个高密度维的最小粒度成员）<5秒，多维查询响应时间（查询中含有超过一个高密度维的最小粒度成员）<8秒，以标准RDBMS作为存储介质时，数据量无限制；以文件作为存储介质时，数据量满足条件：单Cube<2GB；对于并发能力，设计目标是AQM=247,524（测试环境要求至少是64-bit Itanium2服务器（servers）以上的配置），其中，AQM是（Average Queries per Minute：平均每分钟的OLAP查询数量）。

本实施例平台采用的软件将采用开放式、构件化的架构设计来保证系统在未来可以方便地扩展和维护。由于采用了构件化和可插拔的服务架构。

本实施例平台采用的软件由可拆卸的功能模块软件构成，各个模块可以做为构件在相关项目中使用。构件化的产品也能够保证在不改变软件的整体结构的情况下，更新相关模块的技术，提高整个软件产品的技术水平。

本实施例平台采用的软件的相关接口是标准的，可以和金融、电信和电子政务的应用软件系统实现无缝集成。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上对本申请所提供的一种多维数据的处理方法和装置，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种多维数据的处理方法，其特征在于，包括：

获取多维数据的第一维度数据的第一层数据；

确定所述第一层数据中未满足预定条件的第一数据；

获取所述第一维度数据的第二层数据中与所述第一数据相对应的数据，其中，所述第二层数据的数据量大于所述第一层数据的数据量；

在所述第二层数据中与所述第一数据相对应的数据中确定未满足所述预定条件的第二数据；

根据所述第二数据对所述多维数据进行分析。

2.如权利要求1所述的方法，其特征在于，确定所述第一层数据中未满足预定条件的第一数据包括：

判断所述第一层数据中的数据与期望值之间的误差是否大于阈值；

将所述第一层数据中与所述期望值之间的误差大于所述阈值的数据确定为所述第一数据。

3.如权利要求1所述的方法，其特征在于，在根据所述第二数据对所述多维数据进行分析之前，所述方法还包括：

确定所述多维数据中的公共维度；

将所述公共维度的每一层数据与多维数据中的其他维度的每一层数据进行聚合；

存储聚合后的结果。

4.如权利要求3所述的方法，其特征在于，根据所述第二数据对所述多维数据进行分析包括：

从聚合后的结果中选取包含所述第一维度数据的第二层数据的聚合结果，所述聚合结果包括所述第一维度数据的第二层数据和第二维度数据；

结合所述第二维度的数据对所述多维数据进行分析。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述多维数据包括以下至少两个的任意组合：

时间维度的数据、空间维度的数据、产品维度的数据。

6.一种多维数据的处理装置，其特征在于，包括：

第一获取模块，用于获取多维数据的第一维度数据的第一层数据；

第一确定模块，用于确定所述第一层数据中未满足预定条件的第一数据；

第二获取模块，用于获取所述第一维度数据的第二层数据中与所述第一数据相对应的数据，其中，所述第二层数据的数据量大于所述第一层数据的数据量；

第二确定模块，用于在所述第二层数据中与所述第一数据相对应的数据中确定未满足所述预定条件的第二数据；

分析模块，用于根据所述第二数据对所述多维数据进行分析。

7.如权利要求6所述的装置，其特征在于，所述第一确定模块用于：

8.如权利要求6所述的装置，其特征在于，所述装置还包括：

第三确定模块，用于在根据所述第二数据对所述多维数据进行分析之前，确定所述多维数据中的公共维度；

聚合模块，用于将所述公共维度的每一层数据与多维数据中的其他维度的每一层数据进行聚合；

存储模块，用于存储聚合后的结果。

9.如权利要求8所述的装置，其特征在于，所述分析模块还用于：

结合所述第二维度的数据对所述多维数据进行分析。

10.如权利要求6至9中任一项所述的装置，其特征在于，所述多维数据包括以下至少两个的任意组合：

时间维度的数据、空间维度的数据、产品维度的数据。