CN102662994A

CN102662994A - 利用虚拟多维数据集建立数据仓库的方法和系统

Info

Publication number: CN102662994A
Application number: CN2012100675756A
Authority: CN
Inventors: 刘文圣; 张眸; 林敏�; 吴明星
Original assignee: BEIJING JOIN-CHEER SOFTWARE CO LTD
Current assignee: BEIJING JOIN-CHEER SOFTWARE CO LTD
Priority date: 2012-03-14
Filing date: 2012-03-14
Publication date: 2012-09-12

Abstract

本发明提供一种利用虚拟多维数据集建立数据仓库的方法和系统。该利用虚拟多维数据集建立数据仓库的系统包括：数据仓库建立平台和业务系统；其中，所述数据仓库建立平台用于建立数据仓库系统，所述数据仓库系统包括：包含元数据和映射数据的虚拟多维数据集；映射模块，用于对业务实体数据的元数据进行映射而生成所述的映射数据；所述业务系统包括：所述业务实体数据；虚拟多维数据集接口，所述虚拟多维数据集通过所述虚拟多维数据集接口与所述业务系统进行数据通信。

Description

利用虚拟多维数据集建立数据仓库的方法和系统

技术领域

本发明关于数据仓库技术领域，特别是关于一种利用虚拟多维数据集建立数据仓库的方法和系统。

背景技术

目前，数据仓库的建设方法，主要通过以下两种现有技术来实现：

现有技术一：采用ETL(Extraction-Transformation-Loading，数据提取、转换和加载)技术，将外围系统的数据加载到数据仓库中，进而建立数据集市，从而实现对于数据的多维分析。但是这种技术具有很显著的缺陷，表现在：

1.实时性差，由于需要通过ETL等技术，将业务系统中数据加载到数据仓库中，数据的实时性差，不能将最近最新的数据在数据仓库中进行分析；

2.实施成本高，需要有专门的人员对于业务系统的数据进行分析，负责完成数据从数据源向目标数据仓库转移。

3.数据冗余存储，传统的数据仓库的构建方法，要在数据仓库中存储大量的业务系统数据，这样在存储上产生了大量的冗余数据，并且当业务系统的数据一旦加载到数据仓库中，对于先前数据的调整十分不便。

现有技术二：通过直接连接业务系统数据库定制开发数据查询引擎。这种技术的缺陷表现在：由于是定制开发，该方法不具备通用性。对每一个业务系统都要单独开发数据查询模块，开发工作量大，建设速度慢，无法复用。

发明内容

鉴于现有技术的缺陷，本发明提供一种利用虚拟多维数据集建立数据仓库的方法和系统，以减少搭建数据仓库的实施工作量，并大幅度减少了业务系统数据在数据仓库系统中的存储量。

该利用虚拟多维数据集建立数据仓库的系统包括：数据仓库建立平台和业务系统；

其中，所述数据仓库建立平台用于建立数据仓库系统，所述数据仓库系统包括：

包含元数据和映射数据的虚拟多维数据集；

映射模块，用于对业务实体数据的元数据进行映射而生成所述的映射数据；

所述业务系统包括：

所述业务实体数据；

虚拟多维数据集接口，所述虚拟多维数据集通过所述虚拟多维数据集接口与所述业务系统进行数据通信。

所述利用虚拟多维数据集建立数据仓库的系统还包括：

上层应用模块，用于向所述数据仓库系统发送多维数据查询消息，并接收所述数据仓库系统返回的多维数据查询结果。

所述数据仓库系统还包括：

多维数据查询消息接收模块，用于接收所述多维数据查询消息；

多维数据查询消息解析模块，用于分析所述多维数据查询消息，构建出面向所述业务系统的业务系统查询对象；

业务系统查询对象发送模块，用于向所述业务系统发送所述业务系统查询对象。

所述业务系统还包括：

业务系统查询对象解析模块，用于解析所述业务系统查询对象，生成查询对象解析结果信息；

数据查询模块，用于根据所述的查询对象解析结果信息进行数据查询，生成数据查询结果；

数据查询结果发送模块，用于通过所述虚拟多维数据集接口向所述数据仓库系统发送数据查询结果。

所述数据仓库系统还包括：

数据查询结果接收模块，用于接收所述数据查询结果；

数据查询结果合并计算模块，用于对所述数据查询结果进行合并计算，生成所述多维数据查询结果；

多维数据查询结果发送模块，用于将整合后的数据结果发送至所述上层应用模块。

所述业务实体数据包括：关系二维表、数据视图、文件等不同存储形式的数据。

所述的利用虚拟多维数据集建立数据仓库的方法包括：

建立数据仓库系统，包括：对业务实体数据进行映射而生成所述的映射数据；其中，所述数据仓库系统包含：由元数据和所述映射数据组成的虚拟多维数据集；

使用业务系统与所述虚拟多维数据集进行数据通信；其中，所述业务系统包括：所述业务实体数据。

所述方法还包括：

向所述数据仓库系统发送多维数据查询消息，并接收所述数据仓库系统返回的多维数据查询结果。

所述方法还包括：

接收所述多维数据查询消息；

分析所述多维数据查询消息，构建出面向所述业务系统的业务系统查询对象；

向所述业务系统发送所述业务系统查询对象。

所述方法还包括：

解析所述业务系统查询对象，生成查询对象解析结果信息；

根据所述的查询对象解析结果信息进行数据查询，生成数据查询结果；

通过所述虚拟多维数据集接口向所述数据仓库系统发送数据查询结果。

所述方法还包括：

接收所述数据查询结果；

对所述数据查询结果进行合并计算，生成所述多维数据查询结果；

发送整合后的数据结果。

本发明的有益效果在于，本发明提供的技术方案能够解决传统数据仓库建设方法缺点的技术方法。虚拟多维数据集就是通过将业务数据映射成多维数据集的方式，来弥补传统数据仓库的不足。

此外，由于本发明中数据的提供者是外围系统，是在分析实体数据时实时加载外围系统中的数据，而不再需要将所要分析的实体数据存储在数据仓库中，这样减轻了BI实施环节中的ETL的工作。从根本上解决了传统BI系统实时性差，ETL工作量大的缺点。此种虚拟多维数据集的构建方式，使得BI项目建设效率有了提升，从而也可以使BI系统对接更加丰富的数据源，如业务数据系统，普通二维数据表，文件等。本发明提出的虚拟多维数据集的概念及其实现方法，允许宿主系统通过虚拟多维数据集提供的多维数据组织形式透明访问所依赖的物理实质数据实体，从而大幅度提高了商业智能(BI)应用环境下数据建模和数据访问的灵活性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的利用虚拟多维数据集建立数据仓库的系统的结构示意图；

图2为本发明提供的利用虚拟多维数据集建立数据仓库的系统的另一结构示意图；

图3为本发明提供的利用虚拟多维数据集建立数据仓库的系统的又一结构示意图；

图4为本发明提供的利用虚拟多维数据集建立数据仓库的系统的又一结构示意图；

图5为本发明提供的利用虚拟多维数据集建立数据仓库的方法的流程图；

图6为本发明提供的利用虚拟多维数据集建立数据仓库的方法的流程图；

图7为本发明提供的利用虚拟多维数据集建立数据仓库的方法的流程图；

图8为本发明提供的利用虚拟多维数据集建立数据仓库的方法的流程图；

图9为本发明提供的利用虚拟多维数据集建立数据仓库的方法的流程图；

图10为本发明提供的建立虚拟多维数据集的流程图；

图11为本发明提供的查询虚拟多维数据集的流程图；

图12为本发明提供的数据仓库建立平台的登录示意图；

图13至图16为本发明提供的数据仓库建立平台的界面示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1、图2、图3至图4为本发明提供的利用虚拟多维数据集建立数据仓库的系统的结构示意图，请结合参阅上述4个图。该利用虚拟多维数据集建立数据仓库的系统，包括：数据仓库建立平台101和业务系统102。其中，所述数据仓库建立平台101用于建立数据仓库系统，所述数据仓库系统进一步包括：虚拟多维数据集1012和映射模块1011，而虚拟多维数据集1012中又包含元数据1013和映射数据1014。此虚拟多维数据集为逻辑上的多维数据集，在数据仓库中只对多维数据集的元数据(包括维度元数据和度量元数据)进行存储，即建立数据的模型，而不对业务数据进行存储。映射模块1011，用于对业务实体数据1022的元数据进行映射而生成所述的映射数据1014。

业务系统102包括：业务实体数据1022和虚拟多维数据集接口1021。所述虚拟多维数据集1012通过所述虚拟多维数据集接口1021与所述业务系统102进行数据通信。

进一步地，如图2所示，所述利用虚拟多维数据集建立数据仓库的系统100还包括：上层应用模块103，用于向所述数据仓库系统发送多维数据查询消息，并接收所述数据仓库系统返回的多维数据查询结果，最终获得所需要的业务数据的数据集。上层应用模块103可以为预定义报表、即席查询、OLAP等。

如图4所示，所述数据仓库系统还包括：多维数据查询消息接收模块1015，用于接收所述多维数据查询消息；多维数据查询消息解析模块1016，用于分析所述多维数据查询消息，构建出面向所述业务系统的业务系统查询对象；业务系统查询对象发送模块1017，用于向所述业务系统发送所述业务系统查询对象。

所述业务系统102还包括：业务系统查询对象解析模块1023，用于解析所述业务系统查询对象，生成查询对象解析结果信息；数据查询模块1024，用于根据所述的查询对象解析结果信息进行数据查询，生成数据查询结果；数据查询结果发送模块1025，用于通过所述虚拟多维数据集接口向所述数据仓库系统发送数据查询结果。

所述数据仓库系统还包括：数据查询结果接收模块1018，用于接收所述数据查询结果；数据查询结果合并计算模块1019，用于对所述数据查询结果进行合并计算，生成所述多维数据查询结果；多维数据查询结果发送模块1010，用于将整合后的数据结果发送至所述上层应用模块。

具体地，所述业务实体数据包括：关系二维表、数据视图、文件等不同存储形式的数据。

通过上述结构的描述，则可以实现数据仓库的上层应用模块103借助于多维数据集1012对业务系统102进行访问。数据的提供者是外围系统(业务系统1012)，是在分析实体数据时实时加载外围系统中的数据，而不再需要将所要分析的实体数据存储在数据仓库中，这样减轻了BI实施环节中的ETL的工作。

图5至图9为本发明提供的利用虚拟多维数据集建立数据仓库的方法的流程图，请结合图5至图9以及图1至图4相互参阅。该利用虚拟多维数据集建立数据仓库的方法，其特征在于，所述的方法包括：

步骤S101，建立数据仓库系统，包括：对业务实体数据的元数据进行映射而生成所述的映射数据；其中，所述数据仓库系统包含：由元数据和所述映射数据组成的虚拟多维数据集；

步骤S102，使用业务系统与所述虚拟多维数据集进行数据通信；其中，所述业务系统包括：所述业务实体数据。

所述方法还包括：步骤S103，向所述数据仓库系统发送多维数据查询消息，并接收所述数据仓库系统返回的多维数据查询结果。

所述方法还包括：

步骤S201，接收所述多维数据查询消息；

步骤S202，分析所述多维数据查询消息，构建出面向所述业务系统的业务系统查询对象；

步骤S203，向所述业务系统发送所述业务系统查询对象。

所述方法还包括：

步骤S301，解析所述业务系统查询对象，生成查询对象解析结果信息；

步骤S302，根据所述的查询对象解析结果信息进行数据查询，生成数据查询结果；

步骤S303，通过所述虚拟多维数据集接口向所述数据仓库系统发送数据查询结果。

所述方法还包括：

步骤S401，接收所述数据查询结果；

步骤S402，对所述数据查询结果进行合并计算，生成所述多维数据查询结果；

步骤S403，发送整合后的数据结果。

图10为本发明提供的建立虚拟多维数据集的流程图。该建立虚拟多维数据集的流程包括：

步骤S501，建立虚拟多维数据集(填写名称、标题等)；

步骤S502，选取业务系统多维数据集模型；

步骤S503，调用业务系统多维数据集模型提供接口；

步骤S504，获取多维数据集元数据信息；

步骤S505，将元数据信息存储到数据仓库中；

步骤S506，建立虚拟多维数据集结束。

图11为本发明提供的查询虚拟多维数据集的流程图；该查询流程包括：

步骤S601，查询对象(包含查询的维度、原子度量、计算表达式和过滤条件)；

步骤S602，分析查询对象、拆解表达式成原子度量、构建过滤条件；

步骤S603，元数据转换(将查询的维度和原子度量的元数据信息转换成业务系统中的元数据信息)

步骤S604，构建业务系统数据查询对象(只包括维度和原子度量及过滤条件)；

步骤S605，调用业务系统数据，提供接口查询数据；

步骤S606，获取数据并构建原子数据结果集；

步骤S607，构建查询结果对应的结果集(应用原子度量的数据值构建计算表达式的值)。

图12为本发明提供的数据仓库建立平台的登录示意图；

图13至图16为本发明提供的数据仓库建立平台的界面示意图。其中包括了新建虚拟多维数据集(图中标示为“cube”)的各界面截图。

将第三方虚拟多维数据集管理模块加入到数据仓库建模平台中，包括虚拟多维数据集管理模块和数据获取模块。如，可以将“虚拟多维数据集”管理模块加入到平台中。

当“虚拟多维数据集”管理模块加入到平台后，在平台中会出现“新建虚拟多维数据集”的选项。在选择“新建虚拟多维数据集”选项后，将弹出建立虚拟多维数据集的向导界面。

在数据仓库建模平台建立虚拟多维数据集，包括定义多维数据集的名称，选择数据源，选择模型等配置信息。如名称为“预算分析”。在选择模型时，实现了多维数据集与第三方数据模型的映射，从而达到第三方数据向多维数据模型的映射的目的。

在此过程中，需要第三方数据提供多维数据集关联的维度和度量的元数据信息。在建立虚拟多维数据集成功后，系统将虚拟多维数据集及其关联的维度和度量的元数据信息，存储在数据仓库系统中，供上层应用使用。

在数据仓库的上层应用中，如报表，图表等，在配置界面选取多维数据集的选项处，可以对之前建立的“预算分析”虚拟多维数据集进行选取。从而可以对该多维数据集进行与普通多维数据同样的操作，进而实现了对于存储于外部系统中预算数据的多维模型分析和展现。

以下代码为虚拟多维度数据集模型数据结构：

其中，Dimensions用来表示模型中所包含的维度的信息，Measures用来表示模型中所包含的度量的信息。

在Dimensions中，每一个Dimension用来描述一个维度的信息(主要包括维度的标识、名称、标题等信息)，Attribute用来描述维属性的信息(主要包括维属性的标识、名称、标题、数据类型等信息)。

在Measures中，每一个Measure用来描述一个度量的信息(主要包括度量的标识、名称、标题、数据类型、聚合类型、应用类型等信息)。

系统会根据此XML信息构建对应的多维数据模型，并该XML中描述的元数据信息保存在数据仓库中。

以下代码为虚拟多维数据集查询对象数据结构：

其中，cubeId用来表示查询的多维模型，attribute用来表示查询的维属性，measure用来表示查询的度量。在attribute中，attributeId表示维属性的标识，dimensionId表示维度的标识，filterValue表示该维属性所要过滤的值。

系统会将此段XML发送给业务系统，业务系统需要解析此段XML，从而根据查询的要求进行相应的数据查询。

以下代码为业务返回数据集结果数据结构：

其中column段用来说明结构集的元数据，用以描述每个字段的名称和数据类型，data段用来描述具体的数据值。

第三方系统需要按照此数据格式要求进行数据查询的数据结果返回，以保证系统可以对数据结果进行解析和数据集的构建。

通过上述方法，可以实现数据仓库的上层应用模块103借助于多维数据集1012对业务系统102进行访问。数据的提供者是外围系统(业务系统1012)，是在分析实体数据时实时加载外围系统中的数据，而不再需要将所要分析的实体数据存储在数据仓库中，这样减轻了BI实施环节中的ETL的工作。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种利用虚拟多维数据集建立数据仓库的系统，其特征在于，包括：数据仓库建立平台和业务系统；

包含元数据和映射数据的虚拟多维数据集；

所述业务系统包括：

所述业务实体数据；

2.如权利要求1所述的利用虚拟多维数据集建立数据仓库的系统，其特征在于，所述利用虚拟多维数据集建立数据仓库的系统还包括：

3.如权利要求1所述的利用虚拟多维数据集建立数据仓库的系统，其特征在于，所述数据仓库系统还包括：

4.如权利要求3所述的利用虚拟多维数据集建立数据仓库的系统，其特征在于，所述业务系统还包括：

5.如权利要求4所述的利用虚拟多维数据集建立数据仓库的系统，其特征在于，所述数据仓库系统还包括：

数据查询结果接收模块，用于接收所述数据查询结果；

6.如权利要求1所述的利用虚拟多维数据集建立数据仓库的系统，其特征在于，所述业务实体数据包括：关系二维表、数据视图、文件。

7.一种利用虚拟多维数据集建立数据仓库的方法，其特征在于，所述的方法包括：

8.如权利要求7所述的利用虚拟多维数据集建立数据仓库的方法，其特征在于，所述方法还包括：

9.如权利要求7所述的利用虚拟多维数据集建立数据仓库的方法，其特征在于，所述方法还包括：

接收所述多维数据查询消息；

向所述业务系统发送所述业务系统查询对象。

10.如权利要求9所述的利用虚拟多维数据集建立数据仓库的方法，其特征在于，所述方法还包括：

解析所述业务系统查询对象，生成查询对象解析结果信息；

11.如权利要求10所述的利用虚拟多维数据集建立数据仓库的方法，其特征在于，所述方法还包括：

接收所述数据查询结果；

发送整合后的数据结果。

12.如权利要求7所述的利用虚拟多维数据集建立数据仓库的方法其特征在于，所述业务实体数据包括：关系二维表、数据视图。