CN103164476A

CN103164476A - 一种bi应用元数据描述文件的执行方法和装置

Info

Publication number: CN103164476A
Application number: CN2011104250731A
Authority: CN
Inventors: 江志雄; 邓超; 高丹
Original assignee: China Mobile Communications Group Co Ltd
Current assignee: China Mobile Communications Group Co Ltd
Priority date: 2011-12-16
Filing date: 2011-12-16
Publication date: 2013-06-19

Abstract

本发明公开了一种BI应用元数据描述文件的执行方法，包括：A、获取并解析BI应用元数据描述文件中的业务层元数据；根据业务层元数据中的业务流程控制元数据，依次执行业务流程控制元数据中的各个BI任务节点；B、根据各个BI任务节点所指向的BI任务元数据描述文件，依次解析并执行各个BI任务元数据。此外，本发明还公开了一种BI应用元数据描述文件的执行装置。本发明采取了上述技术方案以后，具有高效的BI应用处理能力，且其采取层次化调用并执行的方法，能够具有高效执行集成的各种不同的BI任务和工具的优点。

Description

一种BI应用元数据描述文件的执行方法和装置

技术领域

本发明涉及一种商务智能应用元数据描述文件的执行方法，属于数据业务领域。

背景技术

商务智能，英文为Business Intelligence，简写为BI。

其中，商业智能通常被理解为将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策的工具。

一般地，商业智能的基本体系结构包括ETL、联机分析处理和数据挖掘三个部分。其中，商业智能的关键是从许多来自不同的企业运作系统的数据中提取出有用的数据并进行清理，以保证数据的正确性，然后经过抽取(Extraction)、转换(Transformation)和装载(Load)，即ETL过程，合并到一个企业级的数据仓库里，从而得到企业数据的一个全局视图，在此基础上利用合适的查询和分析工具、数据挖掘工具、OLAP工具等对其进行分析和处理(这时信息变为辅助决策的知识)，最后将知识呈现给管理者，为管理者的决策过程提供支持。

其中，图1是现有技术中的一个BI体系架构的示意图；

其中，整个体系包括：终端用户查询和报告工具、OLAP工具、数据挖掘(Data Mining)软件、数据仓库(Data Warehouse)和数据集市(Data Mart)产品、联机分析处理(OLAP)等工具。

随着企业数据的海量增长以及处理逻辑的日益复杂，使得现有的BI系统越来越难以满足企业的需求，其中，主要存在以下缺点：

(1).可集成性不足：

不同的BI任务具有风格迥异的描述方案，例如：ETL的描述方案关注的是ETL的流程，而Report的描述方案则关注展示的风格和样式。现有BI系统的缺乏一个统一的BI应用描述规范，使得各种不同的BI任务和工具之间难以集成。

(2).现有BI应用开发方式不能适应不同层次的开发人员协作开发，共同构建应用，其灵活性有待提高。

(3).开发BI系统，难度大，周期长：

BI系统的功能，既涉及到业务流程、信息分析技术，又涉及到负载、调度、监控、流程控制等平台构建技术，这些技术的开发，集成，难度大，耗时长，质量难以保证。

(4)BI应用执行和解析复杂。

发明内容

本发明针对现有技术中的BI应用开发的缺点，设计了一种BI应用元数据描述规范用以辅助BI的应用开发。

同时，根据本发明的第一目的，本发明提供了一种BI应用元数据描述文件的执行方法，具体包括：

A、获取并解析BI应用元数据描述文件中的业务层元数据；

根据业务层元数据中的业务流程控制元数据，依次执行业务流程控制元数据中的各个BI任务节点；

B、根据各个BI任务节点所指向的BI任务元数据描述文件，依次解析并执行各个BI任务元数据。

其中，优选的是，所述各个BI任务节点通过该BI任务节点所绑定的行为的源属性指向并调用执行所述BI任务元数据描述文件。

其中，步骤B中，所述BI任务节点是ETL任务节点，其中，解析ETL任务元数据具体包括：

根据ETL任务元数据描述文件中的BI组件元数据获取到所要执行的组件元数据的文件路径；

调用组件元数据的文件路径所指向的各个组件元数据，解析所述各个组件元数据。

其中，步骤B中，所述BI任务节点是Report任务节点；其中，解析Report任务元数据具体包括：

根据Report任务元数据描述文件中的数据源元数据的内容读取数据，并进行数据展现。

此外，优选的是，步骤B中，进一步包括：

获取Report任务元数据描述文件中的外观定义元数据，根据所述外观定义元数据中的布局和风格的描述进行数据展现。

本发明采取了上述技术方案以后，具有高效的BI应用处理能力；并且，所述BI应用元数据描述文件针对各个BI任务，具有风格同一的技术优点，即各种不同的BI任务和工具容易集成在一起；

在进行BI应用元数据描述文件的解析中，能够基于这种层次性的特点进行相应文件的解析和执行，因此，其执行效率较高。

根据本发明的第二目的，本发明提供了一种BI应用元数据的执行装置，具体来说，其技术方案如下：

一种BI应用元数据描述文件的执行装置，包括：

BI业务引擎模块，用于获取并解析BI应用元数据描述文件中的业务层元数据；

BI任务引擎模块，根据各个BI任务节点所指向的BI任务元数据描述文件，依次解析并执行各个BI任务元数据。

其中，优选的是，所述BI任务引擎任务模块包括：

ETL子引擎模块，用于根据ETL任务元数据描述文件中的BI组件元数据获取到所要执行的组件元数据的文件路径；

其中，优选的是，所述BI任务引擎任务模块包括：

Report子引擎模块，用于根据Report任务元数据描述文件中的数据源元数据的内容读取数据，并进行数据展现。

其中，优选的是，所述Report子引擎模块，

还用于获取Report任务元数据描述文件中的外观定义元数据，根据所述外观定义元数据中的布局和风格的描述进行数据展现。

本申请所采取的装置，能够对分层次化设计的BI应用元数据描述文件进行分层次地执行和调用各个任务元数据或者组件元数据，因此，其执行效率较高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

下面结合附图对本发明进行详细的描述，以使得本发明的上述优点更加明确。

图1是现有技术中的一个BI体系架构的示意图；

图2是本发明所述的三层结构元数据关系示意图；

图3是本发明实施例中ETL元数据的开发过程示意图；

图4是本发明实施例的BI应用元数据的开发过程示意图；

图5是本发明所述的三层结构元数据关系的调用的示意图；

图6是本发明实施例中BI应用元数据描述文件的执行方法示意图；

图7是本发明实施例的BI应用元数据描述文件的执行方法的示意图；

图8是本发明所应用的BI-PaaS平台的示意图；

图9是本发明一个实施例的应用元数据描述文件的执行方法的示意图；

图10是本发明所述的BI应用元数据描述文件的执行装置的示意图。

具体实施方式

目前的BI系统在集成方面非常困难，也无法支持方便的协作开发，主要是因为没有一个标准的分层式流程定义语言。

本申请从现代BI系统的需求出发，提供了一种标准的BI应用元数据描述规范，对BI应用涉及的业务、任务及组件进行统一定义，以方便将诸如报表、DM(Data Ming，数据挖掘)、ETL、OLAP等不同的BI任务进行集成开发。并且，这种BI应用元数据描述规范也支持复杂的数据处理流程和业务逻辑流程。

首先，针对本发明所述的分层式的元数据描述规范进行描述，图1是现有技术中的一个BI体系架构的示意图；如图1所示，根据所述BI元数据描述规范，BI应用的元数据分为以下三个层次：

业务层元数据：

用于描述BI应用对应的业务流程。其中，一个BI应用可以看作是一系列BI任务的集合，BI应用为了实现某一业务目标，其中，主要采用工作流机制将多个BI任务组合形成BI业务流程。

任务层元数据：

用于描述OLAP、数据挖掘、ETL、报表等BI任务所对应的数据处理序列。其中，一个BI任务由一系列的BI组件组成，其中，采用数据处理流控制结构将多个BI组件组合形成BI数据处理序列。

组件层元数据：

用于描述最基本的BI操作实例。其中，每个BI组件有自己的输入和输出参数、并行配置信息，而多个BI组件连接起来就构成了BI组件序列，完成一个较复杂的BI任务。

其中，在本申请之中，分层式元数据描述规范中还包括了元数据的分层集成和同层传递，也即是说，业务层对任务层的元数据集成，任务层对组件层的元数据集成；任务层之间的元数据传递，组件层之间的元数据传递；其中，上述之间的分层集成和同层传递的关系如图2所述的三层结构元数据关系示意图所示。

更具体来说，本申请中的分层式元数据描述规范中的三个层次的元数据如下：

一、业务层元数据：

本申请之中，一个BI应用被定义成一个业务流程，其中，为了实现复杂的业务逻辑及BI任务的集成，所述BI应用业务层元数据包括两类元数据：

1.1、业务流程控制元数据和1.2、BI任务节点元数据。

其中，1.1、业务流程控制元数据：主要用于业务流程的跳转控制，实现复杂的业务流程，主要包括以下几种：

start：开始节点，是一个流程的起点。

end：结束节点，是一个流程的终点。fork：分支节点，将单个执行流程分裂成多个并发的执行流程。

join：合并节点，用于聚集多个并发的执行流程。

decision：决策节点，根据不同的条件，会有不同的执行路径。

transition：路由，为控制节点和BI节点的子元素，用于指明节点的下一跳。根据上述设计，这些控制节点被用于实现复杂的业务逻辑。

其中，1.2、BI任务节点元数据：主要用以描述对各种BI任务的引用，统一由bi-task表示。

每个bi-task上绑定一个action，表示在一个BI节点需要执行的BI任务，action的handler属性指明具体的BI任务类型，action的resource属性指明该节点对应的具体BI任务的元数据文件路径。

其中，业务层通过BI任务节点，描述了对BI任务元数据的引用，从而集成了任务层的元数据。

二、任务层元数据：

本申请之中，一个BI任务定义为一个执行序列。

每一个BI任务根据其所要执行的任务包含不同的任务层元数据，其中，以较为常见的ETL和Report的任务元数据为例说明。

2-1、ETL能力元数据

ETL以流的方式执行，一个ETL流由组件序列组成。在本申请之中，ETL任务元数据包括三种类型：

2.1.1数据元数据：描述数据中记录的属性信息。一个要进行处理的数据以文件形成存在，一个文件包括多条记录，一个数据记录由多个属性构成。

2.1.2BI组件元数据：用以描述对各种BI组件的引用，统一由bi-component表示。bi-component的子元素resource属性指明该组件对应的元数据文件路径。

2.1.3任务流程控制节点：

用于组件之间的连接，用“跳”(hop)来表示：

2-2、Report能力元数据

Report用于展现数据。Report元数据包含相应的数据源定义和外观定义，分为三种类型：

2.2.1数据元数据：与ETL的数据元数据相同。描述数据中记录的属性信息。一个要进行处理的数据以文件形成存在，一个文件包括多条记录，一个数据记录由多个属性构成。

2.2.2数据源元数据：描述报表数据的来源。不同的数据源具有不同的resource属性，如JDBC数据源包含数据库名、URL、用户名、密码等；HDFS数据源包含HDFS路径、字段分隔符等。

2.2.3外观定义元数据：描述报表数据的展现形式，用以辅助报表的生成，其中，其主要包括了布局信息(报表头，报表尾，主体等以及每个部分所包含的报表控件，如标签，文本框，饼状图，柱状图等)和风格信息(页眉，页脚，水印等)。

三、组件层元数据：

根据本申请所提及的BI应用元数据描述规范，其中，任务层元数据中引用了组件，具体组件元数据包含两类：实体元数据和参数元数据。

3.1、实体元数据：

用以描述组件的名称、类型和功能等信息。实体元数据用entry来描述，如：<entry>

3.2、参数元数据：描述组件的输入输出文件路径、并行化配置信息等。参数元数据用para来描述。如，

通过上述规范化的BI应用元数据描述规范，本申请能够有效地解决各个独立的BI工具的集成问题，进而能够协调在进行BI应用元数据描述文件开发和执行过程中的高效性。

方法实施例一：

其中，本申请之中，BI应用元数据描述文件由设计人员根据上述BI应用元数据描述规范进行开发设计，例如，在一个实施例之中，BI应用开发包括：ETL开发、Rule开发、和应用集成三个步骤，具体如下：

(1)ETL开发

用户操作：用户使用ETL设计器，拖拉相应图标到ETL流程编辑区，如图3所示的中ETL元数据的开发过程示意图；

其中，第一个Where组件用于从海量数据中选择某一号码，第二个Where用于选择通话类型的元组，GroupBy用于对通话时间的Sum聚集。

元数据生成：根据用户所拖拉图标和所作设置，从任务元数据映射表中，找出相对应的元数据标签，生成相应的流程元数据描述文件call.etl。若某一图标对应某一具体组件，进一步根据组件元数据映射表，则同时生成该组件元数据(algo.xml)。

(2)Report开发

用户操作：利用Report设计器，首先获得ETL任务传递过来的元数据，根据该数据定义数据源，用户以拖拽的方式生成报表界面。

元数据生成：根据用户所拖拉图标和所作设置，从任务元数据映射表中，找出相对应的元数据标签，生成相应的报表元数据文件demo.rpt，其中包含数据源元数据、外观定义元数据。

(3)应用集成

用户操作：利用集成设计器，拖拉相应图标到ETL流程编辑区，将前面所设计的ETL任务和报表任务进行集成，生成BI应用，其中，图4是本发明实施例的BI应用元数据的开发过程示意图；如图4所示：

其中的ETL节点和Report节点，分别绑定到前面ETL开发和Report开发所得的元数据文件上。该流程具有典型的控制结构。

其中，从start节点开始，经过分支节点fork后，分裂成两路，分别交由两个ETL节点，用户通话时间ETL1和用户发送短信条数ETL2执行，之后经过合并节点join再传至报表节点Report1处理，终止于end节点。

最后生成BI应用元数据文件(demo.process)，该文件可以采取XML格式的可扩展标记语言的形式，以便于其他装置对该文件进行解析和执行。其中，根据一个实施例，demo.process的内容如下：

至此，整个BI应用开发完毕，从而生成符合所述元数据描述规范的BI应用元数据描述文件。

其中，该BI应用元数据描述文件中，包括了三层的元数据结构，依次是业务层元数据、任务层元数据和组件层元数据，并且，各个层的元数据之间通过各个元数据的源属性(resource属性)进行调用。

并且，所述BI应用元数据描述文件针对各个BI任务，具有风格同一的技术优点，即各种不同的BI任务和工具容易集成在一起。

方法实施例二：

以下结合附图和具体实施例对本发明进行描述，其中，图6是本发明实施例中BI应用元数据描述文件的执行方法示意图；

根据本发明具体实施例，本发明提供了一种BI应用元数据描述文件的执行方法，具体来说，其包括下列步骤：

S101：获取并解析BI应用元数据描述文件中的业务层元数据；

S102：根据业务层元数据中的业务流程控制元数据，依次执行业务流程控制元数据中的各个BI任务节点；

S103：根据各个BI任务节点所指向的BI任务元数据描述文件，依次解析并执行各个BI任务元数据。

其中，在本申请的一个优选的实施例之中，具体包括：

所述各个BI任务节点通过该BI任务节点所绑定的行为的resource属性指向并调用执行所述BI任务元数据描述文件。

根据所述方法，具有高效的BI应用处理能力，并且，所述BI应用元数据描述文件针对各个BI任务，具有风格同一的技术优点，即各种不同的BI任务和工具容易集成在一起；并且，该实施例之中，在进行BI应用元数据描述文件的解析中，能够基于这种层次性的特点进行相应文件的解析和执行，因此，其执行效率较高。

方法实施例三：

以下结合具体实施例进行详细描述，图7是本发明实施例的BI应用元数据描述文件的执行方法的示意图；如图7所示，所述方法包括下列步骤：

S201：获取BI应用元数据描述文件；

其中，所述BI应用元数据描述文件中包含了根据上述方法而生成的具有相互间调用的各个业务层、任务层和组件层元数据；

S202：解析BI应用元数据描述文件中的业务层元数据；

其中，根据前述实施例，所述业务层元数据中包括了用于实现复杂逻辑的各种业务流程控制元数据，并且，还包括了用于描述对各种BI任务引用的BI任务节点，其中，所述业务层通过所述BI任务节点，进而集成了任务层的元数据；因此，本申请还执行下列步骤：

S203：根据业务层元数据中的业务流程控制元数据，依次执行业务流程控制元数据中的各个BI任务节点；

具体来说，所述业务流程控制元数据指出了组成所述BI应用的各个业务层元数据的具体的业务流程，

并且，业务流程在执行到具体的BI任务节点时，

S204：根据各个BI任务节点所指向的BI任务元数据描述文件，依次解析并执行各个BI任务元数据。

其中，在优选的实施例，需要依次执行ETL任务节点、以及Report任务节点，其中，当所述BI任务节点是ETL任务节点时，解析ETL任务元数据具体包括：

S205：根据ETL任务元数据描述文件中的BI组件元数据获取到所要执行的组件元数据的文件路径；

其中，当所述BI任务节点是Report任务节点时；解析Report任务元数据具体包括：

S206：根据Report任务元数据描述文件中的数据源元数据的内容读取数据，并进行数据展现。

更优选的，还包括：

通过上述方法，能够完成对所述BI应用元数据描述文件进行解析和执行，从而完成了整体BI应用的开发、执行等操作步骤，由于在BI应用开发的过程之中，采取了层次性的BI应用元数据开发规范，借此，在进行BI应用元数据描述文件的解析中，能够基于这种层次性的特点进行相应文件的解析和执行，因此，其执行效率较高。

方法实施例四：

本申请可以应用于云平台之中。

具体来说，可以应用于图8的一个BI-PaaS智能平台之中；

其中，该BI-PaaS智能平台包括开发套件、云资源层、云化能力层、引擎层、运维层和应用层组成。

其中，开发套件由一系列BI任务图形设计器和一个集成器组成。BI任务图形设计器包括ETL设计器、DM设计器、OLAP设计器、Report设计器和Rule设计器等。集成器将各设计器实现的单一的BI任务按照业务流程进行集成为丰富的BI应用。

其中，应用开发者选择各种BI图形设计器，以拖拉的方式进行相应BI任务开发。不同的设计器分别将不同的BI能力以元数据的方式进行封装，并进行图形化展示。当各个BI任务开发完成之后，可以采用集成器把各个BI任务组装集成为BI应用，生成相应的元数据描述文件，并将其部署到BI-PaaS平台。

云资源层用于提供分布式存储环境和分布式计算框架，为BI-PaaS平台提供支撑；云化能力层用于将ETL、DM、OLAP、Report等各类BI能力并行化，以满足海量数据存储、计算和分析的需要。

引擎层解析BI应用的元数据描述文件，并调用云化的BI能力，执行BI应用，包括BI引擎和ETL、OLAP、DM、Report、Rule子引擎。

运维层是BI-PaaS的基础，提供一个BI应用的部署运行平台，是集成、部署、调度、运行BI-PaaS产品线的重要门户，提供用户注册、应用部署、应用监控、数据隔离、应用执行等基础服务。

应用层是外部租户访问BI应用的接口。当开发者成功部署BI应用之后，租户选择并订购相应的BI应用，即可按在线方式访问该应用。

其中，图9是本发明一个实施例的应用元数据描述文件的执行方法的示意图；根据本实施例，所述BI应用元数据描述文件的执行方法主要包括：

S301：BI业务引擎模块获取到需要进行解析的BI应用元数据描述文件；

S302：BI业务引擎模块解析BI应用元数据描述文件中的业务层元数据；

并动态生成一个应用实例和这个应用所需的BI任务序列，根据业务层元数据中包含的业务流程控制跳转，并由BI任务引擎模块进行对应的任务节点的解析。

具体来说，在实施例之中，需要执行两个任务节点的任务。

S303：当流程跳至ETL1任务节点时，BI业务引擎模块根据该任务节点所绑定action的resource属性所指引用路径，将通话时间ETL元数据文件(call.etl)抛给action的handler属性指定的ETL子引擎；

S304：ETL子引擎模块解析任务call.etl，根据其中参数元数据形成参数，调用组件元数据所引用的Where和GroupBy组件，解析这些组件元数据并映射到相应并行算法上，在云资源层上执行；

S305：当流程跳至ETL2节点时，执行与ETL1节点相类似的过程；

S306：当流程跳至Report1节点时，Report子引擎模块根据数据源元数据的内容从分布式系统读取数据，并根据外观定义元数据中布局和风格的描述进行展现。

通过上述方法，完成了整体的BI应用元数据描述文件的解析过程。

本申请采取了上述技术方案以后，由于所述元数据驱动的BI-PaaS平台有效地解决了各个独立的BI工具的集成问题，具有高效的处理能力，便于灵活快速地开发BI应用。

同时，在进行BI应用元数据描述文件的解析和执行中，能够基于这种层次性的特点进行相应的各个文件的解析和执行，因此，其执行效率较高。

装置实施例一：

本申请提案提出了一种用于BI系统的元数据执行装置。

图10是本发明所述的BI应用元数据描述文件的执行装置的示意图，如图10所示，所述执行装置，具体包括下列组件：

BI业务引擎模块，用于获取并解析BI应用元数据描述文件中的业务层元数据；根据业务层元数据中的业务流程控制元数据，依次执行业务流程控制元数据中的各个BI任务节点；

其中，所述BI任务引擎模块包括：

ETL子引擎模块，用于根据ETL任务元数据描述文件中的BI组件元数据获取到所要执行的组件元数据的文件路径；调用组件元数据的文件路径所指向的各个组件元数据，解析所述各个组件元数据。

此外，所述BI任务引擎模块包括：

此外，所述Report子引擎模块，还用于获取Report任务元数据描述文件中的外观定义元数据，根据所述外观定义元数据中的布局和风格的描述进行数据展现。

本申请所采取的装置，能够对分层次化设计的BI应用元数据描述文件进行分层次地执行和调用各个任务元数据或者组件元数据，因此，采取了上述方案以后，不仅使BI系统既可将不同的BI任务集成在一起，而且，这种集成化的BI应用元数据执行简单，节省运算量。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种BI应用元数据描述文件的执行方法，包括：

A、获取并解析BI应用元数据描述文件中的业务层元数据；

2.根据权利要求1所述的BI应用元数据描述文件的执行方法，其特征在于，

所述各个BI任务节点通过该BI任务节点所绑定的行为的源属性指向并调用执行所述BI任务元数据描述文件。

3.根据权利要求1或2所述的BI应用元数据描述文件的执行方法，其特征在于，

步骤B中，所述BI任务节点是ETL任务节点，其中，解析ETL任务元数据具体包括：

4.根据权利要求3所述的BI应用元数据描述文件的执行方法，其特征在于，

步骤B中，所述BI任务节点是Report任务节点；其中，解析Report任务元数据具体包括：

5.根据权利要求4所述的BI应用元数据描述文件的执行方法，其特征在于，步骤B中，进一步包括：

6.一种BI应用元数据描述文件的执行装置，包括：

7.根据权利要求6所述的BI应用元数据描述文件的执行装置，其特征在于，所述BI任务引擎模块包括：

8.根据权利要求6所述的BI应用元数据描述文件的执行装置，其特征在于，所述BI任务引擎模块包括：

9.根据权利要求8所述的BI应用元数据描述文件的执行装置，其特征在于，所述Report子引擎模块，