CN104252506A

CN104252506A - 同步构建业务模型和数据仓库模型及其映射的方法及系统

Info

Publication number: CN104252506A
Application number: CN201310271768.8A
Authority: CN
Inventors: 熊务真
Original assignee: YIBAO NETWORK TECHNOLOGY CO Ltd (SHANGHAI)
Current assignee: YIBAO NETWORK TECHNOLOGY CO Ltd (SHANGHAI)
Priority date: 2013-06-28
Filing date: 2013-06-28
Publication date: 2014-12-31
Anticipated expiration: 2033-06-28
Also published as: CN104252506B; US20150006467A1; US9418127B2

Abstract

本发明公开了一种同步构建业务模型和数据仓库模型及其映射的方法及系统。所述方法包括：基于业务逻辑，构建业务模型；基于数据仓库中数据立方体的结构，构建数据仓库模型，同时建立业务模型与数据仓库模型之间的映射关系；根据既定语法规则解析业务模型、数据仓库模型及其映射关系；自动生成与业务模型相适应的业务数据库、与数据仓库模型相适应的数据仓库数据库，并自动建立业务数据库中各数据与数据仓库数据库中各数据之间的映射关系。所述系统包括：业务模型构建单元、数据仓库模型构建单元、映射关系建立单元、解析单元、自动生成单元。本发明能简便、高效、准确地建立业务数据库和数据仓库之间的映射关系。

Description

同步构建业务模型和数据仓库模型及其映射的方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种同步构建业务模型和数据仓库模型及其映射的方法及系统。

背景技术

目前，数据库应用主要集中于2大类—联机事务处理（Online TransactionProcessing,OLTP）和决策支持系统(Decision Support System,DSS)。

其中，联机事务处理是一种为企业特定应用服务的操作型处理，其通常表现为企业管理所包含的日常任务的业务数据库应用，比如：对一个新记录的及时录入、对一个或一组记录的查询和修改，一般没有复杂的查询和分析。通常，人们关心联机事务处理的实时性、数据的安全和完整。一般来说，联机事务处理多是业务人员在使用，所以在建立联机事务处理时，多从业务人员的角度出发，构建相应的业务数据库，更多地考虑业务数据库中各字段指征到实际业务逻辑中的含义，而不会过多地关注计算机技术层面的问题。

而决策支持系统提供供管理人员做决策分析的分析型处理，需要以大量的历史数据为依据。现有的决策支持系统通常由数据仓库（Data Warehousing,DW）、联机分析处理（Online Analytical Processing,OLAP）、数据挖掘（DataMining,DM）等多种技术配合实现，其中数据仓库提供的是一个面向主题的、集成的、非易失的（不可修改）且随时间变化的数据集合，用来支持管理人员的决策，其将数据从业务数据库经过抽取（extract）、转置（transform）、装载（load）至数据仓库中。数据仓库通常由技术人员从分析决策的主题角度出发进行构建。而一个主题通常与业务数据库中的多个字段均相关。

基于上述业务数据库和数据仓库的显著区别，技术人员要创建业务数据库和数据仓库之间的映射，就存在很大的困难。因为业务数据库中包含的业务逻辑，对于数据仓库来说其语义是透明的，而且业务数据库根据业务人员的需求而开发，无法适应技术人员的开发需求。

现有技术中，需要手动创建业务数据库到数据仓库的映射关系，不仅复杂、耗时，还容易出错，增加了开发和维护的成本，可移植性、通用性也较差。

尽管现有技术中已有模型驱动架构（Model Driven Architecture,MDA）用于构建业务数据库模型，比如：Eclipse Modeling Framework(EMF)等。或者自动生成数据仓库模型的概念性设计，比如：Hüsemann,&Vossen于2000年提出的以及Phipps&Davis于2002年提出的E/R模型。但是这些现有技术均未有效地解决创建业务数据库到数据仓库的映射关系的技术问题。

公开号为CN101286151A的中国专利申请中，披露了更多相关内容。

发明内容

本发明所要解决的技术问题是如何简便、高效、准确地建立业务数据库和数据仓库之间的映射关系。

为了解决上述问题，根据本发明的一个方面，提供了一种同步构建业务模型和数据仓库模型及其映射的方法，包括：

基于业务逻辑，构建业务模型；

基于数据仓库中数据立方体的结构，构建数据仓库模型，同时建立所述业务模型与所述数据仓库模型之间的映射关系；

根据既定语法规则解析所述业务模型、数据仓库模型及其映射关系；

自动生成与所述业务模型相适应的业务数据库、与所述数据仓库模型相适应的数据仓库数据库，并自动建立所述业务数据库中各数据与所述数据仓库数据库中各数据之间的映射关系。

在一个实施例中，所述业务模型包括至少一个对象，所述对象包括：至少一个对象元素；

所述数据仓库模型包括唯一的事实表和至少一个维表，所述事实表包括：度量值以及指向所述维表的外键，所述维表包括：所述数据立方体中某一维度的元数据；

所述同时建立所述业务模型与所述数据仓库模型之间的映射关系包括：建立所述维表中元数据与所述对象元素的映射关系。

在一个实施例中，所述数据仓库模型为星型结构或雪花结构，所述事实表位于所述星型结构或雪花结构的中心位置。

在一个实施例中，所述事实表的外键指向所述维表的主键；所述维表的主键和外键指向所述业务模型中不同的对象元素。

在一个实施例中，所述维表还包括：所述维度的层次，所述层次包括：父子或多层。

在一个实施例中，所述事实表还包括：所述度量值的计算方法。

在一个实施例中，所述计算方法包括求和、求平均值、最小值、最大值中的一种或多种。

在一个实施例中，所述构建业务模型、构建数据仓库模型、同时建立所述业务模型与所述数据仓库模型之间的映射关系，以编辑自然表达语言脚本的方式实现。

在一个实施例中，在所述构建业务模型、构建数据仓库模型、同时建立所述业务模型与所述数据仓库模型之间的映射关系之前，还包括：确定所述自然表达语言的语法规则；所述既定语法规则包括所述自然表达语言的语法规则。

根据本发明的另一个方面，还提供了一种同步构建业务模型和数据仓库模型及其映射的系统，包括：

业务模型构建单元，基于业务逻辑，构建业务模型；

数据仓库模型构建单元，基于数据仓库中数据立方体的结构，构建数据仓库模型；

映射关系建立单元，在构建所述数据仓库模型的同时，建立所述业务模型与所述数据仓库模型的映射关系；

解析单元，根据既定语法规则解析所述业务模型、数据仓库模型及其映射关系；

自动生成单元，自动生成与所述业务模型相适应的业务数据库、与所述数据仓库模型相适应的数据仓库数据库，并自动建立所述业务数据库中各数据与所述数据仓库数据库中各数据之间的映射关系。

映射关系建立单元用于建立所述维表中元数据与所述对象元素的映射关系。

与现有技术相比，本发明的技术方案具有以下优点：

本发明在构建数据仓库模型的同时，同步建立了业务模型和数据仓库模型的映射关系，并通过解析，自动生成对应的业务数据库和数据仓库数据库，并且同时自动生成两个数据库中数据之间的映射关系，节省了大量手动建立映射的工作量，构建映射的过程简便、高效、准确。

附图说明

图1为本发明同步构建业务模型和数据仓库模型及其映射的方法第一实施例的流程示意图；

图2为本发明同步构建业务模型和数据仓库模型及其映射的方法第二实施例中数据仓库模型示意图；

图3为本发明同步构建业务模型和数据仓库模型及其映射的系统第一实施例的结构示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施的限制。

其次，本发明利用示意图进行详细描述，在详述本发明实施例时，为便于说明，所述示意图只是实例，其在此不应限制本发明保护的范围。

发明人发现之所以会有背景技术中的技术问题，其主要原因在于过分割裂业务数据库的构建过程和数据仓库数据库的构建过程，所以，本发明提供了一种基于模型自动同步构建业务模型和数据仓库模型及其映射的方法。图1为本发明同步构建业务模型和数据仓库模型及其映射的方法第一实施例的流程示意图。如图1所示，本实施例包括以下步骤：

执行步骤S10，基于业务逻辑，构建业务模型。具体地，所述业务模型至少包括一个对象，所述对象包括至少一个对象元素。

继续参考图1，执行步骤S20，基于数据仓库中数据立方体的结构，构建数据仓库模型，同时建立所述业务模型与所述数据仓库模型之间的映射关系。

具体地，所述数据仓库模型包括唯一的事实表和至少一个维表。进一步地，所述维表为星型结构或雪花结构，所述事实表位于所述星型结构或雪花结构的中心位置。

所述事实表包括：度量值以及指向所述维表的外键。进一步地，所述事实表还可包括：所述度量值的计算方法，所述计算方法包括求和、求平均值、最小值、最大值中的一种或多种。

所述维表包括：所述数据立方体中某一维度的元数据。进一步地，所述维表还包括：所述维度的层次，所述层次包括：父子或多层。所述父子关系包括存在隶属关系的2个层次，所述多层关系则可包括多个层次。

所述同时建立所述业务模型与所述数据仓库模型之间的映射关系包括：所述事实表的外键指向所述维表的主键；所述维表的主键和外键指向所述业务模型中不同的对象元素。所述事实表的外键通过引用维表主键，将多个维表中的元数据聚合于所述事实表中。

需要说明的是，在本实施例中，以编辑自然表达语言脚本（NaturalExpression Language,NEL）的方式构建业务模型、构建数据仓库模型、同时建立所述业务模型与所述数据仓库模型之间的映射关系。本领域技术人员可以理解，在其他实施例中可以使用其他脚本语言。本领域技术人员还可以理解，在所述构建业务模型、构建数据仓库模型、同时建立所述业务模型与所述数据仓库模型之间的映射关系之前，还当然包括：确定所述自然表达语言的语法规则。

继续参考图1，执行步骤S30，根据既定语法规则解析所述业务模型、数据仓库模型及其映射关系。具体地，由于本实施例中使用的是自然表达语言，所以所述既定语法规则为所述自然表达语言的语法规则。

继续参考图1，执行步骤S40，自动生成与所述业务模型相适应的业务数据库、与所述数据仓库模型相适应的数据仓库数据库，并自动建立所述业务数据库中各数据与所述数据仓库数据库中各数据之间的映射关系。

需要说明的是，本发明对所述业务数据库及数据仓库数据库中的数据格式不作具体限定。事实上，本领域技术人员可以根据实际需要，选择地适用任一种现有的数据格式，比如：关系型数据库中的数据表、XML格式等。

本领域技术人员可以理解，在已经建立了业务模型、数据仓库模型以及两者间映射关系的基础上，经语法解析可以自动生成上述业务数据库、数据仓库数据库及其映射关系。为提高效率，也可以事先编写相应的语言转换程序实现上述功能，比如：将自然表达语言转换为关系数据库中的数据表，或者将自然表达语言转换为XML文件等，在此不再赘述。

为了更清楚地说明本发明，还提供了本发明同步构建业务模型和数据仓库模型及其映射的方法的第二实施例。图2示出了第二实施例数据仓库模型的星型结构。如图2所示，本实施例中的数据仓库模型包括：1个事实表Fact和4个维表，分别为：地理维表GeographyDimension、时间维表TimeDimension、用户维表CustomerDimension和产品维表ProductDimension。4个维表呈星状结构，所述事实表Fact位于所述星状结构的中心位置。

进一步地，事实表Fact的结构包括：1个主键、4个外键和3个度量值。所述主键为Sales_ID，所述外键包括：Region_ID、Time_ID、Product_ID、Customer_ID，所述度量值包括：Revenue、Quantity_Sold、Gross_Profit。

地理维表GeographyDimension的结构包括：1个主键和3个外键。所述主键为Region_ID，所述外键包括Country、Region、City。

时间维表TimeDimension的结构包括：1个主键和3个外键。所述主键为Time_ID，所述外键包括：Year、Month、Day。

用户维表CustomerDimension的结构包括：1个主键和2个外键。所述主键为Customer_ID，所述外键包括：Customer_Category、Customer_Name。

产品维表ProductDimension的结构包括：1个主键和3个外键。所述主键为Product_ID，所述外键包括：Product_Category、Product_SubCategory、Product_Name。

进一步地，事实表Fact的外键Region_ID与地理维表GeographyDimension的主键Region_ID具有映射关系。事实表Fact的外键Time_ID与时间维表TimeDimension的主键Time_ID具有映射关系。事实表Fact的外键Product_ID与产品维表ProductDimension的主键Product_ID具有映射关系。事实表Fact的外键Customer_ID与用户维表CustomerDimension的主键Customer_ID具有映射关系。

本实施例进一步示出了构建业务模型对应的程序如下：

需要说明的是，本实施例中的业务模型包括5个对象，分别为：地理对象Geography、产品对象Product、销售对象SalesRecord、时间对象Time和用户对象Customer，为了简洁清楚地进行说明，在本实施例中仅示出了建立地理对象Geography、产品对象Product、销售对象SalesRecord的具体程序，而省略了构建时间对象Time和用户对象Customer的具体程序。

具体地，地理对象Geography包括4个对象元素，分别为字符型区域代码RegionID、字符型国家代码CountryID、字符型区域代码Region、字符型城市代码CityID。

产品对象Product包括4个对象元素，分别为：字符型产品代码ProductID、字符型产品类别代码ProductCategoryID、字符型产品子类代码ProductSubcategoryID、字符型产品名称代码ProductName。

销售对象SalesRecord包括5个对象元素，分别为：字符型产品类别代码ProductID、字符型区域代码RegionID、浮点型销售量SalesAmount、整数型数量Quantity、浮点型毛利GrossProfit。

本实施例进一步示出了构建维表、事实表以及同步建立其与业务模型的映射关系的程序如下：

需要说明的是，本实施例中的数据仓库模型包括4个维表，分别为：产品维表ProductDimension、地理维表GeographyDimension、时间维表TimeDimension和用户维表CustomerDimension。为了简洁清楚地进行说明，在本实施例中省略了构建时间维表TimeDimension和用户维表CustomerDimension的具体程序。

具体地，产品维表ProductDimension的主键Product_ID引用业务模型中产品对象Product中对象元素ProductID的数据。

产品维表ProductDimension的外键Product_Category引用业务模型中产品对象Product中对象元素ProductCategoryID的数据。产品维表ProductDimension的外键Product_Subcategory引用业务模型中产品对象Product中对象元素ProductSubcategoryID的数据。产品维表ProductDimension的外键Product_Name引用业务模型中产品对象Product中对象元素ProductName的数据。

本实施例在构建产品维表ProductDimension时，还限定了外键ProductCategoryID和Product_Subcategory的层次关系为父子，外键ProductCategoryID为父，外键Product_Subcategory为子。

地理维表GeographyDimension的主键Region_ID引用业务模型中地理对象Geography中对象元素RegionID的数据。

地理维表GeographyDimension的外键Country引用业务模型中地理对象Geography中对象元素CountryID的数据。地理维表GeographyDimension的外键Region引用业务模型中地理对象Geography中对象元素Region的数据。地理维表GeographyDimension的外键City引用业务模型中地理对象Geography中对象元素CityID的数据。

本实施例在构建地理维表GeographyDimension时，还限定了外键Country、Region和City的层次关系为多层，外键Country为最上层，外键Region其次，外键City最末。

本实施例中的数据仓库模型还包括1个事实表Fact。

事实表Fact的主键为字段Sales_ID。

事实表Fact的外键Region_ID引用地理维表GeographyDimension的主键Region_ID的数据。事实表Fact的外键Customer_ID引用用户维表CustomerDimension的主键Customer_ID的数据。事实表Fact的外键Product_ID引用产品维表ProductDimension的主键Product_ID的数据。事实表Fact的外键Time_ID引用时间维表TimeDimension的主键Time_ID的数据。

事实表Fact的整数形度量值Revenue的值为对业务模型的销售对象SalesRecord中对象元素SalesAmount求和的结果。事实表Fact的整数形度量值Quantity_Sold的值为对业务模型的销售对象SalesRecord中对象元素Quantity求和的结果。事实表Fact的整数形度量值Gross_profit的值为业务模型的销售对象SalesRecord中对象元素GrossProfit求和的结果。

需要说明的是，在本实施例中后续还包括：根据既定语法规则解析所述业务模型、数据仓库模型及其映射关系，并在语法解析的基础上自动生成与所述业务模型相适应的业务数据库、与所述数据仓库模型相适应的数据仓库数据库，同时自动建立所述业务数据库中各数据与所述数据仓库数据库中各数据之间的映射关系。本发明对所述业务数据库及数据仓库数据库中的数据格式不作具体限定。

需要说明的是，通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明的部分或全部可借助软件并结合必需的通用硬件平台来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可包括其上存储有机器可执行指令的一个或多个机器可读介质，这些指令在由诸如计算机、计算机网络或其他电子设备等一个或多个机器执行时可使得该一个或多个机器根据本发明的实施例来执行操作。机器可读介质可包括，但不限于，软盘、光盘、CD-ROM（紧致盘-只读存储器）、磁光盘、ROM（只读存储器）、RAM（随机存取存储器）、EPROM（可擦除可编程只读存储器）、EEPROM（电可擦除可编程只读存储器）、磁卡或光卡、闪存、或适于存储机器可执行指令的其他类型的介质/机器可读介质。

本发明可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等。

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

相应地，本发明还提供了一种同步构建业务模型和数据仓库模型及其映射的系统。图3为本发明同步构建业务模型和数据仓库模型及其映射的系统第一实施例的结构示意图。如图3所示，本实施例中包括：业务模型构建单元U10、数据仓库模型构建单元U20、映射关系建立单元U30、解析单元U40和自动生成单元U50。

所述业务模型构建单元U10，用于基于业务逻辑，构建业务模型。所述业务模型包括至少一个对象，所述对象包括至少一个对象元素。

所述数据仓库模型构建单元U20与所述业务模型构建单元U10相连，用于基于数据仓库中数据立方体的结构，构建数据仓库模型。

所述数据仓库模型包括唯一的事实表和至少一个维表。进一步地，所述维表为星型结构或雪花结构，所述事实表位于所述星型结构或雪花结构的中心位置。

所述映射关系建立单元U30与所述数据仓库模型构建单元U20相连，用于在构建所述数据仓库模型的同时，建立所述业务模型与所述数据仓库模型的映射关系。具体地，所述事实表的外键指向所述维表的主键；所述维表的主键和外键指向所述业务模型中不同的对象元素。

所述解析单元U40与所述映射关系建立单元U30相连，用于根据既定语法规则解析所述业务模型、数据仓库模型及其映射关系。

自动生成单元U50与所述解析单元U40，用于自动生成与所述业务模型相适应的业务数据库、与所述数据仓库模型相适应的数据仓库数据库，并自动建立所述业务数据库中各数据与所述数据仓库数据库中各数据之间的映射关系。

需要说明的是，本领域技术人员可以理解，上述部分组件可以是可编程逻辑器件，包括：可编程阵列逻辑（Programmable Array Logic，PAL）、通用阵列逻辑（Generic Array Logic，GAL）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）、复杂可编程逻辑器件(ComplexProgrammable Logic Device，CPLD)中的一种或多种，本发明对此不做具体限制。

本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims

1.一种同步构建业务模型和数据仓库模型及其映射的方法，其特征在于，包括：

基于业务逻辑，构建业务模型；

2.根据权利要求1所述的方法，其特征在于，

所述业务模型包括至少一个对象，所述对象包括：至少一个对象元素；

3.根据权利要求2所述的方法，其特征在于，所述数据仓库模型为星型结构或雪花结构，所述事实表位于所述星型结构或雪花结构的中心位置。

4.根据权利要求2所述的方法，其特征在于，所述事实表的外键指向所述维表的主键；所述维表的主键和外键指向所述业务模型中不同的对象元素。

5.根据权利要求2所述的方法，其特征在于，所述维表还包括：所述维度的层次，所述层次包括：父子或多层。

6.根据权利要求2所述的方法，其特征在于，所述事实表还包括：所述度量值的计算方法。

7.根据权利要求6所述的方法，其特征在于，所述计算方法包括求和、求平均值、最小值、最大值中的一种或多种。

8.根据权利要求1所述的方法，其特征在于，所述构建业务模型、构建数据仓库模型、同时建立所述业务模型与所述数据仓库模型之间的映射关系，以编辑自然表达语言脚本的方式实现。

9.根据权利要求8所述的方法，其特征在于，在所述构建业务模型、构建数据仓库模型、同时建立所述业务模型与所述数据仓库模型之间的映射关系之前，还包括：确定所述自然表达语言的语法规则；所述既定语法规则包括所述自然表达语言的语法规则。

10.一种同步构建业务模型和数据仓库模型及其映射的系统，其特征在于，包括：

业务模型构建单元，基于业务逻辑，构建业务模型；

11.根据权利要求10所述的系统，其特征在于，

12.根据权利要求11所述的系统，其特征在于，所述事实表的外键指向所述维表的主键；所述维表的主键和外键指向所述业务模型中不同的对象元素。