CN111008253A - 数据模型生成方法和数据仓库生成方法、装置及电子设备 - Google Patents

Abstract

本发明实施例提供一种数据模型生成方法和数据仓库生成方法、装置及电子设备，其中，数据仓库生成方法包括：获取数据库对应的原始数据；对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；确定与所识别出的业务含义匹配的数据仓库模板，所述数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个所述数据仓库模板唯一所属一个业务含义；基于所选择的所述数据仓库模板对所述原始数据进行过程处理，形成所述数据库对应的数据仓库。本发明实施例的方案，能够快速生成符合用户管理需求的数据仓库。

Description

数据模型生成方法和数据仓库生成方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据模型生成方法和数据仓库生成方法、装置及电子设备。

背景技术

用户在不断收集和存储业务数据时，不知道如何规范化管理从业务系统中源源不断累积的原始数据、构建符合业务体系的数据模型以便利数据的理解与使用。面临该问题，常见的业界解决方案为请行业专家重新搭建用于方便管理数据的数据模型(也称“数据仓库”)，再改造数据收集及存储过程以满足新数据模型的架构体系；

上述方法中存在如下缺陷：首先，常规建模方法对于数据开发技能要求较高，需要极强行业背景和开发经验的专业人员，这一点对于大众用户及企业来说难以获得；其次，人工方式获得系统业务数据，并全面理解这些业务数据，再构建数据仓库比较困难；再次，基于模型确定表项中的逻辑、再开发物理表，该逻辑理解和实现过程比较长。

发明内容

本发明提供了一种数据模型生成方法和数据仓库生成方法、装置及电子设备，能够快速生成符合用户管理需求的数据仓库。

为达到上述目的，本发明的实施例采用如下技术方案：

第一方面，提供了一种数据模型生成方法，包括：

获取原始数据；

对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

根据识别得到的所述业务含义对待形成的数据仓库的全局架构进行整体布局，以形成星型结构或者雪花型结构的模型拓扑结构；

根据所述模型拓扑结构中包含的数据表类型和数据表字段对所述原始数据进行相应的逻辑计算，得到数据表中的数据；

设置各数据表中的主键和外键以关联各数据表，从而形成数据仓库。

第二方面，提供了一种数据仓库生成方法，包括：

获取数据库对应的原始数据；

对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

确定与所识别出的业务含义匹配的数据仓库模板，所述数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个所述数据仓库模板唯一所属一个业务含义；

基于所选择的所述数据仓库模板对所述原始数据进行过程处理，形成所述数据库对应的数据仓库。

第三方面，提供了一种数据模型生成装置，包括：

原始数据获取模块，用于获取原始数据；

业务含义识别模块，用于对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

数据仓库布局模块，用于根据识别得到的所述业务含义对待形成的数据仓库的全局架构进行整体布局，以形成星型结构或者雪花型结构的模型拓扑结构；

数据表构建模块，用于根据所述模型拓扑结构中包含的数据表类型和数据表字段对所述原始数据进行相应的逻辑计算，得到数据表中的数据；

数据表关联模块，用于设置各数据表中的主键和外键以关联各数据表，从而形成数据仓库。

第四方面，提供了一种数据仓库生成装置，包括：

数据获取模块，用于获取数据库对应的原始数据；

业务含义识别模块，用于对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

模板匹配模块，用于确定与所识别出的业务含义匹配的数据仓库模板，所述数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个所述数据仓库模板唯一所属一个业务含义；

数据仓库构建模块，用于基于所选择的所述数据仓库模板对所述原始数据进行过程处理，形成所述数据库对应的数据仓库。

第五方面，提供了一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行所述的数据模型生成方法。

第六方面，提供了另一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行所述的数据仓库生成方法。

本发明提供了一种数据模型生成方法和数据仓库生成方法、装置及电子设备，在获取数据库的原始数据后，识别原始数据所指向业务的业务含义；然后确定与所识别出的业务含义匹配的数据仓库模板，数据仓库模板包含预定义构建所属业务含义的数据仓库所采用的过程方法；最后，基于选择的数据仓库模板对原始数据进行过程处理，形成数据库对应的数据仓库，从而快速生成符合用户管理需求的数据仓库。由于本方案是基于数据库中原始数据所指向的业务含义选择匹配数据仓库模板，保证数据仓库构建过程及结果合理有效。同时，基于数据仓库模板自动构建数据仓库的内容表项，无需人工参与，大大提高了构建数据仓库的效率。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本发明实施例的数据仓库生成逻辑示意图；

图2为本发明实施例的数据仓库生成系统结构图；

图3为本发明实施例的数据仓库生成方法流程图一；

图4为本发明实施例的业务含义识别方法流程图；

图5为本发明实施例的数据仓库生成方法流程图二；

图6为本发明实施例的数据仓库生成方法流程图三；

图7为本发明实施例的数据仓库生成方法流程图四；

图8为本发明实施例的派生指标生成方法流程图；

图9为本发明实施例的数据仓库生成装置结构图一；

图10为本发明实施例的数据仓库生成装置结构图二；

图11为本发明实施例的数据仓库生成装置结构图三；

图12为本发明实施例的数据仓库生成装置结构图四；

图13为本发明实施例的数据仓库生成装置结构图五；

图14为本发明实施例的数据仓库生成装置结构图六；

图15为本发明实施例的数据模型生成方法流程图；

图16为本发明实施例的数据模型生成装置结构图；

图17为本发明实施例的电子设备的结构示意一；

图18为本发明实施例的电子设备的结构示意二。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例改善了现有技术中通过人工梳理数据、学习思考构建数据模型所需建模周期较长，且对于模型构建者的业务理解能力和建模能力都需要有很强的专业基础，普通企业用户难以获得对应人才，从而导致不能快速构建符合业务需求的数据仓库，其核心思想在于，从以往的数据仓库建模过程中学习、沉淀出符合各种业务含义的数据仓库模板，这些数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个数据仓库模板唯一所属一个业务含义；利用数据仓库模板对数据库中的原始数据进行相应的过程处理，机器化复用已有的数据建模知识，从而基于已有的原始数据，短时快速构建符合业务需求的数据仓库并生成对应数据逻辑。

图1为本发明实施例的数据仓库生成逻辑示意图。如图1所示：

首先，对数据库的相关数据进行扫描，这些相关数据可包括但不限于数据库中各数据表中的原始数据，以及用于描述数据库中原始数据的元数据。该元数据可包括但不限于针对数据库的原始数据进行业务操作后产生的执行日志，针对数据库而已经记录的元数据。

在扫描获取到数据库的相关数据后，可基于这些相关数据从原始数据中提炼出有价值的原始数据。所谓有价值的原始数据是指最能突出体现数据库中原始数据所指向的业务含义的部分原始数据。

上述提炼出的原始数据可作为以下两个处理过程的输入数据：

第一个处理过程是根据提炼出的原始数据的业务含义从数据仓库模板库中查找与该业务含义相匹配的数据仓库模板(也称数据仓库的建模模板)，这些数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个数据仓库模板唯一所属一个业务含义。例如待构建的数据仓库中的事实表、维表、表之间关系(星型模型/雪花模型)等内容的定义和采用的具体逻辑生成方法。这些数据仓库模板为对已构建的数据仓库及其构建过程进行学习后生成。

第二个处理过程是基于匹配出的数据仓库模板，对这些原始数据按模板中相应的内容定义及逻辑生成方法进行过程处理，即数据仓库模型化，从而得到初始数据仓库。该初始数据仓库中直接定义生成了事实表、维表、以及表之间的关联关系。比如图1中，初始数据仓库已按照交易类业务(业务含义)针对数据表类型及表之间关联关系进行明细沉淀。例如，在交易类业务对应的数据仓库中，可以交易主体数据构建交易事实表；同时，还可分别以订单维度、商品维度、买家维度、卖家维度的相关数据构建与交易事实表直接关联的一级维表；在这些一级维表下还可以构建与一级维表关联的二级维表，如在买家维度表的分支下还可以按买家所处地域的不同创建城市维度表。

在生成初始数据仓库后，如果用户没有特殊的建模需求，则可将初始数据仓库直接提供给需求用户；如果用户存在特殊的建模需求，且初始数据仓库的内容不可及，则可在初始数据仓库的基础上进行迭代更新操作，比如增加和/或删减部分数据表、增加和/或删减数据表中的数据表字段、调整数据表之间的关联关系等，然后将更新后的数据仓库提供给需求用户。

另外，在生成数据仓库后，还可以对数据仓库中的数据进行汇总加工生成数据仓库对应的派生指标汇总表。例如图1中，在基于交易类业务生成的数据仓库中，以买家作为统计粒度、支付金额作为原子指标、无线类的网上交易作为业务限定、最近7天作为时间周期生成针对买家信息的派生指标，然后将这些派生指标进行汇总，生成买家汇总表。这些派生指标汇总表仍可以数据仓库的形式进行结构布局，以方便企业用户对自己业务的各项指标能够快速了解，从而基于派生指标做出合理决策。

基于上述数据仓库生成的方案思想，图2为本发明实施例提供的数据仓库生成系统结构图。如图2所示，该系统包括数据库系统210、数据仓库模板库220和数据仓库生成装置230，其中：

数据库系统210，用于提供欲构建数据仓库所对应的数据库中的原始数据(数据库中存储的数据)，以及与数据库相关的各种数据，例如针对数据库已记录的元数据、针对数据库进行业务操作所产生的执行日志等。为了方便描述，本方案中将与数据库相关的各种数据(除数据库中的原始数据)都称为“元数据”。

数据仓库模板库220中预存储有预定义构建数据仓库所采用的过程方法，每个数据仓库模板唯一所属一个业务含义。所述业务含义可根据业务所属行业、领域、主题、业务内容等进行划分和定义，比如交易类业务等。

数据仓库生成装置230，用于对从数据库系统210中获取的数据库的原始数据，利用数据仓库模板库220中的数据仓库模板对原始数据进行过程处理，得到满足管理数据库的数据仓库。具体如图2所示，该数据仓库生成装置230包括：

数据获取模块，用于获取数据库对应的原始数据；

业务含义识别模块，用于对原始数据进行识别，得到原始数据所指向业务的业务含义；

模板匹配模块，用于从数据仓库模板库中选择与所识别出的业务含义匹配的数据仓库模板；数据仓库模板包含预定义构建所属业务含义的数据仓库所采用的过程方法；

数据仓库构建模块，用于基于选择的数据仓库模板对原始数据进行过程处理，形成数据库对应的数据仓库。

具体地，在数据获取模块在获取数据库对应的原始数据后，可通过业务含义识别模块对原始数据进行识别，得到原始数据所指向业务的业务含义；然后由模板匹配模块从数据仓库模板库中确定与所识别出的业务含义匹配的数据仓库模板；其中，数据仓库模板包含预定义构建所属业务含义的数据仓库所采用的过程方法；最后，由数据仓库构建模块基于所选择的数据仓库模板对原始数据进行过程处理，形成数据库对应的数据仓库。

下面通过多个实施例来进一步说明本申请的技术方案。

实施例一

基于上述数据仓库生成方案思想，如图3所示，其为本发明实施例示出的数据仓库生成方法流程图一，该方法的执行主体可为图2中所示的数据仓库生成装置230。如图3所示，该数据仓库生成方法包括如下步骤：

S310，获取数据库对应的原始数据。

其中，原始数据可为数据库中各数据表的字段数据。通过对数据库中的所有表项数据进行扫描，可以得到数据库的原始数据。

在获取上述原始数据的同时，还可以获取数据库对应元数据。本方案中提及的元数据包括用于描述数据库中原始数据的所有数据。比如该元数据可包括但不限于针对数据库的原始数据进行业务操作后产生的执行日志，针对数据库而已经记录的元数据。

S320，对原始数据进行识别，得到原始数据所指向业务的业务含义。

在扫描获取到数据库的原始数据后，可对原始数据的业务含义进行识别，判定原始数据所指向的业务，该业务可以按行业、领域、主题、业务内容等进行划分和定义，比如交易类业务等。

在对原始数据进行识别，得到原始数据所指向业务的业务含义时，可以直接对原始数据的内容进行识别，也可以结合数据库对应的元数据进行识别，还可以采用预先学习生成的业务含义识别模板对原始数据所指向业务的业务含义进行识别。

以下示例一种结合数据库对应的元数据对原始数据所指向业务的业务含义识别方法。如图4所示，该业务含义识别方法包括如下步骤：

S410，从元数据中获取用于描述原始数据整体业务指向的业务关键信息。

具体地，可从元数据的执行日志中识别出满足预定操作频率的业务操作信息作为业务关键信息，根据该业务关键信息可以获知数据库的数据表中哪一字段项是高频操作项，操作的对项数据是什么。而这些高频操作项和对象数据很有可能是反映原始数据整体业务指向的关键数据。

S420，根据业务关键信息从原始数据中提取相应的业务关键数据。

根据业务关键信息可从原始数据中提炼出有价值的原始数据。所谓有价值的原始数据是指最能突出体现数据库中原始数据所指向的业务含义的部分原始数据。这里将这部分原始数据称为业务关键数据。

例如，对于业务关键信息为执行日志中出现的高频操作信息所指向的原始数据可以确定为业务关键数据。

S430，对业务关键数据进行解析，得到相应的业务含义。

在从原始数据中提炼出业务关键数据后，可对该业务关键数据的内容和含义进行解析，得到相应的业务含义，并将该业务含义作为原始数据对应的业务含义。

比如，业务关键信息为对数据表中的支付金额的表项进行频繁操作，并且解析得到的业务关键数据为买、卖账目数据后，则可以认为该原始数据所指向业务的业务含义为交易类业务。

综上，根据业务关键信息提取原始数据中的业务关键数据，不但可以快速识别原始数据指向的业务含义，同时还可以锁定可用于构建数据仓库的高质量的原始数据、自动过滤原始数据中的脏数据(乱码等)或者没有被使用的(没有进行任何业务操作过的)原始数据，保证后期构建的数据仓库合理有效。

S330，确定与所识别出的业务含义匹配的数据仓库模板，所述数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个数据仓库模板唯一所属一个业务含义。

通过预先构建数据仓库模板库对数据仓库模板进行管理，该数据仓库模板库中的每个数据仓库模板都会对应指向唯一的业务含义。在得到原始数据的业务含义后，可以将该业务含义与各数据仓库模板所指向的业务含义进行相似度比较，从而匹配到与原始数据的业务含义相适宜的数据仓库模板。

数据仓库模板中可包括：数据仓库的全局架构(数据仓库的模型结构可包括星型结构和雪花型结构)，所包含的数据表类型(事实表、维表)、数据表字段(具体表项内容)、数据表中的主键和外键(主键和外键用于限定事实表和维表之间的关联关系)的定义及逻辑生成方法。

总之，数据仓库模板中定义了构建的数据仓库中包含的具体内容，以及生成这些具体内容的所有逻辑生成方法。

S340，基于所选择的数据仓库模板对原始数据进行过程处理，形成数据库对应的数据仓库。

基于所选择的数据仓库模板中定义的构建的数据仓库中包含的具体内容以及生成这些具体内容的所有逻辑生成方法，对原始数据进行相应的过程处理，即可自动快速形成数据库对应的数据仓库。在对原始数据进行相应的过程处理时，可以选择从原始数据中提取的业务关键数据进行过程处理，从而提高构建数据仓库的效率。

所构建的数据仓库中的内容可包括但不限于如下内容：已有部分原始数据(如上述关键业务数据)、对原始数据进行数据加工生成的新数据项的内容、常用代码逻辑、新数据项的业务意义。

其中，代码逻辑指用户编写的SQL代码内容，比如对原始数据进行数据加工生成新数据项的逻辑生成过程对应的代码内容。

相应的，以下列举了两种基于原始数据构建数据仓库中数据项的内容的实例：

例1，交易类系统中生成订单数据表存在数据库中，一般会以该订单数据为基础表生成交易事实表。从订单数据表中取用pay_amt这个存储的表字段进行求和的加工操作，最终将加工后的数据项命名GMV、对应现实意义为用户的总支付金额数据，并存入数据仓库中。

例2，数据库的原始数据中有ip这个命名的表字段，映射为现实意义是互联网IP地址，对应业务系统里面即为交易所在区域的IP这个含义。可将该原始数据直接作为数据仓库的具体表项内容。

基于数据仓库模板中包括的具体内容，即：数据仓库的全局架构，所包含的数据表类型、数据表字段、数据表中的主键和外键的定义及逻辑生成方法，本实施例示出了上述步骤S340的一种具体实现方式。如图5所示，该数据仓库构建方法包括：

S510，对业务关键数据采用数据仓库模板中的数据仓库的全局架构进行整体布局，形成星型结构或者雪花型结构的模型拓扑结构。

首先，构建数据仓库需要先确定数据仓库的顶层架构，即数据仓库的全局架构。在确定该全局架构后，才能有针对性搭建数据仓库中各数据表的具体模型结构。本方案采用但不限于两种模型拓扑结构作为数据仓库的全局架构，一种是星型结构，即所有维表均与事实表直接关联；另一种是雪花型结构，即部分维表与事实表直接关联，部分维表通过其他维表与事实表间接关联。

S520，根据数据仓库包含的数据表类型和数据表字段对业务关键数据进行相应的逻辑计算，得到数据表中的数据。

在确定数据仓库的全局结构后，即可按照数据仓库模板中定义的数据仓库中包含的数据表类型和数据表字段对业务关键数据进行相应的逻辑计算，得到数据表中的数据。比如，数据仓库中以原始数据的哪些数据作为事实表、哪些原始数据作为维表，所生成的数据表中包含的数据表字段有哪些，如何通过原始数据得到这些数据表字段，从而形成数据表。这些相关定义和相应的处理逻辑，在数据仓库模板中都有预置，只要复用数据仓库模板中的计算逻辑对数据库中的业务关键数据进行相应的逻辑计算，即可创建待搭建数据仓库中的数据表数据。

S530，根据数据表中的主键和外键关联各数据表，从而形成数据仓库。

在得到待搭建数据仓库中的数据表数据后，可以根据数据仓库模板中预置的数据表中的主键和外键关联这些数据表，从而形成数据仓库。

其中，事实表中可设置0-1个主键、维表中可设置多个主键。

本发明提供的数据仓库生成方法，在获取数据库的原始数据后，识别原始数据所指向业务的业务含义；然后确定与所识别出的业务含义匹配的数据仓库模板，数据仓库模板包含预定义构建所属业务含义的数据仓库所采用的过程方法；最后，基于所选择的数据仓库模板对原始数据进行过程处理，形成数据库对应的数据仓库，从而快速生成符合用户管理需求的数据仓库。由于本方案是基于数据库中原始数据所指向的业务含义选择匹配数据仓库模板，保证数据仓库构建过程及结果合理有效。同时，基于数据仓库模板自动构建数据仓库的内容表项，无需人工参与，大大提高了构建数据仓库的效率。

进一步地，在识别原始数据所指向业务的业务含义过程中，引用了数据库的元数据。根据元数据提取原始数据中的关键业务数据，并对关键业务数据进行含义识别，从而快速得到原始数据对应的业务含义。

进一步地，基于数据仓库模板中包括的具体内容，在构建数据仓库过程中，先确定数据仓库的全局架构；然后对业务关键数据按模板中预置逻辑进行相应的逻辑计算，得到数据表中的数据；最后标注各数据表的主、外键，从而关联这些数据表，形成数据仓库。整个构建过程规范有序，便于过程实施。

实施例二

本实施例在上一实施例的基础上，增加了如下拓展内容。

首先，如图6所示，为本发明实施例的数据仓库生成方法流程图三。在上一实施例中所示方法的基础上，增加了对形成的数据仓库的后处理过程。如图6所示，在步骤S340之后，还可执行如下步骤：

S610，根据预置的数据仓库的构建需求，对形成的数据仓库进行增加和/或删减部分数据表、增加和/或删减数据表中的数据表字段、调整数据表之间的关联关系中的至少一种更新操作。

通常，由于训练数据仓库模板的样本数据有限，基于数据仓库模板构建的数据仓库，并不能满足用户想要构建的数据仓库的全部内容需求。因此，在基于数据仓库模板构建出初始的数据仓库之后，还可以根据用户起初预置的数据仓库的构建需求，对初始的数据仓库进行更新操作，这些更亲操作包括：

增加和/或删减部分数据表，即增加初始的数据仓库没有且用户想添加的数据表，和/或删减初始的数据仓库中已存在的但用户不想要的数据表；

增加和/或删减数据表中的数据表字段，即增加初始的数据仓库中的数据表中没有且用户想添加的数据表字段，和/或删减初始的数据仓库中的数据表中已存在的但用户不想要的数据表字段；

调整数据表之间的关联关系，即调整各数据表中的主、外键，从而使得调整后的各数据表之间的关联关系满足用户需求。

需要说明的是，上述任一种更新操作，可以由人工根据用户需求手动操作，也可以根据预置的与用户的更新操作的相应的更新模板进行自动操作。

其次，如图7所示，为本发明实施例的数据仓库生成方法流程图四。在图6所示方法的基础上，增加了对数据仓库模板的训练过程。如图7所示，在步骤S610之后，还可执行如下步骤：

S710，将至少一种更新操作后形成的数据仓库的数据添加到训练数据中，并训练和更新与业务含义对应的数据仓库模板。

在执行完成对初始的数据仓库的更新操作后，相应原来的同一业务含义就对应产生了新的数据仓库对应关系。该新的数据仓库的所有数据可以作为训练该业务含义对应的数据仓库模板的样本数据，并对该业务含义所对应原始的数据仓库模板进行更新训练；又或者，可以基于当前更新操作后的数据仓库的内容新定义该数据仓库对应业务含义，同时将当前的数据仓库的全部数作为样本数据添加到已有的训练数据中，并训练出该新定义的业务含义所对应的数据仓库模板。

其中，用于训练数据仓库模板的数据仓库的全部数据包括：数据仓库本身包含的表项数据、数据表之间的关联关系以及形成数据表中各表项数据的逻辑处理方法数据(也指生成表项数据的代码逻辑)。

最后，如图8所示，为本发明实施例的派生指标生成方法流程图。该方法可作为前述各方法实施例的补充方法，在基于数据仓库模板形成数据仓库后，针对该数据仓库中的各数据表项执行图8所示方法步骤。

其中，与上述数据仓库模板对应预置有派生指标模板，该派生指标模板包含预定义构建数据仓库对应的派生指标所采用的过程方法。如图8所示，上述派生指标生成方法包括如下步骤：

S810，采用数据仓库对应的派生指标模板对形成的数据仓库中的数据进行过程处理，生成数据仓库对应的派生指标。

基于已生成的历史派生指标，对生成派生指标所处理的对象原始数据以及处理原始数据的过程方法进行学习和沉淀，可得到生成不同派生指标的指标组件(逻辑处理单元)及相应的派生指标内容。

如某企业的数据仓库中有日志、交易等主题数据域，交易数据域下有交易全流程等业务过程，交易全流程有一个订单事实表、含商品id及商品类目id字段，类目id字段关联类目模型。通过对该订单事实表中的商品id的计数值进行统计计算、从而沉淀通用的交易商品数这个原子指标，以后用户可以取用交易商品数加上昨日这个时间属性、计算出昨日全部的交易商品数这个派生指标。

S820，将派生指标进行汇总，生成指标汇总表。

对基于派生指标模板形成的数据仓库对应的派生指标的信息进行汇总，可生成指标汇总表。该指标汇总表也可是对应包含多个数据表，各数据表之间通过设置主、外键形成关联关系，从而形成星型结构或者是雪花型结构的模型拓扑结构，进而方便用户对数据仓库中的表项数据的派生指标进行快速查询。

在实际应用场景中，也可以将生成指标汇总表对应的过程方法添加到派生指标模板中，从而基于派生指标模板一次性快速生成指标汇总表。

本发明提供的数据仓库生成方法，在实施例一的基础上进行了方法拓展：

首先，在基于数据仓库模板构建出数据仓库后，对该数据仓库进行更新操作，从而满足用户个性化的数据仓库构建需求。

其次，将更新操作后的数据仓库的所有数据作为训练样本，添加到用于训练数据仓库模板的训练数据中，以完善、强壮训练出的数据仓库模板，从而帮助快速构建出符合用户需求的数据仓库。

最后，对形成的数据仓库中的表项数据利用预置的派生指标模板生派生指标，并形成指标汇总表，可以方便用户对数据仓库中的表项数据的派生指标进行快速查询，从而及时掌握数据仓库的各项指标数据，协助用户做出合理的业务管理决策。

实施例三

如图9所示，为本发明实施例的数据仓库生成装置结构图一，该数据仓库生成装置可设置在图2所示的数据仓库生成系统中，用于执行如图3所示的方法步骤，其包括：

数据获取模块910，用于获取数据库对应的原始数据；

业务含义识别模块920，用于对原始数据进行识别，得到原始数据所指向业务的业务含义；

模板匹配模块930，用于从数据仓库模板库中选择与所识别出的业务含义匹配的数据仓库模板；所述数据仓库模板包含预定义构建所属业务含义的数据仓库所采用的过程方法；

数据仓库构建模块940，用于基于选择的数据仓库模板对原始数据进行过程处理，形成数据库对应的数据仓库。

进一步地，上述数据获取模块910，还可用于获取数据库对应的元数据；

相应的，如图10所示，上述业务含义识别模块920可包括：

关键信息获取单元101，用于从元数据中获取用于描述原始数据整体业务指向的业务关键信息；

关键数据提取单元102，用于根据业务关键信息从原始数据中提取相应的业务关键数据；

含义解析单元103，用于对业务关键数据进行解析，得到相应的业务含义。

图10所示装置结构可用于执行如图4所示的方法步骤。

进一步地，上述业务关键信息可包括满足预定操作频率的业务操作信息。

进一步地，上述数据仓库模板中具体可包括：数据仓库的全局架构、所包含的数据表类型、数据表字段、数据表中的主键和外键的定义及逻辑生成方法；

相应的，如图11所示，上述数据仓库构建模块940可包括：

数据仓库布局单元111，用于对业务关键数据采用数据仓库模板中的数据仓库的全局架构进行整体布局，形成星型结构或者雪花型结构的模型拓扑结构；

数据表构建单元112，用于根据数据仓库包含的数据表类型和数据表字段对业务关键数据进行相应的逻辑计算，得到数据表中的数据；

数据表关联单元113，用于根据数据表中的主键和外键关联各数据表，从而形成数据仓库。

图11所示装置结构可用于执行如图5所示的方法步骤。

进一步地，如图12所示，上述数据仓库生成装置中还可包括：

更新操作模块121，用于根据预置的数据仓库的构建需求，对形成的数据仓库进行增加和/或删减部分数据表、增加和/或删减数据表中的数据表字段、调整数据表之间的关联关系中的至少一种更新操作。

图12所示装置结构可用于执行如图6所示的方法步骤。

进一步地，在图12所示装置的基础上，如图13所示，上述数据仓库生成装置中还可包括：

模板训练模块131，用于将至少一种更新操作后形成的数据仓库的数据添加到训练数据中，并训练和更新与业务含义对应的数据仓库模板。

图13所示装置结构可用于执行如图7所示的方法步骤。

进一步地，与数据仓库模板对应预置有派生指标模板，派生指标模板包含预定义构建数据仓库对应的派生指标所采用的过程方法；

相应的，在上述所示装置的基础上，如图14所示，上述数据仓库生成装置中还可包括：

派生指标生成模块141，用于采用数据仓库对应的派生指标模板对形成的数据仓库中的数据进行过程处理，生成数据仓库对应的派生指标；

指标汇总模块142，用于将派生指标进行汇总，生成指标汇总表。

图14所示装置结构可用于执行如图8所示的方法步骤。

本发明提供的数据仓库生成装置，在获取数据库的原始数据后，识别原始数据所指向业务的业务含义；然后确定与所识别出的业务含义匹配的数据仓库模板，数据仓库模板包含预定义构建数据仓库所采用的过程方法；最后，基于选择的数据仓库模板对原始数据进行过程处理，形成所述数据库对应的数据仓库，从而快速生成符合用户管理需求的数据仓库。由于本方案是基于数据库中原始数据所指向的业务含义选择匹配数据仓库模板，保证数据仓库构建过程及结果合理有效。同时，基于数据仓库模板自动构建数据仓库的内容表项，无需人工参与，大大提高了构建数据仓库的效率。

进一步地，在识别原始数据所指向业务的业务含义过程中，引用了数据库的元数据。根据元数据提取原始数据中的关键业务数据，并对关键业务数据进行含义识别，从而快速得到原始数据对应的业务含义。

进一步地，基于数据仓库模板中包括的具体内容，在构建数据仓库过程中，先确定数据仓库的全局架构；然后对业务关键数据按模板中预置逻辑进行相应的逻辑计算，得到数据表中的数据；最后标注各数据表的主、外键，从而关联这些数据表，形成数据仓库。整个构建过程规范有序，便于过程实施。

进一步地，在上述结构功能的基础上进行了方案的拓展：

首先，在基于数据仓库模板构建出数据仓库后，对该数据仓库进行更新操作，从而满足用户个性化的数据仓库构建需求。

其次，将更新操作后的数据仓库的所有数据作为训练样本，添加到用于训练数据仓库模板的训练数据中，以完善、强壮训练出的数据仓库模板，从而帮助快速构建出符合用户需求的数据仓库。

最后，对形成的数据仓库中的表项数据利用预置的派生指标模板生派生指标，并形成指标汇总表，可以方便用户对数据仓库中的表项数据的派生指标进行快速查询，从而及时掌握数据仓库的各项指标数据，协助用户做出合理的业务管理决策。

实施例四

基于上述数据仓库生成方案思想，如图15所示，其为本发明实施例示出的数据模型生成方法流程图一，该方法的执行主体可为图2中所示的数据仓库生成装置230。如图15所示，该数据模型生成方法包括如下步骤：

S151，获取原始数据。

其中，原始数据可为数据库对应的原始数据，包括数据库中各数据表的字段数据。通过对数据库中的所有表项数据进行扫描，可以得到数据库的原始数据。

S152，对原始数据进行识别，得到原始数据所指向业务的业务含义。

基于本实施例中的原始数据为数据库对应的原始数据的基础上，在执行本步骤时，可以通过数据库对应的元数据来得到原始数据所指向业务的业务含义。

具体地，在执行本步骤之前可以先获取数据库对应的元数据；然后，从元数据中获取用于描述原始数据整体业务指向的业务关键信息，并根据业务关键信息从原始数据中提取相应的业务关键数据，最后，对业务关键数据进行解析，得到相应的业务含义。

其中，业务关键信息可包括满足预定操作频率的业务操作信息。

通过数据库对应的元数据来得到原始数据所指向业务的业务含义的方法过程可以参见图4所示的方法步骤，在此不做赘述。

S153，根据识别得到的业务含义对待形成的数据仓库的全局架构进行整体布局，以形成星型结构或者雪花型结构的模型拓扑结构。

在得到原始数据所指向业务的业务含义后，可以从预先设置的数据仓库模板中，选择适宜针对该业务含义所构建的数据仓库的模型拓扑结构，以基于该模型拓扑结构对待形成的数据仓库的全局架构进行整体布局，形成星型结构或者雪花型结构的模型拓扑结构。其中，数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个数据仓库模板唯一所属一个业务含义。

S154，根据模型拓扑结构中包含的数据表类型和数据表字段对原始数据进行相应的逻辑计算，得到数据表中的数据。

在确定待构建的数据仓库的模型拓扑结构后，可以基于该模型拓扑结构中预定义的数据表类型和数据表字段对原始数据进行相应的逻辑计算，得到数据表中的数据。

S155，设置各数据表中的主键和外键以关联各数据表，从而形成数据仓库。

上述步骤S153～155的步骤内容可参见图3中步骤340的内容，在此不做赘述。

另外，在初步形成数据仓库之后还可执行如下附加步骤：

根据预置的数据仓库的构建需求，对形成的数据仓库进行增加和/或删减部分数据表、增加和/或删减数据表中的数据表字段、调整数据表之间的关联关系中的至少一种更新操作。

以及，

生成数据仓库对应的派生指标；

将派生指标进行汇总，生成指标汇总表。

上述附加步骤的内容可参见图6、图8所示的方法内容，在此不做赘述。

实施例五

如图16所示，为本发明实施例的数据模型生成装置结构图一，该数据仓库生成装置可设置在图2所示的数据仓库生成系统中，用于执行如

图15所示的方法步骤，其包括：

原始数据获取模块161，用于获取原始数据；

业务含义识别模块920，用于对原始数据进行识别，得到原始数据所指向业务的业务含义；

数据仓库布局模块162，用于根据识别得到的业务含义对待形成的数据仓库的全局架构进行整体布局，以形成星型结构或者雪花型结构的模型拓扑结构；

数据表构建模块163，用于根据模型拓扑结构中包含的数据表类型和数据表字段对原始数据进行相应的逻辑计算，得到数据表中的数据；

数据表关联模块164，用于设置各数据表中的主键和外键以关联各数据表，从而形成数据仓库。

进一步地，上述原始数据为数据库对应的原始数据；

上述原始数据获取模块161，还用于获取数据库对应的元数据；

所述业务含义识别模块920可包括：

关键信息获取单元，用于从元数据中获取用于描述原始数据整体业务指向的业务关键信息；

关键数据提取单元，用于根据业务关键信息从原始数据中提取相应的业务关键数据；

含义解析单元，用于对业务关键数据进行解析，得到相应的业务含义。

进一步地，上述业务关键信息可包括满足预定操作频率的业务操作信息。

进一步地，上述数据模型生成装置中还可包括：

更新操作模块，用于根据预置的数据仓库的构建需求，对形成的数据仓库进行增加和/或删减部分所述数据表、增加和/或删减数据表中的数据表字段、调整数据表之间的关联关系中的至少一种更新操作。

进一步地，上述数据模型生成装置中还可包括：

派生指标生成模块，用于生成数据仓库对应的派生指标；

指标汇总模块，用于将派生指标进行汇总，生成指标汇总表。

实施例六

前面实施例描述了数据仓库生成装置的整体架构，该装置的功能可借助一种电子设备实现完成，如图17所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器171和处理器172。

存储器171，用于存储程序。

除上述程序之外，存储器171还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器171可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器172，耦合至存储器171，用于执行存储器171中的程序，所述程序运行时执行图图3至图8中任一种所述的数据仓库生成方法。

上述的具体处理操作已经在前面实施例中进行了详细说明，在此不再赘述。

进一步，如图17所示，电子设备还可以包括：通信组件173、电源组件174、音频组件175、显示器176等其它组件。图17中仅示意性给出部分组件，并不意味着电子设备只包括图17所示组件。

通信组件173被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件173经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件173还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件174，为电子设备的各种组件提供电力。电源组件174可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件175被配置为输出和/或输入音频信号。例如，音频组件175包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器171或经由通信组件173发送。在一些实施例中，音频组件175还包括一个扬声器，用于输出音频信号。

显示器176包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

实施例七

前面实施例描述了数据模型生成装置的整体架构，该装置的功能可借助一种电子设备实现完成，如图18所示，其为本发明实施例的电子设备的结构示意图，具体包括：存储器181和处理器182。

存储器181，用于存储程序。

除上述程序之外，存储器181还可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。

存储器181可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

处理器182，耦合至存储器181，用于执行存储器181中的程序，所述程序运行时执行图15中所述的数据模型生成方法。

上述的具体处理操作已经在前面实施例中进行了详细说明，在此不再赘述。

进一步，如图18所示，电子设备还可以包括：通信组件183、电源组件184、音频组件185、显示器186等其它组件。图18中仅示意性给出部分组件，并不意味着电子设备只包括图18所示组件。

通信组件183被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件183经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件183还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

电源组件184，为电子设备的各种组件提供电力。电源组件184可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。

音频组件185被配置为输出和/或输入音频信号。例如，音频组件185包括一个麦克风(MIC)，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器181或经由通信组件183发送。在一些实施例中，音频组件185还包括一个扬声器，用于输出音频信号。

显示器186包括屏幕，其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (16)

1.一种数据模型生成方法，包括：

获取原始数据；

对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

根据识别得到的所述业务含义对待形成的数据仓库的全局架构进行整体布局，以形成星型结构或者雪花型结构的模型拓扑结构；

根据所述模型拓扑结构中包含的数据表类型和数据表字段对所述原始数据进行相应的逻辑计算，得到数据表中的数据；

设置各数据表中的主键和外键以关联各数据表，从而形成数据仓库。

2.根据权利要求1所述的方法，其中，所述原始数据为数据库对应的原始数据；

所述方法还包括：

获取所述数据库对应的元数据；

所述对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义包括：

从所述元数据中获取用于描述所述原始数据整体业务指向的业务关键信息；

根据所述业务关键信息从所述原始数据中提取相应的业务关键数据；

对所述业务关键数据进行解析，得到相应的业务含义。

3.根据权利要求2所述的方法，其中，所述业务关键信息包括满足预定操作频率的业务操作信息。

4.根据权利要求1-3中任一项所述的方法，其中，所述方法还包括：

根据预置的数据仓库的构建需求，对形成的所述数据仓库进行增加和/或删减部分所述数据表、增加和/或删减所述数据表中的数据表字段、调整所述数据表之间的关联关系中的至少一种更新操作。

5.根据权利要求1所述的方法，其中，所述方法还包括：

生成所述数据仓库对应的派生指标；

将所述派生指标进行汇总，生成指标汇总表。

6.一种数据仓库生成方法，包括：

获取数据库对应的原始数据；

对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

确定与所识别出的业务含义匹配的数据仓库模板，所述数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个所述数据仓库模板唯一所属一个业务含义；

基于所选择的所述数据仓库模板对所述原始数据进行过程处理，形成所述数据库对应的数据仓库。

7.根据权利要求6所述的方法，其中，所述方法还包括：

获取所述数据库对应的元数据；

所述对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义包括：

从所述元数据中获取用于描述所述原始数据整体业务指向的业务关键信息；

根据所述业务关键信息从所述原始数据中提取相应的业务关键数据；

对所述业务关键数据进行解析，得到相应的业务含义。

8.根据权利要求7所述的方法，其中，所述业务关键信息包括满足预定操作频率的业务操作信息。

9.根据权利要求7所述的方法，其中，所述数据仓库模板中包括：所述数据仓库的全局架构，所包含的数据表类型、数据表字段、数据表中的主键和外键的定义及逻辑生成方法；

所述基于所选择的所述数据仓库模板对所述原始数据进行过程处理，形成所述数据库对应的数据仓库包括：

对所述业务关键数据采用所述数据仓库模板中的所述数据仓库的全局架构进行整体布局，形成星型结构或者雪花型结构的模型拓扑结构；

根据所述数据仓库包含的所述数据表类型和所述数据表字段对所述业务关键数据进行相应的逻辑计算，得到数据表中的数据；

根据数据表中的主键和外键关联各数据表，从而形成数据仓库。

10.根据权利要求6-9中任一项所述的方法，其中，所述方法还包括：

根据预置的数据仓库的构建需求，对形成的所述数据仓库进行增加和/或删减部分所述数据表、增加和/或删减所述数据表中的数据表字段、调整所述数据表之间的关联关系中的至少一种更新操作。

11.根据权利要求10所述的方法，其中，所述方法还包括：

将所述至少一种更新操作后形成的数据仓库的数据添加到训练数据中，并训练和更新与所述业务含义对应的数据仓库模板。

12.根据权利要求6所述的方法，其中，与所述数据仓库模板对应预置有派生指标模板，所述派生指标模板包含预定义构建所述数据仓库对应的派生指标所采用的过程方法；

所述方法还包括：

采用所述数据仓库对应的派生指标模板对形成的所述数据仓库中的数据进行过程处理，生成所述数据仓库对应的派生指标；

将所述派生指标进行汇总，生成指标汇总表。

13.一种数据模型生成装置，包括：

原始数据获取模块，用于获取原始数据；

业务含义识别模块，用于对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

数据仓库布局模块，用于根据识别得到的所述业务含义对待形成的数据仓库的全局架构进行整体布局，以形成星型结构或者雪花型结构的模型拓扑结构；

数据表构建模块，用于根据所述模型拓扑结构中包含的数据表类型和数据表字段对所述原始数据进行相应的逻辑计算，得到数据表中的数据；

数据表关联模块，用于设置各数据表中的主键和外键以关联各数据表，从而形成数据仓库。

14.一种数据仓库生成装置，包括：

数据获取模块，用于获取数据库对应的原始数据；

业务含义识别模块，用于对所述原始数据进行识别，得到所述原始数据所指向业务的业务含义；

模板匹配模块，用于确定与所识别出的业务含义匹配的数据仓库模板，所述数据仓库模板包含预定义构建数据仓库所采用的过程方法，每个所述数据仓库模板唯一所属一个业务含义；

数据仓库构建模块，用于基于所选择的所述数据仓库模板对所述原始数据进行过程处理，形成所述数据库对应的数据仓库。

15.一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行权利要求1-5中任意一项权利要求所述的数据模型生成方法。

16.一种电子设备，包括：

存储器，用于存储程序；

处理器，耦合至所述存储器，用于执行所述程序，所述程序运行时执行权利要求6-12中任意一项权利要求所述的数据仓库生成方法。

Images