CN115269548A - 一种数据仓库开发模型的生成方法、系统及相关设备 - Google Patents

Abstract

本发明公开了一种数据仓库开发模型的生成方法、系统及相关设备，可应用于人工智能领域。获取预先确定得到的表级信息、字段信息和任务信息，任务信息至少包含变更类型；根据变更类型，确定SDM模型的生成模式；在确定生成模式的基础上，基于表级信息、字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型；基于当前版本的SDM模型生成当前版本的物理数据模型。本方案中，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成SDM模型，再基于SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。

Description

一种数据仓库开发模型的生成方法、系统及相关设备

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据仓库开发模型的生成方法、系统及相关设备。

背景技术

数据仓库的整合模型层(Integrate Model Level，简称M层)的ETL(Extract-Transform-Load)开发主要依赖于两类开发模型，分别为标准数据层(StandardDataManager，SDM)模型和物理数据模型(physical data model，PDM模型)。

目前生成开发模型的方式为：由开发人员对照数据仓库规范对每张表的每个字段进行统一设计和填写，以生成开发模型。但是，随着银行大数据建设的推进，入仓需求也在不断增加，开发人员在开发模型的填写和设计上需要耗费大量的时间和精力且容易出现纰漏，处理效率较低和错误发生率较高。

发明内容

有鉴于此，本发明实施例提供一种数据仓库开发模型的生成方法、系统及相关设备，以解决目前生成开发模型的方式存在的处理效率较低和错误发生率较高等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种数据仓库开发模型的生成方法，所述方法包括：

获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；

根据所述变更类型，确定标准数据层SDM模型的生成模式；

在所确定的SDM模型的生成模式的基础上，基于所述表级信息、所述字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，所述设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；

基于所述当前版本的SDM模型生成当前版本的物理数据模型。

优选的，基于所述当前版本的SDM模型生成当前版本的物理数据模型，包括：

从所述当前版本的SDM模型中提取目标表的表结构；

将所述表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。

优选的，基于所述当前版本的SDM模型生成当前版本的物理数据模型之后，所述方法还包括：

针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。

优选的，针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作之后，所述方法还包括：

将所述当前版本的SDM模型、所述当前版本的物理数据模型和所述日志存储到指定目录。

本发明实施例第二方面公开一种数据仓库开发模型的生成系统，所述系统包括：

获取单元，用于获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；

确定单元，用于根据所述变更类型，确定标准数据层SDM模型的生成模式；

第一生成单元，用于在所确定的SDM模型的生成模式的基础上，基于所述表级信息、所述字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，所述设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；

第二生成单元，用于基于所述当前版本的SDM模型生成当前版本的物理数据模型。

优选的，所述第二生成单元包括：

提取模块，用于从所述当前版本的SDM模型中提取目标表的表结构；

生成模块，用于将所述表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。

优选的，所述系统还包括：

验证单元，用于针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。

优选的，所述系统还包括：

存储单元，用于将所述当前版本的SDM模型、所述当前版本的物理数据模型和所述日志存储到指定目录。

本发明实施例第三方面公开一种电子设备，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现本发明实施例第三方面公开的数据仓库开发模型的生成方法。

本发明实施例第四方面公开一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行本发明实施例第三方面公开的数据仓库开发模型的生成方法。

基于上述本发明实施例提供的一种数据仓库开发模型的生成方法、系统及相关设备，获取预先确定得到的表级信息、字段信息和任务信息，任务信息至少包含变更类型；根据变更类型，确定SDM模型的生成模式；在所确定的SDM模型的生成模式的基础上，基于表级信息、字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型；基于当前版本的SDM模型生成当前版本的物理数据模型。本方案中，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成当前版本的SDM模型，再基于当前版本的SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种数据仓库开发模型的生成方法的流程图；

图2为本发明实施例提供的一种数据仓库开发模型的生成方法的阶段划分示意图；

图3为本发明实施例提供的一种数据仓库开发模型的生成系统的结构框图；

图4为本发明实施例提供的一种数据仓库开发模型的生成系统的另一结构框图；

图5为本发明实施例提供的一种数据仓库开发模型的生成系统的又一结构框图；

图6为本发明实施例提供的一种数据仓库开发模型的生成系统的又一结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

需要说明的是，本发明提供的一种数据仓库开发模型的生成方法、系统及相关设备可用于人工智能领域。上述仅为示例，并不对本发明提供的一种数据仓库开发模型的生成方法、系统及相关设备的应用领域进行限定。

由背景技术可知，在生成开发模型时，通常由开发人员对照数据仓库规范对每张表的每个字段进行统一设计和填写，以生成开发模型。但是，随着银行大数据建设的推进，入仓需求也在不断增加，开发人员在开发模型的填写和设计上需要耗费大量的时间和精力且容易出现纰漏，处理效率较低和错误发生率较高。

因此，本发明实施例提供一种数据仓库开发模型的生成方法、系统及相关设备，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成当前版本的SDM模型，再基于当前版本的SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。

参见图1，示出了本发明实施例提供的一种数据仓库开发模型的生成方法的流程图，该生成方法包括：

步骤S101：获取预先确定得到的表级信息、字段信息和任务信息。

需要说明的是，预先基于表级分析结果和字段级分析结果，筛选出需要入数据仓库(以下简称入仓)的表和字段，入仓的表和字段即为在生成开发模型的过程中的设计对象。

在具体实现步骤S101的过程中，获取表级信息、字段信息和任务信息；以下分别对表级信息、字段信息和任务信息的获取方式和具体内容进行详细说明。

对于任务信息的说明：基于任务分析结果获取任务信息，该任务信息包括但不仅限于：任务的版本号、需求类型、所涉及的表范围和相应的变更类型。

对于表级信息的说明：基于表级分析结果获取表级信息，该表级信息为待处理表的表信息；该表级信息包括但不仅限于源表名、入仓标识(用于指示是否入仓)、源系统名、源系统编号、所属主题等。

对于字段信息的说明：基于字段级分析结果获取字段信息，该字段信息为待处理表对应的入仓字段列表；该字段信息包括但不仅限于：字段名、字段中文名、字段类型等。

一些实施例中，为后续设计生成新的标准数据层(Standard Data Manager，SDM)模型和物理数据模型(physical data model，PDM模型)，在获取表级信息、字段信息和任务信息后，需要先执行信息预处理流程；具体而言，基于所获取的表级信息、字段信息和任务信息，在SDM模型中先补充已知的源表信息以及相应的变更类型。

步骤S102：根据变更类型，确定SDM模型的生成模式。

需要说明的是，不同的变更类型对应SDM模型的不同生成模式；在具体实现步骤S102的过程中，根据任务信息中包含的变更类型，确定SDM模型的生成模式，也就是确定当前版本的SDM模型的生成模式。

例如：如果变更类型为新增字段，此时所确定的生成模式为：新增字段的表只需要对新增字段进行设计，其他内容则复制上一版本的SDM模型的对应内容。

又例如：如果变更类型为新增表，此时所确定的生成模式为：按照数据仓库规范进行设计，不需要依据其它版本的SDM模型。

步骤S103：在所确定的SDM模型的生成模式的基础上，基于表级信息、字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型。

在具体实现步骤S103的过程中，确定SDM模型的生成模式后，在所确定的生成模式的基础上，利用表级信息、字段信息和数据仓库规范(简称数仓规范)，执行设计流程以生成当前版本的SDM模型。

一些实施例中，设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；以下分别对填写基础信息、添加补充字段、确定算法标识和填写映射规则的相关内容进行解释说明。

关于填写基础信息的说明：通过确定目标表的表信息和字段信息以完成基础信息的填写；具体而言，由于表级信息按照数仓表名设计规范，可基于源表名和主题确定目标表名；目标字段可通过查询数据字典确定，如果目标字段在数据字典中未落标，则按照数仓字段命名规范对目标字段进行命名，以及按照数仓数据类型标准定义对目标字段的类型和长度进行设计。

需要说明的是，上述提及的“数仓”即为数据仓库。

关于添加补充字段的说明：在源表的基础上，数仓需要补充部分必备字段和技术字段。例如：需要依据表的主题为表添加必备的主键字段；对于拉链表，拉链表需要补充开始日期和结束日期对应的技术字段。

关于确定算法标识的说明：依据表的主题类型和贴源表类型，确定相应的ETL算法。

关于填写映射规则的说明：按照数仓开发规范，对直接映射、其他加工、代码转换、日期处理等映射类型进行规则转换。

以上内容，是关于设计流程的相关说明，执行上述提及的设计流程后即可生成当前版本的SDM模型。

步骤S104：基于当前版本的SDM模型生成当前版本的物理数据模型。

在具体实现步骤S104的过程中，生成当前版本的SDM模型后，基于该当前版本的SDM模型生成当前版本的物理数据模型(简称PDM模型)；具体而言，从当前版本的SDM模型中提取目标表的表结构；将所提取的该表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。

一些实施例中，在生成当前版本的SDM模型和当前版本的物理数据模型后，需要对所生成的当前版本的SDM模型和当前版本的物理数据模型进行验证；具体而言，针对当前版本的SDM模型和当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。

也就是说，对当前版本的SDM模型和当前版本的物理数据模型执行验证操作，得到模型验证结果；再将所得到的模型验证结果记录到日志中。

一些实施例中，将当前版本的SDM模型、当前版本的物理数据模型和日志存储到指定目录，以用于下一次生成SDM模型和物理数据模型的流程；其中，存储到指定目录的日志中至少记录了上述提及的模型验证结果。

需要说明的是，上述步骤S101至步骤S104，均在机器人流程自动化(RoboticProcess Automation，RPA)的基础上实现，即采用RPA技术生成SDM模型和PDM模型。

在本发明实施例中，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成当前版本的SDM模型，再基于当前版本的SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。

为更好理解上述本发明实施例提供的一种数据仓库开发模型的生成方法，通过图2示出的一种数据仓库开发模型的生成方法的阶段划分示意图，将数据仓库开发模型的生成方法划分为不同阶段进行举例说明。

如图2，数据仓库开发模型的生成方法包含设计准备阶段201、SDM模型生成阶段202、PDM模型生成阶段203和测试验证阶段204。

在设计准备阶段201中，获取表级信息、字段信息和任务信息，以及执行信息预处理流程。

在SDM模型生成阶段202中，根据变更类型确定SDM模型的生成模式，以及填写基础信息、添加补充字段、确定算法标识和填写映射规则，从而生成SDM模型。

在PDM模型生成阶段203中，在所生成的SDM模型的基础上，生成PDM模型。

在测试验证阶段204中，对所生成的SDM模型和PDM模型执行验证操作，并将模型验证结果记录到日志中；再将SDM模型、PDM模型和日志存储到指定目录。

需要说明的是，设计准备阶段201、SDM模型生成阶段202、PDM模型生成阶段203和测试验证阶段204的具体执行原理，参见上述本发明实施例图1各个步骤中的内容，在此不再赘述。

与上述本发明实施例提供的一种数据仓库开发模型的生成方法相对应，参见图3，本发明实施例还提供了一种数据仓库开发模型的生成系统的结构框图，该生成系统包括：获取单元301、确定单元302、第一生成单元303和第二生成单元304；

获取单元301，用于获取预先确定得到的表级信息、字段信息和任务信息，任务信息至少包含变更类型。

确定单元302，用于根据变更类型，确定SDM模型的生成模式。

第一生成单元303，用于在所确定的SDM模型的生成模式的基础上，基于表级信息、字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则。

第二生成单元304，用于基于当前版本的SDM模型生成当前版本的物理数据模型。

在本发明实施例中，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成当前版本的SDM模型，再基于当前版本的SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。

优选的，结合图3，参见图4，示出了本发明实施例提供的一种数据仓库开发模型的生成系统的另一结构框图，第二生成单元304包括：提取模块3041和生成模块3042；

提取模块3041，用于从当前版本的SDM模型中提取目标表的表结构。

生成模块3042，用于将表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。

优选的，结合图3，参见图5，示出了本发明实施例提供的一种数据仓库开发模型的生成系统的又一结构框图，该生成系统还包括：

验证单元305，用于对当前版本的SDM模型和当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。

优选的，结合图5，参见图6，示出了本发明实施例提供的一种数据仓库开发模型的生成系统的又一结构框图，该生成系统还包括：

存储单元306，用于将当前版本的SDM模型、当前版本的物理数据模型和日志存储到指定目录。

优选的，本发明实施例还提供了一种电子设备，包括：处理器以及存储器，处理器以及存储器通过通信总线相连；其中，处理器，用于调用并执行存储器中存储的程序；存储器，用于存储程序，程序用于实现上述方法实施例提供的数据仓库开发模型的生成方法。

优选的，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机可执行指令，计算机可执行指令用于执行上述方法实施例提供的数据仓库开发模型的生成方法。

综上所述，本发明实施例提供一种数据仓库开发模型的生成方法、系统及相关设备，确定SDM模型的生成模式后，基于表级信息、字段信息和数据仓库规范，执行设计流程以生成当前版本的SDM模型，再基于当前版本的SDM模型生成当前版本的物理数据模型。在生成SDM模型和物理数据模型时不需开发人员人工进行填写和设计，提高处理效率和降低错误发生率。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据仓库开发模型的生成方法，其特征在于，所述方法包括：

获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；

根据所述变更类型，确定标准数据层SDM模型的生成模式；

在所确定的SDM模型的生成模式的基础上，基于所述表级信息、所述字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，所述设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；

基于所述当前版本的SDM模型生成当前版本的物理数据模型。

2.根据权利要求1所述的方法，其特征在于，基于所述当前版本的SDM模型生成当前版本的物理数据模型，包括：

从所述当前版本的SDM模型中提取目标表的表结构；

将所述表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。

3.根据权利要求1所述的方法，其特征在于，基于所述当前版本的SDM模型生成当前版本的物理数据模型之后，所述方法还包括：

针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。

4.根据权利要求3所述的方法，其特征在于，针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作之后，所述方法还包括：

将所述当前版本的SDM模型、所述当前版本的物理数据模型和所述日志存储到指定目录。

5.一种数据仓库开发模型的生成系统，其特征在于，所述系统包括：

获取单元，用于获取预先确定得到的表级信息、字段信息和任务信息，所述任务信息至少包含变更类型；

确定单元，用于根据所述变更类型，确定标准数据层SDM模型的生成模式；

第一生成单元，用于在所确定的SDM模型的生成模式的基础上，基于所述表级信息、所述字段信息和数据仓库规范，执行预设的设计流程以生成当前版本的SDM模型，其中，所述设计流程至少用于填写基础信息、添加补充字段、确定算法标识和填写映射规则；

第二生成单元，用于基于所述当前版本的SDM模型生成当前版本的物理数据模型。

6.根据权利要求5所述的系统，其特征在于，所述第二生成单元包括：

提取模块，用于从所述当前版本的SDM模型中提取目标表的表结构；

生成模块，用于将所述表结构写入物理数据模型中并基于ETL开发分布键确认规范确定表的分布键，以生成当前版本的物理数据模型。

7.根据权利要求5所述的系统，其特征在于，所述系统还包括：

验证单元，用于针对所述当前版本的SDM模型和所述当前版本的物理数据模型执行验证操作，以得到记录到日志的模型验证结果。

8.根据权利要求7所述的系统，其特征在于，所述系统还包括：

存储单元，用于将所述当前版本的SDM模型、所述当前版本的物理数据模型和所述日志存储到指定目录。

9.一种电子设备，其特征在于，包括：处理器以及存储器，所述处理器以及存储器通过通信总线相连；其中，所述处理器，用于调用并执行所述存储器中存储的程序；所述存储器，用于存储程序，所述程序用于实现如权利要求1-4任一所述的数据仓库开发模型的生成方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行权利要求1-4任一所述的数据仓库开发模型的生成方法。

Images