CN109033452A - 一种数据仓库智能构建装载方法及系统 - Google Patents

Abstract

本发明涉及数据仓库构建管理系统技术领域，具体为一种数据仓库智能构建装载方法以及一种数据仓库智能构建装载系统，该系统包括模型输入模块，所述模型输入模块用于供用户输入Data Vault模型定义文件并生成Data Vault模型；模型命名模块，所述模型命名模块用于根据Data Vault模型的命名规范，输出库、表、字段的名称；建表模块，所述建表模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句，该方法基于以上系统实现。本发明提供的一种数据仓库智能构建装载系统，能够自动化的实现数据抽取、数据加工以及任务调度，减少开发和维护的工作量，提高企业数据仓库构建和维护的效率。

Description

一种数据仓库智能构建装载方法及系统

技术领域

本发明涉及数据仓库构建管理系统技术领域，具体为一种数据仓库智能构建装载方法及系统。

背景技术

Data Vault模型是面向细节的，可追踪历史的，综合了第三范式和星型模型优点的新一代的数据仓库模型。基于Data vault模型的企业级数据仓库的建立和维护是一个复杂的工程，包含Data vault建模、数据仓库初始化、数据抽取任务开发、数据加工任务开发、任务调度开发等诸多任务。现有技术需要很长的开发周期，并且涉及数据分析师、数据开发工程师、调度工程师等诸多类型的专业技术人员，当业务逻辑发生变更时需要大量重复的开发工作。

专利CN201510272096.1公开了一种基于原始业务库的表逻辑关系，自动生成数据仓库的Data vault模型以及完成数据仓库的初始化的自动化构建方法及装置，不足之处在于业务逻辑关系十分的复杂，表逻辑关系难以完全覆盖；并且基于性能方面的原因，生产环境数据库一般都不建立外键和约束关系，表之间的关联关系很难直接拿到。更重要的是，该方法中并未实现后续的数据抽取、数据加工、任务调度等诸多步骤的自动化，而这些环节占了数据仓库开发和维护的大部分工作量。

发明内容

本发明意在提供一种数据仓库智能构建装载方法及系统，能够自动化的实现数据抽取、数据加工以及任务调度，减少开发和维护的工作量，提高企业数据仓库构建和维护的效率。

为了解决上述技术问题，本专利提供如下技术方案：

一种数据仓库智能构建装载系统，包括：

模型输入模块，所述模型输入模块用于供用户输入Data Vault模型定义文件并生成Data Vault模型；

模型命名模块，所述模型命名模块用于根据Data Vault模型的命名规范，输出库、表、字段的名称；

建表模块，所述建表模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析模块，所述任务分析模块用于对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度模块，所述任务调度模块用于根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度。

本发明技术方案中，通过模型输入模块输入欲建立的Data Vault模型的定义文件，该定义文件通常定义了Data Vault模型的一些基本的信息，如标准表的各个字段信息，更新时间、更新人员等附属信息，然后根据该定义文件生成Data Vault模型；模型命名模块根据该Data Vault模型设定的命名规范生成并输出该Data Vault模型下各个库、表以及字段的名称，建表模块则根据生成的名称生成创建相应的表和库的初始化语句；数据抽取模块以及数据装载模块分别生成数据的抽数语句和装载语句；本方案中，还设置任务分析模块对上述的抽数语句以及装载语句进行分析，由任务调度模块根据分析结果对各个抽数语句以及装载语句的执行顺序和时间进行调度。与现有技术相比，本申请中实现了数据的抽取、数据加工、任务调度等诸多步骤的动化处理，相关人员只需要关心核心的业务逻辑即可，不需要去关注太多地开发细节，极大地降低了企业级数据仓库的开发周期，减少了开发的人员规模和成本，提升了企业级数据仓库开发和维护的自动化、智能化水平。

进一步，还包括元数据校验补全模块，所述元数据校验补全模块用于根据DataVault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全。通过元数据校验补全模块根据实际的源数据库的元数据字段信息对DataVault模型的字段进行校验和信息补全，确保字段的统一。

进一步，还包括字段数据类型适配模块，所述字段数据类型适配模块用于将DataVault模型的字段的数据类型与元数据库的字段的数据类型进行适配。在源数据库和目标数据库类型不相同可经过此步骤确保字段数据格式相统一。

进一步，所述数据抽取模块包括抽数工具，所述数据装载模块包括数据处理工具，所述任务调度模块包括调度工具，所述抽数工具、输出处理工具以及调度工具均以插件的形式存在于对应的模块中。以插件的形式将这些工具存在于对应的模块中，这种模块化插件的形式可以方便的对这些工具进行更换，使用其他算法进行处理，便于对系统进行拓展和改造，使得系统的通用性更强。

进一步，还包括配置模块，所述配置模块用于对数据库基本信息以及配置项进行配置。通过配置模块对数据库的基本信息如连接信息、各个模块的配置参数等进行设置，方便对系统进行更改和调控。

本发明还提供一种数据仓库智能构建装载方法，该方法包括以下步骤：

模型输入步骤，根据输入Data Vault模型定义文件生成Data Vault模型；

校验补全步骤，根据Data Vault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全；

模型命名步骤，根据Data Vault模型的命名规范，输出库、表、字段的名称；

建表步骤，根据元数据校验补全模块补全后的Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析步骤，对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度步骤，根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度。

进一步，在校验补全步骤与建表步骤之间还包括：字段数据类型适配步骤，将DataVault模型的字段的数据类型与元数据库的字段的数据类型进行适配。

附图说明

图1为本发明一种数据仓库智能构建装载系统实施例中的逻辑框图。

具体实施方式

下面通过具体实施方式进一步详细说明：

如图1所示，本实施例的数据仓库智能构建装载系统，包括模型输入模块、模型命名模块、元数据校验补全模块、配置模块、字段数据类型适配模块、建表模块、数据抽取模块、数据装载模块、任务分析模块以及任务调度模块，其中：

模型输入模块用于供用户输入Data Vault模型定义文件并生成Data Vault模型。Data Vault模型定义文件的文件格式包括但不限于结构或半结构化的文件，如xml、csv、txt、json等，Data Vault模型定义文件的内容包括但不限于Hub表字段信息、Link表字段信息、Sat表字段信息、Pit表字段信息、Bridge表字段信息以及更新时间、更新人员、限制条件、依赖关系、命名规范、别名等附属信息。

模型命名模块用于根据Data Vault模型的命名规范，输出数据仓库中要建立的库、表、字段的名称。

配置模块用于对数据库基本信息以及各个模块的配置项进行配置，配置模块中存储有数据库的基本信息如数据库的地址、账号、密码等连接信息。通过配置模块对数据库的基本信息如连接信息、各个模块的配置参数等进行设置，方便对系统进行更改和调控。

元数据校验补全模块能够根据数据库的连接信息从数据库查询元数据，并根据Data Vault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全。

具体的，元数据校验补全模块包括数据解析模块、对比校验模块以及补全修正模块，数据解析模块用于对元数据进行解析，从元数据中获取字段，对比校验模块用于将DataVault模型的字段于获取的字段进行对比和校验，找出Data Vault模型中没有的字段以及存在差异的字段，补全修正模块用于供用户对没有的字段以及存在差异的字段进行选择，并将选择的字段进行补全或修正。通过元数据校验补全模块根据实际的源数据库的元数据字段信息对Data Vault模型的字段进行校验和信息补全，确保字段的统一。

字段数据类型适配模块用于将Data Vault模型的字段的数据类型与元数据库的字段的数据类型进行适配，在源数据库和目标数据库类型不相同时，该模块可以确保字段数据格式相统一，字段数据类型适配模块包括类型比较模块、类型匹配模块以及兼容查找模块，类型比较模块用于比较同一个Data Vault模型的字段的数据类型与元数据库的字段是否相同，类型匹配模块用于在Data Vault模型的字段的数据类型与源数据库的字段类型存在不同时，在目标数据库查找与源数据库的数据类型相同的类型，如果找到，则将DataVault模型的字段的数据类型修改为相应的类型，如果没有找到则使用兼容查找模块查找与元数据的字段的数据类型相兼容的数据类型并设置Data Vault模型的字段的数据类型为相应的兼容的类型。

建表模块用于根据校验补全以及类型适配后的Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句，通过这些初始化语句即可建立数据仓库的基本的架构，如贴源层、模型层以及应用层的各个表格，如hub表、link表sat表、pit表、bridge表等。

数据抽取模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；数据装载模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块所建立的表格中的装载语句，数据抽取模块包括抽数工具，数据装载模块包括数据处理工具，抽数工具以及数据处理工具均以插件的形式分别存在于数据抽取模块以及数据装载模块中，抽数工具以及数据处理工具均采用现有的软件或插件，他们可以设置多个，以根据不同的需求进行调配。

任务分析模块用于对抽数语句以及装载语句进行分析，其包括依赖关系分析模块和资源耗时分析模块，依赖关系分析模块用于分析各个语句之间的相互依赖关系数据，资源耗时分析模块用于分析每一条抽数语句或者装载语句的预估的资源耗时数据。

任务调度模块用于根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度，任务调度模块包括调度工具，所谓调度工具是一个调度算法的插件，通过更换不同的调度工具，就可以实现不同目的的调度算法，如时间最短的调度算法、开销最小的调度算法、功耗最低的调度算法、数据传输量最小的调度算法等。本实施例中调度工具包括算力预测模块以及调配模块，算力预测模块用于根据系统内各个机器的ID值，预测机器的计算能力，ID值与机器批次相关，机器的批次越新，ID值的长度越长，算力预测模块包括ID获取模块、算力预估模块以及剩余算力预估模块，ID获取模块用于获取系统内所有可用的机器和设备的ID值，算力预估模块用于根据各个设备的ID值预估其总的计算能力，剩余算力预估模块用于根据各个机器当前的任务，判断其剩余的计算能力，调配模块用于根据各个机器预估的剩余算力以及各项任务的依赖关系和资源耗时数据进行任务的调配，该调配使用时间最短的调度算法，由于在实际任务分配以及控制过程中，所有的机器都是通过ID值来实现调用和操作的，因此本申请中，将ID值的长度与机器的批次相结合，而批次又与机器性能相关，批次越新，机器性能越高，因此本申请无需要再单独的去获取机器的各项参数，可以减少处理步骤，加快任务调度处理效率。

本实施例的技术方案中，通过模型输入模块输入欲建立的Data Vault模型的定义文件，该定义文件通常定义了Data Vault模型的一些基本的信息，如标准表的各个字段信息，更新时间、更新人员等附属信息，然后根据该定义文件生成Data Vault模型；模型命名模块根据该Data Vault模型设定的命名规范生成并输出该Data Vault模型下各个库、表以及字段的名称，建表模块则根据生成的名称生成创建相应的表和库的初始化语句；数据抽取模块以及数据装载模块分别生成数据的抽数语句和装载语句；本实施例中还设置任务分析模块对上述的抽数语句以及装载语句进行分析，由任务调度模块根据分析结果对各个抽数语句以及装载语句的执行顺序和时间进行调度。实现了数据的抽取、数据加工、任务调度等诸多步骤的动化处理，相关人员只需要关心核心的业务逻辑即可，不需要去关注太多地开发细节，极大地降低了企业级数据仓库的开发周期，减少了开发的人员规模和成本，提升了企业级数据仓库开发和维护的自动化、智能化水平。

抽数工具、输出处理工具以及调度工具均以插件的形式存在于对应的模块中，以插件的形式将这些工具存在于对应的模块中，这种模块化插件话的形式可以方便的对这些工具进行更换，使用其他算法进行处理，便于对系统进行拓展和改造，使得系统的通用性更强。

本发明还提供一种数据仓库智能构建装载方法，该方法使用了上述的系统，该方法包括以下步骤：

模型输入步骤，根据输入Data Vault模型定义文件生成Data Vault模型；

校验补全步骤，根据Data Vault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全；

模型命名步骤，根据Data Vault模型的命名规范，输出库、表、字段的名称；

字段数据类型适配步骤，将Data Vault模型的字段的数据类型与元数据库的字段的数据类型进行适配；

建表步骤，根据元数据校验补全模块补全后的Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析步骤，对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度步骤，根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度。

以上的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述，所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识，能够获知该领域中所有的现有技术，并且具有应用该日期之前常规实验手段的能力，所属领域普通技术人员可以在本申请给出的启示下，结合自身能力完善并实施本方案，一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (7)

1.一种数据仓库智能构建装载系统，其特征在于：包括：

模型输入模块，所述模型输入模块用于供用户输入Data Vault模型定义文件并生成Data Vault模型；

模型命名模块，所述模型命名模块用于根据Data Vault模型的命名规范，输出库、表、字段的名称；

建表模块，所述建表模块用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载模块，用于根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析模块，所述任务分析模块用于对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度模块，所述任务调度模块用于根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度。

2.根据权利要求1所述的一种数据仓库智能构建装载系统，其特征在于：还包括元数据校验补全模块，所述元数据校验补全模块用于根据Data Vault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全。

3.根据权利要求1所述的一种数据仓库智能构建装载系统，其特征在于：还包括字段数据类型适配模块，所述字段数据类型适配模块用于将Data Vault模型的字段的数据类型与元数据库的字段的数据类型进行适配。

4.根据权利要求1所述的一种数据仓库智能构建装载系统，其特征在于：所述数据抽取模块包括抽数工具，所述数据装载模块包括数据处理工具，所述任务调度模块包括调度工具，所述抽数工具、输出处理工具以及调度工具均以插件的形式存在于对应的模块中。

5.根据权利要求1所述的一种数据仓库智能构建装载系统，其特征在于：还包括配置模块，所述配置模块用于对数据库基本信息以及配置项进行配置。

6.一种数据仓库智能构建装载方法，其特征在于：该方法包括以下步骤：

模型输入步骤，根据输入Data Vault模型定义文件生成Data Vault模型；

校验补全步骤，根据Data Vault模型的字段信息以及查询源数据库得到的元数据对Data Vault模型的字段进行校验和信息补全；

模型命名步骤，根据Data Vault模型的命名规范，输出库、表、字段的名称；

建表步骤，根据元数据校验补全模块补全后的Data Vault模型以及模型命名模块输出的库、表以及字段的名称生成相应的库和表的初始化语句；

数据抽取步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出从源数据库抽取数据到数据仓库贴源层的抽数语句；

数据装载步骤，根据Data Vault模型以及模型命名模块输出的库、表以及字段的名称，生成并输出将数据从数据仓库贴源层装载到建表模块建立的表格中的装载语句；

任务分析步骤，对抽数语句以及装载语句进行分析，得到任务依赖关系数据和资源耗时数据；

任务调度步骤，根据任务依赖关系数据和资源耗时数据对抽数语句以及装载语句的执行进行调度。

7.根据权利要求6所述的一种数据仓库智能构建装载方法，其特征在于：在校验补全步骤与建表步骤之间还包括：字段数据类型适配步骤，将Data Vault模型的字段的数据类型与元数据库的字段的数据类型进行适配。