CN105718468A - 一种数据仓库ods层的建立方法和装置 - Google Patents

Abstract

本申请提供一种数据仓库ODS层的建立方法和装置。所述方法包括：根据用户设置的源系统数据表名，获取源系统数据表的元数据；根据所述元数据创建与所述源系统数据表对应的ODS数据表；将所述源系统数据表中的数据同步到所述ODS数据表中。通过本申请的技术方案，可以实现在建立ODS层的过程中不需要人工编写脚本，从而降低人力成本，提升研发效率，保障数据仓库的稳定性和质量。

Description

一种数据仓库ODS层的建立方法和装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据仓库ODS层的建立方法和装置。

背景技术

ODS(OperationalDataStore，操作型数据存储)层是数据仓库体系结构中的一个可选部分，ODS层是用从源系统抽取过来的数据建立的一层贴源的数据层，是“面向主题的、集成的、当前或接近当前的、不断变化的”数据的集合。

ODS层的建立涉及建表、数据同步、数据清洗、生命周期管理、极限存储等过程。目前，在建立ODS层的时候，上述建表、数据同步、数据清洗、生命周期管理、极限存储等过程都是通过人工配置完成，比如：人工编写建表语句、人工配置数据同步任务、人工编写数据清洗脚本等。然而，大量的人工操作所需的人力成本较高，不够智能，且容易出错。

发明内容

有鉴于此，本申请提供一种数据仓库ODS层的建立方法和装置。

具体地，本申请是通过如下技术方案实现的：

一种数据仓库ODS层的建立方法，所述方法包括：

根据用户设置的源系统数据表名，获取源系统数据表的元数据；

根据所述元数据创建与所述源系统数据表对应的ODS数据表；

将所述源系统数据表中的数据同步到所述ODS数据表中。

进一步地，所述根据所述元数据创建与所述源系统数据表对应的ODS数据表包括：

根据所述元数据生成建表语句；

根据所述建表语句创建与所述源系统数据表对应的ODS数据表。

进一步地，所述将所述源系统数据表中的数据同步到所述ODS数据表中包括：

根据用户设置的全量同步指令将所述源系统数据表中的数据全量同步到所述ODS数据表中。

进一步地，所述方法还包括：

根据用户设置的增量同步条件将所述源系统数据表中的数据增量同步到所述ODS数据表中；

所述增量同步条件包括：增量同步字段和增量同步时间。

进一步地，所述将所述源系统数据表中的数据同步到所述ODS数据表中包括：

根据用户设置的清洗条件，将所述源系统数据表中的数据进行清洗后同步到所述ODS数据表中；

将清洗掉的数据存储在预设的ODS清洗表中。

进一步地，所述方法还包括：

在将所述源系统数据表中的数据同步到所述ODS数据表中之后，将满足用户设置的极限存储条件的数据存储在预设的ODS极限表中。

进一步地，所述方法还包括：

根据用户设置的生命周期，对到达所述生命周期的ODS数据表中的数据进行预设的处理。

一种数据仓库ODS层的建立装置，所述装置包括：

获取单元，根据用户设置的源系统数据表名，获取源系统数据表的元数据；

创建单元，根据所述元数据创建与所述源系统数据表对应的ODS数据表；

同步单元，将所述源系统数据表中的数据同步到所述ODS数据表中。

进一步地，所述创建单元包括：

生成子单元，根据所述元数据生成建表语句；

创建子单元，根据所述建表语句创建与所述源系统数据表对应的ODS数据表。

进一步地，所述同步单元，具体根据用户设置的全量同步指令将所述源系统数据表中的数据全量同步到所述ODS数据表中。

进一步地，所述同步单元，进一步根据用户设置的增量同步条件将所述源系统数据表中的数据增量同步到所述ODS数据表中；

所述增量同步条件包括：增量同步字段和增量同步时间。

进一步地，所述同步单元，具体根据用户设置的清洗条件，将所述源系统数据表中的数据进行清洗后同步到所述ODS数据表中，并将清洗掉的数据存储在预设的ODS清洗表中。

进一步地，所述装置还包括：

极限单元，在将所述源系统数据表中的数据同步到所述ODS数据表中之后，将满足用户设置的极限存储条件的数据存储在预设的ODS极限表中。

进一步地，所述装置还包括：

处理单元，根据用户设置的生命周期，对到达所述生命周期的ODS数据表中的数据进行预设的处理。

由以上描述可以看出，本申请可以根据用户设置的源系统数据表名，获取源系统数据表的元数据，从而可以根据该元数据自动创建与所述源系统数据表对应的ODS数据表，并将所述源系统数据表中的数据同步到所述ODS数据表中，整个过程不需要人工编写脚本，大大降低了人力成本，同时提升研发效率，保障数据仓库的稳定性和质量。

附图说明

图1是本申请一实施例中数据仓库ODS层的建立方法的流程示意图。

图2是本申请另一实施例中数据仓库ODS层的建立方法的流程示意图。

图3是本申请一实施例中一种服务端的结构示意图。

图4是本申请一实施例中数据仓库ODS层的建立装置的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

针对上述问题，本申请提供一种数据仓库ODS层的建立方案。

请参考图1，本申请提供一种数据仓库ODS层的建立方法，所述方法可以应用在服务端上，包括以下步骤：

步骤101，根据用户设置的源系统数据表名，获取源系统数据表的元数据。

在本实施例中，可以为用户提供ODS层的配置界面，并在该配置界面中提供设置所述源系统数据表名的选项。当需要建立ODS层的时候，用户可以在该界面中输入需要同步的源系统数据表名，服务端可以根据所述源系统表名从用于存储元数据的模块中获取所述源系统数据表的元数据。其中，所述元数据包括有：表结构信息等。

步骤102，根据所述元数据创建与所述源系统数据表对应的ODS数据表。

基于前述步骤101，在获取到所述源系统数据表的元数据后，可以根据所述元数据生成建表语句，然后根据该建表语句创建与所述源系统数据表对应的ODS数据表。

步骤103，将所述源系统数据表中的数据同步到所述ODS数据表中。

基于前述步骤102，在建立所述源系统数据表对应的ODS数据表后，可以依据用户设置的同步指令将所述源系统数据表中的数据全量同步或增量同步到所述ODS数据表中。

由以上描述可以看出，本申请可以根据用户设置的源系统数据表名，获取源系统数据表的元数据，从而可以根据该元数据自动创建与所述源系统数据表对应的ODS数据表，并将所述源系统数据表中的数据同步到所述ODS数据表中，整个过程不需要人工编写脚本，大大降低了人力成本，同时提升研发效率、保障数据仓库稳定性和质量。

以下结合详细的实施例来描述本申请的实现过程。

请参考图2，本申请提供的另一种数据仓库ODS层的建立方法，所述方法可以应用在服务端上，包括以下步骤：

步骤201，根据用户设置的源系统数据表名，获取源系统数据表的元数据。

在本申请中，源系统为数据仓库的基础，是数据仓库数据的来源，所述源系统可以为业务系统，其中包括有诸多数据表。

为实现本申请，服务端可以为用户提供ODS层的配置界面，通过该配置界面用户可以配置所需创建的ODS层的各种信息，比如：增量同步条件、清洗条件、生命周期等。

在本实施例中，用户可以通过所述配置界面设置需要同步的源系统数据表名，比如：用户配置源系统数据表名ex_system_param，意味着用户想要将源系统数据表ex_system_param中的数据同步到建立的ODS层的ODS数据表中。

在本步骤中，根据用户设置的所述源系统数据表名，可以从用于存储元数据的模块中获取所述源系统数据表的元数据。所述元数据包括有：所述源系统数据表的表结构信息，比如：字段名称、字段类型、备注信息等。

步骤202，根据所述元数据生成建表语句。

基于前述步骤201，在获取到所述源系统数据表的元数据后，可以根据所述元数据生成建立ODS数据表所需的建表语句。

为实现本申请，开发人员可以预先设置建表语句的模板，在获取到元数据之后，可以通过将所述元数据中的列名、描述等信息添加到所述模板的预设位置处，以生成建表语句。

请参考表1，假设表1为前述步骤201中获取到的源系统数据表ex_system_param的元数据。

	列名	描述	类型	可空
					1	id	主键	bigint(20)unsigned	N
2	gmt_create	创建时间	datetime	N
					3	gmt_modified	修改时间	datetime	N
4	param_key	参数key	varchar(32)	N
					5	param_value	参数值	varchar(128)	Y

表1

根据表1所示的元数据，在本步骤中，可以生成如下建表语句：

其中，ods_ex_system_param为创建的ODS数据表的表名；

bigint和string表示ODS数据表中对应字段的字段类型；

COMMENT后面的内容为对应字段的描述；

COMMENT‘系统参数表’表示整表的备注。

步骤203，根据所述建表语句创建与所述源系统数据表对应的ODS数据表。

仍以步骤202中的建表语句为例，在本步骤中，创建与源系统数据表ex_system_param对应的名为ods_ex_system_param的ODS数据表。该名为ods_ex_system_param的ODS数据表中，字段id的字段类型为bigint，字段gmt_create、字段gmt_modified、字段param_key以及字段param_value的字段类型为string。

步骤204，将所述源系统数据表中的数据同步到所述ODS数据表中。

基于前述步骤203，在创建ODS数据表之后，可以根据用户设置的全量同步指令将所述源系统数据表中的数据全量同步到所述ODS数据表中。即将所述源系统数据表中的所有数据同步到所述ODS数据表中。

需要说明的是，在进行数据同步的过程中，如果同一字段在源系统数据表中存储的字段类型与ODS数据表中规定的字段类型不一致，则要将源系统数据表中该字段的数据进行转换后同步到所述ODS数据表中。

仍以步骤202中的建表语句为例，在本步骤进行数据同步的过程中，对于字段gmt_create、字段gmt_modified、字段param_key以及字段param_value，需要将上述字段中的数据转换为ODS数据表中规定的字段类型string，然后进行保存。

进一步地，由于源系统数据表中的数据会经常更新，本申请还支持定期将源系统数据表中更新的数据增量同步到ODS数据表中。具体地，可以在ODS层的配置界面中为用户提供增量同步的选项，用户可以设置增量同步条件。所述增量同步条件可以包括：增量同步字段和增量同步时间。假如，用户设置的增量同步字段为联系电话字段，增量同步时间为每天零点，则在每天零点，会自动将前一天有更新的联系电话同步到ODS数据表中。

进一步地，如果用户设置有清洗条件，需要将所述源系统数据表中的数据进行清洗后同步到所述ODS数据表中。具体地，用户可以在ODS层的配置界面中设置所述清洗条件，比如：对于联系电话字段，可以将所述清洗条件设置为过滤非数字字符，则在本步骤中，在同步联系电话字段时，如果某一条数据为：138jk10004*567，则将该数据中的非数字字符“jk*”清洗掉，将清洗后的数据“13810004567”存储在ODS数据表中对应的位置。与此同时，为了便于后续调用和分析，还会将清洗掉的数据“jk*”存储在预设的ODS清洗表中。

更进一步地，如果用户设置有极限存储条件，则在将所述源系统数据表中的数据同步到所述ODS数据表中之后，还需要将满足用户设置的极限存储条件的数据存储在预设的ODS极限表中。假设，对于联系电话字段，所述源系统数据表中昨天存储的数据为号码A，而今天同一主键中该数据更新为号码B，如果用户可以设置对联系电话字段进行极限存储，则在将所述号码B同步到ODS数据表中之后，还需要将该数据的上述变化信息，即昨天为号码A，今天为号码B，存储在预设的ODS极限表中。

步骤205，根据用户设置的生命周期，对到达所述生命周期的ODS数据表中的数据进行预设的处理。

在本实施例中，用户可以设置ODS数据表的生命周期，服务端可以对到达所述生命周期的ODS数据表中的数据进行预设的处理。具体地，随着不断的增量同步，存储的数据量会越来越多，超过所述生命周期的数据对于后续的分析而言可能已经没有意义，所以在本步骤中，可以删除到达所述生命周期的ODS数据表中的数据，也可以将到达所述生命周期的ODS数据表中的数据存储在其他预设的表中，本申请对此不作特殊限制。

由以上描述可以看出，本申请可以根据用户设置的源系统数据表名，获取源系统数据表的元数据，从而可以根据该元数据自动创建与所述源系统数据表对应的ODS数据表，并将所述源系统数据表中的数据同步到所述ODS数据表中，整个过程不需要人工编写脚本，大大降低了人力成本，同时提升研发效率、保障数据仓库稳定性和质量。

与本申请数据仓库ODS层的建立方法的实施例相对应，本申请还提供一种数据仓库ODS层的建立装置。本申请所述的装置可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，本申请数据仓库ODS层的建立装置作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。

请参考图3和图4，本申请提供一种数据仓库ODS层的建立装置300，所述装置300可以应用在服务器上，包括有：获取单元301、创建单元302、同步单元303、极限单元304以及处理单元305，其中，所述创建单元302还可以包括：生成子单元3021以及创建子单元3022。

其中，所述获取单元301，根据用户设置的源系统数据表名，获取源系统数据表的元数据。

所述创建单元302，根据所述元数据创建与所述源系统数据表对应的ODS数据表。

所述同步单元303，将所述源系统数据表中的数据同步到所述ODS数据表中。

所述生成子单元3021，根据所述元数据生成建表语句。

所述创建子单元3022，根据所述建表语句创建与所述源系统数据表对应的ODS数据表。

所述同步单元303，具体根据用户设置的全量同步指令将所述源系统数据表中的数据全量同步到所述ODS数据表中。

所述同步单元303，进一步根据用户设置的增量同步条件将所述源系统数据表中的数据增量同步到所述ODS数据表中；

所述增量同步条件包括：增量同步字段和增量同步时间。

所述同步单元303，具体根据用户设置的清洗条件，将所述源系统数据表中的数据进行清洗后同步到所述ODS数据表中，并将清洗掉的数据存储在预设的ODS清洗表中。

所述极限单元304，在将所述源系统数据表中的数据同步到所述ODS数据表中之后，将满足用户设置的极限存储条件的数据存储在预设的ODS极限表中。

所述处理单元305，根据用户设置的生命周期，对到达所述生命周期的ODS数据表中的数据进行预设的处理。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (14)

1.一种数据仓库ODS层的建立方法，其特征在于，所述方法包括：

根据用户设置的源系统数据表名，获取源系统数据表的元数据；

根据所述元数据创建与所述源系统数据表对应的ODS数据表；

将所述源系统数据表中的数据同步到所述ODS数据表中。

2.根据权利要求1所述的方法，其特征在于，

所述根据所述元数据创建与所述源系统数据表对应的ODS数据表包括：

根据所述元数据生成建表语句；

根据所述建表语句创建与所述源系统数据表对应的ODS数据表。

3.根据权利要求1所述的方法，其特征在于，

所述将所述源系统数据表中的数据同步到所述ODS数据表中包括：

根据用户设置的全量同步指令将所述源系统数据表中的数据全量同步到所述ODS数据表中。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

根据用户设置的增量同步条件将所述源系统数据表中的数据增量同步到所述ODS数据表中；

所述增量同步条件包括：增量同步字段和增量同步时间。

5.根据权利要求1所述的方法，其特征在于，

所述将所述源系统数据表中的数据同步到所述ODS数据表中包括：

根据用户设置的清洗条件，将所述源系统数据表中的数据进行清洗后同步到所述ODS数据表中；

将清洗掉的数据存储在预设的ODS清洗表中。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在将所述源系统数据表中的数据同步到所述ODS数据表中之后，将满足用户设置的极限存储条件的数据存储在预设的ODS极限表中。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据用户设置的生命周期，对到达所述生命周期的ODS数据表中的数据进行预设的处理。

8.一种数据仓库ODS层的建立装置，其特征在于，所述装置包括：

获取单元，根据用户设置的源系统数据表名，获取源系统数据表的元数据；

创建单元，根据所述元数据创建与所述源系统数据表对应的ODS数据表；

同步单元，将所述源系统数据表中的数据同步到所述ODS数据表中。

9.根据权利要求8所述的装置，其特征在于，所述创建单元包括：

生成子单元，根据所述元数据生成建表语句；

创建子单元，根据所述建表语句创建与所述源系统数据表对应的ODS数据表。

10.根据权利要求8所述的装置，其特征在于，

所述同步单元，具体根据用户设置的全量同步指令将所述源系统数据表中的数据全量同步到所述ODS数据表中。

11.根据权利要求10所述的装置，其特征在于，

所述同步单元，进一步根据用户设置的增量同步条件将所述源系统数据表中的数据增量同步到所述ODS数据表中；

所述增量同步条件包括：增量同步字段和增量同步时间。

12.根据权利要求8所述的装置，其特征在于，

所述同步单元，具体根据用户设置的清洗条件，将所述源系统数据表中的数据进行清洗后同步到所述ODS数据表中，并将清洗掉的数据存储在预设的ODS清洗表中。

13.根据权利要求8所述的装置，其特征在于，所述装置还包括：

极限单元，在将所述源系统数据表中的数据同步到所述ODS数据表中之后，将满足用户设置的极限存储条件的数据存储在预设的ODS极限表中。

14.根据权利要求8所述的装置，其特征在于，所述装置还包括：

处理单元，根据用户设置的生命周期，对到达所述生命周期的ODS数据表中的数据进行预设的处理。