CN104866487B

CN104866487B - 一种宽表刷新的方法和装置

Info

Publication number: CN104866487B
Application number: CN201410061251.0A
Authority: CN
Inventors: 璐句寒; 贾亮
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba China Network Technology Co Ltd
Priority date: 2014-02-24
Filing date: 2014-02-24
Publication date: 2018-08-03
Anticipated expiration: 2034-02-24
Also published as: CN104866487A

Abstract

本发明提供了一种宽表刷新的方法和装置，分别读取预先配置的各应用系统的配置信息，针对读取的配置信息分别执行：获取配置信息中应用系统所依赖的主题表信息，判断配置信息中应用系统所依赖的主题表是否均刷新完成，如果是，则利用所述主题表信息和应用系统对应的宽表信息，构造建表语句和数据插入语句；执行建表语句和数据插入语句，得到该应用系统对应的宽表。在本发明中，只要应用系统所依赖的主题表刷新完毕，就可以执行针对该应用系统进行的宽表的刷新，满足应用系统的时效性要求，并且对于主题表增加了字段等变更，完全不会影响到刷新流程，大大降低了维护代价。

Description

一种宽表刷新的方法和装置

【技术领域】

本发明涉及计算机应用技术领域，特别涉及一种宽表刷新的方法和装置。

【背景技术】

宽表是基于某个实体分析对象而建立的一个逻辑数据体系，由实体的维度、描述信息以及基于这个实体的一系列度量组成。宽表因结构简单、模型容易理解和数据访问效率高而得到了广泛使用。

由于数据仓库的数据量通常是巨大的，并且数据变化频繁，因此需要周期性地对宽表进行刷新，例如一天刷新一次。现有的宽表刷新的逻辑架构如图1中所示，对各主题表分别进行刷新后，基于刷新后的主题表进行宽表的计算和汇总，形成总宽表从而实现宽表的刷新，不同应用系统共享该总宽表。然而现有的该宽表刷新方式存在以下缺点：

1）总宽表依赖多个主题表，为了保持版本的一致性，需要每个主题表都完成刷新后才能够进行总宽表的刷新。由于不同应用系统共享该总宽表，因此即便某个应用系统只使用了个别主题表中的字段，也需要等待整个总宽表的刷新完成才能够使用。因此浪费了大量的时间在等待不需要的字段刷新完成，对于时效性要求较高的应用系统往往无法满足时效性要求。

2）宽表的计算逻辑是通过写好的代码完成的，只要有一个主题表增加了字段，就需要修改宽表的计算代码，浪费大量的操作时间且维护代价较高，随着依赖的主题表的增多，该缺点会更加显著。

【发明内容】

有鉴于此，本发明提供了一种宽表刷新的方法和装置，以便于满足时效性要求，降低维护代价。

具体技术方案如下：

首先本发明提供了一种宽表刷新的方法，分别读取预先配置的各应用系统的配置信息，针对读取的配置信息分别执行：

获取配置信息中应用系统所依赖的主题表信息，判断配置信息中应用系统所依赖的主题表是否均刷新完成，如果是，则利用所述主题表信息和应用系统对应的宽表信息，构造建表语句和数据插入语句；

执行所述建表语句和数据插入语句，得到该应用系统对应的宽表。

根据本发明一优选实施方式，所述判断配置信息中应用系统所依赖的主题表是否均刷新完成具体包括：

从数据仓库的元数据得到获取的各主题表所依赖的刷新任务，判断刷新任务是否完成，如果刷新任务完成，则对应的主题表刷新完成。

根据本发明一优选实施方式，利用所述主题表信息和应用系统对应的宽表信息，构造建表语句和数据插入语句具体包括：

加载建表语句模板，根据所述主题表信息中的字段、字段注释和字段类型以及所述宽表信息在所述建表语句模板中填入个性化部分的内容，得到建表语句；

加载数据插入语句模板，根据所述主题表信息中的字段、源表别名和关联字段以及所述宽表信息在所述数据插入语句模板中填入个性化部分的内容，得到数据插入语句。

根据本发明一优选实施方式，在构造建表语句和数据插入语句之前，还包括：

依据配置信息中的黑名单字段对所述主题表信息中的字段进行过滤处理，根据配置信息中的源表别名对过滤后剩余的字段进行别名化处理；

在构造建表语句和数据插入语句时采用的所述主题表中的字段为经过所述过滤处理和别名化处理之后的字段。

根据本发明一优选实施方式，时效性要求较高的应用系统依赖部分主题表；

时效性要求较低的应用系统依赖全部主题表。

本发明还提供了一种宽表刷新的装置，该装置包括：

配置读取单元，用于分别读取预先配置的各应用系统的配置信息；

宽表刷新单元，用于分别对所述配置读取单元读取的配置信息进行处理；

所述宽表刷新单元具体包括：

信息获取子单元，用于获取配置信息中应用系统所依赖的主题表信息和应用系统对应的宽表信息；

刷新判断子单元，用于判断配置信息中应用系统所依赖的主题表是否均刷新完成；

语句构造子单元，用于在所述刷新判断子单元的判断结果为是时，利用所述主题表信息和所述宽表信息，构造建表语句和数据插入语句；

语句执行子单元，用于执行所述建表语句和数据插入语句，得到该应用系统对应的宽表。

根据本发明一优选实施方式，所述刷新判断子单元从数据仓库的元数据得到获取的各主题表所依赖的刷新任务，判断刷新任务是否完成，如果刷新任务完成，则对应的主题表刷新完成。

根据本发明一优选实施方式，所述语句构造子单元在构造建表语句和数据插入语句时，具体执行：

根据本发明一优选实施方式，所述语句构造子单元在构造建表语句和数据插入语句之前，还用于依据配置信息中的黑名单字段对所述主题表信息中的字段进行过滤处理，根据配置信息中的源表别名对过滤后剩余的字段进行别名化处理。

时效性要求较低的应用系统依赖全部主题表。

由以上技术方案可以看出，针对时效性要求较高的应用系统，通过在其配置信息中配置其所依赖的主题表信息和对应的宽表信息，只要应用系统所依赖的主题表刷新完毕，就可以执行针对该应用系统进行宽表的刷新，提高了宽表刷新的时效性，满足应用系统的时效性要求。另外，对于所有的应用系统都执行相同的刷新流程，只是对于各应用系统而言对应不同的配置信息，对于主题表增加了字段等变更，完全不会影响刷新流程，也就是说，对于刷新宽表的计算代码不会产生任何影响，大大降低了维护代价。

【附图说明】

图1为现有技术中宽表刷新的逻辑架构图；

图2为本发明实施例提供的宽表刷新的逻辑架构图；

图3为本发明实施例一提供的宽表刷新的方法流程图；

图4为本发明实施例二提供的宽表刷新的装置结构图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

本发明的核心思想在于，针对时效性较高的各应用系统分别对应形成各自的宽表，该宽表的形成仅基于对应应用系统所依赖的主题表，如果应用系统所依赖的主题表刷新完成，就可以进行该应用系统所对应宽表的刷新。其中在刷新各宽表时，采用相同的计算逻辑，即都是基于预先针对各应用系统分别配置的配置信息构造建表语句和数据插入语句，并执行构造的建表语句和数据插入语句从而形成宽表。

本发明对应的逻辑架构如图2中所示，除了对时效性较高的各应用系统形成对应宽表之外，对于时效性要求不高的应用系统则仍可以形成对应宽表，该宽表的刷新过程与各宽表的刷新过程相同，只是配置信息中依赖所有的主题表。在图2中为了将时效性较高的各应用系统对应的宽表和时效性要求较低的应用该系统对应的宽表进行区分，将时效性要求较高的各应用系统对应的宽表称为子宽表（该子宽表依赖部分主题表），将时效性要求较低的应用系统对应的宽表称为大宽表（该大宽表依赖所有主题表）。下面首先通过实施例一对本发明提供的方法进行详细描述。

实施例一、

图3为本发明实施例一提供的宽表刷新的方法流程图，在本实施例中会预先将各应用系统的配置信息进行配置，该配置信息主要包括应用系统对应的宽表信息和应用系统所依赖的主题表信息。除此之外还可能包含一些其他信息，如表1中所示，表1中为一个应用系统的配置信息。

表1

源表	目标表	源表别名	关联字段	字段白名单	字段黑名单
						A,B,C,D	a	a1,a2,a3,a4	Member_id	Id,name	Dw_ins_date

源表为该应用系统所依赖的主题表，即依赖主题表A、B、C和D。例如，对于营销控制类的应用系统，其依赖购买行为的主题表、收藏行为的主题表、会员属性的主题表等。

目标表为该应用系统对应的宽表，即对应子宽表a。

源表别名是为了解决主题表之间的字段存在的冲突问题，就用源表别名来进行唯一性区别。例如主题表A中存在字段column_1，主题表B中也存在字段column_1，如果不加任何处理，会在宽表的计算过程中发生冲突导致报错，如果采用源表别名加上前缀，主题表A中的字段就变成了a1_column_1，主题表B中的字段就变成了a2_column_1，这样就不会产生冲突。

关联字段是为了表示在宽表的计算过程中主题表之间的关联关系，通常主题表之间是通过某个确定的字段进行关联的，这个字段在主题表A中存在，在主题表B中也存在，这样就关联起来了。

字段白名单主要包含不需要进行唯一性区别的字段，某些字段是唯一的，在宽表的计算过程中不会发生冲突，就不需要进行别名化。例如，对于时间字段、会员id字段等，只在主题表A中存在，在该应用系统所依赖的其他主题表中不存在，是唯一的，那么就可以将其放入字段白名单。

字段黑名单主要包含不需要展示的字段，有些字段由于敏感性或隐私性等要求，不需要展示，则将其放入字段黑名单中。例如email、phone_num等涉及个人隐私的字段。

另外，需要简单描述的是，关于主题表的形成，可以是将当前数据仓库中的所有数据按照业务主体进行分类，例如会员登录行为成为一个主题，会员浏览行为成为一个主题，会员购买行为成为一个主题等，每个主题都对应一个主题表。更进一步地，为了方便对数据的利用，还可以将主题表进行一些固化处理，使之成为类似视图形式的结构。该部分内容并不是本发明所限制的部分，在此不再详细描述。

如图3中所示，在本实施例中进行的宽表刷新可以是通常所采用的周期性的触发，也可以由其他方式进行触发，本发明对宽表刷新的触发方式并不加以限制。当被触发进行宽表刷新时，读取各应用系统的配置信息，针对各配置信息分别执行以下步骤：

步骤301：根据配置信息判断对应应用系统所依赖的主题表是否刷新完成，如果是，则继续执行步骤302；否则，结束针对该配置信息的流程，等待下一次流程的执行。

从配置信息中可以获得对应应用系统所依赖的主题表，再根据数据仓库的元数据得到各主题表所依赖的刷新任务，判断该刷新任务是否完成，如果刷新任务完成，则对应的主题表刷新完成。

如果对应应用系统所依赖的所有主题表都刷新完成，则可以执行以下宽表的计算过程。

步骤302：根据配置信息中对应应用系统所依赖的主题表信息，获取每个主题表的字段、字段注释和字段类型。

主题表的字段、字段注释和字段类型可以从已有的数据字典中获得，即数据字典中包括了各主题表所包含的字段信息，通过查询数据字典，就可以获得这些信息。

步骤303：过滤掉配置信息中的黑名单字段，根据配置信息中的源表别名对剩余的字段进行别名化。

如果配置信息中存在黑名单字段，由于黑名单字段中包含的是不需要展示的字段，因此可以将获取的字段中的黑名单字段过滤掉，使其不出现在宽表中。

在进行别名化时，对于白名单字段因其具有的唯一性可以不进行别名化。

步骤304：利用经过步骤303处理后得到的字段以及字段注释、字段类型、对应宽表信息构造建表语句。

步骤305：利用经过步骤303处理后得到的字段以及配置信息中的源表别名、关联字段、对应宽表信息构造数据插入语句。

上述步骤304和步骤305可以同时执行，也可以以任意的顺序先后执行。

其中，建表语句用于建立宽表的架构，例如宽表的名称，有哪些列构成，列名分别是什么等等。数据插入语句完成在宽表的架构中数据的插入，也就是说，确定宽表中的具体数据内容。

在构造建表语句和数据插入语句时，可以采用预先设置好的建表语句模板和数据插入语句模板，只需要将其中个性化的部分填入模板即可。在构造建表语句时，将字段、字段注释、字段类型和对应宽表信息在建表语句模板中填入个性化部分的内容；在构造数据插入语句时，将字段、源表别名、关联字段以及宽表信息在数据插入语句模板中填入个性化部分的内容。分别举一个构造的建表语句和数据插入语句的例子。

建表语句为：

create table adl_en_edm_mart_for_cgs_service_fdt0_20140121033600

(stat_date string comment'统计日期'

,member_id string comment'会员ID'

,member_seq bigint comment'会员seq'

,mem_status string comment'会员状态'

,mem_gmt_create string comment'会员创建时间'

）

COMMENT'cgs服务应用表'

ROW FORMAT DELIMITED FIELDS TERMINATED BY'\005'

STORED AS SequenceFile;

数据插入语句为：

insert OVERWRITE TABLE adl_en_edm_mart_for_cgs_service_fdt0_20140121033600select a.stat_date

,a.member_id

,b.member_seq

,b.mem_status

,c.mem_gmt_create

from A a

left outer join B b

on(a.member_id=b.member_id)

left outer join C c

on(a.member_id=c.member_id）

在以上的例子中，建表语句的模板可以如下所示：

create table【宽表信息】

(【字段1】【字段类型1】comment'【字段注释1】'

,【字段2】【字段类型2】comment'【字段注释2】'

,【字段3】【字段类型3】comment'【字段注释3】'

,……

）

COMMENT'【宽表注释】'

ROW FORMAT DELIMITED FIELDS TERMINATED BY'\005'

STORED AS SequenceFile;

数据插入语句的模板为：

insert OVERWRITE TABLE【宽表信息】

select【源表别名.字段1】

,【源表别名.字段2】

,【源表别名.字段3】

,……

from A【源表别名1】

left outer join B【源表别名2】

on(【关联字段信息】)

left outer join C【源表别名3】

on(【关联字段信息】）

……

上述模板中，【】中的内容为需要在模板中填入的个性化内容，在上述例子中包括以下内容：在建表语句和数据插入语句中的“adl_en_edm_mart_for_cgs_service_fdt0_20140121033600”为分别在建表语句模板和数据插入语句模板中填入的宽表信息，例如宽表的名称或标识。“stat_date”、“member_id”、“member_seq”、“mem_status”和“mem_gmt_create”是在建表语句模板中填入的字段，“string”和“bigint”是在建表语句模板中填入的字段类型，“统计日期”、“会员ID”、“会员seq”、“会员状态”和“会员创建时间”是在建表语句模板中填入的字段注释。“a.stat_date”、“a.member_id”、“b.member_seq”、“b.mem_status”和“c.mem_gmt_create”是在数据插入语句模板中填入的增加了源表别名后的各字段，其中的“a”和“b”为源表别名，“a.member_id=b.member_id”和“a.member_id=c.member_id”是在数据插入语句模板中填入的关联字段信息，表明“member_id”是关联字段。

步骤306：执行构造的建表语句和数据插入语句，得到该应用系统对应的宽表。

通过图3所示流程可以得到时效性较高的应用系统对应的子宽表，也可以得到时效性较低的普通用户的应用系统对应的大宽表，执行流程是相同的，不同的只是配置信息中应用该系统所依赖的主题表。

以上是对本发明所提供的方法进行的详细描述，下面通过实施例二对本发明提供的装置进行详细描述。

实施例二、

图4为本发明实施例二提供的宽表刷新的装置结构图，如图4中所示，该装置可以包括配置读取单元10和宽表刷新单元20。

配置读取单元10分别读取预先配置的各应用系统的配置信息，该配置信息主要包括应用系统对应的宽表信息和应用系统所依赖的主题表信息。除此之外，还可以包含源表别名、关联字段、字段白名单、字段黑名单等。

其中，源表别名是为了解决主题表之间的字段存在冲突的问题，就用源表别名作为发生冲突的字段的前缀，从而进行唯一性区别。

宽表刷新单元20负责分别对配置读取单元10读取的配置信息进行处理，从而得到各配置信息对应的应用系统的宽表。下面对宽表刷新单元20的结构进行详细描述。宽表刷新单元20可以具体包括：信息获取子单元21、刷新判断子单元22、语句构造子单元23和语句执行子单元24。

其中，信息获取子单元21获取配置信息中应用系统所依赖的主题表信息和应用系统对应的宽表信息。再由刷新判断子单元22判断配置信息中应用系统所依赖的主题表是否均刷新完成。

具体地，刷新判断子单元22可以从数据仓库的元数据得到获取的各主题表所依赖的刷新任务，判断刷新任务是否完成，如果刷新任务完成，则对应的主题表刷新完成。

如果应用系统所依赖的主题表均刷新完成，即在刷新判断子单元22的判断结果为是时，语句构造子单元23利用信息获取子单元21获取的主题表信息和宽表信息，构造建表语句和数据插入语句。

具体地，语句构造子单元23在构造建表语句和数据插入语句时，具体执行：加载建表语句模板，根据主题表信息中的字段、字段注释和字段类型以及宽表信息在建表语句模板中填入个性化部分的内容，得到建表语句；加载数据插入语句模板，根据主题表信息中的字段、源表别名和关联字段以及宽表信息在数据插入语句模板中填入个性化部分的内容，得到数据插入语句。

其中主题表的字段、字段注释和字段类型可以从已有的数据字典中获得，即数据字典中包括了各主题表所包含的字段信息，通过查询数据字典，就可以获得这些信息。

另外，语句构造子单元23在构造建表语句和数据插入语句之前，可以先依据配置信息中的黑名单字段对主题表信息中的字段进行过滤处理，根据配置信息中的源表别名对过滤后剩余的字段进行别名化处理，在进行别名化时，对于白名单字段因其具有的唯一性可以不进行别名化。之后在构造建表语句和数据插入语句时，采用的字段为进行上述过滤处理和别名化处理之后的字段。

然后由语句执行子单元24执行建表语句和数据插入语句，得到该应用系统对应的宽表。

上述装置得到的各应用系统的宽表，对于时效性较高的应用系统而言，其在配置信息中配置的所依赖的主题表为部分主题表，而对于时效性要求较低的应用系统，其配置信息中配置的所依赖的主题表为全部主题表。这样就能够得到时效性较高的应用系统对应的子宽表，时效性较低的应用系统对应的大宽表。

由以上描述可以看出，本发明提供的方法和装置可以具备以下优点：

1）针对时效性要求较高的应用系统，通过在其配置信息中配置其所依赖的主题表信息和对应的宽表信息，只要应用系统所依赖的主题表刷新完毕，就可以执行针对该应用系统进行宽表的刷新，显然提高了宽表刷新的时效性，满足应用系统的时效性要求。

2）对于所有的应用系统都执行相同的刷新流程，只是对于各应用系统而言对应不同的配置信息，对于主题表增加了字段等变更，完全不会影响刷新流程，只需要修改配置信息即可，也就是说，对于刷新宽表的计算代码不会产生任何影响，大大降低了维护代价。

3）对于时效性要求较低的普通用户，仍可以形成大宽表以供其共享使用，并且大宽表的刷新流程与时效性要求较高的应用程序的子宽表的刷新流程一致，采用相同的计算代码即可。

4）如果增加了新的应用系统，只需要增加该应用系统的配置信息即可，扩展性较强。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器（processor）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种宽表刷新的方法，其特征在于，分别读取预先配置的各应用系统的配置信息，针对读取的配置信息分别执行：

2.根据权利要求1所述的方法，其特征在于，所述判断配置信息中应用系统所依赖的主题表是否均刷新完成具体包括：

3.根据权利要求1所述的方法，其特征在于，利用所述主题表信息和应用系统对应的宽表信息，构造建表语句和数据插入语句具体包括：

4.根据权利要求3所述的方法，其特征在于，在构造建表语句和数据插入语句之前，还包括：

5.根据权利要求1至4任一权项所述的方法，其特征在于，时效性要求较高的应用系统依赖部分主题表；

时效性要求较低的应用系统依赖全部主题表。

6.一种宽表刷新的装置，其特征在于，该装置包括：

所述宽表刷新单元具体包括：

7.根据权利要求6所述的装置，其特征在于，所述刷新判断子单元从数据仓库的元数据得到获取的各主题表所依赖的刷新任务，判断刷新任务是否完成，如果刷新任务完成，则对应的主题表刷新完成。

8.根据权利要求6所述的装置，其特征在于，所述语句构造子单元在构造建表语句和数据插入语句时，具体执行：

9.根据权利要求8所述的装置，其特征在于，所述语句构造子单元在构造建表语句和数据插入语句之前，还用于依据配置信息中的黑名单字段对所述主题表信息中的字段进行过滤处理，根据配置信息中的源表别名对过滤后剩余的字段进行别名化处理。

10.根据权利要求6至9任一权项所述的装置，其特征在于，时效性要求较高的应用系统依赖部分主题表；

时效性要求较低的应用系统依赖全部主题表。