CN101551811B - 用于实时数据etl系统的记忆式调度方法 - Google Patents

Abstract

用于实时数据ETL系统的记忆式调度方法，ETL调度主程序按照预先设定的顺序执行某个任务，执行的时候把lscycle最近成功数据周期、curcycle当前处理数据周期、endcycle处理截止数据周期等由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息；在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽；记忆式调度方法(有状态调度方法)解决了传统ETL调度程序无状态的特点，简化了被调程序的任务，通过记忆状态使得被调程序可以专注于自己的业务逻辑，为实时数据ETL领域赢得了大量的开发时间，大大提高了项目实施的效率。

Description

用于实时数据ETL系统的记忆式调度方法

一、技术领域

本技术发明方案应用于实时数据ETL系统的调度，采用记忆式调度方法(有状态调度方法)用于解决实时数据ETL系统中被调程序疲于处理调度信息的问题，从而使得被调程序可以专注于自身的业务逻辑。

二、背景技术

ETL(Extraction-Transformation-Loading)即数据抽取、转换和加载。ETL负责将分布的、异构数据源中的数据，如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析的数据。目前现有的ETL调度方法都是非记忆、无状态的调度方法，如采用固定时间点进行调度(固定周期)，比如每天晚上23:00执行某个程序，两次调度之间在调度层面没有任何关联，任务状态的判断和时间周期的选择完全由被调程序的程序逻辑自行完成，这样既增加了被调程序的负担，又无法使被调程序专注于自己的业务逻辑。

现有ETL调度方法的特点如下：

周期闭环抽取问题：目前的ETL调度方法都是非记忆和无状态的，只能解决固定时间点(固定周期)的ETL抽取问题，而无法解决ETL系统中的时间戳抽取(周期闭环)问题。

数据重抽问题：目前的ETL调度方法无法有效解决自动进行数据重抽的问题。

调度时间滞后的任务追赶问题：ETL任务由于某种原因被暂停或执行失败而在时间上滞后预定计划，在该任务重新恢复正常运行时，不能自动根据时间周期的特点进行ETL任务的自动追赶。

自我评估问题：目前的ETL调度程序没有根据ETL的特点进行自我运行情况的评估。

三、发明内容

本发明目的是解决传统ETL调度方法存在的问题，通过采用记忆式、有状态的调度方法，调度引擎能够记住每个任务每次运行的时间周期、状态、历时，从而可以在调度层面优化调度策略，提高调度性能，使得被调程序专注于自己的业务逻辑，从而解决周期闭环抽取问题、数据重抽问题、调度时间滞后的任务追赶问题和自我评估问题。

本发明技术方案是：用于实时数据ETL系统的记忆式调度方法，ETL调度主程序按照预先设定的顺序执行某个任务，执行的时候把lscycle最近成功数据周期、curcycle当前处理数据周期、endcycle处理截止数据周期等由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息；在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽；

ETL数据分类

根据ETL数据的变化特点，分成固定周期数据和周期闭环数据：

固定周期：是指在分析周期内数据是静止的数据；

周期闭环：指抽取特定周期内数据是变化的、取最后一次变化的记录；该周期是不固定的，其时间范围为上次执行抽取的时间到本次执行抽取发生的时间；

记忆式调度方法

假定调度流程Wf1，任务B1∈wf1，则

Wf1的状态＝{wstate状态、

          lscycle最近成功数据周期、

          endcycle处理截止数据周期、

          curcycle当前处理数据周期}

B1的状态包括＝{bstate状态、

          succnum成功运行次数、

          succtotal成功运行总历时、

          succavg成功运行平均历时}

周期闭环的记忆式调度方法：

某个周期闭环数据集A，A的起始抽取时间是Φ，每隔T0分钟抽取一次，则数据集A的抽取时间集＝[Φ，Φ1)+[Φ1，Φ2)+[Φ2，Φ3)+…+[Φn-1，Φn)+…

其中，“[Φn”表示≥Φn，“Φn+1)”表示＜Φn+1

Φn表示每隔T0分钟去抽取数据集A的当时的时间点，一般情况下等于Φ+T0*n(n从1开始，表示从Φ开始之后的第n个T0分钟)；

因此，对于周期闭环当中的某个[Φn，Φn+1)：

lscycle＝[Φn-2，Φn-1)

curcycle＝[Φn-1，Φn)

endcycle＝[Φn-1，Φn)

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

[Φn-1，Φn)

同时，wstate、bstate、succnum、succtotal、succavg也被调度引擎记忆下来。

固定周期的记忆式调度

对于固定周期的数据ETL调度，假定数据集B，B的起始抽取周期是∏，每隔T1天抽取一次，则数据集B的抽取周期集＝∏1+∏2+∏3+…+∏n-1+∏n+…

其中，∏n等于∏+n(n从1开始，表示从∏开始之后的第n天)；因此，对于固定周期当中的某个∏n：

lscycle＝∏n-1

curcycle＝∏n

endcycle＝∏k

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

∏n、∏n+1…∏k-1、∏k

同时，wstate、bstate、succnum、succtotal、succavg也被调度引擎记忆下来；

在ETL任务由于某种原因被暂停或执行失败而在时间上滞后预定计划，在该任务重新恢复正常运行时，能进行ETL任务的自动追赶。

(1)将数据分成固定周期抽取模式和周期闭环周期模式两种类型，分别用于静止数据和变化数据的抽取，固定周期抽取模式支持静止的数据，而周期闭环抽取模式支持变化的数据；

(2)对于周期闭环抽取模式工作步骤，调度引擎(即程序)将上次成功执行的时间点和本次要执行的时间点传给被调用的周期闭环抽取执行程序，并记录周期闭环抽取任务执行的调度信息。

(3)对于固定周期抽取模式，调度引擎自动记录需要执行的起始数据周期和终止数据周期，然后按时间周期序列逐个执行被调用的固定周期抽取执行程序，并记录任务执行的调度信息。

在周期闭环的抽取模式抽取执行程序中，根据时间戳进行实时的数据ETL。

简化了被调用的周期闭环抽取执行程序和被调用的固定周期抽取执行程序的任务，通过记忆状态使得被调程序可以专注于自己的业务逻辑，为实时数据ETL领域赢得了大量的开发时间，大大提高了项目实施的效率。

在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽。在ETL任务由于某种原因被暂停或执行失败而在时间上滞后预定计划，在该任务重新恢复正常运行时，能进行ETL任务的自动追赶。

每个任务都可以对自身的运行情况进行自我评估。ETL调度主引擎(主程序)按照预先设定的顺序执行某个任务(支持分布在不同主机上的任务)，执行的时候把lscycle最近成功数据周期、curcycle当前处理数据周期、endcycle处理截止数据周期、curcycle当前处理数据周期等由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息。由于调度引擎针对实时ETL的特点进行了记忆式、有状态的调度，所以使得被调程序可以更关注于自己的业务逻辑。

总体技术方案见附图1，详细说明如下：

ETL数据分类原理

根据ETL数据的变化特点，可以分成固定周期数据和周期闭环数据：

固定周期：是指在分析周期内数据是静止的数据，例如对于流水类接口数据，如通话清单类，任何时候抽取某一天的语音清单，得到的数据都是一样的。

周期闭环：指抽取特定周期内数据是变化的、取最后一次变化的记录。该周期是不固定的，其时间范围为上次执行抽取的时间到本次执行抽取发生的时间。

记忆式调度方法

假定调度流程Wf1，任务B1∈wf1，则

Wf1的状态＝{wstate状态、

          lscycle最近成功数据周期、

          endcycle处理截止数据周期、

          curcycle当前处理数据周期}

B1的状态包括＝{bstate状态、

          succnum成功运行次数、

          succtotal成功运行总历时、

          succavg成功运行平均历时}

周期闭环的记忆式调度

假定某个周期闭环数据集A，A的起始抽取时间是Φ，每隔T0分钟抽取一次，则数据集A的抽取时间集＝[Φ，Φ1)+[Φ1，Φ2)+[Φ2，Φ3)+…+[Φn-1，Φn)+…

其中，“[Φn”表示≥Φn，“Φn+1)”表示＜Φn+1

Φn表示每隔T0分钟去抽取数据集A的当时的时间点，一般情况下等于Φ+T0*n(n从1开始，表示从Φ开始之后的第n个T0分钟)；但是如果由于某些非常特殊的原因(比如异常的网络原因)，当某次数据抽取的时间超过T0分钟，则Φn就不等于Φ+T0*n，甚至可能已经滞后很多个T0分钟，此时就存在调度时间滞后的任务追赶问题。例如，T0＝5分钟。

因此，对于周期闭环当中的某个[Φn，Φn+1)：

lscycle＝[Φn-2，Φn-1)

curcycle＝[Φn-1，Φn)

endcycle＝[Φn-1，Φn)

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

[Φn-1，Φn)

同时，wstate、bstate、succnum、succtotal、succavg也被调度引擎记忆下来。

固定周期的记忆式调度

对于固定周期的数据ETL调度，假定数据集B，B的起始抽取周期是∏，每隔T1天(例如1天)抽取一次，则数据集B的抽取周期集＝∏1+∏2+∏3+…+∏n-1+∏n+…

其中，∏n等于∏+n(n从1开始，表示从∏开始之后的第n天)。因此，对于固定周期当中的某个∏n：

lscycle＝∏n-1

curcycle＝∏n

endcycle＝∏k(假定由于网络原因等造成存在调度时间滞后的任务追赶问题k≥n)

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

∏n、∏n+1…∏k-1、∏k

同时，wstate、bstate、succnum、succtotal、succavg也被调度引擎记忆下来。

本发明有益效果：根据记忆式调度方法的技术方案，看到记忆式调度具有如下效果：

解决周期闭环抽取问题：可以解决ETL系统中根据时间戳进行抽取的周期闭环问题。

解决数据重抽问题：可以有效解决自动进行数据重抽的问题。

解决调度时间滞后的任务追赶问题：ETL任务由于某种原因被暂停或执行失败而在时间上滞后预定计划，在该任务重新恢复正常运行时，可以自动根据时间周期的特点进行ETL任务的自动追赶。

解决自我评估问题：可以对任务的自我运行情况进行评估。

四、附图说明

图1为本发明记忆式调度方法图

五、具体实施方式

图1所示，ETL调度主引擎(主程序)按照预先设定的顺序执行某个任务(支持分布在不同主机上的任务)，执行的时候把lscycle、curcycle、endcycle等由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息。由于调度引擎针对实时ETL的特点进行了记忆式、有状态的调度，所以使得被调程序可以更关注于自己的业务逻辑。

实施例之一：国内某电信公司实施ETL抽取，抽取的范围包括用户资料和话单数据，用户资料15分钟抽取一次，属于周期闭环的抽取模式；话单数据一天抽取一次，属于固定周期的抽取模式。

首先部署调度引擎，并配置调度流程、任务；

调度引擎根据配置周期性的执行以下任务：

ETL调度引擎每隔15分钟把lscycle、curcycle、endcycle传给被调程序进行业务逻辑的处理，同时由调度引擎记录相关的调度信息。

ETL调度引擎每隔一天把lscycle、curcycle、endcycle传给被调程序进行业务逻辑的处理，同时由调度引擎记录相关的调度信息。

Claims (3)

1.用于实时数据ETL系统的记忆式调度方法，其特征是：ETL调度主程序按照预先设定的顺序执行某个任务、ETL即数据抽取、转换和加载，执行的时候把lscycle最近成功数据周期、curcycle当前处理数据周期和endcycle处理截止数据周期由调度引擎记忆下来的关键信息传给被调程序，被调程序执行完成之后，由调度引擎记录并保存更新后的调度信息；在数据重抽中，通过记忆式调度方法自动对其中的某些任务和某些周期进行自动重抽；

ETL数据分类：

根据ETL数据的变化特点，分成固定周期数据和周期闭环数据：

固定周期：是指在分析周期内数据是静止的数据；

周期闭环：指抽取特定周期内数据是变化的、取最后一次变化的记录；该周期是不固定的，其时间范围为上次执行抽取的时间到本次执行抽取发生的时间；

记忆式调度方法：

假定调度流程Wf1，任务B1∈Wf1，则

Wf1的状态＝{wstate状态、

          lscycle最近成功数据周期、

          endcycle处理截止数据周期、

          curcycle当前处理数据周期}

B1的状态＝{bstate状态、

          succnum成功运行次数、

          succtotal成功运行总历时、

          succavg成功运行平均历时}

周期闭环的记忆式调度方法：

某个周期闭环数据集A，A的起始抽取时间是Φ，每隔T0分钟抽取一次，则数据集A的抽取时间集＝[Φ，Φ1)+[Φ1，Φ2)+[Φ2，Φ3)+…+[Φn-1，Φn)+…

其中，“[Φn”表示≥Φn，“Φn+1)”表示＜Φn+1

Φn表示每隔T0分钟去抽取数据集A的当时的时间点，等于Φ+T0*n，n从1开始，表示从Φ开始之后的第n个T0分钟；

因此，对于周期闭环当中的某个[Φn，Φn+1)：

lscycle＝[Φn-2，Φn-1)

curcycle＝[Φn-1，Φn)

endcycle＝[Φn-1，Φn)

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

[Φn-1，Φn)

同时，wstate、bstate、succnum、succtotal和succavg也被调度引擎记忆下来；

固定周期的记忆式调度

对于固定周期的数据ETL调度，假定数据集B，B的起始抽取周期是∏，每隔T1天抽取一次，则数据集B的抽取周期集＝∏1+∏2+∏3+…+∏n-1+∏n+…

其中，∏n等于∏+n，n从1开始，表示从∏开始之后的第n天；因此，对于固定周期当中的某个∏n：

lscycle＝∏n-1

curcycle＝∏n

endcycle＝∏k

这几个关键性的信息被调度引擎记忆下来，从而不需要被调程序进行处理，由调度引擎自动告诉被调程序执行以下时间序列的任务：

∏n、∏n+1...∏k-1、∏k

同时，wstate、bstate、succnum、succtotal和succavg也被调度引擎记忆下来，k≥n；

在ETL任务由于某种原因被暂停或执行失败而在时间上滞后预定计划，在该任务重新恢复正常运行时，能进行ETL任务的自动追赶。

2.根据权利要求1所述的用于实时数据ETL系统的记忆式调度方法，其特征是在周期闭环的抽取模式中，根据时间戳进行实时的数据ETL。

3.根据权利要求1所述的用于实时数据ETL系统的记忆式调度方法，其特征是每个任务都可以对自身的运行情况进行自我评估。

Images