CN102279888A - 一种任务调度方法和系统 - Google Patents

Abstract

本发明公开了一种任务调度方法和系统。所述方法包括：在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；读取所述配置并将各任务节点初始化为网状关系结构；根据所述网状关系结构进行任务调度。本发明的技术方案，能剥离任务的具体实现和任务之间的依赖关系，使得系统实现更加灵活，能够根据具体业务的不同快速做出反应，进一步提高效率。

Description

一种任务调度方法和系统

技术领域

本发明涉及数据业务处理技术领域，特别是涉及一种任务调度方法和系统。

背景技术

数据分析的基础是要建立符合数据仓库模型的数据，这个过程由几部分组成：1)用户从数据源抽取出所需的数据；2)清洗掉不合法的数据；3)转换成符合预先定义好的数据仓库模型的数据；4)将符合数据仓库模型的数据装载到数据仓库中。即该过程包括：抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)这四个大部分。这个过程就是ETL(Extract-Transform-Load)，是构建数据仓库的重要步骤。

ETL在实际中每个部分又由各个小步骤组成，每个步骤之间是有先后依赖关系的。例如：抽取C这个步骤是必须等待抽取A和抽取B这两个步骤都完成后才能进行。有时需要按照业务要做相应的改变：抽取A，B，C这三个步骤的具体实现不变，但是他们的先后依赖关系变化成了，抽取C必须等待抽取B完成，抽取B必须等待抽取A完成。也就是说每个步骤的具体实现不变，而步骤与步骤之间的先后依赖关系是要改变。

现有的ETL任务调度系统中，由于每个步骤的具体实现和各个步骤之间的先后依赖关系掺杂在一起，很难针对业务需求的变更而做出快速的改变。

发明内容

本发明提供了一种任务调度方法，该方法能够剥离任务的具体实现和任务之间的依赖关系。

本发明还提供了一种任务调度系统，该系统能够剥离任务的具体实现和任务之间的依赖关系。

为达到上述目的，本发明的技术方案是这样实现的：

本发明公开了一种任务调度方法，该方法包括：

在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；

读取所述配置并将各任务节点初始化为网状关系结构；

根据所述网状关系结构进行任务调度。

本发明还公开了一种任务调度系统，该系统包括：

配置模块，用于在数据库模块中的关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；

数据库模块，用于保存关系数据库；

初始化模块，用于读取所述数据库模块中的关系数据库中的配置并将各任务节点初始化为网状关系结构保存到内存模块中；

内存模块，用于保存初始化模块生成的任务节点的网状关系结构；

调度模块，用于根据内存模块中的所述网状关系结构进行任务调度。

由上述可见，本发明中，在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；读取所述配置并将各任务节点初始化为网状关系结构；根据所述网状关系结构进行任务调度的术方案，能剥离任务的具体实现和任务之间的依赖关系，使得系统实现更加灵活，能够根据具体业务的不同快速做出反应，进一步提高效率。

附图说明

图1是本发明实施例中的一种任务调度方法的流程图；

图2是本发明实施例中的一个网状关系结构图；

图3是本发明实施例中的任务调度的流程图；

图4是本发明实施例中的ETL业务调度的配置过程示意图；

图5是本发明实施例中的一种任务调度系统的组成结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

图1是本发明实施例中的一种任务调度方法的流程图。如图1所示，该方法包括：

101，在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置。

102，读取所述配置并将各任务节点初始化为网状关系结构。

本步骤中，在内存中生成任务节点的网状关系结构，具体来说读取各任务节点间的依赖关系配置，生成任务节点的网状关系将结构，读取各任务节点执行所需的配置信息，在网状关系结构中的每个任务节点中保存该任务节点执行所需的资源信息；其中，在该网状关系结构中一个任务节点对应一个任务，各任务节点之间的网状关系表示各任务节点之间的依赖关系，在每个任务节点中保存有该任务节点的执行所需的资源信息。

步骤101和102是任务调度系统的初始化过程。

103，根据所述网状关系结构进行任务调度。

从内存中的网状关系结构中的每个起始任务节点开始，根据各任务节点之间的依赖关系以及各任务节点中所保存的资源信息进行任务调度；其中，起始任务节点是没有被其它任务节点依赖的节点。

本步骤103是任务调度系统的具体任务调度过程。

图1所示的技术方案，由于预先在关系数据库中可以根据具体任务调度的具体情况对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置，且在实际进行任务调度时读取上述配置并将各任务节点初始化为网状关系结构，进而可以直接根据该网状关系结构进行任务调度，即本实施例能够剥离任务的具体实现和任务之间的依赖关系，使得系统实现更加灵活，能够根据具体业务的不同快速做出反应，进一步提高效率。

图1所示方法中，所述硬盘上的关系数据库包括第一列表和第二列表，其中，第一列表中保存各任务节点之间的依赖关系；第二列表中保存各任务节点执行所需的资源信息。所述在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置包括：在所述第一列表中配置各任务节点及其之间的依赖关系，其中包括至少一个起始任务节点和至少一个结束任务节点；在所述第二列表中配置各任务节点对应的执行所需资源信息。

从所述第一列表中读取各任务节点之间的依赖关系至内存中，以及从所述第二列表中读取各任务节点执行所需的资源信息至内存中。具体来说：读取第二列表中的各任务节点执行所需的资源信息，以及读取第一列表中的各任务节点之间的依赖关系；根据所读取的各任务节点执行所需的资源信息，在内存中构建各个任务节点，以及根据所读取的各任务节点之间的依赖关系，建立内存中的各任务节点之间的关系，形成任务节点的网状关系结构。

第一列表和第二列表可以分别由两个表实现，也可以在一个表中实现。在第一列表中配置的初始节点可以有一个或多个，即可以实现一个或多个起始节点，同样，在第一列表中配置的结束节点也可以有一个或多个，即可以实现一个或多个结束节点；另外，还可以通过配置实现多层依赖关系。

在本发明的一个实施例中的第一列表和第二列表分别如表1和表2所示，

任务节点	依赖的任务节点
		E1	E3
E1	E4
		E2	E4
E3	--
		E4	--

表1

任务节点	执行所需的资源信息
		E1	Resource1
E2	Resource2
		E3	Resource3
E4	Resource4

表2

表1所表示的任务节点之间的依赖关系依次为：E1依赖E3，E1依赖E4，E2依赖E4，E3不依赖任何节点，E4不依赖任何节点。

表2表示的是：任务节点E1执行所需的资源为Resource1，E2执行所需的资源为Resource2，E3执行所需的资源为Resource3，E3执行所需的资源为Resource4。

表1和表2保存在硬盘中。

根据表1和表2生成的并保存到内存中的任务节点的网状关系结构如图2所示。图2是本发明实施例中的一个网状关系结构图。参见图2：首先从硬盘读取表2和表1中的信息，根据表2生成E1、E2、E3、E4这四个任务节点，且每个任务节点中保存对应的资源信息，然后，根据表1中的依赖关系画出各节点之间的表示依赖关系的箭头。

从图2可以直观地看出，E1任务节点的执行必须依赖E3和E4任务节点的执行完毕，E2任务节点的执行必须依赖E4任务节点的执行完毕。每个任务节点的执行都需要相应的资源信息，这个资源信息保存在的网状关系结构中的每个任务节点上，例如，E1中包含此任务节点执行所需的资源信息Resource1。

可见，在初始化过程中，将硬盘中的关系型数据转化为了内存中的网状关系结构。

至此，已经详细说明了任务节点执行所需资源信息的配置和任务节点之间依赖关系的配置，以及从硬盘存储将这些配置读取到内存的初始化过程，为系统的流程调用做好准备工作。下面将详细说明任务节点的调度流程。

图3是本发明实施例中的任务调度的流程图。如图3所示，包括：

301，启动当前任务节点：若当前是流程的开始，则所述当前任务节点是起始任务节点，若当前不是流程的开始，则所述当前任务节点是当前到达的任务节点；其中，起始任务节点是没有被其它任务节点依赖的节点；执行步骤302。

例如在，在图2所示的网状关系结构中，E1，E2都是没有被依赖的起始任务节点，那么从E1和E2开始启动，并且E1和E2是并行启动的。

302，判断当前任务节点是否依赖其它的任务节点，是则将当前任务节点转为等待状态，到达被依赖的任务节点，执行步骤301，否则执行步骤303。处于等待状态的任务节点被重新触发后执行303所述的流程。

例如，E1是依赖其它任务节点的，E1依赖E3和E4，因此流程接下来到达E3和E4，同时E1进入等待状态。对E3个E4执行步骤301所示的启动过程，由于E3和E4没有依赖的任务节点，因此对于E3和E4执行步骤303。

303，根据当前任务节点中保存的资源信息，执行当前任务节点对应的任务；执行步骤304。

例如，执行E3和E4的具体实现任务。

304，判断当前任务节点对应的任务执行完毕，是则执行步骤305，否则执行继续执行步骤303。

例如，E3和E4的具体实现执行完毕。

305，判断当前任务节点是否被其它的任务节点依赖，是则执行步骤306，否则结束流程。

例如，E3和E4被E1依赖，因此对E1执行306所述的步骤。

306，触发处于等待状态的依赖于所述当前任务节点的任务节点，将该触发的任务节点作为当前节点，执行步骤303。

例如，本步骤跟中，处于等待状态的E1被重新触发，对E1执行303～305所示的过程，即执行E1的具体实现，执行完毕后判断E1没有被其它任务节点依赖，E1这个分支结束。同时启动的E2分支的执行过程也遵循上述流程，这里不在赘述。

可见，进一步的，本发明实施例中在关系数据库中配置的任务节点及初始化生成的网状关系结构中，包括至少一个起始任务节点和至少一个结束任务节点，即能应用于多个起始节点和多个结束节点的任务调度过程，更加适合ETL任务调度系统的运行。

至此已说明了任务节点的调度流程。下面说明在ETL业务场景下本发明中的任务调度方法，执行过程。

图4是本发明实施例中的ETL业务调度的配置过程示意图。在ETL场景下，各任务节点包括：抽取任务节点、清洗任务节点、转换任务节点和装载任务节点；其中：

装载任务节点为依赖于其它装载任务节点或转换任务节点，且没有被其它任务节点依赖的起始任务节点；或者，装载任务节点为依赖于其它装载任务节点，且被其它装载任务节点依赖的节点；或者，装载任务节点为依赖于转换任务节点，且被其它装载任务节点依赖的节点；

转换任务节点为依赖于清洗任务节点，且被装载任务节点依赖的节点；或者，转换任务节点为依赖于清洗任务节点，且被其它转换任务节点依赖的节点；或者，转换任务节点为依赖于其它转换任务节点，且被其它转换任务节点依赖的节点；或者，转换任务节点为依赖于其它转换任务节点，且被装载任务节点依赖的节点；

清洗任务节点为依赖于抽取任务节点，且被转换任务节点依赖的节点；或者，清洗任务节点为依赖于抽取任务节点，且被其它清洗任务节点依赖的节点；或者，清洗任务节点为依赖于其它清洗任务节点，且被其它清洗任务节点依赖的节点；或者，清洗任务节点为依赖于其它清洗任务节点，且被转换任务节点依赖的节点；

抽取任务节点为被其它抽取任务节点或清洗任务节点依赖，且没有依赖其它任务节点的结束任务节点；或者，抽取任务节点为依赖于其它抽取任务节点，且被其它抽取任务节点依赖的节点；或者，抽取任务节点为依赖于其它抽取任务节点，且被其它清洗任务节点依赖的节点。

用户可以按照自己的需要定义ETL业务的配置，具体可如下：

1)过程组成：ETL的过程由四个阶段部分组成：抽取(Extract)，清洗(Clean)，转换(Transform)，装载(Load)，如图4中左侧的4个阶段所示。

2)数据流向：原始数据经过ETL过程变成符合数据仓库模型的数据并存储到数据仓库中，如图4中上面的原始数据和下面符合数据仓库模型的数据。

3)节点配置：ETL每个阶段的节点个数以及节点之间的关系可按照用户需要任意定制。如图4中：抽取阶段有E1，E2，E3，E4，E5这5个抽取节点，清洗阶段有C1，C2，C3，C4，C5这5个清洗节点，转换阶段有T1，T2，T3，T4，T5，T6，T7这7个转换节点，装载阶段有L1，L2，L3这3个装载节点。其中转换阶段按照用户需求可设置为：T7依赖T5和T6，T5和T6依赖T4。每个任务节点执行所需资源信息保存在该任务节点中。

4)流程配置：抽取阶段没有依赖别的节点。清洗阶段C 1依赖E1，C2依赖E2，C3依赖E2和E3，C4依赖E4，C5依赖E5。清洗阶段T1依赖C1和C2，T2依赖C3，T3依赖C3和C4，T4依赖C4和C5，T7依赖T5和T6，T5和T6依赖T4。装载阶段L1依赖T1，L2依赖T1、T2、T3，L3依赖T7。

根据图3所示的流程对图4所示的ETL业务进行调度时，由于有三个起始任务节点L1，L2和L3，因此启动三个分支，每个分支都执行图3所示的调度流程。这里不在赘述。

图5是本发明实施例中的一种任务调度系统的组成结构示意图。如图5所示，该系统包括：配置模块500、初始化模块501、内存模块502、数据库模块503和调度模块504，其中：

配置模块500，用于在数据库模块503中的关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；

数据库模块503，用于保存关系数据库；

初始化模块501，用于读取所述数据库模块中的关系数据库中的配置并将各任务节点初始化为网状关系结构保存到内存模块中502；

内存模块502，用于保存初始化模块生成的任务节点的网状关系结构；

调度模块504，用于根据内存模块502中的所述网状关系结构进行任务调度。

在图5所示的任务调度系统中，初始化模块501，具体用于读取各任务节点间的依赖关系配置，生成任务节点的网状关系将结构，读取各任务节点执行所需的配置信息，在网状关系结构中的每个任务节点中保存该任务节点执行所需的资源信息。所述网状关系结构包括至少一个起始任务节点和至少一个结束任务节点，其中，所述起始任务节点是没有被其它任务节点依赖的节点。

在图5所示的任务调度系统中，所述数据库模块503中的关系数据库包括第一列表和第二列表，其中，第一列表中保存各任务节点之间的依赖关系；第二列表中保存各任务节点执行所需的资源信息；

所述配置模块500，用于在所述第一列表中配置各任务节点及其之间的依赖关系，其中包括至少一个起始任务节点和至少一个结束任务节点；用于在所述第二列表中配置各任务节点对应的执行所需资源信息；

所述初始化模块501，用于读取第二列表中的各任务节点执行所需的资源信息，以及读取第一列表中的各任务节点之间的依赖关系，根据所读取的各任务节点执行所需的资源信息，在内存模块中构建各个任务节点，以及根据所读取的各任务节点之间的依赖关系，建立内存模块中的各任务节点之间的依赖关系，形成任务节点的网状关系结构。

在图5所示的任务调度系统中，所述调度模块504通过执行以下步骤进行任务调度：

A、启动当前任务节点：若当前是流程的开始，所述当前任务节点是起始任务节点，若当前不是流程的开始，所述当前任务节点是当前到达的任务节点；其中，起始任务节点是没有被其它任务节点依赖的节点；

B、判断当前任务节点是否依赖其它的任务节点，是则将当前任务节点转为等待状态，到达被依赖的任务节点，执行步骤A，否则执行步骤C；

C、根据当前任务节点中保存的资源信息，执行当前任务节点对应的任务，判断当前任务节点对应的任务是否执行完毕，是则执行步骤D，否则继续执行C；

D、判断当前任务节点是否被其它的任务节点依赖，是则执行步骤E，否则结束流程；

E、触发处于等待状态的依赖于所述当前任务节点的任务节点，将该触发的任务节点作为当前任务节点，执行步骤C。

需要说明的是，本系统实施例中的各功能模块或各功能单元可以参见上述图1所示方法实施例中各步骤工作原理和处理过程的相关描述，此处不再赘述。

综上所述，本发明实施例中，在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；读取所述配置并将各任务节点初始化为网状关系结构；根据所述网状关系结构进行任务调度的术方案，能剥离任务的具体实现和任务之间的依赖关系，因此能剥离任务的具体实现和任务之间的依赖关系使得系统实现更加灵活，能够根据具体业务的不同快速做出反应，进一步提高效率。

进一步的，本发明实施例中在关系数据库中配置的任务节点及初始化生成的网状关系结构中，包括至少一个起始任务节点和至少一个结束任务节点，即能应用于多个起始节点和多个结束节点的任务调度过程，更加适合ETL任务调度系统的运行。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种任务调度方法，其特征在于，该方法包括：

在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；

读取所述配置并将各任务节点初始化为网状关系结构；

根据所述网状关系结构进行任务调度。

2.根据权利要求1所述的方法，其特征在于，所述读取所述配置并将各任务节点初始化为网状关系结构包括：

读取各任务节点间的依赖关系配置，生成任务节点的网状关系结构，读取各任务节点执行所需的配置信息，在网状关系结构中的每个任务节点中保存该任务节点执行所需的资源信息；

所述网状关系结构包括至少一个起始任务节点和至少一个结束任务节点，其中，所述起始任务节点是没有被其它任务节点依赖的节点。

3.根据权利要求2所述的方法，其特征在于，所述关系数据库包括第一列表和第二列表，其中，第一列表中保存各任务节点之间的依赖关系；第二列表中保存各任务节点执行所需的资源信息。

4.根据权利要求3所述的方法，其特征在于，所述在关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置包括：

在所述第一列表中配置各任务节点及其之间的依赖关系，其中包括至少一个起始任务节点和至少一个结束任务节点；在所述第二列表中配置各任务节点对应的执行所需资源信息。

5.根据权利要求3所述的方法，其特征在于，所述读取各任务节点间的依赖关系配置包括：

从所述第一列表中读取各任务节点之间的依赖关系至内存中；

所述读取各任务节点执行所需的配置信息包括：

从所述第二列表中读取各任务节点执行所需的资源信息至内存中。

6.根据权利要求1所述的方法，其特在于，所述根据所述网状关系结构进行任务调度包括：

A、启动当前任务节点：若当前是流程的开始，所述当前任务节点是起始任务节点，若当前不是流程的开始，所述当前任务节点是当前到达的任务节点；其中，起始任务节点是没有被其它任务节点依赖的节点；

B、判断当前任务节点是否依赖其它的任务节点，是则将当前任务节点转为等待状态，到达被依赖的任务节点，执行步骤A，否则执行步骤C；

C、根据当前任务节点中保存的资源信息，执行当前任务节点对应的任务，判断当前任务节点对应的任务是否执行完毕，是则执行步骤D，否则继续执行C；

D、判断当前任务节点是否被其它的任务节点依赖，是则执行步骤E，否则结束流程；

E、触发处于等待状态的依赖于所述当前任务节点的任务节点，将该触发的任务节点作为当前任务节点，执行步骤C。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述各任务节点包括：抽取任务节点、清洗任务节点、转换任务节点和装载任务节点；其中：

装载任务节点为依赖于其它装载任务节点或转换任务节点，且没有被其它任务节点依赖的起始任务节点；或者，装载任务节点为依赖于其它装载任务节点，且被其它装载任务节点依赖的节点；或者，装载任务节点为依赖于转换任务节点，且被其它装载任务节点依赖的节点；

转换任务节点为依赖于清洗任务节点，且被装载任务节点依赖的节点；或者，转换任务节点为依赖于清洗任务节点，且被其它转换任务节点依赖的节点；或者，转换任务节点为依赖于其它转换任务节点，且被其它转换任务节点依赖的节点；或者，转换任务节点为依赖于其它转换任务节点，且被装载任务节点依赖的节点；

清洗任务节点为依赖于抽取任务节点，且被转换任务节点依赖的节点；或者，清洗任务节点为依赖于抽取任务节点，且被其它清洗任务节点依赖的节点；或者，清洗任务节点为依赖于其它清洗任务节点，且被其它清洗任务节点依赖的节点；或者，清洗任务节点为依赖于其它清洗任务节点，且被转换任务节点依赖的节点；

抽取任务节点为被其它抽取任务节点或清洗任务节点依赖，且没有依赖其它任务节点的结束任务节点；或者，抽取任务节点为依赖于其它抽取任务节点，且被其它抽取任务节点依赖的节点；或者，抽取任务节点为依赖于其它抽取任务节点，且被其它清洗任务节点依赖的节点。

8.一种任务调度系统，其特征在于，该系统包括：

配置模块，用于在数据库模块中的关系数据库中对各任务节点执行所需资源信息和各任务节点间的依赖关系分别进行配置；

数据库模块，用于保存关系数据库；

初始化模块，用于读取所述数据库模块中的关系数据库中的配置并将各任务节点初始化为网状关系结构保存到内存模块中；

内存模块，用于保存初始化模块生成的任务节点的网状关系结构；

调度模块，用于根据内存模块中的所述网状关系结构进行任务调度。

9.根据权利要求8所述的系统，其特征在于，

所述初始化模块，具体用于读取各任务节点间的依赖关系配置，生成任务节点的网状关系将结构，读取各任务节点执行所需的配置信息，在网状关系结构中的每个任务节点中保存该任务节点执行所需的资源信息；

所述网状关系结构包括至少一个起始任务节点和至少一个结束任务节点，其中，所述起始任务节点是没有被其它任务节点依赖的节点；

所述数据库模块中的关系数据库包括第一列表和第二列表，其中，第一列表中保存各任务节点之间的依赖关系；第二列表中保存各任务节点执行所需的资源信息；

所述配置模块，用于在所述第一列表中配置各任务节点及其之间的依赖关系，其中包括至少一个起始任务节点和至少一个结束任务节点；在所述第二列表中配置各任务节点对应的执行所需资源信息。

10.根据权利要求8至9中任一项所述的系统，其特征在于，所述调度模块通过执行以下步骤进行任务调度：

A、启动当前任务节点：若当前是流程的开始，所述当前任务节点是起始任务节点，若当前不是流程的开始，所述当前任务节点是当前到达的任务节点；

B、判断当前任务节点是否依赖其它的任务节点，是则将当前任务节点转为等待状态，到达被依赖的任务节点，执行步骤A，否则执行步骤C；

C、根据当前任务节点中保存的资源信息，执行当前任务节点对应的任务，判断当前任务节点对应的任务是否执行完毕，是则执行步骤D，否则继续执行C；

D、判断当前任务节点是否被其它的任务节点依赖，是则执行步骤E，否则结束流程；

E、触发处于等待状态的依赖于所述当前任务节点的任务节点，将该触发的任务节点作为当前任务节点，执行步骤C。

Images