CN109669767B - 一种面向多类型上下文依赖的任务封装和调度方法及系统 - Google Patents

Abstract

本发明公开了一种面向多类型上下文依赖的任务封装和调度方法及系统，针对不同数据类别及任务定义任务类型、上下文依赖关系；根据新建任务的任务类型、上下文依赖确定任务调度信息；判断新建任务是否满足依赖关系，若满足，则设置其任务状态，并将新建任务与任务调度信息封装成任务对象，加入任务队列；否则添加失败；从任务队列中提取就绪状态中具有最高优先级的任务对象；若满足依赖关系，则运行当前任务对象；否则调度前驱任务对象运行，若前驱任务运行成功，则调度当前任务对象运行，若前驱任务运行失败，则放弃调度当前任务对象。采用本发明实现了不同类型任务的统一管理，实现对任务封装和调度的控制，提高了用户的使用体验。

Description

一种面向多类型上下文依赖的任务封装和调度方法及系统

技术领域

本发明属于计算机信息处理领域，具体涉及一种面向多类型上下文依赖的任务封装和调度方法及系统。

背景技术

随着计算机信息处理技术的不断发展，大量信息处理系统需要对短时交互型任务和长时批量型任务进行处理和响应。在这些系统中，对同一数据集的处理需要多个步骤的存在前后依赖关系的任务，而处理不同数据集的任务往往也不相同。

目前，对于这些任务，一种处理方法为根据实际情况人工逐一选择任务执行，下一个任务的执行必须要等待当前任务的完成，这种方法费时费力，效率低下。而现有的任务调度方法所采用的按照优先级依次执行任务的调度方法无法满足对复杂多样任务的高效管理，需要用户按照场景的要求，针对不同的任务重新编写不同的任务调度方法，无法实现对各种类型任务的统一高效管理。因此为了提高系统交互的友好性，需要建立一个可以及时接收用户提交的大量任务并由后台选择处理，同时可以追踪任务执行状态的任务调度系统。

发明内容

发明目的：本发明提供一种面向多类型上下文依赖的任务封装和调度方法及系统，能实现不同类型任务的统一管理、调度，且能提高用户体验。

技术方案：本发明所述的一种面向多类型上下文依赖的任务封装和调度方法，包括以下步骤：

(1)针对不同数据类别及任务定义任务类型、上下文依赖关系；

(2)根据新建任务的任务类型、上下文依赖确定任务调度信息；

(3)判断新建任务是否满足依赖关系，若满足，则设置其任务状态，并将新建任务与任务调度信息封装成任务对象，加入任务队列；否则添加失败；

(4)从任务队列中提取就绪状态中具有最高优先级的任务对象；若满足依赖关系，则运行当前任务对象；否则调度前驱任务对象运行，若前驱任务运行成功，则调度当前任务对象运行，若前驱任务运行失败，则放弃调度当前任务对象。

步骤(2)所述的任务调度信息主要包括任务编号信息、数据类别信息、任务类型信息、优先级信息、任务状态信息、任务添加时间。

步骤(3)所述的任务状态主要包括就绪状态、等待状态、运行状态、中断状态、错误状态，成功状态；其中就绪状态、等待状态、运行状态为未完成状态。

所述步骤(3)包括以下步骤：

(31)判断新建任务是否满足依赖关系，并对满足依赖关系的新建任务设置其任务状态：若在任务队列中不存在新建任务类型的前驱任务或存在处于成功状态的前驱任务，则其满足上下文依赖，设置任务状态为就绪状态；若存在处于未完成状态的前驱任务，则其也满足上下文依赖，但设置其任务状态为等待状态；若存在处于错误或中断状态的前驱任务，或该任务已存在且处于未完成状态，则其不满足上下文依赖条件，添加任务失败；

(32)将已满足上下文依赖的任务，与任务调度信息封装成一个任务对象，所有任务的调度都基于任务对象进行；

(33)在数据库中建立数据库表用以存储任务队列，将已封装的任务通过序列化的方式存储到所述数据库表中；若在数据库中有一个历史任务与当前任务有相同的数据类别，相同的任务类型，则用当前任务覆盖历史任务。

步骤(4)所述提取最高优先级对象的过程为：当一个任务运行结束时，从任务队列中获取所有处于就绪状态的任务对象，并按优先级排序，选择优先级最高的任务对象；若优先级相同则按照先来先执行的规则，选择优先级最高的任务对象中最早加入任务队列的任务对象。

所述步骤(4)包括以下步骤：

(41)若当前任务对象在任务队列中不存在前驱任务对象或前驱任务对象处于成功状态，则满足依赖关系，调度当前任务对象运行；若前驱任务对象处于就绪、等待状态，则不满足依赖关系，调度前驱任务对象运行，并将前驱任务对象的任务状态设置为运行状态；

(42)将前驱任务对象进行解析，运行任务，若任务运行成功，则设置前驱任务对象的状态为成功状态，并调度当前任务对象运行，将当前任务对象的状态设置为运行状态；若任务运行失败，则设置其状态为错误状态，并将当前任务对象及其所有后继任务对象的状态设置为中断状态，放弃对当前任务对象的调度。

(43)将当前任务对象进行解析，运行任务，并根据该任务的运行结果更新当前任务对象的状态为成功或错误状态；若当前任务对象的任务状态为错误状态，则将当前任务对象的所有后继任务对象的状态设置为中断状态；若当前任务对象的任务状态为成功状态，则将当前任务对象的后继任务对象的状态设置为就绪状态。

本发明所述的一种面向多类型上下文依赖的任务封装和调度系统，包括任务封装模块、任务调度模块、任务执行模块；所述任务封装模块包括若干任务封装单元，不同数据类别、不同任务类型的任务对应不同的封装单元，封装单元将任务与任务调度信息一起封装成任务对象；所述任务调度模块，根据任务执行模块返回的任务执行情况，调度满足上下文依赖的任务对象，并交由任务执行模块运行；所述任务执行模块，根据任务调度模块转发任务对象的数据类别、任务类型的不同，选择不同的执行单元将封装的任务对象进行解析和运行，同时将任务的执行情况返回给任务调度模块；在运行任务时，通过当前任务各检查点的完成情况和数据库中数据的变化情况来动态显示任务进度。

有益效果：与现有技术相比，本发明的有益效果：1、通过对任务及其调度信息的封装，实现了不同类型任务的统一管理；2、根据任务的处理流程和数据调用关系定义上下文依赖关系，并结合前驱任务的状态，实现对当前任务的合理调度；3、直接实现了对任务封装和调度的控制，提高了用户的使用体验。

附图说明

图1为面向多类型上下文依赖的任务封装和调度方法的流程图；

图2为面向多类型上下文依赖的任务封装和调度系统的系统模块图。

具体实施方式

下面结合附图对本发明技术方案进行详细说明。

根据任务处理的数据集不同，将任务分为不同数据类别的任务；针对某一数据集进行处理时，会存在若干步骤的长时任务，根据任务对应步骤的不同，将任务分为不同类型的任务；所述任务根据其重要性程度，可由用户指定范围在0至n-1的优先级，n为任务类型的种类；所述方法根据任务在调度方法中所处的不同阶段，分为不同的任务状态，包括就绪状态、等待状态、运行状态、中断状态、错误状态，成功状态；其中就绪状态、等待状态、运行状态统称为未完成状态；

如图1所示，本发明包括以下步骤：

步骤1：针对不同数据类别及任务定义任务类型、上下文依赖关系。

根据任务在处理数据时对应步骤的不同，确定其不同的任务类型；在不同数据类别的任务之间不存在上下文依赖关系，对于相同数据类别的任务，根据各类型任务在处理数据时对应步骤的先后顺序及数据调用关系，确定各类型任务之间的上下文依赖关系，即某类型任务的运行以另一类型任务的完成为前提，前者称为后者的后继任务，后者称为前者的前驱任务；

为更好的理解本发明，现假设存在两个数据集，其数据类别为D1、D2，且D1存在三种具有上下文依赖关系的任务，其任务类型为S11，S12，S13，其中S11为S12的前趋，S12为S13的前趋；D2存在两种具有上下文依赖关系的任务，其任务类型为S21，S22，其中S21为S22的前趋。则可存在任务t1(D1,S11,0)、t2(D1,S12,1)、t3(D1,S12,1)、t4(D1,S13,2)、t5(D2,S21,0)、t6(D2,S22,1)，其中括号中的数字分别代表各任务的数据类别、任务类型和优先级；将其封装后对应的任务对象分别为T1、T2、T3、T4、T5、T6。

步骤2：根据新建任务的任务类型、上下文依赖确定任务调度信息。

任务调度信息至少包含：任务编号信息、数据类别信息、任务类型信息、优先级信息、任务状态信息、任务添加时间，其中，任务编号信息与任务一一对应，每个任务有且仅有一个任务编号；数据类别信息表示所述任务的处理的数据集编号；任务类型信息表示所述任务的任务类型；优先级信息表示任务的优先级；任务状态信息表示任务所处的状态；任务添加时间表示任务加入任务队列的时间。

步骤3：判断新建任务是否满足依赖关系，若满足，则设置其任务状态，并将新建任务与任务调度信息封装成任务对象，加入任务队列；否则添加失败。

根据任务类型、上下文依赖确定新建任务的任务状态，若在任务队列中不存在新建任务类型的前驱任务或存在处于成功状态的前驱任务，则其满足上下文依赖，设置任务状态为就绪状态；若存在处于未完成状态的前驱任务，则其也满足上下文依赖，但需设置其任务状态为等待状态；若存在处于错误或中断状态的前驱任务，或该任务已存在且处于未完成状态，则其不满足上下文依赖条件，添加任务失败。

举例说明，若任务队列中存在任务t1、t5所封装成的任务对象T1、T5，新建任务t2是t1的后继任务，若t1处于完成状态，则t2的状态应设为就绪状态；若t1处于未完成状态，则t2的状态应设为等待状态；若t1处于错误或中断状态，则t2不满足依赖条件；若任务队列中存在任务t3所封装成的任务对象T3，且t3处于未完成状态，新建任务t2由于和t3有相同数据类别、相同任务类型，所以t2不满足依赖条件。

将已满足上下文依赖的任务，与任务调度信息封装成一个任务对象，所有任务的调度都基于任务对象进行。

在数据库中建立数据库表用以存储任务队列，将已封装的任务通过序列化的方式存储到所述数据库表中。若在数据库中有一个历史任务与当前任务有相同的数据类别，相同的任务类型，则用当前任务覆盖历史任务。举例说明，若数据库表中已存在T2任务对象，若T3任务对象可以加入任务队列，由于T2、T3有相同的数据类别和任务类型，则用T3的信息覆盖T2的信息。

步骤4：从任务队列中提取就绪状态中具有最高优先级的任务对象；若满足依赖关系，则运行当前任务对象；否则调度前驱任务对象运行，若前驱任务运行成功，则调度当前任务对象运行，若前驱任务运行失败，则放弃调度当前任务对象。

当一个任务运行结束时，从任务队列中获取所有处于就绪状态的任务对象，并按优先级排序，选择优先级最高的任务对象；若优先级相同则按照先来先执行的规则，选择优先级最高的任务对象中最早加入任务队列的任务对象。

举例说明，若任务队列中存在处于就绪状态T2，T5任务对象，由于T2的优先级高于T5，则优先执行T2；若任务队列中存在处于就绪状态的T1，T5任务对象，T1早于T5加入任务队列，则优先执行T1。

根据任务对象的任务类型获得其上下文依赖关系，若当前任务对象在任务队列中不存在前驱任务对象或前驱任务对象处于成功状态，则满足依赖关系，调度当前任务对象运行；若前驱任务对象处于就绪、等待状态，则不满足依赖关系，调度前驱任务对象运行，并将前驱任务对象的任务状态设置为运行状态。

举例说明，若所提取的任务对象为T2，当前任务队列中存在任务对象T1，由于T1是T2的前驱任务，若T1处于成功状态，则调度T2运行，若T1处于就绪或等待状态，则调度T1运行。

调度前驱任务对象运行时，将前驱任务对象进行解析，运行任务，若前驱任务对象运行成功，则设置前驱任务对象的状态为成功状态，并调度当前任务对象运行，将当前任务对象的状态设置为运行状态；若前驱任务运行失败，则设置其状态为错误状态，并将当前任务对象及其所有后继任务对象的状态设置为中断状态，放弃对当前任务对象的调度；

举例说明，若运行结束的前驱任务对象为T1，任务队列中存在其后继任务T2,T4，其中T2为当前任务对象，若T1处于成功状态，则调度T2运行，若T1处于错误状态，则将T2,T4的任务状态设置为中断状态，并放弃对T2的调度。

调度当前任务对象运行时，将当前任务对象进行解析，运行任务，并根据该任务的运行结果更新当前任务对象的状态为成功或错误状态；若当前任务对象的任务状态为错误状态，则将当前任务对象的所有后继任务对象的状态设置为中断状态；若当前任务对象的任务状态为成功状态，则将当前任务对象的后继任务对象的状态设置为就绪状态。

举例说明，若任务队列中存在运行结束的当前任务对象T1和处于等待状态的T2、T4任务对象，若T1处于错误状态，由于T2、T4都是T1的后继，则设置T2、T4的任务状态为中断状态；若T1处于成功状态，则设置T2的任务状态为就绪状态。

可见，通过对任务及其调度信息的封装，实现了不同类型任务的统一管理；根据任务的处理流程和数据调用关系定义上下文依赖关系，并结合前驱任务的状态，实现对当前任务的合理调度。

本发明还提供了一种面向多类型上下文依赖的任务封装和调度系统，如图2所示，该调度系统的组成结构包括：任务封装模块、任务调度模块、任务执行模块。任务封装模块包括若干任务封装单元，不同数据类别、不同任务类型的任务对应不同的封装单元，封装单元将任务与任务调度信息一起封装成任务对象。举例说明，若当前任务t1，则选择数据类别为D1、任务类型为S11的任务对应的封装单元对t1进行封装。任务调度模块，根据任务执行模块返回的任务执行情况，调度满足上下文依赖的任务对象，并交由任务执行模块运行。任务执行模块，根据任务调度模块转发任务对象的数据类别、任务类型的不同，选择不同的执行单元将封装的任务对象进行解析和运行，同时将任务的执行情况返回给任务调度模块；举例说明，若当前任务对象为T1，则选择数据类别为D1、任务类型为S11的任务对应的执行单元对T1进行解析和运行；任务执行模块，在运行任务时，通过当前任务各检查点的完成情况和数据库中数据的变化情况来动态显示任务进度；若任务队列中存在处于就绪状态、等待状态的任务对象，可调整处于这些状态的任务对象的优先级；举例说明，若任务队列中存在处于就绪状态的T2任务对象，其优先级原本为1，则可调整其优先级至2。

该系统直接实现了对任务封装和调度的控制，满足用户对多类型任务调度的需求。

Claims (5)

1.一种面向多类型上下文依赖的任务封装和调度方法，其特征在于，包括以下步骤：

(1)针对不同数据类别及任务定义任务类型、上下文依赖关系；

(2)根据新建任务的任务类型、上下文依赖关系确定任务调度信息；

(3)判断新建任务是否满足依赖关系，若满足，则设置其任务状态，并将新建任务与任务调度信息封装成任务对象，加入任务队列；否则添加失败；

(4)从任务队列中提取就绪状态中具有最高优先级的任务对象；若满足依赖关系，则运行当前任务对象；否则调度前驱任务对象运行，若前驱任务运行成功，则调度当前任务对象运行，若前驱任务运行失败，则放弃调度当前任务对象；

所述步骤(3)包括以下步骤：

(31)判断新建任务是否满足依赖关系，并对满足依赖关系的新建任务设置其任务状态：若在任务队列中不存在新建任务类型的前驱任务或存在处于成功状态的前驱任务，则其满足上下文依赖，设置任务状态为就绪状态；若存在处于未完成状态的前驱任务，则其也满足上下文依赖，但设置其任务状态为等待状态；若存在处于错误或中断状态的前驱任务，或该任务已存在且处于未完成状态，则其不满足上下文依赖条件，添加任务失败；

(32)将已满足上下文依赖的任务，与任务调度信息封装成一个任务对象，所有任务的调度都基于任务对象进行；

(33)在数据库中建立数据库表用以存储任务队列，将已封装的任务通过序列化的方式存储到所述数据库表中；若在数据库中有一个历史任务与当前任务有相同的数据类别，相同的任务类型，则用当前任务覆盖历史任务。

2.根据权利要求1所述的一种面向多类型上下文依赖的任务封装和调度方法，其特征在于，步骤(2)所述的任务调度信息主要包括任务编号信息、数据类别信息、任务类型信息、优先级信息、任务状态信息、任务添加时间。

3.根据权利要求1所述的一种面向多类型上下文依赖的任务封装和调度方法，其特征在于，步骤(3)所述的任务状态主要包括就绪状态、等待状态、运行状态、中断状态、错误状态、 成功状态；其中就绪状态、等待状态、运行状态为未完成状态。

4.根据权利要求1所述的一种面向多类型上下文依赖的任务封装和调度方法，其特征在于，步骤(4)所述提取就绪状态中具有最高优先级的任务对象的过程为：当一个任务运行结束时，从任务队列中获取所有处于就绪状态的任务对象，并按优先级排序，选择优先级最高的任务对象；若优先级相同则按照先来先执行的规则，选择优先级最高的任务对象中最早加入任务队列的任务对象。

5.根据权利要求1所述的一种面向多类型上下文依赖的任务封装和调度方法，其特征在于，所述步骤(4)包括以下步骤：

(41)若当前任务对象在任务队列中不存在前驱任务对象或前驱任务对象处于成功状态，则满足依赖关系，调度当前任务对象运行；若前驱任务对象处于就绪、等待状态，则不满足依赖关系，调度前驱任务对象运行，并将前驱任务对象的任务状态设置为运行状态；

(42)将前驱任务对象进行解析，运行任务，若任务运行成功，则设置前驱任务对象的状态为成功状态，并调度当前任务对象运行，将当前任务对象的状态设置为运行状态；若任务运行失败，则设置其状态为错误状态，并将当前任务对象及其所有后继任务对象的状态设置为中断状态，放弃对当前任务对象的调度；

(43)将当前任务对象进行解析，运行任务，并根据该任务的运行结果更新当前任务对象的状态为成功或错误状态；若当前任务对象的任务状态为错误状态，则将当前任务对象的所有后继任务对象的状态设置为中断状态；若当前任务对象的任务状态为成功状态，则将当前任务对象的后继任务对象的状态设置为就绪状态。

Images