CN108319499B - 任务调度方法及装置 - Google Patents

Abstract

本申请实施例提供了一种任务调度方法及装置，其中方法包括：获取任务调度请求；任务调度请求携带有待执行任务对应的任务路径；根据待执行任务对应的任务路径以及任务配置信息，确定待执行任务分别对应的结果输出路径和执行方式；将待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以执行任务；在确定待执行任务执行成功后，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径；重复上述过程，直至任务的循环调度和执行结束。通过本申请实施例，能够降低任务调度的维护成本，提高任务执行效率。

Description

任务调度方法及装置

技术领域

本申请涉及计算机设备领域，尤其涉及一种任务调度方法及装置。

背景技术

在大数据处理中，任务调度的效率直接影响大数据处理的效率，也影响数据平台执行用户提交的任务的能力。

目前任务调度主要有两种方式，一种是基于DAG图(Directed Acyclic Graph，无回路有向图)进行任务调度，比如，将一次作业分成多个任务，根据任务之间的依赖关系创建DAG图，根据该DAG图进行任务调度。另一种是定时任务调度机制，具体地，配置时间间隔，按照配置的时间间隔定时调度任务并触发任务执行。

上述第一种方式中，需要在任务调度前预先创建复杂的DAG图，并且若任务调度过程中调度顺序发生变化，还需要修改DAG图，因此这种方式具有任务调度维护成本高的问题。上述第二种方式中，按照预设的时间间隔调度任务并触发任务执行时，若出现数据延迟导致数据还未传输至任务执行模块处，则会导致任务调度和执行的浪费，因此这种方式具有任务执行效率低的问题。

因此，有必要提供一种技术方案，以降低任务调度的维护成本，提高任务执行效率。

发明内容

本申请实施例的目的是提供一种任务调度方法及装置，以降低任务调度的维护成本，提高任务执行效率。

为达到上述目的，本申请实施例是这样实现的：

第一方面，本申请实施例提供了一种任务调度方法，包括：

获取任务调度请求；所述任务调度请求携带有待执行任务对应的任务路径，所述任务路径用于获取所述待执行任务对应的任务数据；

根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式；其中，所述结果输出路径用于输出所述待执行任务对应的执行结果；

将所述待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以使所述任务执行设备执行所述待执行任务并输出执行结果；

在确定所述待执行任务执行成功后，将所述待执行任务对应的结果输出路径，重新作为所述待执行任务对应的任务路径；

重复所述结果输出路径确定、所述执行方式确定、所述任务路径下发、所述结果输出路径下发、所述执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。

第二方面，本申请还实施例提供了一种任务调度装置，包括：

请求获取模块，用于获取任务调度请求；所述任务调度请求携带有待执行任务对应的任务路径，所述任务路径用于获取所述待执行任务对应的任务数据；

信息确定模块，用于根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式；其中，所述结果输出路径用于输出所述待执行任务对应的执行结果；

任务下发模块，用于将所述待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以使所述任务执行设备执行所述待执行任务并输出执行结果；

任务循环模块，用于在确定所述待执行任务执行成功后，将所述待执行任务对应的结果输出路径，重新作为所述待执行任务对应的任务路径；

循环调度模块，用于重复所述结果输出路径确定、所述执行方式确定、所述任务路径下发、所述结果输出路径下发、所述执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。

第三方面，本申请实施例提供了一种任务调度设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述第一方面所述的任务调度方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的任务调度方法的步骤。

本申请实施例中，在获取到任务调度请求后，确定待执行任务对应的任务路径、待执行任务对应的结果输出路径、待执行任务对应的执行方式，并通过任务执行设备执行待执行任务，并且在待执行任务执行成功后，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径，重复确定待执行任务对应的结果输出路径，待执行任务的执行方式，直至任务的循环调度和执行结束。本申请实施例中将任务抽象为任务路径、结果输出路径和执行方式的集合，采用将上一个任务的结果输出路径作为下一个任务的任务路径的方式，实现任务的循环调度和执行，与现有的通过DAG图实现任务的循环调度和执行的方式相比，无需构建复杂的DAG图，也无需修改DAG图，只需要确定任务的任务路径、结果输出路径和执行方式即可，因此能够降低任务调度的维护成本，具有任务调度和执行维护成本低的优点。并且，与现有的定时任务调度的方式相比，本申请实施例在基于任务调度请求执行第一次任务后，后续任务可以自动实现循环调度和执行，无需等待预定时间间隔即可进行下次任务调度和执行，因此能够提高任务执行效率，保证数据的高效处理。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请一实施例提供的任务调度方法的流程示意图；

图2为本申请另一实施例提供的任务调度方法的流程示意图；

图3为本申请一实施例提供的任务调度系统的结构示意图；

图4为与图3对应的任务调度流程的示意图；

图5为本申请一实施例提供的任务调度装置的模块组成示意图；

图6为本申请另一实施例提供的任务调度装置的模块组成示意图；

图7为本申请另一实施例提供的任务调度装置的模块组成示意图；

图8为本申请一实施例提供的任务调度设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

为降低任务调度的维护成本，提高任务执行效率，本申请实施例提供了一种任务调度方法、一种任务调度装置、一种任务调度设备和一种计算机可读存储介质。其中，任务调度方法可以应用在后台服务器上，由服务器执行，下面进行详细介绍。

图1为本申请一实施例提供的任务调度方法的流程示意图，如图1所示，该流程包括以下步骤：

步骤S102，获取任务调度请求；该任务调度请求携带有待执行任务对应的任务路径，任务路径用于获取待执行任务对应的任务数据；

步骤S104，根据待执行任务对应的任务路径以及任务配置信息，确定待执行任务分别对应的结果输出路径和执行方式；其中，结果输出路径用于输出待执行任务对应的执行结果；

步骤S106，将待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以使任务执行设备执行待执行任务并输出执行结果；

步骤S108，在确定待执行任务执行成功后，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径；

步骤S110，重复结果输出路径确定、执行方式确定、任务路径下发、结果输出路径下发、执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。

本申请实施例中，在获取到任务调度请求后，确定待执行任务对应的任务路径、待执行任务对应的结果输出路径、待执行任务对应的执行方式，并通过任务执行设备执行待执行任务，并且在待执行任务执行成功后，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径，重复确定待执行任务对应的结果输出路径，待执行任务的执行方式，直至任务的循环调度和执行结束。本申请实施例中将任务抽象为任务路径、结果输出路径和执行方式的集合，采用将上一个任务的结果输出路径作为下一个任务的任务路径的方式，实现任务的循环调度和执行，与现有的通过DAG图实现任务的循环调度和执行的方式相比，无需构建复杂的DAG图，也无需修改DAG图，只需要确定任务的任务路径、结果输出路径和执行方式即可，因此能够降低任务调度的维护成本，具有任务调度和执行维护成本低的优点。并且，与现有的定时任务调度的方式相比，本申请实施例在基于任务调度请求执行第一次任务后，后续任务可以自动实现循环调度和执行，无需等待预定时间间隔即可进行下次任务调度和执行，因此能够提高任务执行效率，保证数据的高效处理。

一个实施例中，将上述方法应用在大数据离线处理方面，具有明显提高任务执行效率，降低任务维护成本的优势。

本申请实施例中的方法可以应用于HDFS系统(Hadoop Distributed FileSystem，分布式文件系统)，HDFS系统用于进行业务处理，实现本申请实施例中的方法的服务器与该HDFS系统进行通信。当HDFS系统上存储新的数据时，由于每个数据都有一个对应的存储路径，因此HDFS系统上会产生新的路径。本申请实施例中，HDFS系统确定自身产生新路径时，生成任务调度请求，任务调度请求携带的待执行任务对应的任务路径即为产生的新路径，HDFS系统将任务调度请求发送至执行本实施例中的方法的服务器。相应地，执行本实施例中的方法的服务器获取该任务调度请求，该任务调度请求携带的待执行任务对应的任务路径，即为上述生成的新路径，任务路径用于获取待执行任务对应的任务数据，也即，通过任务路径可以获取待执行任务对应的任务数据，对任务数据的处理过程，即为执行待执行任务的过程。

本实施例中，任务路径为指向某一存储地址的路径，其可以为指向真实的存储地址的路径，可以为执行虚拟的存储地址的路径。

一个具体的实施例中，日志同步系统将日志成功写入HDFS系统，HDFS系统根据写入的日志产生新路径/log/login/20170101，HDFS系统生成任务调度请求，任务调度请求携带有任务路径/log/login/20170101，HDFS系统将任务调度请求发送至执行本实施例中的方法的服务器。相应地，执行本实施例中的方法的服务器获取该任务调度请求，并获取任务路径/log/login/20170101，通过任务路径/log/login/20170101可以获取待执行任务对应的任务数据，对任务数据的处理过程，即为执行待执行任务的过程。

本实施例中，预先设置有任务配置信息，任务配置信息用于确定待执行任务的结果输出路径和执行方式，通过任务配置信息能够将任务抽象为任务路径、结果输出路径和执行方式的集合，以实现任务的自动调度和执行。

本实施例中，任务配置信息包括多个任务路径模板，以及每个任务路径模板对应的输出路径模板和任务执行方式。其中，任务路径模板指的是一种路径结构，并非某个具体的路径，输出路径模板指的也是一种路径结构，并非某个具体的路径。一个实施例中，任务路径模板为任务路径正则表达式，输出路径模板为输出路径正则表达式。利用正则表达式表示任务路径模板和输出路径模板，具有表达方式规范、容易实现的优点，在其他实施例中，也可以采用其他预设的字符串模式表示任务路径模板和输出路径模板。

表1为任务配置信息的一种具体形式，如表1所示，任务配置信息包括多个任务路径模板，以及每个任务路径模板对应的输出路径模板和任务执行方式，由于执行任务的执行程序对应不同的任务执行方式，因此表1中，任务执行方式用执行任务的执行程序表示。

本申请实施例中根据业务层面的任务处理需求设计任务配置信息，基于业务层面的任务处理需求，某些任务的输出路径模板为某些任务的任务路径模板，当然，也存在某些任务的输出路径模板不为其他任务的任务路径模板的情况。

上述步骤S104中，根据待执行任务对应的任务路径以及任务配置信息，确定待执行任务分别对应的结果输出路径和执行方式，包括：

(1)根据预设的匹配算法，在多个任务路径模板中，确定与待执行任务对应的任务路径相匹配的任务路径模板；

(2)在任务配置信息中，确定上述相匹配的任务路径模板对应的输出路径模板和任务执行方式；

(3)根据待执行任务对应的任务路径以及确定的输出路径模板，确定待执行任务对应的结果输出路径；

(4)将上述相匹配的任务路径模板对应的任务执行方式，确定为待执行任务对应的执行方式。

具体地，由于任务配置信息中，任务路径模板指的是一种路径结构，并非某个具体的路径，而任务路径为某个具体的路径，因此，可以基于匹配算法，在任务配置信息包含的多个任务路径模板中，确定与待执行任务对应的任务路径相匹配的任务路径模板。一个具体的实施例中，任务路径模板为任务路径正则表达式，则根据正则匹配算法，确定与待执行任务对应的任务路径相匹配的任务路径模板。在另一个实施例中，任务路径模板为其他的字符串表达模式，则根据与该种字符串表达模式相对应的匹配算法，确定与待执行任务对应的任务路径相匹配的任务路径模板，比如，将某个指定位置范围的字符与待执行任务对应的任务路径相同的任务路径模板，确定为与待执行任务对应的任务路径相匹配的任务路径模板，如，将开头前n位字符与待执行任务对应的任务路径相同的任务路径模板，确定为与待执行任务对应的任务路径相匹配的任务路径模板。

在确定相匹配的任务路径模板后，可以确定相匹配的任务路径模板对应的输出路径模板和任务执行方式，比如如上表1所示，确定相匹配的任务路径模板对应的输出路径模板和任务执行方式。该相匹配的任务路径模板对应的任务执行方式，即为待执行任务对应的执行方式。

由于相匹配的任务路径模板对应的输出路径模板，为一种路径结构，并非某个具体的路径，因此还需要根据待执行任务对应的任务路径以及相匹配的任务路径模板对应的输出路径模板，确定待执行任务对应的结果输出路径，结果输出路径用于输出待执行任务对应的执行结果，也即将待执行任务的执行结果按照结果输出路径输出，从而完成任务执行。

根据待执行任务对应的任务路径以及相匹配的任务路径模板对应的输出路径模板，确定待执行任务对应的结果输出路径，具体为：

(11)读取待执行任务对应的任务路径中第一指定位置的既定内容；

(12)利用读取的既定内容替换相匹配的任务路径模板对应的输出路径模板中第二指定位置的输出内容；

(13)将替换输出内容后的输出路径模板，确定为待执行任务对应的结果输出路径。

具体地，任务路径为具体的路径形式，读取任务路径中第一指定位置的既定内容，第一指定位置可以根据实际需要确定。读取后，在相匹配的任务路径模板对应的输出路径模板中，确定第二指定位置的输出内容，第二指定位置可以根据实际需要确定，利用读取的既定内容替换第二指定位置的输出内容，替换输出内容后的输出路径模板，即为待执行任务对应的结果输出路径。

一个具体的实施例中，任务路径模板和输出路径模板均为正则表达，任务路径为/log/login/20170101，根据正则匹配算法，确定与任务路径相匹配的任务路径模板为/log/login/\d+，根据上表1，可以确定相匹配的任务路径模板/log/login/\d+对应的输出路径模板和任务执行方式分别为/dw/userlogin/\d+、etl.sh，因此待执行任务对应的执行方式即为执行程序etl.sh对应的执行方式。

进一步地，读取任务路径中第一指定位置的内容“20170101”，利用读取的内容替换相匹配的任务路径模板对应的输出路径模板中第二指定位置的内容“\d+”，替换后的输出路径模板“/dw/userlogin/20170101”，即为待执行任务对应的结果输出路径，结果输出路径为一种具体的路径形式，表示任务执行结果的输出路径。

本实施例中，在确定待执行任务对应的任务路径、结果输出路径和执行方式后，还执行步骤S106，将待执行任务对应的任务路径、待执行任务对应的结果输出路径、待执行任务对应的执行方式下发至任务执行设备，以使任务执行设备执行待执行任务并输出执行结果。

具体地，执行本实施例中的方法的服务器，可以按照负载均衡策略，在多个能够执行任务的设备中选择任务执行设备，或者，在多个能够执行任务的设备中选择指定的设备，作为任务执行设备，然后，将待执行任务对应的任务路径、待执行任务对应的结果输出路径、待执行任务对应的执行方式下发至任务执行设备。

其中，服务器按照负载均衡策略，在多个能够执行任务的设备中选择任务执行设备，一种情况下，服务器在多个能够执行任务的设备中，选择当前负载最小的设备作为任务执行设备。

另一种情况下，服务器在多个能够执行任务的设备中，根据各个设备的功能，确定用于执行待执行任务的设备，然后，在确定的设备中，选取当前负载最小的设备作为任务执行设备。比如，共有a、b、c、d、e五个设备，各个设备的功能不完全相同，服务器在这五个设备中，根据各个设备的功能，确定能够指定待执行任务的设备a和b，然后，将a和b中当前负载最小的设备b，确定为任务执行设备。

任务执行设备执行待执行任务并输出执行结果的具体过程为：任务执行设备通过待执行任务对应的任务路径获取待执行任务对应的任务数据，根据待执行任务对应的执行方式，对获取的任务数据进行处理，得到任务执行结果，按照待执行任务对应的结果输出路径，输出任务执行结果，从而完成任务执行。

比如，任务路径为/log/login/20170101、执行方式为执行程序etl.sh对应的执行方式，结果输出路径为/dw/userlogin/20170101，则任务执行设备通过路径“/log/login/20170101”获取任务数据，利用执行程序etl.sh对应的执行方式对获取的任务数据进行处理，得到任务执行结果，按照路径“/dw/userlogin/20170101”输出任务执行结果，从而完成任务执行。

任务执行设备在执行完成待执行任务后，还将执行状态返回至服务器，执行状态包括执行成功和执行失败，若服务器确定执行成功，则执行步骤S108，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径，并执行步骤S110，重复结果输出路径确定、执行方式确定、任务路径下发、结果输出路径下发、执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。若服务器确定执行失败，则终止本次流程。

具体地，服务器在确定任务执行成功后，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径，重复上述步骤S104至步骤S108的过程，也即，根据任务路径和任务配置信息，确定结果输出路径和执行方式，通过任务执行设备执行任务，在任务执行成功后，再次将结果输出路径作为任务路径，直至任务的循环调度和执行结束。

一个具体的实施例中，如表1所示，任务执行成功后，将结果输出路径“/dw/userlogin/20170101”重新作为任务路径，并确定匹配的任务路径模板为“/dw/userlogin/\d+”，确定对应的任务处理方式为执行程序“bl.sh”对应的执行方式，确定对应的输出路径模板为“/bl/activeuser/\d+”，确定对应的结果输出路径为“/bl/activeuser/20170101”，从而根据任务路径、结果输出路径和执行方式，进行下一次的任务调度和执行。

本申请实施例中在设计任务配置信息时，基于业务层面的任务处理需求，设置某些任务的输出路径模板为某些任务的任务路径模板，从而在将结果输出路径作为任务路径后，实现任务的循环调度和执行。

本实施例中，若在将结果输出路径作为任务路径后，根据任务配置信息和任务路径无法确定得到对应的结果输出路径和执行方式，也即任务配置信息中未存储该任务路径对应的任务路径模板，则确定任务执行结束。

可见，本实施例中，将任务抽象成任务路径、结果输出路径和执行方式的集合，简化了任务的配置，对于待执行任务，可以通过任务配置信息确定该待执行任务对应的具体的结果输出路径和执行方式，从而通过任务路径、结果输出路径和执行方式维护任务，减少了任务维护的工作量，提高了任务调度的效率。

进一步地，将结果输出路径作为任务路径，并在任务配置信息中基于业务需求设置某些任务的输出路径模板为某些任务的任务路径模板，从而实现任务的循环调度，使任务调度构成一个有向无环图的同时免去了任务之间的DAG图的绘制，也无需修改DAG图，降低了任务调度的维护成本，提高了任务执行效率。

进一步地，本实施例通过设置任务配置信息包括任务路径模板、输出路径模板和执行方式，利用特定的匹配算法确定具体的任务路径对应的任务路径模板，从而确定该待执行任务对应的具体的结果输出路径和执行方式，通过存储路径模板的形式实现多个任务的调度和处理。由于路径模板的数量是有限的，具体任务的数量是无限的，因此通过设置任务路径模板，实现了以少量数据表示大量数据的效果，减少了需要维护的数据的量，进一步提高了任务调度和执行的效率。

本实施例中，为了重复执行某一任务，在确定待执行任务对应的任务路径、结果输出路径和执行方式后，还利用存储系统存储待执行任务对应的任务路径、待执行任务对应的结果输出路径和待执行任务对应的执行方式，以便重复执行待执行任务。

具体地，存储系统可以为分布式系统，服务器将待执行任务对应的任务路径、待执行任务对应的结果输出路径和待执行任务对应的执行方式存储在分布式系统中，实现任务固化，若在一段时间内，需要重复执行某一任务，则服务器在存储系统内调取需要执行的任务对应的任务路径、结果输出路径和执行方式，并下发至任务执行设备即可，通过任务执行设备重复执行该任务。

通过本实施例，能够通过存储待执行任务对应的任务路径、结果输出路径和执行方式的形式，实现任务固化，达到重复执行某一任务的效果。

图2为本申请另一实施例提供的任务调度方法的流程示意图，如图2所示，该流程包括以下步骤：

步骤S202，获取任务调度请求，并提取任务调度请求携带的待处理任务对应的任务路径；

步骤S204，根据任务路径和任务配置信息，确定待执行任务对应的结果输出路径和待执行任务对应的执行方式；

若确定成功，则执行步骤S206，否则，结束流程。

步骤S206，利用存储系统存储待执行任务对应的任务路径、结果输出路径和执行方式，以实现待执行任务的固化；

步骤S208，按照负载均衡策略，在多个设备中选取任务执行设备，将待执行任务对应的任务路径、结果输出路径和执行方式下发至任务执行设备，以使任务执行设备执行待执行任务并输出执行结果；

步骤S210，接收任务执行设备返回的执行状态，并判断是否执行成功；

若成功，转至步骤S212，否则，确定流程结束。

步骤S212，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径，并转至步骤S204。

通过图2中的方法，能够简单地把任务抽象为任务路径，结果输出路径和执行方式，简化了任务配置，降低了维护成本；在获取到一次任务调度请求后，可以实现任务的循环调度，直至被执行的任务超过任务配置信息的范围，不需要定时执行任务，提高了任务的执行效率；将待执行任务对应的任务路径、结果输出路径和执行方式进行存储，实现任务固化，实现任务的多次幂等执行。

图3为本申请一实施例提供的任务调度系统的结构示意图，如图3所示，该系统包括：调度器301，存储子系统302，执行子系统303。调度器301内部存储有任务配置信息，调度器301用于获取任务调度请求并执行上述的方法。存储子系统302包括多个存储设备，调度器301向存储子系统发送待执行任务对应的任务路径、结果输出路径和执行方式，以固化任务。执行子系统303包括多个执行设备，调度器301从执行子系统303中选取执行设备以执行待执行任务。在其他实施例中，任务配置信息也可以存储在调度器301以外的设备上，调度器301从该设备中获取任务配置信息并执行上述的方法。

图4为与图3对应的任务调度流程的示意图，如图4所示，调度器获取待执行任务对应的任务路径，根据任务配置信息确定待执行任务对应的结果输出路径和执行方式，将待执行任务对应的任务路径、结果输出路径和执行方式进行存储以实现固化，将待执行任务对应的任务路径、结果输出路径和执行方式下发至执行子系统303以执行任务，接收执行子系统303返回的执行状态(执行成功/失败)，在确定执行成功后，将结果输出路径作为任务路径，进行下一轮的任务调度和执行。如图4所示，本实施例中的方法，还可以在确定任务执行成功后，将任务路径、结果输出路径、执行方式以及执行状态一同存储，实现任务的固化。

对应上述的任务调度方法，本申请实施例还提供了一种任务调度装置，图5为本申请一实施例提供的任务调度装置的模块组成示意图，如图5所示，该装置包括：

请求获取模块51，用于获取任务调度请求；所述任务调度请求携带有待执行任务对应的任务路径，所述任务路径用于获取所述待执行任务对应的任务数据；

信息确定模块52，用于根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式；其中，所述结果输出路径用于输出所述待执行任务对应的执行结果；

任务下发模块53，用于将所述待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以使所述任务执行设备执行所述待执行任务并输出执行结果；

任务循环模块54，用于在确定所述待执行任务执行成功后，将所述待执行任务对应的结果输出路径，重新作为所述待执行任务对应的任务路径；

循环调度模块55，用于重复所述结果输出路径确定、所述执行方式确定、所述任务路径下发、所述结果输出路径下发、所述执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。

可选地，所述任务配置信息包括多个任务路径模板，以及每个所述任务路径模板对应的输出路径模板和任务执行方式；

所述信息确定模块52具体用于：

根据预设的匹配算法，在所述多个任务路径模板中，确定与所述待执行任务对应的任务路径相匹配的任务路径模板；

在所述任务配置信息中，确定所述相匹配的任务路径模板对应的输出路径模板和任务执行方式；

根据所述待执行任务对应的任务路径以及确定的所述输出路径模板，确定所述待执行任务对应的结果输出路径；

将所述相匹配的任务路径模板对应的任务执行方式，确定为所述待执行任务对应的执行方式。

可选地，所述信息确定模块52还具体用于：

读取所述待执行任务对应的任务路径中第一指定位置的既定内容；

利用读取的既定内容替换确定的所述输出路径模板中第二指定位置的输出内容；

将替换所述输出内容后的所述输出路径模板，确定为所述待执行任务对应的结果输出路径。

图6为本申请另一实施例提供的任务调度装置的模块组成示意图，如图6所示，该装置还包括：

任务存储模块61，用于利用存储系统存储所述待执行任务对应的任务路径、所述待执行任务对应的结果输出路径和所述待执行任务对应的执行方式，以便重复执行所述待执行任务。

图7为本申请另一实施例提供的任务调度装置的模块组成示意图，如图7所示，该装置还包括：

设备选取模块71，用于按照负载均衡策略，在多个设备中选取所述任务执行设备；或者，在多个设备中选取指定的设备作为所述任务执行设备。

可选地，所述任务路径模板为任务路径正则表达式；所述输出路径模板为输出路径正则表达式。

本申请实施例中，在获取到任务调度请求后，确定待执行任务对应的任务路径、待执行任务对应的结果输出路径、待执行任务对应的执行方式，并通过任务执行设备执行待执行任务，并且在待执行任务执行成功后，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径，重复确定待执行任务对应的结果输出路径，待执行任务的执行方式，直至任务的循环调度和执行结束。本申请实施例中将任务抽象为任务路径、结果输出路径和执行方式的集合，采用将上一个任务的结果输出路径作为下一个任务的任务路径的方式，实现任务的循环调度和执行，与现有的通过DAG图实现任务的循环调度和执行的方式相比，无需构建复杂的DAG图，也无需修改DAG图，只需要确定任务的任务路径、结果输出路径和执行方式即可，因此能够降低任务调度的维护成本，具有任务调度和执行维护成本低的优点。并且，与现有的定时任务调度的方式相比，本申请实施例在基于任务调度请求执行第一次任务后，后续任务可以自动实现循环调度和执行，无需等待预定时间间隔即可进行下次任务调度和执行，因此能够提高任务执行效率，保证数据的高效处理。

进一步地，基于上述的方法，本申请实施例还提供了一种任务调度设备，图8为本申请一实施例提供的任务调度设备的结构示意图。

如图8所示，任务调度设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器801和存储器802，存储器802中可以存储有一个或一个以上存储应用程序或数据。其中，存储器802可以是短暂存储或持久存储。存储在存储器802的应用程序可以包括一个或一个以上模块(图示未示出)，每个模块可以包括对任务调度设备中的一系列计算机可执行指令。更进一步地，处理器801可以设置为与存储器802通信，在任务调度设备上执行存储器802中的一系列计算机可执行指令。任务调度设备还可以包括一个或一个以上电源803，一个或一个以上有线或无线网络接口804，一个或一个以上输入输出接口805，一个或一个以上键盘806等。

在一个具体的实施例中，任务调度设备包括处理器，存储器，存储在存储器上并可在所述处理器上运行的计算机程序，该计算机程序被处理器执行时实现上述任务调度方法实施例的各个过程，具体包括以下步骤：

获取任务调度请求；所述任务调度请求携带有待执行任务对应的任务路径，所述任务路径用于获取所述待执行任务对应的任务数据；

根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式；其中，所述结果输出路径用于输出所述待执行任务对应的执行结果；

将所述待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以使所述任务执行设备执行所述待执行任务并输出执行结果；

在确定所述待执行任务执行成功后，将所述待执行任务对应的结果输出路径，重新作为所述待执行任务对应的任务路径；

重复所述结果输出路径确定、所述执行方式确定、所述任务路径下发、所述结果输出路径下发、所述执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。

可选地，计算机可执行指令在被执行时，所述任务配置信息包括多个任务路径模板，以及每个所述任务路径模板对应的输出路径模板和任务执行方式；

根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式，包括：

根据预设的匹配算法，在所述多个任务路径模板中，确定与所述待执行任务对应的任务路径相匹配的任务路径模板；

在所述任务配置信息中，确定所述相匹配的任务路径模板对应的输出路径模板和任务执行方式；

根据所述待执行任务对应的任务路径以及确定的所述输出路径模板，确定所述待执行任务对应的结果输出路径；

将所述相匹配的任务路径模板对应的任务执行方式，确定为所述待执行任务对应的执行方式。

可选地，计算机可执行指令在被执行时，根据所述待执行任务对应的任务路径以及确定的所述输出路径模板，确定所述待执行任务对应的结果输出路径，包括：

读取所述待执行任务对应的任务路径中第一指定位置的既定内容；

利用读取的既定内容替换确定的所述输出路径模板中第二指定位置的输出内容；

将替换所述输出内容后的所述输出路径模板，确定为所述待执行任务对应的结果输出路径。

可选地，计算机可执行指令在被执行时，还包括：

利用存储系统存储所述待执行任务对应的任务路径、所述待执行任务对应的结果输出路径和所述待执行任务对应的执行方式，以便重复执行所述待执行任务。

可选地，计算机可执行指令在被执行时，还包括：

按照负载均衡策略，在多个设备中选取所述任务执行设备；或者，在多个设备中选取指定的设备作为所述任务执行设备。

可选地，计算机可执行指令在被执行时，所述任务路径模板为任务路径正则表达式；所述输出路径模板为输出路径正则表达式。

本申请实施例中，在获取到任务调度请求后，确定待执行任务对应的任务路径、待执行任务对应的结果输出路径、待执行任务对应的执行方式，并通过任务执行设备执行待执行任务，并且在待执行任务执行成功后，将待执行任务对应的结果输出路径，重新作为待执行任务对应的任务路径，重复确定待执行任务对应的结果输出路径，待执行任务的执行方式，直至任务的循环调度和执行结束。本申请实施例中将任务抽象为任务路径、结果输出路径和执行方式的集合，采用将上一个任务的结果输出路径作为下一个任务的任务路径的方式，实现任务的循环调度和执行，与现有的通过DAG图实现任务的循环调度和执行的方式相比，无需构建复杂的DAG图，也无需修改DAG图，只需要确定任务的任务路径、结果输出路径和执行方式即可，因此能够降低任务调度的维护成本，具有任务调度和执行维护成本低的优点。并且，与现有的定时任务调度的方式相比，本申请实施例在基于任务调度请求执行第一次任务后，后续任务可以自动实现循环调度和执行，无需等待预定时间间隔即可进行下次任务调度和执行，因此能够提高任务执行效率，保证数据的高效处理。

进一步地，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任务调度方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random AccessMemory，简称RAM)、磁碟或者光盘等。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种任务调度方法，其特征在于，包括：

获取任务调度请求；所述任务调度请求携带有待执行任务对应的任务路径，所述任务路径用于获取所述待执行任务对应的任务数据；

根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式；其中，所述结果输出路径用于输出所述待执行任务对应的执行结果；

将所述待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以使所述任务执行设备执行所述待执行任务并输出执行结果；

在确定所述待执行任务执行成功后，将所述待执行任务对应的结果输出路径，重新作为下一轮待执行任务对应的任务路径；

重复所述结果输出路径确定、所述执行方式确定、所述任务路径下发、所述结果输出路径下发、所述执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。

2.根据权利要求1所述的方法，其特征在于，所述任务配置信息包括多个任务路径模板，以及每个所述任务路径模板对应的输出路径模板和任务执行方式；

根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式，包括：

根据预设的匹配算法，在所述多个任务路径模板中，确定与所述待执行任务对应的任务路径相匹配的任务路径模板；

在所述任务配置信息中，确定所述相匹配的任务路径模板对应的输出路径模板和任务执行方式；

根据所述待执行任务对应的任务路径以及确定的所述输出路径模板，确定所述待执行任务对应的结果输出路径；

将所述相匹配的任务路径模板对应的任务执行方式，确定为所述待执行任务对应的执行方式。

3.根据权利要求2所述的方法，其特征在于，根据所述待执行任务对应的任务路径以及确定的所述输出路径模板，确定所述待执行任务对应的结果输出路径，包括：

读取所述待执行任务对应的任务路径中第一指定位置的既定内容；

利用读取的既定内容替换确定的所述输出路径模板中第二指定位置的输出内容；

将替换所述输出内容后的所述输出路径模板，确定为所述待执行任务对应的结果输出路径。

4.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

利用存储系统存储所述待执行任务对应的任务路径、所述待执行任务对应的结果输出路径和所述待执行任务对应的执行方式，以便连续执行所述任务调度请求对应的多个待执行任务。

5.根据权利要求1至3任一项所述的方法，其特征在于，还包括：

按照负载均衡策略，在多个设备中选取所述任务执行设备；或者，在多个设备中选取指定的设备作为所述任务执行设备。

6.根据权利要求2所述的方法，其特征在于，所述任务路径模板为任务路径正则表达式；所述输出路径模板为输出路径正则表达式。

7.一种任务调度装置，其特征在于，包括：

请求获取模块，用于获取任务调度请求；所述任务调度请求携带有待执行任务对应的任务路径，所述任务路径用于获取所述待执行任务对应的任务数据；

信息确定模块，用于根据所述待执行任务对应的任务路径以及任务配置信息，确定所述待执行任务分别对应的结果输出路径和执行方式；其中，所述结果输出路径用于输出所述待执行任务对应的执行结果；

任务下发模块，用于将所述待执行任务对应的任务路径、结果输出路径、执行方式对应下发至任务执行设备，以使所述任务执行设备执行所述待执行任务并输出执行结果；

任务循环模块，用于在确定所述待执行任务执行成功后，将所述待执行任务对应的结果输出路径，重新作为下一轮待执行任务对应的任务路径；

循环调度模块，用于重复所述结果输出路径确定、所述执行方式确定、所述任务路径下发、所述结果输出路径下发、所述执行方式下发、以及将结果输出路径作为任务路径的动作，直至任务的循环调度和执行结束。

8.根据权利要求7所述的装置，其特征在于，所述任务配置信息包括多个任务路径模板，以及每个所述任务路径模板对应的输出路径模板和任务执行方式；

所述信息确定模块具体用于：

根据预设的匹配算法，在所述多个任务路径模板中，确定与所述待执行任务对应的任务路径相匹配的任务路径模板；

在所述任务配置信息中，确定所述相匹配的任务路径模板对应的输出路径模板和任务执行方式；

根据所述待执行任务对应的任务路径以及确定的所述输出路径模板，确定所述待执行任务对应的结果输出路径；

将所述相匹配的任务路径模板对应的任务执行方式，确定为所述待执行任务对应的执行方式。

9.根据权利要求8所述的装置，其特征在于，所述信息确定模块还具体用于：

读取所述待执行任务对应的任务路径中第一指定位置的既定内容；

利用读取的既定内容替换确定的所述输出路径模板中第二指定位置的输出内容；

将替换所述输出内容后的所述输出路径模板，确定为所述待执行任务对应的结果输出路径。

10.根据权利要求7至9任一项所述的装置，其特征在于，还包括：

任务存储模块，用于利用存储系统存储所述待执行任务对应的任务路径、所述待执行任务对应的结果输出路径和所述待执行任务对应的执行方式，以便连续执行所述任务调度请求对应的多个待执行任务。

11.根据权利要求7至9任一项所述的装置，其特征在于，还包括：

设备选取模块，用于按照负载均衡策略，在多个设备中选取所述任务执行设备；或者，在多个设备中选取指定的设备作为所述任务执行设备。

12.根据权利要求8所述的装置，其特征在于，所述任务路径模板为任务路径正则表达式；所述输出路径模板为输出路径正则表达式。

Images