CN111930489B - 一种任务调度方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种任务调度方法、装置、设备及存储介质。其中，该方法由任务调度系统的管理节点执行，任务调度系统包括至少两个管理节点，方法包括：由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；根据预设的可执行命令生成器，将目标任务调度请求中的任务参数拼装成可执行命令语句；接收至少一个候选任务提交器发送的心跳信息，根据心跳信息，确定目标任务提交器；将可执行命令语句发送至目标任务提交器，供目标任务提交器将可执行命令语句发送给集群，使集群执行任务调度请求，并由目标任务提交器确定目标任务在集群中的执行状态。实现对众多任务的合理调配，保证系统的高可用性和任务调度效率。

Description

一种任务调度方法、装置、设备及存储介质

技术领域

本发明实施例涉及计算机技术，尤其涉及一种任务调度方法、装置、设备及存储介质。

背景技术

用户画像系统是智能营销、用户洞察和个性化推荐等应用的基础系统，需要对接不同的工作人员，使工作人员可以根据自己的需求配置用户群。在配置和使用用户群数据的时候，需要任务调度系统合理的对众多任务进行调配。

现有技术中，任务调度系统只包括一个管理节点，负责管理接收应用服务节点的所有任务调度请求，当管理节点出现故障时，目标任务无法完成，且在管理节点将目标任务发送给任务提交器时，存在任务提交器无法处理目标任务的情况，任务调度的可靠性和效率较低。

发明内容

本发明实施例提供一种任务调度方法、装置、设备及存储介质，以提高任务调度的可靠性和效率。

第一方面，本发明实施例提供了一种任务调度方法，所述方法由任务调度系统的管理节点执行，所述任务调度系统包括至少两个管理节点，所述方法包括：

由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；

根据预设的可执行命令生成器，将所述目标任务调度请求中的任务参数拼装成可执行命令语句；

接收至少一个候选任务提交器发送的心跳信息，根据所述心跳信息，确定目标任务提交器；

将所述可执行命令语句发送至所述目标任务提交器，供所述目标任务提交器将所述可执行命令语句发送给集群，使所述集群执行所述任务调度请求，并由所述目标任务提交器确定目标任务在集群中的执行状态。

第二方面，本发明实施例还提供了一种任务调度方法，所述方法由任务调度系统的应用服务节点执行，所述方法包括：

获取业务端的任务调度请求；

根据预设的请求验证规则，对所述任务调度请求中的任务参数进行验证；

若所述任务调度请求验证成功，则向至少两个管理节点发送所述任务调度请求。

第三方面，本发明实施例还提供了一种任务调度装置，所述装置配置于任务调度系统的管理节点上，所述任务调度系统包括至少两个管理节点，所述装置包括：

参数读取模块，用于由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；

命令拼装模块，用于根据预设的可执行命令生成器，将所述目标任务调度请求中的任务参数拼装成可执行命令语句；

提交器确定模块，用于接收至少一个候选任务提交器发送的心跳信息，根据所述心跳信息，确定目标任务提交器；

命令发送模块，用于将所述可执行命令语句发送至所述目标任务提交器，供所述目标任务提交器将所述可执行命令语句发送给集群，使所述集群执行所述任务调度请求，并由所述目标任务提交器确定目标任务在集群中的执行状态。

第四方面，本发明实施例还提供了一种任务调度装置，所述装置配置于任务调度系统的应用服务节点上，所述装置包括：

请求获取模块，用于获取业务端的任务调度请求；

请求验证模块，用于根据预设的请求验证规则，对所述任务调度请求中的任务参数进行验证；

请求发送模块，用于若所述任务调度请求验证成功，则向至少两个管理节点发送所述任务调度请求。

第五方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面或第二方面所述的任务调度方法。

第六方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面或第二方面所述的任务调度方法。

本发明实施例通过由任务调度系统中的目标管理节点获取应用服务节点中的目标任务调度请求，将目标任务调度请求中的任务参数拼装成可执行命令语句，接收多个候选任务提交器的心跳信息，从中确定目标任务提交器，由目标任务提交器将目标任务提交至集群，由集群进行任务调度的执行。解决了现有技术中，只有一个管理节点接收所有目标任务调度请求的问题，避免在目标管理节点故障时，调度系统瘫痪的情况，通过选择目标任务提交器，实现对目标任务的分配提交，提高任务调度系统的稳定性和可靠性，并提高任务调度的效率。

附图说明

图1是本发明实施例一中的一种任务调度方法的流程示意图；

图2是本发明实施例二中的一种任务调度方法的流程示意图；

图3是本发明实施例三中的一种任务调度装置的结构框图；

图4是本发明实施例四中的一种任务调度装置的结构框图；

图5是本发明实施例五中的一种计算机设备的结构示意图；

图6是本发明实施例六中的一种计算机设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种任务调度方法的流程示意图，本实施例可适用于由任务调度系统执行不同任务的情况，该方法可以由任务调度系统的管理节点中的任务调度装置来执行，任务调度系统包括至少两个管理节点。如图1所示，该方法具体包括如下步骤：

步骤110、由目标管理节点读取应用服务节点中目标任务调度请求的任务参数。

其中，任务调度系统中可以包括至少两个job master(管理节点)，job master是任务调度系统的管理节点，用于对接application service(应用服务)节点、jobsubmitter(任务提交器)和job pool(任务池)，每个管理节点可以同时接收应用服务节点的目标任务调度请求，也就是说，应用服务节点可以将同一个任务调度请求同时发送给每一个管理节点。

应用服务节点可以通过RPC(Remote Procedure Call，远程过程调用)接口从业务端获取目标任务调度请求，业务端通过RPC接口向任务调度系统发出目标任务调度请求，应用服务节点收到请求后对目标任务进行验证，验证通过后同时向多个管理节点发送目标任务调度请求。可以验证目标任务调度请求中参数的格式是否与预设的参数格式一致，若一致，则向管理节点发送该请求；若不一致，则向业务端发送反馈信息，提示目标任务出现错误。

应用服务节点通过RPC接口从各业务端的目标任务调度请求中解析任务参数，根据任务参数解析出的信息可以包括任务类型、jar(Java Archive，Java归档文件)包位置、jvm(Java Virtual Machine，Java虚拟机)参数、命令行参数和运行参数等，业务端可以是智能营销、风控和财务等。应用服务节点记录目标任务调度请求并生成目标任务，对任务的各项参数进行校验，确定任务参数是否符合预设规则，将不符合规则的目标任务调度请求标记任务状态为错误，返回给业务端，任务终止。若确定任务参数符合预设规则，则应用服务节点将目标任务信息打包发送给管理节点，目标任务信息可以包括目标任务调度请求、目标任务申请时间、申请人ID和任务类型等。

管理节点在接收到目标任务调度请求后，相互之间确定目标管理节点，由目标管理节点读取目标任务调度请求中的任务参数，除目标管理节点以外的管理节点放弃对目标任务调度请求的管理。

本实施例中，可选的，在由目标管理节点读取应用服务节点中目标任务调度请求的任务参数之前，还包括：由至少两个管理节点接收应用服务节点中的目标任务调度请求；向除自身的管理节点以外的其他管理节点发送剩余可用资源；根据接收到的其他管理节点的剩余可用资源和自身管理节点的剩余可用资源，确定目标管理节点。

具体的，多个管理节点同时接收应用服务节点的目标任务调度请求，各管理节点需确认自身是否为目标管理节点，若不是，则放弃该目标任务，由目标任务节点管理目标任务的执行。各管理节点之间相互发送自身的剩余可用资源，管理节点可以接收除自身外其他管理节点的剩余可用资源。每一个管理节点将自身的剩余可用资源与其他管理节点发送来的剩余可用资源进行比较，确定符合要求的目标管理节点，并将确定的目标管理节点相互发送进行确认，若每一个管理节点确定的目标管理节点一致，则由目标管理节点处理目标任务。例如，任务调度系统包括两个管理节点，分别为管理节点一和管理节点二，管理节点一和管理节点二同时收到了一个目标任务，管理节点一将自身的剩余可用资源发送给管理节点二，管理节点二也可以同时将自身的剩余可用资源发送给管理节点一。管理节点一和管理节点二都进行剩余可用资源的比较，管理节点一的剩余可用资源大于管理节点二的剩余可用资源，因此，管理节点一和管理节点二分别向对方发送目标管理节点的确定结果，若二者确定结果一致，则以确定结果中的管理节点作为目标管理节点。若二者确定结果出现偏差，则可以发出错误提示，以便于重新进行目标管理节点的确定。这样设置的有益效果在于，在确定目标管理节点时可以存在多个选择，避免将所有任务发送给同一个管理节点进行处理，即使某管理节点发生故障，目标任务仍能进行，实现了任务调度系统的高可用性，提高了任务调度的可靠性和效率。

步骤120、根据预设的可执行命令生成器，将目标任务调度请求中的任务参数拼装成可执行命令语句。

其中，目标管理节点读取目标任务调度请求的任务参数后，根据任务参数解析出任务类型、执行参数和命令行参数等，例如，执行参数可以是jar包中的类的传参，命令行参数可以是jvm参数、spark(计算引擎)的配置参数或sql(Structured Query Language，结构化查询语言)的变量等参数。将解析出的信息传递给预设的可执行命令生成器，可执行命令生成器将各参数信息拼接成可执行的命令。例如，拼装后的可执行命令语句可表示为“spark-submit--conf spark.dynamicAllocation.enabled＝false--master yarn--class com.t3.crowd.api.SendCrowdToKafka--executor-memory 4g--driver-memory4g--executor-cores 4--num-executors 4--queue default./personas-api-1.0-SNAPSHOT-jar-with-dependencies.jar”。可执行命令生成器中可以预设不同格式任务参数的拼装方式，例如，可以生成spark的可执行命令或sql语句等，提高了生成可执行命令语句的灵活性。

本实施例中，可选的，在根据预设的可执行命令生成器，将目标任务调度请求中的任务参数拼装成可执行命令语句之后，还包括：根据任务类型、申请人ID和申请时间，生成目标任务ID；将目标任务ID发送给任务池，并在任务池中记录目标任务ID的执行状态为待执行。

具体的，目标管理节点生成可执行命令语句后，根据目标任务的任务类型、申请人ID和申请时间，生成目标任务ID，目标任务ID具有唯一性和可读性。目标管理节点将目标任务ID发送给任务池，任务池用来暂时存放目标任务，当目标任务执行结束，目标管理节点将目标任务从任务池中删除。任务池中记录有目标任务ID，以及目标任务的执行状态。目标管理节点将生成的目标任务ID发送至任务池，并标记目标任务的执行状态为待执行。目标管理节点也可以将目标任务ID和目标任务执行状态保存在系统的任务执行日志中，每个目标任务的每个执行状态都可以作为一条日志信息进行保存。这样设置的有益效果在于，通过生成目标任务ID，可以对目标任务进行管理，将目标任务ID及执行状态存入任务池，方便对目标任务进行查看，提高任务调度效率。

步骤130、接收至少一个候选任务提交器发送的心跳信息，根据心跳信息，确定目标任务提交器。

其中，任务调度系统中可以存在多个任务提交器，任务提交器的作用是从目标管理节点获取目标任务后提交到集群，由集群执行任务调度，每个目标任务可以由一个目标任务提交器获取。候选任务提交器是等待获取目标任务可执行命令语句的任务提交器，心跳信息可以包括已提交任务ID、已提交任务执行状态和本机状态信息。已提交任务是任务提交器已将目标任务提交至集群的任务。候选任务提交器可以定时向管理节点发送心跳信息，若管理节点中存在目标任务，则由该管理节点确定目标任务的目标任务提交器。

本实施例中，可选的，接收至少一个候选任务提交器发送的心跳信息，根据心跳信息，确定目标任务提交器，包括：根据预设第一时间周期接收至少一个候选任务提交器发送的心跳信息；其中，心跳信息至少包括已提交任务ID、已提交任务执行状态和本机状态信息；根据心跳信息，确定候选任务提交器的当前状态；根据候选任务提交器的当前状态，确定目标任务提交器。

具体的，各候选任务提交器根据预设的第一时间周期，向所有的管理节点发送心跳信息，各管理节点根据心跳信息确定自身管理节点中目标任务的目标任务提交器，若某管理节点中没有目标任务，则忽略心跳信息。各目标管理节点接收到心跳信息后，比较各候选任务提交器的当前状态，例如，可以是剩余资源和健康状态，从候选任务提交器中选择符合要求的目标任务提交器。这样设置的有益效果在于，目标管理节点可以从多个候选任务提交器中进行选择，确定符合要求的目标任务提交器，避免目标任务都在同一个任务提交器中，造成任务混乱或丢失的问题，提高任务的调度效率。

本实施例中，可选的，在根据预设第一时间周期接收至少一个候选任务提交器发送的心跳信息之后，还包括：将已提交任务ID对应的已提交任务执行状态发送至任务池中，更新已提交任务ID的执行状态；若已提交任务执行状态为任务执行结束，则将已提交任务ID从任务池中删除。

具体的，目标管理节点收到的心跳信息中包括已提交任务ID和已提交任务执行状态，目标管理节点确定已提交任务ID是否为自身的历史目标任务，若是，则将已提交任务ID和已提交任务执行状态添加到任务池中；若不是，则该已提交任务ID和已提交任务执行状态由所属的管理节点添加到任务池。若已提交任务执行状态为任务执行结束，则目标管理节点将该任务的任务ID和相关的执行状态信息从任务池中删除。目标管理节点在向任务池中添加执行状态时，也可以将任务ID和执行状态向系统的任务执行日志中进行保存。任务执行结束时，任务池中的任务删除，任务执行日志中的任务不需要删除，可以将该任务记录为执行结束。这样设置的有益效果在于，可以定时监控历史目标任务的执行状态，及时从任务池进行任务删除，避免已执行结束的任务占用任务池的空间，提高后续目标任务的调度效率。

步骤140、将可执行命令语句发送至目标任务提交器，供目标任务提交器将可执行命令语句发送给集群，使集群执行任务调度请求，并由目标任务提交器确定目标任务在集群中的执行状态。

其中，目标管理节点在确定目标任务提交器之后，将目标任务调度请求转发给目标任务提交器，目标任务提交器获取其中的可执行命令语句。目标任务提交器的作用是将目标任务提交给集群，集群根据可执行命令语句进行任务调度，并获取目标任务在集群中的执行状态，向目标管理节点进行反馈。

任务调度执行成功后将任务状态汇报给目标任务提交器，目标任务提交器向目标管理节点汇报，目标管理节点将目标任务从任务池中移除并写入任务执行日志中。若任务失败，集群在将失败结果返回给目标任务提交器后，目标任务提交器根据预设的重试次数进行再次执行。若重试次数用完后依然失败，则由目标任务提交器向目标管理节点汇报，目标管理节点将目标任务从任务池中移除并写入任务执行日志，标记为调度失败。需要说明的是，任务执行日志中记录目标任务的所有执行状态信息。在任务调度的管理页面，用户可点击“重跑”按钮将目标任务再次提交，不用重新通过RPC接口提出任务调度请求。

本实施例中，可选的，在将可执行命令语句发送至目标任务提交器之后，还包括：若在预设第二时间周期内没有接收到目标任务提交器的心跳信息，则确定目标任务提交器掉线；接收除目标任务提交器以外的其他候选任务提交器的心跳信息；根据其他候选任务提交器的心跳信息，确定最新目标任务提交器；将可执行命令语句发送给最新目标任务提交器，供最新目标任务提交器确定目标任务在集群中的执行状态。

具体的，目标管理节点可以定时接收到各任务提交器的心跳信息，根据心跳信息可以判断任务提交器的当前状态。目标管理节点将目标任务发送给目标任务提交器，若在预设的第二时间周期内没有接收到目标任务提交器的心跳信息，则可以判断目标任务提交器掉线。第二时间周期的时间可以等于或大于第一时间周期的时间。若目标任务提交器掉线，则目标管理节点无法得到目标任务的执行状态。为了得到目标任务的执行状态，目标管理节点可以从除目标任务提交器以外的其他候选任务提交器中选择一个最新目标任务提交器。目标管理节点接收其他候选任务提交器的心跳信息，根据心跳信息判断其他候选任务提交器的当前状态，从其他候选任务提交器中确定最新目标任务提交器。目标任务提交器的掉线不影响集群对目标任务的执行，因此，若目标任务已由目标任务提交器提交给了集群，则该目标任务正在被执行，最新目标任务提交器不需要重复提交目标任务，只需接收目标任务的执行状态并向目标管理节点反馈，保证任务链的完整。这样设置的有益效果在于，及时发现目标任务提交器的当前状态，避免目标任务提交器掉线时，任务链不完整导致无法记录任务执行状态，充分利用系统资源，有效提高任务调度的效率。

本实施例的技术方案，通过由任务调度系统中的目标管理节点获取应用服务节点中的目标任务调度请求，将目标任务调度请求中的任务参数拼装成可执行命令语句，接收多个候选任务提交器的心跳信息，从中确定目标任务提交器，由目标任务提交器将目标任务提交至集群，由集群进行执行。解决了现有技术中，只有一个管理节点接收所有目标任务调度请求的问题，避免在目标管理节点故障时，调度系统瘫痪的情况，通过选择目标任务提交器，实现对目标任务的分配提交，提高任务调度系统的稳定性和可靠性，并提高任务调度的效率。

实施例二

图2为本发明实施例二提供的一种任务调度方法的流程示意图，本实施例可适用于由任务调度系统执行不同任务的情况，该方法可以由任务调度系统的应用服务节点中的任务调度装置来执行。如图2所示，该方法具体包括如下步骤：

步骤210、获取业务端的任务调度请求。

其中，用户在业务端发出任务调度请求，应用服务节点可以有多个。应用服务节点与业务端对接，提供RPC接口供应用服务节点调用请求，业务端根据时间的哈希确定向哪个应用服务节点发出请求。任务调度请求的目标业务在本发明实施例中主要包括但不限于：spark任务、java任务和sql任务。spark任务可以包括用户群数据的获取、用户群的计算、复合标签的计算和导入类用户群的计算等，java任务可以包括静态画像、动态画像和个体画像的获取等。通过RPC接口可以从各任务调度请求中解析任务参数，可以预设解析任务参数的配置信息，解析出的信息可以包括任务类型、jar包位置、jvm参数、命令行参数和运行参数等，本实施例中的业务端包含但不限于智能营销、风控和财务等。

步骤220、根据预设的请求验证规则，对任务调度请求中的任务参数进行验证。

其中，应用服务节点中预设有请求验证规则，用于验证任务调度请求中的任务参数。例如，可以预设参数格式，验证任务参数是否为规定的java或sql等格式。也可以在请求验证规则中预先设置任务调度资源的资源量阈值，若任务调度请求中请求的资源量过大，超过预设资源量阈值，则任务调度请求验证失败。

本实施例中，可选的，在根据预设的请求验证规则，对任务调度请求中的任务参数进行验证之后，还包括：若任务调度请求验证失败，则终止任务调度请求的执行，并向业务点返回任务错误的提示信息。

具体的，若任务调度请求验证失败，则不进行该请求的任务调度，应用服务节点不将该任务调度请求发送给管理节点。应用服务节点终止任务调度请求的执行，并向业务端返回任务错误的提示信息，以提示服务端重新发出任务调度请求。这样设置的有益效果在于，将不符合要求的请求及时退回，避免执行错误的任务调度请求，浪费系统资源，影响其他任务调度请求的执行，提高任务调度的效率。

步骤230、若任务调度请求验证成功，则向至少两个管理节点发送任务调度请求。

其中，若任务调度请求验证成功，则可以继续执行该任务调度请求。应用服务节点将任务调度请求发送给多个管理节点，由管理节点确定目标管理节点，以继续任务的调度。

本发明实施例通过获取任务调度请求，对任务调度请求中的任务参数进行验证，确定该任务调度请求是否合法，若合法，则可以继续执行。避免对不合法的任务执行时造成资源浪费，有效提高任务调度效率。

实施例三

图3为本发明实施例三所提供的一种任务调度装置的结构框图，该装置配置于任务调度系统的管理节点上，任务调度系统包括至少两个管理节点，该装置可执行本发明任意实施例所提供的一种任务调度方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置具体包括：

参数读取模块301，用于由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；

命令拼装模块302，用于根据预设的可执行命令生成器，将目标任务调度请求中的任务参数拼装成可执行命令语句；

提交器确定模块303，用于接收至少一个候选任务提交器发送的心跳信息，根据心跳信息，确定目标任务提交器；

命令发送模块304，用于将可执行命令语句发送至目标任务提交器，供目标任务提交器将可执行命令语句发送给集群，使集群执行任务调度请求，并由目标任务提交器确定目标任务在集群中的执行状态。

可选的，该装置还包括：

请求接收模块，用于在由目标管理节点读取应用服务节点中目标任务调度请求的任务参数之前，由至少两个管理节点接收应用服务节点中的目标任务调度请求；

资源发送模块，用于向除自身的管理节点以外的其他管理节点发送剩余可用资源；

目标节点确定模块，用于根据接收到的其他管理节点的剩余可用资源和自身管理节点的剩余可用资源，确定目标管理节点。

可选的，该装置还包括：

任务ID生成模块，用于在根据预设的可执行命令生成器，将目标任务调度请求中的任务参数拼装成可执行命令语句之后，根据任务类型、申请人ID和申请时间，生成目标任务ID；

执行状态记录模块，用于将目标任务ID发送给任务池，并在任务池中记录目标任务ID的执行状态为待执行。

可选的，提交器确定模块303，包括：

心跳信息接收单元，用于根据预设第一时间周期接收至少一个候选任务提交器发送的心跳信息；其中，心跳信息至少包括已提交任务ID、已提交任务执行状态和本机状态信息；

提交器状态确定单元，用于根据心跳信息，确定候选任务提交器的当前状态；

目标提交器确定单元，用于根据候选任务提交器的当前状态，确定目标任务提交器。

可选的，提交器确定模块303，还包括：

任务状态更新单元，用于在根据预设第一时间周期接收至少一个候选任务提交器发送的心跳信息之后，将已提交任务ID对应的已提交任务执行状态发送至任务池中，更新已提交任务ID的执行状态；

任务删除单元，用于若已提交任务执行状态为任务执行结束，则将已提交任务ID从任务池中删除。

可选的，该装置还包括：

最新提交器确定模块，用于若在预设第二时间周期内没有接收到目标任务提交器的心跳信息，则确定目标任务提交器掉线；

接收除目标任务提交器以外的其他候选任务提交器的心跳信息；

根据其他候选任务提交器的心跳信息，确定最新目标任务提交器；

将可执行命令语句发送给最新目标任务提交器，供最新目标任务提交器确定目标任务在集群中的执行状态。

本发明实施例通过由任务调度系统中的目标管理节点获取应用服务节点中的目标任务调度请求，将目标任务调度请求中的任务参数拼装成可执行命令语句，接收多个候选任务提交器的心跳信息，从中确定目标任务提交器，由目标任务提交器将目标任务提交至集群，由集群进行执行。解决了现有技术中，只有一个管理节点接收所有目标任务调度请求的问题，避免在目标管理节点故障时，调度系统瘫痪的情况，通过选择目标任务提交器，实现对目标任务的分配提交，提高任务调度系统的稳定性和可靠性，并提高任务调度的效率。

实施例四

图4为本发明实施例四所提供的一种任务调度装置的结构框图，该装置配置于任务调度系统的应用服务节点上，该装置可执行本发明任意实施例所提供的一种任务调度方法，具备执行方法相应的功能模块和有益效果。如图4所示，该装置具体包括：

请求获取模块401，用于获取业务端的任务调度请求；

请求验证模块402，用于根据预设的请求验证规则，对任务调度请求中的任务参数进行验证；

请求发送模块403，用于若任务调度请求验证成功，则向至少两个管理节点发送任务调度请求。

可选的，该装置还包括：

任务终止模块，用于若任务调度请求验证失败，则终止任务调度请求的执行，并向业务点返回任务错误的提示信息。

本发明实施例通过获取任务调度请求，对任务调度请求中的任务参数进行验证，确定该任务调度请求是否合法，若合法，则可以继续执行。避免对不合法的任务执行时造成资源浪费，有效提高任务调度效率。

实施例五

图5是本发明实施例五提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施例一和三的示例性计算机设备500的框图。图5显示的计算机设备500仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图5所示，计算机设备500以通用计算设备的形式表现。计算机设备500的组件可以包括但不限于：一个或者多个处理器或者处理单元501，系统存储器502，连接不同系统组件(包括系统存储器502和处理单元501)的总线503。

总线503表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备500典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备500访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器502可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)504和/或高速缓存存储器505。计算机设备500可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统506可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线503相连。存储器502可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例一和三的功能。

具有一组(至少一个)程序模块507的程序/实用工具508，可以存储在例如存储器502中，这样的程序模块507包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块507通常执行本发明所描述的实施例一和三中的功能和/或方法。

计算机设备500也可以与一个或多个外部设备509(例如键盘、指向设备、显示器510等)通信，还可与一个或者多个使得用户能与该计算机设备500交互的设备通信，和/或与使得该计算机设备500能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口511进行。并且，计算机设备500还可以通过网络适配器512与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图5所示，网络适配器512通过总线503与计算机设备500的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备500使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元501通过运行存储在系统存储器502中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例一和三所提供的一种任务调度方法，包括：

由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；

根据预设的可执行命令生成器，将目标任务调度请求中的任务参数拼装成可执行命令语句；

接收至少一个候选任务提交器发送的心跳信息，根据心跳信息，确定目标任务提交器；

将可执行命令语句发送至目标任务提交器，供目标任务提交器将可执行命令语句发送给集群，使集群执行任务调度请求，并由目标任务提交器确定目标任务在集群中的执行状态。

实施例六

图6是本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施例二和四的示例性计算机设备600的框图。图6显示的计算机设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机设备600以通用计算设备的形式表现。计算机设备600的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。

总线603表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

计算机设备600典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备600访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)604和/或高速缓存存储器605。计算机设备600可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统606可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线603相连。存储器602可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明实施例二和四的功能。

具有一组(至少一个)程序模块607的程序/实用工具608，可以存储在例如存储器602中，这样的程序模块607包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块607通常执行本发明所描述的实施例二和四中的功能和/或方法。

计算机设备600也可以与一个或多个外部设备609(例如键盘、指向设备、显示器610等)通信，还可与一个或者多个使得用户能与该计算机设备600交互的设备通信，和/或与使得该计算机设备600能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口611进行。并且，计算机设备600还可以通过网络适配器612与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图6所示，网络适配器612通过总线603与计算机设备600的其它模块通信。应当明白，尽管图6中未示出，可以结合计算机设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元601通过运行存储在系统存储器602中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例二和四所提供的一种任务调度方法，包括：

获取业务端的任务调度请求；

根据预设的请求验证规则，对任务调度请求中的任务参数进行验证；

若任务调度请求验证成功，则向至少两个管理节点发送任务调度请求。

实施例七

本发明实施例七还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例一、三和五所提供的任务调度方法，包括：

由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；

根据预设的可执行命令生成器，将目标任务调度请求中的任务参数拼装成可执行命令语句；

接收至少一个候选任务提交器发送的心跳信息，根据心跳信息，确定目标任务提交器；

将可执行命令语句发送至目标任务提交器，供目标任务提交器将可执行命令语句发送给集群，使集群执行任务调度请求，并由目标任务提交器确定目标任务在集群中的执行状态。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

实施例八

本发明实施例八还提供一种包含计算机可执行指令的存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例二、四和六所提供的任务调度方法，包括：

获取业务端的任务调度请求；

根据预设的请求验证规则，对任务调度请求中的任务参数进行验证；

若任务调度请求验证成功，则向至少两个管理节点发送任务调度请求。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (9)

1.一种任务调度方法，其特征在于，所述方法由任务调度系统的管理节点执行，所述任务调度系统包括至少两个管理节点，所述方法包括：

由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；

根据预设的可执行命令生成器，将所述目标任务调度请求中的任务参数拼装成可执行命令语句；

接收至少一个候选任务提交器发送的心跳信息，根据所述心跳信息，确定目标任务提交器；

将所述可执行命令语句发送至所述目标任务提交器，供所述目标任务提交器将所述可执行命令语句发送给集群，使所述集群执行所述任务调度请求，并由所述目标任务提交器确定目标任务在集群中的执行状态。

2.根据权利要求1所述的方法，其特征在于，在由目标管理节点读取应用服务节点中目标任务调度请求的任务参数之前，还包括：

由至少两个管理节点接收应用服务节点中的目标任务调度请求；

向除自身的管理节点以外的其他管理节点发送剩余可用资源；

根据接收到的其他管理节点的剩余可用资源和自身管理节点的剩余可用资源，确定目标管理节点。

3.根据权利要求1所述的方法，其特征在于，在根据预设的可执行命令生成器，将所述目标任务调度请求中的任务参数拼装成可执行命令语句之后，还包括：

根据任务类型、申请人ID和申请时间，生成目标任务ID；

将所述目标任务ID发送给任务池，并在任务池中记录所述目标任务ID的执行状态为待执行。

4.根据权利要求1所述的方法，其特征在于，接收至少一个候选任务提交器发送的心跳信息，根据心跳信息，确定目标任务提交器，包括：

根据预设第一时间周期接收至少一个候选任务提交器发送的心跳信息；其中，所述心跳信息至少包括已提交任务ID、已提交任务执行状态和本机状态信息；

根据所述心跳信息，确定所述候选任务提交器的当前状态；

根据所述候选任务提交器的当前状态，确定目标任务提交器。

5.根据权利要求4所述的方法，其特征在于，在根据预设第一时间周期接收至少一个候选任务提交器发送的心跳信息之后，还包括：

将已提交任务ID对应的已提交任务执行状态发送至任务池中，更新所述已提交任务ID的执行状态；

若所述已提交任务执行状态为任务执行结束，则将所述已提交任务ID从任务池中删除。

6.根据权利要求1所述的方法，其特征在于，在将所述可执行命令语句发送至所述目标任务提交器之后，还包括：

若在预设第二时间周期内没有接收到目标任务提交器的心跳信息，则确定所述目标任务提交器掉线；

接收除目标任务提交器以外的其他候选任务提交器的心跳信息；

根据所述其他候选任务提交器的心跳信息，确定最新目标任务提交器；

将所述可执行命令语句发送给所述最新目标任务提交器，供所述最新目标任务提交器确定目标任务在集群中的执行状态。

7.一种任务调度装置，其特征在于，所述装置配置于任务调度系统的管理节点上，所述任务调度系统包括至少两个管理节点，所述装置包括：

参数读取模块，用于由目标管理节点读取应用服务节点中目标任务调度请求的任务参数；

命令拼装模块，用于根据预设的可执行命令生成器，将所述目标任务调度请求中的任务参数拼装成可执行命令语句；

提交器确定模块，用于接收至少一个候选任务提交器发送的心跳信息，根据所述心跳信息，确定目标任务提交器；

命令发送模块，用于将所述可执行命令语句发送至所述目标任务提交器，供所述目标任务提交器将所述可执行命令语句发送给集群，使所述集群执行所述任务调度请求，并由所述目标任务提交器确定目标任务在集群中的执行状态。

8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一所述的任务调度方法。

9.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-6中任一所述的任务调度方法。

Images