CN109933414A - 一种任务调度方法、装置及系统 - Google Patents
一种任务调度方法、装置及系统 Download PDFInfo
- Publication number
- CN109933414A CN109933414A CN201711364582.1A CN201711364582A CN109933414A CN 109933414 A CN109933414 A CN 109933414A CN 201711364582 A CN201711364582 A CN 201711364582A CN 109933414 A CN109933414 A CN 109933414A
- Authority
- CN
- China
- Prior art keywords
- task
- pending
- blueprint
- actuator
- execution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- Computer And Data Communications (AREA)
Abstract
本申请提供了一种任务调度方法、装置及系统,该方法应用于调度器,首先获取预设时间内的待执行任务的参数信息,其中,参数信息包括待执行任务的执行时间以及任务依赖信息。然后,根据待执行任务的执行时间以及任务依赖信息,创建任务蓝图,其中,任务蓝图表征待执行任务的执行顺序。之后,基于任务蓝图,将待执行任务的数据目录发送至预设执行器,以使执行器根据任务蓝图执行待执行任务。可见,本方案中调度器会根据任务的执行时间以及任务依赖情况调度任务,当某一任务发生执行故障时,可以对对该任务重新调度,以使任务执行完成。
Description
技术领域
本申请涉及数据处理技术领域,具体涉及一种任务调度方法、装置及系统。
背景技术
目前,较为常用的任务调度系统为定时调度,即调度器记录了每个任务预先设定的执行时间,当该执行时间到达时,由执行器执行对应的任务。然而,发明人发现,服务器中的多个任务之间可能具有依赖性,即,需要将该任务所依赖的任务执行完成后,才可以执行该任务。并且,调度器将任务分配给执行器后,不能重复进行任务的分配,因此,一旦某个依赖任务执行失败后,依赖该任务的任务便不能继续执行,进而影响整个任务的执行结果。
综上,如何提供一种任务调度方法及系统,能够在某一任务发生执行故障时,仍能实现对该任务进行调度,以使任务执行完成,是本领域技术人员亟待解决的一大技术难题。
发明内容
有鉴于此,本申请实施例提供了一种任务调度方法、装置及系统,能够在某一任务发生执行故障时,仍能实现对该任务进行调度,以使任务执行完成。
为实现上述目的,本申请实施例提供如下技术方案:
一种任务调度方法,应用于调度器,包括:
获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。
可选的,所述根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,包括:
确定待执行任务中具有依赖关系的任务的执行顺序优先于所述待执行任务的执行顺序;
确定不具有依赖关系的待执行任务按照所述执行时间进行顺序排列。
可选的,所述基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务,包括:
依据所述待执行任务的执行顺序,将所述待执行任务的数据目录发送至预设执行器,以使所述执行器按照所述执行顺序,获取所述数据目录对应的待执行任务,并执行所述待执行任务。
可选的,还包括:
判断所述待执行任务是否执行完成,如果否,发送预设执行指令,以使所述执行器重新执行所述待执行任务,或发送所述待执行任务的数据目录至其他执行器。
可选的,还包括:
判断所述调度器是否发生故障,如果是,后台服务器确定备用调度器,以使所述备用调度器获取预设时间内的待执行任务的参数信息,并
根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图。
一种任务调度装置,应用于调度器,包括:
获取模块,用于获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
创建模块,用于根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
发送模块,用于基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。
可选的,所述创建模块包括:
第一确定单元,用于确定待执行任务中具有依赖关系的任务的执行顺序优先于所述待执行任务的执行顺序;
第二确定单元,用于确定不具有依赖关系的待执行任务按照所述执行时间进行顺序排列。
可选的,所述发送模块包括:
发送单元,用于依据所述待执行任务的执行顺序,将所述待执行任务的数据目录发送至预设执行器,以使所述执行器按照所述执行顺序,获取所述数据目录对应的待执行任务,并执行所述待执行任务。
一种任务调度系统,包括:至少两个调度器以及执行器,
所述调度器用于,获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务;
所述执行器用于,根据所述任务蓝图执行所述待执行任务。
可选的,还包括:故障判断装置,
所述故障判断装置用于,判断所述待执行任务是否执行完成,如果否,发送预设执行指令,以使所述执行器重新执行所述待执行任务,或发送所述待执行任务的数据目录至其他执行器;
判断所述调度器是否发生故障,如果是,后台服务器确定备用调度器,以使所述备用调度器获取预设时间内的待执行任务的参数信息,并根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图。
基于上述技术方案,本申请提供了一种任务调度方法,应用于调度器,首先获取预设时间内的待执行任务的参数信息,其中,所述参数信息包括待执行任务的执行时间以及任务依赖信息。然后,根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,其中,所述任务蓝图表征待执行任务的执行顺序。之后,基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。可见,本方案中调度器会根据任务的执行时间以及任务依赖情况调度任务,当某一任务发生执行故障时,可以对对该任务重新调度,以使任务执行完成。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种任务调度方法系统的结构示意图;
图2为本申请实施例提供的一种任务调度方法的流程图;
图3为本申请实施例提供的一种依赖任务的依赖关系示意图;
图4为本申请实施例提供的又一种任务调度方法的流程图;
图5为本申请实施例提供的又一种任务调度方法的流程图;
图6为本申请实施例提供的又一种任务调度方法的流程图;
图7为本申请实施例提供的又一种任务调度方法的流程图;
图8为本申请实施例提供的一种任务调度装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
图1为本申请实施例提供的一种任务调度系统的结构框图,该图所示的任务调度系统可以用于实现本申请实施例提供的任务调度方法。参照图1,该任务调度系统可以包括:至少两个调度器10、服务器20以及多个执行器30。
其中,调度器用于检测服务器20是否有任务需要执行,如果有,将任务交由执行器进行执行,在本实施例中,所述调度器还用于获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息。然后根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序。之后,发送所述任务蓝图至预设执行器。
所述执行器用于,根据所述任务蓝图执行所述待执行任务。
除此,本实施例提供的任务调度系统,还包括:故障判断装置,该故障判断装置用于,判断所述待执行任务是否执行完成,如果否,发送预设执行指令,以使所述执行器重新执行所述待执行任务;并,判断所述调度器是否发生故障,如果是,启动备用调度器,以使所述备用调度器获取预设时间内的待执行任务的参数信息,并根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图。
需要说明的是,在本实施例中,优先选用两个调度器10以及多个执行器30,其中,执行器与调度器之间为多节点运行方式,即,调度器与每个执行器之间都具有连接关系,调度器可以根据任务蓝图就任务任意分配给某一执行器。因此,当其中一个执行器在执行任务发生故障时,调度器可以获取该故障信息,将该任务重新分配给其他执行器进行执行。
本实施例中的任务调度系统,还可以检测调度器是否发生故障,如果当前的调度器发生故障,则服务器可以确定另外的调度器进行调度,此时,需要服务器中存储有上述任务蓝图。可见,采用本任务调度系统,能够在执行器或调度器发生故障时,重新确认新的调度器或者将任务转发给其他执行器,从根本上解决了任务发生故障后,导致一系列依赖任务也无法完成的问题。
基于图1所示的任务调度系统,下面从调度器的角度对本申请提供的任务调度方法进行介绍。如图2所示,为本申请实施例提供的一种任务调度方法的流程图,该方法可以包括:
S21、获取预设时间内的待执行任务的参数信息。
具体的,服务器会包括多个待执行的任务,在本实施例中,服务器首先确定一个调度器为主调度器,并由该调度器实现任务调度的功能,然后该主调度器首先获取预设时间段内的待执行任务的参数信息,其中,预设时间可以根据实际的需求进行设定,如24小时、5分钟等。
值得一提的是,在本实施例中,待执行任务的参数信息包括待执行任务的执行时间以及任务依赖信息。其中,任务的执行时间为服务器预先设置的该任务的执行时间,如任务1在11点执行,任务2在11点5分执行,任务3在12点执行,等。
任务依赖信息为多个任务之间的依赖关系,如图3所示,test_scheduler01任务依赖于test_cron01和test_cron02,只有当test_cron01和test_cron02运行成功后test_scheduler01才能开始运行。test_scheduler01运行成功后,依赖于test_scheduler01的test_scheduler02和test_scheduler03才可以运行。
结合图3,假设test_cron01和test_cron02已经运行成功,于是test_scheduler01便开始运行。假设test_scheduler01任务正在运行还未成功,于是test_scheduler02和test_scheduler03处于等待状态。
即调度器获取的任务依赖信息包括多个任务之间的依赖关系。
S22、根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序。
具体的,在本实施例中提供了一种根据所述待执行任务的执行时间以及任务依赖信息创建任务蓝图的具体实现步骤,如图4所示,包括:
S41、确定待执行任务中具有依赖关系的任务的执行顺序优先于所述待执行任务的执行顺序;
S42、确定不具有依赖关系的待执行任务按照所述执行时间进行顺序排列。
具体的,任务分为具有依赖关系的任务以及不具有依赖关系的任务,例如,服务器当前有10个任务,其中,有4个是不具有依赖关系的任务,假设为任务1、任务3、任务5以及任务6,有6个是具有依赖关系的任务,假设为任务2、任务4、任务7、任务8、任务9以及任务10。
需要说明的是,待执行任务的任务依赖信息可以包括任务依赖标识,如,任务依赖标识为1时,表征该任务为具有依赖关系的任务,如任务依赖标识为0时,表征该任务为不具有依赖关系的任务。那么,上述任务1、任务3、任务5以及任务6的任务依赖标识为0,任务2、任务4、任务7、任务8、任务9以及任务10的任务依赖标识为1。
除此,任务2、任务4、任务7、任务8、任务9以及任务10为具有依赖关系的任务外,其任务依赖信息还可以包括依赖任务之间的具体依赖关系,如,任务7依赖与任务2和任务4,任务8、任务9以及任务10依赖于任务7。
因此,在本实施例中,可以根据待执行任务的执行时间,以及各任务之间的依赖关系,确定任务蓝图,具体的,可以确定待执行任务中具有依赖关系的任务的执行顺序优先于所述待执行任务的执行顺序,即,优先执行任务2、任务4、任务7、任务8、任务9以及任务10,然后,确定不具有依赖关系的待执行任务按照所述执行时间进行顺序排列,即任务1、任务3、任务5以及任务6按照其参数信息中的执行时间进行执行。
示意性的,假设任务1-任务10的执行时间依次为:
那么,按照上述步骤,确定不具有依赖关系的任务的实际执行时间为:
确定具有依赖关系的任务的实际执行时间为:
任务2:11:05
任务4:10:50
任务7:11:10(如果任务2和任务4在11:10前执行完成,那么该任务7可以在11:10执行,如果任务2或者任务4未能在11:10前执行完成,那么任务7需要等待其依赖任务2以及依赖任务4执行完毕后,再进行执行)
任务8:13:00(如果任务7在13:00前执行完成,那么该任务8可以在13:00执行,如果任务7未能在13:00前执行完成,那么任务8需要等待其依赖任务7执行完毕后,再进行执行)
任务9:13:10(如果任务7在13:10前执行完成,那么该任务9可以在13:10执行,如果任务7未能在13:10前执行完成,那么任务9需要等待其依赖任务7执行完毕后,再进行执行)
任务10:13:20(如果任务7在13:20前执行完成,那么该任务10可以在13:20执行,如果任务7未能在13:20前执行完成,那么任务10需要等待其依赖任务7执行完毕后,再进行执行)
而上述任务的实际执行时间即为任务蓝图中记录的时间节点,即任务蓝图表征待执行任务的执行顺序。需要说明的是,在任务蓝图中,首先设置依赖任务的首次执行时间,例如任务8的执行时间为13:00,但当执行器实际执行任务时,需要根据任务的执行状态来决定是否按照预定的执行时间来执行该任务,例如,如果任务7在13:00前执行完成,那么该任务8可以在13:00执行,如果任务7未能在13:00前执行完成,那么任务8需要等待其依赖任务7执行完毕后,再进行执行。
可见,本方案在任务实际执行过程中,可能会更新任务蓝图。
S23、基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。
值得一提的是,在本实施例中,调度器发送待执行任务的数据目录至执行器,由执行器直接去相关的目录位置获取程序,而不是将任务本身发送至执行器。这样可以将任务程序存放在hdfs等分布式文件系统上,这样能够保证在服务器磁盘发生故障时,由于分布式文件系统具有备份机制,因此,执行器仍能充分布式文件系统获取任务。
除此,任务的数据目录相比于任务本身,其数据量较小,便于传输。并且当用户需要对任务进行程序修改时,可以直接在分布式文件系统上修改,保证任务数据的一致性。
具体的,本实施例提供了一种步骤S23:基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务的具体实现步骤,如图5所示,包括:
S51、依据所述待执行任务的执行顺序,将所述待执行任务的数据目录发送至预设执行器,以使所述执行器按照所述执行顺序,获取所述数据目录对应的待执行任务,并执行所述待执行任务。
在上述实施例的基础上,本实施例提供的任务调度方法,如图6所示,还包括步骤:
S61、判断所述待执行任务是否执行完成,如果否,发送预设执行指令,以使所述执行器重新执行所述待执行任务,或发送所述待执行任务的数据目录至其他执行器。
即当任务执行失败时,发送任务重新执行的指令,然后控制执行器重新执行该任务,或者控制其他执行器执行该任务。
具体的,确定其他执行器可以通过获取各个执行器的当前执行任务的状态信息以及剩余时间,例如,任务1在执行器1中执行失败,此时,执行器n处于空闲状态或者轻载状态,那么可以确定该执行器n为其他执行器,由执行器n重新执行该失败的任务。
除此,如图7所示,本实施例提供的任务调度方法,还包括:
S71、判断所述调度器是否发生故障,如果是,后台服务器确定备用调度器,以使所述备用调度器获取预设时间内的待执行任务的参数信息,并根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图。
结合本实施例提供的任务调度系统,当确认一个调度器发生故障时,服务器确定另外一个调度器为备用调度器,然后由该备用调度器进行任务调度。此时,该备用调度器可以根据当前的任务的执行状态重新创建任务蓝图,也可以直接获取服务器中备份的上一故障调度器创建的任务蓝图。
下面对本申请实施例提供的任务调度装置进行介绍,下文描述的任务调度装置与上文以调度器角度描述的任务调度方法相互对应参照。如图8所示,为本申请实施例提供的任务调度装置的结构框图,参照图8,该任务调度装置可以包括:
获取模块81,用于获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
创建模块82,用于根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
发送模块83,用于发送所述任务蓝图至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。
可选的,所述创建模块包括:
第一确定单元,用于确定待执行任务中具有依赖关系的任务的执行顺序优先于所述待执行任务的执行顺序;
第二确定单元,用于确定不具有依赖关系的待执行任务按照所述执行时间进行顺序排列。
可选的,所述发送模块包括:
发送单元,用于发送所述任务蓝图,所述任务蓝图包括待执行任务的执行顺序以及待执行任务的数据目录位置,以使执行器按照所述执行顺序,获取所述数据目录位置对应的待执行任务,并执行所述待执行任务。
其工作原理请参见上述方法实施例,在此不重复叙述。
除此,本实施例还提供了一种任务调度系统,包括:至少两个调度器以及执行器,
所述调度器用于,获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
发送所述任务蓝图至预设执行器;
所述执行器用于,根据所述任务蓝图执行所述待执行任务。
除此,该任务调度系统还包括:故障判断装置,
所述故障判断装置用于,判断所述待执行任务是否执行完成,如果否,发送预设执行指令,以使所述执行器重新执行所述待执行任务;
判断所述调度器是否发生故障,如果是,启动备用调度器,以使所述备用调度器获取预设时间内的待执行任务的参数信息,并根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图。
综上所述,本申请提供了一种任务调度方法,应用于调度器,首先获取预设时间内的待执行任务的参数信息,其中,所述参数信息包括待执行任务的执行时间以及任务依赖信息。然后,根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,其中,所述任务蓝图表征待执行任务的执行顺序。之后,基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。可见,本方案中调度器会根据任务的执行时间以及任务依赖情况调度任务,当某一任务发生执行故障时,可以对对该任务重新调度,以使任务执行完成。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种任务调度方法,其特征在于,应用于调度器,包括:
获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。
2.根据权利要求1所述的任务调度方法,其特征在于,所述根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,包括:
确定待执行任务中具有依赖关系的任务的执行顺序优先于所述待执行任务的执行顺序;
确定不具有依赖关系的待执行任务按照所述执行时间进行顺序排列。
3.根据权利要求1所述的任务调度方法,其特征在于,所述基于所述任务蓝图,将所述待执行任务的数据目录发送至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务,包括:
依据所述待执行任务的执行顺序,将所述待执行任务的数据目录发送至预设执行器,以使所述执行器按照所述执行顺序,获取所述数据目录对应的待执行任务,并执行所述待执行任务。
4.根据权利要求3所述的任务调度方法,其特征在于,还包括:
判断所述待执行任务是否执行完成,如果否,发送预设执行指令,以使所述执行器重新执行所述待执行任务,或发送所述待执行任务的数据目录至其他执行器。
5.根据权利要求3所述的任务调度方法,其特征在于,还包括:
判断所述调度器是否发生故障,如果是,后台服务器确定备用调度器,以使所述备用调度器获取预设时间内的待执行任务的参数信息,并根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图。
6.一种任务调度装置,其特征在于,应用于调度器,包括:
获取模块,用于获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
创建模块,用于根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
发送模块,用于发送所述任务蓝图至预设执行器,以使执行器根据所述任务蓝图执行所述待执行任务。
7.根据权利要求6所述的任务调度装置,其特征在于,所述创建模块包括:
第一确定单元,用于确定待执行任务中具有依赖关系的任务的执行顺序优先于所述待执行任务的执行顺序;
第二确定单元,用于确定不具有依赖关系的待执行任务按照所述执行时间进行顺序排列。
8.根据权利要求6所述的任务调度装置,其特征在于,所述发送模块包括:
发送单元,用于发送所述任务蓝图,所述任务蓝图包括待执行任务的执行顺序以及待执行任务的数据目录位置,以使执行器按照所述执行顺序,获取所述数据目录位置对应的待执行任务,并执行所述待执行任务。
9.一种任务调度系统,其特征在于,包括:至少两个调度器以及执行器,
所述调度器用于,获取预设时间内的待执行任务的参数信息,所述参数信息包括待执行任务的执行时间以及任务依赖信息;
根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图,所述任务蓝图表征待执行任务的执行顺序;
发送所述任务蓝图至预设执行器;
所述执行器用于,根据所述任务蓝图执行所述待执行任务。
10.根据权利要求9所述的任务调度系统,其特征在于,还包括:故障判断装置,
所述故障判断装置用于,判断所述待执行任务是否执行完成,如果否,发送预设执行指令,以使所述执行器重新执行所述待执行任务;
判断所述调度器是否发生故障,如果是,启动备用调度器,以使所述备用调度器获取预设时间内的待执行任务的参数信息,并根据所述待执行任务的执行时间以及任务依赖信息,创建任务蓝图。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711364582.1A CN109933414A (zh) | 2017-12-18 | 2017-12-18 | 一种任务调度方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711364582.1A CN109933414A (zh) | 2017-12-18 | 2017-12-18 | 一种任务调度方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109933414A true CN109933414A (zh) | 2019-06-25 |
Family
ID=66982547
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711364582.1A Pending CN109933414A (zh) | 2017-12-18 | 2017-12-18 | 一种任务调度方法、装置及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109933414A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110705890A (zh) * | 2019-10-10 | 2020-01-17 | 达飞云贷科技(北京)有限公司 | 业务流程的驱动方法、装置、服务器和存储介质 |
CN111324443A (zh) * | 2020-03-04 | 2020-06-23 | 广东南方数码科技股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN112148445A (zh) * | 2020-09-09 | 2020-12-29 | 倍智智能数据运营有限公司 | 一种基于大数据技术的分布式任务调度方法 |
CN112286661A (zh) * | 2020-10-30 | 2021-01-29 | 海通证券股份有限公司 | 任务调度方法及装置、存储介质、终端 |
CN112667383A (zh) * | 2020-12-31 | 2021-04-16 | 北京高途云集教育科技有限公司 | 一种任务执行及调度方法、系统、装置、计算设备及介质 |
WO2021195949A1 (zh) * | 2020-03-31 | 2021-10-07 | 华为技术有限公司 | 一种调度硬件加速器的方法及任务调度器 |
CN113553161A (zh) * | 2021-08-03 | 2021-10-26 | 北京八分量信息科技有限公司 | 基于时间开销进行异构任务的刻画方法、装置及相关产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2631255A1 (en) * | 2008-05-09 | 2009-11-09 | Ibm Canada Limited - Ibm Canada Limitee | Scalable scheduling of tasks in heterogeneous systems |
CN104965754A (zh) * | 2015-03-31 | 2015-10-07 | 腾讯科技(深圳)有限公司 | 任务调度方法及任务调度装置 |
CN106528275A (zh) * | 2015-09-10 | 2017-03-22 | 网易(杭州)网络有限公司 | 数据任务的处理方法及任务调度器 |
CN107016479A (zh) * | 2016-01-28 | 2017-08-04 | 五八同城信息技术有限公司 | 任务调度管理方法、装置及系统 |
CN107102894A (zh) * | 2017-04-07 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 任务调度方法、装置和系统 |
-
2017
- 2017-12-18 CN CN201711364582.1A patent/CN109933414A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2631255A1 (en) * | 2008-05-09 | 2009-11-09 | Ibm Canada Limited - Ibm Canada Limitee | Scalable scheduling of tasks in heterogeneous systems |
CN104965754A (zh) * | 2015-03-31 | 2015-10-07 | 腾讯科技(深圳)有限公司 | 任务调度方法及任务调度装置 |
CN106528275A (zh) * | 2015-09-10 | 2017-03-22 | 网易(杭州)网络有限公司 | 数据任务的处理方法及任务调度器 |
CN107016479A (zh) * | 2016-01-28 | 2017-08-04 | 五八同城信息技术有限公司 | 任务调度管理方法、装置及系统 |
CN107102894A (zh) * | 2017-04-07 | 2017-08-29 | 百度在线网络技术(北京)有限公司 | 任务调度方法、装置和系统 |
Non-Patent Citations (1)
Title |
---|
刘杰, 《中国水利水电出版社》 * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110705890A (zh) * | 2019-10-10 | 2020-01-17 | 达飞云贷科技(北京)有限公司 | 业务流程的驱动方法、装置、服务器和存储介质 |
CN111324443A (zh) * | 2020-03-04 | 2020-06-23 | 广东南方数码科技股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
CN111324443B (zh) * | 2020-03-04 | 2024-04-05 | 广东南方数码科技股份有限公司 | 数据处理方法、装置、电子设备及存储介质 |
WO2021195949A1 (zh) * | 2020-03-31 | 2021-10-07 | 华为技术有限公司 | 一种调度硬件加速器的方法及任务调度器 |
CN112148445A (zh) * | 2020-09-09 | 2020-12-29 | 倍智智能数据运营有限公司 | 一种基于大数据技术的分布式任务调度方法 |
CN112286661A (zh) * | 2020-10-30 | 2021-01-29 | 海通证券股份有限公司 | 任务调度方法及装置、存储介质、终端 |
CN112286661B (zh) * | 2020-10-30 | 2021-10-15 | 海通证券股份有限公司 | 任务调度方法及装置、存储介质、终端 |
CN112667383A (zh) * | 2020-12-31 | 2021-04-16 | 北京高途云集教育科技有限公司 | 一种任务执行及调度方法、系统、装置、计算设备及介质 |
CN112667383B (zh) * | 2020-12-31 | 2024-02-09 | 北京高途云集教育科技有限公司 | 一种任务执行及调度方法、系统、装置、计算设备及介质 |
CN113553161A (zh) * | 2021-08-03 | 2021-10-26 | 北京八分量信息科技有限公司 | 基于时间开销进行异构任务的刻画方法、装置及相关产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109933414A (zh) | 一种任务调度方法、装置及系统 | |
US10509680B2 (en) | Methods, systems and apparatus to perform a workflow in a software defined data center | |
JP6132766B2 (ja) | データセンタサービスの制御された自動復旧 | |
US9223626B2 (en) | Task execution and management in a clustered computing environment | |
US9477460B2 (en) | Non-transitory computer-readable storage medium for selective application of update programs dependent upon a load of a virtual machine and related apparatus and method | |
US8918783B2 (en) | Managing virtual computers simultaneously with static and dynamic dependencies | |
CN111162941B (zh) | 一种Kubernetes环境自动化管理虚拟IP的方法 | |
US20140059199A1 (en) | Transaction-level health monitoring of online services | |
US20140310703A1 (en) | Multi-machine deployment and configuration of multi-tiered applications | |
US20070101328A1 (en) | Sequencing a single task sequence across multiple operating environments | |
US11586489B2 (en) | Automated disaster recovery test verification | |
US10210079B2 (en) | Touch free disaster recovery | |
JP2006119848A (ja) | ソフトウェア更新プログラム、ソフトウェア更新装置およびソフトウェア更新方法 | |
US10545788B2 (en) | Physical to virtual scheduling system and method | |
CN112948077A (zh) | 批处理方法、装置、设备及存储介质 | |
US10417044B2 (en) | System interventions based on expected impacts of system events on scheduled work units | |
JP4761229B2 (ja) | 運用管理装置、運用管理方法ならびにプログラム | |
CN116881012A (zh) | 一种容器应用垂直扩容方法、装置、设备及可读存储介质 | |
WO2023160418A1 (zh) | 资源处理方法及资源调度方法 | |
CN103617077B (zh) | 智能型云端化移转的方法与系统 | |
CN108491297A (zh) | 一种服务器监控信息获取方法、装置、设备及存储介质 | |
US9229882B2 (en) | System for backing up and restoring the functionalities of an information technology system | |
EP3362899B1 (en) | Automatic system disaster recovery | |
US9003274B2 (en) | Scheduling start-up and shut-down of mainframe applications using topographical relationships | |
CN109918305A (zh) | 一种线上服务监控系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190625 |
|
RJ01 | Rejection of invention patent application after publication |