CN105786600A - 任务调度方法和装置 - Google Patents
任务调度方法和装置 Download PDFInfo
- Publication number
- CN105786600A CN105786600A CN201610074460.8A CN201610074460A CN105786600A CN 105786600 A CN105786600 A CN 105786600A CN 201610074460 A CN201610074460 A CN 201610074460A CN 105786600 A CN105786600 A CN 105786600A
- Authority
- CN
- China
- Prior art keywords
- execution machine
- task
- machine
- execution
- tasks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
- G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
- G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5021—Priority
Abstract
本申请公开了任务调度方法和装置。所述方法的一具体实施方式包括:获取任务和所有执行机的执行机信息;根据所述所有执行机的执行机任务信息将所述所有执行机的工作状态标记为空闲或非空闲;在工作状态为空闲或非空闲的执行机中选定最优执行机;将所述任务调度给所述最优执行机。该实施方式解决了分布式任务调度中各执行机负载不均衡的问题。
Description
技术领域
本申请涉及计算机技术领域,具体涉及互联网技术领域,尤其涉及分布式任务调度方法及装置。
背景技术
在分布式系统中,各执行机执行任务时,因任务处理的事务、执行时间或频率的不同,造成执行任务耗时、耗资源等各不相同,由此导致在高并发执行任务时执行机负载失衡。如任务轮询分配到执行机上时,某几个任务执行时间长,执行耗费资源多,会挤压很多执行任务。当正在执行任务到达最大并发量时,会挤压更多的排队任务,此时,其他执行机可能处于空闲状态而无法利用最终导致执行机负载不均衡,因此需要合理的任务调度方法。
现有的任务调度方法包括如下几个步骤:
1、先将任务以轮询的方式创建到各个执行机上;
2、当任务定时启动或手动启动之后任务开始执行;
3、如果执行机的正在执行任务处于最大并发量时,后启动的任务则加入等待队列;
4、当并行执行任务完成后再获取队列中的任务执行;
5、重复执行步骤2到步骤4。
这种任务调度方法,由于任务执行频率不同、执行时长和消耗资源的不同,造成分布式执行机的资源利用不均匀,最终影响执行任务在非空闲的执行机进行排队等待,而空闲的执行机处于闲置状态,无法真正实现执行机的负载均衡。当执行机一旦不可访问,执行机上所有任务将无法再次执行。
发明内容
本申请的目的在于提出一种改进的任务调度方法和任务调度装置,来解决以上背景技术部分提到的技术问题。
第一方面,本申请提供了一种任务调度方法,所述方法包括:
获取任务和所有执行机的执行机信息,其中,所述执行机信息包括:工作状态、任务信息、访问状态和使用率,所述执行机工作状态包括:空闲和非空闲,所述执行机任务信息包括:未启动任务数、正在执行任务数和排队任务数,正在执行任务数与排队任务数之和为启动任务数,未启动任务数与启动任务数之和为总任务数;根据所述所有执行机的任务信息将所述所有执行机的工作状态标记为空闲或非空闲;如果存在工作状态为空闲的执行机,则:获取所有工作状态为空闲的执行机的任务信息;计算所述各工作状态为空闲的执行机总任务数与所述各工作状态为空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为空闲的执行机为最优执行机,其中,所述执行机最大并发量为所述执行机并行执行任务数的最大值;如果不存在工作状态为空闲的执行机,则:获取所述所有工作状态为非空闲的执行机的任务信息;计算所述各工作状态为非空闲的执行机的启动任务数与所述各工作状态为非空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为非空闲的执行机为最优执行机;将所述任务调度给所述最优执行机。
在一些实施例中,所述获取任务和所有执行机的执行机信息之前还包括:生成任务并为所述任务分配执行机;获取所述执行机的任务信息;如果所述执行机的启动任务数小于所述执行机的最大并发量,则将所述任务直接在所述执行机执行。
在一些实施例中,所述执行机访问状态包括:可访问、不可访问,所述获取任务和所有执行机的执行机信息包括:获取任务;获取所有执行机的访问状态;获取所有访问状态为可访问的执行机的执行机信息。
在一些实施例中,所述使用率包括:CPU使用率和内存使用率,所述获取所有执行机访问状态为可访问的执行机的执行机信息包括:获取所有访问状态为可访问的执行机的使用率;获取所有访问状态为可访问的执行机中CPU使用率小于预设CPU使用率上限阈值并且内存使用率也小于预设内存使用率上限阈值的执行机的执行机信息。
在一些实施例中,所述将所述任务调度给所述最优执行机之后,还包括:接收所述最优执行机发送的回执信息并更新所述任务的任务完成状态,其中所述回执信息包括:任务ID、执行机ID、任务完成状态,所述任务完成状态包括:已开始、排队中或已完成。
在一些实施例中,所述将所述任务调度给所述最优执行机包括:如果所述最优执行机的启动任务数小于所述最优执行机的最大并发量,则由所述最优执行机直接执行所述任务,并更新所述任务的任务完成状态为已开始;如果所述最优执行机的启动任务数大于或等于所述最优执行机的最大并发量,则将所述任务调度到所述最优执行机的排队任务中,并更新所述任务的任务完成状态为排队中;如果所述任务已由所述最优执行机执行结束,则更新所述任务的任务完成状态为已完成。
第二方面,本申请提供了一种任务调度装置,所述装置包括:任务及执行机信息获取单元,配置用于获取任务和所有执行机的执行机信息,其中,所述执行机信息包括:工作状态、任务信息、访问状态和使用率,所述执行机工作状态包括:空闲和非空闲,所述执行机任务信息包括:未启动任务数、正在执行任务数和排队任务数,正在执行任务数与排队任务数之和为启动任务数,未启动任务数与启动任务数之和为总任务数;最优执行机确定单元,配置用于:如果存在工作状态为空闲的执行机,则:获取所有工作状态为空闲的执行机的任务信息;计算所述各工作状态为空闲的执行机总任务数与所述各工作状态为空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为空闲的执行机为最优执行机,其中,所述执行机最大并发量为所述执行机并行执行任务数的最大值;如果不存在工作状态为空闲的执行机,则:获取所述所有工作状态为非空闲的执行机的任务信息;计算所述各工作状态为非空闲的执行机的启动任务数与所述各工作状态为非空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为非空闲的执行机为最优执行机;任务调度单元,配置用于将所述任务调度给所述最优执行机。
在一些实施例中,所述任务调度装置还包括:任务生成及分配单元,配置用于生成任务并为所述任务分配执行机;任务信息获取单元,配置用于获取所述执行机的任务信息;判断单元,配置用于判断所述执行机的启动任务数是否小于所述执行机的最大并发量;执行单元,配置用于如果所述执行机的启动任务数小于所述执行机的最大并发量,则将所述任务直接在所述执行机执行。
在一些实施例中,所述执行机访问状态包括:可访问、不可访问,所述任务及执行机信息获取单元包括:任务获取子单元,配置用于获取任务;访问状态获取子单元,配置用于获取所有执行机的访问状态;执行机信息获取子单元,配置用于获取所有访问状态为可访问的执行机的执行机信息。
在一些实施例中,所述使用率包括:CPU使用率和内存使用率,所述执行机信息获取子单元包括:使用率获取模块,配置用于获取所有访问状态为可访问的执行机的使用率;执行机信息获取模块,配置用于获取所有访问状态为可访问的执行机中CPU使用率小于预设CPU使用率上限阈值并且内存使用率也小于预设内存使用率上限阈值的执行机的执行机信息。
在一些实施例中,所述任务调度装置还包括:接收及更新单元,配置用于接收所述最优执行机发送的回执信息并更新所述任务的任务完成状态,其中所述回执信息包括:任务ID、执行机ID、任务完成状态,所述任务完成状态包括:已开始、排队中或已完成。
在一些实施例中,所述任务调度单元还包括:启动任务数是否小于最大并发量判断单元,配置用于判断所述最优执行机的启动任务数是否小于所述最优执行机的最大并发量;直接执行和状态更新单元,配置用于当所述最优执行机的启动任务数小于所述最优执行机的最大并发量时,由所述最优执行机直接执行所述任务,并更新所述任务的任务完成状态为已开始;任务排队和状态更新单元,配置用于当所述最优执行机的启动任务数大于或等于所述最优执行机的最大并发量时,将所述任务调度到所述最优执行机的排队任务中,并更新所述任务的任务完成状态为排队中;结束判断单元,配置用于判断所述任务是否已由所述最优执行机执行结束;任务结束状态更新单元,配置用于当所述任务已由所述最优执行机执行结束,更新所述任务的任务完成状态为已完成。
本申请提供的任务调度方法和装置,通过获取任务和所有执行机的执行机信息,将所述所有执行机的工作状态标记为空闲或非空闲,然后在工作状态为空闲或非空闲的执行机中选定最优执行机,最后将所述任务调度给所述最优执行机,该方法解决了传统任务调度方法造成的各执行机负载不均衡的问题。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的任务调度方法的一个实施例的流程图;
图3是根据本申请的任务调度方法的又一个实施例的流程图;
图4是根据本申请的任务调度装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的执行机或服务器的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的任务调度方法或任务调度装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括执行机101、102、103,网络104和服务器105。网络104用以在执行机101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
服务器105通过网络104与执行机101、102、103交互,以接收或发送消息、发布或调度任务等。
执行机101、102、103可以是各种包含有处理器的电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(MovingPictureExpertsGroupAudioLayerIII,动态影像专家压缩标准音频层面3)、MP4(MovingPictureExpertsGroupAudioLayerIV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如将服务器的各种任务调度给执行机101、102、103上执行,并接收来自各执行机101、102、103的执行机信息或回执信息的服务器。服务器可以对接收到的上述执行机信息和回执信息进行分析处理,并将根据处理结果决定将任务调度给哪些执行机执行。
需要说明的是,本申请实施例所提供的任务调度方法一般由服务器105执行,相应地,任务调度装置一般设置于服务器105中。
应该理解,图1中的执行机、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的执行机、网络和服务器。
继续参考图2,其示出了根据本申请的任务调度方法的一个实施例的流程200。上述的任务调度方法,包括以下步骤:
步骤205,获取任务和所有执行机的执行机信息。
在本实施例中,当电子设备是用于调度任务的远程服务器时,该远程服务器可以是一台服务器(例如图1所示的服务器),也可以是通过无线连接方式或者有线连接方式相连的多台服务器。电子设备可以从本地或者远程地获取任务和所有执行机的执行机信息。这里,执行机信息包括:工作状态、任务信息、访问状态和使用率,执行机工作状态包括:空闲和非空闲,执行机任务信息包括:未启动任务数、正在执行任务数和排队任务数,正在执行任务数与排队任务数之和为启动任务数,未启动任务数与启动任务数之和为总任务数。需要指出的是,上述无线连接方式包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultrawideband)连接、以及其它现在已知或将来开发的无线连接方式。
步骤206,根据所有执行机的任务信息将所有执行机的工作状态标记为空闲或非空闲。
在本实施例中,如果执行机中存在未启动任务且不存在正在执行任务和排队任务,则将上述执行机的工作状态标记为空闲;如果执行机中存在正在执行任务或排队任务,则将上述执行机的工作状态标记非空闲。
在本实施例中,执行机的未启动任务是已经调度给执行机,但由于某些原因(比如未到启动时间或需手动触发)还没有启动的任务,未启动任务可以有多个。
在本实施例中,执行机的正在执行任务是指已经启动并调度给执行机正在执行还没有执行完成的任务,正在执行任务可以有多个。
在本实施例中,执行机的排队任务是指任务已经启动,但此时执行机正在执行任务数已经到达最大并发量,其他启动的任务只有等待执行,排队任务也可有多个。
步骤207,在工作状态为空闲或非空闲的执行机中选定最优执行机。
如果存在工作状态为空闲的执行机,则:获取所有工作状态为空闲的执行机的任务信息;计算上述各工作状态为空闲的执行机总任务数与上述各工作状态为空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为空闲的执行机为最优执行机,其中,上述执行机最大并发量为上述执行机并行执行任务数的最大值。
如果不存在工作状态为空闲的执行机,则:获取所有工作状态为非空闲的执行机的任务信息;计算上述各工作状态为非空闲的执行机的启动任务数与上述各工作状态为非空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为非空闲的执行机为最优执行机。
在本实施例中,对于工作状态为空闲的执行机,总任务数就等于执行机的未启动任务数。
在本实施例中,执行机的最大并发量可以是可配置的,可由服务器根据执行机的性能进行配置,也可以根据服务器的性能进行配置,在本申请中对此不做具体限定。
步骤208,将任务调度给上述最优执行机。
在本实施例的一些可选实施方式中,步骤205之前还可以包括:
步骤201,生成任务并为上述任务分配执行机。
步骤202,获取上述执行机的任务信息。
步骤203,如果上述执行机的启动任务数小于上述执行机的最大并发量,则进入步骤204;否则,进入步骤205。
步骤204,将上述任务直接在上述执行机执行。
本申请的上述实施例提供的方法通过获取任务和所有执行机的执行信息,根据所有执行机的任务信息,将所有执行机的工作状态标记为空闲或非空闲,从工作状态为空闲或非空闲的执行机中选定最优执行机,将任务调度给最优执行机,实现了分布式任务调度的负载均衡。
进一步参考图3,其示出了任务调度方法的又一个实施例的流程300。该任务调度方法的流程300,包括以下步骤:
步骤301,获取任务和所有执行机的执行机信息。
在本实施例中,用户所使用的电子设备(例如图1中所示的服务器)可以通过有线连接方式或者无线连接方式获取任务和所有执行机的执行机信息。在这里,执行机信息包括:工作状态、任务信息、访问状态和使用率,执行机工作状态包括:空闲和非空闲,执行机任务信息包括:未启动任务数、正在执行任务数和排队任务数,正在执行任务数与排队任务数之和为启动任务数,未启动任务数与启动任务数之和为总任务数。
步骤302,获取所有执行机中访问状态为可访问、CPU使用率小于预设CPU使用率上限阈值并且内存使用率也小于预设内存使用率上限阈值的执行机。
在本实施例中,执行机访问状态包括:可访问、不可访问。其中,可访问是指执行机工作正常且和服务器之间网络通信正常,不可访问是指执行机和服务器之间网络通信不正常。
在本实施例中,执行机的使用率包括CPU使用率和内存使用率,作为示例,预设CPU使用率上限阈值可以为90%,预设内存使用率上限阈值也可以为90%,上述预设CPU使用率上限阈值和预设内存使用率上限阈值可以相同或者不同,具体数值本申请不做具体限定。
步骤303,根据获取的执行机的任务信息将获取的执行机的工作状态标记为空闲或非空闲。
在本实施例中,如果执行机中存在未启动任务且不存在正在执行任务和排队任务,则将上述执行机的工作状态标记为空闲;如果执行机中存在正在执行任务或排队任务,则将上述执行机的工作状态标记为非空闲。
步骤304,在获取的工作状态为空闲或非空闲的执行机中选定最优执行机。
在本实施例中,如果在步骤303获取的执行机中存在工作状态为空闲的执行机,则:获取所有工作状态为空闲的执行机的任务信息;计算上述各工作状态为空闲的执行机总任务数与上述各工作状态为空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为空闲的执行机为最优执行机,其中,执行机最大并发量为执行机并行执行任务数的最大值;如果不存在工作状态为空闲的执行机,则:获取所有工作状态为非空闲的执行机的任务信息;计算上述各工作状态为非空闲的执行机的启动任务数与上述各工作状态为非空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为非空闲的执行机为最优执行机。
步骤305,将任务调度给最优执行机执行。
本实施例中,任务调度服务器将任务ID和任务发送给最优执行机,并记录最优执行机的执行机ID。
步骤306,判断最优执行机的启动任务数是否小于最优执行机的最大并发量。
在本实施例中,如果最优执行机的启动任务数小于最优执行机的最大并发量,转到步骤307;如果最优执行机的启动任务数大于等于最优执行机的最大并发量,转到步骤308。
步骤307,最优执行机直接执行任务并更新任务的任务完成状态为已开始。
在本实施例中,最优执行机直接执行任务,并将回执信息“任务ID,最优执行机ID,已开始”发送给任务调度服务器。
步骤308,任务调度到最优执行机的排队任务。
在本实施例中,任务调度服务器将任务调度到最优执行机进行排队,待最优执行机执行完正在执行任务后再执行排队队列中的任务,同时最优执行机将“任务ID,最优执行机ID,排队中”的回执信息发送给任务调度服务器。
步骤309,判断任务是否执行完成,如果任务已经执行完成,则转到步骤310;如果任务还没有执行完成,则继续执行任务。
步骤310,更新任务状态为已完成。
在本实施例中,最优执行机将回执信息“任务ID,最优执行机ID,已完成”发送给任务调度服务器。
步骤311,接收最优执行机发送的回执信息并更新任务的任务完成状态。
在本实施例中,任务调度服务器接收最优执行机发送的回执信息并更新任务的任务完成状态。其中回执信息包括:任务ID、执行机ID、任务完成状态,任务完成状态包括:已开始、排队中或已完成。
从图3中可以看出,与图2对应的实施例主要的不同点是,本实施例中的任务调度方法的流程300多出了获取所有执行机中访问状态为可访问、CPU使用率小于预设CPU使用率上限阈值并且内存使用率也小于预设内存使用率上限阈值的执行机的步骤302和接收最优执行机发送的回执信息并更新任务的任务完成状态的步骤306到步骤311,本实施例描述的方案可以更加有效的实现任务调度中各执行机的负载均衡。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种任务调度装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例所述的任务调度装置400包括:任务及执行机信息获取单元405、工作状态标记单元406、最优执行机确定单元407和任务调度单元408。其中,任务及执行机信息获取单元405配置用于获取任务和所有执行机的执行机信息;工作状态标记单元406配置用于根据所有执行机的任务信息将所有执行机的工作状态标记为空闲或非空闲;最优执行机确定单元407,配置用于在工作状态为空闲或非空闲的执行机中选定最优执行机;任务调度单元408,配置用于将任务调度给最优执行机。
在本实施例中,任务调度装置400的任务及执行机信息获取单元405可以从本地或者远程地获取任务及执行机信息。例如,上述任务及执行机信息获取单元405可以直接从本地的存储器获取上述任务和执行机信息;或者,上述任务及执行机信息获取单元405可以通过有线连接方式或者无线连接方式从支持任务调度与执行应用的终端设备获取任务和执行机信息。
在本实施例中,任务调度装置400的工作状态标记单元406根据所有执行机的任务信息将所有执行机的工作状态标记为空闲或非空闲之后,最优执行机确定单元407在工作状态为空闲或非空闲的执行机中选定最优执行机,任务调度单元408将任务调度给上述最优执行机。
在本实施例的一个可选实施方式中,任务调度装置400还包括任务生成及分配单元401、执行机信息获取单元402、判断单元403以及任务执行单元404。其中,任务生成及分配单元401配置用于生成任务并为上述任务分配执行机;执行机信息获取单元402配置用于获取上述执行机的执行机信息;判断单元403配置用于判断上述执行机的启动任务数是否小于上述执行机的最大并发量,如果上述执行机的启动任务数小于上述执行机的最大并发量,则进入任务执行单元404,否则进入任务及执行机信息获取单元405;任务执行单元404,配置用于将上述任务直接在上述执行机执行。
本领域技术人员可以理解,上述任务调度装置400还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图4中未示出。
下面参考图5,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统500的结构示意图。
如图5所示,计算机系统500包括中央处理单元(CPU)501,其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM503中,还存储有系统500操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。
附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括任务及执行机信息获取单元、工作状态标记单元、最优执行机确定单元和任务调度单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,任务及执行机信息获取单元还可以被描述为“获取单元”。
作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:获取任务和所有执行机的执行机信息,其中,所述执行机信息包括:工作状态、任务信息、访问状态和使用率,所述执行机工作状态包括:空闲和非空闲,所述执行机任务信息包括:未启动任务数、正在执行任务数和排队任务数,所述正在执行任务数与所述排队任务数之和为启动任务数,所述执行机未启动任务数与所述执行机启动任务数之和为执行机总任务数;根据所述所有执行机的任务信息将所述所有执行机的工作状态标记为空闲或非空闲;如果存在工作状态为空闲的执行机,则:获取所有工作状态为空闲的执行机的任务信息;计算所述各工作状态为空闲的执行机总任务数与所述各工作状态为空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为空闲的执行机为最优执行机,其中,所述执行机最大并发量为所述执行机并行执行任务数的最大值;如果不存在工作状态为空闲的执行机,则:获取所述所有工作状态为非空闲的执行机的任务信息;计算所述各工作状态为非空闲的执行机的启动任务数与所述各工作状态为非空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为非空闲的执行机为最优执行机;将所述任务调度给所述最优执行机。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (12)
1.一种任务调度方法,其特征在于,所述方法包括:
获取任务和所有执行机的执行机信息,其中,所述执行机信息包括:工作状态、任务信息、访问状态和使用率,所述执行机工作状态包括:空闲和非空闲,所述执行机任务信息包括:未启动任务数、正在执行任务数和排队任务数,正在执行任务数与排队任务数之和为启动任务数,未启动任务数与启动任务数之和为总任务数;
根据所述所有执行机的任务信息将所述所有执行机的工作状态标记为空闲或非空闲;
如果存在工作状态为空闲的执行机,则:
获取所有工作状态为空闲的执行机的任务信息;
计算所述各工作状态为空闲的执行机总任务数与所述各工作状态为空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为空闲的执行机为最优执行机,其中,所述执行机最大并发量为所述执行机并行执行任务数的最大值;
如果不存在工作状态为空闲的执行机,则:
获取所述所有工作状态为非空闲的执行机的任务信息;
计算所述各工作状态为非空闲的执行机的启动任务数与所述各工作状态为非空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为非空闲的执行机为最优执行机;
将所述任务调度给所述最优执行机。
2.根据权利要求1所述的任务调度方法,其特征在于,所述获取任务和所有执行机的执行机信息之前还包括:
生成任务并为所述任务分配执行机;
获取所述执行机的任务信息;
如果所述执行机的启动任务数小于所述执行机的最大并发量,则将所述任务直接在所述执行机执行。
3.根据权利要求1所述的任务调度方法,其特征在于,所述执行机访问状态包括:可访问、不可访问,所述获取任务和所有执行机的执行机信息包括:
获取任务;
获取所有执行机的访问状态;
获取所有访问状态为可访问的执行机的执行机信息。
4.根据权利要求3所述的任务调度方法,其特征在于,所述使用率包括:CPU使用率和内存使用率,所述获取所有执行机访问状态为可访问的执行机的执行机信息包括:
获取所有访问状态为可访问的执行机的使用率;
获取所有访问状态为可访问的执行机中CPU使用率小于预设CPU使用率上限阈值并且内存使用率也小于预设内存使用率上限阈值的执行机的执行机信息。
5.根据权利要求1所述的任务调度方法,其特征在于,所述将所述任务调度给所述最优执行机之后,还包括:
接收所述最优执行机发送的回执信息并更新所述任务的任务完成状态,其中所述回执信息包括:任务ID、执行机ID、任务完成状态,所述任务完成状态包括:已开始、排队中或已完成。
6.根据权利要求5所述的任务调度方法,其特征在于,所述将所述任务调度给所述最优执行机包括:
如果所述最优执行机的启动任务数小于所述最优执行机的最大并发量,则由所述最优执行机直接执行所述任务,并更新所述任务的任务完成状态为已开始;
如果所述最优执行机的启动任务数大于或等于所述最优执行机的最大并发量,则将所述任务调度到所述最优执行机的排队任务中,并更新所述任务的任务完成状态为排队中;
如果所述任务已由所述最优执行机执行结束,则更新所述任务的任务完成状态为已完成。
7.一种任务调度装置,其特征在于,所述装置包括:
任务及执行机信息获取单元,配置用于获取任务和所有执行机的执行机信息,其中,所述执行机信息包括:工作状态、任务信息、访问状态和使用率,所述执行机工作状态包括:空闲和非空闲,所述执行机任务信息包括:未启动任务数、正在执行任务数和排队任务数,正在执行任务数与排队任务数之和为启动任务数,未启动任务数与启动任务数之和为总任务数;
最优执行机确定单元,配置用于:
如果存在工作状态为空闲的执行机,则:
获取所有工作状态为空闲的执行机的任务信息;
计算所述各工作状态为空闲的执行机总任务数与所述各工作状态为空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为空闲的执行机为最优执行机,其中,所述执行机最大并发量为所述执行机并行执行任务数的最大值;
如果不存在工作状态为空闲的执行机,则:
获取所述所有工作状态为非空闲的执行机的任务信息;
计算所述各工作状态为非空闲的执行机的启动任务数与所述各工作状态为非空闲的执行机最大并发量比值并排序,选取比值最小的工作状态为非空闲的执行机为最优执行机;
任务调度单元,配置用于将所述任务调度给所述最优执行机。
8.根据权利要求7所述的任务调度装置,其特征在于,所述任务调度装置还包括:
任务生成及分配单元,配置用于生成任务并为所述任务分配执行机;
任务信息获取单元,配置用于获取所述执行机的任务信息;
判断单元,配置用于判断所述执行机的启动任务数是否小于所述执行机的最大并发量;
执行单元,配置用于如果所述执行机的启动任务数小于所述执行机的最大并发量,则将所述任务直接在所述执行机执行。
9.根据权利要求7所述的任务调度装置,其特征在于,所述执行机访问状态包括:可访问、不可访问,所述任务及执行机信息获取单元包括:
任务获取子单元,配置用于获取任务;
访问状态获取子单元,配置用于获取所有执行机的访问状态;
执行机信息获取子单元,配置用于获取所有访问状态为可访问的执行机的执行机信息。
10.根据权利要求9所述的任务调度装置,其特征在于,所述使用率包括:CPU使用率和内存使用率,所述执行机信息获取子单元包括:
使用率获取模块,配置用于获取所有访问状态为可访问的执行机的使用率;
执行机信息获取模块,配置用于获取所有访问状态为可访问的执行机中CPU使用率小于预设CPU使用率上限阈值并且内存使用率也小于预设内存使用率上限阈值的执行机的执行机信息。
11.根据权利要求7所述的任务调度装置,其特征在于,所述任务调度装置还包括:
接收及更新单元,配置用于接收所述最优执行机发送的回执信息并更新所述任务的任务完成状态,其中所述回执信息包括:任务ID、执行机ID、任务完成状态,所述任务完成状态包括:已开始、排队中或已完成。
12.根据权利要求11所述的任务调度装置,其特征在于,所述任务调度单元包括:
启动任务数是否小于最大并发量判断单元,配置用于判断所述最优执行机的启动任务数是否小于所述最优执行机的最大并发量;
直接执行和状态更新单元,配置用于当所述最优执行机的启动任务数小于所述最优执行机的最大并发量时,由所述最优执行机直接执行所述任务,并更新所述任务的任务完成状态为已开始;
任务排队和状态更新单元,配置用于当所述最优执行机的启动任务数大于或等于所述最优执行机的最大并发量时,将所述任务调度到所述最优执行机的排队任务中,并更新所述任务的任务完成状态为排队中;
结束判断单元,配置用于判断所述任务是否已由所述最优执行机执行结束;
任务结束状态更新单元,配置用于当所述任务已由所述最优执行机执行结束,更新所述任务的任务完成状态为已完成。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610074460.8A CN105786600B (zh) | 2016-02-02 | 2016-02-02 | 任务调度方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610074460.8A CN105786600B (zh) | 2016-02-02 | 2016-02-02 | 任务调度方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105786600A true CN105786600A (zh) | 2016-07-20 |
CN105786600B CN105786600B (zh) | 2019-05-03 |
Family
ID=56402674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610074460.8A Active CN105786600B (zh) | 2016-02-02 | 2016-02-02 | 任务调度方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105786600B (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155798A (zh) * | 2016-08-02 | 2016-11-23 | 大连文森特软件科技有限公司 | 基于移动分布式计算的在线图像化编程系统 |
CN106375234A (zh) * | 2016-08-24 | 2017-02-01 | 广西小草信息产业有限责任公司 | 一种业务处理方法和系统 |
CN107168806A (zh) * | 2017-06-29 | 2017-09-15 | 上海联影医疗科技有限公司 | 分发调度机的资源调度方法、系统以及计算机设备 |
CN108228355A (zh) * | 2018-01-02 | 2018-06-29 | 武汉斗鱼网络科技有限公司 | 任务处理方法及装置、任务调度方法及装置 |
CN109213743A (zh) * | 2017-06-30 | 2019-01-15 | 北京京东尚科信息技术有限公司 | 一种数据查询方法和装置 |
CN109586815A (zh) * | 2019-01-09 | 2019-04-05 | 成都爱科特科技发展有限公司 | 一种多台接收机设备间的信号预置控守方法及系统 |
CN109669775A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 分布式任务调度方法、系统及存储介质 |
WO2019075842A1 (zh) * | 2017-10-20 | 2019-04-25 | 平安科技(深圳)有限公司 | 任务分配方法、装置、存储介质和计算机设备 |
CN109726004A (zh) * | 2017-10-27 | 2019-05-07 | 中移(苏州)软件技术有限公司 | 一种数据处理方法及装置 |
CN111614377A (zh) * | 2020-04-24 | 2020-09-01 | 江苏方天电力技术有限公司 | 一种基于hplc并发通道的采集多任务调度方法和系统 |
CN112346845A (zh) * | 2021-01-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 编码任务的调度方法、装置、设备及存储介质 |
US10929180B2 (en) | 2018-08-30 | 2021-02-23 | Baidu Online Network Technology (Beijing) Co., Ltd. | Task scheduling method, apparatus, electronic device and storage medium |
CN112529346A (zh) * | 2019-09-19 | 2021-03-19 | 北京京东乾石科技有限公司 | 任务分配方法和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8099411B2 (en) * | 2008-12-15 | 2012-01-17 | Teradata Us, Inc. | System, method, and computer-readable medium for applying conditional resource throttles to facilitate workload management in a database system |
US8392633B2 (en) * | 2008-06-25 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Scheduling requesters of a shared storage resource |
CN104657212A (zh) * | 2015-02-13 | 2015-05-27 | 北京亚信数据有限公司 | 一种任务调度的方法及系统 |
CN104915258A (zh) * | 2015-06-09 | 2015-09-16 | 北京京东尚科信息技术有限公司 | 分布式任务调度的方法和装置 |
US9141422B2 (en) * | 2010-05-18 | 2015-09-22 | Microsoft Technology Licensing, Llc | Plug-in task scheduler |
-
2016
- 2016-02-02 CN CN201610074460.8A patent/CN105786600B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8392633B2 (en) * | 2008-06-25 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Scheduling requesters of a shared storage resource |
US8099411B2 (en) * | 2008-12-15 | 2012-01-17 | Teradata Us, Inc. | System, method, and computer-readable medium for applying conditional resource throttles to facilitate workload management in a database system |
US9141422B2 (en) * | 2010-05-18 | 2015-09-22 | Microsoft Technology Licensing, Llc | Plug-in task scheduler |
CN104657212A (zh) * | 2015-02-13 | 2015-05-27 | 北京亚信数据有限公司 | 一种任务调度的方法及系统 |
CN104915258A (zh) * | 2015-06-09 | 2015-09-16 | 北京京东尚科信息技术有限公司 | 分布式任务调度的方法和装置 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106155798A (zh) * | 2016-08-02 | 2016-11-23 | 大连文森特软件科技有限公司 | 基于移动分布式计算的在线图像化编程系统 |
CN106375234A (zh) * | 2016-08-24 | 2017-02-01 | 广西小草信息产业有限责任公司 | 一种业务处理方法和系统 |
CN107168806A (zh) * | 2017-06-29 | 2017-09-15 | 上海联影医疗科技有限公司 | 分发调度机的资源调度方法、系统以及计算机设备 |
CN107168806B (zh) * | 2017-06-29 | 2021-01-12 | 上海联影医疗科技股份有限公司 | 分发调度机的资源调度方法、系统以及计算机设备 |
CN109213743B (zh) * | 2017-06-30 | 2021-10-15 | 北京京东尚科信息技术有限公司 | 一种数据查询方法和装置 |
CN109213743A (zh) * | 2017-06-30 | 2019-01-15 | 北京京东尚科信息技术有限公司 | 一种数据查询方法和装置 |
WO2019075842A1 (zh) * | 2017-10-20 | 2019-04-25 | 平安科技(深圳)有限公司 | 任务分配方法、装置、存储介质和计算机设备 |
CN109726004A (zh) * | 2017-10-27 | 2019-05-07 | 中移(苏州)软件技术有限公司 | 一种数据处理方法及装置 |
CN108228355A (zh) * | 2018-01-02 | 2018-06-29 | 武汉斗鱼网络科技有限公司 | 任务处理方法及装置、任务调度方法及装置 |
US10929180B2 (en) | 2018-08-30 | 2021-02-23 | Baidu Online Network Technology (Beijing) Co., Ltd. | Task scheduling method, apparatus, electronic device and storage medium |
CN109669775A (zh) * | 2018-12-10 | 2019-04-23 | 平安科技(深圳)有限公司 | 分布式任务调度方法、系统及存储介质 |
CN109586815A (zh) * | 2019-01-09 | 2019-04-05 | 成都爱科特科技发展有限公司 | 一种多台接收机设备间的信号预置控守方法及系统 |
CN109586815B (zh) * | 2019-01-09 | 2021-08-10 | 成都爱科特科技发展有限公司 | 一种多台接收机设备间的信号预置控守方法及系统 |
CN112529346A (zh) * | 2019-09-19 | 2021-03-19 | 北京京东乾石科技有限公司 | 任务分配方法和装置 |
CN111614377A (zh) * | 2020-04-24 | 2020-09-01 | 江苏方天电力技术有限公司 | 一种基于hplc并发通道的采集多任务调度方法和系统 |
CN111614377B (zh) * | 2020-04-24 | 2021-09-14 | 江苏方天电力技术有限公司 | 一种基于hplc并发通道的采集多任务调度方法和系统 |
CN112346845A (zh) * | 2021-01-08 | 2021-02-09 | 腾讯科技(深圳)有限公司 | 编码任务的调度方法、装置、设备及存储介质 |
CN112346845B (zh) * | 2021-01-08 | 2021-04-16 | 腾讯科技(深圳)有限公司 | 编码任务的调度方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN105786600B (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105786600A (zh) | 任务调度方法和装置 | |
CN112165691B (zh) | 内容分发网络调度方法、装置、服务器和介质 | |
EP3764220B1 (en) | Automatic application updates | |
CN109408205B (zh) | 基于hadoop集群的任务调度方法和装置 | |
CN101604264B (zh) | 超级计算机的任务调度方法及系统 | |
CN112486648A (zh) | 任务调度方法、装置、系统、电子设备和存储介质 | |
CN110389816B (zh) | 用于资源调度的方法、装置以及计算机可读介质 | |
CN106201661A (zh) | 用于弹性伸缩虚拟机集群的方法和装置 | |
CN105071976A (zh) | 数据传输方法和装置 | |
CN105208125A (zh) | 消息传输方法、装置及系统 | |
CN103532823A (zh) | 物联网消息处理方法、装置及系统 | |
CN105744008B (zh) | 智能家居平台、应用于该平台的系统更新方法和装置 | |
CN112445575B (zh) | 多集群资源调度方法、装置及系统 | |
JPWO2007072544A1 (ja) | 情報処理装置、計算機、リソース割り当て方法及びリソース割り当てプログラム | |
CN105808329A (zh) | 分布式超时任务调度方法和装置 | |
CN109858655B (zh) | 预约测试的方法及系统 | |
CN103150213A (zh) | 负载平衡方法和装置 | |
CN106982245B (zh) | 监管控制和数据采集系统中的客户端和服务器 | |
CN109614236B (zh) | 集群资源动态调整方法、装置、设备及可读存储介质 | |
CN110912967A (zh) | 一种服务节点调度方法、装置、设备及存储介质 | |
CN111052083B (zh) | 用于在启动期间管理服务的调度的方法和装置 | |
CN109670932B (zh) | 信贷数据核算方法、装置、系统和计算机存储介质 | |
CN105917694B (zh) | 电信网络中的服务提供与激活 | |
CN113205235A (zh) | 客服调度的方法和装置 | |
CN115712572A (zh) | 任务的测试方法、装置、存储介质及电子装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |