CN107844370B - 一种实时任务调度方法及装置 - Google Patents
一种实时任务调度方法及装置 Download PDFInfo
- Publication number
- CN107844370B CN107844370B CN201610830222.5A CN201610830222A CN107844370B CN 107844370 B CN107844370 B CN 107844370B CN 201610830222 A CN201610830222 A CN 201610830222A CN 107844370 B CN107844370 B CN 107844370B
- Authority
- CN
- China
- Prior art keywords
- task
- data area
- queue
- occupied
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5016—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals the resource being the memory
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
- G06F9/4806—Task transfer initiation or dispatching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5011—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resources being hardware resources other than CPUs, Servers and Terminals
- G06F9/5022—Mechanisms to release resources
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种实时任务调度方法及装置,该实时任务调度方法包括:当接收到任务执行请求时,获取所述任务执行请求所携带的待处理的目标任务,并确定所述目标任务占用的内存大小;存储所述目标任务至第一队列的第一数据区域中;监测所述第一队列是否满足预定迁移条件;当所述第一队列满足预定迁移条件时,将所述第一队列中已占用的数据区域迁移至第二队列中,并执行迁移至所述第二队列中的数据区域所存储的任务;当所述第二队列中存在所存储任务被执行完毕的数据区域时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。通过本发明可以实现快速、高效的任务处理。
Description
技术领域
本发明涉及数据处理技术领域,特别是涉及一种实时任务调度方法及装置。
背景技术
随着互联网技术的快速发展,互联网用户的数量呈爆炸式增长,需要处理的用户的任务量也增长巨大。合理的任务存储及调度可以高效的进行任务处理,因此,任务的存储与调度已成为当前互联网中任务处理的主要研究方向。
对于海量的任务环境下,现有的任务处理方法主要是在接收到客户端发送的任务执行请求时,将申请执行的任务递交至实时任务队列,通过扫描实时任务队列实现对任务的调度执行。
现有的任务处理方法,需要对任务队列中所有未执行的任务进行扫描,由于任务量的发展越来越大,巨大的任务量使得扫描任务队列时,速度缓慢,从而导致了任务处理的效率低。
发明内容
本发明实施例的目的在于提供一种实时任务调度方法及装置,以实现快速、高效的任务处理。具体技术方案如下:
第一方面,本发明实施例提供了一种实时任务调度方法,包括:
当接收到任务执行请求时,获取所述任务执行请求所携带的待处理的目标任务,并确定所述目标任务占用的内存大小;
存储所述目标任务至第一队列的第一数据区域中,其中,所述第一队列包括空闲的数据区域和/或已占用的数据区域,所述第一数据区域为区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域,所述已占用的数据区域为已存储有待处理的任务的数据区域;
监测所述第一队列是否满足预定迁移条件;
当所述第一队列满足预定迁移条件时,将所述第一队列中已占用的数据区域迁移至第二队列中;
执行所述第二队列中的数据区域所存储的任务;
当所述第二队列中存在所存储任务被执行完毕的数据区域时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。
可选的,所述监测所述第一队列是否满足预定迁移条件,包括:
监测所述第一队列中已占用的数据区域的区域大小占所述第一队列中所有数据区域的区域大小的比例值是否大于预设值,如果是,判定所述第一队列满足预定迁移条件。
可选的,所述第一队列中的各个数据区域的区域大小不大于32MB,且为2MB的倍数。
可选的,所述实时任务调度方法还包括:
当将所述目标任务存储至第一队列的第一数据区域中失败时,将所述第一数据区域对应的物理内存地址存储至第三队列,并锁定所述第一数据区域;
将所述目标任务存储至所述第一队列的第二数据区域中,其中,所述第二数据区域为所述第一队列中除所述第一数据以外的区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域。
可选的,所述第一队列中的各个数据区域包括头部部分及内容部分,其中,所述头部部分用于存储任务的标识符及完成率,所述内容部分用于存储任务的任务信息。
可选的,所述存储所述目标任务至第一队列的第一数据区域中,包括:
存储所述目标任务的标识符至所述第一数据区域的头部部分;
设置所述目标任务的完成率为0%,并存储所述完成率至所述第一数据区域的头部部分;
存储所述目标任务的任务信息至所述第一数据区域的内容部分。
可选的,所述实时任务调度方法还包括:
在执行迁移至所述第二队列中的数据区域所存储的任务时,实时更新被执行任务所对应数据区域的头部部分中的完成率;
监测所述第二队列的数据区域的头部部分中的完成率是否为100%;
将所对应完成率为100%的数据区域确定为任务被执行完毕的数据区域。
第二方面,本发明实施例还提供了一种实时任务调度装置,包括:
任务获取模块,用于当接收到任务执行请求时,获取所述任务执行请求所携带的待处理的目标任务,并确定所述目标任务占用的内存大小;
第一存储模块,用于存储所述目标任务至第一队列的第一数据区域中,其中,所述第一队列包括空闲的数据区域和/或已占用的数据区域,所述第一数据区域为区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域,所述已占用的数据区域为已存储有待处理的任务的数据区域;
第一监测模块,用于监测所述第一队列是否满足预定迁移条件;
迁移模块,用于当所述第一队列满足预定迁移条件时,将所述第一队列中已占用的数据区域迁移至第二队列中;
任务执行模块,用于执行所述第二队列中的数据区域所存储的任务;
任务清除模块,用于当所述第二队列中存在所存储任务被执行完毕的数据区域时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。
可选的,所述第一队列监测模块具体用于:
监测所述第一队列中已占用的数据区域的区域大小占所述第一队列中所有数据区域的区域大小的比例值是否大于预设值,如果是,判定所述第一队列满足预定迁移条件。
可选的,所述第一队列中的各个数据区域的区域大小不大于32MB,且为2MB的倍数。
可选的,所述实时任务调度装置还包括:
第二存储模块,用于当将所述目标任务存储至第一队列的第一数据区域中失败时,将所述第一数据区域对应的物理内存地址存储至第三队列,并锁定所述第一数据区域;
第三存储模块,用于将所述目标任务存储至所述第一队列的第二数据区域中,其中,所述第二数据区域为所述第一队列中除所述第一数据以外的区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域。
可选的,所述第一队列中的各个数据区域包括头部部分及内容部分,其中,所述头部部分用于存储任务的标识符及完成率,所述内容部分用于存储任务的任务信息。
可选的,所述目标任务第一存储模块包括:
第一存储子模块,用于存储所述目标任务的标识符至所述第一数据区域的头部部分;
第二存储子模块,用于设置所述目标任务的完成率为0%,并存储所述完成率至所述第一数据区域的头部部分;
第三存储子模块,用于存储所述目标任务的任务信息至所述第一数据区域的内容部分。
可选的,所述实时任务调度装置还包括:
更新模块,用于在执行迁移至所述第二队列中的数据区域所存储的任务时,实时更新被执行任务所对应数据区域的头部部分中的完成率;
第二监测模块,用于监测所述第二队列的数据区域的头部部分中的完成率是否为100%;
确定模块,用于将所对应完成率为100%的数据区域确定为任务被执行完毕的数据区域。
本发明实施例提供的实时任务调度方法及装置,在获得任一待处理的目标任务时,将该目标任务存储至第一队列中的空闲的数据区域;同时,在监测到第一队列满足预定迁移条件时,将第一队列中已占用的数据区域迁移至第二队列中,执行迁移至该第二队列中的数据区域所存储的任务,并且,第二队列中所存储任务被执行完毕的数据区域会再次被迁移至第一队列。可见,本方案通过第一队列和第二队列来存储不同执行状态的任务,这样,在任务执行时仅仅扫描第二队列即可,因此,可以减少任务执行过程中所扫描的数据量,从而极大地提升任务处理速度及效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的实时任务调度方法的一种流程图;
图2为本发明实施例的实时任务调度方法的另一种流程图;
图3为本发明实施例的实时任务调度方法的再一种流程图;
图4为本发明实施例的实时任务调度装置的一种结构示意图;
图5为本发明实施例的实时任务调度装置的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为了提高任务处理的速度及效率,本发明实施例提供了一种实时任务调度方法及装置。
下面首先对本发明实施例所提供的一种实时任务调度方法进行介绍。
需要说明的是,本发明实施例所提供的一种实时任务调度方法的执行主体可以为一种实时任务调度装置。具体的,该实时任务调度装置可以应用于服务器中,该服务器用于执行客户端所提供的任务或其他服务器所提供的任务;当然,该实时任务调度装置还可以应用于终端中,该终端用于执行其他终端所提供的任务,这也是合理的。
如图1所示,本发明实施例所提供的一种实时任务调度方法,可以包括如下步骤:
S101,当接收到任务执行请求时,获取该任务执行请求所携带的待处理的目标任务,并确定该目标任务占用的内存大小。
当该实时任务调度装置在接收到任一任务执行请求时,均可以获取该任务执行请求所携带的待处理的目标任务,并确定该目标任务占用的内存大小,以进行后续的处理。
可以理解的是,为了存储目标任务,需要根据目标任务占用的内存大小,将目标任务存储至内存大小相匹配的数据区域,因此,在获得目标任务后,可以确定该目标任务占用的内存大小。
需要强调的是,对于该实时任务调度装置应用于服务器的情况而言,任务执行请求的发送者可以是客户端或其他服务器;而对于实时任务调度装置应用于终端的情况而言,任务执行请求的发送者可以是其他终端。
S102,存储目标任务至第一队列的第一数据区域中。
其中,第一队列为存储空闲的数据区域和/或已占用的数据区域的数据队列,第一数据区域为区域大小与上述目标任务占用的内存大小相匹配的任一空闲的数据区域,已占用的数据区域为已存储有待处理的任务的数据区域;第一数据区域可以为占用了内存块的数据区域,则区域大小可以为第一数据区域占用的内存大小。
需要说明的是,第一队列中的各个数据区域根据预设大小进行划分,各个数据区域的区域大小可以是2MB的倍数,也可以是3MB的倍数,亦或是任意大小,都是合理的。在一种具体实现方式中,为了保证数据区域得到有效利用,该第一队列中的各个数据区域的区域大小可以不大于32MB,且为2MB的倍数。另外,本领域技术人员可以理解的是,数据区域为预先分配出的用于存储数据的存储空间,具体可以指内存缓冲区或硬盘区域,因此,第一队列中的元素实质上为数据区域的标识信息,如地址信息。
并且,上述的第一数据区域为区域大小与目标任务占用的内存大小相匹配的任一空闲的数据区域,具体的,第一数据区域的区域大小可以与目标任务占用的内存大小相同,或者,第一数据区域的区域大小比目标任务占用的内存大小大预设容量值,该预设容量值保证数据区域空间充分存储任务即可,这都是合理的。
需要强调的是,在存储目标任务至第一队列的第一数据区域中后,该第一数据区域更新为已占用的数据区域;并且,可以为第一队列中已占用的数据区域和空闲的数据区域设置状态标识值,通过不同的状态标识值来区分某一数据区域是已占用或空闲状态,具体的,状态标识值与数据区域的对应关系可以记录在第一队列所对应的数据表中,当然并不局限于此。
S103,监测第一队列是否满足预定迁移条件,如果是,则执行S104;否则,执行S101。
在待处理的目标任务存储至第一队列后,为了确定已存储至第一队列中的待处理的任务是否可以开始被执行,需要监测第一队列中已占用的数据区域的状态。
其中,监测第一队列中已占用的数据区域的状态,可以是监测已占用的数据区域的区域大小,也可以是监测已占用的数据区域存储的任务类别,预定迁移条件可以是区域大小或者任务类别,这都是合理的。在一种实现方式中,所述监测该第一队列是否满足预定迁移条件,可以包括:监测该第一队列中已占用的数据区域的区域大小占该第一队列中所有数据区域的区域大小的比例值是否大于预设值,如果是,判定该第一队列满足预定迁移条件。其中,该预设值可以根据实际情况设定,举例而言:该预设值可以为80%、85%或90%,等等。
需要强调的是,在该第一队列中数据区域发生占用时,即可监测第一队列是否满足预定迁移条件;并且,监测第一队列是否满足预定迁移条件的过程与上述的S101-S102的过程可以并行执行。
S104,将第一队列中已占用的数据区域迁移至第二队列中。为了提高任务执行的效率,将满足预定迁移条件的待处理的任务迁移至第二队列,其中,第二队列为存储正在执行的任务的数据区域的数据队列。
需要强调的是,第二队列中的元素实质上是数据区域的标识信息,所谓的将第一队列中已占用的数据区域迁移至第二队列中具体指:将第一队列中已占用的数据区域的标识信息迁移至第二队列中,并且,在迁移之后,第一队列中不存在已占用的数据区域的标识信息。
其中,执行迁移至该第二队列中的数据区域所存储的每一任务时,可以参照现有技术的执行方式,在此不做限定。
S105,执行该第二队列中的数据区域所存储的任务。
需要说明的是,执行第二队列中的数据区域所存储的任务,可以是将第一队列中已占用的数据区域迁移至第二队列之后直接执行迁移至该第二队列中的数据区域所存储的任务;也可以是将第一队列中已占用的数据区域迁移至第二队列中,待第二队列存储的已占用的数据区域达到预设比例时,再执行该第二队列中的数据区域所存储的任务,这都是合理的。
S106,当该第二队列中存在所存储任务被执行完毕的数据区域时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至该第一队列中。
为了在任务被执行完毕后,能够释放空间,以供其他的任务进行存储、调度执行,本发明实施例需要对任务的执行状态进行判断,在判断出任务被执行完毕后,需要将任务占用的数据区域空间进行释放,释放后的数据区域空间可以重新存储新的待处理的目标任务,其中,任务清除就是将存储了已执行完毕的任务的数据区域进行释放,并且将释放后的空闲的数据区域迁移至第一队列中。具体的,可以监测该第二队列中是否存在所存储任务被执行完毕的数据区域,当监测到时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。
在一种实现方式中,可以实时监测第二队列中的任务的执行状态,即完成率,当监测到完成率为100%时,表明该任务被执行完毕。所谓的监测第二队列中的任务的执行状态,可以指采集任务已执行的内容占任务总内容的比例。
需要说明的是,通过对已执行的任务数据的及时处理,也可以分区的回收,进一步加快任务调度性能,快速回收分区,用于下一次调度。
应用本发明实施例,在获得任一待处理的目标任务时,将该目标任务存储至第一队列中的空闲的数据区域;同时,在监测到第一队列满足预定迁移条件时,将第一队列中已占用的数据区域迁移至第二队列中,执行迁移至该第二队列中的数据区域所存储的任务,并且,第二队列中所存储任务被执行完毕的数据区域会再次被迁移至第一队列。可见,本方案通过第一队列和第二队列来存储不同执行状态的任务,这样,在任务执行时仅仅扫描第二队列即可,因此,可以减少任务执行过程中所扫描的数据量,从而极大地提升任务处理速度及效率。
为了应对目标任务存储失败的情况,本发明实施例所提供的一种实时任务调度方法还可以包括:
首先,当将所述目标任务存储至第一队列的第一数据区域中失败时,将第一数据区域对应的物理内存地址存储至第三队列,并锁定该第一数据区域。
在存储目标任务失败时,首先需要对故障的第一数据区域的物理内存地址进行记录,然后锁定该物理内存,以使该物理内存地址对应的数据区域不再存储任一待处理的任务。
其次,将目标任务存储至第一队列的第二数据区域中。
其中,第二数据区域为第一队列中除第一数据区域以外的区域大小与目标任务占用的内存大小相匹配的任一空闲的数据区域。
需要说明的是,第一队列中满足区域大小与目标任务占用的内存大小相匹配的空闲的数据区域可能有很多个,在其中一个的物理内存出现故障时,可以选择其他数据区域中的任意一个对目标任务进行存储。
可选地,可以将完成率不到100%,并且长时间没有变化的任务作为失败的任务;或者,将任务处理过程出现error“错误”的任务作为失败的任务,等等,在此不做限定。
应用本发明实施例,在减少扫描的数据量,从而极大地提升任务处理速度及效率的同时,可以在存储待处理的任务时,如果出现数据区域物理内存故障的情况,将故障的数据区域进行隔离,防止了任务再探测故障区域,进一步提高了任务的存储及调度执行的效率。
可选的,在一种具体实现方式中,可以对各个数据区域进行分区,以存储除任务的任务信息以外的信息,提高所存储信息的丰富性,利于数据区域回迁过程。具体的,第一队列中的各个数据区域可以包括头部部分及内容部分,其中,头部部分用于存储任务的标识符及完成率,内容部分用于存储任务的任务信息。对于数据区域包括头部部分和内容部分的情况,所谓的存储该目标任务至第一队列的第一数据区域中,具体可以包括:
存储所述目标任务的标识符至该第一数据区域的头部部分;
设置该目标任务的完成率为0%,并存储该完成率至该第一数据区域的头部部分;
存储该目标任务的任务信息至所述第一数据区域的内容部分。
具体的,在接收到每一个目标任务执行请求后,首先将目标任务的完成率设置为0%,然后将目标任务的标识符及完成率存储至第一数据区域的头部部分,将目标任务的任务信息存储至第一数据区域的内容部分。完成率的设置用于在后续的步骤中说明任务的执行状态,0%表示任务尚未执行,100%表示任务执行完毕。标识符用于在进行任务执行时,可以根据标识符,对相应的任务进行调度执行,从而节省了扫描任务的时间。
基于上述的对数据区域的分区,如图2所示,本发明实施例所提供的一种实时任务调度方法还可以包括:
S107,在执行迁移至第二队列中的数据区域所存储的任务时,实时更新被执行任务所对应数据区域的头部部分中的完成率。
数据区域的完成率表示了任务的执行状态,任务在执行的过程中,可以通过采集任务已执行的内容占任务总内容的比例确定任务的完成率,也可以通过采集任务的已执行时间占总执行时间比例确定任务的完成率,这都是合理的。
S108,监测第二队列的数据区域的头部部分中的完成率是否为100%,如果是,则执行S109;否则,执行107。
S109,将所对应完成率为100%的数据区域确定为任务被执行完毕的数据区域。
应用本发明实施例,在获得任一待处理的目标任务时,将该目标任务存储至第一队列中的空闲的数据区域;同时,在监测到第一队列满足预定迁移条件时,将第一队列中已占用的数据区域迁移至第二队列中,执行迁移至该第二队列中的数据区域所存储的任务,并且,第二队列中所存储任务被执行完毕的数据区域会再次被迁移至第一队列。可见,本方案通过第一队列和第二队列来存储不同执行状态的任务,这样,在任务执行时仅仅扫描第二队列即可,因此,可以减少任务执行过程中所扫描的数据量,从而极大地提升任务处理速度及效率;并且通过判断完成率确定任务是否被执行完毕,判断的条件简单,更为直观。
下面结合具体的应用实例,对本发明实施例所提供的一种实时任务调度方法进行介绍。
如图3所示,本发明实施例提供的实时任务调度方法包括:
S301,按照预设条件,初始化数据区域的区域大小。
本发明实施例中,预设条件为:各个数据区域的区域大小不大于32MB,且为2MB的倍数。并且,每个数据区域由头部部分和内容部分组成,其中头部部分用于存储任务的标识符及完成率,内容部分用于存储任务的任务信息。
S302,将空闲的数据区域移至第一队列中。
S303,根据待处理的目标任务占用的内存大小,从第一队列中获取第一数据区域。
其中,第一数据区域为区域大小与待处理的目标任务占用的内存大小相等的任一空闲的数据区域。
S304,存储待处理的目标任务的标识符至第一数据区域的头部部分。
S305,设置待处理的目标任务的完成率为0%,并存储该完成率至第一数据区域的头部部分。
S306,存储待处理的目标任务的任务信息至第一数据区域的内容部分。
S307,监测第一队列中已占用的数据区域的内存大小占该第一队列中所有数据区域的内存大小的比例值是否大于90%。如果是,则执行S308;否则执行S303。
其中,已占用的数据区域为已存储有待处理的任务的数据区域。需要说明的是,为了充分利用数据区域的存储空间,并防止存储任务时出现溢出的现象,本发明实施例根据经验将预设值设置为90%。
S308,将第一队列中已占用的数据区域迁移至第二队列中。
S309,执行该第二队列中的数据区域所存储的任务。
S310,实时更新被执行任务所对应数据区域的头部部分中的完成率。
S311,监测第二队列的数据区域的头部部分中的完成率是否为100%。如果是,则执行S312;否则执行S310。
S312,将所对应完成率为100%的数据区域确定为任务被执行完毕的数据区域。
S313,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。
本发明实施例中,在存储待处理的任务时,如果出现了存储不成功的情况,则存储第一数据区域对应的物理内存地址至第三队列,并锁定第一数据区域,然后将待处理的任务存储至除已锁定的第一数据区域以外的满足与待处理的任务的内存大小相同的另一个任一数据区域。
应用本发明实施例,在获得任一待处理的目标任务时,将该目标任务存储至第一队列中的空闲的数据区域;同时,在监测到第一队列满足预定迁移条件时,将第一队列中已占用的数据区域迁移至第二队列中,执行迁移至该第二队列中的数据区域所存储的任务,并且,第二队列中所存储任务被执行完毕的数据区域会再次被迁移至第一队列。可见,本方案通过第一队列和第二队列来存储不同执行状态的任务,这样,在任务执行时仅仅扫描第二队列即可,因此,可以减少任务执行过程中所扫描的数据量,从而极大地提升任务处理速度及效率;并且通过判断完成率确定任务是否被执行完毕,判断的条件简单,更为直观。
相应于上述方法实施例,本发明实施例提供了一种实时任务调度装置,如图4所述,所述装置可以包括:
任务获取模块410,用于当接收到任务执行请求时,获取所述任务执行请求所携带的待处理的目标任务,并确定所述目标任务占用的内存大小。
第一存储模块420,用于存储所述目标任务至第一队列的第一数据区域中,其中,所述第一队列包括空闲的数据区域和/或已占用的数据区域,所述第一数据区域为区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域,所述已占用的数据区域为已存储有待处理的任务的数据区域。
第一监测模块430,用于监测所述第一队列是否满足预定迁移条件。
迁移模块440,用于当所述第一队列满足预定迁移条件时,将所述第一队列中已占用的数据区域迁移至第二队列中;
任务执行模块450,用于执行所述第二队列中的数据区域所存储的任务。
任务清除模块460,用于当所述第二队列中存在所存储任务被执行完毕的数据区域时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。
应用本发明实施例,在获得任一待处理的目标任务时,将该目标任务存储至第一队列中的空闲的数据区域;同时,在监测到第一队列满足预定迁移条件时,将第一队列中已占用的数据区域迁移至第二队列中,执行迁移至该第二队列中的数据区域所存储的任务,并且,第二队列中所存储任务被执行完毕的数据区域会再次被迁移至第一队列。可见,本方案通过第一队列和第二队列来存储不同执行状态的任务,这样,在任务执行时仅仅扫描第二队列即可,因此,可以减少任务执行过程中所扫描的数据量,从而极大地提升任务处理速度及效率。
可选的,在一种具体实现方式中,所述第一监测模块430具体用于:
监测所述第一队列中已占用的数据区域的区域大小占所述第一队列中所有数据区域的区域大小的比例值是否大于预设值,如果是,判定所述第一队列满足预定迁移条件。
可选的,在一种具体实现方式中,所述第一队列中的各个数据区域的区域大小不大于32MB,且为2MB的倍数。
更进一步的,在包含任务获取模块410、第一存储模块420、第一监测模块430、迁移模块440、任务执行模块450、任务清除模块460的基础上,本发明实施例所提供的一种实时任务调度装置还可以包括:
第二存储模块,用于当将所述目标任务存储至第一队列的第一数据区域中失败时,将所述第一数据区域对应的物理内存地址存储至第三队列,并锁定所述第一数据区域。
第三存储模块,用于将所述目标任务存储至所述第一队列的第二数据区域中,其中,所述第二数据区域为所述第一队列中除所述第一数据以外的区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域。
应用本发明实施例,在减少扫描的数据量,从而极大地提升任务处理速度及效率的同时,可以在存储待处理的任务时,如果出现数据区域物理内存故障的情况,将故障的数据区域进行隔离,防止了任务再探测故障区域,进一步提高了任务的存储及调度执行的效率。
可选的,所述第一队列中的各个数据区域包括头部部分及内容部分,其中,所述头部部分用于存储任务的标识符及完成率,所述内容部分用于存储任务的任务信息。
可选的,在第一队列中的各个数据区域包括头部部分及内容部分的情况下,所述第一存储模块420可以包括:
第一存储子模块,用于存储所述目标任务的标识符至所述第一数据区域的头部部分。
第二存储子模块,用于设置所述目标任务的完成率为0%,并存储所述完成率至所述第一数据区域的头部部分。
第三存储子模块,用于存储所述目标任务的任务信息至所述第一数据区域的内容部分。
更进一步的,在第一队列中的各个数据区域包括头部部分及内容部分的情况下,在包含任务获取模块410、第一存储模块420、第一监测模块430、迁移模块440,任务执行模块450、任务清除模块460的基础上,如图5所示,本发明实施例所提供的一种实时任务调度装置还可以包括:
更新模块470,用于在执行迁移至所述第二队列中的数据区域所存储的任务时,实时更新被执行任务所对应数据区域的头部部分中的完成率。
第二监测模块480,用于监测所述第二队列的数据区域的头部部分中的完成率是否为100%。
确定模块490,用于将所对应完成率为100%的数据区域确定为任务被执行完毕的数据区域。
应用本发明实施例,在获得任一待处理的目标任务时,将该目标任务存储至第一队列中的空闲的数据区域;同时,在监测到第一队列满足预定迁移条件时,将第一队列中已占用的数据区域迁移至第二队列中,执行迁移至该第二队列中的数据区域所存储的任务,并且,第二队列中所存储任务被执行完毕的数据区域会再次被迁移至第一队列。可见,本方案通过第一队列和第二队列来存储不同执行状态的任务,这样,在任务执行时仅仅扫描第二队列即可,因此,可以减少任务执行过程中所扫描的数据量,从而极大地提升任务处理速度及效率;并且通过判断完成率确定任务是否被执行完毕,判断的条件简单,更为直观。
可以理解的是,在第一队列中的各个数据区域包括头部部分及内容部分的情况下,本发明实施例的另一实施例中,实时任务调度装置可以同时包括:任务获取模块410、第一存储模块420、第一监测模块430、迁移模块440、任务执行模块450、任务清除模块460、更新模块470、第二监测模块480、确定模块490、第二存储模块和第三存储模块。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (14)
1.一种实时任务调度方法,其特征在于,包括:
当接收到任务执行请求时,获取所述任务执行请求所携带的待处理的目标任务,并确定所述目标任务占用的内存大小;
存储所述目标任务至第一队列的第一数据区域中,其中,所述第一队列包括空闲的数据区域和/或已占用的数据区域,所述第一数据区域为区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域,所述已占用的数据区域为已存储有待处理的任务的数据区域;
监测所述第一队列中已占用的数据区域的区域大小是否满足预定区域大小,或者,监测所述第一队列中已占用的数据区域存储的任务类别是否满足预定任务类别;
当所述第一队列中已占用的数据区域的区域大小满足预定区域大小,或者,所述第一队列中已占用的数据区域存储的任务类别满足预定任务类别时,将所述第一队列中已占用的数据区域迁移至第二队列中;
执行所述第二队列中的数据区域所存储的任务;
当所述第二队列中存在所存储任务被执行完毕的数据区域时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。
2.根据权利要求1所述的方法,其特征在于,所述监测所述第一队列中已占用的数据区域的区域大小是否满足预定区域大小,包括:
监测所述第一队列中已占用的数据区域的区域大小占所述第一队列中所有数据区域的区域大小的比例值是否大于预设值。
3.根据权利要求1或2所述的实时任务调度方法,其特征在于,所述第一队列中的各个数据区域的区域大小不大于32MB,且为2MB的倍数。
4.根据权利要求1或2所述的实时任务调度方法,其特征在于,还包括:
当将所述目标任务存储至第一队列的第一数据区域中失败时,将所述第一数据区域对应的物理内存地址存储至第三队列,并锁定所述第一数据区域;
将所述目标任务存储至所述第一队列的第二数据区域中,其中,所述第二数据区域为所述第一队列中除所述第一数据以外的区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域。
5.根据权利要求1或2所述的实时任务调度方法,其特征在于,所述第一队列中的各个数据区域包括头部部分及内容部分,其中,所述头部部分用于存储任务的标识符及完成率,所述内容部分用于存储任务的任务信息。
6.根据权利要求5所述的实时任务调度方法,其特征在于,所述存储所述目标任务至第一队列的第一数据区域中,包括:
存储所述目标任务的标识符至所述第一数据区域的头部部分;
设置所述目标任务的完成率为0%,并存储所述完成率至所述第一数据区域的头部部分;
存储所述目标任务的任务信息至所述第一数据区域的内容部分。
7.根据权利要求6所述的实时任务调度方法,其特征在于,还包括:
在执行迁移至所述第二队列中的数据区域所存储的任务时,实时更新被执行任务所对应数据区域的头部部分中的完成率;
监测所述第二队列的数据区域的头部部分中的完成率是否为100%;
将所对应完成率为100%的数据区域确定为任务被执行完毕的数据区域。
8.一种实时任务调度装置,其特征在于,包括:
任务获取模块,用于当接收到任务执行请求时,获取所述任务执行请求所携带的待处理的目标任务,并确定所述目标任务占用的内存大小;
第一存储模块,用于存储所述目标任务至第一队列的第一数据区域中,其中,所述第一队列包括空闲的数据区域和/或已占用的数据区域,所述第一数据区域为区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域,所述已占用的数据区域为已存储有待处理的任务的数据区域;
第一监测模块,用于监测所述第一队列中已占用的数据区域的区域大小是否满足预定区域大小,或者,监测所述第一队列中已占用的数据区域存储的任务类别是否满足预定任务类别;
迁移模块,用于当所述第一队列中已占用的数据区域的区域大小满足预定区域大小,或者,所述第一队列中已占用的数据区域存储的任务类别满足预定任务类别时,将所述第一队列中已占用的数据区域迁移至第二队列中;
任务执行模块,用于执行所述第二队列中的数据区域所存储的任务;
任务清除模块,用于当所述第二队列中存在所存储任务被执行完毕的数据区域时,将所存储任务被执行完毕的数据区域进行任务清除,将任务清除后得到的空闲的数据区域迁移至所述第一队列中。
9.根据权利要求8所述的实时任务调度装置,其特征在于,所述第一队列监测模块具体用于:
监测所述第一队列中已占用的数据区域的区域大小占所述第一队列中所有数据区域的区域大小的比例值是否大于预设值。
10.根据权利要求8或9所述的实时任务调度装置,其特征在于,所述第一队列中的各个数据区域的区域大小不大于32MB,且为2MB的倍数。
11.根据权利要求8或9所述的实时任务调度装置,其特征在于,还包括:
第二存储模块,用于当将所述目标任务存储至第一队列的第一数据区域中失败时,将所述第一数据区域对应的物理内存地址存储至第三队列,并锁定所述第一数据区域;
第三存储模块,用于将所述目标任务存储至所述第一队列的第二数据区域中,其中,所述第二数据区域为所述第一队列中除所述第一数据以外的区域大小与所述目标任务占用的内存大小相匹配的任一空闲的数据区域。
12.根据权利要求8或9所述的实时任务调度装置,其特征在于,所述第一队列中的各个数据区域包括头部部分及内容部分,其中,所述头部部分用于存储任务的标识符及完成率,所述内容部分用于存储任务的任务信息。
13.根据权利要求12所述的实时任务调度装置,其特征在于,所述目标任务第一存储模块包括:
第一存储子模块,用于存储所述目标任务的标识符至所述第一数据区域的头部部分;
第二存储子模块,用于设置所述目标任务的完成率为0%,并存储所述完成率至所述第一数据区域的头部部分;
第三存储子模块,用于存储所述目标任务的任务信息至所述第一数据区域的内容部分。
14.根据权利要求13所述的实时任务调度装置,其特征在于,还包括:
更新模块,用于在执行迁移至所述第二队列中的数据区域所存储的任务时,实时更新被执行任务所对应数据区域的头部部分中的完成率;
第二监测模块,用于监测所述第二队列的数据区域的头部部分中的完成率是否为100%;
确定模块,用于将所对应完成率为100%的数据区域确定为任务被执行完毕的数据区域。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610830222.5A CN107844370B (zh) | 2016-09-19 | 2016-09-19 | 一种实时任务调度方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610830222.5A CN107844370B (zh) | 2016-09-19 | 2016-09-19 | 一种实时任务调度方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107844370A CN107844370A (zh) | 2018-03-27 |
CN107844370B true CN107844370B (zh) | 2020-04-17 |
Family
ID=61657210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610830222.5A Active CN107844370B (zh) | 2016-09-19 | 2016-09-19 | 一种实时任务调度方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107844370B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1828542A (zh) * | 2006-04-07 | 2006-09-06 | 浙江大学 | Java操作系统中建立实时任务的实现方法 |
CN102354289A (zh) * | 2011-09-21 | 2012-02-15 | 苏州大学 | 一种并发事务的调度方法和相关装置 |
CN102834807A (zh) * | 2011-04-18 | 2012-12-19 | 华为技术有限公司 | 多处理器系统负载均衡的方法和装置 |
CN103414761A (zh) * | 2013-07-23 | 2013-11-27 | 北京工业大学 | 一种基于Hadoop架构的移动终端云资源调度方法 |
CN104731645A (zh) * | 2015-03-19 | 2015-06-24 | 蔡树彬 | 一种任务调度方法和装置及数据下载方法和装置 |
CN104965806A (zh) * | 2015-06-30 | 2015-10-07 | 北京奇艺世纪科技有限公司 | 一种请求处理方法及装置 |
CN104978335A (zh) * | 2014-04-04 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 数据访问控制方法和装置 |
CN105204938A (zh) * | 2015-11-02 | 2015-12-30 | 重庆大学 | 一种内存访问的数据密集型进程调度方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070016906A1 (en) * | 2005-07-18 | 2007-01-18 | Mistletoe Technologies, Inc. | Efficient hardware allocation of processes to processors |
JP5050601B2 (ja) * | 2007-03-23 | 2012-10-17 | 日本電気株式会社 | ジョブへの資源割当方式、ジョブへの資源割当方法およびプログラム |
-
2016
- 2016-09-19 CN CN201610830222.5A patent/CN107844370B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1828542A (zh) * | 2006-04-07 | 2006-09-06 | 浙江大学 | Java操作系统中建立实时任务的实现方法 |
CN102834807A (zh) * | 2011-04-18 | 2012-12-19 | 华为技术有限公司 | 多处理器系统负载均衡的方法和装置 |
CN102354289A (zh) * | 2011-09-21 | 2012-02-15 | 苏州大学 | 一种并发事务的调度方法和相关装置 |
CN103414761A (zh) * | 2013-07-23 | 2013-11-27 | 北京工业大学 | 一种基于Hadoop架构的移动终端云资源调度方法 |
CN104978335A (zh) * | 2014-04-04 | 2015-10-14 | 阿里巴巴集团控股有限公司 | 数据访问控制方法和装置 |
CN104731645A (zh) * | 2015-03-19 | 2015-06-24 | 蔡树彬 | 一种任务调度方法和装置及数据下载方法和装置 |
CN104965806A (zh) * | 2015-06-30 | 2015-10-07 | 北京奇艺世纪科技有限公司 | 一种请求处理方法及装置 |
CN105204938A (zh) * | 2015-11-02 | 2015-12-30 | 重庆大学 | 一种内存访问的数据密集型进程调度方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107844370A (zh) | 2018-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106933672B (zh) | 一种分布式环境协调消费队列方法和装置 | |
CN107623731B (zh) | 一种任务调度方法、客户端、服务集群及系统 | |
CN110955508B (zh) | 基于分布式架构的异步任务调度方法、装置和计算机设备 | |
CN116610496A (zh) | 一种数据恢复系统 | |
CN106775975B (zh) | 进程调度方法及装置 | |
CN111913793A (zh) | 分布式任务调度方法、装置、节点设备和系统 | |
US20200293543A1 (en) | Method and apparatus for transmitting data | |
CN112650449B (zh) | 缓存空间的释放方法、释放系统、电子设备及存储介质 | |
CN107844370B (zh) | 一种实时任务调度方法及装置 | |
CN111831408A (zh) | 异步任务处理方法、装置、电子设备及介质 | |
CN111708618A (zh) | 一种基于Java多线程的处理方法和装置 | |
CN111741141A (zh) | 一种高效ip代理池的实现方法、系统及数据获取方法 | |
US10656967B1 (en) | Actor and thread message dispatching | |
CN110750362A (zh) | 生物信息的分析方法、装置和存储介质 | |
CN113746924B (zh) | 一种电网业务数据跨区传输方法及装置 | |
CN114780217A (zh) | 任务调度方法、装置、计算机设备以及介质 | |
CN115033292A (zh) | 模型训练方法及装置 | |
CN106855824B (zh) | 一种任务停止方法、装置及电子设备 | |
CN114443248A (zh) | 对象的生命周期管理方法、装置、电子设备及存储介质 | |
CN112395119B (zh) | 异常数据处理方法、装置、服务器及存储介质 | |
CN111061423B (zh) | 一种数据处理方法、装置和管理节点 | |
CN112561264A (zh) | 企业内容的服务方法、服务系统和存储介质 | |
CN108234341B (zh) | 基于设备指纹的Nginx动态被动限流方法及系统 | |
CN111464395A (zh) | 一种创建区块链的方法、装置及可读存储介质 | |
CN115580610B (zh) | 一种批量文件上传的方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |