CN110781145B - 一种文件系统任务调度方法、装置、设备及可读存储介质 - Google Patents

一种文件系统任务调度方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110781145B
CN110781145B CN201911025105.1A CN201911025105A CN110781145B CN 110781145 B CN110781145 B CN 110781145B CN 201911025105 A CN201911025105 A CN 201911025105A CN 110781145 B CN110781145 B CN 110781145B
Authority
CN
China
Prior art keywords
task
queue
tasks
foreground
backlog
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911025105.1A
Other languages
English (en)
Other versions
CN110781145A (zh
Inventor
肖国栋
张立强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Electronic Information Industry Co Ltd
Original Assignee
Inspur Electronic Information Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Electronic Information Industry Co Ltd filed Critical Inspur Electronic Information Industry Co Ltd
Priority to CN201911025105.1A priority Critical patent/CN110781145B/zh
Publication of CN110781145A publication Critical patent/CN110781145A/zh
Application granted granted Critical
Publication of CN110781145B publication Critical patent/CN110781145B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162Delete operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种文件系统任务调度方法,包括:判断总队列中待处理任务的数量是否小于第一阈值;若待处理任务的数量小于第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;若前台任务的数量小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第一数量个任务,并将任务放入总队列的队尾;其中,任务队列包括前台任务队列和多个后台任务队列;若前台任务的数量不小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第二数量个任务,并将任务放入总队列的队尾;该方法实现了根据前台任务的积压程度灵活分配计算资源的功能;本发明还提供了一种文件系统任务调度装置、设备及计算机可读存储介质,同样具有上述有益效果。

Description

一种文件系统任务调度方法、装置、设备及可读存储介质
技术领域
本发明涉及分布式文件系统技术领域,特别涉及一种文件系统任务调度方法、文件系统任务调度装置、文件系统任务调度设备及计算机可读存储介质。
背景技术
分布式文件系统中,在支持用户应用发起的文件读写这些前台业务的同时,往往还需要同时执行大量的后台任务,例如常见的文件分级迁移功能,系统后台根据用户设置的迁移规则,自动将文件的物理存放位置,从某些硬盘迁移到另一些硬盘;或者如文件删除功能,系统后台扫描待删除文件列表,将文件数据真正从磁盘上删除。由于前台任务与后台任务共用系统处理能力,因此往往会引发资源抢占冲突。为避免后台任务影响前台业务性能,影响用户使用感受,现有任务调度方法控制后台任务本身占用的资源,例如设置后台任务的并发数量、线程数量等。通过限制后台任务所使用的资源,为前台任务提供足够的资源。但是现有任务调度方法无法灵活分配计算资源,在前台任务很少的时候也限制后台任务的执行,给文件系统的运行带来很大不便。
因此,如何解决现有任务调度方法无法灵活分配计算资源,给文件系统的运行带来很大不便的问题,是本领域技术人员需要解决的技术问题。
发明内容
有鉴于此,本发明的目的在于提供一种文件系统任务调度方法、文件系统任务调度装置、文件系统任务调度设备及计算机可读存储介质,解决了现有任务调度方法无法灵活分配计算资源,给文件系统的运行带来很大不便的问题。
为解决上述技术问题,本发明提供了一种文件系统任务调度方法,包括:
判断总队列中待处理任务的数量是否小于第一阈值;
若所述待处理任务的数量小于所述第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;
若所述前台任务的数量小于所述第二阈值,则分别从各个任务队列中获取与所述任务队列对应的第一数量个任务,并将所述任务放入所述总队列的队尾;其中,所述任务队列包括所述前台任务队列和多个后台任务队列;
若所述前台任务的数量不小于所述第二阈值,则分别从各个所述任务队列中获取与所述任务队列对应的第二数量个任务,并将所述任务放入所述总队列的队尾。
可选的,在所述判断总队列中待处理任务的数量是否小于第一阈值之前,还包括:
从所述总队列的前端开始依次执行所述总队列中的所述待处理任务;
获取用户应用发送的前台任务,并将所述前台任务放入所述前台任务队列的队尾;
将文件系统产生的后台任务按照任务类型放入对应的所述后台任务队列的队尾。
可选的,所述第一数量的计算过程,包括:
利用所述第一阈值和所述总队列的长度计算空闲长度;
获取各个所述任务队列的优先级系数组成的优先级比例,利用所述优先级比例和所述空闲长度计算各个所述任务队列对应的所述第一数量。
可选的,所述第二数量的计算过程,包括:
获取各个任务队列对应的积压缩放系数;
利用所述优先级系数和对应的所述积压缩放系数相乘,得到积压系数;
利用各个所述任务队列的积压系数组成积压比例,利用所述积压比例和所述空闲长度计算各个所述任务队列对应的所述第二数量。
可选的,所述将所述任务放入所述总队列的队尾,包括:
将所述任务按照对应的优先级系数由大到小排列后放入所述总队列的队尾。
可选的,还包括:
获取参数调节指令,对所述参数调节指令指定的参数进行调整;其中,所述参数包括所述第一阈值、所述第二阈值、各个所述任务队列对应的所述优先级系数和各个所述任务队列对应的所述积压缩放系数。
可选的,还包括:
判断各个所述任务队列中是否存在特殊任务队列;其中,所述特殊任务队列为所述任务的数量小于所述第一数量的任务队列;
若否,则执行所述分别从各个任务队列中获取与所述任务队列对应的第一数量个任务的操作;
若是,则从所述特殊任务队列中获取全部任务,并分别从除所述特殊任务队列以外的任务队列中获取对应的第一数量个任务。
本发明还提供了一种文件系统任务调度装置,包括:
第一判断模块,用于判断总队列中待处理任务的数量是否小于第一阈值;
第二判断模块,用于若所述待处理任务的数量小于所述第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;
第一调度模块,用于若所述前台任务的数量小于所述第二阈值,则分别从各个任务队列中获取与所述任务队列对应的第一数量个任务,并将所述任务放入所述总队列的队尾;其中,所述任务队列包括所述前台任务队列和多个后台任务队列;
第二调度模块,用于若所述前台任务的数量不小于所述第二阈值,则分别从各个所述任务队列中获取与所述任务队列对应的第二数量个任务,并将所述任务放入所述总队列的队尾。
本发明还提供了一种文件系统任务调度设备,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现上述的文件系统任务调度方法。
本发明还提供了一种计算机可读存储介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现上述的文件系统任务调度方法。
本发明提供的文件系统任务调度方法,从总队列的前端开始依次执行总队列中的待处理任务。判断总队列中待处理任务的数量是否小于第一阈值。若待处理任务的数量小于第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值。若前台任务的数量小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第一数量个任务,并将任务放入总队列的队尾;其中,任务队列包括前台任务队列和多个后台任务队列。若前台任务的数量不小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第二数量个任务,并将任务放入总队列的队尾。
可见,该方法根据前台任务队列中的前台任务的数量确定从各个任务队列中获取的任务数量,将获取的任务放入总队列。从总队列的前端开始依次执行总队列中的待处理任务。前台任务队列中的前台任务的数量表示了前台任务的积压程度,根据前台任务的积压程度按照不同的数量从各个任务队列中获取任务,因此可以实现根据前台任务的积压程度为前台任务和后台任务分配计算资源,实现灵活分配计算资源的功能,解决了现有任务调度方法无法灵活分配计算资源,给文件系统的运行带来很大不便的问题。
此外,本发明还提供了一种文件系统任务调度装置、文件系统任务调度设备及计算机可读存储介质,同样具有上述有益效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种文件系统任务调度方法流程图;
图2为本发明实施例提供的一种具体的第一数量和第二数量计算方法流程图;
图3为本发明实施例提供的一种文件系统任务调度装置的结构示意图;
图4为本发明实施例提供的一种文件系统任务调度设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参考图1,图1为本发明实施例提供的一种文件系统任务调度方法流程图。该方法包括:
S101:判断总队列中待处理任务的数量是否小于第一阈值。
本发明实施例中,分布式文件系统中存在总队列,总队列用于存放即将被处理的待处理任务,待处理任务可以为前台任务也可以为后台任务。第一阈值用来限定总队列中剩余待处理任务的多少,判断总队列中待处理任务的数量是否小于第一阈值的操作可以实施执行,即实时判断待处理任务的数量是否小于第一阈值;或者可以每隔预定时间间隔执行一次判断操作;或者可以在每执行完一个任务之后执行一次判断操作。当总队列中待处理任务的数量小于第一阈值时,进入S102步骤;当总队列中待处理任务的数量不小于第一阈值时,说明总队列中的待处理任务较多,无需对总队列进行更新,可以进入S105步骤,既不进行任何操作。
S102:判断前台任务队列中前台任务的数量是否小于第二阈值。
在总队列中待处理任务的数量小于第一阈值时,判断前台任务队列中前台任务的数量是否小于第二阈值。前台任务队列为存储前台任务的队列,前台任务为由客户端或用户应用发送的任务。前台任务在被获取后按照时间先后顺序依次放入前台任务队列。第二阈值为用于判断前台任务是否积压的参数,当前台任务队列中前台任务的数量小于第二阈值时,说明前台任务数量较少,没有积压,此时可以进入S103步骤;当前台任务队列中前台任务的数量不小于第二阈值时,说明前台任务数量较多,已经开始积压,此时可以进入S104步骤。
S103:分别从各个任务队列中获取与任务队列对应的第一数量个任务,并将任务放入总队列的队尾。
需要说明的时,任务队列包括前台任务队列和多个后台任务队列,不同的后台任务队列中存放的后台任务的类型不同,后台任务队列的具体数量不做限定。当前台任务队列中前台任务的数量小于第二阈值时,说明前台任务没有积压,因此分别从各个任务队列中获取与任务队列相对应的第一数量个任务,将获取的任务作为待处理任务放入总队列中。第一数量为前台任务不积压时每次从任务队列中获取任务的数量,其具体数量不做限定,各个任务队列对应的第一数量可以相同也可以不同,每个任务队列对应的第一数量的大小可以人为设定;或者可以利用预设计算规则计算第一数量的大小,仅需保证各个任务队列的第一数值之和小于总队列的长度与第一阈值之差即可,即保证获取的任务可以全部放入总队列即可。在获取任务后,可以按照前台任务在前,后台任务在后的顺序对任务进行排序,在排序后放入总队列的队尾;或者还可以按照各个任务对应的优先级大小对各个任务的前后顺序进行排列,在排列后放入总队列的队尾。优先级用于表示任务队列中任务的重要性,其具体形式不做限定。将任务放入总队列,即代表本次任务调度操作完成。
S104:分别从各个任务队列中获取与任务队列对应的第二数量个任务,并将任务放入总队列的队尾。
当前台任务队列中前台任务的数量不小于第二阈值时,说明前台任务已经开始积压,可能会影响用户的使用感受。因此分别从各个任务队列中获取与任务队列对应的第二数量个任务,需要说明的是,前台任务队列的第二数量必须大于第一数量,因为在前台任务积压时只有尽快处理前台任务,才能避免使用户操作产生不便,影响用户的使用,因此需要获取更多的前台任务将其放入总队列,尽快处理前台任务。各个任务队列对应的第二数量的大小也可以人为设定或按照预设规则计算得到。将任务放入总队列,即代表本次任务调度操作完成。
进一步,为了使文件调度更加灵活,可以设定多个阈值区间,当前台任务的数量处于目标预设区间时,则分别从各个任务队列中获取与任务队列对应的目标数量个任务,并将任务放入总队列的队尾。这样可以更加灵活地根据前台任务的积压情况,即根据前台任务队列中前台任务的数量确定从各个任务队列中获取任务的数量。
应用本发明实施例提供的文件系统任务调度方法,根据前台任务队列中的前台任务的数量确定从各个任务队列中获取的任务数量,将获取的任务放入总队列。从总队列的前端开始依次执行总队列中的待处理任务。前台任务队列中的前台任务的数量表示了前台任务的积压程度,根据前台任务的积压程度按照不同的数量从各个任务队列中获取任务,因此可以实现根据前台任务的积压程度为前台任务和后台任务分配计算资源,实现灵活分配计算资源的功能,解决了现有任务调度方法无法灵活分配计算资源,给文件系统的运行带来很大不便的问题。
基于上述发明实施例,在判断总队列中待处理任务的数量是否小于第一阈值之前,还可以执行其他日常操作,具体包括:
步骤1:从总队列的前端开始依次执行总队列中的待处理任务。
在执行任务时,从总队列的前端获取待处理任务,并按照顺序依次执行总队类中的待处理任务。只要总队列中存在待处理任务就可以执行步骤1。
步骤2:获取用户应用发送的前台任务,并将前台任务放入前台任务队列的队尾。
用户应用为直接与用户交互的应用,由用户应用发送的任务即为前台任务,接收前台任务并将其放入前台任务队列的队尾等待被加入总队列。获取前台任务的操作可以实时操作,也可以在检测到有有用户应用发送前台任务时再进行获取。
步骤3:将文件系统产生的后台任务按照任务类型放入对应的后台任务队列的队尾。
文件系统在日常运行或执行前台任务之后,会产生不同类型的后台任务,因此将后台任务按照任务类型放入对应的后台任务队列的队尾等待被加入总队列。
基于上述任一发明实施例,本发明实施例将说明一种具体的第一数值计算方法和第二数值计算方法,具体的,请参考图2,图2为本发明实施例提供的一种具体的第一数量和第二数量计算方法流程图,包括:
S201:利用第一阈值和总队列的长度计算空闲长度。
总队列的长度为总队列中存放待处理任务的最大数量,由于每次任务调度操作均在总队列中待处理任务的数量小于第一阈值时开始,因此每次获取的任务总数即为总队列的长度减去第一阈值,即空闲长度。
S202:获取各个任务队列的优先级系数组成的优先级比例,利用优先级比例和空闲长度计算各个任务队列对应的第一数量。
各个任务队列的优先级系数表示该任务队列中任务的重要程度,取值可以为从0到100之间的任意值,因此可以将比较重要的任务的任务队列的优先级系数设为比较高的值,将不太重要的任务对应的优先级系数设为比较低的值。利用各个任务队列即可组成对应的优先级比例。例如共有三个任务队列,其中一个为前台任务队列,两个为后台任务队列,前台任务队列的优先级系数为80,第一后台任务队列的优先级系数为100,第二后台任务队列的优先级系数为20,则优先级比例可为80:100:20。
利用优先级比例和空间长度计算各个任务队列对应的第一数量,即按照优先级比例将空间长度进行划分,并将划分后各个任务队列对应的值确定为第一数量。例如当空闲长度为30时,优先级比例为100:80:20时,前端任务队列的第一数量即为30*100/(100+80+20)=15,第一后台任务队列的第一数量即为12,第二后台任务队列的第一数量即为3。
S203:获取各个任务队列对应的积压缩放系数。
积压缩放系数用于计算各个任务队列对应的第二数量,以便在前台任务积压时按照第二数量从各个任务队列中获取任务。
S204:利用优先级系数和对应的积压缩放系数相乘,得到积压系数。
利用优先级系数与对应的积压缩放系数相乘,得到各个任务队列对应的积压系数。例如前台任务队列的优先级系数为100,第一后台任务队列的优先级系数为80,第二后台任务队列的优先级系数为20,即优先级比例为100:80:20时,前台任务队列的积压缩放系数为1,第一后台任务队列的积压缩放系数为0.5,第二后台任务队列的积压缩放系数为0.5,则前台任务队列的积压系数为100,第一后台任务队列的积压缩放系数为40,第二后台任务队列的积压缩放系数为10。
S205:利用各个任务队列的积压系数组成积压比例,利用积压比例和空闲长度计算各个任务队列对应的第二数量。
本步骤具体的计算方法与S202步骤相同,只是把优先级比例换成了积压比例。例如,前台任务队列的积压系数为100,第一后台任务队列的积压缩放系数为40,第二后台任务队列的积压缩放系数为10,则积压比例为100:40:10。当空闲长度为30时,前台任务队列对应的第二数量为30*100/(100+40+10)=20,第一后台任务队列对应的第二数量为6,第二后台任务队列对应的第二数量为4。
进一步,在从各个任务队列中获取任务之后,可以将各个任务按照对应的优先级系数由大到小排列后放入总队列的队尾,以便尽快执行高优先级任务。
进一步,为了根据分布式文件系统的运行状况调节任务调度操作,还可以获取参数调节指令,参数调节指令由控制人员输入,用于对某个或某些参数的大小进行调整。参数可以包括第一阈值、第二阈值、各个任务队列对应的优先级系数和各个任务队列对应的积压缩放系数。
基于上述任一发明实施例,在一种可能的情况下,某个或某些任务队列中任务的数量会小于第一数值的数量,本发明实施例将说明这种具体的任务获取方法,包括:
步骤11:判断各个任务队列中是否存在特殊任务队列;其中,特殊任务队列为任务的数量小于第一数量的任务队列。
在从任务队列中获取任务之前,先判断各个任务队列中是否存在这种特殊任务队列。当存在特殊任务队列时,可以进入步骤12;当不存在特殊任务队列时,可以进入S103步骤。
步骤12:从特殊任务队列中获取全部任务,并分别从除特殊任务队列以外的任务队列中获取对应的第一数量个任务。
当存在特殊任务队列时,则获取特殊任务队列中全部任务,并分别从正常的任务队列中获取对应的第一数量个任务。在获取任务后,将任务放入总队列的队尾。
相应的,上述任务获取方法也可以在分别从各个任务队列中获取对应的第二数量个任务时应用,即在从各个任务队列中获取对应的第二属两个任务之前,先判断各个任务队列中是否存在特殊任务队列。当不存在特殊任务队列时,可以进入S104步骤;当存在特殊任务队列时,从特殊任务队列中获取全部任务,并从除特殊任务队列以外的任务队列中获取对应的第二数量个任务,在获取任务后,将任务放入总队列的队尾。
下面对本发明实施例提供的文件系统任务调度装置进行介绍,下文描述的文件系统任务调度装置与上文描述的文件系统任务调度方法可相互对应参照。
请参考图3,图3为本发明实施例提供的一种文件系统任务调度装置的结构示意图,包括:
第一判断模块310,用于判断总队列中待处理任务的数量是否小于第一阈值;
第二判断模块320,用于若待处理任务的数量小于第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;
第一调度模块330,用于若前台任务的数量小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第一数量个任务,并将任务放入总队列的队尾;其中,任务队列包括前台任务队列和多个后台任务队列;
第二调度模块340,用于若前台任务的数量不小于第二阈值,则分别从各个任务队列中获取与任务队列对应的第二数量个任务,并将任务放入总队列的队尾。
可选的,还包括:
处理模块,用于从总队列的前端开始依次执行总队列中的待处理任务;
第一获取模块,用于获取用户应用发送的前台任务,并将前台任务放入前台任务队列的队尾;
第二获取模块,用于将文件系统产生的后台任务按照任务类型放入对应的后台任务队列的队尾。
可选的,包括:
空闲长度计算模块,用于利用第一阈值和总队列的长度计算空闲长度;
第一数量计算模块,用于获取各个任务队列的优先级系数组成的优先级比例,利用优先级比例和空闲长度计算各个任务队列对应的第一数量。
可选的,包括:
积压缩放系数获取模块,用于获取各个任务队列对应的积压缩放系数;
积压系数计算模块,用于利用优先级系数和对应的积压缩放系数相乘,得到积压系数;
第二数量计算模块,用于利用各个任务队列的积压系数组成积压比例,利用积压比例和空闲长度计算各个任务队列对应的第二数量。
可选的,第一调度模块330,包括:
排序单元,用于将任务按照对应的优先级系数由大到小排列后放入总队列的队尾。
可选的,还包括:
参数调节模块,用于获取参数调节指令,对参数调节指令指定的参数进行调整;其中,参数包括第一阈值、第二阈值、各个任务队列对应的优先级系数和各个任务队列对应的积压缩放系数。
可选的,还包括:
判断模块,用于判断各个任务队列中是否存在特殊任务队列;其中,特殊任务队列为任务的数量小于第一数量的任务队列;
任务获取模块,用于从特殊任务队列中获取全部任务,并分别从除特殊任务队列以外的任务队列中获取对应的第一数量个任务。
相应的,第一调度模块330为当各个任务队列中不存在特殊任务队列时,分别从各个任务队列中获取与任务队列对应的第一数量个任务的模块。
下面对本发明实施例提供的文件系统任务调度设备进行介绍,下文描述的文件系统任务调度设备与上文描述的文件系统任务调度方法可相互对应参照。
请参考图4,图4为本发明实施例提供的一种文件系统任务调度设备的结构示意图,该文件系统任务调度设备包括存储器、处理器,其中:
存储器410,用于保存计算机程序;
处理器420,用于执行计算机程序,以实现上述的文件系统任务调度方法。
下面对本发明实施例提供的计算机可读存储介质进行介绍,下文描述的计算机可读存储介质与上文描述的文件系统任务调度方法可相互对应参照。
本发明还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的文件系统任务调度方法的步骤。
该计算机可读存储介质可以包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应该认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系属于仅仅用来将一个实体或者操作与另一个实体或者操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其他任何变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
以上对本发明所提供的一种文件系统任务调度方法、文件系统任务调度装置、文件系统任务调度设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种文件系统任务调度方法,其特征在于,包括:
判断总队列中待处理任务的数量是否小于第一阈值;
若所述待处理任务的数量小于所述第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;
若所述前台任务的数量小于所述第二阈值,则分别从各个任务队列中获取与所述任务队列对应的第一数量个任务,并将所述任务放入所述总队列的队尾;其中,所述任务队列包括所述前台任务队列和多个后台任务队列;
若所述前台任务的数量不小于所述第二阈值,则分别从各个所述任务队列中获取与所述任务队列对应的第二数量个任务,并将所述任务放入所述总队列的队尾;
所述第一数量的计算过程,包括:
利用所述第一阈值和所述总队列的长度计算空闲长度;
获取各个所述任务队列的优先级系数组成的优先级比例,利用所述优先级比例和所述空闲长度计算各个所述任务队列对应的所述第一数量;
所述第二数量的计算过程,包括:
获取各个所述任务队列对应的积压缩放系数;
利用所述优先级系数和对应的所述积压缩放系数相乘,得到积压系数;
利用各个所述任务队列的积压系数组成积压比例,利用所述积压比例和所述空闲长度计算各个所述任务队列对应的所述第二数量;
其中,各个任务队列的第一数值之和小于总队列的长度与第一阈值之差,前台任务队列的第二数量大于第一数量。
2.根据权利要求1所述的文件系统任务调度方法,其特征在于,在所述判断总队列中待处理任务的数量是否小于第一阈值之前,还包括:
从所述总队列的前端开始依次执行所述总队列中的所述待处理任务;
获取用户应用发送的前台任务,并将所述前台任务放入所述前台任务队列的队尾;
将文件系统产生的后台任务按照任务类型放入对应的所述后台任务队列的队尾。
3.根据权利要求1所述的文件系统任务调度方法,其特征在于,所述将所述任务放入所述总队列的队尾,包括:
将所述任务按照对应的优先级系数由大到小排列后放入所述总队列的队尾。
4.根据权利要求3所述的文件系统任务调度方法,其特征在于,还包括:
获取参数调节指令,对所述参数调节指令指定的参数进行调整;其中,所述参数包括所述第一阈值、所述第二阈值、各个所述任务队列对应的所述优先级系数和各个所述任务队列对应的所述积压缩放系数。
5.根据权利要求1-4任一项所述的文件系统任务调度方法,其特征在于,在所述分别从各个任务队列中获取与所述任务队列对应的第一数量个任务之前,还包括:
判断各个所述任务队列中是否存在特殊任务队列;其中,所述特殊任务队列为所述任务的数量小于所述第一数量的任务队列;
若否,则执行所述分别从各个任务队列中获取与所述任务队列对应的第一数量个任务的操作;
若是,则从所述特殊任务队列中获取全部任务,并分别从除所述特殊任务队列以外的任务队列中获取对应的第一数量个任务。
6.一种文件系统任务调度装置,其特征在于,包括:
第一判断模块,用于判断总队列中待处理任务的数量是否小于第一阈值;
第二判断模块,用于若所述待处理任务的数量小于所述第一阈值,则判断前台任务队列中前台任务的数量是否小于第二阈值;
第一调度模块,用于若所述前台任务的数量小于所述第二阈值,则分别从各个任务队列中获取与所述任务队列对应的第一数量个任务,并将所述任务放入所述总队列的队尾;其中,所述任务队列包括所述前台任务队列和多个后台任务队列;
第二调度模块,用于若所述前台任务的数量不小于所述第二阈值,则分别从各个所述任务队列中获取与所述任务队列对应的第二数量个任务,并将所述任务放入所述总队列的队尾;
空闲长度计算模块,用于利用第一阈值和总队列的长度计算空闲长度;
第一数量计算模块,用于获取各个任务队列的优先级系数组成的优先级比例,利用优先级比例和空闲长度计算各个任务队列对应的第一数量;
积压缩放系数获取模块,用于获取各个任务队列对应的积压缩放系数;
积压系数计算模块,用于利用优先级系数和对应的积压缩放系数相乘,得到积压系数;
第二数量计算模块,用于利用各个任务队列的积压系数组成积压比例,利用积压比例和空闲长度计算各个任务队列对应的第二数量;
其中,各个任务队列的第一数值之和小于总队列的长度与第一阈值之差,前台任务队列的第二数量大于第一数量。
7.一种文件系统任务调度设备,其特征在于,包括存储器和处理器,其中:
所述存储器,用于保存计算机程序;
所述处理器,用于执行所述计算机程序,以实现如权利要求1至5任一项所述的文件系统任务调度方法。
8.一种计算机可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的文件系统任务调度方法。
CN201911025105.1A 2019-10-25 2019-10-25 一种文件系统任务调度方法、装置、设备及可读存储介质 Active CN110781145B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911025105.1A CN110781145B (zh) 2019-10-25 2019-10-25 一种文件系统任务调度方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911025105.1A CN110781145B (zh) 2019-10-25 2019-10-25 一种文件系统任务调度方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN110781145A CN110781145A (zh) 2020-02-11
CN110781145B true CN110781145B (zh) 2022-04-22

Family

ID=69386646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911025105.1A Active CN110781145B (zh) 2019-10-25 2019-10-25 一种文件系统任务调度方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN110781145B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111586088B (zh) * 2020-03-11 2023-04-07 安超云软件有限公司 一种同步流量控制方法、系统、装置及可读存储介质
US11314547B1 (en) * 2020-03-27 2022-04-26 Amazon Technologies, Inc. Background task scheduling based on shared background bandwidth
CN111831436A (zh) * 2020-07-01 2020-10-27 Oppo广东移动通信有限公司 Io请求的调度方法、装置、存储介质及电子设备
CN112114971A (zh) * 2020-09-28 2020-12-22 中国建设银行股份有限公司 一种任务分配方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715236A (zh) * 2008-10-06 2010-05-26 中国移动通信集团设计院有限公司 移动通信资源分组调度方法
CN104035818A (zh) * 2013-03-04 2014-09-10 腾讯科技(深圳)有限公司 多任务调度的方法及装置
CN105824702A (zh) * 2016-03-22 2016-08-03 乐视云计算有限公司 一种管理程序内存占用量的方法和终端
WO2017028724A1 (zh) * 2015-08-19 2017-02-23 阿里巴巴集团控股有限公司 一种业务请求调整方法及设备
CN108009006A (zh) * 2016-11-02 2018-05-08 华为技术有限公司 I/o请求的调度方法及装置
CN108287753A (zh) * 2017-12-29 2018-07-17 珠海国芯云科技有限公司 计算机系统快速调度方法及装置
CN109766172A (zh) * 2018-12-13 2019-05-17 中国平安财产保险股份有限公司 一种异步任务调度方法以及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728166B2 (en) * 2017-06-27 2020-07-28 Microsoft Technology Licensing, Llc Throttling queue for a request scheduling and processing system
US11150944B2 (en) * 2017-08-18 2021-10-19 International Business Machines Corporation Balancing mechanisms in ordered lists of dispatch queues in a computational device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715236A (zh) * 2008-10-06 2010-05-26 中国移动通信集团设计院有限公司 移动通信资源分组调度方法
CN104035818A (zh) * 2013-03-04 2014-09-10 腾讯科技(深圳)有限公司 多任务调度的方法及装置
WO2017028724A1 (zh) * 2015-08-19 2017-02-23 阿里巴巴集团控股有限公司 一种业务请求调整方法及设备
CN106470169A (zh) * 2015-08-19 2017-03-01 阿里巴巴集团控股有限公司 一种业务请求调整方法及设备
CN105824702A (zh) * 2016-03-22 2016-08-03 乐视云计算有限公司 一种管理程序内存占用量的方法和终端
CN108009006A (zh) * 2016-11-02 2018-05-08 华为技术有限公司 I/o请求的调度方法及装置
CN108287753A (zh) * 2017-12-29 2018-07-17 珠海国芯云科技有限公司 计算机系统快速调度方法及装置
CN109766172A (zh) * 2018-12-13 2019-05-17 中国平安财产保险股份有限公司 一种异步任务调度方法以及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Multi-level queue for task scheduling in heterogeneous distributed computing system;Tarun Biswas et al.;《2017 4th International Conference on Advanced Computing and Communication Systems (ICACCS)》;20170824;第1-6页 *
一种不影响任务集合可调度性的优先级映射算法;王保进等;《计算机研究与发展》;20060628;第43卷(第06期);第1083-1089页 *

Also Published As

Publication number Publication date
CN110781145A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110781145B (zh) 一种文件系统任务调度方法、装置、设备及可读存储介质
CN113535367B (zh) 任务调度方法及相关装置
EP3129880B1 (en) Method and device for augmenting and releasing capacity of computing resources in real-time stream computing system
CN110096353B (zh) 任务调度方法及装置
US7681196B2 (en) Providing optimal number of threads to applications performing multi-tasking using threads
CN111104227B (zh) 一种K8s平台的资源控制方法、装置及相关组件
CN111061556A (zh) 执行优先级任务的优化方法、装置、计算机设备及介质
CN115562843B (zh) 一种容器集群算力调度方法及相关装置
US20150100964A1 (en) Apparatus and method for managing migration of tasks between cores based on scheduling policy
CN112148468A (zh) 一种资源调度方法、装置、电子设备及存储介质
US9886320B2 (en) Method for prioritizing tasks queued at a server system
CN115454602A (zh) 一种任务调度方法、装置及设备
CN106775975B (zh) 进程调度方法及装置
CN116708451A (zh) 一种边云协同调度方法及系统
CN112559179A (zh) 一种作业处理方法和装置
CN110716809B (zh) 用于调度云资源的方法和装置
CN116594753A (zh) 任务调度方法、装置、电子设备、存储介质及程序产品
CN109189581B (zh) 一种作业调度方法和装置
CN115309527A (zh) 多任务调度方法、装置及电子设备
CN112685158B (zh) 一种任务调度方法、装置、电子设备及存储介质
JP2020024636A (ja) スケジューリング装置、スケジューリングシステム、スケジューリング方法及びプログラム
EP3657331B1 (en) Module assignment management
CN113032369A (zh) 一种数据迁移方法、装置及介质
CN109947613B (zh) 文件读取测试方法和装置
CN113449994A (zh) 任务单的分配方法、装置、电子设备、介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant