CN113467915A - 作业调度方法、装置、计算机设备及可读存储介质 - Google Patents

作业调度方法、装置、计算机设备及可读存储介质 Download PDF

Info

Publication number
CN113467915A
CN113467915A CN202110788421.5A CN202110788421A CN113467915A CN 113467915 A CN113467915 A CN 113467915A CN 202110788421 A CN202110788421 A CN 202110788421A CN 113467915 A CN113467915 A CN 113467915A
Authority
CN
China
Prior art keywords
job
duration
priority
scheduling
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110788421.5A
Other languages
English (en)
Inventor
胡梦龙
张涛
吕灼恒
原帅
王家尧
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Shuguang International Information Industry Co ltd
Original Assignee
Zhongke Shuguang International Information Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Shuguang International Information Industry Co ltd filed Critical Zhongke Shuguang International Information Industry Co ltd
Priority to CN202110788421.5A priority Critical patent/CN113467915A/zh
Publication of CN113467915A publication Critical patent/CN113467915A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00Indexing scheme relating to G06F9/00
    • G06F2209/48Indexing scheme relating to G06F9/48
    • G06F2209/484Precedence

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Stored Programmes (AREA)

Abstract

本申请实施例提供一种作业调度方法、装置、计算机设备及可读存储介质。该方法包括:根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子;利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大的作业时长;根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级,基于调度优先级调度目标作业。能够基于作业时长实现作业调度,通过引入作业时长提高了作业调度的合理性以及准确性。

Description

作业调度方法、装置、计算机设备及可读存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种作业调度方法、装置、计算机设备及可读存储介质。
背景技术
Slurm是一种开源的、高性能的基于计算集群的作业调度系统。Slurm系统中,Slurm服务器接收Slurm客户端提交的作业后,根据作业的参数值以及参数的权重系数计算该参数的优先级,然后将多项参数的优先级累加得到作业的综合优先级。最后,按照各个作业的优先级进行调度,为作业分配计算节点。
在实际运行中,作业的作业时长(walltime)可以指示作业运行时长。但是,Slurm系统目前并未提供基于walltime的优先级算法,作业优先级的合理性、准确性有限。也就是说,Slurm服务器根据计算所得的作业优先级进行调度作业时,也不会考虑实际的作业时长,因此导致调度效果合理性欠缺,调度的准确性也十分有限。
发明内容
本申请实施例提供一种作业调度方法、装置、计算机设备及可读存储介质,能够降低国际化代码文件的生成成本,提高国际化代码文件的创建效率。
第一方面,提供了一种作业调度方法,包括:
根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子;
利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大作业时长;
根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级,基于调度优先级调度目标作业。
本申请中,在计算作业的调度优先级时加入了“作业时长”这一项参数,可以基于作业时长实现作业调度,通过引入作业时长提高了作业调度的合理性以及准确性。另外,利用作业时长限值对作业时长的优先级因子进行均衡处理,缩短了各个业务(作业)的作业时长的优先级因子之间的差距,保证了作业时长的优先级因子的均衡性,从而也保证了作业优先级的合理性,从而可以保证服务器进行合理、准确地作业调度。
结合第一方面,在第一方面的第一种可能的实现方式中,根据作业时长以及目标作业的优先权权重系数确定目标作业的初始优先级因子,包括:
计算作业时长与作业时长权重系数的乘积,将乘积作为初始优先级因子。
本申请还提供了初始优先级因子的具体计算方式,根据参数的具体数值与参数对应的权重系数,计算参数的优先级因子。
结合第一方面,在第一方面的第二种可能的实现方式中,利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子,包括:
利用作业时长限值对初始优先级因子进行除运算,将运算所得结果作为时长优先级因子。
本申请中,利用作业时长WallTime限值对作业时长这一项的优先级因子做了限制,能够均衡各个参数的优先级贡献度,避免作业异常walltime过长,导致作业时长的优先级因子过大,使得其他作业的其他参数的优先级因子失效,作业最终优先级取决于作业时长,丧失了优先级的合理性,使得服务器的调度也失去合理性和准确性。
结合第一方面,在第一方面的第三种可能的实现方式中,根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级,包括:
对其他参数的优先级因子和时长优先级因子进行求和运算,将运算所得结果确定为目标作业的调度优先级。
本申请还提供了目标作业的调度优先级的具体计算方式,可以对各个参数的优先级因子求和,获得作业最终的调度优先级。
结合第一方面,在第一方面的第四种可能的实现方式中,所述方法还包括:
从客户端接收作业调度请求;作业调度请求包括目标作业的作业时长以及目标作业的作业内容;
从作业调度系统的配置文件中获取作业时长权重系数与作业时长限值;
根据作业时长权重系数、作业时长限值、目标作业的作业时长以及作业内容创建目标作业的结构体;结构体为执行作业调度的数据单元。
本申请中,在接收客户端发送的作业调度请求后,需要根据作业的关键信息构建作业的结构体。由于服务器进行作业调度的数据单元是结构体,因此为作业构建结构体能够保证作业被服务器调度。
结合第一方面,在第一方面的第五种可能的实现方式中,所述方法还包括:
从结构体中获取作业时长权重系数、作业时长限值以及目标作业的作业时长。
本申请中,在计算目标作业的优先级之前,需要从目标作业的结构体中获取与优先级先关的关键信息,以便后续可以基于获取到的关键信息计算作业的调度优先级。
结合第一方面,在第一方面的第六种可能的实现方式中,所述基于调度优先级调度目标作业,包括:
根据目标作业的调度优先级确定结构体的执行优先级;
基于执行优先级执行结构体。
本申请中,作业调度的数据单元是结构体,根据作业本身的调度优先级标定相应结构体的优先级,作业的优先级与结构体的优先级保持一致,可以使得服务器按照正确的调度顺序调度作业。
第二方面,提供了一种作业调度装置,包括:
计算单元,用于根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子;
计算单元,用于利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大作业时长;
计算单元,用于根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级;
调度单元,用于基于调度优先级调度目标作业。。
第三方面,提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,其特征在于,处理器执行计算机程序时实现上述第一方面所述的方法的步骤。
第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时实现上述第一方面所述的方法的步骤。
本申请实施例提供一种作业调度方法、装置、计算机设备及可读存储介质,根据目标作业的作业时长以及“作业时长”这项参数对应的权重系数计算作业时长的初始优先级因子。还可以根据作业时长限值对初始优先级因子进行均衡处理,获得目标作业的时长优先级因子。最后根据目标作业的其他参数的优先级因子以及上述时长优先级因子确定目标作业的调度优先级。在计算作业的调度优先级时加入了“作业时长”这一项参数,可以基于作业时长(walltime)实现作业调度,通过引入作业的walltime提高了作业调度的合理性以及准确性。另外,利用作业时长限值对作业时长的优先级因子进行均衡处理,缩短了各个业务(作业)的作业时长的优先级因子之间的差距,保证了作业时长的优先级因子的均衡性,从而也保证了作业优先级的合理性,从而可以保证服务器进行合理、准确地作业调度。
附图说明
图1为本申请实施例提供的系统架构的示意图;
图2为本申请实施例提供的作业调度方法的流程示意图;
图3为本申请实施例提供的作业调度方法的另一流程示意图;
图4为本申请实施例提供的作业调度装置的结构框图;
图5为本申请实施例提供的作业调度装置的结构框图;
图6为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
首先,为方便对本申请实施例所提供技术方法的理解,对本申请实施例涉及的术语进行解释说明:
(1)作业时长(walltime)
walltime也可以称为real-world time或wall-block time,指的是用计时器(如手表或挂钟)度量的实际时间。Walltime可以用来记录作业的实际作业时长。例如,在作业开始执行的时刻启动计时器,在作业结束的时刻停止计时器,则计时器的计时时长为作业的walltime。
本申请实施例提供的方法适用于图1所示的系统架构。图1所示架构包括客户端10和服务器20以及计算节点30。其中,客户端10可以是安装在用户的计算机设备上的应用程序,服务器20用于支持客户端10提供的服务的后台实现,计算节点30可以是分布式计算集群中的计算机设备,具备较高的运算力。客户端10提供的服务可以是作业调度,例如,客户端10可以是slurm客户端,服务器20可以是slurm服务器。
具体实现中,用户可以登录计算机设备的客户端提交作业(或任务),客户端10向服务器20发送用户的作业信息(作业内容、作业类型、作业时长walltime等)。服务器20可以根据作业信息确定作业的优先级,基于作业的优先级进行作业调度,为用户的作业分配计算节点,由计算节点执行用户提交的作业。
但是,目前的技术方案中并未基于walltime进行作业调度,在忽略作业时长的前提下进行作业调度,导致调度效果合理性欠缺,调度的准确性也十分有限。
基于此,本申请提供一种作业调度方法,适用于图1所示的服务器。如图2所示,该方法包括以下步骤:
步骤201、根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子。
其中,目标作业可以是客户端提交的作业。当客户端提交作业后,触发目标作业的优先级计算流程,以基于作业优先级进行作业调度。例如,安装优先级由高到低的顺序依次调度作业。
示例性的,目标作业的作业时长可以是目标作业的walltime,作业时长权重系数是作业时长这一参数参与到作业优先级计算时,实际的作业时长对应的权重系数。因此,可以根据目标作业的作业时长以及作业时长权重系数来确定“作业时长”这一项参数对应的优先级数值,即本申请实施例所述的初始优先级因子。
需要说明的是,在计算作业的优先级时,需要综合考虑多项参数相应的优先级数值(也可以称为优先级因子)。本申请实施例旨在计算作业优先级时考虑作业时长,因此在步骤201中首先计算作业时长这一项参数对应的优先级数值,以便后续基于作业时长的优先级因子计算作业的优先级。
步骤202、利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大作业时长。
需要说明的是,不同作业的作业时长不同,尤其是某些作业异常运行时,作业时长会远远超过其他正常运行的作业的时长。如果仅仅考虑作业时长的优先级因子,就会导致作业时长过长的作业的优先级因子始终大于其他作业,也就意味着当业务异常作业时长较长时,作业也有可能有限被调度。
为了避免上述问题的出现,本申请实施例步骤202对作业时长的优先级因子进行均衡处理,避免异常作业的作业时长过长对作业优先级造成干扰的问题。
具体实现中,可以根据作业时长限值对初始优先级因子进行数值均衡处理,将处理所得结果作为作业时长这一项参数的优先级因子。
其中,作业时长限值为预设的最大作业时长。具体实现中,可以根据历史处理作业的作业时长来设置该作业时长限值,作业时长限值可以涵盖大部分作业的作业时长需求。通过作业时长限值对作业时长的优先级因子进行均衡处理,可以避免异常作业的作业时长过长对作业优时长的优先级因子造成干扰,得到较为合理的优先级因子。
一种可能的实现方式中,均衡处理可以是利用作业时长限值对作业时长的初始时长优先级因子进行换算,减小各个作业的作业时长因子之间的差值。
步骤203、根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级,基于调度优先级调度目标作业。
其中,目标作业的其他参数可以是参与优先级计算的其它参数,例如,可以是目标作业的类型、作业内容等。
具体实现中,可以根据其他参数的取值以及参数对应的权重系数,计算参数的优先级因子。例如,根据目标作业的类型以及“类型”这一项参数对应的权重系数计算目标作业的类型对应的优先级因子。
最后,还可以根据各个参数的优先级因子以及时长优先级因子确定目标作业最终的优先级,即本申请实施例所述的调度优先级。具体实现中,可以对目标作业的其他参数的优先级因子以及时长优先级因子进行运算,得到的数值可以体现各个参数的优先级的贡献度。该数值可以作为目标作业的调度优先级。
本申请实施例提供的方法中,可以根据目标作业的作业时长以及“作业时长”这项参数对应的权重系数计算作业时长的初始优先级因子。还可以根据作业时长限值对初始优先级因子进行均衡处理,获得目标作业的时长优先级因子。最后根据目标作业的其他参数的优先级因子以及上述时长优先级因子确定目标作业的调度优先级。在计算作业的调度优先级时加入了“作业时长”这一项参数,可以基于作业时长(walltime)实现作业调度,通过引入作业的walltime提高了作业调度的合理性以及准确性。另外,利用作业时长限值对作业时长的优先级因子进行均衡处理,缩短了各个业务(作业)的作业时长的优先级因子之间的差距,保证了作业时长的优先级因子的均衡性,从而也保证了作业优先级的合理性,从而可以保证服务器进行合理、准确地作业调度。
在本申请的一个实施例中,可以根据参数的具体数值与参数对应的权重系数,计算参数的优先级因子。以作业时长为例,前文涉及的“根据作业时长以及目标作业的优先权权重系数确定目标作业的初始优先级因子”的具体实现步骤可以是:计算作业时长与作业时长权重系数的乘积,将该乘积作为初始优先级因子。
本申请实施例提供的方法中,提供了优先级因子的具体计算方法,根据作业的参数以及参数的权重系数计算参数的优先级因子,以便后续根据各个参数的优先级因子确定作业的调度优先级。
在本申请的一个实施例中,可以利用作业时长限值对作业时长的初始优先级因子进行数值均衡处理,旨在均衡“作业时长”这一项参数的优先级贡献度。前文涉及的利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子的具体实现包括:利用作业时长限值对初始优先级因子进行除运算,将运算所得结果作为时长优先级因子。
示例性的,目标作业的作业时长的初始优先级因子=作业时长权重系数*作业walltime,利用作业时长限值(以下简称WallTime限值)对初始优先级因子进行换算。
具体的,作业时长的优先级因子=初始优先级因子/WallTime限值。利用WallTime限值对作业时长这一项的优先级因子做了限制,能够均衡各个参数的优先级贡献度,避免作业异常walltime过长,导致作业时长的优先级因子过大,使得其他作业的其他参数的优先级因子失效,作业最终优先级取决于作业时长,丧失了优先级的合理性,使得服务器的调度也失去合理性和准确性。
例如,服务器带处理的作业有作业1、作业2以及作业3。其中,作业1、作业2为正常运行的作业,walltime分别为6天、5天,作业3为异常业务,walltime为30天。如果只考虑walltime的值,根据walltime的值*权重系数计算各个作业的优先级,作业3的优先级远远大于其他作业,优先级失去合理性。示例性的,作业时长的权重系数是0.3,则作业1、作业2、作业3的优先级因子分别为:1.8、1.5、9,作业3的优先级因子远远大于其他作业。
但是,系统可以设置一个较大的walltime限值,例如9天,则walltime限值参与到优先级因子的计算中后,作业1、作业2、作业3的优先级因子分别为:0.2、0.17、1,大大缩短了各个业务的作业时长的优先级因子之间的差距,保证了作业时长的优先级因子的均衡性,以及作业优先级的合理性,从而可以保证服务器进行合理、准确地作业调度。
在本申请的一个实施例中,还可以对各个参数的优先级因子求和,获得作业最终的调度优先级。示例性的,前文涉及的根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级的具体实现包括:对其他参数的优先级因子和时长优先级因子进行求和运算,将运算所得结果确定为目标作业的调度优先级。
例如,根据目标作业的类型计算的优先级因子为a,根据目标作业的作业内容计算的优先级因子为b,目标作业的时长优先级因子为c,则目标作业的调度优先级为a+b+c。
本申请实施例提供了根据作业的各个参数的优先级因子计算作业的调度优先级的具体实现方式,便于后续基于作业的调度优先级进行作业调度。
在本申请的一个实施例中,可以为客户端提交的每一个作业构建结构体,结构体为执行作业调度的数据单元,服务器可以基于结构体进行作业调度。示例的,参考图3,本申请实施例所述的作业调度方法还包括:
步骤301、从客户端接收作业调度请求;作业调度请求包括目标作业的作业时长以及目标作业的作业内容。
具体实现中,客户端生成作业后,可以向客户端发送作业调度请求,请求服务器为作业分配计算节点来执行作业。相应的,服务器可以接收客户端发送的作业调度请求。
示例性的,作业调度请求可以包括作业时长以及作业内容。其中,作业时长可以是作业的walltime,服务器可以基于作业时长计算作业的优先级。作业内容包括作业涉及的数据,服务器将作业分配给计算节点后,计算节点可以对作业内容进行计算,获得作业的执行结果。
步骤302、从作业调度系统的配置文件中获取作业时长权重系数与作业时长限值。
具体实现中,在作业调度系统的系统级配置文件中增加两个配置项,分别是作业时长权重系数(Priority Weight WallTime)与作业时长限值(Priority Max WallTim)。例如,本申请实施例所述的方法应用于slurm系统时,在slurm的全局配置中保存上述两个参数。
响应于客户端发送的作业调度请求,服务器从作业调度系统的配置文件中获取作业时长权重系数与作业时长限值,以便后续基于获取作业时长权重系数与作业时长限值计算目标作业的调度优先级,使得服务器可以根据目标作业的调度优先级对目标作业进行调度。
步骤303、根据作业时长权重系数、作业时长限值、目标作业的作业时长以及作业内容创建目标作业的结构体。
其中,结构体为执行作业调度的数据单元。为了方便服务器对目标作业进行调度,需要构建目标作业的结构体。另外,在目标作业的结构体中加入目标作业的关键信息,便于服务器读取结构体时可以获取到目标作业的关键信息,基于,目标作业的关键信息进行作业调度。
例如,结构体中包括作业时长权重系数、作业时长限值、作业时长,以便服务器基于这些参数计算作业的调度优先级;结构体中包括作业内容,以便服务器将作业内容提交给相应的计算节点执行计算。
本申请实施例提供的方法中,在接收客户端发送的作业调度请求后,需要根据作业的关键信息构建作业的结构体。由于服务器进行作业调度的数据单元是结构体,因此为作业构建结构体能够保证作业被服务器调度。
在本申请的一个实施例中,在计算目标作业的优先级之前,需要从目标作业的结构体中获取与优先级先关的关键信息,例如,从结构体中获取作业时长权重系数、作业时长限值以及目标作业的作业时长。
在本申请的一个实施例中,还提供了基于调度优先级进行作业调度的具体实现方式。例如,前文所述的基于调度优先级调度目标作业,包括:
根据目标作业的调度优先级确定结构体的执行优先级;基于执行优先级执行结构体。
也就是说,作业调度的数据单元是结构体,根据作业本身的调度优先级标定相应结构体的优先级,作业的优先级与结构体的优先级保持一致,可以使得服务器按照正确的调度顺序调度作业。
本申请实施例提供一种作业调度装置,如图4所示,该装置包括计算单元401以及调度单元402。
计算单元401,用于根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子;
计算单元401,用于利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大的作业时长;
计算单元401,用于根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级;
调度单元402,用于基于调度优先级调度目标作业。
在一种实现方式中,计算单元401具体用于,计算作业时长与作业时长权重系数的乘积,将乘积作为初始优先级因子。
在一个实现方式中,计算单元401,具体用于利用作业时长限值对初始优先级因子进行除运算,将运算所得结果作为时长优先级因子。
在一个实现方式中,计算单元401,具体用于对其他参数的优先级因子和时长优先级因子进行求和运算,将运算所得结果确定为目标作业的调度优先级。
参考图5,该装置还包括通信单元403以及构建单元404。
通信单元403,用于从客户端接收作业调度请求;作业调度请求包括目标作业的作业时长以及目标作业的作业内容;
构建单元404,用于从作业调度系统的配置文件中获取作业时长权重系数与作业时长限值;
构建单元404,用于根据计算单元401获取的作业时长权重系数、作业时长限值、目标作业的作业时长以及作业内容创建目标作业的结构体;结构体为执行作业调度的数据单元。
计算单元401,用于从结构体中获取作业时长权重系数、作业时长限值以及目标作业的作业时长。
调度单元402,用于根据目标作业的调度优先级确定结构体的执行优先级;
基于执行优先级执行结构体。
本申请实施例还提供了一种计算机设备,该计算机设备可以是前文所述的数据源设备。其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库可以存储配置信息、权限信息等。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现本申请实施例图6所示的方法中由服务器执行的步骤。
示例的,该计算机程序被处理器执行时以实现:
根据目标作业的作业时长以及作业时长权重系数确定目标作业的初始优先级因子;
利用作业时长限值对初始优先级因子进行数值均衡处理,获得目标作业的时长优先级因子;作业时长限值为预设的最大的作业时长;
根据目标作业的其他参数的优先级因子以及时长优先级因子确定目标作业的调度优先级,基于调度优先级调度目标作业。
在一个实施例中,该计算机程序被处理器执行时以实现:计算作业时长与作业时长权重系数的乘积,将乘积作为初始优先级因子。
在一个实施例中,该计算机程序被处理器执行时以实现:利用作业时长限值对初始优先级因子进行除运算,将运算所得结果作为时长优先级因子。
在一个实施例中,该计算机程序被处理器执行时以实现:对其他参数的优先级因子和时长优先级因子进行求和运算,将运算所得结果确定为目标作业的调度优先级。
在一个实施例中,该计算机程序被处理器执行时以实现:从客户端接收作业调度请求;作业调度请求包括目标作业的作业时长以及目标作业的作业内容;
从作业调度系统的配置文件中获取作业时长权重系数与作业时长限值;
根据作业时长权重系数、作业时长限值、目标作业的作业时长以及作业内容创建目标作业的结构体;结构体为执行作业调度的数据单元。
在一个实施例中,该计算机程序被处理器执行时以实现:从结构体中获取作业时长权重系数、作业时长限值以及目标作业的作业时长。
在一个实施例中,该计算机程序被处理器执行时以实现:根据目标作业的调度优先级确定结构体的执行优先级;
基于执行优先级执行结构体。
本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,计算机程序被处理器执行时本申请实施例图2或图3所示的方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种作业调度方法,其特征在于,包括:
根据目标作业的作业时长以及作业时长权重系数确定所述目标作业的初始优先级因子;
利用作业时长限值对所述初始优先级因子进行数值均衡处理,获得所述目标作业的时长优先级因子;所述作业时长限值为预设的最大作业时长;
根据所述目标作业的其他参数的优先级因子以及所述时长优先级因子确定所述目标作业的调度优先级,基于所述调度优先级调度所述目标作业。
2.根据权利要求1所述的方法,其特征在于,所述根据作业时长以及所述目标作业的优先权权重系数确定所述目标作业的初始优先级因子,包括:
计算所述作业时长与所述作业时长权重系数的乘积,将所述乘积作为所述初始优先级因子。
3.根据权利要求1所述的方法,其特征在于,所述利用作业时长限值对所述初始优先级因子进行数值均衡处理,获得所述目标作业的时长优先级因子,包括:
利用所述作业时长限值对所述初始优先级因子进行除运算,将运算所得结果作为所述时长优先级因子。
4.根据权利要求1所述方法,其特征在于,所述根据所述目标作业的其他参数的优先级因子以及所述时长优先级因子确定所述目标作业的调度优先级,包括:
对所述其他参数的优先级因子和所述时长优先级因子进行求和运算,将运算所得结果确定为所述目标作业的调度优先级。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从客户端接收作业调度请求;所述作业调度请求包括所述目标作业的作业时长以及所述目标作业的作业内容;
从作业调度系统的配置文件中获取所述作业时长权重系数与所述作业时长限值;
根据所述作业时长权重系数、所述作业时长限值、所述目标作业的作业时长以及所述作业内容创建所述目标作业的结构体;所述结构体为执行作业调度的数据单元。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
从所述结构体中获取所述作业时长权重系数、所述作业时长限值以及所述目标作业的作业时长。
7.根据权利要求5所述的方法,其特征在于,所述基于所述调度优先级调度所述目标作业,包括:
根据所述目标作业的调度优先级确定所述结构体的执行优先级;
基于所述执行优先级执行所述结构体。
8.一种作业调度装置,其特征在于,包括:
计算单元,用于根据目标作业的作业时长以及作业时长权重系数确定所述目标作业的初始优先级因子;
所述计算单元,用于利用作业时长限值对所述初始优先级因子进行数值均衡处理,获得所述目标作业的时长优先级因子;所述作业时长限值为预设的最大作业时长;
所述计算单元,用于根据所述目标作业的其他参数的优先级因子以及所述时长优先级因子确定所述目标作业的调度优先级;
调度单元,用于基于所述调度优先级调度所述目标作业。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。
CN202110788421.5A 2021-07-13 2021-07-13 作业调度方法、装置、计算机设备及可读存储介质 Pending CN113467915A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110788421.5A CN113467915A (zh) 2021-07-13 2021-07-13 作业调度方法、装置、计算机设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110788421.5A CN113467915A (zh) 2021-07-13 2021-07-13 作业调度方法、装置、计算机设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113467915A true CN113467915A (zh) 2021-10-01

Family

ID=77879956

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110788421.5A Pending CN113467915A (zh) 2021-07-13 2021-07-13 作业调度方法、装置、计算机设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113467915A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681484A (zh) * 2018-04-04 2018-10-19 阿里巴巴集团控股有限公司 一种任务的分配方法、装置及设备
CN110297701A (zh) * 2019-05-16 2019-10-01 平安科技(深圳)有限公司 数据处理作业调度方法、装置、计算机设备及存储介质
CN111897637A (zh) * 2020-07-15 2020-11-06 重庆紫光华山智安科技有限公司 作业调度方法、装置、主机及存储介质
US20210117280A1 (en) * 2019-10-21 2021-04-22 EMC IP Holding Company LLC Method, device, and computer program product for scheduling backup jobs

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108681484A (zh) * 2018-04-04 2018-10-19 阿里巴巴集团控股有限公司 一种任务的分配方法、装置及设备
CN110297701A (zh) * 2019-05-16 2019-10-01 平安科技(深圳)有限公司 数据处理作业调度方法、装置、计算机设备及存储介质
US20210117280A1 (en) * 2019-10-21 2021-04-22 EMC IP Holding Company LLC Method, device, and computer program product for scheduling backup jobs
CN111897637A (zh) * 2020-07-15 2020-11-06 重庆紫光华山智安科技有限公司 作业调度方法、装置、主机及存储介质

Similar Documents

Publication Publication Date Title
US10616370B2 (en) Adjusting cloud-based execution environment by neural network
CN106886603B (zh) 一种需求响应资源组合优化的分层分布式体系架构和方法
US7467291B1 (en) System and method for calibrating headroom margin
JP6699891B2 (ja) 電子装置、方法及び情報処理システム
WO2016009311A1 (en) System and method for electronic work prediction and dynamically adjusting server resources
US20170237684A1 (en) Decentralized resource allocation
CN108205469B (zh) 一种基于MapReduce的资源分配方法及服务器
CN107911399B (zh) 一种基于负载预测的弹性伸缩方法及系统
CN110347515B (zh) 一种适合边缘计算环境的资源优化分配方法
CN111381963B (zh) 负载均衡方法、装置、计算机可读存储介质和计算机设备
CN109558248B (zh) 一种用于确定面向海洋模式计算的资源分配参数的方法及系统
CN103699443A (zh) 任务分发方法及扫描器
CN114461389A (zh) 服务器集群的负载均衡方法、装置及电子设备
CN111310105A (zh) 一种确定用工方案的方法及装置
Cao et al. Distributed workflow mapping algorithm for maximized reliability under end-to-end delay constraint
CN113467915A (zh) 作业调度方法、装置、计算机设备及可读存储介质
Kumar et al. Load balancing algorithm to minimize the makespan time in cloud environment
CN111475297B (zh) 一种作业柔性配置方法
Ghanbari Priority-aware job scheduling algorithm in cloud computing: A multi-criteria approach
US20110004884A1 (en) Performance degradation based at least on computing application priority and in a relative manner that is known and predictable beforehand
CN109032779A (zh) 任务处理方法、装置、计算机设备及可读存储介质
CN111176814B (zh) 一种任务执行方法及相关装置
Pujiyanta et al. Planning and scheduling jobs on grid computing
ZHANG et al. A dynamic feedback-based load balancing methodology
KR20060080666A (ko) 다중 프로세서 시스템에서 부하를 분배하기 위한 장치 및방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination