CN113608869A - 任务调度方法、装置、电子设备和计算机存储介质 - Google Patents

任务调度方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN113608869A
CN113608869A CN202110825105.0A CN202110825105A CN113608869A CN 113608869 A CN113608869 A CN 113608869A CN 202110825105 A CN202110825105 A CN 202110825105A CN 113608869 A CN113608869 A CN 113608869A
Authority
CN
China
Prior art keywords
task
node device
information
representing
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110825105.0A
Other languages
English (en)
Inventor
杨健
聂自非
李英斌
崔文聪
王玉全
杨娜
李烨
刘巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Media Group
Original Assignee
China Media Group
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Media Group filed Critical China Media Group
Priority to CN202110825105.0A priority Critical patent/CN113608869A/zh
Publication of CN113608869A publication Critical patent/CN113608869A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请实施例中提供了一种任务调度方法、装置、电子设备和计算机存储介质。该方法包括:获取任务;依据多个节点设备的当前负载信息和任务在多个节点设备上的预期执行信息,从多个节点设备中确定目标节点设备;将任务调度至目标节点设备。在进行任务调度分配时,不仅考虑节点设备的当前负载信息,还考虑任务在节点设备上的预期执行信息,可以多维度的衡量节点设备的资源状况,能够实现资源的最大化利用,实现负载均衡。

Description

任务调度方法、装置、电子设备和计算机存储介质
技术领域
本申请涉及计算机集群技术领域,具体地,涉及一种任务调度方法、装置、电子设备和计算机存储介质。
背景技术
在生产环境中,为了保证业务系统的处理能力与稳定性要求,通常采用集群方式进行系统构建。集群方式是指通过多台服务器去共同执行某一类业务,然后通过调度服务对任务的执行情况进行调度。
现有技术中存在的问题:
目前系统使用的调度算法无法充分利用系统资源来实现负载均衡,负载均衡效果较差。
发明内容
本申请实施例中提供了一种任务调度方法、装置、电子设备和计算机存储介质,以解决现有技术存在的问题。
根据本申请实施例的第一个方面,提供了一种任务调度方法,所述方法包括:
获取任务;
依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备;
将所述任务调度至所述目标节点设备。
根据本申请实施例的第二个方面,提供了一种任务调度方法,所述方法包括:
获取任务分片,所述任务分片是按照关键帧间隔GOP对多媒体信息编码任务进行切分得到的;
依据多个节点设备的当前负载信息和所述任务分片在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备;
将所述任务分片调度至所述目标节点设备。
根据本申请实施例的第三个方面,提供了一种任务调度装置,所述装置包括:
获取模块,用于获取任务;
确定模块,用于依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备;
调度模块,用于将所述任务调度至所述目标节点设备。
根据本申请实施例的第四个方面,提供了一种电子设备,包括存储器、以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现如上所述任务调度方法的步骤。
根据本申请实施例的第五个方面,提供了一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述任务调度方法的步骤。
采用本申请实施例中提供的任务调度方法、装置、电子设备和计算机存储介质,通过依据多个节点设备的当前负载信息和任务在多个节点设备上的预期执行信息,对任务进行调度分配。在进行任务调度分配时,不仅考虑节点设备的当前负载信息,还考虑任务在节点设备上的预期执行信息,可以多维度的衡量节点设备的资源状况,相较于现有技术中仅依据单一维度的资源使用情况进行负载均衡的方式,本申请实施例提供的方案能够实现资源的最大化利用,实现负载均衡。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本申请实施例提供的一种应用场景的示意图;
图2为本申请实施例提供的一种电子设备的结构示意图;
图3为本申请实施例提供的一种任务调度方法的流程示意图;
图4为本申请实施例提供的另一种任务调度方法的流程示意图;
图5为本申请实施例提供的又一种任务调度方法的流程示意图;
图6为本申请实施例提供的又一种任务调度方法的流程示意图;
图7为本申请实施例提供的又一种任务调度方法的流程示意图;
图8为本申请实施例提供的又一种任务调度方法的流程示意图;
图9为本申请实施例提供的一种电子设备的任务分析处理示意图;
图10为本申请实施例提供的一种任务调度装置的结构框图。
具体实施方式
在实现本申请的过程中,发明人发现,现有的调度算法中,加权轮询和fair策略考虑服务器的负载因素,进行任务调度,并不能实现负载均衡;IP Hash算法和URL Hash算法中,将客户端与服务器进行绑定,客户端的任务均调度至与其绑定的服务器,一旦与服务器绑定的客户端任务多,该服务器负载就高,也无法实现负载均衡。
针对上述问题,本申请实施例中提供了一种任务调度方法、装置、电子设备和计算机存储介质,通过依据多个节点设备的当前负载信息和任务在多个节点设备上的预期执行信息,对任务进行调度分配。在进行任务调度分配时,不仅考虑节点设备的当前负载信息,还考虑任务在节点设备上的预期执行信息,可以多维度的衡量节点设备的资源状况,相较于现有技术中仅依据单一维度的资源使用情况进行负载均衡的方式,本申请实施例提供的方案能够实现资源的最大化利用,实现负载均衡。
本申请实施例中的方案可以采用各种计算机语言实现,例如,面向对象的程序设计语言Java和直译式脚本语言JavaScript等。
为了使本申请实施例中的技术方案及优点更加清楚明白,以下结合附图对本申请的示例性实施例进行进一步详细的说明,显然,所描述的实施例仅是本申请的一部分实施例,而不是所有实施例的穷举。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
请参照图1,为本申请实施例提供的一种应用场景示意图,电子设备100与客户端200和节点设备300通过多种通信方式进行数据通信。这里可允许电子设备100通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。
客户端200用于向电子设备100发送任务。电子设备100用于采用本申请提供的任务调度方法将任务调度分配至对应的节点设备300。
其中,客户端200可以理解为用户的业务层,电子设备100可以理解为调度服务的中间层,节点设备300可以理解为执行层。电子设备100和节点设备300均可以为服务器;客户端200可以是,但不限于手机、平板电脑、可穿戴设备、车载设备、增强现实(AugmentedReality,AR)/虚拟现实(Virtual Reality,VR)设备、笔记本电脑、超级移动个人计算机(Ultra-Mobile Personal Computer,UMPC)等。
电子设备100可以采用一台服务器实现调度服务,也可以采用多台服务器联合实现调度服务。
如图2所示,为本申请实施例提供的一种电子设备100的结构示意图,该电子设备100包括存储器101、处理器102和通信接口103。该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,如本申请实施例所提供的任务调度方法对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与节点设备300和客户端200进行信令或数据的通信。在本申请中该电子设备100可以具有多个通信接口103。
其中,存储器101可以是但不限于,随机存取存储器(Random Access Memory,RAM),只读存储器(Read Only Memory,ROM),可编程只读存储器(Programmable Read-OnlyMemory,PROM),可擦除只读存储器(Erasable Programmable Read-Only Memory,EPROM),电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory,EEPROM)等。
处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
下面在图2示出的电子设备100的基础上,本申请实施例提供一种任务调度方法,请参见图3,图3为本申请实施例提供的一种任务调度方法的流程示意图,该任务调度方法可以包括以下步骤:
S401,获取任务。
该任务可以理解为用于实现特定目的或功能的一个或多个操作的集合,例如,可以是Web请求任务、分布式计算任务、多媒体信息转码任务、多媒体信息录播任务以及多媒体信息点播任务等,该任务也可以理解为多媒体信息转码任务的任务分片、多媒体信息录播任务的任务分片以及多媒体信息点播任务的任务分片。以转码任务为例对任务分片进行说明,该任务分片可以理解为按照关键帧间隔GOP对多媒体信息编码任务进行切分得到的。
S403,依据多个节点设备的当前负载信息和任务在多个节点设备上的预期执行信息,从多个节点设备中确定目标节点设备。
应理解,任务在任一节点设备300上的预期执行信息可以理解为节点设备300执行该任务所需的预期相关信息,例如,预期执行信息可以包括相关性信息和等待时长中的至少一种;其中,相关性信息用于表征任务在任一节点设备300上的通信资源,等待时长用于表征任务在任一节点设备300上等待的时间,当前负载信息用于表征节点设备300的当前工作量。
S405,将任务调度至目标节点设备。
应理解,不同的任务可以分配至相同的节点设备300,也可以分配至不同的节点设备300。
在本实施例中,依据多个节点设备的当前负载信息和任务在多个节点设备300上的预期执行信息确定目标节点设备,可以有三种实施方式。其中,当前负载信息对应设置有第一权重参数,相关性信息对应设置有第二权重参数,等待时长对应设置有第三权重参数。
第一种实施方式可以为:预期执行信息包括相关性信息,依据当前负载信息、相关性信息、第一权重参数和第二权重参数,从多个节点设备中确定目标节点设备。第二种实施方式可以为:预期执行信息包括等待时长,依据当前负载信息、等待时长、第一权重参数和第三权重参数,从多个节点设备中确定目标节点设备。第三种实施方式可以为:预期执行信息包括相关性信息和等待时长,依据当前负载信息、相关性信息、等待时长、第一权重参数、第二权重参数和第三权重参数,从多个节点设备中确定目标节点设备。
请参照图4,为本申请实施例提供的另一种任务调度方法的流程示意图,上述的第一种实施方式可以包括以下步骤:
S403a,依据当前负载信息、相关性信息、第一权重参数和第二权重参数进行加权求和,得到任务与任一节点设备的第一分配值。
应理解,将每个节点设备的当前负载信息分别与第一权重参数进行乘法计算,得到每个节点设备的分配负载信息;将任务与每个节点设备的相关性信息分别与第二权重参数进行乘法计算,得到任务与每个节点设备的分配相关性信息;将分配负载信息与分配相关性信息分别进行加法计算,得到任务与每个节点设备的第一分配值。
第i个任务与第j个节点设备300的第一分配值可以采用以下公式进行计算:
Dij1=Cij*Q1+Wij*Q2
其中,Dij1表示第i个任务与第j个节点设备300的第一分配值,Q1表示第一权重参数,Q2表示第二权重参数,Wij表示处理第i个任务的第j个节点设备300的当前负载信息,Cij表示第i个任务与第j个节点设备300的相关性信息。
第一权重参数与第二权重参数之和应为1,且第一权重参数和第二权重参数可根据实际情况取值,在此并不作限定。
S403b,将第一分配值最大的节点设备确定为目标节点设备。
将同一任务与不同节点设备300的第一分配值进行比较,将第一分配值最大的节点设备300确定为目标节点设备。应理解,第一分配值越大的节点设备300的设备处理该任务能够实现资源利用最大化。
请参照图5,为本申请实施例提供的又一种任务调度方法的流程示意图,上述的第二种实施方式可以包括以下步骤:
S403c,依据当前负载信息、等待时长、第一权重参数和第三权重参数进行加权求和,得到任务与任一节点设备的第二分配值。
应理解,将每个节点设备的当前负载信息分别与第一权重参数进行乘法计算,得到每个节点设备的分配负载信息;将任务在每个节点设备上的等待时长分别与第三权重参数进行乘法计算,得到任务与每个节点设备的分配等待时长;将分配负载信息与分配等待时长分别进行加法计算,得到任务与每个节点设备的第二分配值。
第i个任务与第j个节点设备300的第二分配值可以采用以下公式进行计算:
Dij2=Cij*Q1+T_earlistij*Q3
其中,Dij2表示第i个任务与第j个节点设备300的第二分配值,Q1表示第一权重参数,Q3表示第二权重参数,T_earlistij表示第i个任务在第j个节点设备300上的等待时长,Cij表示第i个任务与第j个节点设备300的相关性信息。
第一权重参数与第三权重参数之和应为1,且第一权重参数和第三权重参数可根据实际情况取值,在此并不作限定。
S403d,将第二分配值最大的节点设备确定为目标节点设备。
将同一任务与不同节点设备300的第二分配值进行比较,将第二分配值最大的节点设备300确定为目标节点设备。应理解,第二分配值越大的节点设备300的设备处理该任务能够实现资源利用最大化。
请参照图6,为本申请实施例提供的又一种任务调度方法的流程示意图,上述的第三种实施方式可以包括以下步骤:
S403e,依据当前负载信息、相关性信息、等待时长、第一权重参数、第二权重参数和第三权重参数进行加权求和,得到任务与任一节点设备的第三分配值。
应理解,将每个节点设备的当前负载信息分别与第一权重参数进行乘法计算,得到每个节点设备的分配负载信息;将任务与每个节点设备的相关性信息分别与第二权重参数进行乘法计算,得到任务与每个节点设备的分配相关性信息;将任务在每个节点设备上的等待时长分别与第三权重参数进行乘法计算,得到任务与每个节点设备的分配等待时长;将分配负载信息、分配相关性信息和分配等待时长分别进行加法计算,得到任务与每个节点设备的第三分配值。
第i个任务与第j个节点设备300的第三分配值可以采用以下公式进行计算:
Dij3=Cij*Q1+Wij*Q2+T_earlistij*Q3
其中,Dij3表示第i个任务与第j个节点设备300的第三分配值,Q1表示第一权重参数,Q2表示第二权重参数,Q3表示第三权重参数,Wij表示处理第i个任务的第j个节点设备300的当前负载信息,Cij表示第i个任务与第j个节点设备300的相关性信息,T_earlistij表示第i个任务在第j个节点设备300上的等待时长。
第一权重参数、第二权重参数和第三权重参数之和应为1,且第一权重参数、第二权重参数和第三权重参数可根据实际情况取值,在此并不作限定。例如,多媒体信息转码任务对节点设备300的负载要求更高,在进行多媒体信息转码任务时,第一权重参数可以设置更高一些;多媒体信息收录任务对在节点设备300上的等待时长要求更高,在进行多媒体信息收录任务时,第三权重参数可以设置更高一些。
S403f,将第三分配值最大的节点设备确定为目标节点设备。
将同一任务与不同节点设备300的第三分配值进行比较,将第三分配值最大的节点设备300确定为目标节点设备。
应理解,第三分配值越大的节点设备300的设备处理该任务能够实现资源利用最大化。换言之,若多个节点设备300分别为第一节点设备、第二节点设备和第三节点设备,若第i个任务与第二节点设备的相关性信息对应的值最大,第二节点设备的当前负载最大。因为第二节点设备的当前负载最大,第二节点设备的工作量越大,第i个任务在第二节点设备上需要等待的时长就越长。故需要设置第一权重参数、第二权重参数和第三权重参数来综合衡量当前负载信息、相关性信息和等待时长这三个指标,以实现节点设备300的资源利用最大化,实现负载均衡。相当于,当前负载信息、相关性信息和等待时长这三个指标采用了Min-Min算法,来确定目标节点设备。
其中,相关性信息可以由任务间优先约束关系、同步互斥关系和数据通信量等因素决定,优先约束关系、同步互斥关系和数据通信量可以在编译阶段获得。优先约束关系可以表征执行多个任务的先后顺序;同步互斥关系可以表征执行任务a时,锁定使用程序资源A,此时执行任务b和任务c是无法使用程序资源A。
在可选的实施方式中,数据任务可以不受优先关系的约束而相互作用和通信,故可只考虑数据通信量因素决定相关性信息。现以相关性信息由数据通信量因素决定为例进行说明,第i个任务与第j个节点设备的相关性信息采用以下公式计算:
Figure BDA0003173302750000101
其中,Cij表示第i个任务与第j个节点设备的相关性信息,eik表示第i个任务与第k个任务之间的数据通信量,eil表示第i个任务与第l个任务之间的数据通信量,Tj表示第j节点设备上所有任务的集合,T表示集群中所有任务的集合,m表示任务的总数,n表示节点设备的总数。
应理解,
Figure BDA0003173302750000102
是指整个集群所有节点设备300上的任务与第i个任务的相关性,如果集群中只有1台节点设备300,或是现在整个集群中的所有任务都在1台节点设备300上时,则不存在设备间通讯,因此
Figure BDA0003173302750000103
为0。如果所有任务被分配到集群中的各个节点设备300上时,第i个任务在第j个节点设备300上的数据通信量之和为
Figure BDA0003173302750000104
第i个任务与第j个节点设备的相关性信息为:第i个任务在第j个节点设备300上的数据通信量的综合,与在整个集群中数据通信量的综合之比。
为了便于理解如何得到当前负载信息,第j个节点设备的当前负载信息可以采用以下公式计算:
Wj=u1Uj+u2Mj+u3Pj+u4Dj+u5Sj
其中,Wj表示第j个节点设备的当前负载信息,Uj表示第j个节点设备的CPU利用率,Mj表示第j个节点设备的内存使用情况,Pj表示第j个节点设备中就绪队列中进程的数量,Dj表示第j个节点设备的磁盘利用率;Sj表示第j个节点设备的网卡流量,u1表示CPU利用率的权重参数,u2表示内存使用情况的权重参数,u3表示就绪队列中进程的数量的权重参数,u4表示磁盘利用率的权重参数,u5表示网卡流量的权重参数。
应理解,u1、u2、u3、u4和u5可以根据实际情况进行参数设置,在此并不在限定。
为了便于理解如何计算得到等待时长,第i个任务与在第j个节点设备上的等待时长可以采用以下公式计算:
Figure BDA0003173302750000111
其中,T_earlistij表示第i个任务在第j个节点设备上的等待时长,T_releasei表示第i个任务的发布时间,Queue_Lengthj表示第j个节点设备内就绪队列长度,T_Processkj表示已就绪数据任务在第j个节点设备上的总执行时间,k表示就绪数据任务在第j个节点设备上的执行时间单元。
应理解,节点设备300上所驻留的进程将要执行任务的等待时长,是无法直接计算得到的。故需要根据任务的发布时间、节点设备300内就绪队列长度以及已就绪数据任务的执行时间等,对任务在节点设备300上的最早执行时间进行估算,进而得到任务在该节点设备300上的等待时长。
在一种可选的实施例中,为了使任务分配更优,还可以增加调度开销指标,确定目标节点设备。调度开销表示将任务调度到对应的节点设备300上的额外开销,如任务的环境信息,环境信息包括工作目录、任务特权、电子设备100与节点设备300的网络距离等的传输开销。
在一种可选的实施方式中,为了提到任务调度的稳定性和效率,请参照图7,上述S401可以包括以下步骤:
S401a,获取第二任务。
应理解,第二任务为多媒体信息转码任务、多媒体信息录播任务以及多媒体信息点播任务等,多媒体信息转码任务、多媒体信息录播任务以及多媒体信息点播任务均为一个完整的任务。例如,第二任务可以为一部电影的转码任务。
S401b,对第二任务进行切分,得到第二任务的任务分片。
应理解,若第二任务为多媒体信息转码任务,可以在GOP级对多媒体信息转码任务进行分片,得到第二任务的任务分片。该任务分片可以理解为按照关键帧间隔GOP对多媒体信息编码任务进行切分得到的。例如,一部电影的转码任务的总时长为120分钟,该任务分片可以为间隔5分钟时长的转码任务分片。
S401c,将任务分片确定为第一任务。
应理解,上述S401中的任务即为任务分片,在后续进行调度分配时,可以以任务分片为单位进行调度。即将一个完整的任务切分为多个任务分片,将多个任务分片分别调度至不同的节点设备300进行处理。
与一个节点设备300处理一个完整的任务相比,将多个任务分片分别调度至不同的节点设备300进行处理,当某个节点设备300处理某个任务分片出现故障时,只需将该任务分片重新进行处理即可,而不需要将完整的任务重新进行处理,不仅减小了设备故障造成的影响,还节省了处理时间,提升了任务调度效率。将多个任务分片分别调度至不同的节点设备300进行处理,相当于多个节点设备300并行处理一个完整的任务,不会存在一个节点设备300处理一个耗时很长的任务,而其它节点设备300空闲的状态。不仅可以提升任务调度速度,还可以进一步的最大化使用集群资源。
在一种可选的实施方式中,请参照图8,在图3所示的任务调度方法的基础上,在S403之前,任务调度方法还包括:
S402,依据每个任务的参数信息,将任务存放至对应的任务队列中。
应理解,任务包括参数信息,参数信息可以包括任务类型信息、操作类型信息和时间戳等。该任务类型信息可以为转码任务类型、点播任务类型以及收录任务类型等,该操作类型信息可以为转码操作类型信息、点播操作类型信息以及收录操作类型信息等。
若该任务为第二任务,根据第二任务的任务类型信息和操作类型信息将第二任务缓存至任务类型信息和操作类型信息对应的任务队列中。若第二任务为转码任务类型则缓存至转码任务队列中,若第二任务为点播任务类型则缓存至点播任务队列中。
若该任务为第一任务,即该任务为任务分片。在对第二任务进行切分之前,根据第二任务的任务类型信息和操作类型信息先将第二任务缓存至任务类型信息和操作类型信息对应的任务队列中,在将第二任务进行切分得到任务分片,最后将任务分片调度至目标节点设备。
故在进行切分之前,先根据任务类型信息和操作类型信息将第二任务分别缓存至不同的任务队列中,便于电子设备100分发任务和管理任务。
为了便于理解,请参照图9,图9为本申请实施例提供的一种电子设备的任务分析处理示意图。电子设备100在接收到客户端200发送的第二任务后,先进行登记验证,即验证客户端200是否在电子设备100中登记,若客户端200未在电子设备100中登记,则驳回该客户端200发送的第二任务;电子设备100再对第二任务的参数信息进行分析,若第二任务的参数信息中无任务类型信息和/或操作类型信息,该第二任务将被驳回;若第二任务的参数信息中有任务类型信息和操作类型信息,则先检查是否已建立有任务类型信息和操作类型信息对应的任务队列,若有,则直接将数据任务缓存至对应的任务队列中,若无,则创建任务队列,再将第二任务缓存至对应的任务队列。
在一种可选的实施方式中,若第二任务的调度需要考虑优先级,在将第二任务存放至任务队列之前,需将第二任务的优先级和已缓存在任务队列中的所有第二任务的优先级作比较,根据优先级决定第二任务在任务队列中的存放位置。若两个第二任务的优先级相同,则按照接收第二任务的时间顺序进程存放。
请继续参照图8,上述S405之后,还可以包括以下步骤:
S406,从目标节点设备获取目标节点设备处理任务分片对应的任务分片结果。
应理解,可以由电子设备100从目标节点设备获取任务分片结果,也可以由多个节点设备300中闲置的节点设备300从目标节点设备获取任务分片结果。
S407,将任务分片结果进行整合,得到任务结果。
应理解,每个任务分片包括时间戳,对应生成的任务分片结果中也包括有相应的时间戳。可以根据任务分片结果中的时间戳进行整合,得到任务结果。
例如,若第一目标节点设备包括第一任务分片结果和第二任务分片结果,第二目标节点设备包括第三任务分片结果,第三目标节点设备包括第四任务分片结果和第五分片结果。第一任务分片结果的时间戳为1s,第二任务分片结果的时间戳为3s,第三任务分片结果的时间戳为2s,第四任务分片结果的时间戳为5s,第五任务分片结果的时间戳为4s。根据每个任务分片结果的时间戳进行整合,可以得到按照第一任务分片结果、第三任务分片结果、第二任务分片结果、第五任务分片结果和第四任务分片结果依次排序整合的整合结果。
其中,对任务分片结果进行整合时,可以采用Max-Min算法实现碎片整合,得到整合结果。
为了进一步提高任务调度的稳定性,请继续参照图8,任务调度方法还可以包括:
S408,记录任务的处理状态信息。
该处理状态信息包括任务的存放信息、与节点设备300的映射关系、任务的进度信息和状态信息等。
应理解,在将任务缓存至任务队列后,电子设备100会记录该任务的处理状态信息,并实时更新记录任务的状态信息和进度信息。在第二任务进行切分,得到任务分片,将人无法分片分配至对应的节点设备300后,也会实时更新记录任务分片的状态信息和进度信息。节点设备300在接收到任务后,会实时回调汇报任务的状态信息。
电子设备100在进行任务分配之前,电子设备100还用于读取各节点设备300的健康状态,并记录各节点设备的健康状态。由于同时记录了节点设备300的健康状态和任务的处理状态信息,在节点设备300出现故障时,电子设备100可以快速切换节点设备300处理任务分片。
电子设备100在进行任务分片调度的过程中,当任务分片处理失败时,电子设备100会将任务分片打回到原来的队列中,重新排序,待再次分配,并进行发送次数和失败原因记录。当任务分片主动重发超过三次,电子设备1000就不再主动重发,如要继续处理该任务分片,可进入到电子设备100提供的任务管理页面,手动维护该任务分片。
在可选的实施方式中,电子设备100还可以向客户端200汇报处理状态信息,或客户端200可主动获取处理状态信息。在可选的实施方式中,为了实现最优的任务调度方法,可以设置电子设备100和节点设备300的处理器的性能、结构和处理能力完全相同;任务不受优先关系的约束而相互作用和通信;所有节点设备300发布的信息都是真实可信的;同驻在一个节点设备300上的任务间数据通信量不计入通信代价。
为了便于理解本申请提供的任务调度方法的实现原理,现以调度多媒体信息编码任务为例进行说明:获取任务分片,任务分片是按照关键帧间隔GOP对多媒体信息编码任务进行切分得到的;依据多个节点设备的当前负载信息和任务分片在多个节点设备上的预期执行信息,从多个节点设备中确定目标节点设备;将任务分片调度至目标节点设备。
应理解,在对多媒体信息编码任务进行切分之前,依据多媒体信息编码任务的参数信息,将多媒体信息编码任务存放至对应的编码任务队列中,并记录该多媒体信息编码任务的存放信息、进度信息和状态信息。在将任务分片调度至目标节点设备时,也会记录该任务分片与目标节点设备的映射关系、进度信息和状态信息。在目标节点设备处理完成任务分片后,会从目标节点设备处获取对应的任务分片结果;将让任务分片结果进行整合,得到任务结果。其中,该任务结果为多媒体信息编码任务对应的多媒体信息编码任务结果。
为了实现上述S401~S408及其可能的子步骤对应的任务调度方法,本申请实施例提供一种任务调度装置,请参见图10,图10为本申请实施例提供的一种任务调度装置的方框示意图,该任务调度装置500包括:获取模块501、确定模块502、调度模块503、切分模块504、整合模块505、队列存放模块506和记录模块507。
获取模块501用于获取任务。
在可选的实施方式中,获取模块501还用于获取第二任务。
在可选的实施方式中,获取模块501还用于从目标节点设备获取目标节点设备处理任务分片对应的任务分片结果。
确定模块502用于依据多个节点设备300的当前负载信息和任务在多个节点设备300上的预期执行信息,从多个节点设备300中确定目标节点设备。
在可选的实施方式中,任务在任一节点设备上的预期执行信息包括相关性信息和等待时长中的至少一种;其中,相关性信息用于表征任务在任一节点设备上的通信资源,等待时长用于表征任务在任一节点设备上等待的时间。
在可选的实施方式中,预期执行信息包括相关性信息,当前负载信息对应设置有第一权重参数,相关性信息对应设置有第二权重参数。确定模块502还用于依据当前负载信息、相关性信息、第一权重参数和第二权重参数进行加权求和,得到任务与任一节点设备的第一分配值;将第一分配值最大的节点设备确定为目标节点设备。
在可选的实施方式中,预期执行信息包括等待时长,当前负载信息对应设置有第一权重参数,等待时长对应设置有第三权重参数。确定模块502还用于依据当前负载信息、等待时长、第一权重参数和第三权重参数进行加权求和,得到任务与任一节点设备的第二分配值;将第二分配值最大的节点设备确定为目标节点设备。
在可选的实施方式中,预期执行信息包括相关性信息和等待时长,当前负载信息对应设置有第一权重参数,相关性信息对应设置有第二权重参数,等待时长对应设置有第三权重参数。确定模块502还用于依据当前负载信息、相关性信息、等待时长、第一权重参数、第二权重参数和第三权重参数进行加权求和,得到任务与任一节点设备的第三分配值;将第三分配值最大的节点设备确定为目标节点设备。
在可选的实施方式中,确定模块502还用于将任务分片确定为第一任务。
调度模块503用于将任务调度至目标节点设备。
切分模块504用于对第二任务进行切分,得到第二任务的任务分片。
整合模块505用于将任务分片结果进行整合,得到任务结果。
队列存放模块506用于依据每个任务的参数信息,将任务存放至参数信息对应的任务队列中。
记录模块507用于记录任务的处理状态信息。
应理解,获取模块501、确定模块502、调度模块503、切分模块504、整合模块505、队列存放模块506和记录模块507可以协同实现上述S401~S408及其可能的子步骤。
综上,本申请提供了一种任务调度方法、装置、电子设备和计算机存储介质,通过依据多个节点设备的当前负载信息和任务在多个节点设备上的预期执行信息,对任务进行调度分配。在进行任务调度分配时,不仅考虑节点设备的当前负载信息,还考虑任务在节点设备上的预期执行信息,可以多维度的衡量节点设备的资源状况,能够实现资源的最大化利用,实现负载均衡。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (20)

1.一种任务调度方法,其特征在于,所述方法包括:
获取任务;
依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备;
将所述任务调度至所述目标节点设备。
2.根据权利要求1所述的方法,其特征在于,所述任务在任一节点设备上的预期执行信息包括相关性信息和等待时长中的至少一种;其中,所述相关性信息用于表征所述任务在所述任一节点设备上的通信资源,所述等待时长用于表征所述任务在所述任一节点设备上等待的时间。
3.根据权利要求2所述的方法,其特征在于,所述预期执行信息包括所述相关性信息,所述当前负载信息对应设置有第一权重参数,所述相关性信息对应设置有第二权重参数;
所述依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备的步骤还包括:
依据所述当前负载信息、所述相关性信息、所述第一权重参数和所述第二权重参数进行加权求和,得到所述任务与所述任一节点设备的第一分配值;
将所述第一分配值最大的节点设备确定为所述目标节点设备。
4.根据权利要求2所述的方法,其特征在于,所述预期执行信息包括所述等待时长,所述当前负载信息对应设置有第一权重参数,所述等待时长对应设置有第三权重参数;
所述依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备的步骤包括:
依据所述当前负载信息、所述等待时长、所述第一权重参数和所述第三权重参数进行加权求和,得到所述任务与所述任一节点设备的第二分配值;
将所述第二分配值最大的节点设备确定为所述目标节点设备。
5.根据权利要求2所述的方法,其特征在于,所述预期执行信息包括所述相关性信息和等待时长,所述当前负载信息对应设置有第一权重参数,所述相关性信息对应设置有第二权重参数,所述等待时长对应设置有第三权重参数;
所述依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备的步骤还包括:
依据所述当前负载信息、所述相关性信息、所述等待时长、所述第一权重参数、所述第二权重参数和所述第三权重参数进行加权求和,得到所述任务与所述任一节点设备的第三分配值;
将所述第三分配值最大的节点设备确定为所述目标节点设备。
6.根据权利要求1-5任一项所述的方法,其特征在于,第j个节点设备的当前负载信息采用以下公式计算:
Wj=u1Uj+u2Mj+u3Pj+u4Dj+u5Sj
其中,Wj表示第j个节点设备的当前负载信息,Uj表示第j个节点设备的CPU利用率,Mj表示第j个节点设备的内存使用情况,Pj表示第j个节点设备中就绪队列中进程的数量,Dj表示第j个节点设备的磁盘利用率;Sj表示第j个节点设备的网卡流量,u1表示CPU利用率的权重参数,u2表示内存使用情况的权重参数,u3表示就绪队列中进程的数量的权重参数,u4表示磁盘利用率的权重参数,u5表示网卡流量的权重参数。
7.根据权利要求2-5任一项所述的方法,其特征在于,第i个任务与第j个节点设备的相关性信息采用以下公式计算:
Figure FDA0003173302740000021
其中,Cij表示第i个任务与第j个节点设备的相关性信息,eik表示第i个任务与第k个任务之间的数据通信量,eil表示第i个任务与第l个任务之间的数据通信量,Tj表示第j节点设备上所有任务的集合,T表示集群中所有任务的集合,m表示任务的总数,n表示节点设备的总数。
8.根据权利要求2-5任一项所述的方法,其特征在于,第i个任务与在第j个节点设备上的等待时长采用以下公式计算:
Figure FDA0003173302740000031
其中,T_earlistij表示第i个任务在第j个节点设备上的等待时长,T_releasei表示第i个任务的发布时间,Queue_Lengthj表示第j个节点设备内就绪队列长度,T_Processkj表示已就绪数据任务在第j个节点设备上的总执行时间,k表示就绪数据任务在第j个节点设备上的执行时间单元。
9.根据权利要求1-5任一项所述的方法,其特征在于,所述任务为第一任务,所述获取任务的步骤包括:
获取第二任务;
对所述第二任务进行切分,得到所述第二任务的任务分片;
将所述任务分片确定为所述第一任务。
10.根据权利要求9所述的方法,其特征在于,所述将所述任务调度至所述目标节点设备的步骤之后,所述方法还包括:
从所述目标节点设备获取所述目标节点设备处理所述任务分片对应的任务分片结果;
将所述任务分片结果进行整合,得到任务结果。
11.根据权利要求1-5任一项所述的方法,其特征在于,所述任务包括参数信息,所述依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备的步骤之前,所述方法还包括:
依据每个所述任务的参数信息,将所述任务存放至所述参数信息对应的任务队列中。
12.根据权利要求1所述的方法,其特征在于,所述方法还包括:
记录所述任务的处理状态信息。
13.一种任务调度方法,其特征在于,所述方法包括:
获取任务分片,所述任务分片是按照关键帧间隔GOP对多媒体信息编码任务进行切分得到的;
依据多个节点设备的当前负载信息和所述任务分片在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备;
将所述任务分片调度至所述目标节点设备。
14.一种任务调度装置,其特征在于,所述装置包括:
获取模块,用于获取任务;
确定模块,用于依据多个节点设备的当前负载信息和所述任务在所述多个节点设备上的预期执行信息,从所述多个节点设备中确定目标节点设备;
调度模块,用于将所述任务调度至所述目标节点设备。
15.根据权利要求14所述的装置,其特征在于,所述任务在任一节点设备上的预期执行信息包括相关性信息和等待时长中的至少一种;其中,所述相关性信息用于表征所述任务在所述任一节点设备上的通信资源,所述等待时长用于表征所述任务在所述任一节点设备上等待的时间。
16.根据权利要求14或15所述的装置,其特征在于,第j个节点设备的当前负载信息采用以下公式计算:
Wj=u1Uj+u2Mj+u3Pj+u4Dj+u5Sj
其中,Wj表示第j个节点设备的负载信息,Uj表示第j个节点设备的CPU利用率,Mj表示第j个节点设备的内存使用情况,Pj表示第j个节点设备中就绪队列中进程的数量,Dj表示第j个节点设备的磁盘利用率;Sj表示第j个节点设备的网卡流量,u1表示CPU利用率的权重参数,u2表示内存使用情况的权重参数,u3表示就绪队列中进程的数量的权重参数,u4表示磁盘利用率的权重参数,u5表示网卡流量的权重参数。
17.根据权利要求15所述的装置,其特征在于,第i个任务与第j个节点设备的相关性信息采用以下公式计算:
Figure FDA0003173302740000051
其中,Cij表示第i个任务与第j个节点设备的相关性信息,eik表示第i个任务与第k个任务之间的数据通信量,eil表示第i个任务与第l个任务之间的数据通信量,Tj表示第j节点设备上所有任务的集合,T表示集群中所有任务的集合,m表示任务的总数,n表示节点设备的总数。
18.根据权利要求15所述的装置,其特征在于,第i个任务与在第j个节点设备上的等待时长采用以下公式计算:
Figure FDA0003173302740000052
其中,T_earlistij表示第i个任务在第j个节点设备上的执行时间,T_releasei表示第i个任务的发布时间,Queue_Lengthj表示第j个节点设备内就绪队列长度,T_Processkj表示已就绪任务在第j个节点设备上的总执行时间,k表示就绪数据任务在第j个节点设备上的执行时间单元。
19.一种电子设备,其特征在于,包括存储器、以及一个或多个处理器,所述存储器用于存储一个或多个程序;所述一个或多个程序被所述一个或多个处理器执行时,实现如权利要求1至12任意一项所述的方法或权利要求13所述的方法。
20.一种计算机存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12任意一项所述方法或权利要求13所述方法的步骤。
CN202110825105.0A 2021-07-21 2021-07-21 任务调度方法、装置、电子设备和计算机存储介质 Pending CN113608869A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110825105.0A CN113608869A (zh) 2021-07-21 2021-07-21 任务调度方法、装置、电子设备和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110825105.0A CN113608869A (zh) 2021-07-21 2021-07-21 任务调度方法、装置、电子设备和计算机存储介质

Publications (1)

Publication Number Publication Date
CN113608869A true CN113608869A (zh) 2021-11-05

Family

ID=78304992

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110825105.0A Pending CN113608869A (zh) 2021-07-21 2021-07-21 任务调度方法、装置、电子设备和计算机存储介质

Country Status (1)

Country Link
CN (1) CN113608869A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115154A (zh) * 2021-11-25 2022-03-01 广东三维家信息科技有限公司 一种生产线的节点调度方法、装置、电子设备及存储介质
CN114153588A (zh) * 2021-12-16 2022-03-08 江西电信信息产业有限公司 一种Volte信令数据文件采集方法及系统
CN114862606A (zh) * 2022-06-13 2022-08-05 新疆益盛鑫创展科技有限公司 一种基于云服务的保险信息处理方法、装置
CN116308772A (zh) * 2022-12-16 2023-06-23 蚂蚁区块链科技(上海)有限公司 交易分发方法、节点和区块链系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686206A (zh) * 2014-01-02 2014-03-26 中安消技术有限公司 一种云环境下的视频转码方法和系统
CN110809167A (zh) * 2018-08-06 2020-02-18 中国移动通信有限公司研究院 一种视频播放方法、装置、电子设备及存储介质
CN111506398A (zh) * 2020-03-03 2020-08-07 平安科技(深圳)有限公司 任务调度方法和装置、存储介质、电子装置
CN111813513A (zh) * 2020-06-24 2020-10-23 中国平安人寿保险股份有限公司 基于分布式的实时任务调度方法、装置、设备及介质
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686206A (zh) * 2014-01-02 2014-03-26 中安消技术有限公司 一种云环境下的视频转码方法和系统
CN110809167A (zh) * 2018-08-06 2020-02-18 中国移动通信有限公司研究院 一种视频播放方法、装置、电子设备及存储介质
CN111506398A (zh) * 2020-03-03 2020-08-07 平安科技(深圳)有限公司 任务调度方法和装置、存储介质、电子装置
CN111813513A (zh) * 2020-06-24 2020-10-23 中国平安人寿保险股份有限公司 基于分布式的实时任务调度方法、装置、设备及介质
CN112667376A (zh) * 2020-12-23 2021-04-16 数字广东网络建设有限公司 任务调度处理方法、装置、计算机设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114115154A (zh) * 2021-11-25 2022-03-01 广东三维家信息科技有限公司 一种生产线的节点调度方法、装置、电子设备及存储介质
CN114115154B (zh) * 2021-11-25 2024-04-05 广东三维家信息科技有限公司 一种生产线的节点调度方法、装置、电子设备及存储介质
CN114153588A (zh) * 2021-12-16 2022-03-08 江西电信信息产业有限公司 一种Volte信令数据文件采集方法及系统
CN114862606A (zh) * 2022-06-13 2022-08-05 新疆益盛鑫创展科技有限公司 一种基于云服务的保险信息处理方法、装置
CN114862606B (zh) * 2022-06-13 2023-05-09 新疆益盛鑫创展科技有限公司 一种基于云服务的保险信息处理方法、装置
CN116308772A (zh) * 2022-12-16 2023-06-23 蚂蚁区块链科技(上海)有限公司 交易分发方法、节点和区块链系统
CN116308772B (zh) * 2022-12-16 2023-10-13 蚂蚁区块链科技(上海)有限公司 交易分发方法、节点和区块链系统

Similar Documents

Publication Publication Date Title
CN113608869A (zh) 任务调度方法、装置、电子设备和计算机存储介质
CN106776005B (zh) 一种面向容器化应用的资源管理系统及方法
CN112153700B (zh) 一种网络切片资源管理方法及设备
US11010188B1 (en) Simulated data object storage using on-demand computation of data objects
CN109218355B (zh) 负载均衡引擎,客户端,分布式计算系统以及负载均衡方法
US8539078B2 (en) Isolating resources between tenants in a software-as-a-service system using the estimated costs of service requests
US20200364608A1 (en) Communicating in a federated learning environment
US9201690B2 (en) Resource aware scheduling in a distributed computing environment
CN104038540B (zh) 一种应用代理服务器自动选择方法及系统
US9569236B2 (en) Optimization of virtual machine sizing and consolidation
US11206193B2 (en) Method and system for provisioning resources in cloud computing
CN111813513A (zh) 基于分布式的实时任务调度方法、装置、设备及介质
US20140089509A1 (en) Prediction-based provisioning planning for cloud environments
CN103761146B (zh) 一种MapReduce动态设定slots数量的方法
US20150081908A1 (en) Computer-based, balanced provisioning and optimization of data transfer resources for products and services
US9535749B2 (en) Methods for managing work load bursts and devices thereof
US11032392B1 (en) Including prior request performance information in requests to schedule subsequent request performance
CN107430526B (zh) 用于调度数据处理的方法和节点
CN104580194A (zh) 面向视频应用的虚拟化资源管理方法及装置
CN115033340A (zh) 一种宿主机的选择方法及相关装置
CN109656717A (zh) 一种容器化云资源分配方法
CN115118784A (zh) 算力资源的调度方法、装置及系统
CN113867973B (zh) 资源分配的方法和装置
CN113079062B (zh) 一种资源调整方法、装置、计算机设备和存储介质
US20150079966A1 (en) Methods for facilitating telecommunication network administration and devices thereof

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination