CN115373826B - 一种基于云计算的任务调度方法及装置 - Google Patents

一种基于云计算的任务调度方法及装置 Download PDF

Info

Publication number
CN115373826B
CN115373826B CN202211314597.8A CN202211314597A CN115373826B CN 115373826 B CN115373826 B CN 115373826B CN 202211314597 A CN202211314597 A CN 202211314597A CN 115373826 B CN115373826 B CN 115373826B
Authority
CN
China
Prior art keywords
task
server
value
response server
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211314597.8A
Other languages
English (en)
Other versions
CN115373826A (zh
Inventor
王捷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha Developer Technology Co ltd
Beijing Innovation Lezhi Network Technology Co ltd
Original Assignee
Changsha Developer Technology Co ltd
Beijing Innovation Lezhi Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha Developer Technology Co ltd, Beijing Innovation Lezhi Network Technology Co ltd filed Critical Changsha Developer Technology Co ltd
Priority to CN202211314597.8A priority Critical patent/CN115373826B/zh
Publication of CN115373826A publication Critical patent/CN115373826A/zh
Application granted granted Critical
Publication of CN115373826B publication Critical patent/CN115373826B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Power Sources (AREA)

Abstract

本发明涉及云计算技术领域,揭露了一种基于云计算的任务调度方法及装置,包括:利用虚拟机计算任务集中每个任务的任务消耗时间,对任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到父子任务流,确定用于处理所述父子任务流的响应服务器集,依次计算每个响应服务器可以接收新任务的接收时间,根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器得到第一服务器集,根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流。本发明主要目的在于解决计算资源浪费的问题。

Description

一种基于云计算的任务调度方法及装置
技术领域
本发明涉及一种基于云计算的任务调度方法及装置,属于云计算技术领域。
背景技术
伴随科学技术发展,基于计算机处理各行各业问题逐渐普及,特别是对于运转效率要求高的行业,短时间内处理几千甚至上万条的用户任务也稀疏平常。如何有效的在短时间内调度服务器并处理不同任务,是当下急需解决的问题。
目前常用的方法是线性调度法,即确定可用的服务器集,按照每个服务器顺序接收每条任务的调度方法实现对任务的响应及处理。线性调度确实可有效解决用户需求,但当任务量增多时,可能存在某服务器所顺序接收的任务量过大的现象,从而造成该服务器崩溃的安全隐患,也可能存在某处理能力较强的服务器一直接收的任务量较低,从而造成该服务器未得到高效应用的问题。总结来说,目前常用的任务调度类方法无法合理分配服务器与任务集的关系,从而造成资源浪费的现象。
发明内容
本发明提供一种基于云计算的任务调度方法、装置及计算机可读存储介质,其主要目的在于合理处理服务器与任务集的关系,从而解决资源浪费的现象。
为实现上述目的,本发明提供的一种基于云计算的任务调度方法,包括:
接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间;
对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流;
确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间;
根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集;
根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
可选地,所述利用预构建的虚拟机计算任务集中每个任务的任务消耗时间,包括:
预估每个任务在执行过程中所需消耗的流量值;
根据下式计算得到每个任务的任务消耗时间:
Figure 511811DEST_PATH_IMAGE001
其中,T(ti,mj)表示第i个任务ti在第j个虚拟机mj上计算得到的任务消耗时间,α为计算任务消耗时间的权重,taskflowti表示第i个任务ti在执行过程中所需消耗的流量值,mipmj表示第j个虚拟机mj的处理能力量化值。
可选地,所述依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间,包括:
依次获取每个响应服务器的标准硬件能力及标准软件能力,其中标准硬件能力包括CPU 最大频率、最大内存,标准软件能力包括网络带宽最小值及功耗最大值;
确定在当前时间下每个响应服务器的当前硬件能力及当前软件能力;
根据所述标准硬件能力、当前硬件能力、标准软件能力与当前软件能力计算得到每个响应服务器的处理负担值;
当所述处理负担值大于或等于预设负担阈值时,将对应响应服务器的接收时间设定为预设指定时间;
当所述处理负担值小于预设负担阈值时,根据预构建的接收时间计算公式计算得到可以接收新任务的接收时间。
可选地,所述当前硬件能力包括CPU 当前频率、空闲内存,所述当前软件能力包括网络带宽当前值及功耗当前值。
可选地,所述根据所述标准硬件能力、当前硬件能力、标准软件能力与当前软件能力计算得到每个响应服务器的处理负担值,包括:
采用如下公式计算得到每个响应服务器的处理负担值:
Figure 583673DEST_PATH_IMAGE002
其中,load(sj)表示第j个响应服务器sj的处理负担值,
Figure 961564DEST_PATH_IMAGE003
为处理负担值的调节因子,
Figure 93468DEST_PATH_IMAGE004
表示根据第j个响应服务器的CPU最大频率及最大内存映射得到标准硬件处理值,
Figure 556811DEST_PATH_IMAGE005
表示根据第j个响应服务器的网络带宽最小值及功耗最大值映射得到标准软件处理值,
Figure 183095DEST_PATH_IMAGE006
表示根据第j个响应服务器的CPU当前频率及空闲内存映射得到当前硬件处理值,
Figure 415493DEST_PATH_IMAGE007
表示根据第j个响应服务器的网络带宽当前值及功耗当前值映射得到当前软件处理值。
可选地,所述根据预构建的接收时间计算公式计算得到可以接收新任务的接收时间,包括:
采用如下公式计算得到接收新任务的接收时间
Figure 718299DEST_PATH_IMAGE008
其中,tsj-all表示第j个响应服务器sj目前正在处理的所有任务,T(tsj-all,sj)表示第j个响应服务器在处理所有任务tsj-all前提下可接收新任务的接收时间,β为计算接收时间的权重,taskflowsj-all表示第j个响应服务器处理任务tsj-all所消耗的流量值,mipsj表示第j个响应服务器的处理能力量化值。
可选地,所述根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,包括:
计算每个服务器在空闲状态下的能耗值;
获取每个服务器在当前时刻的工作电压及工作电流;
根据所述工作电压及工作电流,计算得到每个服务器在当前时刻的能耗值;
基于空闲状态的能耗值及当前时刻的能耗值构建每个服务器的能源消耗值计算函数;
相加所述父子任务流中每个任务的任务消耗时间得到总消耗时间;
以所述总消耗时间作为能源消耗值计算函数的乘积因子,计算得到第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值。
可选地,所述计算每个服务器在空闲状态下的能耗值,包括:
采用如下公式计算得到空闲状态下的能耗值:
Figure 465675DEST_PATH_IMAGE009
其中,Esj表示第一服务器集中第j个响应服务器空闲状态下的能耗值,
Figure 82601DEST_PATH_IMAGE010
表示第j个响应服务器的能耗比例,
Figure 231823DEST_PATH_IMAGE011
表示第j个响应服务器在空闲状态下的最大功耗。
可选地,所述根据所述工作电压及工作电流,计算得到每个服务器在当前时刻的能耗值,包括:
Figure 908792DEST_PATH_IMAGE012
其中,
Figure 127152DEST_PATH_IMAGE013
表示第一服务器集中第j个响应服务器在当前时刻下的能耗值,
Figure 344507DEST_PATH_IMAGE014
表示第j个响应服务器的工作电压,
Figure 551497DEST_PATH_IMAGE015
表示第j个响应服务器的工作电流。
为了解决上述问题,本发明还提供一种基于云计算的任务调度装置,所述装置包括:
任务消耗时间计算模块,用于接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间;
优选级排序模块,用于对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流;
接收时间计算模块,用于确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间;
服务器筛选模块,用于根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集;
能源消耗计算模块,用于根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以实现上述所述的基于云计算的任务调度方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于云计算的任务调度方法。
相比于背景技术所述问题,本发明实施例先接收任务集并将任务集传输至基于云计算的任务调度系统,同时利用预构建的虚拟机计算任务集中每个任务的任务消耗时间,进一步地,对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流,相比于传统线性调度法来说,将具有逻辑关系的任务组合得到父子任务流统一交由一个服务器处理,会极大提高任务调度效率,避免多个服务器处理所造成的资源浪费,此外,确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间,该步骤可以剔除暂时因本身负担过重而无法及时处理新任务的服务器,防止部分服务器因负担过重发生崩坏现象,最后,根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集,根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度,可见本发明实施例在考虑负担的同时,还进一步考虑服务器处理父子任务流的能源消耗问题,规避了能源浪费现象,因此本发明提出的基于云计算的任务调度方法、装置、电子设备及计算机可读存储介质,合理处理服务器与任务集的关系,从而解决资源浪费的现象。
附图说明
图1为本发明一实施例提供的基于云计算的任务调度方法的流程示意图;
图2为本发明一实施例提供的基于云计算的任务调度装置的功能模块图;
图3为本发明一实施例提供的实现所述基于云计算的任务调度方法的电子设备的结构示意图。
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种基于云计算的任务调度方法。所述基于云计算的任务调度方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述基于云计算的任务调度方法可以由安装在终端设备或服务端设备的软件或硬件来执行。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
实施例1:
参照图1所示,为本发明一实施例提供的基于云计算的任务调度方法的流程示意图。在本实施例中,所述基于云计算的任务调度方法包括:
S1、接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间。
本发明实施例中,所述任务集由一个或多个用户发起,为指令形式,如在程序开发的应用场景下,用户A计划训练一个深度学习模型,因此发起任务A:请求获取至少1G训练集的任务;用户B作为架构设计师,计算测试服务器的运算能力,故发起任务B:服务器运算能力测试任务;用户C为深度学习模型测试工程师,发起任务C:当深度学习模型训练完成时,将深度学习模型文件传输至用户C所在客户端或云网址中;
由于在短时间内获取多个任务,且可想象的是,可能存在部分任务所请求的数据量庞大或完成该任务所持续的时间漫长的现象,因此若笼统的直接交由一个响应服务器处理所有任务,或按照顺序关系由若干个响应服务器依次处理,极其容易造成响应服务器崩坏或资源浪费。因此本发明实施例将预先构建基于云计算的任务调度系统,该任务调度系统由独立的云服务器运行,可通过任务集的实际情况排列出最优的响应服务器组合。
由上述可知,不同任务由于所涉及的任务类型的不同,因此从任务响应、处理直至完成的任务消耗时间也不相同,为了量化出每个任务的任务消耗时间,本发明实施例通过预构建的虚拟机实现。详细地,所述利用预构建的虚拟机计算任务集中每个任务的任务消耗时间,包括:
预估每个任务在执行过程中所需消耗的流量值;
根据下式计算得到每个任务的任务消耗时间:
Figure 461685DEST_PATH_IMAGE016
其中,T(ti,mj)表示第i个任务ti在第j个虚拟机mj上计算得到的任务消耗时间,α为计算任务消耗时间的权重,taskflowti表示第i个任务ti在执行过程中所需消耗的流量值,mipmj表示第j个虚拟机mj的处理能力量化值。
S2、对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流。
需解释的是,在任务集中可能存在部分任务在处理上存在先后的关系,因此具有先后处理关系的任务本发明实施例称为父任务或子任务,其中父任务为优先处理的任务,子任务为父任务处理完成以后才能处理的任务。示例性的,上述任务A:请求获取至少1G训练集的任务用于训练深度学习模型,任务C:当深度学习模型训练完成时,将深度学习模型文件传输至指定客户端或云网址中,可见任务A为父任务,任务B为子任务。
S3、确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间。
由上所述可知,任务调度系统具有智能分配任务至指定服务器的功能,因此任务调度系统需要与每个响应服务器执行绑定。
可理解的是,响应服务器是用于响应任务并根据父子任务流中每个任务执行处理的服务器,由于每个响应服务器在当前时间段内可能还在处理其他任务,因此需要计算出每个响应服务器可以接收新任务的接收时间,从而根据接收时间确定是否继续等待。
详细地,所述依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间,包括:
依次获取每个响应服务器的标准硬件能力及标准软件能力,其中标准硬件能力包括CPU 最大频率、最大内存,标准软件能力包括网络带宽最小值及功耗最大值;
确定在当前时间下每个响应服务器的当前硬件能力及当前软件能力;
根据所述标准硬件能力、当前硬件能力、标准软件能力与当前软件能力计算得到每个响应服务器的处理负担值;
当所述处理负担值大于或等于预设负担阈值时,将对应响应服务器的接收时间设定为预设指定时间;
当所述处理负担值小于预设负担阈值时,根据预构建的接收时间计算公式计算得到可以接收新任务的接收时间。
需理解的是,CPU 最大频率、内存表示了每个响应服务器在硬件条件下处理能力的极限,网络带宽及功耗最大值表示每个响应服务器基于自身所处的网络环境下的处理能力的极限,因此先获取对应的标准硬件能力及标准软件能力以方便后续计算出接收时间。同理可知,当前硬件能力及当前软件能力表示在当前时间下,每个响应服务器的CPU 当前频率、空闲内存、网络带宽当前值及功耗当前值。
进一步地,所述根据所述标准硬件能力、当前硬件能力、标准软件能力与当前软件能力计算得到每个响应服务器的处理负担值,包括:
采用如下公式计算得到每个响应服务器的处理负担值:
Figure 918074DEST_PATH_IMAGE017
其中,load(sj)表示第j个响应服务器sj的处理负担值,
Figure 876802DEST_PATH_IMAGE003
为处理负担值的调节因子,
Figure 485769DEST_PATH_IMAGE004
表示根据第j个响应服务器的CPU最大频率及最大内存映射得到标准硬件处理值,
Figure 504541DEST_PATH_IMAGE005
表示根据第j个响应服务器的网络带宽最小值及功耗最大值映射得到标准软件处理值,
Figure 713805DEST_PATH_IMAGE006
表示根据第j个响应服务器的CPU当前频率及空闲内存映射得到当前硬件处理值,
Figure 476225DEST_PATH_IMAGE007
表示根据第j个响应服务器的网络带宽当前值及功耗当前值映射得到当前软件处理值。
需解释的,标准硬件处理值、标准软件处理值、当前硬件处理值及当前软件处理值可采用预先设定的二元一次函数映射得到。以标准硬件处理值为例,将CPU最大频率及最大内存作为两个自变量,通过设定的二元一次函数计算得到因变量,其中因变量即为所述标准硬件处理值。
需解释的是,预设负担阈值为人为设定的响应服务器的最大处理极限值,因此当处理负担值大于或等于预设负担阈值时,表示响应服务器的处理压力已经过高,故不合适进一步将本发明实施所述的父子任务流输入至对应的响应服务器,故将对应响应服务器的接收时间设定为预设指定时间,其中预设指定时间一般为24小时,即在24小时内暂时不为响应服务器导入新的任务,以保证响应服务器可以得到足够的时间休息,防止硬件损坏。
进一步地,当所述处理负担值小于预设负担阈值时,表示根据响应服务器的处理压力可控,因此还可以继续接收新的任务,故需计算出该响应服务器接收新任务的接收时间,详细地包括:
采用如下公式计算得到接收新任务的接收时间
Figure 454545DEST_PATH_IMAGE018
其中,tsj-all表示第j个响应服务器sj目前正在处理的所有任务,T(tsj-all,sj)表示第j个响应服务器在处理所有任务tsj-all前提下可接收新任务的接收时间,β为计算接收时间的权重,taskflowsj-all表示第j个响应服务器处理任务tsj-all所消耗的流量值,mipsj表示第j个响应服务器的处理能力量化值。
S4、根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集。
可理解的是,当依次计算出每个响应服务器的接收时间以后,可按照接收时间的先后顺序确定各响应服务器的优先级。示例性的,响应服务器集内共有20个响应服务器,则按照接收时间的先后顺序确定出处理父子任务流优先级的服务器顺序,其中优先级最高的服务器,其接收时间一定最短,若设定前五名服务器可组建得到第一服务器集,即接收时间最短的前五名服务器组建得到第一服务器集。
S5、根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
可理解的是,第一服务器集内的每个服务器原则上均可用于处理父子任务流,但考虑到资源消耗问题,每个服务器处理受限于服务器特征、父子任务流的大小等从而所造成的资源消耗也各有不同,因此本发明实施例为了最小化处理父子任务流所导致的资源消耗,先计算第一服务器集中每个服务器的能源消耗值,从而选择出能源消耗值最小的服务器处理所述父子任务流。
详细地,所述根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,包括:
计算每个服务器在空闲状态下的能耗值;
获取每个服务器在当前时刻的工作电压及工作电流;
根据所述工作电压及工作电流,计算得到每个服务器在当前时刻的能耗值;
基于空闲状态的能耗值及当前时刻的能耗值构建每个服务器的能源消耗值计算函数;
相加所述父子任务流中每个任务的任务消耗时间得到总消耗时间;
以所述总消耗时间作为能源消耗值计算函数的乘积因子,计算得到第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值。
需解释的是,空闲状态一般表示服务器的CPU占用率不高于5%,进一步地,所述计算每个服务器在空闲状态下的能耗值,包括:
采用如下公式计算得到空闲状态下的能耗值:
Figure 378639DEST_PATH_IMAGE019
其中,Esj表示第一服务器集中第j个响应服务器空闲状态下的能耗值,
Figure 75200DEST_PATH_IMAGE010
表示第j个响应服务器的能耗比例,
Figure 375731DEST_PATH_IMAGE011
表示第j个响应服务器在空闲状态下的最大功耗。
进一步地,服务器在活跃状态的工作电压及工作电流可在上述获取每个服务器的当前硬件能力及当前软件能力的同时也对应获得。需解释的是,工作电压及工作电流可以是集成在服务器内处理器的工作电压及工作电流。详细地,所述根据所述工作电压及工作电流,计算得到每个服务器在当前时刻的能耗值,包括:
Figure 723405DEST_PATH_IMAGE020
其中,
Figure 818400DEST_PATH_IMAGE013
表示第一服务器集中第j个响应服务器在当前时刻下的能耗值,
Figure 2256DEST_PATH_IMAGE014
表示第j个响应服务器的工作电压,
Figure 106478DEST_PATH_IMAGE015
表示第j个响应服务器的工作电流。
进一步地,所述能源消耗值计算函数为:
Figure 793812DEST_PATH_IMAGE021
其中,
Figure 325287DEST_PATH_IMAGE022
为每个服务器的能源消耗值,
Figure 730861DEST_PATH_IMAGE023
为预设的空闲状态的能耗值的权重,
Figure 638774DEST_PATH_IMAGE024
为预设的当前时刻的能耗值的权重。
示例性的,在S2描述中任务A为父任务,任务B为子任务,假设任务A的任务消耗时间为21分钟,任务B的任务消耗时间为3分钟,则相加父子任务流中任务A和任务B得到总消耗时间为24分钟。
详细地,所述以所述总消耗时间作为能源消耗值计算函数的乘积因子,计算得到第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,包括:
采用如下计算公式计算得到:
Figure 931346DEST_PATH_IMAGE025
其中,
Figure 696040DEST_PATH_IMAGE026
表示第j个响应服务器在假设处理父子任务流下的能源消耗值,st表示总消耗时间的起始值,et表示总消耗时间的终始值,t为第j个响应服务器处理父子任务流的时间消耗的乘积因子。
进一步地,当计算出的每个服务器的能源消耗值以后,选择出能源消耗值最小的服务器处理所述父子任务流,即可完成资源最小化浪费的情况下的任务调度。
相比于背景技术所述问题,本发明实施例先接收任务集并将任务集传输至基于云计算的任务调度系统,同时利用预构建的虚拟机计算任务集中每个任务的任务消耗时间,进一步地,对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流,相比于传统线性调度法来说,将具有逻辑关系的任务组合得到父子任务流统一交由一个服务器处理,会极大提高任务调度效率,避免多个服务器处理所造成的资源浪费,此外,确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间,该步骤可以剔除暂时因本身负担过重而无法及时处理新任务的服务器,防止部分服务器因负担过重发生崩坏现象,最后,根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集,根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度,可见本发明实施例在考虑负担的同时,还进一步考虑服务器处理父子任务流的能源消耗问题,规避了能源浪费现象,因此本发明提出的基于云计算的任务调度方法、装置、电子设备及计算机可读存储介质,合理处理服务器与任务集的关系,从而解决资源浪费的现象。
实施例2:
如图2所示,是本发明一实施例提供的基于云计算的任务调度装置的功能模块图。
本发明所述基于云计算的任务调度装置100可以安装于电子设备中。根据实现的功能,所述基于云计算的任务调度装置100可以包括任务消耗时间计算模块101、优选级排序模块102、接收时间计算模块103、服务器筛选模块104及能源消耗计算模块105。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
所述任务消耗时间计算模块101,用于接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间;
所述优选级排序模块102,用于对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流;
所述接收时间计算模块103,用于确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间;
所述服务器筛选模块104,用于根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集;
所述能源消耗计算模块105,用于根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
详细地,本发明实施例中所述基于云计算的任务调度装置100中的所述各模块在使用时采用与上述的图1中所述的基于云计算的任务调度方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
实施例3:
如图3所示,是本发明一实施例提供的实现基于云计算的任务调度方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11、总线12和通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于云计算的任务调度程序。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(Smart Media Card, SMC)、安全数字(SecureDigital, SD)卡、闪存卡(Flash Card)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于云计算的任务调度程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(Central Processing unit,CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(Control Unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如基于云计算的任务调度程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheral component interconnect,简称PCI)总线或扩展工业标准结构(extended industry standard architecture,简称EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图3仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图3示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、Wi-Fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如WI-FI接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(Display)、输入单元(比如键盘(Keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于云计算的任务调度程序是多个指令的组合,在所述处理器10中运行时,可以实现:
接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间;
对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流;
确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间;
根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集;
根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
具体地,所述处理器10对上述指令的具体实现方法可参考图1至图2对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间;
对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流;
确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间;
根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集;
根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种基于云计算的任务调度方法,其特征在于,所述方法包括:
接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间;
对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流;
确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间;
根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集;
根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
2.如权利要求1所述的基于云计算的任务调度方法,其特征在于,所述利用预构建的虚拟机计算任务集中每个任务的任务消耗时间,包括:
预估每个任务在执行过程中所需消耗的流量值;
根据下式计算得到每个任务的任务消耗时间:
Figure 190548DEST_PATH_IMAGE001
其中,T(ti,mj)表示第i个任务ti在第j个虚拟机mj上计算得到的任务消耗时间,α为计算任务消耗时间的权重,taskflowti表示第i个任务ti在执行过程中所需消耗的流量值,mipmj表示第j个虚拟机mj的处理能力量化值。
3.如权利要求2所述的基于云计算的任务调度方法,其特征在于,所述依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间,包括:
依次获取每个响应服务器的标准硬件能力及标准软件能力,其中标准硬件能力包括CPU 最大频率、最大内存,标准软件能力包括网络带宽最小值及功耗最大值;
确定在当前时间下每个响应服务器的当前硬件能力及当前软件能力;
根据所述标准硬件能力、当前硬件能力、标准软件能力与当前软件能力计算得到每个响应服务器的处理负担值;
当所述处理负担值大于或等于预设负担阈值时,将对应响应服务器的接收时间设定为预设指定时间;
当所述处理负担值小于预设负担阈值时,根据预构建的接收时间计算公式计算得到可以接收新任务的接收时间。
4.如权利要求3所述的基于云计算的任务调度方法,其特征在于,所述当前硬件能力包括CPU 当前频率、空闲内存,所述当前软件能力包括网络带宽当前值及功耗当前值。
5.如权利要求4所述的基于云计算的任务调度方法,其特征在于,所述根据所述标准硬件能力、当前硬件能力、标准软件能力与当前软件能力计算得到每个响应服务器的处理负担值,包括:
采用如下公式计算得到每个响应服务器的处理负担值:
Figure 842109DEST_PATH_IMAGE002
其中,load(sj)表示第j个响应服务器sj的处理负担值,r为处理负担值的调节因子,
Figure 418584DEST_PATH_IMAGE003
表示根据第j个响应服务器的CPU最大频率及最大内存映射得到标准硬件处理值,
Figure 548214DEST_PATH_IMAGE004
表示根据第j个响应服务器的网络带宽最小值及功耗最大值映射得到标准软件处理值,
Figure 910057DEST_PATH_IMAGE005
表示根据第j个响应服务器的CPU当前频率及空闲内存映射得到当前硬件处理值,
Figure 466940DEST_PATH_IMAGE006
表示根据第j个响应服务器的网络带宽当前值及功耗当前值映射得到当前软件处理值。
6.如权利要求1所述的基于云计算的任务调度方法,其特征在于,所述根据预构建的接收时间计算公式计算得到可以接收新任务的接收时间,包括:
采用如下公式计算得到接收新任务的接收时间
Figure 530711DEST_PATH_IMAGE007
其中,tsj-all表示第j个响应服务器sj目前正在处理的所有任务,T(tsj-all,sj)表示第j个响应服务器在处理所有任务tsj-all前提下可接收新任务的接收时间,β为计算接收时间的权重,taskflowsj-all表示第j个响应服务器处理任务tsj-all所消耗的流量值,mipsj表示第j个响应服务器的处理能力量化值。
7.如权利要求1所述的基于云计算的任务调度方法,其特征在于,所述根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,包括:
计算每个服务器在空闲状态下的能耗值;
获取每个服务器在当前时刻的工作电压及工作电流;
根据所述工作电压及工作电流,计算得到每个服务器在当前时刻的能耗值;
基于空闲状态的能耗值及当前时刻的能耗值构建每个服务器的能源消耗值计算函数;
相加所述父子任务流中每个任务的任务消耗时间得到总消耗时间;
以所述总消耗时间作为能源消耗值计算函数的乘积因子,计算得到第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值。
8.如权利要求7所述的基于云计算的任务调度方法,其特征在于,所述计算每个服务器在空闲状态下的能耗值,包括:
采用如下公式计算得到空闲状态下的能耗值:
Figure 464032DEST_PATH_IMAGE008
其中,Esj表示第一服务器集中第j个响应服务器空闲状态下的能耗值,
Figure 929648DEST_PATH_IMAGE009
表示第j个响应服务器的能耗比例,
Figure 657433DEST_PATH_IMAGE010
表示第j个响应服务器在空闲状态下的最大功耗。
9.如权利要求8所述的基于云计算的任务调度方法,其特征在于,所述根据所述工作电压及工作电流,计算得到每个服务器在当前时刻的能耗值,包括:
Figure 208500DEST_PATH_IMAGE011
其中,
Figure 679932DEST_PATH_IMAGE012
表示第一服务器集中第j个响应服务器在当前时刻下的能耗值,
Figure 249323DEST_PATH_IMAGE013
表示第j个响应服务器的工作电压,
Figure 413588DEST_PATH_IMAGE014
表示第j个响应服务器的工作电流。
10.一种基于云计算的任务调度装置,其特征在于,所述装置包括:
任务消耗时间计算模块,用于接收任务集并将任务集传输至基于云计算的任务调度系统,利用预构建的虚拟机计算任务集中每个任务的任务消耗时间;
优选级排序模块,用于对所述任务集中每个任务按照父任务与子任务的关系执行处理优选级排序,得到一组或多组父子任务流;
接收时间计算模块,用于确定用于处理所述父子任务流的响应服务器集,其中所述任务调度系统与每个响应服务器均绑定,依次计算所述响应服务器集中每个响应服务器可以接收新任务的接收时间;
服务器筛选模块,用于根据每个响应服务器的接收时间,从响应服务器集中选择出用于处理父子任务流的服务器,得到第一服务器集;
能源消耗计算模块,用于根据每个任务的任务消耗时间,计算所述第一服务器集中每个服务器在假设处理父子任务流下的能源消耗值,选择出能源消耗值最小的服务器处理所述父子任务流,完成任务调度。
CN202211314597.8A 2022-10-26 2022-10-26 一种基于云计算的任务调度方法及装置 Active CN115373826B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211314597.8A CN115373826B (zh) 2022-10-26 2022-10-26 一种基于云计算的任务调度方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211314597.8A CN115373826B (zh) 2022-10-26 2022-10-26 一种基于云计算的任务调度方法及装置

Publications (2)

Publication Number Publication Date
CN115373826A CN115373826A (zh) 2022-11-22
CN115373826B true CN115373826B (zh) 2022-12-30

Family

ID=84073517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211314597.8A Active CN115373826B (zh) 2022-10-26 2022-10-26 一种基于云计算的任务调度方法及装置

Country Status (1)

Country Link
CN (1) CN115373826B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116483573B (zh) * 2023-04-25 2023-11-03 格莱杰(深圳)科技有限公司 一种响应待处理任务时的计算资源调度方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479949A (zh) * 2017-08-21 2017-12-15 重庆电子工程职业学院 低能耗云计算任务调度方法
CN110351348A (zh) * 2019-06-27 2019-10-18 广东石油化工学院 一种基于dqn的云计算资源调度优化方法
CN110362388A (zh) * 2018-04-11 2019-10-22 中移(苏州)软件技术有限公司 一种资源调度方法及装置
CN113204429A (zh) * 2021-05-31 2021-08-03 深圳供电局有限公司 一种数据中心的资源调度方法及系统、调度设备、介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9417918B2 (en) * 2013-11-20 2016-08-16 International Business Machines Corporation Computing session workload scheduling and management of parent-child tasks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107479949A (zh) * 2017-08-21 2017-12-15 重庆电子工程职业学院 低能耗云计算任务调度方法
CN110362388A (zh) * 2018-04-11 2019-10-22 中移(苏州)软件技术有限公司 一种资源调度方法及装置
CN110351348A (zh) * 2019-06-27 2019-10-18 广东石油化工学院 一种基于dqn的云计算资源调度优化方法
CN113204429A (zh) * 2021-05-31 2021-08-03 深圳供电局有限公司 一种数据中心的资源调度方法及系统、调度设备、介质

Also Published As

Publication number Publication date
CN115373826A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN110389816B (zh) 用于资源调度的方法、装置以及计算机可读介质
EP4394595A1 (en) Job solving method and apparatus
CN107608893B (zh) 一种压力测试调度方法、装置、调度服务器及计算设备
CN111104210A (zh) 一种任务处理方法、装置及计算机系统
CN113157379A (zh) 集群节点资源调度方法及装置
CN115373826B (zh) 一种基于云计算的任务调度方法及装置
CN106293947B (zh) 虚拟化云环境下gpu-cpu混合资源分配系统和方法
CN113890712A (zh) 数据传输方法、装置、电子设备及可读存储介质
CN111694844A (zh) 基于配置算法的企业运行数据分析方法、装置及电子设备
CN112256783A (zh) 数据导出方法、装置、电子设备及存储介质
CN117149665B (zh) 持续集成方法、控制设备、持续集成系统及存储介质
CN113742069A (zh) 基于人工智能的容量预测方法、装置及存储介质
CN115827179B (zh) 一种物理机设备的算力调度方法、装置、设备及存储介质
CN111984392A (zh) 任务调度方法、装置、电子设备及存储介质
CN115334001B (zh) 基于优先关系的数据资源调度方法及装置
CN111522707A (zh) 大数据平台调度预警方法、装置及计算机可读存储介质
CN116820714A (zh) 一种算力设备的调度方法、装置、设备和存储介质
CN110868330B (zh) 云平台可划分cpu资源的评估方法、装置及评估系统
CN113407322B (zh) 多终端的任务分配方法、装置、电子设备及可读存储介质
CN113918305B (zh) 节点调度方法、装置、电子设备及可读存储介质
CN115952054A (zh) 一种仿真任务资源管理方法、装置、设备及介质
CN113918296A (zh) 模型训练任务调度执行方法、装置、电子设备及存储介质
CN114625512A (zh) 任务调度方法、装置、电子设备及存储介质
CN112988383A (zh) 一种资源分配方法、装置、设备以及存储介质
CN115242662B (zh) 基于云计算的数据资源分配方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant