CN103605567B - 面向实时性需求变化的云计算任务调度方法 - Google Patents

面向实时性需求变化的云计算任务调度方法 Download PDF

Info

Publication number
CN103605567B
CN103605567B CN201310518678.4A CN201310518678A CN103605567B CN 103605567 B CN103605567 B CN 103605567B CN 201310518678 A CN201310518678 A CN 201310518678A CN 103605567 B CN103605567 B CN 103605567B
Authority
CN
China
Prior art keywords
virtual machine
task
cluster
real
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310518678.4A
Other languages
English (en)
Other versions
CN103605567A (zh
Inventor
毛莺池
陈曦
戚荣志
李水艳
闵伟
王康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Huaneng Group Technology Innovation Center Co Ltd
Huaneng Lancang River Hydropower Co Ltd
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN201310518678.4A priority Critical patent/CN103605567B/zh
Publication of CN103605567A publication Critical patent/CN103605567A/zh
Application granted granted Critical
Publication of CN103605567B publication Critical patent/CN103605567B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种面向实时性需求变化的云计算任务调度方法,属于云计算技术领域。本发明根据用户请求的任务对实时性需求的不同,将请求的任务按任务分级函数计算出的值将任务的优先级分成三个等级,对不同等级的任务采用不同的调度策略分配至相应的虚拟机,满足用户请求的任务对实时性的需求。同时,本发明建立了非空闲虚拟机集群和虚拟机缓冲队列,非空闲虚拟机集群用于正常的任务调度,虚拟机缓冲队列实现对非空闲虚拟机集群的缓冲。在需要执行任务负载较大的情况下,新的虚拟机可以随时加入到非空闲虚拟机集群,执行计算任务;在执行任务负载较轻时,可以关闭部分虚拟机,使其退出虚拟机集群,实现虚拟机资源的高效利用。

Description

面向实时性需求变化的云计算任务调度方法
技术领域
本发明涉及一种云计算任务调度方法,尤其涉及一种面向实时性需求变化的云计算任务调度方法,属于云计算技术领域。
背景技术
云计算作为一种新型技术目前正被受到越来越广泛的关注并且在很多领域已经得到应用。云计算的广泛定义是指服务的交付和使用模式,通过网络以按需、易扩展的方式获得服务,这种服务可以是IT基础设施、软件、网络等,也可以是其他服务。云计算能为用户提供廉价、灵活、按需、安全的服务,为用户节省了硬件上的开销成本。
虚拟化技术的出现为云计算提供了一种理想的解决方案,通过在服务器上部署多个虚拟机使多个任务能够在不同的虚拟机上独立地运行。这种将硬件资源分配给多个虚拟机的虚拟化技术能够有效地节省硬件开销,提高资源利用效率、节省管理成本。
云计算任务调度的主要作用是将用户的资源申请任务通过一定的策略方法分配至各个虚拟机,由虚拟机完成用户的任务请求。目前,常用的任务调度方法关注的是如何将任务合理地分配给虚拟机,使各节点的负载达到均衡。当批量任务到达,需要进行任务调度时,就会产生多个任务在虚拟机内排队等候被执行,造成任务的响应时间延长,这样会增加用户的等待时间,对于实时性需求高的任务,就无法满足用户的QoS需求。比如,在面向防汛防旱领域的云平台应用中,在汛情紧急的时期,对于洪水预报与预警任务,实时性要求很高,用户访问量也大;对于水利工程视频监控这样的任务,实时性要求就相对较低,访问量也较大;而对于汛情文档管理这样的任务,实时性要求很低,访问量也不大。因此,针对计算任务实时性需求变化大的云计算环境,如何进行任务调度方法,保证任务执行能够满足QoS要求,是需要解决的重要问题。
发明内容
本发明所要解决的技术问题在于克服现有技术不足,提供一种面向实时性需求变化的云计算任务调度方法,针对计算任务实时性要求变化大的云计算环境,在任务调度过程中,用户对任务完成时间需求多变的情况下,能有效避免用户任务完成时间过长,并兼顾虚拟机资源利用率。
本发明采用以下技术方案解决上述技术问题:
面向实时性需求变化的云计算任务调度方法,云计算数据中心将用户提交的任务分配至虚拟机集群,云计算数据中心首先根据任务对实时性需求的不同,将用户提交的任务分为由高到低的三种优先级:紧急级、重要级、普通级;然后根据虚拟机集群中各虚拟机的负载情况,对不同优先级的任务采用不同的调度方法,具体如下:
对于普通级任务,从虚拟机集群中寻找与该普通级任务所需资源最匹配的非空闲虚拟机,并将该普通级任务调度到该虚拟机上;
对于重要级任务,首先从虚拟机集群中寻找等待任务队列中最后一个任务的预期等待时间小于所述重要级任务的允许延时的非空闲虚拟机,并将该重要级任务调度到该非空闲虚拟机上;如未找到满足上述要求的非空闲虚拟机,则从虚拟机集群中寻找空闲虚拟机,并将该重要级任务调度到该空闲虚拟机上;如未找到空闲虚拟机,则生成新的虚拟机,并将该重要级任务调度至新生成的虚拟机;
对于紧急级任务,首先从虚拟机集群中寻找空闲虚拟机,并将该紧急级任务调度到该空闲虚拟机上;如未找到空闲虚拟机,则生成新的虚拟机,并将该紧急级任务调度至新生成的虚拟机。
优选地,任务i所需资源与虚拟机j的匹配程度由匹配度fij表征,匹配度fij的值越小说明匹配程度越高;匹配度fij通过向量空间模型计算得到,具体如下:设任务i所需的计算、存储和网络资源向量为(Ci,Si,Ni),虚拟机j所能提供的计算、存储和网络资源向量为(Cj,Sj,Nj),则匹配度
进一步地,该方法还包括:所述虚拟机集群被分为非空闲虚拟机集群和虚拟机缓冲队列;云计算数据中心对虚拟机集群中的各虚拟机的状态进行实时监控,当非空闲虚拟机集群中的某台虚拟机处于空闲状态时,则将该虚拟机从非空闲虚拟机集群送入虚拟机缓冲队列;如虚拟机在虚拟机缓冲队列中的持续等待时间超过一预设的阈值,则将该虚拟机退出虚拟机缓冲队列并释放其占用的资源。
优选地,所述对虚拟机集群中的各虚拟机的状态进行实时监控,具体包括各台虚拟机的计算资源使用率、存储资源使用率、网络资源使用率、正在执行的任务数量、等待被执行的任务数量,以及单个任务在虚拟机集群中的平均执行时间;虚拟机集群中任一虚拟机的等待任务队列中最后一个任务的预期等待时间等于该虚拟机的等待被执行的任务数量与单个任务在虚拟机集群中的平均执行时间的乘积。
优选地,根据分级函数将用户提交的任务分为由高到低的三种优先级:紧急级、重要级、普通级,任务的分级函数值越小,则优先级越高;所述分级函数具体如下:
f(i)=α*Tresponse+β*Texpect+γ*Cost
式中,f(i)表示任务i的分级函数值;Tresponse表示任务i的最大响应时间;Texpect表示任务i在虚拟机上的预期执行时间;表示任务i在虚拟机上执行的花费,其中p为单个虚拟机的价格,compute为虚拟机中的计算资源价格,storage为虚拟机中的存储资源价格,net为虚拟机中的网络资源价格,a、b、c分别为计算资源、存储资源、网络资源在虚拟机中所占的权重,且a+b+c=1;α、β、γ为预设的权重值,且α+β+γ=1。
本发明根据用户请求的任务对实时性需求的不同,将请求的任务按任务分级函数计算出的值将任务的优先级分成三个等级,对不同等级的任务采用不同的调度策略分配至相应的虚拟机,满足用户请求的任务对实时性的需求。同时,本发明建立了非空闲虚拟机集群和虚拟机缓冲队列,非空闲虚拟机集群用于正常的任务调度,虚拟机缓冲队列实现对非空闲虚拟机集群的缓冲。在需要执行任务负载较大的情况下,新的虚拟机可以随时加入到非空闲虚拟机集群,执行计算任务;在执行任务负载较轻时,可以关闭部分虚拟机,使其退出虚拟机集群,实现虚拟机资源的高效利用。
附图说明
图1为本发明的云计算任务调度方法的总体框架图;
图2为本发明的云计算任务调度方法中虚拟机监控模块采集的数据包格式;
图3本发明的云计算任务调度方法中预测任务平均时间的滑动窗口方法原理示意图;
图4为本发明的云计算任务调度方法的调度流程示意图;
图5为本发明的云计算任务调度方法中任务调度器中任务状态的转换图;
图6为为本发明的云计算任务调度方法中虚拟机状态管理的转换图。
具体实施方式
下面结合附图对本发明的技术方案进行详细说明:
本发明的思路是针对计算任务实时性要求变化大的云计算环境,在任务调度过程中,用户对任务完成时间需求多变的情况下,根据任务对实时性需求的不同,将用户提交的任务分为由高到低的三种优先级:紧急级、重要级、普通级;然后根据虚拟机集群中各虚拟机的负载情况,对不同优先级的任务采用不同的调度方法,以满足各类任务对实时性需求的不同。在此基础上,进一步建立了非空闲虚拟机集群和虚拟机缓冲队列,非空闲虚拟机集群用于正常的任务调度,虚拟机缓冲队列实现对非空闲虚拟机集群的缓冲。在需要执行任务负载较大的情况下,新的虚拟机可以随时加入到非空闲虚拟机集群,执行计算任务;在执行任务负载较轻时,可以关闭部分虚拟机,使其退出虚拟机集群,实现虚拟机资源的高效利用。
下面以本发明的一个优选实施例来对本发明的技术方案进行详细说明。
图1显示了本发明任务调度方法的总体框架。如图所示,该方法主要包括以下几个主要方面:
①多个用户任务请求进入任务按时间优先级分类模块,用户请求的任务按等待时间优先级分成:紧急级、重要级、普通级;
②任务优先级队列模块根据请求任务的优先级,将其加入相应的优先级队列中;
③将资源池中的计算、存储、网络资源生成虚拟机,构建虚拟机集群;
④虚拟机集群监控模块实时收集各个虚拟机监控程序采集的虚拟机状态数据,并对虚拟机状态进行管理;
⑤虚拟机缓冲队列对等待工作的虚拟机进行管理;
⑥任务调度模块根据任务优先级队列和虚拟机负载情况,将请求的任务分配至相应的虚拟机,准备执行任务。
一、任务按时间优先级分类模块具体按照以下方法进行任务优先级分类:
根据请求任务对实时性需求的不同,将任务按照任务分级函数计算出的值分类,并将任务分配至不同的时间优先级任务队列中。本发明中将任务的优先级分成三级:紧急级、重要级、普通级,并为这三类任务分别建立三个相应的任务队列。
①紧急级任务队列(Qtc):该任务队列中的任务非常紧急,任务请求必须尽快得到响应,并立刻分配至虚拟机中被执行。
②重要级任务队列(Qti):该任务队列中的任务对实时性的要求比Qtc中的任务低,但也很重要。该队列中的任务请求允许有短暂的延时。
③普通级任务队列(Qtg):该任务队列中的任务对实时性的要求最低,任务请求允许有一定的延时,任务可以等待一段时间被执行。
在同一级任务队列中,请求的任务按照先来先服务的原则分配至相应的虚拟机中执行。
本发明所建立的任务分级函数考虑了以下Qos指标:
①任务i的最大响应时间Tresponse
②任务i在虚拟机上的预期执行时间Texpect
③任务i在虚拟机上的花费其中p为单个虚拟机的价格;compute为虚拟机中的计算资源价格;storage为虚拟机中的存储资源价格;net为虚拟机中的网络资源价格;a、b、c分别代表各种资源在虚拟机中所占的权重且a+b+c=1。
本发明建立的任务分级函数具体如下:
f(i)=α*Tresponse+β*Texpect+γ*Cost
α、β、γ为各Qos指标的权重值,且α+β+γ=1。本发明主要面向实时性需求多变的任务调度,在调度过程中对时间的要求比较高,因此,α、β的权重值应设置的大一些,以显示任务的响应时间和预期执行时间的重要地位。本发明优选设置α为0.5,β为0.3,γ为0.2。
根据任务i的任务分级函数值,即可按照预先设置好的范围确定其优先级,并将其送入相应的优先级任务队列。
二、本发明构建虚拟机集群采用的方法如下:
虚拟机的主要作用是在一台物理服务器上模拟出多台独立的计算机,这些虚拟机能够像真实的计算机一样拥有操作系统,能够部署应用程序、访问网络资源。本发明中虚拟机的构建主要包括以下几个步骤:
①提取资源池中的计算、存储、网络资源并将其封装整合成计算任务在虚拟机中被执行所需要的资源(注:计算资源指云计算环境下虚拟机提供的内存大小、计算单元个数;存储资源指虚拟机存储硬盘的大小;网络资源指服务通信时虚拟机能够提供的网络带宽)。
②在虚拟机中部署用户任务执行所需要的应用程序、操作系统,以及虚拟机状态监控模块(程序)。
③虚拟机状态监控模块实时收集虚拟机中计算、存储、网络资源的使用率、及该虚拟机中正在执行的任务和等待被执行的任务数量,并将这些监控数据每隔Δτ时间(监控周期)发送至虚拟机集群监控模块。
④根据任务调度的需求,将部署好的虚拟机直接加入非空闲虚拟机集群,或者进入虚拟机缓冲队列,等待任务调度到该虚拟机执行。
三、虚拟机集群监控模块采用的方法如下:
虚拟机集群监控模块每隔一段时间Δτ,收集各个虚拟机状态监控模块发送的监控数据包,监控数据包中的信息包括虚拟机中计算、存储、网络资源的使用率、正在执行的任务数量、等待被执行的任务数量。图2是本实施例中虚拟机监控模块收集的监控数据包格式,从左到右依次为虚拟机中CPU使用率、内存占用率,外存占用率、网络带宽使用率、正在执行的任务数量、等待被执行的任务数量。
虚拟机集群监控模块根据上述数据,计算得到单个任务在虚拟机集群中的平均执行时间,一种可以采用的计算方法如下:
①设时刻t-Δτ内,第i台虚拟机Vi中等待被执行的任务数量为正在执行的任务数量为则在t-Δτ时刻中虚拟机Vi中的总任务数量若虚拟机集群中有n台虚拟机,则时刻t-Δτ虚拟机集群中的总任务数量为:
②经过一个监控周期Δτ后,虚拟机集群监控模块收集到时刻为t时每台虚拟机正在执行与等待执行的任务数量,计算得到虚拟机集群中总任务数为:
③根据两个时刻t-Δτ、t的虚拟机集群总任务数Nt-Δτ和Nt,计算得到在上一监控周期Δτ时间段内,单个任务的平均执行时间Tavg为:
Tavg=Δτ/(Nt-Δτ-Nt)
可以直接以上一监控周期内单个任务的平均执行时间Tavg作为单个任务在虚拟机集群中的平均执行时间。
由于在实际环境中,任务量的变化具有相对平滑,且有规律,但在单个时间段Δτ内任务量又表现出剧烈抖动,难以预测的特点,这样就导致在一个Δτ时间段内计算出的任务平均执行时间Tavg不够精确。本发明进一步提出了一种基于滑动窗口的方法来预测单个任务在虚拟机集群中的平均执行时间,该方法的原理如图3所示,具体如下:
步骤1:设置滑动窗口的长度为size;
步骤2:计算在当前的t时刻之前每个Δτ时间段内任务的平均执行时间Tavg(t-i)
步骤3:利用下式预测任务在当前监控周期内的平均执行时间:
以得到的预测值作为单个任务在虚拟机集群中的平均执行时间,由此,即可求得虚拟机集群中任意一台虚拟机中等待执行的第j个任务的预期等待时间Ttj_waite为:
四、构建虚拟机缓冲队列采用方法如下:
①初始化虚拟机缓冲队列,为空。
②若非空闲虚拟机集群中的虚拟机可以满足请求任务的执行需求,则新生成的虚拟机就进入虚拟机缓冲队列,等待任务被分配到此虚拟机;否则,新生成的虚拟机就直接加入至虚拟机集群中,执行被分配的任务。
③当虚拟机集群监控模块检测到某台虚拟机处于空闲状态时,则将该虚拟机退出非空闲虚拟机集群,进入虚拟机缓冲队列。
④若虚拟机在虚拟机缓冲队列中等待时间超过预设的时间阈值Tidle,则该虚拟机退出虚拟机缓冲队列,并释放其所占用的资源。
五、任务调度模块采用的调度方法如下:
任务调度模块根据虚拟机集群监控模块中提供的各个虚拟机负载情况,以及计算得到的单个任务在虚拟机集群中的平均执行时间、虚拟机中各个任务的平均等待时间,将请求的任务调度至合适的虚拟机,在本发明中根据任务的优先级设计了三种不同的调度方法,具体方法描述如下:
①当被调度的任务优先级为普通级时,任务调度模块在非空闲虚拟机集群中寻找与该任务所需资源最匹配的虚拟机,并将该请求任务调度到该虚拟机上,准备执行。
本实施例通过向量空间模型计算任务所需资源与现有虚拟机集群中可用资源的匹配度fij使任务被调度至最合适的虚拟机。具体方法如下:设任务i所需的计算、存储和网络资源向量为(Ci,Si,Ni),虚拟机j所能提供的计算、存储和网络资源向量为(Cj,Sj,Nj),则任务i所需资源与虚拟机j的匹配度fij按照下式计算:
fij的值越小说明匹配程度越高,虚拟机提供的资源越能满足用户的需求。
②当被调度的任务优先级为重要级时,任务调度模块在非空闲虚拟机集群中寻找等待任务队列中最后一个任务Tj的预期等待时间Ttj_waite小于该任务Tj的允许延时Ttj_delay(即Ttj_waite<Ttj_delay)的虚拟机;若非空闲虚拟机集群中没有该虚拟机,则从虚拟机缓冲队列中分配一台虚拟机进入非空闲虚拟机集群,并将任务调度至该虚拟机上,准备执行;若虚拟机缓冲队列为空,则系统生成新的虚拟机,并直接加入非空闲虚拟机集群中,并将任务调度至该虚拟机上,准备执行。
③当被调度的任务优先级为紧急级时,若虚拟机缓冲队列中有虚拟机等待分配,则任务调度模块直接从虚拟机缓冲队列中分配一台虚拟机进入非空闲虚拟机集群,并将任务调度至该虚拟机上,准备执行;否则,系统生成新的虚拟机,并直接加入非空闲虚拟机集群中,并将任务调度至该虚拟机上,准备执行。
图4显示了本发明任务调度方法的基本流程,如图所示,任务调度过程包括:
Step1:接收用户的任务请求;
Step2:创建三个优先级别的任务队列,并进行初始化;
Step3:根据请求任务的实时性要求,确定用户任务的优先级,根据其优先级进入相应的队列等待调度,此时用户请求任务完成初始化工作,处于“提交”状态;
Step4:若请求任务是普通级,则转至Step5;若请求任务是重要级,则转至Step6;若请求任务是紧急级,则转至Step7;
Step5:选择空闲虚拟机集群中资源匹配程度最高的虚拟机,并将任务调度至该虚拟机上,此时任务调度器中任务处于“就绪”状态,任务完成后,虚拟机释放执行任务所占用的资源,任务处于“退出”状态,转至Step11;
Step6:统计非空闲虚拟机集群中每个虚拟机上最后一个等待任务执行完毕所需的时间Tvi_waite,Ttj_delay表示任务tj能够容忍的最长延时Ttj_delay,比较Tvi_waite与Ttj_delay,若Tvi_waite<Ttj_delay,则转至Step10;否则,即Tvi_waite≥Ttj_delay,则转至Step7;
Step7:判断虚拟机缓冲队列是否为空,若虚拟机缓冲队列为空,则转至Step8;否则,转至Step9;
Step8:系统生成一个新虚拟机,并将其加入非空闲虚拟机集群,转至Step10;
Step9:从虚拟机缓冲队列中分配一台虚拟机加入非空闲虚拟机集群,转至Step10;
Step10:将任务tj调度至该虚拟机上执行,此时任务处于“就绪”状态;任务完成后,虚拟机释放执行任务所占用的资源,任务处于“退出”状态,转至Step11;
Step11:检查请求任务队列是否为空,若不为空,转至Step4;否则,转至Step3。
图5显示了调度中任务状态的转换过程。
图6为本发明方法中虚拟机状态管理的转换图。一个新的虚拟机生成后,处于“初始化”状态;若虚拟机集群中的虚拟机可以满足请求任务的执行需求,则新生成的虚拟机就进入虚拟机缓冲队列,处于“就绪”状态,等待任务被分配到此虚拟机;若虚拟机缓冲队列为空,或者虚拟机集群中的虚拟机无法满足请求任务的执行需求,则新生成的虚拟机就直接加入至虚拟机集群中,处于“工作”状态,执行被分配的任务;若虚拟机在虚拟机缓冲队列中接受到调度命令,则进入“工作”状态;若虚拟机将其上所有的任务执行完毕后,进入“空闲”状态;当虚拟机在虚拟机集群中接受到调度命令,则进入“工作”状态;当虚拟机集群监控模块定期检测到某个虚拟机处于“空闲”状态超过阈值Tidle,则将该虚拟机退出集群,处于“就绪”状态,进入虚拟机缓冲队列;如果虚拟机在虚拟机缓冲队列中等待时间超过阈值Tready,则该虚拟机退出缓冲队列,释放其占用的资源。
根据以上实施例可知,本发明实现了一种面向实时性需求变化的云计算任务调度方法,根据用户请求的任务对实时性需求的不同,将请求的任务按等待时间优先级分成三个等级,并分配至不同的时间优先级任务队列中,对不同等级的任务采用不同的调度策略分配至相应的虚拟机,满足用户请求的任务对实时性的需求。同时本发明建立了虚拟机集群和虚拟机缓冲队列,虚拟机集群用于正常的任务调度,虚拟机缓冲队列实现对虚拟机集群的缓冲。在需要执行任务负载较大的情况下,新的虚拟机可以随时加入到虚拟机集群,执行计算任务;在执行任务负载较轻时,可以关闭部分虚拟机,使其退出虚拟机集群,实现虚拟机资源的高效利用。

Claims (7)

1.面向实时性需求变化的云计算任务调度方法,云计算数据中心将用户提交的任务分配至虚拟机集群,其特征在于,云计算数据中心首先根据任务对实时性需求的不同,将用户提交的任务分为由高到低的三种优先级:紧急级、重要级、普通级;然后根据虚拟机集群中各虚拟机的负载情况,对不同优先级的任务采用不同的调度方法,具体如下:
对于普通级任务,从虚拟机集群中寻找与该普通级任务所需资源最匹配的非空闲虚拟机,并将该普通级任务调度到该虚拟机上;
对于重要级任务,首先从虚拟机集群中寻找等待任务队列中最后一个任务的预期等待时间小于所述重要级任务的允许延时的非空闲虚拟机,并将该重要级任务调度到该非空闲虚拟机上;如未找到满足要求的非空闲虚拟机,则从虚拟机集群中寻找空闲虚拟机,并将该重要级任务调度到该空闲虚拟机上;如未找到空闲虚拟机,则生成新的虚拟机,并将该重要级任务调度至新生成的虚拟机;
对于紧急级任务,首先从虚拟机集群中寻找空闲虚拟机,并将该紧急级任务调度到该空闲虚拟机上;如未找到空闲虚拟机,则生成新的虚拟机,并将该紧急级任务调度至新生成的虚拟机;
其中:任务i所需资源与虚拟机j的匹配程度由匹配度fij表征,匹配度fij的值越小说明匹配程度越高;匹配度fij通过向量空间模型计算得到,具体如下:设任务i所需的计算、存储和网络资源向量为(Ci,Si,Ni),虚拟机j所能提供的计算、存储和网络资源向量为(Cj,Sj,Nj),则匹配度
2.如权利要求1所述面向实时性需求变化的云计算任务调度方法,其特征在于,该方法还包括:所述虚拟机集群被分为非空闲虚拟机集群和虚拟机缓冲队列;云计算数据中心对虚拟机集群中的各虚拟机的状态进行实时监控,当非空闲虚拟机集群中的某台虚拟机处于空闲状态时,则将该虚拟机从非空闲虚拟机集群送入虚拟机缓冲队列;如虚拟机在虚拟机缓冲队列中的持续等待时间超过一预设的阈值,则将该虚拟机退出虚拟机缓冲队列并释放其占用的资源。
3.如权利要求2所述面向实时性需求变化的云计算任务调度方法,其特征在于,所述对虚拟机集群中的各虚拟机的状态进行实时监控,具体包括各台虚拟机的计算资源使用率、存储资源使用率、网络资源使用率、正在执行的任务数量、等待被执行的任务数量,以及单个任务在虚拟机集群中的平均执行时间;虚拟机集群中任一虚拟机的等待任务队列中最后一个任务的预期等待时间等于该虚拟机的等待被执行的任务数量与单个任务在虚拟机集群中的平均执行时间的乘积。
4.如权利要求3所述面向实时性需求变化的云计算任务调度方法,其特征在于,所述单个任务在虚拟机集群中的平均执行时间为所述实时监控的监控周期与上一监控周期中虚拟机集群所完成的任务总数之间的比值。
5.如权利要求3所述面向实时性需求变化的云计算任务调度方法,其特征在于,所述单个任务在虚拟机集群中的平均执行时间按照以下方法得到:首先,对当前的实时监控的监控周期之前的多个监控周期中的每一个,获取监控周期与该监控周期中虚拟机集群所完成的任务总数之间的比值Tavg;然后对所述多个监控周期的Tavg求平均,得到的平均值即为单个任务在虚拟机集群中的平均执行时间。
6.如权利要求1所述面向实时性需求变化的云计算任务调度方法,其特征在于,根据分级函数将用户提交的任务分为由高到低的三种优先级:紧急级、重要级、普通级,任务的分级函数值越小,则优先级越高;所述分级函数具体如下:
f(i)=α*Tresponse+β*Texpect+γ*Cost
式中,f(i)表示任务i的分级函数值;Tresponse表示任务i的最大响应时间;Texpect表示任务i在虚拟机上的预期执行时间;表示任务i在虚拟机上执行的花费,其中p为单个虚拟机的价格,compute为虚拟机中的计算资源价格,storage为虚拟机中的存储资源价格,net为虚拟机中的网络资源价格,a、b、c分别为计算资源、存储资源、网络资源在虚拟机中所占的权重,且a+b+c=1;α、β、γ为预设的权重值,且α+β+γ=1。
7.如权利要求6所述面向实时性需求变化的云计算任务调度方法,其特征在于,权重值α、β、γ、δ的取值如下:α为0.5,β为0.3,γ为0.2。
CN201310518678.4A 2013-10-29 2013-10-29 面向实时性需求变化的云计算任务调度方法 Expired - Fee Related CN103605567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310518678.4A CN103605567B (zh) 2013-10-29 2013-10-29 面向实时性需求变化的云计算任务调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310518678.4A CN103605567B (zh) 2013-10-29 2013-10-29 面向实时性需求变化的云计算任务调度方法

Publications (2)

Publication Number Publication Date
CN103605567A CN103605567A (zh) 2014-02-26
CN103605567B true CN103605567B (zh) 2017-03-22

Family

ID=50123796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310518678.4A Expired - Fee Related CN103605567B (zh) 2013-10-29 2013-10-29 面向实时性需求变化的云计算任务调度方法

Country Status (1)

Country Link
CN (1) CN103605567B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304260B (zh) * 2017-12-15 2022-02-22 上海超算科技有限公司 一种基于高性能云计算的虚拟化作业调度系统及其实现方法

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103986783A (zh) * 2014-06-03 2014-08-13 中兴长天信息技术(北京)有限公司 云计算系统
CN104021040B (zh) * 2014-06-04 2017-09-26 河海大学 基于时间约束条件下的云计算关联任务调度方法和装置
CN109286792B (zh) * 2014-07-28 2020-12-25 华为数字技术(成都)有限公司 一种监控视频存储方法及装置
CN104202261B (zh) * 2014-08-27 2019-02-05 华为技术有限公司 一种业务请求处理方法及装置
CN104636199A (zh) * 2015-03-13 2015-05-20 华存数据信息技术有限公司 一种基于分布式内存计算的大数据实时处理系统及方法
CN104820616B (zh) * 2015-04-24 2018-10-30 中国联合网络通信集团有限公司 一种任务调度的方法及装置
CN104954496A (zh) * 2015-06-30 2015-09-30 北京奇虎科技有限公司 云资源的分配方法及装置
CN105159782B (zh) * 2015-08-28 2018-11-02 北京百度网讯科技有限公司 基于云主机为订单分配资源的方法和装置
CN105159752B (zh) * 2015-09-22 2018-03-30 中国人民解放军国防科学技术大学 虚拟化云中机器启动时间感知的实时任务与资源调度方法
CN105279012A (zh) * 2015-11-27 2016-01-27 成都微讯云通科技有限公司 云平台作业调度方法
CN105468450B (zh) * 2015-12-29 2019-02-05 华为技术有限公司 任务调度方法及系统
CN105740054A (zh) * 2016-02-01 2016-07-06 浪潮软件股份有限公司 一种虚拟机管理方法及装置
CN107229519B (zh) * 2016-03-25 2021-04-23 阿里巴巴集团控股有限公司 任务调度方法和装置
CN106055409B (zh) * 2016-05-31 2017-11-14 广东欧珀移动通信有限公司 一种处理器资源的分配方法及移动终端
CN106127410A (zh) * 2016-07-04 2016-11-16 北京佳阳科技有限公司 客房服务监管方法、装置及系统
CN106371893A (zh) * 2016-08-31 2017-02-01 开封大学 一种云计算调度系统和方法
CN106506670B (zh) * 2016-11-21 2019-11-05 北京永信至诚科技股份有限公司 一种云平台虚拟资源高速调度方法与系统
CN106775948B (zh) * 2016-12-23 2020-09-04 安徽师范大学 一种基于优先级的云任务调度方法及装置
CN106897136A (zh) * 2017-02-28 2017-06-27 郑州云海信息技术有限公司 一种任务调度方法及装置
CN107145216A (zh) * 2017-05-05 2017-09-08 北京景行锐创软件有限公司 一种调度方法
CN107888660B (zh) * 2017-10-13 2021-06-18 杭州朗和科技有限公司 云服务资源调配方法、介质、装置和计算设备
TWI648637B (zh) * 2017-11-30 2019-01-21 財團法人工業技術研究院 於平台部署與操作行動作業系統的系統及其方法
CN108390784B (zh) * 2018-02-13 2019-10-08 中国联合网络通信集团有限公司 一种资源回收的方法及装置
CN108536518A (zh) * 2018-03-28 2018-09-14 深圳市银之杰科技股份有限公司 任务调度的方法及系统、征信平台、服务终端及存储器
CN109150831B (zh) * 2018-07-16 2021-03-23 中国人民解放军战略支援部队信息工程大学 一种内生安全的云任务执行装置及方法
CN109376006B (zh) * 2018-09-04 2021-09-21 西安电子科技大学 一种云计算环境下基于用户需求时变特性的资源整合方法
US10514949B1 (en) 2018-12-11 2019-12-24 Signals Analytics Ltd. Efficient data processing in a serverless environment
CN110109733B (zh) * 2019-04-29 2022-06-24 东北大学 面向不同老化场景的虚拟机工作队列和冗余队列更新方法
CN111858019B (zh) * 2019-04-30 2022-12-13 中移(苏州)软件技术有限公司 任务调度方法、装置及计算机可读存储介质
CN110377106B (zh) * 2019-06-21 2021-01-19 湖南麒麟信安科技股份有限公司 一种时统卡虚拟化方法、系统及介质
CN110297694A (zh) * 2019-07-05 2019-10-01 桂林理工大学 一种基于资源分类和任务优先级的启发式云计算调度方法
CN110399226B (zh) * 2019-07-31 2023-03-24 新乡学院 云系统用负载平衡器
CN110433487B (zh) * 2019-08-08 2022-01-28 腾讯科技(深圳)有限公司 一种业务资源分配的方法及相关装置
CN111324428B (zh) * 2019-09-20 2023-08-22 杭州海康威视系统技术有限公司 任务分配方法、装置、设备和计算机可读存储介质
CN111782355B (zh) * 2020-06-03 2024-05-28 上海交通大学 一种基于混合负载的云计算任务调度方法及系统
CN114327843A (zh) * 2020-09-29 2022-04-12 华为技术有限公司 任务调度方法及装置
CN112749008A (zh) * 2020-12-29 2021-05-04 中国人寿保险股份有限公司上海数据中心 一种基于OpenStack的云资源分配系统及其搭建方法
CN113342460B (zh) * 2021-05-11 2023-01-13 暨南大学 一种云数据中心面对突发负载的能耗控制方法
CN116382925B (zh) * 2023-06-05 2023-08-15 北京纷扬科技有限责任公司 一种任务队列的动态调整方法、装置及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508714A (zh) * 2011-11-03 2012-06-20 南京邮电大学 一种云计算中基于绿色计算的虚拟机调度方法
CN103309719A (zh) * 2012-03-07 2013-09-18 上海聚耘信息科技有限公司 一种应用于云计算的虚拟机管理系统
CN103324525A (zh) * 2013-07-03 2013-09-25 东南大学 一种云计算环境下的任务调度方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508714A (zh) * 2011-11-03 2012-06-20 南京邮电大学 一种云计算中基于绿色计算的虚拟机调度方法
CN103309719A (zh) * 2012-03-07 2013-09-18 上海聚耘信息科技有限公司 一种应用于云计算的虚拟机管理系统
CN103324525A (zh) * 2013-07-03 2013-09-25 东南大学 一种云计算环境下的任务调度方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304260B (zh) * 2017-12-15 2022-02-22 上海超算科技有限公司 一种基于高性能云计算的虚拟化作业调度系统及其实现方法

Also Published As

Publication number Publication date
CN103605567A (zh) 2014-02-26

Similar Documents

Publication Publication Date Title
CN103605567B (zh) 面向实时性需求变化的云计算任务调度方法
CN102156665B (zh) 一种虚拟化系统竞争资源差异化服务方法
CN105528330B (zh) 负载均衡的方法、装置、丛集和众核处理器
CN105912401B (zh) 一种分布式数据批处理系统和方法
CN107239336B (zh) 一种实现任务调度的方法及装置
WO2016082370A1 (zh) 一种分布式节点组内任务调度方法及系统
CN104657221A (zh) 一种云计算中基于任务分类的多队列错峰调度模型及方法
CN107003887A (zh) Cpu超载设置和云计算工作负荷调度机构
CN105446816B (zh) 一种面向异构平台的能耗优化调度方法
CN102063336A (zh) 一种分布式计算多应用功能异步并发调度方法
CN103685309B (zh) 面向地图可视化瓦片服务接入的异步请求队列的建立方法
CN105718479A (zh) 跨idc大数处理架构下执行策略生成方法、装置
CN102521055B (zh) 一种虚拟机资源分配方法及其系统
CN103067524A (zh) 一种基于云计算环境的蚁群优化计算资源分配方法
CN103927225A (zh) 一种多核心架构的互联网信息处理优化方法
CN102279771A (zh) 一种虚拟化环境中自适应按需资源分配的方法及系统
CN103699433B (zh) 一种于Hadoop平台中动态调整任务数目的方法及系统
CN104021040A (zh) 基于时间约束条件下的云计算关联任务调度方法和装置
CN109491761A (zh) 基于eda-ga混合算法的云计算多目标任务调度方法
CN114816715B (zh) 一种面向跨地域的流计算延迟优化方法及装置
CN105744006A (zh) 一种面向多类型服务的粒子群优化用户请求调度方法
Kao et al. Data-locality-aware mapreduce real-time scheduling framework
CN104580447A (zh) 一种基于访问热度的时空数据服务调度方法
CN105740059B (zh) 一种面向可分割任务的粒子群调度方法
CN109861850A (zh) 一种基于sla的无状态云工作流负载均衡调度的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Mao Yingchi

Inventor after: Tan Bin

Inventor after: Xiao Haibin

Inventor after: Chen Hao

Inventor after: Lu Ji

Inventor after: Qi Rongzhi

Inventor after: Li Shuiyan

Inventor after: Chi Fudong

Inventor after: Ge Heng

Inventor after: Chen Xi

Inventor before: Mao Yingchi

Inventor before: Chen Xi

Inventor before: Qi Rongzhi

Inventor before: Li Shuiyan

Inventor before: Min Wei

Inventor before: Wang Kang

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20171013

Address after: 210098 Jiangsu City, Jiangning Province Development Zone, West Road, No. 8 Buddha

Co-patentee after: HUANENG LANCANG RIVER HYDROPOWER Inc.

Patentee after: HOHAI University

Co-patentee after: Huaneng Group Innovation Technology Center

Address before: 210098 Jiangsu City, Jiangning Province Development Zone, West Road, No. 8 Buddha

Patentee before: HOHAI University

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170322