CN104852860A - 一种基于队列的异构资源多目标调度策略 - Google Patents
一种基于队列的异构资源多目标调度策略 Download PDFInfo
- Publication number
- CN104852860A CN104852860A CN201510219479.2A CN201510219479A CN104852860A CN 104852860 A CN104852860 A CN 104852860A CN 201510219479 A CN201510219479 A CN 201510219479A CN 104852860 A CN104852860 A CN 104852860A
- Authority
- CN
- China
- Prior art keywords
- tasks
- task
- resources
- data center
- scheduling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003139 buffering effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 2
- 238000005265 energy consumption Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000000034 method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种在异构云数据中心进行资源调度的策略,策略基于排队理论,能够充分考虑资源的异构性,提高资源利用率、保证任务的服务质量(QoS)以及云数据中心的负载均衡,同时,大幅降低云数据中心的能耗。策略包含以下步骤:一、利用队列模型,为数据中心建立两级调度框架,将所有任务的执行分为任务分配与任务调度两个阶段;二、在任务分配阶段,考虑资源异构性,利用HPAC算法将到达的分类任务集W(t)均衡地分配到各个服务器(PM);三、在任务调度阶段,考虑资源利用率与QoS,利用MIUS算法为PM队列中的任务创建虚拟机,执行任务。
Description
技术领域
本发明属于云计算IaaS领域,具体涉及一种在异构云数据中心进行资源调度的策略。
背景技术
云计算IaaS层的资源调度是实现云计算应用的关键技术,云数据中心由大量的异构服务器(PM)组成,普遍存在异构性,包括资源异构、任务异构以及虚拟机异构,异构性会直接影响调度策略的性能,从而影响整个云数据中心的服务质量。因此,针对异构性进行研究与调度能够更合理地利用资源,保证云提供商的利益。
多目标调度是在一种资源调度策略中同时实现多个目标值,利用多目标优化的思想解决资源调度问题。早期的策略主要为分解多目标优化,其思想核心是将多目标问题转化为单目标问题,普遍采用线性加权求和方法。但是,这种方法严重受制于权值的设置与目标给定的次序,同时,公共函数与限制条件可能是不可微或非线性的,这也给线性加权求解的思路加大了难度。
当前的多目标调度策略主要集中于同构资源的研究,虽然近年来陆续有学者开始对异构资源下的多目标调度进行研究,但这方面研究仍处于起步阶段,提出的相关策略存在资源利用率低、能耗高等问题。因此,需要有一个有效的策略针对云数据中心的异构性进行合理的资源调度。
发明内容
为了解决上述问题,本发明公开了一种基于队列的异构资源多目标调度策略,针对云数据中心资源异构的特点,本文借助分层优化多目标的思想处理资源利用率、QoS、负载均衡以及能耗等多目标。在保证服务质量(QoS)与能耗的情况下,提高资源利用率,并实现一定的负载均衡。本发明的目的是通过以下技术方案实现的:
a.利用HPAC算法处理任务分配
数据中心的资源调度一般分为任务分配与任务调度两个阶段,在任务分配阶段,本发明利用提出的HPAC算法将用户提交的云任务分配到指定PM,HPAC的主要思想是:根据PM的计算能力(由能力因子决定)将任务相对均匀的分配到各个PM,以期达到各个PM的负载均衡。
1)计算PM能力因子。考虑资源异构性,计算数据中心各个PM的能力因子α。首先,在所有PM中选择配置最小的一个PM,索引为j,将PMj的α设置为1,利用以下公式计算其他PM的能力因子。
其中,K为资源种类,Cik为PMi的k资源数量。
2)分配任务到PM。对于t时刻到达的任务集合W(t),依次处理W(t)中的第m类任务(m=1,2,3...,M,假定有M种任务)。若第一次处理m类任务,则随机选择一个PMi,将t时刻所有的m类任务分配到PMi(每一个PM拥有m个队列,分别缓存第m类任务),并保存i*=i;若已处理过m类任务,则首先随机选择一个PMi,然后利用以下公式进行PM选择,将选择的结果保存到i*。
其中,表示m队列的长度,即PMi中m类任务的等待数量,W(t)表示t时刻到达的任务集合。例如,0时刻到达的任务有5种,分别的数量为1,2,3,4,5,则W(0)=(1,2,3,4,5)。
b.利用MIUS算法处理任务调度
在任务调度阶段,本发明利用提出的MIUS算法进行VM的选择、创建并执行任务。随着各个PM的运行,PM的剩余资源是动态变化的,因此,需要首先确定PM能够容纳任务的种类与数量(由可用配置集决定)。接着,根据队列中等待任务的情况(由各个队列的长度决定)与各个任务对利用率的影响(由影响因子决定)选择最终的VM配置并根据创建VM并执行任务。
1)计算可用配置集。随着PM执行任务,PM的可用资源是变化的。利用当前PM的可用资源可以计算出PM当前的可用配置集Λ(t)。
其中,amk表示任务m对资源k的需求量,Cik表示PMi中k资源数量,Nm表示m类任务可放入的数量。例如,某数据中心有1个PM,该PM的CPU与内存配置分别为3GHz,3GB,假设任务有两种:一种需要CPU与内存为1GHz,1GB,另一种需要2GHz,2GB。则利用以上公式可以计算出该PM的当前可用配置集Λ(t)={(1,1),(1,0),(2,0),(3,0),(0,1)}。
2)计算任务对利用率的影响因子。umi表示PMi中m类任务对资源利用率的影响,umi越大,表示m任务对利用率的提高越快。
3)选择最佳配置。在本发明中,每一个PM拥有m个队列,分别缓存第m类任务。利用以下公式可以计算当前时刻最佳的配置
4)按照最佳配置创建虚拟机,执行任务。
本发明的有益效果如下:
本发明通过HPAC算法保证数据中心各个PM之间的负载均衡,通过MIUS算法保证任务的QoS,同时最大化PM的资源利用率,以此提高整个数据中心的资源利用率。并且,通过CloudSim仿真实验,验证了本发明能够降低云数据中心的能耗。
附图说明
图1本发明策略流程示意图。
图2数据中心配置示意图。
图3初始数据中心示意图。
图4HPAC算法完成任务分配示意图。
图5MIUS算法完成任务调度示意图。
具体实施方式
附图1是本发明的策略流程示意图。
附图2由两个表组成,分别表示数据中心的PM配置以及VM类型。
下面结合附图3、4、5,具体说明本发明的实施方式。
附图3是数据中心示意图,此时,W(t)=(2,2,2),即产生了6个任务。
1)根据PM配置按照公式(1)计算PM能力因子,由于附图2已包含各个PM的能力因子,可省略。
2)新任务W(t)到达后,中央调度器(Central Scheduler)根据HPAC算法进行3种任务的分配。首先考虑任务1,假设i*=1,并假设随机选中了PM2,根据公式(2)可知,i*=1,即选择PM1作为任务1的PM,如附图4所示。任务2与任务3的处理与任务1类似,不再赘述。
3)在各个PM中,任务的处理以MIUS算法进行。仅考虑PM1,由于已有任务在PM1中执行,
因此,需要更新PM1的可行配置集Λ(t),根据公式(3)可知,PM1的可用配置集为
Λ(t)={(3,0,0),(2,1,0),(1,0,1),(0,2,0)}
4)根据公式(4)计算三种VM分别对PM1资源利用率的影响因子,可得
u11=0.25,u21=0.375,u31=0.375
5)根据队列情况,利用公式(5)可知,
6)按照的值进行VM创建,如附图5所示。
Claims (1)
1.一种基于队列的异构资源多目标调度策略,包括以下步骤:
a.利用HPAC算法处理任务分配
数据中心的资源调度一般分为任务分配与任务调度两个阶段,在任务分配阶段,本发明利用提出的HPAC算法将用户提交的云任务分配到指定PM,HPAC的主要思想是:根据PM的计算能力(由能力因子决定)将任务相对均匀的分配到各个PM,以期达到各个PM的负载均衡。
1)考虑资源异构性,计算数据中心各个PM的能力因子α。首先,在所有PM中选择配置最小的一个PM,索引为j,将PMj的α设置为1,利用以下公式计算其他PM的能力因子。
其中,K为资源种类,Cik为PMi的k资源数量。
2)对于t时刻到达的任务集合W(t),依次处理W(t)中的第m类任务(m=1,2,3...,M,假定有M种任务)。若第一次处理m类任务,则随机选择一个PMi,将t时刻所有的m类任务分配到PMi(每一个PM拥有m个队列,分别缓存第m类任务),并保存i*=i;若已处理过m类任务,则首先随机选择一个PMi,然后利用以下公式进行PM选择,将选择的结果保存到i*。
其中,表示m队列的长度,即PMi中m类任务的等待数量,W(t)表示t时刻到达的任务集合。
b.利用MIUS算法处理任务调度
在任务调度阶段,本发明利用提出的MIUS算法进行VM的选择、创建并执行任务。随着各个PM的运行,PM的剩余资源是动态变化的,因此,需要首先确定PM能够容纳任务的种类与数量(由可用配置集决定)。接着,根据队列中等待任务的情况(由各个队列的长度m=1,2,...,M决定)与各个任务对利用率的影响(由影响因子决定)选择最终的VM配置并根据创建VM并执行任务。
1)随着PM执行任务,PM的可用资源是变化的。利用当前PM的可用资源可以计算出PM当前的可用配置集Λ(t)。
其中,amk表示任务m对资源k的需求量,Cik表示PMi中k资源数量,Nm表示m类任务可放入的数量。例如,某数据中心有1个PM,该PM的CPU与内存配置分别为3GHz,3GB,假设任务有两种:一种需要CPU与内存为1GHz,1GB,另一种需要2GHz,2GB。则利用以上公式可以计算出该PM的当前可用配置集Λ(t)={(1,1),(1,0),(2,0),(3,0),(0,1)}。
2)计算任务对利用率的影响因子,其中umi表示PMi中m类任务对资源利用率的影响。
3)一个PM拥有m个队列,分别缓存第m类任务,利用以下公式可以计算当前时刻最佳的配置
4)按照最佳配置创建虚拟机,执行任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510219479.2A CN104852860B (zh) | 2015-05-04 | 2015-05-04 | 一种基于队列的异构资源多目标调度策略 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510219479.2A CN104852860B (zh) | 2015-05-04 | 2015-05-04 | 一种基于队列的异构资源多目标调度策略 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104852860A true CN104852860A (zh) | 2015-08-19 |
CN104852860B CN104852860B (zh) | 2019-04-23 |
Family
ID=53852224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510219479.2A Expired - Fee Related CN104852860B (zh) | 2015-05-04 | 2015-05-04 | 一种基于队列的异构资源多目标调度策略 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104852860B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106403968A (zh) * | 2016-06-06 | 2017-02-15 | 四川大学 | WRSNs中异构移动充电车充电规划方法 |
CN107992359A (zh) * | 2017-11-27 | 2018-05-04 | 江苏海平面数据科技有限公司 | 一种云环境下代价感知的任务调度算法 |
CN108287759A (zh) * | 2017-01-10 | 2018-07-17 | 阿里巴巴集团控股有限公司 | 处理数据过程中的调度方法、装置和系统 |
CN112463339A (zh) * | 2020-12-11 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种多任务调度方法、系统、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271405A (zh) * | 2008-05-13 | 2008-09-24 | 武汉理工大学 | 基于QoS约束的双向分级网格资源调度方法 |
CN102195886A (zh) * | 2011-05-30 | 2011-09-21 | 兰雨晴 | 一种云平台上的服务调度方法 |
CN102780759A (zh) * | 2012-06-13 | 2012-11-14 | 合肥工业大学 | 基于调度目标空间的云计算资源调度方法 |
CN103701886A (zh) * | 2013-12-19 | 2014-04-02 | 中国信息安全测评中心 | 一种云计算环境下的服务及资源分层调度方法 |
-
2015
- 2015-05-04 CN CN201510219479.2A patent/CN104852860B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101271405A (zh) * | 2008-05-13 | 2008-09-24 | 武汉理工大学 | 基于QoS约束的双向分级网格资源调度方法 |
CN102195886A (zh) * | 2011-05-30 | 2011-09-21 | 兰雨晴 | 一种云平台上的服务调度方法 |
CN102780759A (zh) * | 2012-06-13 | 2012-11-14 | 合肥工业大学 | 基于调度目标空间的云计算资源调度方法 |
CN103701886A (zh) * | 2013-12-19 | 2014-04-02 | 中国信息安全测评中心 | 一种云计算环境下的服务及资源分层调度方法 |
Non-Patent Citations (2)
Title |
---|
肖逸飞等: "基于随机模型的动态调度算法研究", 《系统工程理论与实践》 * |
黎红友等: "云数据中心基于异构工作负载的负载均衡调度方案", 《四 川 大 学 学 报 ( 工 程 科 学 版 )》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106403968A (zh) * | 2016-06-06 | 2017-02-15 | 四川大学 | WRSNs中异构移动充电车充电规划方法 |
CN108287759A (zh) * | 2017-01-10 | 2018-07-17 | 阿里巴巴集团控股有限公司 | 处理数据过程中的调度方法、装置和系统 |
CN108287759B (zh) * | 2017-01-10 | 2021-07-09 | 阿里巴巴集团控股有限公司 | 处理数据过程中的调度方法、装置和系统 |
CN107992359A (zh) * | 2017-11-27 | 2018-05-04 | 江苏海平面数据科技有限公司 | 一种云环境下代价感知的任务调度算法 |
CN107992359B (zh) * | 2017-11-27 | 2021-05-18 | 江苏海平面数据科技有限公司 | 一种云环境下代价感知的任务调度方法 |
CN112463339A (zh) * | 2020-12-11 | 2021-03-09 | 北京浪潮数据技术有限公司 | 一种多任务调度方法、系统、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104852860B (zh) | 2019-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Rekha et al. | Efficient task allocation approach using genetic algorithm for cloud environment | |
CN109885397B (zh) | 一种边缘计算环境中时延优化的负载任务迁移算法 | |
Abdulrahim et al. | A new improved round robin (NIRR) CPU scheduling algorithm | |
Dhari et al. | An efficient load balancing scheme for cloud computing | |
CN104657221A (zh) | 一种云计算中基于任务分类的多队列错峰调度模型及方法 | |
CN104852860B (zh) | 一种基于队列的异构资源多目标调度策略 | |
Datta | Efficient round robin scheduling algorithm with dynamic time slice | |
CN103412794A (zh) | 一种面向流计算的动态调度分配方法 | |
Sridhar et al. | Hybrid particle swarm optimization scheduling for cloud computing | |
Thombare et al. | Efficient implementation of multilevel feedback queue scheduling | |
Saeidi et al. | Determining the optimum time quantum value in round robin process scheduling method | |
CN109614216A (zh) | 一种基于烟花算法的云平台能耗优化管理方法 | |
Golconda et al. | A comparison of static QoS-based scheduling heuristics for a meta-task with multiple QoS dimensions in heterogeneous computing | |
CN107329826A (zh) | 一种基于Cloudsim平台上的启发式融合资源动态调度算法 | |
CN106802822A (zh) | 一种基于飞蛾算法的云数据中心认知资源调度方法 | |
Berhanu et al. | Dynamic time quantum based round robin CPU scheduling algorithm | |
Hu et al. | Research of scheduling strategy on OpenStack | |
Mohanty et al. | Design and performance evaluation of a new proposed fittest job first dynamic round robin (FJFDRR) scheduling algorithm | |
Singh et al. | Modified round robin algorithm (MRR) | |
Hussin et al. | Dynamic job-clustering with different computing priorities for computational resource allocation | |
Aladwani | Improving tasks scheduling performance in cloud computing environment by using analytic hierarchy process model | |
Tong et al. | An efficient dynamic load balancing scheme for heterogenous processing system | |
Channappa et al. | Multi-objective optimization method for task scheduling and resource allocation in cloud environment | |
KR101479978B1 (ko) | 적응적 평가를 반영한 클라우드 자원 분배 방법 및 장치 | |
Zhang et al. | An improved adaptive workflow scheduling algorithm in cloud environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190423 Termination date: 20210504 |