CN112416516A - 一种面向资源效用提升的云数据中心资源调度方法 - Google Patents
一种面向资源效用提升的云数据中心资源调度方法 Download PDFInfo
- Publication number
- CN112416516A CN112416516A CN202011309126.9A CN202011309126A CN112416516A CN 112416516 A CN112416516 A CN 112416516A CN 202011309126 A CN202011309126 A CN 202011309126A CN 112416516 A CN112416516 A CN 112416516A
- Authority
- CN
- China
- Prior art keywords
- server
- resource scheduling
- data center
- cloud data
- virtual machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000006872 improvement Effects 0.000 title description 4
- 238000005265 energy consumption Methods 0.000 claims abstract description 64
- 238000004364 calculation method Methods 0.000 claims description 21
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 4
- 238000005457 optimization Methods 0.000 abstract description 4
- 238000013508 migration Methods 0.000 description 12
- 230000005012 migration Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种面向资源效用提升的云数据中心资源调度方法,包括以下步骤:步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表;步骤2:获取云数据中心中处于运行状态的服务器列表S中每台服务器的空闲虚拟机数量;步骤3:分别计算Z种资源调度策略下云数据中心的资源使用率、负载均衡方差和能耗;步骤4:根据步骤3获取的资源使用率、平均负载均衡方差和能耗,选择联合优化效果最优的资源调度策略为最终的资源调度策略。根据计算任务数量的实时变化和云数据中心的负载变化情况,实现实时制定资源调度策略,提高计算任务处理效率,提高云数据中心资源使用率、保证云数据中心的负载均衡,降低计算任务执行时产生的能耗。
Description
技术领域
本发明涉及数据处理以及云计算领域,特别是涉及一种面向资源效用提升的云数据中心资源调度方法。
背景技术
随着云计算的快速发展,云计算已经逐渐渗透到各行各业用于数据存储和处理。当前,大量的企业和组织将本地运行的应用完全或者部分迁移到公有云平台上运行,从而降低本地的数据中心管理成本和硬件投资成本。从云数据中心资源管理者的角度来看,在满足用户资源需求的同时,需要保证数据中心的可持续发展,保证云数据中心资源的合理有效利用。然而,云数据中心部署的计算和存储资源规模的不断增长,特别是在大数据时代,数据存储、处理与通信需要消耗海量的资源。为了应对与日俱增的资源需求,数据中心规模不断扩张,云数据中心在为用户计算任务进行资源调度时面临的资源使用率低、负载不均衡和能耗偏高等问题日益突出,并且受到了社会的普遍关注。
为了应对上述问题,在虚拟化技术支撑的云数据中心中,如何实现面向资源效用提升的资源调度方法是工业界和学术界关注的热点。通过资源虚拟化,可以实现服务器计算资源的高效共享。部署在云数据中心的计算资源被构建为虚拟机从而为用户提供高效的计算服务。而资源虚拟技术的实时的发展则推动数据中心资源的高效利用。通过虚拟机迁移技术,可以实现数据中心中虚拟机动态调度,进而减少云数据中心中运行的服务器数量,降低任务执行过程中不合理的资源调度使得服务器运行所产生的能耗。但是,在资源调度过程中,除了服务器运行产生的能耗之外,还需要综合考虑云数据中心的资源使用率和负载均衡状态。具体而言,必须设计一种效果最优的资源调度策略来满足资源使用率、负载均衡和迁移成本的联合优化,即实现资源效用提升的资源调度。
云数据中心的资源调度的相关技术已经被广泛应用于云数据中心的资源调度和管理。通过不同目标的资源调度策略可以实现不同应用的资源部署。“Alameddine HA,Sharafeddine S,Sebbah S,Ayoubi S,Assi C.Dynamic task offloading andscheduling for low-latency IoT services in multi-access edge computing.IEEEJournal on Selected Areas in Communications.2019.37(3):668-82.”主要使用资源分配技术实现动态的资源调度,保证服务器处于高负载运行的状态,提高任务处理效率的同时也节省了能耗。“Xu X,Xue Y, Qi L,Yuan Y,Zhang X,Umer T,Wan S.An edgecomputing-enabled computation offloading method with privacy preservation forinternet of connected vehicles.Future Generation Computer Systems.2019.96:89-100.”提出了一种面向实时应用的资源调度方法,是面向有限资源,通过资源调度实现了实时应用执行的节能目标。以上研究几乎没有考虑到云数据中心的资源使用率、负载均衡和能耗的多目标优化,当资源调度所产生的能耗较低时,云数据中心的资源使用率和负载均衡状况也是必须要考虑的。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种面向资源效用提升的云数据中心资源调度方法。
为了解决上述技术问题,本发明公开了一种面向资源效用提升的云数据中心资源调度方法,包括以下步骤:
步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表S,所述分配记录数据集为虚拟机实例占用记录集合VM。
当计算任务请求计算资源进行任务执行时,云数据中心将会为计算任务分配虚拟机以满足计算任务的计算需求,与此同时云数据中心将产生一条虚拟机实例占用记录,该记录包含了虚拟机实例所映射的服务器编号、任务编号、虚拟机实例占用的起始时间以及虚拟机实例占用的持续时间。虚拟机实例占用记录集合记作 VM={vm1,vm2,…,vmH},其中,H代表VM中虚拟机实例占用记录的数量。
虚拟机实例占用记录是一个多属性元组,其中VM中第h(1≤h≤H)条记录表示为vmh=(sidh,tidh,vidh,bth,eth),其中sidh表示的是该虚拟机所在服务器的编号,tidh表示的是当前在执行任务的编号,而vidh表示的是vmh中对应的虚拟机编号,bth表示的是在虚拟机执行当前任务的起始时间,eth表示的是虚拟机执行当前任务所持续的时间。
云数据中心的资源调度需要确定当前运行的服务器列表。通过对服务器中的虚拟机实例占用记录集合的分析,可以确定调度时刻t所占用的服务器的集合。遍历所述虚拟机实例占用记录集合VM,在虚拟机实例占用记录vmh(1≤h≤H)中,当计算任务的开始时间bth恰好等于调度时刻t,将该虚拟机实例占用记录vmh中对应编号为sidh的服务器会被加入到处于运行状态的服务器列表S中,记S={s1,s2,…,sN},其中,N表示的是处于运行状态的服务器的数量。
步骤2:根据虚拟机实例占用记录集合VM,获取服务器列表S中每台服务器的空闲虚拟机数量。
将服务器sn中虚拟机的总数量记作cn,1≤n<N,通过遍历虚拟机实例占用记录 VM,统计调度时刻t服务器sn中被占用的虚拟机数量,记作zynn,则sn上空闲虚拟机数量为cn-zynn,所述被占用的虚拟机即为处于运行状态的虚拟机。
步骤3:记云数据中心资源调度策略有Z种,计算每种资源调度策略下云数据中心的资源使用率Φz、负载均衡方差Ωz和能耗EHTz,记为ostz=(Φz,Ωz,EHTz),Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST={ost1,ost2,…,ostz,…,ostZ},1≤z≤Z。
资源使用率是评价系统计算能力的关键因素。负载均衡分配大量工作负载以优化资源利用。云数据中心服务器的总数量为W,第w个服务器内虚拟机的总数量为μw,用 vw,l表示第w个服务器中的第l个虚拟机,1≤w≤W,1≤l≤μw。
用Φz,w表示第z种资源调度策略下第w个服务器的资源使用率,用判断第j 个计算任务是否占用虚拟机vw,l,用ψz,j,w判断第j个计算任务是否传输到第w个服务器,其中,1≤j≤J,J表示任务总量,则云数据中心第z种资源调度策略下第w个服务器的资源使用率计算表达式如下:
根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均资源使用率Φz,计算表达式如下:
云数据中心第z种资源调度策略下第w个服务器的负载均衡方差Ωz,w的计算表达式如下:
根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均负载均衡方差Ωz,计算表达式如下:
根据第z种资源调度策略对计算任务进行资源调度之后,云数据中心运行状态的服务器sn在计算任务执行过程中产生的能耗主要分为三个部分,分别是服务器运行的基础能耗EHbasic,z、服务器虚拟机执行计算任务产生的执行能耗EHactive,z以及服务器中空闲虚拟机闲置运行时所产生的能耗EHidle,z。
首先,计算第z种资源调度策略下服务器运行的基础能耗EHbasic,z,EHbasic,z主要取决于服务器sn的用电功率prz,n及服务器的整体运行时间trz,n,计算公式如下:
其次,计算第z种资源调度策略下服务器中虚拟机的执行能耗EHactive,z,EHactive,z主要取决于该服务器中所包含的虚拟机。具体而言,服务器sn中处于运行状态的虚拟机数量为zynn,且sn上每台处于运行状态的虚拟机的功耗记为αz,n,记sn上每台虚拟机处于运行状态的时间为trvz,n,i,1≤i≤zynn,则EHactive,z的计算公式为:
计算第z种资源调度策略下服务器中空闲虚拟机所产生的能耗EHidle,z。服务器sn上处于空闲状态的虚拟机数量为cn-zynn,将sn上每台处于空闲状态的虚拟机的功耗记为γz,n,记sn上每台虚拟机处于空闲状态的时间为tivz,n,k,1≤k≤cn-zynn,则EHidle,z的计算公式为:
计算资源调度策略执行后云数据中心为执行任务所产生的能耗为EHTz。EHTz的计算表达式如下:
EHTz=EHbasic,z+EHactive,z+EHidle,z
步骤4:通过简单加权法(Simple Additive Weight,SAW)和多标准决策原则(Multiple Criteria Decision Making,MCDM)算法,在Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST中选取最优的资源调度策略。
对于资源调度策略而言,其所导致的资源使用率越高的同时、负载均衡方差和能耗越低越好。因此资源使用率作为积极标准,而负载均衡方差和能耗均为消极标准,分别可以被归一化为如下所示公式。
第z种资源调度策略下云数据中心的资源使用率归一化公式:
第z种资源调度策略下云数据中心的负载均衡方差归一化公式:
第z种资源调度策略下云数据中心的能耗归一化公式:
第z种资源调度策略的效用值表示为TJz,计算公式如下:
根据每个资源调度策略的效用值,选择效用值最大的资源调度策略。
本发明的思想为:首先基于服务器虚拟机实例占用记录数据集,并获取云数据中心中处于运行状态的服务器列表和虚拟机列表;然后根据虚拟机实例占用状态,获取所有处于运行状态服务器的空闲虚拟机;进一步,针对不同的资源调度策略,计算云数据中心的资源使用率、负载均衡方差和由于任务执行所产生的能耗值,获取相应的资源使用率、负载均衡方差和能耗值集合;最后,在该集合中,通过简单加权法和多标准决策原则算法,在最终得到的资源使用率、负载均衡方差和能耗值集合中选取最优的资源调度策略。
与现有技术相比,本发明的有益效果体现在:
1)资源调度方法是实时根据服务器虚拟机实例的占用记录集合,有利于在线实现云数据中心的资源管理。
2)资源使用率、负载均衡方差和能耗的评估和计算过程综合考虑了资源调度过程云数据中心的资源占用情况,更贴切云数据中心的实际资源调用效果。
3)根据计算任务数量的实时变化和云数据中心的负载变化情况,实现实时制定资源调度策略,提高计算任务处理效率,提高云数据中心资源使用率、保证云数据中心的负载均衡,降低计算任务执行时产生的能耗。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1是本发明步骤流程图
具体实施方式
为了使本领域研究人员更好地理解本申请中的技术问题和技术方案,并实现申请所能达到的技术效果,下面结合附图和具体实施方式对本发明一种面向资源效用提升的云数据中心资源调度方法作进一步详细说明。
本发明提出的面向资源效用提升的云数据中心资源调度方法包括下述步骤,流程如图1所示:
步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表S,所述分配记录数据集为虚拟机实例占用记录集合VM。
在云数据中心执行资源调度时,云数据中心的日志文件系统保存了计算资源的调度日志。当计算任务请求计算资源进行任务执行时,日志文件系统将产生一条虚拟机实例占用记录,假设在进行资源调度时,虚拟机实例占用记录集合共有H条虚拟机实例占用记录,则记作VM={vm1,vm2,…,vmH}。
VM中所记录的虚拟机实例占用记录反映了不同服务器上虚拟机的使用情况,可以用多属性元组来描述。将虚拟机实例占用记录第h(1≤h≤H)条记录表示为vmh=(sidh,tidh,vidh,bth,eth),其中sidh表示的是该虚拟机所在服务器的编号,tidh表示的是当前在执行任务的编号,而vidh表示的是vmh中对应的虚拟机编号,btn表示的是在虚拟机执行当前任务的起始时间,eth表示的是虚拟机执行当前任务所持续的时间。
通过对当前状态下服务器中的虚拟机的资源调度情况分析,可以确定调度时刻t所占用的服务器的集合。遍历所述虚拟机实例占用记录集合VM,在虚拟机实例占用记录vmh(1≤h≤H)中,当计算任务的开始时间bth恰好等于调度时刻t,将该虚拟机实例占用记录vmh中对应编号为sidh的服务器会被加入到运行的服务器列表S中。通过遍历所有的虚拟机实例占用记录,可以获得当前处于运行状态的服务器列表,表示为 S={s1,s2,…,sN},其中,N表示的是处于运行状态的服务器的数量。
步骤2:根据虚拟机实例占用记录集合VM,获取服务器列表S中每台服务器的空闲虚拟机数量。
为了判断当前云数据中心中的哪些虚拟机可以作为资源调度给计算任务,并判断虚拟机可以执行的调度策略,需要获取每台服务器的空闲虚拟机及空闲虚拟机数量。将服务器sn(1≤n<N)的容量记作cn,通过遍历虚拟机占用实例VM,统计当前时刻被占用的虚拟机数量记作zynn,则sn上空闲虚拟机数量记作cn-zynn,所述被占用的虚拟机即为处于运行状态的虚拟机。
步骤3:记云数据中心资源调度策略有Z种,计算每种资源调度策略下云数据中心的资源使用率Φz、负载均衡方差Ωz和能耗EHTz,记为ostz=(Φz,Ωz,EHTz),Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST={ost1,ost2,…,ostz,…,ostZ},1≤z≤Z。
资源使用率是评价系统计算能力的关键因素。负载平衡分配大量工作负载以优化资源利用。云数据中心服务器的总数量为W,第w个服务器内虚拟机的总数量为μw,用 vw,l表示第w个服务器中的第l个虚拟机,1≤w≤W,1≤l≤μw。
首先,用Φz,w表示第z种资源调度策略下第w个服务器的资源使用率,用判断第j个计算任务是否占用虚拟机vw,l,用ψz,j,w判断第j个计算任务是否传输到第w个服务器,其中,1≤j≤J,J表示任务总量,则云数据中心第z种资源调度策略下第w个服务器的资源使用率,如公式(1)所示:
其次,根据服务器总数量W,计算第z种资源调度策略下云数据中心所有服务器的平均资源使用率,如公式(2)所示:
此外,云数据中心第z种资源调度策略下第w个服务器的负载均衡方差Ωz,w如公式(3)所示:
最后,根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均负载均衡方差如公式(4)所示:
与此同时,根据第z种资源调度策略对计算任务进行资源调度之后,云数据中心的服务器在计算任务执行的过程中产生的能耗主要分为三个部分,分别是服务器运行的基础能耗EHbasic,z、服务器虚拟机执行计算任务产生的执行能耗EHactive,z以及服务器中空闲虚拟机闲置运行时所产生的能耗EHidle,z。
首先,计算第z种资源调度策略下服务器运行的基础能耗EHbasic,z,如公式(5)所示,其中prz,n代表的是服务器sn的用电功率,trz,n代表的是服务器sn的整体运行时间,计算公式如下:
其次,计算第z种资源调度策略下服务器中虚拟机的执行能耗EHactive,z,如公式(6)所示。其中,服务器sn中处于运行状态的虚拟机数量为zynn,且sn上每台处于运行状态的虚拟机的功耗记为αz,n,记sn上每台虚拟机处于运行状态的时间为trvz,n,i,1≤i≤zynn。
此外,计算第z种资源调度策略下服务器中空闲虚拟机所产生的能耗EHidle,z,如公式(7)所示。其中,服务器sn上处于空闲状态的虚拟机数量为cn-zynn,将sn上每台处于空闲状态的虚拟机的功耗记为γz,n,记sn上每台虚拟机处于空闲状态的时间为tivz,n,k, 1≤k≤cn-zynn。
最后,计算资源调度策略执行后云数据中心为执行任务所产生的能耗为EHTz。EHTz的计算表达式如公式(8)所示。
EHTz=EHbasic,z+EHactive,z+EHidle,z (8)
步骤4:通过简单加权法和多标准决策算法,在Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST中选取最优的资源调度策略。
对于资源调度策略而言,其所导致的资源使用率越高的同时、负载均衡方差和能耗成本越低越好。因此资源使用率作为积极标准,而负载均衡方差和能耗均为消极标准,分别可以被归一化为如公式(9)(10)(11)所示。
资源调度策略的效用值表示为TJ,如公式(12)所示。
根据每个资源调度策略的效用值,选择效用值最大的资源调度策略。
本实施例选择虚拟机实例占用记录作为输入数据集进行实验,实验环境中所涉及的参数如表1所示。
表1方法执行过程所涉及的参数设置
经过本发明提出的方法进行虚拟机调度过后,统计了不同类型的虚拟机发生迁移量。如表2所示,每种类型的服务器均发生了一定量的虚拟机迁移。
表2不同类型的虚拟机发生迁移量统计(单位:次)
类型 | A<sub>v</sub> | B<sub>v</sub> | C<sub>v</sub> | D<sub>v</sub> | E<sub>v</sub> | F<sub>v</sub> |
迁移量 | 65 | 69 | 124 | 86 | 94 | 81 |
虚拟机迁移通常会导致部分服务器的空载,因此需要观察服务器在迁移前后使用量的对比。如表3所示,本发明提出的方法对于每种类型的服务器进行虚拟机调度后,均能在服务器使用量上进行优化。
表3调度前后所占用的不同类型的服务器数量对比(单位:台)
机器类型 | A<sub>s</sub> | B<sub>s</sub> | C<sub>s</sub> | D<sub>s</sub> | E<sub>s</sub> | F<sub>s</sub> |
调度前 | 300 | 300 | 300 | 300 | 300 | 300 |
调度后 | 293 | 299 | 264 | 284 | 279 | 291 |
虚拟机迁移会产生额外的能耗,所以需要综合评估虚拟机迁移对能耗的影响。表4显示了迁移前后不同类型的虚拟机执行任务所产生的总能耗对比,本发明提出的方法对于每种类型的服务器进行虚拟机调度后,均能实现能耗的优化。
表4调度前后不同类型的虚拟机执行任务所产生的总能耗对比(单位:度)
机器类型 | A<sub>v</sub> | B<sub>v</sub> | C<sub>v</sub> | D<sub>v</sub> | E<sub>v</sub> | F<sub>v</sub> |
调度前 | 66.34 | 67.89 | 136.99 | 237.69 | 350.98 | 496 |
调度后 | 53.48 | 58.89 | 99.58 | 178 | 279.63 | 437.25 |
在对服务器进行负载进行研究,选择同种类型的服务器在不同数据集的条件下进行实验。在使用发明提出的方法进行虚拟机调度后,统计了不同数据集下服务器的资源使用率,可以发现,调度后的服务器资源使用率较之调度前更高,如表5所示。
表5调度前后服务器资源使用率对比
数据集 | 1000 | 2000 | 3000 | 4000 | 5000 |
调度前 | 74.79% | 75.75% | 77.85% | 78.16% | 78.63% |
调度后 | 82.19% | 82.015% | 83.08% | 83.13% | 83.79% |
虚拟机调度会对服务器负载造成变化,因此要评估虚拟机迁移对负载均衡方差的影响。表6显示了调度前后服务器的平均负载均衡方差的对比。从表6可以看出,无论数据集规模多大,经过调度后均能实现负载均衡方差的减少。
表6调度前后服务器负载均衡方差对比
数据集 | 1000 | 2000 | 3000 | 4000 | 5000 |
调度前 | 3.69 | 4.33 | 4.38 | 4.45 | 4.59 |
调度后 | 3.65 | 4.27 | 4.31 | 4.34 | 4.43 |
本发明提供了一种面向服务器资源效用提升的云数据中心资源调度方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式。应当指出,在不脱离本发明原理的前提下,本技术领域的技术人员还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。此外,本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (7)
1.一种面向资源效用提升的云数据中心资源调度方法,其特征在于:包括以下步骤:
步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表S,所述分配记录数据集为虚拟机实例占用记录集合VM;
步骤2:根据虚拟机实例占用记录集合VM,获取服务器列表S中每台服务器的空闲虚拟机数量;
步骤3:记云数据中心资源调度策略有Z种,计算每种资源调度策略下云数据中心的资源使用率Φz、负载均衡方差Ωz和能耗EHTz,记为ostz=(Φz,Ωz,EHTz),Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST={ost1,ost2,…,ostz,…,ostZ},1≤z≤Z;
步骤4:在Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST中选取最优的资源调度策略。
2.根据权利要求1所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤1中所述虚拟机实例占用记录是指当计算任务请求计算资源进行任务执行时,云数据中心为计算任务分配虚拟机以满足计算任务的计算需求,同时云数据中心产生一条虚拟机实例占用记录;虚拟机实例占用记录集合记作VM={vm1,vm2,…,vmH},其中,H代表VM中虚拟机实例占用记录的数量;所述虚拟机实例占用记录是一个多属性元组,VM中第h条虚拟机实例占用记录表示为vmh=(sidh,tidh,vidh,bth,eth),1≤h≤H,sidh表示该虚拟机所在服务器的编号,tidh表示当前在执行计算任务的编号,vidh表示该虚拟机的编号,bth表示在虚拟机执行当前计算任务的起始时间,eth表示在虚拟机执行当前计算任务所持续的时间;
遍历所述虚拟机实例占用记录集合VM,当虚拟机实例占用记录vmh中计算任务的开始时间bth恰好等于调度时刻t,将该虚拟机实例占用记录vmh中对应编号为sidh的服务器加入到处于运行状态的服务器列表S中,记S={s1,s2,…,sN},其中,N表示处于运行状态的服务器的数量。
3.根据权利要求2所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤2中将服务器sn中虚拟机的总数量记作cn,1≤n<N,通过遍历虚拟机实例占用记录集合VM,统计调度时刻t服务器sn中被占用的虚拟机数量,记作zynn,则sn上空闲状态的虚拟机数量为cn-zynn,所述被占用的虚拟机即为处于运行状态的虚拟机。
4.根据权利要求3所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤3中,所述资源使用率是评价系统计算能力的关键因素;记云数据中心服务器的总数量为W,第w个服务器内虚拟机的总数量为μw,用vw,l表示第w个服务器中的第l个虚拟机,1≤w≤W,1≤l≤μw;
用Φz,w表示第z种资源调度策略下第w个服务器的资源使用率,用判断第j个计算任务是否占用虚拟机vw,l,用ψz,j,w判断第j个计算任务是否传输到第w个服务器,其中,1≤j≤J,J表示计算任务总量,则云数据中心第z种资源调度策略下第w个服务器的资源使用率计算表达式如下:
根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均资源使用率Φz,计算表达式如下:
6.根据权利要求5所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤3中,根据第z种资源调度策略对计算任务进行资源调度之后,云数据中心运行状态的服务器sn在计算任务执行过程中产生的能耗主要分为三个部分,分别是服务器sn运行的基础能耗EHbasic,z、服务器sn中虚拟机执行计算任务产生的执行能耗EHactive,z以及服务器sn中空闲虚拟机闲置运行时所产生的能耗EHidle,z;
计算第z种资源调度策略下服务器sn运行的基础能耗EHbasic,z,EHbasic,z取决于服务器sn的用电功率prz,n及服务器的整体运行时间trz,n,计算公式如下:
计算第z种资源调度策略下服务器中虚拟机的执行能耗EHactive,z,EHactive,z取决于服务器sn中所包含的虚拟机;服务器sn中处于运行状态的虚拟机数量为zynn,服务器sn上每台处于运行状态的虚拟机的功耗记为αz,n,服务器sn上每台虚拟机处于运行状态的时间记为trvz,n,i,1≤i≤zynn,则EHactive,z的计算公式为:
计算第z种资源调度策略下服务器中空闲虚拟机所产生的能耗EHidle,z,服务器sn上处于空闲状态的虚拟机数量为cn-zynn,将服务器sn上每台处于空闲状态的虚拟机的功耗记为γz,n,服务器sn上每台虚拟机处于空闲状态的时间记为tivz,n,k,1≤k≤cn-zynn,则EHidle,z的计算公式为:
计算第z种资源调度策略执行后云数据中心为执行计算任务所产生的能耗EHTz,EHTz的计算表达式如下:
EHTz=EHbasic,z+EHactive,z+EHidle,z。
7.根据权利要求6所述一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤4中通过简单加权法和多标准决策原则算法选取最优的资源调度策略,即在第z种资源调度策略下云数据中心的资源使用率归一化公式如下:
第z种资源调度策略下云数据中心的负载均衡方差归一化公式如下:
第z种资源调度策略下云数据中心的能耗归一化公式如下:
第z种资源调度策略的效用值表示为TJz,计算公式如下:
根据每个资源调度策略的效用值TJz,选择效用值最大的资源调度策略。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011309126.9A CN112416516A (zh) | 2020-11-20 | 2020-11-20 | 一种面向资源效用提升的云数据中心资源调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011309126.9A CN112416516A (zh) | 2020-11-20 | 2020-11-20 | 一种面向资源效用提升的云数据中心资源调度方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112416516A true CN112416516A (zh) | 2021-02-26 |
Family
ID=74773208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011309126.9A Pending CN112416516A (zh) | 2020-11-20 | 2020-11-20 | 一种面向资源效用提升的云数据中心资源调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112416516A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554268A (zh) * | 2021-06-10 | 2021-10-26 | 合肥工业大学 | 平衡峰谷及淡旺季的用电策略的选择方法及系统 |
CN116048821A (zh) * | 2023-04-03 | 2023-05-02 | 深圳市昊源诺信科技有限公司 | 高利用率的ai服务器及其资源分配方法 |
CN116382863A (zh) * | 2023-03-19 | 2023-07-04 | 广州智捷联科技有限公司 | 一种数据中心智能节能调度方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096461A (zh) * | 2011-01-13 | 2011-06-15 | 浙江大学 | 基于虚拟机迁移和负载感知整合的云数据中心节能方法 |
WO2016045515A1 (zh) * | 2014-09-23 | 2016-03-31 | 同济大学 | 基于用户满意度的云任务调度算法 |
CN107861796A (zh) * | 2017-11-30 | 2018-03-30 | 南京信息工程大学 | 一种支持云数据中心能耗优化的虚拟机调度方法 |
-
2020
- 2020-11-20 CN CN202011309126.9A patent/CN112416516A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096461A (zh) * | 2011-01-13 | 2011-06-15 | 浙江大学 | 基于虚拟机迁移和负载感知整合的云数据中心节能方法 |
WO2016045515A1 (zh) * | 2014-09-23 | 2016-03-31 | 同济大学 | 基于用户满意度的云任务调度算法 |
CN107861796A (zh) * | 2017-11-30 | 2018-03-30 | 南京信息工程大学 | 一种支持云数据中心能耗优化的虚拟机调度方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113554268A (zh) * | 2021-06-10 | 2021-10-26 | 合肥工业大学 | 平衡峰谷及淡旺季的用电策略的选择方法及系统 |
CN113554268B (zh) * | 2021-06-10 | 2024-03-15 | 合肥工业大学 | 平衡峰谷及淡旺季的用电策略的选择方法及系统 |
CN116382863A (zh) * | 2023-03-19 | 2023-07-04 | 广州智捷联科技有限公司 | 一种数据中心智能节能调度方法 |
CN116382863B (zh) * | 2023-03-19 | 2023-09-05 | 广州智捷联科技有限公司 | 一种数据中心智能节能调度方法 |
CN116048821A (zh) * | 2023-04-03 | 2023-05-02 | 深圳市昊源诺信科技有限公司 | 高利用率的ai服务器及其资源分配方法 |
CN116048821B (zh) * | 2023-04-03 | 2023-06-16 | 深圳市昊源诺信科技有限公司 | 高利用率的ai服务器及其资源分配方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112416516A (zh) | 一种面向资源效用提升的云数据中心资源调度方法 | |
CN107861796B (zh) | 一种支持云数据中心能耗优化的虚拟机调度方法 | |
Lu et al. | An effective task scheduling algorithm based on dynamic energy management and efficient resource utilization in green cloud computing environment | |
Zhou et al. | A novel virtual machine deployment algorithm with energy efficiency in cloud computing | |
Jiang et al. | DataABC: A fast ABC based energy-efficient live VM consolidation policy with data-intensive energy evaluation model | |
Alahmadi et al. | Enhanced first-fit decreasing algorithm for energy-aware job scheduling in cloud | |
Mosa et al. | Dynamic virtual machine placement considering CPU and memory resource requirements | |
CN112395161A (zh) | 大数据中心能耗分析方法及计算设备 | |
Hsu et al. | Adaptive scheduling based on quality of service in heterogeneous environments | |
He et al. | Energy-efficient framework for virtual machine consolidation in cloud data centers | |
Zhang et al. | An energy-aware host resource management framework for two-tier virtualized cloud data centers | |
CN108429784B (zh) | 一种能效优先的云资源分配与调度方法 | |
CN110069319B (zh) | 一种面向朵云资源管理的多目标虚拟机调度方法及系统 | |
CN110308991B (zh) | 一种基于随机任务的数据中心节能优化方法及系统 | |
Tian et al. | Efficient algorithms for VM placement in cloud data centers | |
CN106227600B (zh) | 一种基于能量感知的多维虚拟资源分配方法 | |
Li et al. | SLA‐Aware and Energy‐Efficient VM Consolidation in Cloud Data Centers Using Host State 3rd‐Order Markov Chain Model | |
Xu et al. | VMs placement strategy based on distributed parallel ant colony optimization algorithm | |
Rajnikant et al. | Improving energy efficiency and minimizing service-level agreement violation in mobile cloud computing environment | |
Zhao et al. | A virtual machine dynamic consolidation algorithm based dynamic complementation and FFD algorithm | |
Cao et al. | A QoS-guaranteed energy-efficient VM dynamic migration strategy in cloud data centers | |
Khaleel et al. | Energy-aware job management approaches for workflow in cloud | |
Mkoba et al. | A survey on energy efficient with task consolidation in the virtualized cloud computing environment | |
Dhanoa et al. | Power efficient hybrid VM allocation algorithm | |
Khichar et al. | Maximum Correlationwith Migration Control Based on Modified Knapsack (MC_MC) Approach for VM Selection for Green Cloud Computing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210226 |