CN112416516A - 一种面向资源效用提升的云数据中心资源调度方法 - Google Patents

一种面向资源效用提升的云数据中心资源调度方法 Download PDF

Info

Publication number
CN112416516A
CN112416516A CN202011309126.9A CN202011309126A CN112416516A CN 112416516 A CN112416516 A CN 112416516A CN 202011309126 A CN202011309126 A CN 202011309126A CN 112416516 A CN112416516 A CN 112416516A
Authority
CN
China
Prior art keywords
server
resource scheduling
data center
cloud data
virtual machine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011309126.9A
Other languages
English (en)
Inventor
郭婷婷
周传龙
牟苏斌
张晓兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CETC 28 Research Institute
Original Assignee
CETC 28 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CETC 28 Research Institute filed Critical CETC 28 Research Institute
Priority to CN202011309126.9A priority Critical patent/CN112416516A/zh
Publication of CN112416516A publication Critical patent/CN112416516A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/4557Distribution of virtual machine instances; Migration and load balancing
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种面向资源效用提升的云数据中心资源调度方法,包括以下步骤:步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表;步骤2:获取云数据中心中处于运行状态的服务器列表S中每台服务器的空闲虚拟机数量;步骤3:分别计算Z种资源调度策略下云数据中心的资源使用率、负载均衡方差和能耗;步骤4:根据步骤3获取的资源使用率、平均负载均衡方差和能耗,选择联合优化效果最优的资源调度策略为最终的资源调度策略。根据计算任务数量的实时变化和云数据中心的负载变化情况,实现实时制定资源调度策略,提高计算任务处理效率,提高云数据中心资源使用率、保证云数据中心的负载均衡,降低计算任务执行时产生的能耗。

Description

一种面向资源效用提升的云数据中心资源调度方法
技术领域
本发明涉及数据处理以及云计算领域,特别是涉及一种面向资源效用提升的云数据中心资源调度方法。
背景技术
随着云计算的快速发展,云计算已经逐渐渗透到各行各业用于数据存储和处理。当前,大量的企业和组织将本地运行的应用完全或者部分迁移到公有云平台上运行,从而降低本地的数据中心管理成本和硬件投资成本。从云数据中心资源管理者的角度来看,在满足用户资源需求的同时,需要保证数据中心的可持续发展,保证云数据中心资源的合理有效利用。然而,云数据中心部署的计算和存储资源规模的不断增长,特别是在大数据时代,数据存储、处理与通信需要消耗海量的资源。为了应对与日俱增的资源需求,数据中心规模不断扩张,云数据中心在为用户计算任务进行资源调度时面临的资源使用率低、负载不均衡和能耗偏高等问题日益突出,并且受到了社会的普遍关注。
为了应对上述问题,在虚拟化技术支撑的云数据中心中,如何实现面向资源效用提升的资源调度方法是工业界和学术界关注的热点。通过资源虚拟化,可以实现服务器计算资源的高效共享。部署在云数据中心的计算资源被构建为虚拟机从而为用户提供高效的计算服务。而资源虚拟技术的实时的发展则推动数据中心资源的高效利用。通过虚拟机迁移技术,可以实现数据中心中虚拟机动态调度,进而减少云数据中心中运行的服务器数量,降低任务执行过程中不合理的资源调度使得服务器运行所产生的能耗。但是,在资源调度过程中,除了服务器运行产生的能耗之外,还需要综合考虑云数据中心的资源使用率和负载均衡状态。具体而言,必须设计一种效果最优的资源调度策略来满足资源使用率、负载均衡和迁移成本的联合优化,即实现资源效用提升的资源调度。
云数据中心的资源调度的相关技术已经被广泛应用于云数据中心的资源调度和管理。通过不同目标的资源调度策略可以实现不同应用的资源部署。“Alameddine HA,Sharafeddine S,Sebbah S,Ayoubi S,Assi C.Dynamic task offloading andscheduling for low-latency IoT services in multi-access edge computing.IEEEJournal on Selected Areas in Communications.2019.37(3):668-82.”主要使用资源分配技术实现动态的资源调度,保证服务器处于高负载运行的状态,提高任务处理效率的同时也节省了能耗。“Xu X,Xue Y, Qi L,Yuan Y,Zhang X,Umer T,Wan S.An edgecomputing-enabled computation offloading method with privacy preservation forinternet of connected vehicles.Future Generation Computer Systems.2019.96:89-100.”提出了一种面向实时应用的资源调度方法,是面向有限资源,通过资源调度实现了实时应用执行的节能目标。以上研究几乎没有考虑到云数据中心的资源使用率、负载均衡和能耗的多目标优化,当资源调度所产生的能耗较低时,云数据中心的资源使用率和负载均衡状况也是必须要考虑的。
发明内容
发明目的:本发明所要解决的技术问题是针对现有技术的不足,提供一种面向资源效用提升的云数据中心资源调度方法。
为了解决上述技术问题,本发明公开了一种面向资源效用提升的云数据中心资源调度方法,包括以下步骤:
步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表S,所述分配记录数据集为虚拟机实例占用记录集合VM。
当计算任务请求计算资源进行任务执行时,云数据中心将会为计算任务分配虚拟机以满足计算任务的计算需求,与此同时云数据中心将产生一条虚拟机实例占用记录,该记录包含了虚拟机实例所映射的服务器编号、任务编号、虚拟机实例占用的起始时间以及虚拟机实例占用的持续时间。虚拟机实例占用记录集合记作 VM={vm1,vm2,…,vmH},其中,H代表VM中虚拟机实例占用记录的数量。
虚拟机实例占用记录是一个多属性元组,其中VM中第h(1≤h≤H)条记录表示为vmh=(sidh,tidh,vidh,bth,eth),其中sidh表示的是该虚拟机所在服务器的编号,tidh表示的是当前在执行任务的编号,而vidh表示的是vmh中对应的虚拟机编号,bth表示的是在虚拟机执行当前任务的起始时间,eth表示的是虚拟机执行当前任务所持续的时间。
云数据中心的资源调度需要确定当前运行的服务器列表。通过对服务器中的虚拟机实例占用记录集合的分析,可以确定调度时刻t所占用的服务器的集合。遍历所述虚拟机实例占用记录集合VM,在虚拟机实例占用记录vmh(1≤h≤H)中,当计算任务的开始时间bth恰好等于调度时刻t,将该虚拟机实例占用记录vmh中对应编号为sidh的服务器会被加入到处于运行状态的服务器列表S中,记S={s1,s2,…,sN},其中,N表示的是处于运行状态的服务器的数量。
步骤2:根据虚拟机实例占用记录集合VM,获取服务器列表S中每台服务器的空闲虚拟机数量。
将服务器sn中虚拟机的总数量记作cn,1≤n<N,通过遍历虚拟机实例占用记录 VM,统计调度时刻t服务器sn中被占用的虚拟机数量,记作zynn,则sn上空闲虚拟机数量为cn-zynn,所述被占用的虚拟机即为处于运行状态的虚拟机。
步骤3:记云数据中心资源调度策略有Z种,计算每种资源调度策略下云数据中心的资源使用率Φz、负载均衡方差Ωz和能耗EHTz,记为ostz=(Φzz,EHTz),Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST={ost1,ost2,…,ostz,…,ostZ},1≤z≤Z。
资源使用率是评价系统计算能力的关键因素。负载均衡分配大量工作负载以优化资源利用。云数据中心服务器的总数量为W,第w个服务器内虚拟机的总数量为μw,用 vw,l表示第w个服务器中的第l个虚拟机,1≤w≤W,1≤l≤μw
用Φz,w表示第z种资源调度策略下第w个服务器的资源使用率,用
Figure BDA0002789219070000033
判断第j 个计算任务是否占用虚拟机vw,l,用ψz,j,w判断第j个计算任务是否传输到第w个服务器,其中,1≤j≤J,J表示任务总量,则云数据中心第z种资源调度策略下第w个服务器的资源使用率计算表达式如下:
Figure BDA0002789219070000031
根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均资源使用率Φz,计算表达式如下:
Figure BDA0002789219070000032
云数据中心第z种资源调度策略下第w个服务器的负载均衡方差Ωz,w的计算表达式如下:
Figure BDA0002789219070000041
根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均负载均衡方差Ωz,计算表达式如下:
Figure BDA0002789219070000042
根据第z种资源调度策略对计算任务进行资源调度之后,云数据中心运行状态的服务器sn在计算任务执行过程中产生的能耗主要分为三个部分,分别是服务器运行的基础能耗EHbasic,z、服务器虚拟机执行计算任务产生的执行能耗EHactive,z以及服务器中空闲虚拟机闲置运行时所产生的能耗EHidle,z
首先,计算第z种资源调度策略下服务器运行的基础能耗EHbasic,z,EHbasic,z主要取决于服务器sn的用电功率prz,n及服务器的整体运行时间trz,n,计算公式如下:
Figure BDA0002789219070000043
其次,计算第z种资源调度策略下服务器中虚拟机的执行能耗EHactive,z,EHactive,z主要取决于该服务器中所包含的虚拟机。具体而言,服务器sn中处于运行状态的虚拟机数量为zynn,且sn上每台处于运行状态的虚拟机的功耗记为αz,n,记sn上每台虚拟机处于运行状态的时间为trvz,n,i,1≤i≤zynn,则EHactive,z的计算公式为:
Figure BDA0002789219070000044
计算第z种资源调度策略下服务器中空闲虚拟机所产生的能耗EHidle,z。服务器sn上处于空闲状态的虚拟机数量为cn-zynn,将sn上每台处于空闲状态的虚拟机的功耗记为γz,n,记sn上每台虚拟机处于空闲状态的时间为tivz,n,k,1≤k≤cn-zynn,则EHidle,z的计算公式为:
Figure BDA0002789219070000045
计算资源调度策略执行后云数据中心为执行任务所产生的能耗为EHTz。EHTz的计算表达式如下:
EHTz=EHbasic,z+EHactive,z+EHidle,z
步骤4:通过简单加权法(Simple Additive Weight,SAW)和多标准决策原则(Multiple Criteria Decision Making,MCDM)算法,在Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST中选取最优的资源调度策略。
对于资源调度策略而言,其所导致的资源使用率越高的同时、负载均衡方差和能耗越低越好。因此资源使用率作为积极标准,而负载均衡方差和能耗均为消极标准,分别可以被归一化为如下所示公式。
第z种资源调度策略下云数据中心的资源使用率归一化公式:
Figure BDA0002789219070000051
其中
Figure BDA0002789219070000052
Figure BDA0002789219070000053
分别代表第z种资源调度策略使得所导致的当前云数据中心的最大资源使用率和最小资源使用率;
第z种资源调度策略下云数据中心的负载均衡方差归一化公式:
Figure BDA0002789219070000054
其中
Figure BDA0002789219070000055
Figure BDA0002789219070000056
分别代表第z种资源调度策略产生的最大平均负载均衡方差和最小平均负载均衡方差;
第z种资源调度策略下云数据中心的能耗归一化公式:
Figure BDA0002789219070000057
其中
Figure BDA0002789219070000058
Figure BDA0002789219070000059
分别表示第z种资源调度策略产生的最大能耗值和最小能耗值。
第z种资源调度策略的效用值表示为TJz,计算公式如下:
Figure BDA0002789219070000061
根据每个资源调度策略的效用值,选择效用值最大的资源调度策略。
本发明的思想为:首先基于服务器虚拟机实例占用记录数据集,并获取云数据中心中处于运行状态的服务器列表和虚拟机列表;然后根据虚拟机实例占用状态,获取所有处于运行状态服务器的空闲虚拟机;进一步,针对不同的资源调度策略,计算云数据中心的资源使用率、负载均衡方差和由于任务执行所产生的能耗值,获取相应的资源使用率、负载均衡方差和能耗值集合;最后,在该集合中,通过简单加权法和多标准决策原则算法,在最终得到的资源使用率、负载均衡方差和能耗值集合中选取最优的资源调度策略。
与现有技术相比,本发明的有益效果体现在:
1)资源调度方法是实时根据服务器虚拟机实例的占用记录集合,有利于在线实现云数据中心的资源管理。
2)资源使用率、负载均衡方差和能耗的评估和计算过程综合考虑了资源调度过程云数据中心的资源占用情况,更贴切云数据中心的实际资源调用效果。
3)根据计算任务数量的实时变化和云数据中心的负载变化情况,实现实时制定资源调度策略,提高计算任务处理效率,提高云数据中心资源使用率、保证云数据中心的负载均衡,降低计算任务执行时产生的能耗。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明,本发明的上述和/ 或其他方面的优点将会变得更加清楚。
图1是本发明步骤流程图
具体实施方式
为了使本领域研究人员更好地理解本申请中的技术问题和技术方案,并实现申请所能达到的技术效果,下面结合附图和具体实施方式对本发明一种面向资源效用提升的云数据中心资源调度方法作进一步详细说明。
本发明提出的面向资源效用提升的云数据中心资源调度方法包括下述步骤,流程如图1所示:
步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表S,所述分配记录数据集为虚拟机实例占用记录集合VM。
在云数据中心执行资源调度时,云数据中心的日志文件系统保存了计算资源的调度日志。当计算任务请求计算资源进行任务执行时,日志文件系统将产生一条虚拟机实例占用记录,假设在进行资源调度时,虚拟机实例占用记录集合共有H条虚拟机实例占用记录,则记作VM={vm1,vm2,…,vmH}。
VM中所记录的虚拟机实例占用记录反映了不同服务器上虚拟机的使用情况,可以用多属性元组来描述。将虚拟机实例占用记录第h(1≤h≤H)条记录表示为vmh=(sidh,tidh,vidh,bth,eth),其中sidh表示的是该虚拟机所在服务器的编号,tidh表示的是当前在执行任务的编号,而vidh表示的是vmh中对应的虚拟机编号,btn表示的是在虚拟机执行当前任务的起始时间,eth表示的是虚拟机执行当前任务所持续的时间。
通过对当前状态下服务器中的虚拟机的资源调度情况分析,可以确定调度时刻t所占用的服务器的集合。遍历所述虚拟机实例占用记录集合VM,在虚拟机实例占用记录vmh(1≤h≤H)中,当计算任务的开始时间bth恰好等于调度时刻t,将该虚拟机实例占用记录vmh中对应编号为sidh的服务器会被加入到运行的服务器列表S中。通过遍历所有的虚拟机实例占用记录,可以获得当前处于运行状态的服务器列表,表示为 S={s1,s2,…,sN},其中,N表示的是处于运行状态的服务器的数量。
步骤2:根据虚拟机实例占用记录集合VM,获取服务器列表S中每台服务器的空闲虚拟机数量。
为了判断当前云数据中心中的哪些虚拟机可以作为资源调度给计算任务,并判断虚拟机可以执行的调度策略,需要获取每台服务器的空闲虚拟机及空闲虚拟机数量。将服务器sn(1≤n<N)的容量记作cn,通过遍历虚拟机占用实例VM,统计当前时刻被占用的虚拟机数量记作zynn,则sn上空闲虚拟机数量记作cn-zynn,所述被占用的虚拟机即为处于运行状态的虚拟机。
步骤3:记云数据中心资源调度策略有Z种,计算每种资源调度策略下云数据中心的资源使用率Φz、负载均衡方差Ωz和能耗EHTz,记为ostz=(Φzz,EHTz),Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST={ost1,ost2,…,ostz,…,ostZ},1≤z≤Z。
资源使用率是评价系统计算能力的关键因素。负载平衡分配大量工作负载以优化资源利用。云数据中心服务器的总数量为W,第w个服务器内虚拟机的总数量为μw,用 vw,l表示第w个服务器中的第l个虚拟机,1≤w≤W,1≤l≤μw
首先,用Φz,w表示第z种资源调度策略下第w个服务器的资源使用率,用
Figure BDA0002789219070000081
判断第j个计算任务是否占用虚拟机vw,l,用ψz,j,w判断第j个计算任务是否传输到第w个服务器,其中,1≤j≤J,J表示任务总量,则云数据中心第z种资源调度策略下第w个服务器的资源使用率,如公式(1)所示:
Figure BDA0002789219070000082
其次,根据服务器总数量W,计算第z种资源调度策略下云数据中心所有服务器的平均资源使用率,如公式(2)所示:
Figure BDA0002789219070000083
此外,云数据中心第z种资源调度策略下第w个服务器的负载均衡方差Ωz,w如公式(3)所示:
Figure BDA0002789219070000084
最后,根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均负载均衡方差如公式(4)所示:
Figure BDA0002789219070000085
与此同时,根据第z种资源调度策略对计算任务进行资源调度之后,云数据中心的服务器在计算任务执行的过程中产生的能耗主要分为三个部分,分别是服务器运行的基础能耗EHbasic,z、服务器虚拟机执行计算任务产生的执行能耗EHactive,z以及服务器中空闲虚拟机闲置运行时所产生的能耗EHidle,z
首先,计算第z种资源调度策略下服务器运行的基础能耗EHbasic,z,如公式(5)所示,其中prz,n代表的是服务器sn的用电功率,trz,n代表的是服务器sn的整体运行时间,计算公式如下:
Figure BDA0002789219070000091
其次,计算第z种资源调度策略下服务器中虚拟机的执行能耗EHactive,z,如公式(6)所示。其中,服务器sn中处于运行状态的虚拟机数量为zynn,且sn上每台处于运行状态的虚拟机的功耗记为αz,n,记sn上每台虚拟机处于运行状态的时间为trvz,n,i,1≤i≤zynn
Figure BDA0002789219070000092
此外,计算第z种资源调度策略下服务器中空闲虚拟机所产生的能耗EHidle,z,如公式(7)所示。其中,服务器sn上处于空闲状态的虚拟机数量为cn-zynn,将sn上每台处于空闲状态的虚拟机的功耗记为γz,n,记sn上每台虚拟机处于空闲状态的时间为tivz,n,k, 1≤k≤cn-zynn
Figure BDA0002789219070000093
最后,计算资源调度策略执行后云数据中心为执行任务所产生的能耗为EHTz。EHTz的计算表达式如公式(8)所示。
EHTz=EHbasic,z+EHactive,z+EHidle,z (8)
步骤4:通过简单加权法和多标准决策算法,在Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST中选取最优的资源调度策略。
对于资源调度策略而言,其所导致的资源使用率越高的同时、负载均衡方差和能耗成本越低越好。因此资源使用率作为积极标准,而负载均衡方差和能耗均为消极标准,分别可以被归一化为如公式(9)(10)(11)所示。
Figure BDA0002789219070000094
其中
Figure BDA0002789219070000095
Figure BDA0002789219070000096
分别代表第z种资源调度策略使得所导致的当前云数据中心的最大资源使用率和最小资源使用率;
Figure BDA0002789219070000101
其中
Figure BDA0002789219070000102
Figure BDA0002789219070000103
分别代表第z种资源调度策略产生的最大平均负载均衡方差和最小平均负载均衡方差;
Figure BDA0002789219070000104
其中
Figure BDA0002789219070000105
Figure BDA0002789219070000106
分别表示第z种资源调度策略产生的最大能耗值和最小能耗值。
资源调度策略的效用值表示为TJ,如公式(12)所示。
Figure BDA0002789219070000107
根据每个资源调度策略的效用值,选择效用值最大的资源调度策略。
本实施例选择虚拟机实例占用记录作为输入数据集进行实验,实验环境中所涉及的参数如表1所示。
表1方法执行过程所涉及的参数设置
Figure BDA0002789219070000108
Figure BDA0002789219070000111
经过本发明提出的方法进行虚拟机调度过后,统计了不同类型的虚拟机发生迁移量。如表2所示,每种类型的服务器均发生了一定量的虚拟机迁移。
表2不同类型的虚拟机发生迁移量统计(单位:次)
类型 A<sub>v</sub> B<sub>v</sub> C<sub>v</sub> D<sub>v</sub> E<sub>v</sub> F<sub>v</sub>
迁移量 65 69 124 86 94 81
虚拟机迁移通常会导致部分服务器的空载,因此需要观察服务器在迁移前后使用量的对比。如表3所示,本发明提出的方法对于每种类型的服务器进行虚拟机调度后,均能在服务器使用量上进行优化。
表3调度前后所占用的不同类型的服务器数量对比(单位:台)
机器类型 A<sub>s</sub> B<sub>s</sub> C<sub>s</sub> D<sub>s</sub> E<sub>s</sub> F<sub>s</sub>
调度前 300 300 300 300 300 300
调度后 293 299 264 284 279 291
虚拟机迁移会产生额外的能耗,所以需要综合评估虚拟机迁移对能耗的影响。表4显示了迁移前后不同类型的虚拟机执行任务所产生的总能耗对比,本发明提出的方法对于每种类型的服务器进行虚拟机调度后,均能实现能耗的优化。
表4调度前后不同类型的虚拟机执行任务所产生的总能耗对比(单位:度)
机器类型 A<sub>v</sub> B<sub>v</sub> C<sub>v</sub> D<sub>v</sub> E<sub>v</sub> F<sub>v</sub>
调度前 66.34 67.89 136.99 237.69 350.98 496
调度后 53.48 58.89 99.58 178 279.63 437.25
在对服务器进行负载进行研究,选择同种类型的服务器在不同数据集的条件下进行实验。在使用发明提出的方法进行虚拟机调度后,统计了不同数据集下服务器的资源使用率,可以发现,调度后的服务器资源使用率较之调度前更高,如表5所示。
表5调度前后服务器资源使用率对比
数据集 1000 2000 3000 4000 5000
调度前 74.79% 75.75% 77.85% 78.16% 78.63%
调度后 82.19% 82.015% 83.08% 83.13% 83.79%
虚拟机调度会对服务器负载造成变化,因此要评估虚拟机迁移对负载均衡方差的影响。表6显示了调度前后服务器的平均负载均衡方差的对比。从表6可以看出,无论数据集规模多大,经过调度后均能实现负载均衡方差的减少。
表6调度前后服务器负载均衡方差对比
数据集 1000 2000 3000 4000 5000
调度前 3.69 4.33 4.38 4.45 4.59
调度后 3.65 4.27 4.31 4.34 4.43
本发明提供了一种面向服务器资源效用提升的云数据中心资源调度方法,具体实现该技术方案的方法和途径很多,以上所述仅是本发明的优选实施方式。应当指出,在不脱离本发明原理的前提下,本技术领域的技术人员还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。此外,本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (7)

1.一种面向资源效用提升的云数据中心资源调度方法,其特征在于:包括以下步骤:
步骤1:基于云数据中心分配记录数据集,获取处于运行状态的服务器列表S,所述分配记录数据集为虚拟机实例占用记录集合VM;
步骤2:根据虚拟机实例占用记录集合VM,获取服务器列表S中每台服务器的空闲虚拟机数量;
步骤3:记云数据中心资源调度策略有Z种,计算每种资源调度策略下云数据中心的资源使用率Φz、负载均衡方差Ωz和能耗EHTz,记为ostz=(Φzz,EHTz),Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST={ost1,ost2,…,ostz,…,ostZ},1≤z≤Z;
步骤4:在Z种资源调度策略对应的资源使用率、负载均衡方差和能耗值集合OST中选取最优的资源调度策略。
2.根据权利要求1所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤1中所述虚拟机实例占用记录是指当计算任务请求计算资源进行任务执行时,云数据中心为计算任务分配虚拟机以满足计算任务的计算需求,同时云数据中心产生一条虚拟机实例占用记录;虚拟机实例占用记录集合记作VM={vm1,vm2,…,vmH},其中,H代表VM中虚拟机实例占用记录的数量;所述虚拟机实例占用记录是一个多属性元组,VM中第h条虚拟机实例占用记录表示为vmh=(sidh,tidh,vidh,bth,eth),1≤h≤H,sidh表示该虚拟机所在服务器的编号,tidh表示当前在执行计算任务的编号,vidh表示该虚拟机的编号,bth表示在虚拟机执行当前计算任务的起始时间,eth表示在虚拟机执行当前计算任务所持续的时间;
遍历所述虚拟机实例占用记录集合VM,当虚拟机实例占用记录vmh中计算任务的开始时间bth恰好等于调度时刻t,将该虚拟机实例占用记录vmh中对应编号为sidh的服务器加入到处于运行状态的服务器列表S中,记S={s1,s2,…,sN},其中,N表示处于运行状态的服务器的数量。
3.根据权利要求2所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤2中将服务器sn中虚拟机的总数量记作cn,1≤n<N,通过遍历虚拟机实例占用记录集合VM,统计调度时刻t服务器sn中被占用的虚拟机数量,记作zynn,则sn上空闲状态的虚拟机数量为cn-zynn,所述被占用的虚拟机即为处于运行状态的虚拟机。
4.根据权利要求3所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤3中,所述资源使用率是评价系统计算能力的关键因素;记云数据中心服务器的总数量为W,第w个服务器内虚拟机的总数量为μw,用vw,l表示第w个服务器中的第l个虚拟机,1≤w≤W,1≤l≤μw
用Φz,w表示第z种资源调度策略下第w个服务器的资源使用率,用
Figure FDA0002789219060000021
判断第j个计算任务是否占用虚拟机vw,l,用ψz,j,w判断第j个计算任务是否传输到第w个服务器,其中,1≤j≤J,J表示计算任务总量,则云数据中心第z种资源调度策略下第w个服务器的资源使用率计算表达式如下:
Figure FDA0002789219060000022
根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均资源使用率Φz,计算表达式如下:
Figure FDA0002789219060000023
5.根据权利要求4所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤3中,云数据中心第z种资源调度策略下第w个服务器的负载均衡方差Ωz,w的计算表达式如下:
Figure FDA0002789219060000024
根据服务器总数量W计算第z种资源调度策略下云数据中心所有服务器的平均负载均衡方差Ωz,计算表达式如下:
Figure FDA0002789219060000025
6.根据权利要求5所述的一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤3中,根据第z种资源调度策略对计算任务进行资源调度之后,云数据中心运行状态的服务器sn在计算任务执行过程中产生的能耗主要分为三个部分,分别是服务器sn运行的基础能耗EHbasic,z、服务器sn中虚拟机执行计算任务产生的执行能耗EHactive,z以及服务器sn中空闲虚拟机闲置运行时所产生的能耗EHidle,z
计算第z种资源调度策略下服务器sn运行的基础能耗EHbasic,z,EHbasic,z取决于服务器sn的用电功率prz,n及服务器的整体运行时间trz,n,计算公式如下:
Figure FDA0002789219060000031
计算第z种资源调度策略下服务器中虚拟机的执行能耗EHactive,z,EHactive,z取决于服务器sn中所包含的虚拟机;服务器sn中处于运行状态的虚拟机数量为zynn,服务器sn上每台处于运行状态的虚拟机的功耗记为αz,n,服务器sn上每台虚拟机处于运行状态的时间记为trvz,n,i,1≤i≤zynn,则EHactive,z的计算公式为:
Figure FDA0002789219060000032
计算第z种资源调度策略下服务器中空闲虚拟机所产生的能耗EHidle,z,服务器sn上处于空闲状态的虚拟机数量为cn-zynn,将服务器sn上每台处于空闲状态的虚拟机的功耗记为γz,n,服务器sn上每台虚拟机处于空闲状态的时间记为tivz,n,k,1≤k≤cn-zynn,则EHidle,z的计算公式为:
Figure FDA0002789219060000033
计算第z种资源调度策略执行后云数据中心为执行计算任务所产生的能耗EHTz,EHTz的计算表达式如下:
EHTz=EHbasic,z+EHactive,z+EHidle,z
7.根据权利要求6所述一种面向资源效用提升的云数据中心资源调度方法,其特征在于,所述步骤4中通过简单加权法和多标准决策原则算法选取最优的资源调度策略,即在第z种资源调度策略下云数据中心的资源使用率归一化公式如下:
Figure FDA0002789219060000041
其中
Figure FDA0002789219060000042
Figure FDA0002789219060000043
分别代表第z种资源调度策略使得所导致的当前云数据中心的最大资源使用率和最小资源使用率;
第z种资源调度策略下云数据中心的负载均衡方差归一化公式如下:
Figure FDA0002789219060000044
其中
Figure FDA0002789219060000045
Figure FDA0002789219060000046
分别代表第z种资源调度策略产生的最大平均负载均衡方差和最小平均负载均衡方差;
第z种资源调度策略下云数据中心的能耗归一化公式如下:
Figure FDA0002789219060000047
其中
Figure FDA0002789219060000048
Figure FDA0002789219060000049
分别表示第z种资源调度策略产生的最大能耗值和最小能耗值;
第z种资源调度策略的效用值表示为TJz,计算公式如下:
Figure FDA00027892190600000410
根据每个资源调度策略的效用值TJz,选择效用值最大的资源调度策略。
CN202011309126.9A 2020-11-20 2020-11-20 一种面向资源效用提升的云数据中心资源调度方法 Pending CN112416516A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011309126.9A CN112416516A (zh) 2020-11-20 2020-11-20 一种面向资源效用提升的云数据中心资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011309126.9A CN112416516A (zh) 2020-11-20 2020-11-20 一种面向资源效用提升的云数据中心资源调度方法

Publications (1)

Publication Number Publication Date
CN112416516A true CN112416516A (zh) 2021-02-26

Family

ID=74773208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011309126.9A Pending CN112416516A (zh) 2020-11-20 2020-11-20 一种面向资源效用提升的云数据中心资源调度方法

Country Status (1)

Country Link
CN (1) CN112416516A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554268A (zh) * 2021-06-10 2021-10-26 合肥工业大学 平衡峰谷及淡旺季的用电策略的选择方法及系统
CN116048821A (zh) * 2023-04-03 2023-05-02 深圳市昊源诺信科技有限公司 高利用率的ai服务器及其资源分配方法
CN116382863A (zh) * 2023-03-19 2023-07-04 广州智捷联科技有限公司 一种数据中心智能节能调度方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法
WO2016045515A1 (zh) * 2014-09-23 2016-03-31 同济大学 基于用户满意度的云任务调度算法
CN107861796A (zh) * 2017-11-30 2018-03-30 南京信息工程大学 一种支持云数据中心能耗优化的虚拟机调度方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102096461A (zh) * 2011-01-13 2011-06-15 浙江大学 基于虚拟机迁移和负载感知整合的云数据中心节能方法
WO2016045515A1 (zh) * 2014-09-23 2016-03-31 同济大学 基于用户满意度的云任务调度算法
CN107861796A (zh) * 2017-11-30 2018-03-30 南京信息工程大学 一种支持云数据中心能耗优化的虚拟机调度方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554268A (zh) * 2021-06-10 2021-10-26 合肥工业大学 平衡峰谷及淡旺季的用电策略的选择方法及系统
CN113554268B (zh) * 2021-06-10 2024-03-15 合肥工业大学 平衡峰谷及淡旺季的用电策略的选择方法及系统
CN116382863A (zh) * 2023-03-19 2023-07-04 广州智捷联科技有限公司 一种数据中心智能节能调度方法
CN116382863B (zh) * 2023-03-19 2023-09-05 广州智捷联科技有限公司 一种数据中心智能节能调度方法
CN116048821A (zh) * 2023-04-03 2023-05-02 深圳市昊源诺信科技有限公司 高利用率的ai服务器及其资源分配方法
CN116048821B (zh) * 2023-04-03 2023-06-16 深圳市昊源诺信科技有限公司 高利用率的ai服务器及其资源分配方法

Similar Documents

Publication Publication Date Title
CN112416516A (zh) 一种面向资源效用提升的云数据中心资源调度方法
CN107861796B (zh) 一种支持云数据中心能耗优化的虚拟机调度方法
Lu et al. An effective task scheduling algorithm based on dynamic energy management and efficient resource utilization in green cloud computing environment
Zhou et al. A novel virtual machine deployment algorithm with energy efficiency in cloud computing
Jiang et al. DataABC: A fast ABC based energy-efficient live VM consolidation policy with data-intensive energy evaluation model
Alahmadi et al. Enhanced first-fit decreasing algorithm for energy-aware job scheduling in cloud
Mosa et al. Dynamic virtual machine placement considering CPU and memory resource requirements
CN112395161A (zh) 大数据中心能耗分析方法及计算设备
Hsu et al. Adaptive scheduling based on quality of service in heterogeneous environments
He et al. Energy-efficient framework for virtual machine consolidation in cloud data centers
Zhang et al. An energy-aware host resource management framework for two-tier virtualized cloud data centers
CN108429784B (zh) 一种能效优先的云资源分配与调度方法
CN110069319B (zh) 一种面向朵云资源管理的多目标虚拟机调度方法及系统
CN110308991B (zh) 一种基于随机任务的数据中心节能优化方法及系统
Tian et al. Efficient algorithms for VM placement in cloud data centers
CN106227600B (zh) 一种基于能量感知的多维虚拟资源分配方法
Li et al. SLA‐Aware and Energy‐Efficient VM Consolidation in Cloud Data Centers Using Host State 3rd‐Order Markov Chain Model
Xu et al. VMs placement strategy based on distributed parallel ant colony optimization algorithm
Rajnikant et al. Improving energy efficiency and minimizing service-level agreement violation in mobile cloud computing environment
Zhao et al. A virtual machine dynamic consolidation algorithm based dynamic complementation and FFD algorithm
Cao et al. A QoS-guaranteed energy-efficient VM dynamic migration strategy in cloud data centers
Khaleel et al. Energy-aware job management approaches for workflow in cloud
Mkoba et al. A survey on energy efficient with task consolidation in the virtualized cloud computing environment
Dhanoa et al. Power efficient hybrid VM allocation algorithm
Khichar et al. Maximum Correlationwith Migration Control Based on Modified Knapsack (MC_MC) Approach for VM Selection for Green Cloud Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210226