CN114880129A - 资源利用率预测感知的云数据中心虚拟机资源分配方法 - Google Patents
资源利用率预测感知的云数据中心虚拟机资源分配方法 Download PDFInfo
- Publication number
- CN114880129A CN114880129A CN202210657035.7A CN202210657035A CN114880129A CN 114880129 A CN114880129 A CN 114880129A CN 202210657035 A CN202210657035 A CN 202210657035A CN 114880129 A CN114880129 A CN 114880129A
- Authority
- CN
- China
- Prior art keywords
- physical machine
- predicted
- physical
- machine
- utilization rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000013468 resource allocation Methods 0.000 title claims abstract description 26
- 230000008447 perception Effects 0.000 title claims abstract description 9
- 230000007812 deficiency Effects 0.000 claims abstract description 12
- 230000015654 memory Effects 0.000 claims description 101
- 230000006833 reintegration Effects 0.000 claims description 20
- 238000007667 floating Methods 0.000 claims description 8
- 238000005265 energy consumption Methods 0.000 abstract description 17
- 230000005012 migration Effects 0.000 description 15
- 238000013508 migration Methods 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/301—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is a virtual computing platform, e.g. logically partitioned systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/4557—Distribution of virtual machine instances; Migration and load balancing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45591—Monitoring or debugging support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45595—Network integration; Enabling network access in virtual machine instances
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明涉及计算机技术领域,特别涉及资源利用率预测感知的云数据中心虚拟机资源分配方法,各虚拟机监视器预测所在的物理机在下一周期的负载状态,并将所述预测负载状态发送至所在的物理机上的局部管理器;全局管理器从各局部管理器获取各物理机的预测负载状态;全局管理器根据各物理机的预测负载状态,将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上;将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他负载状态为正常的物理机上,并将所述预测负载状态为不足的物理机置于低功耗状态;本发明能有效提高物理机资源利用率和用户请求完成率,提高了云数据中心的性能,也减少了云数据中心的能耗。
Description
技术领域
本发明涉及计算机技术领域,特别涉及一种资源利用率预测感知的云数据中心虚拟机资源分配方法。
背景技术
在云计算中,服务提供者向服务消费者提供三种形式的服务,即基础设施即服务(即IaaS,Infrastructure as a Service),平台即服务(PaaS,Platform as a Service),软件即服务(SaaS,Software as a Service)。IaaS以虚拟机(Virtual Machine,VM)的方式向用户提供计算服务,降低了客户安装和维护系统的成本。云计算基础设施的不断增长导致云数据中心的能源消耗显著增长。大量的能源消耗不仅会使运营费用急剧增加,还会产生大量的碳排放。通常,客户会与云服务提供商达成服务水平协议SLA,约定云服务服务的水平,如系统吞吐量、响应时间和停机时间比率等。
一般情况下,云数据中心按峰值需求配置物理机资源,但云数据中心中的物理服务器(也称物理机)的平均CPU利用率只有15%到20%,大量闲置的物理机消耗了峰值能耗的70%。显然,造成能源浪费的一个主要原因是有太多的物理机处于空闲状态。因此,让尽可能少的物理机处于活动状态并关闭空闲的物理机是降低云数据中心能耗的有效方法。
虚拟机迁移技术是一种提高资源利用率的重要技术,虚拟机迁移将虚拟运行环境(包括操作系统与应用程序)从一个物理服务器迁移到另外一个物理服务器。虚拟机在线迁移可保持客户操作系统和应用程序的继续运行而不受干扰,因而在云数据中心得到广泛应用。通过虚拟机在线迁移技术可将数据中心资源利用率低的物理机上的虚拟机整合到较少的物理机上,关闭空闲的物理机,从而减少运行的物理机数量,以达到最小化云数据中心的能源消耗的目的。
数据中心在大规模使用虚拟化技术后,虚拟机的数量巨大,虚拟机的负载会随用户的需求动态变化,有时候变化巨大。当服务器上部分VM的工作负载突然增加而需要更多的资源时,就会引起服务器上各虚拟机之间对资源的竞争。目前,解决方法是在各虚拟机之间重新分配服务器的物理资源或迁移部分虚拟机到其他服务器上,但是,过多的虚拟机迁移、过高的带宽利用率,都会影响云数据中心的性能。
发明内容
基于此,有必要针对上述技术问题,提供一种资源利用率预测感知的云数据中心虚拟机资源分配方法,以解决过多的虚拟机迁移、过高的带宽利用率,影响云数据中心的性能的问题。
本发明提供了一种资源利用率预测感知的云数据中心虚拟机资源分配方法,包括以下步骤:
各虚拟机监视器周期性地基于资源利用率的日志文件中的资源利用率数据预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率;根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测负载状态,并将所述预测负载状态发送至所在的物理机上的局部管理器;
全局管理器从各局部管理器获取各物理机的预测负载状态;
全局管理器根据各物理机的预测负载状态,将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上;将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他负载状态为正常的物理机上,并将所述预测负载状态为不足的物理机置于低功耗状态。
可选的,各虚拟机监视器采用自回归预测算法预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率。
可选的,所述各虚拟机监视器采用自回归预测算法预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率,包括:
对于任一虚拟机监视器,分别利用该虚拟机监视器所在的物理机上的每个虚拟机的CPU利用率和内存利用率的历史数据,根据p阶自回归模型AR(p)创建自回归模型,得到每个所述虚拟机在下一个资源重新整合周期的预测资源利用率,所述预测资源利用率包括预测CPU利用率和预测内存利用率;
p阶自回归模型AR(p)用以下公式表示:
Xt=a0+a1Xt-1+a2Xt-2+…+apXt-p+εt
其中,t∈Z,Z为整数集,εt为模型残差,Xt表示t时刻的观察值,数据Xt-i为已知量,i=1,2,…,p,a0、a1、...、ap为AR(p)的自回归系数。
可选的,所述根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测负载状态,包括:
根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测资源利用率;
根据各虚拟机监视器所在的物理机在下一周期的预测资源利用率判定各虚拟机监视器所在的物理机在下一周期的预测负载状态。
可选的,所述根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测资源利用率,包括:
根据所述物理机上的每个所述虚拟机的预测CPU利用率,通过以下公式得到所述物理机的预测CPU利用率:
其中,vmmi表示物理机Sm上的第i个虚拟机,为虚拟机vmmi当前的CPU大小,CPUm表示物理机Sm总的CPU大小减去维持物理机基本运行所需的CPU大小的差值,为虚拟机vmmi的预测CPU利用率,表示物理机Sm的预测CPU利用率,VMm为物理机Sm上的虚拟机集合,|VMm|表示物理机Sm上的虚拟机数量;
根据所述物理机上的每个所述虚拟机的预测内存利用率,通过以下公式得到所述物理机的预测内存利用率:
其中,vmmi表示物理机Sm上的第i个虚拟机,虚拟机vmmi当前的内存大小,为虚拟机vmmi的预测内存利用率,MEMm表示物理机Sm总的内存大小减去维持物理机基本运行所需的内存大小的差值,表示物理机Sm的预测内存利用率。
可选的,所述根据各虚拟机监视器所在的物理机在下一周期的预测资源利用率判定各虚拟机监视器所在的物理机在下一周期的预测负载状态,包括:
可选的,全局管理器根据各物理机的预测负载状态,将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上;将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他物理机上,并将所述预测负载状态为不足的物理机置于低功耗状态,包括:
若某物理机Sm处于低CPU利用率,低内存利用率负载状态,则将该物理机Sm中虚拟机迁往其他负载状态为正常的物理机上,并将该物理机Sm调整为低功耗状态;
若某物理机Sm处于高内存利用率负载状态,则将该物理机Sm中部分高内存利用率状态的虚拟机迁移到其他负载状态为正常的物理机上,以使内存利用率处于正常负载状态;
若某物理机Sm处于高CPU利用率负载状态,则将该物理机Sm中部分高CPU利用率状态的虚拟机迁移到其他负载状态为正常的物理机上,以使CPU利用率处于正常负载状态;
若某物理机Sm处于高CPU利用率、高内存利用率负载状态,则将该物理机Sm中部分高CPU利用率和高内存利用率状态的虚拟机迁移到其他负载状态为正常的物理机上,以使该物理机Sm的CPU利用率和内存利用率处于正常负载状态;
若某物理机Sm处于正常负载状态,则按各虚拟机的需求分配相应的物理资源。
可选的,利用如下方法判定各虚拟机的高CPU利用率状态和高内存利用率状态:
设定虚拟机vmmi的CPU利用率上下浮动百分比为fcpu(vmmi),内存利用率上下浮动百分比为fmem(vmmi),根据虚拟机的CPU和内存的上下浮动百分比、SLA服务等级协议约定的CPU利用率和约定的内存利用率预测CPU利用率和预测内存利用率判定虚拟机vmmi的状态:
本发明的有益效果:
本发明的资源利用率预测感知的云数据中心虚拟机资源分配方法,一个物理机运行多个虚拟机,每个虚拟机运行一种应用;基于当前和过去的资源利用率预测虚拟机在下一资源分配周期的负载,在物理服务器内根据资源寻求按需动态配置物理资源或迁移到其他物理机获取所需的物理资源;当云数据中心整体负载较小时,在保证服务质量的前提下迁移资源利用率低的虚拟机到较少的物理机上,将无虚拟机的物理机置于低功耗状态,以减少云数据中的能耗;本发明提出了物理机内资源利用率预测感知的虚拟机物理资源再配置策略和资源利用率预测感知的云数据中心虚拟机资源分配方法,局部虚拟机资源按需调整,减少不必要的虚拟机迁移,全局合并资源利用率低的服务器,以达到提高资源利用率,同时减少能源浪费降低运营成本的目的,以解决现有方法存在的过多的虚拟机迁移和过高的带宽利用率影响云数据中心的性能的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本实施例提供的一种云数据中心结构图;
图2是本实施例提供的一种资源利用率预测感知的云数据中心虚拟机资源分配方法流程图;
图3是本实施例提供的一种用自回归资源利用率预测模型得到的预测值与真实值的对比图;
图4-1是本实施例提供的第一个虚拟机的资源利用率预测感知的物理资源再配置策略的效果图;
图4-2是本实施例提供的第二个虚拟机的资源利用率预测感知的物理资源再配置策略的效果图;
图4-3是本实施例提供的第三个虚拟机的资源利用率预测感知的物理资源再配置策略的效果图;
图5是本实施例提供的在系统不同负载程度下的不同虚拟机迁移策略下的系统能耗对比图;
图6是本实施例提供的UPAVMM、THR和MAD三种虚拟机资源分配策略的SLA违反率SLAVO方面的性能对比图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。为了说明本发明的技术方案,下面通过具体实施例来进行说明。
参见图1,是本实施例提供的一种资源利用率预测感知的云数据中心虚拟机资源分配方法,该方法包括以下步骤:
步骤S101,各虚拟机监视器周期性地基于资源利用率的日志文件中的资源利用率数据预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率;根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测负载状态,并将所述预测负载状态发送至所在的物理机上的局部管理器;
步骤S102,全局管理器从各局部管理器获取各物理机的预测负载状态;
步骤S103,全局管理器根据各物理机的预测负载状态,将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上;将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他负载状态为正常的物理机上,并将所述预测负载状态为不足的物理机置于低功耗状态。
接下来对上述步骤进行详细介绍和说明:
参见图2,是本实施例提供的一种云数据中心结构,云数据中心以虚拟机实例的形式向云用户提供服务,全局管理器部署在一个主物理机上,其他每个物理机上都部署一个局部管理器。局部管理器和全局管理器在每个资源重新整合周期内的工作机制是:
(1)虚拟机监视器周期性地基于资源利用率的日志文件中的资源利用率数据按某种预测算法预测物理机上的每个虚拟机在下一资源重新整合周期的资源利用率,进而给出所在的物理机在下一周期的负载状态。
(2)全局管理器从每个局部管理器获取每个物理机的预测负载状态,进而得到所有物理机的整体预测负载情况。
(3)全局管理器根据所有物理机的整体负载情况,对于过载的物理机,迁移其上的部分虚拟机到其他物理机上,以维持服务质量;对负载不足的物理机,将该物理机上的所有虚拟机迁移到其他物理机上,并将该物理机置于低功耗状态,从而减少处于活跃状态的物理机数量,达到在保证服务质量的前提下降低能耗的目的。
云数据中心通常是持续建设的,因而云数据中心可能存在不同年份生产的性能差异巨大的服务器,服务器可能是大型机、小型机、PC等,表现出不同的处理能力。每个服务器都有不同的物理资源,如不同的CPU、内存、网络带宽、磁盘。本实施例考虑了CPU和内存两种资源,本实施例中,物理机的另一种表述为服务器。
定义1,服务器:一个服务器Si用一个二元组Si=(CPUi,MEMi)表示,其中,CPUi表示服务器Si的CPU大小,MEMi表示服务器Si的内存大小。
在任意给定时刻,云数据中心以虚拟机的形式向云用户提供服务,虚拟机由不同的物理机托管,起初按一定的资源分配算法为物理机上的虚拟机分配一定数量的CPU、内存、磁盘、网络带宽。
定义2,虚拟机:VMm={vmm1,vmm2,…,vmmk}表示服务器Sm上的虚拟机集合,vmmi表示服务器Sm上的第i个虚拟机。vmmi用一个二元组表示 分别表示虚拟机vmmi当前的CPU大小、内存大小,通常一个虚拟机的两类资源不小于SLA(服务等级协议)所约定的平均响应时间要求所需的最少资源量(以所接受最大负载量计算保证平均响应时间要求所需最低资源量)。
CPUm表示服务器Sm的CPU大小,指的是服务器Sm总的CPU大小减去维持服务器基本运行所需的CPU大小的差值;MEMm表示的服务器Sm的内存大小,指的是服务器Sm总的内存大小减去维持服务器基本运行所需的内存大小的差值。
每个服务器Sm上的各虚拟机的CPU、内存的大小之和满足以下约束:
本实施例中,设置虚拟机vmmi的CPU利用率上下浮动百分比为fcpu(vmmi),MEM(内存)利用率上下浮动百分比为fmem(vmmi),将它们用来表示约定的服务质量水平协议SLA所允许的服务质量波动范围。根据虚拟机的CPU和MEM的上下浮动百分比、SLA约定的CPU利用率和约定的MEM利用率预测的CPU利用率和MEM利用率将虚拟机vmmi分成如下5种类型:
本实施例中,虚拟机的预测CPU利用率和预测内存利用率可以通过以下方法得到:
自回归预测法利用预测对象在不同时期取值之间存在的关系,建立回归方程进行预测。p阶自回归模型AR(p)可用下面的方程表示:
Xt=a0+a1Xt-1+a2Xt-2+…+apXt-p+εt
其中,t∈Z,εt称为模型残差,Xt表示t时刻的观察值,数据Xt-i(i=1,2,…,p)已知,a0、a1、...、ap为AR(p)的自回归系数,满足AR(p)的时间序列{Xt}称为AR(p)序列。对于一个p阶AR模型来讲,它是利用前p个数据来预测第p+1个数据。
当a0=0时,称为零均值AR(p)序列,即
Xt=a1Xt-1+a2Xt-2+…+apXt-p+εt
对于a0≠0的情况,可以通过零均值化的手段把一般的AR(p)序列变为零均值AR(p)序列。
利用最小二乘估计可确定自回归系数。对于时间序列{Xt},当j≥p+1时,记模型残差εj的估计为优化目标是使得的平方和 达到最小。使上式达到最小的为AR(p)模型中自回归系数a1、a2、...、ap的估计。
记:
得到如下线性方程组:
Y=Xa+ε
S(a)=(Y-Xa)T(Y-Xa)=YTY-2YTXa+aTXTXa
上式对参数a求导并令其为0,可得:
因此,参数a的最小二乘估计为:
在p阶自回归模型中,要保证p个数据至少要包含一个周期(可根据日志文件统计得到周期性大致大小)的数据,这时才能用来预测第p+1个周期的数据。
分别利用CPU利用率、内存利用率的历史数据创建自回归模型后,就可对下一个周期内的资源利用率进行预测。
本实施例中,在每个物理机Sm内,在局部资源调整周期内监控w个时间间隔内各虚拟机的资源利用率,根据自回归预测模型预测每个虚拟机vmmi下一个周期内各时间间隔的CPU和MEM资源利用率,分别取平均值为:
将利用上述公式计算得到的两平均值分别作为下一个周期内虚拟机vmmi对CPU和MEM资源的需求大小。
根据物理机Sm的各虚拟机资源利用率预测,得出Sm的负载状态,如果Sm处于正常负载状态,则Sm的物理资源能满足其上的各虚拟机的物理资源需求。则物理机内资源利用率预测感知的虚拟机物理资源再配置策略为:若虚拟机所在的物理机剩余物理资源能满足其需求,则为其分配所需的物理资源;若剩余物理资源不能满足,该物理机的其他虚拟机在满足它们未来资源需求的情况下,若它们多余的物理资源能满需要增加物理资源的虚拟机的资源需求,则将这些虚拟机多余的物理资源分配给那些需要增加资源的虚拟机。按各虚拟机的资源需求为其分配相应所需的物理资源,然后计算出物理机Sm剩余CPU资源和剩余MEM资源
本实施例中,根据物理机负载状态的不同,采取合适的虚拟机迁移策略,具体策略如下:
(1)如果物理机Sm处于低CPU利用率,低内存利用率负载状态。局部资源管理器向全局资源管理器报告,由全局管理器决定是否将物理机Sm中虚拟机迁往其他物理机上,从而将物理机Sm调整为低功耗状态。
(2)如果物理机Sm处于高内存利用率负载状态,则通知向全局资源管理器迁移物理机Sm中某些高内存利用率虚拟机到其他物理机上以使内存利用率处于正常负载状态,这里迁移尽可能少的虚拟机。
(3)如果物理机Sm处于高CPU利用率负载状态,则通知全局资源管理器迁移物理机Sm中某些高CPU利用率虚拟机到其他物理机上以使CPU利用率刚好处于正常负载状态,这里迁移尽可能少的虚拟机。
(4)如果物理机Sm处于高CPU利用率、高内存利用率负载状态,则通知全局资源管理器迁移物理机Sm中某些高CPU利用率和高内存利用率虚拟机到其他物理机上以使物理机Sm的CPU利用率和内存利用率刚好处于正常负载状态,这里迁移尽可能少的虚拟机。
(5)如果物理机Sm处于正常负载状态,物理机的物理资源能满足其上的各虚拟机的物理资源需求,则按需求分配相应的物理资源。
本实施例中,根据上述资源利用率预测感知的云数据中心虚拟机资源分配方法,提供具体程序如下:
输入:云数据中心物理机集合S={S1,S2,…,Sn};Sm∈S上的虚拟机的集合VMm={vmm1,vmm2,…,vmmk};物理机CPU高利用率阈值低利用率阈值内存高利用率阈值低利用率阈值虚拟机CPU高利用率阈值低利用率阈值虚拟机内存高利用率阈值表示为低利用率阈值表示为虚拟机资源再分配周期T,每个周期的时间间隔数w。
输出:每个虚拟机的资源利用率都处于正常负载状态。
本实施例中,对上述方法进行实验验证,具体实验如下:
1、资源利用率预测实验
一个局部资源调整周期分成11个时间间隔,监控一个虚拟机11个时间间隔内的CPU资源利用率,根据自回归预测模型预测每个虚拟机下一个周期内11个时间间隔的CPU资源利用率,图3示出了用自回归资源利用率预测模型11个时间间隔得到的预测值与真实值的对比情况,均方误差率为0.708,表明虚拟机资源利用率呈现周期性变化时,预测准确度较高。
2、物理机内资源利用率预测感知的虚拟机物理资源再配置策略的效果实验
本实验验证物理机内基于自回归预测为各虚拟机按需分配CPU资源后,各虚拟机CPU资源实际利用率的情况,实验负载按CPU使用量进行模拟,服务请求到达服从指数分布。物理机内设置3个虚拟机,初始时为每个虚拟机分配25%的物理CPU,3GB的内存,后面根据资源利用率预测按需重配置每个虚拟机的物理资源。局部资源调整周期为11个时间间隔,随着时间的推移,一个局部资源调整周期内,物理机内三个虚拟机的资源利用率预测感知的物理资源再配置策略的效果分别如图4-1、图4-2和图4-3所示。
3、节能实验
本实验用CloudSim模拟一个由100个异构PM组成的数据中心,一半的PM的配置为3核,6GB内存,每核2360MIPS;另一半的PM的配置为3核,6GB内存,每核3260MIPS。所提出的算法和策略是使用来自Google的真实工作负载跟踪记录,工作负载由不同类型作业的数据集组成。
研究表明,CPU资源比内存、网络或磁盘存储消耗更多的电能。表1为不同负载级别下服务器的能耗情况,表1说明了在不同的负载水平下,HP ProLiant G4服务器和HPProLiant G5服务器的能耗大小。从表1中可以看出,休眠状态能显著降低能耗,因此,减少处于活动状态的主机数量对降低数据中心的能耗是非常关键的。
表1
为了验证本实施例所提基于虚拟机资源利用率预测的虚拟机迁移策略UPAVMM在节约能耗的效果,与现有技术中的静态阈值(THR)虚拟机迁移策略、中位数绝对偏差自适应阈值(MAD)虚拟机迁移策略进行对比,这两种策略已经内嵌在CloudSim模拟器中。在系统不同负载程度下(满载的百分比)的不同虚拟机迁移策略下的系统能耗对比情况如图5所示。
从图5可以看出,本发明的UPAVMM资源利用率预测感知的云数据中心虚拟机资源分配方法,基于自回归预测模型虚拟机未来资源分配周期的资源利用率将虚拟机和物理机标记为5种不同的负载状态。当预测到某个虚拟机将来的资源不足时,根据该虚拟机所在的物理机的负载状态不同,采用不同的虚拟机资源再分配策略,尽可能物理机内满足虚拟机的物理资源需求,尽可能不迁移虚拟机激活处于休眠状态的物理机,提高物理机的资源利用率,减少处于活跃状态的物理机数量,从而降低能耗。此外,当物理机处于低CPU利用率,低内存利用率负载状态时,局部资源管理器向全局资源管理器报告,由全局管理器根据系统负载状况决定是否将物理机中的虚拟机迁往其他物理机上,若系统负载整体较低,则将处于轻载状态的物理机上的虚拟机迁移到较少的物理机上,把迁移走虚拟机后的物理机调整为低功耗状态,这样既能进一步节省能耗,也能避免盲目迁移带来系统抖动。
4、SLA违反实验
可以使用下面的SLA违反率SLAVO来判断云数据中心的云服务的质量,为服务用户的虚拟机分配的物理资源不足导致虚拟机资源利用率过高导致SLA违反。
其中,m表示虚拟机总数,表示虚拟机vmi资源利用率超过违反SLA的总时间,表示虚拟机vmi在一种资源配置下的持续工作时间。SLAVO表示了虚拟机CPU利用率达到100%时的平均比率,该值越小云数据中心的云服务的质量越高。图6展示了UPAVMM、THR和MAD三种虚拟机资源分配策略的SLA违反率SLAVO方面的性能对比。
本发明的UPAVMM局部资源再分配策略较好的满足了虚拟机的物理资源需求,较好地缩短了虚拟机物理资源不足导致的违反率SLAVO的时长,此外尽可能减少因个别虚拟机物理资源不足盲目迁移虚拟机带来的性能下降。
本实施例采用自回归预测算法对下一资源分配周期虚拟机的负载大小进行预测,为物理资源不足的虚拟机及时分配更多的物理资源,以使云用户获得更好的服务体验。当云数据中心整体负载较小时,在保证服务质量的前提下迁移资源利用率低的虚拟机到较少的物理机上,将无虚拟机的物理机置于低功耗状态,以降低云数据中的能耗;提高了云中心的物理机资源利用效率、用户请求完成率以及降低了云数据中心能耗。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (8)
1.一种资源利用率预测感知的云数据中心虚拟机资源分配方法,其特征在于,包括以下步骤:
各虚拟机监视器周期性地基于资源利用率的日志文件中的资源利用率数据预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率;根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测负载状态,并将所述预测负载状态发送至所在的物理机上的局部管理器;
全局管理器从各局部管理器获取各物理机的预测负载状态;
全局管理器根据各物理机的预测负载状态,将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上;将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他负载状态为正常的物理机上,并将所述预测负载状态为不足的物理机置于低功耗状态。
2.根据权利要求1所述的资源利用率预测感知的云数据中心虚拟机资源分配方法,其特征在于,各虚拟机监视器采用自回归预测算法预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率。
3.根据权利要求2所述的资源利用率预测感知的云数据中心虚拟机资源分配方法,其特征在于,所述各虚拟机监视器采用自回归预测算法预测所在的物理机上的每个虚拟机在下一资源重新整合周期的预测资源利用率,包括:
对于任一虚拟机监视器,分别利用该虚拟机监视器所在的物理机上的每个虚拟机的CPU利用率和内存利用率的历史数据,根据p阶自回归模型AR(p)创建自回归模型,得到每个所述虚拟机在下一个资源重新整合周期的预测资源利用率,所述预测资源利用率包括预测CPU利用率和预测内存利用率;
p阶自回归模型AR(p)用以下公式表示:
Xt=a0+a1Xt-1+a2Xt-2+…+apXt-p+εt
其中,t∈Z,Z为整数集,εt为模型残差,Xt表示t时刻的观察值,数据Xt-i为已知量,i=1,2,…,p,a0、a1、...、ap为AR(p)的自回归系数。
4.根据权利要求3所述的资源利用率预测感知的云数据中心虚拟机资源分配方法,其特征在于,所述根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测负载状态,包括:
根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测资源利用率;
根据各虚拟机监视器所在的物理机在下一周期的预测资源利用率判定各虚拟机监视器所在的物理机在下一周期的预测负载状态。
5.根据权利要求4所述的资源利用率预测感知的云数据中心虚拟机资源分配方法,其特征在于,所述根据各虚拟机监视器所在的物理机上的每个所述虚拟机在下一资源重新整合周期的预测资源利用率,计算各虚拟机监视器所在的物理机在下一周期的预测资源利用率,包括:
根据所述物理机上的每个所述虚拟机的预测CPU利用率,通过以下公式得到所述物理机的预测CPU利用率:
其中,vmmi表示物理机Sm上的第i个虚拟机,为虚拟机vmmi当前的CPU大小,CPUm表示物理机Sm总的CPU大小减去维持物理机基本运行所需的CPU大小的差值,为虚拟机vmmi的预测CPU利用率,表示物理机Sm的预测CPU利用率,VMm为物理机Sm上的虚拟机集合,|VMm|表示物理机Sm上的虚拟机数量;
根据所述物理机上的每个所述虚拟机的预测内存利用率,通过以下公式得到所述物理机的预测内存利用率:
6.根据权利要求4所述的资源利用率预测感知的云数据中心虚拟机资源分配方法,其特征在于,所述根据各虚拟机监视器所在的物理机在下一周期的预测资源利用率判定各虚拟机监视器所在的物理机在下一周期的预测负载状态,包括:
7.根据权利要求6所述的资源利用率预测感知的云数据中心虚拟机资源分配方法,其特征在于,全局管理器根据各物理机的预测负载状态,将预测负载状态为过载的物理机上的部分虚拟机迁移到其他负载状态为正常的物理机上;将所述预测负载状态为不足的物理机上的所有虚拟机迁移到其他物理机上,并将所述预测负载状态为不足的物理机置于低功耗状态,包括:
若某物理机Sm处于低CPU利用率,低内存利用率负载状态,则将该物理机Sm中虚拟机迁往其他负载状态为正常的物理机上,并将该物理机Sm调整为低功耗状态;
若某物理机Sm处于高内存利用率负载状态,则将该物理机Sm中部分高内存利用率状态的虚拟机迁移到其他负载状态为正常的物理机上,以使内存利用率处于正常负载状态;
若某物理机Sm处于高CPU利用率负载状态,则将该物理机Sm中部分高CPU利用率状态的虚拟机迁移到其他负载状态为正常的物理机上,以使CPU利用率处于正常负载状态;
若某物理机Sm处于高CPU利用率、高内存利用率负载状态,则将该物理机Sm中部分高CPU利用率和高内存利用率状态的虚拟机迁移到其他负载状态为正常的物理机上,以使该物理机Sm的CPU利用率和内存利用率处于正常负载状态;
若某物理机Sm处于正常负载状态,则按各虚拟机的需求分配相应的物理资源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210657035.7A CN114880129A (zh) | 2022-06-10 | 2022-06-10 | 资源利用率预测感知的云数据中心虚拟机资源分配方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210657035.7A CN114880129A (zh) | 2022-06-10 | 2022-06-10 | 资源利用率预测感知的云数据中心虚拟机资源分配方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114880129A true CN114880129A (zh) | 2022-08-09 |
Family
ID=82681248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210657035.7A Pending CN114880129A (zh) | 2022-06-10 | 2022-06-10 | 资源利用率预测感知的云数据中心虚拟机资源分配方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114880129A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115202829A (zh) * | 2022-08-15 | 2022-10-18 | 中国电信股份有限公司 | 虚拟机的功耗预测模型训练方法、功耗预测方法及装置 |
CN116743589A (zh) * | 2023-08-15 | 2023-09-12 | 中移(苏州)软件技术有限公司 | 云主机迁移方法、装置及电子设备 |
-
2022
- 2022-06-10 CN CN202210657035.7A patent/CN114880129A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115202829A (zh) * | 2022-08-15 | 2022-10-18 | 中国电信股份有限公司 | 虚拟机的功耗预测模型训练方法、功耗预测方法及装置 |
CN115202829B (zh) * | 2022-08-15 | 2023-11-21 | 中国电信股份有限公司 | 虚拟机的功耗预测模型训练方法、功耗预测方法及装置 |
CN116743589A (zh) * | 2023-08-15 | 2023-09-12 | 中移(苏州)软件技术有限公司 | 云主机迁移方法、装置及电子设备 |
CN116743589B (zh) * | 2023-08-15 | 2023-11-21 | 中移(苏州)软件技术有限公司 | 云主机迁移方法、装置及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Melhem et al. | Markov prediction model for host load detection and VM placement in live migration | |
Khoshkholghi et al. | Energy-efficient algorithms for dynamic virtual machine consolidation in cloud data centers | |
Farahnakian et al. | Utilization prediction aware VM consolidation approach for green cloud computing | |
Chen et al. | RIAL: Resource intensity aware load balancing in clouds | |
Sayadnavard et al. | A reliable energy-aware approach for dynamic virtual machine consolidation in cloud data centers | |
Deboosere et al. | Efficient resource management for virtual desktop cloud computing | |
Shen et al. | A resource usage intensity aware load balancing method for virtual machine migration in cloud datacenters | |
CN114880129A (zh) | 资源利用率预测感知的云数据中心虚拟机资源分配方法 | |
Sekhar et al. | A survey on energy efficient server consolidation through vm live migration | |
EP3289456A1 (en) | Balancing resources in distributed computing environments | |
CN107992353B (zh) | 一种基于最小迁移量的容器动态迁移方法及系统 | |
CN109491760B (zh) | 一种高效能数据中心云服务器资源自主管理方法 | |
WO2011088261A2 (en) | Methods and apparatus for coordinated energy management in virtualized data centers | |
Wang et al. | An energy-aware resource allocation heuristics for VM scheduling in cloud | |
Supreeth et al. | VM Scheduling for Efficient Dynamically Migrated Virtual Machines (VMS-EDMVM) in Cloud Computing Environment. | |
Sampaio et al. | Towards high-available and energy-efficient virtual computing environments in the cloud | |
Hasan et al. | Heuristic based energy-aware resource allocation by dynamic consolidation of virtual machines in cloud data center | |
Berral et al. | Power-aware multi-data center management using machine learning | |
Farahnakian et al. | Self-adaptive resource management system in IaaS clouds | |
Theja et al. | Evolutionary computing based on QoS oriented energy efficient VM consolidation scheme for large scale cloud data centers | |
Farahnakian et al. | Multi-agent based architecture for dynamic VM consolidation in cloud data centers | |
Farahnakian et al. | Hierarchical vm management architecture for cloud data centers | |
Daraghmeh et al. | Linear and logistic regression based monitoring for resource management in cloud networks | |
CN112559122A (zh) | 一种基于电力专用安防设备的虚拟化实例管控方法及系统 | |
Li et al. | CSL-driven and energy-efficient resource scheduling in cloud data center |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |