CN105302632A - 一种云计算工作负载动态整合方法 - Google Patents

一种云计算工作负载动态整合方法 Download PDF

Info

Publication number
CN105302632A
CN105302632A CN201510802469.1A CN201510802469A CN105302632A CN 105302632 A CN105302632 A CN 105302632A CN 201510802469 A CN201510802469 A CN 201510802469A CN 105302632 A CN105302632 A CN 105302632A
Authority
CN
China
Prior art keywords
virtual machine
cloud computing
operating load
integration method
dynamic integration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510802469.1A
Other languages
English (en)
Inventor
李斌
于烨
李强
党引
施科峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Information and Telecommunication Branch of State Grid Ningxia Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510802469.1A priority Critical patent/CN105302632A/zh
Publication of CN105302632A publication Critical patent/CN105302632A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Computer And Data Communications (AREA)

Abstract

本发明涉及一种云计算工作负载动态整合方法。其特点是,包括如下步骤:(1)获取云计算环境中的负载数据;(2)预测工作负载;(3)确定需要迁移的虚拟机;(4)安置需要迁移的虚拟机。本发明提出的方法,运用工作负载的预测数据来服务于虚拟机迁移决策,以此提升虚拟机整合的效果,减少数据中心的资源消耗并提高资源使用效率。

Description

一种云计算工作负载动态整合方法
技术领域
本发明涉及一种云计算工作负载动态整合方法。
背景技术
随着云计算技术的迅速发展,基础设施即服务成为其重要的服务模式,用户可以从IaaS提供商处按需租用包括服务器、网络、存储等资源。具有弹性资源供给,虚拟服务动态配置,基础设施资源的虚拟化和管理等功能的数据中心成为构建IaaS服务的重要载体。
在IaaS环境中,通常实施虚拟机迁移整合操作来满足负载均衡、自动伸缩、绿色节能、保证服务质量等方面的需要。通过实现虚拟化资源在各种不同云应用之间的动态分配,实时调整虚拟机与物理节点之间的映射关系,优化系统性能和服务质量。在整合过程中应尽可能减少虚拟机迁移次数和迁移时间,缩短停机时间减少服务等级协议违例。
当前解决方案中,有的提出了通过统计学模型来预测资源需求辅助进行作业调度,但这种方式并不适用网络I/O密集型等其它类型业务;有的介绍了一种基于隐马尔可夫模型的预测模型,但仅关注虚拟机集群负载的时域相关性;有的采用分组遗传算法和模糊多目标评价的方法来达到高效使用多维资源等设计目标,但没有考虑工作负载的类型及特性,同时复杂度较高,决策效率低;还有的分别从带宽受限、绿色节能等角度出发设计相应的虚拟机调整机制,但大多局限在具体的应用场景里且没有考虑工作负载的变化所带来的影响和冲击。
总体而言,目前关于工作负载预测和虚拟机整合方面的工作较为独立,缺少将工作负载预测技术与虚拟机资源调度有机结合的新型管控机制。目前尚未有全盘考虑的完整解决方案。
发明内容
本发明的目的是提供一种云计算工作负载动态整合方法,能够通过有机结合基于工作负载预测的主动控制技术和基于实际系统状态信息的被动控制技术,并采用指数平滑预测模型预测未来时刻的工作负载情况,提出虚拟机选择阶段最大未来工作负载优先和虚拟机安置阶段比较资源需求队列的虚拟机整合方法。
一种云计算工作负载动态整合方法,其特别之处在于,包括如下步骤:
(1)获取云计算环境中的负载数据;
(2)预测工作负载;
(3)确定需要迁移的虚拟机;
(4)安置需要迁移的虚拟机。
步骤(1)具体是实时收集保存系统输入的工作负载数据。
步骤(2)具体是根据当前时刻以及之前的负载数据,运用指数平滑预测模型计算下一时刻的工作负载预测值。
步骤(3)具体是根据物理服务器的过载情况,选择需要迁移的虚拟机。
步骤(4)具体是根据需要安置的虚拟机的资源需求与系统所有物理主机的资源信息,从中选取合适的用于安置迁移虚拟机的物理主机。
进一步的,具体是首先确定当前主机工作负载,当物理服务器处于过载状态时,将虚拟机按未来工作负载量进行降序排列,选择未来工作负载排名前列的虚拟机进行迁移;当处于低载状态时,将所有虚拟机都迁移出当前主机。
其中包括选择安置虚拟机到物理服务器的策略,选择策略是对所有满足虚拟机资源分配要求的主机计算其未来时刻工作负载,根据预测情况划分资源需求缩减队列和资源需求扩大队列,采用特定方式对队列进行排序并产生队首元素,通过进一步筛选确定目的主机。
进一步的,其中包括选择工作负载排名方法,选择准则是将预测负载最大的虚拟机率先迁移出当前工作主机,并使得主机能够满足剩下的虚拟机的未来资源需求。
本发明提供了一种面向云计算基础设施基于工作负载预测的整合方法,通过有机结合基于工作负载预测的主动控制技术和基于实际系统状态信息的被动控制技术,并采用指数平滑预测模型预测未来时刻的工作负载情况,提出虚拟机选择阶段最大未来工作负载优先和虚拟机安置阶段比较资源需求队列的虚拟机整合方法。目前关于工作负载预测和虚拟机整合方面的工作较为独立,缺少将工作负载预测技术与虚拟机资源调度有机结合的新型管控机制。本发明提出的方法,运用工作负载的预测数据来服务于虚拟机迁移决策,以此提升虚拟机整合的效果,减少数据中心的资源消耗并提高资源使用效率。
附图说明
附图1为本发明方法的流程图。
具体实施方式
本发明提供一种云计算工作负载动态整合方法,所述方法包括:
(1)获取云计算环境中的负载数据;
(2)预测工作负载;
(3)确定需要迁移的虚拟机;
(4)安置需要迁移的虚拟机。
所述步骤(1)包括实时收集保存系统输入的工作负载数据。
所述步骤(2)包括根据当前时刻Tc以及之前的负载数据,运用指数平滑预测模型计算下一时刻Tf的工作负载预测值Wp。指数平滑预测模型是一种特殊的加权移动平均法,其通过赋予离预测期近的工作负载较大权数,并使得权数由近到远按指数规律递减的方法来预测未来工作负载,其数学表达式为Wp(t+1)=αW(t)+(1-α)Wp(t)=αW(t)+α(1-α)W(t- 1)+α(1-α)t-1W(1);其中α=0.5。
所述步骤(3),当物理服务器发生过载情况时(CPU利用率超过80%)和低载情况时(CPU利用率低于20%),需要根据当前状态将该主机上的部分或全部虚拟机迁移到其它主机上运行。当处于过载状态时,将虚拟机按未来工作负载量进行降序排列,选择未来工作负载排名前列的虚拟机进行迁移。选择准则是将预测负载Wp最大的虚拟机率先迁移出当前工作主机,并使得主机能够满足剩下的虚拟机的未来资源需求。当处于低载状态时,将所有虚拟机都迁移出当前主机。
所述步骤(4)根据需要安置的虚拟机的资源需求与系统所有物理主机的资源信息,从中选取合适的用于安置迁移虚拟机的物理主机。选择策略是对所有满足虚拟机资源分配要求的主机计算其未来时刻工作负载,根据预测情况划分资源需求缩减队列和资源需求扩大队列,采用特定方式对队列进行排序并产生队首元素,通过进一步筛选确定目的主机。其安置算法步骤如下:
(a)计算各物理主机上的资源需求伸缩量,其值为本主机上所有虚拟机未来时刻工作负载的总量减去当前时刻工作负载总量,它反应了虚拟机资源需求的变化趋势。
(b)通过主机资源总量减去当前时刻工作负载总量来计算未分配资源量,筛选出未分配资源量与资源需求伸缩量之间的差值即预计剩余资源量大于零的主机列表,形成候选主机列表。
(c)如果资源需求伸缩量为负值,则加入资源需求缩小队列,并计算剩余资源量与资源伸缩量的差值以降序排列。若为正值,则加入资源需求扩大队列,计算资源需求伸缩量与剩余资源量的比值作为安全调度因子,并依据该因子数值将队列按升序排列。如果一方队列为空,则直接选择另一方排位第一的主机做为安置主机,若都不为空,则进一步比较两个队列的首位主机。
实施例1:
下文与图示本发明原理的附图一起提供归队本发明的详细描述。结合这样的实例描述本发明,但是本发明并不限于任何实施例。本发明的范围仅由权利要求书限定,并且本发明涵盖诸多替代、修改和等同物。在下文描述中阐述诸多具体细节以便提供对本发明的理解。出于示例的目的而提供这些细节,并且无这些具体细节中的一些或者所有细节也可以根据权利要求书实现本发明。
下面结合附图对本发明的具体实施方式作进一步的详细说明。
如图1所示,本发明先对云平台中的每台物理服务器进行迭代计算。第一步,先利用指数平台预测模型计算其当前的工作负载数据,其通过赋予离预测期近的工作负载较大权数,并使得权数由近到远按指数规律递减的方法来预测未来工作负载。
然后,判断物理服务器的过载情况,当物理服务器发生过载情况时(CPU利用率超过80%),需要将虚拟机按照未来工作负载量进行降序排列,选择未来工作负载排名前列的虚拟机进行迁移。当物理服务器发生低载情况时(CPU利用率低于20%),需要将该主机上的全部虚拟机迁移到其它主机上运行。
再次,根据云平台中剩余物理服务器组,计算各物理主机上的资源需求伸缩量,其值为本主机上所有虚拟机未来时刻工作负载的总量减去当前时刻工作负载总量。
然后,通过主机资源总量减去当前时刻工作负载总量来计算未分配资源量,筛选出未分配资源量与资源需求伸缩量之间的差值即预计剩余资源量大于零的主机列表,形成候选主机列表。
之后,判断资源需求伸缩量为负值,则加入资源需求缩小队列,并计算剩余资源量与资源伸缩量的差值以降序排列;若为正值,则加入资源需求扩大队列,计算资源需求伸缩量与剩余资源量的比值作为安全调度因子,并依据该因子数值将队列按升序排列。如果一方队列为空,则直接选择另一方排位第一的主机做为安置主机,若都不为空,则进一步比较两个队列的首位主机。
最后,将当前选择虚拟机迁移至筛选出的物理服务器上。然后循环调用这一流程,直到所有的物理服务器均实现动态的资源负载均衡为止。

Claims (8)

1.一种云计算工作负载动态整合方法,其特征在于,包括如下步骤:
(1)获取云计算环境中的负载数据;
(2)预测工作负载;
(3)确定需要迁移的虚拟机;
(4)安置需要迁移的虚拟机。
2.如权利要求1所述的一种云计算工作负载动态整合方法,其特征在于:步骤(1)具体是实时收集保存系统输入的工作负载数据。
3.如权利要求1所述的一种云计算工作负载动态整合方法,其特征在于:步骤(2)具体是根据当前时刻以及之前的负载数据,运用指数平滑预测模型计算下一时刻的工作负载预测值。
4.如权利要求1所述的一种云计算工作负载动态整合方法,其特征在于:步骤(3)具体是根据物理服务器的过载情况,选择需要迁移的虚拟机。
5.如权利要求1所述的一种云计算工作负载动态整合方法,其特征在于:步骤(4)具体是根据需要安置的虚拟机的资源需求与系统所有物理主机的资源信息,从中选取合适的用于安置迁移虚拟机的物理主机。
6.如权利要求4所述的一种云计算工作负载动态整合方法,其特征在于:具体是首先确定当前主机工作负载,当物理服务器处于过载状态时,将虚拟机按未来工作负载量进行降序排列,选择未来工作负载排名前列的虚拟机进行迁移;当处于低载状态时,将所有虚拟机都迁移出当前主机。
7.如权利要求5所述的一种云计算工作负载动态整合方法,其特征在于:其中包括选择安置虚拟机到物理服务器的策略,选择策略是对所有满足虚拟机资源分配要求的主机计算其未来时刻工作负载,根据预测情况划分资源需求缩减队列和资源需求扩大队列,采用特定方式对队列进行排序并产生队首元素,通过进一步筛选确定目的主机。
8.如权利要求7所述的一种云计算工作负载动态整合方法,其特征在于:其中包括选择工作负载排名方法,选择准则是将预测负载最大的虚拟机率先迁移出当前工作主机,并使得主机能够满足剩下的虚拟机的未来资源需求。
CN201510802469.1A 2015-11-19 2015-11-19 一种云计算工作负载动态整合方法 Pending CN105302632A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510802469.1A CN105302632A (zh) 2015-11-19 2015-11-19 一种云计算工作负载动态整合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510802469.1A CN105302632A (zh) 2015-11-19 2015-11-19 一种云计算工作负载动态整合方法

Publications (1)

Publication Number Publication Date
CN105302632A true CN105302632A (zh) 2016-02-03

Family

ID=55199926

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510802469.1A Pending CN105302632A (zh) 2015-11-19 2015-11-19 一种云计算工作负载动态整合方法

Country Status (1)

Country Link
CN (1) CN105302632A (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106201693A (zh) * 2016-07-12 2016-12-07 浪潮(北京)电子信息产业有限公司 一种虚拟化环境中的调度方法及系统
CN106201700A (zh) * 2016-07-19 2016-12-07 北京工业大学 一种虚拟机在线迁移的调度方法
CN106257424A (zh) * 2016-06-16 2016-12-28 山东大学 一种基于kvm云平台的分布式数据库系统实现自动伸缩负载均衡的方法
CN106484512A (zh) * 2016-10-08 2017-03-08 电子科技大学 计算单元的调度方法
CN106528270A (zh) * 2016-11-16 2017-03-22 航天信息股份有限公司 一种基于OpenStack云平台的虚拟机自动迁移方法及系统
CN106598693A (zh) * 2016-05-11 2017-04-26 河南理工大学 一种基于延时策略的能耗及负载感知的虚拟机整合方法
CN106776027A (zh) * 2016-12-20 2017-05-31 东软集团股份有限公司 一种工作负载预测方法及装置
CN107273211A (zh) * 2017-06-19 2017-10-20 成都鼎智汇科技有限公司 一种云计算环境下基于虚拟机的数据处理方法
CN108182107A (zh) * 2018-01-02 2018-06-19 郑州云海信息技术有限公司 一种虚拟机迁移的检测方法及设备
CN108200473A (zh) * 2018-02-01 2018-06-22 深圳创维-Rgb电子有限公司 Cpu功率控制方法、智能电视机及存储介质
CN109213595A (zh) * 2017-07-07 2019-01-15 中兴通讯股份有限公司 负载均衡调度方法、装置及计算机可读存储介质
CN109428941A (zh) * 2017-09-04 2019-03-05 上海仪电(集团)有限公司中央研究院 一种云平台服务器的资源预测以及动态构建系统
CN109788046A (zh) * 2018-12-29 2019-05-21 河海大学 一种基于改进蜂群算法的多策略边缘计算资源调度方法
CN109842670A (zh) * 2017-11-24 2019-06-04 财团法人工业技术研究院 运算装置、其资源分配方法及通信系统
CN110609747A (zh) * 2019-08-29 2019-12-24 联想(北京)有限公司 信息处理方法及电子设备
CN111290831A (zh) * 2020-01-18 2020-06-16 重庆邮电大学 一种云计算基于强化学习的虚拟机迁移方法
WO2020134364A1 (zh) * 2018-12-28 2020-07-02 中兴通讯股份有限公司 一种虚拟机迁移方法、云计算管理平台和存储介质
CN111913780A (zh) * 2020-07-15 2020-11-10 中国人民解放军陆军工程大学 云计算中的资源预测与调度方法
CN112801331A (zh) * 2019-11-14 2021-05-14 谷歌有限责任公司 利用虚拟容量和优选位置实时调度进行计算负载的整形

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106598693A (zh) * 2016-05-11 2017-04-26 河南理工大学 一种基于延时策略的能耗及负载感知的虚拟机整合方法
CN106257424A (zh) * 2016-06-16 2016-12-28 山东大学 一种基于kvm云平台的分布式数据库系统实现自动伸缩负载均衡的方法
CN106257424B (zh) * 2016-06-16 2019-03-22 山东大学 一种基于kvm云平台的分布式数据库系统实现自动伸缩负载均衡的方法
CN106201693B (zh) * 2016-07-12 2019-01-25 浪潮(北京)电子信息产业有限公司 一种虚拟化环境中的调度方法及系统
CN106201693A (zh) * 2016-07-12 2016-12-07 浪潮(北京)电子信息产业有限公司 一种虚拟化环境中的调度方法及系统
CN106201700A (zh) * 2016-07-19 2016-12-07 北京工业大学 一种虚拟机在线迁移的调度方法
CN106484512A (zh) * 2016-10-08 2017-03-08 电子科技大学 计算单元的调度方法
CN106484512B (zh) * 2016-10-08 2019-07-09 电子科技大学 计算单元的调度方法
CN106528270A (zh) * 2016-11-16 2017-03-22 航天信息股份有限公司 一种基于OpenStack云平台的虚拟机自动迁移方法及系统
CN106776027A (zh) * 2016-12-20 2017-05-31 东软集团股份有限公司 一种工作负载预测方法及装置
CN107273211B (zh) * 2017-06-19 2020-11-27 北京格林威尔科技发展有限公司 一种云计算环境下基于虚拟机的数据处理方法
CN107273211A (zh) * 2017-06-19 2017-10-20 成都鼎智汇科技有限公司 一种云计算环境下基于虚拟机的数据处理方法
CN109213595A (zh) * 2017-07-07 2019-01-15 中兴通讯股份有限公司 负载均衡调度方法、装置及计算机可读存储介质
CN109213595B (zh) * 2017-07-07 2023-12-26 中兴通讯股份有限公司 负载均衡调度方法、装置及计算机可读存储介质
CN109428941A (zh) * 2017-09-04 2019-03-05 上海仪电(集团)有限公司中央研究院 一种云平台服务器的资源预测以及动态构建系统
CN109842670A (zh) * 2017-11-24 2019-06-04 财团法人工业技术研究院 运算装置、其资源分配方法及通信系统
CN108182107A (zh) * 2018-01-02 2018-06-19 郑州云海信息技术有限公司 一种虚拟机迁移的检测方法及设备
CN108200473A (zh) * 2018-02-01 2018-06-22 深圳创维-Rgb电子有限公司 Cpu功率控制方法、智能电视机及存储介质
WO2020134364A1 (zh) * 2018-12-28 2020-07-02 中兴通讯股份有限公司 一种虚拟机迁移方法、云计算管理平台和存储介质
CN109788046A (zh) * 2018-12-29 2019-05-21 河海大学 一种基于改进蜂群算法的多策略边缘计算资源调度方法
CN110609747A (zh) * 2019-08-29 2019-12-24 联想(北京)有限公司 信息处理方法及电子设备
CN112801331A (zh) * 2019-11-14 2021-05-14 谷歌有限责任公司 利用虚拟容量和优选位置实时调度进行计算负载的整形
CN112801331B (zh) * 2019-11-14 2024-02-06 谷歌有限责任公司 利用虚拟容量和优选位置实时调度进行计算负载的整形
US11960255B2 (en) 2019-11-14 2024-04-16 Google Llc Compute load shaping using virtual capacity and preferential location real time scheduling
CN111290831A (zh) * 2020-01-18 2020-06-16 重庆邮电大学 一种云计算基于强化学习的虚拟机迁移方法
CN111290831B (zh) * 2020-01-18 2024-01-12 深圳点链科技有限公司 一种云计算基于强化学习的虚拟机迁移方法
CN111913780A (zh) * 2020-07-15 2020-11-10 中国人民解放军陆军工程大学 云计算中的资源预测与调度方法
CN111913780B (zh) * 2020-07-15 2022-01-11 中国人民解放军陆军工程大学 云计算中的资源预测与调度方法

Similar Documents

Publication Publication Date Title
CN105302632A (zh) 一种云计算工作负载动态整合方法
CN110737529B (zh) 一种面向短时多变大数据作业集群调度自适应性配置方法
Kaur et al. Container-as-a-service at the edge: Trade-off between energy efficiency and service availability at fog nano data centers
CN111953758B (zh) 一种边缘网络计算卸载和任务迁移方法及装置
Yadav et al. Managing overloaded hosts for energy-efficiency in cloud data centers
CN104657221A (zh) 一种云计算中基于任务分类的多队列错峰调度模型及方法
Tran et al. A proactive cloud scaling model based on fuzzy time series and SLA awareness
Cao et al. Energy efficient allocation of virtual machines in cloud computing environments based on demand forecast
CN112306658A (zh) 一种多能源系统数字孪生应用管理调度方法
JP4286703B2 (ja) 資源計画作成プログラム
Chalack et al. Resource allocation in cloud environment using approaches based particle swarm optimization
CN116643844B (zh) 面向电力超算云资源自动扩展的智能化管理系统及方法
Varghese et al. Entropy Based Monotonic Task Scheduling and Dynamic Resource Mapping in Federated Cloud Environment.
Narayana et al. A research on various scheduling strategies in fog computing environment
Milocco et al. Evaluating the upper bound of energy cost saving by proactive data center management
CN110308965A (zh) 云数据中心的基于规则的启发式虚拟机分配方法及系统
Belgacem et al. New virtual machine placement approach based on the micro genetic algorithm in cloud computing
CN115086249A (zh) 一种基于深度强化学习的云数据中心资源分配方法
Chen et al. A two-level virtual machine self-reconfiguration mechanism for the cloud computing platforms
Singh An Optimal Resource Provisioning Scheme Using QoS in Cloud Computing Based Upon the Dynamic Clustering and Self-Adaptive Hybrid Optimization Algorithm.
Setia et al. Literature survey on various scheduling approaches in grid computing environment
Venuthurumilli et al. An Energy and Deadline Aware Scheduling Using Greedy Algorithm for Cloud Computing.
Swain et al. An Energy Efficient Virtual Machine Placement Scheme for Intelligent Resource Management at Cloud Data Center
Karthikeyan et al. Novel power reduction framework for enhancing cloud computing by integrated GSNN scheduling method
Khair et al. Cloud-Based Demand-Responsive Transportation System Using Forecasting Model

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160203

RJ01 Rejection of invention patent application after publication