CN102331948A - 一种基于资源状态的虚拟机结构调整方法和调整系统 - Google Patents

一种基于资源状态的虚拟机结构调整方法和调整系统 Download PDF

Info

Publication number
CN102331948A
CN102331948A CN201110255850A CN201110255850A CN102331948A CN 102331948 A CN102331948 A CN 102331948A CN 201110255850 A CN201110255850 A CN 201110255850A CN 201110255850 A CN201110255850 A CN 201110255850A CN 102331948 A CN102331948 A CN 102331948A
Authority
CN
China
Prior art keywords
virtual machine
cloud
resource
multilayer web
web application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201110255850A
Other languages
English (en)
Inventor
张铁柱
杨戈
冯望瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HANGZHOU WANYUN COMPUTING TECHNOLOGY Co Ltd
Original Assignee
HANGZHOU WANYUN COMPUTING TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HANGZHOU WANYUN COMPUTING TECHNOLOGY Co Ltd filed Critical HANGZHOU WANYUN COMPUTING TECHNOLOGY Co Ltd
Priority to CN201110255850A priority Critical patent/CN102331948A/zh
Publication of CN102331948A publication Critical patent/CN102331948A/zh
Pending legal-status Critical Current

Links

Images

Abstract

本发明涉及一种基于资源状态的虚拟机结构调整方法和调整系统,通过计算多层Web应用当前阶段成本函数的最小取值,获得对应的虚拟机机构,进而能够以实现多层Web应用当前阶段的最小成本配置各种类型的虚拟机,当多层Web应用的客户端请求发生变换时,对云资源池中分配给该应用的虚拟机结构进行及时的调整,达到优化云资源、改进整个云平台资源的利用率的技术效果,同时,提供租户以可靠的响应时间和可用率。也就是说,通过本发明的技术方案能够使云平台服务提供商以最小的代价满足云租户要求。

Description

一种基于资源状态的虚拟机结构调整方法和调整系统
技术领域
本发明涉及一种云资源虚拟机调整方法,尤其是一种基于资源状态的虚拟机结构调整方法;本发明还涉及一种基于资源状态的虚拟机结构调整系统。
背景技术
目前,云计算的发展已经取得了长足的进步,越来越多的企业认可并使用公有云平台上的IT资源以满足本企业对外提供的Web服务。具体来说,云平台提供商将其掌握的IT资源(如服务器、存储、网络等)构成若干的标准服务单元;云平台服务的使用者(租户)一般采用弹性云的使用方法,即租用若个标准服务单元(一般的,标准服务单元的CPU、内存等配置不同),并对其进行拓扑结构上的链接与配置,形成大型、分布式Web应用所需的拓扑结构。可以看出,云平台的提供商和使用者2者的目标是矛盾的:云服务提供商追求利润最大化,以最小的成本获得最大的收入,而云服务使用着追求Web应用的系统响应时间最短、最稳定可靠等。
现有技术中,所述的标准服务单元一般是指几类标准配置的虚拟机,较为典型的是亚马逊弹性云平台提供的几种类型的虚拟机,如图1所示:标准的CPU/内存比较平衡的虚拟机、小型的虚拟机、高内存型虚拟机、高CPU型虚拟机、多核虚拟机等。 
上述虚拟机组合已属比较复杂的虚拟机组合,但是,相比于成千上万的各种Web应用及其具体的部署方式而言,尤其是多层次分布式Web应用,如图2所示,仍然是小巫见大巫。在云平台可用资源(各种类型、大小的虚机)可变、各种工作负载(如虚拟机的CPU、内存、存储、网络)可变的情况下,如何以最小代价提供足够好的整体Web应用性能给租用云平台资源的租用者及其用户成为云平台提供商的极大挑战。
发明内容
本发明的目的在于克服现有技术中存在的问题,提出一种能够使云平台服务提供商以最小的代价满足云租户要求的基于资源状态的虚拟机结构调整方法;本发明还提出一种实现上述调整方法的虚拟机结构调整系统。
为达到上述目的,本发明所采用的第一个技术方案是:
一种基于资源状态的虚拟机结构调整方法,包括如下步骤:
步骤1、采集云资源池中虚拟化层和虚拟机的云资源状态数据;
步骤2、基于采集到的云资源状态数据,建立一个表征当前云资源池和工作负载对应物理资源的资源模型;
步骤3、基于资源模型,计算多层Web应用系统的阶段成本,得出需要为多层Web应用系统的当前阶段分配的虚拟机结构;
步骤4、根据步骤3的计算结果,对虚拟化层和虚拟机发出控制指令,调整当前阶段服务于多层Web应用系统的虚拟机结构。
上述技术方案还可以进一步完善:
作为优选,步骤2进一步包括当前云资源成本估计、多层Web应用转移概率估计、节点服务率估计、模型参数估计及调整的步骤。
作为优选,物理资源是指云资源池中各种类型的虚拟机。
作为优选,步骤3进一步包括如下子步骤:
步骤3.1、计算多层Web应用各层在不同类型的虚拟机上的平均逗留时间、平均离开率;
步骤3.2、计算客户端请求的平均到达率;
步骤3.3、在客户端请求平均到达率、多层Web应用转移概率估计的基础上,依次计算出多层Web应用各层的平均逗留时间;
步骤3.4、计算一项客户端请求在多层Web应用系统中的往返时间;
步骤3.5、计算多层Web应用系统的成本函数;
步骤3.6、计算当成本函数取最小值时,各种类型虚拟机的数量。
为达到上述目的,本发明所采用的第二个技术方案是:
一种基于资源状态的虚拟机结构调整系统,它包括:
采集与控制引擎,设置在云资源池的虚拟化层和虚拟机上的,用于采集云资源池中虚拟化层和虚拟机的云资源状态数据、并根据控制指令调整当前阶段服务于多层Web应用系统的虚拟机结构;
云资源监控与控制模块,用于向采集与控制引擎发出控制指令;
云资源建模模块,用于建立表征当前云资源池和工作负载对应物理资源的资源模型;
云资源优化模块,用于计算多层Web应用系统的阶段成本、并得出需要为多层Web应用系统的当前阶段分配的虚拟机结构;
云资源监控与控制模块根据云资源优化模块的计算结果向采集与控制引擎发出控制指令。
上述技术方案还可以进一步完善:
作为优选,上述调整系统还包括:云资源池状态数据库,用于保存采集与控制引擎采集的云资源状态数据。
作为优选,云资源建模模块进一步包括云资源成本估计子模块、多层应用转移概率估计子模块、节点服务率估计子模块、模型参数估计及调整子模块。
由于上述技术方案的采用,本发明与现有技术相比,具有以下优点:
本发明通过计算多层Web应用当前阶段成本函数的最小取值,获得对应的虚拟机机构,进而能够以实现多层Web应用当前阶段的最小成本配置各种类型的虚拟机,当多层Web应用的客户端请求发生变换时,对云资源池中分配给该应用的虚拟机结构进行及时的调整,达到优化云资源、改进整个云平台资源的利用率的技术效果,同时,提供租户以可靠的响应时间和可用率。也就是说,通过本发明的技术方案能够使云平台服务提供商以最小的代价满足云租户要求。
附图说明
图1是亚马逊弹性云平台提供的虚拟机类型列表;
图2是一种多层次分布式Web应用的拓扑图;
图3是一种云资源模型图;
图4是将分布在物理机器上的资源组织成为4个虚拟机群的一种示意图;
图5是由不同大小的虚拟机群组构成的云资源池的一种示意图。
 
具体实施方式
下面结合附图,对本发明的具体实施方式做进一步的解释说明。
实施例1
一种基于资源状态的虚拟机结构调整方法,包括如下步骤:
步骤1、采集云资源池中虚拟化层和虚拟机的云资源状态数据;
步骤2、基于采集到的云资源状态数据,建立一个表征当前云资源池和工作负载对应物理资源的资源模型,步骤2进一步包括当前云资源成本估计、多层Web应用转移概率估计、节点服务率估计、模型参数估计及调整的子步骤;
步骤3、基于资源模型,计算多层Web应用系统的阶段成本,得出需要为多层Web应用系统的当前阶段分配的虚拟机结构;
步骤4、根据步骤3的计算结果,对虚拟化层和虚拟机发出控制指令,调整当前阶段服务于多层Web应用系统的虚拟机结构。
上述步骤3进一步包括如下子步骤:
步骤3.1、计算多层Web应用各层在不同类型的虚拟机上的平均逗留时间、平均离开率;
步骤3.2、计算客户端请求的平均到达率;
步骤3.3、在客户端请求平均到达率、多层Web应用转移概率估计的基础上,依次计算出多层Web应用各层的平均逗留时间;
步骤3.4、计算一项客户端请求在多层Web应用系统中的往返时间;
步骤3.5、计算多层Web应用系统的成本函数;
步骤3.6、计算当成本函数取最小值时,各种类型虚拟机的数量。
步骤3的具体计算方法如下:
首先我们定义以下符号
i or i-1 当前分析或控制所处阶段
j or J 当前和总层数
or ith 阶段第 jth 层的大的和小的虚机数量
or 第jth 层的2类虚机的平均服务率
or 2类虚机的平均到达率
or 第jth 层的2类虚机的平均停留时间
AARj or lj(i) 第jth 层的2类虚机的平均到达率
l’j(i) 第jth 层的平均到达率
AARj-1,j or AARj+1,j 来自(j-1)th  or (j+1)th 层到j层的平均到达率
ADRj,j-1 or ADRj,j+1 从第 jth 层到(j-1)th or (j+1)th 层的平均离开率
ADRj 第 jth 层的平均离开率
ASTj 第 jth 层的平均停留时间
Cj 第 jth 的并发虚机数
R(i) 第i阶段产生的请求
Pj 一个请求从第j层进一步到j+1层的概率.
QS or QL 2种不同类型虚拟机的总可用数量
接下来,我们假设一个共有J层的分布式Web应用、以及一个包含两类虚拟机的云资源池。
1、系统参数估计,Pj (j?[1, J-1]), mS, mL, CostS and CostL
基于右边公式,   
ADRJ表达为lJ(i)的函数。
2、计算多层Web应用结构最后1层(J层)的平均逗留时间AST及平均离开率ADR.依据是:
                                                 
Figure 648342DEST_PATH_IMAGE001
3、计算多层Web应用结构倒数第2层(J-1层)的平均逗留时间AST及平均离开率ADR。
4、依次类推直至第1层,我们得到AAR0,1即客户端请求的平均到达率是可知的,这样我们就可以计算ADR和AST1
5、分析jst,其中j从2 到 J。AAR1,2 = P* ADR1 继而计算AST2。类似地,我们可以计算ASTj. 其中,j 取值从 2 到 J。
步骤6:计算平均响应时间。由于一些Web请求进入到第j层处理完后即返回,我们以TraverseTime(Rj(i)) 表示该请求第i个阶段在整个系统里(从第1到第j层穿过并返回花费的时间)。
这样我们就可以计算:
 
Figure 378532DEST_PATH_IMAGE002
以及该系统的成本函数:
Figure 220586DEST_PATH_IMAGE003
这样,我们就把一个云计算资源池的分配问题变成了一个可解的、有约束的优化问题。从而就可以计算出当前需要分配的虚机结构。
Figure 615795DEST_PATH_IMAGE004
 
其中,Q 是图5表示的资源池. QS and QL 表示可选的小、大型虚机数量。
多个虚机根据当前需要组成一个虚拟机群,分布在不同物理机器上的资源通过虚拟机群的方式进行重新组织,如图4所示的3个物理节点及基于节点连接的物理机器形成的4个虚拟集群,从而最终提供给不同的租户使用。这种组织方式的目的是提供自动可伸缩的机制改进整个云平台资源的利用率。同时,这种机制提供租户以可靠的响应时间和可用率。
从图5所示的逻辑视图上看,整个云资源池就被组织成了具有不同大小的虚拟机群组。
 
实施例2
一种基于资源状态的虚拟机结构调整系统,它包括:
采集与控制引擎,设置在云资源池的虚拟化层和虚拟机上的,用于采集云资源池中虚拟化层和虚拟机的云资源状态数据、并根据控制指令调整当前阶段服务于多层Web应用系统的虚拟机结构;
云资源监控与控制模块,用于向采集与控制引擎发出控制指令;
云资源建模模块,用于建立表征当前云资源池和工作负载对应物理资源的资源模型,云资源建模模块进一步包括云资源成本估计子模块、多层应用转移概率估计子模块、节点服务率估计子模块、模型参数估计及调整子模块;
云资源优化模块,用于计算多层Web应用系统的阶段成本、并得出需要为多层Web应用系统的当前阶段分配的虚拟机结构;
云资源监控与控制模块根据云资源优化模块的计算结果向采集与控制引擎发出控制指令;
云资源池状态数据库,用于保存采集与控制引擎采集的云资源状态数据。
应理解,该实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解,在阅读了本发明讲授的内容之后,本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样落于本申请所附权利要求书所限定的范围。

Claims (7)

1.一种基于资源状态的虚拟机结构调整方法,其特征在于,包括如下步骤:
步骤1、采集云资源池中虚拟化层和虚拟机的云资源状态数据;
步骤2、基于采集到的所述的云资源状态数据,建立一个表征当前云资源池和工作负载对应物理资源的资源模型;
步骤3、基于所述的资源模型,计算多层Web应用系统的阶段成本,得出需要为所述的多层Web应用系统的当前阶段分配的虚拟机结构;
步骤4、根据所述的步骤3的计算结果,对所述的虚拟化层和虚拟机发出控制指令,调整当前阶段服务于多层Web应用系统的虚拟机结构。
2.根据权利要求1所述的基于资源状态的虚拟机结构调整方法,其特征在于,所述的步骤2进一步包括当前云资源成本估计、多层Web应用转移概率估计、节点服务率估计、模型参数估计及调整的步骤。
3.根据权利要求2所述的基于资源状态的虚拟机结构调整方法,其特征在于,所述的物理资源是指所述的云资源池中各种类型的虚拟机。
4.根据权利要求3所述的基于资源状态的虚拟机结构调整方法,其特征在于,所述的步骤3进一步包括如下子步骤:
步骤3.1、计算多层Web应用各层在不同类型的虚拟机上的平均逗留时间、平均离开率;
步骤3.2、计算客户端请求的平均到达率;
步骤3.3、在所述的客户端请求平均到达率、所述的多层Web应用转移概率估计的基础上,依次计算出多层Web应用各层的平均逗留时间;
步骤3.4、计算一项客户端请求在所述的多层Web应用系统中的往返时间;
步骤3.5、计算所述的多层Web应用系统的成本函数;
步骤3.6、计算当所述的成本函数取最小值时,各种类型虚拟机的数量。
5.一种基于资源状态的虚拟机结构调整系统,其特征在于,它包括:
采集与控制引擎,设置在云资源池的虚拟化层和虚拟机上的,用于采集云资源池中虚拟化层和虚拟机的云资源状态数据、并根据控制指令调整当前阶段服务于多层Web应用系统的虚拟机结构;
云资源监控与控制模块,用于向所述的采集与控制引擎发出所述的控制指令;
云资源建模模块,用于建立表征当前云资源池和工作负载对应物理资源的资源模型;
云资源优化模块,用于计算多层Web应用系统的阶段成本、并得出需要为所述的多层Web应用系统的当前阶段分配的虚拟机结构;
所述的云资源监控与控制模块根据所述的云资源优化模块的计算结果向所述的采集与控制引擎发出所述的控制指令。
6.根据权利要求5所述的基于资源状态的虚拟机结构调整系统,其特征在于,它还包括:云资源池状态数据库,用于保存所述的采集与控制引擎采集的云资源状态数据。
7.根据权利要求5或6所述的基于资源状态的虚拟机结构调整系统,其特征在于,所述的云资源建模模块进一步包括云资源成本估计子模块、多层应用转移概率估计子模块、节点服务率估计子模块、模型参数估计及调整子模块。
CN201110255850A 2011-09-01 2011-09-01 一种基于资源状态的虚拟机结构调整方法和调整系统 Pending CN102331948A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201110255850A CN102331948A (zh) 2011-09-01 2011-09-01 一种基于资源状态的虚拟机结构调整方法和调整系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110255850A CN102331948A (zh) 2011-09-01 2011-09-01 一种基于资源状态的虚拟机结构调整方法和调整系统

Publications (1)

Publication Number Publication Date
CN102331948A true CN102331948A (zh) 2012-01-25

Family

ID=45483734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110255850A Pending CN102331948A (zh) 2011-09-01 2011-09-01 一种基于资源状态的虚拟机结构调整方法和调整系统

Country Status (1)

Country Link
CN (1) CN102331948A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002053A (zh) * 2012-12-25 2013-03-27 深圳先进技术研究院 云计算的利润最大化调度方法和系统
CN104301403A (zh) * 2014-09-26 2015-01-21 东北大学 基于组件服务副本增删的云服务资源动态配置系统及方法
CN104598292A (zh) * 2014-12-15 2015-05-06 中山大学 一种应用于云游戏系统的自适应流适配和资源优化方法
CN105072049A (zh) * 2015-08-31 2015-11-18 北京理工大学 面向数据中心多层次弹性应用的资源分配方法及装置
CN105159780A (zh) * 2015-08-21 2015-12-16 北京理工大学 面向多层次云应用的高可用性虚拟网络映射方法及装置
CN106803837A (zh) * 2016-12-30 2017-06-06 南京理工大学 云系统容错资源分配和代价最小化的方法
CN109074284A (zh) * 2016-04-01 2018-12-21 阿尔卡特朗讯 用于按比例增减资源的方法和系统、以及计算机程序产品
CN110599148A (zh) * 2019-09-16 2019-12-20 广州虎牙科技有限公司 集群数据处理方法、装置、计算机集群及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080295094A1 (en) * 2007-05-22 2008-11-27 International Business Machines Corporation Integrated placement planning for heterogenous storage area network data centers
CN101488098A (zh) * 2009-02-13 2009-07-22 华中科技大学 基于虚拟计算技术的多核计算资源管理系统
CN102004671A (zh) * 2010-11-15 2011-04-06 北京航空航天大学 一种云计算环境下数据中心基于统计模型的资源管理方法
CN102156665A (zh) * 2011-04-13 2011-08-17 杭州电子科技大学 一种虚拟化系统竞争资源差异化服务方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080295094A1 (en) * 2007-05-22 2008-11-27 International Business Machines Corporation Integrated placement planning for heterogenous storage area network data centers
CN101488098A (zh) * 2009-02-13 2009-07-22 华中科技大学 基于虚拟计算技术的多核计算资源管理系统
CN102004671A (zh) * 2010-11-15 2011-04-06 北京航空航天大学 一种云计算环境下数据中心基于统计模型的资源管理方法
CN102156665A (zh) * 2011-04-13 2011-08-17 杭州电子科技大学 一种虚拟化系统竞争资源差异化服务方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103002053A (zh) * 2012-12-25 2013-03-27 深圳先进技术研究院 云计算的利润最大化调度方法和系统
CN103002053B (zh) * 2012-12-25 2016-06-08 深圳先进技术研究院 云计算的利润最大化调度方法和系统
CN104301403B (zh) * 2014-09-26 2017-09-26 东北大学 基于组件服务副本增删的云服务资源动态配置系统及方法
CN104301403A (zh) * 2014-09-26 2015-01-21 东北大学 基于组件服务副本增删的云服务资源动态配置系统及方法
CN104598292A (zh) * 2014-12-15 2015-05-06 中山大学 一种应用于云游戏系统的自适应流适配和资源优化方法
CN104598292B (zh) * 2014-12-15 2017-10-03 中山大学 一种应用于云游戏系统的自适应流适配和资源优化方法
CN105159780A (zh) * 2015-08-21 2015-12-16 北京理工大学 面向多层次云应用的高可用性虚拟网络映射方法及装置
CN105072049B (zh) * 2015-08-31 2018-06-12 北京理工大学 面向数据中心多层次弹性应用的资源分配方法及装置
CN105072049A (zh) * 2015-08-31 2015-11-18 北京理工大学 面向数据中心多层次弹性应用的资源分配方法及装置
CN109074284A (zh) * 2016-04-01 2018-12-21 阿尔卡特朗讯 用于按比例增减资源的方法和系统、以及计算机程序产品
CN106803837A (zh) * 2016-12-30 2017-06-06 南京理工大学 云系统容错资源分配和代价最小化的方法
CN110599148A (zh) * 2019-09-16 2019-12-20 广州虎牙科技有限公司 集群数据处理方法、装置、计算机集群及可读存储介质
CN110599148B (zh) * 2019-09-16 2022-05-31 广州虎牙科技有限公司 集群数据处理方法、装置、计算机集群及可读存储介质

Similar Documents

Publication Publication Date Title
CN102331948A (zh) 一种基于资源状态的虚拟机结构调整方法和调整系统
CN103338252B (zh) 一种分布式数据库并发存储虚拟请求机制的实现方法
CN103383653B (zh) 云资源管理和调度方法及系统
CN104461740B (zh) 一种跨域集群计算资源聚合和分配的方法
CN111124662B (zh) 一种雾计算负载均衡方法及系统
CN101370030B (zh) 基于内容复制的资源负载平衡方法
CN107241319B (zh) 基于vpn的分布式网络爬虫系统及调度方法
CN104050042B (zh) Etl作业的资源分配方法及装置
CN107241384A (zh) 一种基于多云架构的内容分发服务资源优化调度方法
CN107436813A (zh) 一种元数据服务器动态负载均衡的方法及系统
CN110798517B (zh) 去中心化集群负载均衡方法、系统、移动终端及存储介质
CN104168326B (zh) 一种服务器均衡负载的方法及系统
CN102567077B (zh) 一种基于博弈论的虚拟化资源分配方法
CN107330056A (zh) 基于大数据云计算平台的风电场scada系统及其运行方法
CN104679594B (zh) 一种中间件分布式计算方法
CN105718364A (zh) 一种云计算平台中计算资源能力动态评估方法
CN104298550A (zh) 一种面向Hadoop的动态调度方法
CN103955509A (zh) 一种海量电力计量数据的快速检索方法
CN103152393A (zh) 一种云计算的计费方法和计费系统
CN102339233A (zh) 云计算集中管理平台
CN104935628A (zh) 一种在多个数据中心之间迁移多个关联虚拟机的方法
CN1602480A (zh) 管理附装在数据网络上的存储器资源
CN108733475A (zh) 一种动态反馈调度方法
WO2021259246A1 (zh) 资源调度方法和装置、电子设备、计算机可读存储介质
CN106131227A (zh) 负载平衡方法、元数据服务器系统及负载平衡系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent of invention or patent application
CB03 Change of inventor or designer information

Inventor after: Li Yanbao

Inventor after: Yang Ge

Inventor after: Zhang Tiezhu

Inventor after: Feng Wangyu

Inventor before: Zhang Tiezhu

Inventor before: Yang Ge

Inventor before: Feng Wangyu

COR Change of bibliographic data

Free format text: CORRECT: INVENTOR; FROM: ZHANG TIEZHU YANG GE FENG WANGYU TO: LI YANBAO YANG GE ZHANG TIEZHU FENG WANGYU

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20120125