CN103220337B - 基于自适应弹性控制的云计算资源优化配置方法 - Google Patents

Abstract

本发明公开了一种基于自适应弹性控制的云计算资源优化配置方法。该方法为：（1）首先，监控模块从云计算平台采集资源使用状态数据；（2）其次，预测模块利用从监控模块中获得的数据对下一时间段内的资源需求动态变化情况进行预测；（3）最后，资源配置模块利用当前和预测的云计算资源需求量来采取基于混合弹性控制的资源配置策略，实施主动控制与被动反应相结合的自适应弹性资源配置方法，实现云计算资源的有效利用。本发明提前增加所需资源能保证在下一时间段内资源需求上升后有充足的资源量，从而不出现资源短缺和资源供给滞后的情况；当资源需求出现激增情况时，延后释放的资源能起到有效地缓冲作用。

Description

基于自适应弹性控制的云计算资源优化配置方法

技术领域

本发明属于计算机通信技术领域，涉及云计算资源需求预测及资源优化配置方法。

背景技术

云计算以承诺向用户提供具有充分可扩展性、灵活性的计算、存储及其它应用服务资源而受到业界的广泛关注。为了实现这些承诺，云计算服务提供商不仅需要构建完善的基础设施,同时还需采取迅速有效的管理机制对资源进行配置以提供高质量的服务来满足用户需求。

近几年来，云计算环境下的资源优化配置的理论与方法受到了业界和学界广泛地关注，虚拟化技术的运用让云计算资源的动态分配成为可能，它使云用户能够享受差异化、多元化的资源服务，许多学者根据各自对云计算的理解，提出了相应的云计算资源优化分配的策略。文献（Guiyi Wei, Athanasios V. Vasilakos, Yao Zheng, and Naixue Xiong. A game-theoretic method of fair resource allocation for cloud computing services[J], TheJournal of Supercomputing,2010,54(2):252-269.）中，作者提出了一种基于博弈论的云计算资源分配方法，在实现资源优化配置的同时兼顾分配过程中的公平性，保证了不同云计算用户的QoS。文献（Weiwei Lin, James Z. Wang, Chen Liang, and Deyu Qi.A Threshold-based Dynamic Resource Allocation Scheme for Cloud Computing[J], Procedia Engineering, 2011(23),695-703.）中，作者提出基于阈值的虚拟化资源动态分配方案，使用阈值法优化资源重分配策略以解决云计算应用层的资源分配问题。文献（Wei Wang, Guosun Zeng, Daizhong Tang, and Jing Yao. Cloud-DLS: Dynamic trusted scheduling for Cloud computing[J], Expert Systems with Applications,2012, 39(3):2321-2329.）中，作者首先构建了一种新的基于贝叶斯方法的认知信任模型，然后提出了一个云计算环境下基于信任级别的动态资源调度算法。文献（Jiayin Li, Meikang Qiu, Zhong Ming, GangQuan, Xiao Qin,and Zonghua Gu. Online optimization for scheduling preemptable tasks on IaaS cloud systems[J], J. Parallel Distrib.Comput,2012,72(5):666-677.）中，作者提出了一种云计算环境异构资源优化配置方法，即在云计算进行应用并行处理时，建立一种任务执行顺序可抢占的资源分配和调度机制，从而在整体上提高资源的利用率。在专利申请201010268105.7(一种基于动态重配置虚拟资源的云计算资源调度方法)中，作者（林伟伟;齐德昱）提出了一种基于动态重配置虚拟资源的云计算资源调度方法的发明；在专利申请201110293354.6（一种基于动态预测的云计算资源部署方法）中，作者（樊六东，彭俊杰，范新进，侯军和刘晓军）提出了一种通过增加镜像模板的数量来改变多镜像共享所带来的网络拥堵问题，以及通过动态预测云计算中心在不同时刻对镜像需求的数量的云计算资源部署方法的发明；在专利申请201110454301.8（一种在云计算环境下动态分配资源的方法及装置）中，作者（蔡常喜）提出了一种在云计算环境下动态分配资源的方法及装置的发明；在专利申请201210123988.1（一种基于SMDP的动态云计算资源优化分配方法）中，作者（梁宏斌;孙利民）提出了一种基于半马氏决策过程（SMDP）的动态云计算资源优化分配方法的发明。

在云计算实施资源配置的过程中，架构的灵活性（弹性）显得尤为重要，它是指云计算能够根据工作流的变化情况以尽可能迅速的方式进行资源分配自适应调整的能力。在以往的研究中，文献（Q. Zhu and G. Agrawal. Resource provisioning with budget constraints for adaptive applications in cloud environments. In Proceedings of the 19th ACM International Symposium on High Performance Distributed Computing, 2010,pp. 304-307.）中，作者设计、实施并评估了一个云计算环境下支持应用动态自动部署架构，该架构在满足应用需求的同时，能降低资源消耗和运营成本，实现云计算资源的高效利用。文献（R. N. Calheiros, R. Ranjan, and R. Buyya. Virtual machine provisioning based on analytical performance and qos incloud computing environments. In International Conference on Parallel Processing(ICPP), 2011,pp.295 -304.）中，作者提出一种能自动适应高度动态化的环境和及时应对应用程序工作负载的变化的云计算资源管理系统，以此来最终保证用户的服务质量（QoS）。文献（S. J. Malkowski, M. Hedwig, J. Li, C. Pu, and D. Neumann. Automated control for elasticn-tier workloads based on empirical modeling. In Proceedings of the 8th ACM international conference on Autonomiccomputing, 2011,pp. 131-140.）中，作者提出了一种多模型控制器，综合利用水平尺度模型（Horizontal Scale Model）、经验模型（Empirical Model）、工作流预测模型（Workload ForecastModel）对云计算的资源配置进行全面管理，选取最优资源分配策略，使得该模型具有优良的自适应能力，具有很高的SLA保障能力，有效地提升了云计算应用的可靠性和可用性。此外，在专利申请201210048342.1(一种弹性云计算平台下工作负载的调度方法)中，作者（曹军威，张帆）提出了一种弹性云计算平台下工作负载的调度方法的发明；在专利申请201010238329.3(云资源池的JEE应用资源弹性调度方法、装置及系统)中，作者（赵欣，李树贤）提出了一种云资源池的JEE应用资源弹性调度方法的发明，在云计算环境中部署JEE应用，对所部署的JEE应用配置弹性策略，监测应用的业务访问量，并根据监测结果为应用动态分配资源；在专利申请201010550085.2(支持弹性云计算平台开发的资源外包方法)中，作者（窦万春，齐连永，王励民）提出了一种支持弹性云计算平台开发的资源外包方法的发明，在确定了云计算平台终端用户的功能需求和非功能需求之后，对候选资源进行匹配、评估和排序，最终选取最优外包资源提交给用户。

发明内容

针对云计算资源的优化配置，以及资源配置过程中的弹性问题，本发明在云计算环境下分布式资源需求响应及资源供给管理架构中提出了具有自适应弹性能力的资源配置控制系统，将资源需求预测及混合式资源供给策略结合起来，为云计算用户提供可靠、灵活、高效的资源供应服务。

本发明采用的技术方案如下：

基于自适应弹性控制的云计算资源优化配置方法，其特征在于，包括有以下步骤：

（1）首先，监控模块从云计算平台采集资源使用状态数据，这些数据包括：t时刻新到的资源请求量A(t)；t时刻正在处理的资源请求量E(t)；t时刻存放于缓冲器中的资源请求量B(t)；t时刻云计算平台总的资源负载量L(t)，，τ为启用整个缓冲器所需的时间；

（2）其次，预测模块利用监控模块采集的数据对下一时间段内云计算资源需求量进行预测，所预测的下一时刻资源需求总量的表达式为：C(t+1)＝C(t)+D(t+1)，其中C(t)和C(t+1)分别为t时刻及其下一时刻的资源需求量，D(t+1)为其下一时刻将增加或减少的资源需求量，即下一时刻资源需求的变化量；

下一时刻资源需求变化量D(t+1)的估计值为，，其中R为t时刻需要添加或移除的虚拟机数量与总虚拟机数量之间比例的估计值，T_i是该资源配置控制系统实施两次控制之间的时间间隔长度，当资源需求上升时，取正值，反之取负值；则上一个时间段T_i内的云计算平均资源负载量为；同样地，所有过去时间段内的平均资源负载量，则可得；

从而，下一时刻资源需求变化量的估计值为，可得下一时刻资源需求量估计值为；

根据云计算资源负载的动态变化性，T_i的值可根据其变化情况自适应调整，其计算公式为：

，其中K为缓冲器队列中可容纳的最大请求数；

（3）最后，资源配置模块将从监控模块中采集的当前资源负荷值与预测模块获取的下一时间段内资源负荷值进行综合分析，制定主动控制与被动反应相结合的自适应弹性资源配置策略，具体为：

根据从监控模块获得的数据计算资源需求变化量D(t)，被动反应策略应对当前变化所需增加或减少的资源量（虚拟机数量）计算公式为N_reactive＝D(t)/SR_Avg；

根据从预测模块获得的下一时刻资源需求的变化量估计值，主动控制策略应对下一时刻资源需求变化所配置的资源量为，其中SR_Avg为单位时间内虚拟机能够处理的资源请求数的中位数，该参数由虚拟机的硬件配置决定；

若主动控制策略和被动反应策略都决定需要增加资源供应时，云计算将提供的资源量为：C(t)+N_Proactive+N_reactive；

若被动反应策略决定需要增加资源供应而主动控制策略决定减少资源供应时，即两者的决定相矛盾时，只执行被动反应策略，因为被动反应策略主要应对当前的资源需求状况，则此时云计算将提供的资源量为：C(t)+N_reactive；

其它情况下，系统将不再分配实施主动控制所需资源N_Proactive。

本发明的原理是：

云计算由在地理位置上分布的各个数据中心构成，各个数据中心（服务器集群）之间通过网络连接，构成整个云计算系统。当用户提交各自的应用需求后，资源请求处理器接收并响应用户需求，将需求分发到各个数据中心。

每个数据中心都有一个资源配置控制系统，在接收到来自资源请求处理器的资源请求后，在本数据中心内发现、匹配并返回所需资源，再由资源配置控制系统递交给资源请求处理器，最终将所需资源发送给用户。

资源配置控制系统主要由监控模块、预测模块以及资源配置模块三大模块构成，其中监控模块主要负责云计算运行状态监控，以及资源使用状态数据的采集；预测模块利用监控模块采集的数据对下一时间段内云计算资源负荷进行预测；资源配置模块将从监控模块中采集的当前资源负荷值与预测模块获取的下一时间段内资源负荷值进行综合分析，制定相应的资源配置策略。

与先前研究中仅仅依靠被动反应配置策略相比，本发明的有益效果在于：

本发明提前增加所需资源能保证在下一时间段内资源需求上升后有充足的资源量，从而不出现资源短缺和资源供给滞后的情况；延后释放当前空闲资源是考虑云计算资源需求的不确定性，因为仅仅依靠预测信息来判断资源需求的变化是不够的，并且虚拟机的再次启动需要一定时间，当资源需求出现激增情况时，延后释放的资源能起到有效地缓冲作用。

附图说明

图1为云计算环境下分布式资源需求响应及资源供给管理架构示意图。

图2为云计算资源自适应弹性配置控制系统示意图。

图3为基于自适应弹性控制的资源配置策略算法流程图。

具体实施方式

为了使本领域技术人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本发明保护的范围。

本发明旨在提供一种云计算环境下有效、可靠的资源配置系统及其相关理论与方法。首先通过云计算环境下分布式资源需求响应及资源供给管理架构对整个云计算环境下资源请求的接收和传递，以及资源提取和反馈过程进行全面的管理。

构成云计算的数据中心处在地理上分布的不同位置，各自都拥有特定的资源类型和数量；而云计算业务需求又呈现出多元化特点，海量数据存储与分析、科学工程计算、互联网及无线移动终端应用等都将是其服务的对象。

在图1所示的架构中，云计算接收来自各种用户不同的资源请求，资源请求处理器接收并响应用户需求，将需求分发到各个数据中心。

各个数据中由海量的服务器集群构成，虚拟化技术将各种物理资源转化成相应的虚拟化资源，如CPU、内存、网络和存储等等，从而形成一个虚拟化资源池。在虚拟化资源池之上，本发明搭建了一个管理中间件：资源配置控制系统（图2），由该系统来实现整个虚拟化资源的优化配置，并将用户所需的资源提取出来通过网络传输给资源请求处理器，再由后者递交相应的用户。

本发明中的云计算资源自适应弹性配置控制系统是其各个数据中心实现资源合理分配的核心。该系统主要由监控模块、预测模块以及资源配置模块三大模块构成，其中监控模块主要负责云计算运行状态监控，以及资源使用状态数据的采集；预测模块利用监控模块采集的数据对下一时间段内云计算资源负荷进行预测；资源配置模块将从监控模块中采集的当前资源负荷值与预测模块获取的下一时间段内资源负荷值进行综合分析，制定相应的资源配置策略。

该控制系统是一个闭环控制系统，系统中待处理的资源请求队列模型为G/G/N排队模型，单个虚拟机（Virtual Machine，VM）的资源请求服务率服从Poisson分布，N为当前可用于服务的虚拟机数量。

与以往研究（H. Khazaei, J. Misic, and V. Misic.Modelling of cloud computing centers using m/g/m queues. In Distributed Computing Systems Workshops (ICDCSW), 2011 31^st International Conference on, 2011,pp.87-92.）中，将云计算服务模型中的虚拟机数量设为固定值m所不同的是，本发明设定虚拟机数量N值是不确定的，随着云计算资源负荷的变化情况动态调整，这个设定给符合实际的云计算环境中资源配置情况。未得到及时处理的资源请求将被送入缓冲器中延迟处理。

云计算环境下的资源需求预测是实现云计算海量异构资源有效管理以应对动态且不确定的多元化用户需求，保证及时、可靠地将各种资源提供给使用者的同时降低运营商、服务提供商自身的成本，以及减少数据中心能源消耗过程中重要的一步。利用历史数据对未来一段时间内资源需求负荷进行准确的预测，就可以运用服务器运行机制和虚拟化技术来实现整个云计算数据中心资源的合理分配，为云计算资源优化配置提供有力的决策支持，也是本发明中实施主动控制策略的基础。

资源配置控制系统中的预测模块从监控模块获得其记录的数据中心资源需求历史数据，并预测的下一时刻资源需求量，表达式为：C(t+1)＝C(t)+D(t+1)，其中C(t)和C(t+1)分别为当前及下一时刻需要用于处理请求的资源量，D(t+1)为下一时刻将增加或减少的资源需求量，即下一时刻资源需求的变化量。

t时刻云计算总的资源负载量为L(t)，则。它由三部分构成，即 t时刻新到的资源请求量A(t)，t时刻正在处理的资源请求量E(t)，以及t时刻存放于缓冲器中的资源请求量B(t)，τ为启用整个缓冲器所需的时间。

t时刻资源请求的变化量为D(t)＝L(t)-R(t)，其中R(t)为t时刻可用于处理请求的资源总量。

下一时刻资源需求的变化量估计值为，其中R为添加或移除的虚拟机数量比率的估计值，资源需求上升时，取正值，反之取负值；为上一个时间段T_i内的云计算平台平均资源负载量。

同样地，时刻t之前所有时间内的平均资源负载量，则可得比率 $R=D\left(t\right)\sqrt{L_t}.$

下一时刻资源需求的变化量估计值为：，则下一时刻资源需求量估计值为。

T_i的取值对于整个控制过程有着重要的影响，它是实现云计算资源自适应弹性控制的关键参数，因为控制器执行一次控制的时间间隔为T_i，预测模块预测接下来的T_i个时间段内资源需求变化，虚拟机则在接下来的时间点t+1，t+2，…，t+T_i根据资源需求变化重新配置资源。

根据云计算资源负载的动态变化性，T_i的值需要能根据其变化情况自适应调整：

，其中K为缓冲器队列中可容纳的最大请求数设定值。

K的取值较小时，控制系统能够对资源负载变化作出迅速的调整，但容易造成系统的震荡和不稳定；K的取值偏大时，控制器对资源负载变化的反应则较为迟钝。参数τ也有类似的作用，因为它决定着缓冲器中资源请求的启用率，在控制器的反应能力和稳定性之间起到平衡作用。

资源配置模块在接收到由监控模块提供的当前负荷量信息，以及由预测模块提供的下一时间段的资源需求变化信息后，将综合两者的信息，进行基于主动控制与被动反应相结合的自适应弹性资源配置策略，算法流程如图3所示。

该策略的主要思想是提前增加所需资源，延后释放当前空闲资源。目标是为用户提供足够资源、保证服务质量（QoS）的同时，降低不必要的资源消耗，维持系统的稳定运行。

与先前研究中仅仅依靠被动反应配置策略（T. Chieu, A. Mohindra, A. Karve, and A. Segal. Dynamic scaling of webapplications in a virtualized cloud computing environment. Ine-Business Engineering, 2009. ICEBE’ 09. IEEEInternational Conference on,2009,pp. 281-286.）相比，提前增加所需资源能保证在下一时间段内资源需求上升后有充足的资源量，从而不出现资源短缺和资源供给滞后的情况；延后释放当前空闲资源是考虑云计算资源需求的不确定性，因为仅仅依靠预测信息来判断资源需求的变化是不够的，并且虚拟机的再次启动需要一定时间，当资源需求出现激增情况时，延后释放的资源能起到有效地缓冲作用。

主动控制与被动反应相结合的自适应弹性资源配置策略，主要包括：利用从监控模块获得的数据计算资源需求变化量D(t)，被动反应策略为应对当前变化所需增加/减少的资源量（虚拟机数量）为：N_reactive＝D(t)/SR_Avg，其中SR_Avg为单位时间每一台虚拟机对于资源请求的服务率中位数，该参数由虚拟的机的硬件配置决定；

利用从预测模块获得的下一时刻资源需求的变化量估计值，主动控制策略为应对下一时刻资源需求变化所配置的资源量为：。

若N_reactive＞K，即资源需求变化量超过缓冲器可以存放的资源请求最大量时，且主动控制策略和被动反应策略都决定需要增加资源供应时，云计算将提供的资源量为C(t)+N_Proactive+N_reactive；

若被动反应策略决定需要增加资源供应而主动控制策略决定减少资源供应时，即两者的决定相矛盾时，只执行被动反应策略，因为被动反应策略主要应对当前的资源需求状况，即云计算将提供的资源量为C(t)+N_reactive。

其它情况，系统将不再分配实施主动控制所需资源N_Proactive。

为了评估本发明提出的混合资源配置策略（Hybrid Strategy）的有效性，利用Google云计算平台数据（J. Wilkes. More google cluster data, November 2011.）作为实验数据，与文献（T. Chieu, A. Mohindra, A. Karve, and A. Segal. Dynamic scaling of web applications in a virtualized cloud computing environment.Ine-Business Engineering, 2009. ICEBE’ 09. IEEE International Conference on,2009,pp. 281-286.）提出的只依靠被动反应的资源配置策略（Reactive Strategy）进行资源分配的策略进行性能比较。

利用所有时间段内的资源配置过剩量OP，每分钟的平均资源配置过剩量；所有时间段内的资源配置不足量UP，每分钟的平均资源配置不足量，所有时间段内的用于服务的虚拟机台数平均值作为评价指标。在实验中，设置参数值K＝5，Poisson分布中的每秒钟服务请求到达率λ分别设置为100,200,300和400，相应的也可以获得每台虚拟机的服务率。下表给出了评价比较结果。

从上表的比较结果可以看出，本发明提出的混合资源配置策略在OP和值上要大于只是用被动反应的资源配置策略，这和混合资源配置策略提前准备和延后释放资源有关，从而能保证资源的供给量，及时应对云计算资源需求变化，不出现资源短缺的情况，这在UP和值上表现得很明显，被动反应策略的资源供给不足量要远远超过混合资源配置策略，是因为其在资源供给时的反应延后性，跟不上资源需求变化情况。而在云计算环境中，资源供给不足时很危险的，轻则导致服务质量下降，造成运营商经济损失；重则导致服务器瘫痪，甚至整个数据中心的崩溃。因此，本发明所提的基于自适应弹性控制的云计算资源优化配置系统及方法能更好地适应云计算环境，为资源的优化合理配置提供切实有效的保障，在提供高服务质量的同时，保证云计算平台稳定运行和资源的合理使用。

Claims (1)

1.基于自适应弹性控制的云计算资源优化配置方法，其特征在于，包括有以下步骤：

(1)首先，监控模块从云计算平台采集资源使用状态数据，这些数据包括：t时刻新到的资源请求量A(t)；t时刻正在处理的资源请求量E(t)；t时刻存放于缓冲器中的资源请求量B(t)；t时刻云计算平台总的资源负载量L(t)，τ为启用整个缓冲器所需的时间；

(2)其次，预测模块利用监控模块采集的数据对下一时间段内云计算资源需求量进行预测，所预测的下一时刻资源需求总量的表达式为：C(t+1)＝C(t)+D(t+1)，其中C(t)和C(t+1)分别为t时刻及其下一时刻的资源需求量，D(t+1)为其下一时刻将增加或减少的资源需求量，即下一时刻资源需求的变化量；

下一时刻资源需求变化量D(t+1)的估计值为 其中R为t时刻需要添加或移除的虚拟机数量与总虚拟机数量之间比例的估计值，T_i是资源配置控制系统实施两次控制之间的时间间隔长度，当资源需求上升时，取正值，反之取负值；则上一个时间段T_i内的云计算平均资源负载量为同样地，所有过去时间段内的平均资源负载量则可得

从而，下一时刻资源需求变化量的估计值为可得下一时刻资源需求量估计值为

根据云计算资源负载的动态变化性，T_i的值可根据其变化情况自适应调整，其计算公式为：

其中K为缓冲器队列中可容纳的最大请求数；

(3)最后，资源配置模块将从监控模块中采集的当前资源负荷值与预测模块获取的下一时间段内资源负荷值进行综合分析，制定主动控制与被动反应相结合的自适应弹性资源配置策略，具体为：

根据从监控模块获得的数据计算资源需求变化量D(t)，被动反应策略应对当前变化所需增加或减少的资源量计算公式为N_reactive＝D(t)/SR_Avg；

根据从预测模块获得的下一时刻资源需求的变化量估计值，主动控制策略应对下一时刻资源需求变化所配置的资源量为其中SR_Avg为单位时间内虚拟机能够处理的资源请求数的中位数，该参数由虚拟机的硬件配置决定；

若主动控制策略和被动反应策略都决定需要增加资源供应时，云计算将提供的资源量为：C(t)+N_Proactive+N_reactive；

若被动反应策略决定需要增加资源供应而主动控制策略决定减少资源供应时，即两者的决定相矛盾时，只执行被动反应策略，因为被动反应策略主要应对当前的资源需求状况，则此时云计算将提供的资源量为：C(t)+N_reactive；

其它情况下，系统将不再分配实施主动控制所需资源N_Proactive。