CN102307241A

CN102307241A - 一种基于动态预测的云计算资源部署方法

Info

Publication number: CN102307241A
Application number: CN201110293354A
Authority: CN
Inventors: 樊六东; 彭俊杰; 范新进; 侯军; 刘晓军
Original assignee: SHANGHAI ZHONGSHU INTERNET OF THINGS TECHNOLOGY Co Ltd
Current assignee: Shanghai Guofu KPS cloud Polytron Technologies Inc
Priority date: 2011-09-27
Filing date: 2011-09-27
Publication date: 2012-01-04
Anticipated expiration: 2031-09-27
Also published as: CN102307241B

Abstract

一种基于动态预测的云计算资源部署方法，一是通过增加镜像模板的数量来改变多镜像共享所带来的网络拥堵问题，二是通过动态预测云计算中心在不同时刻对镜像需求的数量，从而实时调整镜像版本的数量，进一步减少镜像不足而带来的时间延时或镜像过多而造成的资源浪费。

Description

一种基于动态预测的云计算资源部署方法

技术领域

本发明涉及一种基于动态预测的云计算资源部署方法。

背景技术

云计算作为分布式计算、网格计算、效用计算、网络存储和虚拟化等技术的发展，已经被看作IT领域的第三次技术革命，它将彻底改变人们传统使用IT资源的习惯。作为一种全新的技术及商业模式，云计算的应用孕育着巨大的市场潜力和商机，因此，在全球范围内得到了广泛的关注。目前，各国政府和各大企业都在纷纷投资加大云计算技术的研发力度和应用推广力度，力图抢占技术和市场的前沿阵地。

目前，世界范围内对云计算的研究已经开展的很广泛，研究的内容也涉及到云计算本身的方方面面，但是主要的还是集中在虚拟化、负载均衡、云安全及存储等一些领域，作为最可能影响到云计算应用云部署技术的研究却进展不大，因为用户感受将直接受到云平台的部署效率影响，如果部署效率太低，用户需要等待的时间过长，必然会导致用户感受的下降，从而影响到云计算应用的推广与普及。

云计算作为一种全新的商业模式，它允许使用户可以通过各种形态的终端采用互联网的形式按需地使用位于远程云计算中心的各种虚拟资源，而云计算中心则根据用户的请求，及时、快速的响应，提供各种定制的服务。研究及应用的实际结果表面，尽管用户可以通过云计算这种方式享受到各种他们所需的服务，但是，随着用户请求数目的增加，那么必然会导致云计算中心的网络资源、CPU、内存、I/O等各种资源的整体性能下降，这最终影响到云计算中心所提供的定制云服务和云计算应用的服务质量。

为了解决这一问题，很多研究人员从虚拟机的角度进行研究。因为虚拟机作为云计算应用的关键技术之一，它承载着云计算应用，虚拟机的运行状态、负载分布情况等都可能影响到整体的应用效率；所以研究人员从优化cpu、内存、I/O等的性能、均衡服务器上的虚拟机的负载等角度进行了探讨。但这并不能从根本上解决问题。于是，又有学者考虑到采用虚拟机镜像模版的技术来解决这一问题。其出发点就是将原来需要对每个用户请求进行定制的云计算资源平台事先根据不同的操作系统类型做成模板，当用户有请求时，云计算中心只需通过克隆的方法将已经定制好的虚拟机镜像模板拷贝到虚拟机运行的指定路径，这如同在单机上采用ghost安装系统，显然比重新安装整个系统效率提高许多。从云计算中心的角度讲，无需进行定制了，所以较传统的方式，能够从一定程度上较好的缓解问题。不过，在用户求求增多的情况下，这些镜像的克隆在部署过程中将会相互争夺网络和I/O资源，从而导致虚拟机的部署时间延长。

一般而言，对于镜像的克隆可以采用两种不同镜像存储结构，一种是共享存储结构（NFS），另一种是非共享存储结构。

对于共享存储结构，它是将各个集群节点中虚拟机运行相关的镜像存储路径通过NFS服务器进行共享，它有利于镜像的集中管理和镜像的共享，且是实现虚拟机迁移的前提。虚拟机在启动前需将虚拟机镜像模板从模版库克隆到这个共享路径下的。对于非共享存储结构，它是将各个集群节点中虚拟机运行的镜像存储在本地磁盘，不与其他集群节点共享。虚拟机启动前，需通过网络，将虚拟机镜像模板从模版库克隆到各个集群节点中虚拟机运行路径指定的位置。

不论存储采用这两种结构中的哪一种，在某段时间内，当虚拟机请求增多的情况下，将使虚拟机镜像部署变得频繁密集。对于共享存储结构，各镜像将争夺模版库与虚拟机运行时共享路径之间的网络和I/O资源；而对于非共享存储结构，模版库与各个集群节点之间的网络带宽将会受到极大影响。

由于资源部署是云计算应用中的一个非常重要的技术，部署效率的高低将直接影响到云计算的服务质量和应用效果。上文已经分析过，传统的部署方式，效率低下；即便是采用镜像模板的方式，如果镜像设置不合理同样会带来很多负面的影响。如镜像模板太少，则同样会造成网络和I/O接口拥堵，影响到云服务质量；而如果镜像模板太多，则又会给大量占用云计算中心的物力资源，从而造出浪费，降低云中心的资源利用率。因此，在讨论云计算资源部署模型时，必须充分考虑建立该模型的前提与基础。

1、由于镜像模板的数量将直接影响到云计算服务质量，因此，在整个云计算服务过程中，镜像的设置必须处于一个相对合理的水平，这需要系统能够用户的访问情况可以动态变化，根据不同的用户请求数量的增加自动调整资源镜像模板数量，从而在保证服务质量的前提下，尽量提高资源的使用效率。

2、由于用户在不同时间段的请求数量是不一样的，在某段时间内处于请求的高峰期，经过高峰期之后，用户的请求数量将会逐渐减少，因此，为了保证不造成资源浪费，以提高资源的使用效率，必须在用户请求资源镜像的需求下降时，能够自动收回多余镜像所占用的系统资源。

3、云中心一旦提供服务，用户的请求数总是处于周而复始的动态变化过程中，因此，云资源部署策略的应用也应该是一个动态的周期性过程。

4、为了保证云中心能够提供数量合理的云计算镜像资源，必须有能够有效地预测在何时对资源镜像进行增补，何时对多余的镜像资源进行回收的机制，这样才能保证云中心的服务更加高效。

5、在用户请求增多的情况下，云计算中心的资源镜像模板的增加不是无限制的，而是与云计算中心所提供的资源存储空间是相关的，因此，当用户请求数量很大，而云计算中心的镜像资源池不能继续扩展时，必须考虑合理的应对措施。

发明内容

本发明提供的一种基于动态预测的云计算资源部署方法，一是通过增加镜像模板的数量来改变多镜像共享所带来的网络拥堵问题，二是通过动态预测云计算中心在不同时刻对镜像需求的数量，从而实时调整镜像版本的数量，进一步减少镜像不足而带来的时间延时或镜像过多而造成的资源浪费。

为了达到上述目的，本发明提供一种基于动态预测的云计算资源部署方法，该方法包含以下步骤：

步骤1：初始化，设定各参数值；

步骤2、判断是否收到资源镜像模板不足的报警信息，若是，则进行步骤3，若否，则进行步骤4；

步骤3、检查增补资源是否会超出云计算中心模板库的容量范围，若是，则进行步骤5，若否，则进行步骤6；

步骤4、检查各种云资源的镜像模板是否存在富余状态，若是，则进行步骤7，若否，则进行步骤2；

步骤5、减小资源预警系数

的值，检查是否有足够的空间进行资源增补操作，若是，则进行步骤6；若否，则部分收回在最近一段时间内使用频率较低的资源镜像模板所占用的系统空间，进行步骤6；

步骤6、启动资源镜像增补操作，即对出现报警的资源i进行增补镜像，然后进行步骤4；

步骤7、判断是否需要执行资源缩减操作，若是，则进行步骤8，若否，则进行步骤2；

步骤8、执行资源缩减操作，进行步骤2。

步骤1中，用M表示云计算中心共享存储服务器用于镜像模版存储的镜像空间大小；假设云资源的镜像模版种类共有k种，

表示每个镜像资源模板i的容量大小，

（）表示资源i镜像模板的数量，

（

）表示云计算中心镜像资源模板i的初始值，

（

）表示任意时刻t云计算中心资源i的镜像模版数量，（

）表示任意时刻t云计算中心未分配的资源i的镜像模版数量；

在云中心分别为这k种镜像模版资源创建其初始值所给定数目的镜像版本，同时启动对各种资源进行定时监控管理的时钟，即，资源保持时间

。

步骤2中，判断是否满足公式（1），

，其中，

为资源镜像i的预警系数。

步骤3中，判断是否满足公式（5）

，其中，表示资源镜像i在t时刻总的镜像模板数。

在步骤4中，云计算中心的资源管理任务每隔一个固定的时间段

检查各种云资源镜像模版的数量，如果对于某种资源镜像，如资源j而言，从最近一次预警进行资源增补或资源回收时刻开始，时间间隔超过了资源保持时间，该资源一直未发生过资源预警提示，那么就认为此时，云计算中心的资源j的镜像模板数处于富余状态。

在步骤6中，若

为t时刻增加资源i镜像模板数量，资源i的镜像在发生第m次预警时与该资源镜像最近一次发生资源增补或缩减的时间间隔为

，则在第m次预警时需增加资源i的镜像模板数

为：

（2）

其中，为资源i镜像模板的增补系数；

云计算中心在第m次预警后的t时刻资源i的镜像模版总数和未被分配的模板数分别如公式（3）和公式（4）所示：

（3）

（4）

其中，

，

为t时刻未被分配的资源i的镜像模板数。

步骤7中，判断是否满足公式（8）

，，其中，为资源j的缩减系数。

在步骤8中，对于资源j而言，每次在t时刻回收其镜像数目为

（6）

此时，云计算中心在资源缩减后的t时刻镜像模版j的总数为：

（7）。

本方法以共享存储结构为基础，用户在申请部署镜像之前，云中心首先根据历史记录预测下一时刻可能用到的镜像资源数量，在用户请求到达时，即可马上响应用户，提供相应的服务，从而能较好的缓解多镜像共享拷贝部署所带来的性能下降问题。

附图说明

图1是本发明的流程图。

图2是采用传统镜像共享方法进行云镜像资源部署的实验结果。

图3是采用本发明进行云镜像资源部署的实验结果。

具体实施方式

以下根据图1～图3，具体说明本发明的较佳实施例。

定义以下概念：

1、镜像：镜像是虚拟机的存储载体。本发明将镜像分为了两类：平台镜像和存储镜像，其中，平台镜像中预装有操作系统，每台虚拟机必须且只能对应一个平台镜像，存储镜像是作为虚拟机的虚拟磁盘用于存储用户数据的，每个虚拟机可以有多个该镜像，存储镜像可以根据需要设置为不同大小（例如创建5GB、10GB不等大小）。

2、镜像模版库：它用于存储镜像模版。通常先将安装有操作系统的平台镜像作为模版（根据所安装系统的不同，将平台镜像模版分为不同类型，如ubuntu10.10、redhat9、window 7等），并置于镜像模版库中，而后在用户请求部署虚拟机的时候，将相应的平台镜像从模版库克隆到虚拟机运行路径指定的位置，用短暂的镜像克隆时间换取繁长的系统安装时间，以达到虚拟机快速部署效果。同样地，将存储镜像作为模版置于模版库中，在用户请求挂载虚拟磁盘的时候，将它从模版库克隆到虚拟机磁盘运行时指定的位置，以达到快速部署虚拟磁盘的效果。

3、镜像空间：镜像空间是NFS共享服务器中开辟的专门空间，作为镜像资源池，用于存储云中心建构的镜像模板，当用户请求镜像资源时，可以直接定位到镜像空间的相应镜像，从而提高云计算中的访存效率，也可以避免由于用户集中请求镜像模板所带来的网络阻塞和I/O性能下降问题。需要注意的是，在NFS共享服务器中，镜像空间的路径和虚拟机运行的路径是相同的，因此，在实际应用过程中，为了区分虚拟机的镜像，需要不同德镜像标识为不同状态。

4、镜像状态：镜像具有未分配的、已分配未使用的和已分配已使用三种状态。在镜像从模板库中克隆到镜像空间中时，新加入的镜像处于未分配状态；当镜像被分配给用户时，该镜像的状态变成了已分配未使用；当用户使用了申请到的镜像后，镜像状态变为已分配已使用。

5、资源保持时间：云计算中心为每种云资源设定的一个时间阈值，如果这段时间内某种资源镜像从未发生过预警，则该种资源的镜像模板数量处于富余状态，应当采取适当的措施缩减该种资源，以提高资源的利用效率。

如图1所示，一种基于动态预测的云计算资源部署方法，包含以下步骤：

步骤1：初始化，设定各参数值；

用M表示云计算中心共享存储服务器用于镜像模版存储的镜像空间大小；假设云资源的镜像模版种类共有k种，

表示每个镜像资源模板i的容量大小，

（

）表示资源i镜像模板的数量，

（

）表示云计算中心镜像资源模板i的初始值，

（

）表示任意时刻t云计算中心资源i的镜像模版数量，

（

；

步骤2、判断是否收到资源镜像模板不足的报警信息，即，判断是否满足公式（1），

，其中，

为资源镜像i的预警系数，选择合理的预警系数可以保证云计算中心在用户请求增加的情况下能持续提供服务，而不至于致使用户请求后需要长时间的等待；

若是，则进行步骤3，若否，则进行步骤4；

步骤3、检查增补资源是否会超出云计算中心模板库的容量范围，即，判断是否满足公式（5）

，其中，表示资源镜像i在t时刻总的镜像模板数；

若是，则进行步骤5，若否，则进行步骤6；

云计算中心的资源管理任务每隔一个固定的时间段检查各种云资源镜像模版的数量，如果对于某种资源镜像，如资源j而言，从最近一次预警进行资源增补或资源回收时刻开始，时间间隔超过了资源保持时间

，该资源一直未发生过资源预警提示，那么就认为此时，云计算中心的资源j的镜像模板数处于富余状态；

步骤5、减小资源预警系数的值，检查是否有足够的空间进行资源增补操作，若是，则进行步骤6；若否，则部分收回在最近一段时间内使用频率较低的资源镜像模板所占用的系统空间，进行步骤6；

部分收回是基本的资源回收策略，即从云资源镜像库中删除其中使用频率较低的那部分资源即可。这样就可以释放它们所占用的空间，便于后面的应用继续应用。

使用频率的高低不是个固定的值，完全取决于云的提供商及其运营策略，如有y种资源，其中有u种在某段时间内使用的次数超过了w次，另外y-u种被使用的次数没有超过w次，云提供商可以根据自己的运营策率，认为y-u种资源使用的频率较低，这里y, u, w完全没有任何固定的界限。

若

，则在第m次预警时需增加资源i的镜像模板数

为

（2）

其中，

为资源i镜像模板的增补系数，由资源种类和运营策略决定；

可以确定，云计算中心在第m次预警后的t时刻资源i的镜像模版总数和未被分配的模板数分别如公式（3）和公式（4）所示：

（3）

（4）

其中，

，

为t时刻未被分配的资源i的镜像模板数；

步骤7、判断是否需要执行资源缩减操作，即，判断是否满足公式（8）

，

，其中，

为资源j的缩减系数，它由资源种类、数量及云提供商的运营策略决定；

若是，则进行步骤8，若否，则进行步骤2；

步骤8、执行资源缩减操作，进行步骤2；

对于资源j而言，每次在t时刻回收其镜像数目为

（6）

（7）。

本方法的执行过程是一个循环过程，分析云计算应用服务的实际过程，不难发现，这一过程是合理的，因为云计算中心一旦提供了云计算服务，那么其镜像资源总是处于一个从资源不足到资源超量的动态过程。为了提高云计算的服务质量和云中心各种资源的使用效率，在实际应用过程中，各种云镜像资源模板的数量总是处于不断地增加和缩减的动态变化过程中。

鉴于非共享存储结构对镜像的密集传输将严重影响运行中的虚拟机的网络性能，且共享存储结构具有对镜像的集中性管理优势，本方法以共享存储结构为基础，提出了一种基于动态预测的资源共享与快速部署方法，建立了相应的实现模型。通过本方法，用户在申请部署镜像之前，云中心首先根据历史记录预测下一时刻可能用到的镜像资源数量，在用户请求到达时，即可马上响应用户，提供相应的服务，从而能较好的缓解多镜像共享拷贝部署所带来的性能下降问题。

为了验证本方法的合理性和有效性，将通过实验的方法进行验证，并将所得到的结果与相同条件下传统方法得到的结果进行比较。

实验过程中所采用的硬件平台为采用一台高档PC机，CPU主频为66GHz、内存2.0GB、硬盘为容量500GB、转速为7200转/分、接口为SATA的希捷高速硬盘，PC在实验过程中用作NFS服务器，并安装64位的CentOS 5.5操作系统。客户端是唯一的一台普通PC机，CPU主频为2.3GHz、内存2.0GB、硬盘为容量320GB、转速为7200转/分，上面安装Ubuntu 10.04操作系统，硬件平台和客户端之间通过局域网链接。

为了研究本发明所提出的基于动态预测的云计算资源部署方法的有效性及其相对于传统部署方法的优势，实验过程中，采用了开源的公共云计算环境OpenNebula为实验平台，分别对传统的共享存储结构下的镜像资源部署方法和本文所提出的动态预测部署方法进行了模拟仿真。比较的性能指标针对与在不同时间段内，不同的用户请求的情况下，完成所有请求镜像部署所花费的平均时间。为了简单与分析方便起见，实验过程中只模拟了一种类型的资源镜像的情况。

模拟传统的云计算资源的部署策略时，采用的是在共享存储结构服务器中，首先指定镜像模板库的路径，并在模板库中存放一个4.0GB大小的镜像作为资源模版模板，通过在设置虚拟机运行时的存储路径，使得当用户请求部署资源镜像时，系统能够实现自动从共享存储空间的模版库中克隆相应镜像到虚拟机运行时的运行路径中，并在用户请求开始响应时开始计时，直到镜像在用户的私人空间运行起来为止，记为用户申请的资源镜像的部署时间。

对于本发明所提出的基于动态预测的资源部署方法，在实验过程中，假设系统提供的资源镜像的模版库的空间足够大，并且假设镜像资源的初始镜像数为2，资源采用的资源预警系数

的取值为0.2的情况。同样，记录每个在用户请求开始，到部署完成的时间，最后通过总的部署数目和部署时间，计算得到在不同情况下，部署资源镜像所花费的平均时间。

为了验证两种方法在云计算资源部署时的效率，实验过程中，我们通过模拟在不同时间间隔内不同数量的用户向云中心请求云计算资源镜像的部署，云中心响应用户请求，并完成部署时，每个请求从开始响应到完成部署所花的平均时间。选择的时间间隔从10分钟、20分钟、30分钟至1小时，在这些时间间隔中，用户的部署请求数从10个增至50个，得到的实验结果如表1所示。

从表1可以看出，表格的最上一行表示时间，最左边一列表示用户请求数目，中间的数据表示在对应的时间间隔内部署完成用户请求数的资源镜像，平均每个镜像要花费的时间。很显然，按照传统的镜像共享法进行资源镜像部署平均所花费的时间远远高出本发明所提出的基于动态预测的方法进行资源部署的方法。相同条件下，传统镜像共享法部署时间比动态预测法高出1－2个数量级，即从部署的效率讲，本发明所提出的基于动态预测的方法明显优于基于资源共享的方法。其中主要的原因是，当用户请求较多时，镜像共享法给每个请求提供都是同一个镜像，所有的请求应用都通过该镜像向自己的运行空间复制一个镜像的副本，这样造成多个应用线程共同挣脱CPU资源、通信接口资源等，服务器为了响应每个用户请求，必须频繁的进行线程切换，从而造成大量的时间开销。而对于动态预测部署法而言，当云中心检测到资源紧张时，发出报警，并且立即启动资源镜像克隆，并且克隆过程中，镜像模版较多，不会出现多任务争夺资源的现象。一旦镜像克隆完成，只需模版库中镜像的路径拷贝给用户即可。

表1 实验结果对比表。

图2和图3给出的分别是采用传统镜像共享和基于动态预测两种方法进行云镜像资源部署的实验结果的图形形式。这种变现形式，更容易发现它们在部署上的规律。首先，从图2中可以看出，在相同的时间间隔内，当用户请求增加时，云计算资源镜像的部署时间急剧增加；并且，当用户请求数相同时，时间间隔越小，云计算资源镜像部署的平均时间也越长。造成上述这些情况的共同原因是，在单位时间间隔内，用户请求数目越多，那么不同进程在访问共享镜像过程中造成的资源及接口上的冲突就越严重。要改变这种情况，就需要尽量减少单位时间内用户请求的数目，从而提高镜像资源的部署效率。

相比较而言，基于动态预测的部署方法的资源冲突情况要明显改善很多。虽然与共享镜像方法一样，时间间隔一定的情况下，用户请求数目增加，资源部署的平均时间会有所增加；或用户请求数目不变的情况下，时间间隔缩小时也会造成资源部署的平均时间会有所增加，但总体来说，增加的时间对总体影响比较小，远不如共享镜像法所带来的影响。这主要是因为在云计算镜像资源部署过程中，系统会实时预测云中心镜像库中的镜像模版数目，当镜像模版数目不足而发生预警时，云中心将自动进行资源进行克隆，克隆的资源镜像源可能会有多个，这时在克隆的过程中，能够大大提高资源的配置率，从而提高整体的资源补充和部署效率。在这种情况下，当用户请求部署运镜像资源时，只需将镜像模版的路径指定给用户即可完成，因此，部署非常简单，非常快速。

事实上，基于动态预测的云计算资源部署方法还需要一定时间的原因主要是云计算中心克隆镜像资源需要花费一定的时间，这种情况其实可以进一步减小，从而降至很低的水平。这只需将云计算的资源预警系数

的值适当增加，即当云计算中心有相对较多的资源的时候就开始补充镜像，这时，若有用户请求，只需作简单的镜像路径指定，而无需用户进行等待资源克隆，从而大大提高部署效率。这可以明显看出，基于动态预测的云计算资源部署方法明显优于基于共享的部署方法。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。