CN102158560B

CN102158560B - 云计算环境下面向服务部署优化的协同动态双缓冲池

Info

Publication number: CN102158560B
Application number: CN 201110099314
Authority: CN
Inventors: 王伟; 卢暾; 刘铁江; 王琪; 顾宁
Original assignee: Fudan University
Current assignee: Fudan University
Priority date: 2011-04-20
Filing date: 2011-04-20
Publication date: 2013-07-10
Anticipated expiration: 2031-04-20
Also published as: CN102158560A

Abstract

本发明属于计算机云计算服务技术领域，具体为一种云计算环境下面向服务部署优化的协同动态双缓冲池。本发明提出一个改进的协同动态双缓冲池机制，通过对部署需求和刷新方式分类而选择的阈值来决定缓冲池的刷新时机，再由刷新时机以及与服务拥有者协同交互动态决定刷新对象的选取，保证了服务部署优化能够在一个较高的优化效率下进行。相应的协同动态双缓冲池包括两个子缓冲区：单值子缓冲区和多值子缓冲区；每个子缓冲区均包含存储模块和传送模块，存储模块主要用来存储DR，传送模块负责把存储的DR按照一定逻辑规则进行传送。

Description

云计算环境下面向服务部署优化的协同动态双缓冲池

技术领域

本发明属于计算机云计算服务技术领域，具体涉及云计算环境下面向服务部署优化的缓冲池。

背景技术

关于云计算 云计算是虚拟化技术、面向服务体系结构和效用计算的不断发展的产物。云计算指因特网上作为服务的应用，以及支持这些服务的数据中心的硬件和系统软件，它描述了一种基于互联网的新IT服务增加、使用和交付模式，通过互联网来提供动态易扩展的虚拟化资源。目前比较公认的三种云计算服务模式是软件即服务(SaaS)，平台即服务(PaaS)，基础设施即服务(IaaS)。SaaS指互联网上把软件作为一种服务，这种服务应用比较广泛，Salesforce是SaaS模式的典型应用；PaaS是指把计算平台或解决方案作为服务，Google的App引擎，微软的Azure是PaaS服务的典型应用；IaaS是指基础架构硬件资源作为服务，典型应用是亚马逊公司的Elastic Compute Cloud。

典型的云环境下服务使用模式是服务拥有者开发了一系列服务，通过服务部署方法把服务部署到云端，云端的服务可以通过付费使用模式供终端用户使用。随着云端部署的服务数目不断增长，云端呈现出服务部署冗余复杂，资源消耗急剧增加等问题，甚至有些情况下会导致服务的重新部署，因此服务部署优化就显得尤为重要。

关于服务部署优化 服务部署中，每个用户提交的服务由一系列原子服务构成，这些原子服务之间的版本号决定了它们之间的兼容性关系。向后兼容、向前兼容和向后向前兼容是三种基本的兼容性关系。具有相似功能的原子服务被定义为同一个家族的原子服务。服务的部署需求包括这些原子服务和一些是否被能被优化掉的规则由服务发布者提交给部署系统，服务部署系统根据特定的算法来和一些原子服务库来优化所提交的部署需求，从而达到优化部署的目的。

具体来说，对于具有类似功能的原子服务构成同一个家族，而同个家族中的原子服务因为功能性差异又具有不同的版本号和兼容性关系，兼容性关系分为3种，分别为向后兼容(BC)，即兼容比自己版本号小的原子服务，向前兼容(FC)，即兼容比自己版本号大的原子服务，向后向前兼容(BC∧FC)，即同时满足以上两个兼容条件。用安装规则(IP)来表明该原子服务是否可以被优化掉，因此每个原子服务使用一个包含家族号、版本号、兼容性和IP的四元表达式来表示该原子服务安装表达式(IE)，对于用户提交的部署需求(DR)除了包含一定个数的IE外，还包含其期望的QoS，同时，介绍了可用原子服务安装表达式集(AAIES)作为用户可以自己选择的原子服务库，对于用户优化过的IE则被安装到已安装原子服务安装表达式集(IAIES)中，从而提出了一种部署优化算法，利用IE中的兼容性规则和安装规则(IP)优化将要部署的服务。典型的服务部署优化系统是用户提交一系列部署需求（DR），通过缓冲池来缓冲DR，然后通过与可用原子服务库（AAIES）进行标准化操作，标准化后首先对自身进行简化，然后同已安装原子服务库（IAIES）进行优化部署。

关于缓冲池技术 缓冲池技术在很多计算机领域中都有应用。优化数据库查询缓冲池，对于经常使用的数据使用缓冲处理，能够增加数据查询效率，数据库连接缓冲池可以保证数据库连接的高效使用，减少连接释放资源的消耗率，如DB2、Oracle数据库中都使用了缓冲池技术来提高数据库性能。操作系统使用缓冲池统一管理进程的使用，提高资源的使用效率和进程的执行效率，如Linux操作系统中使用了mpool使内存作为缓冲池共享给各个进程使用。网络数据传输也利用了缓冲技术来避免不必要的数据复制提高数据传输效率等。

在服务优化中，缓冲池在原来的服务部署优化中所起的作用仅仅是缓冲待优化的原子服务序列。缓冲池在本发明中被改进，它不仅仅是用来缓冲待优化的原子服务序列，更用来决定原子序列的优化时机和优化对象的选择，从而能够达到最优的优化效率。

面临的问题 实际应用中，例如某公司拥有自己的内部私有云，各个部门需要部署一些部门需要的服务到云端，服务部署优化系统对每个DR进行优化，然后部署到云端供其相关部门使用。提交到公司内部私有云的DR数量不会很多，提交频率也不会很高，部署优化完全可以对每个提交的DR分别进行优化部署。又如，另一公司提供了供商业用途的公有云，云使用者数量远大于前面提到的私有云，大量的DR被提交到服务部署优化系统中，且提交频率比较频繁，如果依然对每个DR单独优化其效率并不会很高，让多个DR构成一个大的集合来进行优化是一个切实可行的提高效率的方法，而这样也会随之带来一些问题：

1、当多个DR一起存储在缓冲池中，必然对当前需要优化的DR造成一个延迟，对于时间要求不高的DR并没有什么问题，而对于某个服务拥有者需要部署优化的DR能够立即可用，这样就会造成一个矛盾。

2、每个提交的DR不可能无限期的等待其他DR来组成更大的集合来优化，必然要求缓冲池有一个刷新的阈值，阈值的选择是值得考虑的问题。

3、对于不要求立即优化的DR，必然会有一个要求部署优化的时限，拥有不同优化部署时限的DR，当其中某一个达到时限时，是让其立即优化还是与其他未达到时限DR组成集合一起进行优。

4、达到优化时限的DR，在与其他DR组成大的集合优化效率并不高的情况下，是否可以考虑同服务拥有者协同交互，让其继续等待一个更好的优化集合进行优化？

本发明正是为了解决以上主要问题而提出改进的服务部署优化协同动态双缓冲池设计，保证系统部署优化的效率。

发明内容

本发明目的在于提出一种改进的、能够保证系统优化效率高的部署优化缓冲池。

传统的部署优化领域缓冲池仅仅是用来缓存待优化的原子服务，对于原子服务对象的选取和缓冲池刷新时机有着很多的不确定性，这些不确定性导致了部署优化效率的低下。本发明提出的改进的缓冲池技术，通过预先测算，以及给定的最小阈值和最大阈值来决定缓冲池的刷新时机和刷新对象的选取，从而能够保证优化系统在最大化的优化效率下进行部署优化。

1、缓冲池阈值选择和计算

对于缓冲池刷新时机的选取，需要定义一个阈值。本发明使用一种兼容性二维坐标轴得到其每个DR到来时缓冲池的刷新效率作为阈值。设定这个比例值为R。为得到R值，需要得到所有待优化的IE个数，记作

Figure 2011100993148100002DEST_PATH_IMAGE001

，被优化的IE个数，记作

，剩余的IE个数，记作

，则有：

(1)

而R为：

(2)

通过预处理得到所有DR集合中最大的家族号，记作

，最大的版本号，记作。具体的例子如图1，其中横坐标作为家族号，纵坐标为版本号。对于某个家族的某个IE的兼容范围，使用几个点的连线来表示。同时，定义

表示家族f上兼容范围为到

的IE，其中f表示当前的家族号，

表示兼容的起始纵坐标点，

表示兼容的结束纵坐标点。例如

表示家族号为3兼容版本范围为2到8的IE。图1中假设有5个DR，其中每行表示一个DR。由兼容性关系得到其坐标轴如图2所示。图中黑色实线表示IP为True的IE的兼容性覆盖范围，而虚线则是表示IP为False的IE的兼容性覆盖范围，图中所有的实线都不能够被优化掉，家族1和3因为有覆盖全部范围的完整覆盖实线，因此只有实线剩余，虚线都会被优化掉；家族2上端剩1条实线，下端2条虚线必须被优化掉1条；家族4有覆盖全部范围的完整覆盖虚线且没有实线，则仅能剩下1条虚线；家族5同家族2类似；家族6下端仅1条虚线，不会被优化，上端因为最长的实线长于最长的虚线，因此仅剩2条实线。综上，在预处理分析阶段得到所有待优化的IE个数为21，每个家族剩余的个数分别为3，2，3，1，2，3，即剩余的IE个数为14，所以得到将要被优化的IE个数为7，这样就能够得到阈值的判定是否达到阈值的衡量值，即优化效率为1/3。通过这个基本的例子，可以得出以下的规律（性质）：

1）所有实线所属的IE不能被优化；

2）某一家族有跨越全部版本号的完整覆盖实线时，该家族优化后IE个数为该家族所有的实线个数；

3）某一家族，当只经过最小版本号端或最大版本号端有实线存在时，若该端最长实线长于该端最长虚线，则该端优化后剩余的IE个数为该端实线个数，否则为该端实线个数加1；

4）某一家族有跨越全部版本号的完整覆盖虚线且没有完整覆盖实线时，该家族优化后的原子个数为该家族所有实线个数加1；

5）某一家族，只经过最小版本号端或最大版本号端有且仅有虚线时，该端优化后的原子个数为1。

综上分析，在预处理过程中可以在统计

和

的时候，根据每个DR的个数得到

，当然也可以根据每家族IE个数分别得到相加得到，假设家族号f的IE个数记作

，则相加得到

，即：

记每个家族被优化后剩余的IE个数为

，其中f表示家族号，则有：

由式(1)和式(2)能够得出R和

。记某个家族 f优化后实线的个数，即家族f优化后IP为True的IE个数为

，某个家族f中优化后剩余的虚线数，即家族f优化后剩余的IE个数，记作

，由上面推出的性质可以得出

有且仅能有三个值，即：

因此能够得出：

求出

的工作也就是求出如下结果：

(3)

对于，根据每个家族中IE属性IP就能得出；而对于

，只需要根据性质就能够得出他的值为3个值中的哪个值即可。

综上，能够得到所需要的R值，这个值是用来预先衡量将要优化的所有DR的优化效率，然后根据这个值来决定缓冲池中DR的流向。根据上面规律可以提前得到将要进行优化的服务优化效率是否达到满足阈值，再进行相应的缓冲池处理。

2、改进的缓冲池设计

设计的动态双缓冲池主要包括两个子缓冲区，称为单值子缓冲区和多值子缓冲区。每个子缓冲区包含存储和传送两模块，存储模块主要用来存储DR，而传送模块则是负责把存储的DR按照一定逻辑规则进行传送。单值子缓冲区存储模块中仅能存储一个DR，而多值子缓冲区中能存储多个DR。

用户提交的DR经标准化后首先会被提交到单值子缓冲区的存储模块中，存储模块交给传送模块来判断该DR是否为立即DR，如果是立即DR，表示需要优化部署它，则交给下一个系统模块处理，即交给系统优化模块来处理该DR。否则该DR被传送到多值子缓冲区的存储模块中，用来等待多个DR构成的集合优化。

缓冲池设定了最小阈值和最大阈值。对于非立即DR的DR都拥有各自不相同的时限，当某一个DR达到他的时限时可以直接传送到单值子缓冲区立即进行优化部署，也可以同多值缓冲区中的其他DR一起优化部署。最小阈值和最大阈值的设定就是用来保证上述的选取。这个最小阈值和最大阈值一般是由系统管理员根据缓冲池来动态设定。

当非立即DR传送到多值子缓冲区的存储模块时，存储模块交给多值子缓冲区的传送模块来判定当前存储模块中所有的DR是否已经达到了最大阈值，如果达到最大阈值则直接把该存储模块中所有DR传送到系统优化模块进行优化，否则重新保留在存储模块中。同时，缓冲区对每个DR设定一个定时器，一旦某个DR的时限达到，则有传送模块判断是否存储模块中所有DR达到了最小阈值，如果达到则同样传送所有DR到系统优化模块进行优化，否则表明当前多值子缓冲区的阈值比较小，这种情况下缓冲池需要同服务拥有者协同交互，根据用户选择是否增加时限，增加多少时限来决定是传回多值子缓冲区等待更好的阈值优化，还是让当前已达到时限的DR到单值子缓冲区，由单值子缓冲区传送当前这个DR到系统优化模块进行优化。整个流程如图3所示。

3、改进后的服务部署优化系统

在未使用动态双缓冲池之前，用户每提交DR都只放在缓冲池中，然后直接去标准化，标准化后的DR调用简化和优化模块，如图4所示。其主要问题是在大量DR到来的时候效率不高。为了适应改进的缓冲池，新的系统的基本框架如图5所示，用户提交的DR增加了时限属性，根据时限DR分为立即DR和非立即DR，DR首先与标准化模块进行标准化，然后被提交到动态双缓冲池中，使得每个IE有确定的属性，从而进行R值的计算和处理。一旦达到缓冲池刷新条件，则单个DR或者多个DR被送到简化和优化模块进行相应的优化。

附图说明

图1为用户提交DR例子。

图2为兼容性二维坐标轴。

图3为动态双缓冲池详细图。

图4为服务部署优化系统基本框架。

图5为改进的服务部署优化系统基本框架。

具体实施方式

动态双缓冲池的刷新流程的实现主要包括3个算法。首先通过预处理得到一些必要的数据来决定后面的算法流程，然后使用预处理的结果计算得到所需要的R值，最后根据R值来选择DR处理的流程。

（1）进行预处理的算法如下（用到的一些变量定义见前述）：

。

（2）计算R值的算法如下（根据公式(3)得到的每个家族实线个数和虚线个数，预处理算法得到的相关数据）

。

以上算法中，对于每个家族中的三个判断语句对应了

的三种值，加上每个家族的

得到

，再根据公式(1)和(2)得到所要求的R值。

（3）DR处理的算法如下：

前面已经详细描述了动态双缓冲池的处理流程，对于新提交的DR，只需要一些判断就可以决定他的处理流程，对于多值子缓冲区中的DR时限则利用定时器来触发时限到达的相关操作，算法如下：

。

整个算法的时间复杂度为

，时间复杂度随着提交的IE个数和家族数成一次线性关系。

这里对改进后的系统做了一个实例系统，首先对原来的DR增加了时限属性，最大阈值这边设定为50%，即0.5，最小阈值设定为20%，即0.2。

一共提交了5个DR，共20个IE，对了验证最大阈值，设定DR的时限足够大，也就是保证其必然会达到最大阈值后进行优化，然后再改变其中的某一时限，使其中一个达到时限时且满足最小阈值。

首先验证最大阈值，优化前IE个数为20个，优化后IE个数为8个，所以可得R = 4/5，即缓冲池优化时的优化效率值大于最大阈值0.5，结果正确。其次验证最小阈值，同理可得R = 2/5，也即缓冲池优化时的优化效率值虽然小于最大阈值，但是大于最小阈值，也被优化掉，结果也是正确的。系统能够在一个较高的优化效率下进行服务部署优化。

Claims

1.一种云计算环境下面向服务部署优化的协同动态双缓冲池，其特征在于：

所述动态双缓冲池包括如下两个子缓冲区：单值子缓冲区和多值子缓冲区；每个子缓冲区均包含存储模块和传送模块，存储模块主要用来存储DR，传送模块负责把存储的DR按照一定逻辑规则进行传送；单值子缓冲区的存储模块中仅能存储一个DR，多值子缓冲区中存储模块能存储多个DR；

用户提交的DR经标准化后首先被提交到单值子缓冲区的存储模块中，该存储模块交给该单值子缓冲区的传送模块来判断该DR是否为立即DR，如果是立即DR，表示需要优化部署它，则交给系统优化模块来处理该DR；否则该DR被传送到多值子缓冲区的存储模块中，用来等待多个DR构成的集合优化；

缓冲池设定了最小阈值和最大阈值，这个最小阈值和最大阈值由系统管理员根据缓冲池来动态设定；

当非立即DR传送到多值子缓冲区的存储模块时，该存储模块交给多值子缓冲区的传送模块来判定当前存储模块中所有的DR是否已经达到了最大阈值；如果达到最大阈值，则直接把该存储模块中所有DR传送到系统优化模块进行优化，否则重新保留在存储模块中；同时，所述多值子缓冲区对每个DR设定一个定时器，一旦某个DR的时限达到，则由传送模块判断是否存储模块中所有DR达到最小阈值；如果所有DR达到最小阈值，则同样传送所有DR到系统优化模块进行优化，否则表明当前多值子缓冲区的阈值比较小，这种情况下缓冲池同服务拥有者协同交互，根据用户选择是否增加时限，增加多少时限，来决定是传回多值子缓冲区等待更好的阈值优化，还是让当前已达到时限的DR传送到单值子缓冲区，由单值子缓冲区传送当前这个DR到系统优化模块进行优化；

这里，DR表示部署需求。

2.根据权利要求1所述的协同动态双缓冲池，其特征在于：所述阈值选取与计算方式如下：

使用一种兼容性二维坐标轴，得到每个DR到来时缓冲池的刷新效率作为阈值；设定这个效率即比例值为R，记所有待优化的IE个数为

，被优化的IE个数为

，剩余的IE个数为

，则有：

(1)

并且：

(2)

记通过预处理得到所有DR集合中最大的家族号为

，最大的版本号为

；以横坐标作为家族号，纵坐标为版本号，对于某个家族的某个IE的兼容范围，使用几个点的连线来表示；定义

表示家族f上兼容范围为到

的IE，其中f表示当前的家族号，

表示兼容的起始纵坐标点，

表示兼容的结束纵坐标点；以黑色实线表示IP为True的IE的兼容性覆盖范围，以虚线表示IP为False的IE的兼容性覆盖范围，经预处理后，具有如下性质：

1）所有实线所属的IE不能被优化；

5）某一家族，只经过最小版本号端或最大版本号端有且仅有虚线时，该端优化后的原子个数为1；

在预处理过程中，在统计

和

的时候，根据每个DR的个数得到；或者根据每家族IE个数分别相加得到

，假设家族号f的IE个数记作

，则相加得到

，即：

记每个家族被优化后剩余的IE个数为

，其中f表示家族号，则有：

由式(1)和式(2)得出R和；记某个家族 f优化后实线的个数，即家族f优化后IP为True的IE个数为

，某个家族f中优化后剩余的虚线数，即家族f优化后剩余的IE个数为

，于是

有且仅能有三个值，即：

于是得出：

则求出

的工作也就是求出如下结果：

(3)

对于，根据每个家族中IE属性IP就能得出；对于

，根据性质确定他的值为3个值中的哪个值；

其中，IE表示原子服务安装表达式，IP表示安装规则。

3.一种基于权利要求2所述的协同动态双缓冲池的服务部署优化系统，其特征在于用户提交的部署需求（DR）增加了时限属性，根据时限DR分为立即DR和非立即DR，DR首先与标准化模块进行标准化，然后被提交到动态双缓冲池中，使得每个IE有确定的属性，从而进行R值的计算和处理；一旦达到缓冲池刷新条件，则单个DR或者多个DR被送到简化和优化模块进行相应的优化，优化完成的服务被部署到云端供最终用户使用。