CN103150215B - 虚拟环境下细粒度的cpu资源使用预测方法 - Google Patents

Abstract

本发明公开了虚拟环境下细粒度的CPU资源使用预测方法,该方法基于Xenmon与Sar两种系统性能监控工具收集的CPU利用率的差值，采用统计学习方法，提出虚拟机管理器调度的额外CPU消耗预测模型。在此基础上，针对突发性和非突发性两种不同负载特征提出相应的CPU使用概率密度函数预测方法。这种细粒度的CPU资源使用预测方法为系统资源优化配置提供了良好的基础。

Description

虚拟环境下细粒度的CPU资源使用预测方法

技术领域

本发明涉及虚拟环境下细粒度的CPU资源使用预测方法。

背景技术

随着计算规模的不断扩大，许多企业和数据中心都出现了服务器蔓延（serversprawl）的现象，即服务器数量不断增加，但资源平均利用率过低。相关调查表明，大多数企业和数据中心服务器的资源利用率仅在5%到20%之间。而云计算可以利用虚拟化技术，通过虚拟机迁移（migration）和整合（consolidation），关闭部分闲置服务器，从而解决服务器蔓延的问题。为了实现这种计算资源的按需分配，必须提供准确的系统资源分析与预测方法。

系统资源分析与预测主要是指在特定系统配置情况下，根据负载强度预测系统对各个软硬件资源的需求。常用的系统资源分析与预测方法包括排队网络模型，机器学习和统计学习方法等。虽然排队网络模型可以直观的描述各类系统，但是很多复杂模型的求解难度较大。因此，排队网络模型不适合用于云计算等这类复杂系统的性能分析。而近年来基于机器学习或统计学习的性能预测方法则得到了更加广泛的关注。

对于云计算系统而言，现有的资源分析与预测方法主要存在以下几个不足之处：

1)忽略负载特征对性能的影响。负载突发性强度的不同，会对系统性能产生不同的影响。相关研究还发现突发性负载可能导致经典的负载均衡算法失效。

2)只计算资源利用率的平均值（即粗粒度）。而一些研究指出，在服务器整合时，需要考虑资源利用率的概率分布情况（细粒度），从而减小整合可能带来的风险，如资源竞争导致的性能恶化等。

3)没有考虑虚拟化技术产生的资源消耗。一般性能分析与预测模型只在负载与资源利用率之间的建立映射关系。但是，在云环境中，虚拟技术的使用需要消耗额外的资源。相关研究发现虚拟机（VM）之间的竞争将导致额外CPU消耗，更高的二级缓存失效率和指令中断。

发明内容

针对上述技术缺陷，本发明提出虚拟环境下细粒度的CPU资源使用预测方法。

为了解决上述技术问题，本发明的技术方案如下：

虚拟环境下细粒度的CPU资源使用预测方法，包括如下步骤：

11）虚拟机管理器调度的额外CPU消耗预测步骤：使用两个不同层次的性能监控工具Sar和Xenmon收集CPU使用数据，所述性能监控工具Sar收集U_os和U_app两个部分，所述Xenmon记录各个虚拟机的资源使用情况，利用Xenmon与Sar的差值，采用统计学习的方法预测U_vm，具体预测函数如下：

U_vm＝aU²+bU+c.公式（a）

所述U为CPU利用率，由应用系统U_app、操作系统U_os和虚拟机管理器调度U_vm三部分组成：

U＝U_app+U_os+U_vm.公式（b）

其中，U_app由应用系统的负载决定，U_os视为常量；

12）针对非突发性负载，细粒度的CPU使用预测步骤：

对于非饱和系统，可通过实验的方式，进行有限的取样，然后使用以下公式预测CPU利用率的概率密度函数：

$g\left(x\right)=\frac{1}{\sqrt{{2\mathrm{\π\σ}}^2}}{e}^{\frac{{-(x-U)}^2}{{2\mathrm{\σ}}^2}}.$ 公式（c）

其中，σ²是正态分布g(x)的方差；

对于半饱和和全饱和系统，首选采用公式（c）进行预测，得到正态分布g(x)，采用同等面积的梯形S₁来替代S₂，即CPU利用率的概率分布由S₁，S₃和S₄组成，其中，τ为一个自定义的临界值，即CPU利用率大于此值时系统饱和，CPU利用率的概率分布函数可以表达为：

公式（d）

其中，h可通过求解以下方程组得到：

1-S₄＝S₁+S₃

$S_4={\∫}_{x=0}^{\mathrm{\τ}}g\left(x\right)\mathrm{dx}$

$S_1+S_3=\frac{g\left(\mathrm{\τ}\right)+h}{2}(1-\mathrm{\τ})$

其中，S₁，S₂，S₃和S₄分别为正态分布g(x)中各个部分的面积。

13）将突发性负载产生的CPU使用情况看作是两个状态下CPU概率密度函数的叠加步骤：采用以下公式进行预测：

f(x)＝Ff_b(x)+(1-F)f_n(x).公式（e）

其中，F是突发负载发生频率，f_b(x)为突发状态下CPU概率密度函数，而f_n(x)为非突发状态下CPU概率密度函数。

本发明的有益效果在于：该方法基于Xenmon与Sar两种系统性能监控工具收集的CPU利用率的差值，采用统计学习方法，提出虚拟机管理器调度的额外CPU消耗预测模型。在此基础上，针对突发性和非突发性两种不同负载特征提出相应的CPU使用概率密度函数预测方法。这种细粒度的CPU资源使用预测方法为系统资源优化配置提供了良好的基础。

附图说明

图1为本发明的总体步骤；

图2（a）为每秒虚拟机执行次数；

图2（b）为虚拟机调度的CPU消耗；

图3为虚拟机调度的CPU消耗与总体CPU利用率的关系；

图4（a）为非饱和系统非突发性负载生成的CPU使用概率质量函数；

图4（b）为非饱和系统非突发性负载生成的CPU使用概率质量函数；

图4（c）为半饱和和全饱和系统非突发性负载生成的CPU使用概率质量函数；

图4（d）为半饱和和全饱和系统非突发性负载生成的CPU使用概率质量函数；

图5为CPU利用率方差与CPU平均利用率的关系；

图6为半饱和状态下的CPU使用概率密度函数预测；

图7（a）为状态1突发性负载生成的CPU使用概率质量函数；

图7（b）为状态2突发性负载生成的CPU使用概率质量函数。

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。

本发明的总体实现步骤如图1所示，包括虚拟机管理器调度的额外CPU消耗预测、针对非突发性负载的CPU使用概率密度函数预测方法和针对突发性负载的CPU使用概率密度函数预测方法三个步骤，具体描述如下：

第1步，考虑虚拟机管理器调度的额外CPU消耗预测。虚拟环境下，每个虚拟机的CPU利用率U由应用系统U_app、操作系统U_os和虚拟机管理器（VMM）调度U_vm三部分组成：

U＝U_app+U_os+U_vm.公式(1)

其中，U_app由应用系统的负载决定，U_os可以视为常量，而U_vm则与VMM的调度机制相关。对于U_app的预测已经由许多成熟的方法，本发明主要关注对U_vm的预测。

本发明使用两个不同层次的性能监控工具Sar和Xenmon收集CPU使用数据。其中，Sar是一个经典的Linux系统性能监控工具，可以有效地记录系统的各个资源使用情况。但是，Sar只能安装在虚拟机之上的操作系统中，其收集的CPU利用率仅包含U_os和U_app两个部分。而Xenmon是运行在Xen虚拟机的驱动域Domain0中，可以记录各个虚拟机的资源使用情况。将Xenmon与Sar的差值和相同配置下的虚拟机每秒执行次数（即每秒VMM在不同虚拟机之间的切换次数）相比较如图2，可发现Xenmon与Sar的差值变化趋势与VMM调度消耗U_vm的变化趋势非常吻合。因此，可以利用Xenmon与Sar的差值，采用统计学习的方法预测U_vm，具体预测函数如下：

U_vm＝aU²+bU+c.公式(2)

结合公式(1)和(2)，可以实现虑虚拟环境下CPU利用率平均值的预测如图3。

第2步，针对非突发性负载，提出细粒度的CPU使用（即CPU利用率的概率密度函数）预测方法通过实验方法。图4是不同负载强度下的CPU使用概率质量函数。对于非饱和系统见图4(a)和(b)，其概率质量函数接近正态分布。因此，本发明使用以下公式预测CPU利用率的概率密度函数：

$g\left(x\right)=\frac{1}{\sqrt{{2\mathrm{\π\σ}}^2}}{e}^{\frac{-{(x-U)}^2}{{2\mathrm{\σ}}^2}}.$ 公式(3)

其中，σ²是方差，其与U的关系如图5所示，近似二次曲线关系,同样可以用统计学习方法对σ²进行预测。

对于半饱和和全饱和系统见图4(c)和(d)，如果直接采用公式(3)进行预测，则可得到图6所示的一个正态分布g(x),由S₂，S₃和S₄组成。其中S₂是大于100%的部分，S₃是近似方法与g(x)叠加部分,但是，由于CPU利用率不能大于100%，本发明采用同等面积的梯形S₁来替代S₂，即CPU利用率的概率分布由S₁，S₃和S₄组成。其中，τ为一个自定义的临界值（如99%），即CPU利用率大于此值时系统饱和。于是，CPU利用率的概率分布函数可以表达为：

公式(4)

其中，h可通过求解以下方程组得到：

1-S₄＝S₁+S₃

$S_4={\∫}_{x=0}^{\mathrm{\τ}}g\left(x\right)\mathrm{dx}$

$S_1+S_3=\frac{g\left(\mathrm{\τ}\right)+h}{2}(1-\mathrm{\τ})$

其中，S₁，S₂，S₃和S₄分别表示图6中各个部分的面积。

第3步，将突发性负载产生的CPU使用情况看作是两个状态下CPU概率密度函数的叠加如图7所示。因此，本发明采用以下公式进行预测：

f(x)＝Ff_b(x)+(1-F)f_n(x).公式(5)

其中，F是突发负载发生频率，f_b(x)为突发状态下CPU概率密度函数，而f_n(x)为非突发状态下CPU概率密度函数。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (1)

1.虚拟环境下细粒度的CPU资源使用预测方法，其特征在于，包括如下步骤：11)虚拟机管理器调度的额外CPU消耗预测步骤：使用两个不同层次的性能监控工具Sar和Xenmon收集CPU使用数据，所述性能监控工具Sar收集U_os和U_app两个部分，所述Xenmon记录各个虚拟机的资源使用情况，利用Xenmon与Sar的差值，采用统计学习的方法预测U_vm，具体预测函数如下：

U_vm＝aU²+bU+c公式(a)

所述U为CPU利用率，由应用系统U_app、操作系统U_os和虚拟机管理器调度U_vm三部分组成：

U＝U_app+U_os+U_vm公式(b)

其中，U_app由应用系统的负载决定，U_os视为常量；

12)针对非突发性负载，细粒度的CPU使用预测步骤：

对于非饱和系统，可通过实验的方式，进行有限的取样，然后使用以下公式预测CPU利用率的概率密度函数：

$g\left(x\right)=\frac{1}{\sqrt{2{\mathrm{\π\σ}}^2}}{e}^{\frac{-{(x-U)}^2}{2{\mathrm{\σ}}^2}}$ 公式(c)

其中，σ²是方差正态分布g(x)的方差；

对于半饱和和全饱和系统，首选采用公式(c)进行预测，得到正态分布g(x)，采用同等面积的梯形S₁来替代CPU利用率大于100％的S₂，即CPU利用率的概率分布由S₁，S₃和S₄组成，其中，τ为一个自定义的临界值，即CPU利用率大于此值时系统饱和，CPU利用率的概率分布函数可以表达为：

公式(d)

其中，h可通过求解以下方程组得到：

1-S₄＝S₁+S₃

$S_4={\∫}_{x=0}^{\mathrm{\τ}}g\left(x\right)dx$

$S_1+S_3=\frac{g\left(\mathrm{\τ}\right)+h}{2}(1-\mathrm{\τ})$

其中，S₁，S₂，S₃和S₄分别为正态分布g(x)中各个部分的面积。

13)将突发性负载产生的CPU使用情况看作是两个状态下CPU概率密度函数的叠加步骤：采用以下公式进行预测：

f(x)＝Ff_b(x)+(1-F)f_n(x)公式(e)

其中，F是突发负载发生频率，f_b(x)为突发状态下CPU概率密度函数，而f_n(x)为非突发状态下CPU概率密度函数。