CN110275773B - 基于真实数据模型拟合的Paas资源循环利用指标系统 - Google Patents

Abstract

本发明公开了基于真实数据模型拟合的Paas资源循环利用指标系统。包括：指标组合模块，用于选取指标对象，并将指标对象的数据建模拟合，得到指标组合变量关系拟合方程；场景分类模块，用于将目标场景拟真测试数据的回归曲线对真实拟合模型进行二次拟合，得到目标场景的阈值矩阵；指导方法模块，依据阈值矩阵得到的阈值集合及判断标准，判定、区分及归类资源使用情况，形成引导私有云资源被回收，被再分配的指导方法。本系统提供了具有实践价值的指导方法，形成了标准、完整的Paas资源循环利用指标系统。

Description

基于真实数据模型拟合的Paas资源循环利用指标系统

技术领域

本发明属于云计算技术领域，更具体地，涉及基于真实数据模型拟合的Paas资源循环利用指标系统。

背景技术

私有云Paas资源的循环利用，涉及资源的回收及周转，而资源的使用情况是指引回收及周转动作的关键标准。资源的使用情况包含一系列的指标对象以及界定标准，以何种方式去区分、判定、组合以及使用“资源指标”，来引导我们在什么样的情况下回收，又该在什么样的情况下再分配，这是Paas资源循环利用的关键。

现有的资源循环利用手段的依据标准，仅通过“技术经验”来判断CPU、内存等计算资源的使用阈值，然后经过资源供需双方对富余资源的沟通认可，产生非标准化清单后，约定进行资源的回收与周转。

由于现有Paas资源循环利用标准指标系统的缺乏，在庞大的私有云规模背景下，会存在以下问题：

(一)缺少有效、确凿的数据事实，资源供需双方在CPU、内存等资源的使用判断上各执一词。由资源供给方即IT部门依据专业“技术经验”而判断的阈值指标，缺乏严谨缜密的真实场景建模及推导演算，难以成为实际标准。

(二)缺乏规范、一致、完整的数据依据系统，来指导私有云资源回收再分配。各项指标相对独立、不够精确，阈值范围与目标场景结合不紧密，指标规则不一致，系统方法不完整。在长远意义上无法解决资源使用信息不对称难点，无法形成常态化资源循环利用规则，最终造成资源回收周期长，难度大，资源周转效率低等长期的、影响较深远的困难。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供基于真实数据模型拟合的Paas资源循环利用指标系统，其目的在于从“资源指标”及“低效资源类型”出发，以数据拟合原理为指导思想，通过数学建模分析演绎Paas资源循环利用指标系统的建立，解决缺乏规范完整的数据依据，资源回收周期长，难度大，资源周转效率低的问题。

为实现上述目的，按照本发明的一个方面，提供了基于真实数据模型拟合的Paas资源循环利用指标系统，包括：

指标组合模块，所述指标组合模块用于选取指标对象，并将指标对象的数据建模拟合，得到指标组合变量关系拟合方程；

场景分类模块，所述场景分类模块用于将目标场景拟真测试数据的回归曲线对真实拟合模型进行二次拟合，得到目标场景的阈值矩阵；

指导方法模块，所述指导方法模块依据阈值矩阵得到的阈值集合及判断标准，判定、区分及归类资源使用情况，形成引导私有云资源被回收，被再分配的指导方法。

根据本发明实施例，所述指标对象，通过真实数据及拟真测试数据趋势曲线，论证选取“CPU峰值”及“计算内存平均使用率”为指标对象。

根据本发明实施例，所述指标组合变量关系拟合方程，利用最小二乘法原理及方法，基于真实数据模型进行数据拟合，得到描述因变量y“VM资源利用度”与自变量x₁“CPU峰值”、x₂“计算内存平均使用率”之间关系的拟合方程：

根据本发明实施例，所述场景分类包括Paas资源回收、Paas资源周转，

所述Paas资源回收包括闲置资源、富余资源；

当阈值CPU峰值小于等于5％，计算内存平均使用率小于等于5％，判定为闲置资源，整台VM回收；

当阈值CPU峰值范围5％至20％，20％为达标点，计算内存平均使用率10％至50％，50％为达标点，判定为富余资源，资源低效部分进行回收，直至VM资源使用率达到达标点，保证资源充分利用；

所述Paas资源周转，当阈值CPU峰值超过20％，计算内存平均使用率超过50％，重新分配资源给VM，直至VM资源使用率返回达标点，满足资源需求方法的需求。

根据本发明实施例，所述系统还包括算法自我优化校准模块，用于校准拟合本身存在的误差，在不断更新的真实数据的收集过程中完成数据模型拟合的优化更新，为指标系统提供最优的数据模型基础。。

根据最小二乘法拟合原理及方法，可以在指标组合中加入更多的自变量资源使用指标，扩大资源回收利用的覆盖面，完善资源指标阈值矩阵，逐步解决一些难点的资源对象比如磁盘使用率。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于提供了基于真实数据模型拟合的Paas资源循环利用指标系统，能够取得下列有益效果：

(1)以经过论证的更为准确的指标对象作为更科学可靠的数据事实对象。通过真实数据及拟真测试数据趋势曲线论证，摒弃了以往的“CPU均值”及“内存平均使用率”指标，确定了能更准确反应资源使用情况的“CPU峰值”及“计算内存平均使用率”指标对象。

(2)通过真实数据拟合演绎得到回归方程，描述“VM资源利用度”与“CPU峰值”、“计算内存平均使用率”之间的函数关系事实，使得Paas资源的回收及周转拥有更为确实有效的数学依据。严谨缜密有效的数学方法，由真实数据而产生的数据模型事实，是比以往的“经验判断”和“印象总结”更为科学更为有力的一种论证方法。

(3)利用“拟合优度”原理，解得目标场景阈值矩阵，并且以之为基础，形成Paas资源“低效利用”各场景的指导方法。本系统不仅提供了有效的数据事实和科学的数学依据，更提供了具有实践价值的指导方法，形成了经过科学校验后的一致、可靠、标准、完整的Paas资源循环利用指标系统。

附图说明

图1是基于真实数据模型拟合的Paas资源循环利用指标系统结构图。

图2是生产主机CPU峰值与CPU均值数组曲线趋势图。

图3是20台VM分为A、B两组、两种场景下数组曲线趋势图。

图4是y与x₁散点图。

图5是y与x₁ ²散点图。

图6是y与x₂散点图。

图7是y与x₂ ²散点图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，基于真实数据模型拟合的Paas资源循环利用指标系统，包括：

指标组合模块，所述指标组合模块用于选取指标对象，并将指标对象的数据建模拟合，得到指标组合变量关系拟合方程；

场景分类模块，所述场景分类模块用于将目标场景拟真测试数据的回归曲线对真实拟合模型进行二次拟合，得到目标场景的阈值矩阵；

指导方法模块，所述指导方法模块依据阈值矩阵得到的阈值集合及判断标准，判定、区分及归类资源使用情况，形成引导私有云资源被回收，被再分配的指导方法。

(1)指标对象。通过真实数据及拟真测试数据趋势曲线，论证选取更为准确的“CPU峰值”及“计算内存平均使用率”指标对象；

(2)指标组合变量关系拟合方程。利用最小二乘法原理及方法，基于真实数据模型进行数据拟合，得到描述因变量y“VM资源利用度”与自变量x1“CPU峰值”、x2“计算内存平均使用率”之间确切关系的拟合方程：

(3)结合场景分类的阈值矩阵。利用“拟合优度”公式原理，将目标场景拟真测试数据的回归曲线对真实拟合模型进行二次拟合，得到目标场景的阈值矩阵；

(4)在完整的指标阈值内容的基础上，赋予指标系统判定、区分及归类资源使用情况的能力，形成引导私有云资源在正确的条件下被回收，在合适的情况下被再分配的完整的指导方法如下：

所述场景分类包括Paas资源回收、Paas资源周转，

所述Paas资源回收包括闲置资源、富余资源；

当阈值CPU峰值小于等于5％，计算内存平均使用率小于等于5％，判定为闲置资源，整台VM回收；

当阈值CPU峰值范围5％至20％，20％为达标点，计算内存平均使用率10％至50％，50％为达标点，判定为富余资源，资源低效部分进行回收，直至VM资源使用率达到达标点，保证资源充分利用；

所述Paas资源周转，当阈值CPU峰值超过20％，计算内存平均使用率超过50％，重新分配资源给VM，直至VM资源使用率返回达标点，满足资源需求方法的需求。

基于真实数据模型拟合的Paas资源循环利用指标系统数据模型演绎及系统实践研究过程如下：

私有云Paas资源的循环利用，涉及资源的回收及周转，而资源的使用情况是指引回收及周转动作的关键标准。资源的使用情况包含一系列的指标对象以及界定标准，以何种方式去区分、判定、组合以及使用“资源指标”，来引导我们在什么样的情况下回收，又该在什么样的情况下再分配，这是Paas资源循环利用的关键。

通常，按照私有云资源需求方/使用方资源利用的低效程度，我们将需要回收的资源基本分为两类：一类是较长时间未被使用的整台VM(虚拟机，私有云基础对象中最小单元)——“闲置资源”，一类是被VM占有却未被高效利用的“富余资源”。如何界定它们的区间也是资源循环利用的难点之一。

一、指标对象，数据建模对象的选取

1.CPU峰值

与CPU相关的指标一般包括CPU均值、CPU峰值两种，在考虑VM CPU资源使用效率时，结合CPU在资源消耗中相对较低的特征，以CPU均值衡量使用效率有失偏颇。

我们选取了一组正在处理生产A类业务的主机一个月(30天)内的CPU峰值、CPU均值数据，数组如下：

{(xi,yi,zi),i＝1,2,3…30}(y为CPU峰值，z为CPU均值)

数组曲线趋势如图2。

avg(zi)＝1.373；CPU月均值仅为1.373；

max(zi)＝3.4；CPU均值最高仅为3.4；

max(yi)＝{(x6＝6)y6＝21.2；(x19＝19)y19＝16.7；(x26＝6)y26＝13.4}；

而实际上此组主机的CPU资源使用率根据应用程序运算负荷的变化而变化，在一个月内出现3次使用高峰，分别在第6天、第19天以及第26天时，峰值分别为21.2、16.7以及13.4，均显式地不同于CPU均值指标，但实际上更精准。

由“CPU峰值”这组数据所表达出来的资源使用场景更准确，更基于事实。

2.计算内存平均使用率

大多数私有云资源监控指标会将内存使用率排在前列，但根据实际数据推演，我们发现“计算内存使用率”是更准确反应VM内存资源使用情况的指标对象。

我们选择在相同的虚拟化平台上，批量创建20台相同配置的VM，在其上部署、加载、运行相同的应用程序。该应用程序主要包含两个部分，一是涉及读取文件data，二是涉及执行程序代码。

这两种类型的工作正好对应两种不同的内存类型，“频繁读取文件data”会使内核选择将这部分data放入内存，节省开销，提高性能，这部分内存用来存放文件缓存，叫做“非计算内存”。而执行程序代码会使内存中工作段和永久段可执行文件部分增加，这部分内存叫做“计算内存”。

我们将20台VM分为A、B两组，每组10台，均运行相同的应用程序，但运行的方式不同：

A组VM加载应用程序只涉及执行代码部分，并通过操作调整，使内存平均使用率一直稳定在80％左右；

B组VM加载应用程序只涉及读取文件data部分，但在内存平均使用率达到80％一段时间后，模拟资源浪费场景，大幅度减缓应用程序对VM的压力，程序仅保持在最低消耗挂起。

根据以上两种场景取数组如下：

{(xi,yi,zi),i＝1,2,3…20}(y为计算内存均值，z为内存均值)

数组曲线趋势如图3：

内存平均使用率(％)：

A组：zi(i＝1,2,3…10)＝81.5±1.5

B组：zi(i＝11,12,13…20)＝81.5±1.5

计算内存平均使用率(％)：

A组：avg{yi(i＝1,2,3…10)}＝71.9

B组：avg{yi(i＝11,12,13…20)}＝31.5

在“内存平均使用率”始终相近的情况下，A组——一直保持应用程序压力运行的VM，计算内存平均使用率71.9％；

而B组在应用程序挂起后，VM几近处于空闲状态，内存平均使用率却出现一直处在81.5％左右的“假象”，计算内存平均使用率仅31.5％，比真正在使用内存资源的A组VM的计算内存平均使用率低一半。

因此，在以上拟真测试数据的推演下，我们可以发现使用“计算内存平均使用率”更加科学、可靠，更能表达VM对内存资源的使用情况。

二、指标系统，基于真实数据模型拟合的数学体系

在已知“VM资源利用度”与“CPU峰值”、“计算内存平均使用率”间存在关联的情况下，我们期望利用一种数据拟合的数学方法，找到一个有预期和实践价值的数式与真实数据吻合，并且能确切反应三个变量之间的参数关系。而且在此基础上，通过目标场景拟合模型与真实拟合模型的比对，以科学的方式，找到包括“闲置资源回收指标阈值”和“富余资源回收指标阈值”在内的指示区间，建立经过科学校验后的一致、可靠、标准、完整的Paas资源循环利用指标系统。

1.数组样本

根据指标对象即数据建模对象，采集真实场景数组数据如下：

{(x1i,x1i2,x2i,x2i2,yi),i＝1,2,3…13}

(x₁为CPU峰值，x₁ ²为CPU峰值的平方，x₂为计算内存平均使用率，x₂ ²为计算内存平均使用率的平方，y_i为VM资源利用度)

2.散点图

y与x₁散点图如图4。

y与x₁ ²散点图如图5。

y与x₂散点图如图6。

y与x₂ ²散点图如图7。

3.利用最小二乘法原理作拟合

根据散点图，近似于二次非线性函数，设其数学模型估算表达式为：

yi＝a+b₁x_1i+b₂x_1i ²+b₃x_2i+b₄x_2i ²①

根据最小二乘法原理，核心目标就是最小化实际数据y_j与计算预测值y_i的离差平方和θ，设：

θ＝∑(y_i-y_j)²②

将①式代入②：

θ＝∑(y_i-a-b₁x_1i-b₂x_1i ²-b₃x_2i-b₄x_2i ²)²③

当θ最小时，对等式右边数组{(a,bi),i＝1,2,3,4}求偏导数，令偏导为0：

简化：

表示成矩阵：

则：

解得{(a,bi),i＝1,2,3,4}以θ为变量的函数的极值点，矩阵运算结果为：

将系数矩阵带入①可得本例拟合模型④：

y＝0.00597-0.8775x<sub>1</sub>+3.3434x<sub>1</sub><sup>2</sup>+2.1641x<sub>2</sub>-1.6861x<sub>2</sub><sup>2</sup>

其他演算值：

拟合优度(R Square)为：

R2＝0.99637

拟合优度非常接近1，表明自变量x解释因变量y的变差程度接近100％，因变量y的拟合效果很好。因此，该拟合模型能够精准的表达“VM资源利用度”(y)与“CPU峰值”(x1)、“计算内存平均使用率”(x2)间的非线性关系。

4.模拟“闲置资源”和“富余资源”场景

拟真测试在以下条件下进行：虚拟化平台相同，VM配置相同，所采取的测试应用程序相同。

A组：10台VM保持闲置，采集其资源使用数组如下：

{(x_1n,x_1n ²,x_2n,x_2n ²,yn),n＝1,2,3…10}

(x_n为CPU峰值，x_n ²为CPU峰值的平方，x_n为计算内存平均使用率，x_n ²为计算内存平均使用率的平方，y_n为VM资源利用度)

B组：10台VM以低负荷姿态运行应用程序，模拟部分浪费资源场景，包括：数据IO任务量较全负荷情况随机减10％-70％不等，可执行工作段量较全负荷情况随机减10％-70％不等，采集其资源使用数组如下：

{(x_1m,x_1m ²,x_2m,x_2m ²,y_m),m＝1,2,3…10}

(x_m为CPU峰值，x_m ²为CPU峰值的平方，x_m为计算内存平均使用率，x_m ²为计算内存平均使用率的平方，y_m为VM资源利用度)

5.目标场景数据拟合

同样利用最小二乘法原理，对A、B组拟真测试数据进行拟合。所采用方法与上述第3小点里拟合方法一样，因此过程不再赘述，结果如下：

A组系数矩阵：

	Coefficients
		a	-0.066335846
b<sub>1</sub>	2.489388508
		b<sub>2</sub>	-38.08837015
b<sub>3</sub>	1.877934714
		b<sub>4</sub>	3.136460697

A组回归方程⑤：

y_n＝-0.0663+2.4894x_1n-38.0883x_1n ²+1.877x_2n+3.1365x_2n ²

B组系数矩阵：

	Coefficients
		a	-0.462915867
b<sub>1</sub>	4.852061719
		b<sub>2</sub>	-11.00845032
b<sub>3</sub>	1.844969637
		b<sub>4</sub>	-1.478158116

B组回归方程⑥：

y_m＝-0.4629+4.852x_1m-11x_1m ²+1.845x_2m-1.478x_2m ²

6.目标场景拟合模型与真实数据拟合模型比对及结论

拟合模型中通常采用拟合优度(R²)来解释回归方程对实测数据的拟合程度：

利用拟合优度的原理，我们将A、B组目标场景的拟合模型预测值作为真实拟合模型的观察值y_actual，让拟合优度去评价目标场景观察值与真实拟合模型的拟合度，找到最贴近(即R²接近1)真实拟合模型的相应目标场景的CPU峰值(x₁)、计算内存平均使用率(x₂)、VM资源利用度(y)的数组区间，以此为基础，建立起经过科学检验的，能够精准描述目标场景的指标系统。

本例运用拟合优度如下⑦：

A组(闲置资源场景)——

回归方程④(y)和⑤(y_n)和带入⑦，设拟合度最高情况R²＝1：

可得：

解得：

与真实拟合模型拟合度最好的目标场景(闲置资源)拟合方程各变量取值区段：

根据上解，结合A组场景设定，可知当VM的“CPU峰值”小于等于5％，且“计算内存平均使用率”小于等于10％时，该VM因为资源需求方/使用方长时间的不使用而处于“废弃”状态，现定义为“闲置资源”，需要被整台回收。

B组(富余资源场景)——

回归方程④(y)和⑥(y_m)和带入⑦，同样的方法解得：

变量	说明	区间
			X<sub>1m</sub>	CPU峰值	[0.05,0.2]
X<sub>1m</sub><sup>2</sup>	CPU峰值的平方	[0.0025,0.04]
			X<sub>2m</sub>	计算内存平均使用率	[0.1,0.5]
X<sub>2m</sub><sup>2</sup>	计算内存平均使用率的平方	[0.01,0.25]
			Ym	VM资源利用度	[0.2,0.6]

与真实拟合模型拟合度最好的目标场景(富余资源)拟合方程各变量取值区段：

根据上解，结合B组场景设定，可知当VM的“CPU峰值”在5％～20％之间(不包含两个端点)，且“计算内存平均使用率”在10％～50％之间(不包含两个端点)时，该VM的资源处于“低效利用”状态，需回收低效率部分资源，保证资源被充分利用，需要回收的部分被定义为“富余资源”。

结合场景分类的阈值矩阵及指导方法可表达为：

本发明围绕“闲置资源”及“富余资源”两大“低效资源类型”，结合“CPU峰值”、“计算内存平均使用率”及其组合指标变量，利用最小二乘法原理及方法，在基于数学建模的两次拟合下，求得符合目标场景的组合解，将其作为资源使用指标系统的核心组件；并以科学的完整的指标阈值为内容，一致的、标准化的指标规则为指引，赋予指标系统判定、区分及归类资源使用情况的能力，引导私有云资源在正确的条件下被回收，在合适的情况下被再分配，实现Paas资源的高效、精准、系统地循环利用。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.基于真实数据模型拟合的Paas资源循环利用指标系统，其特征在于，所述Paas资源为私有云Paas资源，所述私有云Paas资源的循环利用涉及资源的回收及周转，所述私有云Paas资源回收包括闲置资源、富余资源；

所述闲置资源是较长时间未被使用的整台虚拟机的闲置资源，所述富余资源是被虚拟机占有却未被高效利用的富余资源；

所述虚拟机为私有云基础对象中最小单元；

所述系统包括：

指标组合模块，所述指标组合模块用于选取指标对象，并将指标对象的数据建模拟合，得到指标组合变量关系拟合方程；

所述指标对象，通过真实数据及拟真测试数据趋势曲线，论证选取“CPU峰值”及“计算内存平均使用率”为指标对象；

所述指标组合变量关系拟合方程，利用最小二乘法原理及方法，基于真实数据模型进行数据拟合，得到描述因变量y“VM资源利用度”与自变量x₁“CPU峰值”、x₂“计算内存平均使用率”之间关系的拟合方程：

y＝0.00597-0.8775x₁+3.3434x₁ ²+2.1641x₂-1.6861x₂ ²；

场景分类模块，所述场景分类模块用于将目标场景拟真测试数据的回归曲线对真实拟合模型进行二次拟合，得到目标场景的阈值矩阵；所述场景分类包括Paas资源回收、Paas资源周转；

拟合模型中采用拟合优度R²来解释回归方程对实测数据的拟合程度，拟合优度R²公式如下：

式中：y_norm即y_n或y_m，为闲置资源场景数组回归方程或富余资源场景数组回归方程；

y_avg为拟合优度中用来评价拟合度的回归均方；

指导方法模块，所述指导方法模块依据阈值矩阵得到的阈值集合及判断标准，判定、区分及归类资源使用情况，形成引导私有云资源被回收，被再分配的指导方法。

2.根据权利要求1所述的基于真实数据模型拟合的Paas资源循环利用指标系统，其特征在于，

当阈值CPU峰值小于等于5％，计算内存平均使用率小于等于10％，判定为闲置资源，整台VM回收；

当阈值CPU峰值范围5％至20％，20％为达标点，计算内存平均使用率10％至50％，50％为达标点，判定为富余资源，资源低效部分进行回收，直至VM资源使用率达到达标点，保证资源充分利用；

所述Paas资源周转，当阈值CPU峰值超过20％，计算内存平均使用率超过50％，重新分配资源给VM，直至VM资源使用率返回达标点，满足资源需求方法的需求。

3.根据权利要求1所述的基于真实数据模型拟合的Paas资源循环利用指标系统，其特征在于，还包括算法自我优化校准模块，用于校准拟合本身存在的误差，在不断更新的真实数据的收集过程中完成数据模型拟合的优化更新。

Images