CN111488200A - 一种基于动态分析模型的虚拟机资源使用率分析方法 - Google Patents

Abstract

本发明涉及一种基于动态分析模型的虚拟机资源使用率分析方法，包括:a.采集CPU和内存瞬时资源使用率；b.根据瞬时资源使用率求出当前动态权重比值；c.根据当前资源使用率和动态预测算法求出未来资源使用率；c.根据未来资源使用率求出未来动态权重比值；d.根据主机的服务类型标签与实现约定服务类型的基础权重，得到基础权重比值；e.根据当前动态权重比值，未来动态权重比值和基础权重比值求出当前资源使用率分析值和未来资源使用率分析值。本发明能反映资源消耗的真实情况，帮助系统管理员更好的了解系统资源使用情况、及时处理或下线服务器，较好的规避系统因为资源不足而产生的风险。

Description

一种基于动态分析模型的虚拟机资源使用率分析方法

技术领域

本发明涉及对计算机参数进行数据处理，特别是涉及一种基于动态分析模型的虚拟机资源使用率分析方法。

背景技术

在服务器资源管理方面，经常需要对系统的CPU资源或者内存资源的使用情况进行统计，根据统计结果，对系统资源作出相应的调整，从而更好地监控、管理和合理利用系统资源。

目前，对服务主机的资源使用率统计的方式通常是每隔一固定时间采集系统资源使用率的瞬时值，利用平均值算法计算当前系统资源使用率。例如已公开的中国专利申请“一种系统资源使用率的统计方法和系统”（201710872932.9），就是分别采集当前的各项系统资源使用率的瞬时值，再通过加权平均来计算系统资源使用率来进行统计的。

在上述方案中，由于是分别采集各项系统资源的使用率，因而无法整体描述系统资源使用情况，存在整体资源使用评价失真的情况；另外，该方案使用加权平均，对于系统本身不同类型的可用资源分配的多少缺乏权重计算，存在某一类型资源分配比较多（少）、使用率高（少），另一类型资源分配少（多）、使用率低（高）、加权平均之后得到系统资源率偏低，不能反映整体资源使用率应该较高的实际情况。因此，目前对系统资源使用率分析的方法具有明显的不足，使得分析结果与实际情况可能存在较大出入。

发明内容

本发明提供一种对服务器整体资源的使用的分析方法，并且可以动态计算不同资源类型权重来更加贴合实际资源使用情况给出相应的总体分析。

本发明基于动态分析模型的虚拟机资源使用率分析方法，包括：

a.对主机A进行间隔时间采集瞬时资源使用率，通过克隆系统得到当前一段时间CPU使用率D和内存使用率E，将CPU使用率D、内存使用率 E和主机A的标签对象作为同一条数据存入分析引擎；

b.根据当前一段时间的CPU使用率D和内存使用率E，通过分析引擎计算对应的CPU平均使用率D1和内存平均使用率E1，再通过CPU平均使用率D1和内存平均使用率E1的比值，得到当前动态权重比值G;

c.根据主机A当前一段时间的CPU使用率D和内存使用率E，通过动态预测算法，得到相对应的一段时间的CPU未来使用率J和内存未来使用率K;

d.根据得到的一段时间的CPU未来使用率J和内存未来使用率K,计算出这段时间的CPU未来使用率J的未来使用率均值Jm和这段时间的内存未来使用率K的未来使用率均值Km,再通过所述CPU未来使用率均值Jm和内存未来使用率均值Km的比值，得到未来动态权重比值I;

e.根据主机A的服务类型标签与实现约定服务类型的基础权重，得到基础权重比值F；

f.通过当前动态权重比值G、未来动态权重比值I和基础权重比值F，得到当前资源使用率分析值L，以及未来的资源使用率分析值M。

本发明通过采集CPU和内存使用率，并通过计算使用率的平均值可以得到动态权重比值，能够反映服务器整体资源使用情况，避免了分部分分开统计导致整体使用率失真的情况；并且，通过动态预测算法能够得到CPU和内存未来使用率，从而计算出未来动态权重，能够通过长期资源使用率的情况反映在计算评分之中，帮助系统管理员更好的了解系统资源使用情况、及时处理或下线服务器；并且对未来一段时间进行预测，能够较好的规避系统因为资源不足而产生的风险；同时通过聚类分析引入基础权重，可以根据CPU和内存分配比例调整权重反映消耗资源的真实情况。

进一步的，步骤c包括：根据fbprophet时序预测模型:y(t)=

,其中g(t)表示趋势项,s(t)表示周期或季节项,h(t)表示节假日项,

表示符合高斯分布的误差,根据得出并记录的一段时间的CPU使用率D和内存使用率E作为训练集，分别代入所述的fbprophet时序预测模型进行训练，从而通过该模型分别预测出与CPU使用率D对应的CPU未来使用率J以及与内存使用率 E对应的内存未来使用率K。所述的fbprophet时序预测模型是facebook开源的时序数据预测包，提供了简洁的python和Rapi，可以对时序数据进行预测，也提供了趋势分析功能。

进一步的，步骤f包括：

根据分式形式的当前动态权重比值G,通过（G的分子）/(G的分母+G的分子)得到CPU使用率D的当前动态权重G1，通过(G的分母)/(G的分母+G的分子)得到内存使用率E的当前动态权重G2;

根据分式形式的未来动态权重比值I,通过(I的分子)/(I的分母+I的分子)得到CPU使用率D的未来动态权重I1，通过(I的分母)/(I的分母+I的分子)得到内存使用率E的未来动态权重I2;

根据分式形式的基础权重比值F,通过(F的分子)/(F的分母+F的分子)得到CPU静态初始权重F1，通过(F的分母)/(F的分母+F的分子)得到内存静态初始权重F2；

通过公式G1×F1×D + G2×F2×E，得到当前的资源使用率分析值L；

通过公式I1×F1×D + I2×F2×E，得到未来的资源使用率分析值M。

本发明基于动态分析模型的虚拟机资源使用率分析方法，能够从整体上反映服务器资源使用情况，避免了各个部分分开统计导致整体使用率失真的情况；能够帮助系统管理员更好的了解系统资源使用情况，并且对未来一段时间进行预测，能够较好的规避系统因为资源不足而产生的风险。

以下结合实施例的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。在不脱离本发明上述技术思想情况下，根据本领域普通技术知识和惯用手段做出的各种替换或变更，均应包括在本发明的范围内。

附图说明

图1为本发明一种基于动态分析模型的虚拟机资源使用率分析方法的流程图。

图2为未引入动态权重时的资源使用率评分折线图。

图3为引入动态权重之后的资源使用率得分情况折线图。

具体实施方式

如图1所示本发明的流程图，包括步骤：

a.对主机A进行间隔时间采集瞬时资源使用率，通过克隆系统得到当前一段时间CPU使用率D和内存使用率E，将CPU使用率D、内存使用率 E和主机A的标签对象作为同一条数据存入分析引擎；

a1. 通过Linux中的vmstat命令获取CPU使用率D；

a2. 通过Linux中的free命令获取内存使用率E；

a3. 将D、E与A的标签对象作为一条数据存入全文检索和分析引擎elasticsearch.

b.根据当前一段时间的CPU使用率D和内存使用率E，通过分析引擎计算对应的CPU平均使用率D1和内存平均使用率E1，再通过CPU平均使用率D1和内存平均使用率E1的比值，得到当前动态权重比值G;

b1. 从elasticsearch中求取平均值方法，获取D、E当前一段时间的平均使用率D1、E1;

b2. 将D1/E1，得到平均动态权重G；

c.根据主机A当前一段时间的CPU使用率D和内存使用率E，通过动态预测算法，得到相对应的一段时间的CPU未来使用率J和内存未来使用率K;

c1. fbprophet时序预测模型:

y(t) =

g(t)：用于拟合时间序列中的分段线性增长或逻辑增长等非周期变化。

其中t表示时间变量；k表示初始曲线增长率；δ表示增长率变化量；a(t)是一个指示函数为{0,1}；m表示偏移量；

表示a(t)的转置;

表示-δjSj：假设有S个变点，变点位置是在时间戳Sj,1<=j<= S，δj表示在时间戳Sj上的增长率的变化量，–δjSj是为了让这个函数连续。

s(t)：周期变化（如：每周/每年的季节性）。

其中P为周期序列,表示时间序列周期，N和P有关，一般P=365.25的时候年周期时为N=10； P=7的时候, 周周期时为N=3;

,

是由模型内部参数seasonality_prior_scale决定的符合正太分布的一组参数估计值。

h(t)：非规律性的节假日效应（用户造成）。

其中L表示有L个节假日；Ki表示节假日的影响范围，默认值设为10，值越大，表示节假日对模型的影像越大；Di表示节假日的前后一段时间；t表示时间的变量;

：误差项用来反映未在模型中体现的异常变动;

c2.根据一段时间得出并记录的D、E历史数据作为训练集，分别代入fbprophet模型进行训练，从而通过模型分别预测未来时间的D、E值，用J，K表示;

d.根据得到的一段时间的CPU未来使用率J和内存未来使用率K,计算出这段时间的CPU未来使用率J的未来使用率均值Jm和这段时间的内存未来使用率K的未来使用率均值Km,再通过所述CPU未来使用率均值Jm和内存未来使用率均值Km的比值，得到未来动态权重比值I;

e.根据主机A的服务类型标签与实现约定服务类型的基础权重，得到基础权重比值F；

f.通过当前动态权重比值G、未来动态权重比值I和基础权重比值F，得到当前资源使用率分析值L，以及未来的资源使用率分析值M。

f1. 根据分式形式的当前动态权重比值G,通过（G的分子）/(G的分母+G的分子)得到CPU使用率D的当前动态权重G1，通过(G的分母)/(G的分母+G的分子)得到内存使用率E的当前动态权重G2;

f2.根据分式形式的未来动态权重比值I,通过(I的分子)/(I的分母+I的分子)得到CPU使用率D的未来动态权重I1，通过(I的分母)/(I的分母+I的分子)得到内存使用率E的未来动态权重I2;

f3.根据分式形式的基础权重比值F,通过(F的分子)/(F的分母+F的分子)得到CPU静态初始权重F1，通过(F的分母)/(F的分母+F的分子)得到内存静态初始权重F2；

f4.通过公式G1×F1×D + G2×F2×E，得到当前的资源使用率分析值L；

f5.通过公式I1×F1×D + I2×F2×E，得到未来的资源使用率分析值M。

本发明通过采集CPU和内存使用率，并通过计算使用率的平均值可以得到动态权重比值，能够反映服务器整体资源使用情况，避免了分部分分开统计导致整体使用率失真的情况；并且，通过动态预测算法能够得到CPU和内存未来使用率，从而计算出未来动态权重，能够通过长期资源使用率的情况反映在计算评分之中，帮助系统管理员更好的了解系统资源使用情况、及时处理或下线服务器；并且对未来一段时间进行预测，能够较好的规避系统因为资源不足而产生的风险；同时通过聚类分析引入基础权重，可以根据CPU和内存分配比例调整权重反映消耗资源的真实情况。

如图2未引入动态权重时的资源使用率评分折线图所示，在未引入动态权重时资源使用率的整体评分偏低，但是实际上内存使用率已经到达65%；

如图3引入动态权重之后的资源使用率得分情况折线图所示，在引入动态权重后资源使用率的得分整体在50-60分左右，且能够对后面5天的资源使用率做一个范围预测。

Claims (4)

1.一种基于动态分析模型的虚拟机资源使用率分析方法，其特征包括：

a.对主机A进行间隔时间采集瞬时资源使用率，通过克隆系统得到当前一段时间CPU使用率D和内存使用率E，将CPU使用率D、内存使用率 E和主机A的标签对象作为同一条数据存入分析引擎；

b.根据当前一段时间的CPU使用率D和内存使用率E，通过分析引擎计算对应的CPU平均使用率D1和内存平均使用率E1，再通过CPU平均使用率D1和内存平均使用率E1的比值，得到当前动态权重比值G;

c.根据主机A当前一段时间的CPU使用率D和内存使用率E，通过动态预测算法，得到相对应的一段时间的CPU未来使用率J和内存未来使用率K;

d.根据得到的一段时间的CPU未来使用率J和内存未来使用率K,计算出这段时间的CPU未来使用率J的未来使用率均值Jm和这段时间的内存未来使用率K的未来使用率均值Km,再通过所述CPU未来使用率均值Jm和内存未来使用率均值Km的比值，得到未来动态权重比值I;

e.根据主机A的服务类型标签与实现约定服务类型的基础权重，得到基础权重比值F；

f.通过当前动态权重比值G、未来动态权重比值I和基础权重比值F，得到当前资源使用率分析值L，以及未来的资源使用率分析值M。

2.如权利要求1所述的一种基于动态分析模型的虚拟机资源使用率分析方法，其特征为：步骤a中所述通过克隆系统得到CPU使用率D和内存使用率E包括：通过克隆系统Linux中的vmstat命令获取所述的CPU使用率D，通过克隆系统Linux中的free命令获得所述的内存使用率E。

3.如权利要求1所述的一种基于动态分析模型的虚拟机资源使用率分析方法，其特征为：步骤c中所述的动态预测算法得到CPU未来使用率J和内存未来使用率K包括：根据fbprophet时序预测模型:y(t)=

,其中g(t)表示趋势项,s(t)表示周期或季节项,h(t)表示节假日项,

表示符合高斯分布的误差,根据得出并记录的一段时间的CPU使用率D和内存使用率E作为训练集，分别代入所述的fbprophet时序预测模型进行训练，从而通过该模型分别预测出与CPU使用率D对应的CPU未来使用率J以及与内存使用率 E对应的内存未来使用率K。

4.如权利要求1所述的一种基于动态分析模型的虚拟机资源使用率分析方法，其特征为：步骤 f包括：

根据分式形式的当前动态权重比值G,通过（G的分子）/(G的分母+G的分子)得到CPU使用率D的当前动态权重G1，通过(G的分母)/(G的分母+G的分子)得到内存使用率E的当前动态权重G2;

根据分式形式的未来动态权重比值I,通过(I的分子)/(I的分母+I的分子)得到CPU使用率D的未来动态权重I1，通过(I的分母)/(I的分母+I的分子)得到内存使用率E的未来动态权重I2;

根据分式形式的基础权重比值F,通过(F的分子)/(F的分母+F的分子)得到CPU静态初始权重F1，通过(F的分母)/(F的分母+F的分子)得到内存静态初始权重F2；

通过公式G1×F1×D + G2×F2×E，得到当前的资源使用率分析值L；

通过公式I1×F1×D + I2×F2×E，得到未来的资源使用率分析值M。

Images