CN105677538A - 一种基于故障预测的云计算系统自适应监测方法 - Google Patents

Abstract

发明涉及一种基于故障预测的云计算系统自适应监测方法。采用主成分分析技术计算监测数据的特征向量以刻画系统运行状态，通过计算当前与历史监测数据的特征向量的偏差来评估系统异常程度。当被监测系统异常程度较高时，缩短监测周期以密切跟踪被监测系统运行状态，从而提高错误预测与检测的准确性和及时性。反之，当被监测系统异常程度较低时，延长监测周期，从而降低监测开销。

Description

一种基于故障预测的云计算系统自适应监测方法

技术领域

本发明涉及云计算系统的监测方法，尤其涉及一种基于云计算系统异常程度评估的监测周期动态调整方法，属于软件技术领域。

背景技术

云计算系统规模巨大、结构复杂，监测系统需要从众多节点上收集多个层次(如，网络层、硬件层、虚拟机层、操作系统层、中间件层、应用软件层)各种资源的监测数据，以持续跟踪云计算系统的运行状态。然而，收集与处理大量监测数据将会带来巨大资源开销，从而影响系统性能。因此，商业监测系统只支持固定的监测周期(如，每分钟进行一次数据收集)，例如亚马逊的CloudWatch(https://aws.amazon.com/cloudwatch/)、IBM的Tivoli、开源监测系统Zabbix(http://www.zabbix.com/)、Ganglia(http://ganglia.sourceforge.net/)。另外，从用户角度考虑，云监测服务的用户需要支付的费用与监测的频率成正比，而监测花费占到了总运行成本的18％。这样就造成了，一方面，管理员和用户希望降低监测频率(即，单位时间内的监测次数)以减少开销和降低成本。另一方面，错误可能在连续监测的时间间隔内发生，低监测频率减少了定位问题的可用监测数据量，从而降低了检出问题的可能性和及时性。

云计算系统故障预测方法通常可以分为基于规则和异常检测等两类。基于规则的方法根据历史错误所表现的现象来定义错误出现时可辨别的特征，而后将观察到的现象与已定义的错误特征进行匹配。当匹配成功则检测为错误，发出警报；否则认为系统运行正常(ChenH,JiangG,YoshihiraK,SaxenaA.Invariantsbasedfailurediagnosisindistributedcomputingsystems//Proceedingsofthe29thIEEESymposiumonReliableDistributedSystems.India,2010：160-166)。基于规则的方法由于事先已知错误及其表现，具有较高的准确性和及时性。然而，当错误此前未曾出现，或者错误表现难以刻画为规则，基于规则的方法就不能够识别，因此该方法虽然查准率高，但查全率却较低。同时云环境下应用类型多样、系统层次众多，大量度量需要监测分析，系统管理员难以根据经验人工制定规则。

另一方面，基于异常检测的方法为目标系统建立模型作为基准，将系统行为与基准进行对比。根据对系统内部结构的了解程度，以及监测分析对象的不同，基于异常检测的方法可以分为度量、行为、日志分析等方法。

基于度量分析的方法，不需要了解系统内部结构，通过调用操作系统提供的接口收集监测数据，适用范围广(WangT,ZhangW,Wei.J,ZhongH.Workload-awareonlineanomalydetectioninenterpriseapplicationswithlocaloutlierfactor//ProceedingsoftheIEEE36thAnnualComputerSoftwareandApplicationsConference.Izmir,Turkey,2012：25-34.)。其优势在于，无需事先知道错误类型并描述其特征。然而由于网络环境的动态性与复杂性，建立具有鲁棒性和普适性的基准相当困难，基于异常检测的方法通常具有较高的误报率。同时难以在代码层细粒度检测问题。基于行为分析的方法，通过代码注入等方式收集各组件行为，能够将错误定位到组件或代码片段(SambasivanR,ZhengAX,RosaMD,KrevatE,WhitmanS,StrouckenM.Diagnosingperformancechangesbycomparingrequestflows//Proceedingsofthe8thUSENIXconferenceonNetworkedsystemsdesignandimplementation.Boston,MA,2011：4-17.)。但需要了解应用的内部结构，且细粒度监测开销较高。同时由于不同的应用的处理逻辑不同，需要注入不同的监测点，适应性较差。基于日志分析的方法，通过分析日志信息可以了解一部分系统执行路径(FuQ,LouJG,WangY,LiJ.Executionanomalydetectionindistributedsystemsthroughunstructuredloganalysis//Proceedingsofthe9thIEEEInternationalConferenceonDataMining.Miami,FL,2009：149-158.)。错误预测与检测的准确性取决于日志记录的数量和位置。同时由于需要收集大量的日志文件，从中抽取固定的模式，难以满足在线错误检测的需求。

发明内容

本发明的目的是在保障错误检测及时性和准确性的前提下，如何通过动态调整监测周期以降低系统的监测开销。监测周期是影响系统监测开销与检测准确性的关键，因此本发明根据系统出现错误的可能性适应性动态调整监测周期。

本发明技术解决方案：一种基于故障预测的云计算系统自适应监测方法，其特点在于实现步骤如下：

第一步，监测数据收集；建立滑动窗口的长度为n，收集多度量监测数据为X＝(x₁,x₂,…,x_m)，其中，每次收集的监测数据包括m个度量(运维人员可以根据需要设定m值，m为正整数)，x_i为第i个度量的值,将监测数据按时间先后顺序存入滑动窗口，将滑动窗口中的监测数据组成n行m列矩阵A_nm；

第二步，异常程度评估，具体包括以下步骤：

(1)将A_nm的每一列的数值进行标准化处理，使第j列的数值的集合的均值μ_j＝0，方差σ_j＝1，第i行第j列的数据标准化为z_ij＝(x_ij-μ_j)/σ_j。求出协方差矩阵：其中， ${\mathrm{\σ}}_{ij}^2={\mathrm{\Σ}}_{k=1}^n{z}_{ki}{z}_{kj}/n;$ 计算协方差矩阵∑_A的特征向量u；

(2)新的监测数据x_t到来时，为了放大离群点对主方向改变的影响，将样本复制nr次，其中r∈[0,1]是当前样本的复制次数与当前样本大小的比例，得到更新矩阵： $\tilde{A}=A\∪\{x_t,x_t,\mathrm{...},x_t\};$ 更新矩阵均值和协方差矩阵： $\widetilde{\mathrm{\μ}}=\frac{\mathrm{\μ}+{\mathrm{rx}}_t}{1+r},{\mathrm{\Σ}}_{\tilde{A}}=\frac{Q}{1+r}+\frac{r}{1+r}{x}_t{x}_t^T-\widetilde{\mathrm{\μ}}{\widetilde{\mathrm{\μ}}}^T,$ 计算当前监测数据的特征向量：

(3)使用余弦相似度来计算由步骤(2)得到的原特征向量与由步骤(3)得到的当前特征向量的偏差，以描述当前收集到的监测数据的异常程度：

第三步，监测周期调整。根据由第二步得到的异常程度，调整监测周期为： $T=\left\{\begin{array}{cc}{T}_{\mathrm{\β}},& 0\≤s_t\≤\mathrm{\β}\\ T_{\mathrm{\α}}+1n(1-s_t)/\mathrm{\λ},& \mathrm{\β}\≤s_t\≤\mathrm{\α}\\ T_{\mathrm{\α}},& \mathrm{\α}\≤s_t\≤1\end{array}\right.,$ 其中，T_α、T_β为运维人员根据经验设定的被监测系统的最大、最小监测周期，α、β为运维人员根据经验设定的被监测系统的最小、最大错误概率，λ为运维人员根据经验设定的被监测系统的出现故障的频率。

本发明的原理：采用主成分分析技术计算监测数据的特征向量以刻画系统运行状态，通过计算当前与历史监测数据的特征向量的偏差来评估系统异常程度。当被监测系统异常程度较高时，缩短监测周期以密切跟踪被监测系统运行状态，从而提高错误预测与检测的准确性和及时性。反之，当被监测系统异常程度较低时，延长监测周期，从而降低监测开销。由于在整个系统运行过程中，错误出现的概率相对较少，动态调整监测周期可以减少大量监测开销。

(1)基于PCA的异常评估

主成分分析(PrincipalComponentAnalysis，PCA)，是将m个相关变量通过线性变换形成一组较少个数k(k<m)的无关成分的多元统计分析方法，这k个成分能够表达m个变量所要表达的信息，因而常用来进行高维数据降维。利用PCA可以将多个监测度量抽象为少数几个主成分形成特征向量，将其作为数据分布的方向。如果新监测数据为异常点，则加入该点后特征向量会变化，数据分布方向也会发生偏离，可以根据数据分布方向的偏离程度来衡量当前监测数据的异常程度。

所提出方法的具体步骤：

建立滑动窗口其长度为n，收集到多度量监测数据X＝(x₁,x₂,…,x_m)，其中，x_i为第i个度量，度量数量为m。将监测数据按时间先后顺序存入滑动窗口，将滑动窗口中的监测数据组成n行m列矩阵A_nm；

1)将A_nm的每一列的监测度量值进行标准化处理，使其均值为0，方差为1，z_i＝(x_i-μ_i)/σ_i,其中，μ_i为第i列数据集合的均值，σ_i为第i列数据集合的标准差。

2)求出协方差矩阵其中，x_i和x_j的协方差表现两个变量的相关性。

3)计算∑_A的特征向量，作为数据分布的主方向u。

4)新的监测数据x_t到来时，为了放大离群点对主方向改变的影响，将样本复制nr次，其中r∈[0,1]是当前样本的复制次数与当前样本大小的比例，得到更新矩阵： $\tilde{A}=A\&cup;\{x_t,x_t,\mathrm{...},x_t\}.$

5)更新矩阵平均值和协方差矩阵： $\widetilde{\mathrm{\&mu;}}=\frac{\mathrm{\&mu;}+{\mathrm{rx}}_t}{1+r},{\mathrm{\&Sigma;}}_{\tilde{A}}=\frac{Q}{1+r}+\frac{r}{1+r}{x}_t{x}_t^T-\widetilde{\mathrm{\&mu;}}{\widetilde{\mathrm{\&mu;}}}^T,Q=\frac{{\mathrm{AA}}^T}{n}.$ 更新特征向量主方向：只需要记录上一次的平均值，时间和空间复杂度都变成了O(p)，其中p是样本的维数。

6)使用余弦相似度来度量主方向的改变，以描述新收集监测数据的异常程度： $s_t=1-\left|\frac{<u_t,u>}{\left|\right|u_t\left|\right|\left|\right|u\left|\right|}\right|.$

(2)基于异常程度的监测周期动态调整

系统运行环境处于不断变化过程中，错误代码触发，或者多线程竞争资源等原因，会导致系统出现随机错误，此类错误只与运行环境相关而与运行时间没有关系，那么系统出现这类错误符合泊松(Poisson)过程。因此，采用指数分布来建模预测出现错误的时间点。

随机变量N为在x秒内出现错误的数量，如果系统出现错误的频率为每秒λ次，N符合均值为λ_x的泊松分布：P(X>x)＝P(N＝0)＝e^-λx,x≥0。

X的累积分布函数为：F(x)＝P(X≤x)＝1-e^-λx,x≥0。X是以λ为参数的指数随机变量，表示Poisson过程中的连续出现错误的时间间隔，λ为Poisson过程中单位时间内平均出现错误的次数。由于在泊松过程中，一定时间间隔内出现一定数量错误的概率只与间隔时间长短有关，X的开始时间点的选取与预测错误发生的时间点无关。

设系统出现错误的概率为F(t)＝w，那么可以由此计算出下一次出现错误的时间间隔：t＝-ln(1-w)/λ,x≥0。当前系统的异常程度即为错误概率w_A，由模型可以得到对应需要经历的时间为t_A。设定最小的监测周期T_β，此时系统错误概率为β；最大的监测周期T_α，此时系统错误概率为α。当前错误概率为w_A对应需要经历的时间为t_A，那么由当前状态到达错误概率为α所需要的时间间隔为(T_α-t_A),因此将当前的监测周期调整为：

$T=\left\{\begin{array}{cc}{T}_{\mathrm{\&beta;}},& 0\&le;w_A\&le;\mathrm{\&beta;}\\ T_{\mathrm{\&alpha;}}+ln(1-w_A)/\mathrm{\&lambda;},& \mathrm{\&beta;}<w_A<\mathrm{\&alpha;}\\ T_{\mathrm{\&alpha;}},& \mathrm{\&alpha;}\&le;w_A\&le;1\end{array}\right.,$

对函数进行分析可以得到，监测周期在设定的最大监测周期和最小监测周期之间，随着系统异常程度增加而缩短，并且随着异常程度的加剧监测周期缩短的幅度增加，即异常越严重监测周期缩短的越快，这是期望得到的结果。

下边对于相关参数的设定进行讨论：

1)模型参数λ，为指数分布的数学期望：根据系统出现错误频率的历史数据进行估计。

2)最小监测周期T_β，需要考虑系统允许的监测所带来的最大开销，同时可以基于经验值或由系统当前负载所决定，例如，负载为50个请求每分钟，那么如果监测周期设定为1秒，则不能够得到所期望的监测值。

3)最大监测周期T_α，需要考虑系统检测错误的及时性，例如，若设定α为60％，就意味着在两次监测之间有60％的概率系统已经出现了错误。

本发明与现有技术相比具有如下优点：

(1)能够表现监测度量间的相互关联。采用PCA来计算滑动窗口中数据集特征向量，由于PCA能够反映多个度量相互间存在的关联性，因此可以通过多个度量共同刻画系统的运行状态。

(2)具有较低的计算开销。采用PCA技术计算当前与历史监测数据的特征向量，通过计算特征向量的偏差来评估系统异常程度。每次利用PCA计算特征向量，只需利用上次计算得到的均值与当前监测数据进行增量式计算，因此这种技术具有较低的计算开销，时间复杂度为O(p)，其中，每次收集的监测数据包括多个度量，因此与其他方法相比(如，kNN、LOF)具有更低的时间复杂度，适合在线分析的应用场景。

(3)异常程度量化表示。步骤二使用余弦值来计算原有与当前特征向量的偏差，以描述当前收集到的监测数据的异常程度，而余弦值界于0到1之间。因此方法能够将系统的异常程度量化到[0,1]区间内为基于异常程度进行监测周期的动态调整提供依据。

(4)降低系统监测开销。根据系统的异常程度动态调整监测周期，从而能够以较低的监测开销检测系统存在的问题。

附图说明

图1为本发明方法的实现流程图；

图2为本发明实施例方法的使用环境。

具体实施方式

以下结合具体实施例和附图对本发明进行详细说明。

本发明提出的基于故障预测的云计算系统自适应监测方法，如图1所示包括以下步骤，(1)监测Agent部署在各主机/虚拟机上，以收集主机、虚拟机、容器、中间件以及应用等相关监测数据；(2)从各主机/虚拟机实时收集并存储监测数据；(3)异常程度评估器根据收集到的监测数据计算系统异常程度，(4)根据评估得到的系统运行状态的异常程度调整监测周期。

作为本发明实施例方法的使用环境，如图2所示，物理主机上部署六台Xen虚拟机，其中一台虚拟机部署负载均衡器Nginx，一台虚拟机部署数据库MySQL，三台虚拟机部署Web应用服务器Tomcat，Tomcat上部署Web应用，一台虚拟机部署监测管理服务器。Nginx接收用户的请求，并将其转发到Tomcat以处理用户请求，部署在Tomcat上的Web应用通过MySQL进行数据操作。每台虚拟机上部署一个开源监控软件Zabbix的Agent用以收集监测数据，监测管理服务器从各Agent收集监测数据，在线评估系统异常程度，进而调整各Agent的监测参数(包括，监测对象、监测周期)。本发明所提出的方法在监测管理服务器实现。

本发明实施例方法流程：

(1)将Zabbix的监测Agent部署在虚拟机上，收集CPU利用率、内存占用率、每秒接收网络字节数、磁盘每次传输时间等4个监测度量；

(2)监测周期初始值设定为30秒，滑动窗口大小设定为20，Agent以30秒为周期将收集到的监测数据发送给监测管理服务器，直到滑动窗口满；

(3)当滑动窗口满时，形成20行4列矩阵，计算第j个度量的均值方差 ${\mathrm{\&sigma;}}_{jj}=\sqrt{\frac{1}{20}\&lsqb;{(x_{1j}-{\mathrm{\&mu;}}_j)}^2+{(x_{2j}-{\mathrm{\&mu;}}_j)}^2+\mathrm{...}+{(x_{20j}-{\mathrm{\&mu;}}_j)}^2\&rsqb;},$ 那么，z_ij＝(x_ij-μ_j)/σ_jj；

(4)求得协方差矩阵其中，x_i和x_j的协方差表现两个变量的相关性；

(5)求得矩阵的特征向量，作为数据数据分布的主方向u；

(6)新的监测数据x_t到来时，为了放大离群点对主方向改变的影响，其中n＝20为滑动窗口大小，r＝0.4为当前样本的复制次数与当前样本大小的比例，本发明将样本复制nr＝8次，得到更新矩阵： $\tilde{A}=A\&cup;\{x_t,x_t,\mathrm{...},x_t\};$

(7)更新矩阵平均值和协方差矩阵： $\widetilde{\mathrm{\&mu;}}=\frac{\mathrm{\&mu;}+{\mathrm{rx}}_t}{1+r},{\mathrm{\&Sigma;}}_{\tilde{A}}=\frac{Q}{1+r}+\frac{r}{1+r}{x}_t{x}_t^T-\widetilde{\mathrm{\&mu;}}{\widetilde{\mathrm{\&mu;}}}^T,Q=\frac{{\mathrm{AA}}^T}{n}.$ 更新特征向量主方向：

(8)使用余弦相似度来度量主方向的改变，以描述新收集监测数据的异常程度： $s_t=1-\left|\frac{<u_t,u>}{\left|\right|u_t\left|\right|\left|\right|u\left|\right|}\right|;$

(9)根据经验设定，系统出现错误的频率设为每2分钟1次，每秒钟λ＝1/1200次，最小监测周期T_β＝10秒，最大监测周期T_α＝120秒，可以计算得到：

$\begin{array}{c}\mathrm{\&beta;}=1-e^{-\frac{10}{120}}=0.08\\ \mathrm{\&alpha;}=1-e^{-\frac{120}{120}}=0.63\end{array};$

(10)系统监测周期调整为：

$T_t=\{\begin{array}{cc}10,& 0\&le;s_t\&le;0.08\\ 120+ln(1-s_t)\&times;1200,& 0.08<s_t<0.63\\ 120,& 0.63\&le;s_t\&le;1\end{array}.$

提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。

Claims (1)

1.一种基于故障预测的云计算系统自适应监测方法，其特征在于实现步骤如下：

第一步，监测数据收集；建立滑动窗口的长度为n，收集多度量监测数据为X＝(x₁,x₂,…,x_m)，其中，每次收集的监测数据包括m个度量，x_i为第i个度量的值,将监测数据按时间先后顺序存入滑动窗口，将滑动窗口中的监测数据组成n行m列矩阵A_nm；

第二步，异常程度评估，具体包括以下步骤：

(1)将A_nm的每一列的数值进行标准化处理，使第j列的数值的集合的均值μ_j＝0，方差σ_j＝1，第i行第j列的数据标准化为z_ij＝(x_ij-μ_j)/σ_j。求出协方差矩阵：其中， ${\mathrm{\&sigma;}}_{ij}^2={\mathrm{\&Sigma;}}_{k=1}^n{z}_{ki}{z}_{kj}/n;$ 计算协方差矩阵∑_A的特征向量u；

(2)新的监测数据x_t到来时，为了放大离群点对主方向改变的影响，将样本复制nr次，其中r∈[0,1]是当前样本的复制次数与当前样本大小的比例，得到更新矩阵： $\tilde{A}=A\&cup;\{x_t,x_t,...,x_t\};$ 更新矩阵均值和协方差矩阵： $\widetilde{\mathrm{\&mu;}}=\frac{\mathrm{\&mu;}+{\mathrm{rx}}_t}{1+r},{\mathrm{\&Sigma;}}_{\tilde{A}}=\frac{Q}{1+r}+\frac{r}{1+r}{x}_t{x}_t^T-\widetilde{\mathrm{\&mu;}}{\widetilde{\mathrm{\&mu;}}}^T,$ 计算当前监测数据的特征向量：

(3)使用余弦相似度来计算由步骤(2)得到的原特征向量与由步骤(3)得到的当前特征向量的偏差，以描述当前收集到的监测数据的异常程度：

第三步，监测周期调整。根据由第二步得到的异常程度，调整监测周期为： $T=\left\{\begin{array}{cc}{T}_{\mathrm{\&beta;}},& 0\&le;s_t\&le;\mathrm{\&beta;}\\ T_{\mathrm{\&alpha;}}+ln(1-s_t)/\mathrm{\&lambda;},& \mathrm{\&beta;}<s_t<\mathrm{\&alpha;}\\ T_{\mathrm{\&alpha;}},& \mathrm{\&alpha;}\&le;s_t\&le;1\end{array}\right.,$ 其中，T_α、T_β为运维人员根据经验设定的被监测系统的最大、最小监测周期，α、β为运维人员根据经验设定的被监测系统的最小、最大错误概率，λ为运维人员根据经验设定的被监测系统的出现故障的频率。