CN105843733A - 一种大数据平台的性能检测方法及装置 - Google Patents

Abstract

本发明实施例公开了一种大数据平台的性能检测方法及装置，涉及网络技术领域，包括步骤：采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；判断所述P(O|λ1)是否小于预设阈值；若为是，确定所述大数据平台处于异常状态；若为否，确定所述大数据平台处于正常状态。应用本发明实施例，利用隐式马尔科夫模型对大数据平台进行性能检测，提高了检测准确率。

Description

一种大数据平台的性能检测方法及装置

技术领域

本发明涉及网络技术领域，特别涉及一种大数据平台的性能检测方法及装置。

背景技术

近半个世纪以来，“大数据”这个概念已经应用到各领域中，成为一种可以改变世界的新的动力。为了更有效的利用数据，研究者们开发了大数据平台，用来计算社会所产生的越来越多的数据信息。但是在大数据平台运行中，很多性能问题，如CPU(Central Processing Unit，中央处理器)异常、内存异常等，会影响我们得到精准的数据。

为了解决大数据平台运行中存在的性能问题，建立了大数据平台性能检测方法。大数据平台性能检测方法的基本流程如下：

通过导入的性能指标数据，如CPU利用率、内存利用率、磁盘读写率以及网络带宽等，建立正常状态下的性能模型；

采集大数据平台当前运行状态下的性能指标数据；

根据已建立好的性能模型和采集到的性能指标数据，判断是否存在异常，如果采集到的性能指标数据符合性能模型，则说明无异常；如果采集到的性能指标数据不符合性能模型，则说明存在异常；

如果存在异常，则根据采集到的性能指标数据，计算每两个性能指标的第一MIC(Maximal Information Coefficient，最大信息系数)值；

根据第一MIC值、第二MIC值和预先设定的MIC阈值，得到第一特征值；其中，第二MIC值为大数据平台在正常运行状态下的每两个性能指标的MIC值；第一特征值由二进制数组构成；

根据第一特征值和特征库中存储的第二特征值，在特征库中查找异常原因；其中，特征库由异常原因和第二特征值组成；第二特征值由二进制数组构成，第二特征值是根据第二MIC值、第三MIC值和预先设定的MIC阈值得到的；第三MIC值为大数据平台在给定的异常运行状态下的每两个性能指标的MIC值；

如果特征库中没有与第一特征值匹配的第二特征值，则通过人工判断异常原因，并将该第一特征值和对应的异常原因添加到特征库中。

下面针对两个性能指标X和Y，简单介绍一下MIC值的计算步骤：

步骤一：网格划分

将X的所有数据排成序列X’，将Y的所有数据排成序列Y’，X’和Y’组成集合D，集合D是一个有序对的有限集合，给定一个格子G，根据D中的序列对划分G的单元格，允许出现空格子，划分后格子G在x方向总共有n列，在y方向总共有m行。其中，集合D的样本容量为b，n<b^0.6且m<b^0.6。

步骤二：计算互信息

根据如下公式计算X和Y的互信息：

$I(X;Y)=\underset{h=1}{\overset{n}{\&Sigma;}}\underset{k=1}{\overset{m}{\&Sigma;}}p(x_h,y_k){\log }_2\frac{p(x_h,y_k)}{p\left(x_h\right)p\left(y_k\right)}$

其中，1≤h≤n，1≤k≤m，p(x_h)表示落在第h列的序列对的个数占所有序列对个数的比例，p(y_k)表示落在第k行的序列对的个数占所有序列对个数的比例，p(x_h,y_k)表示落在第h列第k行的序列对的个数占所有序列对个数的比例。

步骤三：获得最大互信息

因为单元格的列宽、行距都不是固定的，所以当n、m固定时，格子G仍有很多种不同的划分方法。不同的划分方法会导致计算所得的I(X；Y)不同。对于一组n、m来说，所有I(X；Y)中的最大值称为最大互信息，记为max{I(X；Y)}。

步骤四：计算特征矩阵

根据如下公式计算特征矩阵M(D)_n,m：

$M{\left(D\right)}_{n,m}=\frac{max\left\{I(X;Y)\right\}}{logmin\{n,m\}}$

步骤五：获得MIC值

由于n和m在取值范围内可以有多个取值，所以不同的n、m会导致计算得到的特征矩阵M(D)_n,m不同，所有的特征矩阵M(D)_n,m中的最大值即为MIC值，计算公式如下：

MIC(D)＝max{M(D)_n,m}

以上是MIC值的计算过程。

在现有的大数据平台性能检测方法中，建立正常情况下的性能模型所利用的是ARIMA(Autoregressive Integrated Moving Average Model，自回归积分滑动平均模型)，因为ARIMA模型是一种时间序列预测模型，时间序列预测模型是根据时间序列的过去值及现在值来预测未来值，所以当性能指标为线性关系时，利用ARIMA模型建立的大数据平台性能检测方法的检测准确率较高；但是当性能指标为非线性关系时，利用ARIMA模型建立的大数据平台性能检测方法的检测准确率较低。

发明内容

本发明实施例公开了一种大数据平台的性能检测方法及装置，用于提高检测准确率。技术方案如下：

本发明实施例公开了一种大数据平台的性能检测方法，所述方法包括步骤：

采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；所述第一类性能指标数据序列O是所述第一类性能指标数据按照时间顺序排列而成的序列；

根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；其中，P(O|λ1)为基于所述最优值λ1得到所述第一类性能指标数据序列O的概率，所述最优值λ1是由隐式马尔科夫模型的初始值λ2训练得到的，所述初始值λ2是利用隐式马尔科夫模型根据第二类性能指标数据序列O’得到的；所述第二类性能指标数据序列O’是采集的所述大数据平台正常状态下的第二类性能指标数据按照时间顺序排列而成的序列；

判断所述P(O|λ1)是否小于预设阈值；若为是，确定所述大数据平台处于异常状态；若为否，确定所述大数据平台处于正常状态；其中，所述预设阈值为P(O’|λ1)和P(O’|λ2)的差值，P(O’|λ1)为基于所述最优值λ1得到所述第二类性能指标数据序列O’的概率，P(O’|λ2)为基于所述初始值λ2得到所述第二类性能指标数据序列O’的概率。

优选的，所述计算P(O|λ1)所利用的公式为：

$P\left(O\right|\mathrm{\&lambda;}1)=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_T\left(i\right)$

其中，1≤i≤N，N表示所述大数据平台的运行状态个数；T表示采集所述第一类性能指标数据的时间段；α_T(i)表示在隐式马尔科夫模型为最优值λ1时，T时刻满足状态i，且T时刻及T时刻之前满足所述第一类性能指标数据序列O的概率。

优选的，计算所述P(O’|λ1)和所述P(O’|λ2)所利用的公式为：

$P\left(O^{\&prime;}\right|\mathrm{\&lambda;})=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_t\left(i\right){\mathrm{\&beta;}}_t\left(i\right)$

其中，计算所述P(O’|λ1)时，上式中的λ＝λ1；计算所述P(O’|λ2)时，上式中的λ＝λ2；

1≤i≤N，N表示所述大数据平台的运行状态个数；1≤t≤T’，T’表示采集所述第二类性能指标数据的时间段；O’＝(O’₁O’₂…O’_T’)；

α_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻及t时刻之前满足第一观察值序列(O’₁O’₂…O’_t)的概率；β_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻以后满足第二观察值序列(O’_t+1O’_t+2…O’_T’)的概率。

优选的，所述最优值λ1为：基于前向后向算法，由隐式马尔科夫模型的初始值λ2训练得到的。

优选的，所述初始值λ2为：基于Baum-Welch算法，利用隐式马尔科夫模型根据所述第二类性能指标数据序列O’得到的。

优选的，所述方法还包括：

在确定所述大数据平台处于异常状态之后，根据所述第一类性能指标数据序列O计算性能指标数据所对应性能指标中每两个性能指标的第一最大信息系数MIC值；

根据所述第一MIC值、第二MIC值和预先设定的MIC阈值，得到第一特征值；所述第二MIC值是根据所述第二类性能指标数据序列O’得到的性能指标数据所对应性能指标中每两个性能指标的MIC值；

根据所述第一特征值和第二特征值，判断异常原因；所述第二特征值是根据所述第二MIC值、第三MIC值和所述预先设定的MIC阈值得到的，所述第三MIC值是根据第三类性能指标数据序列得到的性能指标数据所对应性能指标中每两个性能指标的MIC值；所述第三类性能指标数据序列是采集的所述大数据平台在预先设定的异常运行状态下的第三类性能指标数据按照时间顺序排列而成的序列。

优选的，所述大数据平台为Hadoop集群。

本发明实施例还公开了一种大数据平台的性能检测装置，所述装置包括：

采集模块，用于采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；所述第一类性能指标数据序列O是所述第一类性能指标数据按照时间顺序排列而成的序列；

第一计算模块，用于根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；其中，P(O|λ1)为基于所述最优值λ1得到所述第一类性能指标数据序列O的概率，所述最优值λ1是由隐式马尔科夫模型的初始值λ2训练得到的，所述初始值λ2是利用隐式马尔科夫模型根据第二类性能指标数据序列O’得到的；所述第二类性能指标数据序列O’是采集的所述大数据平台正常状态下的第二类性能指标数据按照时间顺序排列而成的序列；

第一判断模块，用于判断所述P(O|λ1)是否小于预设阈值；其中，所述预设阈值为P(O’|λ1)和P(O’|λ2)的差值，P(O’|λ1)为基于所述最优值λ1得到所述第二类性能指标数据序列O’的概率，P(O’|λ2)为基于所述初始值λ2得到所述第二类性能指标数据序列O’的概率；

确定模块，用于在所述第一判断模块判断为是的情况下，确定所述大数据平台处于异常状态；在所述第一判断模块判断为否的情况下，确定所述大数据平台处于正常状态。

由上述的技术方案可见，本发明实施例提供一种大数据平台的性能检测方法及装置，采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；判断所述P(O|λ1)是否小于预设阈值；若为是，确定所述大数据平台处于异常状态；若为否，确定所述大数据平台处于正常状态。

可见，本发明实施例中，利用隐式马尔科夫模型对大数据平台进行性能检测。隐式马尔科夫模型是一个统计模型，是基于概率分布的模型，相对于ARIMA时间序列预测模型来说，准确率较高。因此，应用本发明实施例，提高了大数据平台性能检测的准确率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种大数据平台的性能检测方法的流程示意图；

图2为本发明实施例提供的另一种大数据平台的性能检测方法的流程示意图；

图3为本发明实施例提供的一种大数据平台的性能检测装置的结构示意图；

图4为本发明实施例提供的另一种大数据平台的性能检测装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了提高检测准确率，本发明实施例提供了一种大数据平台的性能检测方法及装置。

下面首先对本发明实施例所提供的一种大数据平台的性能检测方法进行介绍。

需要说明的是，本发明实施例所提供的一种大数据平台的性能检测方法的执行主体可以为一种大数据平台的性能检测装置。

图1为本发明实施例提供的一种大数据平台的性能检测方法的流程示意图，该方法可以包括如下步骤：

S101：采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；

其中，所述第一类性能指标数据序列O是所述第一类性能指标数据按照时间顺序排列而成的序列。

本领域技术人员可以理解的是，性能指标数据是指CPU利用率、内存利用率、磁盘读写率以及网络带宽等可以表示大数据平台性能状态的数据。在所述大数据平台当前运行状态下，在不同时刻采集所述大数据平台的性能指标数据，将这些数据按照时间顺序排列，即可获得第一类性能指标数据序列O。其中，该第一类性能指标数据序列O所针对的性能指标数据可以根据实际情况设定。

在本发明的一个较佳实施例中，所述大数据平台为Hadoop集群。Hadoop集群是一个开发和运行处理大规模数据的软件平台，是目前使用较广的一种大数据平台。

S102：根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；

其中，P(O|λ1)为基于所述最优值λ1得到所述第一类性能指标数据序列O的概率，所述最优值λ1是由隐式马尔科夫模型的初始值λ2训练得到的，所述初始值λ2是利用隐式马尔科夫模型根据第二类性能指标数据序列O’得到的；所述第二类性能指标数据序列O’是采集的所述大数据平台正常状态下的第二类性能指标数据按照时间顺序排列而成的序列。

隐式马尔科夫模型是一个统计模型，用来描述一个含有隐含未知参数的马尔可夫过程。马尔可夫模型是马尔可夫过程的模型化，它把一个总随机过程看成一系列状态的不断转移。马尔可夫模型的特性主要用“转移概率”来表示，后一状态出现的概率决定于其前出现过的状态次序。隐式马尔可夫模型就是将上述的马尔可夫模型的概念扩展到一个双重随机过程，即一个随机过程包含一个不可见从属随机过程，它只能通过另一套可以产生观察序列的随机过程才能观察到。

在所述大数据平台正常状态下，在不同时刻采集所述大数据平台的性能指标数据，将这些数据按照时间顺序排列，即可获得第二类性能指标数据序列O’。利用隐式马尔科夫模型根据第二类性能指标数据序列O’可以得到隐式马尔科夫模型的初始值λ2。

在本发明的一个具体实施例中，所述初始值λ2可以为：基于Baum-Welch算法，利用隐式马尔科夫模型根据所述第二类性能指标数据序列O’得到的。其中，Baum-Welch算法目前已多有报道，本领域技术人员可以根据已有的报道知晓Baum-Welch算法的具体内容，该算法对于本领域技术人员来说是公知的，本发明在此不进行赘述。

当获得了初始值λ2后，即可根据隐式马尔科夫模型训练得到最优值λ1。

在本发明的一个具体实现方式中，所述最优值λ1可以为：基于前向后向算法，由隐式马尔科夫模型的初始值λ2训练得到的。所述前向后向算法是一种已知模型和序列求概率的算法。具体的训练过程如下所示：

设α_t(i)为向前变量，它表示t时刻满足状态i，且t时刻及t时刻之前满足第一观察值序列(O’₁O’₂…O’_t)的概率，初始值为π_ib_i(O'₁)，然后通过归纳法计算α_t+1(j)，计算公式如下所示：

${\mathrm{\&alpha;}}_{t+1}\left(j\right)=\&lsqb;\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_t\left(i\right)a_{ij}\&rsqb;b_j\left({O^{\&prime;}}_{t+1}\right)$

其中，π_i表示状态i下取所有观察值的概率分布，b_i(O'₁)表示状态i下出现O'₁的概率，a_ij表示从状态i转移到状态j的概率。b_j(O'_t+1)表示观察值O'_t+1在状态j中出现的概率，N表示所述大数据平台的运行状态个数。

设β_t(i)为向后变量，它表示t时刻满足状态i，且t时刻以后满足第二观察值序列(O’_t+1O’_t+2…O’_T’)的概率，初始值β_T'(i)为1，然后通过归纳法计算β_t(i)，计算公式如下所示：

${\mathrm{\&beta;}}_t\left(i\right)=\underset{j=1}{\overset{N}{\&Sigma;}}{a}_{ij}{b}_j\left({O^{\&prime;}}_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right)$

其中，T’表示采集所述第二类性能指标数据的时间段。

定义变量ε_t(i,j)为t时刻处于状态i，t+1时刻处于状态j的概率，使用向前变量和向后变量表示该变量如下：

${\mathrm{\&epsiv;}}_t(i,j)=\frac{{\mathrm{\&alpha;}}_t\left(i\right)a_{ij}{b}_j\left({O^{\&prime;}}_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right)}{{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&Sigma;}}_{j=1}^N{\mathrm{\&alpha;}}_t\left(i\right)a_{ij}{b}_j\left({O^{\&prime;}}_{t+1}\right){\mathrm{\&beta;}}_{t+1}\left(j\right)}$

定义变量γ_t(i)表示t时刻呈现状态i的概率，使用向前变量和向后变量表示该变量如下：

${\mathrm{\&gamma;}}_t\left(i\right)=\frac{{\mathrm{\&alpha;}}_t\left(i\right){\mathrm{\&beta;}}_t\left(i\right)}{{\mathrm{\&Sigma;}}_{i=1}^N{\mathrm{\&alpha;}}_t\left(i\right){\mathrm{\&beta;}}_t\left(i\right)}$

通过上述变量，可以得到从其他所有状态转移到状态i的次数的期望值：从状态i转移出去的次数的期望值：以及从状态i转移到状态j的次数的期望值：然后利用上述变量，通过下列公式，进行迭代：

$\stackrel{\&OverBar;}{\mathrm{\&pi;}}={\mathrm{\&gamma;}}_1\left(i\right),1\&le;i\&le;N$

$\stackrel{\&OverBar;}{a_{ij}}=\frac{{\mathrm{\&Sigma;}}_{t=1}^{T^{\&prime;}-1}{\mathrm{\&epsiv;}}_t(i,j)}{{\mathrm{\&Sigma;}}_{t=1}^{T^{\&prime;}-1}{\mathrm{\&gamma;}}_t\left(i\right)},1\&le;i\&le;N,1\&le;j\&le;N$

${\stackrel{\&OverBar;}{b}}_j\left(k^{\&prime;}\right)=\frac{{\mathrm{\&Sigma;}}_{t=1,{O^{\&prime;}}_t=k^{\&prime;}}^{T^{\&prime;}}{\mathrm{\&gamma;}}_t\left(j\right)}{{\mathrm{\&Sigma;}}_{t=1}^{T^{\&prime;}}{\mathrm{\&gamma;}}_t\left(j\right)},1\&le;j\&le;N,1\&le;k^{\&prime;}\&le;M$

其中，M表示每个状态的观察事件数，k’表示当前时刻的观察结果。

通过不断迭代计算上式，直到两次计算得到的参数差值小于10^-5，则停止迭代，说明训练完成，最后一次计算得到的以及即组成了隐式马尔科夫模型的最优值λ1。

根据S101获得的所述第一类性能指标数据序列O和训练得到的隐式马尔科夫模型的最优值λ1，计算P(O|λ1)。

具体的，所述计算P(O|λ1)所利用的公式可以为：

$P\left(O\right|\mathrm{\&lambda;}1)=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_T\left(i\right)$

其中，1≤i≤N，N表示所述大数据平台的运行状态个数；T表示采集所述第一类性能指标数据的时间段；α_T(i)表示在隐式马尔科夫模型为最优值λ1时，T时刻满足状态i，且T时刻及T时刻之前满足所述第一类性能指标数据序列O的概率。

S103：判断所述P(O|λ1)是否小于预设阈值，如果是，触发S104，否则，触发S105；

其中，所述预设阈值为P(O’|λ1)和P(O’|λ2)的差值，P(O’|λ1)为基于所述最优值λ1得到所述第二类性能指标数据序列O’的概率，P(O’|λ2)为基于所述初始值λ2得到所述第二类性能指标数据序列O’的概率。

具体的，计算所述P(O’|λ1)和所述P(O’|λ2)所利用的公式可以为：

$P\left(O^{\&prime;}\right|\mathrm{\&lambda;})=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_t\left(i\right){\mathrm{\&beta;}}_t\left(i\right)$

其中，计算所述P(O’|λ1)时，上式中的λ＝λ1；计算所述P(O’|λ2)时，上式中的λ＝λ2；

1≤i≤N，N表示所述大数据平台的运行状态个数；1≤t≤T’，T’表示采集所述第二类性能指标数据的时间段；O’＝(O’₁O’₂…O’_T’)；

α_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻及t时刻之前满足第一观察值序列(O’₁O’₂…O’_t)的概率；β_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻以后满足第二观察值序列(O’_t+1O’_t+2…O’_T’)的概率。

S104：确定所述大数据平台处于异常状态；

S105：确定所述大数据平台处于正常状态。

由以上可见，本发明实施例中，利用隐式马尔科夫模型对大数据平台进行性能检测。隐式马尔科夫模型是一个统计模型，是基于概率分布的模型，相对于ARIMA时间序列预测模型来说，准确率较高。因此，应用本发明图1所示实施例，提高了大数据平台性能检测的准确率。

图2为本发明实施例提供的另一种大数据平台的性能检测方法的流程示意图，与前述实施例相比，本实施例中，在确定所述大数据平台处于异常状态之后，还包括：

S106：根据所述第一类性能指标数据序列O计算性能指标数据所对应性能指标中每两个性能指标的第一最大信息系数MIC值；

例如，大数据平台有三个性能指标：CPU利用率、内存利用率和IO(Input/Output，输入输出)读写率。根据所述第一类性能指标数据序列O分别计算CPU利用率与内存利用率的MIC值、内存利用率和IO读写率的MIC值，以及CPU利用率和IO读写率的MIC值。

MIC值的计算方法对于本领域技术人员来说是公知的，本发明在此不进行赘述。

S107：根据所述第一MIC值、第二MIC值和预先设定的MIC阈值，得到第一特征值；

其中，所述第二MIC值是根据所述第二类性能指标数据序列O’得到的性能指标数据所对应性能指标中每两个性能指标的MIC值。

在实际应用中，所述第一特征值可以由二进制数组构成，具体的，可以通过如下方式获得：

针对每两个性能指标，获得所述第一MIC值和所述第二MIC值的差值；

当上述差值大于预先设定的MIC阈值时，标记值为1；反之，标记值为0；

将所有的标记值按照预定顺序组成一个二进制数组，该数组即为第一特征值。

例如，大数据平台有三个性能指标：CPU利用率，内存利用率和IO读写率，设正常状态下的第二MIC值如下：CPU利用率与内存利用率的第二MIC值为0.821，CPU利用率和IO读写率的第二MIC值为0.834，内存利用率和IO读写率的第二MIC值为0.745；当前状态下的第一MIC值如下：CPU利用率与内存利用率的第一MIC值为0.521，CPU利用率和IO读写率的第一MIC值为0.655，内存利用率和IO读写率的第一MIC值为0.733，预先设定的MIC阈值为0.15，则第一特征值为(1，1，0)。

S108：根据所述第一特征值和第二特征值，判断异常原因；

其中，所述第二特征值是根据所述第二MIC值、第三MIC值和所述预先设定的MIC阈值得到的，所述第三MIC值是根据第三类性能指标数据序列得到的性能指标数据所对应性能指标中每两个性能指标的MIC值；所述第三类性能指标数据序列是采集的所述大数据平台在预先设定的异常运行状态下的第三类性能指标数据按照时间顺序排列而成的序列。

在实际应用中，与所述第一特征值相对应，所述第二特征值也可以由二进制数组构成，具体的，可以通过如下方式获得：

针对每两个性能指标，获得所述第二MIC值和所述第三MIC值的差值；

当上述差值大于预先设定的MIC阈值时，标记值为1；反之，标记值为0；

将所有的标记值按照预定顺序组成一个二进制数组，该数组即为第二特征值。

例如，大数据平台有三个性能指标：CPU利用率，内存利用率和IO读写率，设正常状态下的第二MIC值如下：CPU利用率与内存利用率的第二MIC值为0.821，CPU利用率和IO读写率的第二MIC值为0.834，内存利用率和IO读写率的第二MIC值为0.745；在预先设定的CPU异常状态下，采集第三类性能指标数据，按照时间顺序排列而成，得到第三类性能指标数据序列，然后计算得到第三MIC值如下：CPU利用率与内存利用率的第三MIC值为0.515，CPU利用率和IO读写率的第三MIC值为0.623，内存利用率和IO读写率的第三MIC值为0.721，预先设定的MIC阈值为0.15，则第二特征值为(1，1，0)，对应的异常原因为CPU异常。

本领域技术人员可以理解的是，在预先设定不同的异常运行状态下，可以得到不同的第二特征值，每个第二特征值对应一个异常原因。

根据S106获得的第一特征值，在所有的第二特征值中进行查找，查找到与第一特征值匹配的第二特征值后，该第二特征值对应的异常原因即为所述大数据平台的异常原因。

例如，上述S106获得的第一特征值为(1，1，0)，第二特征值(1，1，0)对应的异常原因是CPU异常，那么由此可以判断大数据平台的异常原因是CPU异常。

由以上可见，应用图2所示实施例，不仅提高了大数据平台的性能检测准确率，而且在确定所述大数据平台处于异常状态之后，还可以判断出具体的异常原因，以便解决大数据平台的性能问题。

相应于上述方法实施例，本发明实施例还提供了一种大数据平台的性能检测装置。图3为本发明实施例提供的一种大数据平台的性能检测装置的结构示意图，与图1所示的流程相对应，包括采集模块301、第一计算模块302、第一判断模块303、确定模块304；

其中，所述采集模块301，用于采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；所述第一类性能指标数据序列O是所述第一类性能指标数据按照时间顺序排列而成的序列；

所述第一计算模块302，用于根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；其中，P(O|λ1)为基于所述最优值λ1得到所述第一类性能指标数据序列O的概率，所述最优值λ1是由隐式马尔科夫模型的初始值λ2训练得到的，所述初始值λ2是利用隐式马尔科夫模型根据第二类性能指标数据序列O’得到的；所述第二类性能指标数据序列O’是采集的所述大数据平台正常状态下的第二类性能指标数据按照时间顺序排列而成的序列；

所述第一判断模块303，用于判断所述P(O|λ1)是否小于预设阈值；其中，所述预设阈值为P(O’|λ1)和P(O’|λ2)的差值，P(O’|λ1)为基于所述最优值λ1得到所述第二类性能指标数据序列O’的概率，P(O’|λ2)为基于所述初始值λ2得到所述第二类性能指标数据序列O’的概率；

所述确定模块304，用于在所述第一判断模块303判断为是的情况下，确定所述大数据平台处于异常状态；在所述第一判断模块303判断为否的情况下，确定所述大数据平台处于正常状态。

由以上可见，本发明实施例中，利用隐式马尔科夫模型对大数据平台进行性能检测。隐式马尔科夫模型是一个统计模型，是基于概率分布的模型，相对于ARIMA时间序列预测模型来说，准确率较高。因此，应用本发明图3所示实施例，提高了大数据平台性能检测的准确率。

具体的，所述第一计算模块302计算P(O|λ1)所利用的公式为：

$P\left(O\right|\mathrm{\&lambda;}1)=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_T\left(i\right)$

其中，1≤i≤N，N表示所述大数据平台的运行状态个数；T表示采集所述第一类性能指标数据的时间段；α_T(i)表示在隐式马尔科夫模型为最优值λ1时，T时刻满足状态i，且T时刻及T时刻之前满足所述第一类性能指标数据序列O的概率。

具体的，计算所述P(O’|λ1)和所述P(O’|λ2)所利用的公式为：

$P\left(O^{\&prime;}\right|\mathrm{\&lambda;})=\underset{i=1}{\overset{N}{\&Sigma;}}{\mathrm{\&alpha;}}_t\left(i\right){\mathrm{\&beta;}}_t\left(i\right)$

其中，计算所述P(O’|λ1)时，上式中的λ＝λ1；计算所述P(O’|λ2)时，上式中的λ＝λ2；

1≤i≤N，N表示所述大数据平台的运行状态个数；1≤t≤T’，T’表示采集所述第二类性能指标数据的时间段；O’＝(O’₁O’₂…O’_T’)；

α_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻及t时刻之前满足第一观察值序列(O’₁O’₂…O’_t)的概率；β_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻以后满足第二观察值序列(O’_t+1O’_t+2…O’_T’)的概率。

具体的，所述最优值λ1为：基于前向后向算法，由隐式马尔科夫模型的初始值λ2训练得到的。

具体的，所述初始值λ2为：基于Baum-Welch算法，利用隐式马尔科夫模型根据所述第二类性能指标数据序列O’得到的。

更进一步的，基于图3所述的装置实施例，如图4所示，本发明实施例所提供的一种大数据平台的性能检测装置，还可以包括：第二计算模块305、获得模块306、第二判断模块307；

其中，所述第二计算模块305，用于在确定模块304确定所述大数据平台处于异常状态之后，根据所述第一类性能指标数据序列O计算性能指标数据所对应性能指标中每两个性能指标的第一最大信息系数MIC值；

所述获得模块306，用于根据所述第一MIC值、第二MIC值和预先设定的MIC阈值，得到第一特征值；所述第二MIC值是根据所述第二类性能指标数据序列O’得到的性能指标数据所对应性能指标中每两个性能指标的MIC值；

所述第二判断模块307，用于根据所述第一特征值和第二特征值，判断异常原因；所述第二特征值是根据所述第二MIC值、第三MIC值和所述预先设定的MIC阈值得到的，所述第三MIC值是根据第三类性能指标数据序列得到的性能指标数据所对应性能指标中每两个性能指标的MIC值；所述第三类性能指标数据序列是采集的所述大数据平台在预先设定的异常运行状态下的第三类性能指标数据按照时间顺序排列而成的序列。

具体的，在实际应用中，所述大数据平台可以为Hadoop集群。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

1.一种大数据平台的性能检测方法，其特征在于，所述方法包括步骤：

采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；所述第一类性能指标数据序列O是所述第一类性能指标数据按照时间顺序排列而成的序列；

根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；其中，P(O|λ1)为基于所述最优值λ1得到所述第一类性能指标数据序列O的概率，所述最优值λ1是由隐式马尔科夫模型的初始值λ2训练得到的，所述初始值λ2是利用隐式马尔科夫模型根据第二类性能指标数据序列O’得到的；所述第二类性能指标数据序列O’是采集的所述大数据平台正常状态下的第二类性能指标数据按照时间顺序排列而成的序列；

判断所述P(O|λ1)是否小于预设阈值；若为是，确定所述大数据平台处于异常状态；若为否，确定所述大数据平台处于正常状态；其中，所述预设阈值为P(O’|λ1)和P(O’|λ2)的差值，P(O’|λ1)为基于所述最优值λ1得到所述第二类性能指标数据序列O’的概率，P(O’|λ2)为基于所述初始值λ2得到所述第二类性能指标数据序列O’的概率。

2.根据权利要求1所述的方法，其特征在于，所述计算P(O|λ1)所利用的公式为：

$P\left(O\right|\mathrm{\&lambda;}1)=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_T\left(i\right)$

其中，1≤i≤N，N表示所述大数据平台的运行状态个数；T表示采集所述第一类性能指标数据的时间段；α_T(i)表示在隐式马尔科夫模型为最优值λ1时，T时刻满足状态i，且T时刻及T时刻之前满足所述第一类性能指标数据序列O的概率。

3.根据权利要求1所述的方法，其特征在于，计算所述P(O’|λ1)和所述P(O’|λ2)所利用的公式为：

$P\left(O^{\&prime;}\right|\mathrm{\&lambda;})=\underset{i=1}{\overset{N}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_t\left(i\right){\mathrm{\&beta;}}_t\left(i\right)$

其中，计算所述P(O’|λ1)时，上式中的λ＝λ1；计算所述P(O’|λ2)时，上式中的λ＝λ2；

1≤i≤N，N表示所述大数据平台的运行状态个数；1≤t≤T’，T’表示采集所述第二类性能指标数据的时间段；O’＝(O’₁O’₂…O’_T’)；

α_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻及t时刻之前满足第一观察值序列(O’₁O’₂…O’_t)的概率；β_t(i)表示在隐式马尔科夫模型为λ时，t时刻满足状态i，且t时刻以后满足第二观察值序列(O’_t+1O’_t+2…O’_T’)的概率。

4.根据权利要求1所述的方法，其特征在于，所述最优值λ1为：基于前向后向算法，由隐式马尔科夫模型的初始值λ2训练得到的。

5.根据权利要求1所述的方法，其特征在于，所述初始值λ2为：基于Baum-Welch算法，利用隐式马尔科夫模型根据所述第二类性能指标数据序列O’得到的。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在确定所述大数据平台处于异常状态之后，根据所述第一类性能指标数据序列O计算性能指标数据所对应性能指标中每两个性能指标的第一最大信息系数MIC值；

根据所述第一MIC值、第二MIC值和预先设定的MIC阈值，得到第一特征值；所述第二MIC值是根据所述第二类性能指标数据序列O’得到的性能指标数据所对应性能指标中每两个性能指标的MIC值；

根据所述第一特征值和第二特征值，判断异常原因；所述第二特征值是根据所述第二MIC值、第三MIC值和所述预先设定的MIC阈值得到的，所述第三MIC值是根据第三类性能指标数据序列得到的性能指标数据所对应性能指标中每两个性能指标的MIC值；所述第三类性能指标数据序列是采集的所述大数据平台在预先设定的异常运行状态下的第三类性能指标数据按照时间顺序排列而成的序列。

7.根据权利要求1所述的方法，其特征在于，所述大数据平台为Hadoop集群。

8.一种大数据平台的性能检测装置，其特征在于，所述装置包括：

采集模块，用于采集所述大数据平台当前运行状态下的第一类性能指标数据，获得第一类性能指标数据序列O；所述第一类性能指标数据序列O是所述第一类性能指标数据按照时间顺序排列而成的序列；

第一计算模块，用于根据所述第一类性能指标数据序列O和隐式马尔科夫模型的最优值λ1，计算P(O|λ1)；其中，P(O|λ1)为基于所述最优值λ1得到所述第一类性能指标数据序列O的概率，所述最优值λ1是由隐式马尔科夫模型的初始值λ2训练得到的，所述初始值λ2是利用隐式马尔科夫模型根据第二类性能指标数据序列O’得到的；所述第二类性能指标数据序列O’是采集的所述大数据平台正常状态下的第二类性能指标数据按照时间顺序排列而成的序列；

第一判断模块，用于判断所述P(O|λ1)是否小于预设阈值；其中，所述预设阈值为P(O’|λ1)和P(O’|λ2)的差值，P(O’|λ1)为基于所述最优值λ1得到所述第二类性能指标数据序列O’的概率，P(O’|λ2)为基于所述初始值λ2得到所述第二类性能指标数据序列O’的概率；

确定模块，用于在所述第一判断模块判断为是的情况下，确定所述大数据平台处于异常状态；在所述第一判断模块判断为否的情况下，确定所述大数据平台处于正常状态。