CN104536996A - 一种同构环境下计算节点异常检测方法 - Google Patents

Abstract

本发明提供一种同构环境下计算节点异常检测方法，包括以下步骤：步骤1，将节点数据转换为标准形式；步骤2，提取特征数据；步骤3，采用cell-based算法自动检测异常点。本发明提供计算节点异常检测方法，能够采用无指导的学习方法自动获取动态变化的异常检测阈值，能更好地适应异常频繁改变的场景，能够迅速地处理和分析从大型系统中采集到的节点信息，从而可以迅速地检测到同构环境下异常的计算节点。

Description

一种同构环境下计算节点异常检测方法

技术领域

本发明涉及异常检测技术，特别是一种基于数据挖掘技术的同构环境下异常节点的检测方法。

背景技术

一个计算节点的数据信息可以由一个多维矩阵表示，其度量维度包括CPU信息，I/O信息，网络信息等。由于度量维度较多，导致处理时会因为各种数据单位以及数量级的不同出现错误检测，所以首要的就是将数据进行预处理。

预处理的方法包括归一化，零均值法、白化处理等。对观测信号去均值的处理过程是从观测中减去信号的均值向量，使得观测信号成为零均值变量。同时还要对数据进行白化处理，白化处理可去除各观测信号之间的相关性，从而简化后续独立分量的提取过程。通常情况下，数据进行白化处理与不对数据进行白化处理相比，算法的收敛性较好，有更好的稳定性。

数据的特征抽取就是将数据矩阵进行简化和降维。由于表示计算节点数据的种类复杂导致了该矩阵的高维度，以及后续计算处理的复杂。所以数据的特征抽取则非常有必要。基于FastICA(Principal ComponentAnalysis)算法的特征抽取技术是一种基于独立分量的分析的识别算法。该算法是基于定点递推算法得到的，它对任何类型的数据都适用，同时它的存在对运用ICA分析高维的数据成为可能。又称固定点(Fixe d-Point)算法，是由芬兰赫尔辛基大学Hyv&auml；rinen等人提出来的。FastlCA算法本质上是一种最小化估计分量互信息的神经网络方法，是利用最大熵原理来近似负熵，并通过一个合适的非线性函数使其达到最优。这个算法具有很多神经算法里的优点：并行的、分布的、计算简单、要求内存小。

现有的数据流异常检测方法大致可以划分为基于密度的异常检测，基于网格的数据流异常检测和基于距离的异常检测。

基于密度的异常检测的基本思想是利用某一邻域内样本的密度来确定异常。LOF算法是基于密度的异常检测的代表性算法(Breunig M M,Kriegel H P,Ng R T,et al.LOF:identifying density-based local outliers[C]//ACM Sigmod Record.ACM,2000,29(2):93-104.)。该算法是一种基于局部密度的异常检测算法，能够较为准确的在密度分布不均匀的数据集合中发现异常数据对象。但是LOF算法并不适合直接用于数据流的异常检测，因为其时间复杂度较大，如果每得到一个新的数据对象都需要对所有数据对象的异常度重新进行计算，其代价是不可容忍的。因此，Pokrajac和Lazarevic等人对已有的静态LOF算法做出了改进，提出了动态的增量LOF算法(Pokrajac D,Lazarevic A,Latecki L J.Incremental local outlierdetection for data streams[C]//Computational Intelligence and Data Mining,2007.CIDM 2007.IEEE Symposium on.IEEE,2007:504-515.)。增量LOF算法的核心思想就是当一个新的数据对象到来的时候，并不重新计算所有数据对象特征信息的值，而是只对受到新输入数据对象影响的那一部分数据对象的各个特征信息值进行更新。增量LOF算法在接收到一个新输入的数据对象时，其主要操作分为两个步骤：对于新输入的数据对象，计算其所需的特征信息值；对于受到新输入对象影响密度发生变化的邻居结点，挨个更新其特征信息值，对于没有受到影响的数据对象，不重新计算。采用这一策略之后，动态增量LOF算法在能够达到和重复执行静态LOF算法相当效果的同时，却大大降低了算法执行的时间复杂度，使得其适用于针对数据流的异常检测。然而，LOF算法并没有考虑不同维度值域的差异，可能导致部分维度的影响力显著大于其他维度；另外，其时间复杂度对于离线检测来说是可以接受的，但对实时检测来说还不实用。本发明针对LOF算法的上述两个局限性，提出的算法的时间复杂度为O(n)，与数据流个数呈线性增加关系，能满足实时应用需要。

基于网格的数据流异常检测是把整个数据空间分割成为相互独立，大小一致的很多网格，人为地设定一个支持度，当网格中所包含的数据元素的支持度超过或者等于了事先设定的支持度大小时，就从所有的维度中选出一维，并按照这一维度将网格动态的分为两个完全独立的子网格。当子网格的支持度也达到或超过阈值时，同样的分割操作也会在子网格上进行。Park和Lee等在提出了一种实时的数据流异常检测方法，该网格聚类方法不需要计算数据对象之间的距离，只需要按照事先确定的网格大小，直接把数据放入相应的网格，因此可以实现实时的增量聚类。每次聚类完毕之后只需要保存每个类的特征信息，并计算所有类的异常度，按照由大到小的顺序进行排序，把Top-k异常度最大的类划分为最终的异常类。(Park N H,Lee W S.Statistical grid-based clustering over data streams[J].ACM SIGMOD Record,2004,33(1):32-37.)上述异常检测方法要么采用top-p方式把异常量化值最高的p个数据流作为异常，要么把异常量化值超过预定义阈值的数据流作为异常。

上述方法在实际应用过程中存在问题：(1)阈值难于设定。阈值的合理设定需要非常熟悉应用程序的底层机制，这对于一般应用者而言，难度太大；(2)异常的数目一直在变化。某个时刻可能存在超过p个数据流是异常的，采用top-p方式会错过这些真实存在的异常。因此，本发明中采用一种无指导的学习方法自动获取动态变化的异常检测阈值，能更好地适应异常频繁改变的场景。

发明内容

为了克服现有技术存在的问题，本发明提供一种采用无指导的学习方法自动获取动态变化的异常检测阈值，能更好地适应异常频繁改变的场景，能够迅速地处理和分析从大型系统中采集到的节点信息，从而可以迅速地检测到同构环境下异常的计算节点。

实现本发明目的的解决方案为：利用构建特定数据形式，数据特征抽取以及自动检测异常点等技术实现同构环境下的异常检测。主要分为以下几个步骤：

步骤1，将节点数据转换为标准形式，过程如下：

给定一个由n个同构的计算节点构成的分布式计算系统，每个计算节点有m个度量维度，对于每一个计算机节点的每个度量维度每经过一段特定时间进行快照形成该度量的k个快照。用矩阵Fⁱ代表从第i个计算机节点采集到的信息数据矩阵，共形成n个矩阵。在矩阵Fⁱ中的每一个元素代表着特征h在第j次快照收集到的数据。

我们重新把每一个矩阵Fⁱ重新组合进一个多维(m*k)的向量然后我们把这组数据构造成一个简单的大型矩阵：F＝[f¹,f²,...,fⁱ,...,fⁿ]。

步骤2，特征数据的抽取。为了保留数据中最为重要的信息，降低数据噪声，需要降低原始数据特征空间的维度，将原来空间的复杂多个维度减少为数个独立特征的维度。这里本发明提出了一种特征提取技术：基于FastICA(PrincipalComponentAnalysis)算法的特征提取技术。

步骤3，采用cell-based算法自动检测异常点，过程如下：

用欧几里得距离描述两个数据点之间的距离。首先将承载有Y＝{y₁,y₂,...,y_n}的数据空间分割成边长为的方室网络，其中d是距离阈值，s是数据的度量维度；然后根据网格某个方室中的点的个数以及该方室周围一层和数层方室内点的总个数来确定该方室中所有点为异常点或非异常点。

本发明和现有技术相比，具有以下优点：(1)对于具有大量计算机节点的系统来说，一次性可以确定大量节点是否异常；(2)由于动态分组和特征提取技术的应用，可扩展性得到提升；(3)误检率大大降低。

下面结合说明书附图对本发明做进一步说明。

附图说明

图1为本发明的方法流程图；

图2为本发明数据形式处理示意图；

图3为本发明数据特征抽取示意图；

图4为本发明采取的cell-based异常点检测方法示意图。

具体实施方式

结合图1，一种同构环境下计算节点异常检测方法，包括以下步骤：

步骤1，将节点数据转换为标准形式；

步骤2，提取特征数据；

步骤3，采用cell-based算法自动检测异常点。

结合图2，步骤1中的具体过程为：

步骤1.1，采集每一个数据节点的m个度量维度的数据，并对每一个数据节点的m个度量维度的数据每隔一段时间便进行一次快照；

步骤1.2，每个数据节点的m个度量维度的数据形成一个m维矩阵，整个系统能够形成n个m维矩阵，第i个节点的数据矩阵为Fⁱ，矩阵Fⁱ中的元素表示为第i个节点的第h个度量维度在第j次快照收集到的数据；

步骤1.3，为了便于分析，将矩阵Fⁱ转换为一个m*k的向量 $f^i={[f_{\mathrm{1,1}}^i,f_{\mathrm{1,2}}^i,...,f_{1,k}^i,f_{\mathrm{2,1}}^i,...,f_{m,k}^i]}^T;$

步骤1.4，将整个系统的n个节点数据[F¹,F²,...,Fⁱ,...,Fⁿ]整合一个简单的大型矩阵F＝[f¹,f²,...,fⁱ,...,fⁿ]。

结合图3，步骤2中特征数据提取的具体过程为：

步骤2.1，将经过转化后的数据矩阵F＝[f¹,f²,...,fⁱ,...,fⁿ]中的元素进行0-1归一化处理，将矩阵中数值一一映射到0～1之间，得到新矩阵F'；

步骤2.2，将新矩阵F'进行零均值化得到F″，保证矩阵F″的列上数据均值为0，新矩阵的每一列表示一个节点，每一行则是计算节点中度量维度的数据；

步骤2.3，计算新矩阵F″的协方差矩阵

步骤2.4，计算矩阵C的非零特征值[λ₁,λ₂,...,λ_r]，并对其降序排列：λ₁≥λ₂≥...≥λ_r；

步骤2.5，定义矩阵V＝diag[λ₁,λ₂,...,λ_r]，λ₁≥λ₂≥...≥λ_r，E＝[e₁,e₂,...,e_r]，e₁≥e₂≥...≥e_r，其中e_α是λ_α所对应的特征向量，α∈[1,r]；

步骤2.6，将矩阵F″中的数据进行白化处理后得到X＝V^-1/2E^TF″，矩阵X是一个r*n矩阵，其中r≤m*k。

步骤2.7，选择一个初始矩阵W＝[w₁,w₂,...,w_s]，其中||w_l||＝1，l∈[1,s]；

步骤2.8，构造矩阵W＝W(W^TW)^-1/2，保证当y≠z时，w_y＝w_z；

步骤2.9，将矩阵X中的每一个点x_i∈IR^r映射到y_i∈IR^s，其中y_i＝W^Tx_i，其中i＝1,2,...,n，IR^r为r维空间，IR^s为s维空间。

结合图4，采用cell-based算法自动检测异常点具体过程如下：

步骤3.1，设定距离阈值d；

步骤3.2，将承载有Y＝{y₁,y₂,...,y_n}的s维空间分割成边长为的方室，其中s是数据的度量维度；每一个方室都被两层所包围：第一层L1由包围着该方室的相邻方室组成；第二层L2由那些和目标方室相距三个方室距离以内的方室组成；

步骤3.3，定义判断异常点的准则：两个数据点y_a，y_b之间的距离 $D(y_a,y_b)=\sqrt{\underset{i=1}{\overset{s}{\mathrm{\Σ}}}(y_{a,i}-y_{b,i})},a,b=\mathrm{1,2},...,n,$ 且a≠b，如果和点O距离大于d的点在整个数据集中所占的比例是至少为p，点O被记作DB(p，d)异常点，p为比例阈值；

步骤3.4，和一个异常点距离为d以内的点的最大数目记为M；根据步骤3.3的准则，在一个数据集中，和异常点距离d以外的点所占的比例至少为p，由此可知M＝n(1-p)；

步骤3.5，根据以下法则判断目标方室中的点是否为异常点：

如果有大于M个点在该方室中，则这个方室中没有异常点；

如果有大于M个点在该方室以及L1层内，则这个方室中没有异常点；

如果有小于M个点在该方室、L1层以及L2层内，则这个方室内的点都是异常点。

Claims (4)

1.一种同构环境下计算节点异常检测方法，其特征在于，包括以下步骤：

步骤1，将节点数据转换为标准形式；

步骤2，提取特征数据；

步骤3，采用cell-based算法自动检测异常点。

2.根据权利要求1所述的同构环境下计算节点异常检测方法，其特征在于，步骤1的具体过程为：

步骤1.1，采集每一个数据节点的m个度量维度的数据，并对每一个数据节点的m个度量维度的数据每隔一段时间进行一次快照；

步骤1.2，每个数据节点的m个度量维度的数据形成一个m维矩阵，整个系统能够形成n个m维矩阵，第i个节点的数据矩阵为Fⁱ，矩阵Fⁱ中的元素表示为第i个节点的第h个度量维度在第j次快照收集到的数据；

步骤1.3，将矩阵Fⁱ转换为一个m*k的向量

步骤1.4，将[F¹,F²,...,Fⁱ,...,Fⁿ]整合为矩阵F＝[f¹,f²,...,fⁱ,...,fⁿ]。

3.根据权利要求1所述的同构环境下计算节点异常检测方法，其特征在于，步骤2的具体过程为：

步骤2.1，将经过转化后的数据矩阵F＝[f¹,f²,...,fⁱ,...,fⁿ]中的元素进行0-1归一化处理，将矩阵中数值一一映射到0～1之间，得到新矩阵F'；

步骤2.2，将新矩阵F'进行零均值化得到F″，保证矩阵F″的列上数据均值为0，新矩阵的每一列表示一个节点，每一行则是计算节点中度量维度的数据；

步骤2.3，计算新矩阵F″的协方差矩阵

步骤2.4，计算矩阵C的非零特征值[λ₁,λ₂,...,λ_r]，并对其降序排列：λ₁≥λ₂≥...≥λ_r；

步骤2.5，定义矩阵V＝diag[λ₁,λ₂,...,λ_r]，λ₁≥λ₂≥...≥λ_r，E＝[e₁,e₂,...,e_r]，e₁≥e₂≥...≥e_r，其中e_α是λ_α所对应的特征向量，α∈[1,r]；

步骤2.6，将矩阵F″中的数据进行白化处理后得到X＝V^-1/2E^TF″，矩阵X是一个r*n矩阵，其中r≤m*k。

步骤2.7，选择一个初始矩阵W＝[w₁,w₂,...,w_s]，其中||w_l||＝1，l∈[1,s]；

步骤2.8，构造矩阵W＝W(W^TW)^-1/2，保证当y≠z时，w_y＝w_z；

步骤2.9，将矩阵X中的每一个点x_i∈IR^r映射到y_i∈IR^s，其中y_i＝W^Tx_i，其中i＝1,2,...,n，IR^r为r维空间，IR^s为s维空间。

4.根据权利要求1所述的同构环境下计算节点异常检测方法，其特征在于，步骤3的具体过程为：

步骤3.1，设定距离阈值d；

步骤3.2，将承载有Y＝{y₁,y₂,...,y_n}的s维空间分割成边长为的方室，其中s是数据的度量维度；每一个方室都被两层所包围：第一层L1由包围着该方室的相邻方室组成；第二层L2由那些和目标方室相距三个方室距离以内的方室组成；

步骤3.3，定义判断异常点的准则：两个数据点y_a，y_b之间的距离 a,b＝1,2,...,n，且a≠b，如果和点O距离大于d的点在整个数据集中所占的比例是至少为p，点O被记作DB(p，d)异常点，p为比例阈值；

步骤3.4，记和一个异常点距离为d以内的点的最大数目记为M＝n(1-p)。

步骤3.5，根据以下法则判断目标方室中的点是否为异常点：

如果有大于M个点在该方室中，则这个方室中没有异常点；

如果有大于M个点在该方室以及L1层内，则这个方室中没有异常点；

如果有小于M个点在该方室、L1层以及L2层内，则这个方室内的点都是异常点。