CN102111295B - 分布式系统中多层次测度网络关系构建方法 - Google Patents

Abstract

本发明提供的是一种分布式系统中多层次测度网络关系构建方法。根据测度属性的类型对测度参数进行分层；构造任意两个测度属性对之间的概率转移矩阵；构建同一个层次中测度属性的网络关系模型；构建不同层次间测度参数的网络关系模型。本发明的优点在于：可以动态的更新分布式系统的测度参数之间的转移关系，并构建测度参数的立体层次网络模型。

Description

分布式系统中多层次测度网络关系构建方法

技术领域

本发明涉及的是一种分布式系统中测度属性网络关系的构建方法。

背景技术

近年来，分布式系统的复杂性逐渐增加。如，互联网服务系统集成了上大量的计算机设备，拥有来处理大量的事务的能力。因此，大量的系统测度参数可以从软件的日志文件，系统审计活动和网络流量统计中进行收集得到。为了提供可靠的服务，系统管理员必须实时的监视和跟踪他们的基础设施的运行状态并迅速的解决出现的任何问题。在大型系统中自动的探测异常是一个挑战性的任务，因为正常和异常的行为都是异构的和动态的。实际上，测度中广泛存在的关联性对于自动化系统测量是非常有用的。因此，构建一个面向分布式系统的多层次测度网络关系，可用于捕获复杂多变的正常情景，因此帮助解决快速检测和定位系统故障问题。

监视系统测度参数之间的相关性而不是个别的监视每个测度是必要的。一个单独的测量值的提高可能并不代表着系统存在问题，相反，它可能仅仅是客户对系统突发请求引起的。实际上，应该把当发现许多测量值升高但是他们的相关性却并不改变标示一种正常的行为。因此，刻画不同测度参数的相关性能够帮助发现真正的异常事件，减少误报。

研究学者已经开始研究如何在分布式系统中建立线型的测度的相关性模型。在Proceeding of SEAMS 2008中刊登的Monitoring multi-tier clustered systems withinvariant metric relationships提出利用线型回归模型被用来刻画相关性。一旦抽取的线型关系被破坏，系统就会产生一个报警。在Proceeding of DSN 2006中刊登的Trackingprobabilistic correlation of monitoring data for fault detection in complex systems，259-268，假设二维数据点来自一个高斯混合模型并且使用椭圆来建立数据聚类的模型，因此落在聚类边界外的点被认为是异常的事件。但很多情况会限制这些相关分析工具在真实系统中的使用。第一，现有的工作只集中在一个关联的类型，因而不能准确地描述整个系统。第二，对测度参数分布形式的假设可能不真实，线性分布和椭圆分布仅是测度参数分布的两种情况而已。第三，测度参数的变化情况是系统行为的一个重要部分，因此，除了空间相关性之外，观测时间相关性也应考虑进来。

发明内容

本发明的目的在于提供一种利用分布式系统中的测度参数的历史和实时数据，提出体现多层次测度关系的分布式系统中多层次测度网络关系构建方法。

本发明的目的是这样实现的：利用分布式系统中的测度参数的历史和实时数据，建立体现多层次测度关系的网络关系，具体包括：

1)根据测度属性的类型对测度参数进行分层；

2)构造任意两个测度属性对之间的概率转移矩阵；

3)构建同一个层次中测度属性的网络关系模型；

4)构建不同层次间测度参数的网络关系模型。

所述的跟据测度属性的类型对测度参数进行分层的方法为：1)从系统日志文件，系统审计活动和网络流量统计等数据中获得测度参数类型；2)以系统中的每一台计算机为一个节点，以各种不同类型的测度参数构成一个集合；3)将所有节点中的相同测度参数划分为一个层次。

所述的构造任意两个测度属性对之间的概率转移矩阵的方法是：1)将测度参数对之间的数据映射到二维空间中；2)在二维空间中定义网格区域的范围；3)计算一个网格到其他格子区间的转移概率；4)将所有转移概率按照矩阵的形式表示，形成测度属性对之间的概率转移矩阵。

所述的构建同一个层次中测度属性的网络关系模型的方法是：1)从同一个层次中任意选择两个测度参数；2)构造这两个测度参数的相关转移矩阵；3)定义测量参数之间的适应度。4)根据步骤3中所定义的适应度函数以及转移矩阵计算测度之间的关系；5)在不为零的适应度之间的两个测度参数之间建立一个加权边，边的权重为适应度，生成测度函数层次间的网络模型。

所述的构建不同层次间测度参数的网络关系模型的方法是：1)设定可接受层次之间测度参数的适应度阈值；2)计算任意两个层次之间测度参数的适应度；3)如果适应度超过设定的某个阈值，则在这两个测度参数之间建立一条加权边，且变得权重为这两个参数的适应度，生成不同层次间测度参数的网络关系模型。

本发明从分布式系统测度参数的相关性问题出发，提出多层次测度参数的网络构建方法。

本发明是基于如下问题而设计的：

在大型系统中自动的探测异常是一个挑战性的任务，因为正常和异常的行为都是异构的和动态的。监视系统测度参数之间的相关性而不是个别的监视每个测度是必要的。应该把当发现许多测量值升高但是他们的相关性却并不改变标示一种正常的行为。因此，刻画不同测度参数的相关性并建立他们之间的网络关系能够帮助发现系统中真正的异常事件，减少误报。

本发明的主要技术特征体现在：

1)建立测度参数之间的动态的概率转移关系而不是静态模型，并且从空间和时间两个角度探测极值。

具体技术路线是：1.根据当前数据产生上一时刻任何网格之间转移关系的后验概率矩阵；

2.根据时间的变迁按照一个固定的周期动态的变更任意两个测度参数之间的转移概率。

2)建立立体的层次关系模型。

具体技术路线：1.根据同一个层次间相同类型的测度构建水平方向的网络关系；2)根据不同层次间的不同类型的测度参数构建垂直方向的网络关系。

本发明的优点在于：可以动态的更新分布式系统的测度参数之间的转移关系，并构建测度参数的立体层次网络模型。

附图说明

图1同一层次中测度参数添加带权边示意图；

图2不同层次间测度参数添加带权边示意图。

具体实施方式

下面结合附图举例对本发明做更详细地描述：

1)跟据测度属性的类型对测度参数进行分层的方法

相同种类的测度属性之间通常被认为具有较大的相关性，因此根据测度属性类型进行分层，能够有效减少重复计算不相关测度属性的计算资源浪费，具体的方法如下：

●统计分析所有系统日志文件，系统审计活动和网络流量统计等数据中所包含测度参数的类型；

●以系统中的每一台计算机为节点，以各种不同类型的测度参数构成集合Vⁱ＝{u¹，u²，u³，...，uⁿ}，其中uⁱ为第i中测度参数，n为测度参数的总数；

●所有节点中的相同测度参数划分为一个层次，因此就划分为V⁰＝{u⁽¹⁾，u⁽²⁾，u⁽³⁾，...，u⁽ⁿ⁾}。其中u⁽¹⁾代表由所有节点的测度属性uⁱ节点构成的测度参数层。

2)测度属性对之间的概率转移矩阵计算方法

如何确定测度属性之间的分布是最重要的，本技术将数据映射到二维空间中，并估算从任一个网格到另一个网格转化的后验概率来计算转移矩阵，具体步骤如下：

●以两个测度参数分别为横坐标和纵坐标构成二维空间，把将测度参数对的数据映射到此二维空间中X^i，j；

●在二维空间中分别找到横坐标和纵坐标的最大值和最小值，并将坐标区域划分为n²个网格；坐标轴的网格区域覆盖范围分别为：和 $D\left(j\right)=\frac{\mathrm{Max}\left(j\right)-\mathrm{Min}\left(j\right)}{n}$

●计算一个网格到其他格子区间的转移概率；

其中P(d_p→d_q)为从网格p到q的概率，是先验定义的；P(T)是无关的，被忽略；我们认为数据集中的时序数据之间是相互独立的，且后验概率仅与上一次的数据有关，即时间t的数据，因此有：P(d_p→d_q|T)∞P(d_p→d_q)P(x_t→x_t+1|d_p→d_q)，由于空间接近趋势，我们认为P(d_p→d_q)与网格p和q的最短距离，即从一个网格到达另一个网格所经过的最少步骤Dis(p，q)有关；并且认为P(x_t→x_t+1|d_p→d_q)与实际数据x_t+1落入的网格d_h以及网格q和h的举例有关，因此，上述公式转化为： $P(d_p\→d_q|T)\∞\frac{P(d_p\→d_p)P(x_t\→x_{t+1}|d_p\→d_h)}{\mathrm{Dis}(p,q)\×\mathrm{Dis}(q,h)}.$

●计算一个状态下任一个网格到所有其他网格的转化概率，并形成测度属性对之间的概率转移矩阵

3)构建同一个层次中测度属性的网络关系模型的方法

在分布式系统中通常同一个层次中的测度参数之间包含着紧密的联系，但是如何进行这种联系的刻画是一个具有挑战性的问题。本技术采用定义测量参数之间的适应度的方法计算测度之间的联系，并在构成的测度参数关系网络图中加入相应的加权边来刻画这种关系，具体实现如下：

●从同一个层次中任意选择两个测度参数uⁱ，u^j；

●在某个时间t构造这两个测度参数的相关转移矩阵

●定义测量参数的转移概率的排序函数，

为适应度，其中

为

的网格单元数，

为网格c_k的排序，排序集合为

●根据步骤3中所定义的适应度函数以及转移矩阵中的网格转化概率计算测度之间的适应度关系；

●在不为零的适应度之间的两个测度参数之间建立一个加权边，边的权重为适应度，生成测度函数层次间的网络模型，如图1所示。

4)构建不同层次间测度参数的网络关系模型的方法

在分布式系统中不同层次之间的某些测度参数也会存在着关系，如：计算机A向计算机B发出服务请求的连接数可能与计算机B的CPU及内存使用率有关，因为计算机B要对计算机A的请求信息进行处理，因此这些测度参数之间的关系也需要利用网络信息刻画出来，但如果将全部这些信息的概率转移信息都添加进去，会使网络结构过于复杂，本技术采用的方法如下：

●设定可接受层次之间测度参数的适应度阈值；

●计算任意两个层次之间测度参数的适应度；

●如果适应度超过设定的某个阈值，则在这两个测度参数之间建立一条加权边，且变得权重为这两个参数的适应度，生成不同层次间测度参数的网络关系模型，如图2所示。

Claims (3)

1.一种分布式系统中多层次测度网络关系构建方法，其特征是：

（1）根据测度属性的类型对测度参数进行分层；

（2）构造任意两个测度属性对之间的概率转移矩阵；

（3）构建同一个层次中测度属性的网络关系模型，具体方法为：1）从同一个层次中任意选择两个测度参数；2）构造这两个测度参数的概率转移矩阵；3）定义测度参数之间的适应度函数；4）根据步骤3）中所定义的适应度函数以及概率转移矩阵计算测度之间的关系；5）在不为零的适应度之间的两个测度参数之间建立一个加权边，边的权重为适应度，生成多层次测度参数的网络模型；

（4）构建不同层次间测度参数的网络关系模型，具体方法为：1）设定可接受层次之间测度参数的适应度阈值；2）计算任意两个层次之间测度参数的适应度；3）如果适应度超过设定的适应度阈值，则在这两个测度参数之间建立一条加权边，且边的权重为这两个测度参数的适应度，生成不同层次间测度参数的网络关系模型。

2.根据权利要求1所述的分布式系统中多层次测度网络关系构建方法，其特征是：所述根据测度属性的类型对测度参数进行分层的方法为：1）从系统日志文件，系统审计活动和网络流量统计的数据中获得测度参数类型；2）以系统中的每一台计算机为一个节点，以各种不同类型的测度参数构成一个集合；3）将所有节点中的相同测度参数划分为一个层次。

3.根据权利要求2所述的分布式系统中多层次测度网络关系构建方法，其特征是：所述构造任意两个测度属性对之间的概率转移矩阵的方法是：1）将测度参数对之间的数据映射到二维空间中；2）在二维空间中定义网格区域的范围；3）计算一个网格到其他格子区间的转移概率；4）将所有转移概率按照概率转移矩阵的形式表示，形成测度属性对之间的概率转移矩阵。

Images