CN101442561A - 一种基于支持向量机的网格监控方法 - Google Patents

Abstract

一种基于支持向量机的网格监控方法是一种新型的网格监控方法。该系统采用SVM方法，对传感器等传来的性能信息进行特征提取，数据处理标准化后，得到一系列样本数据，进行支持向量机学习测试，构造出一个回归函数，此后将新监测到的性能数据变化量经过SVM控制器分析，预测期望的轮询周期，从而决定是否需要更改轮询周期。下一次即按照预测的轮询周期进行监控，并不断调整轮询周期。使资源实时性与负载得到了很好的平衡。解决了网格监控系统中由于固定周期性监控所引起的系统性能下降或监控实时性不强的问题，使目录服务中存储的性能数据更加准确，降低了资源消耗。

Description

一种基于支持向量机的网格监控方法

技术领域

本发明是一种新型的网格资源监控方法，本方法对节点性能数据变化量与相应的轮询周期进行SVM学习，由SVM构造出的回归函数，根据此回归函数以及某次性能数据变化预测下一次轮询周期。解决了传统网格资源监控方式固定周期地读取各个节点的信息的不足，使目录服务中存储的性能数据更加准确，降低了资源消耗，本技术属于网格计算技术领域。

背景技术

网格计算作为一个重要的新领域，已经获得了全球范围的广泛关注。将网格中众多的跨越不同自治域，在地理上分布的异构的计算机和资源组织起来，是国内外研究的重点。利用网格，人们可以像用电一样，接通开关，就可以方便地使用资源。

网格是一个广域范围内的无缝集成和协同计算环境，各类资源在网格中被整合应用。网格中的资源包括计算资源、存储资源、通信资源、软件资源、信息资源、知识资源等。而在网格技术中，监控系统是一个重要组成部分。监控系统可以帮助资源管理者分析系统性能，及时发现问题，合理配置资源；为网格中的其它服务提供需要的信息，帮助用户选择最合适的资源。

在传统的网格环境中，网格的监控方式是通过监控系统不断地向资源发出信息请求，当资源状态发生新的改变后，监控系统将请求获得的资源状态更新到自己的存储设备中，将资源状态信息保存起来。然而在实际网格应用中，有些资源使用效率是比较高的，资源状态的小幅度改变并不会对网格应用产生影响，这样的状态改变对网格系统而言是完全可以忽略不计的。如果周期性地去检测所有资源，必然会造成对网格系统资源开销的巨大浪费，尤其是对一些使用率较低的设备，在没有使用的情况下还要对其进行定时扫描，浪费大量的监控资源。而且网格资源具有的动态性，即资源可以动态地加入或退出，故对网格资源进行监控也要考虑到动态性，监控必须实时。

目前一些组织已经开发了网格监控系统，比如NWS，MDS等。但这些资源监控系统都是采用固定周期的轮询策略采集资源当前性能的性能数据。这样就会存在之前所叙述的问题。因此研究一种新型网格资源监控方法具有重要意义。

发明内容

技术问题：本发明的目的是提供一种基于支持向量机的网格监控方法，与过去使用的监控方法不同，本方法引入了基于SVM的机器学习方法，对性能数据的变化与轮询周期进行分析与判断，估计下一次轮询周期。使用本发明提出的方法可以解决固定轮询周期所引起的系统性能下降或监控实时性不强的问题。

技术方案；本发明是一种改进性的监控方法，通过引入SVM思想而提出的，其原理是以轮询时间与一段时间内相应的性能数据平均变化量作为样本数据，选取一定量的样本，通过SVM训练样本数据得到一个回归函数，然后对下一次得到的性能数据变化量进行回归函数分析，得到一个新的轮询周期，以分析结果确定是否需要改变当前的轮询周期。解决了网格监控系统中由于固定周期性监控所引起的系统开销以及实时性不强等问题。

本发明的一种基于支持向量机的网格监控方法包含以下步骤：

步骤1)信息采集者采集性能数据，包括主机名、处理器、内存、cpu利用率、时钟速度、物理内存总量、虚拟内存、可用磁盘空间等信息，

步骤2)将从不同类型的数据采集者收集到的数据交给适配器模块处理，将不同格式的数据做标准转化，

步骤3)将采集到的性能数据定时汇总到目录服务中，供用户使用，

步骤4)设置最大轮询周期T_max，最小轮询周期T_min，令所有轮询周期都是T_min的整数倍，按照不同周期采集样本性能信息，把资源的利用率的变化量作为评价网格监控事件的参数，包括：CPU利用率变化量，带宽利用率变化量，内存利用率变化量，I/O利用率变化量，

步骤5)在检测器中定义2个数组x[n]和t[n]，分别用来存储从当前时间到T＝10*T_max时间内，轮询时间和对应的性能数据变化量的平均值；x[i]表示按照轮询周期t[i]进行轮询，至T时刻得到的性能数据变化量的均值，即 $x\left[i\right]=\underset{k=1}{\overset{\mathrm{count}}{\mathrm{\Σ}}}\frac{x{\left[i\right]}_k}{\mathrm{count}},$

其中x[i]_k表示以固定轮询周期t[i]进行轮询时，第k次轮询得到的性能数据与k-1次轮询得到的性能数据之间的变化量，

步骤6)设置初始轮询周期T＝T_min，采集样本性能信息，包括节点的CPU利用率，带宽利用率，内存利用率，I/O利用率各项信息，计算每次轮询样本性能数据的变化率，到T时刻每个节点的平均变化率就是x[1k]＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，表示m个节点；其中，x_1k1表示(0，T)时间内，轮询周期为T＝T₁＝T_min时，第k个节点的第一个性能属性CPU利用率的平均变化量，

步骤7)设置轮询周期T＝2*T_min...T_max，重复步骤6，直到T＝T_max，得到 $x\left[2k\right],x\left[3k\right],....x\left[\frac{T_{\max }}{T_{\min }}k\right],$ 转步骤8；

步骤8)将得到的性能数据变化率进行归一化处理，

归一化公式为：X_1ki＝(x_1ki-x_1min)/(x_1max-x_1min)，其中X_1ki为归一化后的值，x_1ki为实测值，x_1max为x_1ki中最大的，x_1min为x_1ki中最小的，

步骤9)对经过归一化预处理之后的向量，进行加权处理，性能信息中的每一项对网格性能变化的反应程度不同，令W_i，i＝1，2，3，4分别为CPU利用率变化率、带宽利用率变化率、内存利用率变化率、I/O利用率变化率各项的权值，将各个轮询时刻测量得到的各项性能的平均变化率求平均值，即：

$\stackrel{\‾}{x_i}=\left(\underset{j=1}{\overset{\frac{T_{\max }}{T_{\min }}}{\mathrm{\Σ}}}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ikj}}\right)/(m\×\frac{T_{\max }}{T_{\min }}),$ i＝1，2，3，4，可计算 $W_i=\stackrel{\‾}{x_i}/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\stackrel{\‾}{x_i}\right),$ i＝1，2，3，4。

步骤10)对训练样本进行SVM训练，通过选取不同的训练参数C，σ，配合样本训练数据进行SVM训练，得到若干组与不同训练参数一一对应的训练结果，即求解式(2)

$\max W(a,a^{*})=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})(a_j-a_j^{*})\×(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i+a_i^{*})\mathrm{\ϵ}-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})y_i$

     $\mathrm{Subject\; to}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})=0;0\≤a_i,a_i^{*}\≤C,i=\mathrm{1,2},...,l$

得到支持向量和相应的参数

得到回归函数如下：

$f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})K(x_i,x)+b$

其中K(x，x_i)为核函数， $K(x,x_i)=\exp \{-{\left|x-x_i\right|}^2/{\mathrm{\σ}}^2\},$

再把得到的不同训练结果分别用测试数据进行测试，记录下检验效果，以效果最好的一组结果对应的训练参数C，σ为选取的参数，

步骤11)得到回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨{x,x}_i\⟩+b,$ x_i为第i个训练样本的输入，即相应的轮询周期下，某个节点的性能数据变化量，y_i为第i个训练样本的输出，即相应的轮询周期，

步骤12)确定新的轮询周期T＝T_min；

步骤13)按照新周期轮询，得到性能数据变化率

x′[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m表示m个节点。经过归一化处理后，得到m个4维向量，

步骤14)将m个4维向量x′[1k]的每个属性进行加权处理后后，送到SVM控制器中进行分析，由回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨x,x_i\⟩+b$ 得到分析结果y_k，k＝1...m，取y_k的平均值

将该平均值作为新的轮询周期T，

步骤15)将x′[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，代替

x[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，计算新的性能变化平均值

x[1k]＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m。在新周期下，重新进行支持向量机学习，

步骤16)依照第一次轮询的情况，类推。按照新的轮询周期

轮询，由步骤13，得到性能数据变化量，经过步骤14，得到新的轮询时间。在步骤14中，用新得到的性能数据变化量代替之前样本里相应的向量，计算新的性能数据变化量的平均值，并重新训练SVM，步骤17)以后，即以此类推。

有益效果：本发明是一种新型的网格监控方法，主要用于解决网格资源监控的效率问题，通过使用本发明提出的方法可以避免采用固定周期轮询监控的不足，可以使监控的数据更加准确，并且降低资源消耗。提高了资源监控的灵活性。下面给出具体的说明。

基于SVM的网格监控，既做到了实时性的监控，又做到了更加有效的利用资源。过去的固定周期轮询策略存在不足：周期固定、缺乏灵活性。如果轮询频率太高，系统的大部分时间和资源消耗在查询之中，大大增加了系统的负担，那么系统性能就会下降；如果轮询效率太低，系统地实时状况不能得到及时反映。而且，网格资源变化幅度不稳定，如在白天变化幅度大，固定的周期降低了性能数据的准确性。相反，在夜间变化幅度平缓，固定的周期增加了节点负担。为了解决这个问题，通过构造一个基于SVM的控制器，每次监控的性能数据通过SVM控制器，根据决策模块决定是否要更改轮询周期。这种算法增加了资源监控的自适应性和实时性。

附图说明

图1是该系统体系结构图。图中包括：信息提供者，适配器，SVM控制器，索引服务。

图2是基于SVM的网格监控方法的流程图。

具体实施方式

一、体系结构

图1给出了一个运用这种方法的监控系统的设计体系结构，它的功能部件主要包括信息提供器(Information Provider)，适配器(Adapter)，SVM控制器，索引服务器。

下面我们给出几个具体部分的说明：

信息提供器：在监控节点上运行的信息收集源，收集各种类型的资源状态信息。包括Globus发行的GRAM和可以与MDS集成的外部信息提供者如Ganglia或Hawkeye。

适配器：不同的信息采集器之间存在着差异。适配器的作用就是消除这些差异，从不同类型的信息采集器中获取数据，然后交给SVM控制器部件处理。适配器使得在选择信息提供者时有很好的灵活性。

SVM控制器：将适配器传来信息进行SVM数据标准化处理，通过经SVM学习得出回归函数，根据下次性能数据的变化程度判断是否需要更改轮询周期。

索引服务器：主要是用于存放所收集到的系统信息，以供客户端请求使用。

二、SVM控制器的方法流程

1、SVM的基本思想

支持向量机是根据统计学习理论提出的一种新的机器学习方法，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。

支持向量机从本质上讲是一种前向神经网络，根据结构风险最小化准则，在使训练样本分类误差极小化的前提下，尽量提高分类器的泛化推广能力。从实施的角度，训练支持向量机的核心思想等价于求解一个线性约束的二次规划问题，从而构造一个超平面作为决策平面，使得特征空间中两类模式之间的距离最大，而且它能保证得到的解为全局最优解，并巧妙地利用原空间的核函数取代高维特征空间中的点积运算。

SVM的基本思想是：通过一个非线性映射，把输入空间的数据映射到一个高维特征空间中去，然后在此空间中应用结构风险最小化原则构造最优决策函数，并巧妙地利用原空间的核函数取代高维特征空间中的点积运算。

2、SVM控制器介绍

在网格环境中，监控系统按照固定的周期不断地向资源状态信息发出请求，当新的信息产生时，监控系统中的状态就要更新。若更新太慢，会导致目录服务器中的性能数据过期，所以定期的轮询容易引起更新过快或过慢的问题，需要制定有效的轮询策略，在性能数据变化幅度剧烈的时候，缩短轮询周期，在性能数据变化幅度平缓的时候，增加轮询周期。所以我们需要设计一种新的方案来实时地根据网格负载的变化而改变轮询周期。

当网格系统将任务分发到一个节点进行执行，在节点上就会产生一系列事件，每个事件的产生都会对监控节点的资源状态发生或多或少的影响，比如节点的CPU利用率以及内存利用率等都会发生变化。

把资源的利用率作为评价网格监控事件的参数，具有较强的通用性。主要包括：CPU利用率，带宽利用率，内存利用率，I/O利用率。

通过事先构造的SVM的回归函数，由资源利用率的改变得到相应所需要的轮询周期，与实际设置的轮询周期相比较，判断如何更改轮询周期，下一次即按照更改后的轮询周期进行监测。

整个控制器的工作过程分为两个阶段：训练阶段和检测阶段。

首先，最大轮询周期T_max，最小轮询周期T_min；

在训练阶段，设置观察时间T＝N*T_max，为了确保准确性，加大样本数据的可靠性，N可以适当取得大一点。先后设置[T_min，T_max]内n个轮询周期T_i，i＝1...n。从当前时刻开始，分别以T_i轮询，每轮询一次，都会得到此次轮询周期内资源性能的变化率，计算T时间内，以T_i轮询的资源性能数据变化率的平均值(x_1i，x_2i，x_3i，x_4i)。得到n个向量x[i]＝{x_1i，x_2i，x_3i，x_4i}，i＝1...n，y[i]＝T_i。对向量内各属性进行归一化处理，即得到n个样本。然后训练支持向量机。

在线性回归的情况下，对于训练样本集{(x₁，y₁)，...(x_n，y_n)}，x_i∈R_n，y_i∈R，要在线性函数集{f(x)|f(x)＝w*x+b}中寻找满足约束的参数w和b。考虑到在实际应用中存在一定的拟合误差，此处引入松弛因子ξ_i和，即求约束条件下的式(1)。

       $\mathrm{Min}\frac{1}{2}{\left|\right|w\left|\right|}^2+C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}({\mathrm{\ξ}}_i+{\mathrm{\ξ}}_i^{*})$

$\mathrm{Subject\; to}[(w\·x_i)+b]-y_i\≤\mathrm{\ϵ}+{\mathrm{\ξ}}_i;i=\mathrm{1,2},...,l$

          $y_i-[(w\·x_i)+b]\≤\mathrm{\ϵ}+{\mathrm{\ξ}}_i;i=\mathrm{1,2},...,l$

          ${\mathrm{\ξ}}_i^{(*)};i=\mathrm{1,2},...,l---\left(1\right)$

引入Lagrange对偶原理，求解式(1)。其对偶问题如下：

$\max W(a,a^{*})=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})(a_j-a_j^{*})\×(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i+a_i^{*})\mathrm{\ϵ}-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})y_i---\left(2\right)$

          $\mathrm{Subject\; to}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})=0;0\≤a_i,a_i^{*}\≤C,i=\mathrm{1,2},...,l$

求解式(2)得到支持向量和相应的参数

从而获得最佳拟合函数

$f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})(x,x_i)+b---\left(3\right)$

实际中非线性情况大量存在，内积回旋的方法很好地解决了这个问题，通过选择的非线性映射，将输入向量x映射到高维特征空间中，在高维空间构建最优线性拟合函数，从而达到在原空间中的非线性函数拟合的效果。具体形式为：

$f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})\mathrm{\Φ}\left(x\right)\·\mathrm{\Φ}\left(x_i\right)+b---\left(4\right)$

利用核函数来代替内积Φ(x)·Φ(x_i)，可得非线性回归函数

$f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})K(x_i,x)+b---\left(5\right)$

核函数K(x_i，x)一般取RBF核函数。 $K(x,x_i)=\exp \{-{\left|x-x_i\right|}^2/{\mathrm{\σ}}^2\}.$

通过选取不同的训练参数C，σ，配合选定的样本训练数据进行SVM训练，从而得到若干组与不同训练参数一一对应的训练结果。再把得到的不同训练结果分别用测试数据进行测试，记录下检验效果，以效果最好的一组结果对应的训练参数为选取的参数。

在检测阶段，将各个节点的资源性能变化率进行归一化处理后，根据回归函数式(5)得到期望的轮询周期T，并将结果提交给决策系统作出最后的判断，得到下一次监测的轮询周期。

3、基于SVM的网格资源监控流程：

步骤1：设置最大轮询周期T_max，最小轮询周期T_min，令所有轮询周期都是T_min的整数倍。

步骤2：在检测器中定义2个数组x[n]和t[n]，分别用来存储从当前时间到T＝10*T_max时间内，轮询时间和对应的性能数据变化量的平均值。x[i]表示按照轮询周期t[i]进行轮询，至T时刻得到的性能数据变化量的均值。即 $x\left[i\right]=\underset{k=1}{\overset{\mathrm{count}}{\mathrm{\Σ}}}\frac{x{\left[i\right]}_k}{\mathrm{count}},$

。其中x[i]_k表示以固定轮询周期t[i]进行轮询时，第k次轮询得到的性能数据与k-1次轮询得到的性能数据之间的变化量。

步骤3：设置初始轮询周期T＝T_min。采集样本性能信息，包括节点的CPU利用率，带宽利用率，内存利用率，I/O利用率各项信息。计算每次轮询样本性能数据的变化率。到T时刻每个节点在以轮询周期T＝T₁＝T_min轮询时，平均变化率就是x[1k]＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，表示m个节点。其中，x_1k1表示(0，T)时间内，轮询周期为T＝T₁＝T_min时，第k个节点的第一个性能属性CPU利用率的平均变化量。

步骤4：设置轮询周期T＝2*T_min...T_max，重复步骤3，直到T＝T_max，得到 $x\left[2k\right],x\left[3k\right],...x\left[\frac{T_{\max }}{T_{\min }}k\right].$ 转步骤5；

步骤5：将得到的性能数据变化率进行归一化处理。

归一化公式为：X_1ki＝(x_1ki-x_1min)/(x_1max-x_1min)，其中X_1ki为归一化后的值，x_1ki为实测值，x_1max为x_1ki中最大的，x_1min为x_1ki中最小的。

步骤6：对经过归一化预处理之后的向量，进行加权处理。因为，性能信息中的每一项对网格性能变化的反应程度不同。令W_i，i＝1，2，3，4分别为CPU利用率变化率、带宽利用率变化率、内存利用率变化率、I/O利用率变化率各项的权值。将各个轮询时刻测量得到的各项性能的平均变化率求平均值，即

$\stackrel{\‾}{x_i}=\left(\underset{j=1}{\overset{\frac{T_{\max }}{T_{\min }}}{\mathrm{\Σ}}}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ikj}}\right)/(m\×\frac{T_{\max }}{T_{\min }}),$ i＝1，2，3，4，可计算 $W_i=\stackrel{\‾}{x_i}/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\stackrel{\‾}{x_i}\right),$ i＝1，2，3，4。

步骤7：对训练样本进行SVM训练。通过选取不同的训练参数C，σ，配合样本训练数据进行SVM训练，从而得到若干组与不同训练参数一一对应的训练结果。即求解式(2)

$\max W(a,a^{*})=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})(a_j-a_j^{*})\×(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i+a_i^{*})\mathrm{\ϵ}-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})y_i$

$\mathrm{Subject\; to}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})=0;0\≤a_i,a_i^{*}\≤C,i=\mathrm{1,2},...,l$

得到支持向量和相应的参数得到回归函数如下：

$f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})K(x_i,x)+b$

K(x，x_i)为核函数， $K(x,x_i)=\exp \{-{\left|x-x_i\right|}^2/{\mathrm{\σ}}^2\}.$

再把得到的不同训练结果分别用测试数据进行测试，记录下检验效果，以效果最好的一组结果对应的训练参数C，σ为选取的参数。

步骤8：得到回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨{x,x}_i\⟩+b.$ x_i为第i个训练样本的输入，即相应的轮询周期下，节点的性能数据变化量，y_i为第i个训练样本的输出，即相应的轮询周期。

步骤9：确定新的轮询周期T＝T_min；

步骤10：按照新周期轮询，得到性能数据变化率x′[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m表示m个节点。经过归一化处理后，得到m个4维向量。

步骤11：将m个4维向量x′[1k]的每个属性进行加权处理后，送到SVM控制器中进行分析，由回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨{x,x}_i\⟩+b$ 得到分析结果y_k，k＝1...m，取y_k的平均值将该平均值作为新的轮询周期T。

步骤12：将x′[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，代替

x[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，计算新的性能变化平均值

x[1k]＝{x_1k1，x_2k1，x_3k1，x_4k1，k＝1...m。在新周期下，重新进行支持向量机学习。

步骤13：转步骤10，按照第一次的情况类推。

实例：

(1)信息采集者采集性能数据，包括主机名、处理器、内存、CPU利用率、时钟速度、物理内存总量、虚拟内存、可用磁盘空间等信息；

(2)将从不同类型的数据采集者收集到的数据交给适配器模块处理，将不同格式的数据做标准转化；

(3)将采集到的性能数据定时汇总到目录服务中，供用户使用。

(4)设置最大轮询周期T_max，最小轮询周期T_min，令所有轮询周期都是T_min的整数倍，按照不同周期采集样本性能信息。把资源的利用率的变化量作为评价网格监控事件的参数，包括：CPU利用率变化量，带宽利用率变化量，内存利用率变化量，I/O利用率变化量。

(5)在检测器中定义2个数组x[n]和t[n]，分别用来存储从当前时间到T＝10*T_max时间内，轮询时间和对应的性能数据变化量的平均值。x[i]表示按照轮询周期t[i]进行轮询，至T时刻得到的性能数据变化量的均值。即 $x\left[i\right]=\underset{k=1}{\overset{\mathrm{count}}{\mathrm{\Σ}}}\frac{x{\left[i\right]}_k}{\mathrm{count}},$

其中x[i]_k表示以固定轮询周期t[i]进行轮询时，第k次轮询得到的性能数据与k-1次轮询得到的性能数据之间的变化量。

(6)设置初始轮询周期T＝T_min。采集样本性能信息，包括节点的CPU利用率，带宽利用率，内存利用率，I/O利用率各项信息。计算每次轮询样本性能数据的变化率。到T时刻每个节点的平均变化率就是x[1k]＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，表示m个节点。其中，x_1k1表示(0，T)时间内，轮询周期为T＝T₁＝T_min时，第k个节点的第一个性能属性CPU利用率的平均变化量。

(7)设置轮询周期T＝2*T_min...T_max，重复步骤6，直到T＝T_max，得到

(8) $x\left[2k\right],x\left[3k\right],...x\left[\frac{T_{\max }}{T_{\min }}k\right].$ 转步骤8；

(9)将得到的性能数据变化率进行归一化处理。

归一化公式为：X_1ki＝(x_1ki-x_1min)/(x_1max-x_1min)，其中X_1ki为归一化后的值，x_1ki为实测值，x_1max为x_1ki中最大的，x_1min为x_1ki中最小的。

对经过归一化预处理之后的向量，进行加权处理。因为，性能信息中的每一项对网格性能变化的反应程度不同。令W_i，i＝1，2，3，4分别为CPU利用率变化率、带宽利用率变化率、内存利用率变化率、I/O利用率变化率各项的权值。将各个轮询时刻测量得到的各项性能的平均变化率求平均值，即

$\stackrel{\‾}{x_i}=\left(\underset{j=1}{\overset{\frac{T_{\max }}{T_{\min }}}{\mathrm{\Σ}}}\underset{k=1}{\overset{m}{\mathrm{\Σ}}}{x}_{\mathrm{ikj}}\right)/(m\×\frac{T_{\max }}{T_{\min }}),$ i＝1，2，3，4，可计算 $W_i=\stackrel{\‾}{x_i}/\left(\underset{i=1}{\overset{4}{\mathrm{\Σ}}}\stackrel{\‾}{x_i}\right),$ i＝1，2，3，4。

(10)对训练样本进行SVM训练。通过选取不同的训练参数C，σ，配合样本训练数据进行SVM训练，得到若干组与不同训练参数一一对应的训练结果。即求解式(2)

$\max W(a,a^{*})=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})(a_j-a_j^{*})\×(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i+a_i^{*})\mathrm{\ϵ}-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})y_i$

    $\mathrm{Subject\; to}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})=0;0\≤a_i,a_i^{*}\≤C,i=\mathrm{1,2},...,l$

得到支持向量和相应的参数得到回归函数如下：

$f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})K(x_i,x)+b$

其中K(x，x_i)为核函数， $K(x,x_i)=\exp \{-{\left|x-x_i\right|}^2/{\mathrm{\σ}}^2\}.$

得到支持向量和相应的参数

再把得到的不同训练结果分别用测试数据进行测试，记录下检验效果，以效果最好的一组结果对应的训练参数C，σ为选取的参数。

(11)得到回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨{x,x}_i\⟩+b.$ x_i为第i个训练样本的输入，即相应的轮询周期下，某个节点的性能数据变化量，y_i为第i个训练样本的输出，即相应的轮询周期。

(12)确定新的轮询周期T＝T_min；

(13)按照新周期轮询，得到性能数据变化率

x′[1k]₁＝{x_1k1，_x2k1，x_3k1，x_4k1}，k＝1...m表示m个节点。经过归一化处理后，得到m个4维向量。

(14)将m个4维向量x′[1k]的每个属性进行加权处理后后，送到SVM控制器中进行分析，由回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨{x,x}_i\⟩+b$ 得到分析结果y_k，k＝1...m，取y_k的平均值

将该平均值作为新的轮询周期T。

(15)将x′[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，代替

x[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，计算新的性能变化平均值

x[1k]＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m。在新周期下，重新进行支持向量机学习。

(16)依照第一次轮询的情况，类推。按照新的轮询周期

轮询，由步骤13，得到性能数据变化量。经过步骤14，得到新的轮询时间。在步骤14中，用新得到的性能数据变化量代替之前样本里相应的向量，计算新的性能数据变化量的平均值，并重新训练SVM。

(17)以后，即以此类推。

Claims (1)

1.一种基于支持向量机的网格监控方法，其特征在于该方法包含以下步骤：

步骤1)信息采集者采集性能数据，包括主机名、处理器、内存、cpu利用率、时钟速度、物理内存总量、虚拟内存、可用磁盘空间等信息，

步骤2)将从不同类型的数据采集者收集到的数据交给适配器模块处理，将不同格式的数据做标准转化，

步骤3)将采集到的性能数据定时汇总到目录服务中，供用户使用，

步骤4)设置最大轮询周期T_max，最小轮询周期T_min，令所有轮询周期都是T_min的整数倍，按照不同周期采集样本性能信息，把资源的利用率的变化量作为评价网格监控事件的参数，包括：CPU利用率变化量，带宽利用率变化量，内存利用率变化量，I/O利用率变化量，

步骤5)在检测器中定义2个数组x[n]和t[n]，分别用来存储从当前时间到T＝10*T_max时间内，轮询时间和对应的性能数据变化量的平均值；x[i]表示按照轮询周期t[i]进行轮询，至T时刻得到的性能数据变化量的均值，即 $x\left[i\right]=\underset{k=1}{\overset{\mathrm{count}}{\mathrm{\Σ}}}\frac{x{\left[i\right]}_k}{\mathrm{count}},$

其中x[i]_k表示以固定轮询周期t[i]进行轮询时，第k次轮询得到的性能数据与k-1次轮询得到的性能数据之间的变化量，

步骤6)设置初始轮询周期T＝T_min，采集样本性能信息，包括节点的CPU利用率，带宽利用率，内存利用率，I/O利用率各项信息，计算每次轮询样本性能数据的变化率，到T时刻每个节点的平均变化率就是x[1k]＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，表示m个节点；其中，x_1k1表示(0，T)时间内，轮询周期为T＝T₁＝T_min时，第k个节点的第一个性能属性CPU利用率的平均变化量，

步骤7)设置轮询周期T＝2*T_min...T_max，重复步骤6，直到T＝T_max，得到 $x\left[2k\right],x\left[3k\right],...x\left[\frac{T_{\max }}{T_{\min }}k\right],$ 转步骤8；

步骤8)将得到的性能数据变化率进行归一化处理，

归一化公式为：X_1ki＝(x_1ki-x_1min)/(x_1max-x_1min)，其中X_1ki为归一化后的值，x_1ki为实测值，x_1max为x_1ki中最大的，x_1min为x_1ki中最小的，

步骤9)对经过归一化预处理之后的向量，进行加权处理，性能信息中的每一项对网格性能变化的反应程度不同，令W_i，i＝1，2，3，4分别为CPU利用率变化率、带宽利用率变化率、内存利用率变化率、I/O利用率变化率各项的权值，将各个轮询时刻测量得到的各项性能的平均变化率求平均值，

步骤10)对训练样本进行SVM训练，通过选取不同的训练参数C，σ，配合样本训练数据进行SVM训练，得到若干组与不同训练参数一一对应的训练结果，即求解式(2)

$\max W(a,a^{*})=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})(a_j-a_j^{*})\×(x_i\·x_j)-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i+a_i^{*})\mathrm{\ϵ}-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}(a_i-a_i^{*})y_i$

$\mathrm{Subject\; to}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})=0;0\≤a_i,a_i^{*}\≤C,i=\mathrm{1,2},...,l$

得到支持向量和相应的参数

得到回归函数如下：

$f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i-a_i^{*})K(x_i,x)+b$

其中K(x，x_i)为核函数， $K(x,x_i)=\exp \{-{|x-x_i|}^2/{\mathrm{\σ}}^2\},$

再把得到的不同训练结果分别用测试数据进行测试，记录下检验效果，以效果最好的一组结果对应的训练参数C，σ为选取的参数，

步骤11)得到回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨x,x_i\⟩+b,$ x_i为第i个训练样本的输入，即相应的轮询周期下，某个节点的性能数据变化量，y_i为第i个训练样本的输出，即相应的轮询周期，

步骤12)确定新的轮询周期T＝T_min；

步骤13)按照新周期轮询，得到性能数据变化率

x′[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m表示m个节点。经过归一化处理后，得到m个4维向量，

步骤14)将m个4维向量x′[1k]的每个属性进行加权处理后后，送到SVM控制器中进行分析，由回归函数 $f\left(x\right)=\underset{i=1}{\overset{m}{\mathrm{\Σ}}}({\mathrm{\α}}_i^{*}-a_i)K\⟨x,x_i\⟩+b$ 得到分析结果y_k，k＝1...m，取y_k的平均值将该平均值作为新的轮询周期T，

步骤15)将x′[1k]₁＝{x_1k1，x_2k1，x_3k1，x_4k1}，k＝1...m，代替x[1k]₁＝{x_1k1，_x2k1，x_3k1，x_4k1}，k＝1...m，计算新的性能变化平均值x[1k]＝{x_1k1，x_2k1，_x3k1，_x4k1}，k＝1...m。在新周期下，重新进行支持向量机学习，

步骤16)依照第一次轮询的情况，类推。按照新的轮询周期

轮询，由步骤13，得到性能数据变化量，经过步骤14，得到新的轮询时间。在步骤14中，用新得到的性能数据变化量代替之前样本里相应的向量，计算新的性能数据变化量的平均值，并重新训练SVM，

步骤17)以后，即以此类推。

Images