CN106375452A - 一种加权分类Web服务QoS监控方法 - Google Patents

Abstract

本发明公开了一种基于改进TF‑IDF动态权值更新的加权分类Web服务QoS监控方法，根据后来数据某个具体的影响因子组合数据单元计算该影响因子组合数据单元出现前后的信息增益，提出基于信息增益的TF‑IDF改进算法对之前的权值进行修正，考虑了影响因子组合数据单元在各个分类间的分布情况对影响因子组合权重计算的影响，从而提高了影响因子组合权重的计算精度。监控分为训练阶段和监控阶段，首先我们通过RPC获取样本数据流，最开始的一部分数据我们用来训练得到影响因子组合权值表，并且根据影响因子组合权值构造出加权朴素贝叶斯分类器。后来的数据用来监控，通过改进的TF‑IDF算法对权值表进行动态更新，监控时调用加权朴素贝叶斯分类器，得到监控结果。

Description

一种加权分类Web服务QoS监控方法

技术领域

本发明涉及一种Web服务QoS监控方法，尤其涉及一种基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，属于信息技术领域。

背景技术

随着互联网技术的发展，Internet上Web服务的数量快速增长，并且对Web服务的使用也变得更加复杂。网络环境的不确定性，使得Web服务的服务质量随之改变。QoS(Quality Of Service)是衡量第三方服务质量的重要标准，因此，有效监控QoS是对Web服务实现质量控制的必要过程。

QoS属性在面向服务的体系结构中扮演着重要的角色，它能够区分服务功能的好坏，它直接关系着用户的满意程度，同时也是服务成败的关键。服务质量本身是动态的，因此，持续监控Web服务QoS很有必要。国际标准化组织ISO将QoS性能参数定义为：建立连接延迟、建立连接失败率、吞吐量、传输延迟、传输失败率等。为了达到用户的满意度，要求Web服务能够达到一定的服务质量QoS需求，如可靠性、可用性、安全性等。目前，大部分QoS需求可由概率质量属性来表示，例如“当病人请求一个服务时，案例中在3秒内响应请求的概率为99.999％”，“在电讯系统正确安装的情况下，系统24小时内离线的概率应该小于0.02”，这些概率属性必须表达所谓的服务质量,额外的功能或非功能性需求如可用性、可靠性、安全、安全、和性能需求。如服务可靠性需求可描述为“该服务1年内的平均无故障运行时间为95％”，响应时间需求可描述为“对该服务发出调用请求后，在8秒内响应的概率为80％”。所以当前的很多QoS监控方法都是借助于概率质量属性的监控方法，主要有Grunske和Zhang提出的ProMo(Probabilistic Monitor)方法，ProMo使用连续随机逻辑CSL的子集概率时间逻辑CSLMon来定义监控方法，该方法基于假设检验理论SPRT，首先对总统特征做出某种假设，该方法基于小概率反证法思想，也就是认为小概率事件在一次试验中基本上不会发生，先提出假设，再通过计算得到假设成立的可能性大小，可能性小，则认为假设不成立；可能性大，则认为假设成立；Zhu等提出一种基于贝叶斯统计的概率监控方法，计算贝叶斯因子，进行假设检验。Zhuang等提出了一种环境因素敏感的Web Service QoS监控方法，通过环境因素构造样本的权值，通过训练部分样本得到权值表，权值表只是部分数据得到的值，且属于离线单调的权值计算，故其准确性不高，不具备动态性与实时性。

发明内容

发明目的：针对现有技术中存在的问题与不足，为了能够有效监控Web服务质量，本发明提供一种基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，它克服了传统的TF-IDF算法的缺陷，根据某个具体的影响因子组合数据单元的信息增益来改进TF-IDF算法，使得权值表动态更新，通过不断更新使得权值更准确更符合实时的需求，从而使得监控Web服务QoS结果也更加准确。

技术方案：影响因子组合数据单元的信息增益值的大小和影响因子组合数据单元在类间分布的密集程度成正比。因此可以用信息增益值来对影响因子组合的权重进行调节。由于影响因子组合数据单元的信息增益值与其对样本分类的影响重要性成正比，对传统的TF-IDF算法引入信息增益因子，实现对权值表的更新，使得监控结果更准确。

一种基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，具体过程如下：定义样本满足QoS属性标准为c₀类，不满足QoS标准为c₁类。先从RPC获取样本数据流，最开始的部分数据用来训练得到影响因子组合权值表以及构造加权朴素贝叶斯分类器，贝叶斯分类器样本的类别是通过估计后验概率p(C_i/X)来实现，p(c_i)通过样本集的最大似然估计来计算。为了得到样本的条件概率，根据伯努利分布和贝塔分布来获得样本集的先验概率。因此，最开始的部分数据要训练得到先验概率θ_i和先验概率函数p(X|c_i)。后来的数据用于监控和更新权值表，根据某个具体的影响因子组合数据单元计算信息增益值，对之前的权值表进行修正，以使得监控结果更加准确。

基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，包括以下步骤：

步骤1：根据QoS标准(例如：QoS标准为服务响应时间小于0.3s的概率大于85％)，定义QoS属性标准的两类c₀和c₁，满足QoS属性标准为c₀类，不满足则为c₁类，根据QoS属性标准的两类将样本X＝{x₁,x₂,x₃,x₄,…,x_n}分类,x_k＝1表示该样本满足QoS标准，x_k＝0表示该样本不满足QoS；

步骤2：通过RPC(Remote Procedure Call Protocol，远程过程调用协议)获取样本数据流，样本数据分为两个部分，早期部分数据用于训练，后面的数据用于监控与权值修正与更新；

步骤3：对早期部分样本学习训练，定义影响因子组合，得到影响因子组合权值表，影响因子主要包括：服务器负载时间段，服务器及客户地理位置，各服务器环境配置等；

步骤4：训练学习样本,X＝{x₁,x₂,x₃,x₄,…,x_n}是样本向量，得到QoS的先验信息，通过二项分布的经验贝叶斯估计得到先验概率分布中的θ_i值和先验概率分布函数p(X|c_i)。把θ_i看作(0，λ)上的均匀分布函数，设θ_i的先验分布为根据x的边缘分布和期望E(x)得到是θ_i的后验概率密度。具体公式如下：

${\mathrm{\θ}}_i=E\left({\mathrm{\θ}}_i\right|x)={\∫}_0^{\mathrm{\λ}}{\mathrm{\θ}}_{i}h\left({\mathrm{\θ}}_i\right|x){\mathrm{d\θ}}_i={\∫}_0^{\mathrm{\λ}}{{\mathrm{\θ}}_i}^{x+1}{(1-{\mathrm{\θ}}_i)}^{n-x}{\mathrm{d\θ}}_i/{\∫}_0^{\mathrm{\λ}}{{\mathrm{\θ}}_i}^x{(1-{\mathrm{\θ}}_i)}^{n-x}{\mathrm{d\θ}}_i,$

$p\left(X\right|c_i)={\mathrm{\Π}}_{k=1}^n{\left(\frac{{\mathrm{\θ}}_i}{1-{\mathrm{\θ}}_i}\right)}^{x_k}(1-{\mathrm{\θ}}_i)=\arg \{{\mathrm{\Σ}}_{k=1}^n\log (1-{\mathrm{\θ}}_i)+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k\log \left(\frac{{\mathrm{\θ}}_i}{1-{\mathrm{\θ}}_i}\right)\};$

步骤5：构造加权朴素贝叶斯分类器w_i指的是样本的环境因子对c₀类和c₁类的权值，加权值由样本所在的环境因素决定，通过TF-IDF算法得到不同环境对该样本分类的影响程度，将这一影响程度作为样本的权值，加权分类器考虑到环境因子对监控的影响，使得监控结果更加准确；

步骤6：使用数据流样本中后面的数据更新权值表。通过某个具体的影响因子组合数据单元来计算信息增益，更加精准具体的数据单元对样本分类的影响程度。引入信息增益因子优化TF-IDF算法得到某个具体的影响因子组合数据单元对样本分类影响的重要性，重要性设置为样本的权值，加权权值由样本的具体的某个数据单元确定；

步骤7:调用加权朴素贝叶斯分类器，通过调用贝叶斯分类器得到两类的后验概率分子p(c₀)以及p(c₁)，根据后验概率之比得到监控结果：样本满足QoS属性为c₀类，不满足QoS属性为c₁类以及无法判断三种结果；

步骤8：分析结果比较得出结论，改进TF-IDF算法实现权值表的动态更新能够更好的监控Web服务QoS。

有益效果：与现有的技术相比，本发明所提供的基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，通过引入某个具体的影响因子组合数据单元的信息增益值改进TF-IDF算法，对之前的权值进行修正，使得权值表动态更新，开始部分数据训练学习得到的权值表缺乏准确性，通过TF-IDF算法的优化，不断更新权值表，使得权值越来越准确，亦使得Web服务质量的监控结果更加准确。

附图说明

图1为本发明所提出方法的整体框架流程图；

图2为本发明所提出的影响因子权值表动态更新的流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，本发明实施例提供的基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法的流程图，步骤如下：

步骤101：定义QoS属性标准的两类c₀和c₁，满足QoS属性标准为c₀类，不满足则为c₁类；

步骤102：通过RPC(Remote Procedure Call Protocol)远程过程调用协议获取样本数据流，样本数据分为两个部分，早期部分数据用于训练，后面的数据用于监控与权值修正与更新；

步骤103：对早期部分样本进行训练，定义影响因子组合，根据传统的TF-IDF算法进行影响因子组合权值计算，进而得到影响因子组合权值表，影响因子主要包括三个方面参数，分别是用户角度方面参数(如用户所在地，使用服务的时间，使用的网络不同等)，服务器角度方面参数(服务器位置，系统配置等)，环境角度方面参数(服务器负载等)；

步骤104：使用数据流样本中后面的数据更新权值表。根据RPC按照顺序读取的数据流中具体的影响因子组合数据单元来计算信息增益，更加精准具体的数据单元对样本分类的影响程度。引入信息增益因子优化TF-IDF算法得到某个具体的影响因子组合数据单元对样本分类影响的重要性，重要性设置为样本的权值，加权权值由样本的具体的某个数据单元确定；

步骤105：训练学习样本，得到QoS的先验信息，通过二项分布的经验贝叶斯估计得到先验概率分布中的θ_i值和先验概率分布函数p(X|c_i)。；具体公式如下：

${\mathrm{\θ}}_i=E\left({\mathrm{\θ}}_i\right|x)={\∫}_0^{\mathrm{\λ}}{\mathrm{\θ}}_{i}h\left({\mathrm{\θ}}_i\right|x){\mathrm{d\θ}}_i={\∫}_0^{\mathrm{\λ}}{{\mathrm{\θ}}_i}^{x+1}{(1-{\mathrm{\θ}}_i)}^{n-x}{\mathrm{d\θ}}_i/{\∫}_0^{\mathrm{\λ}}{{\mathrm{\θ}}_i}^x{(1-{\mathrm{\θ}}_i)}^{n-x}{\mathrm{d\θ}}_i,$

$p\left(X\right|c_i)={\mathrm{\Π}}_{k=1}^n{\left(\frac{{\mathrm{\θ}}_i}{1-{\mathrm{\θ}}_i}\right)}^{x_k}(1-{\mathrm{\θ}}_i)=\arg \{{\mathrm{\Σ}}_{k=1}^n\log (1-{\mathrm{\θ}}_i)+\underset{k=1}{\overset{n}{\mathrm{\Σ}}}{x}_k\log \left(\frac{{\mathrm{\θ}}_i}{1-{\mathrm{\θ}}_i}\right)\};$

步骤106：构造加权朴素贝叶斯分类器C(X)＝argmaxc_i∈C{p(c_i)p^wi(X|c_i)}；

步骤107：调用加权朴素贝叶斯分类器，通过调用贝叶斯分类器得到两类的后验概率分子p(c₀)以及p(c₁)，根据后验概率之比k得到监控结果：k>1表示样本满足QoS属性为c₀类，k<1表示不满足QoS属性为c₁类，k＝1表示无法判断；

步骤108：分析结果比较得出结论，基于信息增益的改进TF-IDF动态权值更新的加权朴素贝叶斯Web服务QoS监控方法，通过引入某个具体的影响因子组合数据单元的信息增益值改进TF-IDF算法，对之前的权值进行修正，使得权值表动态更新，开始部分数据训练学习得到的权值表缺乏准确性，通过TF-IDF算法的优化，不断更新权值表，使得权值越来越准确，亦使得Web服务质量的监控结果更加准确。

如图2为本发明实施例关于所提出的影响因子权值表动态更新部分的流程图，步骤如下：

步骤201：读入一个监控样本；

步骤202：样本整体数N加1；

步骤203：判断样本X是否满足QoS标准；

步骤204：如果样本满足QoS标准，则 表示影响因子组合R_i中属于类别c₀的数量，表示类别c₀的个数；

步骤205：如果不满足QoS标准，则 表示影响因子组合R_i中属于类别c₁的数量，表示类别c₁的个数；

步骤206：计算具体的影响因子组合数据单元的信息增益值，具体公式如下：

C表示监控结果分类的集合，有C＝{c₀,c₁}，其中H(C)表示的是在没有出现某个具体的影响因子组合数据单元s之前监控样本属于某个类别的概率空间的熵，即对样本分类结果的不确定程度。H(C/s)为影响因子组合数据单元s出现之后样本属于某个类别概率空间的熵，即影响因子组合数据单元s对分类结果的不确定程度。具体影响因子组合数据单元s出现前后对样本影响分类的不确定程度就是信息增益，它蕴含的是影响因子组合对分类所能提供的重要性的大小，其中p(s)表示s数据单元出现在c类别中的概率，表示s出现在样本数据中但不出现在c类别中的概率。根据熵的计算公式计算H(C)和H(C/s)。

对于给定的概率分布P＝(P₁,P₂,...,P_n)，则该分布所携带的信息量就被称为P的熵H(P)，公式如下：

信息增益值越大则该影响因子组合数据单元s对样本分类的影响程度越大，应该赋予较高的权重。反之则该影响因子组合数据单元s对样本分类的影响程度较小，监控时应该赋予较低权重。

步骤207：信息增益值与影响因子所占权重成正比，影响因子组合R对样本影响分类的重要性与其在类间分布的均匀程度成反比，即影响因子组合数据单元s分布越不均匀，其对样本影响分类的重要性越大，某个影响因子组合数据单元s的信息增益值也越大。因此，信息增益值的大小反映了影响因子组合数据单元s在类间的分类权重。因此，计算某个影响因子数据单元s对样本分类的影响程度，即该影响因子组合数据单元出现前后的信息增益值来改进优化TF-IDF算法实现权值表的动态更新。

通过某个具体的影响因子组合数据单元的信息增益值改进优化TF-IDF算法，引入信息增益因子IG(s)，计算权值W_R计算公式如下：

表示影响因子组合R中属于类别c_i的数量，N_ci表示类别c_i的个数，N表示样本的整体数，n_R表示影响因子组合为R的样本数。IG(s)表示影响因子组合数据单元s的信息增益值。

影响因子组合数据单元s出现前后的信息增益值的大小和影响因子组合数据单元在类间分布的密集程度成正比。因此可以用信息增益值来对样本分类的权重进行调节。对于信息熵来说，如果影响因子组合数据单元分布越均匀则熵值越大，反之熵值越小。基于信息增益的TF-IDF算法考虑了影响因子组合数据单元在各个类别中的分布情况对样本分类的影响，从而提高了影响因子组合权重的计算的准确性，使得Web服务QoS的监控结果更加准确。

步骤208：输出影响因子权值w_R的值，动态更新权值表；

步骤209：判断样本是否读完，如果未读完，继续读取下一个样本。

Claims (5)

1.一种基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，其特征在于：利用信息增益值与影响因子组合数据单元在类间分布的密集程度成正比的关系，根据实时传入的具体影响因子组合数据单元的信息熵增益来优化TF-IDF算法，从而对经早期数据样本训练得到的影响因子组合权值表进行更新与修正，获得实时动态的、更加精准的影响因子组合权值，使得监控结果更准确。

2.如权利要求1所述的基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，其特征在于：根据实时传入的具体影响因子组合数据单元的信息熵增益来优化TF-IDF算法，从而对经早期数据样本训练得到的影响因子组合权值表进行更新与修正，具体过程如下：定义样本满足QoS属性标准为c₀类，不满足QoS标准为c₁类；先从RPC获取样本数据流，最开始的部分数据用来训练得到影响因子组合权值表以及构造加权朴素贝叶斯分类器，贝叶斯分类器样本的类别是通过估计后验概率p(c_i/X)来实现，p(c_i)通过样本集的最大似然估计来计算；为了得到样本的条件概率，根据伯努利分布和贝塔分布来获得样本集的先验概率；因此，最开始的部分数据要训练得到先验概率θ_i和先验概率函数p(X|c_i)；后来的数据用于监控和更新权值表，根据某个具体的影响因子组合数据单元计算信息增益值，对之前的权值表进行修正。

3.如权利要求2所述的基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，其特征在于：对开始部分数据样本学习训练，定义影响因子组合，得到影响因子组合权值表；

训练学习样本，得到QoS的先验信息，通过二项分布的经验贝叶斯估计得到先验概率分布中的θ_i值和先验概率分布函数p(X|c_i)；具体公式如下：

${\mathrm{\&theta;}}_i=E\left({\mathrm{\&theta;}}_i\right|x)={\&Integral;}_0^{\mathrm{\&lambda;}}{\mathrm{\&theta;}}_{i}h\left({\mathrm{\&theta;}}_i\right|x){\mathrm{d\&theta;}}_i={\&Integral;}_0^{\mathrm{\&lambda;}}{{\mathrm{\&theta;}}_i}^{x+1}{(1-{\mathrm{\&theta;}}_i)}^{n-x}{\mathrm{d\&theta;}}_i/{\&Integral;}_0^{\mathrm{\&lambda;}}{{\mathrm{\&theta;}}_i}^x{(1-{\mathrm{\&theta;}}_i)}^{n-x}{\mathrm{d\&theta;}}_i,$

$p\left(X\right|ci)={\&Pi;}_{k=1}^n{\left(\frac{{\mathrm{\&theta;}}_i}{1-{\mathrm{\&theta;}}_i}\right)}^{x_k}(1-{\mathrm{\&theta;}}_i)=\arg \{{\mathrm{\&Sigma;}}_{k=1}^{n}log(1-{\mathrm{\&theta;}}_i)+\underset{k=1}{\overset{n}{\&Sigma;}}{x}_{k}log\left(\frac{{\mathrm{\&theta;}}_i}{1-{\mathrm{\&theta;}}_i}\right)\};$

构造加权朴素贝叶斯分类器，C(X)＝argmax_ci∈C{p(c_i)p^wi(X|c_i)}，加权值由样本所在的环境因素决定，通过TF-IDF算法得到不同环境对该样本影响分类的影响程度，将这一影响程度作为样本的权值；

使用数据流样本中后面的数据更新权值表：通过某个具体的影响因子组合数据单元来计算信息增益，引入信息增益因子优化TF-IDF算法得到某个具体的影响因子组合数据单元对样本分类影响的重要性，重要性设置为样本的权值，加权权值由样本的具体的某个数据单元确定；

调用加权朴素贝叶斯分类器，通过调用贝叶斯分类器得到两类的后验概率分子p(c₀)以及p(c₁)；根据后验概率之比得到监控结果：样本满足QoS属性为c₀类，不满足QoS属性为c₁类以及无法判断三种结果。

4.如权利要求3所述的基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，其特征在于：令IG(s)表示某个具体的影响因子组合数据单元s的信息增益值，信息增益因子的计算公式为：

$\begin{array}{c}IG\left(s\right)=H\left(C\right)-H(C/s)\\ =-\underset{c_i\&Element;C}{\&Sigma;}p\left(c_i\right)*\log \left(p\right(c_i\left)\right)+p\left(s\right)*\underset{c_i\&Element;C}{\&Sigma;}p(c_i/s)*\log \left(p\right(c_i/s\left)\right)+p\left(\stackrel{\&OverBar;}{s}\right)*\underset{c_i\&Element;C}{\&Sigma;}p(c_i/\stackrel{\&OverBar;}{s})*\log \left(p\right(c_i/\stackrel{\&OverBar;}{s}\left)\right)\\ =\underset{c_i\&Element;C}{\&Sigma;}\left(p\right(c_i,s)*\log (\frac{p(c_i,s)}{P\left(c_i\right)p\left(s\right)})+p(c_i,\stackrel{\&OverBar;}{s})*\log \frac{p(c_i,\stackrel{\&OverBar;}{s})}{p\left(c_i\right)p\left(\stackrel{\&OverBar;}{s}\right)})\end{array};$

C表示监控结果分类的集合，有C＝{c₀,c₁}，其中H(C)表示的是在没有出现某个具体的影响因子组合数据单元s之前监控样本属于某个类别的概率空间的熵，即对样本分类结果的不确定程度；H(C/s)为影响因子组合数据单元s出现之后样本属于某个类别概率空间的熵，即影响因子组合数据单元s对分类结果的不确定程度；这种不确定程度对样本影响分类的重要性就是信息增益，它蕴含的是影响因子组合对分类所能提供的重要性的大小。

5.如权利要求4所述的基于改进TF-IDF动态权值更新的加权分类Web服务QoS监控方法，其特征在于：通过某个具体的影响因子组合数据单元的信息增益值改进优化TF-IDF算法，引入信息增益因子IG(s)，计算权值W_R计算公式如下：

表示影响因子组合R中属于类别c_i的数量，N_ci表示类别c_i的个数，N表示样本的整体数，n_R表示影响因子组合为R的样本数；IG(s)表示影响因子组合数据单元s的信息增益值。