CN104102875B - 基于加权朴素贝叶斯分类器的软件服务质量监控方法及系统 - Google Patents

Abstract

本发明公开了一种基于加权朴素贝叶斯分类器的软件服务质量的监控方法及监控系统，方法通过构造的加权朴素贝叶斯分类器判断软件的QoS属于满足标准类、不满足标准类还是无法判断，训练时设定影响因子组合，影响因子即非软件本身对QoS的影响，计算影响因子组合权值以及先验知识，监控时由分类器得到监控结果，分析、存储并返回评价给数据服务端。系统包括：控制器，采集不同的服务质量声明，向观察器发布不同服务质量所需的数据标准指令，传递需与数据集匹配的QoS标准给训练器，控制采集周期以及频率；数据库汇总分析器的监控结果；服务能力评价模块向数据服务设备返回软件的监控结果和评价结果；还包括观察器、训练器、优化样本集和分析器。

Description

基于加权朴素贝叶斯分类器的软件服务质量监控方法及系统

技术领域

本发明涉及一种基于加权朴素贝叶斯分类器的软件服务质量监控方法及系统，尤其涉及对运行时QoS需求指标动态加权的监控，属于信息技术领域。

背景技术

Web服务技术适应于任何类型的Web环境，包括互联网、Intranet以及Extranet，实现了企业与企业、企业与消费者之间的通信。从Web服务的关键技术来看，Web服务仍具有很大的研究空间和挑战，其中用户需求中最重要的问题之一就是服务质量(Quality ofService)问题，QoS的好坏是Web服务在商业应用中能否取得成功的关键。在面向服务(Service-Oriented Architecture)应用十分广泛的今天，软件系统能够动态将一些松耦合并且具有统一接口定义方式的组件(也就是Service)组合构建起来的，然而在复杂多变的Web环境中，对于第三方服务的依赖会带来许多不确定问题，无法满足QoS需求。因此需要采用运行时监控技术对其进行监控以保证软件执行的正确性。

QoS的关键指标如可用性、吞吐量、时延、时延变化(包括抖动和漂移)和丢失等通常用概率来表示不确定性，当前最科学的表示方法是采用模糊语言，来表示系统的可靠运行需要监控诊断的特征量估计值，例如“患者通过网络急救中心呼叫得到应答的时间小于30秒的概率为80％”等。当前的概率监控方法采用假设检验来进行统计，也有基于贝叶斯因子的监控方法，前者只使用单一概率值评估，实际可执行性差，后者的监控结果出错率有待降低，更重要的是，现有的方法都忽略了环境对监控结果的影响，不同的环境会影响我们的概率监控结果，这些环境包括用户的位置，网络，服务器的CPU,RAM，I/O等，例如用户在不同地区使用同一服务时可能体验不同的QoS。因此，现有的概率监控技术已经无法满足概率监控的需要。

发明内容

发明目的：针对现有技术中存在的问题与不足，提供一种新的监控方法以及监控系统，结合监控环境对监控结果的影响，判断系统运行时行为是否满足系统的QoS属性，使动态QoS监控系统更加敏感，监控结果更加精确，为自适应，用户选择服务提供决策依据，从而保证软件系统的安全可靠。

技术方案：一种基于加权朴素贝叶斯推断的软件服务质量监控方法，包括如下步骤：

1)根据QoS标准Θ，设定满足QoS标准的类别c₀和不满足QoS标准的类别c₁；

2)训练已搜集到的样本集，获得不同影响因子组合权值w_R以及先验知识p_li；

3)读取运行时的带监控的观测变量组合作为单次样本对单次监控样本进行预处理，样本预处理为对样本进行缺失值填充以及离散化；

4)根据样本影响因子R调用权值表得到R的权值；

5)统计二项分布成功率的贝叶斯估计值并判别本次样本使样本集的成功率分布于c₀还是c₁；

6)更新样本先验概率p(c_i)；

7)调用朴素贝叶斯分类器 x_k∈{0,1}得出结果，其中C_i，i∈(0,1)；调用加权朴素贝叶斯公式如下：

由加权朴素贝叶斯分类器以及Harold Jeffrey的T解释得到 TW_i ^Rp(X|C_i)P(C_i)}，其中

对于所述Harold Jeffrey对T解释：支持类C₀和支持类C₁的比值T，T的取值以及样本集对分类的影响表1：

表1 T值的意义

8)定期连续读取变量组合作为样本，对样本进行预处理并存入样本集 x_k∈{0,1}，m表示样本总数，重复步骤3)～8)；

所述的影响因子权值，包括三个方面的参数，分别是用户参数，服务端参数，网络环境参数，用户参数包括地点，客户端属性等，服务端参数以云端为例，包括云环境提供的虚拟机的内存大小和计算单元个数，网络环境参数包括带宽和负载，由于影响因子互相不独立，为了减少误差，将上诉参数划分不同的组合，例如影响因子描述如下“中国的用户在PC端调用服务，此时带宽为1Kbit/s，负载为150，所调用服务在云端的服务器参数为虚拟机内存为3.05G”，根据tf*idf算法可知，影响因子对分类的影响与影响因子R在C_i中出现的概率成正比，和影响因子在全部样本中出现的概率成反比，故 表示影响因子为R且使整个样本集的成功率落在区域C_i的单个样本个数，N_ci表示样本落在区域C_i的样本总个数，N表示样本总个数，n_R表示影响因子为R的样本的总个数；

所述的朴素贝叶斯分类器，具体为：

1)计算先验知识p_li，其中p_li为经过在不同环境下进行训练的P(x_k＝1,c_i)/P(c_i)的平均值；

2)计算二项分布概率

3)计算P(c_i)＝n_ci/N；

4)计算影响因子组合权值

5)构造朴素贝叶斯分类器

表示样本x_k的权值，所述的分析结果，具体为选取阀值Thres，T默认为Θ/(1-Θ),类别后验概率较大与较小的比值大于T，说明样本属于后验概率较大的类，否则属于无法判断的区域。

为了实现上述目的，本发明还提供该方法采用的监控系统，所述系统包括：控制器，用于采集运行时软件的不同服务质量声明，产生不同服务质量所需的数据集标准，指示观察器搜集所需的对应数据集，指导分析器匹配QoS标准和数据集，并控制采集周期和频率；数据库汇总分析器结果数据，并将数据交给服务能力评价模块进行分析，最终得到可以用自然语言向数据服务设备反馈的软件监控结果和评价结果；观察器，用于从数据服务设备端收集所需的服务数据以及影响因子定位，对数据进行补全和离散化；训练器，将不同的影响因子组合作为监控的外部影响，在该影响下得到样本集分析，得到影响因子组合权值w_T以及先验知识p_li；分析器，根据样本信息调用先验信息以及影响因子权值表，根据朴素贝叶斯分类模块得到监控结果，存入监控结果数据库。

所述控制器包括：QoS信息采集模块，用于采集运行时软件的服务声明标准，作为监控标准，产生不同搜集任务指示数据收集端收集对应数据集；计时器，控制监控任务下观察器采用周期性以及一定频率采集监控对象数据；QoS适配生成模块，根据QoS标准生成需匹配的服务标准给对应的训练器；评估软件QoS属性模块，综合评估软件服务能力，向数据服务设备返回自然语言描述的软件服务质量评价；监控结果数据库，汇总不同QoS的监控结果，传递给评估软件QoS属性模块；

所述观察器包括：数据收集器：用于从数据服务设备端采集训练数据和监控数据，训练数据的影响因子已知，监控数据的影响因子需要影响因子定位模块确定；数据预处理模块：将影响因子进行缺失补全，对训练数据离散化期望得到更准确的结果；影响因子定位模块：定位每一次监控的影响因子；

所述分析器包括：信息匹配模块：根据控制器提供的QoS适配标准以及经过预处理分类的数据进行匹配，存入样本信息库中，并用来计算监控结果；样本数据库：存放经过预处理的样本；权值获取模块：根据样本的影响因子组合查找影响因子权值表获取权值；朴素贝叶斯分类模块：根据样本影响因子R调用影响因子权值表得到影响因子组合权值w_R，样本满足QoS属性则x_i＝1，调用加权朴素贝叶斯分类器进行监控，将结果存入监控结果数据库中。

所述训练器包括：影响因子训练声明模块，提供影响因子组合；训练信息采集模块，向影响因子参数设置端发送参数设置值，指导数据采集端收集不同的QoS标准的数据集；伯努利后验信息统计模块，统计每个样本加入样本集后对样本集成功率改变后的值，并比较其与QoS标准的关系；影响因子权值计算模块，根据tf*idf算法得到影响因子组合对分类的权值；先验知识获取模块，根据伯努利后验信息统计模块得到的结果计算先验知识p_li；影响因子权值数据库，存储量化的影响因子权值，供分析器对朴素贝叶斯分类器进行加权。

本发明采用上述技术方案，具有以下有益效果：

朴素贝叶斯以其运行快速，易于实现的特点，被广泛应用在很多实际的应用系统中，由于本实验的样本相互独立，对每个样本的参数可以分别估计，这样大大减少了计算量，虽然样本是否符合QoS属性对总样本的判断都有影响，但是实际上对分类起作用的还是成功的样本，除了样本本身，我们还考虑了环境因素对监控的影响，采用tf*idf算法计算影响因子(即环境因素)组合对分类的影响，能够使系统对样本值更加敏感，获得的结果更加精确。

附图说明

图1为本发明所提出的监控系统结构示意图；

图2为本发明所提出的影响因子权值以及先验知识获取系统结构图；

图3为本发明所提出的一种基于加权朴素贝叶斯分类器推断的软件服务质量动态监控方法的实施流程图；

图4为本发明所提出的影响因子权值的获取流程；

图5为本发明所提出的加权朴素贝叶斯分类器的构造。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，为本发明所提出的监控系统结构示意图，所述系统包括：

控制器，用于采集运行时软件的不同服务质量声明，产生不同服务质量所需的数据集标准，指示观察器搜集所需的对应数据集，指导分析器匹配QoS标准和数据集，并控制采集周期和频率，数据库汇总分析器结果数据，并将数据交给服务能力评价模块进行分析，最终得到可以用自然语言向数据服务设备反馈的软件监控结果和评价结果；

观察器，用于从数据服务设备端收集所需的服务数据以及影响因子定位，对数据进行补全和离散化；

训练器，将不同的影响因子组合作为监控的外部影响，在该影响下得到样本集分析，得到影响因子组合权值w_T以及先验知识p_li；

分析器，根据样本信息调用先验信息以及影响因子权值表，根据朴素贝叶斯分类模块得到监控结果，存入监控结果数据库。

控制器包括：QoS信息采集模块，用于采集运行时软件的服务声明标准，作为监控标准，产生不同搜集任务指示数据收集端收集对应数据集；计时器，控制监控任务下观察器采用周期性以及一定频率采集监控对象数据；QoS适配生成模块，根据QoS标准生成需匹配的服务标准给对应的训练器；评估软件QoS属性模块，综合评估软件服务能力，向数据服务设备返回自然语言描述的软件服务质量评价；监控结果数据库，汇总不同QoS的监控结果，传递给评估软件QoS属性模块。

观察器包括：数据收集器：用于从数据服务设备端采集训练数据和监控数据，训练数据的影响因子已知，监控数据的影响因子需要影响因子定位模块确定；数据预处理模块：将影响因子进行缺失补全，对训练数据离散化期望得到更准确的结果；影响因子定位模块：定位每一次监控的影响因子；

分析器包括：信息匹配模块：根据控制器提供的QoS适配标准以及经过预处理分类的数据进行匹配，存入样本信息库中，并用来计算监控结果；样本数据库：存放经过预处理的样本；权值获取模块：根据样本的影响因子组合查找影响因子权值表获取权值；朴素贝叶斯分类模块：根据样本影响因子R调用影响因子权值表得到影响因子组合权值w_R，样本满足QoS属性则x_k＝1，调用加权朴素贝叶斯分类器进行监控，将结果存入监控结果数据库中。

训练器包括：影响因子训练声明模块，提供影响因子组合；训练信息采集模块，向影响因子参数设置端发送参数设置值，指导数据采集端收集不同的QoS标准的数据集；伯努利后验信息统计模块，统计每个样本加入样本集后对样本集成功率改变后的值，并比较其与QoS标准的关系；影响因子权值计算模块，根据tf*idf算法得到影响因子组合对分类的权值；先验知识获取模块，根据伯努利后验信息统计模块得到的结果计算先验知识p_ki；影响因子权值数据库，存储量化的影响因子权值，供分析器对朴素贝叶斯分类器进行加权。

以监控QoS服务为例，通过训练器获得先验知识以及不同环境下的影响因子权值，控制器获得不同级别的软件服务的不同服务标准，并将其转化为机器识别的规约化语言，指导分析器对不同服务标准进行并行监控，观察器从数据服务端收集样本数据并进行缺失补全离散化，并定位影响因子，分析器根据控制器提供的QoS适配标准将数据进行分类，指导分析器调用QoS所属的先验知识，通过影响因子获得影响因子的权值，利用朴素贝叶斯分类器作出相应的判断，存入监控结果数据库，通过服务能力评价模块向数据服务端返回自然语言的软件监控结果及评价结果。

如图2所示，为本发明的影响因子权值和先验知识获取系统结构图，适用于获取影响因子组合对各个QoS标准监控时的影响。训练器训练样本，得到不同影响因子组合对监控的影响，具体步骤如下：

1)影响因子训练声明模块声明不同的影响因子组合以及待监控的QoS标准集合，影响因子组合声明控制训练样本在何种环境下训练，QoS标准集合用来指导训练不同QoS属性的先验知识；

2)训练信息采集模块设定影响因子参数，即训练时服务的运行环境，并将QoS标准作为指令指导数据收集端数据；

3)观察器根据QoS标准收集数据，并将数据进行预处理，预处理包括缺失信息补全以及样本信息离散化；

4)二项分布可靠性计算和分析模块计算每个样本加入样本后对样本集成功率即二项分布可靠性的改变，对其进行分析，如果使样本集成功率属于满足QoS标准的类别c₀，则认为样本的加入使样本集趋于属于c₀，反之亦然；

5)影响因子权值计算模块通过步骤4)得到的训练信息结合tf*idf算法计算每组影响因子对每个QoS属性的影响，即权值；

6)先验知识获取模块：通过步骤4)得到的训练信息通过公式P(x_k＝1,c_i)/P(c_i)得到先验知识，由于训练环境有误差，我们取所有影响因子组合的先验知识的平均值为先验知识。

如图3所示，为基于加权朴素贝叶斯推断的软件服务质量监控方法的监控方法流程图，步骤如下：

步骤101：根据QoS标准，设定满足QoS标准的类别C₀和不满足QoS标准的类别C₁；

步骤102：获取训练样本

步骤103：训练QoS先验信息以及各影响因子组合对监控结果影响的权值；

步骤104：对数据进行预处理；

步骤105：搜集样本并对样本进行预处理，定位影响因子组合；

步骤106：通过影响因子组合调用数据库得到权值；

步骤107：通过加权朴素贝叶斯分类器进行监控分析；

步骤108：判断P(c₀|X)是否大于T P(c₁|X)

步骤109：如果步骤108判断为真，说明监控到此时系统满足QoS标准；

步骤110：判断P(c₁|X)是否大于T P(c₀|X)，

步骤111：如果110判断为真，说明监控到此时系统不满足QoS标准；

步骤112：如果不满足步骤108和步骤110，则说明无法确定是否满足QoS标准；

步骤113：向评估软件QoS属性模块返回监控结果，生成自然语言描述的监控结果和评价；

步骤114：将返回监控结果和评价返回给数据服务端；

步骤115：监控进入下一个周期。

如图4所示，为基于加权朴素贝叶斯推断的软件服务质量监控方法的训练权值流程图，步骤如下：

步骤201：判断是否持续监控；

步骤202：如果持续监控，读取一个样本；

步骤203：样本总数加1；

步骤204：获取样本的影响因子组合，将该组合数目加1；

步骤205：判断样本是否满足QoS属性，例如，QoS标准要求服务响应时间小于0.3秒的概率大于95％，则此处判断样本响应时间是否小于0.3秒；

步骤206：如果115步骤判断为是，将样本满足QoS属性的数目X加1；

步骤207：单个样本的加入使样本集的可靠性点估计值更改，具体计算公式为θ＝X/N；

步骤208：判断样本集是否满足QoS标准，即θ是否大于95％；

步骤209：如果步骤207判定为是，则含有该影响因子组合的样本所属类别为c₀的数目加1，所属类别加1；

步骤210：如果步骤207判定为否，则含有该影响因子组合的样本所属类别为c₁的数目加1，所属类别加1；

步骤211：如果112判断结果为否，则计算影响因子组合R_i的权值w_Ri，计算公式为：

步骤212：输出所有影响因子权值。

如图5所示，为基于加权朴素贝叶斯推断的软件服务质量监控方法的构造朴素贝叶斯分类器流程图，步骤如下：

步骤301：读取一个带监控的样本；

步骤302：样本总数N加1；

步骤303：定位影响因子组合；

步骤304：查找权值表获取影响因子组合权值；

步骤305：判断样本是否满足QoS属性；

步骤306：步骤125判断为是，则样本值为1；

步骤307：步骤125判断为是，样本值为1的样本数X加1；

步骤308：步骤125判断为是，样本集成功率Θ＝X/N；

步骤309：步骤125判断为否，则样本值为0；

步骤310：计算每个样本的先验条件概率，公式为：

步骤311：点估计是否满足QoS属性标准的判断；

步骤312：步骤131为是执行本步骤，满足QoS属性标准的样本Y加1；

步骤313：求得步骤c_i的似然概率；

步骤314：求得样本集的先验概率；

步骤315：构造加权朴素贝叶斯分类器。

Claims (9)

1.一种基于加权朴素贝叶斯分类器的软件服务质量动态监控方法，其特征在于，所述方法包括以下步骤：

1)根据QoS标准Θ，设定满足QoS标准的类别C₀和不满足QoS标准的类别C₁；

2)训练样本，获得不同影响因子组合权值w_R以及先验知识p_li；

3)读取运行时的观测变量组合作为样本对样本进行补全和离散化预处理；

4)根据样本影响因子R调用权值表得到样本x_k的权值

5)统计二项分布成功率的贝叶斯估计值并判别本次样本使样本集的成功率分布C_i，i∈(0,1)；

6)更新样本先验概率p(C_i)；

7)调用加权朴素贝叶斯分类器得出结果，调用加权朴素贝叶斯公式如下： $\arg {\max }_{c_i\∈C}\left\{W_i^{R}P\left(X|C_i\right)P\left(C_i\right),{\mathrm{TW}}_i^{R}P\left(X|C_i\right)P\left(C_i\right)\right\};$

8)定期连续读取变量组合作为样本，对样本进行预处理并存入样本集 x_k∈{0,1}，m表示样本总数，重复步骤3)～8)。

2.如权利要求1所述的基于加权朴素贝叶斯分类器的软件服务质量动态监控方法，其特征在于，对于所述步骤2)和步骤5)：引入二项分布的自然共轭先验分布，即贝塔分布，根据二项分布可靠性分析得到二项分布可靠性为a、b分别为伯努利参数，这里设定其分别为1，其中m为样本总数；β>Θ，代表本次样本的加入使样本集的二项分布成功率满足QoS标准Θ，即成功率落在C₀区域，反之为C₁，代表本次样本的加入使样本集的成功率不满足QoS标准，Θ表示监控的要求。

3.如权利要求1所述的基于加权朴素贝叶斯分类器的软件服务质量动态监控方法，其特征在于，对于所述步骤2)：根据tf*idf算法可知，影响因子对分类的权值与影响因子T在C_i中出现的概率成正比，和影响因子在全部样本中出现的概率成反比，故 表示影响因子为R且使整个样本集的成功率落在区域C_i的单个样本个数，N_ci表示样本落在区域C_i的样本总个数，N表示样本总个数，n_R表示影响因子为R的样本的总个数。

4.如权利要求1所述的基于加权朴素贝叶斯分类器的软件服务质量动态监控方法，其特征在于，对于所述步骤2)：我们用p_li表示P(x_k＝1|C_i)，样本x_i的先验概率为其中p_li为经过在不同环境下进行训练的P(x_k＝1,C_i)/P(C_i)的平均值。

5.如权利要求1所述的基于加权朴素贝叶斯分类器的软件服务质量动态监控方法，其特征在于，对于所述步骤7)：由加权朴素贝叶斯分类器以及Harold Jeffrey的T解释得到其中

6.一种基于加权朴素贝叶斯分类器的软件服务质量动态监控系统，其特征在于，包括：

a)控制器：用于采集运行时软件的不同服务质量声明，产生不同服务质量所需的数据集标准，指示观察器搜集所需的对应数据集，指导分析器匹配QoS标准和数据集，并控制采集周期和频率，数据库汇总分析器结果数据，并将数据交给服务能力评价模块进行分析，最终得到可以用自然语言向数据服务设备反馈的软件监控结果和评价结果；

b)观察器：用于从数据服务设备端收集所需的服务数据以及影响因子定位，对数据进行补全和离散化；

c)训练器：将不同的影响因子组合作为监控的外部影响，在该影响下得到的样本集进行分析，得到影响因子组合权值w_T以及先验知识p_ki；

d)分析器：根据样本信息调用先验信息以及影响因子权值表，根据朴素贝叶斯分类模块得到监控结果，存入监控结果数据库；

所述训练器，包括：

影响因子训练声明模块：提供影响因子组合；

训练信息采集模块：向影响因子参数设置端发送参数设置值，指导数据采集端收集不同的QoS标准的数据集；

伯努利后验信息统计模块：统计每个样本加入样本集后对样本集成功率改变后的值，并比较其与QoS标准的关系；

影响因子权值计算模块：根据tf*idf算法得到影响因子组合对分类的权值；

先验知识获取模块：根据伯努利后验信息统计模块得到的结果计算先验知识p_ki；

影响因子权值数据库：存储量化的影响因子权值，供分析器对朴素贝叶斯分类器进行加权；

训练器中影响因子，包括：

用户影响因子：用户的位置，使用软件的设备，CPU的型号；

环境影响因子：主要考虑网络负载以及带宽；

服务器端影响因子：在云环境下，指虚拟机的内存大小和计算单元个数。

7.如权利要求6所述的基于加权朴素贝叶斯分类器的软件服务质量动态监控系统，其特征在于，所述控制器包括：

QoS信息采集模块，用于采集运行时软件的服务声明标准，作为监控标准，产生不同搜集任务指示数据收集端收集对应数据集；QoS信息采集模块获取服务质量规约，作为机器可读的监控标准，指导数据收集端进行采集并产生QoS适配标准；

计时器，控制监控任务下观察器采用周期性以及一定频率采集监控对象数据；

QoS适配生成模块，根据QoS标准生成需匹配的服务标准给对应的训练器；

评估软件QoS属性模块，综合评估软件服务能力，向数据服务设备返回自然语言描述的软件服务质量评价；

监控结果数据库，汇总不同QoS的监控结果，传递给评估软件QoS属性模块。

8.如权利要求6所述的基于加权朴素贝叶斯分类器的软件服务质量动态监控系统，其特征在于，所述观察器，包括：

数据收集器：用于从数据服务设备端采集训练数据和监控数据，训练数据的影响因子已知，监控数据的影响因子需要影响因子定位模块确定；

数据预处理模块：将影响因子进行缺失补全，对训练数据离散化期望得到更准确的结果；

影响因子定位模块：定位每一次监控的影响因子。

9.如权利要求6所述的基于加权朴素贝叶斯分类器的软件服务质量动态监控系统，其特征在于，所述分析器，包括：

QoS信息匹配模块：根据控制器提供的QoS适配标准以及经过预处理分类的数据进行匹配，存入样本信息库中，并用来计算监控结果；

样本数据库：存放经过预处理的样本；

权值获取模块：根据样本的影响因子组合查找影响因子权值表获取权值；

朴素贝叶斯分类模块：根据样本影响因子R调用影响因子权值表得到W_R，样本满足QoS属性则x_i＝1，调用加权朴素贝叶斯分类器进行监控，将结果存入监控结果数据库中。