CN105791010A - 基于用户隐含特征和协同过滤的服务质量QoS预测方法 - Google Patents

Abstract

一种基于用户隐含特征和协同过滤的服务质量QoS预测方法。首先，将影响客户端感知服务质量的个体潜在语义因素，如网络性能、上下文场景、终端配置类型等，作为用户终端的隐含特征，并利用pLSA将此隐含特征与QoS数据相关联；然后，构建基于pLSA的用户和服务聚类决策模型，得到特征相似的用户或服务类簇；最后，采用云相似技术充分挖掘同一类簇用户的相似度，并基于相似用户只对相似服务有效的协同过滤原则，对稀疏QoS矩阵中缺失值的进行准确和快速预测，从而为用户提供个性化的服务质量信息。本发明方法充分挖掘服务QoS的隐含因素特征，其预测精度高，执行效率快，适用范围广泛，具有很好的理论和推广应用价值。

Description

基于用户隐含特征和协同过滤的服务质量QoS预测方法

技术领域

本发明涉及Web服务质量QoS预测技术领域，尤其是云环境中海量服务和用户分布的情况下，单个用户仅使用过少量部分的服务资源而造成稀疏QoS的缺失值问题。

背景技术

在云计算环境下，构造质量可靠的服务应用是跨平台交互技术发展和应用的重要趋势和必然选择，服务质量QoS(QualityofService)的研究因此已成为学术界和产业界共同关注的热点问题。在服务应用或组合的过程中，用户消费者选择和使用某个服务时，除了考虑服务的功能以外，还需要考虑服务的质量属性，即QoS(QualityofService)属性。面对海量服务存在、候选服务众多的实际情况，用户要获得所有服务的QoS数据是非常困难的，原因在于：①通过逐一尝试调用服务的方法来测量QoS值，耗费时间较多，且网络资源开销也较大，在面临付费等问题时显得很不现实。②在互联网的海量候选服务中，单个用户消费者可能仅使用过少量的服务资源，由此带来的客户端获取的QoS数据具有极端稀疏性，缺少足够精确的服务质量信息，给服务选择或推荐工作带来诸多不便。鉴于上述实际情况，在选择服务之前，不可避免地需要为用户预测未调用过的服务质量，以便提供更有效的个性化服务信息。

目前，国内外现有技术主要通过复用其他用户使用经验的方式进行QoS预测。主要包括以下几种方法：

北京大学的邵凌霜等人较早地采用了基于相似用户的协同过滤（CollaborationFiltering,CF）对QoS缺失值进行预测。

为了进一步提高预测精度，香港中文大学的郑子斌等人又提出了基于用户和服务的协同过滤预测方法，以用户的历史经验为基础，计算用户之间以及Web服务之间的相似度，并以此相似度为依据对被请求服务的QoS进行预测。

以上的预测方法在一定程度上均有效地获得了个性化服务的QoS，然而由于皮尔逊相关系数在相似度计算方面的局限性，面对大型数据集时，算法的可扩展能力还显得有所不足。

为此，浙江大学的罗伟和重庆大学的罗欣等学者们建立了低秩矩阵分解（MatrixFactorization，MF）的模型，致力于采用降维技术对用户-服务的QoS矩阵进行数据逼近。该方法解决了服务QoS缺失预测的稀疏性和可扩展性问题，但在显著改善预测性能的同时，也产生了降维过程中丢失有用信息的代价。

因此，为了更好地加强CF和MF两类典型QoS预测方法，一些混合的协同过滤算法也相继被提出，例如，基于区域的协同过滤预测、基于用户聚类的协同过滤预测，以及基于服务调用特征的协同过滤预测等等。这些混合算法通过增加额外信息的方式扩展了基于用户和服务的协同过滤，同时也增加了执行的复杂性和代价，且所需要的附加信息经常难以获取。

综上所述，针对QoS缺失预测的研究分别从基于内存的CF，基于模型的CF]以及混合CF的推荐系统取得了显著的进展，然而存在的主要问题是：现有方法一般仅仅是从数学的角度进行计算，缺少对服务质量的潜在特征分析，因此QoS数据的信息得不到充分挖掘，也在限制了算法在精确度和效率方面的进一步提高。

发明内容

有鉴于此，为了解决现有技术仅停留在QoS表面数值计算，而导致QoS预测精度和效率不高的问题，本发明提出了一种基于用户隐含特征和协同过滤的服务质量QoS预测方法。其特征在于：引入上下文环境、网络特性和终端配置等作为用户评价服务质量的隐含特征，并利用pLSA模型将此隐含特征与QoS数据相关联；对特征相似的用户和服务进行聚类，并采用云模型技术挖掘同一类簇中用户的相似度；利用相似用户对相似服务的协同感知情况进行个性化的QoS预测；所属方法包括下列操作步骤：

步骤1，建立服务质量QoS的pLSA生成模型：将影响客户端QoS感知的网络性能、用户上下文以及配置类型等潜在因素统一归纳为用户隐含特征，并作为用户类别的主题，再利用潜在变量模型将每一个由用户端观察到的QoS值与一个隐变量z（即主题）相关联，对关联到特定主题的服务质量共现数据进行建模，得到服务QoS数据集生成的概率模型；

步骤2，基于EM的用户和服务聚类：对于服务质量QoS的pLSA概率模型学习问题和参数估计，采用EM算法，根据最大似然估计法原理，进行E步骤和M步骤的反复迭代训练，建立潜在语义主题、用户及服务之间的稳定关系，选取最大后验概率所对应的类别作为潜在主题下用户（或服务）的聚类结果；

步骤3，同簇用户的云相似度计算：由于云环境下的众多候选服务呈海量级分布，导致同一簇的用户们共同调用某个服务的情况非常鲜少，所以利用逆向云算法，只关心那些与待预测服务相似的服务QoS，计算同一用户簇中所有用户对相似服务的云模型，并分析同簇用户的云相似度；

步骤4，稀疏QoS的协同过滤预测：基于相似用户只对相似服务的体验值有效的原则，预测当前用户对服务x的QoS缺失值时，选择与当前用户相似的簇中用户作为邻居，再通过它们的协同过滤计算得到预测结果。

本发明方法的优点是：充分挖掘服务QoS的隐含因素信息，将隐含特征相似的用户和服务进行聚类，并利用相似用户对相似服务的协同过滤计算，实现对稀疏QoS缺失值的准确预测，方法适用于绝大部分的矩阵密度情况，具有广泛的通用性，并可以在云环境中海量服务和用户分布的情况下，有效地保证稀疏QoS预测的计算精度和执行效率问题。

附图说明

图1是本发明基于用户隐含特征和协同过滤的服务质量QoS预测操作步骤流程图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。

实际上，用户对服务QoS属性的评价一般来自于终端监测或感知，属于客户端感知到的服务质量。受网络性能、用户上下文以及配置类型等各种影响，不同用户对同一服务的质量观察值可能不一样，本发明将这些影响QoS感知的潜在因素统一归纳为用户隐含特征；另一方面，服务部署端也具有类似的潜在因素影响其QoS值的表现，把隐含因素下非功能属性相似的服务称为相似服务，并认为具有相似隐含特征的用户感知到相似服务的质量也相近；因此，可以通过聚类挖掘用户隐含特征的相似度，利用簇中相似邻居对服务的QoS感知进行逼近，以形成完整有效的QoS预测机制。

参见图1，介绍本发明方法的具体操作步骤：

步骤1，建立服务质量QoS的pLSA生成模型：对关联到特定主题的服务质量共现数据进行建模，使得隐含语义变量集z与每次的QoS观测值相关，得到服务QoS数据集生成的概率模型。该步骤包含以下操作内容：

(11)将用户的隐含特征作为类别的主题z，将用户u视为文档d，将服务s视为单词w。这里形成了用户-服务对，所以，用户对服务质量的观察值即可作为用户与服务的共现表N；

(12)采用QUOTE 表示观测到用户u概率，表示在隐变量z条件下服务s调用的概率，表示在隐变量空间中用户u的概率分布（后验概率），则服务s、用户u及其潜在主题z的联合分布概率为：；

(13)pLSA通过找到服务的和相应用户的，得出隐藏因素下用户调用服务的概率分布，以及含有隐藏变量的联合分布概率：。因此，服务QoS数据集生成的概率模型为：

步骤2，基于EM的用户和服务聚类：对于服务质量QoS的pLSA概率模型学习问题和参数估计，采用EM算法，根据最大似然估计法原理，进行E步骤和M步骤的反复迭代训练，建立潜在语义主题、用户及服务之间的稳定关系，并选取最大后验概率所对应的类别作为潜在主题下用户（或服务）的聚类结果。该步骤包含以下操作内容：

(21)服务QoS的对数似然函数优化问题如下：

(22)E步骤中，直接使用Bayes公式计算隐含变量在当前参数取值条件下的后验概率，有：

(23)M步骤中，最大化隐含变量下完整数据的对数似然函数期望值，如下：

(24)对于最大化期望，其约束条件为和，采用拉格朗日函数求此多元函数的极值问题，得到如下的参数值：

(25)通过E步骤和M步骤的反复迭代训练，建立潜在语义主体z和用户u及服务之间的稳定关系，选取最大后验概率（即max）所对应的类别作为最后的用户聚类结果。

同理，进行服务的pLSA聚类时，只要交换u和s的映射含义，即将服务s视为文档d，用户u视为单词w，重新采用EM算法进行模型训练和学习，得到最大后验概率的主题z即为服务所属的隐含类别。

步骤3，同簇用户的云相似度计算：由pLSA聚类划分得到一系列隐含主题下的用户类簇和服务类簇；由于云环境下的众多候选服务呈海量级分布，导致同一簇的用户们共同调用某个服务的情况非常鲜少，所以利用逆向云算法，只关心那些与待预测服务相似的服务QoS，计算同一用户簇中所有用户对相似服务的云模型，并分析同簇用户的云相似度。该步骤包含以下操作内容：

(31)通过逆向云算法，将一组定量的用户评价QoS值转换为以数字特征表示的云模型定性概念，并作为用户感知特征；其中，的估计值，的估计值为，的估计值为；式中，为某个用户感知的相似服务的QoS样本值，和为某个用户感知的相似服务的QoS数据样本均值和样本方差；

(32)利用云相似度算子计算同一簇中用户i与用户j之间的相似度：，其中，云相似度算子是一个把两个云模型变换为二者相似度表示的映射，其满足：

步骤4，稀疏QoS的协同过滤预测：传统标准的协同过滤预测方法，是利用相似用户对所有调用服务的QoS均值与对当前服务x的质量值的偏差，通过相似度加权聚合计算，得到当前用户对服务x的QoS评价值与他对其它服务QoS均值的偏差，这种方法的问题在于，不加区分地依靠其他所有服务预测当前服务x的质量，当服务彼此间的功能、属性差异较大时，由此带来的偏差将导致预测结果不准确，且预测过程的系统开销较大；而本发明中，则基于相似用户只对相似服务的体验值有效的原则，预测当前用户对服务x的QoS缺失值时，选择与当前用户相似的簇中用户作为邻居，再通过它们的协同过滤计算得到预测结果：

其中，是待预测的QoS值，即当前用户y感受到服务x的质量值，是用户y对服务x的所有相似服务的QoS平均值，S(a)是用户y所属的用户类簇，是类簇S(a)中用户u对x的所有相似服务的QoS平均值，为用户u对服务x的质量感知值。是用户u的偏差权重，采用如下线性计算方法得到：

其中，为用户y与用户u的云相似度。

将和确定为相似于待测服务x的那些服务（即与服务x属于同一个服务类簇）的QoS均值，能够获得更贴近实际的预测效果；而对于那些既无相似用户又无相似服务的QoS缺失值，令其预测值，以避免不良的预测会降低整个预测过程的精度。

本发明已经在来自世界各地的互联网用户针对大量Web服务的QoS数据集上，进行了多次成功的实例实验，结果表明在预测精度和执行效率方面都取得了令人鼓舞的实验结果。

Claims (8)

1.一种基于用户隐含特征和协同过滤的服务质量QoS预测方法，其特征在于：首先将影响客户端感知服务质量的个体潜在语义因素，如网络性能、上下文场景、终端配置类型等，作为用户终端的隐含特征，并利用pLSA将此隐含特征与QoS数据相关联；然后，构建基于pLSA的用户和服务聚类决策模型，得到特征相似的用户或服务类簇；最后，采用云相似技术充分挖掘同一类簇用户的相似度，并基于相似用户只对相似服务有效的协同过滤原则，对稀疏QoS矩阵中缺失值的进行准确和快速预测，从而为用户提供个性化的服务质量信息，本发明方法的步骤如下：

步骤1，建立服务质量QoS的pLSA生成模型：将影响客户端QoS感知的网络性能、用户上下文以及配置类型等潜在因素统一归纳为用户隐含特征，并作为用户类别的主题，再利用潜在变量模型将每一个由用户端观察到的QoS值与一个隐变量z（即主题）相关联，对关联到特定主题的服务质量共现数据进行建模，得到服务QoS数据集生成的概率模型；

步骤2，基于EM的用户和服务聚类：对于服务质量QoS的pLSA概率模型学习问题和参数估计，采用EM算法，根据最大似然估计法原理，进行E步骤和M步骤的反复迭代训练，建立潜在语义主题、用户及服务之间的稳定关系，选取最大后验概率所对应的类别作为潜在主题下用户（或服务）的聚类结果；

步骤3，同簇用户的云相似度计算：由于云环境下的众多候选服务呈海量级分布，导致同一簇的用户们共同调用某个服务的情况非常鲜少，所以利用逆向云算法，只关心那些与待预测服务相似的服务QoS，计算同一用户簇中所有用户对相似服务的云模型，并分析同簇用户的云相似度；

步骤4，稀疏QoS的协同过滤预测：基于相似用户只对相似服务的体验值有效的原则，预测当前用户对服务x的QoS缺失值时，选择与当前用户相似的簇中用户作为邻居，再通过它们的协同过滤计算得到预测结果。

2.根据权利要求1所述的方法，其特征在于：所述步骤1包括下述操作内容：

(11)设置用户的隐含特征为类别的主题z，将用户u视为文档d，将服务s视为单词w，这里形成了用户-服务对，用户对服务质量的观察值即可作为用户与服务的共现表N；

(12)采用表示观测到用户u概率，表示在隐变量z条件下服务s调用的概率，表示在隐变量空间中用户u的概率分布（后验概率），则服务s、用户u及其潜在主题z的联合分布概率为：；

(13)pLSA通过找到服务的和相应用户的，得出隐藏因素下用户调用服务的概率分布，以及含有隐藏变量的联合分布概率：；

因此，服务QoS数据集生成的概率模型为：。

3.根据权利要求1所述的方法，其特征在于：所述步骤2包括下述操作内容：

(21)服务QoS的对数似然函数优化问题如下：

(22)E步骤中，直接使用Bayes公式计算隐含变量在当前参数取值条件下的后验概率，有：

(23)M步骤中，最大化隐含变量下完整数据的对数似然函数期望值，如下：

(24)对于最大化期望，其约束条件为和，采用拉格朗日函数求此多元函数的极值问题，得到如下的参数值：

(25)通过E步骤和M步骤的反复迭代训练，建立潜在语义主体z和用户u及服务之间的稳定关系，选取最大后验概率（即max）所对应的类别作为最后的用户聚类结果。

4.根据权利要求1所述的方法，其特征在于：所述步骤2中，进行服务的pLSA聚类时，只要交换u和s的映射含义，即将服务s视为文档d，用户u视为单词w，重新采用EM算法进行模型训练和学习，得到最大后验概率的主题z即为服务所属的隐含类别。

5.根据权利要求1所述的方法，其特征在于：所述步骤3包括下述操作内容：

(31)通过逆向云算法，将一组定量的用户评价QoS值转换为以数字特征表示的云模型定性概念，并作为用户感知特征；其中，的估计值，的估计值为，的估计值为；式中，为某个用户感知的相似服务的QoS样本值，和为某个用户感知的相似服务的QoS数据样本均值和样本方差；

(32)利用云相似度算子计算同一簇中用户i与用户j之间的相似度：，其中，云相似度算子是一个把两个云模型变换为二者相似度表示的映射，满足：

。

6.根据权利要求1所述的方法，其特征在于：所述步骤4中，由分析得出，传统标准的协同过滤预测方是利用相似用户对所有调用服务的QoS均值与对当前服务x的质量值的偏差，通过相似度加权聚合计算，得到当前用户对服务x的QoS评价值与他对其它服务QoS均值的偏差，这种方法的问题在于，不加区分地依靠其他所有服务预测当前服务x的质量，当服务彼此间的功能、属性差异较大时，由此带来的偏差将导致预测结果不准确，且预测过程的系统开销较大；而本发明中，则基于相似用户只对相似服务的体验值有效的原则，预测当前用户对服务x的QoS缺失值时，选择与当前用户相似的簇中用户作为邻居，再通过它们的协同过滤计算得到预测结果。

7.根据权利要求1所述的方法，其特征在于：所述步骤4中，根据同簇用户的协同过滤预测QoS具体包括：，是待预测的QoS值，即当前用户y感受到服务x的质量值，是用户y对服务x的所有相似服务的QoS平均值，S(a)是用户y所属的用户类簇，是类簇S(a)中用户u对x的所有相似服务的QoS平均值，为用户u对服务x的质量感知值，是用户u的偏差权重，，其中，为用户y与用户u的云相似度。

8.根据权利要求1所述的方法，其特征在于：所述步骤4中，将和确定为相似于待测服务x的那些服务（即与服务x属于同一个服务类簇）的QoS均值，能够获得更贴近实际的预测效果；而对于那些既无相似用户又无相似服务的QoS缺失值，令其预测值，以避免不良的预测会降低整个预测过程的精度。