CN103150336A - 一种基于用户聚类的sky line在线计算方法 - Google Patents

Abstract

本发明公开了一种基于用户聚类的sky line在线计算方法，（1）通过用户聚类，将QoS相似的用户聚集在一起，利用聚类共同特征代替用户个体特征，使得计算数据量有效减少；将对所有用户进行离线处理转化为对各个聚类进行离线处理，提高了离线计算的效率，大幅减少了存储空间消耗，提高了系统的可实施性，（2）将计算过程划分为离线和在线模块，通过将大量复杂运算在离线模块中进行，有效提高在线算法的执行效率，（3）利用群体特征sky line对个体sky line进行预测，一方面在精度要求不高时可以直接作为结果返回；另一方面在需要求解准确sky line时在此预测sky line基础上进行修正，可以简化计算过程。

Description

一种基于用户聚类的sky line在线计算方法

技术领域

本发明涉及一种服务计算中的sky line计算发现，尤其涉及实现了基于用户聚类了离线预测的在线sky line计算方法。 

背景技术

近年来，Web服务计算领域随着SOA技术的广泛应用而得到了快速发展，从中衍生出了服务发现、服务组合、服务选择等若干子领域。随着SOA的广泛应用，当今互联网上的Web服务（之后简称为服务）数量急剧的增加，使得人工的查找、选择和调用服务不再能满足需求，从而高效的发现、选择和组合服务算法成为了迫切的研究需要。如何根据用户功能需求描述，在海量服务中找到符合此功能需求的服务，是服务发现的研究内容。然而，在海量的服务中，通常会存在相当数量由不同服务提供商所提供的，功能相同而非功能属性完全不同的服务，如何从大量功能上等价的服务中，根据其非功能属性有效的选择出最为合适的服务，是服务选择所解决的问题。作为服务选择中的重要步骤，基于服务QoS属性的sky line计算课题亦成为了热门的研究方向。 

一次典型的服务计算请求，通常包括服务发现、组合、选择、执行过程，整个过程由用户发起，最终将结果返回给用户，其中各个步骤的执行效率直接影响整体服务计算的响应效率，对于服务选择中的sky line计算环节而言，同样如此。传统的方法，通常是对sky line计算进行独立的探讨，而忽略了其在真实服务计算场景中的应用；基于对整体服务QoS数据进行sky line全局计算的方法效率较低，不能满足于在线请求的实时性；每一时刻发起sky line请求的用户是不可预知的，因而不可能事先对所有用的sky line进行离线计算。 

目前的sky line计算方法主要可以分为完全离线计算和渐进式在线计算两 类。完全离线方法对全局服务QoS数据集进行分析，其计算结果准确但难以满足在线的sky line计算需求；渐进式在线计算方法，通过在线不断的对sky line进行调整修正，逐渐逼近最终sky line结果，其计算过程虽然符合在线特性，但准确结果需逐步细化且完全在线完成，整体计算效率偏低。可以看到，还没有一种很好的结合离线运算的全局性和在线运算的实时性优点的sky line计算方法。 

发明内容

针对上述技术缺陷，本发明提出一种基于用户聚类的sky line在线计算方法。 

为了解决上述技术问题，本发明的技术方案如下： 

一种基于用户聚类的sky line在线计算方法，包括如下步骤： 

11）基于用户-服务QoS矩阵对相似用户进行聚类步骤： 

当为单维度场景时，采用将所有维度的QoS值归一化处理后按照其权重计算为一维数值，用户u对服务s的多维QoS的归一化公式如下： 

$\tilde{q}\left(s\right)=\underset{i=1}{\overset{R}{\mathrm{\Σ}}}\frac{q_i\left(s\right)-{\min }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)}{{\max }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)-{\min }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)}\·w_i$

其中q_i(s)为第i个维度上的QoS值，w_i为各维度的QoS权重，且∑w_i＝1，由此一维用户相似度可以由以下Pearson相似度公式计算： 

$\mathrm{Dist}(u_i,u_j)=\mathrm{Sim}(u_i,u_j)=\frac{{\mathrm{\Σ}}_{s\∈S(i,j)}(q_i\left(s\right)-{\stackrel{\‾}{q}}_i)(q_j\left(s\right)-{\stackrel{\‾}{q}}_j)}{\sqrt{{\mathrm{\Σ}}_{s\∈S(i,j)}{(q_i\left(s\right)-{\stackrel{\‾}{q}}_i)}^2}\sqrt{{\mathrm{\Σ}}_{s\∈S(i,j)}{(q_j\left(s\right)-{\stackrel{\‾}{q}}_j)}^2}}$

其中为用户u_i对所有服务调用的平均QoS，

为用户u_j对所有服务调用的评均QoS，基于此相似度进行聚类操作； 

当为多维度场景时，首先对每个维度的QoS仍然进行归一化操作，是每一 个维度上QoS的取值范围都是(0,1)之间，接着采用余弦距离计算两个用户u_i与u_j之间在服务s上的相似度： 

$\mathrm{sim}(u_i,u_j,s)=\frac{{\stackrel{\→}{q}}_i\left(s\right)\·{\stackrel{\→}{q}}_j\left(s\right)}{\left|{\stackrel{\→}{q}}_i\left(s\right)\right|\left|{\stackrel{\→}{q}}_j\left(s\right)\right|}$

其中

是用户i对服务s的归一化QoS向量，定义用户u_i与u_j的在服务集S上的多维QoS相似度为： 

$\mathrm{sim}(u_i,u_j,S)J(u_i,u_j)\·\frac{\underset{s\∈S}{\mathrm{\Σ}}\mathrm{sim}(u_i,u_j,s)}{\left|S\right|}$

定义S(u)为用户u调用的服务s所构成的集合，那么有： 

$J(u_i,u_j)=\frac{|S\left(u_i\right)\∩S\left(u_j\right)|}{|S\left(u_i\right)\∪S\left(u_j\right)|}$

基于此相似度进行聚类操作； 

12）基于用户聚类，计算聚类特征sky line步骤； 

由一个聚类中服务的QoS均值计算得到的sky line； 

13）基于离线聚类sky line执行在线sky line修正步骤: 

首先在对应类平均sky line的支配表中支配该点的原sky line点集，并逐个判断在预测QoS数值之后的支配关系，若仍存在支配关系，那么该点在预测过QoS的服务集仍然不属于sky line；若原支配该点的sky line点，在预测后的QoS数值上不再支配该点，那么将该点和不被该点支配的原sky line点都加入候选集。最后在候选集中进行最终sky line计算; 

所述支配表用来存储sky line中支配关系的HashTable，其键为每一个非sky line节点索引，值为支配该节点的sky line点的集合。 

进一步的，所述步骤12）和步骤13）可采用如下步骤替代： 

首先定义sky line合并；如果SK(S₁),SK(S₂)分别是集合S₁,S₂上的sky line，SK(S′)是这两条sky line的并，即SK(S′)=merge(SK(S₁),SK(S₂))，那么SK(S′)是这样一个集合：

s∈SK(S₁)∨s∈SK(S₂)，且在SK(S₁),SK(S₂)中不存在的服务s′，使得s′＞s，且merge(SK(S₁),SK(S₂))=SK(S₁∪S₂)，即并集的sky line等于各自sky line的并对聚类C上的等价服务集S的最优sky line的计算，可以由聚类C上各用户u的历史sky line记录合并获得。 

本发明的有益效果在于;（1）通过用户聚类，将QoS相似的用户聚集在一起，利用聚类共同特征代替用户个体特征。使得计算数据量有效减少；将对所有用户进行离线处理转化为对各个聚类进行离线处理，提高了离线计算的效率，大幅减少了存储空间消耗，提高了系统的可实施性。（2）将计算过程划分为离线和在线模块，通过将大量复杂运算在离线模块中进行，有效提高在线算法的执行效率。（3）利用群体特征sky line对个体sky line进行预测，一方面在精度要求不高时可以直接作为结果返回；另一方面在需要求解准确sky l i ne时在此预测sky line基础上进行修正，可以简化计算过程。 

附图说明

图1为本发明的模块设计图； 

图2为sky line支配关系图示例。 

具体实施方式

下面将结合附图和具体实施例对本发明做进一步的说明。 

本发明所设计的系统主要模块如图1所示，主要包括： 

（1）离线用户聚类模块。用户聚类模块从用户QoS记录数据库中读取用户-服务QoS数据，通过定义多维度用户-服务QoS向量的距离运算，采用canoy和kmeans混合的方法对历史QoS相近的用户进行聚类。算法输出一系列的用 户聚类，并且该输出被作为中间结果保存在系统中，该聚类结果将作为离线聚类sky line预处理模块的输入，进行下一步的离线处理。 

（2）离线聚类sky line预处理模块。在sky line计算中存在这样的事实，即在服务选择问题中，作为候选集合的等价服务集合通常是反复出现的，这是由于候选服务集是由功能相同的服务构成，而功能相同的服务通常具有一致的WSDL接口定义，因而在服务的发现过程中，这些服务往往会被同时搜索出，并作为服务选择的候选集提供。因此，我们认为“作为候选sky line的服务集总是相同的”。同时，由于用户聚类生成器产生的输出聚类为QoS总是相似的用户的集合，因此可以得到“同一聚类下的用户QoS总是相似的”这一结论。基于以上两点事实，那么属于同一聚类下的用户对于某一功能等价服务集合往往会具有相似的sky line，因而基于用户聚类算法的输出我们能够对sky line的在线计算问题进行离线预处理优化。 

聚类sky line预处理模块利用聚类生成模块的结果，以及历史的sky line计算结果作为输入，通过分析在同一服务候选集上的历史sky line结果，得到一个聚类的特征sky line作为输出并作为中间结果进行存储。在sky line的在线查询中，此离线sky line结果作为一个当前sky line请求的一个近似返回值；接着，结合QoS预测结果，在线计算模块对上述sky line近似结果进行微调，得到准确的sky line；最后这一计算结果将被反馈到sky line历史结果集中，用于对之后的离线计算进行优化。通过对进行整个聚类中的用户进行sky line离线预处理，使得每一次在线的sky line查询，不再是对整个等价服务集的QoS进行的计算，而是再一个现有sky line的基础上进行修正，大大提高了在线求解的效率。并且在精度要求不严格的情况下，可以将离线预处理的结果作为sky line的一个预测值直接返回。 

（3）本模块利用sky line离线计算的结果以及QoS预测器的结果作为输入，得到精确的sky line作为候选服务集的一个过滤结果，并将此结果输出的最终的服务选择器中，用以进行最终的服务个体选择。同时，每次sky line查询得到的准确结果将被返回到离线模块中的sky line历史数据库中，用于对离线sky line预处理结果的下一次迭代计算的优化。 

本实施例的具体步骤如下： 

（1）基于用户-服务QoS矩阵对相似用户进行聚类。 

对于基于距离的聚类算法，需要对用户间距离进行定义。针对用户QoS多维特性，本方法采用两种方式定义用户间距离，即归一化方法和多维相似度： 

（a）归一化公式的思路是将所有维度的QoS值归一化处理后按照其权重计算为一维数值，用户u对服务s的多维QoS的归一化公式如下： 

$\tilde{q}\left(s\right)=\underset{i=1}{\overset{R}{\mathrm{\Σ}}}\frac{q_i\left(s\right)-{\min }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)}{{\max }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)-{\min }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)}\·w_i$

其中q_i(s)为第i个维度上的QoS值，w_i为各维度的QoS权重，且∑w_i＝1，可以看出归一化之后的

归一化之后的多维QoS可以直接转化为一维QoS进行计算。由此一维用户相似度可以由以下Pearson相似度公式计算： 

$\mathrm{Dist}(u_i,u_j)=\mathrm{Sim}(u_i,u_j)=\frac{{\mathrm{\Σ}}_{s\∈S(i,j)}(q_i\left(s\right)-{\stackrel{\‾}{q}}_i)(q_j\left(s\right)-{\stackrel{\‾}{q}}_j)}{\sqrt{{\mathrm{\Σ}}_{s\∈S(i,j)}{(q_i\left(s\right)-{\stackrel{\‾}{q}}_i)}^2}\sqrt{{\mathrm{\Σ}}_{s\∈S(i,j)}{(q_j\left(s\right)-{\stackrel{\‾}{q}}_j)}^2}}$

其中

为用户u_i对所有服务调用的平均QoS，

为用户u_j对所有服务调用的评均QoS。 

（b）首先对每个维度的QoS仍然进行归一化操作，是每一个维度上QoS的取值范围都是(0,1)之间。接着采用余弦距离计算两个用户u_i与u_j之间在服务s 上的相似度： 

$\mathrm{sim}(u_i,u_j,s)=\frac{{\stackrel{\→}{q}}_i\left(s\right)\·{\stackrel{\→}{q}}_j\left(s\right)}{\left|{\stackrel{\→}{q}}_i\left(s\right)\right|\left|{\stackrel{\→}{q}}_j\left(s\right)\right|}$

其中

是用户i对服务s的归一化QoS向量。由此可以定义用户u_i与u_j的在服务集S上的多维QoS相似度为： 

$\mathrm{sim}(u_i,u_j,S)J(u_i,u_j)\·\frac{\underset{s\∈S}{\mathrm{\Σ}}\mathrm{sim}(u_i,u_j,s)}{\left|S\right|}$

在不产生歧义的情况下，记为sim(u_i,u_j)。等式的右侧包括两部分的乘积，即两用户所调用的服务集之间的Jaccard距离J(u_i,u_j)和两用户间在服务集S上所有服务的QoS相似度的平均值。定义S(u)为用户u调用的服务s所构成的集合，那么有： 

$J(u_i,u_j)=\frac{|S\left(u_i\right)\∩S\left(u_j\right)|}{|S\left(u_i\right)\∪S\left(u_j\right)|}$

通过上述定义，可以替代单维度场景下的加权Pearson相似度公式，对多维QoS场景下的聚类间相似度进行计算，并基于此相似度进行聚类操作。 

在此距离定义基础之上，本模块可采用canopy聚类生成初始集合，并在此基础上执行k-means方法生成用户聚类。此两种聚类方法可以直接采用现有的研究成果，不属于本发明的讨论范围。 

（2）基于用户聚类，计算聚类特征sky line。sky line的离线计算过程，目的在于根据每个聚类中成员的历史sky line记录，得到代表整个聚类QoS特征的sky line结果，该结果一方面可以作为聚类中任一成员的sky line的一个估计，在对精度要求不高的时候可以直接作为在线请求的结果返回，从而避免低效的在线计算；另一方面，此结果作为目标用户的一个sky line估计，在该用 户获得准确的QoS预测之后，在此预测值的基础上进行修正得到最终的sky line结果，其计算效率也将高于直接在候选服务集上进行全局的sky line计算。 

对此本发明提出两种离线聚类sky line预测方法，类平均sky line和类最优sky line： 

（a）一个等价服务集S′在聚类C_i上的“类平均sky line”，是由一个聚类中这些服务的QoS均值所计算得到的sky line，即

QoS(s_j)＝μ_i(s_j)，类平均sky line的计算同传统的sky line计算方法一致，我们将其记为类平均sky line基于本聚类用户的QoS平均值得到的结果，其主要目的是对属于本类的用户提供一个sky line的粗略估计，同时对于未来加入本聚类的新用户而言，由于其QoS预测值即是类均值，因此其在线sky line计算的结果可以直接调用类平均sky line而得到。 

（b）另一条重要的sky line是“类最优sky line”，其主要目标是筛选出某聚类所有用户历史记录中所体现的QoS全局最优的sky line结果，并将此结果作为一个对聚类成员进行sky line预测的一个最优值。在介绍“类最优sky line”的计算之前，我们需要先对相关概念进行说明。除特别说明，我们将服务s₁,s₂在QoS上的支配关系QoS(s₁)＞QoS(s₂)记为s₁＞s₂，反之亦然。在不引起歧义的情况下，我们将不严格区分“服务”和“点”的称呼。 

首先定义sky line合并。如果SK(S₁),SK(S₂)分别是集合S₁,S₂上的sky line，SK(S′)是这两条sky line的并，即SK(S′)=merge(SK(S₁),SK(S₂))，那么SK(S′)是这样一个集合：

s∈SK(S₁)∨s∈SK(S₂)，且在SK(S₁),SK(S₂)中不存在的服务s′，使得s′＞s。可以证明merge(SK(S₁),SK(S₂))=SK(S₁∪S₂)，即并集的sky line等于各自sky line的并。 

因此，对聚类C上的等价服务集S的最优sky line的计算，可以由聚类C上各用户u的历史sky line记录合并获得。事实上，由于同一个服务对不同用户产生的调用QoS不同，因而获得的聚类上的最优sky line可能包含有一个服务的多个不同QoS点。这样的sky line我们认为对服务选择过程是具有参考意义的，因为如果一个服务在不同的用户调用下总是支配其他的服务的，那么该服务在未来更有可能具有好的QoS性能（也即是说同一个服务在最优sky line上出现的越多，那么其未来的QoS表现可以认为更优）。 

（3）处理在线请求，基于离线聚类sky line执行在线sky line修正算法。在线sky line计算是基于离线的sky line计算结果，一方面离线sky line计算中的“类最优sky line”和“类平均sky line”结果被返回用于对在线请求进行最优推荐和平均的估计，在对精度要求不高而对响应时间敏感的应用场景下这一可以直接作为接下来服务选择过程的输入；另一方面在需要准确sky line结果的时候，可以在“类平均sky line”的基础上加入真正的QoS预测值进行sky line修正计算。由于“类平均sky line”本身就是对类成员QoS的一个估计，因而该sky line修正的过程也将在全局sky line计算的基础上得到简化。 

为了加速“类平均sky line”对最终sky line的求解过程，需要定义一个辅助数据结构“支配表”，此数据结构可以在离线sky line计算过程中一并完成。支配表是用来存储sky line图中支配关系的HashTable，其键为每一个非sky line节点索引，值为支配该节点的sky line点的集合。如图2所示的支配关系，我们可以建立支配表如表1： 

表1sky line支配表 

基于以上的辅助数据结构，基于“类平均sky line”的sky line修正算法可以表述为：输入用户u对于目标等价服务集S中的每一个点，首先在对应类平均sky line的支配表中支配该点的原sky line点集，并逐个判断在预测QoS数值之后的支配关系，若仍存在支配关系，那么该点在预测过QoS的服务集仍然不属于sky line；若原支配该点的sky line点，在预测后的QoS数值上不再支配该点，那么将该点和不被该点支配的原sky line点都加入候选集。最后在候选集中进行最终sky line计算。其主要过程为： 

（a）建立空的候选集Candidate，从支配表中读出被支配集Non_Set。 

（b）对于Non_Set中的每一个点p，循环执行以下的过程。 

（c）读取点p在支配表中对应的支配点集合D_Set。 

（d）若在D_Set中不存在任一点dp，使得dp＞p，那么将p加入候选集Candidate。 

（e）对于D_Set中不满足p＞dp的点dp，若dp不在D_Set中，那么将dp也加入候选集Candidate。 

（f）在候选集Candidate中执行普通的sky line算法，得到最终的sky line输出。 

由于通过预测的用户QoS往往相比聚类的平均QoS不会有过大的偏差，当聚类的平均sky line与预测之后的sky line充分接近的时候，原类平均sky line中所满足的支配关系很大一部分在该用户sky line中仍然是满足的，因此最后进行sky line计算的候选集（Candidate）将是整个等价服务集合的一个很小的子集，相比传统的在线全局sky line计算，这过程将大大的简化。同时，系统对DMap的访问是常数时间，并且sky line的集合往往是不大的，一个点集也很少被大量的sky line点同时支配，因而对应DMap的Value中的点集并不会非常的大，因此算法总体效率将是很高的，对于在线计算的体验能有直接的提升。 

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。 

Claims (2)

1.一种基于用户聚类的sky line在线计算方法，其特征在于，包括如下步骤：

11）基于用户-服务QoS矩阵对相似用户进行聚类步骤：

当为单维度场景时，采用将所有维度的QoS值归一化处理后按照其权重计算为一维数值，用户u对服务s的多维QoS的归一化公式如下：

$\tilde{q}\left(s\right)=\underset{i=1}{\overset{R}{\mathrm{\Σ}}}\frac{q_i\left(s\right)-{\min }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)}{{\max }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)-{\min }_{s^{\′}\∈S}{q}_i\left(s^{\′}\right)}\·w_i$

其中q_i(s)为第i个维度上的QoS值，w_i为各维度的QoS权重，且∑w_i＝1，由此一维用户相似度可以由以下Pearson相似度公式计算：

$\mathrm{Dist}(u_i,u_j)=\mathrm{Sim}(u_i,u_j)=\frac{{\mathrm{\Σ}}_{s\∈S(i,j)}(q_i\left(s\right)-{\stackrel{\‾}{q}}_i)(q_j\left(s\right)-{\stackrel{\‾}{q}}_j)}{\sqrt{{\mathrm{\Σ}}_{s\∈S(i,j)}{(q_i\left(s\right)-{\stackrel{\‾}{q}}_i)}^2}\sqrt{{\mathrm{\Σ}}_{s\∈S(i,j)}{(q_j\left(s\right)-{\stackrel{\‾}{q}}_j)}^2}}$

其中

为用户u_i对所有服务调用的平均QoS，

为用户u_j对所有服务调用的评均QoS，基于此相似度进行聚类操作；

当为多维度场景时，首先对每个维度的QoS仍然进行归一化操作，是每一个维度上QoS的取值范围都是(0,1)之间，接着采用余弦距离计算两个用户u_i与u_j之间在服务s上的相似度：

$\mathrm{sim}(u_i,u_j,s)=\frac{{\stackrel{\→}{q}}_i\left(s\right)\·{\stackrel{\→}{q}}_j\left(s\right)}{\left|{\stackrel{\→}{q}}_i\left(s\right)\right|\left|{\stackrel{\→}{q}}_j\left(s\right)\right|}$

其中

是用户i对服务s的归一化QoS向量，定义用户u_i与u_j的在服务集S上的多维QoS相似度为：

$\mathrm{sim}(u_i,u_j,S)J(u_i,u_j)\·\frac{\underset{s\∈S}{\mathrm{\Σ}}\mathrm{sim}(u_i,u_j,s)}{\left|S\right|}$

定义S(u)为用户u调用的服务s所构成的集合，那么有：

$J(u_i,u_j)=\frac{|S\left(u_i\right)\∩S\left(u_j\right)|}{|S\left(u_i\right)\∪S\left(u_j\right)|}$

基于此相似度进行聚类操作；

12）基于用户聚类，计算聚类特征sky line步骤；

由一个聚类中服务的QoS均值计算得到的sky line；

13）基于离线聚类sky line执行在线sky line修正步骤:

首先在对应类平均sky line的支配表中支配该点的原sky line点集，并逐个判断在预测QoS数值之后的支配关系，若仍存在支配关系，那么该点在预测过QoS的服务集仍然不属于sky line；若原支配该点的sky line点，在预测后的QoS数值上不再支配该点，那么将该点和不被该点支配的原sky line点都加入候选集。最后在候选集中进行最终sky line计算;

所述支配表用来存储sky line中支配关系的HashTable，其键为每一个非sky line节点索引，值为支配该节点的sky line点的集合。

2.根据权利要求1所述的一种基于用户聚类的sky line在线计算方法，其特征在于，所述步骤12）和步骤13）可采用如下步骤替代：

首先定义sky line合并；如果SK(S₁),SK(S₂)分别是集合S₁,S₂上的sky line，SK(S′)是这两条sky line的并，即SK(S′)=merge(SK(S₁),SK(S₂))，那么SK(S′)是这样一个集合：

s∈SK(S₁)∨s∈SK(S₂)，且在SK(S₁),SK(S₂)中不存在的服务s′，使得s′＞s，且merge(SK(S₂),SK(S₂))=SK(S₁∪S₂)，即并集的sky line等于各自sky line的并对聚类C上的等价服务集S的最优sky line的计算，可以由聚类C上各用户u的历史sky line记录合并获得。

Images