CN105574685A - 一种基于主客观结合的云服务评价方法 - Google Patents

Abstract

基于主客观结合的云服务评价方法，包括如下步骤：第一步，构建灵活的、可扩展的主客观评价指标集；第二步，确定评价指标的度量方法,其中用户主观反馈指标的度量基于本发明提出的用户主观反馈评估模型，综合考虑了用户反馈存在的主观性、不确定性和反馈信息的时效性；第三步，采用AHP确定评价指标权重并计算云服务的综合评分值；第四步，根据计算得到的评分值大小对云服务进行排名。

Description

一种基于主客观结合的云服务评价方法

技术领域

本发明属于服务计算领域。

现有技术

云计算技术的成熟和发展，使得“云”上功能相同或类似的云服务越来越多，对云服务评价进行系统研究，为用户的服务选择提供科学依据，具有重要的现实意义。

云服务的评价研究主要可以分为3类，1)基于性能分析，2)基于多属性决策MCDM(Multi-CriteriaDecisionMaking)，3)基于推荐系统。现有的一些研究主要聚焦于从服务提供商视角对云服务进行客观质量分析，大多关注云服务的成本、性能、可靠性、可用性等客观质量属性，忽略了与云服务有直接交互的终端用户的主观反馈这一极具价值的信息，云服务评价结果存在一定的片面性。用户主观反馈基于用户在使用服务过程中的用户感知和用户体验，是用户对服务质量认可程度的反映，良好的用户体验是提升云服务竞争力的重要关键。

目前少数考虑到用户反馈的云服务评价研究主要关注云服务的信任或信誉评估，在度量上述指标时，大多仅限于定性化的描述和分析，缺乏对用户反馈评估模型的深入研究，主观评估结果存在准确性和合理性问题。用户反馈作为一种主观认知，具有显著的主观性，随机性和模糊性等不确定性。同时，云服务的用户主观反馈数据通常一定的时间跨度，这些发生在不同时期的数据其信息价值存在差异，需要充分考虑反馈数据的时效性。

发明内容

本发明要克服现有技术上的上述缺点，提供一种主客观结合的云服务评价方法，结合云服务客观质量分析和用户主观反馈评估，采用多属性决策方法AHP(AnalyticHierarchyProcess)对云服务进行评价，以解决现有评价方法的片面性；同时，重点关注用户主观反馈评估模型的构建，综合考虑用户反馈存在的主观性、不确定性和反馈信息的时效性，提高云服务主观评价的准确性和合理性。

本发明的技术方案共分四个步骤：第一步，构建灵活的、可扩展的主客观评价指标集；第二步，确定评价指标的度量方法；第三步，采用AHP确定评价指标权重并计算云服务的综合评分值；第四步，根据计算得到的评分值大小对云服务进行排名。

基于主客观结合的云服务评价方法的具体步骤如下：

1.构建灵活的、可扩展的主客观评价指标集；

本方法的评价指标包含客观质量指标和用户主观反馈指标。其中，客观质量指标指根据云监控和基准测试测量得到的指标，例如云服务的性能、可用性、可靠性等，或者是根据服务提供商发布的数据进行度量的指标，例如云服务的成本、安全性等。主观反馈指标指基于用户反馈进行度量的指标，例如云服务的信誉、易用性、友好性等。

1.1客观质量指标集构建；

客观质量指标集主要参考已有的相关工作并结合云服务的特点进行构建。现有的云服务评价方法主要关注云服务的成本、性能、可靠性、可用性、可扩展性、安全性等客观质量属性，符合云服务的大规模计算能力、泛在网络接入、虚拟化、按需付费、高可扩展性、高可靠性、潜在危险性等特点。因此，本方法选择上述指标作为本文的客观质量指标集，云服务用户可以根据自身需求从中选择需要的指标，也可对客观质量指标集进行扩展，构建个性化的客观质量指标集。

1.2用户主观反馈指标集构建；

用户主观反馈指标选择当前云服务评价中常用的信誉度，并引入普通用户重点关心的且技术性相对较弱的评价指标，例如易用性、友好性等构建用户主观反馈指标集。云服务用户同样可以根据自身需求从中选择需要的指标，也可对用户主观反馈指标集进行扩展，构建个性化的用户主观反馈指标集。

2.主客观评价指标度量方法确定；

鉴于本发明选择的云服务客观质量指标是当前比较常用的评价指标，已存在相对公论的度量方法，因此客观质量指标的度量不再赘述。用户主观反馈指标的度量基于本发明提出的用户主观反馈评估模型，综合考虑了用户反馈存在的主观性、不确定性和反馈信息的时效性，是本发明的核心内容。

2.1用户反馈主观性处理；

主观性处理主要为了降低用户的主观性对评价结果的准确性影响。本方法设计一种用户反馈偏好模型SFP(SubjectiveFeedbackPreference)，用以描述用户在反馈评价时的总体偏好，当用户的反馈偏好偏高时，降低用户的反馈评价值；反之，当用户的反馈偏好偏低时，增加用户的反馈评价值，降低或增加的幅度随用户偏好等级的变化而变化。

具体步骤如下：

S1.设计用户反馈偏好模型SFP，具体如公式(1)所示：

SFP∈{[0,p₁),[p₁,p₂),...,[p_i-1,p_i),...,[p_n-1,1]}(1)

SFP中每个区间[p_i-1,p_i)代表一个偏好等级，p_i-1是预先设置的某一偏好等级的下限，p_i是预先设置的某一偏好等级的上限。p_i越接近0，代表用户反馈偏好等级越低，即用户在每次反馈评价时，越倾向于给出低于评分均值的评分值；反之，p_i越接近1，代表用户反馈偏好等级越高；

S2.设计用户反馈偏好等级计算方法，具体如公式(2)所示：

${\mathrm{SFP}}_i=\frac{c_{exceed}}{c}({\mathrm{SFP}}_i\∈\[0,1\])---\left(2\right)$

其中SFP_i为用户u_i的主观反馈偏好等级，c为用户u_i的历史云服务评价次数总和，假设一个用户对一个云服务只评价一次，则c为u_i评价过的云服务数量。c_exceed表示在用户u_i评价过的c个云服务中，其评分值超过这c个云服务评分均值的次数，0≤c_exceed≤c。

S3.根据每个用户的历史云服务评价数据计算其反馈偏好等级，结合2.2中的不确定性处理实现用户反馈定性评价到定量评分值的转换，降低用户反馈的主观性和不确定性影响。

2.2用户反馈不确定性处理；

不确定性处理主要为了体现用户反馈存在的模糊性和随机性等不确定性。本方法基于不确定性处理方法云模型进行不确定性处理，结合2.1提出的用户反馈偏好模型SFP，实现定性评价到定量评分值的转换，将用户反馈的定性评价转换为特定区间的一次随机定量实现。

其中，云模型是一种在概率统计和模糊数学的基础上提出的定性概念与定量数值转换模型，兼顾了语言值中大量存在的随机性、模糊性以及两者之间的关联性，通过3个数字特征包括期望E_x，熵E_n和超熵H_e完成模糊概念到具体数值的转化。

具体步骤如下：

T1.根据云服务的用户反馈值设计一种用户主观反馈云SFC。

统计分析用户反馈评价值集合，为集合中每个定性评价设计对应的主观反馈云。其中云模型类似于具有一定“厚度”的正态分布曲线，横坐标代表每个定性评价的可度量的定量值范围，纵坐标代表定量值隶属于该定性评价的隶属度，曲线上的每个点代表一个云滴。

相关概念定义如下：主观反馈值空间SFD是定量论域[1,n]的一个有序数值集合，分别称1和n为SFD的满意度下限和上限；主观反馈空间SFS是一个定性表述主观满意的有序概念集合，可以为SFS预设1个或多个满意等级，当SFD中的数值由离散单调数值构成时可以忽略满意等级的设定；主观反馈云SFC是用云模型表示的主观定性反馈概念，由若干云滴组成。

T2.根据用户的历史云服务评价记录，采用公式(2)计算其主观反馈偏好等级。

T3.将用户的定性反馈评价转换为定量评分值。

根据用户主观反馈云SFC和每个用户的主观反馈偏好等级，将用户的定性评价转换为对应主观反馈云的特定区间上的一次随机实现。

假设用户u_i的主观反馈偏好等级为SFP_i＝[p_i-1,p_i)，用户u_i对云服务s_j的定性评价为x_ij，x_ij∈SFD，x_ij对应的预先设置的主观反馈云评分区间为[V_m-1,V_m)，则x_ij对应主观反馈云的特定区间k_ij的计算如公式(6)和(7)所示：

当x_ij＝n时，即SFD的最大值时，k_ij如公式(6)所示：

k_ij∈(x_ij+(0.5-p_i)·l,x_ij+(0.5-p_i-1)·l](6)

当x_ij<n时，k_ij如公式(7)所示：

$k_{ij}\&Element;\left\{\begin{array}{cc}n& (p_i\&le;0.5)\\ (n+(0.5-p_i)\&CenterDot;l,n+(0.5-p_{i-1})\&CenterDot;l\&rsqb;& (p_{i-1}\&GreaterEqual;0.5)\\ (n+(0.5-p_i)\&CenterDot;l,n\&rsqb;& (p_{i-1}<0.5)\end{array}\right.---\left(7\right)$

其中l为每个定性评价对应的主观反馈云评分区间长度(V_m-V_m-1)；

2.3反馈信息时效性处理；

根据用户反馈数据距当前主观评估决策时刻的时间间隔信息对其评价权重进行调整，若时间间隔较小，则增加反馈数据的评价权重；反之，则减少其评价权重，更合理地体现反馈数据的信息价值。

具体步骤如下：

P1.设计一种时效性窗口机制，将一段区间内的反馈数据映射到对应的窗口中。

时效性窗口TW_l∈TW_s，其中TW_s是预先设置的时效性窗口集合，TW_s＝{0,1,...,t}，t是预先设置的窗口最大值，TW_l越小代表距当前评估决策时刻越近。

评价时刻转换函数f(t_ij)将评价时刻t_ij映射到TW_jl，f(t_ij)→TW_jl，具体如公式(8)：

$f\left(t_{ij}\right)=\frac{|t_{ij}-T_0|}{|T_s-T_0|}\&CenterDot;t---\left(8\right)$

其中TW_jl为云服务s_j的第l个时效性窗口，其中l∈[0,t]，l由f(t_ij)计算得到，T₀为当前主观评估决策时刻，T_s为评价时刻全集中的最早评价时刻。t_ij为用户u_i对云服务s_j的评价时刻。

P2.计算云服务映射得到的每个时效性窗口的评分信息价值。

根据评价时刻转换函数f(t_ij)可以得到云服务s_j映射后的时效性窗口集合TW_j，基于信息价值系数V_i计算TW_j中每个时效性窗口TW_jl的评分信息价值其中V_i如公式(9)所示：

$V_i=e^{-\mathrm{\&alpha;}\&CenterDot;|T_i-T_0|}---\left(9\right)$

V_i表示反馈信息在T_i时刻的价值，T₀为当前主观评估决策时刻，α(α>0)代表的是信息的老化率系数。V_i的值随着α的增大而急剧增大，距当前决策时刻越近的评分信息对决策结果的影响越大。

P3.计算云服务映射的到的每个时效性窗口的评价权重。

根据步骤P2可以得到云服务s_j映射后的时效性窗口集合TW_j中每个TW_jl的评分信息价值采用公式(10)计算出每个TW_jl的评价权重

$w_{{\mathrm{TW}}_{jl}}=\frac{V_{{\mathrm{TW}}_{jl}}}{{\mathrm{\&Sigma;}}_{{\mathrm{TW}}_{jl}\&Element;{\mathrm{TW}}_j}{V}_{{\mathrm{TW}}_{jl}}}---\left(10\right)$

其中，代表s_j映射得到的时效性窗口集合的评分信息价值总和。

2.4主观反馈评估值计算；

根据用户反馈主观性处理，不确定性处理和时效性处理后，可以得到每个云服务的定量评分集合和映射得到的时效性窗口评价权重，根据每个时效性窗口的评分均值和评价权重，采用加权法计算主观评估值。

3.基于AHP的评价指标权重确定及云服务的综合评分值计算；

本发明采用多属性决策方法MCDM计算云服务的综合评分值，常用的MCDM有简单线性加权法、多属性价值函数法、TOPSIS(TechniqueforOrderPreferencebySimilaritytoanIdealSolution)、灰色关联分析法、AHP等。

考虑到本发明提出的云服务评价指标包含客观质量指标和用户主观反馈指标两大类，每一类指标又包含若干二级评价指标，层次关系分明；同时为了降低权重确定过程的复杂性，提高用户体验，采用AHP确定评价指标权重并计算云服务的综合评分值。

具体步骤如下：

31)建立问题的递阶层次结构模型；

模型包含目标层、准则层、子准则层和方案层4个层次，其中目标层指本方法的具体目标，即主客观结合的云服务评价及排名，准则层包含客观质量评估和主观反馈评估两个方面，子准则层则指具体的主客观评价指标，方案层指满足用户功能性需求的候选云服务。

32)构造准则层、子准则层元素的判断矩阵并进行一致性检验；

对准则层和子准则层的元素进行两两比较，构建判断矩阵以反映元素之间的相对重要性，对判断矩阵进行一致性检验，若检验成功则进入步骤3；否则，对判断矩阵进行重新修正。判断矩阵采用美国运筹学家Saaty提出的“1～9标度”法进行构造。

33)确定AHP模型中各层元素的相对权重；

求出一致性检验合格的判断矩阵的最大特征值，计算对应的特征向量，最后对特征向量进行标准化处理，即可得到元素相对于上层元素的相对权重。考虑到云服务评价指标体系包含积极型指标和消极型指标，采用Min-max标准化方法进行标准化处理。

34)进行所有层次的总排序并进行一致性检验；

计算各层元素相对于系统目标的合成权重，即我们可以求出所有主客观指标相对于云服务评价的评价权重，根据评价权重对其进行排序，并进行一致性检验，如不合格则需要修正。

35)计算云服务的综合评分值；

根据每个指标的评价权重和度量值，加权得到云服务的综合评分值。

4.云服务评价及排名；

依据每个候选云服务计算得到的综合评分值从高到低对其进行排名。

本发明描述了一种主客观结合的云服务评价方法，结合云服务客观质量分析和用户主观反馈，采用AHP方法对云服务进行评价，更客观、合理地体现云服务的综合质量。在此基础上，重点关注用户主观反馈评估模型的构建，综合考虑用户反馈存在的主观性、不确定性和反馈信息的时效性，提升主观评估结果的准确性和合理性。

本发明的优点如下：

(1)思路新颖，评价结果更为合理。从主观和客观两个方面对云服务进行评价，使得用户能够权衡云服务主客观两个方面的评价结果，更客观、合理地体现云服务的综合质量。

(2)实现简单且运行效率高。本发明中的客观质量指标度量、用户主观反馈指标度量、基于AHP的评价指标权重确定等计算简单易行，运行效率较高。

(3)适用性较广。本发明的客观质量评估和用户主观反馈评估是两块相对独立的内容，当云服务评价数据仅包含客观质量数据时，可以仅根据客观质量评估对云服务进行评价；同理，当评价数据仅包含主观反馈数据时，可以仅根据主观质量评估进行评价；当评价数据兼顾主观和客观两个方面时，可以结合主客观质量进行评价。同时，本发明的用户主观反馈评估模型还适用于其它领域的基于用户反馈的产品等实体的评价。

附图说明

图1为本发明主要组成模块。

图2为本发明用户主观反馈指标度量流程。

图3为本发明5级评价的主观反馈云示例情况。

图4为本发明云服务s_j的用户反馈数据映射到时效性窗口中的示例情况。

具体实施方式

本发明所述的主客观结合的云服务评价方法如附图1所示，主要包含以下功能模块：构建可扩展的主客观评价指标集，候选云服务查找，信息采集模块，计算模块和云服务的综合评分值计算及排名模块。其中构建个性化的主客观评价指标集模块根据云服务用户需求，在本发明推荐的主客观评价指标集的基础上进行构建；候选云服务查找模块主要负责查找符合用户功能性需求的候选云服务；信息采集模块主要负责采集云服务评价需要的数据，包括客观质量数据，用户主观反馈数据以及用户对评价指标的权重偏好信息；计算模块包含3个子模块，分别为用户主观反馈指标度量，客观质量指标度量和基于AHP的评价指标权重确定子模块。云服务的综合评分值计算及排名模块根据计算模块中获得的用户主观反馈指标度量值、客观质量指标度量值以及指标权重值计算云服务的综合评分值，依据评分值大小对云服务进行排名。

具体步骤如下：

1.构建灵活的、可扩展的主客观评价指标集。

本方法的评价指标包含客观质量指标和用户主观反馈指标。其中，客观质量指标指根据云监控和基准测试测量得到的指标，例如云服务的性能、可用性、可靠性等，或者是根据服务提供商发布的数据进行度量的指标，例如云服务的成本、安全性等。主观反馈指标指基于用户反馈进行度量的指标，例如云服务的信誉、易用性、友好性等。

1.1客观质量指标集构建

客观质量指标集主要参考已有的相关工作并结合云服务的特点进行构建。现有的云服务评价方法主要关注云服务的成本、性能、可靠性、可用性、可扩展性、安全性等客观质量属性，符合云服务的大规模计算能力、泛在网络接入、虚拟化、按需付费、高可扩展性、高可靠性、潜在危险性等特点。因此，本方法选择上述指标作为本文的客观质量指标集，云服务用户可以根据自身需求从中选择需要的指标，也可对客观质量指标集进行扩展，构建个性化的客观质量指标集。

1.2用户主观反馈指标集构建

用户主观反馈指标选择当前云服务评价中常用的信誉度，并引入普通用户重点关心的且技术性相对较弱的评价指标，例如易用性、友好性等构建用户主观反馈指标集。云服务用户同样可以根据自身需求从中选择需要的指标，也可对用户主观反馈指标集进行扩展，构建个性化的用户主观反馈指标集。

2.主客观评价指标度量方法确定

鉴于本发明选择的云服务客观质量指标是当前比较常用的评价指标，已存在相对公论的度量方法，因此客观质量指标的度量不再赘述。用户主观反馈指标的度量基于本发明提出的用户主观反馈评估模型，综合考虑了用户反馈存在的主观性、不确定性和反馈信息的时效性，是本发明的核心内容。

2.1用户反馈主观性处理；

主观性处理主要为了降低用户的主观性对评价结果的准确性影响。本方法设计一种用户反馈偏好模型SFP(SubjectiveFeedbackPreference)，用以描述用户在反馈评价时的总体偏好，当用户的反馈偏好偏高时，降低用户的反馈评价值；反之，当用户的反馈偏好偏低时，增加用户的反馈评价值，降低或增加的幅度随用户偏好等级的变化而变化。

具体步骤如下：

S1.设计用户反馈偏好模型SFP，具体如公式(1)所示：

SFP∈{[0,p₁),[p₁,p₂),...,[p_i-1,p_i),...,[p_n-1,1]}(1)

SFP中每个区间[p_i-1,p_i)代表一个偏好等级，p_i-1是预先设置的某一偏好等级的下限，p_i是预先设置的某一偏好等级的上限。p_i越接近0，代表用户反馈偏好等级越低，即用户在每次反馈评价时，越倾向于给出低于评分均值的评分值；反之，p_i越接近1，代表用户反馈偏好等级越高；

S2.设计用户反馈偏好等级计算方法，具体如公式(2)所示：

${\mathrm{SFP}}_i=\frac{c_{exceed}}{c}({\mathrm{SFP}}_i\&Element;\&lsqb;0,1\&rsqb;)---\left(2\right)$

其中SFP_i为用户u_i的主观反馈偏好等级，c为用户u_i的历史云服务评价次数总和，假设一个用户对一个云服务只评价一次，则c为u_i评价过的云服务数量。c_exceed表示在用户u_i评价过的c个云服务中，其评分值超过这c个云服务评分均值的次数，0≤c_exceed≤c。

S3.根据每个用户的历史云服务评价数据计算其反馈偏好等级，结合2.2中的不确定性处理实现用户反馈定性评价到定量评分值的转换，降低用户反馈的主观性和不确定性影响。

2.2用户反馈不确定性处理；

不确定性处理主要为了体现用户反馈存在的模糊性和随机性等不确定性。本方法基于不确定性处理方法云模型进行不确定性处理，结合2.1提出的用户反馈偏好模型SFP，实现定性评价到定量评分值的转换，将用户反馈的定性评价转换为特定区间的一次随机定量实现。

其中，云模型是一种在概率统计和模糊数学的基础上提出的定性概念与定量数值转换模型，兼顾了语言值中大量存在的随机性、模糊性以及两者之间的关联性，通过3个数字特征包括期望E_x，熵E_n和超熵H_e完成模糊概念到具体数值的转化。

具体步骤如下：

T1.根据云服务的用户反馈值设计一种用户主观反馈云SFC。

统计分析用户反馈评价值集合，为集合中每个定性评价设计对应的主观反馈云。其中云模型类似于具有一定“厚度”的正态分布曲线，横坐标代表每个定性评价的可度量的定量值范围，纵坐标代表定量值隶属于该定性评价的隶属度，曲线上的每个点代表一个云滴。

相关概念定义如下：主观反馈值空间SFD是定量论域[1,n]的一个有序数值集合，分别称1和n为SFD的满意度下限和上限；主观反馈空间SFS是一个定性表述主观满意的有序概念集合，可以为SFS预设1个或多个满意等级，当SFD中的数值由离散单调数值构成时可以忽略满意等级的设定；主观反馈云SFC是用云模型表示的主观定性反馈概念，由若干云滴组成。

T2.根据用户的历史云服务评价记录，采用公式(2)计算其主观反馈偏好等级。

T3.将用户的定性反馈评价转换为定量评分值。

根据用户主观反馈云SFC和每个用户的主观反馈偏好等级，将用户的定性评价转换为对应主观反馈云的特定区间上的一次随机实现。

假设用户u_i的主观反馈偏好等级为SFP_i＝[p_i-1,p_i)，用户u_i对云服务s_j的定性评价为x_ij，x_ij∈SFD，x_ij对应的预先设置的主观反馈云评分区间为[V_m-1,V_m)，则x_ij对应主观反馈云的特定区间k_ij的计算如公式(6)和(7)所示：

当x_ij＝n时，即SFD的最大值时，k_ij如公式(6)所示：

k_ij∈(x_ij+(0.5-p_i)·l,x_ij+(0.5-p_i-1)·l](6)

当x_ij<n时，k_ij如公式(7)所示：

$k_{ij}\&Element;\left\{\begin{array}{cc}n& (p_i\&le;0.5)\\ (n+(0.5-p_i)\&CenterDot;l,n+(0.5-p_{i-1})\&CenterDot;l\&rsqb;& (p_{i-1}\&GreaterEqual;0.5)\\ (n+(0.5-p_i)\&CenterDot;l,n\&rsqb;& (p_{i-1}<0.5)\end{array}\right.---\left(7\right)$

其中l为每个定性评价对应的主观反馈云评分区间长度(V_m-V_m-1)；

2.3反馈信息时效性处理；

根据用户反馈数据距当前主观评估决策时刻的时间间隔信息对其评价权重进行调整，若时间间隔较小，则增加反馈数据的评价权重；反之，则减少其评价权重，更合理地体现反馈数据的信息价值。

具体步骤如下：

P1.设计一种时效性窗口机制，将一段区间内的反馈数据映射到对应的窗口中。

时效性窗口TW_l∈TW_s，其中TW_s是预先设置的时效性窗口集合，TW_s＝{0,1,...,t}，t是预先设置的窗口最大值，TW_l越小代表距当前评估决策时刻越近。

评价时刻转换函数f(t_ij)将评价时刻t_ij映射到TW_jl，f(t_ij)→TW_jl，具体如公式(8)：

$f\left(t_{ij}\right)=\frac{|t_{ij}-T_0|}{|T_s-T_0|}\&CenterDot;t---\left(8\right)$

其中TW_jl为云服务s_j的第l个时效性窗口，其中l∈[0,t]，l由f(t_ij)计算得到，T₀为当前主观评估决策时刻，T_s为评价时刻全集中的最早评价时刻。t_ij为用户u_i对s_j的评价时刻。

P2.计算云服务映射得到的每个时效性窗口的评分信息价值。

根据评价时刻转换函数f(t_ij)可以得到云服务s_j映射后的时效性窗口集合TW_j，基于信息价值系数V_i计算TW_j中每个时效性窗口TW_jl的评分信息价值其中V_i如公式(9)所示：

$V_i=e^{-\mathrm{\&alpha;}\&CenterDot;|T_i-T_0|}---\left(9\right)$

V_i表示反馈信息在T_i时刻的价值，T₀为当前主观评估决策时刻，α(α>0)代表的是信息的老化率系数。V_i的值随着α的增大而急剧增大，距当前决策时刻越近的评分信息对决策结果的影响越大。

P3.计算云服务映射的到的每个时效性窗口的评价权重。

根据步骤P2可以得到云服务s_j映射后的时效性窗口集合TW_j中每个TW_jl的评分信息价值采用公式(10)计算出每个TW_jl的评价权重

$w_{{\mathrm{TW}}_{jl}}=\frac{V_{{\mathrm{TW}}_{jl}}}{{\mathrm{\&Sigma;}}_{{\mathrm{TW}}_{jl}\&Element;{\mathrm{TW}}_j}{V}_{{\mathrm{TW}}_{jl}}}---\left(10\right)$

其中，代表s_j映射得到的时效性窗口集合的评分信息价值总和。

2.4主观反馈评估值计算；

根据用户反馈主观性处理，不确定性处理和时效性处理后，可以得到每个云服务的定量评分集合和映射得到的时效性窗口评价权重，根据每个时效性窗口的评分均值和评价权重，采用加权法计算主观评估值。

3.基于AHP的评价指标权重确定及云服务的综合评分值计算

本发明采用多属性决策方法MCDM计算云服务的综合评分值，常用的MCDM有简单线性加权法、多属性价值函数法、TOPSIS(TechniqueforOrderPreferencebySimilaritytoanIdealSolution)、灰色关联分析法、AHP等。

考虑到本发明提出的云服务评价指标包含客观质量指标和用户主观反馈指标两大类，每一类指标又包含若干二级评价指标，层次关系分明；同时为了降低权重确定过程的复杂性，提高用户体验，采用AHP确定评价指标权重并计算云服务的综合评分值。

具体步骤如下：

31)建立问题的递阶层次结构模型；

模型包含目标层、准则层、子准则层和方案层4个层次，其中目标层指本方法的具体目标，即主客观结合的云服务评价及排名，准则层包含客观质量评估和主观反馈评估两个方面，子准则层则指具体的主客观评价指标，方案层指满足用户功能性需求的候选云服务。

32)构造准则层、子准则层元素的判断矩阵并进行一致性检验；

对准则层和子准则层的元素进行两两比较，构建判断矩阵以反映元素之间的相对重要性，对判断矩阵进行一致性检验，若检验成功则进入步骤3；否则，对判断矩阵进行重新修正。判断矩阵采用美国运筹学家Saaty提出的“1～9标度”法进行构造。

33)确定AHP模型中各层元素的相对权重；

求出一致性检验合格的判断矩阵的最大特征值，计算对应的特征向量，最后对特征向量进行标准化处理，即可得到元素相对于上层元素的相对权重。考虑到云服务评价指标体系包含积极型指标和消极型指标，采用Min-max标准化方法进行标准化处理。

34)进行所有层次的总排序并进行一致性检验；

计算各层元素相对于系统目标的合成权重，即我们可以求出所有主客观指标相对于云服务评价的评价权重，根据评价权重对其进行排序，并进行一致性检验，如不合格则需要修正。

35)计算云服务的综合评分值；

根据每个指标的评价权重和度量值，加权得到云服务的综合评分值；

4.云服务评价及排名

依据每个候选云服务计算得到的综合评分值从高到低对其进行排名。

Claims (1)

1.基于主客观结合的云服务评价方法,具体步骤如下：

1.构建灵活的、可扩展的主客观评价指标集；

评价指标包含客观质量指标和用户主观反馈指标；其中，客观质量指标指根据云监控和基准测试测量得到的指标，或者是根据服务提供商发布的数据进行度量的指标，例如云服务的成本、安全性等；主观反馈指标指基于用户反馈进行度量的指标；

1.1客观质量指标集构建；

客观质量指标集参考已有的相关工作并结合云服务的特点进行构建；选择云服务的大规模计算能力、泛在网络接入、虚拟化、按需付费、高可扩展性、高可靠性、潜在危险性作为客观质量指标集，云服务用户根据自身需求从中选择需要的指标，或者对客观质量指标集进行扩展，构建个性化的客观质量指标集；

1.2用户主观反馈指标集构建；

用户主观反馈指标选择当前云服务评价中常用的信誉度，并引入普通用户重点关心的且技术性相对较弱的评价指标；云服务用户根据自身需求从中选择需要的指标，或者对用户主观反馈指标集进行扩展，构建个性化的用户主观反馈指标集；

2.主客观评价指标度量方法确定；

采用常用的评价指标选择的云服务客观质量指标；用户主观反馈指标的度量基于本发明提出的用户主观反馈评估模型，综合考虑了用户反馈存在的主观性、不确定性和反馈信息的时效性；

2.1用户反馈主观性处理；

主观性处理主要为了降低用户的主观性对评价结果的准确性影响；设计一种用户反馈偏好模型SFP，用以描述用户在反馈评价时的总体偏好，当用户的反馈偏好偏高时，降低用户的反馈评价值；反之，当用户的反馈偏好偏低时，增加用户的反馈评价值，降低或增加的幅度随用户偏好等级的变化而变化；

具体步骤如下：

S1.设计用户反馈偏好模型SFP，具体如公式(1)所示：

SFP∈{[0,p₁),[p₁,p₂),...,[p_i-1,p_i),...,[p_n-1,1]}(1)

SFP中每个区间[p_i-1,p_i)代表一个偏好等级，p_i-1是预先设置的某一偏好等级的下限，p_i是预先设置的某一偏好等级的上限。l∈[0,t]越接近0，代表用户反馈偏好等级越低，即用户在每次反馈评价时，越倾向于给出低于评分均值的评分值；反之，p_i越接近1，代表用户反馈偏好等级越高；

S2.设计用户反馈偏好等级计算方法，具体如公式(2)所示：

${\mathrm{SFP}}_i=\frac{c_{exceed}}{c}({\mathrm{SFP}}_i\&Element;\&lsqb;0,1\&rsqb;)---\left(2\right)$

其中SFP_i为用户u_i的主观反馈偏好等级，c为用户u_i的历史云服务评价次数总和，假设一个用户对一个云服务只评价一次，则c为u_i评价过的云服务数量；c_exceed表示在用户u_i评价过的c个云服务中，其评分值超过这c个云服务评分均值的次数，0≤c_exceed≤c；

S3.根据每个用户的历史云服务评价数据计算其反馈偏好等级，结合2.2中的不确定性处理实现用户反馈定性评价到定量评分值的转换，降低用户反馈的主观性和不确定性影响；

2.2用户反馈不确定性处理；

不确定性处理主要为了体现用户反馈存在的模糊性和随机性等不确定性；基于不确定性处理方法云模型进行不确定性处理，结合2.1中提出的用户反馈偏好模型SFP，实现定性评价到定量评分值的转换，将用户反馈的定性评价转换为特定区间的一次随机定量实现；

其中，云模型是一种在概率统计和模糊数学的基础上提出的定性概念与定量数值转换模型，兼顾了语言值中大量存在的随机性、模糊性以及两者之间的关联性，通过3个数字特征包括期望E_x，熵E_n和超熵H_e完成模糊概念到具体数值的转化；

具体步骤如下：

T1.根据云服务的用户反馈值设计一种用户主观反馈云SFC；

统计分析用户反馈评价值集合，为集合中每个定性评价设计对应的主观反馈云；其中云模型类似于具有一定“厚度”的正态分布曲线，横坐标代表每个定性评价的可度量的定量值范围，纵坐标代表定量值隶属于该定性评价的隶属度，曲线上的每个点代表一个云滴；

相关概念定义如下：主观反馈值空间SFD是定量论域[1,n]的一个有序数值集合，分别称1和n为SFD的满意度下限和上限；主观反馈空间SFS是一个定性表述主观满意的有序概念集合，可以为SFS预设1个或多个满意等级，当SFD中的数值由离散单调数值构成时可以忽略满意等级的设定；主观反馈云SFC是用云模型表示的主观定性反馈概念，由若干云滴组成；

T2.根据用户的历史云服务评价记录，采用公式(2)计算其主观反馈偏好等级；

T3.将用户的定性反馈评价转换为定量评分值；

根据用户主观反馈云SFC和每个用户的主观反馈偏好等级，将用户的定性评价转换为对应主观反馈云的特定区间上的一次随机实现；

假设用户u_i的主观反馈偏好等级为SFP_i＝[p_i-1,p_i)，用户u_i对云服务s_j的定性评价为x_ij，x_ij∈SFD，x_ij对应的预先设置的主观反馈云评分区间为[V_m-1,V_m]，V_m-1以及V_m为预先设置的某一定性反馈对应的评分区间下限和上限，则x_ij对应主观反馈云的特定区间k_ij的计算如公式(6)和(7)所示：

当x_ij＝n时，即SFD的最大值时，k_ij如公式(6)所示：

k_ij∈(x_ij+(0.5-p_i)·l,x_ij+(0.5-p_i-1)·l](6)

当x_ij<n时，k_ij如公式(7)所示：

$k_{ij}\&Element;\left\{\begin{array}{cc}n& (p_i\&le;0.5)\\ (n+\left(0.5-p_i\right)\&CenterDot;l,n+\left(0.5-p_{i-1}\right)\&CenterDot;l\&rsqb;& (p_{i-1}\&GreaterEqual;0.5)\\ (n+\left(0.5-p_i\right)\&CenterDot;l,n\&rsqb;& (p_{i-1}<0.5)\end{array}\right.---\left(7\right)$

其中l为每个定性评价对应的主观反馈云评分区间长度(V_m-V_m-1)；

2.3反馈信息时效性处理；

根据用户反馈数据距当前主观评估决策时刻的时间间隔信息对其评价权重进行调整，若时间间隔较小，则增加反馈数据的评价权重；反之，则减少其评价权重，更合理地体现反馈数据的信息价值；

具体步骤如下：

P1.设计一种时效性窗口机制，将一段区间内的反馈数据映射到对应的时效性窗口中；

时效性窗口TW_l∈TW_s，其中TW_s是预先设置的时效性窗口集合，TW_s＝{0,1,...,t}，t是预先设置的窗口最大值，TW_l越小代表距当前评估决策时刻越近；

评价时刻转换函数f(t_ij)将评价时刻t_ij映射到TW_jl，f(t_ij)→TW_jl，具体如公式(8)：

$f\left(t_{ij}\right)=\frac{\left|t_{ij}-T_0\right|}{\left|T_s-T_0\right|}\&CenterDot;t---\left(8\right)$

其中TW_jl为云服务s_j的第l个时效性窗口，其中l∈[0,t]，l由f(t_ij)计算得到，T₀为当前主观评估决策时刻，T_s为评价时刻全集中的最早评价时刻；t_ij为用户u_i对云服务s_j的评价时刻；

P2.计算云服务映射得到的每个时效性窗口的评分信息价值；

根据评价时刻转换函数f(t_ij)可以得到云服务s_j映射后的时效性窗口集合TW_j，基于信息价值系数V_i计算TW_j中每个时效性窗口TW_jl的评分信息价值其中V_i如公式(9)所示：

$V_i=e^{-\mathrm{\&alpha;}\&CenterDot;\left|T_i-T_0\right|}---\left(9\right)$

V_i表示反馈信息在T_i时刻的价值，T₀为当前主观评估决策时刻，α(α>0)代表的是信息的老化率系数；V_i的值随着α的增大而急剧增大，距当前决策时刻越近的评分信息对决策结果的影响越大；

P3.计算云服务映射的到的每个时效性窗口的评价权重；

根据步骤P2可以得到云服务s_j映射后的时效性窗口集合TW_j中每个TW_jl的评分信息价值采用公式(10)计算出每个TW_jl的评价权重

$w_{{\mathrm{TW}}_{jl}}=\frac{V_{{\mathrm{TW}}_{jl}}}{{\mathrm{\&Sigma;}}_{{\mathrm{TW}}_{jl}\&Element;{\mathrm{TW}}_j}{V}_{{\mathrm{TW}}_{jl}}}---\left(10\right)$

其中，代表s_j映射得到的时效性窗口集合的评分信息价值总和；

2.4主观反馈评估值计算；

根据用户反馈主观性处理，不确定性处理和时效性处理后，可以得到每个云服务的定量评分集合和映射得到的时效性窗口评价权重，根据每个时效性窗口的评分均值和评价权重，采用加权法计算主观评估值；

3.基于AHP的评价指标权重确定及云服务的综合评分值计算；

采用AHP确定评价指标权重并计算云服务的综合评分值；

具体步骤如下：

31)建立问题的递阶层次结构模型；

模型包含目标层、准则层、子准则层和方案层4个层次，其中目标层指本方法的具体目标，即主客观结合的云服务评价及排名，准则层包含客观质量评估和主观反馈评估两个方面，子准则层则指具体的主客观评价指标，方案层指满足用户功能性需求的候选云服务；

32)构造准则层、子准则层元素的判断矩阵并进行一致性检验；

对准则层和子准则层的元素进行两两比较，构建判断矩阵以反映元素之间的相对重要性，对判断矩阵进行一致性检验，若检验成功则进入步骤3；否则，对判断矩阵进行重新修正；判断矩阵采用美国运筹学家Saaty提出的“1～9标度”法进行构造；

33)确定AHP模型中各层元素的相对权重；

求出一致性检验合格的判断矩阵的最大特征值，计算对应的特征向量，最后对特征向量进行标准化处理，即可得到元素相对于上层元素的相对权重；考虑到云服务评价指标体系包含积极型指标和消极型指标，采用Min-max标准化方法进行标准化处理；

34)进行所有层次的总排序并进行一致性检验；

计算各层元素相对于系统目标的合成权重，即我们可以求出所有主客观指标相对于云服务评价的评价权重，根据评价权重对其进行排序，并进行一致性检验，如不合格则需要修正；

35)计算云服务的综合评分值；

根据每个指标的评价权重和度量值，加权得到云服务的综合评分值；

4.云服务评价及排名；

依据每个候选云服务计算得到的综合评分值从高到低对其进行排名。