CN110879723B - 基于Pareto最优集的软件服务价值的客观评测方法及装置 - Google Patents

Abstract

一种软件服务价值客观评测方法，包括以下步骤：确定软件服务的评价维度并采集得到相应的维度数据；基于Pareto占优概念求取Pareto最优集；基于变异系数计算所述Pareto最优集中各评价维度的权重因子；对全部样本数据进行归一化处理；通过加权和模型计算所述软件服务的综合评分。该方法去除人为因素，避免主观随意性，使得评价结果更为客观、准确；通过最优样本集来确定各个评价维度的权重，相比通过全部样本的方式，具有较强的鲁棒性。

Description

基于Pareto最优集的软件服务价值的客观评测方法及装置

技术领域

本发明涉及云计算技术领域，尤其涉及一种基于Pareto最优集的软件服务价值的客观评测方法及装置。

背景技术

近年来，随着云计算技术的广泛应用，越来越多的软件服务被大量地部署于云平台中。与此同时，也使得云平台中出现了众多功能相似、性能(或软件服务质量)各异的软件服务。因此，如何通过软件客观地、自动地对众多相似软件服务进行评测，在众多相似软件服务中筛选出符合用户需求的软件服务，已成为云平台用户不得不考虑的问题。

软件服务价值评价是解决该技术问题最为常用的方法。通过量化每个软件服务的价值，可方便、直观的从中选出最优的软件服务。一般而言，软件服务价值评价包含三个步骤：选定评价软件服务的维度、为每个评价维度设定权重、量化软件服务价值。对于软件服务的评价维度，不同类型的软件服务应采用不同的维度；对于软件服务价值的量化，目前大部分方法均采用加权和的方式进行计算；而权重的设定则是影响软件服务评价的最关键步骤。当前确定权重的方法可归纳为三类：基于主观权重类、基于客观权重类和基于主客观混合权重类。

基于主观权重类：该种方法主要通过行业专家对软件服务的各个维度进行打分，并通过分值确定各个维度所占权重。比如专家评分法、德尔菲法、层次分析法等。

基于客观权重类：该种方法主要通过对评价对象的各个指标数据进行计算分析，从而确定每个评价维度的权重。比如均方差法、熵值法、变异系数法等。

基于主客观混合评价类：该种方法主要通过对以上两种方法的计算结果进行合成，从而得出每个维度的综合权重。比如加法合成法、乘法合成法等。

与主观方法相比，常用的变异系数方法继承了客观方法的许多优点，如避免人为经验、偏好的干扰、权重计算简单等，但在用于服务价值评价时，其缺点仍值得考虑。在该方法中，权重计算对数据的依赖性强，与整体样本密切相关，而不考虑任何其他因素。在这种情况下，对样本数据的可靠性、准确性的要求会很高，一旦选定的样本不合适，权重将出现很大的偏差，造成评估结果不准确。此外，变异系数法作为常用的多要素评价方法，其原理更多的是强调指标对评价对象的区分作用，内部数据的差异性越大，其对评价对象的区分作用越大，权重的分配值越大。亦可以认为，指标取值差异越大，越难以实现，则权重分配也应越大。但在软件服务评价领域，用变异系数表示的服务指标的离散程度大并不一定能够反映指标更重要。以资源占用指标(CPU占用率、内存占用率、网络占用率、磁盘占用率)为例：针对服务对资源占用特点，可将服务分为5类：数据事务密集型、资源稳健型、数据流吞吐型、计算密集型、交互密集型。从资源占用角度考虑，越重要的指标，往往是服务对资源占用越多，越敏感的相对应的指标，有经验的服务开发人员亦会着重优化该指标。此时，传统的变异系数法便不能直接适用于评价服务的价值。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于Pareto最优集的软件服务价值客观评测方法及装置，以期至少部分地解决上述技术问题中的至少之一。

为了实现上述目的，作为本发明的一方面，提供了一种软件服务价值客观评测方法，包括以下步骤：

确定软件服务的评价维度并采集得到相应的维度数据；

基于Pareto占优概念求取Pareto最优集；

基于变异系数计算所述Pareto最优集中各评价维度的权重因子；

对全部样本数据进行归一化处理；

通过加权和模型计算所述软件服务的综合评分。

其中，所述服务的评价维度分为两种类型：积极型和消极型。所述积极型值是正向的，即该维度的数据值越大越好；所述消极型值是负向的，即该维度的数据值越小越好。

其中，所述Pareto最优集是要从所有样本中选出在各个评价维度均较优的样本集合。

其中，所述Pareto占优概念具体如下：当满足以下三个条件时，称为第一样本Pareto占优第二样本；

①对于两个样本中所有积极型评价维度，第一样本中的任一数据均不小于第二样本中对应的数据；

②对于两个样本中所有消极型评价维度，第一样本中的任一数据均不大于第二样本中对应的数据；

③至少有一个积极型评价维度，满足第一样本中的数据小于第二样本中对应的数据；或者至少有一个消极型评价维度，满足第一样本中的数据大于第二样本中对应的数据。

其中，所述各评价维度的权重因子的计算步骤具体如下：

构造评价维度矩阵，即将Pareto最优集中的所有元素构造成矩阵形式；

计算每一个评价维度的变异系数，所述变异系数的计算公式如下：

其中，W_j表示评价维度E_j的变异系数，

表示评价维度矩阵中的评价维度数据的平均值，σ_j表示评价维度矩阵中的评价维度数据的标准差，且有1≤j≤m，m为评价维度的数量。

计算每一个评价维度的权重，所述权重的计算公式如下：

其中，ω_j表示服务在评价维度E_j上的权重因子，且有∑_jω_j＝1。

在权重计算过程中，不同于传统的变异系数方法，在本专利方法中，变异系数越大，相应的权重值越小，变异系数越小，权重值越大。

其中，所述全部样本数据分为积极型和消极型两种类型的数据，分别进行归一化处理，具体的归一化处理公式如下：

对于积极型的数据，通过如下公式进行归一化处理：

对于消极型的数据，通过如下公式进行归一化处理：

其中，D_ij表示第i个样本的第j个评价维度的数据值，min(D_j)表示所有样本在评价维度E_j上的最小值，max(D_j)表示所有样本在评价维度E_j上的最大值。

其中，所述通过加权和模型计算服务的综合评分的公式如下：

其中，Score_i表示服务S_i的最终评分，i＝1，2，...n。

作为本发明的另一方面，还提供了一种软件服务价值客观评测装置，包括：

处理器，用于执行存储器内存储的程序；

存储器，用于存储。

基于上述技术方案可知，本发明的软件服务价值客观评测方法及装置相对于现有技术至少具有如下有益效果之一：

1、去除人为因素，避免主观随意性，使得评价结果更为客观、准确；

2、通过最优样本集来确定各个评价维度的权重，相比通过全部样本的方式，具有较强的鲁棒性；

3、针对服务评价领域指标特点，得到更有说服力的权重系数，为后续软件服务组合的选择提供了重要参考依据。

附图说明

图1是基于Pareto最优集的软件服务价值客观评测方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

与现有的客观评价方法不同，本发明拟采用一种基于Pareto最优集的软件服务价值客观评测方法。在该评价方法中，首先，确定软件服务的评价维度并获取相应的维度数据；其次，基于Pareto占优概念求取Pareto最优集；再次，基于变异系数计算最优集中各评价维度的权重因子；然后，对全部样本数据进行归一化处理；最后，通过加权和模型计算软件服务的综合评分。值得注意的是，在权重计算过程中，不同于传统的变异系数方法，在本专利方法中，变异系数越大，相应的权重值越小，变异系数越小，权重值越大。本发明执行流程如图1所示。

1、采集评价维度数据

软件服务价值评价的第一步是确定软件服务的评价维度并获取相应的维度数据。由于不同的软件服务类型具有不同的属性，所以相应的评价维度也各不相同。

针对某一种软件服务类型，假设该类型中一共有n个软件服务对象(即S₁，S₂，...，S_n)，且该软件服务类型具有m个评价维度(即E₁，E₂，...，E_m)，D_ij表示软件服务S_i在评价维度E_j上的评价数值。那么评价维度数据可通过如下形式表示：

表1评价维度数据格式示意表

软件服务的评价维度可分为两种类型：积极型和消极型。前者值是正向的，即该维度的数据值应越大越好(如可靠性、安全性等)；后者值是负向的，即该维度的数据值应越小越好(如响应时间、CPU消耗等)。

用X_i表示软件服务S_i(1≤i≤n)的评价维度向量，由表1可知，X_i＝(D_i1，D_i2，...D_im)，可认为X_i是一个样本，而V＝{x|x＝X_i，i＝1...n}是样本集。

2、求取Pareto最优集

在获取所有同类软件服务的评价维度数据样本集V之后，本发明将基于Pareto占优概念，从V中选出Pareto最优集

Pareto最优集是要从所有样本中选出在各个评价维度均较优的样本集合。以两个数据样本X_i＝(D_i1，D_i2，...，D_im)和X_j＝(D_j1，D_j2，...，D_jm)为例，假设前r(0≤r≤m)个维度是积极型，后(m-r)个维度是消极型，当满足以下三个条件时，我们称X_i帕累托占优X_j：

①对于两个样本中所有积极型评价维度E_k(1≤k≤r)，样本X_i中的D_ik均不小于样本X_j中对应的D_jk；

②对于所有消极型评价维度E_s(r+1＜s≤m)，样本X_i中的D_is均不大于样本X_j中的D_js；

③至少有一个积极型评价维度E_k，满足X_i中的D_ik小于样本X_j中对应的D_jk；或者至少有一个消极型评价维度E_s，满足X_i中的D_is大于样本X_j中的D_js。

如果在整个样本空间内不存在任何样本Pareto占优某个样本X_i，则称X_i是Pareto最优解。所有的Pareto最优解组成了Pareto最优集。

3、基于变异系数确定评价权重

在获得Pareto最优集之后，本发明将采用变异系数法来计算最优集中每个评价维度的权重。

变异系数法是通过计算每个评价维度实测数据的离散程度，来确定每个维度的权重。一般来说，离散程度越大的评价维度，其权重就越高，反之则越低。然而，在本发明中，由于是从所有样本中求取了Pareto最优样本集，而占优的软件服务又往往被认为会对重要指标赋予更多的优化，那么越重要的指标其离散程度反而会越小。因此，在本发明中，针对Pareto最优集，其评价维度的离散程度越小，权重反而越高，反之则越低。具体评价维度权重计算步骤列举如下：

(1)构造评价维度矩阵，即将Pareto最优集V_opt中的所有元素构造成矩阵形式；

(2)计算每一个评价维度的变异系数。用W_j表示评价维度E_j(1≤j≤m)的变异系数，则：

其中

表示步骤(1)矩阵中，评价维度E_j的数据的平均值，σ_j表示数据的标准差。

(3)计算每一个评价维度的权重。用ω_j表示软件服务在评价维度E_j上的权重因子，则：

公式(2)满足评价维度的变异系数越小，ω_j越大；且有∑_jω_j＝1。

4、样本数据归一化处理

由于不同维度对应的指标数值单位、范围均不同(比如时间的单位为秒，而内存单位为兆字节)，因此本发明在对各个软件服务进行量化评价之前，还需对每个评价维度的数据进行归一化处理。

对于积极型和消极型两种不同类型的数据，可分别通过公式(4)和公式(5)进行归一化处理。

其中，min(D_j)表示所有样本在评价维度E_j上的最小值；max(D_j)表示所有样本在评价维度E_j上的最大值。

5、基于加权和的综合评分模型

最后，本发明可基于2.3中确定的评价维度的权重，和2.4中归一化后的数据，采用加权和方法对各个软件服务进行综合评分。用Score_i表示软件服务S_i的最终评分，则有：

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种软件服务价值客观评测方法，其特征在于，包括以下步骤：

确定软件服务的评价维度并采集得到相应的维度数据；

基于Pareto占优概念求取Pareto最优集；

基于变异系数计算所述Pareto最优集中各评价维度的权重因子；

对全部样本数据进行归一化处理；

通过加权和模型计算所述软件服务的综合评分；

其中，所述各评价维度的权重因子的计算步骤具体如下：

构造评价维度矩阵，即将Pareto最优集中的所有元素构造成矩阵形式；

计算每一个评价维度的变异系数，所述变异系数的计算公式如下：

其中，W_j表示评价维度E_j的变异系数，

表示评价维度矩阵中的评价维度数据的平均值，σ_j表示评价维度矩阵中的评价维度数据的标准差，且有1≤j≤m，m为评价维度的数量；

计算每一个评价维度的权重，所述权重的计算公式如下：

其中，ω_j表示服务在评价维度E_j上的权重因子，且有∑_jω_j＝1；

在权重计算过程中，变异系数越大，相应的权重值越小，变异系数越小，权重值越大。

2.根据权利要求1中所述的方法，其特征在于，所述软件服务的评价维度分为两种类型：积极型和消极型；所述积极型值是正向的，即该维度的数据值越大越好；所述消极型值是负向的，即该维度的数据值越小越好。

3.根据权利要求1中所述的方法，其特征在于，所述Pareto最优集是要从所有样本中选出在各个评价维度均较优的样本集合。

4.根据权利要求1中所述的方法，其特征在于，所述Pareto占优概念具体如下：当满足以下三个条件时，称为第一样本Pareto占优第二样本；

①对于两个样本中所有积极型评价维度，第一样本中的任一数据均不小于第二样本中对应的数据；

②对于两个样本中所有消极型评价维度，第一样本中的任一数据均不大于第二样本中对应的数据；

③至少有一个积极型评价维度，满足第一样本中的数据小于第二样本中对应的数据；或者至少有一个消极型评价维度，满足第一样本中的数据大于第二样本中对应的数据。

5.根据权利要求1中所述的方法，其特征在于，所述全部样本数据分为积极型和消极型两种类型的数据，分别进行归一化处理，具体的归一化处理公式如下：

对于积极型的数据，通过如下公式进行归一化处理：

对于消极型的数据，通过如下公式进行归一化处理：

其中，D_ij表示第i个样本的第j个评价维度的数据值，min(D_j)表示所有样本在评价维度E_j上的最小值，max(D_j)表示所有样本在评价维度E_j上的最大值。

6.根据权利要求1中所述的方法，其特征在于，所述通过加权和模型计算服务的综合评分的公式如下：

其中，Score_i表示服务S_i的最终评分，i＝1,2,…n。

7.一种软件服务价值客观评测装置，包括：

处理器，用于执行存储器内存储的程序；

存储器，用于存储用来执行如权利要求1～6任一项所述的方法的程序。

Images