CN101702137A - 一种软件性能评价方法和系统 - Google Patents

Abstract

本发明实施例提供了一种软件性能评价方法和系统。所述方法包括：步骤S1，设定软件性能的评价对象与评价因子集；步骤S2，设定评价因子的评价指标；步骤S3，计算评价因子的权重；步骤S4，计算评价对象对评价因子的隶属度；步骤S5，根据所述权重和隶属度得到评价结果。本发明实施例通过使用模糊数学理论方法，给出了对软件性能进行评价的整体解决方案，综合考虑了评价软件性能的各项评价因素，减少了软件性能评价的不确定性和模糊性，实现了软件性能存在多项评价因素和指标时，能够对软件性能进行量化的、科学合理的综合评价。

Description

一种软件性能评价方法和系统

技术领域

本发明实施例涉及一种软件性能评价方法和系统，属于数据通信技术领域。

背景技术

模糊数学理论是研究和处理具有“模糊性”现象的数学方法。客观世界存在着概念本身没有十分明确外延的模糊现象。如大、中、小；好、中、坏等。它们之间没有明显的界限，即其差异在中介过渡时呈现“亦此亦彼”性。复杂的社会现象包括许许多多的因素，这种“模糊性”更强。人们力求把成千上万个因素都计算得十分精确，这不仅是很困难的，有时候更是不可能的。模糊数学在精确的数学描述与充满模糊性的现实世界间，架起了一道桥梁，让数学进入模糊现象这个领域。

随着统计分析活动的广泛开展，评价对象越来越复杂，简单评价方法的局限性也越来越明显。经常会出现从某几个指标看处于A级别，从另外几个指标看处于B级别，从其他指标看处于C级别的情况，使分析者难以评价级别归属。因此通过对实践活动的总结，逐步形成了一系列运用多个指标对参评单位进行评价的方法，这种根据一个复杂系统同时受到多种因素影响的特点，在综合考察多个有关因素时，依据多个有关指标对复杂系统进行总评价的方法称为综合评价。其基本思想是将多个指标转化为一个能够反映综合情况的指标来进行评价。

综合评价法的特点为：评价过程不是逐个指标顺次完成的，而是通过一些特殊方法将多个指标的评价同时完成的；在综合评价过程中，一般要根据指标的重要性进行加权处理；评价结果不再是具有具体含义的统计指标，而是以指数或分值表示参评单位的综合状况。

模糊综合评判方法是一种运用模糊数学原理分析和评价具有“模糊性”的事物的系统分析方法。它是一种以模糊推理为主的定性与定量相结合、精确与非精确相统一的分析评价方法。由于这种方法在处理各种难以用精确数学方法描述的复杂系统问题方面所表现出的独特的优越性，近年来已在许多学科领域中得到了十分广泛的应用。

应用软件的性能是个很大的概念，覆盖面非常广泛，包括执行效率、资源占用、稳定性、安全性、兼容性、可扩展性、可靠性等等。

一般来说，性能是一种指标，表明软件系统对于其及时性要求的符合程度；其次性能是软件产品的一种特性，可以用一些指标来进行度量，如下：

1、响应时间

响应时间是指系统对请求做出响应的时间。

2、吞吐量

吞吐量是指系统在单位时间内处理请求的数量。

3、并发用户数

并发用户数是指系统可以同时承载的正常使用系统功能的用户的数量。

4、资源利用率

资源利用率反映的是在一段时间内资源平均被占用的情况。

5、中央处理器(Central Processing Unit，简称CPU)利用率和内存利用率

当然，对于不同的应用软件，关注的性能指标可能不同，这里只是列出了一些常用的指标。可以看出，这些指标得出来的数据，只能从某一方面反应软件的性能，而不能得出一个综合的结论来定量判断软件性能的高低。

目前业内尚无标准的对应用软件性能进行量化综合评价的方法，一般都是从某个片面的角度或标准出发去评价应用软件的性能。

专利《基于模糊数学质量评估模型的网络瓶颈链路评判检测方法》(专利号ZL200410031000.4)提出了一种使用模糊数据的方法对网络瓶颈链路进行评判和检测的方法，使得检测所得的瓶颈链路更切合网络和应用的实际情况，但是这篇专利关注的是网络瓶颈链路的评价，没有涉及到本发明所研究的软件性能评价，在操作应用的基本思想上有本质区别，属于不同领域。

发明内容

本发明的目的是提供一种软件性能评价方法和系统，实现软件性能存在多项评价因素和指标时，能够对软件性能进行量化的、科学合理的综合评价。

为实现上述目的，本发明实施例提供了一种软件性能评价方法，所述方法包括：

步骤S1，设定软件性能的评价对象与评价因子集；

步骤S2，设定评价因子的评价指标；

步骤S3，计算评价因子的权重；

步骤S4，计算评价对象对评价因子的隶属度；

步骤S5，根据所述权重和隶属度得到评价结果。

为了实现上述目的，本发明实施例还提供了一种软件性能评价系统，所述系统包括软件评价设定模块、权重计算模块、隶属度计算模块和综合分析模块；

所述软件评价设定模块用于设定软件性能的评价对象与评价因子集，以及设定评价因子的评价指标；

所述权重计算模块与软件评价设定模块连接，用于计算评价因子的权重；

所述隶属度计算模块与软件评价设定模块连接，用于计算评价对象对评价因子的隶属度；

所述综合分析模块与权重计算模块与隶属度计算模块连接，用于根据所述权重和隶属度得到评价结果。

本发明实施例通过使用模糊数学理论方法，给出了对软件性能进行评价的整体解决方案，综合考虑了评价软件性能的各项评价因素，减少了软件性能评价的不确定性和模糊性，实现了软件性能存在多项评价因素和指标时，能够对软件性能进行量化的、科学合理的综合评价。

附图说明

图1为本发明一种软件性能评价方法实施例一示意图

图2为本发明一种软件性能评价系统实施例一示意图

具体实施方式

本发明的目的是提供一种软件性能评价方法和系统，实现软件性能存在多项评价因素和指标时，能够对软件性能进行量化的、科学合理的综合评价。

为理解本发明，先介绍一些模糊数据中的概念：

论域：一般地，为研究某事物的规律性，总是先给定目标集合，如研究年龄规律，取[0，130]，它表达了问题的总范围，称为论域，一般记为U。

隶属度和隶属函数：对于普通集合A，它可以理解为某个论域U上的一个子集。为了描述论域U中任一元素u是否属于集合A，通常可以用0或1标志。而在模糊数学中，除了0和1这两个具体的标志外，还可以用0和1之间的值(百分比的小数形式)来表示隶属度。用来计算隶属度的函数即为隶属函数。

举例说明一下隶属度和隶属函数的概念：

A(x)为表示模糊集“年老”的隶属函数，A表示模糊集“年老”，当年龄x≤50时A(x)＝0，表明x不属于模糊集A，即模糊集“年老”，当x≥100时A(x)＝1，表明x完全属于模糊集A，当50＜x＜100时，0＜A(x)＜1，且x越接近100，A(x)越接近1，x属于A的程度就越高。这样的表达方法显然比简单地说：“100岁以上的人是年老的，100岁以下的人就不年老”更为合理。当x＝80时，假设A(x)＝0.8，则我们可以说80岁的人属于模糊集“年老”的程度为80％。

下面结合附图对本发明实施例进行说明，本发明实施例提供了一种软件性能评价方法，图1给出了本发明一种软件性能评价方法实施例一示意图，所述方法包括：

步骤S1，设定软件性能的评价对象与评价因子集；

例如评价对象为某种应用软件的性能，评价因子可以根据关注点进行选取，由多个评价因子组成评价因子集，如该应用软件对某业务的处理性能，某监测指标值等等。

例如评价对象为一款远程用户拨号认证系统(Remote AuthenticationDial In User Service，简称RADIUS)服务软件，我们关注的是RADIUS服务软件的认证性能。

对该软件的评价因子集可以为：{上线处理性能、下线处理性能、支持在线用户数、JMS堆积记录数}。

JMS为Java消息服务(Java Messaging Service)的简称。

步骤S2，设定评价因子的评价指标；

具体可以为：根据现有软件的性能范围分级设定软件性能的评价因子的评价指标。

根据选取出来的评价因子集，可以根据实际情况定义出评价因子对应的不同级别的评价指标。并可以根据评价因子的监测值来判断该评价因子对应应用软件性能的级别。

例如上述RADIUS服务软件的评价因子中，上线处理性能是指RADIUS认证上线时，软件能达到的处理上线请求的最大速度，单位是个/秒；下线处理性能是指RADIUS认证下线时，软件能达到的处理下线请求的最大速度；支持在线用户数是指RADIUS认证成功后，在软件上处于在线状态的用户数量；JMS堆积记录数是指当上线请求或下线请求的增长速度超过上线或下线处理性能时，JMS记录在数据库中的堆积数量，即暂存在数据库中，软件未进行处理的上下线请求。

因此，上线处理性能、下线处理性能和支持在线用户数这三个指标越大，则代表软件的性能越好；而JMS堆积记录数这个指标越大则代表软件的性能越差。

上述RADIUS服务软件的评价指标可以为：

级别	I	II	III	IV	V
						上线处理性能	60	45	30	20	10
下线处理性能	60	45	30	20	10
						支持在线用户数	40000	30000	20000	10000	1000
JMS堆积记录数	1000	10000	20000	30000	40000

步骤S3，计算评价因子的权重；

具体可以为：根据评价因子的监测值的超标比计算评价因子的权重。

根据模糊数学理论，一般情况下，m个评价因子对被评价事物并非是同等重要的，各单方面因素的表现对总体表现的影响也是不同的，因此在合成之前要确定权重。权重是衡量评价因子集中某一评价因子对应用软件整体性能影响相对大小的量，权重系数越大，则该评价因子对应用软件整体性能的影响程度越大。

在模糊综合评价中，模糊权重向量W中的权重是根据评价因子的监测值的超标比计算得到的，各评价因子的监测值相对于评价标准的超标倍数越大，对整体性能的贡献越大，从而权重越大。为数学计算需要，超标比计算完后需要进行归一化。

根据模糊数学理论，对于成本性评价指标，即数值越大性能越好的指标，超标比公式为：

但对于收益性评价指标，即数值越小性能越好的指标，则超标比公式为：

归一化的公式为：

这里得到与上述RADIUS服务软件对应的各评价因子的监测值和超标比为：

	监测值	指标均值	超标比	归一化后的超标比
					上线处理性能	50	33	1.515	0.248

	监测值	指标均值	超标比	归一化后的超标比
					下线处理性能	50	33	1.515	0.248
支持在线用户数	35000	20200	1.733	0.284
					JMS堆积记录数	15000	20200	1.347	0.22

由此得到评价因子的模糊权重向量W为：[0.248，0.248，0.284，0.22]。

步骤S4，计算评价对象对评价因子的隶属度；

具体可以为：根据评价因子的监测值计算评价对象对评价因子的不同级别的评价指标的隶属度。

逐个对被评价对象从每个评价因子上进行量化，也就是确定从单个评价因子来看被评价对象对各等级的隶属度，从而得到模糊评价矩阵R。

根据模糊数学理论，模糊评价矩阵R是由隶属度组成的矩阵，矩阵R中第i行第j列元素r_ij表示被评价对象从评价因子i来看对第j等级的隶属度。

隶属度是根据隶属函数来计算的。根据模糊数学理论，可以采用“降半梯形”的函数作为隶属函数。

例如对RADIUS服务软件的评价因子进行分析如下：

上线处理性能：由于根据标准将软件性能分为5级，因此上线处理性能应有对应于5个级别的隶属函数。以上线处理性能的监测值为自变量x，对第j级别的隶属度为μ_j(x)_UP，则上线处理性能的5级隶属函数分别为：

${\mathrm{\&mu;}}_1{\left(x\right)}_{\mathrm{UP}}=\left\{\begin{array}{c}0,x\&le;45\\ \frac{x-45}{15},45<x<60\\ 1,x\&GreaterEqual;60\end{array}\right.$

类似的，可以得到其他三个评价因子的评价指标的隶属函数分别为：

下线处理性能的隶属度函数与上线处理性能的隶属函数相同。

支持在线用户数：监测值x对第j级别的隶属度为μ_j(x)_online

${\mathrm{\&mu;}}_1{\left(x\right)}_{\mathrm{online}}=\left\{\begin{array}{c}0,x\&le;30000\\ \frac{x-30000}{10000},30000<x<40000\\ 1,x\&GreaterEqual;40000\end{array}\right.$

JMS堆积记录数：监测值x对第j级别的隶属度为μ_j(x)_JMS

${\mathrm{\&mu;}}_1{\left(x\right)}_{\mathrm{JMS}}=\left\{\begin{array}{c}\mathrm{1,0}\&le;x<1000\\ \frac{10000-x}{9000},1000\&le;x<10000\\ 0,x\&GreaterEqual;10000\end{array}\right.$

由于JMS堆积记录数为收益性指标，因此需要给一个上界，即最坏的情况，根据现有软件的性能范围我们给出100000作为上界。

将各个评价因子的监测值代入上面已得到的隶属函数，可以得到隶属度从而建立模糊评价矩阵R如下：

$R=\left[\begin{array}{ccccc}0.333& 0.667& 0& 0& 0\\ 0.333& 0.667& 0& 0& 0\\ 0.5& 0.5& 0& 0& 0\\ 0& 0.5& 0.5& 0& 0\end{array}\right]$

步骤S5，根据所述权重和隶属度得到评价结果。

具体可以为：根据所述权重组成的模糊权重向量和所述隶属度组成的模糊评价矩阵得到模糊综合评价结果向量，并根据模糊综合评价结果向量计算综合评价得分。

所述根据模糊综合评价结果向量计算综合评价得分具体可以为：设定不同级别评价指标的评分集，并根据评分集和模糊综合评价结果向量计算综合评价得分。

可以利用合成算子将模糊权重向量W与模糊评价矩阵R合成得到模糊综合评价结果向量B；

根据模糊数学理论，用模糊权重向量W与模糊评价矩阵R中的行进行合成就可得到评价对象从总体上来看对各等级的隶属程度，即模糊综合评价结果向量B。这里的合成就是做矩阵运算。

向量B中不同的元素反映了评价对象从不同的评价因子的评价指标来看对各个等级模糊子集的隶属程度。

$B=W\&CenterDot;R=(w_1,w_2,...,w_m)\&times;\left\{\begin{array}{cccc}{r}_{11}& r_{12}& ...& r_{1n}\\ r_{21}& r_{22}& ...& r_{2n}\\ ...& ...& ...& ...\\ r_{m1}& r_{m2}& ...& r_{\mathrm{mn}}\end{array}\right\}=(b_1,b_2,...{,b}_n)$

其中b_j表示被评价事物从总体上看对第j等级的隶属程度。

例如上述RADIUS服务软件的模糊综合评价结果向量计算得到为：

B＝W·R＝[0.307，0.583，0.11，0，0]

根据模糊数学理论，每一个评价对象的综合评价结果表现为一个模糊综合评价结果向量，这与其他方法中每一个评价对象得到一个综合评价值是不同的，它包括了更丰富的信息。可以使用一个评分集与模糊综合评价结果向量进行复合，得到最终的综合评价分值。

对上述RADIUS服务软件，以模糊综合评价结果向量B为行向量，评分集P(100，80，60，30，0)为列向量，两者相乘得到综合评价得分C＝B·P^T，计算得到的综合评价得分为83.94，是一个比较不错的得分，性能级别介于I和II之间，但更接近于II。

本发明实施例通过使用模糊数学理论方法，给出了对软件性能进行评价的整体解决方案，综合考虑了评价软件性能的各项评价因素，减少了软件性能评价的不确定性和模糊性，实现了软件性能存在多项评价因素和指标时，能够对软件性能进行量化的、科学合理的综合评价。

本发明实施例还提供了一种软件性能评价系统，图2给出了本发明一种软件性能评价系统实施例一示意图，所述系统包括软件评价设定模块M1、权重计算模块M2、隶属度计算模块M3和综合分析模块M4；

所述软件评价设定模块M1用于设定软件性能的评价对象与评价因子集，以及设定评价因子的评价指标；

所述软件评价设定模块M1用于所述设定评价因子的评价指标具体可以为：软件评价设定模块M1用于根据现有软件的性能范围分级设定软件性能的评价因子的评价指标。

所述权重计算模块M2与软件评价设定模块M1连接，用于计算评价因子的权重；

所述权重计算模块M2具体可以用于根据评价因子的监测值的超标比计算评价因子的权重。

所述隶属度计算模块M3与软件评价设定模块M1连接，用于计算评价对象对评价因子的隶属度；

所述隶属度计算模块M3具体可以用于根据评价因子的监测值计算评价对象对评价因子的不同级别的评价指标的隶属度。

所述综合分析模块M4与权重计算模块M2与隶属度计算模块M3连接，用于根据所述权重和隶属度得到评价结果。

所述综合分析模块M4具体可以用于根据所述权重组成的模糊权重向量和所述隶属度组成的模糊评价矩阵得到模糊综合评价结果向量，并根据模糊综合评价结果向量计算综合评价得分。

所述综合分析模块M4用于所述根据模糊综合评价结果向量计算综合评价得分具体可以为：综合分析模块M4用于设定不同级别评价指标的评分集，并根据评分集和模糊综合评价结果向量计算综合评价得分。

本发明实施例具有以下有益效果：

1.减少了软件性能评价的不确定性和模糊性，采取定量分析，得出一个确切的分数可以用于记录和比较；

2.综合考虑了评价软件性能的各项评价因素和指标，不再是从某一评价因素和指标出发的片面分析；

3.可以对同一软件的不同版本的性能进行综合评价后，根据最后的得分进行对比，从而得出性能提升或下降的结论，避免使用单指标对比时可能出现的矛盾情况。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种软件性能评价方法，其特征在于，所述方法包括：

步骤S1，设定软件性能的评价对象与评价因子集；

步骤S2，设定评价因子的评价指标；

步骤S3，计算评价因子的权重；

步骤S4，计算评价对象对评价因子的隶属度；

步骤S5，根据所述权重和隶属度得到评价结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤S5具体为：根据所述权重组成的模糊权重向量和所述隶属度组成的模糊评价矩阵得到模糊综合评价结果向量，并根据模糊综合评价结果向量计算综合评价得分。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3具体为：根据评价因子的监测值的超标比计算评价因子的权重。

4.根据权利要求1-3所述的任一方法，其特征在于，所述步骤S2具体为：根据现有软件的性能范围分级设定软件性能的评价因子的评价指标。

5.根据权利要求4所述的方法，其特征在于，所述步骤S4具体为：根据评价因子的监测值计算评价对象对评价因子的不同级别的评价指标的隶属度。

6.根据权利要求4所述的方法，其特征在于，步骤S5中所述根据模糊综合评价结果向量计算综合评价得分具体为：设定不同级别评价指标的评分集，并根据评分集和模糊综合评价结果向量计算综合评价得分。

7.一种软件性能评价系统，其特征在于，所述系统包括软件评价设定模块、权重计算模块、隶属度计算模块和综合分析模块；

所述软件评价设定模块用于设定软件性能的评价对象与评价因子集，以及设定评价因子的评价指标；

所述权重计算模块与软件评价设定模块连接，用于计算评价因子的权重；

所述隶属度计算模块与软件评价设定模块连接，用于计算评价对象对评价因子的隶属度；

所述综合分析模块与权重计算模块与隶属度计算模块连接，用于根据所述权重和隶属度得到评价结果。

8.根据权利要求7所述的系统，其特征在于，所述综合分析模块具体用于根据所述权重组成的模糊权重向量和所述隶属度组成的模糊评价矩阵得到模糊综合评价结果向量，并根据模糊综合评价结果向量计算综合评价得分。

9.根据权利要求7所述的系统，其特征在于，所述权重计算模块具体用于根据评价因子的监测值的超标比计算评价因子的权重。

10.根据权利要求7-9所述的任一系统，其特征在于，所述软件评价设定模块用于所述设定评价因子的评价指标具体为：软件评价设定模块用于根据现有软件的性能范围分级设定软件性能的评价因子的评价指标。

11.根据权利要求10所述的系统，其特征在于，所述隶属度计算模块具体用于根据评价因子的监测值计算评价对象对评价因子的不同级别的评价指标的隶属度。

12.根据权利要求10所述的系统，其特征在于，所述综合分析模块用于所述根据模糊综合评价结果向量计算综合评价得分具体为：综合分析模块用于设定不同级别评价指标的评分集，并根据评分集和模糊综合评价结果向量计算综合评价得分。

Images