CN102096633A - 一种面向应用领域的软件质量基准测评方法 - Google Patents

Abstract

本发明涉及一种面向应用领域的软件质量基准测评方法，包括面向应用领域的软件质量基准比对系统，在所述的面向应用领域的软件质量基准比对系统的基础上，对软件质量进行量化综合测评的方法，该方法依据软件产品的领域特征，获取软件产品的各种质量特性、子特性及其支撑的度量元数据。通过产品数据和评测基准库的相关指标进行基准比对，从而产生比对报告，确立软件产品竞争水平的定位，协助企业开展“基准比对”为驱动的产品质量改进。

Description

一种面向应用领域的软件质量基准测评方法

技术领域

本发明属应用软件质量定量测评技术领域，特别是涉及一种面向应用领域的软件质量基准测评方法。

背景技术

随着信息化社会的不断发展和软件工程技术的不断完善，软件测试已经成为软件工程领域对软件质量进行评价和评估的主要过程，国家也颁布了相关标准，特别是采用专业的第三方软件测试保证了测试结果的客观公正。但是由于软件测试的结果受着软件规模、功能、测试视角、测试方法等多种因素的制约，对被测软件或系统的测试结果之间存在差异，软件的质量评价缺乏基准，影响了企业持续改进软件质量，也缺乏对软件产业水平的客观评价。

软件质量决定着软件产业发展的规模和质量。目前，提高软件产品的质量主要有二个途径，一个是寻求改进软件开发过程质量的方法，从规范软件过程出发，持续改进软件过程，来保证软件产品开发的质量；另一个是对开发完成的产品进行测试和评价，以对软件产品进行测试和评价为代表，用以验证所开发的软件产品符合规定的要求。

针对开发完成的产品进行测试和评价，基于软件产品竞争性的基准比对方法是国际上流行的产品基准比对方法，它专门针对某种类型软件产品的功能或性能进行测试和比对，可以为软件企业开发的软件产品进行正确的竞争水平定位。

在我国，软件企业发展迅速，专业的第三方软件测试机构作为软件质量评测专门机构经过多年的发展，已经成为国内软件产业发展的一个重要支柱，并积累了大量测试资料，但由于一个应用软件领域往往有多种同类产品，由于缺乏统一的测试基准库，对于产品的发展状况只能粗粒度的定性估计，评估基本上处于专家评判为主，缺乏与同类产品的质量对比，无法提供精确的可量化的数据，这些定性的评判无法满足用户对产品准确了解的需求，也无法支持软件企业不断提高产品质量。

一方面，在传统的软件测评中，以专家的打分测评为主，这样现有的历史测评结果或多或少受到一定的主观应诉的影响，另一方面，一个领域内所涉及的信息量太多，这样每一次的测评不可能收集到所有的信息，所以，测评结构也会受到一定客观因素的影响。基于以上两方面的因素，在建立面向应用领域的软件基准测评方法时，应当引入适当的算法，尽可能将主观和客观两方面对测评结果的影响降到最低。

发明内容

本发明所要解决的技术问题是提供一种通过产品数据和评测基准库的相关指标进行基准比对，从而产生比对报告，确立软件产品竞争水平的定位，协助企业开展“基准比对”为驱动的产品质量改进的面向应用领域的软件质量基准测评方法。

本发明解决其技术问题所采用的技术方案是：提供一种面向应用领域的软件质量基准测评方法，包括面向应用领域的软件质量基准比对系统，所述的面向应用领域的软件质量基准比对系统包括连续循环连接的测评需求模块、确定基准模块、基准比对模块和结果入库模块，所述的测评需求模块包括领域特征提取与历史测评数据的收集模块和质量测评需求的定义与说明模块，所述的确定基准模块包括建立选取比对参考对象的标准模块和建立基准比对模型模块，所述的基准比对模块包括执行基准比对并解释比对结果模块，所述的结果入库模块包括建立基准数据共享知识库模块；

在所述的面向应用领域的软件质量基准比对系统的基础上，对软件质量进行量化综合测评的方法，包括下列步骤：

(1)软件质量需求包括必须的和可选的两个方面，其中前者本发明称之为基准基，是必须选择的质量属性，后者本发明称之为扩展基，是可选的质量属性，将基准基和扩展基的数据输入领域测评基准模型；

(2)领域测评基准模型将处理后的数据输入基准比对模块，基准比对模块同时接受测评对象质量要求通过测评对象数据集发出的数据要求，并与基准库中的数据比对，得出比对报告。

所述的领域特征提取包括特定领域质量分析和特定领域核心业务流程定义两个方面；领域特征主要包括技术的、平台的、非功能的和功能的。

所述的比对参考对象的标准选取包括三方面的要求：功能规模相同、来自同一领域、具有相似的功能点；面向领域的应用软件质量综合测评方法中采用粗糙集理论和灰色关系分析方法。

所述的基准基的确定，以现存的软件质量标准为依据，包括ISO/IEC 9126和ISO/IEC14598；扩展基的选取以测评的质量需求、软件使用环境和软件质量测评依据的标准为依据。

面向应用领域的软件质量量化综合测评方法包括确定软件质量属性(度量元)和软件质量之间权重关系和计算软件质量性能评分两个层次的内容。在确定软件质量属性(度量元)和软件质量之间的权重关系时，为了降低历史定性测评时专家主观因素对测评结果的影响引入了粗糙集方法。在计算软件质量性能评分时为了减弱数据不完备性对测评结果的客观影响，同时也将测评对象作为一个客观存在的个体来考虑引入了灰色系统分析方法。

有益效果

本发明通过产品数据和评测基准库的相关指标进行基准比对，得出比对报告，确立软件产品竞争水平的定位，从而协助企业开展“基准比对”为驱动的产品质量改进。

附图说明

图1为本发明面向领域的软件质量基准测评流程图。

图2为本发明面向领域的应用软件基准比对阶段划分图。

图3为本发明软件质量的属性集定义依据图。

图4为本发明OAs的质量基准测评结果示意图。

图5为本发明OAs的质量基准测评结果比较对象与最优产品和最差产品性能比对图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明根据用户的产品基准测评需求，依据软件产品的领域特征，需要获取软件产品的各种质量特性、子特性及其支撑的度量元数据。通过产品数据和评测基准库的相关指标进行基准比对，从而产生比对报告，确立软件产品竞争水平的定位，从而协助企业开展“基准比对”为驱动的产品质量改进。面向领域的软件质量测评流程如图1所示。

面向领域的软件质量基准测评模型分为循环连续进行的6个阶段：

(1).领域特征提取与历史数据的收集；

(2).质量测评需求的定义与说明；

(3).建立选取比对参考对象的标准；

(4).建立基准比对模型；

(5).执行基准比对并解释比对结果；

(6).建立基准数据共享知识库。

以上六个阶段可以使用循环监督模型来描述，如图2所示。

提取领域特征

定义一个领域内共性的、个性的、以及一切动态变化的度量元的过程，称之为领域特征提取。通过领域特征的提取，最终建立了领域特征模型，领域特征模型是建立领域基准基的基础和依据。领域特征提取包括以下两个阶段：

第一，特定领域质量需求分析。同一领域内，不同应用软件在质量需求上或多或少存在一定的差异性，但总的来说，同一领域的软件在质量需求上存在很多的共性，这些共同特征主要包括技术的、平台的、非功能的和功能的。

第二，定义领域核心业务流程。业务流程是为达到特定功能目标而由不同的人分别共同完成的一系列活动。活动之间不仅有严格的先后顺序限定，而且活动的内容、方式、责任等也都必须有明确的安排和界定，以使不同活动在不同岗位角色之间进行转手交接成为可能。活动与活动之间在时间和空间上的转移可以有较大的跨度。业务流程是有层次性的，这种层次体现在由上至下、由整体到部分、由宏观到微观、由抽象到具体的逻辑关系。

收集历史测评数据

历史测评数据在领域软件基准测评过程中具有决定性的作用，可以通过分析历史测试数据，从而获取软件质量属性对软件质量的贡献度。

质量测评需求的定义与说明

这一阶段需要明确软件测评的具体目的，并最终给出软件的质量模型。

若要获得同一领域软件产品质量评价的可比结果，必须提出软件产品质量度量属性的基本基和扩展基，选择相关领域的评价模板，该模板由共享知识中对应的基本基及从对应的扩展基中选择组合而成，然后明确应获得的相关信息和数据。在具体使用时，应根据被评价软件的领域和评价目的、使用环境和标准依从要求，从扩展基中选取适合的度量属性，与基本基中的度量属性共同组成评价模板，实施对特定软件产品的质量评价，如图所示3所示。

因此，依据软件产品的领域给出软件产品测评的基准度量属性，其中：基本基是必须选择的度量属性，扩展基是有条件选择的度量属性。定义软件质量属性时，本发明以表格形式来描述属性的名称、类型、父层质量属性、定义、数据集、权重、计算方法等。

制定选取比对对象的标准

在领域软件基准比对过程中，最重要的一步是选取比对的参考对象，这里简单的将这一标准定义为：

●功能规模相同；

●来自同一领域；

●具有相似的功能点。

建立基准比对模型

为了解决领域软件质量测评过程中，主客观两方面不确定因素对测评结果的影响，在建立基准比对模型中，引入了粗糙集和灰色关系分析来解决这两方面的问题。

执行基准比对并解释比对结果

通过建立的基准比对模型，对所要比对的数据经过一定的分析和计算，得到比对结果，为了使客户和软件开发软件能够明确的看出同一领域内不同软件之间的优缺点，可以采用图示化的形式，展示比对结果。

建立基准数据共享知识库

为了使基准比具有持续性和复现性建立基准数据共享知识库就成为了必然。基准测评过程中使用的一切文档和数据集都应该包括在共享知识库中。这些文档和数据集包括：领域特征描述文档、质量需求与说明文档、建立基准测时所依存标准的文档、质量度量元属性集、比对对象度量元属性集、比对报告模板等。

面向领域的软件基准测评综合评价方法

基准比对模型是面向领域的软件基准测评的核心所在。传统的面向领域的软件综合测评过程中，测评结果总是会受到主客观两方面因素的影响，为了将把主客观两方面因素对测评结果的影响降到最低，针对本发明的测评框架，给出了一种简单、可行的综合测评方法。

确定软件质量度量元和软件质量之间的权重

由于在传统的软件测评过程中，软件质量度量元和软件质量之间的关系一般由一组领域专家给出，由于主观性上的差异，必然会影响到测评结果的现实性与公正性。在此，引入粗糙集理论来达到降低主观因素对测评结果影响的目的。

本发明称四元组

IS＝(U，A，V，f)                    (1)

是一个软件系统。

U＝[x₁，x₂，…，x_n}是对象的非空有限集合，在这里U是一个领域内一系列软件对象的集合；

A＝{a|a∈A}为属性的非空有限集合，每个a_j∈A为A  的一个简单属性，在这里A是质量度量元的集合；集合

其中C称为条件属性集，D称为决策属性集，在这里C为子度量元属性，D为度量元属性。

V＝U_a∈AV_a表示信息函数f的值域，V_a为属性a的值域，在这里V_a为质量度量元a的定性评价结果；

是软件系统IS的信息函数，f(x，a)是属性a的信息函数，在这里f(x，a)是质量度量元a的信息函数；

确定粗糙集的正负域

给定软件系统K＝(U，S)，其中U为论域，S表示论域U上的等价关系簇，对于每一个子集

和论域上一个等价关系

则X关于信息R的下近似为

$\underset{\‾}{P}X=\left\{x\right|[x{]}_p\⊆X\}$

X关于信息R的上近似为

$\stackrel{\‾}{P}X=\left\{x\right|{\left[x\right]}_p\∩x\≠\mathrm{\φ}\}---\left(3\right)$

由此，X的R正域为

$\underset{-}{c}{\mathrm{os}}_P\left(X\right)=\underset{-}{P}X---\left(4\right)$

X的R负域为

${\mathrm{neg}}_P\left(X\right)=U-\stackrel{-}{P}X---\left(5\right)$

下近似或正域是由那些根据信息R判断肯定属于X的论域U中元素组成的集合；而上近似或负域是由那些根据信息R判断肯定不属于X的论域U中元素组成的集合。正负域的确定参见后面的应用示例。

确定各度量元之间的依赖关系

本发明取两个属性(度量元)集P和Q

P和Q的等价类分别表示为[x]_p和[x]_Q。假设[x]_Q＝{Q₁，Q₂，…Q_M}，Q₁包含在Q中的等价关系类，则属性(度量元)P对于属性(度量元)Q的依赖度为

确定条件属性对决策属性的贡献度

设有软件系统

K＝(U，R)                       (7)

U和R分别等同于公式(1)中的U和A。

令

则子属性(度量元)集

对属性集Q的贡献度为

$p_i\left(Q\right)={\mathrm{\γ}}_P\left(Q\right)-{\mathrm{\γ}}_{P=p_i}\left(Q\right)---\left(8\right)$

贡献度(权值)归一化

子属性C_i对属性D的归一化的贡献度为

$P_{C_i}=\frac{F_i\left(D\right)}{{\mathrm{\Σ}}_i^n{P}_i\left(D\right)}---\left(9\right)$

计算软件质量的评分

由于各方面的原因，在软件质量测评过程中，不可能考虑到质量度量元的每一个方面，在领域特征提取与历史测评数据收集过程中，会或多或少存在信息的丢失或者信息的不完整情况，本发明称这一现象为信息的不完备性，为了将信息的不完备性对测评结果的影响降到最低，在本发明的基准测评模型中引入了灰色关系分析来解决这一问题。

确定参考向量

选择各个指标(度量元)数据中最优值作为参考向量，从而构成参考向量X_u

$X_n=[x_n\left(1\right),x_n\left(2\right),...x_n\left(n\right)]---\left(10\right)$

确定各指标序列对应的权重

粗糙集方法确定的各指标(度量元)序列的权重为

$X_i=[x_i\left(1\right),x_i\left(2\right),...x_i\left(n\right)](i=\mathrm{1,2},...,m)---\left(11\right)$

计算灰色关联度

在公式(10)和(11)的基础上，本发明给出各指标之间的灰色关联度为

为参考向量；

为各比对对象各指标(度量元)的权值序列；

为分辨系数，通常情况下其值为0.5。

计算灰色加权关联度

灰色加权关联度的计算公式为

$\mathrm{\γ}\left(x_c{x}_i\right)={\mathrm{\Σ}}_{i=1}^N{p}_{c_i}\mathrm{\γ}(x_c\left(k\right),x_i\left(k\right))---\left(13\right)$

为公式(9)中度量元对质量的贡献度。

评价结果分析

根据灰色加权关联度的大小，对各评价对象进行排序，即建立评价对象的关联度，关联度越大其评价结果越好。

OAs的质量模型

这里以OA(Office Automation Software)应用领域为示例来说明本发明方法的应用。

OAs的质量模型

OAs的基准基和部分扩展基如表I所示。

各质量属性(元素度)量元的定义如表II所示。

计算各指标(度量元的权值)

这里以扩展属性D7为示例来说明如何使用章节1中描述的粗糙集方法获得各指标(度量元)对质量的贡献度。其中，C＝{C23，C24，C25}，D＝D7。

根据表III中的历史定性测评样本

U/C＝{{1}，{2}，{3}，{4}，{5}，{6}，{7}，{8}，{9}，{10}}；

U/D7＝{{1，2}，{3，5，6，7}，{4，8，9，10}}

U/{C23，C24}＝{{1，5}，{2，6}，{3}，{4，10，}，{7}，{8}，{9}}；

U/{C23，C25}＝{{1，3}，{2}，{4}，{5}，{6}，{7}，{8}，{9，10}}；

U/{C24，C5}＝{{1}，{2}，{3，4}，{5}，{6}，{7}，{8，9}，{10}}；

由公式(4)

pos_c(f)＝{1，2，3，…，10}；

γ_C(D1)＝|pos_C(D7)|/|U|＝10/10＝1；

pos_C-{C23}＝{3，4，7，8，9，10}；

pos_C-{C24}＝{2，4，5，6，7，8，9，10}；

pos_c-{C25}＝{1，2，5，6，7，8，9，10}；

综上，由公式(8)

p₂₃＝γ_c(D7)-γ_c-{C23}(D7)＝1-6/10＝4/10；

p₂₄＝γ_c(D7)-γ_c-{C24}(D7)＝1-8/10＝2/10；

p₂₅＝γ_c(D7)-γ_c-{C25}(D7)＝1-8/10＝2/10.

由公式(9)，对权值做归一化处理为

p_C23＝0.50，p_C24＝0.25，p_C25＝0.25.

表I中的所有权值，可按照此方法去计算获得。

计算OAs的性能评分

本发明选取5个OA产品，来说明如何使用灰色关系分析方法获取OAs性能评分，其中COM为比对对象，REF1～REF4为参考对象。为了便于说明问题，所以只考虑属性->产品评分的获得过程，假设通过灰色关系分析方法获得OAs各属性(度量元)的性能评分如表IV所示。

由公式(12)计算得到OAs各指标(度量元)的灰色关联度如表V所示。

由公式(13)计算得到OAs的性能评分如表VI所示。

结果表示与解释

由表VI可以看出，OAs之间的性能关系为REF1＞REF4＞REF3＞COM＞REF2，从图4和图5可以清楚的看出比对对象COM和参考对象之间的性能对比情况。

文件中：

表I为本发明应用实例OAs的质量模型。

表II为本发明应用实例OAs质量属性(度量元)的定义样表。

表III为本发明应用实例OAs的历史定量测评样本。

表IV为本发明应用实例OAs各属性(度量元)的性能评分。

表V为本发明应用实例OAs各指标的灰色关联度。

表VI为本发明应用实例OAs的性能评分。

表I

表II

表III

表IV

属性	比对对象	参照1	参照2	参照3	参照4
						D1	0.845	0.875	0.915	0.600	0.973
D2	0.875	0.925	0.945	0.800	0.985
						D3	0.725	0.814	0.650	0.590	0.890
D4	0.450	0.975	0.500	1.000	0.675
						D5	0.789	0.987	0.450	0.950	0.875
D6	0.750	0.600	0.385	0.900	0.750
						D7	0.815	0.890	0.735	0.750	0.750
D8	0.835	0.835	0.945	0.435	0.745
						D9	0.785	0.800	0.500	0.895	0.895
D10	0.890	0.850	0.625	0.945	0.805

表V

属性	比对对象	参照1	参照2	参照3	参照4
						D1	0.682382	0.671141	0.841313	0.430969	1.000000
D2	0.714286	0.769231	0.884892	0.604278	1.000000
						D3	0.625000	0.724638	0.561644	0.484979	1.000000
D4	0.333333	0.888889	0.380805	1.000000	0.333333
						D5	0.581395	1.000000	0.364121	0.884194	0.591985
D6	0.647059	0.400000	0.373860	1.000000	0.520000
						D7	0.785714	1.000000	0.664865	0.668639	0.537190
D8	0.714286	0.645161	1.000000	0.356467	0.448276
						D9	0.714286	0.677966	0.437722	1.000000	1.000000
D10	0.833333	0.677966	0.490040	1.000000	0.537190

表VI

	比对对象	参照1	参照2	参照3	参照4
						性能评分	0.684941	0.776624	0.647408	0.698696	0.706990
Order	4	1	5	3	2

Claims (4)

1.一种面向应用领域的软件质量基准测评方法，包括面向应用领域的软件质量基准比对系统，其特征在于：

所述的面向应用领域的软件质量基准比对系统包括连续循环连接的测评需求模块、确定基准模块、基准比对模块和结果入库模块，所述的测评需求模块包括领域特征提取与历史测评数据的收集模块和质量测评需求的定义与说明模块，所述的确定基准模块包括建立选取比对参考对象的标准模块和建立基准比对模型模块，所述的基准比对模块包括执行基准比对并解释比对结果模块，所述的结果入库模块包括建立基准数据共享知识库模块；

在所述的面向应用领域的软件质量基准比对系统的基础上，对软件质量进行量化综合测评的方法，所述的面向应用领域的软件质量量化综合测评方法包括确定软件质量属性、软件质量之间权重关系和计算软件质量性能评分，具体包括下列步骤：

(1)软件质量需求包括必须的和可选的两个方面，其中前者本发明称之为基准基，是必须选择的质量属性，后者本发明称之为扩展基，是可选的质量属性，将基准基和扩展基的数据输入领域测评基准模型；

(2)领域测评基准模型将处理后的数据输入基准比对模块，基准比对模块同时接受测评对象质量要求通过测评对象数据集发出的数据要求，并与基准库中的数据比对，得出比对报告。

2.根据权利要求1所述的一种面向应用领域的软件质量基准测评方法，其特征在于：所述的领域特征提取包括特定领域质量分析和特定领域核心业务流程定义两个方面；领域特征主要包括技术的、平台的、非功能的和功能的。

3.根据权利要求1所述的一种面向应用领域的软件质量基准测评方法，其特征在于：所述的比对参考对象的标准选取包括三方面的要求：功能规模相同、来自同一领域、具有相似的功能点；面向领域的应用软件质量综合测评方法中采用粗糙集理论和灰色关系分析方法。

4.根据权利要求1所述的一种面向应用领域的软件质量基准测评方法，其特征在于：所述的基准基的确定，以现存的软件质量标准为依据，包括ISO/IEC 9126和ISO/IEC14598；扩展基的选取以测评的质量需求、软件使用环境和软件质量测评依据的标准为依据。

Images