CN101710304A - 一种软件过程实施质量评测方法 - Google Patents

Abstract

本发明公开了一种软件过程实施质量评测方法，属于计算机软件工程领域。本方法为：1)用户利用评测标准选择模块从评测标准库中选取软件过程评估模型或标准；2)指标体系建立模块采用目标—问题—度量方法或实用软件度量方法建立一度量指标体系；3)指标度量数据采集模块根据所建立的度量指标体系对该待测评的软件过程进行数据采集；同时，指标权重确定模块根据所建立的度量指标体系确定每个度量指标的权重；4)综合评测计算模块对所采集的数据进行数值标准化和形式统一化；5)综合评测计算模块采用模糊综合评测方法对处理后的数据进行测评并输出评测结果。本发明既保证了结果的灵活性、严密性，又保证了评价过程的准确性及评价结果的有效性。

Description

一种软件过程实施质量评测方法

技术领域

本发明涉及一种软件过程实施质量评测方法，属于计算机软件工程领域。

背景技术

计算机软件工程的研究兴起于20世纪80年代后期，并在20世纪90年代中期达到顶峰，随着计算机的普及以及软件技术的发展，其日益改变着人们的生活、工作方式。近年来，计算机技术的发展越来越侧重于软件的开发和应用，软件技术的发展已经成为衡量计算机技术水平的重要标志之一；计算机软件工程领域的相关技术成果是软件应用方面的重要体现，因而研究人员也一直致力于此方面的研究，如专利名称：基于规则的软件过程主体协商系统和方法，专利号：ZL 200610089762.9的研究成果，专利名称：一种自动创建过程主体的方法，专利号：ZL 200710119927.7的研究成果。

在软件工程中，随着软件规模的不断扩大，关于软件质量方面的研究越来越受到重视，如申请号：200710146281.1，发明名称“基础软件平台的质量评估方法”的专利申请，以及申请号：200810007602.4，发明名称“一种用于多种软件形态的质量评估方法及系统”的专利申请。因此在软件工程领域，开发一个高质量的软件需要同时关注产品质量与过程质量。作为软件工程走向成熟的标志之一，人们越来越多的意识到过程质量提高的重要性及带来的好处，如申请号：200810090674.X，发明名称“一种软件质量评价装置及软件质量评价的定量分析方法”的专利申请提出了关于软件质量评价的定量分析方法。

随着软件工程技术的不断发展和其应用领域的不断扩大，软件的开发过程控制(参考申请号：200810046587.4，发明名称“集成式迭代化软件开发过程控制系统及方法”的专利申请)和软件质量控制也日益得到关注，软件过程质量体现在两个方面：过程定义与过程实施。很多软件过程质量保证与改进的工作可划分为两类：一是研究领域为主的过程建模以及相应的验证和确认，例如各种形式化建模及验证方法和技术；另一个是产业界为主的实践，例如基于标准软件过程模型或过程标准的过程评估与检测，以及各种软件过程质量保证活动。

在按照传统方法对软件质量进行评价的过程中，经常会存在两方面的问题：其一，评价需要一定的主观判断，一定程度上依赖于评审者经验，因此评价过程和结果的可重复性，即可靠性存在一定的威胁；其二，针对第一点问题，不少研究应用软件度量来增加评价的客观性，但在度量指标采集的过程中常常会存在不确定的情况，相应的量化分析和评价应能对不确定信息的处理进行支持，从而使结果尽可能真实、客观的反映评价对象的特征，并可根据评价对象的不同特点选择相应的结果表现形式。

本发明基于以上两点，提出了一种新的软件过程质量评测方法，其涉及到的已有的背景技术主要有三方面：软件过程评估模型或标准，层次分析法与模糊综合评价方法。下面对其进行简要的介绍。

1、软件过程评估模型/标准

本发明涉及一些国际上或行业内通用的模型与标准，如集成的软件能力成熟度模型(Capability Maturity Model Integration，CMMI)(请参考文献：CMMI Product Team.for Development，Version 1.2.Pittsburgh，PA，Carnegie Mellon Software Engineering Insitute2006)及相应的我国的SJ/T 11234-2001《软件过程能力评估模型》和SJ/T 11235-2001《软件能力成熟度模型》、ISO/IEC 15504(即SPICE，Software Process Improvement and CapabilityDetermination)(请参考文献：International Standards Organization，InternationalElectrotechnical Commission.ISO/IEC 15504，First edition，2004)、ISO 9001(请参考文献：ISO9001：Quality Systems-Model for Quality Assurance in Design/Development，Production，Installation，and Servicing，Int’l Org.for Standardization，Geneva，1994)等。这些模型或标准是在不同的时期由不同组织提出，覆盖软件开发全生命周期，用于评价组织或项目级软件过程的能力或质量，为相应的过程改进提供支持，得到相对广泛的承认和应用。其中，CMMI是由美国卡内基·梅隆大学(Carnegie Mellon University，CMU)的软件工程研究所(SoftwareEngineering Institute，SEI)提出，关注软件过程的持续改进，有分段与连续两种表示方法。ISO/IEC 15504是由国际标准化组织(International Organization for Standardization，ISO)和国际电工委员会(International Electrotechnical Commission，IEC)组建的联合信息技术委员会制订，它提供了一个结构化的过程来进行软件过程的评价，并针对每一个过程定义了过程能力等级，从而能够更准确地反映出每个过程管理和执行的程度。ISO9001系列标准由国际标准化组织(International Organization for Standardization，ISO)制订，是一套可用于外部质量保证目的的质量体系文档，这些标准用于质量体系需求的规格说明，适用于两个当事方签订合同时要求证明供应方的设计能力和提供产品能力的场合，用于确保供应商在设计、开发、生产、安装和服务等阶段中符合规定的需求。

2、层次分析法(Analytic Hierarchy Process，AHP)

AHP是在系统决策分析中应用得非常广泛的一种方法(请参考文献：T.L.Saaty，TheAnalytic Hierarchy Process，McGraw-Hill，New York，1990；赵焕臣，等编著.层次分析法：一种简易的新决策方法[M].北京：科学出版社，1986.)，它将系统划分为各个层次，采用定性与定量相结合的方式，用有限的定性信息，得出较精确的决策依据。AHP方法的步骤如下：

1)建立层次结构：按照目标的不同与实现功能的差异，将系统分为几个层次，当某个层次包含的因素较多时，可将该层次进一步划分为若干子层次。层次分析模型是层次分析法赖以建立的基础，是层次分析法的一个基本特征。

2)两两比较，建立判断矩阵，求解权向量：一般采用1至9标度及其倒数的标度方法。为了从判断矩阵中提炼出有用的信息，达到对事物的规律性认识，为决策提供科学的依据，就需要计算每个判断矩阵的权重向量和全体判断矩阵的合成权重向量。通过两两对比按重要性等级赋值，从而完成从定性分析到定量分析的过渡，这是层次分析法的第二个基本特征。

3)层次单排序及其一致性检验：判断矩阵A的特征根问题AW＝λ_maxW的解W，经归一化后即为同一层次相应因素对于上一层次某因素相对重要性的排序权值，这一过程称为层次单排序。为进行判断矩阵的一致性检验，需要计算一致性指标：

$\mathrm{CI}=\frac{{\mathrm{\λ}}_{\max }-n}{n-1}$

当随机一致性比率

$\mathrm{CR}=\frac{\mathrm{CI}}{\mathrm{RI}}<0.10$

时，可以认为层次单排序的结构有满意的一致性，否则需要调整矩阵的元素取值。

4)计算各层元素对系统目标的合成权重，进行总排序，以确定结构图中最底层各个元素在总目标中的重要程度。这一过程是最高层次到最低层次逐层进行的。

5)根据分析计算结果，考虑相应的决策。

3、模糊综合评价方法

模糊综合评价是以模糊数学为基础，应用模糊关系合成的原理，将一些边界不清、不易定量的因素定量化，从多个因素对被评价事物隶属度等级情况进行综合性评价的一种方法(请参考文献：张跃，邹寿平，宿芬.模糊数学方法及其应用[M].北京：煤炭工业出版社，1992；荩垆.实用模糊数学[M].北京：科学技术文献出版社，1989)。

模糊综合评价的步骤如下：

1)确定指标集：U＝{u₁，u₂，...，u_m}，为刻画被评价对象的m个指标。

2)确定评语集(即评价等级)：V＝{v₁，v₂，...，v_n}，为刻画每一因素所处的状态的n个等级的评语，即评价等级。一般n取值在3到5之间。

3)构造评判矩阵：首先对单个指标u_i(i＝1，2，...，m)进行评判，从指标ui着眼该事物对抉择等级v_j的隶属度为r_ij，这样就得出第i个因素u_i的单因素评判集：r_i＝(r_i1，r_i2，...，r_in)。这样，m个着眼因素的评价集就构造出一个总的评价矩阵R。即每一个语言对象确定了从U到V的模糊关系R，它是一个矩阵：

其中r_ij表示从指标ui着眼，该评判对象能被评为v_j的隶属度(i＝1，2，...，m；j＝1，2，...，n)。

一般来说，主观或定性的指标都具有一定程度的模糊性，可以采用等级比重法，此时要注意两个问题：第一，评价者人数不能太少，因为只有这样，等级比重才趋于隶属度；第二，评价者必须对被评事物有相当的了解，特别是一些涉及专业方面的评价，更应该如此。对于客观和定量指标，可以选用频率法，先划分指标值在不同变化区间，然后以指标值的历史资料在各等级变化区间出现的频率作为对各等级模糊子集的隶属度。

4)确定权重分配集：引入U上的一个模糊子集A，A＝(a₁，a₂，...，a_m)，其中a_i＞＞0，且∑a_i＝1。一般权重的数值是由主观方法得到的，主观确定也有客观的一面，一定程度上反映了实际情况。在某些情况下，也可以利用数学的方法来确定权重值，这就可以与后文要提到的层次分析法相结合。

5)进行模糊合成：常用的模糊合成算法有两种：加权平均型和主因素突出型。这两种算法总的来说，结果大同小异。加权平均型算法常用在因素很多的情形，它可以避免信息丢失；主因素突出型算法常用在所统计的模糊矩阵中的数据相关很悬殊的情形，它可以防止其中“调皮”数据的干扰。具体采用哪一种方法还是由具体问题的性质决定的。

在确定模糊合成算法后，引入V上的一个模糊子集B，称其为决策集，B＝(b₁，b₂，...，b_n)。令

B＝A*R(*为模糊合成算子符号)

称之为模糊变换。

6)计算评判指标：模糊综合评价的结果是被评事物对各等级模糊子集的隶属度，它一般是一个模糊量，而不是一个点值，因而它能提供的信息比其它方法更丰富。若对多个事物比较并排序，就需要进一步处理，即计算每个评价对象的综合分值，按大小排序，按序择优。将综合评价结果B通过计算转换为一个综合的分值，依其大小进行排序，从而可以挑选出最优者。

发明内容

本发明的目的在于提供一种软件过程实施质量评测方法。本发明将层次分析法与对度量指标的权重确定过程相结合，同时基于原有的模糊综合评价方法而提出，本方法适用于不同类型的评测标准，并支持具有不确定性的定性及定量的过程实施情况的度量数据，最终评估结果为所评测对象在用户定义的评测等级上的隶属度，从而得到对软件过程实施质量的一个相对客观、科学的评测结果，以指导软件过程的改进。

本发明的技术方案为：

一种软件过程实施质量评测方法，其步骤为：

1)利用评测标准选择模块从评测标准库中选取适合评测对象的软件过程评估模型或标准。

2)指标体系建立模块根据所选取的模型或标准，采用目标-问题-度量方法或实用软件度量方法建立一度量指标体系；

3)度量数据采集模块根据所建立的度量指标体系对该待测评的软件过程进行数据采集；同时，指标权重确定模块根据所建立的度量指标体系和所采集的数据确定每个度量指标的权重；

4)综合评测计算模块对所采集的数据进行数值标准化和形式统一化；

5)综合评测计算模块采用模糊综合评测方法对步骤4)处理后的数据进行测评，并输出评测结果。

进一步的，采用目标-问题-度量方法或实用软件度量方法建立所述度量指标体系。

进一步的，采用层次分析法确定每个度量指标的权重，其方法为：

1)根据所建立的度量指标体系的结构，对所述度量指标进行层次划分，形成一树状结构，其中每个叶子节点即为一个度量指标，属于同一个非叶子节点的各节点组成的一个度量指标组；

2)自上而下，两两比较直接从属于同一个度量指标组的各个节点之间的重要性，建立各层次中每一度量指标组的判断矩阵；

3)对每个判断矩阵进行一致性验证；

4)验证通过后，求解判断矩阵，得到该矩阵中各个节点相对于父节点的权重值；所述相对权重值为对应判断矩阵特征值的归一化值；

5)自下而上，从叶子节点开始，将各个节点的相对权重值与该节点所属父节点的权重值进行合成，直至最终的根节点，最终得到每个叶子节点的度量指标值相对于软件过程质量的绝对权重值。

进一步的，两两比较同一层次中的度量指标重要性的比较依据来自于对历史数据进行计算而得到的基准数据和专家经验。

进一步的，所述度量指标的数据形式包括：布尔型指标、单一数值型指标、评价等级加隶属度型指标、数值区间加隶属度型指标。

进一步的，所述数值标准化的方法为：首先设定一标准区间，然后将采集到的数据映射到该标准区间内。

进一步的，所述形式统一化的方法为：

1)对于布尔型与单一数值型指标数据，分别在布尔型指标与单一数值型指标数据中补充隶属度信息，得到数值加隶属度型指标数据；

2)将数值加隶属度型指标数据转换成区间加隶属度型指标数据；

3)将评价等级加隶属度型指标数据转换成区间加隶属度型指标数据。

进一步的，所述模糊综合评测方法为：

1)对不同的度量指标数据进行综合评测，得到一结果集合Y＝{[c₁，d₁](q₁)，[c₂，d₂](q₂)，...，[c_N，d_N](q_N)}，其中q_k为结果在[c_k，d_k]区间上的隶属度，k＝1，2，...，N，N为集合Y中的元素个数；

2)将所述集合Y中的分量区间转换为相连且不相交的区间，同时计算转换后的区间所对应的隶属度，得到评测结果Z。

进一步的，采用均匀划分的方法对所述集合Y的分量区间进行重新划分，或根据隶属度的分步特点对所述集合Y中的分量区间进行不等距划分；所述测评结果Z＝{[t₀，t₁)(r₁)，[t₁，t₂)(r₂)，...，[t_T-1，t_T](r_T)}，其中r_T为结果在划分后的对应区间上的隶属度，t_T-1和t_T为区间的端值，T为划分的区间数目。

本发明的方法分为五个部分：评测标准的选择，指标体系的建立，度量数据的采集，基于层次分析法的指标权重确定，以及基于改进的模糊方法和所采集数据的综合评测。各部分之间的流程可由图1所示的框架来表示。该五个部分分别对应系统六个功能模块中的五个模块：评测标准选择模块、指标体系建立模块、度量数据采集模块、指标权重确定模块，以及综合评测计算模块；另外一个模块为基准数据库模块，用来存储每次软件过程实施质量评测过程及其结果数据，以及基于历史数据建立的被评测对象所属组织及针对多组织所形成的行业的基准数据，从而为后续的相应评测过程提供参考的依据。系统各个模块的结构关系由图2所示。下面对各部分进行详细的说明。

1、评测标准的选择

本方法适用于不同类型的评测标准，因此使用者首先需要确定一种或者多种评测标准，并根据选取的标准建立相应的指标体系。软件过程领域有许多已经存在并且已被广泛应用的标准或模型，都可以作为评测标准应用在本方法提出的框架当中。本发明的系统中提供了多种不同的模型或标准供选取，在选定了标准之后，则可以根据其性质及特点，在本部分下一节中利用指标建立模块建立起相应的度量指标体系。

2、指标体系的建立

在选定了评测标准后，要根据标准的特点进行指标体系的建立；度量指标体系的建立可以采用目标-问题-度量方法或实用软件度量方法。标准一般会从不同的方面对软件过程进行描述，并可能会分为不同的等级。我们根据其要求的各个方面制订相应的度量指标。如CMMI用不同过程域(Process Area)来描述软件过程的各个方面(请参考文献：CMMIProduct Team.

for Development，Version 1.2.Pittsburgh，PA，Carnegie MellonSoftware Engineering Insitute 2006；Chrissis，M.B.：Konrad，M.，Shrum，S.，

Guidelines for Process Integration and Product Improvement.Addison-Wesley PublishingCompany，Boston，MA，2006.)，我们则可以根据过程域来分别制订针对于不同方面的过程质量度量指标，具体制订方法可以参照模型的具体结构。又如ISO/IEC 15504不同的等级包含了不同的过程属性(Process Attribute)，同样可以以过程属性为单位分别制订针对于不同方面的过程质量度量指标(请参考文献：International Standards Organization，InternationalElectrotechnical Commission.ISO/IEC 15504，First edition，2004)。

指标的制订过程通过系统的指标制订模块来实施，该模块提供了灵活的指标组织形式，以适应在不同标准下建立度量指标体系的需要。

在建立指标体系的同时，还要对每个指标进行其形式的预定义。由于度量指标的性质不同，因此表示形式也存在着较大的差异。本方法通过对多种形式的指标表示形式进行统一计算，同时采用了模糊的方法对数据进行描述，因此在采集数据时可以根据指标及数据的特点，充分将度量结果的信息包含在指标数据内。因此在对指标进行采集的过程中，可以选择最能反映数据性质的形式来对数据进行描述。

本文方法所支持的数据表示形式主要分为4种，可表示为：

数据形式＝{布尔型，单一数值型，评价等级加隶属度，数值区间加隶属度}

下面对几种不同形式的数据表示方法进行简要的解释。

1)布尔型指标：该种类型的指标在实际指标采集过程中较为常见，它可以直接用来表示一个要求是否完成或是否满足要求。如某指标在采集过程中只有相对立的两种情况，则只需要用类似于“是”、“否”这样的评价对其进行标注，后文中介绍的数据预处理方法中将对其与其它数据形式进行统一处理。

2)单一数值型指标：该种类型的指标用来表示一个确定的值，该种类型的数值只有数据采集时已经明确的情况下采用，如果存在不确定性，则需要按后面的几种方式，采用模糊的形式表示。

3)评价等级加隶属度：该种类型的指标用来表示某个以等级对其进行定性描述的数据。在该指标属于哪个等级并不确定时，可以采用模糊的方法对其进行描述。该种方法在模糊综合评价方法中使用的最为广泛，指标的等级即为评语集，隶属度即为该指标属于某个级别的可能性。本发明对于每个指标，可以规定不同数目的等级，这样就增加了对数据描述的灵活度。指标采用“评价等级+隶属度”的形式表示，假设某指标划分为n个等级，则其值的形式可以表示为：

指标＝{等级1(p₁％)，等级2(p₂％)，...，等级n(p_n％)}

由于该指标分为n个等级，则采集到的数据由n个分量组成，每个分量分为两部分，前面的评语表示该指标划分的等级，后面括号里面的百分比则表示的是该指标属于该等级的可能性。从模糊理论的角度，则代表该指标在该等级上的隶属度。

4)数值区间加隶属度：该种类型用来表示某个取值范围存在着不确定性的指标。描述方法是以“区间+隶属度”的模糊形式来表示。指标采用“区间+隶属度”来表示，具体形式为：

指标＝{[区间1](p₁％)，[区间2](p₂％)，...，[区间n](p_n％)}

指标由n个分量组成，表示在[区间1]这个区间内取值的可能性为p₁％，即对该区间的隶属度为p₁％，对区间[区间2]的隶属度为p₂％，同样，对区间[区间n]的隶属度为p_n％。为了定义清晰，在区间之间有交点的情况下，将该端点定义至右侧数值较大的区间。在计算时端点参与计算，在对结果解释时仍沿用将区间端点值划分到右侧区间的原则。

同时，对于离散性质的指标，可以看作是该种类型的一个特例。即将单个的数值看作一个长度为0的区间，该区间两个端点的值均为该数值。对于该值的隶属度即转化为对于该区间的隶属度，因此与前面的形式得到了统一。

由于采用“区间+隶属度”的方法对指标数值进行表示所包含的信息量最大，因此在本文中的数据预处理部分中将对其它形式表示的数据形式转换为“区间+隶属度”的形式，再参加综合评测的运算，具体方法将在本部分第5节详细说明。

3、指标数据的采集

利用系统的指标数据采集模块，可以方便的对所评测的过程进行数据采集。在指标体系中，要详细的给出每个度量指标的数据采集方法。在采集数据时，根据指标定义中定义的采集方法，在不同时机针对不同对象采集相应的数据。

4、指标权重的确定

在对指标进行定义与采集的同时，需要为每个参与综合评测的指标确定权重。广泛使用的权重确定方法有多种，如层次分析法、因子分析法(请参考文献：张菊英，倪宗瓒.主成分分析与因子分析用于多指标综合评价.现代预防医学，1994，21(1)：5-8)、Delphi法(请参考文献：Dalkey，Norman，and Helmer，Olaf.“An Experimental Application of the DelphiMethod to the Use of Experts.”Management Science 9(1963)：458-467)等等。本方法利用系统中的指标权重确定模块，采用层次分析法进行指标权重的确定。有关AHP的背景已经在背景技术部分中介绍，本节将结合AHP与软件过程质量度量指标，进一步说明AHP在软件过程实施质量评测中的应用。图3表示了采用AHP方法确定指标权重的流程。

首先，根据已经建立的指标体系，对确定的度量指标划分出相应的层次。层次的划分可以比较灵活，在以“软件过程实施质量”这一最终评测目标为最高层的前提下，可以划分出若干个层次，形成一个树状的结构，每个叶子节点即为一个度量指标，每个非叶子节点即为由其下属各节点组成的一个度量指标组，度量指标组可以由指标(叶子节点)组成，也可以由非叶子节点(度量指标组)组成。

在层次划分之后，需要采用两两比较的方法为各个层次建立判断矩阵。具体方法是：自上而下，两两比较直接从属于同一个度量指标组的各个节点(包括非叶子节点与叶子节点)之间的重要性从根节点开始，直至进行到叶子节点为止。比较的过程采用1至9及其倒数的标度方法，1代表二者同等重要，3代表该行对应的元素比该列对应的元素“稍重要”，5、7、9依次为“明显重要”、“强烈重要”与“极端重要”，并用倒数来代表它们相反的关系，分别判断每两个指标之间相对于其共同的父节点的重要性。在全部比较之后，则会形成若干个判断矩阵。比较的依据主要来自两个方面：一是基准数据库，大量历史数据经过计算得到的基准数据，可以作为对后续评测过程的重要指导依据；另一方面来自专家经验，可由几位该领域的专家组成评价小组，分别给出不同的结果，并根据各个结果经过平均计算，确定出每次比较的最终结果。两个方面互为补充，所起作用的大小可根据实际情况进行调整，以保证结果既具有主观评价的灵活性，又具有客观评测的严密性。

需要注意的是，在指标数目比较多的情况下，容易出现数据不一致的情况，这就需要在每个判断矩阵构建之后，对该矩阵的一致性进行检验，并设定该情况下随机一致性比率的阈值。当检验得到的随机一致性比率低于该阈值时，矩阵一致性通过检验，此时得到的指标权重值是有效的。否则需要重复先前的过程，重新对指标之间进行重要性的两两比较。

在对每个层次的判断矩阵都进行过一致性检验并通过后，则可以通过求解矩阵得到各组度量指标(或度量指标组)相对于其父节点的相对权重值。可以证明，该矩阵的特征值经过归一化处理后得到的即为矩阵中各个指标的权重值。

最后，自下而上，从叶子节点开始，将各个节点的相对权重值与该节点所属父节点的权重值进行合成，得到该节点相对于其父节点的父节点的权重值。如果其该节点父节点的父节点就是根节点，则得到的即为该节点的绝对权重值；如果不是根节点，则继续向上合成直至最终的根节点。最终得到每个叶子节点的度量指标值相对于根节点(即软件过程实施质量)的权重值，即该度量指标的绝对权重值。

5、综合评测方法

综合评测方法分为数据预处理与模糊综合评测两个部分，均由系统中的综合评测计算模块完成。方法的具体流程如图4所示。

1)度量数据的预处理

在建立指标体系时，我们定义了4种可能在实际指标采集中存在的数据形式，在对其进行综合评测之前，需要对其进行必要的预处理。预处理分为两个阶段，首先是数值标准化，然后进行形式统一化。

数值标准化的目的是将采集到的数据统一到同一个数量级上，从而便于后面的综合评测运算。我们设定区间[0，100]为标准区间，对于我们采集到的定量数据，可以根据与基准数据库中的数据进行比照的方法将其标准化，映射到该区间之上。比如某指标表示的参与某项活动的人数，在基准数据库中，其上限是90人，下限是10人。如实际采集到的数据是45人，则根据比例映射到我们的标准区间上，即为100*(45-10)/(90-10)＝44入。对于区间数据及多个值加隶属度的形式，也采用同样的方法将其进行标准化，从而保证参与综合评测的指标值在数量级上是一致的。

在数值标准化之后，我们采用如下的步骤对指标的值进行形式统一化：

①对于布尔型与单一数值型指标，按照模糊的形式，我们首先要将隶属度信息补充到其中。对于布尔型的指标，我们将具有积极评价的值定义为100，将具有消极评价的值定义为0。如果某布尔型指标的取值是积极的，则认为其对于100的隶属度为100％，而对于0的隶属度为0；如果该指标为消极的取值，则认为其对于0的隶属度为100％，而对于100的隶属度为0。对于单一数值型的指标，我们认为其对于该值的隶属度为100％，经过这样的转换，在第五部分第1节中，数据类型为1)和2)的情况都转换为了3)的情况，即数值加隶属度的形式。

②第3)种情况以及上一步中转换得到的形式，都可以表述为“多数值加隶属度”的形式。我们在此进一步将其转换成“区间+隶属度”的形式：假设一个指标为{A(a％)，B(b％)，C(c％)}，则在转换后为{[A，A](a％)，[B，B](b％)，[C，C](c％)}的形式，从而与第5)种情况相一致，即下文进行综合评测所采用的数据形式。

③第4)种情况，即评价等级加隶属度的数据形式，可以根据等级个数，将其对应到各区间内。假设某个指标是一个具有N个等级划分的指标，每个等级的隶属度已经给出。指标表示为：

{Class₁(p₁)，Class₂(p₂)，...，Class_N(p_N)}

则可将[0，100]均匀划分为N个区间，按照原来的顺序将各个等级对应到某个区间上，并将原来对应于等级的隶属度对应到各个区间。即将原来的分量Class_k(p_k)(k＝1，2，...，N)转换为[100(k-1)/N，100k/N)(p_k)(k＝1，2，...，N)，转换后的指标即为：

{[0，100/N)(p₁)，[100/N，100*2/N)(p₂)，...，[100*(N-1)/N，100](p_N)}

因此也转换成为了“区间+隶属度”的形式，从而可以采用后文中的方法与其它指标进行统一运算。

2)改进的模糊综合评测算法

本发明基于原有的模糊综合评价方法，提出了一种灵活性更高、适应性更强的算法，以适用于参与评测的指标形式不同、对结果描述形式多样化的要求。下面对其进行详细的介绍。

首先对指标与运算进行如下形式的定义：

定义1：X＝{x₁，x₂，...，x_m}为评测系统中所有指标集合，指标个数为m个。

定义2：W＝{w₁，w₂，...，w_m}为评测系统中各个指标的权值集合，分别与X中的指标相对应。

定义3：指标x_i由n_i个分量组成，每个分量由区间加隶属度的形式表示，区间为[a_ij，b_ij)(i＝1，...，m，j＝1，...，n_i-1)，当j＝n_i时，区间为双侧闭区间[a_i，ni，b_i，ni]。后文中出现的情况同样处理，不再特殊说明。每个区间对应的隶属度为p_ij(i＝1， ...，m，j＝1，...，n_i)，则指标x_i可表示为

x_i＝{[a_i1，b_i1)(p_i1)，[a_i2，b_i2)(p_i2)，...，[a_i，ni，b_i，ni](p_i，ni)}

对xi加权，则有

w_ix_i＝{w_i[a_i1，b_i1)(p_i1)，w_i[a_i2，b_i2)(p_i2)，...，w_i[a_i，ni，b_i，ni](p_i，ni)}

为了便于计算，记w_i[a_i1，b_i1)(p_i1)为u_i1。则

w_ix_i＝{u_i1，u_i2，...，u_i，ni}

定义4：定义运算×，为不同指标的不同分量之间的运算。指标x_i的第f个分量u_if与指标x_k的第g个分量u_kg进行×运算，在计算时指标分量按照双侧闭区间计算，则有

u_if×u_kg＝w_i[a_if，b_if](p_if)×w_k[a_kg，b_kg](p_kg)＝[w_ia_if+w_ka_kg，w_ib_if+w_kb_kg](p_if p_kg)

对于三个分量之间的运算，按如下形式计算：

u_if×u_kg×u_jh＝w_i[a_if，b_if](p_if)×w_k[a_kg，b_kg](p_kg)×w_j[a_jh，b_jh](p_jh)

＝[w_ia_if+w_ka_kg+w_ja_jh，w_ib_if+w_kb_kg+w_jb_jh](p_if p_kgp_jh)

多个分量之间的运算依此类推。

定义5：定义⌒为X上不同指标之间的运算，表示对两个指标进行综合评测，则x_i⌒x_k表示的是w_ix_i与w_kx_k两个集合之间类似笛卡尔积的运算，结果为不同指标的分量之间两两进行定义4中的×运算而得到的集合。具体定义为：

x_i⌒x_k＝{u_im×u_kn|u_im∈w_ix_i，u_kn∈w_kx_k}

对于三个指标的运算，可以类似的定义：

x_i⌒x_k⌒x_j＝{u_im×u_kn×u_j1|u_im∈w_ix_i，u_kn∈w_kx_k，u_j1∈w_jx_j}

分量个数多于三个时依此类推。

对要进行的不同指标进行综合评测，即用⌒运算将所有指标连接起来。设指标x_i包含n_i个分量，指标个数为m，则在⌒运算后的结果包含的分量数为：

$N=n_1{n}_2...n_m=\underset{k=1}{\overset{m}{\mathrm{\&Pi;}}}{n}_k$

设在⌒运算后得到的结果为集合Y，则Y中有元素N个，可表示为：

Y＝{[c₁，d₁](q₁)，[c₂，d₂](q₂)，...，[c_N，d_N](q_N)}

其中q_k(k＝1，2，...，N)为结果在[c_k，d_k](k＝1，2，...，N)区间上的隶属度。

Y集合的各个分量的区间之间会有相互的重叠，因此以这种形式表示最终结果并不直观，需要进行进一步的计算，将其转换为相连且并不相交的区间与对应于该区间的隶属度的表示形式。

对于结果区间的划分，有不同的方案可以考虑，比如可以均匀的划分区间，也可以根据隶属度的分布特点进行不等距的划分，以保证每个区间对应的隶属度是相等的。两种方案各有其优缺点，最后为了在不同方案比较时显得更加直观，本文采用了对区间进行均匀划分的做法。所划分的区间个数根据实际情况确定，一般不多于5个。

参与运算的指标应该是已经作过标准化处理的，在本文应用的项目中，指标的各个分量的取值区间都标准化至[0，100]区间内(对于独立点或者定性的形式给出的数据，可以按前文的方法将其转换为区间定量数据，并对其进行标准化)，因此最终的评测结果的各个分量的区间也都是[0，100]的子区间。假设将区间[0，100]均匀划分为T份，则每个区间为左闭右开区间[100(s-1)/T，100s/T)(s＝1，2，...，T)，记为[t_s-1，t_s)。为了将集合Y相互交叠的区间投射到这T个均匀的区间上，首先需要引入一个综合考虑各个分量区间长度与隶属度的量，可定义为“隶属度密度”。当区间长度为0，即该分量是由独立点之间的运算而得到时，则不需要计算该隶属度密度，该种情况的计算方法将在后文详述。引入定义如下：

定义6：计算⌒运算后得到的结果集合Y中第k个分量(k＝1，2，...，N)，当c_k≠d_k时，其隶属度密度为μ_k，则：

${\mathrm{\&mu;}}_k=\frac{q_k}{d_k-c_k},(c_k\&NotEqual;d_k)$

当c_k≠d_k时，设第k个分量的区间[c_k，d_k](k＝1，2，...，N)与[0，100]的第s份(s＝1，2，...，T)区间[t_s-1，t_s]相交的区间长度为l_ks，则l_ks可由以下方法计算得：

设第k个分量落在第s个区间内的隶属度为b_ks，则当c_k≠d_k时，b_ks＝l_ksμ_k。

当c_k＝d_k时，即该区间是由独立点之间的运算得到，其隶属度为q_k。由上面的设定，第s个区间为[t_s-1，t_s)，因此当c_k∈[t_s-1，t_s)时，b_ks＝q_k，当 $c_k\&NotElement;[t_{s-1},t_s)$ 时，b_ks＝0。

则最终结果在第s个区间的隶属度为：

$r_s=\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{b}_{\mathrm{ks}}$

因此最终结果可表示为：

Z＝{[t₀，t₁)(r₁)，[t₁，t₂)(r₂)，...，[t_T-1，t_T](r_T)}

由于分量区间的个数(即T的具体数值)是在评测过程中由用户进行指定的，可以根据需要的不同而指定不同的值。区间的数值反映了其质量的好坏，因此可以将结果中的各个分量看作描述评测对象的一系列等级。与传统的模糊综合评价方法相比，采用本发明的方法，评测结果等级数可以不受参与评测的指标形式的限制，因而适用性更广，灵活性更强。

6、基准数据库

本发明的一个重要组成部分就是基准数据库模块，其主要的功能来自三个方面：其一是对评测过程中产生的数据加以收集和存储；其二是对评测过程中的各个环节提供具有指导性的依据；其三是存储其它相关的历史数据，这些数据可以由使用本系统的行业组织或者软件开发组织自行收集后加入本系统中，形成基准数据库的一部分。下面对前两个方面进行简要的介绍。

在评测过程中，需要存储到基准数据库的数据主要来自以下几个方面：首先，建立的指标体系是基准数据库的一个重要组成部分；第二，在权重的确定过程中，需要根据重要程度不同对指标进行两两比较，得到的结果需要存储至基准数据库中；第三，从实际项目中采集到的指标数据，也需要加入到基准数据库中，从而可以对后续的采集工作提供一定的参考依据。第四，在综合评测过程中，会产生中间结果数据，该部分数据包含着大量的信息，因此需要将其与最终结果数据同时存放至基准数据库中。

基准数据库中的数据在评测过程的各个环节都具有重要的作用。首先，在指标体系建立时，可以参考基准数据库中原有的指标体系；第二，在指标权重的确定过程中，对指标进行两两比较时除了主观的专家经验外，还需要有较为客观的历史数据进行支持，因此需要基准数据库向其提供数据作为依据；第三，在指标数据采集的过程中，同样需要参考基准数据库中已有的数据；最后，在数据预处理过程中，需要对数据进行标准化处理，此时基准数据库中的数据可以作为重要的参考依据，标准化处理的过程在上一节中已经进行了详细的说明。

本发明的积极效果为：

1)以现有的软件过程模型或标准为框架建立度量指标体系，涵盖软件开发的全生命周期。

2)根据本方法建立的指标体系支持以模糊的形式描述度量指标数据采集过程中具有不确定性的数据，并支持多种数据类型表示方法。

3)在指标的权重确定过程中采用了层次分析法(AHP)，并在指标比较过程中同时参考专家经验与基准数据，保证了结果既具有主观评价的灵活性，又具有客观评测的严密性。

4)本方法对传统的模糊给定评价方法进行了合理的改进，可支持多种形式、多个分量的指标数据输入，还可以由评价方对结果的等级数进行定制。

5)由基准数据库提供评价过程中各个环节的参考数据，并对产生的数据进行收集整理，从而保证了评价过程的准确性及评价结果的有效性。

附图说明

图1是软件过程实施质量评测方法流程图；

图2是软件过程实施质量评测系统整体结构图；

图3是采用AHP法确定指标权重的流程图；

图4是综合评测方法流程图。

具体实施方式

本部分将根据发明内容中描述的方法，通过对某软件项目的实施进行质量评测的过程对本发明作进一步的说明，但不构成对本发明的限制。

对应于发明内容部分的各个步骤，评测过程同样分为以下5个步骤。

1、选取评测标准

根据所评测项目的性质，我们选取了CMMI for Development，Version 1.2作为评测标准。该版本的CMMI据项目管理、质量管理的关键点，确立了22个过程域(Process Area，PA)，过程域分为四个类别：过程管理类、项目管理类、工程类、以及支持类等。同时CMMI又有多个子目标，子目标又分为特定目标(Specific Goal，SG)和通用目标(Generic Goal，GG)两种，每一个子目标下设有不同的实践对子目标的实现进行支持。SG下的实践被称为特定实践(Specific Practice，SP)，GG下的实践则被称通用实践(Generic Practice，GP)，每一个PA都有若干个不同的SG予以支持，而GG则对所有的PA予以支持。

在进行分级CMMI评估时，首先确定出该级别所要求的PA。对于每个PA，考查其是否达到了该PA所包含的各个SG；而对于各个SG是否达到，我们又要考查其是否实施了该SG下的各个SP。同时，还要考查SP是否达到了该级别所要求的各个GG，而对于各个GG是否达到，我们又要考查其是否实施了该GG下的各个GP。当各SG下的各个SP均已实施，以及各个GG下的各个GP均已实施时，我们才可以认为评测对象达到了该级别。

2、建立指标体系

利用指标体系建立模块，我们在CMMI体系的基础上对每个PA建立了一套指标体系。在建立指标体系的过程中，借鉴了每个PA下的SG与SP，定义了一系列能够反映每个或每组目标与实践要求的度量指标。由于CMMI的各个PA较为完善的包涵了软件过程中的各个方面，因此在此基础上所建立的度量指标体系也能够较为全面的反映软件过程的整体。

由于CMMI可以采用分级的方法进行描述，我们虽然对所有的PA均制订了一套度量指标，但具体应用在项目中时，由于每个级别所含的PA是不同的，因此在确定指标体系时还需要根据评测对象所对应的CMMI等级选取相应的PA，再根据制订的指标体系提取出各个PA包含的度量指标，形成适用于该项目的度量指标体系。本案例所选取的评测对象的CMMI等级为3级，共对应18个PA(包括2级的7个)，因此选取该18个PA下的指标进行评测。表1即为根据其中REQM过程域制订的度量指标片段。

表1  REQM过程域的度量指标片段

序  号	指标名称	取值类型	采集时机	计算方法
					1	已确认的需求比率	数值  (百分比)	在项目开发全生命周期都可  采集，但不同时机的权重应  有所不同	已确认的需求比率＝(已确认+开发中+已实现)  需求项数/需求项总数*100％
2	需求评审人数	数值  (整数)	该次需求评审结束后	针对每次需求评审，直接统计参与人数
					3	评审人员对需求涉众所  有角色的覆盖率	数值  (百分比)	该次需求评审结束后	覆盖率＝需求评审人员所代表的角色数目/项目  涉众所包括的角色数*100％
4	申请过并实时记录了状  态的需求变更比率	数值  (百分比)	在项目开发全生命周期都可  采集，但不同时机的权重应  有所不同	截至某时刻实际记录了状态的需求变更比率＝截  至该时刻所有记录了最新状态的需求变更申请数/  需求变更申请总数*100％
					5	记录了变更原因的需求  变更比率	数值  (百分比)	在项目开发全生命周期都可  采集，但不同时机的权重应  有所不同	截至某时刻记录了变更原因的需求变更比率＝截  至该时刻记录了变更原因的需求变更申请数之和/  需求变更申请总数*100％
6	记录了发生阶段的需求  变更比率	数值  (百分比)	在项目开发全生命周期都可  采集，但不同时机的权重应  有所不同	截至某时刻记录了发生阶段的需求变更比率＝截  至该时刻记录了发生阶段的需求变更申请数之和/  需求变更申请总数*100％
					7	记录了受影响需求的需  求变更比率	数值  (百分比)	在项目开发全生命周期都可  采集，但不同时机的权重应  有所不同	截至某时刻记录了影响范围的需求变更比率＝截  至该时刻记录了影响范围的需求变更申请数之和/  需求变更申请总数*100％
8	实时记录了与设计模型  关联的需求比率	数值  (百分比)	在项目开发全生命周期都可  采集，但不同时机的权重应  有所不同	实时记录了与设计模型关联的需求比率＝实时记录  了与设计模型关联的需求项数/需求项总数*100％
					9	需求变更阶段比率(基  于需求基线统计的)	数值  (百分比)	在项目开发全生命周期都可  采集，但不同时机的权重应  有所不同	对软件开发各阶段，分别统计该阶段所发生的需求变  更次数
…	…	…	…	…

3、采集指标数据

利用数据采集模块，根据度量指标体系中的数据采集方法以及评价对象CMMI等级而选取的度量指标，进行度量指标的数据采集工作。例如，对于REQM过程域中的指标“参与需求评审的角色覆盖率”，由QA在需求评审结束后采集，并通过计算参与评审的角色占所有角色类别总数的比例得到。又如，指标“申请过并实时记录了状态的需求变更比率”，即为截至该时刻，由所有记录了最新状态的需求变更申请数占需求变更申请总数的百分比计算而得到。

本案例根据所选取的7个PA制订的一系列度量指标，通过指标数据采集模块进行各指标的数据采集工作。此处为了简化表示，只选取了其中的三个PA，每个PA中选取了3个指标。

选取的三个PA分别为项目计划(Requirements Development，RD)、度量与分析(Measurement and Analysis，MA)、以及需求管理(Requirements Management，REQM)。在REQM中，选取3个指标，分别以rm1、rm2、rm3表示；在RD中选取3个指标，分别以rd1、rd2、rd3表示；在MA中选取3个指标，分别以ma1、ma2、ma3表示。根据该指标体系对数据进行采集，得到该9个指标的值如表2所示。

表2  采集到的度量指标及其值

4、确定指标权重

首先，根据选定的度量指标，通过参考基准数据库中数据与专家经验相结合的方法对各层次的指标之间进行两两比较，从而建立起如下四个判断矩阵。总目标与PA层的判断矩阵为：

计算得随机一致性比率CR＝0＜0.10，符合要求。进一步求得三个PA的权重分别为：0.333，0.333，0.333。

REQM下面3个指标的判断矩阵为：

计算得随机一致性比率CR＝0.025＜0.10，符合要求。进一步求得3个指标的权重分别为：0.265，0.672，0.063。

RD下面3个指标的判断矩阵为：

计算得随机一致性比率CR＝0.033＜0.10，符合要求。进一步求得3个指标的权重分别为：0.105，0.637，0.258。

MA下面3个指标的判断矩阵为：

计算得随机一致性比率CR＝0.025＜0.10，符合要求。进一步求得3个指标的权重分别为：0.178，0.070，0.751。

计算得每个指标对应总目标的绝对权重为：

5、进行综合评测

首先通过综合评测计算模块中的数据预处理功能，基于基准数据库中的基准数据对采集到的数据进行数值标准化与形式统一化。其结果如表3所示。

表3  进行数值标准化与形式统一化后的度量指标值

由上一步中处理得到的指标数据，以及上一步得到的指标权重，可以通过综合评测计算模块中的模糊综合评测功能，由改进的模糊综合评测方法计算出总体的评价结果。

根据第六部分第2节的具体评价过程，由前面介绍的计算方法可知，中间结果的分量个数为各条数据的分量数之积，因此按以上的9个指标计算，中间结果共有1152个分量。该结果的各个分量的区间之间会有相互的重叠，因此需要进行进一步的计算，将其转换为相连且并不相交的区间与对应于该区间的隶属度的表示形式。

由改进的模糊综合评测算法，并根据需要设定结果所需的等级数，最终可以得到结果如表4所示。可以看出，由于设定的等级数不同，因此所划分的区间个数也不相同，最终结果在各个区间的分布也有很大区别。在实际应用中，需要根据评价对象的类型及性质来设定结果的等级个数。

表4  不同等级数情况下的最终结果

(a)等级数为3个：

(b)等级数为5个：

(c)等级数为7个。

Claims (9)

1.一种软件过程实施质量评测方法，其步骤为：

1)利用评测标准选择模块从评测标准库中选取适合评测对象的软件过程评估模型或标准；

2)指标体系建立模块根据所选取的模型或标准建立一度量指标体系；

3)度量数据采集模块根据所建立的度量指标体系对该待测评的软件过程进行数据采集；同时，指标权重确定模块根据所建立的度量指标体系确定每个度量指标的权重；

4)综合评测计算模块对所采集的数据进行数值标准化和形式统一化；

5)综合评测计算模块采用模糊综合评测方法对步骤4)处理后的数据进行测评，并输出评测结果。

2.如权利要求1所述的方法，其特征在于采用目标-问题-度量方法或实用软件度量方法建立所述度量指标体系。

3.如权利要求1所述的方法，其特征在于采用层次分析法确定每个度量指标的权重，其方法为：

1)根据所建立的度量指标体系的结构，对所述度量指标进行层次划分，形成一树状结构，其中每个叶子节点即为一个度量指标，属于同一个非叶子节点的各节点组成的一个度量指标组；

2)自上而下，两两比较直接从属于同一个度量指标组的各个节点之间的重要性，建立各层次中每一度量指标组的判断矩阵；

3)对每个判断矩阵进行一致性验证；

4)验证通过后，求解判断矩阵，得到该矩阵中各个节点相对于父节点的权重值；所述相对权重值为对应判断矩阵特征值的归一化值；

5)自下而上，从叶子节点开始，将各个节点的相对权重值与该节点所属父节点的权重值进行合成，直至最终的根节点，最终得到每个叶子节点的度量指标值相对于软件过程质量的绝对权重值。

4.如权利要求3所述的方法，其特征在于两两比较同一层次中的度量指标重要性的比较依据来自于对历史数据进行计算而得到的基准数据和专家经验。

5.如权利要求1或2或3所述的方法，其特征在于所述度量指标的数据形式包括：布尔型指标、单一数值型指标、评价等级加隶属度型指标、数值区间加隶属度型指标。

6.如权利要求5所述的方法，其特征在于所述数值标准化的方法为：首先设定一标准区间，然后将采集到的数据映射到该标准区间内。

7.如权利要求6所述的方法，其特征在于所述形式统一化的方法为：

1)对于布尔型与单一数值型指标数据，分别在布尔型指标与单一数值型指标数据中补充隶属度信息，得到数值加隶属度型指标数据；

2)将数值加隶属度型指标数据转换成区间加隶属度型指标数据；

3)将评价等级加隶属度型指标数据转换成区间加隶属度型指标数据。

8.如权利要求7所述的方法，其特征在于所述模糊综合评测方法为：

1)对不同的度量指标数据进行综合评测，得到一结果集合Y＝{[c₁，d₁](q₁)，[c₂，d₂](q₂)，...，[c_N，d_N](q_N)}，其中q_k为结果在[c_k，d_k]区间上的隶属度，k＝1，2，...，N，N为集合Y中的元素个数；

2)将所述集合Y中的分量区间转换为相连且不相交的区间，同时计算转换后的区间所对应的隶属度，得到评测结果Z。

9.如权利要求8所述的方法，其特征在于采用均匀划分的方法对所述集合Y的分量区间进行重新划分，或根据隶属度的分部特点对所述集合Y中的分量区间进行不等距划分；所述测评结果Z＝{[t₀，t₁)(r₁)，[t₁，t₂)(r₂)，...，[t_T-1，t_T](r_T)}，其中r_T为结果在划分后的对应区间上的隶属度，t_T-1和t_T为区间的端值，T为划分的区间数目。

Images