CN107590063A - 一种软件产品成熟度评价方法 - Google Patents

Abstract

本发明公开了一种软件产品成熟度评价方法，该方法首先从该软件产品研发过程中提取若干个子要素；并针对该若干个子要素的评价要点分别建立至少3个等级的评价标准，再根据该标准得出各子要素成熟度等级值矩阵P；然后在所述若干个子要素中，根据子要素之间的关联性建立关联矩阵C；再通过公式：W＝C×P、和计算所述软件产品的成熟度综合等级值L。本发明通过对软件产品的若干个子要素的开发成熟度的初步评价，再根据各子要素之间的关联矩阵关系，和利用线性代数的加权平均法求解出更加科学合理的该软件产品的最终成熟度综合等级值，使其更为接近软件产品成熟度的真实情况，利于软件产品的研究和改进，促进该软件产品的成熟。

Description

一种软件产品成熟度评价方法

技术领域

本发明涉及软件产品成熟度评价技术领域，特别是涉及一种软件产品成熟度评价方法。

背景技术

软件产品的全寿命周期包括用户任务的提出、软件需求分析、软件设计、软件测试、试验验证、应用运行等各环节。在软件研制过程中对软件产品成熟度的评价是促进软件产品成熟的有效途径，并且对软件产品成熟度的评价也可一定程度的降低软件失效造成的风险。

国内外一些组织和机构为了降少软件开发的错误，降低软件失效造成的风险，评价软件的质量，促进软件提高成熟水平，先后提出了软件能力成熟度模型、软件测试能力成熟度模型、软件成熟度增长模型、软件技术成熟度、软件成熟度等概念和评价方法，评价的对象包括组织和软件产品本身。但现有的一些模型和方法均有偏重点，有些基于开发者发现及更改已有问题的过程，只是从软件的问题表现这个侧面来表征软件成熟与否，与软件发现问题的方法与手段有关；有些多关注于软件测试过程，缺少软件的管理过程、软件的应用方面的评价；有的偏重于软件新技术的成熟应用水平的评价。

由此可见，现有的软件成熟度评价模型和方法均存在一定程度的局限性，而亟待加以进一步改进。如何能创设一种更客观、更全面、更准确地评价软件产品的成熟水平，即一种新的软件产品成熟度评价方法，实属当前重要研发课题之一。

发明内容

本发明要解决的技术问题是提供一种软件产品成熟度评价方法，使其更客观、更全面、更准确地评价软件产品的成熟水平，从而克服现有的软件成熟度评价模型和方法的不足。

为解决上述技术问题，本发明提供一种软件产品成熟度评价方法，所述评价方法包括如下步骤：

步骤一、从所述软件产品研发过程中提取与所述软件产品成熟度相关的若干个子要素；

步骤二、针对所述若干个子要素的评价要点分别建立至少3个等级的评价标准，并根据所述评价标准对所述若干个子要素的成熟度等级进行初步评价，得出各子要素成熟度等级值矩阵P；

步骤三、在所述若干个子要素中，根据一个子要素的成熟与否是否关联到其它子要素的成熟程度来建立所有若干个子要素之间的关联矩阵C；

步骤四：根据步骤二得到的各子要素成熟度等级值矩阵P和步骤三得到的若干个子要素之间的关联矩阵C，计算所述软件产品的成熟度判断矩阵W＝C×P；

步骤五：根据步骤四得到的所述软件产品的成熟度判断矩阵W，计算所述软件产品的成熟度稳定性值CI：

其中,λ_max是W中特征值的最大值，λ_min是W中特征值的最小值，是W中的所有特征值的平均值；

步骤六：计算得到所述软件产品的成熟度综合等级值L：

作为本发明的一种改进，所述步骤三中建立所述关联矩阵C的方法为：各子要素自身的关联性为1，若一个子要素的成熟与否与另一个子要素的成熟程度相关联，则该两个子要素的关联性为1，否则为0。

进一步改进，所述若干个子要素为先从所述软件产品的管理、设计、测试、应用四个方面提取若干个要素，再从所述若干个要素中提取出若干个子要素。

进一步改进，所述软件产品在管理方面提取的要素包括资源配置、质量管理和配置管理；所述资源配置要素的子要素包括组织职责与工程环境保证；所述质量管理要素的子要素包括工作策划、评审与审查、软件问题处理与质量问题“归零”；所述配置管理要素的子要素包括技术状态与数据包管理。

进一步改进，所述软件产品在设计方面提取的要素包括输入确认和软件设计；所述输入确认要素的子要素包括任务书确认、需求分析与验证；所述软件设计要素的子要素包括程序设计、编码与验证。

进一步改进，所述软件产品在测试方面提取的要素包括测试验证和确认测试；所述测试验证要素的子要素包括单元测试、组装测试和配置项测试；所述确认测试要素的子要素包括第三方确认、软件验收测试和任务验证。

进一步改进，所述软件产品在应用方面提取的要素包括交付运行；所述交付运行要素的子要素包括交付与安装、运行维护与数据分析。

进一步改进，所述每个子要素根据评价要点建立1至6级的评价标准。

采用上述的技术方案，本发明至少具有以下优点：

本发明基于软件全寿命周期的软件成熟度量化评价模型，从软件产品管理、设计、测试和应用情况方面，对其各子要素的成熟等级初步评价，并结合各子要素之间的关联矩阵关系，再利用线性代数的加权平均法得出被评价软件产品的最终成熟度综合等级值，使其更为接近软件成熟度评价的真实情况，利于软件产品的研究和改进，进一步促进了软件产品的成熟。

本发明是对该软件产品功能性、可靠性、安全性、易用性和完备性等的综合度量方法，科学合理、客观准确。

附图说明

上述仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，以下结合附图与具体实施方式对本发明作进一步的详细说明。

图1为本发明待评价软件产品中与成熟度相关的子要素关系图。

具体实施方式

本发明软件产品成熟度评价方法包括如下步骤：

步骤一、从待评价软件产品研发过程中提取若干个与待评价软件产品成熟度相关的子要素

为了使软件产品成熟度可量化评价，且评价可操作，本实施例从管理、设计、测试、应用4个方面进行评价。每个方面又分成若干个要素，每个要素又分为若干子要素，详见附图1。

其中，管理方面体现了软件产品在策划、任务下达、需求分析、软件设计、编码实现、测试、分析验证、运行维护等全寿命周期中，遵循软件工程化管理要求需要的各类资源、开展的质量保证活动、配置管理活动的保障程度。相关要素划分为“1-1资源配置”、“1-2质量管理”、“1-3配置管理”等3项。

该要素“1-1资源配置”考核的是软件研制过程中各类资源，包括人员职责、开发环境、运行环境等的保障程度，其子要素包括“1-1-1组织职责与软件工程环境保证”。该子要素“1-1-1组织职责与软件工程环境保证”中组织职责主要评价软件研制过程中软件交办方、承制方、评测机构等各方人员是否提前在各类计划中明确职责，在软件研制过程中是否真正履行职责，如交办方是否有专人跟踪、按工作阶段及时更新任务书要求等。软件工程环境是指软件工程工作所需的一组自动工具、固件和硬件的集合，应用于软件项目管理、需求管理、配置管理、质量管理以及需求分析、设计、实现、测试、装入及运行维护等全过程，可包括(但不局限于)CASE工具、编辑程序、汇编程序、链接程序、装入程序、操作系统、调试程序、模拟器、仿真器、测试工具、文档编制工具和数据库管理系统等。软件研制过程中应保证软件工程环境的顺利搭建与正常运行。该子要素主要评价软件产品开发相关的各方是否职责明确，是否履行职责，以及软件研制过程中软件工程环境的保证情况。

该要素“1-2质量管理”考核的是软件研制过程中各种策划工作与落实情况、各阶段与各节点里程碑的评审与审查工作、软件出现问题后的处理工作，其子要素包括：“1-2-1工作策划”、“1-2-2评审与审查”和“1-2-3软件问题处理与质量问题“归零””。其中，子要素“1-2-1工作策划”主要评价软件承制方是否根据软件研制任务书的要求，制定并实施了软件研制计划、软件质量保证计划、软件配置管理计划、软件测试计划、运行维护计划，是否组织实施了软件研制、测试和产品保证工作。对于大型的、关键的软件系统，应做好该软件的顶层策划与协调，制定软件产品保证大纲。子要素“1-2-2评审与审查”主要评价软件研制各阶段或各里程碑节点是否有相应的评审与审查，软件评审主要有：软件研制任务书评审、软件需求评审、概要设计评审、详细设计评审、软件单元测试评审、配置项测试评审、确认测试(第三方评测)测试相关活动评审、验收评审等，软件审查主要分为：软件需求审查、概要设计审查、详细设计审查、源代码审查、软件测试审查等。若软件属于沿用软件或更改的软件，还需有沿用分析评审与软件更改可行性分析及影响域分析评审等。子要素“1-2-3软件问题处理与质量问题“归零””主要评价在软件研制过程中可能出现的软件问题是否有相应的程序和手续，如对受控软件的更改是否填写了软件问题报告单和更改单，分析了更改的影响域，并履行了规定的审批手续，更改后的软件是否进行了回归测试；对软件交付后出现的质量问题是否开展了技术方面的“归零”和管理方面的“归零”。

该要素“1-3配置管理”考核的是软件研制过程中配置管理的规范程度，对于技术状态的控制和数据包的管理情况，确保对软件配置进行有效的版本控制和更改控制，确保某阶段的软件产品配套文档、程序代码等内容技术状态一致，数据包内容全面，其子要素包括“1-3-1技术状态与数据包管理”。该子要素“1-3-1技术状态与数据包管理”主要评价为保证软件的任务书、需求、设计、测试版本控制一致，避免出现多版本情况，是否对软件产品实施了严格的技术状态控制，做好了配置标识、控制、状态纪实、审计和发放；是否建立开发库、受控库和产品库，对于软件的基线及纳入不同“库”的产品是否有相应的管理措施；配套文档是否与实际软件研制情况一一对应，各文档是否有明确的标识与签署；最终的软件产品是否形成完整的数据包，达到了技术状态一致。

设计方面体现了软件产品的功能、性能、接口、环境等满足任务要求的程度，逻辑结构、复杂性、规范性等设计的优劣程度，软件的可靠性安全性设计水平，是直接决定其软件质量优劣的基础。相关要素划分为“2-1输入确认”、“2-2软件设计”等2项。

该要素“2-1输入确认”主要考核软件任务书、需求分析说明编制的规范程度，该部分是软件研制的输入，是确保软件优质研发的前提基础，其子要素包括“2-1-1任务书确认”和“2-1-2需求分析与验证”。子要素“2-1-1任务书确认”主要评价任务书是否明确提出了需要软件完成的功能、性能、接口及运行环境要求，明确了软件安全关键等级、可靠性及质量要求、研制时间要求、产品及交付清单、验收交付方法、测试要求等，对于涉及安全的软件是否开展了软件危险分析，明确与软件相关的安全关键的系统工作模式与关键任务，以及与软件相关的危险事件与原因。子要素“2-1-2需求分析与验证”主要评价软件需求分析说明是否细化分解了任务书要求，进一步明确了软件功能、性能、接口、可靠性与安全性、计算机资源需求、软件安装、操作、验收、交付、包装等方面的需求，分析了软件危险与风险因素。涉及安全的软件是否开展了软件需求安全性分析(含软硬件接口分析)，明确了安全关键的软件运行模式、功能、输入、输出，以及相关的软件危险事件与原因。

该要素“2-2软件设计”主要考核依据软件需求而开展的软件体系结构设计，功能、性能与接口设计，数据结构或算法原理设计的合理性与正确性，以及代码编译、符合编码标准与代码审查情况，其子要素包括：“2-2-1程序设计”和“2-2-2编码与验证”。子要素“2-2-1程序设计”主要评价软件是否依据需求分析说明，进行了体系结构设计，给出了各软部件的功能和性能描述、数据接口描述，定义了全局变量及外部文件，规定了软件单元之间的接口，软件单元之间的数据流或控制流，确定了软件单元内算法及数据结构。子要素“2-2-2编码与验证”主要评价软件是否依据软件设计说明以及相应的软件代码编制规范进行了编程，并在规定的编译环境中进行了编译、排除错误，软件是否未引入新的不安全因素，具有保护机制，不存在运行错误、内存泄露错误等。对于十分关键的核心软件是否开展了软件代码安全性分析，验证在软件代码中正确实现了安全设计，确保没有弱化任何安全控制或安全处理，没有制造任何新的危险。

测试方面体现了软件产品在各种测试、试验过程中的充分性、合理性和规范性。相关要素划分为“3-1测试验证”、“3-2确认测试”等2项。

该要素“3-1测试验证”主要考核软件单元测试、组装测试、配置项测试过程中是否制定了测试计划、分析了测试需求，建立了相应的测试环境，设计了测试用例，是否按测试规程实施了各阶段的测试工作，做好了测试记录等，其子要素包括：“3-1-1单元测试”和与“3-1-2配置项测试”。子要素“3-1-1单元测试”主要评价软件的静态分析、代码审查，功能测试、性能测试、接口测试、重要执行路径测试、局部数据结构测试、异常测试、边界测试等是否覆盖了设计说明中描述的软件单元功能，单元的语句、分支、MC/DC测试覆盖率是否达到了100％，对于没达到充分覆盖性的测试是否进行了说明，是否对全部测试问题进行了处理和闭环。子要素“3-1-2配置项测试”主要评价软件需求说明中明确和隐含的需求(包括功能、性能、接口、质量要求等)是否在原型机或真实的处理器与计算机上进行了测试，配置项语句、分支、需求目标码测试覆盖率指标是否有明确的统计与说明，是否对全部测试问题进行处理和闭环。

该要素“3-2确认测试”确认测试主要指第三方和用户方对软件开展的测试，主要考核软件测试的客观性和充分性，以及在参与分系统联试(验收测试)、参与实际任务时在真实运行状况下的表现，其子要素包括：“3-2-1第三方确认测试”、“3-2-2分系统联试(软件验收测试)”和“3-2-3任务验证”。子要素“3-2-1第三方确认测试”主要针对涉及人员安全的软件，评价是否经过了具有相应资质评测机构的第三方确认测试，含功能测试、性能测试、强度测试等，需求、语句、分支、目标测试覆盖率是否达到了100％，对全部测试问题是否进行了处理和闭环。子要素“3-2-2分系统联试(软件验收测试)”主要评价软件在真实的系统环境中是否进行了试验验证，验证软件设计的正确性及与系统环境的匹配程度，试验种类包括功能性试验、冗余试验、匹配试验等。子要素“3-2-3任务验证”主要评价软件安装到用户方，在用户方运行阶段的实际使用验证情况，是否有用户反馈软件出现了问题。

应用方面体现了软件产品交付安装过程的规范、符合用户预期约束或满足任务要求的程度，在运行中的维护保障程度，以及运行后各种表现的数据分析利用程度。相关要素为“4-1交付运行”。

该要素“4-1交付运行”主要考核软件产品在交付验收、安装使用以及运行中的表现，软件的生产与安装过程的可操作性、规范性、简易性，软件使用的友好性，以及软件在后期的维护与软件运行数据的分析力度等，体现了一款软件的易用性与适用性，其子要素包括：“4-1-1交付与安装”和“4-1-2运行维护与数据分析”。子要素“4-1-1交付与安装”主要评价软件交付前的验收、从产品库中检出、刻录进介质、或灌入固化到硬件系统的过程是否规范、可操作性强，软件的使用说明是否具体、明确、可阅读性强，便于用户操作使用。子要素“4-1-2运行维护与数据分析”主要评价软件产品交付后是否有维护升级措施，是否策划了用户使用的数据收集，是否分析了用户反馈的使用问题及软件使用质量状况，并针对问题提出了改进的措施，形成了软件产品的研发过程和应用过程的闭环管理。

步骤二、针对上述若干个子要素的评价要点分别建立至少3个等级的评价标准，并根据该评价标准对该若干个子要素的成熟度等级进行初步评价，得出各子要素成熟度等级值矩阵P。

根据上述每个子要素的评价要点，本实施例设计了从1级到6级的每个子要素评价检查要点矩阵，如下表1为“1-1-1组织职责与软件工程环境保证”子要素的评价标准矩阵示例表。

表1“组织职责与软件工程环境保证”子要素的评价标准矩阵示例表

在评价该软件产品时，每个子要素将根据评价要点的具体要求给出1至6级的成熟等级初步评价，建立各子要素成熟度等级值矩阵P，如本实施例中16个子要素的等级值矩阵P如下：

步骤三、建立上述若干个子要素的关联矩阵C。

在若干个子要素中，由于一个子要素的成熟与否会关联到其它子要素的成熟程度，所以若干个子要素之间具有关联关系，如：若任务书成熟等级较低，会影响后续所有的子要素的成熟程度。其具体方法为：子要素自身的关联性为1，如a1(即子要素1-1-1)a1＝1；若a1是a2(子要素1-2-1)的工作输入，则a1a2＝1，a2a1＝0；若a2和a3(子要素1-2-2)完全无关联，则a2a3＝0，a3a2＝0；以此类推。本实施例中16个子要素的关联矩阵关系见下表2。

表2本实施例软件产品成熟度评价模型各子要素的关联矩阵表

由表2可知，各要素关联矩阵C为：

步骤四：根据步骤二得到的若干子要素的等级值矩阵P和步骤三得到的若干子要素之间的关联矩阵C，计算该软件产品的成熟度判断矩阵W＝C×P。

本实施例中该软件产品的成熟度判断矩阵W为：

W＝C×P＝[9 14 15 10 5 48 43 38 37 9 9 9 13 4 12 8]^T

步骤五：根据步骤四得到的该软件产品的成熟度判断矩阵W，计算该软件产品的成熟度稳定性值CI:其中,λ_max是W中特征值的最大值，λ_min是W中特征值的最小值，是W中的所有特征值的平均值，CI值越大，表明各要素的成熟度不稳定性越大，则与目标等级的偏离越大，当无偏离时，CI值为0。

本实施例中根据计算得到的该软件产品的成熟度稳定性值CI为2.5。

步骤六：计算该软件产品的成熟度综合等级L：

根据和CI计算本实施例中该软件产品的成熟度综合等级L为：

则得出:本实施例中被评价软件对象的最后综合等级值为4.5。

本发明首先通过对软件产品的若干个子要素的开发成熟度的初步评价，再根据各子要素之间的关联矩阵关系，和利用线性代数的加权平均法求解得出该软件产品的最终成熟度综合等级值。该评价方法通过结合各子要素之间的关联矩阵关系，更加科学合理的得出该软件产品的最终成熟度综合等级，使其最终结果值更为接近软件成熟度评价的真实情况，利于软件产品的研究和改进，进一步促进了软件产品的成熟。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，本领域技术人员利用上述揭示的技术内容做出些许简单修改、等同变化或修饰，均落在本发明的保护范围内。

Claims (8)

1.一种软件产品成熟度评价方法，其特征在于，所述评价方法包括如下步骤：

步骤一、从所述软件产品研发过程中提取与所述软件产品成熟度相关的若干个子要素；

步骤二、针对所述若干个子要素的评价要点分别建立至少3个等级的评价标准，并根据所述评价标准对所述若干个子要素的成熟度等级进行初步评价，得出各子要素成熟度等级值矩阵P；

步骤三、在所述若干个子要素中，根据一个子要素的成熟与否是否关联到其它子要素的成熟程度来建立所有若干个子要素之间的关联矩阵C；

步骤四：根据步骤二得到的各子要素成熟度等级值矩阵P和步骤三得到的若干个子要素之间的关联矩阵C，计算所述软件产品的成熟度判断矩阵W＝C×P；

步骤五：根据步骤四得到的所述软件产品的成熟度判断矩阵W，计算所述软件产品的成熟度稳定性值CI：

<mrow> <mi>C</mi> <mi>I</mi> <mo>=</mo> <mfrac> <mrow> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> </msub> <mo>-</mo> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> </msub> </mrow> <mover> <mi>&amp;lambda;</mi> <mo>&amp;OverBar;</mo> </mover> </mfrac> </mrow>

其中,λ_max是W中特征值的最大值，λ_min是W中特征值的最小值，是W中的所有特征值的平均值；

步骤六：计算得到所述软件产品的成熟度综合等级值L：

<mrow> <mi>L</mi> <mo>=</mo> <msup> <mrow> <mo>(</mo> <mover> <mi>&amp;lambda;</mi> <mo>&amp;OverBar;</mo> </mover> <mo>+</mo> <mi>C</mi> <mi>I</mi> <mo>)</mo> </mrow> <mrow> <mn>1</mn> <mo>/</mo> <mn>2</mn> </mrow> </msup> <mo>.</mo> </mrow>

2.根据权利要求1所述的软件产品成熟度评价方法，其特征在于，所述步骤三中建立所述关联矩阵C的方法为：各子要素自身的关联性为1，若一个子要素的成熟与否与另一个子要素的成熟程度相关联，则该两个子要素的关联性为1，否则为0。

3.根据权利要求1所述的软件产品成熟度评价方法，其特征在于，所述若干个子要素为先从所述软件产品的管理、设计、测试、应用四个方面提取若干个要素，再从所述若干个要素中提取出若干个子要素。

4.根据权利要求3所述的软件产品成熟度评价方法，其特征在于，所述软件产品在管理方面提取的要素包括资源配置、质量管理和配置管理；所述资源配置要素的子要素包括组织职责与工程环境保证；所述质量管理要素的子要素包括工作策划、评审与审查、软件问题处理与质量问题“归零”；所述配置管理要素的子要素包括技术状态与数据包管理。

5.根据权利要求3所述的软件产品成熟度评价方法，其特征在于，所述软件产品在设计方面提取的要素包括输入确认和软件设计；所述输入确认要素的子要素包括任务书确认、需求分析与验证；所述软件设计要素的子要素包括程序设计、编码与验证。

6.根据权利要求3所述的软件产品成熟度评价方法，其特征在于，所述软件产品在测试方面提取的要素包括测试验证和确认测试；所述测试验证要素的子要素包括单元测试、组装测试和配置项测试；所述确认测试要素的子要素包括第三方确认、软件验收测试和任务验证。

7.根据权利要求3所述的软件产品成熟度评价方法，其特征在于，所述软件产品在应用方面提取的要素包括交付运行；所述交付运行要素的子要素包括交付与安装、运行维护与数据分析。

8.根据权利要求1所述的软件产品成熟度评价方法，其特征在于，所述每个子要素根据评价要点建立1至6级的评价标准。