CN105468510A - 对软件质量进行评估与追踪的方法和系统 - Google Patents

Abstract

本发明提出了一种对软件质量进行评估与追踪的方法和系统，所述方法包括：选择软件评估模型；基于选择的软件评估模型，选择对软件质量评估的各项质量指标以建立质量评估体系；针对最新版本的软件的各项质量指标采集数据并保存；基于采集的最新版本的软件的质量指标数据确定各项质量指标的权重值；基于采集的每个版本的软件的质量指标数据确定该版本的软件的各项质量指标的得分；根据各项质量指标的权重值，以及各项质量指标在每个版本的软件中的得分，确定每个版本的软件的质量得分，从而确定各个版本的软件的质量的变化趋势。通过这种方法，可动态客观地评估不同版本的软件质量并对其进行追踪，从而更好地指导软件的设计和发展方向。

Description

对软件质量进行评估与追踪的方法和系统

技术领域

本发明一般地涉及软件测试领域，更具体地说，本发明涉及一种对软件质量进行动态评估的方法和系统。

背景技术

软件质量，是与软件满足规定的或隐含的能力要求有关的特征与特征综合；保证软件质量，是贯穿整个软件生命周期的重要问题，对软件质量进行有效评估，也日益成为保证软件质量的一种重要手段。

由于软件具有复杂性、抽象性、不确定性和难于度量等特点，人们对软件质量的认识也一直存在局限性和非系统性，而软件质量评估往往是模糊且不确定的，因此软件质量评估也一直是软件质量保证中的一个难题。各国的研究人员在软件质量评估领域投入了大量精力，进行了深入研究，也提出了各种软件质量评估体系。

虽然各种软件质量评估体系对软件质量的评估有所区别，但这些软件质量评估体系都是根据预先设定的质量指标来考察软件质量；但是不同的质量指标对软件质量有着不同程度的影响，因此随着研究的深入，在进行软件质量评估时，根据影响程度的不同，为不同的质量指标设定不同的权重值。

现有的软件质量评估体系，都采用一种固定的评价标准。然而，在软件生命周期的不同阶段，对软件质量评估的侧重点并不一致。比如将一个软件推出市场时，由于硬件水平不够，必须优先考虑系统的优化，使软件运行时占用较少的CPU和内存资源，为此不得不在一定程度上牺牲用户体验。随着硬件技术的发展，软件运行系统的CPU更快、内存更大，软件运行时的资源耗费不再是考虑的首要因素，转而将用户体验放在更为重要的位置。如果对不同阶段的软件采用相同的评价标准，得到的结论可能并不能如实反映实际中的客户需求。因此，需要一种可以动态评估软件质量的方法，才能更好地把握客户需求和软件的发展方向。

在另一方面，在软件开发过程中，典型的软件测试流程为：开发工程师在完成软件开发后提出测试要求，测试工程师对完成的软件进行测试，开发人员修改软件中的bug后，测试工程师再次对软件进行测试；如此循环，直至最后产品发布。在目前的测试领域，因为产品迭代很快，测试人员的主要精力都放在测试软件当前的最新版本上。在测试中，我们只关心软件开发的中间产品bug的多少，软件预期的功能是否实现等，而缺乏对这些被发布的软件的质量度量。这种方式，虽然能保证最终发布软件的质量，但缺乏客观的数据去衡量各版本的软件的质量优劣状况，更无从了解软件各个版本的质量的变化趋势；而不了解软件各个版本的各项指标信息，也不利于以后软件的优化。

当软件经过测试并发布后，由于测试人员很少有精力对软件已经发布的版本进行测试，我们通常仅通过用户反馈来获得已发布版本的缺陷问题；这将存在很大的风险和不足，容易造成用户流失，并影响声誉。因此，我们一方面要保证产品的及时发布，另一方面我们需要尽量在用户之前发现和修复已经发布的软件存在的缺陷和问题，提高产品的质量和口碑。

针对上述问题，本发明提出了一种新的软件质量评估方法和系统，根据产品的不同生命周期和发展阶段，通过产品本身的质量数据、用户反馈数据和用户行为数据等因素的挖掘，不断地修正软件质量评估模型，动态客观地评估软件质量，并对软件的历次版本进行追踪，从而更好地指导软件的设计和发展方向，促进软件的优化。

发明内容

为了使软件质量的评估适应于实际需求，本发明提出了一种新的软件质量评估方法，通过分析不同版本的软件的质量数据、用户反馈信息等，对模型进行动态修正，从而动态客观地评估软件质量。

一种对至少一个版本的软件进行质量评估的方法，包括：选择软件评估模型；基于选择的软件评估模型，选择对软件质量进行评估的各项质量指标以建立质量评估体系；针对最新版本的软件的各项质量指标采集数据并保存；基于采集的最新版本的软件的质量指标数据确定软件的各项质量指标的权重值；基于之前保存的每个版本的软件的质量指标数据确定每个版本的软件的各项质量指标的得分；根据各项质量指标的权重值以及各项质量指标在每个版本的软件中的得分，确定每个版本的软件的质量得分，从而确定各个版本的软件的质量的变化趋势。

根据本发明的另一方面，针对最新版本的软件的各项质量指标采集的数据为分别与该版本的软件的各项质量指标相应的bug数目。

根据本发明的另一方面，针对最新版本的软件的各项质量指标采集的数据为分别与该版本的软件的各项质量指标相应的各个bug等级下的bug的数目，其中，根据各个bug等级下的bug的数目确定与该版本的软件的各个质量指标相应的加权的bug数目，并将与该版本的软件的各项质量指标相应的加权的bug数目作为与该版本的软件的各项质量指标相应的bug数目以确定该版本的软件的各项质量指标的权重值。

根据本发明的另一方面，根据与最新版本的软件的各项质量指标相应的bug数目和与各项质量指标相应的bug数目之和的比值来确定各项质量指标的权重值。

根据本发明的另一方面，根据与每个版本的软件的各项质量指标相应的bug数目来确定每个版本的软件的各项质量指标的得分。

根据本发明的另一方面，针对最新版本的软件的各项质量指标采集的数据为包括用户对该版本的软件的各项质量指标的重要性进行排序以及评分的反馈信息，其中，利用用户对最新版本的软件的各项质量指标的重要性进行的排序来确定该版本的软件的各项质量指标的权重值；并且在基于针对之前各个版本的软件采集的数据确定之前各个版本的软件的各项质量指标的得分的步骤中，利用用户对该版本的软件的各项质量指标的评分来确定该版本的软件的各项质量指标的得分。

根据本发明的另一方面，提供了一种对软件质量进行评估的系统，包括：模型选择单元，选择软件评估模型；体系建立单元，基于选择的软件评估模型，选择对软件质量进行评估的各项质量指标以建立质量评估体系；数据采集单元，针对最新版本的软件的各项质量指标采集数据并保存；权重值确定单元，基于采集的最新版本的软件的质量指标数据确定各项质量指标的权重值；得分确定单元，基于之前保存的每个版本的软件的质量指标数据确定每个版本的软件的各项质量指标的得分；质量评价单元，根据各项质量指标的权重值以及各项质量指标在各个版本的软件中的得分，确定各个版本的软件的质量得分及变化趋势。

根据本发明的另一方面，数据采集单元采集的数据为最新版本的软件中分别与各项质量指标相应的bug数目。

根据本发明的另一方面，数据采集单元采集的数据为最新版本的软件中分别与各项质量指标相应的各个bug等级下的bug的数目，其中，权重值确定单元根据各个bug等级下的bug的数目确定与各个质量指标相应的加权的bug数目，并将该加权的bug数目作为与各项质量指标相应的bug数目以确定各项质量指标的权重值。

根据本发明的另一方面，权重值确定单元根据与各项质量指标相应的bug数目和与各项质量指标相应的bug数目之和的比值来确定各项质量指标的权重值。

根据本发明的另一方面，得分确定单元根据与每个版本的软件的各项质量指标相应的bug数目来确定每个版本的软件的各项质量指标的得分。

根据本发明的另一方面，数据采集单元采集的数据为包括用户对各项质量指标的重要性进行排序以及评分的反馈信息，权重值确定单元利用用户对各项质量指标的重要性进行排序来确定各项质量指标的权重值，并且得分确定单元利用用户对各项质量指标的评分来确定各项质量指标的得分。

根据本发明所公开的技术方案，通过产品本身的质量数据以及用户反馈数据和用户行为数据等因素的挖掘，不断的修正质量评估模型，动态客观地评估软件质量并对各个版本的软件质量进行追踪，从而更好地指导软件的设计和发展方向。

附图说明

图1为根据本发明示例性实施例的对不同版本的软件质量进行评估的方法的流程图。

图2为根据本发明示例性实施例的对不同版本的软件质量进行评估的系统的框图。

具体实施方式

为了使本发明的特征及优点得到更清楚的了解，以下结合附图对本发明的示例性实施例进行详细说明。应当理解，这里给出的实施例只是示例性的，并不作为本发明的限制。

图1示出了根据本发明示例性实施例的对不同版本的软件质量进行评估的方法的流程图。

在步骤101中，根据评估对象，选择适合的软件评估模型。作为示例，可选择软件领域中已经存在并被广泛使用的软件评估模型，如ISO9000、CMMI等。这些可选的软件评估模型可预先存储于评测标准库中，可根据评估对象与实际需求选择相应的软件评估模型。

在步骤102中，根据选择的软件评估模型选择适当的质量指标，以建立质量评估体系。每一软件评估模型下，都有多个可选的质量指标。在确定了软件评估模型之后，用户可根据实际应用需求，选择适当的质量指标以构建软件质量评估体系。

在步骤103中，针对最新版本的软件采集软件的每项质量指标数据并保存。被采集的质量指标数据可保存于质量指标数据库中。作为示例，所采集的质量指标数据可以为与各项质量指标相应的bug的数目。作为另一示例，所采集的质量指标数据也可以为从用户反馈的质量指标的重要性排序以及给出的每项质量指标的评分。当然，这只是示例性的，本领域技术人员可以根据需要来确定质量指标数据。

在步骤104中，根据针对最新版本的软件采集的质量指标的数据，确定软件的每项质量指标的权重值。作为示例，可以根据在最新版本的软件中与各项质量指标相应的bug数目和与各项质量指标相应的bug数目之和的比值来确定软件的各项质量指标的权重值。作为另一示例，也可以利用用户对最新版本的软件的各项质量指标的重要性进行排序来确定软件的各项质量指标的权重值。

在步骤105中，根据之前保存的针对每个版本的软件采集的质量指标的数据，确定每个版本的软件的各项质量指标的得分。作为示例，可以根据某一版本的软件中与各项质量指标相应的bug数目来确定该版本的软件的各项质量指标的得分。作为另一示例，可以利用用户对某一版本的软件的各项质量指标的评分来确定该版本的各项质量指标的得分。

在步骤106中，根据由最新版本的软件的质量指标数据得到的各项质量指标的权重值，以及各项质量指标在每个版本的软件中的得分，确定每个版本的软件的质量得分，从而获得针对各个版本的软件的质量的变化趋势。这里，作为示例，可以利用各个版本的软件的质量得分以统计图或统计表的形式来反映各个版本的软件的质量的变化趋势。

这里，需要注意，本发明示出的步骤只是作为示例，本领域技术人员通过阅读说明书可以明白，可以以不同的顺序来执行本发明。

作为示例，下面结合具体的示例对步骤104至步骤106进行示例性描述。

假定待评估软件的质量指标集为：U＝{U₁，U₂，...，U_m｝。作为示例，质量指标U_i(1≤i≤m)的评分S_i可以限定在预定的范围内，作为示例，可以将该预定范围的上限设定为500。S_i的数值越大，表明评价越高；质量指标U_i的权重值R_i可取值为0至1范围内的某个数值，且R_i数值越大，表明相应的质量指标越重要。

由上可得，软件的评估总分

作为示例，假定从六个质量指标对软件质量进行评估，这些质量指标是：功能性、可靠性、易用性、效率、可维护性、可移植性；因此上述软件质量评估方法中，m＝6。

下面给出根据各项质量指标中出现的bug来动态确定质量指标的权重值和得分的方法。

在这个示例中，针对某一版本所采集的质量指标数据为与该版本的软件中各项质量指标相应的bug的数目。作为示例，若同一个bug在针对多个质量指标的数据采集中出现，则该bug在其出现的每一个质量指标中均需计数。

作为另一示例，在对bug分等级的情况下，所采集的质量指标数据也可以为与各项质量指标相应的各个等级下的bug的数目。

可以根据对软件质量影响程度的不同，将bug分成预定数目的等级，并为每个等级设定相应的权重值。比如，bug的等级可以分为高、中、低三级，其加权值可以分别为3、2、1。假定对某个版本V_j的软件的质量指标U_i，加权处理后的bug数为bug_ij，设定该版本V_j的软件的质量指标U_i的得分为S_ij，可根据下列公式计算该得分S_ij：

bug_ij*S_ij＝T_i；

上述公式中，对不同的质量指标U_i，T_i所取的值不同。作为示例，T_i的值可预先设定，也可对软件的初始版本V₀的每个质量指标U_i设定一得分值S_i0，由T_i＝bug_i0*S_i0计算得到。

若根据上述公式，计算得到的S_ij不小于得分的上限值500，则取S_ij＝500。

上述计算各个质量指标得分的过程针对每个版本的软件进行，且上述对bug_i的计算是在考虑到将bug分等级并为每个等级分配不同的权重值的情况下进行的。本领域技术人员应该理解，也可以不对bug分等级而直接利用针对每项质量指标所获得bug数。

可以依据下面的公式来计算质量指标U_i的权重值R_i：

$R_i={\mathrm{bug}}_i/\underset{i=1}{\overset{6}{\mathrm{\Σ}}}{\mathrm{bug}}_i$

需要注意的是，上述数据bug_i来自于最新版本的软件。

本领域技术人员应该理解，上述对质量指标的权重值以及得分情况的计算只是示例性的，本领域技术人员可以根据实际需要做出改变。

在步骤106中，可由上述计算得到的各项质量指标U_i的权重值R_i，和各项质量指标U_i在某个版本的软件V_j中的得分S_ij，利用公式计算该版本的软件V_j的得分Q_j。

对每个版本的软件，依据采集获得的数据，执行上述过程，并得到每个版本的软件的每项质量指标的得分；依据该得分以及得到的上述权重值，计算得到各个版本的软件的质量得分，从而获得针对各个版本的软件的质量的变化趋势。

作为示例，下面给出了另一种根据用户反馈来对软件质量进行评估的方法。

假定在针对最新版本的软件的调查问卷中，我们设定了若干个质量指标，作为示例，这里设定为5个质量指标U_i(i＝1，2，...，5)。用户对该5个质量指标按照重视程度进行排序，并针对用户体验进行评分。将用户按照重视程度排序为第1-5位的得分分别设定为某个预设值，作为示例，这里第1-5位分别设定为5、4、3、2、1分。根据抽样获得的样本得到质量指标U_i(i＝1，2，...，5)根据重视程度所得的平均分n_i。

计算U_i的权重值R_i为：

根据抽样样本中针对用户体验的评分，对质量指标U_i的评分取平均值而计算获得该质量指标U_i的得分S_i。

根据上述计算得到的各项质量指标U_i的得分和权重值，利用公式计算该项软件的得分。

对每个版本的软件，依据样本采集获得的数据，根据上述过程中相同的方式计算并得到每个版本的软件的各项质量指标的得分；根据该得分，以及由最新版本采集的数据得到的上述权重值，计算得到各个版本的软件的质量得分，从而获得针对各个版本的软件的质量的变化趋势。

图2示出了根据本发明示例性实施例的对不同版本的软件质量进行评估的系统的框图，所述系统包括：模型选择单元201、体系建立单元202、数据采集单元203、权重值确定单元204、得分确定单元205、质量评价单元206。

其中，模型选择单元201根据评估对象选择适合的软件评估模型。作为示例，模型选择单元201可选择软件领域中已经存在并被广泛使用的软件评估模型，如ISO9000、CMMI等；这些可选的软件评估模型可预先存储于评测标准库中，可根据评估对象与实际需求选择相应的软件评估模型。

体系建立单元202根据通过模型选择单元201选择的软件评估模型选择适当的质量指标，以建立质量评估体系。每一软件评估模型下，都有多个可选的质量指标。在体系建立单元202确定了软件评估模型之后，用户可根据实际应用需求，选择适当的质量指标，以构建软件质量评估体系。

数据采集单元203采集最新版本的软件的每项质量指标数据并保存。被采集的质量指标数据可保存于质量指标数据库中。作为示例，数据采集单元203所采集的质量指标数据可以为与各项质量指标相应的bug的数目。作为另一示例，数据采集单元203所采集的质量指标数据也可以为从用户反馈的质量指标的重要性排序以及给出的每项质量指标的评分。当然，这只是示例性的，本领域技术人员可以根据需要来确定质量指标数据。

权重值确定单元204，根据数据采集单元203采集的最新版本的软件的各项质量指标的数据，确定选择的各项质量指标的权重值。

得分确定单元205根据数据采集单元203采集的最新版本的软件的各项质量指标的数据，确定各项质量指标在各个版本的软件中的得分。

质量评价单元206根据权重值确定单元204由最新版本的软件的质量指标数据确定的各项质量指标的权重值，以及得分确定单元205确定的各项质量指标在各个版本的软件中的得分，确定各个版本的软件的质量得分及变化趋势。

作为示例，利用上述软件质量评估系统对软件的质量进行评估。其中，如对步骤S104至步骤S106详细描述的，体系建立单元202可以基于选择的比如六项质量指标(功能性、可靠性、易用性、效率、可维护性、可移植性)建立质量评估体系；数据采集单元203采集最新版本的软件的各项质量指标的数据，数据采集单元203采集的数据可以只包括与各项质量指标相应的bug的数目。作为另一示例，数据采集单元203采集的数据可以包括与各个版本中各项质量指标相应的各个等级下的bug的数目，在这种情况下，权重值确定单元204通过各个版本中与各项质量指标相应的各个等级下的bug的数目，利用前述的加权方式，确定与各项质量指标相应的bug数目。作为另一示例，数据采集单元203采集的数据可以包括从用户反馈的信息，比如用户根据重视程度对各项质量指标进行的排序以及用户根据其体验对各项质量指标进行的评分。

权重值确定单元204针对数据采集单元203采集的最新版本的软件的不同数据，利用上述对权重值进行计算的计算方式计算各项质量指标的权重值。得分确定单元205利用各个版本的软件的数据和上述针对不同数据对得分进行计算的方式，对各项质量指标在各个版本的软件中的得分进行计算。质量评价单元206可如上所述根据由最新版本的软件的质量指标数据得到的各项质量指标的权重值，和各项质量指标在各个版本的软件中的得分，确定该软件各个版本的质量得分及变化趋势。

以上描述了本发明的优选实施例，但是，该实施例仅是示例性的，而不是要限制本发明的范围，本发明的范围由所附权利要求书及其等同物限定。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器或随机存储存储器等。

此外，尽管已经详细描述了本发明及其优势，但应该理解，可以在不背离所附权利要求限定的本发明主旨和范围的情况下，进行各种不同的改变、替换和更改；而且，本发明的范围并不仅限于本说明书中描述的系统、方法和步骤的实施例。作为本发明普通技术人员应理解，通过本发明，现有的或今后开发的用于执行和根据本发明所采用的技术方案基本相同的方式或获得基本相同结果的方法和步骤根据本发明可以被使用。

Claims (12)

1.一种对至少一个版本的软件进行质量评估的方法，包括：

选择软件评估模型；

基于选择的软件评估模型，选择对软件质量进行评估的各项质量指标以建立质量评估体系；

针对最新版本的软件的各项质量指标采集数据并保存；

基于采集的最新版本的软件的质量指标数据确定各项质量指标的权重值；

基于之前保存的每个版本的软件的质量指标数据确定每个版本的软件的各项质量指标的得分；

根据各项质量指标的权重值以及各项质量指标在每个版本的软件中的得分，确定每个版本的软件的质量得分，从而确定各个版本的软件的质量的变化趋势。

2.如权利要求1所述的方法，其特征在于，针对最新版本的软件的各项质量指标采集的数据为分别与该版本的软件的各项质量指标相应的bug数目。

3.如权利要求1所述的方法，其特征在于，针对最新版本的软件的各项质量指标采集的数据为分别与该版本的软件的各项质量指标相应的各个bug等级下的bug的数目，其中，根据各个bug等级下的bug的数目确定与该版本的软件的各个质量指标相应的加权的bug数目，并将与该版本的软件的各项质量指标相应的加权的bug数目作为与该版本的软件的各项质量指标相应的bug数目以确定该版本的软件的各项质量指标的权重值。

4.如权利要求2或3所述的方法，其特征在于，根据与最新版本的软件的各项质量指标相应的bug数目和与各项质量指标相应的bug数目之和的比值来确定各项质量指标的权重值。

5.如权利要求4所述的方法，其特征在于，根据与每个版本的软件的各项质量指标相应的bug数目来确定每个版本的软件的各项质量指标的得分。

6.如权利要求1所述的方法，其特征在于，针对最新版本的软件的各项质量指标采集的数据为包括用户对该版本的软件的各项质量指标的重要性进行排序以及评分的反馈信息，其中，利用用户对最新版本的软件的各项质量指标的重要性进行的排序来确定该版本的软件的各项质量指标的权重值；并且在基于针对之前各个版本的软件采集的数据确定之前各个版本的软件的各项质量指标的得分的步骤中，利用用户对该版本的软件的各项质量指标的评分来确定该版本的软件的各项质量指标的得分。

7.一种对软件质量进行评估的系统，包括：

模型选择单元，选择软件评估模型；

体系建立单元，基于选择的软件评估模型，选择对软件质量进行评估的各项质量指标以建立质量评估体系；

数据采集单元，针对最新版本的软件的各项质量指标采集数据并保存；

权重值确定单元，基于采集的最新版本的软件的质量指标数据确定各项质量指标的权重值；

得分确定单元，基于之前保存的每个版本的软件的质量指标数据确定每个版本的软件的各项质量指标的得分；

质量评价单元，根据各项质量指标的权重值以及各项质量指标在各个版本的软件中的得分，确定各个版本的软件的质量得分及变化趋势。

8.如权利要求7所述的系统，其特征在于，数据采集单元采集的数据为最新版本的软件中分别与各项质量指标相应的bug数目。

9.如权利要求7所述的系统，其特征在于，数据采集单元采集的数据为最新版本的软件中分别与各项质量指标相应的各个bug等级下的bug的数目，其中，权重值确定单元根据各个bug等级下的bug的数目确定与各个质量指标相应的加权的bug数目，并将该加权的bug数目作为与各项质量指标相应的bug数目以确定各项质量指标的权重值。

10.如权利要求8或9所述的系统，其特征在于，权重值确定单元根据与各项质量指标相应的bug数目和与各项质量指标相应的bug数目之和的比值来确定各项质量指标的权重值。

11.如权利要求10所述的系统，其特征在于，得分确定单元根据与每个版本的软件的各项质量指标相应的bug数目来确定每个版本的软件的各项质量指标的得分。

12.如权利要求7所述的系统，其特征在于，数据采集单元采集的数据为包括用户对各项质量指标的重要性进行排序以及评分的反馈信息，权重值确定单元利用用户对各项质量指标的重要性进行排序来确定各项质量指标的权重值，并且得分确定单元利用用户对各项质量指标的评分来确定各项质量指标的得分。