CN105389250A - 追踪软件质量的方法和系统 - Google Patents

Abstract

本发明提出了一种追踪软件质量的方法和系统，所述方法包括：选择对软件进行质量评估的各项质量指标以建立质量评估体系；针对各个版本的软件，对各项质量指标的数据进行采集；基于采集的数据确定针对各个版本的软件的各项质量指标的得分；根据各项质量指标的权重值以及得分，确定软件的各个版本的质量得分及变化趋势。通过从各个质量指标获取数据去跟踪和对比软件的质量，从而更好地促进流程的不断优化，促进软件质量的不断提升。

Description

追踪软件质量的方法和系统

技术领域

本发明涉及软件测试领域，更具体地说，本发明涉及一种对软件不同时期版本的质量的变化趋势进行跟踪的方法和系统。

背景技术

软件质量，是软件具有满足规定的或隐含要求能力要求有关的特征与特征综合；软件评估，是对不同软件的整体质量进行评价的过程。

我们对软件进行质量评估时，一般都是基于不同软件之间的对比和权衡，以便于我们选择合适的软件。

在软件开发过程中，典型的软件测试流程为：开发工程师在完成软件开发后提出测试要求，测试工程师对完成的软件进行测试，开发人员修改软件中的bug后，测试工程师再次对软件进行测试；如此循环，直至最后软件发布。在目前的测试领域，因为软件迭代很快，测试人员的主要精力都放在测试软件当前的最新版本上。在测试中，我们只关心软件开发的中间软件bug的多少，软件预期的功能是否实现等，而缺乏对这些被发布的软件的质量度量。这种方式，虽然能保证最终发布软件的质量，但缺乏客观的数据去衡量各版本的软件的质量优劣状况，更无从了解软件各个版本的质量的变化趋势；而不了解软件各个版本的各项质量指标信息，也不利于以后软件的优化。

当软件经过测试并发布后，由于测试人员很少有精力对软件已经发布的版本进行测试，我们通常仅通过用户反馈来获得已发布版本所存在的缺陷和问题；这将存在很大的风险和不足，容易造成用户流失，并影响声誉。因此，我们一方面要保证软件的及时发布，另一方面我们需要尽量在用户之前发现和修复已经发布的软件存在的缺陷和问题，提高软件的质量和口碑。

针对上述问题，本发明提出了一种新的软件测试方法，在对软件进行测试的过程中，利用质量评估体系，对软件历次版本的质量进行度量，通过各项质量指标指标信息的获取，使软件各个版本的质量的变化趋势直观化，并促进软件的优化，提升软件质量；在另一方面，通过对软件的已发布版本进行质量监控，可及时发现软件的缺陷。

发明内容

为了获取软件历次版本的质量趋势，并主动发现已发布软件的缺陷，本发明提出了一种对软件质量进行评估的方法，通过这种方法，我们可以把握软件各版本的质量的变化趋势，及时发现已发布软件的缺陷，这样就有效地解决了前述现有方案的弊端。

一种对软件进行质量评估的方法，包括：选择对软件进行质量评估的各项质量指标以建立质量评估体系；针对各个版本的软件，对各项质量指标的数据进行采集；基于采集的数据确定针对各个版本的软件的各项质量指标的得分；根据各项质量指标的权重值以及得分，确定各个版本的软件的质量得分及变化趋势。

根据本发明的另一方面，选择的质量指标包括软件的bug数目、崩溃率、软件启动时间、软件启动时CPU占用率、软件启动时内存占用率。

根据本发明的另一方面，为不同等级的bug设置不同的权重值，将各个等级的bug进行加权求和后进行统计。

根据本发明的另一方面，所述各个版本的软件为已发布的软件。

根据本发明的另一方面，通过开发自动化测试用例，对各个版本的软件进行回归和接口测试。

根据本发明的另一方面，提供了一种对软件进行质量评估的系统，包括：体系建立单元，选择对软件进行质量评估的各项质量指标以建立质量评估体系；数据采集单元，针对各个版本的软件，对各项质量指标的数据进行采集；得分确定单元，基于采集的数据确定针对各个版本的软件的各项质量指标的得分；质量评价单元，根据各项质量指标的权重值以及得分，确定软件的各个版本的质量得分及变化趋势。

根据本发明的另一方面，体系建立单元选择的质量指标包括软件的bug数目、崩溃率、软件启动时间、软件启动时CPU占用率、软件启动时内存占用率。

根据本发明的另一方面，为不同等级的bug设置不同的权重值，将各个等级的bug的数目进行加权求和后进行统计。

根据本发明的另一方面，所述各个版本的软件为已发布的软件。

根据本发明的另一方面，数据采集单元通过开发自动化测试用例，对各个版本的软件进行回归和接口测试。

根据本发明所公开的技术方案，通过对软件中间产品和发布软件版本的数据采集，可客观全面地获取软件各项质量指标的变化趋势，从而更好地指导软件的设计和发展方向。

附图说明

图1示出了根据本发明示例性实施例对各版本的软件获取质量变化趋势的方法的流程图。

图2是根据本发明示例，显示各个版本的软件的质量指标的信息统计表。

图3是根据本发明示例，显示各个版本的软件的bug的数目。

图4是根据本发明示例，显示各个版本的软件的崩溃率。

图5是根据本发明示例，显示各个版本的软件的启动速度。

图6是根据本发明示例，显示各个版本的软件的CPU平均占用率。

图7是根据本发明示例，显示各个版本的软件启动时的内存平均占用率。

图8是根据本发明示例，显示各个版本的软件的整体质量评分。

图9示出了根据本发明示例性实施例对各个版本的软件获取质量变化趋势的系统的框图。

具体实施方式

为使本发明的特征及优点得到更清楚的了解，以下结合附图对本发明的示例性实施例进行详细说明。应当理解，这里给出的实施例只是示例性的，并不作为本发明的限制。

图1示出了根据本发明示例性实施例对各个版本的软件获取质量变化趋势的方法的流程图。

在步骤101中，选择适当的质量指标以建立软件质量评估体系。

作为一种选取质量指标以建立软件质量评估体系的方式，可根据被评估的软件项目的具体需求或工作经验进行选取。作为示例，构建该软件质量评估体系的质量指标可包括但不限于bug的数目、崩溃率、软件启动时间、软件启动时CPU占用率、软件启动时内存占用率等。在将bug的数目作为考核软件质量的指标时，可以根据对软件质量影响程度的不同，将bug分成预定数目的等级，并为每个等级设定相应的权重值。在考察各个版本的软件中bug的数目时，可对bug按照不同的等级加权处理后进行统计。崩溃率是指软件运行时崩溃的次数与运行次数的总数之间的比值。

在步骤102中，针对已发布的每个版本的软件，对软件质量评估体系中每项质量指标的数据进行采集。

对上述选取的质量指标采集数据时，若采集bug的信息，可通过一些bug管理平台获取，作为示例，比如Jira、Bugzilla、bugfree等。若采集崩溃率的数据，为便于统计，可通过采样的方式以统计崩溃率；作为示例，可自动运行软件一定次数，当软件崩溃时，将上报错误日志；将上报错误日志的次数与该运行软件的次数进行比较，即可得到崩溃率。若采集启动时间数据，可模拟用户点击，并统计从点击到软件运行之间的时间间隔；若采集CPU或内存的占用率，可模拟用户使用场景，并在这些场景中采集软件运行时所占用CPU和内存与其总量之间的比值。启动时间、CPU以及内存占用率可以通过软件本身的打点统计获得，也可以通过构建自动化测试用例来完成这些质量指标的采集。

通过构建自动化测试用例，不仅可对软件进行评估时采集质量指标数据，还可用于对已发布上线的软件进行回归和接口测试。在构建自动化测试用例时，可在系统中设置模型库，并在其中存储各种测试模型，用于描述被测软件的各种测试需求，以及各种测试需求的测试场景、输入值和测试预期等。在测试时，系统根据用户指令从该模型库中选取相应的测试模型，并构建自动化测试用例；若系统中不存在符合要求的相应模型，则根据用户指令建立符合要求的相应模型，存入该模型库，并依据该模型构建自动化测试用例。

在步骤103中，根据针对已发布的每个版本的软件采集的各项质量指标的数据，确定针对该版本的软件的各项质量指标的得分，并得到各项质量指标针对不同版本的软件的变化趋势图。根据质量指标数据计算得分，可利用预先设定的某个函数进行。作为示例，该函数可为一分段函数，对某个范围内的质量指标值均设定为一相同的得分；该函数也可设定为某一连续函数。

在步骤104中，根据各项质量指标的权重值以及得分，确定每个版本的软件的质量得分，以及得到不同版本的软件的得分变化趋势图。这里，为各项质量指标可以设定不同的权重值，当然，也可以将各项质量指标的权重值设定为相同的值。

这里，需要注意，本发明示出的步骤只是作为示例，本领域技术人员通过阅读说明书可以明白，可以以不同的顺序来执行本发明。

为使本发明的特征和优点得到进一步地阐述，下面用一个示例说明本发明的技术方案。

假设我们选择的质量指标为：bug数目、崩溃率、启动速度、CPU平均占用率、内存平均占用率。附图2-8分别给出了根据本发明示例，显示各个版本的软件的质量指标信息统计表，以及bug数目、崩溃率、启动速度、CPU平均占用率、内存平均占用率的变化趋势，和整体质量评分的变化趋势图。为便于观察各个质量指标的变化趋势，这里我们仅给出各个质量指标的变化趋势图；在计算得分时，可通过对每个质量指标设置一相应的分段函数来完成。从图中可见，该软件的各个版本的部分质量指标，如启动速度、CPU的平均占用率，一直处于优化趋势；bug总数、崩溃率则出现了反复，但除个别版本外，大体在某一合理范围内；此外，内存平均占用率并非一直处于优化趋势，在1.1.0的软件版本中出现了高点，从而导致该版本的整体质量处于低点，在后续版本中应着重解决该问题。

图9示出了根据本发明示例性实施例对各版本的软件获取质量变化趋势的系统的框图，所述系统包括：体系建立单元901，数据采集单元902，得分确定单元903，质量评价单元904。

体系建立单元901，选择适当的质量指标以建立软件质量评估体系。作为体系建立单元901一种选取质量指标以建立软件质量评估体系的方式，可由体系建立单元901根据被评估的软件项目的具体需求或工作经验进行选取。作为示例，构建该软件质量评估体系的质量指标可包括但不限于bug的数目、崩溃率、软件启动时间、软件启动时CPU占用率、软件启动时内存占用率等。在将bug的数目作为考核软件质量的指标时，可以根据对软件质量影响程度的不同，将bug分成预定数目的等级，并为每个等级设定相应的权重值。在考察各个版本的软件中的bug的数目时，可对bug按照不同的等级加权处理后进行统计。崩溃率是指软件运行时崩溃的次数与运行次数的总数之间的比值。

数据采集单元902，针对已发布的每个版本的软件，对软件质量评估体系中每项质量指标的数据进行采集。

数据采集单元902对上述选取的质量指标采集数据时，若采集bug的信息，可通过一些bug管理平台获取，作为示例，比如Jira，Bugzilla，bugfree等。若采集崩溃率的数据，为便于统计，可通过采样的方式以统计崩溃率；作为示例，可自动运行软件一定次数，当软件崩溃时，将上报错误日志；将上报错误日志的次数与该运行软件的次数进行比较，即可得到崩溃率。若采集启动时间数据，可模拟用户点击，并统计从点击到软件运行之间的时间间隔；若采集CPU或内存的占用率，可模拟用户使用场景，并在这些场景中采集软件运行时所占用CPU和内存与总量之间的比值。启动时间、CPU以及内存占用率可以通过软件本身的打点统计获得，也可以通过构建自动化测试用例来完成这些质量指标的采集。

通过构建自动化测试用例，数据采集单元902不仅可对软件进行评估时采集质量指标数据，还可用于对已发布上线的软件进行回归和接口测试。在构建自动化测试用例时，可在系统中设置模型库，并在其中存储各种测试模型，用于描述被测软件的各种测试需求，以及各种测试需求的测试场景、输入值和测试预期等。在测试时，系统根据用户指令从该模型库中选取相应的测试模型，并构建自动化测试用例；若系统中不存在符合要求的相应模型，则根据用户指令建立符合要求的相应模型，存入该模型库，并依据该模型构建自动化测试用例。

得分确定单元903，根据针对已发布的每个版本的软件采集的各项质量指标的数据，确定针对该版本的软件的各项质量指标的得分，并得到各项质量指标针对不同版本的软件的变化趋势图。

质量评价单元904，根据各项质量指标的权重值以及得分，确定每个版本的软件的质量得分，以及得到不同版本的软件的得分变化趋势图。这里，为各项质量指标可以设定不同的权重值，当然，也可以将各项质量指标的权重值设定为相同的值。

以上描述了本发明的优选实施例，但是，该实施例仅是示例性的，而不是要限制本发明的范围，本发明的范围由所附权利要求书及其等同物限定。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储器或随机存储存储器等。

此外，尽管已经详细描述了本发明及其优势，但应该理解，可以在不背离所附权利要求限定的本发明主旨和范围的情况下，进行各种不同的改变、替换和更改；而且，本发明的范围并不仅限于本说明书中描述的系统、方法和步骤的实施例。作为本发明普通技术人员应理解，通过本发明，现有的或今后开发的用于执行和根据本发明所采用的技术方案基本相同的方式或获得基本相同结果的方法和步骤根据本发明可以被使用。

Claims (10)

1.一种对软件进行质量评估的方法，包括：

选择对软件进行质量评估的各项质量指标以建立质量评估体系；

针对各个版本的软件，对各项质量指标的数据进行采集；

基于采集的数据确定针对各个版本的软件的各项质量指标的得分；

根据各项质量指标的权重值以及得分，确定各个版本的软件的质量得分及变化趋势。

2.如权利要求1所述的方法，其特征在于，选择的质量指标包括软件的bug数目、崩溃率、软件启动时间、软件启动时CPU占用率、软件启动时内存占用率。

3.如权利要求2所述的方法，其特征在于，为不同等级的bug设置不同的权重值，将各个等级的bug进行加权求和后进行统计。

4.如权利要求1所述的方法，其特征在于，所述各个版本的软件为已发布的软件。

5.如权利要求4所述的方法，其特征在于，通过开发自动化测试用例，对各个版本的软件进行回归和接口测试。

6.一种对软件进行质量评估的系统，包括：

体系建立单元，选择对软件进行质量评估的各项质量指标以建立质量评估体系；

数据采集单元，针对各个版本的软件，对各项质量指标的数据进行采集；

得分确定单元，基于采集的数据确定针对各个版本的软件的各项质量指标的得分；

质量评价单元，根据各项质量指标的权重值以及得分，确定软件的各个版本的质量得分及变化趋势。

7.如权利要求6所述的系统，其特征在于，体系建立单元选择的质量指标包括软件的bug数目、崩溃率、软件启动时间、软件启动时CPU占用率、软件启动时内存占用率。

8.如权利要求6所述的系统，其特征在于，为不同等级的bug设置不同的权重值，将各个等级的bug的数目进行加权求和后进行统计。

9.如权利要求6所述的系统，其特征在于，所述各个版本的软件为已发布的软件。

10.如权利要求9所述的系统，其特征在于，数据采集单元通过开发自动化测试用例，对各个版本的软件进行回归和接口测试。