CN103257917A - 软件测评系统管理方法 - Google Patents

Abstract

本发明公开了软件测评系统管理方法，包括：获取测试信息并根据所述测试信息生成测试执行集，所述测试信息包括委托方提交的系统需求、项目负责人提交的测试计划表、项目成员提交的测试需求、测试组成员提交的测试用例；与快速测试工具建立关联，执行所述测试执行集；根据所述快速测试工具执行的结果生成相应的测试报告。采用本发明，可全程跟踪从计划、需求、用例、执行、缺陷、报告等每一环节，实现“一站式”测试项目管控。并且能够自动化地执行信息化各应用软件的测试工作，从而加速测试的过程，提升测试速度，提高测试项目的执行效率。

Description

软件测评系统管理方法

技术领域

本发明涉及计算机技术领域，尤其涉及软件测评系统管理方法。

背景技术

随着电力行业信息化建设步伐的加快，信息化在电力行业的应用越来越广泛，与之相关的业务支撑系统及平台呈规模化、复杂化的发展趋势，对相应的软件的质量要求越来越高，因此对软件质量保证的方法和手段要求也越来越高。    

由于安全信息化建设的范围和深度在逐渐扩展，信息化测评逐步深入、大范围的展开，信息化测评实验室在管理手段、自主技术研究等方面逐步面临一些新的挑战，不少软件测评系统相继成立。

但目前，国内的软件测评系统普遍存在定位不清晰、标准不统一、原始手工管理模式、过程无法度量、指标无法量化等问题，这些问题的存在导致电力信息化过程中，缺乏有效的测评数据，导致无法对应用项目的启动提供依据，建设过程无法监控、实施后无法评价，无法全程跟踪从计划、需求、用例、执行、缺陷、报告等每一环节，难以实现“一站式”测试项目管控。并且，在执行信息化各应用软件的测试工作时，无法满足自动化地执行；对于版本变更频繁的被测系统，测试执行效率低，制约了测评实验室的发展。

发明内容

本发明所要解决的技术问题在于，提供一种软件测评系统管理方法，可全程跟踪从计划、需求、用例、执行、缺陷、报告等每一环节，实现“一站式”测试项目管控。并且能够自动化地执行信息化各应用软件的测试工作，从而加速测试的过程，提升测试速度，提高测试项目的执行效率。 

为了解决上述技术问题，本发明提供了一种软件测评系统管理方法，其包括：

获取测试信息并根据所述测试信息生成测试执行集，所述测试信息包括委托方提交的系统需求、项目负责人提交的测试计划表、项目成员提交的测试需求、测试组成员提交的测试用例；

与快速测试工具建立关联，执行所述测试执行集；

根据所述快速测试工具执行的结果生成相应的测试报告。

作为上述方案的改进，所述获取测试信息并根据所述测试信息生成测试执行集的步骤包括：

建立所述系统需求、测试需求及测试用例之间的关联；

根据所述系统需求、测试需求、测试用例、缺陷信息之间的关联生成跟踪矩阵；

根据所述测试用例生成测试执行集。

作为上述方案的改进，所述与快速测试工具建立关联，执行所述测试执行集的步骤包括：

向所述快速测试工具发送远程测试请求；

与所述快速测试工具建立远程连接，并执行所述测试执行集；

获取所述快速测试工具执行所述测试执行集的结果信息，所述结果信息包括测试执行状态信息、缺陷信息；

所述快速测试工具执行所述测试执行集的方法包括快速定位、快速执行、快速校验。

作为上述方案的改进，所述快速执行包括：

获取通过所述快速定位查找的测试用例；

根据所述测试用例生成所述测试执行集；

将所述测试执行集分配至测试主机并运行所述测试执行集。

作为上述方案的改进，所述快速校验包括：

回归测试时，收集被测系统中测试代码的覆盖率信息，统计生成测试覆盖率报表；

比对所述被测系统中前一版本和后一版本之间的差异化，生成差异化结果；

比对所述测试覆盖率报表及差异化结果，判断所述回归测试是否覆盖了差异部分。

作为上述方案的改进，所述根据所述快速测试工具执行的结果生成相应的测试报告的步骤包括：

建立所述测试信息与所述缺陷信息之间的关联；

根据所述缺陷信息生成问题分析报告；

根据所述问题分析报告生成所述测试报告。

作为上述方案的改进，还包括：

建立知识库，存储有参考价值的知识；

建立文档库，存储项目文档。

作为上述方案的改进，还包括：

实时跟踪委托方所提供的与所述测试信息相关的测试样品的流转情况，生成样品流转卡；

实时跟踪并获取设备的运行情况，所述运行情况包括设备的采购申请、设备验收、设备登记、使用登记、校验维护及设备维修管理。

作为上述方案的改进，还包括：

实时跟踪并获取测评系统进度情况，所述进度情况包括项目计划及任务的进度信息，计划阶段与实际阶段进度的对比信息，计划任务与实际任务进度的对比信息；

实时跟踪并获取测评系统工作量情况，所述工作量情况包括系统中所有项目人员、任务的安排情况。

作为上述方案的改进，还包括：

设定项目要收集的质量指标，并指定质量目标范围，通过收集项目过程中产生的数据，查看该项目各指标质量的情况；

统计分析具体的某个项目以及系统内项目，所述具体某一项目的统计内容包含：绩效指标分析、项目数据分析以及测试数据分析。

实施本发明的有益效果在于：可全程跟踪从计划、需求、用例、执行、缺陷、报告等每一环节，实现“一站式”测试项目管控，改变了原始手工管理模式。通过对测试项目的委托、需求管理、用例管理、执行管理、缺陷管理、测试报告管理的跟踪和管理以及对测试过程数据的收集、统计，确保项目测试过程的全面跟踪以及对测试数据的全方位统计分析，保证测试项目各项目标的实现。为决策提供有效依据，同时降低投资成本，充分保证了公司信息系统在设计、开发和运行各阶段有序可控。

另外，通过与快速测试工具建立关联，通过快速定位、快速执行以及快速校验，能够自动化地执行信息化各应用软件的测试工作，针对版本变更频繁的被测系统开展快速定位，测试项目的执行效率高，从而可以加速测试的过程，提升测试速度，提高测试项目的执行效率。

附图说明

图1是本发明一种软件测评系统管理方法的实施例流程示意图；

图2是本发明一种软件测评系统管理方法的又一实施例流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

图1是本发明一种软件测评系统管理方法的实施例流程示意图，包括：

100，获取测试信息并根据所述测试信息生成测试执行集。

所述测试信息包括委托方提交的系统需求、项目负责人提交的测试计划表、项目成员提交的测试需求、测试组成员提交的测试用例。

委托方根据实际需求填写具体的系统需求，并导入软件测评平台，项目负责人根据委托方的系统需求建立测试计划表并提交，项目成员根据委托方的系统需求建立测试需求并提交，测试组成员根据项目成员的测试需求建立测试用例并提交。

软件测评系统建立所述系统需求、测试需求及测试用例之间的关联，并根据所述系统需求、测试需求、测试用例、缺陷信息之间的关联生成跟踪矩阵。软件测评系统根据所述测试用例生成测试执行集。

101，与快速测试工具建立关联，执行所述测试执行集。

所述与快速测试工具建立关联包括建立远程测试连接，具体的，软件测评系统向所述快速测试工具发送远程测试请求，与所述快速测试工具建立远程连接，并执行所述测试执行集，再获取所述快速测试工具执行所述测试执行集的结果信息，所述结果信息包括测试执行状态信息、缺陷信息；

所述快速测试工具执行所述测试执行集的方法包括快速定位、快速执行、快速校验。

102，根据所述快速测试工具执行的结果生成相应的测试报告。

具体的，所述软件测评系统建立所述测试信息与缺陷信息之间的关联，并根据所述缺陷信息生成问题分析报告，再根据所述问题分析报告生成测试报告。

图2是本发明一种软件测评系统管理方法的又一实施例流程示意图，包括：

200,获取测试信息。

所述测试信息包括委托方提交的系统需求、项目负责人提交的测试计划表、项目成员提交的测试需求、测试组成员提交的测试用例。

委托方根据实际需求填写具体的系统需求，并导入软件测评平台，项目负责人根据委托方的系统需求建立测试计划表并提交，项目成员根据委托方的系统需求建立测试需求并提交，测试组成员根据项目成员的测试需求建立测试用例并提交。

201, 建立所述系统需求、测试需求及测试用例之间的关联。

需要说明的是，所述系统需求、测试需求及测试用例之间具有具体的关联关系，测试需求根据系统需求所建立，测试用例依据测试所需求建立。一个测试需求可对应多个测试用例。

202,根据所述系统需求、测试需求、测试用例、缺陷信息之间的关联生成跟踪矩阵。

通过跟踪矩阵可直观地展现出所述系统需求、测试需求、测试用例、缺陷信息之间的追踪关系，为测试员提供人性化的查阅界面，满足需求。

例如，测试员可选择任意的系统需求查看其跟踪矩阵以展示与其相关联的测试需求、测试用例、缺陷信息。当系统需求未关联任何测试需求时，跟踪矩阵将显示为空白。

203,根据所述测试用例生成测试执行集。

204, 向所述快速测试工具发送远程测试请求。

205,与所述快速测试具建立远程连接，并执行所述测试执行集。

需要说明的是，实际应用中，当不需要远程测试时，可不执行204,由软件测评系统直接与快速测试工具建立连接，执行所述测试执行集。

更佳地，所述执行测试执行集的方法包括手动执行及自动执行。

所述快速执行具体包括：快速定位、快速执行、快速校验。

其中，快速测试工具获取通过快速定位所查找的测试用例，根据所述测试用例生成测试执行集，并将所述测试执行集分配至测试主机并运行所述测试执行集。回归测试时，收集被测系统中测试代码的覆盖率信息，统计生成测试覆盖率报表，比对所述被测系统中前一版本和后一版本之间的差异化，生成差异化结果，还比对所述测试覆盖率报表及差异化结果，判断所述回归测试是否覆盖了差异部分。

206,获取所述快速测试工具执行所述测试执行集的结果信息。

所述结果信息包括测试执行状态信息、缺陷信息。

207,建立所述测试信息与缺陷信息之间的关联。

需要说明的是，当测试用例被执行，且执行失败后，将产生缺陷。建立所述测试用例与缺陷信息之间的关联，可直观地反应出缺陷信息所对应的测试用例。

更佳地，所述软件测评系统管理方法还包括：根据所述系统需求、测试需求、测试用例、缺陷信息之间的关联生成跟踪矩阵。

通过跟踪矩阵可直观地展现出所述系统需求、测试需求、测试用例、缺陷信息之间的追踪关系，为测试员提供人性化的查阅界面，满足需求。

例如，测试员可选择任意的系统需求查看其跟踪矩阵以展示与其相关联的测试需求、测试用例、缺陷信息。当系统需求未关联任何测试需求时，跟踪矩阵将显示为空白。

208,根据所述缺陷信息生成问题分析报告。

需要说明的是，所述缺陷信息与测试用例、测试需求、系统需求间已建立关联，根据所述缺陷信息可直接查找出相关的测试用例、测试需求、系统需求，建立完善的跟踪关联，大大地提高了问题分析报告的针对性。

209，根据所述问题分析报告生成测试报告。

210, 实时跟踪委托方所提供的与所述测试信息相关的测试样品的流转情况，生成样品流转卡。

委托方所提供的样品会跟随测试的进行而流转至项目负责人或不同的测试组成员手中，项目负责人或测试组成员实时将样品流转情况上传，生成样品流转卡。

例如，委托方所提供的样品首先交费给项目负责人，项目负责人在收到样品的同时，将该样品的信息输入软件测试平台，平台获取该样品的信息后自动生成样品流转卡。由于测试的需要，当该样品转交至测试组成员A手中，A在已有的样品流转卡的基础上，添加新的样品流转信息，平台获取该样品的最新流转信息并生成样品流转卡。

211,实时跟踪并获取设备的运行情况。

所述运行情况包括设备的采购申请、设备验收、设备登记、使用登记、校验维护及设备维修管理。

软件测评系统通过实时获取各设备的运行情况，使用户可迅速了解各设备的各种信息，为项目的运行提供保障。

212,实时跟踪并获取测评系统进度情况。

所述进度情况包括项目计划及任务的进度信息，计划阶段与实际阶段进度的对比信息，计划任务与实际任务进度的对比信息。

213,实时跟踪并获取测评系统工作量情况。

需要说明的是，210~213各步骤之间没有必然的先后关系，与其它步骤也无必然的先后关系。

所述工作量情况包括系统中所有项目人员、任务的安排情况。

需要说明的是，本软件测评系统管理方法还包括：

设定项目要收集的质量指标，并指定质量目标范围，通过收集项目过程中产生的数据，查看该项目各指标质量的情况。

统计分析具体的某个项目以及系统内项目，所述具体某一项目的统计内容包含：绩效指标分析、项目数据分析以及测试数据分析。

还需要说明的是，软件系统测评管理方法还包括：

建立知识库，存储有参考价值的知识，以及建立文档库，存储项目文档，用以在测评项目时参考之用。

由上可知，通过所述软件测评系统管理方法可全程跟踪从计划、需求、用例、执行、缺陷、报告等每一环节，实现“一站式”测试项目管控。通过对测试项目的委托、需求管理、用例管理、执行管理、缺陷管理、测试报告管理的跟踪和管理以及对测试过程数据的收集、统计，确保项目测试过程的全面跟踪以及对测试数据的全方位统计分析，保证测试项目各项目标的实现。

另外，通过与快速测试工具建立关联，通过快速定位、快速执行以及快速校验，能够自动化地执行信息化各应用软件的测试工作，针对版本变更频繁的被测系统开展快速定位，测试项目的执行效率高，从而可以加速测试的过程，提升测试速度，提高测试项目的执行效率。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种软件测评系统管理方法，其特征在于，包括：

获取测试信息并根据所述测试信息生成测试执行集，所述测试信息包括委托方提交的系统需求、项目负责人提交的测试计划表、项目成员提交的测试需求、测试组成员提交的测试用例；

与快速测试工具建立关联，执行所述测试执行集；

根据所述快速测试工具执行的结果生成相应的测试报告。

2.如权利要求1所述的软件测评系统管理方法，其特征在于，所述根据所述测试信息生成测试执行集的步骤包括：

建立所述系统需求、测试需求及测试用例之间的关联；

根据所述系统需求、测试需求、测试用例、缺陷信息之间的关联生成跟踪矩阵；

根据所述测试用例生成测试执行集。

3.如权利要求1所述的软件测评系统管理方法，其特征在于，所述与快速测试工具建立关联，执行所述测试执行集的步骤包括：

向所述快速测试工具发送远程测试请求；

与所述快速测试工具建立远程连接，并执行所述测试执行集；

获取所述快速测试工具执行所述测试执行集的结果信息，所述结果信息包括测试执行状态信息、缺陷信息；

所述快速测试工具执行所述测试执行集的方法包括快速定位、快速执行、快速校验。

4.如权利要求3所述的软件测评系统管理方法，其特征在于，所述快速执行包括：

获取通过所述快速定位查找的测试用例；

根据所述测试用例生成所述测试执行集；

将所述测试执行集分配至测试主机并运行所述测试执行集。

5.如权利要求3所述的软件测评系统管理方法，其特征在于，所述快速校验包括：

回归测试时，收集被测系统中测试代码的覆盖率信息，统计生成测试覆盖率报表；

比对所述被测系统中前一版本和后一版本之间的差异化，生成差异化结果；

比对所述测试覆盖率报表及差异化结果，判断所述回归测试是否覆盖了差异部分。

6.如权利要求1所述的软件测评系统管理方法，其特征在于，所述根据所述快速测试工具执行的结果生成相应的测试报告的步骤包括：

建立所述测试信息与所述缺陷信息之间的关联；

根据所述缺陷信息生成问题分析报告；

根据所述问题分析报告生成所述测试报告。

7.如权利要求1所述的软件测评系统管理方法，其特征在于，还包括：

建立知识库，存储有参考价值的知识；

建立文档库，存储项目文档。

8.如权利要求1所述的软件测评系统管理方法，其特征在于，还包括：

实时跟踪委托方所提供的与所述测试信息相关的测试样品的流转情况，生成样品流转卡；

实时跟踪并获取设备的运行情况，所述运行情况包括设备的采购申请、设备验收、设备登记、使用登记、校验维护及设备维修管理。

9.如权利要求1所述的软件测评系统管理方法，其特征在于，还包括：

实时跟踪并获取测评系统进度情况，所述进度情况包括项目计划及任务的进度信息，计划阶段与实际阶段进度的对比信息，计划任务与实际任务进度的对比信息；

实时跟踪并获取测评系统工作量情况，所述工作量情况包括系统中所有项目人员、任务的安排情况。

10.如权利要求1所述的软件测评系统管理方法，其特征在于，还包括：

设定项目要收集的质量指标，并指定质量目标范围，通过收集项目过程中产生的数据，查看该项目各指标质量的情况；

统计分析具体的某个项目以及系统内项目，所述具体某一项目的统计内容包含：绩效指标分析、项目数据分析以及测试数据分析。

Images