CN111274136A - 一种机载软件测试管理系统和测试过程管理方法 - Google Patents

Abstract

本发明实施例公开了一种机载软件测试管理系统和测试过程管理方法，包括：测试工具管理模块、测试项目管理模块、测试过程管理模块、测试公共管理模块、软件缺陷管理模块和测试用例数据管理模块；其中，测试工具管理模块用于为对测试工具进行管理；测试项目管理模块用于为对测试项目执行过程中的所有活动进行管理；测试过程管理模块用于为对从测试开始到测试结束之间的所有活动进行管理；测试公共管理模块用于为对测试管理系统环境的管理，对测试组织、测试资产和相关资源的管理。本发明实施例通过提出的管理方案，以实现对测试工具、测试项目、测试过程、测试用例、软件缺陷等的集成式管理。

Description

一种机载软件测试管理系统和测试过程管理方法

技术领域

本申请涉及但不限于航空机载软件测试技术领域，尤指一种机载软件测试管理系统和测试过程管理方法。

背景技术

由于机载软件在航空系统中发挥的作用越来越大，软件质量已成为系统研制工作的焦点之一。航空系统的需求、数据、接口、故障、环境和流程等愈加复杂，给航空机载软件质量带来了巨大挑战，也给机载软件测试带来了极大的困难。一方面要求不断完善测试技术和方法，满足新的软件设计方法和越来越严格的标准要求；另一方面要求对测试人员、工具、过程、项目、工作产品等进行科学管理，测试任务能否顺利完成很大程度上取决于管理的严格程度和规范性。

目前，国内航空领域的部分科研院所已建立了软件测试过程管理体系，依据质量手册、程序文件、作业指导书和文本模板等指导和约束软件测试过程，图1为现有机载软件测试测试过程的模型示意图。国内外已有较多软件过程管理或项目管理平台，但这些工具大多面向整个软件研制过程，而非针对软件测试过程或测试项目。而且，软件测评机构往往依据组织内部情况开发管理平台，对国内航空企业的适应性不强。

发明内容

为了解决上述技术问题，本发明实施例提供了一种机载软件测试管理系统和测试过程管理方法，通过提出的软件测试项目管理方案、测试过程管理方案和测试公共管理、软件缺陷库管理、工具管理和用例管理方案，以实现对测试工具、测试项目、测试过程、测试用例、软件缺陷等的集成式管理。

本发明实施例提供一种机载软件测试管理系统，包括：测试工具管理模块、测试项目管理模块、测试过程管理模块、测试公共管理模块、软件缺陷管理模块和测试用例数据管理模块；其中，所述测试工具管理模块分别与测试项目管理模块、测试过程管理模块和测试公共管理模块相连接，所述测试项目管理模块、测试过程管理模块和测试公共管理模块之间两两连接，所述测试项目管理模块、测试过程管理模块和测试公共管理模块还分别与软件缺陷管理模块和测试用例数据管理模块相连接；

所述测试工具管理模块，被配置为对测试工具进行管理；

所述测试项目管理模块，被配置为对测试项目执行过程中的所有活动进行管理；

所述测试过程管理模块，被配置为对从测试开始到测试结束之间的所有活动进行管理；

所述测试公共管理模块，被配置为对测试管理系统环境的管理，对测试组织、测试资产和相关资源的管理。

可选地，如上所述的机载软件测试管理系统中，所述测试工具管理模块包括：黑盒测试工具、白盒测试工具、性能测试工具、静态分析工具；所述测试工具管理模块对测试工具进行管理，包括：

所述测试工具管理模块，被配置为对黑盒测试工具、白盒测试工具、性能测试工具、静态分析工具和测试辅助工具进行管理。

可选地，如上所述的机载软件测试管理系统中，所述测试项目管理模块对测试项目执行过程中的所有活动进行管理，包括：

所述测试项目管理模块，被配置为对测试项目立项、配置管理、测试策划，项目跟踪与控制，测试项目评审和项目外协管理进行管理。

可选地，如上所述的机载软件测试管理系统中，

所述测试项目立项包括：下达测试任务、确定项目基本情况、确定项目角色，并为项目角色分配项目权限和职责；

所述配置管理包括：执行测试出库、测试入库、功能审核；

所述测试策划指：在测试开始前进行测试规模和工作量估计、分解WBS、识别和分析项目风险并制定解决对策；

所述项目跟踪与控制包括：制定测量分析计划，采集和分析测量数据，并通过例会、周报等形式跟踪项目风险、进度、测试充分性、测试有效性、工具和资源的使用情况；

所述测试项目评审包括：技术评审或同行评审，以及管理评审或里程碑评审，对评审发现的不符合项制定应对措施。

可选地，如上所述的机载软件测试管理系统中，所述测试过程管理模块对从测试开始到测试结束之间的所有活动进行管理，包括：

所述测试过程管理模块，被配置为对测试需求分析、测试计划编制、测试设计与执行、测试总结、项目质量保证进行管理。

可选地，如上所述的机载软件测试管理系统中，

所述测试需求分析包括：需求分析和需求管理；

所述测试设计与执行包括：用例设计，测试执行和测试记录；

所述测试总结包括：工作总结和问题管理；

所述项目质量保证包括：质量计划，过程和产品质量，过程和产品审核。

本发明实施例还提供一种机载软件的测试过程管理方法，采用如上述任一项所述的机载软件测试管理系统执行测试管理方法，所述测试管理方法包括：

对立项的测试项目进行测试需求分析；

对通过测试需求评审的测试项目编制测试计划；

对通过评审的测试计划搭建测试环境，设计测试用例；

进行测试用例评审和测试就绪评审；

对评审通过的测试项目分配测试任务，执行测试用例并记录执行数据；其中，对测试过程管理中发现的测试问题进行测试问题管理；

对测试结果进行分析，并判断是否结束测试；

在不结束测试的情况下，返回再次执行测试用例并记录执行数据到对测试结果进行分析的步骤，直到判断结束测试。

可选地，如上所述的机载软件的测试过程管理方法中，所述对测试过程管理中发现的测试问题进行测试问题管理，包括：

对发现的测试问题或遗留的测试问题，生成问题报告单；

在确定所述测试问题不是问题、且拒绝修改程序或文档的情况下，关闭问题；

在确定所述测试问题是问题、且同意修改的情况下，提交修复后的软件资料进行回归测试；

在确定所述测试问题是问题、且暂不更改的情况下，将测试问题作为遗留问题进行跟踪和控制。

本发明实施例提供的机载软件测试管理系统和测试过程管理方法，机载软件测试管理系统以软件测试过程模型为基础，且具备良好的可扩展性，用户可在此基础上进行扩展和修改；该技术方案可以实现对软件测试工具、项目、过程、需求、用例、缺陷、人员、文档等的集成式管理，提高管理效率；将其与局域网连接，管理人员、测试人员、开发人员、质量保证人员等可随时访问，提供协同工作模式，提高工作效率。另外，软件测试过程管理和项目方案满足各过程域的要求，为用户执行测试任务提供技术向导和管理依据，用户可建立测试过程管理流程和项目管理流程，并根据需要对工作流程进行定制或裁剪。再者，软件测试问题管理流程建立了软件问题与测试用例、执行记录、处理过程等的追溯关系，实现了对软件问题的全生命周期管理；通过对测试用例、软件缺陷、测试过程数据等进行统一管理，便于复用和分析，共同构成软件测试机构的组织资产。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为现有机载软件测试测试过程的模型示意图；

图2为本发明实施例提供的一种机载软件测试管理系统的结构示意图；

图3为本发明实施例提供的另一种机载软件测试管理系统的结构示意图；

图4为本发明实施例中一种机载软件测试项目、测试过程、测试公共管理方案的示意图；

图5为本发明实施例提供的一种机载软件的测试过程管理方法的流程图；

图6为本发明实施例中一种对测试过程管理中发现的测试问题进行测试问题管理的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

本发明实施例提出了一种航空机载软件测试管理系统，基于软件测试管理模型，搭建软件测试过程管理框架，实现对测试工具、测试项目、测试过程、测试用例、软件缺陷等的集成式管理，提出的软件测试项目管理方案、测试过程管理方案和测试公共管理、软件缺陷库管理、工具管理和用例管理方案。

本发明提供以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

图2为本发明实施例提供的一种机载软件测试管理系统的结构示意图。本实施例提供的机载软件测试管理系统可以包括：测试工具管理模块、测试项目管理模块、测试过程管理模块、测试公共管理模块、软件缺陷管理模块和测试用例数据管理模块。

如图2所示机载软件测试管理系统的结构，测试工具管理模块分别与测试项目管理模块、测试过程管理模块和测试公共管理模块相连接，测试项目管理模块、测试过程管理模块和测试公共管理模块之间两两连接，测试项目管理模块、测试过程管理模块和测试公共管理模块还分别与软件缺陷管理模块和测试用例数据管理模块相连接。

本发明实施例中上述模块的功能如下：

测试工具管理模块，被配置为对测试工具进行管理；

测试项目管理模块，被配置为对测试项目执行过程中的所有活动进行管理；

测试过程管理模块，被配置为对从测试开始到测试结束之间的所有活动进行管理；

测试公共管理模块，被配置为对测试管理系统环境、测试组织、测试资产和相关资源的管理。

可选地，图3为本发明实施例提供的另一种机载软件测试管理系统的结构示意图。本发明实施例中的测试工具管理模块包括：黑盒测试工具、白盒测试工具、性能测试工具、静态分析工具；相应地；测试工具管理模块对测试工具进行管理的实现方式，可以包括：

测试工具管理模块，被配置为对黑盒测试工具、白盒测试工具、性能测试工具、静态分析工具和测试辅助工具进行管理。

可选地，图4为本发明实施例中一种机载软件测试项目、测试过程、测试公共管理方案的示意图。

本发明实施例中，测试项目管理模块对测试项目执行过程中的所有活动进行管理的实现方式，可以包括：

测试项目管理模块，被配置为对被配置为对测试项目管理过程中的所有活动进行管理，活动包括：测试项目立项、配置管理、测试策划，项目跟踪与控制，测试项目评审和项目外协管理。

其中，测试项目立项包括：下达测试任务、确定项目基本情况、确定项目角色，并为项目角色分配项目权限和职责；

配置管理包括：执行测试出库、测试入库、功能审核；

测试策划指：在测试开始前进行测试规模和工作量估计、分解WBS、识别和分析项目风险并制定解决对策；

项目跟踪与控制包括：制定测量分析计划，采集和分析测量数据，并通过例会、周报等形式跟踪项目风险、进度、测试充分性、测试有效性、工具和资源的使用情况；

测试项目评审包括：技术评审或同行评审，以及管理评审或里程碑评审，对评审发现的不符合项制定应对措施。

需要说明的是，如果有测试项目外协的情况，还包括项目外协管理。

可选地，如图4所示，本发明实施例中，测试过程管理模块对从测试开始到测试结束之间的所有活动进行管理的实现方式，可以包括：

测试过程管理模块，被配置为对测试需求分析、测试计划编制、测试设计与执行、测试总结、项目质量保证进行管理。

如图4所示，测试需求分析包括：需求分析和需求管理；测试设计与执行包括：用例设计，测试执行和测试记录；测试总结包括：工作总结和问题管理；项目质量保证包括：质量计划，过程和产品质量，过程和产品审核。

基于本发明上述实施例提供的机载软件测试管理系统，本发明实施例还提供一种机载软件的测试过程管理方法，可以采用本发明上述任一实施例提供的机载软件测试管理系统执行该机载软件的测试过程管理方法。

图5为本发明实施例提供的一种机载软件的测试过程管理方法的流程图，本发明实施例提供的机载软件的测试过程管理方法可以包括如下步骤：

S1，对立项的测试项目进行测试需求分析；

S2，对通过测试需求评审的测试项目编制测试计划；

S3，对通过评审的测试计划搭建测试环境，设计测试用例；

S4，进行测试用例评审和测试就绪评审；

S5，对评审通过的测试项目分配测试任务，执行测试用例并记录执行数据；其中，对测试过程管理中发现的测试问题进行测试问题管理；

S6，对测试结果进行分析，并判断是否结束测试；

S7，在不结束测试的情况下，返回再次执行测试用例并记录执行数据到对测试结果进行分析的步骤，直到判断结束测试。

可选地，图6为本发明实施例中一种对测试过程管理中发现的测试问题进行测试问题管理的流程图，测试问题管理包括如下步骤：

S1，对发现的测试问题或遗留的测试问题，生成问题报告单；

S2，在确定测试问题不是问题、且拒绝修改程序或文档的情况下，关闭问题；

S3，在确定测试问题是问题、且同意修改的情况下，提交修复后的软件资料进行回归测试；

S4，在确定测试问题是问题、且暂不更改的情况下，将测试问题作为遗留问题进行跟踪和控制。

以下通过一个具体实施示例对本发明实施例提供的机载软件测试管理系统和机载软件的测试过程管理方法的实施方式进行详细说明。机载软件测试管理系统，主要实施步骤包括如下步骤：建立软件测试过程模型、搭建软件测试管理框架、梳理软件测试管理方案和流程，详述如下：

步骤1)：

建立机载软件测试过程模型，模型示意图如图1所示。机载软件测试过程共有5个阶段：测试需求分析、测试策划、测试设计与实现、测试执行和测试总结。该模型定义了测试人员执行测试任务的基本流程，提供了对软件测试过程及其要素进行管理和控制的基本依据。

步骤2)：

搭建机载软件测试管理系统架构，参考图2所示，机载软件测试管理系统主要包括：测试工具管理模块、测试项目管理模块、测试过程管理模块、测试公共管理模块、测试用例库管理模块、缺陷库管理模块。其中，测试工具管理模块实现对黑盒测试、白盒测试、性能测试、静态分析及其它测试工具的管理。测试用例数据管理模块通过构建“型号-系统-分系统-软件-测试用例”的结构树，辅以逻辑图、应用场景等文字或图表说明，建立与测试结果的对应关系，实现对测试用例的结构化管理，方便用户索引或复用测试用例。缺陷库管理模块则对测试中发现的典型问题进行统一管理，通过故障模式分析可以生成指导软件开发的知识经验。

步骤3)：

梳理机载软件测试项目管理方案(a)、测试过程管理方案(b)、测试公共管理方案(c)，如图4所示。

其中，软件测试项目管理方案(a)涵盖了测试项目管理过程中的所有活动。其中，测试项目立项包括下达测试任务、明确项目基本情况、确定项目角色(测试组长、测试人员、质量保证人员、利益相关方)并为其分配项目权限和职责。配置管理主要执行测试出库、测试入库、功能审核等。测试策划指在测试开始前进行测试规模和工作量估计、分解WBS、识别和分析项目风险并制定解决对策。项目跟踪与控制主要包括制定测量分析计划，采集和分析测量数据，并通过例会、周报等形式跟踪项目风险、进度、测试充分性、测试有效性、工具和资源的使用情况等。项目评审包括技术评审(或同行评审)和管理评审(或里程碑评审)，对评审发现的不符合项制定应对措施。如果有测试项目外协的情况，还包括项目外协管理。

其中，软件测试过程管理方案(b)涵盖从测试开始到测试结束之间的各项活动，主要为测试需求分析、测试计划编制、测试设计与实现、测试执行、测试总结、项目质量保证等。以软件测试过程管理方案为例，可进一步建立软件测试过程管理流程，如图5所示。

首先，进行测试需求分析，确定测试级别和类型，审查被测软件相关资料的有效性和齐套性，进行影响域分析，分解测试项，并执行测试需求评审。其次，明确各测试项的测试要求、方法、工具/环境，制定测试策略，结合项目节点、人员和资源情况制定测试计划，识别和评估可能存在的风险，并执行测试计划评审。再次，搭建测试环境，设计测试用例，编制测试说明，执行测试用例评审和测试就绪评审。从次，分配测试任务，执行测试用例并详细记录执行数据，管理测试中发现的问题。最后，总结测试工作，对测试工作和被测软件进行评价，编制测试报告并执行测试总结评审。另外，在项目执行过程中进行测试质量保证工作，包括质量保证计划制定、过程和产品度量和审核等。

进一步地，软件测试过程管理中的测试问题管理流程如图6所示。针对发现软件问题或遗留问题，测试方以问题报告单(问题类型、等级、出处、修改建议等)的形式提交开发方。如果开发方确认不是问题，则拒绝修改程序或文档，经沟通后问题关闭；如果开发方确认是问题，且同意修改，将修复后的软件资料提交至测试方进行回归测试；如果开发方确认是问题，但暂不更改，则将问题作为遗留问题进行跟踪和控制。

其中，软件测试公共管理方案(c)主要包括对测试管理系统环境的管理、测试组织、测试资产和相关资源的管理等。公共管理，通过账户管理、环境配置、人员权限管理等实现对测试管理系统环境、系统用户及其权限的管理。测试流程管理基于图5所示的测试过程管理流程，可对测试流程进行定制和裁剪以适应项目实际情况。标准/体系管理中收录GJB5000A、软件测评管理系统文件、型号软件工程化文件、GJB2725A等相关标准或规范文件，供用户查阅。文档模板管理实现对软件测试相关文档模板的管理，用户可根据需要调取所需的文档或表单模板。知识资产管理收录测试项目和过程管理数据、相关总结性文件，形成测试经验或知识库。测试资源管理实现对相关人员信息、文档信息、软件资源和硬件资源等的综合管理。

需要说明的是，软件测试项目管理方案、测试过程管理方案、测试公共管理方案之间相互联系，不可孤立。例如，测试人员通过测试过程管理中的“测试需求分析”明确测试项、测试要求和测试方法等，通过测试项目管理中的“测试策划”确定任务规模、项目风险等，再结合人员、资源、节点等因素共同制定软件测试计划，从测试公共管理中的“文档模板管理”调取软件测试计划模板，完成《软件测试计划》的编制工作。为了解决软件测试管理工具通用性不强、无法适应机载软件测试管理需求等问题，本发明实施例提供了一种机载软件测试管理系统和机载软件的测试过程管理方法。首先，建立了机载软件测试过程模型，定义了执行测试任务的基本流程，提供了对软件测试过程及其要素进行管理和控制的基本依据。

其次，搭建了机载软件测试管理系统架构，主要包括测试工具管理、测试项目管理、测试过程管理、测试公共管理、测试用例库管理、缺陷库管理等。其中，测试工具管理实现对黑盒测试、白盒测试、性能测试、静态分析及其它测试工具的管理。测试用例数据库和缺陷库管理实现对所有测试用例和软件缺陷的统一管理。

再次，提出了机载软件测试项目管理方案、测试过程管理方案、测试公共管理方案。其中，测试项目管理方案包括项目立项、配置管理、测试策划、项目跟踪与控制、项目评审、项目外协管理等。测试过程管理方案主要包括测试需求分析、测试计划制定、测试环境搭建、测试设计与实现、测试执行、测试总结、质量保证等。测试公共管理方案包括账户管理、环境配置、人员权限管理、测试流程管理、标准/体系管理、文档模板管理、知识资产管理、测试资源管理等。

最后，以软件测试过程管理方案为例，梳理了软件测试过程管理流程和软件问题全生命周期管理流程，为执行测试任务提供技术向导和管理依据。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (8)

1.一种机载软件测试管理系统，其特征在于，包括：测试工具管理模块、测试项目管理模块、测试过程管理模块、测试公共管理模块、软件缺陷管理模块和测试用例数据管理模块；其中，所述测试工具管理模块分别与测试项目管理模块、测试过程管理模块和测试公共管理模块相连接，所述测试项目管理模块、测试过程管理模块和测试公共管理模块之间两两连接，所述测试项目管理模块、测试过程管理模块和测试公共管理模块还分别与软件缺陷管理模块和测试用例数据管理模块相连接；

所述测试工具管理模块，被配置为对测试工具进行管理；

所述测试项目管理模块，被配置为对测试项目执行过程中的所有活动进行管理；

所述测试过程管理模块，被配置为对从测试开始到测试结束之间的所有活动进行管理；

所述测试公共管理模块，被配置为对测试管理系统环境的管理，对测试组织、测试资产和相关资源的管理。

2.根据权利要求1所述的机载软件测试管理系统，其特征在于，所述测试工具管理模块包括：黑盒测试工具、白盒测试工具、性能测试工具、静态分析工具；所述测试工具管理模块对测试工具进行管理，包括：

所述测试工具管理模块，被配置为对黑盒测试工具、白盒测试工具、性能测试工具、静态分析工具和测试辅助工具进行管理。

3.根据权利要求1所述的机载软件测试管理系统，其特征在于，所述测试项目管理模块对测试项目执行过程中的所有活动进行管理，包括：

所述测试项目管理模块，被配置为对测试项目立项、配置管理、测试策划，项目跟踪与控制，测试项目评审和项目外协管理进行管理。

4.根据权利要求3所述的机载软件测试管理系统，其特征在于，

所述测试项目立项包括：下达测试任务、确定项目基本情况、确定项目角色，并为项目角色分配项目权限和职责；

所述配置管理包括：执行测试出库、测试入库、功能审核；

所述测试策划指：在测试开始前进行测试规模和工作量估计、分解WBS、识别和分析项目风险并制定解决对策；

所述项目跟踪与控制包括：制定测量分析计划，采集和分析测量数据，并通过例会、周报等形式跟踪项目风险、进度、测试充分性、测试有效性、工具和资源的使用情况；

所述测试项目评审包括：技术评审或同行评审，以及管理评审或里程碑评审，对评审发现的不符合项制定应对措施。

5.根据权利要求3所述的机载软件测试管理系统，其特征在于，所述测试过程管理模块对从测试开始到测试结束之间的所有活动进行管理，包括：

所述测试过程管理模块，被配置为对测试需求分析、测试计划编制、测试设计与执行、测试总结、项目质量保证进行管理。

6.根据权利要求5所述的机载软件测试管理系统，其特征在于，

所述测试需求分析包括：需求分析和需求管理；

所述测试设计与执行包括：用例设计，测试执行和测试记录；

所述测试总结包括：工作总结和问题管理；

所述项目质量保证包括：质量计划，过程和产品质量，过程和产品审核。

7.一种机载软件的测试过程管理方法，其特征在于，采用如权利要求1～6中任一项所述的机载软件测试管理系统执行测试管理方法，所述测试管理方法包括：

对立项的测试项目进行测试需求分析；

对通过测试需求评审的测试项目编制测试计划；

对通过评审的测试计划搭建测试环境，设计测试用例；

进行测试用例评审和测试就绪评审；

对评审通过的测试项目分配测试任务，执行测试用例并记录执行数据；其中，对测试过程管理中发现的测试问题进行测试问题管理；

对测试结果进行分析，并判断是否结束测试；

在不结束测试的情况下，返回再次执行测试用例并记录执行数据到对测试结果进行分析的步骤，直到判断结束测试。

8.根据权利要求7所述的机载软件的测试过程管理方法，其特征在于，所述对测试过程管理中发现的测试问题进行测试问题管理，包括：

对发现的测试问题或遗留的测试问题，生成问题报告单；

在确定所述测试问题不是问题、且拒绝修改程序或文档的情况下，关闭问题；

在确定所述测试问题是问题、且同意修改的情况下，提交修复后的软件资料进行回归测试；

在确定所述测试问题是问题、且暂不更改的情况下，将测试问题作为遗留问题进行跟踪和控制。

Images