CN102521124B - 一种失败原因的输出方法和系统 - Google Patents

Abstract

本发明公开了一种失败原因的输出方法和系统，该系统包括：测试执行模块，用于获得在测试失败位置所执行的ETS函数对应的ETS函数标识，并将所述ETS函数标识发送给ATS-ETS映射模块；ATS-ETS映射模块，用于根据所述ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，获得所述ETS函数标识对应的ATS子测试标识；以及利用所述ATS子测试标识获得测试失败原因，将所述测试失败原因发送给测试报告输出模块；测试报告输出模块，用于输出所述测试失败位置的所述测试失败原因。本发明实施例中，可实现失败原因的自动分析，提高用户对测试用例的测试报告的理解能力，减小测试人员的负担，提高了测试效率。

Description

一种失败原因的输出方法和系统

技术领域

本发明涉及通信技术领域，尤其涉及一种失败原因的输出方法和系统。

背景技术

如图1所示，为测试系统的功能模块示意图，测试执行模块可以给出ETS（Excutable Test Suit，可执行测试用例集）的某个日志执行ATS（Abstract Test Suit，抽象测试用例集）中的对应用例编号；测试报告输出模块可以给出ETS的执行日志，并给出最终测试结果是成功还是失败，但是却不能给出测试失败原因的分析，更不能给出测试失败点在ATS中的对应关系。

在实现本发明的过程中，发明人发现现有技术中至少存在以下问题：

ETS的执行日志使用特定的语言（如特定的脚本语言或编程语言）描述，用户只能看懂最终测试结果是否成功，但对测试过程和测试细节将无法理解；一旦测试失败，就需要系统研发人员进行测试失败原因的分析，且不同用户的测试失败原因需要反复分析多次类似的测试报告，测试效率低下；进一步的，由于ATS使用自然语言描述，因此即使是系统研发人员，如果不对照协议看代码，也无法迅速获知测试失败的原因。

综上所述，当前测试系统在分析测试失败的原因时，对系统研发人员和用户来说都是很复杂的。

发明内容

本发明实施例提供一种失败原因的输出方法和系统，以对失败原因进行自动分析，提高测试效率。 

为了达到上述目的，本发明实施例提供一种失败原因的输出系统，包括：

测试执行模块，用于获得在测试失败位置所执行的可执行测试用例集ETS函数对应的ETS函数标识，并将所述ETS函数标识发送给抽象测试用例集ATS-ETS映射模块；

ATS-ETS映射模块，用于根据所述ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，获得所述ETS函数标识对应的ATS子测试标识；以及利用所述ATS子测试标识获得测试失败原因，将所述测试失败原因发送给测试报告输出模块；

测试报告输出模块，用于输出所述测试失败位置的所述测试失败原因。

本发明实施例提供一种失败原因的输出方法，该方法应用于包括测试执行模块、抽象测试用例集ATS-可执行测试用例集ETS映射模块和测试报告输出模块的测试系统，该方法包括：

所述测试执行模块获得在测试失败位置所执行的ETS函数对应的ETS函数标识，并将所述ETS函数标识发送给所述ATS-ETS映射模块；

所述ATS-ETS映射模块根据所述ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，获得所述ETS函数标识对应的ATS子测试标识；

所述ATS-ETS映射模块利用所述ATS子测试标识获得测试失败原因，将所述测试失败原因发送给所述测试报告输出模块；

所述测试报告输出模块输出所述测试失败位置的所述测试失败原因。

与现有技术相比，本发明实施例至少具有以下优点：通过在测试系统内添加ATS-ETS映射模块，可实现ATS与ETS的自动关联，将ATS的测试点关联到ETS的代码位置，从而可以从测试失败位置推出ATS中对应测试点的失败原因，实现失败原因的自动分析，提高用户对测试用例的测试报告的理解能力，减小测试人员的负担，且提高了测试效率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是现有技术中测试系统的功能模块示意图；

图2是本发明实施例一提供的一种失败原因的输出系统结构示意图；

图3是本发明实施例一中ATS-ETS映射模块的工作原理示意图；

图4是本发明实施例二提供的一种失败原因的输出方法流程示意图。

具体实施方式

下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本发明实施例一提供一种失败原因的输出系统（即测试系统），如图2所示，该测试系统至少包括：测试执行模块11、ATS-ETS映射模块12、测试报告输出模块13、ATS-ETS映射数据库14（用于记录ETS函数标识与ATS子测试标识的对应关系）、可执行测试用例集ETS 15、抽象测试用例集ATS 16；此外，该测试系统中还可以包括：人机界面MMI（Man Machine Interface）17和待测系统IUT（Item Under Test） 18。

以下对测试系统内的功能模块进行详细说明。

测试执行模块11，用于获得在测试失败位置所执行的ETS函数对应的ETS函数标识，并将ETS函数标识发送给ATS-ETS映射模块12。

本发明实施例中，测试执行模块11，进一步用于在执行ETS函数的过程中，当获得对应测试点的FAIL（失败）时，确定当前执行的ETS函数为测试失败位置所执行的ETS函数；或者，在执行ETS函数的过程中，当获得对应非测试点的INCONCLUSIVE（无结果）时，确定当前执行的ETS函数为测试失败位置所执行的ETS函数。

需要说明的是，本发明实施例中所提供的测试执行模块11，可以负责输出测试日志，并通过查找ETS的常规测试日志的打印内容，获得打印FAIL或INCONCLUSIVE时，退出的ETS函数标识（如ETS子函数名称）和函数中的代码行号；而且可以将ATS-ETS映射模块12反馈的失败原因分析内容插入到ETS的常规测试日志的对应位置，进而形成最终的测试日志。

基于此，测试执行模块11在执行到FAIL或者INCONCLUSIVE的位置时，确定当前所执行的ETS函数失败，并可以获得当前执行的ETS函数对应的ETS函数标识，以及将ETS函数标识发送给ATS-ETS映射模块12。

ATS-ETS映射模块12，用于根据ETS函数标识查找ATS-ETS映射数据库14，获得ETS函数标识对应的ATS子测试标识；以及利用ATS子测试标识获得测试失败原因，将测试失败原因发送给测试报告输出模块13。

本发明实施例中，ATS-ETS映射数据库14用于记录ETS函数标识与ATS子测试标识之间的对应关系，且在ATS-ETS映射模块12根据ETS函数标识查找ATS-ETS映射数据库14之前，ATS-ETS映射模块12还需要获得ETS函数标识与ATS子测试标识之间的对应关系，并将获得的ETS函数标识与ATS子测试标识的对应关系输出到ATS-ETS映射数据库14中。

进一步的，由于每个子测试过程与一个ETS函数相匹配，且每个子测试过程具有唯一的ATS子测试标识，每个ETS函数具有唯一的ETS函数标识，因此在获得ETS函数标识与ATS子测试标识之间的对应关系的过程中，该ATS-ETS映射模块12还用于将ATS中的各种测试过程抽象为子测试过程；之后，ATS-ETS映射模块12可获得每个子测试过程的ATS子测试标识与匹配的ETS函数的ETS函数标识之间的对应关系。

需要说明的是，本发明实施例中，ATS中每一步判断成功或失败的位置均需要有明确的文字描述，且ETS中每一个子函数都有明确的功能文字说明，且子函数中每一个返回FAIL或INCONCLUSIVE的位置都有文字注释；基于此前提，ATS-ETS映射模块12可以获得每个子测试过程的ATS子测试标识与匹配的ETS函数的ETS函数标识之间的对应关系。

如图3所示，为ATS-ETS映射模块12的工作原理示意图，ATS-ETS映射模块12需要将ATS的测试用例中的每一个测试点与ETS中对应的某一段代码进行关联，即通过ATS-ETS映射模块12实现ATS中的子测试过程n（共N个）与ETS中的子函数x（共X个）之间的对应关系，从而实现ATS和ETS的自动关联，继而在测试执行过程中，实现测试失败原因的智能判决。后续ATS子测试标识以子测试过程编号为例，ETS函数标识以ETS函数名为例。

具体的，ATS-ETS映射模块12需要将ATS中的各种测试过程抽象为一系列高复用性的子测试过程（共有N个），由于每一个测试过程与ETS的一个函数对应的功能相匹配，因此ATS-ETS映射模块12可以将子测试过程的编号n与ETS函数名x的映射关系写入到ATS-ETS映射数据库14，即将n与x的映射关系输出到ATS-ETS映射数据库14中。

本发明实施例中，在利用ATS子测试标识获得测试失败原因的过程中，ATS-ETS映射模块12，进一步用于利用ATS子测试标识确定ATS的测试用例中的测试点，并通过测试点的文字描述获得测试失败原因；其中，ATS的测试用例中的每个测试点均对应有测试失败原因的文字描述。

具体的，由于ATS的测试用例中的每个测试点均对应有测试失败原因的文字描述（即代码中失败分支的对应注释），因此ATS-ETS映射模块12可以在获得ATS子测试标识后，利用ATS子测试标识确定ATS的测试用例中的测试点，并通过测试点的文字描述获得测试失败原因。

测试报告输出模块13，用于输出测试失败位置的测试失败原因。

具体的，测试报告输出模块13在实时输出（如打印）的执行日志中，可输出FAIL或者INCONCLUSIVE的字样，并随后输出ATS子测试过程号和子测试过程的文字描述（即测试失败原因）。

由此可知，现有的测试报告输出模块只能输出ETS的执行日志和最终的ATS测试用例的汇总执行结果的表格；而本发明实施例中的测试报告输出模块可以输出测试失败位置是在ATS的哪一步的文字注释。

综上所述，本发明实施例中提出了一种使得测试系统自动输出失败原因的方式，通过在测试系统内添加ATS-ETS映射模块，可实现ATS与ETS的自动关联，将ATS的测试点关联到ETS的代码位置，从而可以从测试失败位置推出ATS中对应测试点的失败原因（使用户明确知道失败的位置和ATS的对应关系），实现失败原因的自动分析，提高用户对测试用例的测试报告的理解能力，减小测试人员的负担，且提高了测试效率。

实施例二

基于与上述系统同样的发明构思，本发明实施例二提供一种失败原因的输出方法，该方法应用于包括测试执行模块、ATS- ETS映射模块和测试报告输出模块的测试系统中，如图4所示，该方法包括以下步骤：

步骤401，测试执行模块获得在测试失败位置所执行的ETS函数对应的ETS函数标识，并将ETS函数标识发送给ATS-ETS映射模块。

具体的，测试执行模块获得在测试失败位置所执行的ETS函数对应的ETS函数标识，包括：在执行ETS函数过程中，当获得对应测试点的失败FAIL时，测试执行模块确定当前执行的ETS函数为测试失败位置所执行的ETS函数，并获得当前执行的ETS函数对应的ETS函数标识；或者，在执行ETS函数过程中，当获得对应非测试点的无结果INCONCLUSIVE时，测试执行模块确定当前执行的ETS函数为测试失败位置所执行的ETS函数，并获得当前执行的ETS函数对应的ETS函数标识。

需要说明的是，本发明实施例中所提供的测试执行模块可以负责输出测试日志，并通过查找ETS的常规测试日志的打印内容，获得打印FAIL或INCONCLUSIVE时，退出的ETS函数标识（如ETS子函数名称）和函数中的代码行号；而且可以将ATS-ETS映射模块反馈的失败原因分析内容插入到ETS的常规测试日志的对应位置，进而形成最终的测试日志。

基于此，测试执行模块在执行到FAIL或者INCONCLUSIVE的位置时，确定当前所执行的ETS函数失败，并可以获得当前执行的ETS函数对应的ETS函数标识，以及将ETS函数标识发送给ATS-ETS映射模块。

步骤402，ATS-ETS映射模块根据ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，获得ETS函数标识对应的ATS子测试标识。

本发明实施例中，ATS-ETS映射模块根据ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，之前还包括：ATS-ETS映射模块获得ETS函数标识与ATS子测试标识的对应关系，并将获得的ETS函数标识与ATS子测试标识的对应关系输出到ATS-ETS映射数据库中。

进一步的，由于每个子测试过程与一个ETS函数相匹配，且每个子测试过程具有唯一的ATS子测试标识，每个ETS函数具有唯一的ETS函数标识；因此ATS-ETS映射模块获得ETS函数标识与ATS子测试标识的对应关系，包括：ATS-ETS映射模块将ATS中的各种测试过程抽象为子测试过程，ATS-ETS映射模块获得每个子测试过程的ATS子测试标识与匹配的ETS函数的ETS函数标识之间的对应关系。

需要说明的是，本发明实施例中，ATS中每一步判断成功或失败的位置均需要有明确的文字描述，且ETS中每一个子函数都有明确的功能文字说明，且子函数中每一个返回FAIL或INCONCLUSIVE的位置都有文字注释；基于此前提，ATS-ETS映射模块12可以获得每个子测试过程的ATS子测试标识与匹配的ETS函数的ETS函数标识之间的对应关系。

步骤403，ATS-ETS映射模块利用ATS子测试标识获得测试失败原因，将测试失败原因发送给测试报告输出模块。

ATS-ETS映射模块利用ATS子测试标识获得测试失败原因，包括：ATS-ETS映射模块利用ATS子测试标识确定ATS的测试用例中的测试点，并通过测试点的文字描述获得测试失败原因；其中，ATS的测试用例中的每个测试点均对应有测试失败原因的文字描述。

具体的，由于ATS的测试用例中的每个测试点均对应有测试失败原因的文字描述（即代码中失败分支的对应注释），因此ATS-ETS映射模块可以在获得ATS子测试标识后，利用ATS子测试标识确定ATS的测试用例中的测试点，并通过测试点的文字描述获得测试失败原因。

步骤404，测试报告输出模块输出测试失败位置的测试失败原因。

具体的，测试报告输出模块在实时输出（如打印）的执行日志中，可输出FAIL或者INCONCLUSIVE的字样，并随后输出ATS子测试过程号和子测试过程的文字描述（即测试失败原因）。

由此可知，现有的测试报告输出模块只能输出ETS的执行日志和最终的ATS测试用例的汇总执行结果的表格；而本发明实施例中的测试报告输出模块可以输出测试失败位置是在ATS的哪一步的文字注释。

综上，本发明实施例中提出了一种使得测试系统自动输出失败原因的方式，通过在测试系统内添加ATS-ETS映射模块，可实现ATS与ETS的自动关联，将ATS的测试点关联到ETS的代码位置，从而可以从测试失败位置推出ATS中对应测试点的失败原因（使用户明确知道失败的位置和ATS的对应关系），实现失败原因的自动分析，提高用户对测试用例的测试报告的理解能力，减小测试人员的负担，且提高了测试效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

本领域技术人员可以理解附图只是一个优选实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域技术人员可以理解实施例中的装置中的模块可以按照实施例描述进行分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上公开的仅为本发明的几个具体实施例，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

Claims (10)

1.一种失败原因的输出系统，其特征在于，包括：

测试执行模块，用于获得在测试失败位置所执行的可执行测试用例集ETS函数对应的ETS函数标识，并将所述ETS函数标识发送给抽象测试用例集-可执行测试用例集ATS-ETS映射模块；

ATS-ETS映射模块，用于根据所述ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，获得所述ETS函数标识对应的ATS子测试标识；以及利用所述ATS子测试标识获得测试失败原因，将所述测试失败原因发送给测试报告输出模块；

测试报告输出模块，用于输出所述测试失败位置的所述测试失败原因。

2.如权利要求1所述的系统，其特征在于，

所述测试执行模块，进一步用于在执行ETS函数的过程中，当获得对应测试点的失败FAIL时，确定当前执行的ETS函数为测试失败位置所执行的ETS函数；或者，当获得对应非测试点的无结果INCONCLUSIVE时，确定当前执行的ETS函数为测试失败位置所执行的ETS函数。

3.如权利要求1所述的系统，其特征在于，

所述ATS-ETS映射模块，还用于获得ETS函数标识与ATS子测试标识的对应关系，并将获得的ETS函数标识与ATS子测试标识的对应关系输出到所述ATS-ETS映射数据库中。

4.如权利要求3所述的系统，其特征在于，

所述ATS-ETS映射模块，进一步用于将ATS中的各种测试过程抽象为子测试过程，并获得每个子测试过程的ATS子测试标识与匹配的ETS函数的ETS函数标识之间的对应关系；

其中，每个子测试过程与一个ETS函数相匹配，且每个子测试过程具有唯一的ATS子测试标识，每个ETS函数具有唯一的ETS函数标识。

5.如权利要求1所述的系统，其特征在于，

所述ATS-ETS映射模块，进一步用于利用所述ATS子测试标识确定ATS的测试用例中的测试点，并通过所述测试点的文字描述获得测试失败原因；其中，ATS的测试用例中的每个测试点均对应有测试失败原因的文字描述。

6.一种失败原因的输出方法，其特征在于，该方法应用于包括测试执行模块、抽象测试用例集-可执行测试用例集ATS-ETS映射模块和测试报告输出模块的测试系统，该方法包括：

所述测试执行模块获得在测试失败位置所执行的ETS函数对应的ETS函数标识，并将所述ETS函数标识发送给所述ATS-ETS映射模块；

所述ATS-ETS映射模块根据所述ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，获得所述ETS函数标识对应的ATS子测试标识；

所述ATS-ETS映射模块利用所述ATS子测试标识获得测试失败原因，将所述测试失败原因发送给所述测试报告输出模块；

所述测试报告输出模块输出所述测试失败位置的所述测试失败原因。

7.如权利要求6所述的方法，其特征在于，所述测试执行模块获得在测试失败位置所执行的ETS函数对应的ETS函数标识，包括：

在执行ETS函数过程中，当获得对应测试点的失败FAIL时，所述测试执行模块确定当前执行的ETS函数为测试失败位置所执行的ETS函数，并获得当前执行的ETS函数对应的ETS函数标识；或者，

在执行ETS函数过程中，当获得对应非测试点的无结果INCONCLUSIVE时，所述测试执行模块确定当前执行的ETS函数为测试失败位置所执行的ETS函数，并获得当前执行的ETS函数对应的ETS函数标识。

8.如权利要求6所述的方法，其特征在于，所述ATS-ETS映射模块根据所述ETS函数标识查找用于记录ETS函数标识与ATS子测试标识对应关系的ATS-ETS映射数据库，之前还包括：

所述ATS-ETS映射模块获得ETS函数标识与ATS子测试标识的对应关系，并将获得的ETS函数标识与ATS子测试标识的对应关系输出到所述ATS-ETS映射数据库中。

9.如权利要求8所述的方法，其特征在于，所述ATS-ETS映射模块获得ETS函数标识与ATS子测试标识的对应关系，包括：

所述ATS-ETS映射模块将ATS中的各种测试过程抽象为子测试过程，并获得每个子测试过程的ATS子测试标识与匹配的ETS函数的ETS函数标识之间的对应关系；

其中，每个子测试过程与一个ETS函数相匹配，且每个子测试过程具有唯一的ATS子测试标识，每个ETS函数具有唯一的ETS函数标识。

10.如权利要求6所述的方法，其特征在于，所述ATS-ETS映射模块利用所述ATS子测试标识获得测试失败原因，包括：

所述ATS-ETS映射模块利用所述ATS子测试标识确定ATS的测试用例中的测试点，并通过所述测试点的文字描述获得测试失败原因；其中，ATS的测试用例中的每个测试点均对应有测试失败原因的文字描述。