CN113900952A

CN113900952A - 测试用例执行方法、装置、终端设备和可读存储介质

Info

Publication number: CN113900952A
Application number: CN202111261363.7A
Authority: CN
Inventors: 邱进祥; 蔡墩雄; 赖志豪
Original assignee: Xiamen Yealink Network Technology Co Ltd
Current assignee: Xiamen Yealink Network Technology Co Ltd
Priority date: 2021-10-28
Filing date: 2021-10-28
Publication date: 2022-01-07

Abstract

本申请实施例提供一种测试用例执行方法、装置、终端设备和可读存储介质，该方法包括：在执行恢复测试操作时，根据存储的测试报告确定对应的待执行测试用例集，其中，所述测试报告中记录有本次测试任务中所有测试用例的相关执行信息；在执行所述恢复测试操作下的所述测试用例集的过程中，实时更新所述测试报告中对应测试用例的相关执行信息，直到执行完所述测试用例集中的所有测试用例。通过本申请的技术方案可以正常恢复测试任务，而不需要重跑大量的测试用例，提高了测试效率等。

Description

测试用例执行方法、装置、终端设备和可读存储介质

技术领域

本申请涉及自动测试技术领域，尤其涉及一种测试用例执行方法、装置、终端设备和可读存储介质。

背景技术

在自动化测试应用中，目前主要是通过使用微软系统提供的Pssuspend命令行工具来实现测试任务的挂起和进程恢复。对于该方法，在部分场景中存在一些不足，例如，1.当电脑需要重启或者异常断电时，此时通过上述命令行工具挂起的进程也会丢失，因此无法恢复；又例如，2.当服务器需要维护更新，服务需要重启，导致进程也会被kill(杀掉)，因此也无法恢复；以及，3.测试用例中可能是用于控制其他设备(如话机等)进行通话等的测试，此时即使挂起了测试进程，话机还是会继续运行，而当恢复进程时，可能导致测试用例判断失败，从而导致测试结果不对等。因此，出现上述任意场景时，往往需要重新跑测试，有时候一次测试要跑上千个测试用例，然而重跑会浪费大量的资源和时间，效率低等。

发明内容

本申请实施例提供一种用例执行控制方法、装置、终端设备和可读存储介质，可以正常恢复测试任务，而不需要重跑大量的测试用例，提高了测试效率等。

第一方面，本申请实施例提供了一种用例执行控制方法，包括：

在执行恢复测试操作时，根据存储的测试报告确定对应的待执行测试用例集，其中，所述测试报告中记录有本次测试任务中所有测试用例的相关执行信息；

在执行所述恢复测试操作下的所述测试用例集的过程中，实时更新所述测试报告中对应测试用例的相关执行信息，直到执行完所述测试用例集中的所有测试用例。

例如，在一些实施方式中，所述测试用例的相关执行信息包括测试用例的执行状态，所述执行状态包括未执行、执行中和已执行；所述在执行恢复测试操作时，根据存储的测试报告确定对应的待执行测试用例集，包括：

在执行恢复测试操作时，从当前存储的测试报告中过滤掉已执行的测试用例，将余下的所有测试用例作为所述恢复测试操作下待执行的测试用例集。

例如，在一些实施方式中，所述测试用例的相关执行信息还包括测试用例的执行结果，所述执行结果包括通过、失败、跳过和异常；所述方法还包括：

在执行重跑失败测试操作时，从当前存储的测试报告中过滤掉执行状态为已执行且执行结果为通过的所有测试用例，将剩余的所有测试用例作为所述重跑失败测试操作下待执行的测试用例集；

在执行所述重跑失败测试操作下的所述测试用例集的过程中，实时更新所述测试报告中对应测试用例的相关执行信息，直到执行完所述测试用例集中的所有测试用例。

例如，在一些实施方式中，所述执行恢复测试操作，之前还包括：

启动本次测试任务，解析选取的测试脚本以创建一测试报告，所述测试报告记录有本次测试任务的所有测试用例的初始化相关执行信息；

开始执行本次测试任务的测试用例，并在执行测试用例的过程中，实时更新所述测试报告中对应测试用例的所述初始化相关执行信息。

例如，在一些实施方式中，该测试用例执行方法还包括：

在执行对应操作下的所述测试用例集的过程中，实时更新对应的所述测试报告，并检测是否存在挂起测试任务；

在检测到存在挂起测试任务的情况下，直接结束本次测试任务。

例如，在一些实施方式中，所述挂起测试任务的触发包括：当需要进行服务重启或设备重启时。

例如，在一些实施方式中，所述解析选取的测试脚本以创建一测试报告，包括：

为选取的每条测试脚本所对应的测试用例分配一个唯一用例标识及相关执行信息的字段，所述相关执行信息包括用例的执行状态或包括用例的执行状态和执行结果；

将每条测试用例的所述执行状态设置为未执行状态，并在包含所述执行结果时，设置每条测试用例的所述执行结果为空；

根据所有测试用例的经过初始化设置的相关执行信息，构造得到本次测试任务的测试报告。

第二方面，本申请实施例提供了一种用例执行控制装置，包括：

测试用例生成模块，用于在执行恢复测试操作时，根据存储的测试报告确定对应的待执行测试用例集，其中，所述测试报告中记录有本次测试任务中所有测试用例的相关执行信息；

测试报告更新模块，用于在执行所述恢复测试操作下的所述测试用例集的过程中，实时更新所述测试报告中对应测试用例的相关执行信息，直到执行完所述测试用例集中的所有测试用例。

第三方面，本申请实施例提供了一种终端设备，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施所述的测试用例执行方法。

第四方面，本申请实施例提供了一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上执行时，实施所述的测试用例执行方法。

本申请的实施例具有如下有益效果：

本申请实施例的用例执行控制方法通过在执行恢复测试操作时，通过之前保存的测试报告来确定待执行的测试用例集，并在执行测试用例过程中，实时更新测试报告，直到执行完测试用例集中的所有测试用例。该方案通过定义测试报告，并在每次执行测试用例时，触发实时更新测试报告，以便在后续操作中可通过最新的测试报告来过滤掉不需要执行的测试用例，以此来实现测试任务的挂起恢复，由于不需要重跑大量的测试用例，提高了测试效率等。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请实施例的测试用例执行方法的一种流程示意图；

图2示出了本申请实施例的测试用例执行方法的正常测试流程示意图；

图3示出了本申请实施例的测试用例执行方法的测试报告更新示意图；

图4示出了本申请实施例的测试用例执行方法的恢复测试流程示意图；

图5示出了本申请实施例的测试用例执行方法的另一流程示意图；

图6示出了本申请实施例的测试用例执行装置的一种结构示意图。

具体实施方式

下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在下文中，可在本申请的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本申请的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本申请的各种实施例中被清楚地限定。

在进行本申请方案的阐述之前，对于在本技术方案里面出现的专有名词进行解释，具体包括：

1.Pssuspend：微软提供的一个用来挂起和恢复进程的命令行工具

2.测试用例：测试用例(为某个特殊目标而编制的一组测试输入、执行条件以及预期结果，用于核实是否满足某个特定软件需求)

3.测试用例集：是测试用例的无序集合，集合中的测试用例应该都是相互独立，不存在先后依赖关系的4.测试脚本：用测试脚本语言如python写的脚本

5.测试报告：保存测试详情

6.测试任务：执行测试用例的进程。

实施例1

图1所示为本申请实施例的测试用例执行方法的一种流程示意图。示范性地，该测试用例执行方法包括：

步骤S110，在执行恢复测试操作时，根据存储的测试报告确定对应的待执行测试用例集。

其中，上述的恢复测试操作，是指继续之前被终止的测试任务操作。例如，在启动一个测试任务后，通常会按照需求进行正常测试，但若在测试过程中出现任务被终止的情况，例如，设备重启、电源断开等，则可在需要恢复该测试任务时，选择启动该恢复测试操作。

其中，上述的测试报告中主要记录有本次测试任务中所有测试用例的相关执行信息。例如，一个测试用例的相关执行信息可包括但不限于包括，测试用例的执行状态、测试用例的执行结果等，其中，执行状态又可分为未执行、执行中和已执行；可以理解，每个用例从开始执行到完成需要一定的时间，比如10分钟、半小时等，而一个任务可以包含好几个用例，每个用例开始执行是需要等上一条用例执行完成才会开始，所以会有未执行、执行中、已完成3种不同的状态。以及，执行结果可包括但不限于通过、失败、跳过和异常等中的至少两种组合。

可以理解，上述的通过可以是指该测试用例顺利执行完后，得到测试的功能正常的结果等；失败可以是指该测试用例不能顺利执行，例如，在未执行完成前出现运行报错等；跳过可以是指原本需要执行该测试用例，结果直接略过而没有执行；异常可以是指该测试用例正常执行，但得到的结果是不对的，即测试的功能没有达到预期等情况。当然，上述执行结果的各个类型的定义及划分可以根据实际需求来相应调整，这里仅作为一些示例。

本实施例中，每执行一个测试任务，将启动一个测试进程。并且每个测试任务设计有对应的测试脚本，通过读取该测试脚本可获取本次测试任务中需要跑的所有测试用例的信息。在开始测试任务之前，本实施例将通过预先定义一个测试报告，并将其保存在数据库中，以便后续使用。可以理解，该测试报告主要用来实时记录整个测试过程中各个测试用例的信息变化等。

于是，在上述步骤S110的恢复测试操作之前，该测试用例执行方法还包括，启动测试任务，并创建本次测试任务对应的测试报告及对该测试报告进行初始化设置等。示范性地，如图2所示，该测试用例执行方法包括：

步骤S210，启动本次测试任务，解析选取的测试脚本以创建一个测试报告。其中，该测试报告记录有本次测试任务的所有测试用例的初始化相关执行信息。

示范性地，在执行一个测试任务时，先解析从数据库选择的测试脚本，然后生成一份测试报告。在一种实施方式中，可先对测试报告的格式进行预先定义，例如，为每条测试脚本所对应的测试用例分配一个唯一的用例标识及相关执行信息的字段。进而，对该测试报告中的各个测试用例的执行相关信息进行初始化设置。最后，根据所有测试用例的经过初始化设置的相关执行信息，构造得到本次测试任务的测试报告。

在一种实施方式中，可采用一个数组的形式进行定义该测试报告，其中，每个测试用例包含用例标识、执行状态、执行结果等主要字段，如下：

在初始化设置时，可将每条测试用例的执行状态(execState)设置为未执行状态；以及，设置每条测试用例的执行结果(status)为空等。

步骤S220，开始执行本次测试任务的测试用例，并在执行测试用例的过程中，实时更新测试报告中对应测试用例的初始化相关执行信息。

示范性地，在得到测试报告后，则开始执行各个测试脚本，如图3所示，每次执行完一个测试脚本就会根据用例标识在测试报告中找到对应用例的信息，更新里面的execState和staus的值。例如，某个用例开始跑时，execState变为执行中，待其跑完后则execState变为已执行等。在这里需要说明的是，上述更新的时间是根据测试用例执行完成时间决定的，比如有的要10秒，有的要十分钟，只要一执行完就会触发更新。

然而，在实际测试中，在正常执行测试用例时，往往会遇到需要挂起任务，此时可触发挂起测试任务的操作。与此同时，在测试过程中，会实时检测是否有挂起任务。示范性地，如图2所示，该测试用例执行方法还包括：

步骤S230，检测是否存在挂起测试任务。

示范性地，在执行测试用例集的过程中，若检测到存在挂起测试任务，则执行步骤S240，直接结束本次测试任务；否则执行步骤S250，即一直执行，直到所有的测试用例执行完后结束。

在一种实施方式中，对于挂起测试任务的触发，可包括但不限于包括，当需要进行服务器重启、或运行测试的计算机等设备重启时等。由于每个测试用例从开始执行到完成需要一定的时间，比如10分钟、半小时不等。而且一个测试任务可以包含多个测试用例，例如，测试中途可能突然要进行服务重启、电脑重启等操作，此时则可以启动挂起当前任务操作，以便结束当前正在执行的测试进程。可以理解，当执行挂起操作，实际上是直接杀掉对应的测试任务进程。而当执行恢复测试任务操作的时候，实际上是新创建了一个测试任务进程。

对于上述步骤S110，示范性地，在执行恢复测试操作时，如图4所示，可从存储在数据库的测试报告中过滤掉已执行的测试用例，将余下的所有测试用例作为本次恢复测试操作下的待执行测试用例，即将上一次挂起之前没有完全执行完的各测试用例(可包括执行状态为未执行和/或执行中的测试用例等)筛选出来并执行。这些待执行的测试用例的集合称为上述的测试用例集。

步骤S120，在执行恢复测试操作下的该测试用例集的过程中，实时更新测试报告中对应测试用例的相关执行信息，直到执行完该测试用例集中的所有测试用例。

示范性地，在恢复测试任务后，同样的，每次执行完一个测试用例也会对数据库中的测试报告进行同步更新。若中途中没有出现新的挂起任务，则将在执行完该测试用例集中的所有测试用例后，结束测试进程。

在实际测试中，对于一些执行结果为失败的测试用例，往往需要再次测试，为此，本实施例还将根据实时更新的测试报告来实现仅对为失败的执行状态的测试用例进行重跑。这样可以大大减少之前已跑完的且通过测试的测试用例等，大大提高测试效率。

作为一种可选的实施方式，示范性地，该测试用例执行方法还包括：

在执行重跑失败测试操作时，从当前存储的测试报告中过滤掉执行状态为已完成且执行结果为通过的所有测试用例，将剩余的所有测试用例作为该重跑失败测试操作下待执行的测试用例集，新建一个测试任务进程并进行重跑。可以理解，此时待执行的测试用例集可包括执行结果为失败、跳过和/或异常等未通过的测试用例。然后，同样在执行测试用例集过程中，实时更新当前测试报告中对应测试用例的相关执行信息，直到执行完该测试用例集中的所有测试用例。

如图5所示，无论是执行正常测试操作、恢复测试操作还是该重跑失败测试操作，都会在执行测试用例时，实时更新对应的测试报告，以便后续使用。另外，在上述任意操作中，可根据实际需求触发挂起任务操作，若发出挂起任务操作，则在更新测试报告之后，直接结束当前的测试进程。反之，若没有出现挂起操作，则将执行完该测试用例集中的所有测试用例后再结束当前测试进程。

本实施例的测试用例执行方法通过自定义测试报告，以用于实时记录各测试用例在测试过程中的信息，其中包括执行状态、执行结果等，进而，在一些异常场景下，可以通过该更新的测试报告过滤出对应操作下的需要执行的测试用例，实现挂起恢复，不需要重跑一些已成功执行完的测试用例，此外，该方法还可以支持只重跑未通过的失败测试用例，从而进一步提高测试效率等。

实施例2

请参照图6，基于上述实施例1的方法，本实施例提出一种测试用例执行装置100，示范性地，该测试用例执行装置100包括：

测试用例生成模块110，用于在执行恢复测试操作时，根据存储的测试报告确定对应的待执行测试用例集，其中，所述测试报告中记录有本次测试任务中所有测试用例的相关执行信息；

测试报告更新模块120，用于在执行所述恢复测试操作下的所述测试用例集的过程中，实时更新所述测试报告中对应测试用例的相关执行信息，直到执行完所述测试用例集中的所有测试用例。

可以理解，本实施例的装置对应于上述实施例1的方法，上述实施例1中的可选项同样适用于本实施例，故在此不再重复描述。

本申请还提供了一种终端设备，示范性地，该终端设备包括处理器和存储器，其中，存储器存储有计算机程序，处理器通过运行所述计算机程序，从而使终端设备执行上述的测试用例执行方法或者上述测试用例执行装置中的各个模块的功能。

本申请还提供了一种可读存储介质，用于储存上述终端设备中使用的所述计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims

1.一种测试用例执行方法，其特征在于，包括：

2.根据权利要求1所述的测试用例执行方法，其特征在于，所述测试用例的相关执行信息包括测试用例的执行状态，所述执行状态包括未执行、执行中和已执行；所述在执行恢复测试操作时，根据存储的测试报告确定对应的待执行测试用例集，包括：

3.根据权利要求2所述的测试用例执行方法，其特征在于，所述测试用例的相关执行信息还包括测试用例的执行结果，所述执行结果包括通过、失败、跳过和异常；所述方法还包括：

在执行重跑失败测试操作时，从当前存储的测试报告中过滤掉执行状态为已执行且执行结果为通过的测试用例，将剩余的所有测试用例作为所述重跑失败测试操作下待执行的测试用例集；

4.根据权利要求1所述的测试用例执行方法，其特征在于，所述执行恢复测试操作，之前还包括：

5.根据权利要求1至4中任一项所述的测试用例执行方法，其特征在于，所述方法还包括：

6.根据权利要求5所述的测试用例执行方法，其特征在于，所述挂起测试任务的触发包括：当需要进行服务重启或设备重启时。

7.根据权利要求4所述的测试用例执行方法，其特征在于，所述解析选取的测试脚本以创建一测试报告，包括：

8.一种测试用例执行装置，其特征在于，包括：

9.一种终端设备，其特征在于，所述终端设备包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于执行所述计算机程序以实施权利要求1-7中任一项所述的测试用例执行方法。

10.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上执行时，实施根据权利要求1-7中任一项所述的测试用例执行方法。