CN110704319B - 一种测试用例风险分析方法及装置 - Google Patents

Abstract

本发明涉及了一种测试用例风险分析方法及装置，其中该方法包括：根据测试用例的测试逻辑配置预期执行参数表以及步骤关联表；执行测试用例的测试，并记录各测试步骤的实际执行参数；基于预期执行参数表和当前测试步骤的实际执行参数判断当前测试步骤的执行是否正常；响应于当前测试步骤的执行正常，基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确；响应于关联关系正确，判断当前测试步骤不存在风险。利用本发明的方法能在测试执行过程中提供风险分析的功能，而且能进一步辅助定位异常原因，从而提高了自动化结果的准确性，增加了自动化测试的覆盖性和健壮性，同时降低了系统运行风险。

Description

一种测试用例风险分析方法及装置

技术领域

本发明涉及自动化测试技术领域。本发明进一步涉及一种测试用例风险分析方法及装置。

背景技术

软件自动化测试过程中判断功能是否异常的标准一般是查看命令行中的测试步骤执行结果的成功与失败。但是仅知道测试步骤执行结果对于锁定失败原因并未有较多的帮助。因此，在出现执行异常时就需要更多的依赖测试人员的经验，人工查看错误日志，然后查验错误编码来判断异常的情况，对测试进行风险分析。然而，由于导致异常的原因众多，相应的错误码也非常繁多，每次出现异常都去查验极大的消耗测试时间。此外，当异常情况复杂时，还需要测试人员重新逐步骤地验证测试用例的正确性，排除测试用例本身的异常风险，不仅会消耗大量的测试时间，也会增加测试的复杂度，加重工作负担。

基于上述问题，需要提出一种能够对测试用例进行风险分析方法，从而在测试执行过程中提供风险分析的功能，进一步辅助定位异常原因，从而提高自动化结果的准确性，增加自动化测试的覆盖性和健壮性，同时降低系统运行风险。

发明内容

一方面，本发明基于上述目的提出了一种测试用例风险分析方法，其中该方法包括以下步骤：

根据测试用例的测试逻辑配置预期执行参数表以及步骤关联表；

执行测试用例的测试，并记录各测试步骤的实际执行参数；

基于预期执行参数表和当前测试步骤的实际执行参数判断当前测试步骤的执行是否正常；

响应于当前测试步骤的执行正常，基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确；

响应于关联关系正确，判断当前测试步骤不存在风险。

根据本发明的测试用例风险分析方法的实施例，其中预期执行参数表配置为包括各个测试步骤的预期结果和预期值；步骤关联表配置为包括各测试步骤之间的关联关系。

根据本发明的测试用例风险分析方法的实施例，其中执行测试用例的测试，并记录各测试步骤的实际执行参数进一步包括：记录各测试步骤的实际执行结果和实际执行值。

根据本发明的测试用例风险分析方法的实施例，其中响应于当前测试步骤的执行正常，基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确进一步包括：

基于步骤关联表查询当前测试步骤与所有在先测试步骤的关联关系；

根据查询到的当前测试步骤与所有在先测试步骤的关联关系，根据实际执行结果验证关联关系是否正确。

根据本发明的测试用例风险分析方法的实施例，其中关联关系包括互补、互斥和无关。

根据本发明的测试用例风险分析方法的实施例，其中响应于当前测试步骤的执行正常，基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确进一步包括：

响应于当前测试步骤与在先测试步骤的关联关系为互斥，将两者的实际执行结果进行异或计算以判断关联关系是否正确；

响应于当前测试步骤与在先测试步骤的关联关系为互补，将两者的实际执行结果进行与计算以判断关联关系是否正确。

根据本发明的测试用例风险分析方法的实施例，其中基于预期执行参数表和当前测试步骤的实际执行参数判断当前测试步骤的执行是否正常进一步包括：

从预期执行参数表中获取当前测试步骤的预期结果，并与当前测试步骤的实际执行结果进行比较；

响应于当前测试步骤的预期结果和实际执行结果一致，从预期执行参数表中获取当前测试步骤的预期值，并与当前测试步骤的实际执行值进行比较；

响应于当前测试步骤的预期值和实际执行值一致，判断当前测试步骤的执行正常。

根据本发明的测试用例风险分析方法的实施例，其中方法进一步包括：

响应于当前测试步骤的执行异常，将异常信息与错误编码池的错误码进行匹配以上报风险告警。

根据本发明的测试用例风险分析方法的实施例，其中方法进一步包括：

响应于当前测试步骤与任一在先测试步骤的所述关联关系不正确，将不正确信息与错误编码池的错误码进行匹配以上报风险告警。

另一方面，本发明还提出了一种测试用例风险分析装置，其中该装置包括：

至少一个处理器；和

存储器，该存储器存储有处理器可运行的程序代码，该程序代码在被处理器运行时执行前述任一项的测试用例风险分析方法的步骤。

采用上述技术方案，本发明至少具有如下有益效果：在用例自动化转换的过程中，增设两重判断标准，一层是基于测试步骤本身的执行的判定，一层是对于测试步骤与测试步骤之间的相互关联关系的判断，针对这两重判断标准，建立预期执行参数表以及步骤关联表，通过上述两表与实际执行情况的比较来进行综合的风险分析，不仅能在测试执行过程中提供风险分析的功能，而且能进一步辅助定位异常原因，从而提高了自动化结果的准确性，增加了自动化测试的覆盖性和健壮性，同时降低了系统运行风险。

本发明提供了实施例的各方面，不应当用于限制本发明的保护范围。根据在此描述的技术可设想到其它实施方式，这对于本领域普通技术人员来说在研究以下附图和具体实施方式后将是显而易见的，并且这些实施方式意图被包含在本申请的范围内。

下面参考附图更详细地解释和描述了本发明的实施例，但它们不应理解为对于本发明的限制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对现有技术和实施例描述中所需要使用的附图作简单地介绍，附图中的部件不一定按比例绘制，并且可以省略相关的元件，或者在一些情况下比例可能已经被放大，以便强调和清楚地示出本文描述的新颖特征。另外，如本领域中已知的，结构顺序可以被不同地布置。

图1示出了根据本发明的测试用例风险分析方法的实施例的示意性框图。

具体实施方式

虽然本发明可以以各种形式实施，但是在附图中示出并且在下文中将描述一些示例性和非限制性实施例，但应该理解的是，本公开将被认为是本发明的示例并不意图将本发明限制于所说明的具体实施例。

图1示出了根据本发明的测试用例风险分析方法的实施例的示意性框图。在如图所示的实施例中，该方法至少包括以下步骤：

S1：根据测试用例的测试逻辑配置预期执行参数表以及步骤关联表；

S2：执行测试用例的测试，并记录各测试步骤的实际执行参数；

S3：基于预期执行参数表和当前测试步骤的实际执行参数判断当前测试步骤的执行是否正常；

S4：响应于当前测试步骤的执行正常，基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确；

S5：响应于关联关系正确，判断当前测试步骤不存在风险。

首先，作为风险分析的基础，本发明提出了建立预期执行参数表以及步骤关联表，即步骤S1根据测试用例的测试逻辑配置预期执行参数表以及步骤关联表。在准备好上述执行参数表以及步骤关联表之后，就可以开始步骤S2执行测试用例的测试，并记录各测试步骤的实际执行参数，其中各测试步骤的实际执行参数需要记录并保存至少直至本测试用例测试结束。在测试的逐步骤执行过程中，步骤S3基于预期执行参数表和当前测试步骤的实际执行参数判断当前测试步骤的执行是否正常。如果不正常，就可以直接上报风险。当步骤S3确认当前测试步骤的执行正常时，还需要就测试步骤之间的相互关联进行进一步的验证，即步骤S4基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确。步骤S4针对测试步骤与测试步骤之间的相互关联关系进行判断能够对测试用例实现过程中实际执行的测试逻辑进行验证。只有在当前测试步骤与所有在先测试步骤的关联关系都正确时，步骤S5才判定当前测试步骤不存在风险。如果当前测试步骤与任意一个或多个在先测试步骤的关联关系不正确都认为当前测试步骤存在风险。利用上述步骤，通过预期执行参数表和步骤关联表与实际执行情况的比较来能够进行综合的风险分析，从而在测试执行过程中提供风险分析的功能。

下文将说明本发明的进一步实施例，需要注意的是，其中提到的步骤的编号在没有特殊说明的情况下，仅用于便捷明确地指示该步骤，并不限定所述步骤的顺序。

在本发明的测试用例风险分析方法的一些实施例中，预期执行参数表配置为包括各个测试步骤的预期结果和预期值；步骤关联表配置为包括各测试步骤之间的关联关系。预期执行参数表用于基于测试步骤本身的执行的判定，其中记录了根据测试用例的测试逻辑所确定的测试步骤的预期结果和预期值。预期结果的含义是该步骤的执行结果预期成功或失败，即预计的执行结果为真或假。预期值的含义是该步骤执行后预计返回的值。步骤关联表用于针对测试步骤与测试步骤之间的相互关联关系的判断，其中记录了根据测试用例的测试逻辑所确定的各测试步骤之间的关联关系。

在本发明的测试用例风险分析方法的若干实施例中，步骤S2执行测试用例的测试，并记录各测试步骤的实际执行参数进一步包括：记录各测试步骤的实际执行结果和实际执行值。其中，实际执行结果的含义是该步骤的实际执行得到的结果是成功或失败，即实际的执行结果为真或假。实际执行值的含义是该步骤实际执行后返回的实际值。

在本发明的测试用例风险分析方法的进一步实施例中，步骤S4响应于当前测试步骤的执行正常，基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确进一步包括：

S41：基于步骤关联表查询当前测试步骤与所有在先测试步骤的关联关系；

S42：根据查询到的当前测试步骤与所有在先测试步骤的关联关系，根据实际执行结果验证关联关系是否正确。

具体地说，首先步骤S41在步骤关联表中查询当前测试步骤与所有在先测试步骤的应该保持的关联关系，然后根据获取到的当前测试步骤与所有在先测试步骤的应该保持的关联关系，步骤S42根据当前测试步骤的实际执行结果与所有在先测试步骤的实际执行结果分别验证实际的关联关系是否正确

在本发明的测试用例风险分析方法的一些实施例中，关联关系包括互补、互斥和无关。在一些情况下，测试步骤之间会存在相互制约、相互关联的关系，比如在具有条件选择情况的测试步骤之间、在具有循环情况的测试步骤之间等。因此，针对这些相互制约、相互关联的测试步骤，它们的关联关系包括互补、互斥。另外，相互没有制约、关联的关系的测试步骤之间设置关联关系为无关。为了更方便的记录并判断上述三种关联关系，步骤关联表可以用简单地标识来进行标记，优选但不限于以二进制码的形式，例如互补使用10作为标识、互斥使用01作为标识和无关使用00作为标识。

在本发明的测试用例风险分析方法的若干实施例中，步骤S4响应于当前测试步骤的执行正常，基于步骤关联表根据实际执行参数验证当前测试步骤与所有在先测试步骤的关联关系是否正确进一步包括：

A)响应于当前测试步骤与在先测试步骤的关联关系为互斥，将两者的实际执行结果进行异或计算以判断关联关系是否正确；

B)响应于当前测试步骤与在先测试步骤的关联关系为互补，将两者的实际执行结果进行与计算以判断关联关系是否正确。

具体地说，一方面，在A情况下，若当前测试步骤与在先测试步骤的应该保持的关联关系为互斥，则两者的实际执行结果进行异或计算，若异或计算结果为真，则证明实际执行过程中当前测试步骤与在先测试步骤的互斥的关联关系正确，否则认为两者间的实际测试逻辑与预期的不相符，存在异常风险。另一方面，在B情况下，若当前测试步骤与在先测试步骤的应该保持的关联关系为互补，则两者的实际执行结果进行与计算，若与计算结果为真，则证明实际执行过程中当前测试步骤与在先测试步骤的互补的关联关系正确，否则认为两者间的实际测试逻辑与预期的不相符，存在异常风险。

在本发明的测试用例风险分析方法的一个或多个实施例中，步骤S3基于预期执行参数表和当前测试步骤的实际执行参数判断当前测试步骤的执行是否正常进一步包括：

S31：从预期执行参数表中获取当前测试步骤的预期结果，并与当前测试步骤的实际执行结果进行比较；

S32：响应于当前测试步骤的预期结果和实际执行结果一致，从预期执行参数表中获取当前测试步骤的预期值，并与当前测试步骤的实际执行值进行比较；

S33：响应于当前测试步骤的预期值和实际执行值一致，判断当前测试步骤的执行正常。

基于测试步骤本身的执行的判定在实施例中可以更进一步地包括针对实际执行结果和针对实际执行值的两方面的验证。具体地说，首先验证实际执行结果是否符合预期，即步骤S31从预期执行参数表中获取当前测试步骤的预期结果，并与当前测试步骤的实际执行结果进行比较。如果当前测试步骤的预期结果和实际执行结果一致，则需要进一步验证实际执行值是否符合预期，即步骤S32从预期执行参数表中获取当前测试步骤的预期值，并与当前测试步骤的实际执行值进行比较。如果当前测试步骤的预期值和实际执行值一致，则步骤S33判断当前测试步骤的执行正常。也就是说，只有实际执行结果和实际执行值与预期保持一致，才认为该当前测试步骤的执行正常，否则都会认为该当前测试步骤的执行是不正常的。另外，如若已经发现实际执行结果不符合预期，就可以确定该当前测试步骤的执行不正常，则不再需要进行实际执行值的验证。

在本发明的测试用例风险分析方法的一些实施例中，该方法进一步包括：

S6：响应于当前测试步骤的执行异常，将异常信息与错误编码池的错误码进行匹配以上报风险告警。

在自动化测试平台或系统中，可以将错误码进行整理归集，形成一个错误编码池。当步骤S3验证当前测试步骤的执行情况存在异常时，会判定该条测试步骤的执行过程存在风险，需要进行步骤S6的将异常信息与错误编码池的错误码进行匹配，进而上报风险告警。

在本发明的测试用例风险分析方法的又一些实施例中，方法进一步包括：

S7：响应于当前测试步骤与任一在先测试步骤的所述关联关系不正确，将不正确信息与错误编码池的错误码进行匹配以上报风险告警。

当步骤S4验证当前测试步骤与所有在先测试步骤的关联关系时出现当前测试步骤与任意一个或多个在先测试步骤的关联关系被判定为与预期不相符时，认为该条测试步骤与该任意一个或多个在先测试步骤的测试逻辑存在风险，因此步骤S7将相应的不正确信息与错误编码池的错误码进行匹配以上报风险告警，更有利于准确定位导致异常的原因。

利用本发明的测试用例风险分析方法，在此时过程中出现的任意上报风险存在的情况都会记录在自动化测试平台或测试系统中，并在测试结束之后汇总成完整的风险分析报告，以辅助测试人员进行有针对性的错误定位及快速调试。另外，对于未匹配到的异常信息和/或不正确信息将记录入风险库，并推送给测试人员，由测试人员查验补充对应的错误码，以便在后续的测试过程中使用。

另一方面，本发明还提出了一种测试用例风险分析装置，其中该装置包括：至少一个处理器；和存储器，该存储器存储有处理器可运行的程序代码，该程序代码在被处理器运行时执行前述任一项的测试用例风险分析方法的步骤。

本发明实施例公开所述的装置、设备等可为各种电子终端设备，例如手机、个人数字助理(PDA)、平板电脑(PAD)、智能电视等，也可以是大型终端设备，如服务器等，因此本发明实施例公开的保护范围不应限定为某种特定类型的装置、设备。本发明实施例公开所述的客户端可以是以电子硬件、计算机软件或两者的组合形式应用于上述任意一种电子终端设备中。

本文所述的计算机可读存储介质(例如存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)或快闪存储器。易失性存储器可以包括随机存取存储器(RAM)，该RAM可以充当外部高速缓存存储器。作为例子而非限制性的，RAM可以以多种形式获得，比如同步RAM(DRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据速率SDRAM(DDR SDRAM)、增强SDRAM(ESDRAM)、同步链路DRAM(SLDRAM)、以及直接Rambus RAM(DRRAM)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。

采用上述技术方案，本发明至少具有如下有益效果：在用例自动化转换的过程中，增设两重判断标准，一层是基于测试步骤本身的执行的判定，一层是对于测试步骤与测试步骤之间的相互关联关系的判断，针对这两重判断标准，建立预期执行参数表以及步骤关联表，通过上述两表与实际执行情况的比较来进行综合的风险分析，不仅能在测试执行过程中提供风险分析的功能，而且能进一步辅助定位异常原因，从而提高了自动化结果的准确性，增加了自动化测试的覆盖性和健壮性，同时降低了系统运行风险。

应当理解的是，在技术上可行的情况下，以上针对不同实施例所列举的技术特征可以相互组合，从而形成本发明范围内的另外实施例。此外，本文所述的特定示例和实施例是非限制性的，并且可以对以上所阐述的结构、步骤及顺序做出相应修改而不脱离本发明的保护范围。

在本申请中，反意连接词的使用旨在包括连接词。定或不定冠词的使用并不旨在指示基数。具体而言，对“该”对象或“一”和“一个”对象的引用旨在表示多个这样对象中可能的一个。然而，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。此外，可以使用连接词“或”来传达同时存在的特征，而不是互斥方案。换句话说，连接词“或”应理解为包括“和/或”。术语“包括”是包容性的并且具有与“包含”相同的范围。

上述实施例，特别是任何“优选”实施例是实施方式的可能示例，并且仅仅为了清楚理解本发明的原理而提出。在基本上不脱离本文描述的技术的精神和原理的情况下，可以对上述实施例做出许多变化和修改。所有修改旨在被包括在本公开的范围内。

Claims (8)

1.一种测试用例风险分析方法，其特征在于，所述方法包括以下步骤：

根据测试用例的测试逻辑配置预期执行参数表以及步骤关联表；

执行所述测试用例的测试，并记录各测试步骤的实际执行参数；

基于所述预期执行参数表和当前测试步骤的所述实际执行参数判断所述当前测试步骤的执行是否正常；

响应于所述当前测试步骤的执行正常，基于所述步骤关联表根据实际执行参数验证所述当前测试步骤与所有在先测试步骤的关联关系是否正确；

响应于所述关联关系正确，判断所述当前测试步骤不存在风险；

其中，所述预期执行参数表配置为包括各个测试步骤的预期结果和预期值；所述步骤关联表配置为包括各测试步骤之间的关联关系；所述关联关系包括互补、互斥和无关。

2.根据权利要求1所述的方法，其特征在于，所述执行所述测试用例的测试，并记录各测试步骤的实际执行参数进一步包括：

记录所述各测试步骤的实际执行结果和实际执行值。

3.根据权利要求2所述的方法，其特征在于，所述响应于所述当前测试步骤的执行正常，基于所述步骤关联表根据实际执行参数验证所述当前测试步骤与所有在先测试步骤的关联关系是否正确进一步包括：

基于所述步骤关联表查询所述当前测试步骤与所有在先测试步骤的关联关系；

根据查询到的所述当前测试步骤与所有在先测试步骤的关联关系，根据所述实际执行结果验证所述关联关系是否正确。

4.根据权利要求1所述的方法，其特征在于，所述响应于所述当前测试步骤的执行正常，基于所述步骤关联表根据实际执行参数验证所述当前测试步骤与所有在先测试步骤的关联关系是否正确进一步包括：

响应于所述当前测试步骤与在先测试步骤的关联关系为互斥，将两者的实际执行结果进行异或计算以判断所述关联关系是否正确；

响应于所述当前测试步骤与在先测试步骤的关联关系为互补，将两者的实际执行结果进行与计算以判断所述关联关系是否正确。

5.根据权利要求2所述的方法，其特征在于，所述基于所述预期执行参数表和当前测试步骤的所述实际执行参数判断所述当前测试步骤的执行是否正常进一步包括：

从所述预期执行参数表中获取所述当前测试步骤的预期结果，并与所述当前测试步骤的所述实际执行结果进行比较；

响应于所述当前测试步骤的所述预期结果和所述实际执行结果一致，从所述预期执行参数表中获取所述当前测试步骤的预期值，并与所述当前测试步骤的所述实际执行值进行比较；

响应于所述当前测试步骤的所述预期值和所述实际执行值一致，判断所述当前测试步骤的执行正常。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

响应于所述当前测试步骤的执行异常，将异常信息与错误编码池的错误码进行匹配以上报风险告警。

7.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

响应于所述当前测试步骤与任一在先测试步骤的所述关联关系不正确，将不正确信息与错误编码池的错误码进行匹配以上报风险告警。

8.一种测试用例风险分析装置，其特征在于，所述装置包括：

至少一个处理器；和

存储器，所述存储器存储有处理器可运行的程序代码，所述程序代码在被处理器运行时执行权利要求1至7任一项的测试用例风险分析方法的步骤。

Images