CN111722997B - 自动化测试的异常检测方法及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种自动化测试的异常检测方法及计算机可读存储介质，方法包括：解析测试脚本，得到脚本操作；分别获取各脚本操作在各测试设备上的操作运行时长；根据各测试脚本中各脚本操作在各测试设备上的操作运行时长，分别计算得到各测试脚本在各测试设备上的脚本运行时长；在第一测试设备上运行一测试脚本，若运行时间超过所述一测试脚本在第一测试设备的脚本运行时长，则判定测试异常。本发明可提高发现异常的及时性和准确性。

Description

自动化测试的异常检测方法及计算机可读存储介质

技术领域

本发明涉及自动化测试技术领域，尤其涉及一种自动化测试的异常检测方法及计算机可读存储介质。

背景技术

目前，自动测试游戏功能模块的测试完成时间普遍由人为设定，或者不规定其测试完成时间。

但若不规定测试完成时间，当项目更新周期较短时，没有充分时间进行完整测试，且在测试量大的情况下无法及时发现异常问题。

若统一对测试完成时间进行人为规定，测试时若在规定时间内未运行完脚本将判定测试失败，但由于不同操作在不同设备上的运行时间不同，因此测试设备不同时，测试结果也不同，此时容易产生误判。或者由于某次更新导致脚本中的某个操作需花费更多的时间，从而导致测试时间超时被判定为测试失败，但实际上游戏功能并不存在问题，而人工查看结果需要花大量时间。

另外，在测试前，测试设备处于在线状态，还可正常地接收脚本测试任务，但在测试过程中，由于网络问题或电量问题等情况导致设备异常，从而导致无论脚本是否异常，该测试设备上运行的脚本都无法通过，此时测试人员需要花费大量时间查看测试结果来分析异常问题，无法保证测试效率。

发明内容

本发明所要解决的技术问题是：提供一种自动化测试的异常检测方法及计算机可读存储介质，可提高发现异常的及时性和准确性。

为了解决上述技术问题，本发明采用的技术方案为：一种自动化测试的异常检测方法，包括：

解析测试脚本，得到脚本操作；

分别获取各脚本操作在各测试设备上的操作运行时长；

根据各测试脚本中各脚本操作在各测试设备上的操作运行时长，分别计算得到各测试脚本在各测试设备上的脚本运行时长；

在第一测试设备上运行一测试脚本，若运行时间超过所述一测试脚本在第一测试设备的脚本运行时长，则判定测试异常。

本发明还涉及一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的步骤。

本发明的有益效果在于：通过解析测试脚本，并根据不同脚本操作在不同测试设备上的操作运行时长，计算得到测试脚本在不同测试设备上的脚本运行时长，然后根据该测试脚本在测试设备上的测试运行时间是否超过对应的脚本运行时长来判断是否测试异常，可及时发现异常问题，且可避免由于测试设备的不同导致测试结果不同，提高了测试异常的判断准确率。本发明可提高发现异常的及时性和准确性。

附图说明

图1为本发明的一种自动化测试的异常检测方法的流程图；

图2为本发明实施例一的方法流程图。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图详予说明。

本发明最关键的构思在于：通过解析脚本操作内容及测试设备的配置，计算得到对应的脚本运行时长。

请参阅图1，一种自动化测试的异常检测方法，包括：

解析测试脚本，得到脚本操作；

分别获取各脚本操作在各测试设备上的操作运行时长；

根据各测试脚本中各脚本操作在各测试设备上的操作运行时长，分别计算得到各测试脚本在各测试设备上的脚本运行时长；

在第一测试设备上运行一测试脚本，若运行时间超过所述一测试脚本在第一测试设备的脚本运行时长，则判定测试异常。

从上述描述可知，本发明的有益效果在于：可提高发现异常的及时性和准确性。

进一步地，所述判定测试异常之后，进一步包括：

在第二测试设备上运行所述一测试脚本，若运行时间超过所述一测试脚本在第二测试设备的脚本运行时长，则判定所述一测试脚本异常。

由上述描述可知，通过在不同测试设备执行同一测试脚本，进一步确认是否是由于脚本异常所导致的测试异常。

进一步地，所述判定测试异常之后，进一步包括：

将所述第一测试设备的测试失败次数加一，所述测试失败次数的初始值为零；

重置所述第一测试设备的设备状态后，在第一测试设备上运行下一测试脚本；

判断所述下一测试脚本在所述第一测试设备上的运行时间是否超过所述下一测试脚本在所述第一测试设备上的脚本运行时长；

若未超过，则重置所述测试失败次数；

若超过，则将所述测试失败次数加一；

若所述测试失败次数超过预设的次数，则判定所述第一测试设备异常。

由上述描述可知，通过在同一测试设备执行不同的测试脚本，进一步确认是否是由于设备异常所导致的测试异常。

进一步地，所述判定所述第一测试设备异常之后，进一步包括：

重启所述第一测试设备。

由上述描述可知，通过重启设备可解决大部分的设备异常问题，并且，通过设备异常及时处理，保证测试设备正常运行，从而在保证测试质量的同时提高测试效率。

进一步地，所述重启所述第一测试设备之后，进一步包括：

将在所述第一测试设备上运行过的测试脚本重新分配至所述第一测试设备。

由上述描述可知，通过重新执行因设备异常导致失败的测试脚本，以减少后续人工对测试结果进行查看的工作量。

进一步地，所述在第一测试设备上运行一测试脚本之前，进一步包括：

将待测试的测试脚本随机分配至各测试设备。

由上述描述可知，通过随机分配测试脚本，保证兼容性测试。

进一步地，所述分别获取各脚本操作在各测试设备上的操作运行时长具体为：

分别获取各脚本操作在标准设备上的标准运行时长；

根据一测试设备的配置信息，获取标准设备与所述一测试设备的对比参数；

根据各脚本操作的标准运行时长以及所述对比参数，分别计算得到各脚本操作在所述一测试设备上的操作运行时长。

进一步地，所述根据一测试设备的配置信息，获取所述一测试设备对应的对比参数之前，进一步包括：

分别测试得到各脚本操作在标准设备上的第一运行时长；

分别测试得到各脚本操作在不同配置的测试设备上的第二运行时长；

根据所述第一运行时长和第二运行时长，分别得到标准设备与不同配置的测试设备的对比参数。

由上述描述可知，通过预先计算得到不同配置的测试设备与标准设备之间的对比参数，后续只需获取测试设备的配置信息，即可快速计算得到各个脚本操作在测试设备上的操作运行时长。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如上所述的步骤。

实施例一

请参照图2，本发明的实施例一为：一种自动化测试的异常检测方法，可应用于游戏的自动化测试的异常检测，包括如下步骤：

S1：解析测试脚本，得到脚本操作，如长按、点击、滑动等，进一步地，对解析得到的脚本操作的次数进行统计，便于后续的计算。在具体应用场景中，解析得到的脚本操作语法保留关键字和运算符号。

S2：分别获取各脚本操作在各测试设备上的操作运行时长。

具体地，可事先分别测试得到各脚本操作在标准设备上的第一运行时长以及在不同配置的测试设备上的第二运行时长；然后根据所述第一运行时长和第二运行时长，分别得到标准设备与不同配置的测试设备的对比参数。即设定一种配置为标准配置，具有标准配置的设备即为标准设备，在标准设备上分别测试得到各个脚本操作的第一运行时长，在另一配置的设备上测试得到各个脚本操作的第二运行时长，然后计算得到同一脚本操作的第一运行时长与第二运行时长之比，即可得到标准配置的设备与该配置的设备的对比参数。进一步地，若不同脚本操作计算得到的第一运行时长与第二运行时长之比不同，则可通过分析计算得到一个较准确的对比参数，如去除误差较大的值后求平均值等等。

然后分别获取解析得到的各脚本操作在标准设备上的标准运行时长；根据一测试设备的配置信息，获取标准设备与所述一测试设备的对比参数；最后，根据各脚本操作的标准运行时长以及所述对比参数，分别计算得到各脚本操作在所述一测试设备上的操作运行时长，即假设一脚本操作在标准设备上的标准运行时长为a，标准设备与一测试设备的对比参数为x，则该脚本操作在该测试设备上的操作运行时长为a/x。

本实施例中，配置参数主要为RAM(主存)的大小，其他配置默认相同。例如，假设标准配置为16G，则RAM为16G的设备即为标准设备，假设一测试设备的RAM为8G，脚本操作在标准设备上的运行时长与在该测试设备上的运行时长之比为y，则对于其他RAM为8G的设备来说，其与标准设备的对比参数均为y。也就是说，预先测试得到标准设备与其他设备的主存大小比所对应的对比参数，如主存大小比为2:1，对应的对比参数为y；主存大小比为4:1，对应的对比参数为z；以此类推。后续可根据测试设备的配置与标准设备的配置的关系，得到对应的对比参数，从而得到脚本操作的操作运行时长。

进一步地，可在测试脚本分配到测试设备上后再去获取该测试脚本中的各脚本操作在该测试设备上的操作运行时长。

S3：根据各测试脚本中各脚本操作在各测试设备上的操作运行时长，分别计算得到各测试脚本在各测试设备上的脚本运行时长；即根据一测试脚本中各脚本操作在一测试设备上的操作运行时长，计算得到该测试脚本在该测试设备上的脚本运行时长。

例如，假设测试脚本中包含5个滑动操作、4个点击操作和1个长按操作，滑动操作在该测试设备上的操作运行时长为2s，点击操作在该测试设备上的操作运行时长为1s，长按操作在该测试设备上的操作运行时长为3s，则该测试脚本在该测试设备上的脚本运行时长为5×2+4×1+1×3＝17s。

进一步地，若测试脚本内容发生变化，则重新计算在各测试设备上的脚本运行时长。

S4：在第一测试设备上运行一测试脚本，判断运行时间是否超过所述一测试脚本在第一测试设备的脚本运行时长，即判断是否测试的运行时间超过了该测试脚本在第一测试设备的脚本运行时长时仍未测试结束，若是，则结束该测试脚本在第一测试设备上的测试，并执行步骤S5，若否，则判定所述一测试脚本在第一测试设备上测试正常。

进一步地，在该步骤之前，将待测试的测试脚本随机分配给测试设备，以保证兼容性测试。

S5：在第二测试设备上运行所述一测试脚本，判断运行时间是否超过所述一测试脚本在第二测试设备的脚本运行时长，即判断是否测试的运行时间超过了该测试脚本在第二测试设备的脚本运行时长时仍未测试结束，若是，则执行步骤S6，若否，则所述一测试脚本在第二测试设备上测试正常，认为测试脚本未出现异常，执行步骤S7。

进一步地，在该步骤之前，保存所述一测试脚本，并将所述一测试脚本重新随机分配给其他测试设备，被分配到的测试设备即第二测试设备。

S6：判定所述一测试脚本异常。进一步地，将所述一测试脚本发送给测试技术人员进行查看。

S7：将所述第一测试设备的测试失败次数N加一，所述测试失败次数的初始值为零，即令N＝N+1，N的初始值为0，此时N＝1。

进一步地，该步骤可在步骤S5后执行，也可与步骤S5同时执行。

S8：重置所述第一测试设备的设备状态后，在第一测试设备上运行下一测试脚本。其中，重置设备状态即将表示是否测试中的标志位从正在执行的状态该为空闲状态，进一步地，根据下一测试脚本要测试的内容，对应修改设备状态。

S9：判断所述下一测试脚本在所述第一测试设备上的运行时间是否超过所述下一测试脚本在所述第一测试设备上的脚本运行时长，即是否运行时间超过了脚本运行时长仍未测试结束，若是，则执行步骤S11，若否，则认为所述下一测试脚本在第一测试设备上测试正常，执行步骤S10。

S10：重置第一测试设备的测试失败次数，即令N＝0，保证不是由于脚本异常而判定设备异常。此时，则认为第一测试设备未出现异常。

S11：将所述测试失败次数加一，即令N＝N+1。进一步地，保存所述下一测试脚本，即将在第一测试设备上执行过且失败的测试脚本存储起来。

S12：判断所述测试失败次数是否超过预设的次数，即N＞K是否成立，K为预设次数，若是，则执行步骤S13，若否，则重置第一测试设备的设备状态后继续运行下一测试脚本，即执行步骤S8。其中，所述预设次数可由测试人员根据测试脚本的健壮性自定义。

S13：判定所述第一测试设备异常。

进一步地，判定设备异常后，先判断所述第一测试设备是否在线(若第一测试设备为移动端，则判断adb是否在线，若第一测试设备为PC端，则判断是否可远程连接)；若不在线，则通过adb命令重启所述第一测试设备，若通过adb命令无法重启，则通知测试技术人员，通过人工拔插的方式重启；若在线，则开启设备通信工具以保证可接收到测试任务，恢复设备网络，重置数据库中记录设备异常的字段，如测试失败次数，对待测试软件的安装状态进行检查等等。

解决设备异常的问题后，将在所述第一测试设备上运行过且失败的测试脚本重新分配至所述第一测试设备，即重新执行因设备异常导致失败的测试脚本，以减少后续人工对测试结果进行查看的工作量。

本实施例在对测试进行异常检测时可分别定位设备异常或脚本异常，并且在设备异常时及时自动处理或通知测试人员，保证测试设备的正常运行，在保证测试质量的同时提高测试效率。

本实施例可及时发现异常和处理异常，从而保证自动化测试的稳定性。

实施例二

本实施例是对应上述实施例的一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如下步骤：

解析测试脚本，得到脚本操作；

分别获取各脚本操作在各测试设备上的操作运行时长；

根据各测试脚本中各脚本操作在各测试设备上的操作运行时长，分别计算得到各测试脚本在各测试设备上的脚本运行时长；

在第一测试设备上运行一测试脚本，若运行时间超过所述一测试脚本在第一测试设备的脚本运行时长，则判定测试异常。

进一步地，所述判定测试异常之后，进一步包括：

在第二测试设备上运行所述一测试脚本，若运行时间超过所述一测试脚本在第二测试设备的脚本运行时长，则判定所述一测试脚本异常。

进一步地，所述判定测试异常之后，进一步包括：

将所述第一测试设备的测试失败次数加一，所述测试失败次数的初始值为零；

重置所述第一测试设备的设备状态后，在第一测试设备上运行下一测试脚本；

判断所述下一测试脚本在所述第一测试设备上的运行时间是否超过所述下一测试脚本在所述第一测试设备上的脚本运行时长；

若未超过，则重置所述测试失败次数；

若超过，则将所述测试失败次数加一；

若所述测试失败次数超过预设的次数，则判定所述第一测试设备异常。

进一步地，所述判定所述第一测试设备异常之后，进一步包括：

重启所述第一测试设备。

进一步地，所述重启所述第一测试设备之后，进一步包括：

将在所述第一测试设备上运行过的测试脚本重新分配至所述第一测试设备。

进一步地，所述在第一测试设备上运行一测试脚本之前，进一步包括：

将待测试的测试脚本随机分配至各测试设备。

进一步地，所述分别获取各脚本操作在各测试设备上的操作运行时长具体为：

分别获取各脚本操作在标准设备上的标准运行时长；

根据一测试设备的配置信息，获取标准设备与所述一测试设备的对比参数；

根据各脚本操作的标准运行时长以及所述对比参数，分别计算得到各脚本操作在所述一测试设备上的操作运行时长。

进一步地，所述根据一测试设备的配置信息，获取所述一测试设备对应的对比参数之前，进一步包括：

分别测试得到各脚本操作在标准设备上的第一运行时长；

分别测试得到各脚本操作在不同配置的测试设备上的第二运行时长；

根据所述第一运行时长和第二运行时长，分别得到标准设备与不同配置的测试设备的对比参数。

综上所述，本发明提供的一种自动化测试的异常检测方法及计算机可读存储介质，通过随机分配测试脚本，保证兼容性测试；通过解析测试脚本，并根据不同脚本操作在不同测试设备上的操作运行时长，计算得到测试脚本在不同测试设备上的脚本运行时长，然后根据该测试脚本在测试设备上的测试运行时间是否超过对应的脚本运行时长来判断是否测试异常，可及时发现异常问题，并且可避免由于测试设备的不同导致测试结果不同，提高了测试异常的判断准确率；可分别定位设备异常或脚本异常，并且在设备异常时可及时自动处理或通知测试人员，保证测试设备的正常运行，在保证测试质量的同时提高测试效率；通过重新执行因设备异常导致失败的测试脚本，以减少后续人工对测试结果进行查看的工作量；本发明可保证自动化测试的稳定性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (7)

1.一种自动化测试的异常检测方法，其特征在于，包括：

解析测试脚本，得到脚本操作；

分别获取各脚本操作在各测试设备上的操作运行时长；

根据各测试脚本中各脚本操作在各测试设备上的操作运行时长，分别计算得到各测试脚本在各测试设备上的脚本运行时长；

在第一测试设备上运行一测试脚本，若运行时间超过所述一测试脚本在第一测试设备的脚本运行时长，则判定测试异常；

所述判定测试异常之后，进一步包括：

在第二测试设备上运行所述一测试脚本，判断运行时间是否超过所述一测试脚本在第二测试设备的脚本运行时长；

若是，则判定所述一测试脚本异常；

若否，则将所述第一测试设备的测试失败次数加一，所述测试失败次数的初始值为零；

重置所述第一测试设备的设备状态后，在第一测试设备上运行下一测试脚本；

判断所述下一测试脚本在所述第一测试设备上的运行时间是否超过所述下一测试脚本在所述第一测试设备上的脚本运行时长；

若未超过，则重置所述测试失败次数；

若超过，则将所述测试失败次数加一；

若所述测试失败次数超过预设的次数，则判定所述第一测试设备异常。

2.根据权利要求1所述的自动化测试的异常检测方法，其特征在于，所述判定所述第一测试设备异常之后，进一步包括：

重启所述第一测试设备。

3.根据权利要求2所述的自动化测试的异常检测方法，其特征在于，所述重启所述第一测试设备之后，进一步包括：

将在所述第一测试设备上运行过的测试脚本重新分配至所述第一测试设备。

4.根据权利要求1所述的自动化测试的异常检测方法，其特征在于，所述在第一测试设备上运行一测试脚本之前，进一步包括：

将待测试的测试脚本随机分配至各测试设备。

5.根据权利要求1所述的自动化测试的异常检测方法，其特征在于，所述分别获取各脚本操作在各测试设备上的操作运行时长具体为：

分别获取各脚本操作在标准设备上的标准运行时长；

根据一测试设备的配置信息，获取标准设备与所述一测试设备的对比参数；

根据各脚本操作的标准运行时长以及所述对比参数，分别计算得到各脚本操作在所述一测试设备上的操作运行时长。

6.根据权利要求5所述的自动化测试的异常检测方法，其特征在于，所述根据一测试设备的配置信息，获取所述一测试设备对应的对比参数之前，进一步包括：

分别测试得到各脚本操作在标准设备上的第一运行时长；

分别测试得到各脚本操作在不同配置的测试设备上的第二运行时长；

根据所述第一运行时长和第二运行时长，分别得到标准设备与不同配置的测试设备的对比参数。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6任一项所述的方法。

Images