CN110502422A - 一种自动测试方法、测试装置和具有存储功能的装置 - Google Patents

Abstract

本发明公开了一种自动测试方法、测试装置和具有存储功能的装置。该自动测试方法包括：通过计算设备将至少一个测试用例进行组合，得到测试用例集，其中，测试用例集中的测试用例执行时互不影响；随机串行或随机并行执行至少一个测试用例集。通过上述方式，本发明能够扩大测试范围，提升测试的效率和可靠性。

Description

一种自动测试方法、测试装置和具有存储功能的装置

技术领域

本发明涉及测试领域，特别是涉及一种自动测试方法、测试装置和具有存储功能的装置。

背景技术

当前对于测试用例执行还是处于批量执行测试人员的命令的阶段，不具备自动化智能特征，更无法智能组合，更多的还是依靠测试人员的手工触发，不仅降低了测试效率，而且人为因素会使得测试结果不够准确，测试结果的可靠性低。此外，测试用例的组合关系非常复杂，且多种多样，难以管理。

发明内容

本发明主要解决的技术问题是提供一种自动测试方法、测试装置和具有存储功能的装置，能够扩大测试范围，提升测试的效率和可靠性。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种自动测试方法，包括：将至少一个测试用例进行组合，得到至少一个测试用例集，其中，每个所述测试用例集中的测试用例并行执行时互不影响；通过计算设备随机串行或固定串行执行所述至少一个测试用例集，其中所述测试用例集中的至少一个所述测试用例可以被随机并行或固定并行执行。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种测试装置，包括：相互耦接的处理器和测试电路，用于实现如上所述的方法。

为解决上述技术问题，本发明采用的又一个技术方案是：提供一种具有存储功能的装置，存储有程序数据，所述程序数据能够被执行以实现如上所述方法中的步骤。

本发明的有益效果是：区别于现有技术的情况，本发明通过将能够并行执行的测试用例组合，得到测试用例集，随机测试测试用例和测试用例集，能够扩大测试的覆盖范围，自动进行测试，可以提升测试的效率和可靠性。

附图说明

图1是本发明中自动测试方法的第一实施例的流程示意图；

图2是本发明中自动测试方法的第二实施例的流程示意图；

图3是用例关系整理之前的关系示意图；

图4是本发明中第一实施例中测试用例之间的关系示意图；

图5是本发明中自动测试方法的第三实施例的流程示意图；

图6是本发明中第二实施例中测试用例之间的关系示意图；

图7是本发明中测试装置的一实施例的结构示意图；

图8是本发明中具有存储功能的装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。

请参阅图1，图1是本发明中自动测试方法的一实施例的流程示意图。本发明提出的自动测试方法包括如下步骤：

S101：将至少一个测试用例进行组合，得到至少一个测试用例集，其中，每个所述测试用例集中的测试用例执行时互不影响。

在一个具体的实施场景中，例如图3所示，多个测试用例的之间组合关系非常复杂。整理图3中所示的多个测试用例，根据各个用例之间的并行和/或串行执行的关系，例如，测试用例a1、测试用例a2和测试用例a3可以并行执行；测试用例b1、测试用例b2和测试用例b3可以并行执行；测试用例c1、测试用例c2和测试用例c3可以并行执行；测试用例O1、测试用例O2和测试用例O3可以并行执行；测试用例a1和测试用例b1可以串行执行；测试用例a2和测试用例b2可以串行执行；测试用例a3和测试用例b3可以串行执行；测试用例b1和测试用例c2可以串行执行；测试用例O1与其他测试用例既不可串行执行也不可并行执行，等等。

根据上述整理出的多个测试用例之间的关系选择部分用例组合整理为如图4所示的多个测试用例集，且测试用例集中的测试用例执行时相互不影响如图4所示，将可以并行执行的测试用例a1、测试用例a2和测试用例a3组合为测试用例集a；将可以并行执行的测试用例b1、测试用例b2和测试用例b3组合为测试用例集b；将可以并行执行的测试用例c1、测试用例c2和测试用例c3组合为测试用例集c；将可以并行执行的测试用例O1、测试用例O2和测试用例O3组合为测试用例集O，且测试用例集a、测试用例集b和测试用例集c之间串行执行，测试用例集O独立执行。

S102：通过计算设备随机串行或固定串行执行所述至少一个测试用例集，其中所述测试用例集中的至少一个所述测试用例被随机并行或固定并行执行。

例如，按照测试用例集a->测试用例集b->测试用例集c的固定顺序串行执行测试用例集a、测试用例集b和测试用例集c。即，先并行执行测试用例集a中的固定个数的测试用例，然后并行执行测试用例集b中的固定个数的测试用例，最后并行执行测试用例集c中的固定个数的测试用例。不同的测试用例集中并行执行的测试用例的个数可以相等或不等，例如，在测试用例集a、测试用例集b和测试用例集c中并行执行的测试用例的个数可以是2、3、4或者2、2、3等。固定的个数可以是在输入测试值的同时指定的，即每一次测试前都要接受由测试人员或者程序输入的个数，也可以是预设在程序中。

在本实施场景中，按照随机顺序串行执行测试用例集a、测试用例集b和测试用例集c，在其他实施场景中，也可以按照随机顺序并行执行测试用例集a、测试用例集b和测试用例集c。

具体地，每个测试用例集中的执行的测试用例的个数可以为随机或者固定的。

在一个实施场景中，测试用例集a、测试用例集b和测试用例集c中并行执行的测试用例的个数可以是随机的。在又一个实施场景中，测试用例集a、测试用例集b和测试用例集c中的部分并行执行用例集中的随机个数的测试用例，其余部分并行执行测试用例集中的固定个数的测试用例。

在又一个实施场景中，并行执测试用例集中的固定个数的测试例，当固定个数小于测试用例集中的测试用例总数的时候，可以根据预设策略选择测试用例，例如测试用例集a中包括测试用例a1、测试用例a2和测试用例a3，固定个数为2，于是将测试用例a1、测试用例a2和测试用例a3两两分组为测试用例a1和测试用例a2、测试用例a2和测试用例a3以及测试用例a1和测试用例a3三组，随后可以根据测试循环的次数选择测试用例，例如此次为第5次测试，则用5/3余2，所以选择测试用例a2和测试用例a3。在其他实施场景中，还可以根据其他策略，例如按照执行优先级顺序，或者测试用例的关联程度。具体如测试用例a1、测试用例a2和测试用例a3的执行优先级顺序为依序从高至低，故将最高优先级的两个测试用例a1、测试用例a2进行第1次并行执行，在需要对该测试用例集进行第2次测试时，则再并行执行优先级较低的两个测试用例a2、测试用例a3。

在又一个实施场景中，并行执测试用例集中的固定个数的测试例，当固定个数小于测试用例集中的测试用例总数的时候，随机选择的测试用例。

在又一个实施场景中，串行执行测试用例集中的测试用例。测试用例的选择概率与并行执行时基本相似，此处不再赘述。

测试用例集O因为既不能与其他测试用例集串行执行也不能与其他测试用例集并行执行，因此可以独立执行。在本实施场景中，测试用例O3与其他测试用例既不能串行执行又不能并行执行，是排他性测试用例。例如，测试用例O3是关闭计算机，这会导致其他的后续的测试用例(如果存在)将无法执行，因此，可以选择不执行该测试用例。在另一个实施场景中，可以选择预设一个或者测试人员手动设置一个恢复性测试用例，作为该排他性测试的附属测试用例，在执行完该排他性测试用例后执行该恢复性测试用例，例如，测试用例O3的恢复性测试用例为重启或开机，这样在执行完关机操作后，立即执行重启或者开机的操作就可以继续执行后续的测试用例。

在本实施场景中，计算设备可以是计算机，在其他实施场景中，计算设备还可以是移动终端、处理器、集成电路、或集成电路芯片中的一个或多个的组合。

本实施例通过将能够并行执行的测试用例组合，得到测试用例集，自动进行测试，便于对关系复杂的测试用例进行管理，并且可以提升测试的效率和可靠性。

进一步地，请参阅图2，本实施例还可以包括方法步骤S103：将所述至少一个测试用例集定义为新的测试用例，其中，所述新的测试用例能作为任何一个所述测试用例集中的至少一个测试用例。

在一个具体实施场景中，将至少一个测试用例集定义为新的测试用例，例如可以将测试用例集a定义为新的测试用例a，新的测试用例a可以作为任何一个测试用例集中的一个测试用例，例如可以作为测试用例集b中的测试用例，也可以作为测试用例集a或测试用例集c中的一个测试用例。进一步说，具有新的测试用例a的测试用例集b还可以作为测试用例a、测试用例集a或测试用例集c中任何一个测试用例集中的一个测试用例。

在另一个具体的实施场景中，测试用例集a、测试用例集b和测试用例集c中的一个或多个以作为同一个测试用例集中的一个或多个新的测试用例。通过以这种方式将测试用例组合，得到测试用例集，随机测试测试用例和测试用例集，能够扩大测试的覆盖范围，自动进行测试，可以提升测试的效率。

在本实施场景中，随机并行执行测试用例集中的测试用例的时候，各个测试用例被选中的概率是均等，在其他实施场景中，各个测试用例的概率可以是不均等的，某些测试用例的优先级高于其他测试用例，这些用例在随机并行执行测试用例集中的测试用例的时候被选中的概率更高。此外，在并行执行测试用例集中的测试用例的情况下，如果某些测试用例的测试结果为失败时，提高这些测试用例的执行优先级。这样，在下次测试这些测试用例集的时候(包括并行执行随机个数和固定个数的测试用例)，优先选中这些测试用例。

在本实施场景中，在一个测试用例集，例如测试用例集b，中，由测试用例集a定义的新的测试用例a的优先级与测试用例集b中其他测试用例的优先级相等，即各个测试用例被选中的概率是均等的。在其他测试场景中，测试用例集a定义的新的测试用例a的优先级与测试用例集b中其他测试用例的优先级不等，可以是高于或低于测试用例集b中其他测试用例，或者是其优先级可以根据不同的测试需求在测试前人为设置。

此外，如果当前执行得出测试用例为原始测试用例，即该测试用例是初次执行，则在该测试用例执行后输出该测试用例的测试结果和/或相关执行日志。在其他实施场景中，每次执行每个测试用例结束后都要给出该测试用例的测试结果和/或相关执行日志。

在本实施场景中，测试用例的粒度设置为小于预设粒度的实施例，这样可以有效控制测试用例的数量，在其他实施场景中，也可以不对测试用例的粒度设置限制。

在本实施场景中，所有测试用例和测试用例集执行时互不影响。且各个测试用例和测试用例集的执行方式可以是随机并行、随机串行、固定并行、固定串行中的任何一种或多种。

通过上述描述可知，本实施例通过将可以并行执行的粒度小于预设阈值的测试用例分为多个测试用例集，随机或固定并行执行每个测试用例集中的至少一个测试用例，以及随机顺序或固定顺序执行这些测试用例集，通过随机组合，扩大测试覆盖范围，记录测试失败的测试用例并提升其优先级，测试可靠性高，将测试用例分类整理，避免重复多余的测试，自动执行组合的测试用例，提升测试效率。

请参阅图5，图5是本发明中自动测试方法的第三实施例的流程示意图。本发明提出的自动测试方法包括如下步骤：

S201：将至少一个测试用例进行组合，得到至少一个测试用例集，其中，每个所述测试用例集中的测试用例执行时互不影响。

步骤S201与本发明中自动测试方法的第一实施例中步骤S101原理相同，效果也相同，此处不再赘述。

S202：将所述至少一个测试用例集组合为至少一个用例复合集。

如图5所示，将串行执行的测试用例集a、测试用例集b、测试用例集c组合为用例复合集1；将串行执行的测试用例集e、测试用例集f、测试用例集g组合为用例复合集2，且这些测试用例集执行时相互不干扰。

S203：按照随机顺序或固定顺序串行执行所述至少一个用例复合集，其中，执行每个所述用例复合集包括按照随机顺序或固定顺序串行执行所述用例复合集中的测试用例集。

在一个具体的实施场景中，按照用例复合集1->用例复合集2的固定顺序执行用例复合集1和用例复合集2。在其他实施场景中也可以按照随机顺序执行用例复合集1和用例复合集2。

执行用例复合集1中的测试用例集a、测试用例集b、测试用例集c以及测试用例集a中包括的测试用例a1、测试用例a2和测试用例a3、测试用例集b中包括的测试用例b1、测试用例b2和测试用例b3、测试用例集c中包括的测试用例c1、测试用例c2和测试用例c3的顺序如本发明中自动测试方法的第一实施例中描述的基本一致，此处不再赘述。

执行用例复合集2中的中的测试用例集e、测试用例集f、测试用例集g以及测试用例集e中包括的测试用例e1、测试用例e2和测试用例e3、测试用例集f中包括的测试用例f1、测试用例f2和测试用例f3、测试用例集g中包括的测试用例g1、测试用例g2和测试用例g3的顺序如用例复合集1中描述的基本一致，此处不再赘述。

在另一个具体的实施场景中，可以将测试用例集定义为新的测试用例测试用例，也可以将用例复合集定义为新的测试用例。例如，可以定义测试用例r1为随机并行执行测试用例a1、测试用例a2和测试用例a3，相应的语句为：TestCase r1＝RandParallel(a1，a2，a3)。定义测试用例r2为从测试用例a1、测试用例a2和测试用例a3中，固定并行执行2个测试用例，这两个测试用例为随机选择的，相应的语句为：TestCase r2＝fixParallel(2，a1，a2，a3)。定义测试用例s1为按照随机顺序串行执行测试用例b1、测试用例b2和测试用例b3，相应的语句为：TestCase s1＝randSequene(b1，b2，b3)。定义测试用例A为按照固定顺序串行执行测试用例r1和测试用例s1，相应的语句为：TestCase A＝orderSequence(r1，s1)。

在本实施例中，可以将至少一个测试用例集定义为新的测试用例，将该新的测试用例作为测试用例集中的至少一个测试用例，如本发明中自动测试方法的第一实施例中所述。此外，任一个或多个用例复合集也可以作为任一个或多个用例复合集中的一个新的测试用例。

在本实施场景中，所有测试用例、测试用例集和用例复合集在执行时互不影响。且各个测试用例、测试用例集和用例复合集的执行方式可以是随机并行、随机串行、固定并行、固定串行中的任何一种或多种。

通过上述描述可知，本实施例通过进一步随机测试用例为测试用例，并可以将测试用例进一步组合以形成新的测试用例，可以更大程度上覆盖测试范围，进一步提升测试的可靠性。

请参阅图7，图7是本发明中测试装置的一实施例的结构示意图。如图7所示，测试装置10包括互相耦接的处理器11和测试电路12。在工作时，测试装置的测试电路12耦接待测试的装置或芯片，例如手机、电脑、IC芯片等。

在一个实施场景中，处理器11将需要执行的多个测试用例组合为多个测试用例集，处理器11控制测试电路12按照随机顺序或固定顺序在待测试的装置上执行这些测试用例集随机，其中，执行每个测试用例集包括随机或固定并行执行每个测试用例集中的至少一个测试用例。

在另一个实施场景中，处理器11将需要执行的多个测试用例组合为多个测试用例集，将这些测试用例集组合为多个用例复合集，处理器11控制测试电路12在待测装置上按照随机顺序或固定顺序串行执行这些用例复合集，其中，执行每个所述用例复合集包括按照随机顺序或固定顺序串行执行用例复合集中的测试用例集，执行每个测试用例集包括随机或固定并行执行每个测试用例集中的至少一个测试用例。

在又一个实施场景中，处理器11将测试用例集定义为新的测试用例。处理器11控制测试电路12在待测装置上执行这些组合测试。

其中，处理器11实现上述功能的具体过程可参阅上述方法实施例。

通过上述描述可知，本实施例通过处理器耦接测试电路，实现对多个测试用例的随机组合并自动执行可以有效提升测试效率，增大了测试覆盖的范围，提升测试的可靠性。

请参阅图8，图8是本发明中具有存储功能的装置的结构示意图。具有存储功能的装置20中存储有至少一个程序数据21，程序数据21用于执行如图1和图4所示的自动测试的方法。在一个实施例中，具有存储功能的装置可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等等。

通过上述描述可知，本实施例中的具有存储功能的装置实施例中存储的程序或指令可以用于实现对多个测试用例的随机组合并自动执行，增大测试覆盖范围，提升测试效率，提高测试可靠性。

区别于现有技术，本发明通过将至少一个测试用例组合为至少一个测试用例集，以及按照随机顺序或固定顺序执行这些测试用例集，其中，执行每个测试用例集包括随机或固定并行执行该测试用例集中的至少一个测试用例，可以扩大测试覆盖的范围，通过自动执行测试用例，可以提高测试效率，通过记录测试失败的结果并提高其对应的测试用例的优先级来提高测试的可靠性。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (11)

1.一种自动测试方法，其特征在于，包括：

将至少一个测试用例进行组合，得到至少一个测试用例集，其中，每个所述测试用例集中的测试用例并行执行时互不影响；

通过计算设备随机串行或固定串行地执行所述至少一个测试用例集，其中所述测试用例集中的至少一个所述测试用例被随机并行或固定并行执行。

2.根据权利要求1所述的方法，其特征在于，将所述至少一个测试用例集定义为新的测试用例，其中，所述新的测试用例能作为测试用例集中的测试用例。

3.根据权利要求1所述的方法，其特征在于，所述随机并行执行所述测试用例集中的至少一个所述测试用例，包括：

从所述测试用例集中按照设定策略选择随机数量的测试用例，且并行执行所述选择的测试用例；

所述固定并行执行所述测试用例集中的至少一个所述测试用例，包括：

从所述测试用例集中按照设定策略选择固定数量的测试用例，且并行执行所述选择的测试用例；

其中，所述设定策略为随机选择或者按照优先级顺序选择。

4.根据权利要求1所述的方法，其特征在于，所述按照随机顺序或固定顺序执行所述至少一个测试用例集，包括：

将所述至少一个测试用例集组合为至少一个用例复合集，且所述至少一个测试用例集执行时互不干扰；

按照随机顺序或固定顺序串行执行所述至少一个用例复合集，其中，执行每个所述用例复合集包括按照随机顺序或固定顺序串行执行所述用例复合集中的测试用例集。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在执行所述测试用例后得到的测试结果为失败时，提高所述测试用例的执行优先级。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

如果所述测试用例为预设的排他性测试用例，则不执行所述测试用例；或者

如果所述测试用例为预设的排他性测试用例，且所述至少一个测试用例中包括预设的恢复性测试用例，则将所述恢复性测试用例作为所述测试用例的附属用例，并在执行所述排他性测试用例后继续执行其附属用例。

7.根据权利要求1所述的方法，其特征在于，

如果所述测试用例为原始测试用例，则在所述测试用例执行后输出所述测试用例的测试结果和/或相关执行日志。

8.根据权利要求1所述的方法，其特征在于，所述测试用例为粒度小于预设阈值的测试用例。

9.根据权利要求1所述的方法，其特征在于，

所述测试用例的执行方式为迭代执行；和/或所述至少一个测试用例集的执行方式为迭代执行。

10.一种测试装置，其特征在于，包括：相互耦接的处理器和测试电路，用于实现如权利要求1-9任一项所述的方法。

11.一种具有存储功能的装置，其特征在于，存储有程序数据，所述程序数据能够被执行以实现如权利要求1-9任一项所述方法中的步骤。