CN109522230A - 一种用于自动化测试过程的方法和装置 - Google Patents

Abstract

本申请公开了一种用于自动化测试过程的方法和装置。该方法包括：在执行了第一测试用例之后，判断执行第一测试用例是否成功；如果执行第一测试用例失败，则回滚测试数据，并且重新执行第一测试用例。由于执行失败的测试用例可以再次执行，因此能够降低将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例的可能性，因此相应地减少了测试者调试这种并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例的可能性，进而提高了测试的效率。

Description

一种用于自动化测试过程的方法和装置

技术领域

本申请涉及测试领域，尤指一种用于自动化测试过程的方法和装置。

背景技术

自动化测试用例执行过程中，测试用例有可能执行失败，有些测试用例执行失败是因为本身逻辑存在问题而导致的，而有些则是因为一些不可控的异常因素导致。然而，测试者无法直接区分清楚哪些测试用例执行失败因为本身逻辑存在问题而导致的，而哪些测试用例执行失败是由外界的不可控的异常因素导致的。对于第二种情况的导致的失败，如果再执行一遍可能就会正常通过，但是测试者在不知情的情况下，需要重新编辑测试用例，但这是在无谓地浪费时间，降低了测试的效率。

发明内容

为了解决上述技术问题，本申请提供了一种用于自动化测试过程的方法和装置，能够减少将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例的可能性，提高测试效率。

为了达到本申请的目的，本发明实施例提供了一种用于自动化测试过程的方法，该方法包括：

在执行了第一测试用例之后，判断执行第一测试用例是否成功；

如果执行第一测试用例失败，则回滚测试数据，并且重新执行第一测试用例。

进一步地，在一个可选的实施例中，其中，如果执行第一测试用例失败，则重新执行第一测试用例的步骤包括：

如果执行第一测试用例失败，则判断执行第一测试用例失败的次数是否达到了为第一测试用例预设的失败次数上限：

如果执行第一测试用例失败的次数尚未达到了为第一测试用例预设的失败次数上限，则回滚测试数据，并且重新执行第一测试用例，并且将第一测试用例失败的次数累加一次；

该方法还包括：

如果执行第一测试用例失败的次数达到了为第一测试用例预设的失败次数上限，或者如果在重新执行第一测试用例的时候执行成功，则依序执行下一个测试用例。

进一步地，在一个可选的实施例中，该方法还包括：

如果执行第一测试用例错误的次数达到了为第一测试用例预设的错误次数上限，则在执行结果日志中将执行结果记录为第一测试用例执行失败。

进一步地，在一个可选的实施例中，该方法还包括：

如果在重新执行第一测试用例的时候，执行第一测试用例成功，则清零执行第一测试用例错误的次数。

进一步地，在一个可选的实施例中，该方法还包括：

如果在重新执行第一测试用例的时候，执行第一测试用例成功，则在执行结果日志中将执行结果记录为第一测试用例执行成功。

为了达到本申请的目的，本发明实施例提供了一种用于自动化测试过程的装置，该装置包括存储器和处理器，

存储器，用于存储计算机可读指令；

处理器，用于执行计算机可读指令，以执行如下操作：

在执行了第一测试用例之后，判断执行第一测试用例是否成功；

如果执行第一测试用例失败，则回滚测试数据，并且重新执行第一测试用例。

进一步地，在一个可选的实施例中，如果执行第一测试用例失败，则重新执行第一测试用例的操作包括：

如果执行第一测试用例失败，则判断执行第一测试用例失败的次数是否达到了为第一测试用例预设的失败次数上限：

如果执行第一测试用例失败的次数尚未达到了为第一测试用例预设的失败次数上限，则回滚测试数据，并且重新执行第一测试用例，并且将第一测试用例失败的次数累加一次；

处理器还用于执行下列操作：

如果执行第一测试用例失败的次数达到了为第一测试用例预设的失败次数上限，或者如果在重新执行第一测试用例的时候执行成功，则依序执行下一个测试用例。

进一步地，在一个可选的实施例中，处理器还用于执行下列操作：

如果执行第一测试用例错误的次数达到了为第一测试用例预设的错误次数上限，则在执行结果日志中将执行结果记录为第一测试用例执行失败。

进一步地，在一个可选的实施例中，处理器还用于执行下列操作：

如果在重新执行第一测试用例的时候，执行第一测试用例成功，则清零执行第一测试用例错误的次数。

进一步地，在一个可选的实施例中，处理器还用于执行下列操作：

如果在重新执行第一测试用例的时候，执行第一测试用例成功，则在执行结果日志中将执行结果记录为第一测试用例执行成功。

本发明实施例的有益效果在于，由于执行失败的测试用例可以再次执行，因此能够降低将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例的可能性，因此相应地减少了测试者调试这种并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例的可能性，进而提高了测试的效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的用于自动化测试过程的方法的流程图；

图2为本发明实施例提供的用于自动化测试过程的装置的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

自动化测试用例执行过程中，测试用例有可能执行失败，有些测试用例执行失败是因为本身逻辑存在问题而导致的，而有些则是因为一些不可控的异常因素导致。然而，测试者无法直接区分清楚哪些测试用例执行失败因为本身逻辑存在问题而导致的，而哪些测试用例执行失败是由外界的不可控的异常因素导致的。对于第二种情况的导致的失败，如果再执行一遍可能就会正常通过，但是测试者在不知情的情况下，需要重新编辑测试用例，但这是在无谓地浪费时间，降低了测试的效率。

为了解决上述问题，一方面，本发明实施例提供了一种用于自动化测试过程的方法，如图1所示，该方法包括步骤S101-步骤S103。

步骤S101，在执行了第一测试用例之后，判断执行第一测试用例是否成功。

现有的执行流程是：在自动化脚本(该脚本可以是在采用Python编辑的)执行过程中，依次执行测试用例，并记录每个测试用例的执行情况。如果执行测试用例成功，则在执行结果日志中将执行结果记录为执行成功；如果执行测试用例失败，则在执行结果日志中将执行结果记录为执行失败。然而，由于有时候执行测试用例失败并非是因为测试用例内部的逻辑错误而导致的，而是外界的不可控的意外因素导致的，因此现有方法提供的执行方法可能将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例，并且在执行结果日志中将这样的测试用例记录为失败的测试用例。测试者可能误认为该测试用例存在内部逻辑错误，因此可能会重新编辑该测试用例，这无疑是在浪费测试者的时间和精力，并且延误了测试进度。为此，在步骤S101中，对上述测试方法进行改变：在执行了第一测试用例之后，首先判断执行第一测试用例是否成功。

步骤S103，如果执行第一测试用例失败，则回滚测试数据，并且重新执行第一测试用例。

由于在步骤S101中相对于现有技术提供的方法添加了判断执行第一测试用例是否成功的操作，因此步骤S103基于上述操作，如果判断执行第一测试用例失败，则回滚执行第一测试用例的时候的测试数据，使测试数据恢复至执行第一测试用例之前的状态，并且重新执行第一测试用例，以便在重新执行第一测试用例之后重新判断执行第一测试用例是否成功。由于执行失败的测试用例可以再次执行，因此减小了将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例的可能性。

本发明实施例提供的上述方法能够降低将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例的可能性，因此相应地减少了测试者调试这种并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例的可能性，进而提高了测试的效率。

另外，在步骤S101中判断测试用例是否失败的时候，如果判断测试用例没有错误，则依序执行下一个测试用例。

本发明实施例的有益效果在于，由于执行失败的测试用例可以再次执行，因此能够降低将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例的可能性，因此相应地减少了测试者调试这种并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例的可能性，进而提高了测试的效率。

本发明实施例提供的方法可以应用于每一个测试用例，而不仅限于第一测试用例。

然而，如果第一测试用例在重复地执行多次之后仍然始终执行失败，那么这可能是因为第一测试用例内部的逻辑存在着错误。因此第一测试用例需要测试者重新调试。并且，如果第一测试用例在重复地执行的次数过多的话，将会拖慢整个测试过程的进展，因此，为了合理地判断执行测试用例失败是因为偶发的意外因素导致的，还是因为测试用例本身就存在内部逻辑错误，并且为了保障整个测试过程的进度，在一个可选的实施例中，步骤S103包括：

如果执行第一测试用例失败，则判断执行第一测试用例失败的次数是否达到了为第一测试用例预设的失败次数上限：

如果执行第一测试用例失败的次数尚未达到了为第一测试用例预设的失败次数上限，则回滚测试数据，并且重新执行第一测试用例，并且将第一测试用例失败的次数累加一次。其中，在执行步骤S103之前，可以预先为所有测试用例或者仅为其中的一部分测试用例共同地或者单独地设置失败次数上限，从而保障整个测试过程的进度，也可能据此判断测试用例是否存在内部逻辑错误。

该方法还包括：如果执行第一测试用例失败的次数达到了为第一测试用例预设的失败次数上限，或者如果在重新执行第一测试用例的时候执行成功，则依序执行下一个测试用例。

需要注意的是，在重新执行第一测试用例的时候，并不在执行结果日志中记录第一测试用例执行失败，而是只有在第一测试用例执行成功的时候，或者是在第一测试用例重复执行的次数达到了为第一测试用例预设的失败次数上限而依序执行下一个测试用例的时候，才可以在执行结果日志中记录第一测试用例的执行结果。

由于在并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例的时候，重新执行该测试用例的时候有可能执行成功，并且每当重新执行该测试用例的同时，也会将这个测试用例的失败次数累加一次，因此如果在重新执行该测试用例的时候执行成功，说明之前该测试用例执行失败并非是由于其内部的逻辑存在错误，而是由于外部的意外因素所导致的，因此该测试用例本来并不应该测试失败。据此，在一个可选的实施例中，该方法还包括：如果在重新执行第一测试用例的时候，执行第一测试用例成功，则清零执行第一测试用例错误的次数。

在此基础上，该方法还包括：

如果在重新执行第一测试用例的时候，执行第一测试用例成功，则在执行结果日志中将执行结果记录为第一测试用例执行成功。

为了解决上述技术问题，本发明实施例提供了一种的装置，如图2所示，该装置包括存储器10和处理器20。

存储器10，用于存储计算机可读指令；

处理器20，用于执行计算机可读指令，以执行如下操作：

在执行了第一测试用例之后，判断执行第一测试用例是否成功；

如果执行第一测试用例失败，则回滚测试数据，并且重新执行第一测试用例。

本发明实施例的有益效果在于，由于执行失败的测试用例可以再次执行，因此能够降低将并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例判断成为存在内部逻辑错误的测试用例的可能性，因此相应地减少了测试者调试这种并不存在内部逻辑错误而仅仅因为意外因素而执行失败的测试用例的可能性，进而提高了测试的效率。

进一步地，在一个可选的实施例中，如果执行第一测试用例失败，则重新执行第一测试用例的操作包括：

如果执行第一测试用例失败，则判断执行第一测试用例失败的次数是否达到了为第一测试用例预设的失败次数上限：

如果执行第一测试用例失败的次数尚未达到了为第一测试用例预设的失败次数上限，则回滚测试数据，并且重新执行第一测试用例，并且将第一测试用例失败的次数累加一次；

处理器还用于执行下列操作：

如果执行第一测试用例失败的次数达到了为第一测试用例预设的失败次数上限，或者如果在重新执行第一测试用例的时候执行成功，则依序执行下一个测试用例。

进一步地，在一个可选的实施例中，处理器还用于执行下列操作：

如果执行第一测试用例错误的次数达到了为第一测试用例预设的错误次数上限，则在执行结果日志中将执行结果记录为第一测试用例执行失败。

进一步地，在一个可选的实施例中，处理器还用于执行下列操作：

如果在重新执行第一测试用例的时候，执行第一测试用例成功，则清零执行第一测试用例错误的次数。

进一步地，在一个可选的实施例中，处理器还用于执行下列操作：

如果在重新执行第一测试用例的时候，执行第一测试用例成功，则在执行结果日志中将执行结果记录为第一测试用例执行成功。

虽然本发明所揭露的实施方式如上，但上述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

Claims (10)

1.一种用于自动化测试过程的方法，其特征在于，所述方法包括：

在执行了第一测试用例之后，判断执行所述第一测试用例是否成功；

如果执行所述第一测试用例失败，则回滚测试数据，并且重新执行所述第一测试用例。

2.根据权利要求1所述的方法，其中，所述如果执行所述第一测试用例失败，则重新执行所述第一测试用例的步骤包括：

如果执行所述第一测试用例失败，则判断执行所述第一测试用例失败的次数是否达到了为所述第一测试用例预设的失败次数上限：

如果执行所述第一测试用例失败的次数尚未达到了为所述第一测试用例预设的失败次数上限，则回滚测试数据，并且重新执行所述第一测试用例，并且将所述第一测试用例失败的次数累加一次；

所述方法还包括：

如果执行所述第一测试用例失败的次数达到了为所述第一测试用例预设的失败次数上限，或者如果在重新执行所述第一测试用例的时候执行成功，则依序执行下一个测试用例。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果执行所述第一测试用例错误的次数达到了为所述第一测试用例预设的错误次数上限，则在执行结果日志中将执行结果记录为第一测试用例执行失败。

4.根据权利要求2所述的方法，其特征在于，所述方法还包括：

如果在重新执行所述第一测试用例的时候，执行所述第一测试用例成功，则清零执行所述第一测试用例错误的次数。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

如果在重新执行所述第一测试用例的时候，执行所述第一测试用例成功，则在执行结果日志中将执行结果记录为第一测试用例执行成功。

6.一种用于自动化测试过程的装置，包括存储器和处理器，

所述存储器，用于存储计算机可读指令；

所述处理器，用于执行所述计算机可读指令，以执行如下操作：

在执行了第一测试用例之后，判断执行所述第一测试用例是否成功；

如果执行所述第一测试用例失败，则回滚测试数据，并且重新执行所述第一测试用例。

7.根据权利要求6所述的装置，其中，所述如果执行所述第一测试用例失败，则重新执行所述第一测试用例的操作包括：

如果执行所述第一测试用例失败，则判断执行所述第一测试用例失败的次数是否达到了为所述第一测试用例预设的失败次数上限：

如果执行所述第一测试用例失败的次数尚未达到了为所述第一测试用例预设的失败次数上限，则回滚测试数据，并且重新执行所述第一测试用例，并且将所述第一测试用例失败的次数累加一次；

所述处理器还用于执行下列操作：

如果执行所述第一测试用例失败的次数达到了为所述第一测试用例预设的失败次数上限，或者如果在重新执行所述第一测试用例的时候执行成功，则依序执行下一个测试用例。

8.根据权利要求7所述的装置，其特征在于，所述处理器还用于执行下列操作：

如果执行所述第一测试用例错误的次数达到了为所述第一测试用例预设的错误次数上限，则在执行结果日志中将执行结果记录为第一测试用例执行失败。

9.根据权利要求7所述的装置，其特征在于，所述处理器还用于执行下列操作：

如果在重新执行所述第一测试用例的时候，执行所述第一测试用例成功，则清零执行所述第一测试用例错误的次数。

10.根据权利要求9所述的装置，其特征在于，所述处理器还用于执行下列操作：

如果在重新执行所述第一测试用例的时候，执行所述第一测试用例成功，则在执行结果日志中将执行结果记录为第一测试用例执行成功。