CN105930276A - 一种识别测试用例失败原因的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种识别测试用例失败原因的方法及装置，其中，该方法包括：获取测试失败的测试用例，并获取测试用例的测试结果；在测试结果中选取出与测试用例的预期结果相对应的有效测试结果；对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据是否相同；在业务数据不同时，将测试用例的失败原因标记为业务数据变化。该方法省略了人工操作步骤，可以自动识别失败原因并进行原因标记，方便后续对其中的错误进行标记，节省了维护人员的工作时间，可以提高定位问题并修复问题的速度、效率。

Description

一种识别测试用例失败原因的方法及装置

技术领域

本发明涉及测试监控技术领域，特别涉及一种识别测试用例失败原因的方法及装置。

背景技术

在软件工程中的测试用例(test case)是由测试者用于确定应用或软件系统是否正确工作的一组条件或变量，其为某个特殊目标而编制一组测试输入、执行条件以及预期结果，以便测试某个程序路径或核实是否满足某个特定需求。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有根据测试用例进行测试监控时，系统每天定时自动发出测试结果邮件，如果测试用例中有失败的case，则需要人工介入去判断本次测试失败是接口异常还是业务数据变化引起的。特别的，例如在公司活动期间，业务数据变更频繁，很多时候是在刚改完业务数据之后，业务人员就再次修改或者更新了业务数据，从而导致监控接口慢慢变多；用例数量增大的时候，投入的人时成本也会增高；由人工确认变化会比较频繁，耗时耗力。

公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。

发明内容

本发明的目的在于提供一种识别测试用例失败原因的方法及装置，从而克服现有测试监控效率低下的缺陷。

为实现上述目的，本发明实施例提供了一种识别测试用例失败原因的方法，包括：

获取测试失败的测试用例，并获取测试用例的测试结果；

在测试结果中选取出与测试用例的预期结果相对应的有效测试结果；

对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据是否相同；

在业务数据不同时，将测试用例的失败原因标记为业务数据变化。

在一种可能的实现方式中，在业务数据不同时，该方法还包括：

将有效测试结果的业务数据保存至预期副本文件；

在有效测试结果的业务数据正确时，将预期副本文件作为原始预期文件，原始预期文件中存有预期结果的业务数据。

在一种可能的实现方式中，该方法还包括：对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据类型是否相同；

在业务数据类型不同时，将测试用例的失败原因标记为业务数据类型变化。

在一种可能的实现方式中，在业务数据类型不同时，该方法还包括：

将测试失败的测试结果发送至漏洞管理系统。

在一种可能的实现方式中，在测试结果中选取与测试用例的预期结果相对应的有效测试结果，包括：

确定预期结果标识，预期结果标识为测试用例的预期结果的标识；

确定测试结果中与预期结果标识相一致的有效测试结果。

基于同样的发明构思，本发明实施例还提供一种识别测试用例失败原因的装置，包括：

获取模块，用于获取测试失败的测试用例，并获取测试用例的测试结果；

选取模块，用于在测试结果中选取出与测试用例的预期结果相对应的有效测试结果；

比较模块，用于对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据是否相同；

标记模块，用于在业务数据不同时，将测试用例的失败原因标记为业务数据变化。

在一种可能的实现方式中，在业务数据不同时，该装置还包括：

保存模块，用于将有效测试结果的业务数据保存至预期副本文件；

替换模块，用于在有效测试结果的业务数据正确时，将预期副本文件作为原始预期文件，原始预期文件中存有预期结果的业务数据。

在一种可能的实现方式中，比较模块还用于：对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据类型是否相同；

标记模块还用于：在业务数据类型不同时，将测试用例的失败原因标记为业务数据类型变化。

在一种可能的实现方式中，在业务数据类型不同时，该装置还包括：

发送模块，用于将测试失败的测试结果发送至漏洞管理系统。

在一种可能的实现方式中，选取模块包括：

确定单元，用于确定预期结果标识，预期结果标识为测试用例的预期结果的标识；

选取单元，用于确定测试结果中与预期结果标识相一致的有效测试结果。

本发明实施例提供的一种识别测试用例失败原因的方法及装置，通过在测试用例的测试结果中选取出与预期结果相对应的有效测试结果，进而可以对有效测试结果和预期结果进行对比处理，从而确定测试用例的失败原因。该方法省略了人工操作步骤，可以自动识别失败原因并进行原因标记，方便后续对其中的错误进行标记，节省了维护人员的工作时间，可以提高定位问题并修复问题的速度、效率。在业务数据变更引发测试失败时，通过及时替换原始预期文件，自动获取最新业务数据以便测试维护人员快速定位该最新的业务数据。将测试失败的测试结果发送至漏洞管理系统，技术人员可以及时获取有问题的测试结果，方便后续技术人员针对该测试失败的测试结果进行相应的软件改进或更新。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1本发明实施例中识别测试用例失败原因的第一方法流程图；

图2本发明实施例中识别测试用例失败原因的第二方法流程图；

图3本发明实施例中识别测试用例失败原因的第三方法流程图；

图4本发明实施例中识别测试用例失败原因的装置的第一结构图；

图5本发明实施例中识别测试用例失败原因的装置的第二结构图；

图6本发明实施例中识别测试用例失败原因的装置的第三结构图；

图7本发明实施例中选取模块的结构图；

图8本发明实施例中网络设备的结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

本发明实施例提供的一种识别测试用例失败原因的方法，参见图1所示，包括步骤101-104：

步骤101：获取测试失败的测试用例，并获取测试用例的测试结果。

本发明实施例中，预先设置测试用例(Test Case)，该测试用例用于对某一应用或者系统进行测试。在测试用例失败时会发出测试失败的通知并标记测试失败的测试用例，此时即可以获取到测试失败的测试用例。同时，每一个测试用例对应一个测试结果，在步骤101中同时获取该测试失败的测试用例的测试结果。例如，测试用例A为一个测试失败的case，其测试结果为“abce”，则步骤101中获取确定测试用例A，并确定测试结果“abce”。

步骤102：在测试结果中选取出与测试用例的预期结果相对应的有效测试结果。

本发明实施例中，测试结果中可能包含一个或多个结果，此时需要在测试结果中选取有用的测试结果，即有效测试结果；该有效测试结果为测试结果中的部分结果或全部结果。其中，在设置测试用例时，每个测试用例都设有预期结果，即期望该测试用例输出的结果；根据该预期结果即可以确定测试人员关注的结果，进而可以在测试结果中选取与测试用例的预期结果相对应的有效测试结果。例如，测试用例期望的预期结果包括“预期结果A”和“预期结果B”，预期结果不关注其他结果；而在执行测试用例后输出的测试结果包括“测试结果a”、“测试结果b”、“测试结果c”和“测试结果d”，其中结果A与结果a对应，结果B与结果b对应。此时，由于预期结果不关注其他结果，则在步骤102中只选取与预期结果相对应的结果，即“测试结果a”和“测试结果b”，因此将“测试结果a”和“测试结果b”作为有效测试结果。

优选的，本发明实施例中，对每一个测试结果分配有ID，即测试结果标识；同时，对预期结果也分配有ID，即预期结果标识；且测试结果标识和预期结果标识采用同样的标识方式。上述步骤102“在测试结果中选取与测试用例的预期结果相对应的有效测试结果”具体包括步骤A1-A2：

步骤A1、确定预期结果标识，预期结果标识为测试用例的预期结果的标识。

步骤A2、确定测试结果中与预期结果标识相一致的有效测试结果。

具体的，对于某一个测试用例，测试人员关注的是“01预期结果”、“02预期结果”和“04预期结果”，其中的“01”、“02”、“04”为相应的预期结果标识。则在步骤A2中，确定与预期结果标识“01”、“02”、“04”相一致的测试结果，即“01测试结果”、“02测试结果”和“04测试结果”，并将该三个“01测试结果”、“02测试结果”和“04测试结果”作为有效测试结果。根据预期结果标识来选取有效测试结果，可以方便快速地定位到用户所需的测试结果。

步骤103：对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据是否相同。

本发明实施例中，通过对有效测试结果和预期结果进行比较处理即可以确定有效测试结果与预期结果之间的不同之处，进而可以确定有效测试结果中的业务数据与预期结果中的业务数据是否相同。具体的，diff命令可以用于比较两个文件或目录内容的差异，本发明实施例中可以使用diff命令比较有效测试结果和预期结果，同时保存diff结果，根据该diff结果即可以确定二者之间的业务数据是否发生变化。

步骤104：在业务数据不同时，将测试用例的失败原因标记为业务数据变化。

在步骤103中进行比较处理后，若业务数据不同，则可以自动确定测试用例失败的原因为业务数据发生变化，此时将测试用例的失败原因标记为业务数据变化，之后即可以针对该失败原因进行相应的处理。

在一种可能的实现方式中，对有效测试结果和预期结果进行比较处理还包括比较二者的业务数据类型。具体的，参见图2所示，该方法还包括：

步骤105：对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据类型是否相同；

步骤106：在业务数据类型不同时，标记测试用例的失败原因为业务数据类型变化。

其中，步骤102和步骤104中“对有效测试结果和预期结果进行比较处理”可以同时进行，即在进行比较处理之后可以确定业务数据和业务数据类型是否发生了变化。发明实施例中可以使用diff命令比较有效测试结果和预期结果，同时保存diff结果，根据该diff结果即可以确定二者之间的业务数据是否发生变化，也可以确定业务数据类型是否发生变化。

本发明实施例提供的一种识别测试用例失败原因的方法，通过在测试用例的测试结果中选取出与预期结果相对应的有效测试结果，进而可以对有效测试结果和预期结果进行对比处理，从而确定测试用例的失败原因。该方法省略了人工操作步骤，可以自动识别失败原因并进行原因标记，方便后续对其中的错误进行标记，节省了维护人员的工作时间，可以提高定位问题并修复问题的速度、效率。

在一种可能的实现方式中，在步骤104中，当业务数据不同时，该方法还包括步骤B1-B2：

步骤B1：将有效测试结果的业务数据保存至预期副本文件；

步骤B2：在有效测试结果的业务数据正确时，将预期副本文件作为原始预期文件，原始预期文件中存有预期结果的业务数据。

本发明实施例中，原始预期文件中存有预期结果的业务数据，在步骤103中“确定有效测试结果与预期结果中的业务数据是否相同”可以将有效测试结果与原始预期文件中存储的预期结果进行比较。同时，预期副本文件用于保存有效测试结果，该预期副本文件与原始预期文件为相同格式的文件，或者说预期副本文件与原始预期文件仅仅是其中存储的数据不同，前者存有有效测试结果，后者存有预期结果。

当确认该有效测试结果中的业务时局无误时，可以认为该业务数据变化是正常合理的，此时再将预期副本文件作为原始预期文件；在之后的测试过程中若仍需要使用原始预期文件，则原始预期文件中的数据实质为步骤B1中保存的有效测试结果的业务数据。可以在业务数据变更引发测试失败时，通过及时替换原始预期文件，自动获取最新业务数据以便测试维护人员快速定位该最新的业务数据。

在一种可能的实现方式中，在步骤106中，当业务数据类型不同时，该方法还包括：将测试失败的测试结果发送至漏洞管理系统。

具体的，该漏洞管理系统为bug管理系统，漏洞管理系统支持不同权限或不同职位的人员登录。在将测试失败的测试结果发送至漏洞管理系统后，方便后续技术人员针对该测试失败的测试结果进行相应的软件改进或更新，且技术人员可以及时获取有问题的测试结果。

下面通过一个实施例详细介绍该方法的流程。

在本发明实施例中，对有效测试结果和预期结果进行比较处理，并同时确定有效测试结果与预期结果中的业务数据和业务数据类型是否相同。具体参见图3所示，包括步骤301-309：

步骤301：获取测试失败的测试用例，并获取测试用例的测试结果。

步骤302：确定预期结果标识，预期结果标识为测试用例的预期结果的标识。

步骤303：确定测试结果中与预期结果标识相一致的有效测试结果。

步骤304：对有效测试结果和预期结果进行比较处理，并分别执行步骤305和步骤308。

步骤305：确定有效测试结果与预期结果中的业务数据是否相同。

步骤306：在业务数据不同时，将测试用例的失败原因标记为业务数据变化，并将有效测试结果的业务数据保存至预期副本文件。

步骤307：在有效测试结果的业务数据正确时，将预期副本文件作为原始预期文件，原始预期文件中存有预期结果的业务数据。

步骤308：确定有效测试结果与预期结果中的业务数据类型是否相同

步骤309：在业务数据类型不同时，标记测试用例的失败原因为业务数据类型变化，并将测试失败的测试结果发送至漏洞管理系统。

本发明实施例提供的一种识别测试用例失败原因的方法通过在测试用例的测试结果中选取出与预期结果相对应的有效测试结果，进而可以对有效测试结果和预期结果进行对比处理，从而确定测试用例的失败原因。该方法省略了人工操作步骤，可以自动识别失败原因并进行原因标记，方便后续对其中的错误进行标记，节省了维护人员的工作时间，可以提高定位问题并修复问题的速度、效率。在业务数据变更引发测试失败时，通过及时替换原始预期文件，自动获取最新业务数据以便测试维护人员快速定位该最新的业务数据。将测试失败的测试结果发送至漏洞管理系统，技术人员可以及时获取有问题的测试结果，方便后续技术人员针对该测试失败的测试结果进行相应的软件改进或更新。

以上详细介绍了识别测试用例失败原因的方法流程，该方法也可以通过相应的装置实现，下面详细介绍该装置的结构和功能。

本发明实施例还提供一种识别测试用例失败原因的装置，参见图4所示，包括：

获取模块41，用于获取测试失败的测试用例，并获取测试用例的测试结果；

选取模块42，用于在测试结果中选取出与测试用例的预期结果相对应的有效测试结果；

比较模块43，用于对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据是否相同；

标记模块44，用于在业务数据不同时，将测试用例的失败原因标记为业务数据变化。

在一种可能的实现方式中，在业务数据不同时，参见图5所示，该装置还包括：

保存模块45，用于将有效测试结果的业务数据保存至预期副本文件；

替换模块46，用于在有效测试结果的业务数据正确时，将预期副本文件作为原始预期文件，原始预期文件中存有预期结果的业务数据。

在一种可能的实现方式中，比较模块43还用于：对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据类型是否相同；

标记模块44还用于：在业务数据类型不同时，将测试用例的失败原因标记为业务数据类型变化。

在一种可能的实现方式中，在业务数据类型不同时，参见图6所示，该装置还包括：

发送模块47，用于将测试失败的测试结果发送至漏洞管理系统。

在一种可能的实现方式中，参见图7所示，选取模块42包括：

确定单元421，用于确定预期结果标识，预期结果标识为测试用例的预期结果的标识；

选取单元422，用于确定测试结果中与预期结果标识相一致的有效测试结果。

本发明实施例提供的一种识别测试用例失败原因的方法及装置，通过在测试用例的测试结果中选取出与预期结果相对应的有效测试结果，进而可以对有效测试结果和预期结果进行对比处理，从而确定测试用例的失败原因。该方法省略了人工操作步骤，可以自动识别失败原因并进行原因标记，方便后续对其中的错误进行标记，节省了维护人员的工作时间，可以提高定位问题并修复问题的速度、效率。在业务数据变更引发测试失败时，通过及时替换原始预期文件，自动获取最新业务数据以便测试维护人员快速定位该最新的业务数据。将测试失败的测试结果发送至漏洞管理系统，技术人员可以及时获取有问题的测试结果，方便后续技术人员针对该测试失败的测试结果进行相应的软件改进或更新。

图8示出了本发明的另一个实施例的一种网络设备的结构框图。所述网络设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。

该网络设备1100包括处理器(processor)1110、通信接口(CommunicationsInterface)1120、存储器(memory array)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。

通信接口1120用于与网元通信，其中网元包括例如虚拟机管理中心、共享存储等。

处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器1130用于存放文件。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。

在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于：

在第一方面，提供一种识别测试用例失败原因的方法，包括：

获取测试失败的测试用例，并获取测试用例的测试结果；

在测试结果中选取出与测试用例的预期结果相对应的有效测试结果；

对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据是否相同；

在业务数据不同时，将测试用例的失败原因标记为业务数据变化。

在一种可能的实现方式中，在业务数据不同时，该方法还包括：

将有效测试结果的业务数据保存至预期副本文件；

在有效测试结果的业务数据正确时，将预期副本文件作为原始预期文件，原始预期文件中存有预期结果的业务数据。

在一种可能的实现方式中，该方法还包括：对有效测试结果和预期结果进行比较处理，确定有效测试结果与预期结果中的业务数据类型是否相同；

在业务数据类型不同时，将测试用例的失败原因标记为业务数据类型变化。

在一种可能的实现方式中，在业务数据类型不同时，该方法还包括：

将测试失败的测试结果发送至漏洞管理系统。

在一种可能的实现方式中，在测试结果中选取与测试用例的预期结果相对应的有效测试结果，包括：

确定预期结果标识，预期结果标识为测试用例的预期结果的标识；

确定测试结果中与预期结果标识相一致的有效测试结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

Claims (10)

1.一种识别测试用例失败原因的方法，其特征在于，包括：

获取测试失败的测试用例，并获取所述测试用例的测试结果；

在所述测试结果中选取出与所述测试用例的预期结果相对应的有效测试结果；

对所述有效测试结果和所述预期结果进行比较处理，确定所述有效测试结果与所述预期结果中的业务数据是否相同；

在业务数据不同时，将所述测试用例的失败原因标记为业务数据变化。

2.根据权利要求1所述的方法，其特征在于，在业务数据不同时，所述方法还包括：

将所述有效测试结果的业务数据保存至预期副本文件；

在所述有效测试结果的业务数据正确时，将所述预期副本文件作为原始预期文件，所述原始预期文件中存有所述预期结果的业务数据。

3.根据权利要求1所述的方法，其特征在于，还包括：对所述有效测试结果和所述预期结果进行比较处理，确定所述有效测试结果与所述预期结果中的业务数据类型是否相同；

在业务数据类型不同时，将所述测试用例的失败原因标记为业务数据类型变化。

4.根据权利要求3所述的方法，其特征在于，在业务数据类型不同时，所述方法还包括：

将测试失败的测试结果发送至漏洞管理系统。

5.根据权利要求1-4任一所述的方法，其特征在于，所述在所述测试结果中选取与所述测试用例的预期结果相对应的有效测试结果，包括：

确定预期结果标识，所述预期结果标识为所述测试用例的预期结果的标识；

确定所述测试结果中与所述预期结果标识相一致的有效测试结果。

6.一种识别测试用例失败原因的装置，其特征在于，包括：

获取模块，用于获取测试失败的测试用例，并获取所述测试用例的测试结果；

选取模块，用于在所述测试结果中选取出与所述测试用例的预期结果相对应的有效测试结果；

比较模块，用于对所述有效测试结果和所述预期结果进行比较处理，确定所述有效测试结果与所述预期结果中的业务数据是否相同；

标记模块，用于在业务数据不同时，将所述测试用例的失败原因标记为业务数据变化。

7.根据权利要求6所述的装置，其特征在于，在业务数据不同时，所述装置还包括：

保存模块，用于将所述有效测试结果的业务数据保存至预期副本文件；

替换模块，用于在所述有效测试结果的业务数据正确时，将所述预期副本文件作为原始预期文件，所述原始预期文件中存有所述预期结果的业务数据。

8.根据权利要求6所述的装置，其特征在于，所述比较模块还用于：对所述有效测试结果和所述预期结果进行比较处理，确定所述有效测试结果与所述预期结果中的业务数据类型是否相同；

所述标记模块还用于：在业务数据类型不同时，将所述测试用例的失败原因标记为业务数据类型变化。

9.根据权利要求8所述的装置，其特征在于，在业务数据类型不同时，所述装置还包括：

发送模块，用于将测试失败的测试结果发送至漏洞管理系统。

10.根据权利要求6-9任一所述的装置，其特征在于，选取模块包括：

确定单元，用于确定预期结果标识，所述预期结果标识为所述测试用例的预期结果的标识；

选取单元，用于确定所述测试结果中与所述预期结果标识相一致的有效测试结果。