CN102122265B - 一种计算机软件测试结果的验证方法及系统 - Google Patents

Abstract

本发明提供了一种计算机软件测试结果的验证方法及系统，该方法包括：存储测试元素属性信息；生成并存储验证点内容信息；生成并存储测试对象描述文档；提取测试对象描述文档中的元素属性和元素属性取值，并生成验证点集合信息；获取对应的验证点内容信息；访问待测系统，获取待测对象测试执行前数据和待测对象测试执行后数据；根据测试执行前数据、测试执行后数据和对应的验证点内容信息的验证方法生成待测对象的实际测试结果信息；将实际测试结果信息与预期结果进行匹配生成验证结果信息；输出验证结果信息。以解决计算机软件测试结果验证点可在多个测试案例中重复使用的问题，并实现全覆盖的计算机软件测试结果验证点组合。

Description

一种计算机软件测试结果的验证方法及系统

技术领域

本发明关于计算机软件测试领域，具体的讲是一种计算机软件测试结果的验证方法及系统。

背景技术

软件产品的测试是指：在不同的阶段和粒度，从不同的角度和业务要求编写并执行测试案例，然后根据测试案例执行的结果，评价软件产品的可用性、易用性、安全性等方面是否满足需求。其中的测试结果验证功能，直接关系到软件产品的评价与交付，具有很重要的意义。

在现有技术中，软件测试理论、测试方法乃至自动化测试实践，在测试结果的验证方面都具有较多的不足，具体表现为：

（一）缺少对测试结果是否满足预期要求的通用的验证功能，由于没有可以通用的测试结果验证方法，需要在各个案例中重复编写验证判断算法，缺少批量集中执行的功能，无法提高软件产品测试效率。

（二）逐个在案例脚本中编写测试结果的验证方法，导致测试结果验证的覆盖率较低，使得测试验证点有遗漏而导致软件缺陷的产生。

发明内容

本发明实施例提供了一种计算机软件测试结果的验证方法及系统，以解决计算机软件测试结果验证点可在多个测试案例中重复使用的问题，并实现全覆盖的计算机软件测试结果验证点组合。

本发明的目的之一是，提供一种计算机软件测试结果的验证方法，该方法包括：把具有重复使用意义的测试数据和测试结果验证方法归纳抽象成可重复使用的元素属性和验证点；存储待测业务领域中具有重复使用意义的包含元素属性名、元素属性取值和取值类型的测试元素属性信息；根据测试元素属性信息生成包含验证点名、元素属性名、验证点类型、测试执行前操作、测试执行后操作、验证方法和预期结果的验证点内容信息，并存储验证点内容信息；接受用户提交的包含待测功能名、测试元素名、元素属性名的测试对象描述文档，并存储所述的测试对象描述文档；

提取用户选定的测试对象描述文档中的元素属性和元素属性取值，并根据分析得到的描述文档中每个测试元素的每一个取值，进行全排列组合，得到该测试对象描述文档的所有测试数据组合，分析该组测试数据组合包括的元素属性及取值类型（成功或失败），查询验证点信息表，以“元素属性名”、“取值类型”为查询条件，获取该组测试数据组合相应的验证点，组合成每组测试数据组合对应的验证点集合信息；；根据验证点集合信息中的验证点名获取对应的验证点内容信息；接受用户提交的测试准备指令，执行对应的验证点内容信息的测试执行前操作，访问待测系统，获取待测对象测试执行前数据；接受用户提交的测试结束指令，执行对应的验证点内容信息的测试执行后操作，访问待测系统，获取待测对象测试执行后数据；根据获取的测试执行前数据、测试执行后数据和对应的验证点内容信息的验证方法生成待测对象的实际测试结果信息；将实际测试结果信息与对应的验证点内容信息的预期结果进行匹配生成验证结果信息；输出验证结果信息。

本发明的目的之一是，提供一种计算机软件测试结果的验证系统，该系统包括：验证终端和验证服务器；验证终端通过网络与验证服务器相连接；其中，验证终端包括：测试元素生成单元，用于编辑测试元素的元素属性名、元素属性取值和取值类型，生成测试元素属性信息；验证点生成单元，用于根据测试元素属性信息生成包含验证点名、元素属性名、验证点类型、测试执行前操作、测试执行后操作、验证方法和预期结果的验证点内容信息；描述文档生成单元，用于接受用户根据需求说明书等设计文档定义的测试对象描述文档，测试对象描述文档的内容包含待测功能名、测试元素名、元素属性名、元素属性取值和取值类型；描述文档选择单元，用于向验证服务器提交用户选择的测试对象描述文档；测试准备指令发送单元，用于向验证服务器发送测试准备指令；测试结束指令发送单元，用于向验证服务器发送测试结束指令；测试结果输出单元，用于向用户输出验证结果信息；验证服务器包括：元素属性存储单元，用于存储测试元素属性信息；验证点内容存储单元，用于存储验证点内容信息；描述文档存储单元，用于存储测试对象描述文档；验证点集合生成单元，用于提取用户选择的测试对象描述文档中的元素属性和元素属性取值，并根据分析得到的描述文档中每个测试元素的每一个取值，进行全排列组合，得到该测试对象描述文档的所有测试数据组合，分析该组测试数据组合包括的元素属性及取值类型（成功或失败），查询验证点信息表，以“元素属性名”、“取值类型”为查询条件，获取该组测试数据组合相应的验证点，组合成每组测试数据组合对应的验证点集合信息；；验证点内容获取单元，用于根据验证点集合信息中的验证点名获取对应的验证点内容信息；测试执行前数据获取单元，用于接受用户提交的测试准备指令，执行对应的验证点内容信息的测试执行前操作，访问待测系统，获取待测对象测试执行前数据；测试执行后数据获取单元，用于接受用户提交的测试结束指令，执行对应的验证点内容信息的测试执行后操作，访问待测系统，获取待测对象测试执行后数据；实际测试结果生成单元，用于根据获取的测试执行前数据、测试执行后数据和对应的验证点内容信息的验证方法生成待测对象的实际测试结果信息；验证结果生成单元，用于将实际测试结果信息与对应的验证点内容信息的预期结果进行匹配生成验证结果信息；验证结果输出单元，用于输出验证结果信息。元素属性和所述的验证点，由具有重复使用意义的测试数据和测试结果验证方法归纳抽象而成。

本发明的有益效果在于，本发明实施例引入了元素属性、验证点等概念，把具有重复使用意义的测试数据和测试结果验证方法归纳抽象成可重复使用的元素属性和验证点，再把测试案例视为拥有一定元素属性的测试元素的集合，有效的促进了测试效率以及测试质量的提高。

本发明实施例只需要维护好公用的元素属性和验证点内容，然后根据设计文档编写测试对象描述文档，指定其中包括的测试元素及其包含的元素属性，即可由计算机自动生成所有的验证点集合，极大减少了工作量。

本发明实施例只需要指定要验证的案例，即可由计算机自动收集和记录测试前后的对比数据、根据定义好的公式自动计算实际结果并与预期结果做对比，得出验证是否通过的结论。验证的速度快，节省了大量的用于结果验证的工作。

本发明实施例引入了重用的概念，由资深测试人员维护好的元素属性及对应的验证点，可以在所有测试人员中共享并引用。同时本发明将特殊业务要求对应到一定的元素属性可能取值，利用计算机算法生成所有可能的数据组合及验证点集合。尽量减少了对测试人员经验的要求，避免了遗漏。

本发明实施例把测试元素、元素属性看作功能组成的基本单元，再引入元素属性和验证点的对应关系，使本发明能够通过对验证点的排列组合达到很高的测试覆盖率，并实现了自动批量生成和自动验证的功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例计算机软件测试结果的验证方法流程图；

图2为本发明实施例验证终端的结构框图；

图3为本发明实施例验证服务器的结构框图；

图4为本发明实施例计算机软件测试结果的验证系统示意图；

图5为本发明实施例计算机软件测试结果的验证系统工作流程图；

图6为本发明实施例的新增元素属性的工作流程图；

图7为本发明实施例测试结果的验证方法流程图；

图8为本发明实施例数据结构及表字段的关系示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明具体实施方式的计算机软件测试结果的验证方法包括：存储待测业务领域中具有重复使用意义的包含元素属性名、元素属性取值和取值类型的测试元素属性信息（步骤S101）；根据测试元素属性信息生成包含验证点名、元素属性名、验证点类型、测试执行前操作、测试执行后操作、验证方法和预期结果的验证点内容信息，并存储验证点内容信息（步骤S102）；接受用户提交的包含待测功能名、测试元素名、元素属性名、元素属性取值和取值类型的测试对象描述文档（新增或修改），并存储测试对象描述文档（步骤S103）；提取用户选定的测试对象描述文档中的元素属性和元素属性取值，并根据排列组合算法生成测试对象描述文档所有的包含测试数据和验证点名的验证点集合信息（步骤S104）；根据验证点集合信息中的验证点名获取对应的验证点内容信息（步骤S105）；接受用户提交的测试准备指令，执行对应的验证点内容信息的测试执行前操作，访问待测系统，获取待测对象测试执行前数据（步骤S106）；接受用户提交的测试结束指令，执行对应的验证点内容信息的测试执行后操作，访问待测系统，获取待测对象测试执行后数据（步骤S107）；根据获取的测试执行前数据、测试执行后数据和对应的验证点内容信息的验证方法生成待测对象的实际测试结果信息（步骤S108）；将实际测试结果信息与对应的验证点内容信息的预期结果进行匹配生成验证结果信息（步骤S109）；输出验证结果信息（步骤S110）。

如图4所示，本发明具体实施方式的计算机软件测试结果的验证系统包括：验证终端100和验证服务器200；验证终端100通过以太网络与验证服务器200相连接。验证服务器200与待测系统300相连接。

如图2所示，验证终端100包括：测试元素生成单元101，用于编辑测试元素的元素属性名、元素属性取值和取值类型，生成测试元素属性信息；验证点生成单元102，用于根据测试元素属性信息生成包含验证点名、元素属性名、验证点类型、测试执行前操作、测试执行后操作、验证方法和预期结果的验证点内容信息；描述文档生成单元103，用于接受用户提交的测试对象描述文档新增或修改申请，测试对象描述文档是用户根据需求说明书等设计文档定义的，内容包含待测功能名、测试元素名、元素属性名、元素属性取值和取值类型；描述文档选择单元104，用于向验证服务器提交用户选择的测试对象描述文档；测试准备指令发送单元105，用于向验证服务器发送测试准备指令；测试结束指令发送单元106，用于向验证服务器发送测试结束指令；测试结果输出单元107，用于向用户输出验证结果信息.

如图3所示，验证服务器200包括：元素属性存储单元201，用于存储测试元素属性信息；验证点内容存储单元202，用于存储验证点内容信息；描述文档存储单元203，用于存储测试对象描述文档；验证点集合生成单元204，用于提取用户选择的测试对象描述文档中的元素属性和元素属性取值，并根据排列组合算法生成测试对象描述文档所有的包含测试数据和验证点名的验证点集合信息；验证点内容获取单元205，用于根据验证点集合信息中的验证点名获取对应的验证点内容信息；测试执行前数据获取单元206，用于接受用户提交的测试准备指令，执行对应的验证点内容信息的测试执行前操作，访问待测系统，获取待测对象测试执行前数据；测试执行后数据获取单元207，用于接受用户提交的测试结束指令，执行对应的验证点内容信息的测试执行后操作，访问待测系统，获取待测对象测试执行后数据；实际测试结果生成单元208，用于根据获取的测试执行前数据、测试执行后数据和对应的验证点内容信息的验证方法生成待测对象的实际测试结果信息；验证结果生成单元209，用于将实际测试结果信息与对应的验证点内容信息的预期结果进行匹配生成验证结果信息；验证结果输出单元210，用于输出验证结果信息。

本发明实施例的自动验证测试结果的测试方法和系统，适用于软件开发过程中需要进行软件测试的所有阶段。通过元素属性和验证点的新增、根据测试对象描述文档生成测试结果验证点集合、测试执行结果自动验证等工作步骤，使具有共性的测试结果验证点可在多个测试案例中重复使用，并自动生成全覆盖的验证点组合，自动完成验证点的验证工作，提高了测试结果验证的覆盖率，大幅减少测试结果验证方法编写及测试结果验证的工作量，从而保证了测试质量和测试效率。

在本发明实施例中，软件测试的测试案例是指：对需要进行测试的特定功能模块或业务，按照一定的操作流程，依次地对模块或流程中的每个对象（比如页面输入场、模块的接口函数等），使用一定的数据进行一定操作、并期望其满足特定预期结果的描述性文本。在对测试案例的定义进行分析可以发现，其多个组成部分具有一定的功能与业务雷同性：

（一）不同的待测功能或流程中，可能拥有雷同的待测试元素（如，活期开户功能页面与公民信息查询功能页面，都包括数据输入场这一元素）。

（二）不同的待测功能或流程中的待测试元素，拥有的元素属性亦可能相同，因此对于这样的元素进行完整的业务测试，其需要的各种数据类型和数据特点也是相同的（如，活期开户功能页面与公民信息查询功能页面，其中都存在一个输入客户信息号的输入场，换句话说这两个功能都包括一个输入场，该输入场拥有客户信息号属性）。因此，对这两个功能的雷同输入场进行完整测试需要的各种数据也一样（比如都需要正常的客户信息号与错误的客户信息号）。

不同待测功能或流程的预期结果及验证预期结果的方法也有雷同性。如上述活期开户功能与公民信息查询功能，若输入的客户信息号不存在，预期结果都是“提示‘客户信息号有误’的报错信息”。都需要通过截取屏幕返回的提示框中的报错信息来进行验证。

因此在上面的例子中，两个测试案例的待测试元素（输入场）、元素拥有的业务属性（客户信息号属性）、预期结果（提示信息）、预期结果的验证方法（截取屏幕返回的信息）都具有雷同性。而在同一领域的软件测试中，例如金融行业软件测试，具有雷同性的测试点大量存在。因为测试案例中使用的元素、元素属性、预期结果、验证方法等都存在一定的雷同性，因此即具有重复使用性，可以对它们使用一定的装置和方法实现“一次维护，多次使用”的目的。

在本发明实施例中，测试元素是指：待测系统中的一个可测试单元，可视为一个小规模的待测对象，具有一定的业务属性要求。比如：待测客户信息查询功能，页面上的客户信息号输入框具有业务属性要求：客户信息号。因此“客户信息号输入框”是一个待测对象。

在本发明实施例中，元素属性是指：测试元素所能拥有的业务特性、数据要求或控制，是对不同的测试元素中类似的测试要求进行归纳总结后的成果。不同的测试元素可能拥有同样的属性，使得元素属性可以在不同的测试元素中重复使用；同一个测试元素也可能同时拥有多个不同的属性。一个元素属性可以有多个可能的取值，以及每个取值都包括失败和成功两种分类。以“往来户帐号冻结标志”这个元素属性为例，可选值是0或1。用于“冻结账号”功能中时，0属于成功取值分类，1属于失败取值分类。

在本发明实施例中，用户可以在实际使用中根据需要对元素属性进行新增、维护和扩展，使之满足实际测试的需要。

在本发明实施例中，测试验证点是指：为了评价测试执行结果是否满足要求，需要进行的一个验证操作。测试验证点包括测试前需要进行的操作、测试后需要进行的操作、验证方法及预期的结果。以“往来户帐号冻结标志”这个元素属性为例，其中一个测试验证点可描述为：“测试前：取账户余额，放入变量A；测试后：取账户余额，放入变量B；验证方法：用A减B;预期结果：0”。测试验证点从属于一定的元素属性，一个元素属性可以包括多个测试验证点。由于元素属性拥有成功和失败两种取值，相应的测试验证点也分为成功验证点和失败验证点。对元素进行测试时，若使用的是元素属性中的成功取值，则需要使用成功验证点对测试结果进行验证，反之亦然。

在本发明实施例中，结合金融行业软件测试的实际情况提供了三类最常用的验证操作，对“测试执行前操作”和“测试执行后操作”进行了分类：（1）查询数据库：根据测试设计人员指定的SQL语句，以JDBC的方式查询待测系统数据库，查询到的结果保存到指定变量中。（2）获取数据包数据：根据测试设计人员指定的位置，截取返回数据包中特定长度的数据并保存到指定变量中。（3）获取打印结果：根据测试设计人员指定的位置，截取打印结果文件中特定长度的数据并保存到指定变量中。

在本发明实施例中，测试对象描述文档是指：对特定测试对象（模块或流程）定义了该模块或流程拥有的测试元素、每个测试元素各自拥有的元素属性、可能取值、取值类型等。

在本发明实施例中，测试对象描述文档中描述了待测模块或流程中包含的测试元素以及每个测试元素各自拥有的元素属性。元素属性是本发明中的可重复使用的部分。一个测试元素可以包括多个元素属性；一个元素属性也可以被多个测试元素引用。一个元素属性可以包括多个验证点。元素属性的取值可以分为成功取值和失败取值两大类。相应的，元素属性下的验证点也可分为成功验证点和失败验证点。当元素属性的取值在测试中属于成功类的取值时，使用对应元素属性的成功验证点进行验证，反之亦然。在一次测试中，一个测试元素只能被执行其所包括的一个元素属性的一个取值进行测试。也就是说，一个测试元素下的多个元素属性是“或”的关系，一个元素属性下的多个取值也是“或”的关系。

如图4所示，本发明实施例的验证系统是一个三层C/S结构的测试系统，该测试系统至少由一个验证终端100及一个验证服务器200组成，验证服务器200连接着待测系统300。

验证终端100可以是PC机，其面向用户，负责接收用户交易指令，提供测试对象描述文档的维护、元素属性及其验证点的维护、以及测试结果展示等功能。验证服务器200负责验证点集合生成、自动验证以及数据储存等功能。待测系统300负责响应验证服务器200的数据采集请求，为测试结果的自动验证提供测试数据。验证终端100与验证服务器200通过网络连接方式（如TCP/IP连接方式）建立连接；待测系统300与应验证服务器200通过网络连接方式（如TCP/IP连接方式）或数据库直连方式（如JDBC方式）建立连接。

如图6所示，新增元素属性的工作流程的具体步骤如下：

步骤A，用户通过验证终端100新增元素属性，该步骤进一步包括：

步骤A-1：用户根据需要在验证终端100录入测试中可涉及的、有重复使用意义的业务属性，指定该元素属性的属性名，然后增加该元素属性可能的取值。

步骤A-2：对输入的数据进行合法性校验。合法性校验进行时，检查元素属性名、可能取值，并校验上述每一项是否非空，如果有空的值则返回报错显示给用户，反之则视为校验通过。然后访问验证服务器200，以“元素属性名”为条件查询用于存储元素属性信息的元素属性表中是否存在同名的记录，若不存在同名记录则视为校验通过。

步骤A-3：验证服务器200为元素属性生成元素属性编号（流水号），然后把元素属性编号、元素属性名、可能取值等字段保存到本地元素属性表中。保存完成后，验证服务器200将保存结果返回验证终端100；验证终端100接收到“保存成功”的返回后，提示用户并跳转到验证点维护功能。

步骤B，用户通过验证终端100为元素属性新增其包含的验证点，该步骤进一步包括：

步骤B-1：用户选择一个元素属性，点击新增。然后输入验证点名称并点击选择验证点的类型（属于成功验证点或失败验证点）。

步骤B-2：用户输入验证点的内容，包括“测试执行前操作”、“测试执行后操作”、“验证方法”及“预期结果”，并选择测试执行前操作、测试执行后操作的“操作类型”。

步骤B-3：录入完成后，验证终端100将元素属性编号、验证点名称、验证点的所属类型、验证点内容等信息，通过网络上送到验证服务器200。

步骤B-4：验证服务器200把元素属性编号、验证点名称、验证点的所属类型、验证点内容等信息保存到用于存储验证点内容信息的验证点信息表中。保存完成后，验证服务器200将结果返回验证终端100，验证终端100接收到返回后，提示“保存成功”信息。

用户重复执行步骤B-1到步骤B-4，可以为元素属性新增多个验证点。用户重复执行步骤A、步骤B，可以新增多个元素属性及其验证点。直到所有的元素属性都录入完成，即完成了元素属性的新增操作。

如图8所示，验证服务器200中存储内容及相互间的联系包括：

a）元素属性表：用于保存元素属性的基础信息，字段包括元素属性编号、元素属性名、可能取值。

b）验证点信息表：用于保存每个元素属性中包括的验证点信息，字段包括元素属性编号、验证点名称、验证点的所属类型、操作类型、测试执行前操作、测试执行后操作、验证方法、预期结果。验证点信息表中的各字段释义如下：

“测试执行前操作”主要用于定义需要在用户测试前进行的操作处理，一般来说用于收集待测系统中的一些数据或状态，保存在变量中，以便与交易后的数据或状态进行对比，从而体现因交易而引起的变动情况。

“测试执行后操作”主要用于定义需要在用户测试后进行的操作处理，一般来说用于收集待测系统中的一些数据或状态，保存在变量中，以便与交易前的数据或状态进行对比，从而体现因交易而引起的变动情况。

“操作类型”是对“测试执行前操作”和“测试执行后操作”的分类，分为“查询数据库”、“获取数据包数据”、“获取打印结果”等三种操作类型：

“查询数据库”类型，是指根据测试设计人员指定的SQL语句，以JDBC的方式查询待测系统数据库，查询到的结果保存到指定变量中。一般的格式为：执行语句|变量1;变量2。表示执行语句定义的操作，将操作结果分别保存到变量中。如：SELECT ZONENO,BRNO FROM NTHPATEL WHERE TELLERNO=123|地区号_后;网点号_后表示执行SELECT ZONENO,BRNO FROM NTHPATEL WHERETELLERNO=123的查询语句，将查询到的ZONENO的值保存到“地区号_后”这一变量中，将BRNO的值保存到“网点号_后”这一变量中。

“获取数据包数据”类型，是指根据测试设计人员指定的位置，截取数据包中特定长度的数据并保存到指定变量中。一般格式为：上送|账号^^17;客户信息号^^19|ACCNO;CINO。表示在上送的数据包中查找关键字“账号”，找到之后从该处开始截取17个字节，保存到变量ACCNO中，然后在上送的数据包中查找关键字“客户信息号”，找到之后从该处开始截取19个字节，保存到变量CINO中。

“获取打印结果”类型，是指根据测试设计人员指定的位置，截取打印结果文件中特定长度的数据并保存到指定变量中。一般格式为：账号^^17;客户信息号^^19|ACCNO;CINO。表示在打印结果文件中查找关键字“账号”，找到之后从该处开始截取17个字节，保存到变量ACCNO中，然后在打印结果文件中查找关键字“客户信息号”，找到之后从该处开始截取19个字节，保存到变量CINO中。

“验证方法”是一条表达式，利用上述“测试执行前操作”和“测试执行后操作”保存的变量，用于交易执行完成后计算实际的测试结果。如：“网点号_前=网点号_后”就是一个验证方法。

“预期值”是用户预期得到的测试结果。自动验证操作中，将根据验证方法表达式得出的实际结果与预期值进行对比，若两者匹配，则认为测试执行通过，反之则认为测试执行不通过。

c、自动验证结果表：用于保存每次自动验证操作的结果。字段包括案例编号、批次号、元素属性编号、提交人、验证结果。

d、描述文档库：用于存储用户编辑好的多个测试对象描述文档，并可供用户选择一个描述文档进行测试。测试对象的描述文档内容包括：描述文档名、待测功能、测试元素、元素属性、元素属性的取值、取值类型等。

如图7所示，本实施例进行测试结果自动验证的步骤如下：

步骤C：用户通过验证终端100生成测试对象的描述文档。该步骤进一步包括：

步骤C-1：用户通过验证终端100输入测试对象描述文档名、以及所需要测试的测试元素。验证服务器200接收用户的指令，访问元素属性表获取元素属性信息，返回给验证终端100以下拉框的形式显示在界面上。用户选择每个测试元素包括的元素属性（每个测试元素可包含多个元素属性）、以及每个元素属性的取值（每个元素属性可包含多个取值），用户也可以直接输入元素属性的取值；并选择元素属性的取值类型（成功或失败）。

比如，一个客户信息查询功能的操作流程为：需要输入客户信息号，点击查询后到数据库查询相应的客户信息并返回其状态。

那么对应的测试对象描述文档如表1：

表1

步骤C-2：描述文档编写完成后，验证终端100针对测试对象描述文档中的每一个测试元素进行拆分，分解出包含的元素属性。

步骤C-3：验证终端100对于每一个元素属性进行合法性检验，以“元素属性名”为条件，访问验证服务器200的元素属性表，如果查询不到匹配记录则提示报错。

循环执行步骤C-2、C-3直至所有的元素属性检验完毕，执行步骤C-4。

步骤C-4：验证终端100将测试对象描述文档提交到验证服务器200，验证服务器200以测试对象描述文档名为文件名，将测试对象描述文档保存到描述文档库中。同时返回“存储成功”的提示信息。

步骤D：用户通过验证终端100选定一个测试对象描述文档，提交给验证服务器200进行处理，生成测试对象的验证点集合。该步骤D进一步包括：

步骤D-1：验证服务器200读取用户选定的测试对象描述文档，对文档中的测试元素，逐一分析其包括的元素属性及取值。

步骤D-2：验证服务器200根据分析得到的描述文档中每个测试元素的每一个取值，进行全排列组合，得到该测试对象描述文档的所有测试数据组合。

例如：假设待测对象包括的A、B、C三个测试元素，对象元素A对应a、b两种元素属性，每个属性有两个可能取值；B对应c、d、e三种元素属性，每个属性有一个可能取值；C对应f、g两种元素属性，每个属性有一个可能取值；那么该测试对象描述文档一共有2×2×3×1×2×1=24组测试数据组合。

步骤D-3：验证服务器200读取一组测试数据组合，分析该组测试数据组合包括的元素属性及取值类型（成功或失败），查询验证点信息表，以“元素属性名”、“取值类型”为查询条件，获取该组测试数据组合相应的验证点，组合成每组测试数据组合对应的验证点集合。

步骤D-4：验证服务器200提取测试数据及对应的验证点集合。（重复执行步骤D-3到步骤D-4，直到测试数据遍历完成为止）。

步骤E：验证服务器200根据验证点集合信息，进行批量自动验证。在接收到用户发起测试准备请求时，进行测试执行前操作；在接收到用户发起的测试结束指令后，进行测试执行后操作；并根据两次操作的匹配结果，判断验证是否通过。该步骤E进一步包括：

步骤E-1：验证终端100建立与验证服务器200的连接，接收验证点集合信息，启动自动验证操作。

步骤E-2：对于每个验证点集合，验证服务器200以“验证点名称”为条件，查询验证点信息表，获取验证点内容。

步骤E-3：验证服务器200等待用户发起的测试准备请求，接收到请求后，根据验证点集合信息中的“操作类型”，分别执行相应的“测试执行前操作”，访问待测系统300获取数据并保存到指定变量中：

1）当“测试执行前操作”的类型为“查询数据库”时，验证服务器200以“|”号分割“测试执行前操作”内容字符串，获取查询SQL和保存结果的变量，然后以JDBC方式连接待测系统，执行SQL查询并获取查询结果，然后按顺序将查询结果放入变量中。

2）当“测试执行前操作”的类型为“获取数据包数据”时，验证服务器200以“|”号分割“测试执行前操作”内容字符串，获取查询关键字、截取长度及保存结果的变量，然后以TCP/IP的方式与待测系统建立连接，监听上送的数据包。监听到数据包后，在其中以查询关键字为内容进行检索，找到之后根据长度截取关键字之后的字符串，并将截取结果放入变量中。

3）当“测试执行前操作”的类型为“获取打印结果”时，验证服务器200以“|”号分割“测试执行前操作”内容字符串，获取查询关键字、截取长度及保存结果的变量，然后以TCP/IP的方式与待测系统建立连接，获取打印结果文件并在其中以查询关键字为内容进行检索，找到之后根据长度截取关键字之后的字符串，并将截取结果放入变量中。

步骤E-4：待测系统300执行测试，测试结束后提交“测试完成”指令到验证终端100并转发到验证服务器200，验证服务器200接收到“测试完成”指令后，根据验证点集合信息中的“操作类型”分别执行相应的“测试执行后操作”，访问待测系统300获取数据并保存到指定变量中：

1）当“测试执行后操作”的类型为“查询数据库”时，验证服务器200以“|”号分割“测试执行后操作”内容字符串，获取查询SQL和保存结果的变量，然后以JDBC方式连接待测系统，执行SQL查询并获取查询结果，然后按顺序将查询结果放入变量中。

2）当“测试执行后操作”的类型为“获取数据包数据”时，验证服务器200以“|”号分割“测试执行后操作”内容字符串，获取查询关键字、截取长度及保存结果的变量，然后以TCP/IP的方式与待测系统建立连接，监听下传的数据包。监听到数据包后，在其中以查询关键字为内容进行检索，找到之后根据长度截取关键字之后的字符串，并将截取结果放入变量中。

3）当“测试执行后操作”的类型为“获取打印结果”时，验证服务器200以“|”号分割“测试执行后操作”内容字符串，获取查询关键字、截取长度及保存结果的变量，然后以TCP/IP的方式与待测系统建立连接，获取打印结果文件并在其中以查询关键字为内容进行检索，找到之后根据长度截取关键字之后的字符串，并将截取结果放入变量中。

步骤E-5：验证服务器200根据验证点集合信息中的“验证方法”中指定的表达式，利用变量的实际值替换表达式，并计算表达式的值，得出测试的实际结果。

步骤E-6：验证服务器200将步骤E-5中得到的实际结果与验证点集合信息中的“预期结果”进行比较，判断两者是否匹配。若两者匹配则将该验证点的验证结果置为“验证通过”，反之，若两者不匹配则将该验证点的验证结果置为“验证不通过”。比较完成后，验证服务器200将案例编号、批次号、元素属性编号、提交人、验证结果等信息更新到自动测试结果表中。

重复执行步骤E-2到步骤E-6，直到所有的验证点验证完成为止。

实施例1

为了更好地说明本发明方法，以下是应用本发明方法生成验证点集合并完成验证的一个实施例，如图5所示：

待测目标：是一个查询本地区的客户信息状态的功能。其包括一个客户信息号输入场。该功能的大概使用方法是：输入一个客户信息号，点击查询。如果是本地区的客户信息且状态正常，则在渠道类日志表（A）中新增一条查询记录信息，同时在查询结果表（B）新增一条查询结果记录；否则只在渠道类日志表（A）中新增一条查询记录信息。

假设验证服务器200中已有的元素属性不能满足本次编写测试对象描述文档的需要，测试人员需要先执行以下步骤1到步骤4，对元素属性的集合进行新增扩展。新增扩展后的元素属性会保存在元素属性信息表，供以后进行相同的测试验证工作时直接重用。

步骤1：用户通过验证终端录100录入元素属性及可能取值如表2：

表2

步骤2：验证终端录100对元素属性进行校验，先检查元素属性名、可能取值是否不为空，然后以“客户信息号”为条件，查询验证服务器200中的元素属性表，如果未找到同名记录，将上送的元素属性信息保存到元素属性表中。其中，

元素属性表格式如下：

元素属性编号：YS001；

元素属性名：客户信息号；

可能取值：本地区账号，状态正常；

本地区账号，状态异常；

外地区账号，状态正常；

外地区账号，状态异常。

步骤3：用户通过验证终端录100为元素属性增加验证点信息。选择名为“客户信息号”的元素属性，新增验证点内容如表3：

表3

步骤4：录入完成后，验证终端录100将上述信息通过TCP/IP连接上送到验证服务器200，并存储到验证点信息表中。

重复执行上述步骤1到步骤4，直至所有需要使用的元素属性都在验证点信息表中存在。

步骤5：用户通过验证终端录100编写测试对象描述文档，为本次测试“本地客户信息查询交易”输入测试元素，并选择相应的元素属性、元素属性取值、取值类型。验证终端录100接收用户输入并进行解析，得到测试对象描述文档如表4，并存储到验证服务器200的描述文档库中：

表4

步骤6：验证服务器200读取用户选定的测试对象描述文档，对文档中的测试元素，逐一分析出其中包括的元素属性及取值，然后根据排列组合算法，得到该测试对象描述文档的所有测试数据组合及验证方法集合如下：

案例1：

案例编号：101

测试数据：客户信息号输入场输入“本地区账号，状态正常”的客户信息号

验证点名称：客户信息号验证点1

案例2：

案例编号：102

测试数据：客户信息号输入场输入“本地区账号，状态异常”的客户信息号

验证点名称：客户信息号验证点2

案例3：

案例编号：103

测试数据：客户信息号输入场输入“外地区账号，状态正常”的客户信息号

验证点名称：客户信息号验证点3

案例4：

案例编号：104

测试数据：客户信息号输入场输入“外地区账号，状态异常”的客户信息号

验证点名称：客户信息号验证点4

步骤7：验证服务器200根据验证点集合信息，启动批量自动验证操作。

验证服务器200以流水号的方式生成本次提交验证的批次号，然后以验证点名称“客户信息号验证点1”为条件，查询验证点信息表，获取验证点内容。

步骤8：验证服务器200接收用户“测试准备”的指令，进行“测试执行前操作”。验证服务器200读取到操作类型为“查询数据库”，于是以“|”字符分割字符串，获取到查询语句“select count(A.*),count(B.*)from A,B”，然后以JDBC方式连接待测系统，执行查询语句“selectcount(A.*),count(B.*)from A,B”，获取查询结果并将count(A.*)的值5放入变量A_前，将count(B.*)的值2放入变量B_前。

步骤9：测试人员执行测试，测试结束，通过验证终端100提交“测试结束”指令。

步骤10：验证服务器200接收“测试结束“指令后，进行“测试执行后操作”。验证服务器200读取到操作类型为“查询数据库”，于是以“|”字符分割字符串，获取到查询语句“select count(A.*),count(B.*)from A,B”，然后以JDBC方式连接待测系统，执行查询语句“selectcount(A.*),count(B.*)from A,B”，获取查询结果并将count(A.*)的值6放入变量A_后，将count(B.*)的值3放入变量B_后。

步骤11：验证服务器200根据验证点中的表达式（A_后-A_前=1；B_后-B_前=1；），利用变量的实际值替换表达式，得到实际表达式为：6-5=1；3-2=1；并计算表达式的值得到测试的实际结果为“等式成立”。

步骤12：验证服务器200将得到的实际结果（“等式成立”）与验证点中设置的预期结果（“等式成立”）进行比较，两者匹配，于是将“客户信息号验证点1”的验证结果置为“验证通过”并将验证结果保存到自动验证结果表中，并提交给验证终端100展示给用户。

通过上述的操作，即可自动验证该待测功能的所有测试结果。

本实施例系统适用于软件开发过程中需要进行软件测试的所有阶段。本实施例系统引入了元素属性、验证点等概念，把具有重复使用意义的测试数据和测试结果验证方法归纳抽象成可重复使用的元素属性和验证点，再把测试案例视为拥有一定元素属性的测试元素的集合，本实施例系统可以有效的促进测试效率以及测试质量的提高。

本实施例系统与现有的测试结果验证方法的对比情况如下：

从验证点编写方法和工作量方面进行比较。

现有方法：对于测试验证点的产生，基本上依靠手工编写完成。测试设计人员针对每个测试场景可能的操作、数据组合和预期结果，逐条编写验证点。在每次执行验证前，还需要查询待测系统数据库，找出可用的测试数据并填入验证点中。验证点编写的工作量非常大。

本实施例系统：只需要维护好公用的元素属性和验证点内容，然后根据设计文档编写测试对象描述文档，指定其中包括的测试元素及其包含的元素属性，即可由计算机自动生成所有的验证点集合，极大减少了工作量。

从验证点执行方法和工作量方面进行比较。

现有方法：测试人员需要在测试前后使用各种手段（如使用数据库查询工具查询数据库字段内容、使用文本记录界面文字状态等），获取用于对比的数据，逐个案例地根据验证公式来计算实际结果，然后与预期结果作对比。执行验证的工作量大，而且容易出现检查遗漏。

本实施例系统：只需要指定要验证的案例，即可由计算机自动收集和记录测试前后的对比数据、根据定义好的公式自动计算实际结果并与预期结果做对比，得出验证是否通过的结论。验证的速度快，而且不需要测试人员人工干预，节省了大量的用于结果验证的工作。

从验证点的重用性和案例覆盖率方面比较。

现有方法：验证方法缺少对重用的考虑。有一些对象的操作具有一定的业务控制和要求（比如“币种”字段要求输入001/013等0开头的数字），当采用传统方法编写验证方法时，对于这类型的对象，如果测试设计人员没有足够的业务经验，就有可能对可能的情况考虑不全，从而造成遗漏。

本实施例系统：引入了重用的概念，由资深测试人员维护好的元素属性及对应的验证点，可以在所有测试人员中共享并引用。同时本发明将特殊业务要求对应到一定的元素属性可能取值，利用计算机算法生成所有可能的数据组合及验证点集合。尽量减少了对测试人员经验的要求，避免了遗漏。

综上所述，本实施例系统：极大精简了相似功能测试的验证工作中存在的重复劳动，提高了验证点的重复使用性；把测试元素、元素属性看作功能组成的基本单元，再引入元素属性和验证点的对应关系，使本发明能够通过对验证点的排列组合达到很高的测试覆盖率；本发明实现了自动批量生成和自动验证的功能，极大节约了测试设计和结果验证的人力投入。本发明对于测试元素、验证方法的变动，只需要修改公用的元素属性定义和验证点定义，所有包括此元素属性的相关案例验证方法都可以自动完成修改，避免了传统方法需要每个案例都进行一次修改的情况，进一步减少了工作量。本发明提高了测试结果验证的覆盖率，同时大幅减少测试结果验证方法编写及测试结果验证的工作量，从而保证了测试质量和测试效率。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种计算机软件测试结果的验证方法，其特征是，所述的方法包括：

把具有重复使用意义的测试数据和测试结果验证方法归纳抽象成可重复使用的元素属性和验证点；

存储待测业务领域中具有重复使用意义的包含元素属性名、元素属性取值和取值类型的测试元素属性信息；

根据所述的测试元素属性信息生成包含验证点名、元素属性名、验证点类型、测试执行前操作、测试执行后操作、验证方法和预期结果的验证点内容信息，并存储所述的验证点内容信息；

接受用户提交的包含待测功能名、测试元素名、元素属性名的测试对象描述文档，并存储所述的测试对象描述文档；

提取用户选定的测试对象描述文档中的元素属性和元素属性取值，根据分析得到的测试对象描述文档中每个测试元素的每一个取值，进行全排列组合，得到该测试对象描述文档的所有测试数据组合，分析该组测试数据组合包括的元素属性及取值类型，查询验证点信息表，以“元素属性名”、“取值类型”为查询条件，获取该组测试数据组合相应的验证点，组合成每组测试数据组合对应的验证点集合信息，其中：验证服务器（200）把元素属性编号、验证点名称、验证点的所属类型、验证点内容信息保存到用于存储验证点内容信息的验证点信息表中；

根据所述验证点集合信息中的验证点名获取对应的验证点内容信息；

接受用户提交的测试准备指令，执行对应的验证点内容信息的测试执行前操作，访问待测系统，获取待测对象测试执行前数据；

接受用户提交的测试结束指令，执行对应的验证点内容信息的测试执行后操作，访问待测系统，获取待测对象测试执行后数据；

根据获取的测试执行前数据、测试执行后数据和对应的验证点内容信息的验证方法生成待测对象的实际测试结果信息；

将所述的实际测试结果信息与对应的验证点内容信息的预期结果进行匹配生成验证结果信息；

输出所述的验证结果信息。

2.根据权利要求1所述的方法，其特征是，所述的方法包括：测试元素属性信息增添步骤，用于编辑新增测试元素属性信息的元素属性名、元素属性取值和取值类型，并存储编辑后的新增测试元素属性信息。

3.根据权利要求2所述的方法，其特征是，所述的方法包括：验证点内容信息增添步骤，用于根据所述的新增测试元素属性信息生成包含验证点名、元素属性名、验证点类型、测试执行前操作、测试执行后操作、验证方法和预期结果的新增验证点内容信息，并存储所述的新增验证点内容信息。

4.根据权利要求1所述的方法，其特征是，所述的将所述的实际测试结果信息与对应的验证点内容信息的预期结果进行匹配生成验证结果信息包括：判断所述的实际测试结果信息与对应的验证点内容信息的预期结果是否匹配，如果是则输出“验证点验证通过”的验证结果信息，如果否则输出“验证点验证不通过”的验证结果信息。

5.根据权利要求4所述的方法，其特征是，所述的方法包括：存储所述的验证结果信息。

Images