CN108427632B - 自动测试方法及装置 - Google Patents

Abstract

本发明公开了一种自动测试方法及装置，属于软件测试领域。该方法包括：获取待测试功能点的输入对象描述信息和至少一条预设校验规则，输入对象描述信息用于指示各个输入对象各自对应的合法输入条件，预设校验规则用于对测试用例的实际执行结果进行校验；根据输入对象描述信息构建至少一个测试用例，每个测试用例中包含各个输入对象；获取待测试功能点执行各个测试用例后输出的实际执行结果；根据预设校验规则对实际执行结果进行校验，得到各个测试用例各自对应的测试结果。本发明实施例中，测试用例根据待测试功能点的输入对象描述信息自动生成，相较于开发人员手动设计测试用例的效率更高且更加全面，从而提高了软件测试的效率。

Description

自动测试方法及装置

技术领域

本发明实施例涉及软件测试领域，特别涉及一种自动测试方法及装置。

背景技术

软件测试是软件开发过程中的重要环节，开发人员通过设计测试用例对软件进行测试，从而发现软件中存在的缺陷，并对缺陷进行修复。

软件测试过程中，开发人员需要手动设计测试用例，并根据软件的业务逻辑确定测试用例的预期执行结果；当软件执行该测试用例并输出实际执行结果时，开发人员比较输出的实际执行结果与预期执行结果是否一致，并在两者不一致时确定该测试用例未通过测试，从而发现软件中存在的缺陷。

然而针对大型软件的测试，软件中的每个功能点通常需要成千上万个测试用例进行测试，导致开发人员需要花费大量时间设计测试用例，影响软件测试的效率。

发明内容

为了解决现有技术中开发人员需要花费大量时间设计测试用例，影响软件测试效率的问题，本发明实施例提供了一种自动测试方法及装置。所述技术方案如下：

根据本发明实施例的第一方面，提供了一种自动测试方法，该方法包括：

获取待测试功能点的输入对象描述信息和至少一条预设校验规则，输入对象描述信息用于指示各个输入对象各自对应的合法输入条件，预设校验规则用于对测试用例的实际执行结果进行校验；

根据输入对象描述信息构建至少一个测试用例，每个测试用例中包含各个输入对象；

获取待测试功能点执行各个测试用例后输出的实际执行结果；

根据预设校验规则对实际执行结果进行校验，得到各个测试用例各自对应的测试结果。

根据本发明实施例的第二方面，提供了一种自动测试装置，该装置包括：

第一获取模块，用于获取待测试功能点的输入对象描述信息和至少一条预设校验规则，输入对象描述信息用于指示各个输入对象各自对应的合法输入条件，预设校验规则用于对测试用例的实际执行结果进行校验；

构建模块，用于根据输入对象描述信息构建至少一个测试用例，每个测试用例中包含各个输入对象；

第二获取模块，用于获取待测试功能点执行各个测试用例后输出的实际执行结果；

校验模块，用于根据预设校验规则对实际执行结果进行校验，得到各个测试用例各自对应的测试结果。

本发明实施例提供的技术方案带来的有益效果是：

通过对待测试功能点的输入对象进行描述，使得在自动测试过程中，能够自动根据输入对象描述信息生成覆盖整个待测试功能点的测试用例，进而利用生成的测试用例对待测试功能点进行测试；相较于开发人员手动设计的测试用例更加全面，且生成测试用例的效率更高，从而提高了软件测试的效率；并且，针对待测试功能点执行测试用例后输出的实际执行结果，能够自动根据预设的校验规则对实际执行结果进行校验，从而确定出各个测试用例的测试结果，有利于开发人员快速定位待测试功能点的缺陷，进一步提高了软件测试的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例提供的自动测试方法的原理示意图；

图2示出了本发明一个实施例提供的自动测试方法的流程图；

图3A示出了本发明另一个实施例提供的自动测试方法的流程图；

图3B是图3A所示自动测试方法所涉及的测试值域确定过程的流程图；

图3C是值域组合生成过程的实施示意图；

图3D是图3A所示自动测试方法所涉及的检验规则集合确定过程的流程图；

图3E是检验规则集合确定过程的实施示意图；

图3F是自动化测试平台监控系统环境过程的流程图；

图3G是一个示意性实施例示出的自动化测试平台进行自动测试的实施示意图；

图4示出了本发明一个实施例提供的自动测试装置的结构方框图；

图5示出了本发明一个实施例提供的服务器的结构方框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

为了方便理解，下面对本发明实施例中涉及的名词进行解释：

输入对象描述信息：用于描述待测试功能点中各个输入对象各自的输入规范，其中，该输入规范指示各个输入对象各自的合法输入条件。对于不同类型的输入对象，其对应的合法输入条件也不同。当输入对象为图片、文档、音视频数据一类的输入文件时，输入文件对应的合法输入条件为输入文件的文件大小限制、输入文件的文件数量限制或输入文件的内容限制等等。而当输入对象为输入参数时，输入参数对应的合法输入条件即为输入参数的合法输入值域，该合法输入值域采用特定值、正则表达式、集合、列表、函数或数组等方法表示。比如，对于手机号这一输入对象而言，手机号的合法输入值域可以采用正则表达式“/^1[34578]\d{9}$/”进行表示。为了方便描述，本发明实施例以输入对象为输入参数为例进行示意性说明，并不对输入对象的具体类型构成限定。

校验规则：用于检测测试用例的实际执行结果与预期执行结果是否匹配的规则。在一种可能的实施方式中，该校验规则用于对预期执行结果中包含的目标关键词进行描述，利用校验规则对实际执行结果进行校验时，即从实际执行结果中提取关键词，并检测提取到的关键词是否符合对预期执行结果中关键词的描述。

等价类：软件测试中针对输入参数值域的划分方式，包括有效等价类和无效等价类，其中，有效等价类指合法输入参数所构成的集合，非法等价类指非法输入参数所构成的集合，利用有效等价类可以检测功能点是否能够在合法输入下实现预期功能，利用无效等价类可以检测功能点是否能够对非法输入进行识别及处理。

边界值：用于指示某一值域的边界，本发明实施中指等价类对应值域的边界。比如，当等价类对应的值域为(1,10)时，该等价类的边界值即为1和10。

推导规则：一种用于根据输入状态推导出输出状态的规则。本发明各个实施例中，该推导规则用于根据测试用例中各个输入对象的输入状态推导出该测试用例对应的预期执行结果，其中，输入对象的输入状态包括合法状态和非法状态。比如，当测试用例中各个输入参数的取值状态均为合法状态时，根据推导规则可以推导出合法的预期执行结果；当测试用例中存在非法状态的输入参数时，根据推导规则可以推导出非法的预期执行结果。

现有技术中，测试用例依赖开发人员手动设计，但是由于手动设计存在疏漏，测试用例难以完全覆盖待测试功能点，导致人工设计测试用例的效率较低且全面性不足。显而易见的，现有技术中软件测试的自动化程度较低，测试用例的设计依赖人工，导致软件测试效率较低且成本较高，不利于后期的软件维护。

而本发明各个实施例提供的自动测试方法中，如图1所示，自动化测试平台100首先获取待测试功能点的描述信息，然后根据输入对象对应的描述信息生成测试用例，并利用待测试功能点执行测试用例以完成测试，区别于现有技术中采用casebycase(一个自动化测试脚本覆盖一个测试用例)的方式进行自动化测试，本发明实施例中，开发人员仅需要对待测试功能点的功能进行描述，自动化测试平台即可自动生成完整覆盖待测试功能点的测试用例，无需人工设计测试用例，从而提高了构建测试用例的效率以及全面性；同时，自动化测试平台100获取待测试功能点输出的各个测试用例对应的实际执行结果，并利用预设校验规则对实际执行结果进行校验，最终得到测试用例的测试结果(指示测试用例是否通过测试)，便于开发人员后续根据测试结果快速定位待测试功能点中存在的缺陷。下面采用示意性的实施例进行说明。

请参考图2，其示出了本发明一个实施例提供的自动测试方法的流程图。本发明各个实施例以该自动测试方法用于自动化测试平台为例进行说明，该自动化测试平台是一台服务器、若干台服务器组成的服务器集群或云计算中心。该方法包括：

步骤201，获取待测试功能点的输入对象描述信息和至少一条预设校验规则，输入对象描述信息用于指示各个输入对象各自对应的合法输入条件，预设校验规则用于对测试用例的实际执行结果进行校验。

在一种可能的实施方式中，自动化测试平台根据待测试功能点的业务逻辑确定待测试功能点对应的输入对象，并以web页面的形式对输入对象的类型进行显示，指示开发人员设置各个输入对象各自对应的合法输入条件以及相应的校验规则。

其中，该待测试功能点为软件、平台或系统中的某一接口模块或功能模块。比如，该待测试功能点为社交软件中的注册模块，或，该待测试功能点为广告推荐平台的广告投放接口模块，或，该待测试功能点为酒店预订系统的客房预订模块。

待测试功能点对应至少一个输入对象，该输入对象为输入文件(音视频、图片、文档等等)或输入参数。相应的，针对不同类型的输入对象，其对应的合法输入条件也不同。

可选的，当输入对象为输入文件时，该输入文件对应的合法输入条件用于限定输入文件的文件内容、文件大小、文件数量等等；当输入对象为输入参数时，该输入参数对应的合法输入条件即用于限定输入参数的合法输入值域。，其中，合法输入值域可以采用采用特定值、正则表达式、集合、列表或函数等方法表示。比如，当输入对象为手机号时，可以采用正则表达式(/^1[34578]\d{9}$/)对手机号的合法输入值域进行表示；又比如，当输入对象为学历信息时，可以采用集合({高中、专科、本科、硕士、博士})对学历信息的合法输入值域进行表示。为了方便描述，下述各个实施例仅以输入对象为输入参数，合法输入条件为合法输入值域为例进行示意性说明，并不对本发明构成限定。

可选的，该预设校验规则用于描述预期执行结果中包含的关键词，自动化测试平台利用预设校验规则对实际执行结果进行校验时，即检测实际执行结果中是否包含该预设校验规则所描述的关键词。

步骤202，根据输入对象描述信息构建至少一个测试用例，每个测试用例中包含各个输入对象。

可选的，自动化测试平台根据各个输入对象各自对应的合法输入条件自动构建测试用例，其中，构建的每个测试用例中包含该待测试功能点对应的各个输入对象。

比如，当待测试功能点实现的功能为对手机进行充值时，该待测试功能点对应的输入对象包括手机号和充值金额，相应的，自动化测试平台生成的各个测试用例中均包含手机号和充值金额这两项输入对象。

步骤203，获取待测试功能点执行各个测试用例后输出的实际执行结果。

生成测试用例后，自动化测试平台即通过待测试功能点执行各个测试用例，并收集各个测试用户对应的实际执行结果。

可选的，待测试功能点执行测试用例后输出格式化的实际执行结果，比如，该格式化的实际执行结果为json(JavaScript Object Notation，Java脚本对象表示法)字符串。

步骤204，根据预设校验规则对实际执行结果进行校验，得到各个测试用例各自对应的测试结果。

传统的自动测试中，由于测试用例由开发人员手动设计，因此，测试用例对应的预期执行结果明确，在检测测试用例是否通过测试时，只需检测实际执行结果与预期执行结果是否一致即可。而本发明各个实施例中，由于测试用例由自动化测试平台自动生成，具有不确定性，导致测试用例对应的预期执行结果不确定，因此需要根据预设校验规则检测测试用例的实际执行结果与预期执行结果是否匹配。

在一种可能的实施方式中，自动化测试平台生成测试用例后，根据预设推导规则推导出测试用例的预期执行结果，从而根据该预期执行结果确定测试用例对应的校验规则集合；在对实际执行结果进行校验时，自动化测试平台即获取测试用例对应的校验规则集合，并检测校验规则集合中是否包含与实际执行结果相匹配的预设校验规则；当检测到包含与该实际执行结果相匹配的预设校验规则时，确定该测试用例通过测试，当检测到不包含与该实际执行结果相匹配的预设校验规则时，确定该测试用例未通过测试。

可选的，自动化测试平台对未通过测试的测试用例进行存储，并以列表的形式提供给开发人员，方便开发人员根据该测试用例分析待测试功能点中存在的缺陷。

可选的，完成自动测试后，自动化测试平台对测试环境进行清理，避免历史测试数据占用系统存储空间。

为了确保生成的测试用例能够覆盖整个待测试功能点，在一种可能的实施方式中，当输入对象为输入参数时，自动化测试平台根据各个输入参数的合法输入值域确定其对应的测试值域，并对不同输入参数对应的测试值域进行组合，生成不同的值域组合，进而根据该值域组合生成测试用例，下面采用示意性的实施例进行说明。

请参考图3A，其示出了本发明一个实施例提供的自动测试方法的流程图，该方法包括：

步骤301，获取待测试功能点的输入参数描述信息和至少一条预设校验规则，输入参数描述信息用于指示各个输入参数各自对应的合法输入值域，预设校验规则用于对测试用例的实际执行结果进行校验。

本步骤的实施方式与上述步骤201相似，本实施例在此不再赘述。

步骤302，根据各个输入参数各自的合法输入值域确定输入参数对应的至少一个测试值域，各个测试值域之间不存在交集。

在一种可能的实施方式中，获取到输入参数对应的合法输入值域后，自动化测试平台进一步对合法输入值域进行划分，得到该合法输入值域对应的若干个测试值域(均为合法输入值域的子集)，进而根据各个输入参数各自对应的测试值域组合生成测试用例。

比如，自动化测试平台获取到输入参数的合法输入值域为[0，1000]，根据输入参数的位数将该合法输入值域划分为[0，9]，[10，99]，[100，999]以及1000这四个测试值域；又比如，自动化测试平台获取到输入参数的合法输入值域为{高中、专科、本科、硕士、博士}后，将该合法输入值域划分为{高中}、{专科}、{本科}、{硕士}以及{博士}这五个测试值域。

在另一种可能的实施方式中，为了使生成的测试用例既能够对合法输入情况进行测试，又能够对非法输入情况进行测试，自动化测试平台获取到输入参数对应的合法输入值域后，进一步确定该输入参数对应的非法输入值域，并分别将合法输入值域和非法输入值域划分为若干个测试值域(合法输入值域的子集或非法输入值域的子集)，进而对划分得到的合法输入测试值域和非法输入测试值域进行组合，生成相应的测试用例。可选的，如图3B所示，本步骤包括如下步骤。

步骤302A，对于任一输入参数，根据输入参数的合法输入值域确定输入参数对应的至少一个等价类，等价类包括有效等价类和无效等价类，其中，有效等价类对应的值域为合法输入值域的子集，无效等价类对应的值域为合法输入域的补集。

在一种可能的实施方式中，自动化测试平台根据预设划分规则对合法输入值域进行划分，得到输入参数对应的至少一个有效等价类，其中，各个有效等价类对应的值域互不存在交集；进一步的，自动化测试平台根据合法输入值域确定输入参数对应的非法输入值域，并根据预设划分规则对非法输入值域进行划分，得到输入参数对应的至少一个无效等价类。

比如，自动化测试平台获取到输入参数的合法输入值域为\d{5,13}(该正则表达式表示5至13位的整数)，根据输入参数的位数划分得到9个有效等价类，分别为：\d{5}、\d{6}、\d{7}、\d{8}、\d{9}、\d{10}、\d{11}、\d{12}、\d{13}。进一步的，自动化测试平台确定该合法输入值域对应的非法输入值域为\d{1,4}以及\d{14}\D(该正则表达式表示14位及14位以上的整数)，根据输入参数的位数划分得到5个无效等价类，分别为\d{1}、\d{2}、\d{3}、\d{4}、\d{14}\D。需要说明的是，上述合法输入值域对应的非法输入值域还包含非数字字符的字符串、包含空格的字符串等等，本实施例并不在此赘述。

步骤302B，确定各个等价类对应的值域的边界值。

由于大量的测试异常通常出现在输入参数的值域边界，因此，为了提高测试用例的全面性，确定输入参数对应的有效等价类及无效等价类后，自动化测试平台进一步获取各个等价类对应值域的边界值。

可选的，当等价类对应的值域采用列表表示时，该边界值即为列表的第一行以及最后一行；当等价类对应的值域采用有序数组表示时，该边界值即为数组的第一个以及最后一个元素；当等价类对应的值域采用循环函数表示时，该边界值即为循环的第0次、第1次、倒数第2次以及最后一次。本发明实施例并不对确定边界值的具体方式进行限定。

比如，对于有效等价类\d{5}而言，其对应值域的边界值为10000和99999，对于无效等价类\d{14}\D而言，其对应值域的边界值为1×10¹³。

步骤302C，将各个等价类对应的值域和边界值确定为该输入参数对应的测试值域。

自动化测试平台将确定出的有效等价类对应的值域、无效等价类对应的值域以及相应的边界值确定为该输入参数的测试值域。后续自动化测试平台即基于各个输入参数各自对应的测试值域生成测试用例。

步骤303，对各个输入参数对应的测试值域进行排列组合，生成若干个值域组合。

为了确保生成的测试用例能够覆盖各个测试参数对应的测试值域，自动化测试平台对各个输入参数对应的参数值域进行排列组合(叉乘)，从而生成值域组合。其中，生成的各个值域组合互不相同，且每个值域组合中均包含各个输入参数对应的一个测试值域。

示意性的，如图3C所示，当待测试功能点对应N个输入参数(Input 1至InputN)，且第i个测试参数对应M_i个测试值域(val 1至val M_i)时，自动测试平台分别从每个测试参数对应的若干个测试值域中抽取一个测试值域，并进行组合，从而生成

个值域组合。

比如，自动化测试平台抽取各个测试参数对应的第1测试值域val 1，生成的值域组合为(Input 1-val 1，Input 2-val 1，Input 3-val 1，...，Input N-val 1)，又比如，自动化测试平台抽取第2测试参数的第2测试值域val 2，抽取其余测试参数的第1测试值域val 1，生成的值域组合为(Input 1-val 1，Input 2-val 2，Input 3-val 1，...，Input N-val 1)；再比如，自动化测试平台抽取测试参数对应的第M_N测试值域val M_i(即每个测试参数的最后一个测试值域)，生成的值域组合为(Input 1-val M₁，Input 2-val M₂，Input 3-val M₃，...，Input N-val M_N)。

步骤304，根据值域组合构建对应的测试用例。

通过上述步骤303生成若干个值域组合后，，自动化测试平台生成各个值域组合各自对应的测试用例。

在一种可能的实施方式中，对于值域组合中各个测试值域，自动化测试平台从该测试值域中随机抽取一个数值作为对应输入参数的取值，进而生成值域组合对应的测试用例。

比如，对于值域组合为(Input 1-val 1，Input 2-val 1，Input 3-val 1)，当Input 1-val 1为\d{5}，Input 2-val 1为{充值}，Input 3-val 1为(0，100)时，自动化测试平台从Input 1-val 1中抽取“54321”作为第1输入参数的取值，从Input 2-val 1中抽取“充值”作为第2输入参数的取值，从Input 3-val 1中抽取“50”作为第3输入参数的取值，生成测试用例(54321，充值，50)。

步骤305，确定各个测试用例各自对应的校验规则集合，校验规则集合中包括至少一条预设校验规则。

传统的自动测试中，测试用例由开发人员手动设计，测试用例中输入参数的取值明确，因此开发人员能够根据输入参数准确设置测试用例的预期执行结果；相应的，在对测试用例的实际执行结果进行校验时，只需检测实际执行结果与预期执行结果是否一致即可。

而本发明实施例中，测试用例由自动化测试平台自动生成，且测试用例中各个输入参数的取值具有不确定性，导致开发人员无法为各个测试用例设置准确的预期执行结果。

为了实现自动化测试平台对测试用例实际执行结果的自动校验，在生成测试用例后，自动化测试平台需要进一步根据预设推导规则以及上述步骤301中获取的至少一条预设校验规则，推导出各个测试用例对应的校验规则集合，进而利用该校验规则集合中的预设校验规则对测试用例的实际执行结果进行校验。其中，该预设推导规则为自动化平台内置或由开发人员手动设置。

在一种可能的实施方式中，自动化测试平台根据测试用例中各个输入参数取值状态的合法性，通过预设推导规则推到出测试用例对应预期执行结果的合法性，从而根据预期执行结果的合法性确定该测试用例对应的校验规则集合。可选的，如图3D所示，本步骤包括如下步骤。

步骤305A，获取测试用例中各个输入对象的输入状态，输入状态包括合法状态和非法状态。

其中，合法状态下，输入对象符合合法输入条件；非法状态下，输入对象不符合合法输入条件。

在一种可能的实施方式中，当输入对象为输入参数时，自动化测试平台根据输入参数的取值以及输入参数的合法输入值域，确定该输入参数的取值状态。当输入参数的取值属于输入参数的合法输入值域时，确定该输入参数的取值状态为合法状态；当输入参数的取值不属于输入参数的合法输入值域时，确定该输入参数的取值状态为非法状态。

比如，当输入参数的取值为1234，且输入参数的合法输入值域为\d{5,13}时，自动化测试平台确定该输入参数为非法状态；而当输入参数的取值为12345时，自动化测试平台确定该输入参数为合法状态。

步骤305B，根据预设推导规则对各个输入对象的输入状态进行逻辑与运算，推导出测试用例对应的预期执行结果。

其中，根据预设推导规则和输入对象的输入状态推导预期执行结果的过程可以被描述为：

(Input1：Y/N)&&(Input2：Y/N)&&...(InputN：Y/N)＝＞Checks：Y/N。

其中，Input*：Y/N用于指示输入参数的取值状态(*表示输入参数的序号，Y表示合法状态，N表示非法状态)，&&为逻辑与运算，Checks：Y/N用于指示预期执行结果的合法或非法状态。

在一种可能的实施方式中，如图3E所示，当测试用例中各个输入参数的取值状态均为合法状态时(即合法输入情况下)，根据预设推导规则推导出该测试用例的预期执行结果也为合法状态(Checks：Y)；当测试用例中存在取值状态为非法状态的输入参数时(即非法输入情况下)，根据预设推导规则推导出该测试用例的预期执行结果为非法状态(Checks：N)。

可选的，该预设推导规则也可以由开发人员根据待测试功能点的实际业务逻辑自行设置，本发明实施例并不对此进行限定。

步骤305C，根据预期执行结果和预设校验规则确定测试用例对应的校验规则集合，校验规则集合中的预设校验规则用于校验测试用例的实际执行结果与预期校验结果是否一致。

在一种可能的实施方式中，当推导出测试用例的预期执行结果为合法状态时，自动化测试平台确定该测试用例对应的校验规则集合中包括用于描述合法预期执行结果的预设校验规则；当推导出测试用例的预期执行结果为非法状态时，自动化测试平台确定该测试用例对应的校验规则集合中包括用于描述非法预期执行结果的预设校验规则。

比如，如图3E所示，预设校验规则被划分为合法输入情况下的校验规则集合以及非法输入情况下的校验规则集合，分别对应输入参数取值状态均为合法状态的测试用例(Input 1至Input N均为Y)以及输入参数取值状态包括非法状态的测试用例(Input 1至Input N中存在N)。

步骤306，获取待测试功能点执行各个测试用例后输出的实际执行结果。

经过上述步骤301至305，自动化测试平台自动生成完整覆盖待测试功能点的测试用例，并确定各个测试用例各自对应的校验规则集合。

进一步的，自动化测试平台根据待测试功能点的业务逻辑，控制待测试功能点执行各个测试用例，并收集各个测试用例对应的实际执行结果，以便后续利用校验规则集合对该实际执行结果进行校验。

在一种可能的实施方式中，待测试功能点执行测试用例后输出统一格式的实际执行结果，由自动化测试平台将测试用例与实际执行结果进行关联存储。

步骤307，获取测试用例对应的校验规则集合。

得到各个测试用例对应的实际执行结果后，自动化测试平台获取上述步骤305推导出的各个测试用例对应的校验规则集合，从而利用该校验测试集合检测测试用例的实际执行结果与预期执行结果是否一致。

步骤308，检测校验规则集合中各条预设校验规则是否均与实际执行结果相匹配。

由于校验规则集合中各条预设校验规则用于描述对应测试用例的预期执行结果，因此，自动化测试平台获取测试用例对应校验规则集合中各条校验规则，并检测测试用例的实际执行结果与各条校验规则是否匹配，以此确定测试用例的实际执行结果与预期校验结果是否一致。在一种可能的实施方式中，本步骤包括如下步骤。

一、对于校验规则集合中的任一条预设校验规则，检测实际执行结果中是否包含预设校验规则所描述的关键词，关键词包含在预期执行结果中。

可选的，校验规则集合中的预设校验规则用于描述预期执行结果中包含的关键词，自动化测试平台获取到测试用例的实际执行结果后，即检测该实际执行结果中是否包含预设校验规则所描述的关键词。

比如，待测试功能点执行测试用例后输出的实际执行结果包含在json串中，且该json串采用如下格式：{code:0/1,message:“…”,info:“successs/fail”}。自动化测试平台在检测实际执行结果与预设校验规则是否匹配时，即检测实际执行结果对应json串中，code，message以及info中是否包含预设校验规则所描述的关键词。例如，检测code中是否包含“0”，检测info中是否包含关键词“success”。

需要说明的是，在其他可能的实施方式中，预设校验规则也可以采用正则表达式等表现形式，相应的，自动化测试平台采用检测实际执行结果是否符合预设校验规则所指示的正则表达式的方式，确定实际执行结果与预设校验规则是否匹配，本发明实施例并不对此进行限定。

二、若实际执行结果中包含预设校验规则所描述的关键词，则确定实际执行结果与预设校验规则匹配。

当检测到实际执行结果中包含预设校验规则所描述的关键词时，自动化测试平台确定实际执行结果与预设校验规则匹配，并进一步根据其余校验规则对实际执行结果进行检测；当检测到实际执行结果中不包含预设校验规则所描述的关键词时，自动化测试平台确定该实际执行结果与校验规则不匹配。

步骤309，若检测到校验规则集合中各条预设校验规则均与实际执行结果相匹配，则确定测试用例通过测试。

当检测到实际执行结果与校验规则集合中包含的各条预设校验规则均匹配时，表明该测试用例的实际执行结果与预期测试结果一致，即待测试功能点正常执行该测试用例，自动化测试平台确定该测试用例通过测试。

步骤310，若检测到校验规则集合中包含与实际执行结果不匹配的预设校验规则，则确定测试用例未通过测试。。

当检测到实际执行结果与校验规则集合中某条预设校验规则不匹配时，，表明该测试用例的实际执行结果与预期执行结果不一致，即待测试功能点执行该测试用例存在异常，自动化测试平台确定该测试用例未通过测试。

可选的，开发人员对该待测试功能点的缺陷进行修复后，自动化测试平台控制待测试功能点重新执行之前未通过测试的测试用例，并检测实际执行结果是否符合预期执行结果，以此来确定缺陷是否完全修复。

本实施例中，自动化测试平台自动根据输入参数的合法输入值域，确定输入参数的等价类以及相应的边界值，并基于等价类和边界值确定输入参数的测试值域，进而根据各个输入参数各自对应的测试值域排列组合生成值域组合，确保根据值域组合生成的测试用例能够覆盖合法输入以及非法输入的情况，提高了测试用例的全面性。

本实施例中，自动化测试平台在测试用例对应预期执行结果不确定的情况下，利用校验规则集合中描述预期执行结果中关键词的预设校验规则对实际执行结果进行校验，从而确定测试用例的实际执行结果与预期执行结果是否一致，实现了在不确定预期情况下的完备性校验。

需要说明的是，开发人员通过构建相应的开发测试模型即可实现上述自动测试方法，本实施例在此不再赘述。

待测试功能点执行测试用例的同时，自动化测试平台实时监控待测试功能点所处系统环境的系统资源占用率，从而及时发现系统环境存在的异常。在一种可能的实施方式中，如图3F所示，执行上述步骤306的同时，该方法还包括如下步骤。

步骤311，获取待测试功能点执行测试用例时的系统资源占用率，系统资源占用率包括CPU占用率、网络带宽占用率和内存占用率中的至少一种。

待测试功能点执行测试用例时，自动化测试平台实时获取待测试功能点所处系统环境的CPU占用率、网络带宽占用率和内存占用率中的至少一种。

比如，自动化测试平台获取到系统环境的CPU占用率为30％，网络带宽占用率为60％，内存占用率为30％。

步骤312，检测系统资源占用率是否符合预设条件，预设条件包括CPU占用率小于第一阈值、网络带宽占用率小于第二阈值和内存占用率小于第三阈值中的至少一种。

自动化测试平台中预先设置有各项系统资源对应的占用率阈值，当获取到系统环境的实时系统资源占用率时，自动化测试平台即检测实时系统资源占用率是否超过对应的占用率阈值，并在检测到实时系统资源占用率超过对应的占用率阈值时，确定执行测试用例时存在异常，并执行下述步骤313。

在一种可能的实施方式中，自动化测试平台设置三项预设条件，分别为CPU占用率小于第一阈值，网络带宽占用率小于第二阈值，内存占用率小于第三阈值，其中，该第一阈值、第二阈值和第三阈值由开发人员根据待测试功能点的功能复杂度进行设定，待测试功能点的功能复杂度越高，上述阈值越大，待测试功能点的功能复杂度越低，上述阈值越小。当检测到实时系统资源占用率同时符合上述三项预设条件时，自动化测试平台确定系统环境正常。比如，第一阈值为50％，第二阈值为60％，第三阈值为80％。

步骤313，若系统资源占用率不符合预设条件，则生成预设提醒信息，预设提醒信息用于指示测试用例执行异常。

在一种可能的实施方式中，当检测到CPU占用率大于第一阈值，和/或，网络带宽占用率大于第二阈值，和/或，内存占用率大于第三阈值时，自动化测试平台确定待测试功能点执行测试用例时出现异常，生成并显示相应的提醒信息，指示开发人员停止测试，从而避免测试用例执行异常对系统环境造成影响。

本实施例中，自动化测试平台通过监控待测试功能点所处系统环境的系统资源占用情况，能够及时发现并处理待测试功能点执行测试用例时产生的CPU占用率过高、网络带宽占用过高以及内存泄露等异常，从而确保系统环境的安全稳定。

在实际实施过程中，如图3G所示，自动化测试平台获取开发人员录入的输入对象描述信息31和预设校验规则32后，根据测试用例生成算法和输入对象描述信息31生成若干测试用例33，并根据推导规则和预设校验规则32生成各个测试用例33各自对应的校验规则集合34；生成测试用例33及校验规则集合34后，自动化测试平台根据驱动35所指示的业务逻辑，指示待测试功能点36执行各个测试用例33，并收集各个测试用例33对应的实际执行结果37；与此同时，自动化测试平台实时获取系统环境的系统资源占用率38。对于收集到的实际执行结果37，自动化测试平台利用校验规则集合34对其进行校验，从而确定各个测试用例各自的测试结果39，并测试结果39进行展示；对于实时获取到的系统资源占用率38，自动化测试平台根据预设的系统资源占用率阈值确定当前系统环境是否正常，确保系统环境安全稳定。整个自动测试过程中，开发人员只需要对输入对象以及校验规则进行描述，无需手动构建测试用例和自动化测试脚本，极大地提高了软件测试的效率。

下述为本发明装置实施例，对于装置实施例中未详尽描述的细节，可以参考上述一一对应的方法实施例。

请参考图4，其示出了本发明一个实施例提供的自动测试装置的结构方框图。该自动测试装置通过硬件或者软硬件的结合实现成为自动化测试平台的全部或者一部分。该自动测试装置包括：第一获取模块410、构建模块420、第二获取模块430和校验模块440；

第一获取模块410，用于实现上述步骤201或301的功能；

构建模块420，用于实现上述步骤202的功能；

第二获取模块430，用于实现上述步骤203或306的功能；

校验模块440，用于实现上述步骤204的功能。

可选的，输入对象为输入参数，且合法输入条件为输入对象的合法输入值域，构建模块420，包括：第一确定单元、组合单元和构建单元；

第一确定单元，用于实现上述步骤302的功能；

组合单元，用于实现上述步骤303的功能；

构建单元，用于实现上述步骤304的功能。

可选的，第一确定单元，还用于实现上述步骤302A至302C的功能。

可选的，校验模块440，包括：第二确定单元、检测单元、第三确定单元和第四确定单元；

第二确定单元，用于实现上述步骤305的功能；

检测单元，用于实现上述步骤308的功能；

第三确定单元，用于实现上述步骤309的功能；

第四确定单元，用于实现上述步骤310的功能。

可选的，第二确定单元，还用于实现上述步骤305A至305C的步骤。

可选的，检测单元，还用于：

对于校验规则集合中任一条校验规则，检测实际执行结果中是否包含预设校验规则所描述的关键词，关键词包含在预期执行结果中；

若实际执行结果中包含预设校验规则所描述的关键词，则确定实际执行结果与设校验规则匹配。

可选的，该装置，还包括：第三获取模块、检测模块和生成模块；

第三获取模块，用于实现上述步骤311的功能；

检测模块，用于实现上述步骤312的功能；

生成模块，用于实现上述步骤313的功能。

请参考图5，其示出了本发明一个实施例提供的服务器的结构方框图。该服务器500实现为自动化测试平台。具体来讲：

服务器500包括中央处理单元(CPU)501、包括随机存取存储器(RAM)502和只读存储器(ROM)503的系统存储器504，以及连接系统存储器504和中央处理单元501的系统总线505。所述服务器500还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)506，和用于存储操作系统513、应用程序514和其他程序模块515的大容量存储设备507。

所述基本输入/输出系统506包括有用于显示信息的显示器508和用于用户输入信息的诸如鼠标、键盘之类的输入设备509。其中所述显示器508和输入设备509都通过连接到系统总线505的输入输出控制器510连接到中央处理单元501。所述基本输入/输出系统506还可以包括输入输出控制器510以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器510还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备507通过连接到系统总线505的大容量存储控制器(未示出)连接到中央处理单元501。所述大容量存储设备507及其相关联的计算机可读介质为服务器500提供非易失性存储。也就是说，所述大容量存储设备507可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备507可以统称为存储器。

根据本发明的各种实施例，所述服务器500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器500可以通过连接在所述系统总线505上的网络接口单元511连接到网络512，或者说，也可以使用网络接口单元511来连接到其他类型的网络或远程计算机系统(未示出)。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，所述一个或者一个以上程序包含用于进行本发明实施例提供的自动测试方法的指令。

本领域普通技术人员可以理解上述实施例的自动测试方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，RandomAccess Memory)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种自动测试方法，其特征在于，所述方法包括：

获取待测试功能点的输入对象描述信息和至少一条预设校验规则，所述输入对象描述信息用于指示各个输入对象各自对应的合法输入条件，所述预设校验规则用于描述预期执行结果中包含的关键词，或所述预设校验规则用于描述所述预期执行结果所指示的正则表达式；

当所述输入对象为输入参数，且所述合法输入条件为所述输入参数的合法输入值域时，对于任一所述输入参数，根据所述输入参数的所述合法输入值域确定所述输入参数对应的至少一个等价类，所述等价类包括有效等价类和无效等价类，所述等价类是基于输入参数值域的划分方式得到的，其中，所述有效等价类对应的值域为所述合法输入值域的子集，所述无效等价类对应的值域为所述合法输入值域的补集；

确定各个所述等价类对应的值域的边界值；

将各个所述等价类对应的值域和所述边界值确定为所述输入参数对应的测试值域，各个所述测试值域之间不存在交集；

对各个所述输入参数对应的所述测试值域进行排列组合，生成至少一个值域组合，其中，每个所述值域组合中包含各个所述输入参数对应的一个所述测试值域，且各个所述值域组合互不相同；

根据所述值域组合构建对应的测试用例；

获取所述待测试功能点执行各个所述测试用例后输出的实际执行结果；

根据所述预设校验规则对所述实际执行结果进行校验，得到各个所述测试用例各自对应的测试结果；

获取所述待测试功能点执行所述测试用例时的系统资源占用率，所述系统资源占用率包括中央处理器CPU占用率、网络带宽占用率和内存占用率中的至少一种；

检测所述系统资源占用率是否符合预设条件，所述预设条件包括所述CPU占用率小于第一阈值、所述网络带宽占用率小于第二阈值和所述内存占用率小于第三阈值中的至少一种，所述第一阈值、所述第二阈值和所述第三阈值与所述待测试功能点的复杂度相关；

若所述系统资源占用率不符合所述预设条件，则生成预设提醒信息，所述预设提醒信息用于指示所述测试用例执行异常。

2.根据权利要求1所述的方法，其特征在于，所述根据所述预设校验规则对所述实际执行结果进行校验，得到各个所述测试用例各自对应的测试结果，包括：

确定各个所述测试用例各自对应的校验规则集合，所述校验规则集合中包括至少一条所述预设校验规则；

检测所述校验规则集合中各条所述预设校验规则是否均与所述实际执行结果相匹配；

若检测到所述校验规则集合中各条所述预设校验规则均与所述实际执行结果相匹配，则确定所述测试用例通过测试；

若检测到所述校验规则集合中包含与所述实际执行结果不匹配的所述预设校验规则，则确定所述测试用例未通过测试。

3.根据权利要求2所述的方法，其特征在于，所述确定各个所述测试用例各自对应的校验规则集合，包括：

获取所述测试用例中各个所述输入对象的输入状态，所述输入状态包括合法状态和非法状态；

根据预设推导规则对各个所述输入参数的所述输入状态进行逻辑与运算，推导出所述测试用例对应的预期执行结果；

根据所述预期执行结果和所述预设校验规则确定所述测试用例对应的所述校验规则集合，所述校验规则集合中的所述预设校验规则用于校验所述测试用例的实际执行结果与所述预期执行结果是否一致；

其中，所述合法状态下，所述输入对象符合所述合法输入条件；所述非法状态下，所述输入对象不符合所述合法输入条件。

4.根据权利要求3所述的方法，其特征在于，所述检测所述校验规则集合中各条所述预设校验规则是否均与所述实际执行结果相匹配，包括：

对于所述校验规则集合中任一条所述预设校验规则，检测所述实际执行结果中是否包含所述预设校验规则所描述的关键词，所述关键词包含在所述预期执行结果中；

若所述实际执行结果中包含所述预设校验规则所描述的所述关键词，则确定所述实际执行结果与所述预设校验规则匹配。

5.一种自动测试装置，其特征在于，所述装置包括：

第一获取模块，用于获取待测试功能点的输入对象描述信息和至少一条预设校验规则，所述输入对象描述信息用于指示各个输入对象各自对应的合法输入条件，所述预设校验规则用于描述预期执行结果中包含的关键词，或所述预设校验规则用于描述所述预期执行结果所指示的正则表达式；

第一确定单元，用于当所述输入对象为输入参数，且所述合法输入条件为所述输入参数的合法输入值域时，对于任一所述输入参数，根据所述输入参数的所述合法输入值域确定所述输入参数对应的至少一个等价类，所述等价类包括有效等价类和无效等价类，所述等价类是基于输入参数值域的划分方式得到的，其中，所述有效等价类对应的值域为所述合法输入值域的子集，所述无效等价类对应的值域为所述合法输入值域的补集；确定各个所述等价类对应的值域的边界值；将各个所述等价类对应的值域和所述边界值确定为所述输入参数对应的测试值域；

组合单元，用于对各个所述输入参数对应的所述测试值域进行排列组合，生成至少一个值域组合，其中，每个所述值域组合中包含各个所述输入参数对应的一个所述测试值域，且各个所述值域组合互不相同；

构建单元，用于根据所述值域组合构建对应的测试用例；

第二获取模块，用于获取所述待测试功能点执行各个所述测试用例后输出的实际执行结果；

校验模块，用于根据所述预设校验规则对所述实际执行结果进行校验，得到各个所述测试用例各自对应的测试结果；

第三获取模块，用于获取所述待测试功能点执行所述测试用例时的系统资源占用率，所述系统资源占用率包括中央处理器CPU占用率、网络带宽占用率和内存占用率中的至少一种；

检测模块，用于检测所述系统资源占用率是否符合预设条件，所述预设条件包括所述CPU占用率小于第一阈值、所述网络带宽占用率小于第二阈值和所述内存占用率小于第三阈值中的至少一种，所述第一阈值、所述第二阈值和所述第三阈值与所述待测试功能点的复杂度相关；

生成模块，用于当所述系统资源占用率不符合所述预设条件时，生成预设提醒信息，所述预设提醒信息用于指示所述测试用例执行异常。

6.根据权利要求5所述的装置，其特征在于，所述校验模块，包括：

第二确定单元，用于确定各个所述测试用例各自对应的校验规则集合，所述校验规则集合中包括至少一条所述预设校验规则；

检测单元，用于检测所述校验规则集合中各条所述预设校验规则是否均与所述实际执行结果相匹配；

第三确定单元，用于当检测到所述校验规则集合中各条所述预设校验规则均与所述实际执行结果相匹配时，确定所述测试用例通过测试；

第四确定单元，用于当检测到所述校验规则集合中包含与所述实际执行结果不匹配的所述预设校验规则时，确定所述测试用例未通过测试。

7.根据权利要求6所述的装置，其特征在于，所述第二确定单元，用于：

获取所述测试用例中各个所述输入对象的输入状态，所述输入状态包括合法状态和非法状态；

根据预设推导规则对各个所述输入参数的所述输入状态进行逻辑与运算，推导出所述测试用例对应的预期执行结果；

根据所述预期执行结果和所述预设校验规则确定所述测试用例对应的所述校验规则集合，所述校验规则集合中的所述预设校验规则用于校验所述测试用例的实际执行结果与所述预期执行结果是否一致；

其中，所述合法状态下，所述输入对象符合所述合法输入条件；所述非法状态下，所述输入对象不符合所述合法输入条件。

8.根据权利要求7所述的装置，其特征在于，所述检测单元，还用于：

对于所述校验规则集合中任一条所述校验规则，检测所述实际执行结果中是否包含所述预设校验规则所描述的关键词，所述关键词包含在所述预期执行结果中；

若所述实际执行结果中包含所述预设校验规则所描述的所述关键词，则确定所述实际执行结果与所述预设校验规则匹配。

9.一种计算机服务器，所述计算机服务器包括：中央处理单元、系统存储器和系统总线，所述系统存储器中存储有一个或者一个以上的程序，所述一个或者一个以上的程序包含有至少一条指令，当所述至少一条指令被执行时，使得所述计算机服务器实现如权利要求1至4任一项所述的自动测试方法。

10.一种计算机存储介质，其特征在于，所述存储介质中包含计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机实现如权利要求1至4任一项所述的自动测试方法。

Images