CN112732573A - 测试用例获取方法、装置、系统、及介质 - Google Patents

Abstract

本公开提供了一种测试用例获取方法、装置、系统及介质，属于信息安全技术领域。所述方法包括：获取N个第一测试用例，从N个所述第一测试用例拆解出M个基础元素，基于M个所述基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的所述第二测试用例具有相同的根元素；以及针对一组所述第二测试用例，在该组内的根案例测试有效的情况下，对该组内的其他所述第二测试用例进行测试，以筛选出有效的测试用例；其中，所述根案例是由该组所述第二测试用例的根元素组成的测试用例。

Description

测试用例获取方法、装置、系统、及介质

技术领域

本公开属于信息安全技术领域，更具体地，涉及一种测试用例获取方法、装置、系统、及介质。

背景技术

随着软件产品快速迭代、快速交付需求的增加，自动化测试相较传统手工测试具有充分利用系统资源，大幅提高测试效率的优势愈发明显，成为众多软件服务提供者必采用的测试方法。而自动化测试工具的核心之一便是测试用例的生成与选择，如何在保证测试覆盖率的情况下，提高测试效率，成为各自动化测试工具密切关注的重点问题。

发明内容

有鉴于此，本公开实施例提供了一种基于遗传算法自动生成测试用例、且可以自动化优选测试用例的测试用例获取方法、装置、系统、及介质。

本公开实施例的一个方面提供了一种测试用例获取方法。所述方法包括：获取N个第一测试用例，其中，N为大于等于1的整数；从N个所述第一测试用例拆解出M个基础元素，其中，M为大于等于N的整数；基于M个所述基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的所述第二测试用例具有相同的根元素；以及针对一组所述第二测试用例，在该组内的根案例测试有效的情况下，对该组内的其他所述第二测试用例进行测试，以筛选出有效的测试用例；其中，所述根案例是由该组所述第二测试用例的根元素组成的测试用例。

根据本公开的实施例，所述方法还包括针对一组所述第二测试用例，在该组内的所述根案例测试失败的情况下，过滤掉该组所述第二测试用例。

根据本公开的实施例，所述基于M个所述基础元素，应用遗传算法得到至少一组第二测试用例包括：对M个所述基础元素进行编码，其中，将作为一组所述第二测试用例的根元素的基础元素编码为特定符号；基于对根元素以及其他M-1个所述基础元素的编码，应用遗传算法进行演化得到一组第三测试用例；以及基于对一个组内的所述第三测试用例的适应度评价，筛选出一组所述第二测试用例。

根据本公开的实施例，所述对M个所述基础元素进行编码包括，采用符号编码法对M个所述基础元素进行编码。

根据本公开的实施例，所述基于对一个组内的所述第三测试用例的适应度评价，筛选出一组所述第二测试用例包括：基于适应度函数F(S[A])＝T(S[A])/MAX(similar(S[A]，S[x]))，得到每个所述第三测试用例的评价值；以及从一组所述第三测试用例中筛选出评价值大于或等于预定阈值的测试用例，以得到一组所述第二测试用例。其中，S[A]表示一个所述第三测试用例；S[x])表示S[A]以外的一个所述第三测试用例；T(S[A])表示S[A]在靶机测试中的成功和失败的综合评分；MAX(similar(S[A]，S[x]))表示S[A]与同组内其他所述第三测试用例的相似度的最大值。

根据本公开的实施例，所述方法还包括设置至少一个所述根案例，其中，至少一个所述根案例与至少一组所述第二测试用例一一对应。

根据本公开的实施例，所述设置每组所述第二测试用例的根案例包括，在所述方法用于生成结构化查询语言SQL注入的测试用例时，至少设置第一字符组合作为一个所述根案例，其中，所述第一字符组合用于闭合其之前的正常查询语句，以使其后的非查询语句得以执行，所述第一字符组合包括一个或多个字符。

根据本公开的实施例，所述设置至少一个所述根案例包括，在所述方法用于生成跨站脚本攻击的测试用例时，至少设置第二字符组合作为一个所述根案例，其中，所述第二字符组合用于标识恶意指令代码的起始位置，所述第二字符组合包括一个或多个字符。

本公开实施例的另一方面，提供了一种测试用例获取装置。所述装置包括获取模块、拆解模块、案例生成模块以及案例优选模块。获取模块用于获取N个第一测试用例，其中，N为大于等于1的整数。拆解模块用于从N个所述第一测试用例拆解出M个基础元素，其中，M为大于等于N的整数。案例生成模块用于基于M个所述基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的所述第二测试用例具有相同的根元素。案例优选模块用于针对一组所述第二测试用例，在该组内的根案例测试有效的情况下，对该组内的其他所述第二测试用例进行测试，以筛选出有效的测试用例；其中，所述根案例是由该组所述第二测试用例的根元素组成的测试用例。

根据本公开的实施例，所述案例优选模块还用于针对一组所述第二测试用例，在该组内的所述根案例测试失败的情况下，过滤掉该组所述第二测试用例。

根据本公开的实施例，所述方法还包括根案例设置模块。所述根案例设置模块用于设置至少一个所述根案例，其中，至少一个所述根案例与至少一组所述第二测试用例一一对应。

本公开实施例的另一方面提供了一种测试用例获取系统。所述测试用例获取系统包括一个或多个存储器、以及一个或多个处理器。所述存储器存储有可执行指令。所述处理器执行所述可执行指令以实现如上所述的方法。

本公开实施例的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

本公开实施例的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。

上述一个或多个实施例具有如下优点或益效果：可以在基于遗传算法生成测试用例时按照根案例的不同分组生成不同组测试用例。从而在对被测应用进行测试时，可以通过实时观察被测应用对每一组测试用例中的根案例的响应情况，选择是否继续测试该组测试用例。在既保证测试效果的同时又能提高测试效率，减少无用的测试用例的发送，可以快速筛选出有效的测试用例。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的测试用例获取方法的流程图；

图2示意性示出了根据本公开实施例的应用遗传算法得到至少一组第二测试用例的流程图；

图3示意性示出了根据本公开实施例的测试用例获取装置的框图；

图4示意性示出了应用根据本公开另一实施例的测试用例获取方法和装置的系统架构；

图5示意性示出了图4所示的实施例中的测试用例准备子系统结构图；

图6示意性示出了图4所示的实施例中的测试用例优选子系统结构图；

图7示意性示出了图4所示的实施例中的测试用例准备子系统的工作流程图；

图8示意性示出了图4所示的实施例中的测试用例优选子系统的工作流程图；以及

图9示意性示出了适于实现根据本公开实施例的测试用例获取方法的计算机系统的方框图。

具体实施方式

以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。需要说明的是，说明书以及附图中的任何元素数量均用于示例而非限制，以及任何命名(例如，第一、第二)都仅用于区分，而不具有任何限制含义。

在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。

本公开的实施例提供了一种基于遗传算法自动生成测试用例、且可以自动化优选测试用例的测试用例获取方法、装置、系统、及介质，该方法包括首先获取N个第一测试用例。然后从N个第一测试用例拆解出M个基础元素。接着基于M个基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的第二测试用例具有相同的根元素。接下来针对一组第二测试用例，在该组内的由根元素组成的根案例测试有效的情况下，对该组内的其他第二测试用例进行测试，以筛选出有效的测试用例。

根据本公开的实施例，在基于遗传算法生成测试用例时按照根案例(或根元素)的不同分组生成不同组测试用例。从而在对被测应用进行测试时，可以通过实时观察被测应用对每一组测试用例中的根案例的响应情况，选择是否继续测试该组测试用例。在既保证测试效果的同时又能提高测试效率，减少无用的测试用例的发送，可以快速筛选出有效的测试用例。

需要说明的是，本公开实施例所确定的测试用例获取方法、装置、系统、及介质可用于金融领域(例如对软件的安全测试等方面)，也可用于除金融领域之外的任意领域，本公开对此不做限定。

图1示意性示出了根据本公开实施例的测试用例获取方法的流程图。

如图1所示，该方法可以包括操作S110～操作S130、以及操作S140A和操作S140B。

首先在操作S110，获取N个第一测试用例，其中，N为大于等于1的整数。在本公开中，第一测试用例指从网络或历史数据库等处获取到的初始的测试用例。例如，可以基于网络爬虫或其他手段从网络上搜集大量原始的测试用例，作为第一测试用例。

当针对结构化查询语言SQL注入进行测试时，可以从网络上爬取各类SQL注入的语句代码，作为第一测试用例。又或者当针对XSS(Cross Site Scripting)跨站脚本攻击进行测试时，可以从网络、或者应用历史记录中爬取各类XSS攻击的语句代码。针对其他类型的攻击进行测试时类似，此处不再赘述。

然后在操作S120，从N个第一测试用例拆解出M个基础元素，其中，M为大于等于N的整数。一个基础元素例如可以是测试用例的语句代码中具有独立意义的语句单元。例如，在拆解过程中可以根据第一测试用例的语义属性，将具有最小独立语义功能的元素拆解为一个基础元素。例如，对于SQL注入的测试用例，拆解出的基础元素组成的集合例如可以是{′、order by、union select、and、1＝1、1＝2....or}，其中一个基础元素可以具有SQL语句中的独立语义。

接下来在操作S130，基于M个基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的第二测试用例具有相同的根元素。根据本公开一实施例，一组第二测试用例中的根元素相可以相应地组成为该组中的根案例，即根案例可以为根元素本身。

本公开中第二测试用例是指基于遗传算法演化并初选后得到的测试用例。在本公开实施例中，第二测试用例会按照根案例或者根元素分成不同的组，在后续处理中会分组处理每个组中的第二测试用例。

根据本公开一实施例，在操作S130中由于应用遗传算法生成第二测试用例时会根据根元素或根案例分成不同的组，因此在一个实施例中可以在应用遗传算法生成各组第二测试用例之前，先针对每一个组设置一个根案例。

具体地，可以在操作S130之前先设置至少一个根案例，其中，至少一个根案例与至少一组第二测试用例一一对应。例如，将本公开实施例的方法应用于应用软件的安全测试时，可以根据收集到或者统计到的某一种类型的攻击语句中常见的开头字符或语句，设置一些常见的根案例。根案例的个数，决定了操作S130中生成的第二测试用例的分组数的分组情况，即一个根案例对应一组第二测试用例。

根据本公开一实施例，在本公开实施例的方法用于获取结构化查询语言SQL注入的测试用例时，至少设置第一字符组合作为一个所述根案例，其中，所述第一字符组合用于闭合其之前的正常查询语句，以使其后的非查询语句得以执行，所述第一字符组合包括一个或多个字符。例如，在进行SQL查询时，将以该第一字符组合作为开头的SQL查询语句从前端输入，对SQL数据库进行数据查询；或者也可以在该第一字符组合之前附带上用户正常的查询条件，在服务器后端进行数据查询。其中，SQL数据库如果存在漏洞时就会闭合掉该第一字符组合之前的正常查询语句(例如，返回空值)，转而执行该第一字符组合之后的非法的查询语句。

该第一字符组合的内容根据程序设置而定。在一些实施例中，该第一字符组合可以是′，其中，′为一个字符。在SQL注入攻击的代码中，以字符′开头的语句属于比较常见的一种。从而，可以以字符′作为根元素，演化得到一组第二测试用例。该组第二测试用例中的每个测试用例均是以′为开头。在另一些实施例中，该第一字符组合可以是″、或者″′、或者unnion select等。

根据本公开另一实施例，在本公开实施例的方法用于生成XSS跨站脚本攻击的测试用例时，至少设置第二字符组合作为一个所述根案例，其中，所述第二字符组合用于标识恶意指令代码的起始位置，所述第二字符组合包括一个或多个字符。

XSS跨站脚本攻击利用网页开发的漏洞诸如恶意指令代码。该恶意指令代码例如可以是javascript语句、java语句、VBscript语句、ActiveX语句或者Flash语句等。不同类型的语言代码的恶意指令代码对应的起始字符组合可能不同。

例如，当该恶意指令代码是javascript语句时，以字符<开头的语句属于比较常见的一种。从而，可以以字符<作为根元素，演化得到一组第二测试用例。其中，该组第二测试用例中的每个测试用例均是以<为开头。在另一些实施例中，当该恶意指令代码是javascript语句时，也可以是以字符组合</开头。

接下来，进行测试优选时在操作S140A，针对一组第二测试用例，在该组内的根案例测试有效的情况下，对该组内的其他第二测试用例进行测试，以筛选出有效的测试用例。其中，根案例是由该组第二测试用例的根元素组成的测试用例。

进一步地还可在操作S140B，针对一组第二测试用例，在该组内的根案例测试失败的情况下，过滤掉该组第二测试用例。

具体地，在操作S140A和操作S140B中可以将通过遗传算法生成的第二测试用例组分组发送给被测应用，在被测应用投入生产或上线之前、或维护检测的过程中进行测试，以优选出有效的测试用例，同时也可以检测被测应用的性能，为被测应用的开发或维护提供参考。

根据本公开实施例，每组第二测试用例中包含一个根案例，只有根案例被被测应用被验证为有效，才进行该组第二测试用例中其他测试用例的测试。

以XSS攻击测试为例：XSS漏洞允许恶意攻击者往Web页面里插入恶意脚本代码，当用户浏览该页面之时，嵌入其中Web页面里的脚本代码会被执行，从而达到恶意攻击用户的目的。本公开实施例中，对一组第二测试用例(例如，根案例为<))进行测试时，首先判断被测应用是否对“<”字符进行了控制，如果没有则继续判断该组内的其他第二测试用例。如果根案例“<”测试不通过，则该组第二测试用例全部剔除，不再进行测试。

在一个实施例中，一组第二测试用例可以形成以根案例为根节点的树形结构，从而可以在根案例测试有效的情况下，继续测试以根案例为根节点的其他分支中的测试用例。若一个分支中的节点的测试结果也为通过，则提取以该节点为根的全部测试用例进行测试。反之，若一个分支中的根节点测试不通过，则该分支下的所有测试用例也可以全部剔除，不再进行测试。

通过上述方案，在测试过程中，可以实时观察被测应用对特定测试用例的响应情况，动态筛选测试用例，在既保证测试效果的同时又能提高测试效率，减少无用的测试用例的发送，从而快速筛选出有效的测试用例。

根据本公开的实施例，通过对测试用例的生成和筛选，能够在有效保证自动化安全测试工具覆盖度的同时减少无用测试用例的发送，进而大幅提高自动化安全测试效率，更好地适应软件快速迭代交付场景中自动化安全测试需求

图2示意性示出了根据本公开实施例的应用遗传算法得到至少一组第二测试用例的流程图。

如图2所示，根据本公开一实施例操作S130可以包括操作S231～操作S233。

首先在操作S231，对M个基础元素进行编码，其中，将作为一组第二测试用例的根元素的基础元素编码为特定符号。

然后在操作S232，基于对根元素以及其他M-1个基础元素的编码，应用遗传算法进行演化得到一组第三测试用例。在本公开中第三测试用例是指通过遗传算法演化(例如，交叉或变异)直接得到的测试用例。其中，将每一组第三测试用例基于适应度评价进行优选后，对应得到一组第二测试用例。

在一个实施例中，考虑到测试用例的语义属性，可以采用符号编码法对M个基础元素进行编码。符号编码法是指个体染色体编码串中的基因值取自一个无数值含义、而只有代码含义的符号集如{A，B，C…}。在进行编码时，可以对每个作为根案例或根元素的基础元素编码为特定符号(例如，通用编码为S)。

以SQL注入中的基础元素集合{′、order by、union select、and、1＝1、1＝2....or}为例。在一个实施例中，当设置′作为一个根案例时，可以根据符号编码法对该基础元素集合如表1所示进行编码。

表1

编码	基础元素
		S	′
A	and
		B	Union select
C	Order by
		D	or
......	......
		N	1＝1
......	......
		Z	from
......	......

此后，可以基于表1的编码进行测试用例的交叉与变异，得到一组第三测试用例，例如，如表2所示。其中，表2中一个编码组合对应一个第三测试用例。该组第三测试用例中根元素的编码均为S。

需要说明的是，对于SQL注入的基础元素集合{′、order by、union select、and、1＝1、1＝2....or}进行编码是，若设置其他基础元素(例如，1＝1)作为另一个根案例(或根元素)时，可以相应得到与表1不同的另一个编码表。该两个编码表中除了与根案例(或根元素)相关的基础元素的编码有区别外，其他基础元素的编码可以相同，也可以不相同。相应地，可以得到与表2不同的另一组第三测试用例。

表2

编码组合	第三测试用例
		S	’
S-A	’and
		S-A-N	’and 1＝1
S-A-N-B	’and 1＝1 union select
		S-B	’union select
S-C	’order by
		......	......

在操作S233，基于对一个组内的第三测试用例的适应度评价，筛选出一组第二测试用例。

在一个实施例中，可以基于适应度函数得到每个第三测试用例的评价值，然后从一组第三测试用例中筛选出评价值大于或等于预定阈值的测试用例，以得到一组第二测试用例。

在一个实施例中，适应度函数例如可以是：

F(S[A])＝T(S[A])/MAX(similar(S[A]，S[x]))

其中：

S[A]表示一个第三测试用例；

S[x])表示S[A]以外的一个第三测试用例；

T(S[A])表示S[A]在靶机测试中的成功和失败的综合评分。例如，在一个实施例中，T(S[A])可以是S[A]在靶机测试中的执行成功率。在另一个实施例中，T(S[A])可以是S[A]在靶机测试中执行成功一次累加1分、反之失败则不进行累加，最终得到的累加分数。

MAX(similar(S[A]，S[x]))表示S[A]与同组内其他第三测试用例的相似度的最大值。在一个实施例中，S[A]与同组内其他第三测试用例的相似度可以是S[A]与同组内其他第三测试用例的编码组合的相似度。在一个实施例中，可以将两个测试用例的编码组合转换为向量，然后计算两个向量之间的余弦相似度。在另一个实施例中，可以计算两个测试用例的编码组合的重合度。

通过适应度函数F(S[A])可以筛选出合乎语法(即，在靶机测试中执行成功率高)、且与其他测试用例差异性相对明显的测试用例。

在一个实施例中，为了保证适应度评价无负值，还可以将F(S[A])送入ReLU函数进行映射等到最终的评价值。然后可以筛选出评价值大于或等于预定阈值的测试用例，得到可以在操作S140A或操作S140B中可以到被测应用中进一步测试优选的一组第二测试用例。

图3示意性示出了根据本公开实施例的测试用例获取装置的框图。

如图3所示，根据本公开实施例的测试用例获取装置300可以包括获取模块310、拆解模块320、案例生成模块330以及案例优选模块340。该装置300可以用于实现参考图1～图2所描述的方法。

获取模块310用于获取N个第一测试用例，其中，N为大于等于1的整数。

拆解模块320用于从N个第一测试用例拆解出M个基础元素，其中，M为大于等于N的整数。

案例生成模块330用于基于M个基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的第二测试用例具有相同的根元素。

案例优选模块340用于针对一组第二测试用例，在该组内的根案例测试有效的情况下，对该组内的其他第二测试用例进行测试，以筛选出有效的测试用例；其中，根案例是由该组第二测试用例的根元素组成的测试用例。

根据本公开另一实施例，案例优选模块340还用于针对一组第二测试用例，在该组内的根案例测试失败的情况下，过滤掉该组第二测试用例。

以下再结合图4～图8在安全测试领域的应用实例，对本公开实施例的方法和装置的具体应用进行更为详细的示例性描述。需要说明的是，图4～图8的示例仅用于帮助本领域技术人员更准确地理解本公开，并不对本公开构成任何限定。

图4示意性示出了应用根据本公开另一实施例的测试用例获取方法和装置的系统架构400。

如图4所示，该系统架构400可以包括测试用例准备子系统101、测试用例数据库102、以及测试用例优选子系统103三个部分。该系统架构400示意了在准备阶段生成测试用例的整体结构、以及在优选阶段接入实际测试网络中的被测应用105的方式。

在安全测试开始前，测试用例准备子系统101基于搜集到的基础测试用例进行编码演化，根据测试靶机104对测试用例的响应情况，采用遗传算法不断迭代优选测试用例，并将筛选出的测试用例存入测试用例数据库102。入库的测试用例依据功能和语义特征进行分组，每组测试用例中标记一条根案例，根案例具有该组测试用例的基本特征。

在安全测试过程中，测试用例优选子系统103按组提取测试用例数据库102中保存的测试用例，测试过程中实时观察每组测试用例案中根案例在被测应用105的实际响应情况，依据根案例的测试结果判断该组测试用例中其他测试用例是否需要继续测试，从而基于被测应用105的实际响应特征筛选出有效的测试用例。

图5示意性示出了图4所示的实施例中的测试用例准备子系统101结构图。

如图5所示，结合图4，测试用例准备子系统101可以包括基础案例库爬取模块201、案例编码模块202、案例演化模块203和案例评价模块204。测试用例准备子系统101可以通过搜集基础测试用例(即，上文的第一测试用例)，对基础测试用例进行编码演化，再基于遗传算法与适用度评价结果迭代筛选出攻击效果优良的测试用例入库，以便供后续在测试用例优选子系统103中自动化测试阶段使用。

基础案例库爬取模块201基于网络爬虫或其他手段，获取应用安全测试基础测试用例，并将搜集到的测试用例输入到案例编码模块202进行编码。

案例编码模块202负责对基础测试用例进行编码。考虑到应用安全测试用例的语义属性，采用符号编码法对基础测试案例进行编码，在一个实施例中，对SQL注入的基础测试用例编码情况如上表1所示。

案例编码模块202也可针对其他应用安全测试如上传、XSS攻击等，按照与SQL注入同等的方式，对对应的攻击方式的基础测试用例中进行编码。每一组编码案例中的初始种群中可以以S编码作为该组测试用例的根案例的编号。如一组XSS攻击测试用例的编码中，S编码为<，A编码为script>、B编码为alert(1)、C编码为</script>以此类推。若S-A-B-C编码序列组合可生成具有攻击效果的XSS攻击测试用例<script>alert(1)</script>。

基础测试用例经过案例编码模块202形成初始种群，将初始种群送入案例演化模块203进行测试用例染色体交叉与变异。

案例演化模块203负责根据案例编码模块202的编码结果进行测试用例的交叉与变异。交叉即两个染色体的某一相同位置处DNA被切断，前后两串分别交叉组合形成两个新的染色体，也称基因重组或杂交。变异即复制时可能(很小的概率)产生某些复制差错，变异产生新的染色体，表现出新的性状。表1所示的SQL注入的编码，经过交叉变异后的情况可以如上述表2所示。

案例评价模块204负责对案例演化模块203中生成的编码组合进行适应度评价和选择，以保留具有更好遗传基因的测试用例。适应度评价根据编码组合的相似度和该编码组合的成功执行率作为评价依据并使用relu函数进行映射，并根据轮盘赌选择判断该测试用例的编码组合是否遗传到下一代筛选中，即案例演化模块203送入案例评价模块204的案例经过一次评价后，根据评价结果采用轮盘赌选择判别将该测试用例送入测试用例数据库102，并决定是否保留该测试用例进行下一次的演化。

适应度函数F(S[A])＝T(S[A])/MAX(similar(S[A]，S[x]))，其中T(S[A])为测试用例S[A]在靶机104中测试成功、失败的综合评分。例如，若成功一次累加1，反之失败则不进行累加。MAX(similar(S[A]，S[x]))为测试用例S[A]与同组中其他测试用例S[x]的相似度的最大值。同时为保证适应度评价无负值，可以将F(S[A])送入ReLU函数进行映射等到最终的评价值。

图6示意性示出了图4所示的实施例中的测试用例优选子系统103结构图。

如图6所示，结合图4，测试用例优选子系统103可以包括案例组提取模块301、和案例组筛选模块302。案例组提取模块301从测试用例数据库102中提取测试用例准备子系统101存入的，已进行初步优化的测试用例组，然后以组为单位将测试用例发送给被测应用105。针对被测应用105的反馈结果，对每一组的测试用例进行实时动态筛选，进一步提高安全测试效率。

案例组提取模块301案例组提取模块301负责在安全测试过程中，按组提取案例库，并送入案例组筛选模块302。

案例组筛选模块302接收测试案例组提取模块301传入的一组测试用例，每组测试用例中包含一个根案例，只有根案例针对被测应用105被验证为有效，才进行该组中其他测试用例的测试。从而，在测试过程中，实时观察被测应用105对根案例的响应情况，动态筛选测试用例，在既保证测试效果的同时又能提高测试效率，减少无用的测试测试用例的发送。

图7示意性示出了图4所示的实施例中的测试用例准备子系统101的工作流程图。

如图7所示，测试用例准备子系统101基于遗传算法生成测试用例的过程可以包括步骤S701～步骤S706。

步骤S701：在测试开始前，基于网络爬虫或其他渠道，获取安全测试基础测试用例的初始样本；

步骤S702：对步骤S701搜集到的测试用例，基于测试用例功能和语义属性，对基础测试用例进行分组编码；

步骤S703：根据案例编码模块202的编码结果进行测试用例交叉与变异，生成新的测试用例样本；

步骤S704：将测试用例送入测试靶机，观察测试用例的表现情况；

步骤S705：以测试用例的编码组合的相似度和测试用例在靶机测试中的成功执行率作为评价依据，不断演化出新的测试用例，并对新的测试用例进行评价筛选。

步骤S706：将经过多次演化迭代后筛选出的优质测试用例按组别入库，供测试时使用。

图8示意性示出了图4所示的实施例中的测试用例优选子系统103的工作流程图。

如图8所示，测试用例优选子系统103进行测试用例优选的流程可以包括步骤S801～S804。

步骤S801：测试用例准备子系统101中基于遗传算法演化并优选出的多组测试用例按组别从测试用例数据库102出库，并提取每组测试用例中的根案例。

步骤S802：将步骤S801中获取到的根案例发往被测应用105，观察被测应用105的响应情况.

步骤S803：根据根案例的响应情况，判断是否需继续完成该组测试用例中的其他测试用例。

步骤S804：完成一组测试用例的测试后，循环选择测试用例数据库102中的其他组测试用例继续测试，直到所有测试用例测试完毕。

根据本公开实施例，可以在开始测试前根据搜集到的基础测试用例，基于遗传算法进行编码演化选择。筛选出优质的测试用例并分组入库，每组测试用例包含一个根案例。在正式对被测应用进行安全测试时，可以按组取出根案例，依据根案例测试结果决定该组测试用例是否需继续测试，即将测试用例的选择与被测应用的实际特征绑定。从而，能够在保证应用安全测试覆盖度的前提下，优化测试用例的选择，大幅提高自动化安全测试效率，使自动化安全测试能够更好的适应软件快速迭代交付的开发流程。

根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

例如，获取模块310、拆解模块320、案例生成模块330、案例优选模块340、测试用例准备子系统101、测试用例数据库102、测试用例优选子系统103、基础案例库爬取模块201、案例编码模块202、案例演化模块203、案例评价模块204、案例组提取模块301、以及案例组筛选模块302中的任意多个可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，获取模块310、拆解模块320、案例生成模块330、案例优选模块340、测试用例准备子系统101、测试用例数据库102、测试用例优选子系统103、基础案例库爬取模块201、案例编码模块202、案例演化模块203、案例评价模块204、案例组提取模块301、以及案例组筛选模块302中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块310、拆解模块320、案例生成模块330、案例优选模块340、测试用例准备子系统101、测试用例数据库102、测试用例优选子系统103、基础案例库爬取模块201、案例编码模块202、案例演化模块203、案例评价模块204、案例组提取模块301、以及案例组筛选模块302中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

图9示意性示出了适于实现根据本公开实施例的测试用例获取方法的计算机系统900的方框图。图9示出的计算机系统900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，根据本公开实施例的计算机系统900包括处理器901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))，等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

在RAM 903中，存储有计算机系统900操作所需的各种程序和数据。处理器901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

根据本公开的实施例，计算机系统900还可以包括输入/输出(I/O)接口905，输入/输出(I/O)接口905也连接至总线904。计算机系统900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器901执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。

本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的图像识别方法。

在该计算机程序被处理器901执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分909被下载和安装，和/或从可拆卸介质911被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算没备(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

Claims (11)

1.一种测试用例获取方法，包括：

获取N个第一测试用例，其中，N为大于等于1的整数；

从N个所述第一测试用例拆解出M个基础元素，其中，M为大于等于N的整数；

基于M个所述基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的所述第二测试用例具有相同的根元素；以及

针对一组所述第二测试用例，在该组内的根案例测试有效的情况下，对该组内的其他所述第二测试用例进行测试，以筛选出有效的测试用例；其中，所述根案例是由该组所述第二测试用例的根元素组成的测试用例。

2.根据权利要求1所述的方法，其中，所述方法还包括：

针对一组所述第二测试用例，在该组内的所述根案例测试失败的情况下，过滤掉该组所述第二测试用例。

3.根据权利要求1所述的方法，其中，所述基于M个所述基础元素，应用遗传算法得到至少一组第二测试用例包括：

对M个所述基础元素进行编码，其中，将作为一组所述第二测试用例的根元素的基础元素编码为特定符号；

基于对根元素以及其他M-1个所述基础元素的编码，应用遗传算法进行演化得到一组第三测试用例；以及

基于对一个组内的所述第三测试用例的适应度评价，筛选出一组所述第二测试用例。

4.根据权利要求3所述的方法，其中，所述对M个所述基础元素进行编码包括：

采用符号编码法对M个所述基础元素进行编码。

5.根据权利要求3所述的方法，其中，所述基于对一个组内的所述第三测试用例的适应度评价，筛选出一组所述第二测试用例包括：

基于适应度函数F(S[A])＝T(S[A])/MAX(similar(S[A]，S[x]))，得到每个所述第三测试用例的评价值；以及

从一组所述第三测试用例中筛选出评价值大于或等于预定阈值的测试用例，以得到一组所述第二测试用例；

其中：

S[A]表示一个所述第三测试用例；

S[x])表示S[A]以外的一个所述第三测试用例；

T(S[A])表示S[A]在靶机测试中的成功和失败的综合评分；

MAX(similar(S[A]，S[x]))表示S[A]与同组内其他所述第三测试用例的相似度的最大值。

6.根据权利要求1所述的方法，其中，所述方法还包括：

设置至少一个所述根案例，其中，至少一个所述根案例与至少一组所述第二测试用例一一对应。

7.根据权利要求6所述的方法，其中，所述设置每组所述第二测试用例的根案例包括：

在所述方法用于生成结构化查询语言SQL注入的测试用例时，至少设置第一字符组合作为一个所述根案例，其中，所述第一字符组合用于闭合其之前的正常查询语句，以使其后的非查询语句得以执行，所述第一字符组合包括一个或多个字符。

8.根据权利要求6所述的方法，其中，所述设置至少一个所述根案例包括：

在所述方法用于生成跨站脚本攻击的测试用例时，至少设置第二字符组合作为一个所述根案例，其中，所述第二字符组合用于标识恶意指令代码的起始位置，所述第二字符组合包括一个或多个字符。

9.一种测试用例获取装置，包括：

获取模块，用于获取N个第一测试用例，其中，N为大于等于1的整数；

拆解模块，用于从N个所述第一测试用例拆解出M个基础元素，其中，M为大于等于N的整数；

案例生成模块，用于基于M个所述基础元素，应用遗传算法得到至少一组第二测试用例，其中一个组内的所述第二测试用例具有相同的根元素；以及

案例优选模块，用于针对一组所述第二测试用例，在该组内的根案例测试有效的情况下，对该组内的其他所述第二测试用例进行测试，以筛选出有效的测试用例；其中，所述根案例是由该组所述第二测试用例的根元素组成的测试用例。

10.一种测试用例获取系统，包括：

一个或多个存储器，存储有可执行指令；以及

一个或多个处理器，执行所述可执行指令，以实现根据权利要求1～8中任一项所述的方法。

11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1～8中任一项所述的方法。

Images