CN107609401A - 自动测试方法及装置 - Google Patents

Abstract

本发明提供一种自动测试方法及装置，该方法包括：获取原始业务请求以及对应的原始请求结果；根据扫描规则从原始业务请求中分析出具有安全风险的参数；重新配置该参数以生成重构业务请求，重放重构业务请求以获取返回的重构请求结果；对重构请求结果和原始请求结果进行相似度分析；根据相似度分析结果判断并标记安全风险。本发明无需测试人员针对不同的业务场景单独开发测试程序或单独配置测试用例，也无需进行人工测试，而只需配置该业务场景下的根据经验抽象获得的扫描规则，以及相对应的安全风险判断规则，即可完成业务安全测试，同时还通过自动测试保障了测试的全面性。

Description

自动测试方法及装置

技术领域

本申请涉及软件测试技术领域，具体涉及一种自动测试方法及装置。

背景技术

传统的安全漏洞主要是针对现有的服务器或系统库等通用技术上的安全策略上存在的缺陷，例如Dos攻击、WebShell提权、XSS利用、ActiveX提权、Sniffer嗅探及缓冲区溢出等方式，而在开发时往往忽略了与具体产品业务相结合时未考虑周到的安全问题。

这些业务安全漏洞依赖于所存在的具体业务场景，由于业务场景各不相同，针对每一业务场景分别开发自动测试程序或单独配置测试用例的成本过于高昂，因此现有方案通常采用人工测试的方法，导致人工成本较高，且严重依赖执行人员的技术水平和敏锐程度，当业务复杂或接口数量较多时难以全面有效的发现安全风险。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种降低业务安全测试的成本，同时保障业务安全测试的全面性的自动测试方法及装置。

第一方面，本发明提供一种自动测试方法，包括：

获取原始业务请求以及对应的原始请求结果；

根据扫描规则从原始业务请求中分析出具有安全风险的参数；

重新配置该参数以生成重构业务请求，重放重构业务请求以获取返回的重构请求结果；

对重构请求结果和原始请求结果进行相似度分析；

根据相似度分析结果判断并标记安全风险。

第二方面，本发明提供一种自动测试装置，包括数据获取单元、参数分析单元、请求重放单元、相似度分析单元和风险标记单元。

其中，数据获取单元配置用于获取原始业务请求以及对应的原始请求结果；

参数分析单元配置用于根据扫描规则从原始业务请求中分析出具有安全风险的参数；

请求重放单元配置用于重新配置该参数以生成重构业务请求，重放重构业务请求以获取返回的重构请求结果；

相似度分析单元配置用于对重构请求结果和原始请求结果进行相似度分析；

风险标记单元配置用于根据相似度分析结果判断并标记安全风险。

第三方面，本发明还提供一种设备，包括一个或多个处理器和存储器，其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本发明各实施例提供的自动测试方法。

第四方面，本发明还提供一种存储有计算机程序的计算机可读存储介质，该计算机程序使计算机执行根据本发明各实施例提供的自动测试方法。

本发明诸多实施例提供的自动测试方法及装置通过根据由经验抽象获得的扫描规则分析具有安全风险的参数，再通过重新配置参数进行业务请求的重构和重放，并将重构请求结果与原始请求结果进行相似度分析，最终实现了自动判断业务场景下的业务请求是否存在安全风险；通过采用本发明提供的自动测试方法及装置，测试人员无需针对不同的业务场景单独开发测试程序或单独配置测试用例，也无需进行人工测试，而只需配置该业务场景下的根据经验抽象获得的扫描规则，以及相对应的安全风险判断规则，即可完成业务安全测试，同时还通过自动测试保障了测试的全面性；

本发明一些实施例提供的自动测试方法及装置进一步通过分组批量生成重构业务请求保障了测试的全面性；

本发明一些实施例提供的自动测试方法及装置进一步通过抽样测试在保障全面性的基础上提高测试效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例提供的一种自动测试方法的流程图。

图2为图1所示方法的一种优选实施方式中步骤S40的流程图。

图3为图1所示方法的一种优选实施方式中步骤S50的流程图。

图4为图1所示方法的一种优选实施方式中步骤S60的流程图。

图5为图1所示方法的一种优选实施方式的流程图。

图6为本发明一实施例提供的一种自动测试装置的结构示意图。

图7为图6所示装置的一种优选实施方式的局部结构示意图。

图8为图6所示装置的一种优选实施方式的结构示意图。

图9为本发明一实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1为本发明一实施例提供的一种自动测试方法的流程图。

如图1所示，在本实施例中，本发明提供的一种自动测试方法包括：

S20：获取原始业务请求以及对应的原始请求结果。

具体地，在本申请中，原始业务请求是指在业务场景中进行交互时发送的请求信息，其对应的原始请求结果是指该请求信息的接收对象在接收该请求信息后所返回的请求结果信息。业务场景可以发生在手机等移动终端、PC端乃至于路由器、POS机、快递柜等任意存在交互业务的电子设备中。

根据实际的不同业务场景，可以从本地或云端的日志或数据库中获取原始业务请求以及对应的原始请求结果，也可以获取原始业务请求后进行重放，接收返回的原始请求结果。

S30：根据扫描规则从原始业务请求中分析出具有安全风险的参数。

具体地，扫描规则由测试人员根据以往测试经验抽象归纳获得，并预先配置，例如，在一些业务场景的原始业务请求中，所有参数都具有安全风险；在另一些业务场景的原始业务请求中，只有部分类型为整形的参数具有安全风险，等等。根据预配置的扫描规则在对应的业务场景中，自动通过正则表达式等分析方法从原始业务请求中分析出这些具有安全风险的参数。

S40：重新配置该参数以生成重构业务请求，重放重构业务请求以获取返回的重构请求结果。

具体地，参数的重新配置方式可以采用在预定的范围内进行遍历的方式，例如对于某个参数遍历1000-1999，生成1000个重构业务请求；也可以采用在该参数的合法范围内进行随机配置的方式，例如在0-9999之间选择1000个随机数，生成1000个重构业务请求；还可以在未知该参数的合法范围的情况下进行小范围遍历或随机配置的方式，但后续需要去除返回结果为报错的重构请求结果和对应的重构业务请求。

S50：对重构请求结果和原始请求结果进行相似度分析。

具体地，在本实施例中，采用levenshtein算法对重构请求结果和原始请求结果进行相似度分析。在更多实施例中，还可以采用其它本领域常用的相似度分析算法，可实现相同的技术效果。

优选地，为了去除无关字段的干扰，增强相似度分析结果的差异性，可以在过滤重构请求结果和原始请求结果中的无效字符串后再进行相似度分析。其中，由于过滤规则与相似度分析结果以及下一步的安全风险判断规则相关联，因此过滤规则也需要与下一步中的安全风险判断规则一一对应配置。

S60：根据相似度分析结果判断并标记安全风险。

具体地，安全风险判断规则同样由测试人员根据以往测试经验抽象归纳获得，例如，在某一业务场景中，当相似度分析结果超过80％，就会存在安全风险；又例如，在另一业务场景中，当相似度分析结果落入40％-70％的范围内，就会存在安全风险，等等。

优选地，当测试人员遇到新的业务场景，没有时间积累经验来归纳安全风险判断规则时，可以先简单设定一个判断范围，然后由执行自动测试方法的系统自动根据安全风险的标记结果进行机器学习，逐步对该判断范围进行自动修正。

图2为图1所示方法的一种优选实施方式中步骤S40的流程图。如图2所示，在一优选实施例中，步骤S40包括：

S41：以重新配置的参数为单位分组，在每组中批量化配置参数以生成若干重构业务请求；

S43：重放各组重构业务请求，获取返回的重构请求结果并进行对应分组。

具体地，当具有安全风险的参数具有多项时，为保障测试的全面性，应当分组进行测试。例如在某一原始业务请求中有三项具有安全风险的参数A/B/C，可以通过以下分组进行测试：第一组，重新配置参数A；第二组，重新配置参数B；第三组，重新配置参数C；第四组，重新配置参数A/B；第五组，重新配置参数A/C；第六组，重新配置参数B/C；第七组，重新配置参数A/B/C。在获取返回的重构请求结果后，同样根据上述七个分组进行对应的分组。

在上述示例中，根据实际情况也可以无需遍历所有分组，例如选择其中第一组至第三组。

图3为图1所示方法的一种优选实施方式中步骤S50的流程图。如图3所示，在一优选实施例中，步骤S50包括：

S51：分别对各组重构请求结果进行抽样；

S53：过滤重构请求结果和原始请求结果中的无效字符串；

S55：将抽样抽出的各重构请求结果分别与原始请求结果进行相似度分析。

具体地，步骤S51中可以采用按比例抽样或随机抽样等常用的抽样方法。步骤S53为可选项，过滤规则部分图1所示实施例中已经详述，此处不再赘述。

图4为图1所示方法的一种优选实施方式中步骤S60的流程图。如图4所示，在一优选实施例中，步骤S60包括：

S61：将相似度分析结果和安全风险阈值进行对比，判断是否存在安全风险；

S63：根据判断结果进行标记。

具体地，当一个分组中所抽样的多个重构请求结果中，一部分的判断结果为存在安全风险，另一部分的判断结果为无安全风险时，将该分组标记为存在安全风险；当一个分组所抽样的所有重构请求结果的判断结果均为无安全风险时，将该分组标记为无安全风险。

图5为图1所示方法的一种优选实施方式的流程图。如图5所示，在一优选实施例中，上述方法进一步还包括：

S10：配置不同业务场景下的扫描规则，以及相对应的安全风险判断规则。

具体地，对于新的业务场景，只需配置相应的扫描规则和安全风险判断规则，而无需开发完整的测试程序，或，配置完整的测试用例。若步骤S50中需要进行过滤，则还需要配置与安全风险判断规则对应的过滤规则。

以下通过一个具体实例对上述实施例进行详细说明。

该实例的业务场景为PC端某平台网站中的团购订单界面，原始业务请求为修改团购订单状态的请求信息。

步骤S20中，获取原始业务请求：http://xxx.com/order/modify？orderID＝339&status＝1&sign＝fmi4u24fkm2k43pr；以及相对应的原始请求结果：(”error”:0,”errmsg”:”success”,”timestamp”:1480903924)。

步骤S30中，查找出对应于该业务场景的扫描规则：类型为整形的参数具有安全风险。根据正则表达式自动从原始业务请求中分析出类型为整形的参数：“orderID＝339”和“status＝1”。

步骤S41中，以重新配置的参数为单位进行分组：

第一组，重新配置参数orderID，遍历0-3999，批量生成重构业务请求：……；

http://xxx.com/order/modify？orderID＝109&status＝1&sign＝fmi4u24fkm2k43pr；……；

http://xxx.com/order/modify？orderID＝939&status＝1&sign＝fmi4u24fkm2k43pr；……；

http://xxx.com/order/modify？orderID＝2939&status＝1&sign＝fmi4u24fkm2k43pr；……；

http://xxx.com/order/modify？orderID＝3939&status＝1&sign＝fmi4u24fkm2k43pr；……；

第二组，重新配置参数status，遍历0-3，批量生成重构业务请求：

http://xxx.com/order/modify？orderID＝339&status＝0&sign＝fmi4u24fkm2k43pr；

http://xxx.com/order/modify？orderID＝339&status＝1&sign＝fmi4u24fkm2k43pr；

http://xxx.com/order/modify？orderID＝339&status＝2&sign＝fmi4u24fkm2k43pr；

http://xxx.com/order/modify？orderID＝339&status＝3&sign＝fmi4u24fkm2k43pr；

步骤S43中，重放上述两组重构业务请求，获取返回的重构请求结果并对应分为两组：

第一组：……；

(”error”:0,”errmsg”:”success”,”timestamp”:1480910472)；……；

(”error”:0,”errmsg”:”success”,”timestamp”:1480912542)；……；

(”error”:0,”errmsg”:”success”,”timestamp”:1480913964)；……；

(”error”:0,”errmsg”:”success”,”timestamp”:1480915275)；……；

第二组：

(”error”:1001,”errmsg”:”auth fail”,”timestamp”:1480916294)；

(”error”:1001,”errmsg”:”auth fail”,”timestamp”:1480916385)；

(”error”:1001,”errmsg”:”auth fail”,”timestamp”:1480916427)；

(”error”:1001,”errmsg”:”auth fail”,”timestamp”:1480916498)。

步骤S51中，对上述两组重构请求结果分别抽取两个样本：

第一组抽取两个样本：

(”error”:0,”errmsg”:”success”,”timestamp”:1480913964)；

(”error”:0,”errmsg”:”success”,”timestamp”:1480915275)；

第二组抽取两个样本：

(”error”:1001,”errmsg”:”auth fail”,”timestamp”:1480916294)；

(”error”:1001,”errmsg”:”auth fail”,”timestamp”:1480916427)；

步骤S53中，过滤所抽取四个样本中的无效字符串(在本实例中为时间戳)：

第一组：

(”error”:0,”errmsg”:”success”)；

(”error”:0,”errmsg”:”success”)；

第二组：

(”error”:1001,”errmsg”:”auth fail”)；

(”error”:1001,”errmsg”:”auth fail”)；

以及，过滤原始请求结果中的无效字符串：

(”error”:0,”errmsg”:”success”)；

步骤S55中，采用levenshtein算法分别将4个样本与原始请求结果进行相似度分析：

第一组两个样本与原始请求结果的相似度均为100％；

第二组两个样本与原始请求结果的相似度均为50％。

步骤S61中，该业务场景下的安全风险判断规则为当相似度超过80时存在安全风险，相似度越高安全风险越高。

将第一组的各相似度分析结果(100％)分别与安全风险阈值(80％)进行对比，判断出第一组存在安全风险；

将第二组的各相似度分析结果(50％)分别与安全风险阈值(80％)进行对比，判断出第二组不存在安全风险。

步骤S62中，根据步骤S61的判断结果，分别标记第一组的测试结果和第二组的测试结果。

上述实例中该业务场景中的扫描规则、过滤规则和安全风险判断规则仅为示例，在不同业务场景中需配置不同的扫描规则、过滤规则(可选)和安全风险判断规则。

上述各实施例提供的自动测试方法无需测试人员针对不同的业务场景单独开发测试程序或单独配置测试用例，也无需测试人员进行人工测试，而只需配置该业务场景下的根据经验抽象获得的扫描规则，以及相对应的安全风险判断规则，即可完成业务安全测试，同时还通过自动测试保障了测试的全面性；并进一步通过分组批量生成重构业务请求保障了测试的全面性；以及进一步通过抽样测试在保障全面性的基础上提高测试效率。

图6为本发明一实施例提供的一种自动测试装置的结构示意图。图6所示装置可对应执行图1和图4所示的方法。

如图6所示，在本实施例中，本发明提供一种自动测试装置10，包括数据获取单元12、参数分析单元13、请求重放单元14、相似度分析单元15和风险标记单元16。

其中，数据获取单元12配置用于获取原始业务请求以及对应的原始请求结果；

参数分析单元13配置用于根据扫描规则从原始业务请求中分析出具有安全风险的参数；

请求重放单元14配置用于重新配置该参数以生成重构业务请求，重放重构业务请求以获取返回的重构请求结果；

相似度分析单元15配置用于对重构请求结果和原始请求结果进行相似度分析；

风险标记单元16配置用于根据相似度分析结果判断并标记安全风险。

图7为图6所示装置的一种优选实施方式的局部结构示意图。图7所示的请求重放单元14和相似度分析单元15可对应执行图2和图3所示的方法。

如图7所示，在一优选实施例中，请求重放单元14包括：

分组重构子单元141，配置用于以重新配置的参数为单位分组，在每组中批量化配置参数以生成若干重构业务请求；

重放子单元142，配置用于重放各组重构业务请求；

结果分组子单元143，配置用于获取返回的重构请求结果并进行对应分组。

优选地，相似度分析单元15包括：

抽样子单元151，配置用于分别对各组重构请求结果进行抽样；

过滤子单元152，配置用于过滤重构请求结果和原始请求结果中的无效字符串；

分析子单元153，配置用于将抽样抽出的各重构请求结果分别与原始请求结果进行相似度分析。

其中，过滤子单元152为可选项。

图8为图6所示装置的一种优选实施方式的结构示意图。图8所示的装置可对应执行图5所示的方法。

如图8所示，在一优选实施例中，自动测试装置10还包括：

规则配置单元11，配置用于配置不同业务场景下的扫描规则，以及相对应的安全风险判断规则。

在一优选实施例中，自动测试装置10还包括机器学习单元，配置用于根据风险标记单元16的标记结果进行机器学习，自动对预配置的安全风险判断规则进行修正。机器学习具体可以采用本领域常用的模型和算法。

图9为本发明一实施例提供的一种设备的结构示意图。

如图9所示，作为另一方面，本申请还提供了一种设备900，包括一个或多个中央处理单元(CPU)901，其可以根据存储在只读存储器(ROM)902中的程序或者从存储部分908加载到随机访问存储器(RAM)903中的程序而执行各种适当的动作和处理。在RAM903中，还存储有设备900操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。

以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。

特别地，根据本公开的实施例，上述任一实施例描述的自动测试方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包含用于执行自动测试方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。

作为又一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例的装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，该程序被一个或者一个以上的处理器用来执行描述于本申请的自动测试方法。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以通过执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以通过专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，各所述单元可以是设置在计算机或移动智能设备中的软件程序，也可以是单独配置的硬件装置。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离本申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (14)

1.一种自动测试方法，其特征在于，包括：

获取原始业务请求以及对应的原始请求结果；

根据扫描规则从所述原始业务请求中分析出具有安全风险的参数；

重新配置所述参数以生成重构业务请求，重放所述重构业务请求以获取返回的重构请求结果；

对所述重构请求结果和所述原始请求结果进行相似度分析；

根据相似度分析结果判断并标记安全风险。

2.根据权利要求1所述的方法，其特征在于，所述重新配置所述参数以生成重构业务请求，重放所述重构业务请求以获取返回的重构请求结果包括：

以重新配置的参数为单位分组，在每组中批量化配置参数以生成若干重构业务请求；

重放各组重构业务请求，获取返回的重构请求结果并进行对应分组。

3.根据权利要求2所述的方法，其特征在于，所述对所述重构请求结果和所述原始请求结果进行相似度分析包括：

分别对各组重构请求结果进行抽样；

将抽样抽出的各重构请求结果分别与所述原始请求结果进行相似度分析。

4.根据权利要求3所述的方法，其特征在于，所述对所述重构请求结果和所述原始请求结果进行相似度分析还包括：过滤所述重构请求结果和所述原始请求结果中的无效字符串。

5.根据权利要求1所述的方法，其特征在于，所述相似度分析采用levenshtein算法。

6.根据权利要求1所述的方法，其特征在于，所述根据相似度分析结果判断并标记安全风险包括：

将相似度分析结果和安全风险阈值进行对比，判断是否存在安全风险；

根据判断结果进行标记。

7.根据权利要求1-6任一项所述的方法，其特征在于，还包括：

配置不同业务场景下的扫描规则，以及相对应的安全风险判断规则。

8.一种自动测试装置，其特征在于，包括：

数据获取单元，配置用于获取原始业务请求以及对应的原始请求结果；

参数分析单元，配置用于根据扫描规则从所述原始业务请求中分析出具有安全风险的参数；

请求重放单元，配置用于重新配置所述参数以生成重构业务请求，重放所述重构业务请求以获取返回的重构请求结果；

相似度分析单元，配置用于对所述重构请求结果和所述原始请求结果进行相似度分析；

风险标记单元，配置用于根据相似度分析结果判断并标记安全风险。

9.根据权利要求8所述的装置，其特征在于，所述请求重放单元包括：

分组重构子单元，配置用于以重新配置的参数为单位分组，在每组中批量化配置参数以生成若干重构业务请求；

重放子单元，配置用于重放各组重构业务请求；

结果分组子单元，配置用于获取返回的重构请求结果并进行对应分组。

10.根据权利要求9所述的装置，其特征在于，所述相似度分析单元包括：

抽样子单元，配置用于分别对各组重构请求结果进行抽样；

分析子单元，配置用于将抽样抽出的各重构请求结果分别与所述原始请求结果进行相似度分析。

11.根据权利要求10所述的装置，其特征在于，所述相似度分析单元还包括：

过滤子单元，配置用于过滤所述重构请求结果和所述原始请求结果中的无效字符串。

12.根据权利要求8-11任一项所述的装置，其特征在于，还包括：

规则配置单元，配置用于配置不同业务场景下的扫描规则，以及相对应的安全风险判断规则。

13.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1-7中任一项所述的方法。

14.一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。