CN109062803B - 基于爬虫实现自动生成测试用例的方法和装置 - Google Patents

Abstract

本发明提供了基于爬虫实现自动生成测试用例的方法和装置，包括：获取URL数据，并将URL数据存储在URL管理器中；从URL管理器中调度URL数据，并根据URL数据发送请求数据信息，请求数据信息包括请求头和请求参数；根据请求头和所述请求参数，得到响应信息，响应信息包括被请求资源信息；对被请求资源信息进行解析，得到数据样本信息；将被请求资源信息和数据样本信息进行数据处理，得到关键数据信息；将关键数据信息与用例模板进行匹配，得到测试用例，可以节省测试前期准备测试用例的时间，更全面地测试产品对攻击的防御功能。

Description

基于爬虫实现自动生成测试用例的方法和装置

技术领域

本发明涉及网络安全技术领域，尤其是涉及基于爬虫实现自动生成测试用例的方法和装置。

背景技术

目前，在网络安全方面，常常利用网站的漏洞、穿插暗链等手段实现对网站的入侵，为了加固网站的防御，需要进行大量的测试工作，而测试用例是测试工作中不可或缺的重要元素，而目前的测试在前期准备测试用例的时间较长，不能全面地测试产品对攻击的防御能力。

发明内容

有鉴于此，本发明的目的在于提供基于爬虫实现自动生成测试用例的方法和装置，可以节省测试前期准备测试用例的时间，更全面地测试产品对攻击的防御功能。

第一方面，本发明实施例提供了基于爬虫实现自动生成测试用例的方法，应用于服务器，所述方法包括：

获取统一资源定位符URL数据，并将所述URL数据存储在URL管理器中；

从所述URL管理器中调度所述URL数据，并根据所述URL数据发送请求数据信息，所述请求数据信息包括请求头和请求参数；

根据所述请求头和所述请求参数，得到响应信息，所述响应信息包括被请求资源信息；

对所述被请求资源信息进行解析，得到数据样本信息；

将所述被请求资源信息和所述数据样本信息进行数据处理，得到关键数据信息；

将所述关键数据信息与用例模板进行匹配，得到测试用例。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述获取统一资源定位符URL数据，包括：

获取待抓取的网址队列；

从所述待抓取的网址队列中爬取所述URL数据。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述对所述被请求资源信息进行解析，得到数据样本信息，包括：

对所述被请求资源信息进行解析，得到多个网页数据信息，所述网页数据信息包括节点名称信息、节点属性信息和文字信息；

根据所述多个网页数据信息，构成所述数据样本信息；

或者，

将所述被请求资源信息进行结构化处理，形成二叉树形式的数据样本信息；

其中，所述二叉树形式的数据样本信息包括根节点信息、元素信息、元素属性信息和文本信息。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述将所述被请求资源信息和所述数据样本信息进行数据处理，得到关键数据信息，包括：

将所述被请求资源信息和所述数据样本信息进行数据清洗，去除所述被请求资源信息和所述数据样本信息中的无效数据和重复数据，从而得到所述关键数据信息。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述将所述关键数据信息与用例模板进行匹配，得到测试用例，包括：

将所述关键数据信息与所述用例模板中的关键字进行匹配，并将所述用例模板按照匹配度由高到低进行排序；

从排序的用例模板中选取预定数量的用例模板，从而构成新的测试用例。

第二方面，本发明实施例提供了基于爬虫实现自动生成测试用例的装置，应用于服务器，所述装置包括：

URL管理器，用于获取统一资源定位符URL数据，并存储所述URL数据；

调度模块，用于从所述URL管理器中调度所述URL数据；

下载模块，用于根据所述URL数据发送请求数据信息，所述请求数据信息包括请求头和请求参数；根据所述请求头和所述请求参数，得到响应信息，所述响应信息包括被请求资源信息；

解析模块，用于对所述被请求资源信息进行解析，得到数据样本信息；

应用模块，用于将所述被请求资源信息和所述数据样本信息进行数据处理，得到关键数据信息；

用例生成模块，用于将所述关键数据信息与用例模板进行匹配，得到测试用例。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述调度模块具体用于：

获取待抓取的网址队列；

从所述待抓取的网址队列中爬取所述URL数据。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述解析模块具体用于：

对所述被请求资源信息进行解析，得到多个网页数据信息，所述网页数据信息包括节点名称信息、节点属性信息和文字信息；

根据所述多个网页数据信息，构成所述数据样本信息；

或者，

将所述被请求资源信息进行结构化处理，形成二叉树形式的数据样本信息；

其中，所述二叉树形式的数据样本信息包括根节点信息、元素信息、元素属性信息和文本信息。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述应用模块具体用于：

将所述被请求资源信息和所述数据样本信息进行数据清洗，去除所述被请求资源信息和所述数据样本信息中的无效数据和重复数据，从而得到所述关键数据信息。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，所述用例生成模块具体用于：

将所述关键数据信息与所述用例模板中的关键字进行匹配，并将所述用例模板按照匹配度由高到低进行排序；

从排序的用例模板中选取预定数量的用例模板，从而构成新的测试用例。

本发明实施例提供了基于爬虫实现自动生成测试用例的方法和装置，包括：获取URL数据，并将URL数据存储在URL管理器中；从URL管理器中调度URL数据，并根据URL数据发送请求数据信息，请求数据信息包括请求头和请求参数；根据请求头和所述请求参数，得到响应信息，响应信息包括被请求资源信息；对被请求资源信息进行解析，得到数据样本信息；将被请求资源信息和数据样本信息进行数据处理，得到关键数据信息；将关键数据信息与用例模板进行匹配，得到测试用例，可以节省测试前期准备测试用例的时间，更全面地测试产品对攻击的防御功能。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的基于爬虫实现自动生成测试用例的方法流程图；

图2为本发明实施例一提供的基于爬虫实现自动生成测试用例的方法中步骤S101的流程图；

图3为本发明实施例一提供的数据样本信息构成示意图；

图4为本发明实施例一提供的基于爬虫实现自动生成测试用例的方法中步骤S106的流程图；

图5为本发明实施例二提供的基于爬虫实现自动生成测试用例的装置示意图。

图标：

10-调度模块；20-URL管理器；30-下载模块；40-解析模块；50-应用模块；60-用例生成模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为便于对本实施例进行理解，下面对本发明实施例进行详细介绍。

实施例一：

图1为本发明实施例一提供的基于爬虫实现自动生成测试用例的方法流程图。

参照图1，执行主体为服务器，该方法包括以下步骤：

步骤S101，获取URL(Uniform Resource Locator，统一资源定位符)数据，并将URL数据存储在URL管理器中；

这里，URL管理器除了存储爬取到的URL数据，还可以将未成功调度的URL数据进行存储；以及记录URL数据被爬取的次数，从而提升该URL数据的优先级，以用于在后期测试用例生成时，对所需的URL数据进行更加快捷地查询。

步骤S102，从URL管理器中调度URL数据，并根据URL数据发送请求数据信息，请求数据信息包括请求头和请求参数；

步骤S103，根据请求头和请求参数，得到响应信息，响应信息包括被请求资源信息；

这里，响应信息还包括被请求资源不存在信息和服务器无响应信息。请求数据信息还包括用户标识，用户标识是用于用户登录服务器的场景，通过验证用户身份信息。

步骤S104，对被请求资源信息进行解析，得到数据样本信息；

步骤S105，将被请求资源信息和数据样本信息进行数据处理，得到关键数据信息；

步骤S106，将关键数据信息与用例模板进行匹配，得到测试用例。

本实施例中，通过上述实现过程，可以加固网站的防御手段，生成贴近用户的使用场景，节省测试用例的准备时间。

进一步的，参照图2，步骤S101包括以下步骤：

步骤S201，获取待抓取的网址队列；

步骤S202，从待抓取的网址队列中爬取URL数据。

这里，基于爬虫的强大网络爬取功能，从网络流量中高效地获取被访问站点的URL数据，下载并解析URL数据，最后得到关键数据信息，并自动生成测试用例，从而节省了测试前期准备用例的时间，更全面地测试产品面对攻击时的防御功能。

进一步的，步骤S104包括以下步骤：

步骤S301，对被请求资源信息进行解析，得到多个网页数据信息，网页数据信息包括节点名称信息、节点属性信息和文字信息；

步骤S302，根据所述多个网页数据信息，构成所述数据样本信息；

这里，将被请求资源信息进行解析后，得到包括节点名称信息、节点属性信息和文字信息的网页数据信息，从而形成了一个网页的数据样本信息。在后续查询过程中，可以根据数据样本信息查询出所需的信息。具体参照图3，网页数据信息1包括节点1名称信息、节点1属性信息和节点1文字信息；网页数据信息n包括节点n名称信息、节点n属性信息和节点n文字信息。节点1名称信息、节点1属性信息、节点1文字信息…节点n名称信息、节点n属性信息和节点n文字信息构成数据样本信息。

或者，

步骤S401，将被请求资源信息进行结构化处理，形成二叉树形式的数据样本信息；

其中，二叉树形式的数据样本信息包括根节点信息、元素信息、元素属性信息和文本信息。

这里，将被请求资源信息以整体树状结构的形式进行存储，用于数据的遍历，可以将被请求资源信息结构化，拆分被请求资源信息的编写结构，构造成包括根节点、元素、元素属性和文本的二叉树形式的数据样本信息，从而提高数据比对和查询的速度。

进一步的，步骤S105包括以下步骤：

步骤S501，将被请求资源信息和数据样本信息进行数据清洗，去除被请求资源信息和数据样本信息中的无效数据和重复数据，从而得到关键数据信息。

这里，将被请求资源信息和数据样本信息进行数据清洗，可以检查数据的一致性，去除被请求资源信息和数据样本信息中的无效数据和重复数据，可以提高价值数据的筛选成功率。

进一步的，参照图4，步骤S106包括以下步骤：

步骤S601，将关键数据信息与用例模板中的关键字进行匹配，并将用例模板按照匹配度由高到低进行排序；

步骤S602，从排序的用例模板中选取预定数量的用例模板，从而构成新的测试用例。

这里，用例模板的形成是按照规定的测试用例结构新建或导入的样本用例。将关键数据信息与用例模板中的关键字进行匹配，在匹配后，可以将匹配度比较高的用例模板排在前面，将匹配度比较低的用例模板排在后面，从排序后的测试用例中选取预定数量的测试用例，从而形成全新的不同架构和不同应用类型的测试用例，其中，预定数量可以为三个，但不限于三个。

本发明实施例提供了基于爬虫实现自动生成测试用例的方法，包括：获取URL数据，并将URL数据存储在URL管理器中；从URL管理器中调度URL数据，并根据URL数据发送请求数据信息，请求数据信息包括请求头和请求参数；根据请求头和所述请求参数，得到响应信息，响应信息包括被请求资源信息；对被请求资源信息进行解析，得到数据样本信息；将被请求资源信息和数据样本信息进行数据处理，得到关键数据信息；将关键数据信息与用例模板进行匹配，得到测试用例，可以节省测试前期准备测试用例的时间，更全面地测试产品对攻击的防御功能。

实施例二：

图5为本发明实施例二提供的基于爬虫实现自动生成测试用例的装置示意图。

参照图5，执行主体为服务器，该装置包括调度模块10、URL管理器20、下载模块30、解析模块40、应用模块50和用例生成模块60。

URL管理器20，用于获取统一资源定位符URL数据，并存储URL数据；

调度模块10，用于从URL管理器中调度URL数据；

这里，调度模块10用于管理URL管理器20、下载模块30、解析模块40、应用模块50和用例生成模块60，从上述模块中进行爬取信息，直到爬取到一定数量的信息后结束。

下载模块30，用于根据URL数据发送请求数据信息，请求数据信息包括请求头和请求参数；根据请求头和请求参数，得到响应信息，响应信息包括被请求资源信息；

解析模块40，用于对被请求资源信息进行解析，得到数据样本信息；

应用模块50，用于将被请求资源信息和数据样本信息进行数据处理，得到关键数据信息；

用例生成模块60，用于将关键数据信息与用例模板进行匹配，得到测试用例。

进一步的，调度模块10具体用于：

获取待抓取的网址队列；

从待抓取的网址队列中爬取URL数据。

进一步的，解析模块40具体用于：

对被请求资源信息进行解析，得到多个网页数据信息，网页数据信息包括节点名称信息、节点属性信息和文字信息；

根据多个网页数据信息，构成数据样本信息；

或者，

将被请求资源信息进行结构化处理，形成二叉树形式的数据样本信息；

其中，二叉树形式的数据样本信息包括根节点信息、元素信息、元素属性信息和文本信息。

进一步的，应用模块50具体用于：

将被请求资源信息和数据样本信息进行数据清洗，去除被请求资源信息和数据样本信息中的无效数据和重复数据，从而得到关键数据信息。

进一步的，用例生成模块60具体用于：

将关键数据信息与用例模板中的关键字进行匹配，并将用例模板按照匹配度由高到低进行排序；

从排序的用例模板中选取预定数量的用例模板，从而构成新的测试用例。

本发明实施例提供了基于爬虫实现自动生成测试用例的装置，包括：获取URL数据，并将URL数据存储在URL管理器中；从URL管理器中调度URL数据，并根据URL数据发送请求数据信息，请求数据信息包括请求头和请求参数；根据请求头和所述请求参数，得到响应信息，响应信息包括被请求资源信息；对被请求资源信息进行解析，得到数据样本信息；将被请求资源信息和数据样本信息进行数据处理，得到关键数据信息；将关键数据信息与用例模板进行匹配，得到测试用例，可以节省测试前期准备测试用例的时间，更全面地测试产品对攻击的防御功能。

本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例提供的基于爬虫实现自动生成测试用例的方法的步骤。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例的基于爬虫实现自动生成测试用例的方法的步骤。

本发明实施例所提供的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.一种基于爬虫实现自动生成测试用例的方法，其特征在于，应用于服务器，所述方法包括：

获取统一资源定位符URL数据，并将所述URL数据存储在URL管理器中；

从所述URL管理器中调度所述URL数据，并根据所述URL数据发送请求数据信息，所述请求数据信息包括请求头和请求参数；

根据所述请求头和所述请求参数，得到响应信息，所述响应信息包括被请求资源信息；

对所述被请求资源信息进行解析，得到数据样本信息；

将所述被请求资源信息和所述数据样本信息进行数据处理，得到关键数据信息；

将所述关键数据信息与用例模板进行匹配，得到测试用例；

所述对所述被请求资源信息进行解析，得到数据样本信息，包括：

对所述被请求资源信息进行解析，得到多个网页数据信息，所述网页数据信息包括节点名称信息、节点属性信息和文字信息；

根据所述多个网页数据信息，构成所述数据样本信息；

或者，

将所述被请求资源信息进行结构化处理，形成二叉树形式的数据样本信息；

其中，所述二叉树形式的数据样本信息包括根节点信息、元素信息、元素属性信息和文本信息。

2.根据权利要求1所述的基于爬虫实现自动生成测试用例的方法，其特征在于，所述获取统一资源定位符URL数据，包括：

获取待抓取的网址队列；

从所述待抓取的网址队列中爬取所述URL数据。

3.根据权利要求1所述的基于爬虫实现自动生成测试用例的方法，其特征在于，所述将所述被请求资源信息和所述数据样本信息进行数据处理，得到关键数据信息，包括：

将所述被请求资源信息和所述数据样本信息进行数据清洗，去除所述被请求资源信息和所述数据样本信息中的无效数据和重复数据，从而得到所述关键数据信息。

4.根据权利要求1所述的基于爬虫实现自动生成测试用例的方法，其特征在于，所述将所述关键数据信息与用例模板进行匹配，得到测试用例，包括：

将所述关键数据信息与所述用例模板中的关键字进行匹配，并将所述用例模板按照匹配度由高到低进行排序；

从排序的用例模板中选取预定数量的用例模板，从而构成新的测试用例。

5.一种基于爬虫实现自动生成测试用例的装置，其特征在于，应用于服务器，所述装置包括：

URL管理器，用于获取统一资源定位符URL数据，并存储所述URL数据；

调度模块，用于从所述URL管理器中调度所述URL数据；

下载模块，用于根据所述URL数据发送请求数据信息，所述请求数据信息包括请求头和请求参数；根据所述请求头和所述请求参数，得到响应信息，所述响应信息包括被请求资源信息；

解析模块，用于对所述被请求资源信息进行解析，得到数据样本信息；

应用模块，用于将所述被请求资源信息和所述数据样本信息进行数据处理，得到关键数据信息；

用例生成模块，用于将所述关键数据信息与用例模板进行匹配，得到测试用例；

所述解析模块具体用于：

对所述被请求资源信息进行解析，得到多个网页数据信息，所述网页数据信息包括节点名称信息、节点属性信息和文字信息；

根据所述多个网页数据信息，构成所述数据样本信息；

或者，

将所述被请求资源信息进行结构化处理，形成二叉树形式的数据样本信息；

其中，所述二叉树形式的数据样本信息包括根节点信息、元素信息、元素属性信息和文本信息。

6.根据权利要求5所述的基于爬虫实现自动生成测试用例的装置，其特征在于，所述调度模块具体用于：

获取待抓取的网址队列；

从所述待抓取的网址队列中爬取所述URL数据。

7.根据权利要求5所述的基于爬虫实现自动生成测试用例的装置，其特征在于，所述应用模块具体用于：

将所述被请求资源信息和所述数据样本信息进行数据清洗，去除所述被请求资源信息和所述数据样本信息中的无效数据和重复数据，从而得到所述关键数据信息。

8.根据权利要求5所述的基于爬虫实现自动生成测试用例的装置，其特征在于，所述用例生成模块具体用于：

将所述关键数据信息与所述用例模板中的关键字进行匹配，并将所述用例模板按照匹配度由高到低进行排序；

从排序的用例模板中选取预定数量的用例模板，从而构成新的测试用例。

Images