CN112199279A - 一种全链接检查方法和装置 - Google Patents

Abstract

本发明提供一种全链接检查方法和装置，客户端请求的网址及请求参数最终会形成URL及对应的传参记录在服务器中，通过调取服务器的日志即可获取这些数据，经对这些数据进行加工处理后，保存在本地文件中，当服务器版本号发生变化时，提取这些本地文件中存储的数据，然后再对这些数据重新请求验证一遍，以确保版本变更后，这些链接还能够正常访问，没有异常，如果存在验证失败的数据，则提取验证失败的请求URL对应的接口及相关信息，并发送至目标对象，避免了新功能对老功能的影响，使用本方案，不但能减少人力的成本，而且还能够保障原有接口正常使用，提高了测试效率。

Description

一种全链接检查方法和装置

技术领域

本发明涉及计算机技术领域，具体涉及一种全链接检查方法和装置。

背景技术

在程序员在进行软件测试时经常会出现这样的问题：这次需求变更明明是改了A模块的内容，但是版本上线后，B模块的链接请求不通，出现404了。原因是前端在修改代码的时候，误把B模块的链接删除了一个字母，但是程序人员自己却全然不知。

后端进行了冗余代码删除，处理了上百个api链接的返回值。提测的时候并不能将这上百个链接准确的告知给QA。提测的要求很含糊，要求所有功能全部回归。所有功能，暂且不说QA的回归范围有多全，从人力成本上来说，公司是不可能配足人力的。这会导致QA无法做到全部的覆盖率。

那么问题来了，怎样才能不用花费像接口测试那样的高人力成本来堆积接口用例，就可以实现全面的链接回归验证？

发明内容

有鉴于此，本发明实施例提供一种全链接检查方法和装置，以实现当版本编译后，自动对URL进行访问接口验证，从而降低了校验成本，提高了校验效率。

为实现上述目的，本发明实施例提供如下技术方案：

一种全链接检查方法，包括：

获取服务器上记录的客户端请求的网址及请求参数；

提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据；

根据每个字典数据的字段，将所述字典数据插入到数据库中；

基于域名对所述字典数据进行分类并排重；

获取排重后剩余的字典数据的域名下的第二目标参数；

将所述第二目标参数保存至本地文件中；

提取所述本地文件中的第二目标参数，并封装成请求URL；

基于请求方式对所述请求URL进行分类；

对相同请求方式的请求URL进行循环请求验证；

获取并向目标对象发送未通过验证的请求URL对应的接口及相关信息。

可选的，上述全链接检查方法中，所述提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据，包括：

基于时间节点将所述客户端请求的网址及请求参数分割为基本数据结构；

通过所述客户端请求的网址及请求参数的域名，对分割后的客户端请求的网址及请求参数进行分类；

基于分类结果，调取目标类型的参数，记为第一目标参数，将所述目标参数封装成字典数据。

可选的，上述全链接检查方法中，在封装成请求URL之后，还包括：

采用预设的URL白名单对封装成的请求URL进行过滤；

所述基于请求方式对所述请求URL进行分类，具体为：

基于请求方式对采用白名单过滤后的请求URL进行分类。

可选的，上述全链接检查方法中，基于预设的URL白名单对封装成的请求URL进行过滤之后，还包括：

获取采用白名单过滤后的请求URL对应的请求接口的登陆状态；

所述对相同请求方式的请求URL进行循环请求验证，具体为：

对登陆状态已登陆的、相同请求方式的请求URL进行循环请求验证。

可选的，上述全链接检查方法中，所述将所述第二目标参数保存至本地文件中之后，还包括：

判断服务器的版本号是否发生改变，如果发生改变，执行后续动作：提取所述本地文件中的第二目标参数，并封装成请求URL。

一种全链接检查装置，包括：

服务器交互单元，用于获取服务器上记录的客户端请求的网址及请求参数；提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据；根据每个字典数据的字段，将所述字典数据插入到数据库中；

数据库交互单元，用于基于域名对所述字典数据进行分类并排重；获取排重后剩余的字典数据的域名下的第二目标参数；将所述第二目标参数保存至本地文件中；

校验单元，用于提取所述本地文件中的第二目标参数，并封装成请求URL；基于请求方式对所述请求URL进行分类；对相同请求方式的请求URL进行循环请求验证；

目标对象交互单元，用于获取并向目标对象发送未通过验证的请求URL对应的接口及相关信息。

可选的，上述全链接检查装置中，所述服务器交互单元在提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据时，具体用于：

基于时间节点将所述客户端请求的网址及请求参数分割为基本数据结构；

通过所述客户端请求的网址及请求参数的域名，对分割后的客户端请求的网址及请求参数进行分类；

基于分类结果，调取目标类型的参数，记为第一目标参数，将所述目标参数封装成字典数据。

可选的，上述全链接检查装置中，所述校验单元在封装成请求URL之后，还用于：

采用预设的URL白名单对封装成的请求URL进行过滤；

所述基于请求方式对所述请求URL进行分类，具体为：

基于请求方式对采用白名单过滤后的请求URL进行分类。

可选的，上述全链接检查装置中，所述校验单元基于预设的URL白名单对封装成的请求URL进行过滤之后，还用于：

获取采用白名单过滤后的请求URL对应的请求接口的登陆状态；

所述对相同请求方式的请求URL进行循环请求验证，具体为：

对登陆状态已登陆的、相同请求方式的请求URL进行循环请求验证。

可选的，上述全链接检查装置中，所述将所述第二目标参数保存至本地文件中之后，还包括：

判断服务器的版本号是否发生改变，如果发生改变，执行后续动作：提取所述本地文件中的第二目标参数，并封装成请求URL。

基于上述技术方案，本发明实施例提供的上述方案，客户端请求的网址及请求参数最终会形成URL及对应的传参记录在服务器的中，通过调取服务器的每日即可获取这些数据，经对这些数据进行加工处理后，保存在本地文件中，当服务器版本号发生变化时，提取这些本地文件中存储的数据，然后在对这些数据重新请求验证一遍，以确保版本变更后，这些链接还能够正常访问，没有异常，如果存在验证失败的数据，则提取验证失败的请求URL对应的接口及相关信息，并发送至目标对象，避免了新功能对老功能的影响，使用本方案，不但能减少高人力的成本，而且还能够保障原有接口正常使用，还提高了测试效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的全链接检查方法的流程示意图；

图2为本申请实施例公开的全链接检查装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

针对于本申请背景技术中提到的上述问题，本申请公开了一种全链接检查方法，参见图1，该方法包括：

步骤S101：获取服务器上记录的客户端请求的网址及请求参数；

在步骤S101中，应用本方法的装置连接服务器，定时获取服务器每日Log，所述服务器可以为Nginx，所述Nginx指的是一个高性能的HTTP和反向代理服务器，所述Log指的是收集到的客户端请求的网址及请求参数。

步骤S102：提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据；

在本步骤中，获取到所述Log以后，每一条log信息都会以收到这条日志的时间开头，按照日志里的时间，把日志里的所有log进行分割，将其分割成List，所述List是Python中最基本的数据结构，再通过log的域名对分割后的log进行分类，获取并把log中的第一目标参数组装成字典数据，所述第一目标参数可以为log中的host、method、body等参数。

步骤S103：根据每个字典数据的字段，将所述字典数据插入到数据库中；

在本步骤中，把组合到的字典根据不同的字段insert插入数据库中，向数据库中插入的字段可以包括：

`id`,`time_stamp`,`stage`,`connection`,`sent_http_content_encoding`,`time_local,`remote_addr`,`request_method`,`status`,`body_bytes_sent`,`request_time`,`scheme`,`http_host`,`request_uri`,`http_x_forwarded_proto`,`query_string`,`request_body`,`http_referer`,`http_user_agent`,`http_cookie`,`upstream_addr`,`upstream_status`,`resp_body`,`del`。

步骤S104：基于域名对所述字典数据进行分类并排重；

在本步骤中，应用本方法的装置连接所述数据库，首先依据数据库中存储的客户端请求的网址及请求参数的访问地址，把具有相同域名的不同api的接口按时间倒序过滤，只取时间节点最近的客户端请求的网址及请求参数。

步骤S105：获取排重后剩余的字典数据的域名下的第二目标参数；

在本步骤中，获取保留的每个域名下的host(请求地址)，api(请求接口名)，method(请求方式)，body(请求参数)等字段，将这些字段记为第二目标字段；

步骤S106：将所述第二目标参数保存至本地文件中；

本步骤中，将所述第二目标字段按域名分类存放到本地文件中，供脚本调用；

步骤S107：提取所述本地文件中的第二目标参数，并封装成请求URL；

在本步骤中，通过定时任务，每5分钟或其他时长监控服务器的版本号，若有代码提交并重启服务，服务器的版本号会发生变化，所述版本号指的是代码build版本号，当服务器的代码编译完成以后，其版本号会发生变化，服务器的版本号发生变化以后，会执行预设脚本，无变更则不执行该预设脚本。

在本步骤中，当服务器的版本号发生变化以后，把所述本地文件中的第二目标参数组装成请求URL。

步骤S108：基于请求方式对所述请求URL进行分类；

本步骤中，依据请求方式对所述URL进行分类，所述请求方式可以为get或post请求方式；

步骤S109：对相同请求方式的请求URL进行循环请求验证；

在本步骤中，为了加快验证速度，对相同请求方式的请求URL进行循环请求验证；在本步骤中，通过将相同请求方式的链接，进行循环请求，通过循环请求，验证这些URL是否可用，避免了不必要的判断逻辑，即，无需判断后续的URL的访问类型。

步骤S1010：获取并向目标对象发送未通过验证的请求URL对应的接口及相关信息；

在本步骤中，当对所有的URL进行循环验证以后，汇总验证通过的接口和为通过的接口

汇总未通过接口和测试通过接口，将验证通过和为通过的URL进行分类存储，并基于验证结果生成所述URL的验证报告，将报告发送至目标对象，所述目标对象可以是企业微信或者是其他平台或终端设备。

本申请上述实施例公开的技术方案，客户端请求的网址及请求参数最终会形成URL及对应的传参记录在服务器的中，通过调取服务器的每日即可获取这些数据，经对这些数据进行加工处理后，保存在本地文件中，当服务器版本号发生变化时，提取这些本地文件中存储的数据，然后在对这些数据重新请求验证一遍，以确保版本变更后，这些链接还能够正常访问，没有异常，如果存在验证失败的数据，则提取验证失败的请求URL对应的接口及相关信息，并发送至目标对象，避免了新功能对老功能的影响，使用本方案，不但能减少高人力的成本，而且还能够保障原有接口正常使用，还提高了测试效率。

在本申请另一实施例公开的将述方案中，在获取到的全量的URL中，可能有部分URL无需进行检查，因此为了降低验证过程中的数据处理量，当封装成请求URL之后，对请求URL进行分类之前，还可以采用预设的URL白名单对封装成的请求URL进行过滤，所述URL白名单中记录有无需进行检查的URL，URL白名单中的URL无需进行接口验证，采用该白名单，对所述封装成的请求URL进行过滤，将无需验证的URL滤除，对应的，后续步骤所述基于请求方式对所述请求URL进行分类，具体为：基于请求方式对采用白名单过滤后的请求URL进行分类。

在本申请实施例公开的技术方案中，在对所述URL进行验证之前，需要确定所述URL对应的接口的登陆状态，只有接口状态为登陆的URL才可进行验证，因此，所以执行验证前需要先请求登录接口。且若遇到退出登录接口，会跳过该登录态设置。因此，在基于预设的URL白名单对封装成的请求URL进行过滤之后，还包括：

获取采用白名单过滤后的请求URL对应的请求接口的登陆状态；

所述对相同请求方式的请求URL进行循环请求验证，具体为：

对登陆状态已登陆的、相同请求方式的请求URL进行循环请求验证。

本实施例中对应于上述方法，公开了一种全链接检查装置，装置中的各个单元的具体工作内容，请参见上述方法实施例的内容，下面对本发明实施例提供的全链接检查装置进行描述，下文描述的全链接检查装置与上文描述的全链接检查方法可相互对应参照。

参见图2，本申请实施例公开的全链接检查装置，包括：

服务器交互单元100，用于获取服务器上记录的客户端请求的网址及请求参数；提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据；根据每个字典数据的字段，将所述字典数据插入到数据库中；

数据库交互单元200，用于基于域名对所述字典数据进行分类并排重；获取排重后剩余的字典数据的域名下的第二目标参数；将所述第二目标参数保存至本地文件中；

校验单元300，用于提取所述本地文件中的第二目标参数，并封装成请求URL；基于请求方式对所述请求URL进行分类；对相同请求方式的请求URL进行循环请求验证；

目标对象交互单元400，用于获取并向目标对象发送未通过验证的请求URL对应的接口及相关信息。

与上述方法相对应，所述服务器交互单元在提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据时，具体用于：

基于时间节点将所述客户端请求的网址及请求参数分割为基本数据结构；

通过所述客户端请求的网址及请求参数的域名，对分割后的客户端请求的网址及请求参数进行分类；

基于分类结果，调取目标类型的参数，记为第一目标参数，将所述目标参数封装成字典数据。

与上述方法相对应，所述校验单元在封装成请求URL之后，还用于：

采用预设的URL白名单对封装成的请求URL进行过滤；

所述基于请求方式对所述请求URL进行分类，具体为：

基于请求方式对采用白名单过滤后的请求URL进行分类。

与上述方法相对应，所述校验单元基于预设的URL白名单对封装成的请求URL进行过滤之后，还用于：

获取采用白名单过滤后的请求URL对应的请求接口的登陆状态；

所述对相同请求方式的请求URL进行循环请求验证，具体为：

对登陆状态已登陆的、相同请求方式的请求URL进行循环请求验证。

与上述方法相对应，所述将所述第二目标参数保存至本地文件中之后，还包括：

判断服务器的版本号是否发生改变，如果发生改变，执行后续动作：提取所述本地文件中的第二目标参数，并封装成请求URL。

通过本申请上述实施例公开的技术方案可见，本申请具有以下优点：

无需人工维护，全自动收集、排重请求链接。

可以获取全量的请求链接，这是接口测试无法比拟的，再全的接口测试也无法做到百分百覆盖。

自动化回归，大大节省测试人力。

与版本编译集成，每次版本号发生变化后，自动触发验证操作，并将验证结果发送给目标对象。

为了描述的方便，描述以上系统时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种全链接检查方法，其特征在于，包括：

获取服务器上记录的客户端请求的网址及请求参数；

提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据；

根据每个字典数据的字段，将所述字典数据插入到数据库中；

基于域名对所述字典数据进行分类并排重；

获取排重后剩余的字典数据的域名下的第二目标参数；

将所述第二目标参数保存至本地文件中；

提取所述本地文件中的第二目标参数，并封装成请求URL；

基于请求方式对所述请求URL进行分类；

对相同请求方式的请求URL进行循环请求验证；

获取并向目标对象发送未通过验证的请求URL对应的接口及相关信息。

2.根据权利要求1所述的全链接检查方法，其特征在于，所述提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据，包括：

基于时间节点将所述客户端请求的网址及请求参数分割为基本数据结构；

通过所述客户端请求的网址及请求参数的域名，对分割后的客户端请求的网址及请求参数进行分类；

基于分类结果，调取目标类型的参数，记为第一目标参数，将所述目标参数封装成字典数据。

3.根据权利要求1所述的全链接检查方法，其特征在于，在封装成请求URL之后，还包括：

采用预设的URL白名单对封装成的请求URL进行过滤；

所述基于请求方式对所述请求URL进行分类，具体为：

基于请求方式对采用白名单过滤后的请求URL进行分类。

4.根据权利要求3所述的全链接检查方法，其特征在于，基于预设的URL白名单对封装成的请求URL进行过滤之后，还包括：

获取采用白名单过滤后的请求URL对应的请求接口的登陆状态；

所述对相同请求方式的请求URL进行循环请求验证，具体为：

对登陆状态已登陆的、相同请求方式的请求URL进行循环请求验证。

5.根据权利要求1所述的全链接检查方法，其特征在于，所述将所述第二目标参数保存至本地文件中之后，还包括：

判断服务器的版本号是否发生改变，如果发生改变，执行后续动作：提取所述本地文件中的第二目标参数，并封装成请求URL。

6.一种全链接检查装置，其特征在于，包括：

服务器交互单元，用于获取服务器上记录的客户端请求的网址及请求参数；提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据；根据每个字典数据的字段，将所述字典数据插入到数据库中；

数据库交互单元，用于基于域名对所述字典数据进行分类并排重；获取排重后剩余的字典数据的域名下的第二目标参数；将所述第二目标参数保存至本地文件中；

校验单元，用于提取所述本地文件中的第二目标参数，并封装成请求URL；基于请求方式对所述请求URL进行分类；对相同请求方式的请求URL进行循环请求验证；

目标对象交互单元，用于获取并向目标对象发送未通过验证的请求URL对应的接口及相关信息。

7.根据权利要求6所述的全链接检查装置，其特征在于，所述服务器交互单元在提取所述客户端请求的网址及请求参数中的第一目标参数并生成字典数据时，具体用于：

基于时间节点将所述客户端请求的网址及请求参数分割为基本数据结构；

通过所述客户端请求的网址及请求参数的域名，对分割后的客户端请求的网址及请求参数进行分类；

基于分类结果，调取目标类型的参数，记为第一目标参数，将所述目标参数封装成字典数据。

8.根据权利要求6所述的全链接检查装置，其特征在于，所述校验单元在封装成请求URL之后，还用于：

采用预设的URL白名单对封装成的请求URL进行过滤；

所述基于请求方式对所述请求URL进行分类，具体为：

基于请求方式对采用白名单过滤后的请求URL进行分类。

9.根据权利要求8所述的全链接检查装置，其特征在于，所述校验单元基于预设的URL白名单对封装成的请求URL进行过滤之后，还用于：

获取采用白名单过滤后的请求URL对应的请求接口的登陆状态；

所述对相同请求方式的请求URL进行循环请求验证，具体为：

对登陆状态已登陆的、相同请求方式的请求URL进行循环请求验证。

10.根据权利要求6所述的全链接检查装置，其特征在于，所述将所述第二目标参数保存至本地文件中之后，还包括：

判断服务器的版本号是否发生改变，如果发生改变，执行后续动作：提取所述本地文件中的第二目标参数，并封装成请求URL。

Images