CN104102697A - 管理web应用中外链的方法及装置 - Google Patents

Abstract

本发明涉及一种管理web应用中外链的方法，包括：获取输入的web应用的网络地址；通过网络爬虫递归抓取所述网络地址下包含的内部链接，提取所述网络地址和所述内部链接对应的网页包含的外部链接；抓取所述外部链接对应的网页内容，根据所述网页内容获取所述外部链接对应的类型及链接信息，所述链接信息包括标题、摘要信息和/或其对应的内部链接；展示所述外部链接及其链接信息。此外，还包括一种管理web应用中外链的装置。上述管理web应用中外链的方法及装置能够提高操作的便利性，也为web应用的管理员发现恶意外链提供了便捷。

Description

管理web应用中外链的方法及装置

技术领域

本发明涉及网络技术领域，特别是涉及一种管理web应用中外链的方法及装置。

背景技术

传统技术中，web应用中的外链即为外部链接的简称，与之相对的即为内部链接。用户点击内部链接，则web应用返回相应的页面，而若用户点击外部链接，则用户会向该外部链接对应的服务器发起访问请求。

然而，外部链接对应的页面并不属于该web应用，因此其安全性得不到保障。现有技术中缺乏对web应用中外链的管理手段。当web应用的管理人员希望去了解其web应用包含有哪些外链时，通常需要管理人员手动去查询web应用的源代码，使得操作的便利性不足。

发明内容

基于此，有必要提供一种能提高操作的便利性的管理web应用中外链的方法。

一种管理web应用中外链的方法，包括：

获取输入的web应用的网络地址；

通过网络爬虫递归抓取所述网络地址下包含的内部链接，提取所述网络地址和所述内部链接对应的网页包含的外部链接；

抓取所述外部链接对应的网页内容，根据所述网页内容获取所述外部链接对应的类型及链接信息，所述链接信息包括标题、摘要信息和/或其对应的内部链接；

展示所述外部链接及其链接信息。

在其中一个实施例中，所述通过网络爬虫递归抓取所述网络地址下包含的内部链接，提取所述网络地址和所述内部链接对应的网页包含的外部链接的步骤包括：

将所述网络地址作为目标地址；

遍历提取所述目标地址下包含的链接，判断所述链接是否为内部链接，若是，则将所述内部链接作为目标地址，并递归执行所述遍历提取所述目标地址下包含的链接的步骤。

在其中一个实施例中，所述抓取所述外部链接对应的网页内容的步骤为：

在沙盒环境下抓取所述外部链接对应的网页内容。

在其中一个实施例中，所述链接信息还包括外部链接对应的阻止访问状态；

所述展示所述外部链接及其链接信息的步骤之后还包括：

获取输入的配置指令及其对应的外部链接，根据所述配置指令配置所述外部链接的阻止访问状态。

在其中一个实施例中，所述方法还包括：

接收网络访问请求，获取其对应的内链地址，查找所述内链地址包含的外链地址的阻止访问状态，判断所述阻止访问状态是否为阻止，若是，则将所述网络访问请求重定向至错误提示页面。

此外，还有必要提供一种能提高操作的便利性的管理web应用中外链的装置。

一种管理web应用中外链的装置，包括：

应用地址获取模块，用于获取输入的web应用的网络地址；

外部链接抓取模块，用于通过网络爬虫递归抓取所述网络地址下包含的内部链接，提取所述网络地址和所述内部链接对应的网页包含的外部链接；

链接信息获取模块，用于抓取所述外部链接对应的网页内容，根据所述网页内容获取所述外部链接对应的类型及链接信息，所述链接信息包括标题、摘要信息和/或其对应的内部链接；

外部链接展示模块，用于展示所述外部链接及其链接信息。

在其中一个实施例中，所述外部链接抓取模块还用于将所述网络地址作为目标地址；遍历提取所述目标地址下包含的链接，判断所述链接是否为内部链接，若是，则将所述内部链接作为目标地址，并递归遍历提取所述目标地址下包含的链接。

在其中一个实施例中，所述链接信息获取模块还用于在沙盒环境下抓取所述外部链接对应的网页内容。

在其中一个实施例中，所述链接信息还包括外部链接对应的阻止访问状态；

所述外部链接展示模块还用于获取输入的配置指令及其对应的外部链接，根据所述配置指令配置所述外部链接的阻止访问状态。

在其中一个实施例中，所述装置还包括请求过滤模块，用于接收网络访问请求，获取其对应的内链地址，查找所述内链地址包含的外链地址的阻止访问状态，判断所述阻止访问状态是否为阻止，若是，则将所述网络访问请求重定向至错误提示页面。

上述管理web应用中外链的方法及装置中，用户只需输入web应用对应的网络地址，即可通过网络爬虫获取到web应用下所有的外部链接以及相应的链接信息，从而可方便快捷地了解到该web应用下的外链的安全情况，并根据展示的外链及其链接信息对web应用中页面上的外面进行修改，而无需手动查阅web应用的源代码，从而提高了操作的便利性。同时，也为web应用的管理员发现恶意外链提供了便捷。

附图说明

图1为一个实施例中管理web应用中外链的方法的流程图；

图2为一个实施例中管理web应用中外链的装置的结构示意图；

图3为另一个实施例中管理web应用中外链的装置的结构示意图。

具体实施方式

如图1所示，在一个实施例中，一种管理web应用中外链的方法，该方法的执行依赖于计算机程序，可运行于基于冯洛伊曼体系的计算机系统上，该计算机系统可以是具有网关功能的计算机设备。

该方法包括：

步骤S102，获取输入的web应用的网络地址。

在本实施例中，web应用发布在远程服务器上。web应用的网络地址即为部署该web应用的远程服务器的IP地址或域名。

例如，一个小型企业内部可假设有子网，该子网通过运行本方法的网关与外网连接。远程服务器可以放置于外网的服务器托管中心的机房中。基于web的应用系统(web应用)可部署在该远程服务器上，部署后通过域名服务商可将该远程服务器的IP地址与相应的域名绑定，用户通过该域名即可访问该web应用。该方法还可运行于web应用服务器托管中心的机房所在的网关设备上。部署多个web应用的多个服务器可放置在该机房中，通过该网关设备构成子网并与外网连接。互联网用户对web应用的访问均需要通过该网关设备的转发才能抵达相应的web应用服务器。

步骤S104，通过网络爬虫递归抓取网络地址下包含的内部链接，提取网络地址和内部链接对应的网页包含的外部链接。

网络爬虫即网络蜘蛛，为一种抓取网页内容的计算机程序。可通过网页的链接地址来寻找网页，从网站某一个页面(通常是首页)开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络爬虫就可以用这个原理把互联网上所有的网页都抓取下来。

在本实施例中，通过网络爬虫递归抓取网络地址下包含的内部链接，提取网络地址和内部链接对应的网页包含的外部链接的步骤包括：

将网络地址作为目标地址；遍历提取目标地址下包含的链接，判断链接是否为内部链接，若是，则将内部链接作为目标地址，并递归执行遍历提取目标地址下包含的链接的步骤。

也就是说，网络爬虫在抓取到目标地址对应的网页内容后，提取该网页内容中包含的全部链接地址，该链接地址包括外部链接和内部链接两种，对于内部链接，则将其作为目标地址以递归的方式获取其对应的网页内容，提取包含的全部链接地址，而对于外部链接，则可将其存储在外链数据库中，而无需对其进行递归抓取操作。

需要说明的是，可通过比对提取到的链接地址的字符串和输入的web应用的网络地址的字符串判断是否为提取到的链接地址为内部链接还是外部链接，若提取到的链接地址的字符串以输入的web应用的网络地址作为起始或以“/”“./”作为起始，则该提取到的链接地址即为内部链接，反之，则为外部链接。

例如，若输入的web应用的网络地址为：www.abc.com，而提取到的链接地址为：./media/js/globle.js或www.abc.com/media/js/globle.js，则提取到的链接地址为内部链接，而若提取到的链接地址为：http://www.def.com/index.html，则该链接地址为外部链接。

优选的对于后缀为.js、.jpg或.css等资源型的内部链接，可跳过对其进行抓取，从而节省时间。

步骤S106，抓取外部链接对应的网页内容，根据网页内容获取外部链接对应的类型及链接信息，链接信息包括标题、摘要信息和/或其对应的内部链接。

外部链接的类型可包括病毒、钓鱼、赌博、木马、欺诈、恶意广告和友情链接等。在本实施例中，可根据抓取到的外部链接对应的网页内容中包含的关键字来判断该外部链接的类型。

例如，若抓取到的外部链接对应的网页内容中包含有“私服”、“推广”等关键字，则可判定该外部链接为游戏推广的恶意链接，其类型即为恶意广告，若其网页内容中包含有“六合彩”、“投注”等关键字，则可判定该外部链接对应赌博网站，其类型即为赌博。

优选的，还可在沙盒环境下抓取外部链接对应的网页内容。沙盒(sandbox)环境即沙箱环境，计算机程序可在沙箱环境中独立运行，而不会对沙盒外的内存空间或存储空间产生影响。在沙盒环境下抓取外部链接可避免抓取到的网页内容中的恶意程序造成危害，从而提高安全性。

在本实施例中，还可预先根据url库判断外部链接的类型。例如，可在病毒库或木马库中查找该外部链接，若存在，则该外部链接的类型即为病毒或木马。

步骤S108，展示外部链接及其链接信息。

如表1所示：

表1

链接信息可包含外部链接的url(网络地址)、包含该外部链接的内部链接的地址、抓取到的该外部链接的标题或摘要、页面大小(抓取到的外部链接对应的页面的大小)、文件类型(抓取到的外部链接对应的网络资源的文件类型)、外链类型(经过前述步骤S106判断后得到该外部链接的类型信息)和阻止访问状态。需要说明的是，本方法的实际应用场景中，可以多种形式展示外部链接以及外部链接的链接信息，而不仅限于上述表1的形式。

在一个应用场景中，web应用的管理人员可通过登陆运行该方法的网关设备然后输入该web应用的网络地址，该网关设备则执行上述步骤S102至S108，并将该web应用中的所有的外部链接展示给该管理人员，该管理人员则可了解到该web应用上的外链情况，对于包含有病毒、木马、钓鱼网站的外部链接的内链，管理人员则可远程登陆其web应用对应的远程服务器，将该外部链接在相应的内链对应的页面上删除。

在本实施例中，管理人员还可对通过输入配置指令对外部链接的链接信息进行修改，例如，机器判断可能存在误判的情况，管理人员可通过手动地输入配置指令更改外部链接的类型。

在本实施例中，进一步的，展示外部链接及其链接信息的步骤之后还包括：

获取输入的配置指令及其对应的外部链接，根据配置指令配置所述外部链接的阻止访问状态。

进一步的，还可接收网络访问请求，获取其对应的内链地址，查找内链地址包含的外链地址的阻止访问状态，判断阻止访问状态是否为阻止，若是，则将网络访问请求重定向至错误提示页面。

如表1所示，外部链接的链接信息中还包含有阻止访问状态(表1种的是否阻断列)。在本实施例中，该方法运行于web应用服务器托管中心的机房所在的网关设备上。部署多个web应用的多个服务器可放置在该机房中，通过该网关设备构成子网并于外网连接。互联网用户对web应用的访问均需要通过该网关设备的转发才能抵达相应的web应用服务器。

若该网关设备接收到互联网用户向托管中心子网内的web应用的服务器发起的网络访问请求，则获取该网络访问请求访问的页面的链接地址(必然是内链地址)，然后查找该内链地址包含的页面上对应的外链地址，若存在某个外链地址的阻止访问状态为阻断，则禁止该用户访问该页面，并跳转到错误提示页面提示用户该页面存在安全风险。

例如，若互联网用户在访问web应用时，若点击了该web应用中的/user/info.htm页面，则发起的网页访问请求中包含内链地址/user/info.htm，由表1可看出，该内链地址包含外链地址www.1232.com/32.html，而该外链地址的阻止访问状态为是，因此，该互联网用户无法访问/user/info.htm的页面。

在本实施例中，用户也可手动的对外部链接的阻止访问状态进行修改，通过输入配置指令对其进行配置。例如，托管中心的管理员也可通过手动将某些外链地址的阻止访问状态更改为阻断，从而防止互联网用户访问该被阻断的外链地址所在的页面。

在一个实施例中，如图2所示，一种管理web应用中外链的装置，包括应用地址获取模块102、外部链接抓取模块104、链接信息获取模块106和外部链接展示模块108，其中：

应用地址获取模块102，用于获取输入的web应用的网络地址。

外部链接抓取模块104，用于通过网络爬虫递归抓取网络地址下包含的内部链接，提取网络地址和内部链接对应的网页包含的外部链接。

链接信息获取模块106，用于抓取外部链接对应的网页内容，根据网页内容获取外部链接对应的类型及链接信息，链接信息包括标题、摘要信息和/或其对应的内部链接。

外部链接展示模块108，用于展示外部链接及其链接信息。

在本实施例中，外部链接抓取模块104还用于将网络地址作为目标地址；遍历提取目标地址下包含的链接，判断链接是否为内部链接，若是，则将内部链接作为目标地址，并递归遍历提取目标地址下包含的链接。

在本实施例中，链接信息获取模块106还用于在沙盒环境下抓取外部链接对应的网页内容。

在本实施例中，链接信息还包括外部链接对应的阻止访问状态。

外部链接展示模块108还用于获取输入的配置指令及其对应的外部链接，根据配置指令配置外部链接的阻止访问状态。

在一个实施例中，如图3所示，管理web应用中外链的装置还包括请求过滤模块110，用于接收网络访问请求，获取其对应的内链地址，查找内链地址包含的外链地址的阻止访问状态，判断阻止访问状态是否为阻止，若是，则将网络访问请求重定向至错误提示页面。

上述管理web应用中外链的方法及装置中，用户只需输入web应用对应的网络地址，即可通过网络爬虫获取到web应用下所有的外部链接以及相应的链接信息，从而可方便快捷地了解到该web应用下的外链的安全情况，并根据展示的外链及其链接信息对web应用中页面上的外面进行修改，而无需手动查阅web应用的源代码，从而提高了操作的便利性。同时，也为web应用的管理员发现恶意外链提供了便捷。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种管理web应用中外链的方法，包括：

获取输入的web应用的网络地址；

通过网络爬虫递归抓取所述网络地址下包含的内部链接，提取所述网络地址和所述内部链接对应的网页包含的外部链接；

抓取所述外部链接对应的网页内容，根据所述网页内容获取所述外部链接对应的类型及链接信息，所述链接信息包括标题、摘要信息和/或其对应的内部链接；

展示所述外部链接及其链接信息。

2.根据权利要求1所述的管理web应用中外链的方法，其特征在于，所述通过网络爬虫递归抓取所述网络地址下包含的内部链接，提取所述网络地址和所述内部链接对应的网页包含的外部链接的步骤包括：

将所述网络地址作为目标地址；

遍历提取所述目标地址下包含的链接，判断所述链接是否为内部链接，若是，则将所述内部链接作为目标地址，并递归执行所述遍历提取所述目标地址下包含的链接的步骤。

3.根据权利要求1所述的管理web应用中外链的方法，其特征在于，所述抓取所述外部链接对应的网页内容的步骤为：

在沙盒环境下抓取所述外部链接对应的网页内容。

4.根据权利要求1所述的管理web应用中外链的方法，其特征在于，所述链接信息还包括外部链接对应的阻止访问状态；

所述展示所述外部链接及其链接信息的步骤之后还包括：

获取输入的配置指令及其对应的外部链接，根据所述配置指令配置所述外部链接的阻止访问状态。

5.根据权利要求4所述的管理web应用中外链的方法，其特征在于，所述方法还包括：

接收网络访问请求，获取其对应的内链地址，查找所述内链地址包含的外链地址的阻止访问状态，判断所述阻止访问状态是否为阻止，若是，则将所述网络访问请求重定向至错误提示页面。

6.一种管理web应用中外链的装置，其特征在于，包括：

应用地址获取模块，用于获取输入的web应用的网络地址；

外部链接抓取模块，用于通过网络爬虫递归抓取所述网络地址下包含的内部链接，提取所述网络地址和所述内部链接对应的网页包含的外部链接；

链接信息获取模块，用于抓取所述外部链接对应的网页内容，根据所述网页内容获取所述外部链接对应的类型及链接信息，所述链接信息包括标题、摘要信息和/或其对应的内部链接；

外部链接展示模块，用于展示所述外部链接及其链接信息。

7.根据权利要求6所述的管理web应用中外链的装置，其特征在于，所述外部链接抓取模块还用于将所述网络地址作为目标地址；遍历提取所述目标地址下包含的链接，判断所述链接是否为内部链接，若是，则将所述内部链接作为目标地址，并递归遍历提取所述目标地址下包含的链接。

8.根据权利要求6所述的管理web应用中外链的装置，其特征在于，所述链接信息获取模块还用于在沙盒环境下抓取所述外部链接对应的网页内容。

9.根据权利要求6所述的管理web应用中外链的装置，其特征在于，所述链接信息还包括外部链接对应的阻止访问状态；

所述外部链接展示模块还用于获取输入的配置指令及其对应的外部链接，根据所述配置指令配置所述外部链接的阻止访问状态。

10.根据权利要求9所述的管理web应用中外链的装置，其特征在于，所述装置还包括请求过滤模块，用于接收网络访问请求，获取其对应的内链地址，查找所述内链地址包含的外链地址的阻止访问状态，判断所述阻止访问状态是否为阻止，若是，则将所述网络访问请求重定向至错误提示页面。