CN104679747B

CN104679747B - 一种网址重定向的检测装置及方法

Info

Publication number: CN104679747B
Application number: CN201310613812.9A
Authority: CN
Inventors: 刘健
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2013-11-26
Filing date: 2013-11-26
Publication date: 2020-03-17
Anticipated expiration: 2033-11-26
Also published as: CN104679747A

Abstract

本发明提出一种网址重定向的检测装置及方法，其中装置包括：浏览器插件模块，所述浏览器插件模块以插件的形式设置在网页浏览器中，用于在所述网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前，获取当前页面地址、当前页面的引用页面地址以及当前页面的父页面地址，判断获取的内容是否同时满足如下2个条件：条件1：当前页面的引用页面地址非空；条件2：当前页面地址等于当前页面的父页面地址；如果是，则判定所述当前页面的引用页面地址向当前页面地址存在跳转关系，将所述跳转关系发送至跳转关系数据库；跳转关系数据库，用于接收并保存所述跳转关系。本发明能够检测出通过HTML内容实现的网址重定向。

Description

一种网址重定向的检测装置及方法

技术领域

本发明涉及网址重定向技术领域，尤其涉及一种网址重定向的检测装置及方法。

背景技术

网址重定向，俗称网址跳转，是指当用户输入网址A进行访问时，浏览器会自动跳转到网址B，向用户展示网址B的内容。

准确识别网址跳转，建立全面的网址跳转关系数据库，对于自动网站分类、索引、网站安全性检测等方面具有重要意义。例如，在检测网站是否安全时，通常需要下载网站的HTML文件做分析，恶意网站可能通过在HTML中嵌入跳转代码，使得基于当前HTML内容的检测无法探测到任何恶意内容；又如，搜索引擎在索引网站时，如果不能正确探测页面存在的跳转，也可能将用户错误地引导至不安全的网站。比如钓鱼网站制作者在页面HTML中包含大量常见的搜索关键词，但是页面中嵌入了导致跳转至真正钓鱼网站的Javascript代码(简称JS代码)，如果搜索引擎不能识别此类跳转，很可能在搜索结果中出现这些跳转网站而误导用户。

目前，实现网址跳转通常有两类方法：

一是通过HTTP头返回的状态码指定，例如301跳转，302跳转等状态码实现跳转。

二是通过HTML内容实现。比如meta标签指定：

或者执行JS代码实现跳转：

window.location="http://example.com"。

对于第一类网址跳转，通常容易识别，只需要获取并分析HTTP头即可；对于第二类网址跳转，可以通过对HTML内容做静态分析，从而解析出跳转目的URL的字符串，但是，这种静态分析方式很容易被恶意网站制作者通过字符串的拼接、加密等手段绕过。

发明内容

本发明提供了一种网址重定向的检测装置，能够检测出通过HTML内容实现的网址重定向。

本发明还提供了一种网址重定向的检测方法，能够检测出通过HTML内容实现的网址重定向。

本发明的技术方案是这样实现的：

一种网址重定向的检测装置，包括：

浏览器插件模块，所述浏览器插件模块以插件的形式设置在网页浏览器中，用于在所述网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前，获取当前页面地址、当前页面的引用页面地址以及当前页面的父页面地址，判断获取的内容是否同时满足如下2个条件：

条件1：当前页面的引用页面地址非空；

条件2：当前页面地址等于当前页面的父页面地址；

如果是，则判定所述当前页面的引用页面地址向当前页面地址存在跳转关系，将所述跳转关系发送至跳转关系数据库；

跳转关系数据库，用于接收并保存所述跳转关系。

上述装置中，网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前具体可以为：所述网页浏览器下载到当前页面内容之后、并在所述当前页面的文件对象模型（DOM）树建立之前。

上述装置还可以包括HTTP头跳转检测模块，用于抓取给定页面返回的HTTP头，根据所述HTTP头中的状态码判断是否存在跳转，如果是，则获取所述HTTP头中的跳转地址，得到所述给定页面的地址向所述跳转地址的跳转关系，将所述跳转关系发送至跳转关系数据库；

所述跳转关系数据库用于接收并保存所述跳转关系，还用于根据自身保存的跳转关系建立包括多个页面地址的跳转关系链条。

上述装置还可以包括：页面地址发送模块，用于将页面地址发送至HTTP头跳转检测模块及所述浏览器插件模块所属的网页浏览器；

所述HTTP头跳转检测模块抓取该页面返回的HTTP头，并判断及获取跳转关系。

浏览器插件模块还可以用于，当确定跳转关系后，将所述跳转关系中的当前页面地址发送至所述HTTP头跳转检测模块；

所述HTTP头跳转检测模块抓取该当前页面返回的HTTP头，并判断及获取跳转关系。

一种网址重定向的检测方法，包括：

在网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前，获取当前页面地址、当前页面的引用页面地址以及当前页面的父页面地址，判断获取的内容是否同时满足如下2个条件：

条件1：当前页面的引用页面地址非空；

条件2：当前页面地址等于当前页面的父页面地址；

如果是，则判定所述当前页面的引用页面地址向当前页面地址存在跳转关系，保存该跳转关系。

上述方法中，网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前具体可以为：所述网页浏览器下载到当前页面内容之后、并在所述当前页面的文件对象模型DOM树建立之前。

上述方法还可以包括：

抓取给定页面返回的HTTP头，根据所述HTTP头中的状态码判断是否存在跳转，如果是，则获取所述HTTP头中的跳转地址，得到所述给定页面的地址向所述跳转地址的跳转关系，保存该跳转关系；

根据保存的跳转关系建立包括多个页面地址的跳转关系链条。

上述方法中，给定页面可以为所述跳转关系中的当前页面地址所对应的页面。

可见，本发明提出的网址重定向的检测装置及方法，通过在网页浏览器中设置插件，能够完全模拟用户真实的上网环境，避免文本字符串拼接、加密等对检测造成的影响，从而检测出通过HTML内容实现的网址重定向。

附图说明

图1为本发明提出的网址重定向的检测装置的结构示意图；

图2为实施例二中获取到的HTTP头示意图；

图3为实施例三和四中检测的多次网址重定向示意图。

具体实施方式

本发明提出一种网址重定向的检测装置，如图1为该装置的结构示意图，包括：

浏览器插件模块101，以插件的形式设置在网页浏览器中，用于在网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前，获取当前页面地址、当前页面的引用页面地址以及当前页面的父页面地址，判断获取的内容是否同时满足如下2个条件：

条件1：当前页面的引用页面地址非空；

条件2：当前页面地址等于当前页面的父页面地址；

如果是，则判定所述当前页面的引用页面地址向当前页面地址存在跳转关系，将所述跳转关系发送至跳转关系数据库102；

跳转关系数据库102，用于接收并保存所述跳转关系。

上述装置中，网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前具体可以为：网页浏览器下载到当前页面内容之后、并在当前页面的DOM树建立之前。

通过浏览器插件模块101能够检测出利用HTML内容实现的网址重定向。

上述装置还可以包括HTTP头跳转检测模块103，用于抓取给定页面返回的HTTP头，根据所述HTTP头中的状态码判断是否存在跳转，如果是，则获取所述HTTP头中的跳转地址，得到所述给定页面的地址向所述跳转地址的跳转关系，将所述跳转关系发送至跳转关系数据库102；

跳转关系数据库102接收并保存所述跳转关系。

通过HTTP头跳转检测模块103能够检测出利用HTTP头实现的网址重定向。

跳转关系数据库102可以根据自身保存的跳转关系建立包括多个页面地址的跳转关系链条。

上述装置还可以包括：页面地址发送模块104，用于将页面地址发送至HTTP头跳转检测模块103及所述浏览器插件模块101所属的网页浏览器；

相应的，上述HTTP头跳转检测模块103所针对的给定页面也就是其接收的页面地址所对应的页面；浏览器插件模块101也可以在网页浏览器执行页面跳转之后检测出跳转关系。

另外，浏览器插件模块101还可以用于，当确定跳转关系后，将上述跳转关系中的当前页面地址（也就是该跳转关系中的目的地址）发送至所述HTTP头跳转检测模块；

相应的，上述HTTP头跳转检测模块103所针对的给定页面也可以是该当前页面地址所对应的页面，从而检测该页面是否进一步向其他的页面跳转。

以下举具体的实施例详细介绍。

实施例一：

本实施例介绍浏览器插件模块检测跳转关系的具体方式。浏览器插件模块能够检测出利用HTML内容实现的网址重定向。

目前主流的网页浏览器都支持使用插件以扩展浏览器功能。通过使用IE的ActiveX插件或Firefox/Chrome的网景插件应用程序编程接口（NPAPI）插件，可以方便地获取访问页面生成的文件对象模型（DOM，Document Object Model）树和各类属性值。本发明通过自定义的浏览器插件模块实现以下功能：

在当前页面DOM树构建之前，获取当前页面地址URL L（即window.location.href属性值）、当前页面的引用页面地址URL R（即window.document.referrer属性值）和当前页面的父页面地址URL P（window.parent.document.location.href属性值）。

当URL L与URL P不相等时，说明当前页面是以子页面形式存在的（比如URL L通过iframe标签内嵌在URL P的页面）。

如果URL R非空且URL L等于URL P，则说明是通过HTML内容实现跳转，则可以确定URL R至URL L的跳转关系，可以记录为（URL R,URL L），将该跳转关系发送至跳转关系数据库；同时可以将URL L发送到HTTP头跳转检测模块做进一步探测。

采用浏览器插件的方法，可以完全模拟用户真实上网环境，简单的文本字符串拼接、加密也不会对检测结果造成影响，从而增强了跳转检测的准确性。

实施例二：

本实施例介绍HTTP头跳转检测模块检测跳转关系的具体方式。HTTP头跳转检测模块能够检测出利用HTTP头实现的网址重定向。

HTTP头跳转检测模块抓取给定页面返回的HTTP头，分析其中的状态码与跳转地址，如给定URL为http://url.cn/4f7bXM，获取到的HTTP头如图2所示。

在图2中，HTTP头存在状态码302，表明该网页存在跳转；再获取HTTP头中的跳转地址http://qq.com，从而得到网页地址http://url.cn/4f7bXM向网页地址http://qq.com的跳转关系，并将该跳转关系发送至跳转关系数据库保存。

通过结合上述两种方式，可以检测出通过多种跳转方法实现的多次网址重定向，以下举实施例三和四进行详细说明。如图3为实施例三和四检测的多次网址重定向示意图。如图3所示，页面A利用HTTP头重定向至页面B，页面B利用HTML内容重定向至页面C，页面C利用HTTP头重定向至页面D，页面D利用HTML内容重定向至页面E。

实施例三：

本实施例包括以下步骤：

步骤301：页面地址发送模块将页面A的地址URL A发送至HTTP头跳转检测模块，HTTP头跳转检测模块根据网页A返回的HTTP头检测出跳转关系（URL A，URL B），将该跳转关系发送至跳转关系数据库。

步骤302：页面地址发送模块将页面A的地址URL A发送至浏览器插件模块所属的浏览器，浏览器接收到URL A后，跳转至页面B，由于A向B的跳转是利用HTTP头实现的，不存在引用页面信息，因此浏览器插件模块检测不到该跳转。

之后，继续跳转至页面C，浏览器插件模块获取到当前页面地址URL C、当前页面的引用页面地址URL B以及当前页面的父页面地址，判断出当前页面的引用页面地址非空并且当前页面地址等于当前页面的父页面地址；因此得到跳转关系（URL B，URL C），将该跳转关系发送至跳转关系数据库。

之后，继续跳转至页面D，由于C向D的跳转是利用利用HTTP头实现的，不存在引用页面信息，因此浏览器插件模块检测不到该跳转。

之后，继续跳转至页面E，浏览器插件模块获取到当前页面地址URL E、当前页面的引用页面地址URL D以及当前页面的父页面地址，判断出当前页面的引用页面地址非空并且当前页面地址等于当前页面的父页面地址；因此得到跳转关系（URL D，URL E），将该跳转关系发送至跳转关系数据库。

步骤303：页面地址发送模块将页面C的地址URL C发送至HTTP头跳转检测模块，HTTP头跳转检测模块根据网页C返回的HTTP头检测出跳转关系（URL C，URL D），将该跳转关系发送至跳转关系数据库。

步骤304：跳转关系数据库根据其接收并保存的跳转关系：（URL A，URL B）、（URLB，URL C）、（URL D，URL E）、（URL C，URL D），得到跳转关系链条，即：A——>B——>C——>D——>E。

上述过程中，各个步骤之间不存在先后关系，步骤301至303是三个独立的步骤。并且，跳转关系链条的建立是一个逐步完善的过程，跳转关系数据库可以每收到一个新的跳转关系时都重新检查并完善跳转关系链条；随着跳转关系数据库接收的跳转关系越来越多，其建立的跳转关系链条也越来越完整；上述步骤304采用了较为简便的描述方式，实际应用中无需等待接收到所有跳转关系后再建立跳转关系链条。

实施例四：

在本实施例中，当浏览器插件模块检测到跳转关系时，将跳转关系中的目的页面地址发送至HTTP头跳转检测模块，由HTTP头跳转检测模块检测该目的页面是否继续向其他页面跳转。包括以下步骤：

步骤401：同步骤301。

步骤402：与上述步骤302基本相同，不同点在于，步骤402还包括：当检测出跳转关系（URL B，URL C）时，浏览器插件模块将URL C发送至HTTP头跳转检测模块；当检测出跳转关系（URL D，URL E）时，浏览器插件模块将URL E发送至HTTP头跳转检测模块。

步骤403：HTTP头跳转检测模块根据网页C返回的HTTP头检测出跳转关系（URL C，URL D），将该跳转关系发送至跳转关系数据库。HTTP头跳转检测模块没有检测出与URL E相关的跳转关系。

步骤404：同步骤304。

同样的，上述过程中，步骤401和步骤402之间不存在先后关系。并且，跳转关系链条的建立是一个逐步完善的过程，实际应用中无需等待接收到所有跳转关系再建立跳转关系链条。

采用上述装置，本发明提出的一种网址重定向的检测方法，包括：

条件1：当前页面的引用页面地址非空；

条件2：当前页面地址等于当前页面的父页面地址；

上述方法中，网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前具体可以为：所述网页浏览器下载到当前页面内容之后、并在所述当前页面的DOM树建立之前。

上述方法还可以包括：

上述方法中，给定页面可以已经确定的跳转关系中的当前页面地址所对应的页面。

综上所述，本发明提出的网址重定向的检测装置及方法，通过在网页浏览器中设置插件，能够完全模拟用户真实的上网环境，避免文本字符串拼接、加密等对检测造成的影响，从而检测出通过HTML内容实现的网址重定向。并且，通过对检测出的多个跳转关系进行检查和链接，能够得到包括多个页面地址的跳转关系链条，从而检测出多次跳转的情况。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种网址重定向的检测装置，其特征在于，所述装置包括：浏览器插件模块和HTTP头跳转检测模块，

所述浏览器插件模块以插件的形式设置在网页浏览器中，用于在所述网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前，获取当前页面地址、当前页面的引用页面地址以及当前页面的父页面地址，判断获取的各页面地址是否同时满足如下2个条件：

条件1：当前页面的引用页面地址非空；

条件2：当前页面地址等于当前页面的父页面地址；

如果是，则确定所述当前页面的引用页面地址向当前页面地址存在第一跳转关系，将第一跳转关系中的当前页面地址发送至所述HTTP头跳转检测模块，并将所述第一跳转关系发送至跳转关系数据库；

所述HTTP头跳转检测模块，用于抓取所述当前页面返回的HTTP头，分析所述HTTP头中的状态码与跳转地址，当确定所述HTTP头中存在预设状态码时，确定目的页面地址向跳转地址存在第二跳转关系，并将所述第二跳转关系发送至跳转关系数据库；

跳转关系数据库，用于接收并保存所述第一跳转关系和所述第二跳转关系。

2.根据权利要求1所述的装置，其特征在于，所述网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前具体为：所述网页浏览器下载到当前页面内容之后、并在所述当前页面的文件对象模型DOM树建立之前。

3.根据权利要求1所述的装置，其特征在于，所述跳转关系数据库，还用于根据自身保存的第一跳转关系和第二跳转关系建立包括多个页面地址的跳转关系链条。

4.根据权利要求3所述的装置，其特征在于，所述装置还包括：

页面地址发送模块，用于将页面地址发送至HTTP头跳转检测模块及所述浏览器插件模块所属的网页浏览器；

5.根据权利要求4所述的装置，其特征在于，所述浏览器插件模块还用于，当确定跳转关系后，将所述跳转关系中的当前页面地址发送至所述HTTP头跳转检测模块；

6.一种网址重定向的检测方法，其特征在于，所述方法包括：

在网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前，获取当前页面地址、当前页面的引用页面地址以及当前页面的父页面地址，判断获取的各页面地址是否同时满足如下2个条件：

条件1：当前页面的引用页面地址非空；

条件2：当前页面地址等于当前页面的父页面地址；

如果是，则确定所述当前页面的引用页面地址向当前页面地址存在第一跳转关系，保存该第一跳转关系，并抓取所述当前页面返回的HTTP头，分析所述HTTP头中的状态码与跳转地址，当确定所述HTTP头中存在预设状态码时，确定目的页面地址向跳转地址存在第二跳转关系，并保存该第二跳转关系。

7.根据权利要求6所述的方法，其特征在于，所述网页浏览器下载到当前页面内容之后、并在执行所述当前页面内容之前具体为：所述网页浏览器下载到当前页面内容之后、并在所述当前页面的文件对象模型DOM树建立之前。

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

根据保存的第一跳转关系和第二跳转关系建立包括多个页面地址的跳转关系链条。

9.根据权利要求8所述的方法，其特征在于，给定页面为所述跳转关系中的当前页面地址所对应的页面。