CN104486140A - 一种检测网页被劫持的装置及其检测方法 - Google Patents

Abstract

本发明公开了一种检测网页被劫持的装置及其检测方法，该装置包括设置在服务器中的DNS劫持字典表和待检测任务列表，以及设置在客户端的执行检测逻辑模块；其中，所述DNS劫持字典表，存储有预设的或系统自动识别后添加的关键字；所述待检测任务列表，用于存储待检测任务的关键信息；所述执行检测逻辑模块，用于根据服务器下发的DNS劫持字典表和检测任务，对目标网址进行检测，并将检测结果输出到服务器端。采用本发明，能够高效、准确识别网页被各方劫持的手段、记录其地理分布规律及评估用户网页被劫持的比例等情况。

Description

一种检测网页被劫持的装置及其检测方法

技术领域

本发明涉及互联网领域的计算机网络安全技术，尤其涉及一种检测网页被劫持的装置及其检测方法。

背景技术

用户在浏览互联网时，经常会遇到网页被劫持的现象。所谓网页被劫持，是指用户访问一个页面时，由于各种可能的原因，没有访问到网站提供的正常的页面或页面内植入的其他网站的广告。网页被劫持的原因通常包括：用户计算机被植入病毒导致被篡改hosts文件或注册表；系统服务、浏览器被植入恶意代码；网络运营商使用篡改DNS、重定向http请求、修改http数据等各种技术手段进行篡改。

此外，还包括某些网络运营商为了自身利益，使用各种技术手段对其服务范围内的用户的网络通信进行篡改的情况。如，当用户上网时，会被劫持到运营商提供的网址导航页面或与运营商合作的网站，或在网页内植入并非网站自主发布的广告内容。对用户而言，如果用户轻信了原网站发布的内容，而进行付款等操作，可能会导致用户利益受损；对原网站企业而言，用户利益受损后会遭投诉或起诉，进而导致企业商业信誉受损。

通过对网络层的劫持数据分析，可以将劫持网页者常用的劫持技术手段分为以下几类：DNS劫持、重定向劫持、Iframe劫持等。

1）运营商通过在DNS服务器上拦截浏览器发出的域名解析请求，分析请求的域名，把审查范围以外的请求放行，否则返回虚假的IP地址，其效果是使用户访问的是虚假内容的页面或不能访问特定的页面，可以将此类劫持归类为DNS劫持。

2）在浏览器发起网络请求时，运营商的网络设备拦截一定特征的http请求，并向浏览器回应虚假的301或302重定向指令，导致浏览器访问重定向后的虚假网址，其效果是用户访问的是虚假内容的页面，可将此类劫持归类为重定向劫持。

3）在浏览器发起网络请求时，运营商的网络设备拦截一定特征的http请求，并向浏览器回应看似正常的虚假内容，其内容包含一个带iframe框架的页面和一段javascript代码，利用javascript语句植入广告或其他内容。iframe的源再指向真正的目标页面，用户看到的确实是实际网站内容, 不过在实际内容上会增加部分广告。我们将此类劫持归类为Iframe劫持。由于此类劫持仿真程度最高，很难被普通用户识别，Iframe劫持是目前运营商使用最多的一类劫持手段。

公开号为CN102594934A，名称为“一种识别被劫持网址的方法及装置”的发明申请，公开了一种依据比较通过模拟请求的最终访问网址和通过链接跳转的最终访问网址来识别被劫持网址的方法，适用于识别被病毒或浏览器的恶意插件劫持的情况。但应用该发明提出的方法，无法用于识别网页被劫持的情况，因为利用该方法，无论模拟请求还是通过链接跳转，最终访问的结果都是一致的。

发明内容

有鉴于此，本发明的主要目的在于提供一种检测网页被劫持的装置及其检测方法，以准确识别网页被各方劫持的手段、记录其地理分布规律及评估用户网页被劫持的比例等情况。此外，还可以将上述识别网页被劫持的过程中获得的数据作为证据，以备起诉劫持网页者之用。

为达到上述目的，本发明的技术方案是这样实现的：

一种检测网页被劫持的装置，该装置包括设置在服务器中的DNS劫持字典表和待检测任务列表，以及设置在客户端的执行检测逻辑模块；其中，

所述DNS劫持字典表，存储有预设的或系统自动识别后添加的关键字；

所述待检测任务列表，用于存储待检测任务的关键信息；

所述执行检测逻辑模块，用于根据服务器下发的DNS劫持字典表和检测任务，对目标网址进行检测，并将检测结果输出到服务器端。

其中，所述服务器中进一步设置有检测结果列表，用于存储客户端的执行检测逻辑模块输出的检测结果。

所述服务器根据检测结果得到超过预设频次的分词并将其更新到DNS劫持字典表中。

所述客户端能够安装在不同用户终端设备中，所述用户终端设备包括PC机、平板电脑、移动终端以及个人数字助理。

所述客户端中进一步设置有监听HTTP通信的子模块，用于记录HTTP请求信息和响应信息。

一种检测网页被劫持的检测方法，该检测方法包括：

A、服务器通过网络向客户端下发DNS劫持字典表；

B、服务器通过网络向客户端下发检测任务；

C、客户端依据预设的检测方法执行所述检测任务，并生成检测结果；

D、客户端通过网络将所述检测结果上传到服务器端进行保存。

进一步包括：E、通过服务器对检测结果进行进一步分析，并根据分析结果更新服务器的DNS劫持字典表。

其中，所述客户端依据预设的检测逻辑执行检测任务，包括：

C1、在客户端设置用于监听HTTP通信的子模块，并在该子模块内记录HTTP请求信息和响应信息；

C2、加载浏览器控件并访问指定的页面；

C3、待页面加载完毕，获取页面的现场信息，然后执行步骤C4；

C4、判断页面内容的文本与特征文本是否匹配，若不匹配，则执行步骤C5，否则，将检测结果标记为无劫持；

C5、判断页面标题或页面内容是否包含预设的关键字，若为否，则执行步骤C6，否则，将检测结果标记为存在DNS被劫持；

C6、判断HTTP信息集合内第一条记录的HTTP响应状态码是否为301或302，若为否，则执行步骤C7，若是，则将检测结果标记为重定向劫持；

C7、判断页面DOM结构内是否包含超过窗口面积预设比例的IFRAME框架，若出现超过窗口面积的预设比例的IFRAME框架，或/和该IFRAME框架的URL和页面URL类似时，则将检测结果标记为存在IFRAME劫持，否则执行步骤C8；

C8、将页面设置为疑似劫持状态，并将页面现场信息上传至服务器进行进一步分析。

其中，步骤C1中所述的客户端适用于IE浏览器、Firefox浏览器和Chrome浏览器。

所述步骤E具体包括：提取页面内容的文本，利用分词技术将页面内容分词，并统计各分词出现的频率，将超过预设频次的分词经确认后更新至服务器的DNS劫持字典表内。

本发明所提供的检测网页被劫持的装置及其检测方法，具有以下优点：

该装置通过在客户端设置执行检测逻辑模块，并设置监听HTTP通信的子模块，对预设页面特征文本与实际页面文本进行比较、依据DNS劫持的关键字列表与实际页面文本和标题进行比较、利用所述监听HTTP通信的子模块搜集HTTP信息对首条HTTP记录状态码的数值比较，以及依据页面内IFRAME的面积和URL特征与页面窗口面积和URL进行比较，综合的利用了上述技术手段，能够识别出绝大多数页面被劫持的状况，具有识别准确度高，并且保留了劫持现场的视觉证据和网络层及文档对象模型(DOM)层相关技术证据，避免了人工取证的麻烦。并且能够根据需要将所述客户端部署在不同地区的不同用户终端设备上，有利于对网页被劫持的状况的地理分布规律进行进一步分析及评估用户网页被劫持的比例等情况。

附图说明

图1为本发明实施例的检测网页被劫持的装置示意图；

图2为本发明实施例的检测网页被劫持的方法流程图；

图3为本发明实施例的客户端执行检测逻辑的过程示意图。

具体实施方式

下面结合附图及本发明的实施例对本发明检测网页被劫持的装置及其检测方法作进一步详细的说明。

图1为本发明实施例的检测网页被劫持的装置示意图。

如图1所示，本发明的检测网页被劫持的装置，分别设置在服务器和客户端。在服务器中设置DNS劫持字典表、待检测任务列表和检测结果列表。在客户端设置执行检测逻辑模块。其中：

所述DNS劫持字典表，存储有预设的或自动识别后添加的关键字，例如，典型的关键字包括：“114导航”、“上网指南”、“智能纠错”等。

所述待检测任务列表，用于存储待检测任务的关键信息，例如，该关键信息包括但不限于网页地址、网页特征文本等内容。

所述执行检测逻辑模块，用于根据服务器下发的DNS劫持字典表和检测任务，对目标网址进行检测，并将检测结果输出到服务器端。

所述检测结果列表，用于存储客户端的执行检测逻辑模块输出的检测结果。

这里，所述检测结果，包括结果状态、页面标题的文本、页面内容的文本、页面的屏幕拷贝、页面的文档对象模型（DOM）结构信息、页面访问过程中HTTP信息集合等内容。

较佳地，本发明检测网页被劫持的装置的客户端，可根据需要部署在不同地区的不同用户终端设备上。所述用户终端设备，包括PC机、平板电脑、移动终端以及个人数字助理（PDA）等。

图2为本发明实施例的检测网页被劫持的方法流程图。

如图2所示，该检测方法主要包括如下步骤。

步骤21：服务器通过网络向客户端下发DNS劫持字典表；

步骤22：服务器通过网络向客户端下发检测任务；

步骤23：客户端依据预设的检测逻辑执行检测任务，并生成检测结果；

步骤24：客户端通过网络将所述检测结果上传到服务器端进行保存；

步骤25：通过服务器对检测结果进行进一步分析。

例如：当检测结果为疑似劫持时，需提取页面内容的文本，利用分词技术将页面内容分词，并统计各分词出现的频率，将高频率的分词经确认后更新至服务器的DNS劫持字典表内。

上述步骤3所述的客户端依据预设的检测方法执行所述检测任务，具体可以是：客户端执行检测逻辑，对预设的页面特征文本与实际页面文本进行比较，进而根据页面DOM特征和网络通信特征判断页面是否被劫持。其详细过程如下文所述。

图3为本发明实施例的客户端执行检测逻辑的过程示意图。

如图3所示，该客户端执行检测逻辑的过程，包括如下步骤：

步骤31：设置用于监听HTTP通信的子模块，在该子模块内记录HTTP请求信息和响应信息，然后执行步骤32。

这里，所述设置监听HTTP通信的子模块中依赖于特定方法，不同类型的浏览器由于架构和实现方法不同，设置监听HTTP通信的子模块有不同的实现方法，技术手段依赖于浏览器的实现架构。

本发明适用于IE浏览器、Firefox浏览器和Chrome浏览器等浏览器，客户端的执行检测逻辑模块可以以扩展件的形式附加到Firefox浏览器进程或者以宿主的形式将IE、Chrome浏览器控件加载到识别进程。

当使用IE浏览器控件时，识别装置进程作为宿主将IE浏览器控件加载到进程内，然后利用HOOK API的技术接管浏览器对InternetSetStatusCallback函数的调用，在接管函数内，保存IE浏览器控件使用的回调函数地址，并设置新的HTTP通信回调函数NewCallBackProcedure。在新的回调函数NewCallBackProcedure内，首先调用原IE浏览器控件的回调函数通知IE浏览器控件HTTP通信的进度，然后记录HTTP请求和响应信息，请求信息内包含URL等信息，响应信息内包含HTTP状态码等信息。

当使用Firefox浏览器时，识别装置以扩展件的形式附加到Firefox浏览器进程，然后利用Firefox浏览器的nsIHttpActivityDistributor服务注册HTTP通信的观察器httpObserver，在观察器的observe接口内记录HTTP请求和响应信息，请求信息内包含URL等信息，响应信息内包含HTTP状态码等信息。

当使用Chrome浏览器控件时，识别装置进程作为宿主将Chrome浏览器控件加载到进程内，然后利用CEF Content API的技术获取Chrome浏览器控件HTTP通信的进度，然后记录HTTP请求和响应信息，请求信息内包含URL等信息，响应信息内包含HTTP状态码等信息。

步骤32：加载浏览器控件并访问指定的页面（即目标网址），然后执行步骤33。

这里，在访问网络时，为避免计算机内可能的病毒影响，在进程内禁用操作系统的hosts文件和DNS缓存，强制通过DNS服务器进行域名解析；为避免浏览器内可能的流氓插件影响，禁用控件加载任何浏览器插件。具体为：为避免计算机内可能的病毒影响，在访问页面前首先调用DnsFlushResolverCache函数清空操作系统的DNS缓存，然后利用HOOK API技术接管网络层对HostsFile_Open和Dns_OpenHostFile函数的调用，在接管函数内返回FALSE，使得网络层禁用操作系统的hosts文件。

当使用IE浏览器控件时，利用DCOM技术加载IWebBrowser2控件，通过IOleControl::OnAmbientPropertyChange方法禁用控件加载任何浏览器插件，并调用IWebBrowser2::Navigate方法访问指定的页面。

当使用Firefox浏览器时，利用XUL技术加载browser控件，使用XULRunner -profile参数指定全新的运行环境禁用加载任何浏览器插件，并调用browser::Navigate方法访问指定的页面。

当使用Chrome浏览器时，利用CEF Content API技术加载browser控件，使用Browser.options参数禁用加载任何浏览器插件，并调用browser::Navigate方法访问指定的页面。

步骤33：待页面加载完毕，获取页面的现场信息，然后执行步骤34。

所述现场信息包括但不限于：页面标题的文本；页面内容的文本；页面的屏幕拷贝；页面的DOM结构信息，以及页面访问过程中步骤31记录的HTTP信息集合。

页面加载完毕时，浏览器会调用页面的onLoad事件，在此事件内利用DOM操作获取页面标题的文本、页面内容的文本和页面的DOM结构信息。

当使用IE浏览器控件时，使用OleDraw函数获取页面的屏幕图像拷贝。

当使用Firefox浏览器时，使用HTML5 的 canvas 特性获取页面的屏幕图像拷贝。

当使用Chrome浏览器时，使用CEF Content API的离屏渲染特性(offline screen render)获取页面的屏幕图像拷贝。

步骤34：判断页面内容的文本与特征文本是否匹配，若不匹配，则执行步骤35，否则，将检测结果标记为无劫持。

这里，当页面内容的文本和特征文本相匹配时，判定不存在运营商劫持的情况。例如，可以利用正则表达式分析页面内容的文本和特征文本是否匹配，当页面内容的文本和特征文本匹配时，说明页面DOM结构和预期的内容一致。

所述特征文本指页面中不会变化的文字，即使页面是新闻、博客、电子商务等动态页面，特征文本也不会随时间变化而消失。特征文本通常可以设置为网页内容提供商的ISP证号、企业获取的各类互联网经营许可证号等页面特有内容。DNS劫持和重定向劫持均会导致最终页面内容和预期页面内容完全不一致，IFRAME劫持虽然在视觉上看上去最终页面内容和预期页面内容非常近似，但由于DOM结构和预期页面的DOM结构完全不同，特征文本也可以完美应用于此类劫持。

步骤35：进一步判断页面标题或页面内容是否包含预设的关键字，若为否，则执行步骤36，否则，将检测结果标记为存在DNS被劫持。

这里，所述关键字，为DNS劫持字典表内的字典数据。当其内容包含DNS劫持关键字时，则判定存在DNS劫持的情况。

例如：循环给定的关键字列表，依次在页面标题和页面内容中查找指定的关键字，当在页面标题或页面内容中找到指定的关键字时，认为存在DNS劫持的情况。

步骤36：进一步判断HTTP信息集合内第一条记录的HTTP响应状态码是否为301或302，若为否，则执行步骤37，若是，则将检测结果标记为重定向劫持。

这里，当HTTP响应状态码等于301或302时，则判定存在重定向劫持的情况。

步骤37：进一步判断页面DOM结构内是否包含超过窗口面积一定比例（如90%）的IFRAME框架，若出现超过窗口面积一定比例（如90%）的IFRAME框架，或/和该IFRAME框架的URL和页面URL类似时，则将检测结果标记为存在IFRAME劫持，否则继续执行步骤38。

具体过程为：首先获取窗口高度和宽度的像素值，计算出窗口面积，然后调用DOM方法getElementsByTagName获取当前页面内所有的IFRAME集合，循环集合内的所有的IFRAME元素，通过getAttribute方法获取IFRAME框架的高度和宽度的像素值，计算出IFRAME面积，当IFRAME面积大于窗口面积的90%时，获取IFRAME的URL和浏览器的URL进行比较，首先将两个URL拆分为路径部分和参数部分，当两个URL路径部分和参数部分完全相同或者两个URL的路径部分完全相同且浏览器的URL的参数部分全部存在于IFRAME的URL的参数部分中时，认为存在IFRAME劫持的情况。

这里，所述IFRAME框架的URL和页面URL类似，是指由于IFRAME劫持的仿真特性，IFRAME内嵌入的内容必须和预期页面一致，而劫持者，如网络运营商为了防止劫持陷入死循环，有时会在预期页面URL中加入随机参数予以识别然后在IFRAME中加以调用。

步骤38：上述步骤35～步骤37的条件均不满足，则将页面设置为疑似劫持状态，并将页面现场信息上传至服务器进行进一步分析。具体可包括：当检测结果为疑似劫持时，需提取页面内容的文本，利用分词技术将页面内容分词，并统计各分词出现的频率，将高频率（即超过预设频次，如10次以上则认为是高频率）的分词经确认后更新至服务器的DNS劫持字典表内。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种检测网页被劫持的装置，其特征在于，该装置包括设置在服务器中的DNS劫持字典表和待检测任务列表，以及设置在客户端的执行检测逻辑模块；其中，

所述DNS劫持字典表，存储有预设的或系统自动识别后添加的关键字；

所述待检测任务列表，用于存储待检测任务的关键信息；

所述执行检测逻辑模块，用于根据服务器下发的DNS劫持字典表和检测任务，对目标网址进行检测，并将检测结果输出到服务器端。

2.根据权利要求1所述的检测网页被劫持的装置，其特征在于，所述服务器中进一步设置有检测结果列表，用于存储客户端的执行检测逻辑模块输出的检测结果。

3.根据权利要求1或2所述的检测网页被劫持的装置，其特征在于，服务器根据检测结果得到超过预设频次的分词并将其更新到DNS劫持字典表中。

4.根据权利要求1所述的检测网页被劫持的装置，其特征在于，所述客户端能够安装在不同用户终端设备中，所述用户终端设备包括PC机、平板电脑、移动终端以及个人数字助理。

5.根据权利要求1或4所述的检测网页被劫持的装置，其特征在于，所述客户端中进一步设置有监听HTTP通信的子模块，用于记录HTTP请求信息和响应信息。

6.一种检测网页被劫持的检测方法，其特征在于，该检测方法包括：

A、服务器通过网络向客户端下发DNS劫持字典表；

B、服务器通过网络向客户端下发检测任务；

C、客户端依据预设的检测方法执行所述检测任务，并生成检测结果；

D、客户端通过网络将所述检测结果上传到服务器端进行保存。

7.根据权利要求6所述的检测方法，其特征在于，进一步包括：

E、通过服务器对检测结果进行进一步分析，并根据分析结果更新服务器的DNS劫持字典表。

8.根据权利要求6所述的检测方法，其特征在于，所述客户端依据预设的检测逻辑执行检测任务，包括：

C1、在客户端设置用于监听HTTP通信的子模块，并在该子模块内记录HTTP请求信息和响应信息；

C2、加载浏览器控件并访问指定的页面；

C3、待页面加载完毕，获取页面的现场信息，然后执行步骤C4；

C4、判断页面内容的文本与特征文本是否匹配，若不匹配，则执行步骤C5，否则，将检测结果标记为无劫持；

C5、判断页面标题或页面内容是否包含预设的关键字，若为否，则执行步骤C6，否则，将检测结果标记为存在DNS被劫持；

C6、判断HTTP信息集合内第一条记录的HTTP响应状态码是否为301或302，若为否，则执行步骤C7，若是，则将检测结果标记为重定向劫持；

C7、判断页面DOM结构内是否包含超过窗口面积预设比例的IFRAME框架，若出现超过窗口面积的预设比例的IFRAME框架，或/和该IFRAME框架的URL和页面URL类似时，则将检测结果标记为存在IFRAME劫持，否则执行步骤C8；

C8、将页面设置为疑似劫持状态，并将页面现场信息上传至服务器进行进一步分析。

9.根据权利要求8所述的检测方法，其特征在于，步骤C1中所述的客户端适用于IE浏览器、Firefox浏览器和Chrome浏览器。

10.根据权利要求6所述的检测方法，其特征在于，所述步骤  E包括：提取页面内容的文本，利用分词技术将页面内容分词，并统计各分词出现的频率，将超过预设频次的分词经确认后更新至服务器的DNS劫持字典表内。