CN103023712B - 网页恶意属性监测方法和系统 - Google Patents

Abstract

本发明提供了一种网页恶意属性监测方法，所述方法包括以下步骤：获取多个客户端提交的网页查询请求；根据所述网页查询请求进行网页爬虫，获取爬取的页面内容；根据所述页面内容统计网页地址的被引用值；根据所述网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测。采用本发明提供的网页恶意属性监测方法，能够提高检测的精确度。此外，还提供了一种网页恶意属性监测系统。

Description

网页恶意属性监测方法和系统

【技术领域】

本发明涉及网络技术，尤其涉及一种网页恶意属性监测方法和系统。

【背景技术】

随着网络技术的发展，越来越多的色情、欺诈钓鱼站点和挂马网站也层出不穷，严重威胁了广大网民在网上获取信息的安全。因此，在获取到页面内容并在浏览器中解析之前，需要检测网页是否含有恶意属性，如果网页含有恶意属性，则提示用户当前访问的网页为恶意网页，从而保障用户网上冲浪的安全。

传统的检测网页恶意属性的方法包括基于特征码的检测法、基于行为的检测法、沙盒过滤技术和蜜罐技术。其中：基于特征码的检测方法是通过提取恶意代码的样本，分析其特征指令序列，将特征码存储在特征码库中，在检测网页的恶意属性时，将扫描的文件与特征码库进行对比，如有文件片段与特征码匹配，则检测的网页含有恶意属性。基于行为的检测法是指通过检测程序的行为来进行判别，如在注册表启动项里添加项目、修改系统文件夹下的内容，以异常频率调用某些特殊的或平时较少见的API函数等，当检测到这些行为时，则检测的网页含有恶意属性。

由于现有大多数恶意网页中的恶意代码是用JavaScript编写的，这些恶意的JavaScript代码为了躲避检测一般都进行了混淆加密处理。面对混淆加密后的JavaScript代码，最有效的办法是沙盒过滤技术，即通过内置的HTML以及JavaScript解析引擎在一个虚拟环境下对网页中的JavaScript进行解析执行，并在解析执行过程中跟踪JavaScript代码的行为，例如创建ActiveX控件并集中大量的申请内存等，则网页含有恶意属性。

蜜罐技术包括客户端蜜罐，是指针对客户端软件可能存在的安全薄弱性，通过主动的开启客户端软件访问服务器，监控有无异常行为出现，对未知恶意程序进行跟踪分析，进而达到研究学习并保障安全的目的。客户端蜜罐主要针对的是Web浏览器和E-mail客户端，将蜜罐技术与网页爬虫技术结合，可以通过爬虫爬取网络URL来寻找可能存在的通过客户端软件执行的恶意软件。

然而，随着黑客们编写恶意代码技术的提高，恶意代码的隐蔽性也越来越强，而传统的这些网页恶意属性的检测方法都比较单一，难以及时检测出当前新出现的恶意代码，往往是在当恶意网页造成一定的危害后才能够被发现其中的特征，因此传统的检测网页恶意属性的方法精确度不高。

【发明内容】

基于此，有必要提供能够提高精确度的网页恶意属性监测方法。

一种网页恶意属性监测方法，包括以下步骤：

获取多个客户端提交的网页查询请求；

根据所述网页查询请求进行网页爬虫，获取爬取的页面内容；

根据所述页面内容统计网页地址的被引用值；

根据所述网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测。

优选的，在所述获取爬取的页面内容的步骤之后，还包括：

解析所述页面内容，提取所述页面内容中的外部链接引用信息；

所述根据页面内容统计网页地址的被引用值的步骤为：

根据所述外部链接引用信息统计网页地址的被引用值。

优选的，所述根据外部链接引用信息统计网页地址的被引用值的步骤为：

根据域名信息对网页地址进行域名分类，根据外部链接引用信息统计各域名类别下的网页地址的被引用值。

优选的，所述方法还包括：设置检测优先级与一个或多个设定的检测程序的组合之间的对应关系；

所述根据网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测的步骤为：

根据所述网页地址的被引用值确定所述网页地址的检测优先级；

根据所述检测优先级调用对应的一个或多个设定的检测程序的组合对所述网页地址进行恶意属性检测。

优选的，在所述获取爬取的页面内容的步骤之后，还包括：

解析所述页面内容，提取所述页面内容中的检测数据；

所述根据所述网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测的步骤为：

根据所述网页地址的被引用值调用设定的检测程序对所述网页地址对应的页面内容中的检测数据进行恶意属性检测。

此外，还有必要提供能够提高精确度的网页恶意属性监测系统。

一种网页恶意属性监测系统，包括服务器及与所述服务器进行交互的多个客户端，所述服务器包括：

接口模块，用于获取多个客户端提交的网页查询请求；

网页爬虫模块，用于根据所述网页查询请求进行网页爬虫，获取爬取的网页内容；

热度统计模块，用于根据所述网页内容统计网页地址的被引用值；

检测模块，用于根据所述网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测。

优选的，所述服务器还包括：页面解析模块，用于解析所述页面内容，提取所述页面内容中的外部链接引用信息；

所述热度统计模块还用于根据所述外部链接引用信息统计网页地址的被引用值。

优选的，所述热度统计模块还用于根据域名信息对网页地址进行域名分类，根据外部链接引用信息统计各域名类别下的网页地址的被引用值。

优选的，所述检测模块还用于设置检测优先级与一个或多个设定的检测程序的组合之间的对应关系；以及

所述检测模块还用于根据所述网页地址的被引用值确定网页地址的检测优先级，根据所述检测优先级调用对应的一个或多个设定的检测程序的组合对所述网页地址进行恶意属性检测。

优选的，所述页面解析模块还用于解析所述页面内容，提取所述页面内容中的检测数据；

所述检测模块还用于根据所述网页地址的被引用值调用设定的检测程序对所述网页地址对应的页面内容中的检测数据进行恶意属性检测。

上述网页恶意属性监测方法和系统，通过获取多个客户端提交的网页查询请求，根据网页查询请求进行网页爬虫获取爬取的页面内容，根据爬取的页面内容统计网页地址的被引用值，并根据被引用值调用设定的检测程序对网页地址进行恶意属性检测。由于网页地址的被引用值能反映网页被引用的热度，根据被引用值的不同可以调用设定的不同检测程序对网页地址进行恶意属性检测，因此能够提高检测的精确度。

【附图说明】

图1为本发明中的网页恶意属性监测方法的流程示意图；

图2为一个实施例中的网页恶意属性监测方法的流程示意图；

图3为本发明中的网页恶意属性监测系统的结构示意图；

图4为一个实施例中的网页恶意属性监测系统的结构示意图；

图5为另一个实施例中的服务器的结构示意图。

【具体实施方式】

如图1所示，本发明提供的网页恶意属性监测方法，包括以下步骤：

步骤S102，获取多个客户端提交的网页查询请求。

步骤S104，根据网页查询请求进行网页爬虫，获取爬取的网页内容。

步骤S106，根据页面内容统计网页地址的被引用值。

对网页进行爬虫后得到的页面内容中包含了该网页引用其他网页地址(URL)的信息，对大量的这些信息进行统计即可得到网页地址的被引用值。

步骤S108，根据网页地址的被引用值调用设定的检测程序对网页地址进行恶意属性检测。

本发明通过统计网页地址的被引用值，由于网页地址的被引用值能反应网页被引用的热度，被引用值越高则说明该网页越被关注，对被引用值较高的网页地址可以调用设定的较强的检测程序进行恶意属性检测，因此本发明可以融合多种检测程序，能够提高检测的精确度。

在一个实施例中，如图2所示，一种网页恶意属性监测方法，包括：

步骤S202，获取多个客户端提交的网页查询请求。

本实施例中，当通过浏览器打开网页时，客户端会向服务器提交网页查询请求，网页查询请求中包含需查询的网页地址(URL)。由于浏览网页的用户成千上万，因此获取的是海量的网页查询请求。另外，客户端也可以是云客户端，基于云服务获取多个云客户端提交的网页查询请求。

步骤S204，根据网页查询请求进行网页爬虫，获取爬取的网页内容。

由于获取的是海量的网页查询请求，在一个实施例中，在步骤S204之前，还可将网页查询请求分发到不同的页面爬虫模块进行网页爬虫，采用这种分布式的处理方式可以提高网页爬虫效率。

网页爬虫是获取网页查询请求中的URL，爬取得到URL中的页面内容，从当前的页面上抽取新的URL继续爬取，并对爬取得到的页面内容建立索引，便于之后的查询和检索。网页爬虫爬取得到的页面内容由HTML标签组成。

步骤S206，解析页面内容，提取页面内容中的外部链接引用信息。

对网页进行爬虫得到的页面内容包含了该页面引用其他URL的信息。例如，通过“<iframe src＝″url″>”引用了其他URL，通过“<scriptsrc＝″http://www.qq.com/a.js″>”引用了其他js链接等，这些信息即为外部链接引用信息。提取的外部链接引用信息用于后续统计网页地址的被引用值。

步骤S208，根据外部链接引用信息统计网页地址的被引用值。

网页地址的被引用值即为网页地址的热度，被引用值越高的网页地址说明其热度越高，越容易被关注。网页地址的被引用值可以是网页地址的被引用次数，也可以是网页地址的被引用次数占所有被引用次数的比例。

在一个实施例中，还可根据域名信息对网页地址进行域名分类，根据外部链接信息统计各域名类别下的网页地址的被引用值。例如，统计域名为“qq.com”下的所有网页地址的被引用值。

步骤S210，根据网页地址的被引用值确定网页地址的检测优先级。

在一个实施例中，可设置检测优先级与一个或多个设定的检测程序的组合之间的对应关系。即对应不同的检测优先级需要调用一个或多个设定的检测程序的组合来对网页地址进行恶意属性检测。

在优选的实施例中，可设定一定范围内的被引用值对应一个检测优先级。在统计了网页地址的被引用值后，按照被引用值对URL进行排序。例如，排序的最前10000个URL对应最高的检测优先级，此后的10000个URL对应次高的检测优先级，依次类推。

步骤S212，根据检测优先级调用对应的一个或多个检测程序的组合对网页地址进行恶意属性检测。

在一个实施例中，在步骤S204之后，还包括：解析页面内容，提取页面内容中的检测数据。具体的，检测数据包括可执行的js代码、页面标题、版权信息等。本实施例中，根据网页地址的被引用值调用设定的检测程序对网页地址进行恶意属性检测的步骤为：根据网页地址的被引用值调用设定的检测程序对网页地址对应的页面内容中的检测数据进行恶意属性检测。

在一个实施例中，设定的检测程序可以是基于特征码的检测程序、基于行为的检测程序、采用沙盒过滤技术的检测程序或采用蜜罐技术的检测程序。事先设置了检测优先级与一个或多个设定的检测程序的组合之间的对应关系。例如，对于被引用值较高的URL(即热度较高的URL)，对应的检测优先级也较高，可设定调用采用沙盒过滤技术的检测程序或采用蜜罐技术的检测程序或两者结合起来对URL进行恶意属性检测；对于检测优先级较低的URL，则可调用基于特征码的检测程序对该URL进行恶意属性检测。因此，本发明可以融合多种检测程序，根据URL的热度进行不同的检测程序调用，从而确保了检测的精确度。

具体的，由于不同的检测程序所检测的数据不同，获取URL及对应的检测数据，并根据URL的检测优先级调用设定的检测程序对URL进行恶意属性检测。在一个实施例中，对URL进行恶意属性检测完成后，将检测结果返回给用户。例如，弹出提示框提示用户网页含有恶意代码等。

如图3所示，本发明提供的一种网页恶意属性监测系统，包括服务器10及与服务器10进行交互的多个客户端20。如图4所示，在一个实施例中，服务器10包括接口模块102、网页爬虫模块104、热度统计模块106和检测模块108，其中：

接口模块102用于获取多个客户端20提交的网页查询请求。应当说明的是，服务器10可以是云服务器，相应的客户端20也可以是云客户端。网页查询请求包含需查询的URL。由于浏览网页的用户成千上万，因此接口模块102获取的是海量的网页查询请求。

网页爬虫模块104用于根据网页查询请求进行网页爬虫，获取爬取的网页内容。在一个实施例中，网页爬虫模块104为多个，服务器10还可包括数据分发模块(图中未示出)，用于将网页查询请求分发到不同的网页爬虫模块104进行网页爬虫。

热度统计模块106用于根据网页内容统计网页地址的被引用值。对网页进行爬虫后得到的页面内容中包含了该网页引用其他URL的信息，对大量的这些信息进行统计即可得到网页地址的被引用值。

检测模块108用于根据网页地址的被引用值调用设定的检测程序对网页地址进行恶意属性检测。

在另一个实施例中，如图5所示，服务器10还包括数据库110，用于存储接口模块102接收到的网页查询请求。在一个实施例中，数据分发模块从数据库110中获取网页查询请求，并分发到不同的网页爬虫模块104。网页爬虫模块104获取网页查询请求中的URL，爬取得到URL中的页面内容，从当前的页面上抽取新的URL继续爬取，并对爬取得到的页面内容会建立索引，便于之后的查询和检索。网页爬虫模块104爬取得到的页面内容由HTML标签组成。

在一个实施例中，如图5所示，服务器10还包括网页解析模块112，用于解析页面内容，提取页面内容中的外部链接引用信息。本实施例中，热度统计模块106还用于根据外部链接引用信息统计网页地址的被引用值。

对网页进行爬虫得到的页面内容包含了该页面引用其他URL的信息。例如，通过“<iframe src＝″url″>”引用了其他URL，通过“<scriptsrc＝″http://www.qq.com/a.js″>”引用了其他js链接等，这些信息即为外部链接引用信息。提取的外部链接引用信息用于后续统计网页地址的被引用值。

网页地址的被引用值即为网页地址的热度，被引用值越高的网页地址说明其热度越高，越容易被关注。网页地址的被引用值可以是网页地址的被引用次数，也可以是网页地址的被引用次数占所有被引用次数的比例。热度统计模块106统计得到的被引用值可存储在数据库110中。

在一个实施例中，热度统计模块106还用于根据域名信息对网页地址进行域名分类，根据外部链接引用信息统计各域名类别下的网页地址的被引用值。

在一个实施例中，检测模块108还用于设置检测优先级与一个或多个设定的检测程序的组合之间的对应关系。本实施例中，检测模块108还用于根据网页地址的被引用值确定网页地址的检测优先级，根据检测优先级调用对应的一个或多个设定的检测程序的组合对网页地址进行恶意属性检测。优选的，检测模块108设定一定范围内的被引用值对应一个检测优先级。检测模块108在通过机了网页地址的被引用值后，按照被引用值对URL进行排序，根据排序的结果确定URL的检测优先级。

在一个实施例中，页面解析模块112还用于解析页面内容，提取页面内容中的检测数据。本实施例中，检测模块108还用于根据页面地址的被引用值调用设定的检测程序对网页地址对应的页面内容中的检测数据进行恶意属性检测。具体的，检测数据包括可执行的js代码、页面标题和版权信息等。页面解析模块112提取的检测数据可存储在数据库110中。

在一个实施例中，设定的检测程序可以是基于特征码的检测程序、基于行为的检测程序、采用沙盒过滤技术的检测程序或采用蜜罐技术的检测程序。检测模块108设置了检测优先级与一个或多个设定的检测程序的组合之间的对应关系。例如，对于被引用值较高的URL(即热度较高的URL)，对应的检测优先级也较高，可设定调用采用沙盒过滤技术的检测程序或采用蜜罐技术的检测程序或两者结合起来对URL进行恶意属性检测；对于检测优先级较低的URL，则可调用基于特征码的检测程序对该URL进行恶意属性检测。因此，本发明可以融合多种检测程序，根据URL的热度进行不同的检测程序调用，从而确保了检测的精确度。

具体的，由于不同的检测程序所检测的数据不同，检测模块108用于从数据库110中获取URL及对应的检测数据，并根据URL的检测优先级调用设定的检测程序对URL进行恶意属性检测。

上述网页恶意监测方法和系统，通过统计URL的被引用值，根据URL的被引用值确定URL的检测优先级，根据URL的检测优先级调用一个或多个检测程序的组合来对URL进行恶意属性检测。本发明可融合多种检测程序，根据URL的被引用值的不同进行不同的检测，从而能够提高检测的精确度。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种网页恶意属性监测方法，包括以下步骤：

获取多个客户端提交的网页查询请求；

根据所述网页查询请求进行网页爬虫，获取爬取的页面内容；

根据所述页面内容统计网页地址的被引用值；

根据所述网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测，具体为：根据所述网页地址的被引用值确定所述网页地址的检测优先级；根据所述检测优先级调用对应的一个或多个设定的检测程序的组合对所述网页地址进行恶意属性检测。

2.根据权利要求1所述的网页恶意属性监测方法，其特征在于，在所述获取爬取的页面内容的步骤之后，还包括：

解析所述页面内容，提取所述页面内容中的外部链接引用信息；

所述根据页面内容统计网页地址的被引用值的步骤为：

根据所述外部链接引用信息统计网页地址的被引用值。

3.根据权利要求2所述的网页恶意属性监测方法，其特征在于，所述根据外部链接引用信息统计网页地址的被引用值的步骤为：

根据域名信息对网页地址进行域名分类，根据外部链接引用信息统计各域名类别下的网页地址的被引用值。

4.根据权利要求1或2或3所述的网页恶意属性监测方法，其特征在于，所述方法还包括：设置检测优先级与一个或多个设定的检测程序的组合之间的对应关系。

5.根据权利要求1或2或3所述的网页恶意属性监测方法，其特征在于，在所述获取爬取的页面内容的步骤之后，还包括：

解析所述页面内容，提取所述页面内容中的检测数据；

所述根据所述网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测的步骤为：

根据所述网页地址的被引用值调用设定的检测程序对所述网页地址对应的页面内容中的检测数据进行恶意属性检测。

6.一种网页恶意属性监测系统，包括服务器及与所述服务器进行交互的多个客户端，其特征在于，所述服务器包括：

接口模块，用于获取多个客户端提交的网页查询请求；

网页爬虫模块，用于根据所述网页查询请求进行网页爬虫，获取爬取的网页内容；

热度统计模块，用于根据所述网页内容统计网页地址的被引用值；

检测模块，用于根据所述网页地址的被引用值调用设定的检测程序对所述网页地址进行恶意属性检测，具体为：根据所述网页地址的被引用值确定所述网页地址的检测优先级；根据所述检测优先级调用对应的一个或多个设定的检测程序的组合对所述网页地址进行恶意属性检测。

7.根据权利要求6所述的网页恶意属性监测系统，其特征在于，所述服务器还包括：页面解析模块，用于解析所述页面内容，提取所述页面内容中的外部链接引用信息；

所述热度统计模块还用于根据所述外部链接引用信息统计网页地址的被引用值。

8.根据权利要求7所述的网页恶意属性监测系统，其特征在于，所述热度统计模块还用于根据域名信息对网页地址进行域名分类，根据外部链接引用信息统计各域名类别下的网页地址的被引用值。

9.根据权利要求6或7或8所述的网页恶意属性监测系统，其特征在于，所述检测模块还用于设置检测优先级与一个或多个设定的检测程序的组合之间的对应关系。

10.根据权利要求7或8所述的网页恶意属性监测系统，其特征在于，所述页面解析模块还用于解析所述页面内容，提取所述页面内容中的检测数据；

所述检测模块还用于根据所述网页地址的被引用值调用设定的检测程序对所述网页地址对应的页面内容中的检测数据进行恶意属性检测。