CN108763930A - 基于最小缓存模型的web页面流式解析方法 - Google Patents

Abstract

本发明提供的是一种基于最小缓存模型的WEB页面流式解析方法。步骤1、数据预处理；步骤2、HTML页面解析；步骤3、JS脚本解析；步骤4、特征处理。本发明提出基于最小缓存模型的WEB页面流式解析方法对WEB页面进行流式解析，并且通过最小缓存模型在保证提取特征完整性的同时，保证了最小内存占用。本发明应用以上两种方法针对不同大小的网页在解析时间和内存占用两方面进行对比实验，验证基于最小缓存模型的WEB页面流式解析框架在解析时效性和减少存储压力两方面的优势。

Description

基于最小缓存模型的WEB页面流式解析方法

技术领域

本发明涉及的是一种WEB木马检测方法。

背景技术

当前各行各业通过网络为人们提供更加优质的服务，人们通过网络实时获取资源和信息，互联网在给人们的生活和工作方式带来便捷和改变的同时，随之也带来了越来越多的网络安全问题，并且这些网络安全问题带来的危害也越来越大。因此，网络安全问题是当今互联网方向的研究热点。

目前存在的主要网络安全问题来自于僵尸程序、木马、蠕虫、计算机病毒等恶意代码，相关研究表明，由于木马的繁殖和传播迅速，木马已经成为最具威胁的恶意代码；经过进化，目前主要有以下八种类别的木马：银行木马、通讯软件木马、网络点击木马、代理木马、攻击木马、下载木马、游戏木马、FTP木马。对于感染了木马的主机，它的所有信息对于木马程序都是公开的，很容易导致个人隐私的泄漏；甚至感染木马病毒的主机会协助黑客做坏事。在2010年就有研究表明，恶意传播的木马有90％以上来自于网页木马。根据2015年全国信息网络安全状况调查报告显示，2015年，调查中发生过网络安全事件的占总调查人数的64.22％，相比2014年有所下降；其中通过WEB木马方式感染计算机病毒的比重为63.89％，相对2014年有小幅增长；2015年12月21日，360公司发布了关于《中国网站安全报告(2015)》，其中的数据表明，目前存在安全问题的网站约占40％，近80000个网站的网页被黑客利用WEB木马修改，一些黑客通过在网站服务器植入后门的方式，诱导访问者访问含有WEB木马的网站。网络安全的主要威胁来源于WEB木马，因此，WEB木马检测优化技术的研究是网络安全领域亟待解决的问题。

发明内容

本发明的目的在于提供一种能够实时解析WEB页面获得特征信息的基于最小缓存模型的WEB页面流式解析方法。

本发明的目的是这样实现的：

步骤1、数据预处理；

步骤2、HTML页面解析；

步骤3、JS脚本解析；

步骤4、特征处理。

本发明还可以包括：

1、所述数据预处理具体包括：在网关处获得网页数据包，将网页数据包作为输入，根据数据包中WEB页面的格式决定选择哪种方式对其进行解析处理。

2、所述根据数据包中WEB页面的格式决定选择哪种方式对其进行解析处理具体包括：对网页数据包进行过滤，如果页面数据包的内容是HTML文档则将该网页数据包交给页面解析模块进行解析处理；若页面数据包的内容为Javascript脚本文件则将该网页数据包交给脚本解析模块进行解析处理；若都不是，则该页面数据包不是要处理的网页数据包，返回给网关。

3、所述HTML页面解析具体包括：一方面，对URL链接的标签以及标签内部属性进行分析，进一步解析出HTML页面代码中的URL数据，并根据解析出的URL链接提取出用于WEB木马检测的特征数据；另一方面，对于属于隐藏标签下的URL链接特征进行标记，用于WEB木马检测。

4、所述JS脚本解析具体包括：

1)在解析程序中引入Spidermonkey头文件，便于程序代码对Spidermonkey提供的接口函数的调用；

2)调用Spidermonkey提供的API接口对Javascript对象进行初始化；

3)调用API执行Javascript脚本内容，获取需要的数据；

4)在处理完成后对脚本引擎进行清理。

5、所述特征处理具体包括：

1)提取特定URL，并提取用于检测的URL特征，

2)不显示的隐藏标签解析。

本发明主要是对于WEB木马检测特征提取时效性问题，提出了一种基于最小缓存模型的WEB页面流式解析方法。

本发明主要针对WEB木马检测时效性问题提出基于最小缓存模型的WEB页面流式解析方法。对WEB页面进行流式处理，保证对网关处的WEB页面解析的实时性，在解析过程中不需要保存整个网页，降低了存储压力，其中最小缓存模型既保证了待提取特征的完整性又保证了解析处理过程中最小内存占用。

本发明提出基于最小缓存模型的WEB页面流式解析方法对WEB页面进行流式解析，并且通过最小缓存模型在保证提取特征完整性的同时，保证了最小内存占用。本发明应用以上两种方法针对不同大小的网页在解析时间和内存占用两方面进行对比实验，验证基于最小缓存模型的WEB页面流式解析框架在解析时效性和减少存储压力两方面的优势。

附图说明

图1为基于最小缓存模型的WEB页面流式解析框架数据流向图。

图2为处理流程图。

图3为实验结果图。

具体实施方式

本发明的基于最小缓存模型的WEB页面流式解析方法具体包括以下步骤。

1、数据预处理

本文以WEB安全网关为研究背景，因此数据预处理模块主要在网关处获得网页数据包，网页数据包作为程序的输入。在该模块对网页数据包进行简单的过滤，如果页面数据包的内容是HTML文档则将该网页数据包交给页面解析模块进行解析处理，若页面数据包的内容为Javascript脚本文件则将该网页数据包交给脚本解析模块进行解析处理，若都不是，则该数据包不是要处理的网页数据包，返回给网关。该模块主要作用是从网关处获得需要识别的WEB页面数据包，并根据数据包中WEB页面的格式决定选择哪种方式对其进行解析处理。

2、HTML页面解析。为了保证检测时间效率的高效性，本发明主要对WEB页面进行流式解析获得特征信息。

该模块的主要功能是对HTML页面进行解析，因为WEB木马主要是由于页面代码中存在的一些URL链接在用户不知情的情况下被自动访问，使得访问者主机感染WEB木马。因此对于WEB木马检测技术来说，URL链接的特征信息是非常重要的。在该模块中，一方面，对URL链接的标签以及标签内部属性进行分析从而进一步解析出HTML页面代码中的URL数据，并根据解析出的URL链接提取出用于WEB木马检测的特征数据；另一方面，URL链接若存在于一些具有隐藏效果的标签中，其为恶意链接的可能性更大，因此对于属于隐藏标签下的URL链接特征进行标记，用于WEB木马检测。

3、JS脚本解析

JS脚本解析模块是针对Javascript格式的WEB页面进行解析，黑客主要通过加密、变化、压缩等方式使得Javascript脚本混淆，以躲避检测软件的检测。Javascript脚本混淆使得特征的提取变得更加困难，因此本发明采用Javascript引擎技术解析Javascript格式的WEB页面。

Navigator小组开发的Spidermonkey引擎是一个提供支持API接口调用的组件，通过它提供的API接口执行页面的Javascript代码，达到解析页面的目的。使用Spidermokey引擎的步骤如下：

1)在解析程序中引入Spidermonkey头文件，便于程序代码对Spidermonkey提供的接口函数的调用；

2)调用Spidermonkey提供的API接口对Javascript对象进行初始化；

3)调用API执行Javascript脚本内容，获取需要的数据；

4)在处理完成后对脚本引擎进行清理。

4、特征处理

特征处理模块主要针对提取到URL链接以及其所属标签内部属性进行处理，提取到用于WEB木马检测的特征。主要包括两类特征：

1)提取特定URL，并提取用于检测的URL特征

通过对HTML文档的分析，页面中显示的超链接和能够实现自动跳转的URL链接主要存在以下标签中：

<a>标签，href是<a>标签比较重要的属性，指示出超链接的目标，在<a>标签中的链接都是在页面中显示的，一般风险比较低，但是一些黑客通过对超链接标题设置，诱导访问者点击，因此为了保证不存在漏检的情况，必须对<a>标签中的URL也进行提取。

<meta>标签[43]，在该标签中的URL会被浏览器自动解析，其中http-equiv可以通过对其属性值设置为refresh，能够实现页面的自动跳转，例如<meta http-equiv＝"Refresh"content＝"5；url＝http://www.w3school.com.cn"/>，此代码表示了5s后自动跳转到url所指的页面，因此在此标签下的url为恶意链接可能性比较大，因此需要重点分析。

<script>标签，该标签有两种引入恶意代码的方式；第一种是在<script>标签中引入新URL链接，并通过设置属性值使其在后台自动跳转；第二种是通过该标签引入包含恶意代码的js文件。例如<script type＝"text/javascript"src＝"webpage.js"></script>，通过这种方式将木马下载到访问者的主机中，使得感染木马，因为由<script>标签引入木马的方式具有隐藏性，不易于察觉，对该标签中的URL特征进行提取对WEB木马检测是有重要意义的。

<embed>标签，在该标签内可以嵌入恶意链接或者恶意的js脚本，例如<embed src＝"webpage.js"/>，并且可以在访问该页面时，自动执行URL跳转或者通过恶意js将木马下载到访问者主机。

<css>标签，通过设置该标签的background属性为js脚本或者URL链接，js脚本和URL链接会被当作需要修饰页面的css文件进行自动下载。

<img>标签，该标签可以通过设置属性，使得js脚本和URL链接伪装成图片，使其以图片自动下载的方式自动执行脚本或者自动跳转到恶意URL链接对应的WEB页面，使得访问者主机感染木马。

2)不显示的隐藏标签解析

除了上文中介绍的页面中显示的超链接、能够自动执行跳转的URL链接，还有一些具有隐藏效果的链接，这些链接通过以下标签，不在页面中显示，可能会隐藏在访问者点击可能性比较大的图片、标题、以及一些弹窗的关闭窗口处，这使得访问者在未知的情况下点击了隐藏的链接，而访问了恶意WEB页面，感染WEB木马，所以对于这些隐藏标签特征的提取对于WEB木马检测是重要的。

<iframe>标签，该标签有两种隐藏标签内容的方式，一种是设置长和宽的值为0，使得标签内容在页面中不显示；第二种是设置属性style的值来使得标签隐藏。通过以上方式可以使URL隐藏在页面某些位置。例如<iframe src＝"http://www.maliciouspage.com"width＝400height＝200style＝"display:none"></iframe>。

<frameset>和<frame>标签结合，通过设置<frameset>标签实现标签的隐藏，通过标签<frame>引入恶意URL链接或者恶意的脚本。

下面结合具体实施对本发明作更详细的描述：

(1)实验环境

实验应用服务器CPU为CPU E5-26300@2.30GHz，操作系统为Red HatEnterprise Linux Server release 6.5，网卡为千兆网卡，内存为64G，本发明程序使用C语言编写，基于gcc-4.1.2版本。程序部署在网关处运行，对网关处的网页数据进行获取并应用基于最小缓存模型的WEB页面流式解析框架进行解析。本文实验中数据来源于实验室真实网络环境下网关处的网页数据包，程序是以包驱动的，实时对网关处WEB页面数据包进行处理。

(2)实验方案

实验主要针对网页解析时效性和在解析过程中内存占用两方面的结果与基于DOM结构的网页解析方法进行比较。一共进行两组对比实验，第一组，针对于5个不同规模的WEB页面分别使用两种解析方式，记录这5个网页完成完整页面解析所花费的时间，其中基于DOM结构的解析方法时间分为页面缓存时间和页面解析时间两部分。由于本发明流式解析方法能够实时对WEB页面进行解析，因此页面开始处理到处理结束即为流式解析时间。针对解析时间进行对比；第二组实验也针对这5个不同规模的WEB页面，在解析处理过程中对比占用内存大小。

1)实验一，首先对于基于最小缓存模型的WEB页面流式处理框架，在一个网页的第一个数据包到达时记录开始时间start_time，在这个网页的最后一个数据包处理完成记录结束时间end_time。对于基于DOM结构的WEB页面解析方法，从网页的第一个数据包到达记录c_start_time，网页的最后一个数据包到达记录c_end_time，其中c_end_time-c_start_time为DOM树解析方法缓存完整的数据所花费的时间，记录解析结束时的时间d_end_time，d_end_time-c_end_time为DOM树解析所花费的时间，则d_end_time-c_start_time为DOM树解析完整网页花费的总时间。比较两种方法针对实验网页所花费时间的大小，来证明本发明方法在解析速度上的高效性。

2)实验二，对基于最小缓存模型的WEB页面流式处理方法，在解析过程中用c_memory记录保证特征提取的缓存大小，每一个数据包处理结束，更新c_memory，保证c_memory为当前包的缓存，用p_memory记录在解析过程中接收到数据包的大小，在一个页面处理过程中每一个包更新p_memory，保证p_memory为当前包的大小，用d_memory记录当前数据包处理过程中，记录特征所占用的内存，因此针对用t_memory记录当前处理数据包占用总内存，t_memory＝c_memory+p_memory+d_memory，其中用m_memory记录当前网页处理过程中占用的最大内存，在网页处理过程中，若m_memory大于t_memory，则更新m_memory。在基于DOM树解析网页过程中用wp_memory记录该网页的大小，用dom_memory记录构建的dom树在内存中占用的空间，d_t_memory为DOM树解析页面占用的总内存。针对实验数据比较每个页面基于最小缓存模型的WEB页面流式分析方法中的m_memory和基于DOM树解析方法中的d_t_memory来对比说明本发明方法在内存占用上的优越性。

(3)实验结果分析

通过实验一的实验结果，解析消耗时间受WEB页面大小影响，如图3的表所示。由表可知，基于DOM结构的解析方法，解析花费的总时间由缓存页面时间和解析页面时间两部分组成，随着页面的增大，其缓存页面花费时间和解析花费的时间均增多。对比两种解析方法在不同页面大小的解析速度可知，采用DOM树解析方式进行WEB页面解析，随着页面的增大解析速度下降，但本发明采用的基于最小缓存模型的WEB页面流式解析方法的解析速度与页面大小关系不大。并且本发明方法在解析速度上相对DOM树解析方法至少提升一倍以上，随着页面的变大，解析速度提升更多。

通过实验二结果，基于DOM结构解析方法内存占用分为页面本身大小和构建DOM树占用内存大小两部分，其中构建DOM树占用内存约为页面本身内存的2-3倍。针对两种解析方法，对比其解析过程中内存占用可知，基于DOM结构解析方法对WEB页面解析，其占用总内存是原页面内存的3-4倍，但本发明采用的基于最小缓存模型的WEB页面流式解析框架不用缓存完整的页面，其占用总内存一般情况下小于等于页面本身大小，证明了本方法在内存占用上的优势很明显。

Claims (10)

1.一种基于最小缓存模型的WEB页面流式解析方法，其特征是：

步骤1、数据预处理；

步骤2、HTML页面解析；

步骤3、JS脚本解析；

步骤4、特征处理。

2.根据权利要求1所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述数据预处理具体包括：在网关处获得网页数据包，将网页数据包作为输入，根据数据包中WEB页面的格式决定选择哪种方式对其进行解析处理。

3.根据权利要求2所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述根据数据包中WEB页面的格式决定选择哪种方式对其进行解析处理具体包括：对网页数据包进行过滤，如果页面数据包的内容是HTML文档则将该网页数据包交给页面解析模块进行解析处理；若页面数据包的内容为Javascript脚本文件则将该网页数据包交给脚本解析模块进行解析处理；若都不是，则该页面数据包不是要处理的网页数据包，返回给网关。

4.根据权利要求1、2或3所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述HTML页面解析具体包括：一方面，对URL链接的标签以及标签内部属性进行分析，进一步解析出HTML页面代码中的URL数据，并根据解析出的URL链接提取出用于WEB木马检测的特征数据；另一方面，对于属于隐藏标签下的URL链接特征进行标记，用于WEB木马检测。

5.根据权利要求1、2或3所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述JS脚本解析具体包括：

1)在解析程序中引入Spidermonkey头文件，便于程序代码对Spidermonkey提供的接口函数的调用；

2)调用Spidermonkey提供的API接口对Javascript对象进行初始化；

3)调用API执行Javascript脚本内容，获取需要的数据；

4)在处理完成后对脚本引擎进行清理。

6.根据权利要求4所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述JS脚本解析具体包括：

1)在解析程序中引入Spidermonkey头文件，便于程序代码对Spidermonkey提供的接口函数的调用；

2)调用Spidermonkey提供的API接口对Javascript对象进行初始化；

3)调用API执行Javascript脚本内容，获取需要的数据；

4)在处理完成后对脚本引擎进行清理。

7.根据权利要求1、2或3所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述特征处理具体包括：

1)提取特定URL，并提取用于检测的URL特征，

2)不显示的隐藏标签解析。

8.根据权利要求4所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述特征处理具体包括：

1)提取特定URL，并提取用于检测的URL特征，

2)不显示的隐藏标签解析。

9.根据权利要求5所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述特征处理具体包括：

1)提取特定URL，并提取用于检测的URL特征，

2)不显示的隐藏标签解析。

10.根据权利要求6所述的基于最小缓存模型的WEB页面流式解析方法，其特征是所述特征处理具体包括：

1)提取特定URL，并提取用于检测的URL特征，

2)不显示的隐藏标签解析。