CN102098331B

CN102098331B - 一种还原web类应用内容的方法及其系统

Info

Publication number: CN102098331B
Application number: CN201010612835.4A
Authority: CN
Inventors: 冯建业
Original assignee: Beijing Ruian Technology Co Ltd
Current assignee: Beijing Ruian Technology Co Ltd
Priority date: 2010-12-29
Filing date: 2010-12-29
Publication date: 2013-06-19
Anticipated expiration: 2030-12-29
Also published as: CN102098331A

Abstract

本发明公开了一种高效还原WEB类应用内容的方法及其系统，属于网络通信领域。本发明方法：1)根据WEB类应用数据包特征写成模板文件；2)读取模板文件并解析，形成模板链表；3)将HTTP数据包头部解析，并取得URL，HOST等头部内容；4)将解析出的URL，HOST等字段与模板描述的URL，HOST等字段进行比对，找出匹配的模板；5)用匹配成功的模板中定义的关键字在HTTP内容部分提取出相应的内容；6)将提取出的内容格式化，然后输出；本系统包括数据包输入模块、协议识别模块、模板导入模块、模板查找与内容提取模块，输出模块。本发明可高效还原WEB类应用内容，并且可简单地通过增加模板来增加协议。

Description

一种还原WEB类应用内容的方法及其系统

技术领域

本发明属于数据通信领域，涉及一种高效还原WEB类应用内容的方法及其系统。

背景技术

WEB类应用基于HTTP协议，种类繁多，包括目前比较热门的社交类网站、邮箱类网站、BBS类网站、博客类网站、游戏类网站、搜索类网站、在线聊天类网站等。还原WEB类应用的登陆与内容，对网络安全、色情监控等有着非常重要的作用。传统的协议还原方法是基于数据包搜索的，按顺序分析每个HTTP数据包，从而分析出相应的应用协议，并在HTTP内容字段分析出登陆信息，发帖信息等内容。在网络流量小，WEB应用种类少的网络环境中，基于数据包搜索的方法也是可行的，但是如今的网络流量越来越大，WEB类应用在所有网络应用中所占的比例越来越高，而基于数据包搜索的方法的效率也越来越低，同时从事协议还原人员的工作量也越加繁重，所以传统协议还原的方法已经不能满足如今的网络环境。需要一种新的方法来还原WEB类应用的内容。

发明内容

本发明提出了一种基于模板的方法来还原WEB类应用内容的方法及系统，极大地提高了WEB类应用内容还原的性能。

为了实现本发明的目的，本发明的技术方案概述如下：

一种还原WEB类应用内容的方法，其步骤为：

1)根据WEB类应用数据包特征，写成WEB类应用模板文件；

2)读取模板文件并解析，把解析出的关键字组成一个结构体，形成模板链表；

3)将待还原WEB类应用数据包的HTTP头部解析，并取得头部内容；

4)采用匹配算法，将解析出的头部内容中的关键字与模板中的关键字进行比对，找出匹配的模板；

5)解析出待还原WEB类应用数据包HTTP头部内容的关键字和关键内容位置，并将模板描述的关键字与解析出的关键字进行比对，从模板中取出匹配的内容；

6)将匹配的内容按数据库表格式化输出，得到还原的WEB类应用内容。

所述步骤1)采用WEB类描述语言将模板文件分为三部分，第一部分为模板识别部分，包括URL、HOST、POST/GET的内容，由分析某类WEB应用数据包HTTP头部得到；第二部分为关键内容描述部分，包括关键字，关键内容在数据包中的起始位置，关键内容长度，由分析某类WEB应用数据包所得；第三部分为数据类型。

所述步骤1)WEB类数据包特征为HTTP头部字段，包括网站登陆信息、发帖内容、回帖内容、注册信息或聊天信息。

所述步骤2)结构体包括模板识别部分、关键内容描述部分、数据类型部分。

所述步骤4)找出匹配模板的方法为：先用解析出的HOST字段比对，然后再将URL字段进行精确比对，找出匹配的模板。

所述步骤4)采用改进式Boyer-Moore算法。

所述步骤5)解析WEB类应用数据包HTTP内容部分的方法为：利用WEB类应用数据包中的分割符将登陆信息或发贴内容取出，组成格式化内容结构体链表。

所述结构体包括关键字，关键内容在数据包中的起始位置，关键内容长度。

为了实现本发明的另一目的，采用的技术方案如下：

一种还原WEB类应用内容的系统，其特征在于，包括数据包输入模块、协议识别模块、模板导入模块、模板查找与内容提取模块和输出模块；所述数据包输入模块输入WEB类应用数据包，所述协议识别模块识别输入的数据包类别，由模板导入模块根据协议类别写成模板文件，读取模板并解析成模板链表；模板查找内容提取模块识别出HTTP协议，解析HTTP头部字段操作，与模板文件对比，取出匹配内容，输出模块将匹配的内容按数据库表格式化输出。

所述数据包输入模块从网卡捕获数据包。

与现有技术相比，本发明具有的技术效果有：传统WEB类应用还原技术只适用于网络环境简单并且WEB类应用少的环境，本发明所述方法不但适用于简单网络环境，而且克服了随着WEB类应用的增加协议分析人员负担的增加、随着源码的增加系统稳定性的下降、随着协议数量线性的增加系统性能线性的下降的缺陷。利用本发明，可以满足WEB类应用越来越多的网络环境下协议还原的需求。

附图说明

图1为模板导入过程；

图2为模板查找与内容提取过程；

图3为还原系统结构图。

具体实施方式

下面结合附图和具体实施例对本发明做进一步详细描述。

针对目前对WEB类应用协议内容还原技术的局限性，利用协议还原流程与常规程序的区别，并根据WEB类应用关键内容出现的位置信息，定义了一套WEB类描述语言WDSL(WEB DECODESIMPLE LANGUAGE)将WEB类应用内容写成模板，本发明将WEB类应用内容写成模板提出了一种基于模板的方法来还原WEB类应用内容的方法，如图1所示，为模板文件的导入过程：

首先，生成模板文件，读取该模板文件，并判断出模板类型；

其次，按照模板类型解析模板文件，并建立新的模板结构体；

最后，把新建的模板结构体加入模板链表，完成模板文件的导入。

本发明还原WEB类应用内容的方法包括如下步骤：

1)参照WEB应用的特性，依照本发明所定义的WEB类描述语言语法写成模板文件(此文档中命名为：“模板”)；所述WEB类描述语言将模板文件分为三部分，第一部分为模板识别部分，即URL、HOST、POST/GET的内容，由分析某类WEB应用数据包HTTP头部所得；第二部分为关键内容描述部分，包括关键字，关键内容在数据包中的起始位置，关键内容长度，由分析某类WEB应用数据包所得；第三部分为数据类型，如登陆、发帖、回贴、退出等，由协议开发者定义。

2)系统读取各WEB类模板并解析，在内存中形成链表(在此文档中命名为：“模板链表”)；

3)将web类应用中的HTTP协议头部解析，并获得URL、HOST、POST/GET的内容；如图2所示，为解析POST/GET的内容。

4)利用解析出的URL、HOST、POST/GET，结合高性能字符串多模匹配算法在模板链表中进行模板查找；先用解析出的HOST字段比对，然后再将URL字段进行精确比对，找出匹配的模板。

5)根据找到的模板，将HTTP数据部分按照固定格式(如MIME格式)进行解析，找出关键字名，和关键字内容，并组成结构体，然后形成链表；

6)用匹配成功的模板中定义的关键字和解析出的关键字进行比对，提取出关键字对应的内容；

7)将解码出的关键内容格式化(可按要求定制)，然后输出。

所述步骤1)模板文件是按照WEB类应用数据包分析出特征字段，然后按照一定的语法写成文件。以下给出一个模板文件的具体例子，本领域的技术人员可以根据WEB类应用内容的不同写出不同的模板文件：

#wdsl v0.1语言版本

#sina 新浪bbs发贴

WDSL_TYPE＝WEB_BBS_POST

POST_DECODE＝1

#以下为识别部分

BEGIN HEAD

POST_GET＝POST

URL＝/api/topic_post_api.php？

HOST＝.sina.com.cn

END HEAD

#以下为关键字描述问题

BEGIN CUSER

SITE＝QUEST

START＝loginname

END CUSER

#密码，数据包分析得到

BEGIN CPASS

SITE＝QUEST

START＝passwd

END CPASS

#发贴内容，数据包分析得到

BEGIN BODY

SITE＝QUEST

START＝fms_body

END BODY

#以下为数据类型

AYN_APP＝5

其中，步骤2)系统解析模板后，形成模板结构体，结构体包括模板识别部分、关键内容描述部分、数据类型部分，然后按解析顺序组成链表形式。每一部分解析关键字例如内容描述部分就是模板里描述的username，password，title，body之类的用于描述所要解析内容在数据包中的标识。

其中，步骤3)解析HTTP头部字段，是一次HTTP头部内容的全文搜索过程。

其中，步骤4)模板链表中的关键字段即为多模式字符串。

其中，步骤4)高性能多模式字符串匹配算法为改进式Boyer-Moore算法。

其中，步骤5)对HTTP数据部分的解析是一次HTTP数据部分的全文搜索过程。

其中，步骤6)关键字比对是按照链表顺序，对关键字进行精确比对，然后提取出关键字所对应的内容。先用解析出的HOST字段比对，然后再将URL字段进行精确比对，找出匹配的模板。

其中，步骤7)将提取出的内容按照要进入的数据库的标准格式化，然后以文件的形式输出。

如图3所示，本发明还原WEB类应用内容的系统，包括数据包输入模块、协议识别模块、模板导入模块、模板查找与内容提取模块，输出模块。

所述模板导入模块主要负责将模板文件动态读入到系统，然后形成模板数据结构链表，它首先扫描分类好的模板文件，接着把模板描述的关键字组成数据结构，然后形成链表状态。所述模板查找与内容提取模块是用来负责还原WEB类应用内容的。它先将HTTP数据包头分解，取出URL等字段值，然后用这些值进行模板匹配，如果有匹配模板，则可以进行模板关键字匹配，从而还原出应用协议内容。整个解码过程如图2所示。

在一个配有两块网卡的高性能PC机上即可实施本系统，一块网卡作为数据源，另一块网卡用作数据通讯，模板文件可以存储在本机硬盘上，协议分析人员只需增加、更改模板文件，即可实现协议的增加与修正。输出文件可以输出到硬盘，也可以通过网络输出到其他系统。

实施过程需要如下步骤：

(1)、增加模板文件

分析人员需要先对所要分析的数据包进行分析，提取出关键内容特征，然后按照本发明所定义的WEB类描述语言语法，写成相应协议模板。

(2)、系统启动并导入模板

系统启动后，各个模块初始化后开始正常运转，系统将模板文件读入，并按照WEB类描述语言语法解析每个模板文件，把解析出的关键字组成一个结构体，然后形成模板链表。

(3)、系统接收网卡数据包，并从应用层识别出HTTP数据连接

系统从网卡上接收到数据后，在进行完传输层识别后，进行应用层协议识别。系统是根据GET/POST等HTTP头部标识字段进行HTTP协议识别，而不是根据端口，因为很多HTTP应用流量已经不通过80端口收发了，因为HTTP是基于TCP协议，所以只需有一个数据包被识别为HTTP，整个TCP连接即可被识别为HTTP连接。

(4)、根据识别出的数据包进行模板匹配

在识别出HTTP连接后，系统开始解析HTTP头部，把GET/POST、HOST、URL、COOKIE等有用字段提取出来，并与模板链表里的模板结构进行比对，如果HOST、URL等关键字段匹配，则认为找到了合适的模板。具体过程可参考附图2。

(5)、根据匹配的模板从数据流中提取关键内容

根据匹配的模板种类，对HTTP内容部分进行一次搜索，形成一个关键内容字段链表，然后再用模板里定义的关键字段进行比对，如果匹配即可提取出相关内容。

(6)、将解析出的协议内容格式化输出

输出模块的作用就是将协议内容格式化，然后输出。输出内容一般会存储到特定数据库，以便更好地分析利用，所以协议内容会按照特定数据库的格式进行格式化。

到此，高效还原WEB类应用内容的发明实施完毕，如果想增加协议种类，只需增加模板即可实现。

Claims

1.一种还原WEB类应用内容的方法，其步骤为：

1)根据WEB类应用数据包特征，写成WEB类应用模板文件；

2)读取模板文件并解析，把解析出的关键字组成一个模板结构体，形成模板链表；

5)解析出待还原WEB类应用数据包HTTP内容部分的关键字和关键内容位置，并将模板描述的关键字与解析出的关键字进行比对，从模板中取出匹配的内容；

2.如权利要求1所述的方法，其特征在于，所述步骤1)采用WEB类描述语言将模板文件分为三部分，第一部分为模板识别部分，包括URL、HOST和POST/GET的内容，由分析某类WEB应用数据包HTTP头部得到；第二部分为关键内容描述部分，包括关键字、关键内容在数据包中的起始位置和关键内容长度，由分析某类WEB应用数据包所得；第三部分为数据类型。

3.如权利要求1所述的方法，其特征在于，所述步骤1)WEB类应用数据包特征为HTTP头部字段，包括网站登陆信息、发帖内容、回帖内容、注册信息或聊天信息。

4.如权利要求1所述的方法，其特征在于，所述步骤2)模板结构体包括模板识别部分、关键内容描述部分和数据类型部分。

5.如权利要求1所述的方法，其特征在于，所述步骤4)找出匹配模板的方法为：先用解析出的HOST字段比对，然后再将URL字段进行精确比对，找出匹配的模板。

6.如权利要求1所述的方法，其特征在于，所述步骤4)采用改进式Boyer-Moore算法。

7.如权利要求1所述的方法，其特征在于，所述步骤5)解析WEB类应用数据包HTTP内容部分的方法为：利用WEB类应用数据包中的分割符将登陆信息或发贴内容取出，组成格式化内容结构体链表。

8.如权利要求7所述的方法，其特征在于，所述格式化内容结构体包括关键字、关键内容在数据包中的起始位置和关键内容长度。

9.一种还原WEB类应用内容的系统，其特征在于，包括数据包输入模块、协议识别模块、模板导入模块、模板查找与内容提取模块和输出模块；所述数据包输入模块输入WEB类应用数据包，所述协议识别模块识别输入的数据包类别，由模板导入模块根据协议类别写成模板文件，读取模板并解析，把解析出的关键字组成一个结构体，然后形成模板链表；模板查找与内容提取模块识别出HTTP协议，解析HTTP头部字段操作，把包括GET/POST、HOST和URL的有用字段提取出来，并与模板链表里的模板结构进行比对，如果包括HOST和URL的关键字段匹配，则认为找到了合适的模板与模板文件对比，根据匹配的模板种类，对HTTP内容部分进行一次搜索，形成一个关键内容字段链表，然后再用模板里定义的关键字段进行比对，如果匹配即可提取出相关内容，输出模块将匹配的内容按数据库表格式化输出。

10.如权利要求9所述的系统，其特征在于，所述数据包输入模块从网卡捕获数据包。