CN104052737A - 一种网络数据报文的处理方法及装置 - Google Patents

Abstract

本发明公开了一种网络数据报文的处理方法，包括：构建业务模板特征库，提取网络数据报文中的统一资源定位符URL信息；将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取；并对获得的所述变量特征进行对应存储。本发明还同时公开了一种网络数据报文的处理装置。

Description

一种网络数据报文的处理方法及装置

技术领域

本发明涉及网络安全及上网行为管理中网络数据报文的识别和审计技术，尤其涉及一种网络数据报文的处理方法及装置。

背景技术

在网络安全和上网行为管理领域中，对用户数据的分析和管理是防止机密泄露和病毒入侵的重要手段，也是快速预防犯罪行为的一种方式，在互联网领域中，用户可以通过多种方式传播数据，如论坛、微博、博客等应用，这些应用已充斥到人们生活的各个方向，如人文交流、社会热点评论以及知识传播等，而网络数据报文是人们表现最突出的一种数据传播方式，因此，对网络数据报文的识别和审计是十分必要的。

现有技术中对网络数据报文的识别和审计可通过从网络报文中识别出网络数据报文的各种协议，然后在协议识别的基础上，再进行审计特征识别，然而，这种处理方式针对各个不同的协议和审计特征，需要增加相应的处理函数以完成审计操作，而网络数据报文没有统一的标准格式，格式种类繁多，每识别和审计一种具体的报文，则要根据该报文的格式增加相应的代码处理逻辑，如此，需要工作人员抽出大量的时间去分析和总结各个具体网络数据报文的协议和特征，维护成本高且性能低。

发明内容

有鉴于此，本发明实施例期望提供一种网络数据报文的处理方法及装置，可扩展性强，维护成本低且性能高。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供了一种网络数据报文的处理方法，构建业务模板特征库，所述方法还包括：

提取网络数据报文中的统一资源定位符URL信息；

将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；

根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并对获得的所述变量特征进行对应存储。

上述方案中，所述业务模板特征库包括多个业务模板，所述业务模板按业务类型进行划分，每种业务类型对应至少一个业务模板，且每种业务类型对应至少一个业务类型识别关键字，每个业务模板对应至少一个业务模板识别关键字。

上述方案中，所述将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板包括：

提取所述URL信息指定字段中的关键字，并将所述关键字与业务模板特征库中的业务类型识别关键字进行匹配，匹配成功时确定所述网络数据报文对应的业务类型，将所述关键字与业务模板识别关键字进行匹配，匹配成功时确定与所述网络数据报文对应的业务模板类型，获得与所述网络数据报文对应的业务模板。

上述方案中，所述业务模板中所包含的变量特征包括：账户关联特征、标题与内容特征；

所述根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取包括：根据获得的所述网络数据报文对应的业务模板，提取所述网络数据报文账户关联特征、主题与内容特征对应字段中的关联身份标识号码RID、账户、主题及内容信息。

上述方案中，该方法进一步包括：建立所述RID和账户之间的关联关系，并存储所述关联关系。

本发明实施例还提供了一种网络数据报文的处理装置，所述装置包括：构建模块、提取模块、匹配识别模块、审计模块及存储模块；其中，

所述构建模块，用于构建业务模板特征库；

所述URL提取模块，用于提取网络数据报文中的URL信息；

所述匹配识别模块，用于将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；

所述变量提取模块，用于根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并将获得的所述变量特征发送给存储模块；

所述存储模块，用于存储网络数据报文中提取的变量特征。

上述方案中，所述业务模板特征库包括多个业务模板，所述业务模板按业务类型进行划分，每种业务类型对应至少一个业务模板，且每种业务类型对应至少一个业务类型识别关键字，每个业务模板对应至少一个业务模板识别关键字。

上述方案中，所述匹配识别模块进一步用于，提取所述URL信息指定字段中的关键字，并将所述关键字与业务模板特征库中的业务类型识别关键字进行匹配，匹配成功时确定所述网络数据报文对应的业务类型，进一步将所述关键字与业务模板识别关键字进行匹配，匹配成功时确定与所述网络数据报文对应的业务模板类型，进而获得与所述网络数据报文对应的业务模板。

上述方案中，所述变量提取模块进一步用于，

根据获得的所述网络数据报文对应的业务模板，提取所述网络数据报文账户关联特征、主题与内容特征对应字段中的RID、账户、主题及内容信息；

上述方案中，所述装置还包括关联模块，用于建立所述RID和账户之间的关联关系，发送所述关联关系至存储模块；

相应的，所述存储模块，还用于存储所述RID和账户之间的关联关系。

本发明实施例所提供的网络数据报文的处理方法，构建业务模板特征库，提取网络数据报文中的统一资源定位符(URL，Uniform Resource Locator)信息；将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并对获得的所述变量特征进行对应存储；如此，可明确指出所述网络数据报文的业务类型，分类明确，提升了审计的覆盖范围，可扩展性强，可以根据上下文关联信息，提取或查询用户账户信息进行审计，提高了识别和审计性能，减小了对代码的依赖和冗余，降低了人员维护的成本，具有较好的灵活性。

附图说明

图1为本发明实施例网络数据报文的处理方法流程示意图；

图2为本发明实施例业务模板特征库的结构示意图；

图3为本发明实施例另一种网络数据报文的处理方法流程示意图；

图4为本发明实施例网络数据报文的处理装置组成结构示意图。

具体实施方式

在本发明实施例中，构建业务模板特征库，提取网络数据报文中的URL信息；将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并对获得的所述变量特征进行对应存储。

图1为本发明实施例网络数据报文的处理方法流程示意图，如图1所示，本实施例网络数据报文的处理方法流程包括：

步骤100：构建业务模板特征库；

这里，所述业务模板特征库包括多个业务模板，所述业务模板按业务类型进行划分，每种业务类型对应至少一个业务模板，且每种业务类型对应至少一个业务类型识别关键字，每个业务模板对应至少一个业务模板识别关键字。

图2为本发明实施例业务模板特征库的结构示意图，如图2所示，所述业务模板特征库中的业务模板分类包括三层信息内容，第一层、第二层和第三层，层中内容逐层细化、依次递进，第一层为业务层，包括多个业务类型，如论坛、博客、微博以及WEBIM等应用；第二层为模板层，针对第一层的业务类型而归类的模板类型，每个业务类型包括多个业务模板，如论坛包括Dvbbs、Discuz、Phpwind以及Phpbb等业务模板，博客包括Wordpress、Zblog、Drupal以及DevText等业务模板；第三层为模板内容特征层，每个业务模板均包括账户关联特征、主题与内容特征；

业务模板特征库中的每个业务类型均对应一个或多个业务类型识别关键字，所述业务类型识别关键字用于标识对应的业务类型，可通过网络数据报文中URL信息指定字段中的关键字快速识别所述网络数据报文属于何种业务类型，如网络数据报文中URL为：

/forum.php？mod＝post&action＝newthread&fid＝241&extra＝&topicsubmit＝yes，其中froum.php为业务类型识别关键字，可判断所述网络数据报文属于论坛业务；

每个业务模板对应一个或多个业务模板识别关键字，所述业务模板识别关键字用于标识对应的业务模板类型，当已经确定网络数据报文所属业务类型时，可进一步定位所述网络数据报文所属的业务模板类型，进而获得业务模板，如上述URL中，所述mod＝post&为业务模板识别关键字，在确定所述网络数据报文属于论坛业务的基础上，可进一步通过mod＝post&判断所述网络数据报文的业务模板类型为Discuz模板类型，这仅是Discuz模板类型的一种；这里，所述指定字段指的是包含用于识别网络数据报文业务类型及业务模板类型关键字的字段；

所述构建业务模板特征库具体为：对大量用户上网数据及各种数据传播方式等进行统计分析，并根据统计分析结果及业务需求总结形成包括多个业务类型，每个业务类型包括多个业务模板，每个业务模板包括账户关联特征、主题与内容特征的业务模板特征库。

步骤101：提取网络数据报文中的统一资源定位符URL信息。

步骤102：将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；

本步骤具体包括：提取网络数据报文中URL信息指定字段中的关键字，并将所述关键字与业务模板特征库中的业务类型识别关键字进行匹配，匹配成功时确定所述网络数据报文对应的业务类型，匹配失败则结束处理流程；确定业务类型后进一步将所述关键字和业务模板识别关键字进行匹配，匹配成功时确定与所述网络数据报文对应的业务模板类型，进而获得与所述网络数据报文对应的业务模板；匹配失败则结束处理流程；这里，所述指定字段指的是包含用于识别网络数据报文业务类型及业务模板类型关键字的字段。

步骤103：根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并对获得的所述变量特征进行对应存储；

这里，所述业务模板中所包含的变量特征包括：账户关联特征、标题与内容特征；

所述根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并对获得的所述变量特征进行对应存储包括：根据获得的所述网络数据报文对应的业务模板，提取所述网络数据报文账户关联特征、主题与内容特征对应字段中的关联身份标识号码(RID，Relative IDentity)、账户、主题及内容信息，并将所述RID、账户、主题及内容信息进行对应存储；

所述提取账户关联特征、主题与内容特征中RID、账户、主题及内容信息之后，该方法还包括：建立所述RID和账户之间的关联关系，并存储所述关联关系；具体包括：建立所述RID及所述账户之间的一一对应关系，并保存这种关系，当账户为空时，可通过RID提取出用户账户信息。

图3为本发明实施例另一种网络数据报文的处理方法流程示意图，如图3所示，本实施例网络数据报文的处理方法流程包括：

步骤301：构建业务模板特征库；

这里，所述业务模板特征库所述业务模板特征库包括多个业务模板，所述业务模板按业务类型进行划分，每种业务类型对应至少一个业务模板，且每种业务类型对应至少一个业务类型识别关键字，每个业务模板对应至少一个业务模板识别关键字。

图2为本发明实施例业务模板特征库的结构示意图，如图2所示，所述业务模板特征库中的业务模板分类包括三层信息内容，第一层、第二层和第三层，层中内容逐层细化、依次递进，第一层为业务层，包括多个业务类型，如论坛、博客、微博以及WEBIM等应用；第二层为模板层，针对第一层的业务类型而归类的模板类型，每个业务类型包括多个业务模板，如论坛包括Dvbbs、Discuz、Phpwind以及Phpbb等业务模板，博客包括Wordpress、Zblog、Drupal以及DevText等业务模板；第三层为模板内容特征层，每个业务模板均包括账户关联特征、主题与内容特征；

业务模板特征库中的每个业务类型均对应一个或多个业务类型识别关键字，所述业务类型识别关键字用于标识对应的业务类型，可通过网络数据报文中URL信息指定字段中的关键字快速识别所述网络数据报文属于何种业务类型；这里，所述指定字段指的是包含用于识别网络数据报文业务类型及业务模板类型关键字的字段；每个业务模板对应一个或多个业务模板识别关键字，所述业务模板识别关键字用于标识对应的业务模板类型，当已经确定网络数据报文所属业务类型时，可进一步定位所述网络数据报文所属的业务模板类型；

所述构建业务模板特征库具体为：对大量用户上网数据及各种数据传播方式等进行统计分析，并根据统计分析结果及业务需求总结形成包括多个业务类型，每个业务类型包括多个业务模板，每个业务模板包括账户关联特征、主题与内容特征的业务模板特征库。

步骤302：提取网络数据报文中URL信息；

这里，本发明实施例中所述网络数据报文可以包括如下内容：

POST

/forum.php？mod＝post&action＝newthread&fid＝241&extra＝&topicsubmit＝yes

HTTP/1.1

Host:bbs.wehefei.com

User-Agent:Mozilla/5.0(Windows NT6.1；WOW64；rv:25.0)

Gecko/20100101Firefox/25.0

提取网络数据报文中的URL信息后，所述URL信息即为：/forum.php？mod＝post&action＝newthread&fid＝241&extra＝&topicsubmit＝yes。

步骤303：将提取的所述URL信息与所述业务模板特征库进行匹配识别，并判断是否匹配成功，如果匹配成功执行步骤304；否则，执行步骤306；

这里，所述将提取的所述URL信息与所述业务模板特征库进行匹配识别包括：提取网络数据报文中URL信息指定字段中的关键字，并将所述关键字与业务模板特征库中的业务类型识别关键字进行匹配，匹配成功时确定所述网络数据报文对应的业务类型，匹配失败则结束处理流程；确定业务类型后进一步将所述关键字和业务模板识别关键字进行匹配，匹配成功时确定与所述网络数据报文对应的业务模板类型，进而获得与所述网络数据报文对应的业务模板；这里，所述指定字段指的是包含用于识别网络数据报文业务类型及业务模板类型关键字的字段；如步骤302中所述URL信息为：

/forum.php？mod＝post&action＝newthread&fid＝241&extra＝&topicsubmit＝yes；

通过提取上述URL信息中的关键字forum.php与业务模板特征库中的业务类型识别关键字进行匹配，可确定网络数据报文的业务类型为论坛，进一步将关键字mod＝post和业务模板识别关键字进行匹配，可确定所述网络数据报文的业务模板为Discuz。

步骤304：提取所述网络数据报文账户关联特征、主题与内容特征对应字段中的RID、账户、主题及内容信息，并判断是否提取成功，如果提取成功执行步骤305；否则，执行步骤306；

这里，网络数据报文为包含步骤303中所述URL信息的网络数据报文，所述网络数据报文还包括如下内容：

formhash＝bb6f5a86&posttime＝1386560994&wysiwyg＝1&typeid＝187&subject＝nihao&message＝hello&readperm＝&rid＝53123ds32&account＝xiaoming&；

依据步骤303中的判断结果，即所述网络数据报文的业务类型为论坛，业务模板为Discuz，根据获得的所述网络数据报文对应的Discuz业务模板，提取关联特征中的RID信息为：&rid＝53123ds32&，其中rid为网络数据报文的RID关键字；提取关联特征中的账户信息为：&account＝xiaoming&，其中account为网络数据报文的账户关键字；提取主题与内容特征中的主题信息为：&subject＝nihao&其中subject为网络数据报文的主题关键字；提取主题与内容特征中的内容信息为：&message＝hello&，其中message为网络数据报文的内容关键字；这里，需要说明的是RID、账户、主题及内容关键字并不限定为rid、account、subject和message，可以为其他对应关键字。

步骤305：对所述RID及所述账户进行账户关联，并存储所述关联关系及所述RID、关联账户、主题及内容信息；

这里，所述对所述RID及所述账户进行账户关联具体为：建立所述RID及所述账户之间的一一对应关系，并保存这种关系，以便账户为空时，可通过RID提取出用户账户信息；如步骤304中所述RID信息为：&rid＝53123ds32&，账户信息为：&account＝xiaoming&，即可对RID(53123ds32)与账户(xiaoming)进行账户关联，建立二者之间的一一对应关系，当账户(xiaoming)为空时，可通过与其关联的RID(53123ds32)提取出用户账户信息。

步骤306：结束本次处理流程。

图4为本发明实施例网络数据报文的处理装置组成结构示意图，如图4所示，本发明实施例网络数据报文的处理装置组成结构包括：构建模块41、URL提取模块42、匹配识别模块43、变量提取模块44及存储模块45；其中，

所述构建模块41，用于构建业务模板特征库；

所述URL提取模块42，用于提取网络数据报文中的URL信息；

所述匹配识别模块43，用于将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；

所述变量提取模块44，用于根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并将获得的所述变量特征发送给存储模块45；

所述存储模块45，用于存储网络数据报文中提取的变量特征；

这里，所述业务模板特征库包括多个业务模板，所述业务模板按业务类型进行划分，每种业务类型对应至少一个业务模板，且每种业务类型对应至少一个业务类型识别关键字，每个业务模板对应至少一个业务模板识别关键字；

图2为本发明实施例业务模板特征库的结构示意图，如图2所示，所述业务模板特征库中的业务模板分类包括三层信息内容，第一层、第二层和第三层，层中内容逐层细化、依次递进，第一层为业务层，包括多个业务类型，如论坛、博客、微博以及WEBIM等应用；第二层为模板层，针对第一层的业务类型而归类的模板类型，每个业务类型包括多个业务模板，如论坛包括Dvbbs、Discuz、Phpwind以及Phpbb等业务模板，博客包括Wordpress、Zblog、Drupal以及DevText等业务模板；第三层为模板内容层，每个业务模板均包括账户关联特征、主题与内容特征；

业务模板特征库中的每个业务类型均对应一个或多个业务类型识别关键字，所述业务类型识别关键字用于标识对应的业务类型，可通过网络数据报文中URL信息指定字段中的关键字快速识别所述网络数据报文属于何种业务类型；这里，所述指定字段指的是包含用于识别网络数据报文业务类型及业务模板类型关键字的字段；每个业务模板对应一个或多个业务模板识别关键字，所述业务模板识别关键字用于标识对应的业务模板类型，当已经确定网络数据报文所属业务类型时，可进一步定位所述网络数据报文所属的业务模板类型；

所述构建模块41构建业务模板特征库具体为：构建模块41对大量用户上网数据及各种数据传播方式进行统计分析，并根据统计分析结果及业务需求总结形成包括多个业务类型，每个业务类型包括多个业务模板，每个业务模板包括账户关联特征、主题与内容特征的业务模板特征库；

所述匹配识别模块43将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板包括：

所述匹配识别模块43提取所述URL信息指定字段中的关键字，并将所述关键字与业务模板特征库中的业务类型识别关键字进行匹配，匹配成功时确定所述网络数据报文对应的业务类型，进一步将所述关键字与业务模板识别关键字进行匹配，匹配成功时确定与所述网络数据报文对应的业务模板类型，进而获得与所述网络数据报文对应的业务模板；这里，所述指定字段指的是包含用于识别网络数据报文业务类型及业务模板类型关键字的字段；

所述变量提取模块44进一步用于，根据获得的所述网络数据报文对应的业务模板，提取所述网络数据报文账户关联特征、主题与内容特征对应字段中的RID、账户、主题及内容信息，并将所述RID、账户、主题及内容信息进行对应存储；

进一步的，所述装置还包括关联模块46，用于建立所述RID和账户之间的关联关系，并存储所述关联关系；具体包括：所述关联模块46根据变量提取模块44提取的所述RID及所述账户，建立所述RID及所述账户之间的一一对应关系，并保存这种关系，当账户为空时，可通过RID提取出用户账户信息；

相应的，所述存储模块45，还用于存储所述RID和账户之间的关联关系。

本发明实施例中，所述构建模块41可由网络中的一台服务器实现，所述URL提取模块42、所述匹配识别模块43、变量提取模块44及关联模块46均可由服务器中的中央处理器(CPU，Central Processing Unit)、或数字信号处理器(DSP，Digital Signal Processor)、或现场可编程门阵列(FPGA，FieldProgrammable Gate Array)实现，所述存储模块45可由服务器中的存储器实现。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种网络数据报文的处理方法，其特征在于，构建业务模板特征库，所述方法还包括：

提取网络数据报文中的统一资源定位符URL信息；

将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；

根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并对获得的所述变量特征进行对应存储。

2.根据权利要求1所述的方法，其特征在于，所述业务模板特征库包括多个业务模板，所述业务模板按业务类型进行划分，每种业务类型对应至少一个业务模板，且每种业务类型对应至少一个业务类型识别关键字，每个业务模板对应至少一个业务模板识别关键字。

3.根据权利要求2所述的方法，其特征在于，所述将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板包括：

提取所述URL信息指定字段中的关键字，并将所述关键字与业务模板特征库中的业务类型识别关键字进行匹配，匹配成功时确定所述网络数据报文对应的业务类型，将所述关键字与业务模板识别关键字进行匹配，匹配成功时确定与所述网络数据报文对应的业务模板类型，获得与所述网络数据报文对应的业务模板。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述业务模板中所包含的变量特征包括：账户关联特征、标题与内容特征；

所述根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取包括：根据获得的所述网络数据报文对应的业务模板，提取所述网络数据报文账户关联特征、主题与内容特征对应字段中的关联身份标识号码RID、账户、主题及内容信息。

5.根据权利要求4所述的方法，其特征在于，该方法进一步包括：建立所述RID和账户之间的关联关系，并存储所述关联关系。

6.一种网络数据报文的处理装置，其特征在于，所述装置包括：构建模块、提取模块、匹配识别模块、审计模块及存储模块；其中，

所述构建模块，用于构建业务模板特征库；

所述URL提取模块，用于提取网络数据报文中的URL信息；

所述匹配识别模块，用于将提取的所述URL信息与所述业务模板特征库进行匹配识别，获得与所述网络数据报文对应的业务模板；

所述变量提取模块，用于根据获得的业务模板中所包含的变量特征，对所述网络数据报文进行相应的变量特征提取，并将获得的所述变量特征发送给存储模块；

所述存储模块，用于存储网络数据报文中提取的变量特征。

7.根据权利要求6所述装置，其特征在于，所述业务模板特征库包括多个业务模板，所述业务模板按业务类型进行划分，每种业务类型对应至少一个业务模板，且每种业务类型对应至少一个业务类型识别关键字，每个业务模板对应至少一个业务模板识别关键字。

8.根据权利要求6所述装置，其特征在于，所述匹配识别模块进一步用于，提取所述URL信息指定字段中的关键字，并将所述关键字与业务模板特征库中的业务类型识别关键字进行匹配，匹配成功时确定所述网络数据报文对应的业务类型，进一步将所述关键字与业务模板识别关键字进行匹配，匹配成功时确定与所述网络数据报文对应的业务模板类型，进而获得与所述网络数据报文对应的业务模板。

9.根据权利要求6至8任一项所述装置，其特征在于，所述变量提取模块进一步用于，

根据获得的所述网络数据报文对应的业务模板，提取所述网络数据报文账户关联特征、主题与内容特征对应字段中的RID、账户、主题及内容信息；

10.根据权利要求9所述装置，其特征在于，所述装置还包括关联模块，用于建立所述RID和账户之间的关联关系，发送所述关联关系至存储模块；

相应的，所述存储模块，还用于存储所述RID和账户之间的关联关系。