CN101262491A - 应用层网络分析方法及系统 - Google Patents

Abstract

本发明涉及一种计算机网络分析方法及系统，属于计算机网络通信技术领域。该方法包括在网络服务器中进行网络协议分析步骤、通讯内容分析步骤，通过将特征内容识别结果与存储的信息内容基本特征逐一比较，在比较结果符合预定条件时，将还原文档判为与对应的样本文档同类，从而可以通报用户。采用本发明后，在对网络应用层协议分析的基础上，通过对文档的信息内容基本特征训练提取比较，即可分辨出网络上获取报文的实质内容类别，从而克服现有网络分析方法只能对IP地址、端口、协议类型进行分析，却不能分辨通讯内容的缺憾，为深层次的网络操作或网络监控管理奠定基础。

Description

应用层网络分析方法及系统

技术领域

本发明涉及一种计算机网络分析方法及系统，更具体地涉及如何根据在计算机通信节点上获取的通讯内容进行用户网络行为分析的方法及系统，属于计算机网络通信技术领域。

背景技术

通常，狭义的网络行为分析或称网络行为异常探测利用被动观察和描述找出通讯高峰、不正常的应用和违反政策的行为，是一种较新的产品拓展领域。而广义的网络行为分析则指分析网络上的一切数据，并根据这些数据和已设定的规则，给出网络行为的统计、分析数据，从而达到预定的分析目的。

据申请人了解，为了达到保护网络的目的，目前的网络行为分析系统、入侵防御系统和防火墙系统采用的方法需要将传感器连接到局域网分接头或者交换机镜像端口，要么收集原始数据包，要么收集来自网络交换机和路由器的流动记录，在进行相应的网络分析。例如，大多数网络行为分析产品能够使用NetFlow或者sFlow记录。这些记录存储了通过路由器或者交换机的每一个通讯流的IP地址、端口、协议和接口。传感器通过观察，将发现的相关信息传送给中央分析器设备(管理器或者控制器)。接着，中央分析器创建一个网络基线，观察客户机/服务器变化，及其使用的协议、数据速率、日期时间以及其它指标。这个基线一旦建立起来之后，中央分析器就会观察各种变化，并对诸如蠕虫爆发的通讯速率高峰或者绕过防火墙规则在80端口传送的不同寻常P2P协议等作出反应。大多数中央分析器还可以采用能够发现违规行为的基于区域的政策进行设置，以防止允许的通讯在许多系统的不同工作组之间进行交换，避免违反数据隔离规则。

然而，上述现有的网络分析方法仅仅处理了基本链路层和网络层数据，也就是说仅仅对IP地址、端口、协议类型进行了分析，却不能根据应用层的协议进行分析，因此存在以下缺憾：1、无法对用户行为进行进一层次的分析——由于现有技术仅仅分析了网络的基本数据(IP地址、端口等)，虽然可以获取网络报文类的特征，但没有对上层应用程序的数据进行分析，不能根据上层通讯的具体内容实现行为发现。

2、无法发现用户利用网络进行非法活动——目前网络用户通过网络发起的非法活动不仅仅限于DDoS攻击、病毒、木马等通过防火墙可以发现的行为，但是现有的防火墙系统都不能有效发现诸如破坏国家稳定之类的言论。

3、不能搜集用户的使用特征和偏好——现有的网络行为分析系统、防火墙系统都没有方法发现用户的行为偏好，例如那些人有离职倾向，那些人喜欢某种品牌的化妆品，那些人喜欢看什么样的电影等等，从而无法提供进一步有针对性的服务。

发明内容

本发明要解决技术问题是：针对以上现有技术存在的缺憾，提出一种可以对应用程序数据进行分析，从而分辨通讯内容的应用层网络分析方法及系统，以便在此基础上实现深层的网络服务和管理。

为了解决以上技术问题，本发明的应用层网络分析方法包括在网络服务器中进行网络协议分析步骤、通讯内容分析步骤；所述网络协议分析步骤包括：

1-1、从网络上获取报文；

1-2、识别报文协议类型；可以根据获取报文的端口或报文的协议特征识别报文协议类型；

1-3、将报文提交到与其协议类型对应的上层应用协议解析还原；

1-4、将报文解析后的还原文档提交给通讯内容分析步骤；

所述通讯内容分析步骤含有信息内容基本特征提取训练分步和特征内容识别分步：

首先进行信息内容基本特征提取训练分步

2-1、从预定(用户或者系统默认提供)样本文档中提取关键词；

关键词提取可以采用最长词匹配或者Markov马尔科夫模型等；

2-2、至少逐一统计计算出各关键词在样本文档中出现的概率表达，作为信息内容基本特征；

2-3、存储样本文档的信息内容基本特征；

接着进行特征内容识别分步

2-4、按与步骤2-1相同的方式，从网络协议分析步骤的还原文档中提取关键词；

2-5、按与步骤2-2相同的统计计算，得出所提取关键词在还原文档中出现的概率表达，作为特征内容识别结果；

2-6、将特征内容识别结果与存储的信息内容基本特征逐一比较，如比较结果符合预定条件，则将还原文档判为与对应的样本文档同类。

以上在对网络应用层协议分析的基础上，通过对文档的信息内容基本特征训练提取比较，即可分辨出网络上获取报文的实质内容类别，从而克服现有网络分析方法只能对IP地址、端口、协议类型进行分析，却不能分辨通讯内容的缺憾，为深层次的网络操作或网络监控管理奠定基础。

本发明进一步的完善是：所述步骤2-6中，如比较结果不符合预定条件，则将还原文档作为新的样本文档，进行信息内容基本特征提取训练分步，这样可以不断自动扩充样本文档，从而不断使本发明的功能得到强化。

本发明进一步的实际应用是：所述样板文档为用户输入的主题文档；当从网络上获取报文的还原文档判为与所述主题文档同类后，通报用户。

与上述方法相应的应用层网络分析系统由至少包括在网络服务器中的网络协议分析器和通讯内容分析器构成；

所述网络协议分析器用于：从网络上获取报文，识别报文协议类型，将报文提交到与其协议类型对应的上层应用协议解析还原，将报文解析后的还原文档提交给通讯内容分析器；

所述通讯内容分析器含有信息内容基本特征提取训练模块和特征内容识别模块；

所述信息内容基本特征提取训练模块用于：从预定样本文档中提取关键词，至少逐一统计计算出各关键词在样本文档中出现的概率表达作为信息内容基本特征，存储样本文档的信息内容基本特征；

所述特征内容识别模块用于：按与所述信息内容基本特征提取训练模块相同的方式，从网络协议分析步骤的还原文档中提取关键词，得出特征内容识别结果，将特征内容识别结果与存储的信息内容基本特征逐一比较，如比较结果符合预定条件，则将还原文档判为与对应的样本文档同类。

归纳起来，本发明的有益效果在于：

1、避免了传统防火墙的只能根据IP五元组上规则的局限。

2、分析系统的部署是透明的，现有应用程序和用户使用习惯完全不用更改。

3、可以根据用户定义的主题进行跟踪，即可以发现与企业相关的内容，例如：泄露商业秘密；也可以发现违法国家法律、法规的行为，例如：传播反动、淫秽内容。

4、便于大规模统一部署，可以统一协调一定地域范围内的所有设备和系统。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明的系统与单位内部网络和Internet网关的连接关系示意图。

图2是本发明在企业端的行为分析系统架构示意图。

图3是本发明网络协议分析器逻辑示意图。

图4是本发明一个实施例的流程图。

图5是本发明概率表达计算过程流程图。

具体实施方式

实现本发明应用层网络分析方法的系统可以命名为行为分析系统，该系统与单位内部网络和Internet网关的连接关系如图1所示，在单位内部行为分析系统存在两种接入方法，一种是并接法如企业1所示，第二种是串接法如企业2所示。行为分析系统如图2所示，由网络协议分析器、通讯内容分析器以及规则管理器三个部分构成，此三部分具体描述如下：

网络协议分析器

网络协议分析器的工作步骤如下(参见图4)：

1.在网络上获取报文。本实施例采用libpcap网络报文截获程序库(参见http://www.tcpdump.org/)，借以在网卡上听取所有的网络IP报文。其主要程序语句如下：

/*寻找相应的网卡设备*/

dev＝pcap_lookupdev(errbuf)；

if(dev＝＝NULL){fprintf(stderr，″Couldn′t find default device:

％s\n″，errbuf)；

        return(2)；}

/*找到网卡设备的属性*/

if(pcap_lookupnet(dev，&net，&mask，errbuf)＝＝-1)

{fprintf(stderr，″Couldn′t get netmask for device ％s:％s\n″，

dev，errbuf)；

       net＝0；

       mask＝0；}

/*将网卡设置为听包状态，这个状态可以听取所有的网络报文*/

handle＝pcap_open_live(dev，BUFSIZ，1，1000，errbuf)；

if(handle＝＝NULL){fprintf(stderr，″Couldn′t open device ％s:

％s\n″，somedev，errbuf)；

    return(2)；}

/*设置网卡听包过滤，这一步是可选的。可以过滤掉不需要的网络

报文*/

if(pcap_compile(handle，&fp，filter_exp，0，net)＝＝-1){

     fprintf(stderr，″Couldn′t parse filter ％s:％s\n″，

filter_exp，pcap_geterr(handle))；

     return(2)；}

if(pcap_setfilter(handle，&fp)＝＝-1){fprintf(stderr，

″Couldn′t install filter ％s:％s\n″，filter_exp，

pcap_geterr(handle))；

     return(2)；}

/*开始抓包*/

packet＝pcap_next(handle，&header)；

2.当接受指令，需要进行系统检查时，将网络IP报文根据IP地址和目标端口进行分组，识别报文的类型。通常识别报文类型可以先根据每一个IP报文的端口进行。例如：邮件协议，POP3采用110端口，SMTP协议是25端口，网络浏览、发帖HTTP协议通常采用80端口。根据端口即可迅速判断IP报文对应那个还原模块可以识别。当然，根据端口识别不能覆盖所有的IP报文，例如用户通过特别设置，可以配置POP3协议运行在8888端口上，此时需要根据协议特征识别来进行IP报文识别，该方法根据RFC国际规范(参见http://www.ietf.org/rfc.html)中的定义来识别报文。例如：HTTP协议报文的头几个字符一定是“GET”或者“POST”字符等等，然后通过“\r\n”作为换行，在正文和头部信息之间用两个“\r\n”作为分割，按此规则，不难通过计算机正则表达式描述。

3.根据不同类型的报文交到各种对应的上层应用协议解析还原(参见图3)。每一种网络协议的还原都需要对应的独立还原程序。例如对SMTP协议还原所需要的单独还原程序将网络上的IP报文恢复成一个可以阅读的原始电子邮件。根据国际标准RFC-821(参见http://www.ietf.org/rfc/rfc0821.txt)的一个相应编程即可实现。而HTTP协议根据国际标准RFC-2616(http://www.ietf.org/rfc/rfc2616.txt)的对应编程也可实现。其余通信协议的还原相似，可以类推。

4.将解析结果即还原的原始文档提交给通讯内容分析器。

通讯内容分析器

通讯内容分析器由两个部分组成，一个是信息内容基本特征提取训练模块，另一个特征内容识别模块。

信息内容基本特征提取训练模块

信息内容基本特征提取训练模块的作用是将网络上大量预先获取的海量文本样本进行训练获得一个基本的数据模式，以供内容特征识别模块使用。其工作步骤为(参见图5)：

1.将用户或者系统默认提供的海量样本文档进行分词分析，提取关键词，分词分析可以采用最长词匹配或者Markov模型等等。最长匹配法是使用词典(可以根据目前的新华字典整理，也可以是自己整理出来的汉语字典)来切分。比如，“我是大学生”，根据词典通常会被拆分为“我”、“是”、“大学生”。最长匹配法又分正向最长匹配和反向最长匹配，即从句子的正方向或反方向匹配字典中有的最长单词。通常反向最长匹配的效果要好于正向最长匹配。也可以把两者结合起来，即双向最长匹配。最长匹配法实现也较简单，分词速度较快。采用词典的分词方法的效果很大程度上取决于词典的质量。

2.对分词分析结果进行统计，计算出每一个关键词w_i在每一个文档中出现的概率表达

T(w_i)＝log(N(w_i)/N)                              (1)

其中N(w_i)是作为训练语料的样本文档中出现w_i的次数，N是训练语料中所有词出现次数的总数；

3.根据公式(1)可以得到一个的每个关键词w_i的背景T(w)分布表，这张表一旦做好即被保存，不需要每一次都计算；

4.根据用户设置的一组主题文档d，计算出每一个关键词w_i在每一个主题文档d_j中的表现程度

W(w_i，d_j)＝N(W_ij)×T(W_i)²                        (2)

上式中N(w_ij)是文本d_j中出现w_i的次数；

5.定义关键词w_i在类别d中的表现程度

$W(w_i,d)=\underset{j}{\mathrm{\Σ}}W(w_i,d_j)---\left(3\right)$

6.根据公式(3)，得到一个类别中所有关键词的表现程度向量

其中n为所有词的个数。

7.将以上获得的关键词表现程度向量的概率表达作为信息内容基本特征存储。

特征内容识别模块

特征内容识别模块的功能主要是将网络上的文档和用户预先设定的样本文档进行比较，如果网络上的文档和某一类样本文档类似，则通报用户。其工作流程如下：

1.按与上述信息内容基本特征提取训练模块处理样本文档相同的步骤，将网络协议分析器传送的还原文档c进行分词分析，提取关键词，进行有关计算，最终得到所有关键词在还原文档c的表现程度向量：

2.比较还原文档c与用户预先设定的所有样本文档类别D＝(D₁，D₂，D₃，D₄...D_m)之间的相似度，根据公式(4)和公式(6)得：

$=(W(w_1,c),W(w_2,c),W(w_3,c)...W(w_n,c))\·(W(w_1,D_i),W(w_2,D_i),W_{}(w_3,D_i)...W(w_n,D_i))$

3.如 $S(c,D)=\underset{i}{\min }\left(S(c,D_i)\right)$ 的值小于用户预定的阈值，就判定文档c属于用户设置为感兴趣的同类文档，并通报用户。

规则管理器

规则管理器主要用于完成两个方面的功能：1.由用户可以按照自己的需要定义自己感兴趣的规则，并调度网络协议分析器和通讯内容分析器；2.接收行为资源管理服务器发送的规则，并调度网络协议分析器和通讯内容分析器。

第一方面的工作步骤如下：

1、1用户定义一个主题。该主题仅是一个语义上的标识，表示用户感兴趣的关键词；

1、2用户将预先收集好的与主题相关的内容(即可以是关键词的形式、也可以是一组与这个主题相关的文档)上传到规则管理器；

1、3规则管理器根据接收到的上传文档调用通信内容分析器的信息内容基本特征提取训练模块，从而获得上传文档的所有特征词的概率表达，并将这些统计概率表达的计算结果和上传文档统一保存；

1、4以上保存的结果将被特征内容识别模块调用(如公式7)。当网络协议分析器还原了一个网络上的原始文档后，通过信息内容基本特征提取训练模块，可以得到这个原始文档的关键词概率表达，然后通过公式7和上述的保存结果比较计算出原始文档和用户预先设定文档之间的相似度；

1、5一旦特征内容识别模块命中用户配置的规则，即上一步中所计算出来的原始文档和用户预先设定文档之间相似度如果大于某个预先设定的阈值，例如：0.8，即有80％的相似程度。(阈值可以根据用户的使用情况和需要自行调整，也可以根据不同的类别设定不同的阈值)，则通报用户。

第二方面的工作步骤如下：

2、1通过网络接收行为资源管理服务器下发的规则，这些规则可以通过关键词的形式表述，也可以通过一组训练文档表述；

2、2规则管理器根据接收的下发文档调用通信内容分析器的信息内容基本特征提取训练模块，从而获得下发文档的所有特征词的概率表达，并将这些统计概率表达的计算结果和上传文档统一保存；

2、3以上保存的结果将被特征内容识别模块调用(如公式7)。当网络协议分析器还原了一个网络上的原始文档后，通过信息内容基本特征提取训练模块，可以得到这个原始文档的关键词概率表达，然后通过公式7和上述的保存结果比较计算出原始文档和预先设定文档之间的相似度；

2、4一旦特征内容识别模块命中下发的规则，即上一步中所计算出来的原始文档和预先设定文档之间相似度如果大于某个预先设定的阈值，例如：0.8，即有80％的相似程度。(阈值可以根据资源管理服务器的需求调整)，则通报资源管理服务器。

行为资源管理服务器

行为资源管理服务器的主要作用是统一协调管辖范围内的所有规则管理器。它统一下发规则(这些规则可以是某些关键字，也可以是一系列预先设定的相关文档)，统一提供用户检索界面。

行为资源管理服务器的典型工作流程如下：

1.允许用户在界面上输入感兴趣的规则，这里的用户可以是具有某种特权的用户(例如国家的某些政府机关)；

2.资源管理服务器将这些规则下传到管辖范围内的所有规则管理器；

3.各个规则管理器负责将命中(既在规则管理器中发现和行为资源管理服务器下发数据类似的文件)数据返回到行为资源管理器；

4.用户在行为资源管理服务器上查看所有命中数据的结果。

本发明带来的好处在于：

1.可以帮助企业管理员解决以往仅仅根据IP特征设置防火墙带来的控制能力弱的缺点，辅助定义企业内部的信息控制机制；

2.可以通过完全透明的手段，不会对用户使用网络带来任何影响；

3.具备完全的IP地址追踪能力，可以迅速定位到非法使用网络的行为个人；

4.可以定义应用层的木马、病毒，在应用层有效的防止木马、病毒的流行

5.可以帮助国家权利部门控制辖区范围的非法信息流传。

以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。例如，以上关键词在文档中出现的概率表达计算可以简化，或建立别的数学模型，采用另外的算式。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

附：中英文名词对应

Markov：马尔科夫模型

IM：网路即时通讯

FTP：网络文件传输协议

RFC：Request for Comments请求注解，是一个国际互联网标准的总称

PORT：网络端口

DDoS：网络拒绝服务攻击

Claims (8)

1.一种应用层网络分析方法及系统，其特征在于包括在网络服务器中进行网络协议分析步骤、通讯内容分析步骤；

所述网络协议分析步骤包括：

1-1、从网络上获取报文；

1-2、识别报文协议类型；

1-3、将报文提交到与其协议类型对应的上层应用协议解析还原；

1-4、将报文解析后的还原文档提交给通讯内容分析步骤；

所述通讯内容分析步骤含有信息内容基本特征提取训练分步和特征内容识别分步：

首先进行信息内容基本特征提取训练分步

2-1、从预定样本文档中提取关键词；

2-2、至少逐一统计计算出各关键词在样本文档中出现的概率表达，作为信息内容基本特征；

2-3、存储样本文档的信息内容基本特征；

接着进行特征内容识别分步

2-4、按与步骤2-1相同的方式，从网络协议分析步骤的还原文档中提取关键词；

2-5、按与步骤2-2相同的统计计算，得出所提取关键词在还原文档中出现的概率表达，作为特征内容识别结果；

2-6、将特征内容识别结果与存储的信息内容基本特征逐一比较，如比较结果符合预定条件，则将还原文档判为与对应的样本文档同类。

2.根据权利要求1所述应用层网络分析方法，其特征在于：所述步骤2-6中，如比较结果不符合预定条件，则将还原文档作为新的样本文档，进行信息内容基本特征提取训练分步。

3.根据权利要求2所述应用层网络分析方法，其特征在于：所述样板文档为用户输入的主题文档；当从网络上获取报文的还原文档判为与所述主题文档同类后，通报用户。

4.根据权利要求3所述应用层网络分析方法，其特征在于：所述步骤1-2中，根据获取报文的端口或报文的协议特征识别报文协议类。

5.根据权利要求4所述应用层网络分析方法，其特征在于：所述步骤2-1中，关键词提取采用最长词匹配或者马尔科夫模型模型。

6、一种应用层网络分析系统，其特征在于：由至少包括在网络服务器中的网络协议分析器和通讯内容分析器构成；

所述网络协议分析器用于：从网络上获取报文，识别报文协议类型，将报文提交到与其协议类型对应的上层应用协议解析还原，将报文解析后的还原文档提交给通讯内容分析器；

所述通讯内容分析器含有信息内容基本特征提取训练模块和特征内容识别模块；

所述信息内容基本特征提取训练模块用于：从预定样本文档中提取关键词，至少逐一统计计算出各关键词在样本文档中出现的概率表达作为信息内容基本特征，存储样本文档的信息内容基本特征；

所述特征内容识别模块用于：按与所述信息内容基本特征提取训练模块相同的方式，从网络协议分析步骤的还原文档中提取关键词，得出特征内容识别结果，将特征内容识别结果与存储的信息内容基本特征逐一比较，如比较结果符合预定条件，则将还原文档判为与对应的样本文档同类。

7、根据权利要求6所述的应用层网络分析系统，其特征在于：还含有规则管理器，所述规则管理器用于由用户定义规则，并调度网络协议分析器和通讯内容分析器，得出原始文档和用户预先设定文档之间的相似度，当相似度大于预定阈值时通报用户。

8、根据权利要求7所述的应用层网络分析系统，其特征在于：还含有行为资源管理服务器，所述行为资源管理服务器用于协调管辖范围内的规则管理器，统一下发规则和提供用户检索界面，所述规则管理器还用于接收行为资源管理服务器发送的规则，并调度网络协议分析器和通讯内容分析器，得出原始文档和预先设定文档之间的相似度，当相似度大于预定阈值时通报资源管理服务器。

Images