CN101442489A

CN101442489A - 基于特征库的流量识别方法

Info

Publication number: CN101442489A
Application number: CNA2008102411370A
Authority: CN
Inventors: 邓凡
Original assignee: BEIJING QQ TECHNOLOGY Co Ltd
Current assignee: Hefei Haote Information Technology Co., Ltd.
Priority date: 2008-12-30
Filing date: 2008-12-30
Publication date: 2009-05-27

Abstract

一种基于特征库的流量识别方法，包括如下步骤：特征库生成；初始化特征库加载；特征库流量识别；特征库在线维护。本发明的基于特征库的流量识别方法由于一种网络应用协议可以配置多条特征值描述，并且这些特征可以在快速内容查找协处理器中并发地进行匹配，因此不仅有效提高了流量识别的准确性，而且也有效提高了流量识别的性能。管理员通过管理界面，可以浏览特征库中的每一个应用、修改应用的名称、添加或者删除应用，对于特征库中的一个应用，管理员可以编辑已有的任何特征字符串，可以添加或者删除特征字符串，所有对于特征库的修改，在管理员确认后都会实时加载到快速内容查找协处理器中，从而在流量识别的扩展性上获得有效提高。

Description

基于特征库的流量识别方法

技术领域

本发明涉及一种在通信网络中精确流量识别的方法，尤其涉及一种针对通信网络中应用特征经常变化的特点，灵活利用应用特征库实现精确流量识别方法。属于网络协议分析技术领域。

背景技术

随着Internnet带宽的增加，网络的应用种类越来多。新业务的出现，极大地促进了网络的发展，但同时也改变了已有的网络流量模型，给网络管理、流量监测提出了新的挑战。对于流量识别方法的研究，有助于帮助管理员了解网络中承载的流量分布情况，进一步了解应用流量的增长对网络性能的影响，协助更好地对网络进行规划设计。同时，可以探索对不同业务的QoS需求以及新的计费模式。

当前Internet中的流量依据应用的不同可以分成不同类别，如表1所示：

表1 Internet应用分类

应用分类	应用举例
应用分类	应用举例	网页浏览	HTTP
下载	FTP	网页浏览	HTTP
下载	FTP	流媒体	RTP
VoIP	SIP、H.323	流媒体	RTP
VoIP	SIP、H.323	P2P	BT、eDonkey
网络游戏	WOW	P2P	BT、eDonkey
网络游戏	WOW	电子邮件	SMTP、P0P3
即时通讯	QQ、MSN	电子邮件	SMTP、P0P3

流量识别，就是将数据包与产生该数据包的应用对应起来的过程。现有技术中的流量识别方法，根据识别所依据信息的不同可分为三种：其一是基于端口的流量识别方法、其二是基于特征的流量识别方法、其三是基于协议流程分析的流量识别方法。

基于端口的流量识别方法是最简单的流量识别方法，其原理是检查报文分组的传输信息，如果端口号与某些特定的端口号匹配，则该报文即为该应用流量分组，可以按照预设的动作对其进行处理。特定的端口号主要是IANA分配的一些著名端口(well-known port)，如21(FTP)、23(Telnet)、25(SMTP)、110(POP)、80(HTTP)。这种方法简单，开销很小，易实现、但最大的缺点是不准确，尤其是对一些新的应用，如P2P、流媒体等应用。这些新应用为了能够穿透防火墙，防止被阻断，通常不采用静态的端口，而是动态分配端口。

基于特征的流量识别方法是根据不同应用表现的不同特征(Signature)来识别数据包所对应的应用。特征可以是报文中的特征字符串，也可以是应用行为特征，或者是一些统计特性。

特征字符串识别是通过检查分组内部携带的负载信息进行分组识别的方法。即对常见的网络用协议的特征进行分析，提取特征信息，根据特征信息对报文进行模式匹配对比，从而判断出该报文是否属于某一类网络应用。对于私有协议，可以采用逆向工程的方法。

应用行为特征识别则主要用于识别P2P和流媒体等新应用。例如，通过观察源和目的IP地址的连接模式，可以发现一些模式是P2P所独有的，由此可以将P2P流量识别出来。大约2/3的P2P协议同时使用TCP和UDP协议，而其他应用中同时使用两种协议的仅仅包括NetBIOS、视频等少数应用。另外，当某一P2P主机和其它主机建立连接时，对端口而言，与其建立连接的IP地址数目就等于与其建立连接的不同端口数目。对这两种特殊模式的扫描追踪，就能识别出P2P应用。

相对于端口识别和特征字符串识别，应用行为特征的识别需要做更多的分析。只有在系统收集到了足够的数据，经过了很长时间的智能模型建立，才能非常有效的进行识别。

基于统计特性的识别方法在实时流量识别应用存在困难。

根据特征分析识别方法的问题是扩展性差，需要大量的事前分析来确定排他特征。

对于一些新业务，如流媒体应用，还可以采用基于协议流程分析的流量识别方法。一般一个完整的流程会涉及到多个会话，即控制会话和动态会话。一个会话(Session)是指用户间的数据交换过程。通过控制会话建立连接、协商数据传输参数、启动和撤销传输。不同于使用固定端口或默认端口的应用，动态会话的端口、协议信息是在控制会话中动态协商的。协议流程分析方法是根据构成一次应用的多个会话之间的关联关系，从控制会话中提取动态会话信息，根据这些信息来识别该应用涉及的动态会话。

基于协议流程分析的识别方法，对控制协议的识别效率和准确率直接影响到最终的识别效果。

流量识别技术有如下要求：

准确，需要将误报和漏报降低到一个可接受的限度。

尽早识别，识别是对新业务进行分析、控制的基础，因此要尽早识别流量所属的应用类型。最理想的识别方法是在收到该应用的第一个数据包就识别出该数据包所在流的应用类型。

可扩展，能够对高速链路上流量进行快速识别。

健壮，在网络不稳定的情况下(路由不对称、丢包、包乱序等)仍能够做到比较准确的识别。

性能，在线速的情况下满足流量识别的功能需求，同时对业务没有丢包、延迟等影响。

如何在上述这几个要求之间做到有效的权衡是流量识别方法研究要解决的问题。

基于端口的流量识别方法简单但准确性不高；基于流量特征识别方法由于需要对报文内部数据进行全面的检查分析，实现效率较低，影响业务性能。基于协议流程分析的识别方法在扩展性和时效性等方面也存在不足。

发明内容

本发明的目的是为了克服现有技术中基于端口的流量识别方法存在的简单而又准确性不高的缺点，基于流量特征识别方法存在的由于需要对报文内部数据进行全面的检查分析，实现效率较低、影响业务性能的缺点，基于协议流程分析的识别方法存在的在扩展性和时效性等方面存在的缺点，提供一种针对通信网络中应用特征经常变化的特点，基于特征库的流量识别方法。

本发明的基于特征库的流量识别方法是通过以下技术方案实现的：

本发明的基于特征库的流量识别方法，包括如下步骤：

步骤1：将各种网络应用的特征生成为特定格式的特征库；

步骤2：将所述特征库加载到支持快速内容查找的协处理器中；

步骤3：在流量识别时按照会话(会话是指用户间的数据交换过程)对流量中的报文进行特征匹配，匹配成功的会话被标记成特征所对应的网络应用；

步骤4：管理员通过管理界面对特征库中的特征进行增删改查，对特征的更新在管理员确认后会立即加载到支持快速内容查找的协处理器中。

而且，所述步骤1包括：

步骤101：将各种网络应用的特征按照特定格式编辑成一个可读的特征文件，对于每种应用，一般包括如下信息：应用名称，便于使用者查看；应用ID，便于系统检索；特征值描述，每种应用可以有多个特征值描述，一个特征值描述包括：协议类型、特征字符串、特征字符串位置(相对于报文头或尾的偏移)、特征掩码(表示特征字符串中的某些字符可以为任意字符)。

每种应用可以编辑的特征值描述的个数以及整个特征库可以容纳的应用数目一般情况下取决于采用的快速内容查找协处理器的规格。

步骤102：将编辑好的特征文件进行预编译，生成特征库文件，所述特征库文件用于在系统初始化时加载到快速内容查找协处理器中。

而且，所述步骤2包括：

步骤201：从存储单元中读取预编译后的特征库文件；

步骤202：将特征库文件写入快速内容查找协处理器的特征值映射表中，形成应用特征库，特征匹配的结果被同时存储在系统的常规内存的一个表中，这个表被称作结果表，其中的表项就包含有相应应用的ID等信息。

快速内容查找协处理器可采用三重内容可寻址存储器(TCAM)，这是一种较通用的硬件查找技术，其芯片采用内部并行技术，可以获得0(1)的查找复杂度(如果算法的执行时间不随着问题规模n的增加而增长，即使算法中有上千条语句，其执行时间也不过是一个较大的常数。此类算法的时间复杂度是0(1)。)，与其它技术相比，TCAM的技术优势在于查找速度快、实现简单。

而且，所述步骤3包括：

步骤301：所述步骤3中的报文为带有有效载荷(有效载荷通常是指跟在IP报头后面的数据)的报文，对所述带有有效载荷的报文进行预处理，截取其有效载荷的特定部分，组织成供特征库匹配使用的查找关键字；

步骤302：用快速内容查找协处理器的特征映射表访问接口，发出查询请求。由于快速内容查找协处理器的查找速度很快，因此，几乎在没有等待的情况下得到查询请求结果，如是查询命中(即找到了匹配项)，这个结果是一个常规内存地址，其实也就是结果表的一个表项的地址，访问这个地址可以得到报文对应的网络应用的ID；如果没有命中(即未找到匹配项)，则表示查询失败，该报文应用未知。

由于一种网络应用协议可以配置多条特征值描述，并且这些特征可以在快速内容查找协处理器中并发地进行匹配，因此本发明不仅在效提高了流量识别的准确性，而且也有效提高了流量识别的性能。

而且，所述步骤4中管理员通过管理界面浏览特征库中的每一个应用。

而且，所述步骤4中管理员通过管理界面修改应用名称。

而且，所述步骤4中管理员通过管理界面添加或删除应用。

而且，所述步骤4中管理员通过管理界面编辑已有的任何特征字符串及添加或删除特征字符串。

所有对于特征库的修改，在管理员确认后都会实时加载到快速内容查找协处理器中，从而在流量识别的扩展性上获得有效提高。

当一个会话已经被识别为某个应用之后，管理员对于特征库的任何操作都不会改变此流量识别的结果，也就是说。特征库的变化只会对在变化之后发生的会话有效。

特定格式是符合XML语言(Extensible Markup Language，翻译为可扩展标记语言。XML不同于标记预定义的标记语言如HTML，是一种可以由使用者自由定义标记的标记语言)格式的特征定义，一般格式如下：

...

</application>

...

...

</application>

</Signature>

本发明相对现有技术具有的有益效果：

1、本发明的基于特征库的流量识别方法由于一种网络应用协议可以配置多条特征值描述，并且这些特征可以在快速内容查找协处理器中并发地进行匹配，因此不仅有效提高了流量识别的准确性，而且也有效提高了流量识别的性能。

2、本发明的基于特征库的流量识别方法，管理员通过管理界面，可以浏览特征库中的每一个应用，可以修改应用的名称，可以添加或者删除应用，对于特征库中的一个应用，管理员可以编辑已有的任何特征字符串，可以添加或者删除特征字符串，所有对于特征库的修改，在管理员确认后都会实时加载到快速内容查找协处理器中，从而在流量识别的扩展性上获得有效提高。

附图说明

图1为本发明的基于特征库的流量识别方法流程图。

具体实施方式

为了使本领域的一般技术人员能够清楚理解本发明的技术方案，现结合附图作进一步详尽地说明：

本发明的基于特征库的流量识别方法，如图1所示，包括如下步骤：

步骤1：将各种网络应用的特征生成为特定格式的特征库；

步骤3：在流量识别时按照会话(会话是指用户间的数据交换过程)对流量的报文进行特征匹配，匹配成功的会话被标记成相应的网络应用；

进一步，所述步骤1包括：

步骤101：将各种网络应用的特征按照特定格式编辑成一个可读的特征文件；

进一步，所述步骤2包括：

步骤201：从存储单元中读取预编译后的特征库文件；

步骤202：通过访问接口将特征库文件写入快速内容查找协处理器的特征值映射表中，形成应用特征库。

进一步，所述步骤3包括：

步骤302：用快速内容查找协处理器的特征映射表访问接口，发出查询请求。

进一步，所述步骤4中管理员通过管理界面浏览特征库中的每一个应用。

进一步，所述步骤4中管理员通过管理界面修改应用名称。

进一步，所述步骤4中管理员通过管理界面添加或删除应用。

进一步，所述步骤4中管理员通过管理界面编辑已有的任何特征字符串及添加或删除特征字符串。

实施例：

下面以识别BitTorrent网络应用为例说明基于特征库的流量识别的具体步骤。

步骤101：将BitTorrent网络应用的特征按照特定格式编辑成一个可读的特征文件sig.xml，格式如下：

<sig protocol＝＂tcp＂offset＝＂00＂value＝＂00 01 02 03 04 05 06

07 08 09 0A 0B 0C 0D 0E 0F＂mask＝＂00 01 02 03 04 05 06 07 08 09

0A 0B 0C 0D 0E 0F＂/>

<sig protocol＝＂udp＂offset＝＂00＂value＝＂00 01 02 03 04 05 06

07 08 09 0A 0B 0C 0D 0E 0F＂mask＝＂00 01 02 03 04 05 06 07 08 09

0A 0B 0C 0D 0E 0F＂/>

</application>

</Signature>

步骤102：将编辑好的特征文件sig.xml进行预编译，生成特征库文件sig.bin，所述特征库文件用于在系统初始化时加载到快速内容查找协处理器中。

进一步，所述步骤2包括：

步骤201：从存储单元中读取预编译后的特征库文件sig.bin；

步骤202：通过访问接口将特征库文件sig.bin写入快速内容查找协处理器的特征值映射表sig_tcam_info中，形成应用特征库。

进一步，所述步骤3包括：

步骤301：所述步骤3中的报文为带有有效载荷(有效载荷通常是指跟在IP报头后面的数据)的报文，对所述带有有效载荷的报文进行预处理，截取其有效载荷的特定部分：起始为有效载荷第0字节，截取长度为16字节，组织成供特征库匹配使用的查找关键字search_key；

步骤302：用快速内容查找协处理器的特征映射表sig_tcam_info访问接口，发出查询请求。如果search_key与特征库中BitTorrent的某一个特征字符串匹配，则该报文所在的会话就被标记为BitTorrent网络应用；

进一步，所述步骤4中管理员通过管理界面浏览特征库中的BitTorrent应用。

进一步，所述步骤4中管理员通过管理界面修改BitTorrent应用名称。

进一步，所述步骤4中管理员通过管理界面添加或删除BitTorrent应用。

进一步，所述步骤4中管理员通过管理界面编辑BitTorrent应用的已有的任何特征字符串及添加或删除其特征字符串。

Claims

1、一种基于特征库的流量识别方法，其特征在于，包括如下步骤：

步骤1：将各种网络应用的特征生成为特定格式的特征库；

步骤3：按照会话对流量的报文进行特征匹配，匹配成功的会话被标记成特征所对应的网络应用；

步骤4：管理员通过管理界面对特征库中的特征进行增删改查。

2、根据权利要求1所述的基于特征库的流量识别方法，其特征在于，所述步骤1包括：

3、根据权利要求1所述的基于特征库的流量识别方法，其特征在于，所述步骤2包括：

步骤201：从存储单元中读取预编译后的特征库文件；

4、根据权利要求1所述的基于特征库的流量识别方法，其特征在于，所述步骤3包括：

步骤301：所述步骤3中的报文为带有有效载荷的报文，对所述带有有效载荷的报文进行预处理，截取其有效载荷的特定部分，组织成供特征库匹配使用的查找关键字；

5、根据权利要求1所述的基于特征库的流量识别方法，其特征在于，所述步骤4中管理员通过管理界面浏览特征库中的每一个应用。

6、根据权利要求1所述的基于特征库的流量识别方法，其特征在于，所述步骤4中管理员通过管理界面修改应用名称。

7、根据权利要求1所述的基于特征库的流量识别方法，其特征在于，所述步骤4中管理员通过管理界面添加或删除应用。

8、根据权利要求1所述的基于特征库的流量识别方法，其特征在于，所述步骤4中管理员通过管理界面编辑已有的任何特征字符串及添加或删除特征字符串。