CN101414939B - 一种基于动态深度包检测的互联网应用识别方法 - Google Patents

Abstract

本发明公开了一种基于动态深度包检测的互联网应用识别方法，涉及一种互联网应用识别方法。本发明包括访问控制列表模块(10)和深度包检测模块(20)；设置有动态深度包检测策略生成模块(30)；访问控制列表模块(10)、深度包检测模块(20)以及动态深度包检测策略生成模块(30)前后依次进行；所述的动态深度包检测策略生成模块(30)是通过对互联网应用进行特征统计，动态得到互联网应用的特征，由特征生成深度包检测策略，进一步由深度包检测模块(20)进行识别处理。本发明识别范围广泛，准确率高，处理效率高，操作灵活，可扩展性好，可实现性强，既可作为网络设备功能实现，也可作为网络分析系统功能实现。

Description

一种基于动态深度包检测的互联网应用识别方法

技术领域

本发明涉及一种互联网应用识别方法，尤其涉及一种基于动态深度包检测的互联网应用识别方法，应用于高速网络中。

背景技术

随着互联网技术的快速发展，承载在互联网上的新的应用业务层出不穷；而新的应用在便捷用户的同时，也引入了一些新问题：一方面不同的应用类别其占用网络带宽与其给网络运营商创造的价值比有着明显差异，如P2P业务应用类型是其中一个典型带宽占有高、收益低的类别；另一方面，有些新的应用业务存在社会危害性，如非法代理软件应用类型通过隐藏端口等其它技术将非法信息混入互联网中进行传播。面对这些新问题，识别互联网应用，对特定业务类别差异服务的需求日益增强。

目前对于互联网应用识别方法主要分为两大类：

1、基于访问控制列表(Access Control List，ACL)方式进行识别

通过分析IP包的4层以下内容，以业务流的五元组进行标识，如业务流地址属于服务器网段地址，或端口为固定端口等业务。

2、基于深度包检测(Deep Packet Inspection，DPI)方式进行识别

DPI技术除了分析IP包的4层以下内容，还增加了应用层分析，通过特征字的查找或者业务行用统计，得到业务流的类型。

对于第1种识别方法，仅对传统业务有效，对于新的应用业务使用常用端口隐藏式传输无能为力；

对于第2种识别方式，需要在已知特征字或业务行为特征的前提下实施，对于新兴应用无法自动进行识别。

发明内容

本发明的目的就在于克服现有技术存在的缺点和不足，提供一种基于动态深度包检测的互联网应用识别方法。

本发明的目的是这样实现的：

本发明在采用深度包检测技术有效识别现有互联网应用的同时，能对新兴应用自动学习其特征字或业务行为特征，动态获取深度包检测策略(Deep PacketInspection Policy DPIP)，通过动态深度包检测(Dynamic Deep PacketInspection，DDPI)达到对互联网应用的最大深度智能识别。本发明既能应用于报文处理又能应用于流数据分析于控制，既可以实现在网络设备中也可以实现在网络分析系统中。

为了阐述方便，本发明将互联网应用分为四大类：

1)ACL应用类别：基于五元组应用，如FTP，TELNET，POP3，SMTP等应用协议类别，通过TCP/IP L4解析进行识别，采取ACL方式实施；

2)DPI应用类别：基于特征字应用，如P2P等应用协议类别，通过TCP/IP L7解析进行识别，采取DPI方式实施；

3)DDPI应用类别：基于动态特征字应用，如非法代理软件等应用协议类别，通过TCP/IP L7解析进行特征字统计，获取动态深度包检测策略，采取DPI方式实施。

4)其它应用类别：该类别没有规则特征字，无法进行DPI处理，不在本发明处理范围内。

具体措施：

1)ACL处理：处理ACL应用类别。通过对入口数据进行TCP/IP L4解析，采取ACL方式获取应用类别。

2)DPI处理：处理包括DPI应用类别和DDPI应用类别数据。通过对入口数据进行TCP/IP L7解析，DPI处理根据DPI处理匹配条件进行匹配处理，匹配命中即获取应用类型结束识别；对于匹配失败的数据进入下一个处理入口。其中DPIP可以通过配置文件进行配置也可通过外部模块动态配置。对于DPI应用类别的DPIP，当DPI处理初次启动时，读取DPIP配置文件，添加到DPI处理匹配条件。对于DDPI应用类别的DPIP，当DPI处理运行后，接收来自外部的DPIP，添加到DPI处理匹配条件的同时，自动更新DPIP配置文件。

3)DDPI策略生成：处理DDPI应用类别数据。DDPI策略生成使用五元组唯一标识一个独立连接，对每个独立连接进行统计处理。DDPI策略生成通过定时对统计处理结果进行阀值判定获取DDPI应用特征字，动态由特征字生成DPIP，实时将DPIP下发给DPI处理进行后续处理。

其中统计处理分为五个子处理过程：包括预统计处理；预统计阀值判定；特征字统计处理；特征字阀值判定以及深度包检测策略处理。

①预统计处理得到预统计阀值判定对象以及获取特征字处理范围，为后续处理做准备。预统计处理过程中，独立连接上的数据完成预统计处理后，作为其它业务应用结束识别工作，不进行缓存处理，减少处理流量，提高处理性能。

②预统计阀值判定定时根据特征预统计阀值对预统计阀值判定对象进行阀值判定。特征预统计阀值为可配置值，根据特征统计精度以及模块实现性能权衡得到。判定时间间隔为可配置值，为小时级别。当阀值判定对象达到特征预统计阀值时进行该独立连接特征字统计处理，未达到特征预统计阀值时结束该独立连接的维护。

③特征字统计处理对独立连接上特征字处理范围内的二进制码流进行特征字统计处理，得到特征字阀值判定对象。在这个处理过程中，是对独立连接上的完成预统计处理后的IP数据包进行特征字处理。将这些IP数据包在范围内的二进制码流通过运算得到特征字阀值判定对象。特征字统计处理过程中，独立连接上的数据完成特征字统计处理后，作为其它业务应用结束识别工作，不进行缓存处理，减少处理流量，提高处理性能。

④特征字阀值判定定时根据特征字阀值对特征字阀值判定对象进行阀值判定。特征字阀值为可配置值，根据特征统计精度以及模块实现性能权衡得到。判定时间间隔为可配置值，为分钟级别。当阀值判定对象达到特征字阀值时将特征字阀值判定对象作为该未知应用的动态深度包检测特征，未达到特征统计阀值时结束该独立连接的维护。

⑤深度包检测策略处理包括深度包检测策略生成和深度包检测策略下发两个功能。为获取动态深度包检测特征的新应用分配应用类别标识。由该动态深度包检测特征和应用类别标识生成DPIP，并下发给DPI处理单元，对于新应用后续数据进行应用类别标识。

本发明中，初次完成DDPI策略生成的DDPI应用类型作为其它应用类型返回，后续的DDPI应用类型可以由DPI处理通过更新后的DDPI策略进行识别。

本发明相对现有技术有如下优点和积极效果：

1、结合ACL和DPI技术，根据互联网应用特征，分类采用合适方法进行应用识别，利用现有技术最大力度提高现有互联网应用识别性能。

2、DPI技术实现上采用动态配置方式，增加实现可配置性和可扩展性。

3、在解决现有互联网应用识别的同时，通过特征字统计自动学习新兴互联网应用特征，动态获取DPIP，以达到动态识别互联网应用的目的。

4、特征字统计仅对输入数据特征字范围内二进制码流进行计算统计，不需要对数据进行缓存，提高处理性能。

总之，本发明采取动态识别机制，识别范围广泛，准确率高；采取特证字统计获取深度包检测策略，不对数据进行缓存，处理效率高；操作灵活，可扩展性好，可实现性强，既可作为网络设备功能实现，也可作为网络分析系统功能实现。

附图说明

图1是本发明的结构方框图；

图2是动态深度包检测策略生成模块的工作流程图。

其中：

10—ACL(访问控制列表)处理模块；

20—DPI(深度包检测)处理模块；

30—DDPI(动态深度包检测)策略生成模块。

A—互联网应用数据；

B—非访问控制列表应用数据；

C—动态深度包检测应用数据；

D—识别失败应用数据；

E—识别完成应用数据。

英译汉：

ACL—Access Control List，访问控制列表；

DPI—Deep Packet Inspect ion，深度包检测；

DDPI—Dynamic Deep Packet Inspection，动态深度包检测；

DPIP—Deep Packet Inspection Policy，深度包检测策略。

具体实施方式

下面结合附图和实施例详细说明：

一、一种基于动态深度包检测的互联网应用识别方法及其工作原理

如图1，本方法包括现有ACL处理模块10和DPI处理模块20，设置有DDPI策略生成模块30；

ACL处理模块10、DPI处理模块20以及DDPI策略生成模块30前后依次进行。

所述的访问控制列表模块10是通过访问控制列表对基于五元组的互联网应用进行识别；

所述的深度包检测模块20是根据深度包检测策略对基于特征字的互联网应用进行识别；

所述的动态深度包检测策略生成模块30是通过对互联网应用进行特征统计，动态得到互联网应用的特征，由特征生成深度包检测策略，进一步由深度包检测模块20进行识别处理。

工作原理：

互联网应用数据A首先全部进入ACL处理模块10，ACL处理模块10通过ACL方式对ACL应用类别数据获取应用类别，作为识别完成应用数据E结束识别；

对于其它应用类别数据作为非访问控制列表应用数据B进入DPI处理模块20，DPI处理模块20根据DPI策略，对DPI应用类别和已动态获取DPIP成功的DDPI应用类别数据获取应用类别，作为识别完成应用数据E结束识别；

对于其它应用类别数据则进入DDPI策略生成处理模块30，DDPI策略生成处理模块30对输入数据进行独立连接维护，对每个独立连接进行统计分析，根据统计结果动态获取DDPI策略，将DDPI策略下发给DPI处理模块20，处理完成的数据作为识别失败应用数据D结束识别；DPI处理模块20接收到DDPI策略后更新DPI策略，对已动态获取DPIP成功的DDPI应用类别根据更新后的DPI策略进行相应处理。

1、ACL处理模块10及其工作原理

ACL处理模块10处理ACL应用类别，通过ACL方式获取应用类别，其它应用类别则进入下一个处理模块进行后续处理。

ACL处理模块10接入所有互联网应用数据A。对于ACL应用类别，通过ACL方式获取应用类别，作为识别完成应用数据E结束识别；对于其它应用数据作为非访问控制列表应用数据B进入下一个处理入口。其中ACL为可配置文件，描述ACL应用类别五元组信息和应用类别标识对应关系，动态将ACL应用类别的ACL添加到ACL处理模块10。

2、DPI处理模块20及其工作原理

DPI处理模块20处理包括DPI应用类别和已动态获取DPIP成功的DDPI应用类别数据。DPI处理模块20首先对非访问控制列表应用数据B进行应用层内容解析，然后根据DPIP进行匹配处理，匹配命中即获取应用类型，作为识别完成应用数据E结束识别；对于识别失败应用数据D进入下一个处理入口。

其中DPIP可以通过配置文件进行配置也可通过外部模块动态配置。对于DPI应用类别的DPIP，当DPI处理模块20初次启动时，读取DPIP配置文件；对于DDPI应用类别的DPIP，当DPI处理模块20运行后，实时接收来自外部的DPIP，同时自动更新DPIP配置文件。对于DPI应用类别根据初始配置文件，通过DPI处理获取应用类别；对于已动态获取DPIP成功的DDPI应用类别数据根据更新后的配置文件，通过DPI处理获取应用类别。获取应用类别成功的数据作为识别完成应用数据E结束识别；对于其它应用数据作为动态深度包检测应用数据C进入下一个处理入口。

3、DDPI策略生成模块30及其工作原理

动态深度包检测策略生成模块(30)是通过对互联网应用进行特征统计，动态得到互联网应用的特征，由应用特征生成深度包检测策略，动态配置给深度包检测模块(20)，进一步由深度包检测模块(20)进行识别处理；特征统计分为预统计和特征字统计；预统计中相关统计值达到一定阀值的数据进行特征字统计处理，而不是所有入口数据；特证字统计中相关统计值达到一定阀值才称为获取其应用特征成功，否则为获取失败。

DDPI策略生成模块30处理未动态获取DPIP成功的DDPI应用类别数据，DDPI策略生成模块30对每个独立连接进行统计处理，根据统计结果获取DPIP；DDPI策略生成模块30获取DPIP成功则下发给深度包检测模块20，由深度包检测模块20对该DDPI应用类别数据做后续处理；所有经过获取DDPI策略生成模块30处理的数据，都作为识别失败应用数据D结束识别。

二、DDPI策略生成模块30的工作流程

如图2，DDPI策略生成模块30的工作流程包括下列步骤：

①开始1，即未动态获取DPIP成功的DDPI应用类别数据作为DDPI策略生成模块30的输入数据开始处理。

②独立连接查找2，即DDPI策略生成模块30根据五元组查找独立连接；

查找失败则进入独立连接建立3，查找成功或新建成功的数据进入步骤③，新建失败的数据结束识别；

一个独立连接由五元组进行唯一标识，由相关统计值构成，包括预统计阀值判定对象，获取特征字处理范围以及特征字阀值判定对象等三项统计值，各统计值具体含义在后续步骤中进行详细说明。

③预统计处理4，通过对数据进行应用层数据统计，得到预统计阀值判定对象以及获取特征字处理范围，为步骤④做准备。

预统计阀值判定对象为两类：

(1)对独立连接小时流量进行统计，1小时内独立连接上所有数据应用层字节数称为小时流量；

(2)对独立连接小时连接次数进行统计，1小时内独立连接建立次数称为小时连接次数。

特征字处理范围通过对独立连接平均特征有效bit数进行统计得到，1分钟内该独立连接上应用层数据bit总数/1分钟内该独立连接上IP包个数称为平均特征有效bit数，该统计仅在独立连接第一个1分钟内进行，如果独立连接持续时间小于1分钟，结束该独立连接的维护。

独立连接上的数据完成预统计处理，得到预统计阀值判定对象以及获取特征字处理范围后，作为识别失败应用数据输出，不进行缓存处理。

④预统计阀值判定5，定时对预统计阀值判定对象，即独立连接的小时流量和小时连接次数进行阀值判定。特征统计阀值为可配置值，根据特征统计精度以及模块实现性能权衡得到。判定时间间隔为可配置值，为小时级别，默认为1.5小时；

当小时流量或小时连接次达到特征统计阀值时进入步骤⑤进行后续处理；

未达到特征统计阀值时，则完成独立连接删除6，结束该独立连接的维护。

⑤特征字统计7，通过对数据进行应用层数据统计，得到特征字阀值判定对象，为步骤⑥做准备。特征字统计对独立连接上连续X个IP包进行二进制码流运算。这里假定独立连接上从进入特征字统计开始直到独立连接结束的IP包个数为Y，当Y小于100时，X取值为Y；当Y大于等于100时，X取值为100。特征字统对这连续X个IP包应用层数据中前N个bit码流(N为该独立连接上平均特征有效bit数)依次进行^运算，运算结果称为特征统计对象。特征统计对象中bit值为1个数M称为特征有效bit数，M/N称为特征统计值。独立连接上的数据完成特征字统计处理，得到特征字阀值判定对象后，作为识别失败应用数据输出，不进行缓存处理。

⑥特征字阀值判定8，定时对特征字阀值判定对象，即特征统计值进行阀值判定。特征字阀值为可配置值，根据特征统计精度以及模块实现性能权衡得到，范围在0％—100％之间。判定时间间隔为可配置值，为分钟级别，默认为10分钟；

当特征统计值达到特征字统计阀值时进入步骤⑦进行后续处理；

未达到特征字统计阀值时，则完成独立连接删除9，结束该独立连接的维护。

⑦深度包检测策略处理10，为新获取的应用动态深度包检测特征分配应用类型标识，由该应用动态深度包检测特征和应用类别标识生成DPIP，并下发给DPI处理模块。当DPI处理模块运行时，接收该DPIP，添加到DPI处理匹配条件的同时，自动更新DPIP配置文件。对于该应用后续连接数据由DPI模块根据更新后的DPIP进行DPI处理，获取应用类型。

Claims (2)

1.一种基于动态深度包检测的互联网应用识别系统，包括访问控制列表模块(10)和深度包检测模块(20)；其特征在于：

设置有动态深度包检测策略生成模块(30)；

访问控制列表模块(10)、深度包检测模块(20)以及动态深度包检测策略生成模块(30)前后依次进行；

所述的访问控制列表模块(10)是通过访问控制列表对基于五元组的互联网应用进行识别；

所述的深度包检测模块(20)是根据深度包检测策略对基于特征字的互联网应用进行识别；

所述的动态深度包检测策略生成模块(30)是通过对互联网应用进行特征统计，动态得到互联网应用的特征，由特征生成深度包检测策略，进一步由深度包检测模块(20)进行识别处理；特征统计分为预统计和特征字统计；预统计中相关统计值达到一定阀值的数据进行特征字统计处理，而不是所有入口数据；特征字统计中相关统计值达到一定阀值时获取应用特征成功，否则为获取失败。

2.按权利要求1所述一种基于动态深度包检测的互联网应用识别系统，其特征在于动态深度包检测策略生成模块(30)的工作流程包括下列步骤：

①开始(1)，即未动态获取深度包检测策略成功的动态深度包检测应用类别数据作为策略生成模块(30)的输入数据开始处理；

②独立连接查找(2)，即动态深度包检测策略生成模块(30)根据五元组查找独立连接；

查找失败则进入独立连接建立(3)，查找成功或新建成功的数据进入步骤③，新建失败的数据结束识别；

③预统计处理(4)，通过对数据进行应用层数据统计，得到预统计阀值判定对象以及获取特征字处理范围，为步骤④做准备；

④预统计阀值判定(5)，当小时流量或小时连接次达到特征统计阀值时进入步骤⑤进行后续处理；未达到特征统计阀值时，则完成独立连接删除(6)，结束该独立连接的维护。

⑤特征字统计(7)，通过对数据进行应用层数据统计，得到特征字阀值判定对象，为步骤⑥做准备；

⑥特征字阀值判定(8)，当特征统计值达到特征字统计阀值时进入步骤⑦进行后续处理；

未达到特征字统计阀值时，则完成独立连接删除(9)，结束该独立连接的维护；

⑦深度包检测策略处理(10)，为新获取的应用动态深度包检测特征分配应用类型标识，由该应用动态深度包检测特征和应用类别标识生成深度包检测策略，并下发给深度包检测处理模块。

Images