CN102801634A - 一种三位一体网络流量智能识别方法 - Google Patents

Abstract

本发明提供了一种三位一体网络流量智能识别方法，其首先将离散的网络数据报文根据其所用协议分为具体协议，通用协议以及常用协议；然后，对于具体协议采用特征识别，对于通用协议采用图灵自动机识别，对于常用协议采用端口识别。本发明能够减少对网络数据包的扫描数量，提升协议识别的效率以及提高协议识别的准确率。

Description

一种三位一体网络流量智能识别方法

技术领域

本发明涉及一种高效准确的网络流量识别方法，属于网络信息安全软件系统领域。

背景技术

一般的网络流量识别采用互联网协议约束的端口或者根据协议总结的正则表达式方式识别网络流量。此类端口识别方法对于一般服务，如互联网的web服务等遵守互联网端口定义标准的服务是有效的，但是对于特意修改端口，如使用非80端口作为web服务的站点等类似情形，就出现了漏判误判，使得这类服务在网络信息安全分析时总是存在漏判的问题。

另外，根据协议总结的正则表达式，有一定的效率，但不是所有的网络协议都能很友好的总结得到满足要求的正则表达式，影响了该方法的使用，其匹配效率也不是很高。

发明内容

为了克服以上缺陷并满足市场的需要，本发明旨在解决网络流量识别时漏判，和识别过程中效率问题。

本发明采取的技术方案是：

一种三位一体网络流量智能识别方法，其首先将网络流量按照源IP地址、源端口、目的IP地址、目的端口、和传输层协议号对离散的网络数据报文进行归类实现链路管理，并将网络应用协议分为三类：：具体协议，通用协议以及常用协议；其中具体协议为特定的互联网服务通讯协议，通用协议指通过RFC文档发布的协议，这些协议作为互联网服务的通许协议，满足协议的原始定义，而不属于具体协议和通用协议的归为常用协议；

其次，按照以下方法对归类的数据报文进行识别：

1）对于具体协议采用特征识别，基于特定的互联网服务通讯协议具有特有协议特征的原理，建立具体协议特征数据库，协议识别时获取数据报文的关键位特征信息并与数据库中的数据进行比较，最终识别协议；

2）对于通用协议采用图灵自动机识别，事先对于归类为通用协议的协议进行分析，总结出能精确识别的正则式，将这些正则式使用图灵机算法，转换成有穷自动机，根据输入得出输出，最终识别协议；

3）对于常用协议采用端口识别，其中对于没有明显协议特征、也不容易总结出正则式的常用协议，使用端口识别；

将以上三种协议识别方法通过策略模式，按照预设的优先级整合成一个识别模块，完成对网络流量的协议识别。

作为以上技术方案的一种改进，其中网络数据报文的归类算法为：

h = ((源端口  ^源IP)  ^(目标端口  ^目标IP)  ^传输协议);

h ^= h>>16;

h ^= h>>8;

h=h & (size - 1)，

h 即最后的计算结果，

根据计算结果对其采用hash线性树表的方式管理链路，并采用LRU 算法，将最近访问的置前，实现快速查找。

本发明的有益效果是：

1.减少对网络数据包的扫描数量：通过链路管理，有效的减少了对网络数据报文的扫描数量。据经验统计，需要扫描的网络数据报文不到整个网络报文的1%。

2.提升协议识别的效率，本发明所提出的方法的时间复杂度都很低,特别是其中对正则式的改进。

3.提高协议识别的准确率，使用本发明所提出的方法能准确识别出网络流量的协议。

具体实施方式

本发明提出一种三位一体智能识别网络流量的过滤方法。具体来说，本发明通过以下方法实现问题的解决：

1、首先，本发明在对网络流量进行智能识别时，先将网络流量按照源IP地址，源端口，目的IP地址，目的端口，和传输层协议号（传输协议五元组）实现链路管理，将离散的网络数据报文实现链路的归类。

其中使用的数据报文链路归类算法，参考Linux内核算法，对算法改造，实现双向流量同一链路管理，减少一次归类运算，一条链路只需要识别前一个或几个报文。

2、  三位一体智能识别中的协议识别方法及其原理如下：

A、  具体协议特征识别。特定的互联网服务通讯协议，一般都有其特有的协议特征，比如腾讯QQ、Fetion等，对这些协议深入分析获取关键位特征信息并建立相应的数据库，协议识别时比较关键位特征。该识别时间复杂度为O(1)。

B、  通用协议使用图灵自动机识别。通用协议指通过RFC文档发布的协议，如http、ftp等协议。使用这些协议作为互联网服务的通许协议，满足协议的原始定义。对于这些协议统一分析，总结出能精确识别的正则式，将这些正则式使用图灵机算法，转换成有穷自动机，根据输入得出输出，最终识别协议。其时间复杂度O（n）,相比正则式时间复杂度O(n*m)效率高。

C、  常用协议的端口识别。对于常用协议，没有明显协议特征、也不容易总结出正则式，则可以使用端口识别。一般一类协议都有固定的端口或者端口端，比如telnet、DNS协议。其时间复杂度O（1）.

三位一体智能协议识别就是将上面的三种协议识别方法、通过策略模式，按照优先级（依次为A、B、C方法）整合成一个识别模块，完成对网络流量的协议识别，方法C、B、A分别是后者的补充。系统根据识别的结果选择对网络流量过滤处理。

3、A、B、C三种方法都能按需扩充。特别是对方法A的扩充，是的识别的效率和正确率能得到明显的提升。

本发明的实现的关键算法：

链路归类算法：

h = ((源端口  ^源IP)  ^(目标端口  ^目标IP)  ^传输协议);

   h ^= h>>16;

   h ^= h>>8;

  h=h & (size - 1);

h 即最后的计算结果。

根据计算结果对其采用hash线性树表的方式管理链路，并采用LRU 算法，将最近访问的置前，实现快速查找。

以上所述只是本发明优选的实施方式，其并不构成对本发明保护范围的限制，只要是以基本相同的手段实现本发明的目的都应属于本发明的保护范围。

Claims (2)

1.一种三位一体网络流量智能识别方法，其特征在于：

首先将网络流量按照源IP地址、源端口、目的IP地址、目的端口、和传输层协议号对离散的网络数据报文进行归类实现链路管理，并将网络应用协议分为三类：具体协议，通用协议以及常用协议；其中具体协议为特定的互联网服务通讯协议；通用协议指通过RFC文档发布的协议，这些协议作为互联网服务的通许协议，满足协议的原始定义；而不属于具体协议和通用协议的网络数据报文归为常用协议；

其次，按照以下方法对归类的网络数据报文进行识别：

1）对于具体协议采用特征识别，基于特定的互联网服务通讯协议具有特有协议特征的原理，建立具体协议特征数据库，协议识别时获取数据报文的关键位特征信息并与数据库中的数据进行比较，最终识别协议；

2）对于通用协议采用图灵自动机识别，事先对于归类为通用协议的协议进行分析，总结出能精确识别的正则式，将这些正则式使用图灵机算法，转换成有穷自动机，根据输入得出输出，最终识别协议；

3）对于常用协议采用端口识别，其中对于没有明显协议特征、也不容易总结出正则式的常用协议，使用端口识别；

将以上三种协议识别方法通过策略模式，按照预设的优先级整合成一个识别模块，完成对网络流量的协议识别。

2.根据权利要求1所述的三位一体网络流量智能识别方法，其特征在于：网络数据报文的归类算法为：

h = ((源端口  ^源IP)  ^(目标端口  ^目标IP)  ^传输协议);

h ^= h>>16;

h ^= h>>8;

h=h & (size - 1)，

h 即最后的计算结果，

根据计算结果对其采用hash线性树表的方式管理链路，并采用LRU 算法，将最近访问的置前，实现快速查找。