CN104468273A - 识别流量数据的应用类型的方法及系统 - Google Patents

Abstract

本发明提供一种识别流量数据的应用类型的方法及系统，所述方法包括：通过粗粒度的分类方法识别流量数据的应用类型；若不能识别出所述流量数据的应用类型，则通过细粒度的分类方法识别所述流量数据的应用类型。通过采用本发明可以兼顾效率与精确度的识别流量数据的应用类型。

Description

识别流量数据的应用类型的方法及系统

技术领域

本发明涉及通信领域，更为具体而言，涉及识别流量数据的应用类型的方法及系统。

背景技术

在现有的技术当中，识别网络流量的类别的方法主要包括：基于端口的分类技术、基于载荷的分类技术、基于行为的分类技术、基于流量统计特征与机器学习的分类技术以及基于流量传播图的分类技术。然而，对于基于端口的分类方法虽然效率高，但精度差；基于载荷的分类方法只能识别明文流量，而不能处理加密流量，并且不适合高度网络；基于机器学习的分类方法虽然具有较高的识别率并能识别加密流量，但是其在线识别时存在低鲁棒性的问题；基于行为和流量传播图的分类方法目前仅限于离线识别，对于在线识别难度很大。因此，仅仅使用单一的分类方法无法兼顾效率与精确度。

发明内容

为有效地解决上述技术问题，本发明提供了一种识别流量数据的应用类型的方法及系统。

一方面，本发明的实施方式提供了一种识别流量数据的应用类型的方法，所述方法包括：

通过粗粒度的分类方法识别流量数据的应用类型；

若不能识别出所述流量数据的应用类型，则通过细粒度的分类方法识别所述流量数据的应用类型。

另一方面，本发明的实施方式提供了一种识别流量数据的应用类型的系统，所述系统包括：

粗粒度识别模块，用于通过粗粒度的分类方法识别流量数据的应用类型；

细粒度识别模块，用于当所述粗粒度识别模块不能识别出所述流量数据的应用类型时，通过细粒度的分类方法识别所述流量数据的应用类型。

实施本发明提供的识别流量数据的应用类型的方法及系统可以兼顾效率与精确度的识别流量数据的应用类型。

附图说明

图1是根据本发明实施方式的识别流量数据的应用类型的方法的流程图；

图2示出了图1所示的步骤S120的一种实施方式；

图3是根据本发明实施方式的识别流量数据的应用类型的方法的另一种实施方式；

图4示出了本发明实施方式的数据流的一种实施方式；

图5是根据本发明实施方式的识别流量数据的应用类型的系统的结构示意图；

图6示出了图5所示的细粒度识别模块120的一种实施方式；

图7是根据本发明实施方式的识别流量数据的应用类型的系统的另一种实施方式。

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

图1是根据本发明实施方式的识别流量数据的应用类型的方法的流程图。参见图1，所述方法包括：

S110：通过粗粒度的分类方法识别流量数据的应用类型，若不能识别出所述流量数据的应用类型，则执行S120；

其中，在本发明的实施方式中，该步骤S110可以包括，但不限于：通过基于端口号的分类方法识别流量数据的应用类型。

S120：通过细粒度的分类方法识别所述流量数据的应用类型。

在本发明的一种优选的实施方式中，所述方法还可以包括：若通过所述细粒度的分类方法识别出所述流量数据的应用类型，则根据识别结果提取所述流量数据的端口号以及应用类型的对应关系；并将所述提取出的端口号以及应用类型的对应关系反馈至所述基于端口号的分类方法。从而提高所述基于端口号的分类方法的识别精度。

如图2所示，在本发明的实施方式中，该步骤S120可以包括：

S121：通过基于载荷的分类方法识别所述流量数据的应用类型，若通过所述基于载荷的分类方法识别出所述流量数据的应用类型，则执行S122，若通过所述基于载荷的分类方法不能识别出所述流量数据的应用类型，则执行S123；

其中，所述基于载荷的分类方法可以包括，但不限于：基于精确特征的方法以及基于正则表达式的方法。

S122：判断所述应用类型是否为加密协议(例如SSL(Secure SocketsLayer，安全套接层)/SSH(Secure Shell,安全外壳协议)等)，若是，则执行S123；

S123：通过机器学习的分类方法识别所述流量数据的应用类型。从而提高了识别应用类型的精确度。

如图3所示，在本发明的一种优选的实施方式中，所述方法可以包括：

S110’:通过基于端口号的分类方法识别流量数据的应用类型，若不能识别出所述流量数据的应用类型，则执行S121’；

S121’至S123’：同上述S121至S123，在此不再赘述；

S130’：通过基于行为和流量传播图的方法对所述流量数据进行识别，若通过该基于行为和流量传播图的方法识别出所述流量数据的应用类型，则执行S140’；

S140’：提取所述流量数据的端口号、载荷、流特征；

S150’:将所述提取出的端口号、载荷、流特征分别反馈给所述基于端口号的分类方法、基于载荷的分类方法、机器学习的分类方法。从而通过该基于行为和流量传播图的方法的反馈，能够提高所述基于端口号的分类方法、基于载荷的分类方法、机器学习的分类方法的识别精度。

同时，在本发明的实施方式中，可以以会话为单位对流量数据进行识别，因此，所述方法在执行步骤S110’前还可以包括：

筛选传输层协议为TCP(Transmission Control Protocol，传输控制协议)或UDP(User Datagram Protocol，用户数据包协议)的流量数据；

根据五元组将所述筛选出的流量数据整合为会话，其中所述会话包括含有相同的五元组的流量数据；

根据所述会话的五元组建立对应的哈希值；

提取所述会话的端口号、载荷、流特征；

将所述提取的端口号、载荷、流特征与所述哈希值对应地存储到流表中。

以下结合具体的例子对本发明的实施方式进行说明。

如图4所示，本发明的实施方式涉及链路层、网络层、传输层以及应用层。其中从链路层到传输层的过程为：按照链路层协议号过滤以太网数据包，其他类型的数据包指进行基础的统计；按照网络层协议号过滤IP(InternetProtocol,网络之间互连的协议)(v4,v6)数据包，其它类型的数据只进行基础的统计；按照传输层协议号过滤TCP和UDP数据包，其它类型的数据只进行基础的统计；针对TCP和UDP数据包，利用五元组(源IP、目的IP、源端口、目的端口、传输层协议)创建哈希值，该哈希值映射相同五元组的对应会话(会话指在一定的持续时间内包含相同五元组的所有数据包的集合)；提取会话的端口号、载荷以及流特征，并与哈希值对应地存储在流表中。针对每一次会话，采用混合的分类方法识别应用类型，具体地可以通过以下方式实现：

线上阶段：

1、根据端口号与应用的对应关系表进行粗粒度识别(通过端口号与应用的对应关系能够快速地识别出大部分流量数据的应用类型)，若能够识别，则进入步骤7，否则进入步骤2；

2、采用基于精确特征的方法进行细识别，若能够识别，则进入步骤4，否则进入步骤3；

3、采用基于正则表达式的方法进行细识别，若能够识别，则进入步骤4，否则进入步骤5；

4、如果识别结果为SSL/SSH，则进入步骤5，否则进入步骤7；

5、采用机器学习的方法识别加密流量，若能够识别则进入步骤6，否则进行步骤7；

线下阶段：

6、根据识别结果提取端口号与应用的对应关系，反馈给端口与应用的对应关系表进行特征丰富，进入步骤8；

7、采用基于行为和流量传播图的方法对流量进行识别，如果能够识别则提取相应的端口特征、载荷特征和流特征并反馈给线上分类方法，否则进入步骤8；从而通过线下阶段基于行为和流量传播图的方法的反馈，能够提高线上阶段的各分类方法的识别精度。

8、针对识别的结果进行统计，统计结果存储到RRD(Round Robin Data,一种存储数据的方式)数据文件中，可供周期性的展示。

上述充分结合了已有的传统分类方法的优势，能够实现在高度链路下的快速、精确地识别流量数据的应用类型。

图5是根据本发明实施方式的识别流量数据的应用类型的系统100的结构示意图，参见图5，所述系统100包括：

粗粒度识别模块110，用于通过粗粒度的分类方法识别流量数据的应用类型；

其中，在本发明的实施方式中，该粗粒度识别模块110可以包括，但不限于：端口号识别单元，用于通过基于端口号的分类方法识别流量数据的应用类型。

细粒度识别模块120，用于当所述粗粒度识别模块110不能识别出所述流量数据的应用类型时，通过细粒度的分类方法识别所述流量数据的应用类型。

在本发明的一种优选的实施方式中，该系统100还可以包括：

第一提取模块，用于当所述细粒度识别模块识别出所述流量数据的应用类型时，根据所述细粒度识别模块的识别结果提取所述流量数据的端口号以及应用类型的对应关系；

第一反馈模块，用于将所述第一提取模块所提取出的端口号以及应用类型的对应关系反馈至所述基于端口号的分类方法。

如图6所示，在本发明的实施方式中，该细粒度识别模块120可以包括：

载荷识别单元121，用于通过基于载荷的分类方法识别所述流量数据的应用类型，其中，所述基于载荷的分类方法例如可以包括：基于精确特征的方法以及基于正则表达式的方法。

机器学习识别单元122，用于当所述载荷识别单元121不能识别出所述流量数据的应用类型时，通过机器学习的分类方法识别所述流量数据的应用类型。

判断单元123，用于当所述载荷识别单元121识别出所述流量数据的应用类型时，判断所述应用类型是否为加密协议。

图7是根据本发明实施方式的识别流量数据的应用类型的系统100’的另一种实施方式。参见图7，该系统100’包括：

粗粒度识别模块110’，同上所述的粗粒度识别模块110，在此不再赘述，其中该粗粒度识别模块110’包括:端口号识别单元111’，用于通过基于端口号的分类方法识别流量数据的应用类型。

细粒度识别模块120’，同上所述的粗粒度识别模块120，在此不再赘述，其中该细粒度识别模块120’包括：载荷识别单元121’、机器学习识别单元122’、判断单元123’，分别同上所述的载荷识别单元121、机器学习识别单元122、判断单元123，在此不再赘述；

行为及流量传播图模块130’，用于通过基于行为和流量传播图的方法对所述流量数据进行识别；

第二提取模块140’，用于当所述行为及流量传播图模块130’识别出所述流量数据的应用类型时，提取所述流量数据的端口号、载荷、流特征；

第二反馈模块150’，用于将所述第二提取模块140’所提取出的端口号、载荷、流特征分别反馈给所述基于端口号的分类方法、基于载荷的分类方法、机器学习的分类方法。

同时，在本发明的实施方式中，可以以会话为单位对流量数据进行识别，因此，所述系统100’还可以包括以下模块：

筛选模块，用于筛选传输层协议为TCP或UDP的流量数据；

整合模块，用于根据五元组将所述筛选模块所筛选出的流量数据整合为会话，其中所述会话包括含有相同的五元组的流量数据；

哈希值建立模块，用于根据所述整合模块所整合出的会话的五元组建立对应的哈希值；

第三提取模块，用于提取所述整合模块所整合出的会话的端口号、载荷、流特征；

存储模块，用于将所述第三提取模块所提取出的端口号、载荷、流特征与所述哈希值建立模块所建立的哈希值对应地存储到流表中。

实施本发明提供的识别流量数据的应用类型的方法及系统可以兼顾效率与精确度的识别流量数据的应用类型。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可借助软件结合硬件平台的方式来实现，当然也可以全部通过硬件来实施。基于这样的理解，本发明的技术方案对背景技术做出贡献的全部或者部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，智能手机或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

本发明说明书中使用的术语和措辞仅仅为了举例说明，并不意味构成限定。本领域技术人员应当理解，在不脱离所公开的实施方式的基本原理的前提下，对上述实施方式中的各细节可进行各种变化。因此，本发明的范围只由权利要求确定，在权利要求中，除非另有说明，所有的术语应按最宽泛合理的意思进行理解。

Claims (18)

1.一种识别流量数据的应用类型的方法，其特征在于，所述方法包括：

通过粗粒度的分类方法识别流量数据的应用类型；

若不能识别出所述流量数据的应用类型，则通过细粒度的分类方法识别所述流量数据的应用类型。

2.如权利要求1所述的方法，其特征在于，通过粗粒度的分类方法识别流量数据的应用类型包括：

通过基于端口号的分类方法识别流量数据的应用类型。

3.如权利要求2所述方法，其特征在于，所述方法还包括：

若通过所述细粒度的分类方法识别出所述流量数据的应用类型，则根据识别结果提取所述流量数据的端口号以及应用类型的对应关系；

将所述提取出的端口号以及应用类型的对应关系反馈至所述基于端口号的分类方法。

4.如权利要求1～3中任意一项所述的方法，其特征在于，通过细粒度的分类方法识别所述流量数据的应用类型包括：

通过基于载荷的分类方法识别所述流量数据的应用类型。

5.如权利要求4所述的方法，其特征在于，通过细粒度的分类方法识别所述流量数据的应用类型还包括：

若通过所述基于载荷的分类方法不能识别出所述流量数据的应用类型，则通过机器学习的分类方法识别所述流量数据的应用类型。

6.如权利要求5所述的方法，其特征在于，通过细粒度的分类方法识别所述流量数据的应用类型还包括：

若通过所述基于载荷的分类方法识别出所述流量数据的应用类型，则判断所述应用类型是否为加密协议；

若是，则执行所述通过机器学习的分类方法识别所述流量数据的应用类型。

7.如权利要求4所述的方法，其特征在于，

所述基于载荷的分类方法包括：基于精确特征的方法以及基于正则表达式的方法。

8.如权利要求5～7中任意一项所述的方法，其特征在于，所述方法还包括：

在执行所述通过细粒度的分类方法识别所述流量数据的应用类型后，通过基于行为和流量传播图的方法对所述流量数据进行识别；

若通过所述基于行为和流量传播图的方法识别出所述流量数据的应用类型，则提取所述流量数据的端口号、载荷、流特征；

将所述提取出的端口号、载荷、流特征分别反馈给所述基于端口号的分类方法、基于载荷的分类方法、机器学习的分类方法。

9.如权利要求5～7中任意一项所述的方法，其特征在于，所述方法还包括：

在执行所述通过粗粒度的分类方法识别流量数据的应用类型前，筛选传输层协议为TCP或UDP的流量数据；

根据五元组将所述筛选出的流量数据整合为会话，其中所述会话包括含有相同的五元组的流量数据；

根据所述会话的五元组建立对应的哈希值；

提取所述会话的端口号、载荷、流特征；

将所述提取的端口号、载荷、流特征与所述哈希值对应地存储到流表中。

10.一种识别流量数据的应用类型的系统，其特征在于，所述系统包括：

粗粒度识别模块，用于通过粗粒度的分类方法识别流量数据的应用类型；

细粒度识别模块，用于当所述粗粒度识别模块不能识别出所述流量数据的应用类型时，通过细粒度的分类方法识别所述流量数据的应用类型。

11.如权利要求10所述的系统，其特征在于，所述粗粒度识别模块包括：

端口号识别单元，用于通过基于端口号的分类方法识别流量数据的应用类型。

12.如权利要求11所述的系统，其特征在于，所述系统还包括：

第一提取模块，用于当所述细粒度识别模块识别出所述流量数据的应用类型时，根据所述细粒度识别模块的识别结果提取所述流量数据的端口号以及应用类型的对应关系；

第一反馈模块，用于将所述第一提取模块所提取出的端口号以及应用类型的对应关系反馈至所述基于端口号的分类方法。

13.如权利要求10～12所述的系统，其特征在于，所述细粒度识别模块包括：

载荷识别单元，用于通过基于载荷的分类方法识别所述流量数据的应用类型。

14.如权利要求13所述的系统，其特征在于，所述细粒度识别模块还包括：

机器学习识别单元，用于当所述载荷识别单元不能识别出所述流量数据的应用类型时，通过机器学习的分类方法识别所述流量数据的应用类型。

15.如权利要求14所述的系统，其特征在于，所述细粒度识别模块还包括：

判断单元，用于当所述载荷识别单元识别出所述流量数据的应用类型时，判断所述应用类型是否为加密协议。

16.如权利要求13所述的系统，其特征在于，

所述基于载荷的分类方法包括：基于精确特征的方法以及基于正则表达式的方法。

17.如权利要求14～16中任意一项所述的系统，其特征在于，所述系统还包括：

行为及流量传播图模块，用于通过基于行为和流量传播图的方法对所述流量数据进行识别；

第二提取模块，用于当所述行为及流量传播图模块识别出所述流量数据的应用类型时，提取所述流量数据的端口号、载荷、流特征；

第二反馈模块，用于将所述第二提取模块所提取出的端口号、载荷、流特征分别反馈给所述基于端口号的分类方法、基于载荷的分类方法、机器学习的分类方法。

18.如权利要求14～16所述的系统，其特征在于，所述系统还包括：

筛选模块，用于筛选传输层协议为TCP或UDP的流量数据；

整合模块，用于根据五元组将所述筛选模块所筛选出的流量数据整合为会话，其中所述会话包括含有相同的五元组的流量数据；

哈希值建立模块，用于根据所述整合模块所整合出的会话的五元组建立对应的哈希值；

第三提取模块，用于提取所述整合模块所整合出的会话的端口号、载荷、流特征；

存储模块，用于将所述第三提取模块所提取出的端口号、载荷、流特征与所述哈希值建立模块所建立的哈希值对应地存储到流表中。