CN113194043A

CN113194043A - 一种nat环境下的网络流量分类方法

Info

Publication number: CN113194043A
Application number: CN202110291599.9A
Authority: CN
Inventors: 武杨; 牟一林; 代先勇; 邓金祥; 胥雄; 袁涟枫; 梁明超
Original assignee: Chengdu Shensi Science & Technology Co ltd
Current assignee: Chengdu Fengwei Technology Co ltd
Priority date: 2021-03-18
Filing date: 2021-03-18
Publication date: 2021-07-30
Anticipated expiration: 2041-03-18
Also published as: CN113194043B

Abstract

本发明涉及一种NAT环境下的网络流量分类方法，从每条流中不同方向IP发出的第一个包中提取不被NAT修改且不同设备实现存在差异的协议字段，然后将这些协议字段按照一定的格式排列组合生成设备指纹，与该方向IP地址关联后能够唯一标识出NAT后的某一设备，由于设备指纹仅依赖TCP/IP协议栈，所有的流量都可生成设备指纹，从而实现完全分类NAT后具有相同IP的不同设备的流量。本发明的优点在于：不需要深入分析流的应用协议特征即可以分类NAT环境下同一IP中不同设备的所有流量，提高了流量分类的完整度，降低了流量分析的难度。

Description

一种NAT环境下的网络流量分类方法

技术领域

本发明涉及网络流量分类领域，尤其涉及一种NAT环境下的网络流量分类方法。

背景技术

在网络流量分析中，经常需要单独分析某个设备的所有流量，常规的做法是基于IP地址分类流量，然后提取出与待分析设备IP地址相同的所有流量。然而，为节省IP资源，企业与组织的网络中往往部署了不少的NAT(网络地址转换)设备，不同网络资产的流量在经过NAT后具有相同的IP地址，该IP地址无法唯一表示某一个设备，基于IP地址分类网络流量无法进一步将某一个设备的流量单独区分出来，现有技术通过分析应用协议特征分类不同的设备流量，但无法分类未知协议或无协议特征的流量，往往需要人工进一步通过分析流量关系将无法分类的流量进一步分类出来，耗费大量人力，不便于流量分析。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种NAT环境下的网络流量分类方法，解决了现有通过分析应用协议特征分类不同的设备流量，无法分类位置协议或无协议特征流量的问题。

本发明的目的通过以下技术方案来实现：一种NAT环境下的网络流量分类方法，所述分类方法包括：

S1、将待分类的网络流量基于IP地址进行分类，形成所有IP与其所属流的关系映射集合；

S2、从关系映射集合中任意一个元素并遍历其所有的流，得到发送流集合和响应流集合；

S3、分别遍历发送流集合和响应流集合生成设备指纹，并归类设备指纹及其所属流形成发送设备指纹集合和响应指纹集合；

S4、从所述发送指纹集合中取出任意一个元素的设备指纹，生成该元素响应方向的设备响应指纹，以该响应指纹与所述响应指纹集合进行匹配，取出匹配成功的元素并构成设备指纹与所属流的关系映射；

S5、遍历发送指纹集合，形成设备指纹列表；

S6、遍历关系映射集合中所有元素，并依次执行步骤S2-S5，得到IP、设备指纹和所属流的映射集合。

所述将待分类的网络流量基于IP地址进行分类，形成所有IP与其所属流的关系映射集合包括：

S11、将待分类的网络流量以流为单位，基于IP地址进行分类，形成某个IP与其所属流sn的关系映射ip_m＝{IP:[s1,s2,…,sn]}；

S12、分类完成后，带分类的网络流量形成所有IP与其所属流的关系映射集合S＝{ip_m1，ip_m2，…，ip_mn}。

所述从关系映射集合中任意一个元素并遍历其所有的流，得到发送流集合和响应流集合包括：

S21、从关系映射集合S中取出任意一个元素ip_m，遍历元素ip_m中的所有流；

S22、基于元素所属IP在流中的方向，将流分为发送流集合ip_ms＝{s_s1,s_s2,…,s_sn}和响应流集合ip_mr＝{s_r1,s_r2,…,s_rn}。

所述分别遍历发送流集合和响应流集合生成设备指纹，并归类设备指纹及其所属流形成发送设备指纹集合和响应指纹集合包括：。

S31、分别遍历发送流集合ip_ms和响应流集合ip_mr，从每条流的元素所属IP发送的第一个包中提取协议栈信息生成设备指纹f；

S32、遍历完成后，归类设备指纹f及其所属流，分别形成发送设备指纹f_s与所属流的关系映射f_sm＝{f_s:[s_s1,s_s2,…,s_sn]}与响应设备指纹f_r与所属流的关系映射f_rm＝{f_r:[s_r1,s_r2,…,s_rn]}；

S33、归类完成后，分别形成发送设备指纹集合F_s＝{f_sm1,f_sm2,…,f_smn}和响应指纹集合F_r＝{f_rm1,f_rm2,…,f_rmn}。

所述从所述发送指纹集合中取出任意一个元素的设备指纹，生成该元素响应方向的设备响应指纹，以该响应指纹与所述响应指纹集合进行匹配，取出匹配成功的元素并构成设备指纹与所属流的关系映射包括：

S41、从所述发送指纹集合F_s中取出任意一个元素f_sm，并取出元素中的设备指纹f_s；

S42、基于成对指纹的相似性，生成该元素响应方向的设备指纹f_r，并以生成的响应职位f_r为查找键在响应指纹集合F_r中匹配响应指纹；

S43、取出匹配成功的响应指纹集合F_r中对应的元素f_rm，并与f_sm一起构成某个设备完整的设备指纹f与所属流的关系映射f_m＝{f:[s1,s2,…,sn]}，否则表示该网络流量中不存在该元素的响应方向流，则单独构成设备指纹f与所属流的关系映射f_m＝{f:[s_s1,s_s2,…,s_sn]}。

所述遍历发送指纹集合，形成设备指纹列表包括：

S51、变量发送指纹集合F_s，完成后与响应指纹集合F_r匹配剩余的f_rm形成设备指纹列表[f_m1,f_m2,…,f_mn]；

S52、最后完成元素ip_m的分类，形成新的元素ip_f_m＝{IP:[f_m1,f_m2,…,f_mn]}。

所述提取的协议栈信息包括IP包头部的TTL、IPID、DF标志位、其他标志、选项长度，TCP头部的序列号、确认序列号、保留位、标志位、窗口大小、所有选项类型。

所述生成设备指纹f的生成方式包括判别IPID、序列号、确认序列号、保留位、标志位是否为空，并将结果按位相或后形成位组合标志，最后将TTL、IP选项长度、TCP窗口大小、TCP选项类型、位组合标志按照一定的顺序排列构成可显示字符串。

本发明具有以下优点：一种NAT环境下的网络流量分类方法，不需要深入分析流的应用协议特征即可以分类NAT环境下同一IP中不同设备的所有流量，提高了流量分类的完整度，降低了流量分析的难度。

附图说明

图1为本发明的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

一般情况下，NAT设备在转发流经的网络流量时，除了将IP层中内部设备的IP地址替换成本设备WAN口的IP地址，和在配置端口转发规则的情况下会进一步修改传输层的端口号外，不会修改IP层与传输层的其他字段。此外，不同厂家的TCP/IP协议栈实现之间存在着许多细微的差异，如window设备的TTL默认为128、Linux设备为64、思科与华为等设备为255等等。

如图1所示，本发明涉及一种NAT环境下的网络流量分类方法，主要针对现有技术无法完全分类NAT后不同设备流量的问题；本发明利用不同设备TCP/IP协议栈上实现的差异，与NAT设备仅修改IP层与传输层部分数据这一现象，从每条流中不同方向IP发出的第一个包中提取不被NAT修改且不同设备实现存在差异的协议字段，然后将这些协议字段按照一定的格式排列组合生成设备指纹，与该方向IP地址关联后能够唯一标识出NAT后的某一设备，由于设备指纹仅依赖TCP/IP协议栈，所有的流量都可生成设备指纹，从而实现完全分类NAT后具有相同IP的不同设备的流量；具体包括以下实现步骤：

S1：将待分类的网络流量，以流为单位，基于IP地址进行分类。只要该IP在流中是源IP或目的IP中的任意一个，即将该条流s归属于该IP，形成某个IP与其所有流sn的关系映射ip_m＝{IP:[s1,s2,…,sn]}。分类完成后，待分类的网络流量即形成了所有IP与其所属流的关系映射集合S＝{ip_m1，ip_m2，…，ip_mn}。

S2：从关系映射集合S中取出任意一个元素ip_m，遍历元素ip_m中的所有流，基于元素所属IP在流中的方向，将流分为发送流集合ip_ms＝{s_s1,s_s2,…,s_sn}和响应流集合ip_mr＝{s_r1,s_r2,…,s_rn}。

S3：分别遍历S2中的发送流集合ip_ms和响应流集合ip_mr，从每条流的元素所属IP发送的第一个包中提取协议栈字段生成设备指纹f，提取的协议栈信息包括IP包头部的TTL、IPID、DF标志位、其他标志、选项长度，TCP头部的序列号、确认序列号、保留位、标志位、窗口大小、所有选项类型，生成方式为判别IPID、其他标志位、序列号、确认序列号、保留位、标志位等是否为空，并将结果按位相或后形成位组合标志，最后将TTL、IP选项长度、TCP窗口大小、TCP选项类型、位组合标志按照一定的顺序排列构成可显示字符串，该字符串即为设备指纹。

遍历完成后，归类设备指纹f及其所属流，分别形成发送设备指纹f_s与所属流的关系映射f_sm＝{f_s:[s_s1,s_s2,…,s_sn]}与响应设备指纹f_r与所属流的关系映射f_rm＝{f_r:[s_r1,s_r2,…,s_rn]}，归类完成后，即分别形成发送设备指纹集合F_s＝{f_sm1,f_sm2,…,f_smn}和响应指纹集合F_r＝{f_rm1,f_rm2,…,f_rmn}。

S4：从S3中的发送指纹集合F_s中的取出任意一个元素f_sm，取出元素中的设备指纹f_s，然后基于成对指纹的相似性，生成该元素响应方向的设备指纹f_r，成对指纹的相似性是指设备发送指纹与响应指纹除了位组合标志部分值相反外，其它字段基本不变，基于取反位组合标志即得到另一方向的指纹，然后以生成的响应指纹f_r为查找键，在响应指纹集合F_r中匹配响应指纹，匹配成功则取出响应指纹集合F_r中对应的元素f_rm，与f_sm一起构成某个设备完整的设备指纹f与所属流的关系映射f_m＝{f:[s1,s2,…,sn]}，其中f∈{f_s,f_r},否则表示该网络流量中不存在该元素的响应方向流，则单独构成设备指纹f与所属流的关系映射f_m＝{f:[s_s1,s_s2,…,s_sn]}。

S5：遍历发送指纹集合F_s，完成后与响应指纹集合F_r匹配剩余的f_rm形成设备指纹列表[f_m1,f_m2,…,f_mn]，即完成元素ip_m的分类，形成新的元素ip_f_m＝{IP:[f_m1,f_m2,…,f_mn]}。

S6：遍历关系映射集合S中的所有元素，依次执行S2-S5，将IP与流的映射集合S进一步细化为IP、设备指纹与流的映射集合S＇＝{ip_f_m1，ip_f_m2，…，ip_f_mn}，完成网络流量的分类。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims

1.一种NAT环境下的网络流量分类方法，其特征在于：所述分类方法包括：

S5、遍历发送指纹集合，形成设备指纹列表；

2.根据权利要求1所述的一种NAT环境下的网络流量分类方法，其特征在于：所述将待分类的网络流量基于IP地址进行分类，形成所有IP与其所属流的关系映射集合包括：

3.根据权利要求2所述的一种NAT环境下的网络流量分类方法，其特征在于：所述从关系映射集合中任意一个元素并遍历其所有的流，得到发送流集合和响应流集合包括：

4.根据权利要求3所述的一种NAT环境下的网络流量分类方法，其特征在于：所述分别遍历发送流集合和响应流集合生成设备指纹，并归类设备指纹及其所属流形成发送设备指纹集合和响应指纹集合包括：

5.根据权利要求4所述的一种NAT环境下的网络流量分类方法，其特征在于：所述从所述发送指纹集合中取出任意一个元素的设备指纹，生成该元素响应方向的设备响应指纹，以该响应指纹与所述响应指纹集合进行匹配，取出匹配成功的元素并构成设备指纹与所属流的关系映射包括：

6.根据权利要求5所述的一种NAT环境下的网络流量分类方法，其特征在于：所述遍历发送指纹集合，形成设备指纹列表包括：

7.根据权利要求4-6中任意一项所述的一种NAT环境下的网络流量分类方法，其特征在于：所述提取的协议栈信息包括IP包头部的TTL、IPID、DF标志位、其他标志、选项长度，TCP头部的序列号、确认序列号、保留位、标志位、窗口大小、所有选项类型。

8.根据权利要求7所述的一种NAT环境下的网络流量分类方法，其特征在于：所述生成设备指纹f的生成方式包括判别IPID、序列号、确认序列号、保留位、标志位是否为空，并将结果按位相或后形成位组合标志，最后将TTL、IP选项长度、TCP窗口大小、TCP选项类型、位组合标志按照一定的顺序排列构成可显示字符串。