CN102611626A

CN102611626A - 网络流量解析系统及方法

Info

Publication number: CN102611626A
Application number: CN2012100910991A
Authority: CN
Inventors: 周容红; 高强花; 杜悦艺
Original assignee: BEIJING ENOVELL TECHNOLOGY Co Ltd
Current assignee: BEIJING ENOVELL TECHNOLOGY Co Ltd
Priority date: 2012-03-30
Filing date: 2012-03-30
Publication date: 2012-07-25
Anticipated expiration: 2032-03-30
Also published as: CN102611626B

Abstract

一种网络流量解析系统及方法，方法是根据netflow记录中各个字域的依赖关系和数据量情况，构建多维结构，按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的顺序建立多维结构，根据信息遍历多维结构中的流量记录，在遍历过程中对于子节点比较多的节点使用哈希算法，其他节点使用数组，找到相匹配的信息进行叠加操作，当达到一分钟时，写入文件，清空缓存，重新开始记录数据信息。系统有netflow数据采集模块、解析netflow数据模块和进行聚合或者直接呈现模块，本发明在采集数据的过程中，在内存中对数据进行了一次聚合操作，保证了节点的充分填充空间的合理利用。

Description

网络流量解析系统及方法

技术领域

本发明涉及一种通信网络。特别是涉及一种用于管理网络流量的网络流量解析系统及方法。

背景技术

网络流量包括通信网络管理任务，这些管理任务目的是为了提高网络资源的效率、确保应用流量的服务质量和增强网络操作的可靠性。管理任务包括网络流量统计，在网络流量统计领域，就目前的技术而言，主要技术有SNMP端口流量采集、ROMN探针采集、netflow采集。

目前，在SNMP端口流量采集、ROMN探针采集、netflow采集中目前存在以下问题：

1)利用SNMP协议采集流量，对被监视的各个网络端口进出的数据包数和字节数进行采集，但流量信息较为粗糙，而且无法区分流量的分布状况，也无法进行流量流向分析；

2)利用RMON协议采集流量，会耗用大量的CPU，而且需要在设备上安置RMON探针，缺乏内建的数据汇总机制；

3)利用netflow协议采集流量，数据量大，需要及时处理，而且对v9版本的netflow解析需要被动积累添加模板信息。

典型的流量采集系统结构如图1所示，包括依次相连的flow数据采集模块1、解析flow数据模块2和进行聚合或者直接呈现模块3。而在采集部分，主要做得工作就是接受netflow数据包，并对数据包中得每一条记录进行解析，将解析后的结果提供给上层进行聚合操作。

发明内容

本发明所要解决的技术问题是，提供一种能够有效的在不影响数据准确性的前提下缩减数据量的网络流量解析系统及方法。

本发明所采用的技术方案是：一种网络流量解析系统及方法。网络流量解析方法，是根据netflow记录中各个字域的依赖关系和数据量情况，构建多维结构，按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的顺序建立多维结构，根据所述的这些信息遍历多维结构中的流量记录，在遍历过程中对于子节点比较多的节点使用哈希算法，其他节点使用数组，找到相匹配的信息进行叠加操作，当达到一分钟时，写入文件，清空缓存，重新开始记录数据信息。

首先在路由器上开启netflow配置，在配置netflow过程中，使路由器将数据包发送到netflow采集服务器的指定端口，并采用设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域作为关键域，然后按照如下步骤接收并解析netflow数据：

1)建立socket连接监听路由器上指定的netflow发送到netflow采集服务器的端口；

2)当接收到netflow数据包时，根据netflow协议的格式，对数据包进行拆分，其中，对于一个netflow数据包，有一个或者多个netflow记录信息；

3)将解析到的netflow记录信息放到内存中，对多维结构进行遍历；

4)当遍历到最终节点的时候，对该节点中的流量大小和封包大小进行叠加；

5)当达到一分钟的时候，将内存中的信息写入流量采集服务上的临时文件，清空内存中的信息。

步骤3)所述的对多维结构进行遍历包括：按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建多维树形结构，从根节点遍历到最终节点，如果其中某个节点不存在，则在此节点下构建新节点；其中，在设备IP、TOS、协议类型、目的地址高位四个节点使用netflow记录中的值作为数据小标，获取下一个节点的索引，流入设备端口号、目的端口、目的地址、源端口、源地址五个节点使用netflow记录中的值作为关键值，进行快速哈希遍历，对于数组和哈希方法，使用关键域值作为id或者关键字进行查询。

所述的快速哈希遍历的过程是：

1)收到解析后的netflow记录信息后，以设备IP作为数组脚标，判断多维结构中是否存在设备IP节点，是遍历此节点下的信息，进入下一步骤，否则创建设备IP节点后再遍历此节点下的信息，进入下一步骤；

2)以设备TOS作为数组脚标，判断多维结构中是否存在设备TOS，是遍历此节点下的信息，进入下一步骤，否则创建设备TOS后再遍历此节点下的信息，进入下一步骤；

3)以协议类型值作为数组脚标，判断多维结构中是否有协议类型节点，有遍历此节点下的信息，进入下一步骤，否则创建协议类型节点后再遍历此节点下的信息，进入下一步骤；

4)以目的地址高四位作为数组脚标，判断多维结构中目的地址是否是高4位，是遍历此节点下的信息，进入下一步骤，否则创建目的地址高4位后再遍历此节点下的信息，进入下一步骤；

5)以流入设备端口号作为哈希关键值，判断多维结构中是否有流入设备端口号，有遍历此节点下的信息，进入下一步骤，否则在哈希中创建流入设备端口号后再遍历此节点下的信息，进入下一步骤；

6)以目的端口号作为哈希关键值，判断多维结构中是否有目的端口号，有遍历此节点下的信息，进入下一步骤，否则在哈希中创建目的端口号后再遍历此节点下的信息，进入下一步骤；

7)以目的地址作为哈希关键值，判断多维结构中是否有目的地址，有遍历此节点下的信息，进入下一步骤，否则在哈希中创建目的地址后再遍历此节点下的信息，进入下一步骤；

8)以源端口号作为哈希关键值，判断多维结构中是否有源端口号，有遍历此节点下的信息，进入下一步骤，否则在哈希中创建源端口号后再遍历此节点下的信息，进入下一步骤；

9)以源地址作为哈希关键值，判断多维结构中是否有源地址，有遍历此节点下的信息，进入下一步骤，否则在哈希中创建源地址后再遍历此节点下的信息，进入下一步骤；

10)叠加流量大小和封包数。

一种基于网络流量解析方法的解析系统，包括依次相连的如下模块：netflow数据采集模块、解析netflow数据模块和进行聚合或者直接呈现模块，所述的netflow数据采集模块包括有设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域，所述的八个字域是按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建的多维结构。

本发明的网络流量解析系统及方法，在采集数据的过程中，在内存中对数据进行了一次聚合操作，保证了节点的充分填充空间的合理利用。本发明具有如下特点：

1)定义了一个通用的用于netflow采集程序的初次聚合算法；

2)能够使匹配效率更快捷；

3)能够不影响数据准确性；

4)能够有效的在不影响数据准确性的前提下缩减数据量。

附图说明

图1是本发明的流量采集系统结构；

图2是本发明的数据采集的具体结构示意图；

图3是本发明的方法的流程图。

具体实施方式

下面结合实施例和附图对本发明的网络流量解析系统及方法做出详细说明。

本发明的网络流量解析系统及方法，提出了基于netflow协议采集过程中初级聚合的方法，在采集数据的过程中，在内存中对数据进行了一次聚合操作。

在netflow记录中主要包含：设备IP、源IP地址、目的IP地址、下一跳地址、流入设备端口号、流出设备端口号、数据流包数、数据流字节数、协议源端口号、协议目的端口号、TCP FLAG，IP层协议类型、TOS、源自治域号、目的自治域号等，其中根据数据分析和理论论证，得出如下结论：如果设备IP、流入设备端口号、目的IP相同，则流出设备端口号和下一跳地址相同；如果TOS、协议信息相同，则位TCP FLAG相同；如果源IP地址、目的IP地址相同，则源AS号和目的AS号相同。因此可知设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址是主要关键域，以上信息如果匹配相同则其他信息相同。

此外，通过数据分析可知，这些关键域的数量级是按照设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址递增，其中为了保持结构饱满度，合理利用空间，并且netflow分析系统一般是用在某个地市或者运营商流量统计中，相对于大量的外网访问，目的地址的地址较为集中，因此，在协议类型节点下添加目的地址高位节点。

本发明的网络流量解析系统及方法，提出了一种对使用netflow这种协议统计网络流量的有效采集方案。流量的统计分析主要应用在流量计费摊分、应用分布等领域，通过对依托于netflow协议发送过来的原始数据进行采集解析，然后基于这些原始数据进行流量分析。

流量解析系统结构如图1所示，包括依次相连的netflow数据采集模块1、解析netflow数据模块2和进行聚合或者直接呈现模块3。而在采集部分，主要做得工作就是接收netflow数据包，并对数据包中得每一条记录进行解析，将解析后的结果提供给上层进行聚合操作。

本发明的网络流量解析方法，提出了对netflow数据在采集阶段一种灵活快速准确缩减数据量的方法。

本发明的网络流量解析方法，是根据netflow记录中各个字域的依赖关系和数据量情况，尽可能的构建多维结构，因此采用并按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的顺序建立多维结构，根据这些信息遍历流量记录，其中对于子节点比较多得节点使用哈希算法，其他节点使用数组，找到相匹配的信息进行叠加操作，当达到一分钟，写入文件，清空缓存。

本发明的网络流量解析方法，结构如2所示(图2中总是以最中间的节点为例，其他节点结构类似)

本发明的网络流量解析方法，具体是首先在路由器上开启netflow配置，在配置netflow过程中，使路由器将数据包发送到netflow采集服务器的指定端口，并采用设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域作为关键域，然后按照如下步骤接收并解析netflow数据：

2)当接收到netflow数据包时，根据netflow协议的格式，对数据包进行拆分，其中，对于一个netflow数据包，有一个或者多个flow记录信息；

3)将解析到的netflow记录信息放到内存中，进行初步聚合和遍历；

所述的初步聚合和遍历包括：按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建多维结构，从根节点遍历到最终节点，如果其中某个节点不存在，则在此节点下构建新节点；其中，在设备IP、TOS、协议类型、目的地址高位四个节点使用flow记录中的值作为数组脚标，获取下一个节点的索引，流入设备端口号、目的端口、目的地址、源端口、源地址五个节点使用netflow记录中的值作为关键值，进行快速哈希遍历，对于数组和哈希方法，使用关键域值作为id或者关键字进行查询。

如图4所示，所述的快速哈希遍历的过程是：

10)当遍历到最终节点的时候，对该节点中的流量大小和封包大小进行叠加；

11)当达到一分钟的时候，将内存中的信息写入流量采集服务上的临时文件，清空内存中的信息。

如图1所示，本发明的基于网络流量解析方法的解析系统，包括依次相连的如下模块：flow数据采集模块1、解析flow数据模块2和进行聚合或者直接呈现模块3。如图3所示，所述的flow数据采集模块1包括有设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域，所述的八个字域是按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建的多维结构。

本发明的基于网络流量解析方法的解析系统，所构建的结构类似于树形结构，从跟节点至最终节点，分支逐渐增加，其中设备IP、TOS、协议类型、目的地址高位四个节点的分支较少，且值为数值形式，在遍历过程中使用数组的方式，以关键域的值作为数组的角标，获取下一个节点的索引，而流入设备端口号、目的端口、目的地址、源端口、源地址四个节点的分支数据量增大，使用快速的哈希方式进行遍历，同样使用关键域的值作为哈希关键值。

Claims

1.一种网络流量解析方法，其特征在于，是根据netflow记录中各个字域的依赖关系和数据量情况，构建多维结构，按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的顺序建立多维结构，根据所述的这些信息遍历多维结构中的流量记录，在遍历过程中对于子节点比较多的节点使用哈希算法，其他节点使用数组，找到相匹配的信息进行叠加操作，当达到一分钟时，写入文件，清空缓存，重新开始记录数据信息。

2.根据权利要求1所述的网络流量解析方法，其特征在于，首先在路由器上开启netflow配置，在配置netflow过程中，使路由器将数据包发送到netflow采集服务器的指定端口，并采用设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域作为关键域，然后按照如下步骤接收并解析netflow数据：

3.根据权利要求2所述的网络流量解析方法，其特征在于，步骤3)所述的对多维结构进行遍历包括：按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建多维树形结构，从根节点遍历到最终节点，如果其中某个节点不存在，则在此节点下构建新节点；其中，在设备IP、TOS、协议类型、目的地址高位四个节点使用netflow记录中的值作为数据小标，获取下一个节点的索引，流入设备端口号、目的端口、目的地址、源端口、源地址五个节点使用netflow记录中的值作为关键值，进行快速哈希遍历，对于数组和哈希方法，使用关键域值作为id或者关键字进行查询。

4.根据权利要求3所述的网络流量解析方法，其特征在于，所述的快速哈希遍历的过程是：

10)叠加流量大小和封包数。

5.一种基于权利要求1所述的网络流量解析方法的解析系统，包括依次相连的如下模块：netflow数据采集模块(1)、解析netflow数据模块(2)和进行聚合或者直接呈现模块(3)，其特征在于，所述的netflow数据采集模块(1)包括有设备IP、TOS、协议类型、流入设备端口号、目的端口、目的地址、源端口、源地址八个字域，所述的八个字域是按照设备IP、TOS、协议类型、目的地址高位、流入设备端口号、目的端口、目的地址、源端口、源地址的层次构建的多维结构。