CN106027406A - 基于Netflow的NS3仿真系统流量导入方法 - Google Patents

Abstract

本发明公开了一种基于Netflow的NS3仿真系统流量导入方法，基于NS3仿真系统流量建模方法的缺失，利用NS3模块化设计易扩展的优势，为仿真系统添加了真实流量数据导入功能，以真实网络设备上采集的NetFlow信息为原始数据，经过预处理、存储和流量映射后形成仿真任务文件，仿真系统读取仿真任务文件进行模拟仿真，完整的考虑了从数据采集到最后模拟仿真的每个步骤。为大型数据网进行升级改造、网络优化等方案实施提供了一种既接近真实流量又考虑数据量成本的方法。

Description

基于Netflow的NS3仿真系统流量导入方法

技术领域

本发明属于网络仿真技术领域，具体涉及一种基于Netflow的NS3仿真系统流量导入方法的设计。

背景技术

随着现如今网络通信量的持续快速增长，新的网络应用层出不穷，网络设备也加速迭代。对于企业和运营商而言，网络管理和监控的成本变得越来越高昂。而且，新协议、新应用在整个网络中的部署以及网络行为和网络性能的测试若都在真实网络上进行，势必对网络性能造成影响。所以网络仿真技术被普遍认为是研究复杂网络的一种有效手段，计算机仿真被广泛应用于以下多方面的网络研究：

(1)理解特定的网络协议或机制在各种网络条件下表现的行为。

(2)了解将一个协议、机制、网络服务或应用程序广泛应用于大规模网络时的真实效果。

在对一个大型真实网络进行升级改造、网络优化等方案实施之前，通常需要预先通过模拟仿真系统按照真实网络的网络拓扑、流量行为来对网络运行状况进行模拟仿真，来验证改造/优化方案的可行性和有效性，从而避免直接在真实网络上进行改造/优化带来的各种风险。模拟仿真系统中的网络拓扑的构建可以按照真实网络的拓扑和配置进行设置，而对于真实网络的流量状况，由于真实网络流量极大，且流量构成十分复杂，而现有的各种模拟仿真系统尽管提供了一些基本的流量生成模型，但与真实网络的流量行为相差甚远，难以反映真实网络的流量行为。而采用端口镜像技术采集真实网络的原始流量数据，又因为数据量十分巨大，无法用于模拟仿真系统。

在网络仿真系统中，能否产生与真实网络的流量行为接近的流量模型是决定网络仿真结果是否满足可靠性和正确性要求的基础。Netflow最初是由Cisco推出的用于搜集IP通信量信息的协议，这些信息会通过运行Netflow的路由器和交换机进行搜集，然后传递给IP通信量分析应用程序进行分析处理。经过多年的技术演变和发展，Netflow技术已经成为当前最主要的网络流量分析和计量的标准，逐步得到了更多主流路由器和交换机厂商的支持。Netflow信息包含了较为全面的数据流信息，通过7个关键字可以唯一标识一条Netflow流：①源地址；②目的地址；③源端口；④目的端口；⑤第三层协议类型；⑥服务类型；⑦输入的逻辑端口。通过对收集到的Netflow信息整理、分类、分析，可快速方便地了解网络流量的内容。

NS3作为一个极具特色的新型网络模拟器，完备性、开源性、易用性和可扩展性等方面的特色使得它优于现有的大多数主流网络模拟器。NS3网络组件采用了较低的抽象层次，完全从实际网络环境中进行抽象，力求最大程度地贴近现实，反映真实的网络环境。这使得NS3功能较为强大，模块化的设计思想，使得开发者和使用者可以根据自己的需求进行任意的扩展。NS3支持通过文件读入仿真任务的功能，所以在NS3仿真系统中开发流量导入模块，生成格式化的任务文件进行真实流量导入是可行的。

然而，在利用NS3进行大规模网络仿真的过程中，由于真实流量的数据量十分巨大，因此要想完整地导入真实流量数据十分困难。而在大规模网络仿真和网络性能分析中，接近真实网络情况的流量模型是得到正确仿真结果的数据基础。因此在仿真系统中搭建了与真实网络相一致的网络拓扑后，就需要解决仿真输入的问题。

发明内容

本发明的目的是为了解决现有技术中利用NS3进行大规模网络仿真时真实流量数据导入困难的问题，提出了一种基于Netflow的NS3仿真系统流量导入方法。

本发明的技术方案为：基于Netflow的NS3仿真系统流量导入方法，包括以下步骤：

S1、从Cisco路由器上采集真实网络的Netflow流量统计信息；

S2、对采集到的Netflow流量统计信息进行预处理；

S3、将预处理后的Netflow流量统计信息导入数据库进行存储；

S4、将Netflow流量统计信息映射到仿真拓扑内相应设备的接入接口；

S5、利用NS3仿真系统对真实网络的流量模型进行仿真。

进一步地，步骤S1具体包括以下分步骤：

S11、在待采集Cisco路由器上配置Netflow v5协议，配置Netflow分析仪服务器或主机的IP地址，以及配置Netflow监听端口号、流量分隔活动期、流量定期输出时间间隔；

S12、让采集服务器或主机连接到真实网络，并在其上配置采集程序编译运行环境，开始运行网络信息采集模块，选择Cisco Netflow采集子模块；

S13、选择并输入采集时间、采集的目的IP以及UDP端口号，开始采集并将采集结果存储到PCAP文件中。

进一步地，步骤S13中的PCAP文件包括若干个协议数据单元，每个协议数据单元记录了由五元组定义的一条流的统计信息；所述流是具有相同五元组，即相同源/目的IP地址、源/目的端口、传输层协议的分组的有序集合。

进一步地，步骤S2具体包括以下分步骤：

S21、将PCAP文件里每个协议数据单元中的关键信息提取出来进行存储，其它信息删除；

S22、将网络中每个Cisco路由器上采集的Netflow流量统计信息按照S21所述方法提取关键信息后进行合并，得到整个网络的流量统计信息；

S23、对整个网络的流量统计信息进行去重处理，即相同IP地址对之间在相同时刻采集的流量统计信息出现重复的情况下去掉重复记录。

进一步地，步骤S21中每个协议数据单元中的关键信息包括每个协议数据单元中的源/目的IP、源/目的端口、协议类型、包数量、字节数、流开始时间及流结束时间。

进一步地，步骤S4具体包括以下分步骤：

S41、根据NS3仿真系统构建的拓扑，整理得到网络各个节点上的设备名称、IP地址、子网范围、端口地址的IP分布文件；

S42、对数据库中存储的Netflow流量统计信息进行解析，内存读入IP分布文件，逐条流对比，将超出仿真拓扑范围的流量统计信息映射为拓扑上对应节点的流量；

S43、对解析后源/目的信息相同的网络流量进行合并，得到合并后的网络流量统计信息；

S44、根据NS3仿真系统的业务格式和参数要求，生成真实网络流量仿真任务文件。

进一步地，步骤S44中生成的仿真任务文件按源地址、目的地址、源IP、目的IP、源端口、目的端口、协议类型、流开始时间及流结束时间的输出格式存储。

本发明的有益效果是：本发明将真实网络中采集的数据作为仿真历史数据独立存储，处理后映射到仿真系统网络拓扑，形成仿真系统可处理的仿真任务格式，进而进行仿真，完整的考虑了从数据采集到最后模拟仿真的每个步骤。基于NS3仿真系统流量建模方法的缺失，利用NS3模块化设计易扩展的优势，为仿真系统添加真实流量数据导入功能，弥补了NS3对真实网络流量模型的实现上的不足，解决了NS3大规模网络仿真中真实流量数据导入的问题，同时还解决了仿真历史数据存储和维护的问题。此外，本发明充分利用了NS3网络模拟器的性能，补充了NS3在模拟真实网络流量行为的不足，使得NS3模拟仿真系统的流量行为更接近真实网络，为大型数据网进行升级改造、网络优化等方案实施提供了一种既接近真实流量又考虑数据量成本的方法。

附图说明

图1为本发明提供的基于Netflow的NS3仿真系统流量导入方法流程图。

图2为本发明实施例的采集测试网络的配置示意图。

图3为本发明实施例的单个PCAP文件示意图。

图4为本发明实施例的数据库存储结构示意图。

图5为本发明实施例的流量映射示意图。

图6为本发明实施例的NS3运行模拟仿真示意图。

具体实施方式

下面结合附图对本发明的实施例作进一步的说明。

本发明提供了一种基于Netflow的NS3仿真系统流量导入方法，如图1所示，包括以下步骤：

S1、从Cisco路由器(思科路由器)上采集真实网络的Netflow流量统计信息。

该步骤具体包括以下分步骤：

S11、在待采集Cisco路由器上配置Netflow v5协议，配置Netflow分析仪服务器或主机的IP地址，以及配置Netflow监听端口号、流量分隔活动期、流量定期输出时间间隔等。本发明实施例中，采集测试网络的配置拓扑示意图如图2所示。

S12、让采集服务器或主机连接到真实网络，并在其上配置采集程序编译运行环境，开始运行网络信息采集模块，选择Cisco Netflow采集子模块。

S13、选择并输入采集时间、采集的目的IP以及UDP(User Datagram Protocol，用户数据报协议)端口号(默认为9996，实际端口号与真实环境配置有关)，开始采集并将采集结果存储到PCAP文件中，结果如图3所示。

S2、对采集到的Netflow流量统计信息进行预处理。

该步骤具体包括以下分步骤：

S21、将PCAP文件里每个协议数据单元中的关键信息提取出来进行存储，其它信息删除。

一个PCAP文件是由一系列PDU(Protocol Data Unit，协议数据单元)组成，每个协议单元记录了由五元组定义的一条流的统计信息。所谓流是具有相同五元组，即相同源/目的IP地址、源/目的端口、传输层层协议的分组的有序集合。本发明的目的就是要获取网络中所有的流的统计信息。本发明实施例中，流量通过直接统计得到，流量经过处理后生成一条条的流。

本发明实施例中，一个PDU的格式如下例所示：

索引:0xc1a21

路由器IP:192.168.254.2

源IP:192.168.231.55

目的IP:202.112.43.18

进入端口索引:8

外出端口索引:55

源端口:12043

目的端口:80

包数量:6

字节数:680

下一跳IP:202.112.43.20

流开始时间:11:29:22 2004-6-9

流结束时间:11:29:25 2004-6-9

协议类型:6

服务类型:0x0

源自治域:0

目的自治域:321

源子网掩码长度:20

目的子网掩码长度:0

TCP标志位:0x1b

engine type:1

engine id:0

上述信息中源/目的IP、源/目的端口、协议类型、包数量、字节数、流开始时间及流结束时间是我们需要的关键信息。采集到一个路由器的Netflow流量统计信息之后，将每个PDU中的上述信息提取出来进行存储，其他信息删除。

S22、将网络中每个Cisco路由器上采集的Netflow流量统计信息按照S21所述方法提取关键信息后进行合并，得到整个网络的流量统计信息。

一个路由器上的Netflow流量统计信息只是流经该路由器的所有流量的统计信息，若要完整一个复杂网络的流量信息采集，需要采集该网络上多个路由器上的Netflow流量统计信息，将每个路由器上的采集Netflow流量统计信息按照S21所述方法提取信息后进行合并，得到整个网络的流量统计信息。

S23、对整个网络的流量统计信息进行去重处理，即相同IP地址对之间在相同时刻采集的流量统计信息出现重复的情况下去掉重复记录。出现重复的原因是相同的流经过了不同的路由器并被重复记录。经过上述处理后得到的处理结果便可以作为模拟仿真系统的流量生成模块的输入。

S3、将预处理后的Netflow流量统计信息导入数据库进行存储。

模拟仿真系统需要大量的历史数据作为仿真系统模拟仿真和分析的数据基础，本发明中将得到的流量信息存储在数据库中，实现了数据的独立性，为今后的数据处理及系统的管理与维护带来更多的方便性。在网络分析，如网络故障重现时，模拟仿真系统需要重现特定时间段内的网络故障情况，这时就需要历史数据作为可重现的基础。按时间独立存储的流量信息为数据重现提供了便利性。所以解析程序连接MySQL数据库，建立数据库表项，将得到的流量信息存至数据库，如图4所示。

S4、将Netflow流量统计信息映射到仿真拓扑内相应设备的接入接口。

真实网络设备上采集的流量数据信息是流经全网的流量信息，有时候会出现超出仿真拓扑范围的流量数据，如图5所示，图5(a)中来自互联网的流量信息和图5(b)中来自终端的流量信息都在仿真拓扑范围之外，这时需要将这些流量信息映射到拓扑内相应设备的接入接口。

该步骤具体包括以下分步骤：

S41、根据NS3仿真系统构建的拓扑，整理得到网络各个节点上的设备名称、IP地址、子网范围、端口地址的IP分布文件。

S42、对数据库中存储的Netflow流量统计信息进行解析，内存读入IP分布文件，逐条流对比，将超出仿真拓扑范围的流量统计信息映射为拓扑上对应节点的流量。

S43、对解析后源/目的信息相同的网络流量进行合并，得到合并后的网络流量统计信息。

S44、根据NS3仿真系统的业务格式和参数要求，生成真实网络流量仿真任务文件。

生成的仿真任务文件按源地址、目的地址、源IP、目的IP、源端口、目的端口、协议类型、流开始时间和流结束时间的输出格式存储。仿真时，建立任务过程中，程序读取仿真任务文件，逐条流读入，为每条流配置链路参数，给节点安装协议栈，关联IP地址，安装应用，将每条流信息加载到仿真环境，就可以开始执行仿真。

S5、利用NS3仿真系统对真实网络的流量模型进行仿真。

NS3仿真系统提供了任务文件读入接口，在得到需要的流量数据后，将结果按照任务文件接口要求输出到仿真任务文件，即可以对真实流量模型进行仿真，如图6所示。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (7)

1.基于Netflow的NS3仿真系统流量导入方法，其特征在于，包括以下步骤：

S1、从Cisco路由器上采集真实网络的Netflow流量统计信息；

S2、对采集到的Netflow流量统计信息进行预处理；

S3、将预处理后的Netflow流量统计信息导入数据库进行存储；

S4、将Netflow流量统计信息映射到仿真拓扑内相应设备的接入接口；

S5、利用NS3仿真系统对真实网络的流量模型进行仿真。

2.根据权利要求1所述的基于Netflow的NS3仿真系统流量导入方法，其特征在于，所述步骤S1具体包括以下分步骤：

S11、在待采集Cisco路由器上配置Netflow v5协议，配置Netflow分析仪服务器或主机的IP地址，以及配置Netflow监听端口号、流量分隔活动期、流量定期输出时间间隔；

S12、让采集服务器或主机连接到真实网络，并在其上配置采集程序编译运行环境，开始运行网络信息采集模块，选择Cisco Netflow采集子模块；

S13、选择并输入采集时间、采集的目的IP以及UDP端口号，开始采集并将采集结果存储到PCAP文件中。

3.根据权利要求2所述的基于Netflow的NS3仿真系统流量导入方法，其特征在于，所述步骤S13中的PCAP文件包括若干个协议数据单元，每个协议数据单元记录了由五元组定义的一条流的统计信息；所述流是具有相同五元组，即相同源/目的IP地址、源/目的端口、传输层协议的分组的有序集合。

4.根据权利要求3所述的基于Netflow的NS3仿真系统流量导入方法，其特征在于，所述步骤S2具体包括以下分步骤：

S21、将PCAP文件里每个协议数据单元中的关键信息提取出来进行存储，其它信息删除；

S22、将网络中每个Cisco路由器上采集的Netflow流量统计信息按照S21所述方法提取关键信息后进行合并，得到整个网络的流量统计信息；

S23、对整个网络的流量统计信息进行去重处理，即相同IP地址对之间在相同时刻采集的流量统计信息出现重复的情况下去掉重复记录。

5.根据权利要求4所述的基于Netflow的NS3仿真系统流量导入方法，其特征在于，所述步骤S21中每个协议数据单元中的关键信息包括每个协议数据单元中的源/目的IP、源/目的端口、协议类型、包数量、字节数、流开始时间及流结束时间。

6.根据权利要求1所述的基于Netflow的NS3仿真系统流量导入方法，其特征在于，所述步骤S4具体包括以下分步骤：

S41、根据NS3仿真系统构建的拓扑，整理得到网络各个节点上的设备名称、IP地址、子网范围、端口地址的IP分布文件；

S42、对数据库中存储的Netflow流量统计信息进行解析，内存读入IP分布文件，逐条流对比，将超出仿真拓扑范围的流量统计信息映射为拓扑上对应节点的流量；

S43、对解析后源/目的信息相同的网络流量进行合并，得到合并后的网络流量统计信息；

S44、根据NS3仿真系统的业务格式和参数要求，生成真实网络流量仿真任务文件。

7.根据权利要求6所述的基于Netflow的NS3仿真系统流量导入方法，其特征在于，所述步骤S44中生成的仿真任务文件按源地址、目的地址、源IP、目的IP、源端口、目的端口、协议类型、流开始时间及流结束时间的输出格式存储。