CN107528731B - 应用于ns3并行仿真的网络分割优化算法 - Google Patents

Abstract

本发明提供了一种应用于NS3并行仿真的网络分割优化算法，包括以下步骤：S1、通过解析Netflow数据获得流量矩阵；再读取数据库中的路由表，生成路由矩阵文件；S2、生成链路流量和节点流量，通过路由矩阵文件和流量矩阵生成链路流量，将链路流量结合链路连接状况文件生成节点流量；S3、生成对应Metis划分算法的CSR格式文件，通过标准化链路权重和节点权重，生成对应Metis划分算法的CSR格式文件。本发明通过对采集到的Netflow流量数据进行处理，采用流量矩阵生成方法，计算得到节点和链路的流量数据，获得节点和链路的权重，最后利用Metis算法根据节点和边的权重对原始网络拓扑进行分割，能够使得各个分割内的仿真任务量均衡，从而提高整个NS3并行仿真系统的时间效率。

Description

应用于NS3并行仿真的网络分割优化算法

技术领域

本发明属于计算机仿真技术领域，特别涉及一种应用于NS3并行仿真的网络分割优化算法。

背景技术

计算机仿真是指对实际或虚拟系统行为模型在一定时间内进行计算模拟。从二十世纪六七十年代开始，科学技术不断发展，人类在许多领域的研究所建立的模型越来越庞大，如：复杂网络、天气预报、新药开发、智能机器、飞机试航、石油勘探、实时经济规划、核物理和等离子物理等，所需计算量惊人地增加，普通串行仿真完成时间过长，越来越不能满足人们的需求，于是并行仿真已经成为计算模拟大型复杂模型的重要手段。

通过划分算法，把大型仿真任务分割为一定数量的子任务，并分配给对应数量的处理器上分别运行，这样就可以并行运行原来的串行任务，从而大量减少仿真时间。其实并行仿真更接近现实世界，因为现实世界中的事物都是联系而又独立的。在并行和分布式仿真中，如何使任务负载均匀地划分到各个处理器上，且处理器之间通信最少，是一个影响仿真性能的重要问题。图划分算法正是解决这一问题的主要手段。除了并行负载划分问题，图划分算法在许多领域都有重要应用，如：大规模集成电路、分布式存储、任务调度等。使用普通暴力穷举法的图划分算法的时间消耗会随着图规模的增大而指数级增大，而得到图划分算法的最优解已被证明是NP完全问题，所以大多数都采用耗时更少的启发式算法(Heuristic Algorithm)来得到较好的划分结果。因此，设计出优秀的图划分算法尤为重要。

网络仿真通过对网络建模研究网络行为快速得到网络运行状态和网络进行改变后对整个网络的影响结果，对于网络结构优化和新业务调整都具有很重要的实际意义。所以采用并行来减少仿真运行时间是研究大型复杂网络必要的手段。目前已有的以NS3作为平台开发的网络模拟仿真系统，随着网络拓扑规模的不断扩大，仿真系统虽通过并行仿真提高了一定的仿真效率，但由于部分实现方法的一些限制，并行仿真效率的提升并不能满足数据量的提高。

Brian Kernighan和Shen Lin在1970年提出的KL算法是最经典的启发式图划分算法之一。KL算法先以任意方式将图G＝(V,E)划分为指定规模的两个划分，可以随机划分，也可以按一定约束划分。然后对于任何两个顶点处于两个不同划分的顶点对(v_i,v_j)，交换两个顶点的位置并计算交换前后两个划分之间通信量的变化情况。找到使通信量减小最多或增加最少的顶点对，然后交换两个顶点。重复上述过程，其中每个顶点只能被移动一次，直到通信量没有改善为止。由于算法中随机性的存在，导致两次运行KL算法一般不能获得同样的划分结果。算法的复杂度为O(n^3)，所以仅适用于只有几百到几千个顶点的图，而不适用于更为大型复杂的图。

NS3网络模拟仿真系统中提出了基于SNMP数据生成权重的KL划分算法。通过采集SNMP(Simple Network Management Protocol，简单网络管理协议)数据，可以获得对应端口和链路的流量负载数据，KL划分算法流程如图1所示。但由于采集SNMP数据和生成任务的Netflow分属于两个不同的模块，并不能做到严格意义上的同步，即保证生成的权重和仿真的任务是在同一时间段上。这就会导致最后通过划分算法生成的划分结果，存在一定的误差,导致划分结果不均衡，划分之间通信量过大等情况，严重影响最后的并行仿真效率，达不到预期并行仿真的优化效果。

发明内容

本发明的目的在于克服现有技术的不足，提供一种通过对采集到的Netflow流量数据进行处理，计算得到节点和链路的流量数据，对该数据进行处理获得节点和链路的权重，最后利用Metis算法根据节点和边的权重对原始网络拓扑进行分割，能够使得各个分割内的仿真任务量均衡，从而提高整个NS3并行仿真系统的时间效率的应用于NS3并行仿真的网络分割优化算法。

本发明的目的是通过以下技术方案来实现的：应用于NS3并行仿真的网络分割优化算法，包括以下步骤：

S1、通过解析Netflow数据获得流量矩阵，再读取并处理得到数据库中的路由表，生成路由矩阵文件；

S2、生成链路流量和节点流量，通过路由矩阵文件和流量矩阵生成链路流量，将链路流量结合链路连接状况文件生成节点流量；

S3、生成对应Metis划分算法的CSR格式文件，通过标准化链路权重和节点权重，生成对应Metis划分算法的CSR格式文件。

进一步地，所述步骤S1具体实现方法为：Netflow数据表示在一个源IP地址和目的IP地址间传输的单向数据流，每一行Netflow数据分别为：采集设备IP、源节点IP、源节点端口、目的节点IP、目的节点端口、协议类型、包数目、包大小、采集的开始与结束时间；

通过统计每个节点总的流量得到流量矩阵，记为X；流量矩阵X表示网络中任意OD对之间的流量，X是一个m×1的矩阵；矩阵的每一行元素为一个节点的流量总数量；

从采集的SNMP数据生成的路由表的存储数据库中，取出路由表数据，得到路由矩阵，记为A；A是一个n×m维的矩阵，n为链路数，m为OD的总对数；A中的元素记为a_ij，i表示链路，j表示OD对；当第j个OD对通过第i个链路进行流量传输时，令a_ij＝1，否则令a_ij＝0。

进一步地，所述步骤S2具体实现方法为：通过读取路由矩阵文件和流量矩阵文件，根据式(1)得到链路流量；

Y＝AX (1)

其中，Y表示链路流量，是一个n×1的矩阵；

链路连接状况文件的每一行的前两项为路由器设备名称，后两项为路由器设备对应的节点编号；根据式(1)得到的链路流量，结合链路连接状况获得节点流量。

进一步地，所述步骤S2中获得节点流量的具体实现方法为：

S21、读取流量矩阵文件，获得流量矩阵；

S22、读取路由矩阵文件，获得路由矩阵；

S23、通过公式(1)获得链路流量；

S24、判断链路流量结构体中链路数目是否等于拓扑链路数，若是则执行步骤S25，否则结束操作；

S25、读取链路连接状况文件，获得链路连接状况；

S26、通过链路连接状况获得每个节点所关联的链路，得到节点的流量；

S27、判断获得的节点数是否和拓扑节点数相同，若相同则执行步骤S28，否则结束操作；

S28、将链路流量和节点流量写入相应文件，结束操作。

进一步地，所述步骤S3具体实现方法为：选择使用对数函数标准化链路流量作为链路权重结果，选择使用对数函数标准化节点流量作为节点权重结果：

y＝log₁₀(x) (2)

式中，y表示链路权重或节点权重，x表示对应的链路流量或节点流量；

通过对数标准化后，没有流量的链路被标准化为1，而流量之间的幂级差距在权重中表现为个位数的差距；

对于有a个节点，b条边的图G＝(V,E)，V表示图G的点集合，E表示图G的边集合；CSR格式文件的首行有三个参数：a、b、fmt，其中fmt参数是包括顶点大小、顶点权重和边权重的三位二进制数；

生成的CSR格式文件中，第一行的三项分别为：节点数a、边数b以及权值格式fmt；从第二行开始，每一行都代表一个节点的链路连接情况和对应权重值，其中第一项为节点权重，后面的每两项分别代表相连的节点和相应的链路权重值。

本发明的有益效果是：本发明提供了一种应用NS3模拟仿真系统的网络分割方法，通过对采集到的Netflow流量数据进行处理，采用流量矩阵生成方法，计算得到节点和链路的流量数据，对该数据进行处理获得节点和链路的权重，最后利用Metis算法根据节点和边的权重对原始网络拓扑进行分割，能够使得各个分割内的仿真任务量均衡，最后将每个分割应用到一个仿真节点上，从而提高整个NS3并行仿真系统的时间效率。

附图说明

图1为基于SNMP数据生成权重的KL划分算法的流程图；

图2为本发明的应用于NS3并行仿真的网络分割优化算法的流程图；

图3为本发明的结合链路连接状况获得节点流量的流程图；

图4为本发明的Metis的输入拓扑和CSR格式文件示意图；

图5为本发明实施例测试用某电网骨干拓扑图；

图6为本发明实施例不同处理方式的运行时间对比图。

具体实施方式

下面结合附图进一步说明本发明的技术方案。

本发明采用了基于Netflow的流量矩阵生成权重的方法。仿真任务是通过Netflow数据是生成，同时用该Netflow数据生成权重，就可以保证权重和任务的完全一致。整个方法分为三个步骤，具体流程如图2所示，应用于NS3并行仿真的网络分割优化算法，包括以下步骤：

S1、通过解析Netflow数据获得流量矩阵，再读取并处理得到数据库中的路由表，生成路由矩阵文件；

Netflow流是由Cisco的D.Kerr和B.Bruins在1996年发明，Netflow数据表示在一个源IP地址和目的IP地址间传输的单向数据流，每一行Netflow数据分别为：采集设备IP、源节点IP、源节点端口、目的节点IP、目的节点端口、协议类型、包数目、包大小、采集的开始与结束时间；

通过统计每个节点总的流量得到流量矩阵(Traffic Matrix，TM)，记为X；流量矩阵X表示网络中任意OD(Origin-Destination)对之间的流量，有链路、路由器等上的不同类型，方便人们进行与网络流量相关的监控和管理等工作。在源节点上发送的流量通过路由转发策略进行分发到不同的目的节点上，而不同的OD流也会在转发策略下汇聚到相应链路上，这都取决于网络拓扑结构和路由转发策略。X是一个m×1的矩阵；矩阵的每一行元素为一个节点的流量总数量；

从采集的SNMP数据生成的路由表的存储数据库中，取出路由表数据，得到路由矩阵，记为A；A是一个n×m维的矩阵，n为链路数，m为OD的总对数；A中的元素记为a_ij，i表示链路，j表示OD对；当第j个OD对通过第i个链路进行流量传输时，令a_ij＝1，否则令a_ij＝0。

S2、生成链路流量和节点流量，通过路由矩阵文件和流量矩阵生成链路流量矩阵，将链路流量矩阵结合链路连接状况文件生成节点流量；具体实现方法为：通过读取路由矩阵文件和流量矩阵文件，根据式(1)得到链路流量；

Y＝AX (1)

其中，Y表示链路流量，是一个n×1的矩阵；

链路连接状况文件的每一行的前两项为路由器设备名称，后两项为路由器设备对应的节点编号；根据式(1)得到的链路流量，结合链路连接状况获得节点流量，具体实现方法如图3所示，包括以下步骤：

S21、读取流量矩阵文件，获得流量矩阵；

S22、读取路由矩阵文件，获得路由矩阵；

S23、通过公式(1)获得链路流量；

S24、判断链路流量结构体中链路数目是否等于拓扑链路数，若是则执行步骤S25，否则结束操作；

S25、读取链路连接状况文件，获得链路连接状况；

S26、通过链路连接状况获得每个节点所关联的链路，得到节点的流量；

S27、判断获得的节点数是否和拓扑节点数相同，若相同则执行步骤S28，否则结束操作；

S28、将链路流量和节点流量写入相应文件，结束操作。

S3、生成对应Metis划分算法的CSR格式文件，通过标准化链路权重和节点权重，生成对应Metis划分算法的CSR格式文件。本发明通过标准化链路权重和节点权重，生成对应Metis划分算法的CSR(Compressed Row Storage,压缩行存储)格式文件。由于核心网络的流量一般会很大(百万以上的发包和接收包数量)，不适合直接作为权重，因此选择使用对数函数标准化链路流量作为链路权重结果，选择使用对数函数标准化节点流量作为节点权重结果：

y＝log₁₀(x) (2)

式中，y表示链路权重或节点权重，x表示对应的链路流量或节点流量；

这样即使对于非常大的流量(如：大于10^9个包)也可以得到相对良好的权重结果，通过对数标准化后，没有流量的链路被标准化为1，而流量之间的幂级差距在权重中表现为个位数的差距；

使用Metis划分算法划分图，必须生成其规定的输入文件CSR格式。对于有a个节点，b条边的图G＝(V,E)，V表示图G的点集合，E表示图G的边集合；有CSR首行提供了三种方式：两个参数的(a,b),分别代表点数和边数；三个参数的(a,b,fmt)，其中fmt参数是包括顶点大小、顶点权重和边权重的三位二进制数，例如011表示该图文件同时提供边权重和顶点权重；四个参数的(a,b,fmt,ncon)，其中表示和图顶点相关的权重数。当fmt＝011时图G的权重值可以表示为：

w₁w₂...w_nconv₁e₁v₂e₂...v_ke_k

其中w_i是顶点的多种权重值，v_ie_i是节点与其相邻边的权重值。本发明采用的是fmt＝011的包含边权重和点权重文件，CSR格式文件的首行有三个参数：a、b、fmt，其中fmt参数是包括顶点大小、顶点权重和边权重的三位二进制数；如图4所示，拓扑图中有7个节点，每个节点和链路都有相应权重值；生成的CSR格式文件中，第一行的三项分别为：节点数a、边数b以及权值格式fmt；从第二行开始，每一行都代表一个节点的链路连接情况和对应权重值，其中第一项为节点权重，后面的每两项分别代表相连的节点和相应的链路权重值。

本实施例的实验使用包含有12个Cisco UCS B200 M3刀片服务器节点的集群系统，每台服务器配备有8核Intel Xeon E5-2600系列处理器。实验所用拓扑如图5所示，拥有29个节点，53条链路某真实网络骨干网拓扑。分别采用Netflow数据生成权重的KL算法和Metis算法，与原来采用SNMP数据生成权重的KL算法和Metis算法比较。实验选取采集的某一天上午9:50到10:30的四十分钟流量任务。所得结果如表1和图6所示。测得串行仿真时间为2572s。

表1实验中不同处理方法的运行时间表(单位：s)

从表1和图6中可以看出，Metis算法比KL具有更好的划分效果，而采用Netflow数据的划分算法运行结果明显比采用SNMP的结果效率高，这说明了本发明所使用方法的有效性。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (2)

1.应用于NS3并行仿真的网络分割优化算法，其特征在于，包括以下步骤：

S1、通过解析Netflow数据获得流量矩阵；再读取并处理得到数据库中的路由表，生成路由矩阵文件；具体实现方法为：Netflow数据表示在一个源IP地址和目的IP地址间传输的单向数据流，每一行Netflow数据分别为：采集设备IP、源节点IP、源节点端口、目的节点IP、目的节点端口、协议类型、包数目、包大小、采集的开始与结束时间；

通过统计每个节点总的流量得到流量矩阵，记为X；流量矩阵X表示网络中任意OD对之间的流量，X是一个m×1的矩阵；矩阵的每一行元素为一个节点的流量总数量；

从采集的SNMP数据生成的路由表的存储数据库中，取出路由表数据，得到路由矩阵，记为A；A是一个n×m维的矩阵，n为链路数，m为OD的总对数；A中的元素记为a_ij，i表示链路，j表示OD对；当第j个OD对通过第i个链路进行流量传输时，令a_ij＝1，否则令a_ij＝0；

S2、生成链路流量和节点流量，通过路由矩阵文件和流量矩阵生成链路流量，将链路流量结合链路连接状况文件生成节点流量；具体实现方法为：通过读取路由矩阵文件和流量矩阵文件，根据式(1)得到链路流量；

Y＝AX (1)

其中，Y表示链路流量，是一个n×1的矩阵；

链路连接状况文件的每一行的前两项为路由器设备名称，后两项为路由器设备对应的节点编号；根据式(1)得到的链路流量，结合链路连接状况获得节点流量；

S3、生成对应Metis划分算法的CSR格式文件，通过标准化链路权重和节点权重，生成对应Metis划分算法的CSR格式文件；具体实现方法为：选择使用对数函数标准化链路流量作为链路权重结果，选择使用对数函数标准化节点流量作为节点权重结果：

y＝log₁₀(x) (2)

式中，y表示链路权重或节点权重，x表示对应的链路流量或节点流量；

通过对数标准化后，没有流量的链路被标准化为1，而流量之间的幂级差距在权重中表现为个位数的差距；

对于有a个节点，b条边的图G＝(V,E)，V表示图G的点集合，E表示图G的边集合；CSR格式文件的首行有三个参数：a、b、fmt，其中fmt参数是包括顶点大小、顶点权重和边权重的三位二进制数；

生成的CSR格式文件中，第一行的三项分别为：节点数a、边数b以及权值格式fmt；从第二行开始，每一行都代表一个节点的链路连接情况和对应权重值，其中第一项为节点权重，后面的每两项分别代表相连的节点和相应的链路权重值。

2.根据权利要求1所述的应用于NS3并行仿真的网络分割优化算法，其特征在于，所述步骤S2中获得节点流量的具体实现方法为：

S21、读取流量矩阵文件，获得流量矩阵；

S22、读取路由矩阵文件，获得路由矩阵；

S23、通过公式(1)获得链路流量；

S24、判断链路流量结构体中链路数目是否等于拓扑链路数，若是则执行步骤S25，否则结束操作；

S25、读取链路连接状况文件，获得链路连接状况；

S26、通过链路连接状况获得每个节点所关联的链路，得到节点的流量；

S27、判断获得的节点数是否和拓扑节点数相同，若相同则执行步骤S28，否则结束操作；

S28、将链路流量和节点流量写入相应文件，结束操作。

Images