CN115022191A - 一种IPv6网络中端到端流快速反演方法 - Google Patents

Abstract

该发明公开了一种IPv6网络端到端流快速反演方法，能够在降低测量过程中产生的开销的同时，获得近似细粒度的测量，可以更准确地描述网络中的流量。该方法是一种新型的轻量级测量方案，基于粗粒度的实际测量值，提出了细粒度网络端到端流量矩阵填充方法。该新颖架构由粗粒度测量、流量矩阵补全和插值优化三部分组成。在第一部分中，使用随机采样方法，通过采集模块快速获取流量的粗粒度测量。在第二部分中，对粗粒度测量所得的流量矩阵进行补全。在第三部分中，使用插值理论在补全后的流量矩阵中插入一些离散值，然后优化插值结果，直到利用多约束方法找到最佳细粒度流量测量。

Description

一种IPv6网络中端到端流快速反演方法

技术领域

本发明属于IPv6通信网络技术领域，特别是涉适用于IPv6网络中端到端流的测量方法。

背景技术

网络测量是深入理解网络的重要途径，也是网络性能优化的前提条件。网络测量任务包括了网络的流量测量、时延测量、故障测量等方面，其中流量测量是网络中最重要的测量任务。网络端到端流量测量指的是统计网络端到端流量信息的过程，它为网络日常管理任务提供必不可少的输入。随着IPv6网络应用的发展，网络规模越来越大，组网越来越复杂，网络端到端流的数量和大小都迅速增加，使得进行精细化的网络端到端流量测量更加困难。在传统网络中，交换机只能按照固定的协议规则对数据包进行处理和转发，导致网络缺乏灵活的控制和测量能力。IPv6中的网络测量是基于流的，基于流的测量可以准确描述链路负载。许多传统监控技术支持基于流量的测量任务，如sFlow、NetFlow和SNMP(简单的网络管理协议)。流和净流量分别基于流量采样和统计方法包。两者都需要硬件支持和远程监控代理软件。SNMP是一种网络管理协议，通过发送探针包来测量网络，在IPv6网络中被广泛使用。流量矩阵是一对源和目标节点之间的流量集合，它直观地描述了网络中源和目的地节点之间的流量。

近年来由于IPv4资源不断的消耗，IPv4资源枯竭已是必然趋势，IPv6是下一代的网络IP协议，能够有效解决IPv4地址即将用完的问题。因此在IPv6网络的不断发展下，其已经发展并成为一种异构开放的复杂网络。网络运营商和网络操作人员需要利用网络数据流动的情况进行网络管理、网络规划和网络异常检测等工程应用问题，从而更好的保证IPv6网络的服务质量和正常运行。对于大规模的网络环境，如果直接测量全部流量数据，网络中将生成大量测量值，网络测量的成本将增加。而如果只采样部分数据，则获取的流量矩阵中会存在缺失值，与实际流量数据差距太大，测量精确性较低。一些学者提出了一种基于流量矩阵和SDN在线学习推论的自适应流量测量方法。这种方法使用预测方法来估计网络端到端流量，但由于网络端到端流量随机变化的特性，这种预测方法产生的估计误差也是随机的，不能正确反映网络端到端流量。还有一些学者提出了一个支持SDN的数据中心的实时流量测量系统，用于高精度的流量测量。但是这种测量方法产生的开销非常高。因此降低测量过程中产生的开销的同时，获得近似细粒度的端到端网络对于IPv6网络端到端流很有意义。

发明内容

针对现有技术存在的缺点，本发明提出了一种IPv6网络中端到端流快速反演方法，能够在降低测量过程中产生的开销的同时，获得近似细粒度的测量，可以更准确地描述网络中的流量。该方法是一种新型的轻量级测量方案，基于粗粒度的实际测量值，提出了细粒度网络端到端流量矩阵填充方法。该新颖架构由粗粒度测量、流量矩阵补全和插值优化三部分组成。在第一部分中，使用随机采样的方法，通过采集模块快速获取流量的粗粒度测量。在第二部分中，对粗粒度测量所得的流量矩阵进行补全。在第三部分中，使用插值理论在补全后的流量矩阵中插入一些离散值，然后优化插值结果，直到利用多约束方法找到最佳细粒度流量测量。

本发明技术方案为一种Pv6网络端到端流快速反演方法，具体步骤如下：

步骤1：粗粒度测量；

在IPv6网络中的路由器或者交换机后面连接一个采集模块，随机采集部分路由器或交换机的流量，最后将采集的流量数据构建流量矩阵；

步骤2：流量矩阵补全；

步骤2.1：采用优化问题

描述流量矩阵X的低秩特性，其中rank(·)表示任意矩阵的秩；

步骤2.2：流量矩阵数据兼具时间与空间相关特性，对于每个源-目的流，其自身的时间序列特征用时间相关性来描述；对于不同源-目的流，它们之间的分布及空间特征用空间相关性来描述；使用约束矩阵I刻画流量矩阵的时间相关特性，即：

通过最小化目标函数

F表示范式的阶数，获得正常流量矩阵中元素在时间维度上暂时稳定的效果，从而刻画了流量矩阵中时间序列上的相关性，即：

步骤2.3：基于Moore-Penrose伪逆和拉普拉斯矩阵，构造拉普拉斯矩阵来刻画流量矩阵的空间相关性；具体的构造步骤如下：

步骤2.3.1：计算路由矩阵A的Moore-Penrose伪逆，建立流量矩阵的初始估计：

其中，

为路由矩阵的初始估计，

为路由矩阵A的Moore-Penrose伪逆，Y为链路负载；

步骤2.3.2：构建源-目的流的相似性矩阵，通过计算

行中的卡方距离来定义：

其中，X(i,:)和X(j,:)分别表示第i个源-目的流和第j个源-目的流，S_f(i,j)为源-目的流的相似性矩阵；

步骤2.3.3：基于K近邻定义权重矩阵W_f如下：

计算拉普拉斯矩阵L，定义D_f为对角矩阵，其元素值是W_f每一行的和，即

得到图嵌入理论中的图拉普拉斯矩阵：

L＝D_f-W_f (11)

步骤2.3.4：通过最小化空间相关的源-目的流之间差异，具体表达形式如下：

其中，Tr(·)表示矩阵的轨迹范数，通过最小化Tr(X^TLX)捕捉不同源-目的流之间空间分布和相关性特征，从而对步骤1粗粒度测量所得的流量矩阵X进行补全，得到细粒度数据；

步骤3：细粒度数据填充；

采用插值的方法对细粒度数据进行填充；

步骤4：迭代优化；

采用步骤3中得到的细粒度度量Y，构建流量矩阵

接着判断插值结果与实际流量之间的差距是否满足

如果满足这个条件那么所得结果就是最优的细粒度测量值；如果不满足这个条件，就通过

来更新

其中

表示在第l次迭代中流量的大小，

step表示更新迭代变化的步长，最终经过不断迭代优化直到收敛就得到最优的细粒度测量值。

进一步的，所述步骤1粗粒度测量，具体过程如下：

设置IPv6网络中有n个可以相互交换数据的主机，流是从源节点到目的节点的数据包序列，因此总共有N＝n²个源-目的，网络流流量矩阵表示为：

其中i是源节点，j是目标节点，网络中有m条链路，用向量

表示网络中的链路负载，为了与链接向量一致，流量矩阵是向量

引入二进制变量来表示流和链接的相关矩阵，二进制变量a_mn表示流n是否经过链路m，a_mn＝1表示流n通过链路m；a_mn＝0则表示流n不通过链路m，链路负载L_m表示为：

Y_m＝a_i1x₁+a_i2x₂+...+a_iNx_N (2)

然后，构建链路负载和流量之间的关系矩阵为：

其中，Y＝[Y₁,Y₂,...,Y_M]^T表示交换机之间每条链路上网络的链路负载，

表示链路和流之间的相关矩阵，流的采样流量序列x_n(k)为：

其中，t_k是时隙k处的采样点，δ表示在t-t_k采用时刻进行采用，通常取值为1，x(t)表示连续的网络流量值；

使用两个检查点t₁和t₂来表示短间隔，在检查点t₁，控制器向交换机发送请求消息，并等待带有统计信息S₁和流条目持续时间T₁的回复消息，在间隔时间L后，控制器在检查点t₂发送另一个请求消息并等待来自交换机的具有统计数据S₂和流条目持续时间T₂的回复消息；测量间隔期间的字节增量为S₂-S₁，对于流条目的持续时间，间隔T₁和T₂之间的流量为：

当测量间隔足够小时，R_t为采样点t处的传输速率，通过收集端口和流量的统计信息，根据式(5)，计算出t时刻的链路负载和流量，然后，根据等式(3)构建流量矩阵。

进一步的，所述步骤3对步骤2所补全数据进行细粒度数据填充，具体过程如下：

步骤3.1：通过三次样条插值来填充离散采样点，其表达式为：

f(t)＝c₃x³+c₂x²+c₁x¹+c₀ (13)

其中，c₀、c₁、c₂和c₃均为未定系数，f(t)为插值点t处的插值结果，通过对流量和链路负载进行粗粒度离散采样，并使用三次样条插值恢复细粒度测量结果；

步骤3.2：优化细粒度测量值结果；

通过在两个粗粒度采样点之间填充离散值来

获得流n的细粒度流量测量，者通过插值测量获得的链路m上的负载为

测量的链路m的实际链路负载为Y_m，插值结果与实际流量之间的差距为

使用具有多个约束的目标函数来优化插值：

其中，

是流n用插值法得到的流量矩阵，

是从源节点i到目的节点j的流量，

是

的另一种表达形式。约束C₁描述了链路负载和流量之间的约束；约束C₂表示交换机中的输入输出流量是恒定的；约束C₃表示链路负载为非负；约束C₄是流量和链路之间的相关系数。通过使用目标函数(14)，获得的流量测量比直接插值的结果准确得多；

步骤3.3：计算多个约束的目标函数，链路m上的链路负载Y_m为：

Y_m＝a_m1x₁+a_m2x₂+...+a_mnx_n+...+a_mNx_N (15)

将式(15)引入多个约束的目标函数，在控制器中获得的变量a_mn通过插值获得的流量x_n，以及从开关测量的链路负载Y_m，计算实际采样结果的解。

本发明的有益效果：

本发明提出一种IPv6网络中端到端流快速反演方法。

IPv6网络的不断发展下，其已经发展并成为一种异构开放的复杂网络，网络端到端流量大大增大，使得对于IPv6网络精细化流量测量变得更为困难。对于大规模的网络环境，如果直接测量全部流量数据，网络中将生成大量测量值，网络测量的成本将增加。而如果只采样部分数据，则获取的流量矩阵中会存在缺失值，与实际流量数据差距太大，测量精确性较低。因此降低测量过程中产生的开销的同时，获得近似细粒度的测量对于IPv6网络端到端流很有意义。

针对现有技术存在的缺点，本发明提出了一种IPv6网络中端到端流快速反演方法，能够在降低测量过程中产生的开销的同时，获得近似细粒度的测量，可以更准确地描述网络中的流量。该方法是一种新型的轻量级测量方案，基于粗粒度的实际测量值，提出了细粒度网络端到端流量矩阵填充方法。该新颖架构由粗粒度测量、流量矩阵补全和插值优化三部分组成。在第一部分中，使用随机采样方法，通过采集模块快速获取流量的粗粒度测量。在第二部分中，对粗粒度测量所得的流量矩阵进行补全。在第三部分中，使用插值理论在补全后的流量矩阵中插入一些离散值，然后优化插值结果，直到利用多约束方法找到最佳细粒度流量测量。

附图说明

图1为本发明在IPv6网络中的轻量级测量架构；

图2为本发明仿真中的网络拓扑；

图3为本发明中的方法和其他方法的测量结果；

图4为本发明中的方法和其他方法的测量结果与实际流量的比较；

图5为本发明中的方法和其他方法的CDF；

图6为本发明中不同采样阈值的平均采样点数。

具体实施方式

下面结合附图和具体实施例对本发明作进一步的详细说明：

对比分析采用本发明方法所得结果和其他方法所得结果。图3绘制了本发明的方法与ALAMM以及实际流量的比较分析曲线，其中ALAMM方法被广泛用于估计网络中的流量矩阵。从图3可以看出U60和U240的流量测量结果与实际值有一定的偏差，这主要是插值方法造成的。但是将本发明提出的方法与ALAMM相比较，可以发现本发明的方法流量测量结果更接近实际值，这主要是因使用了实际采样点来调节误差，而ALAMM方法的所有测量都是通过估计获得的，所以所提出的方法比ALAMM方法具有更有效的信息来估计网络中的流量。还可以看出所有这些方法的测量结果都是稳定的并且具有相似的趋势。

图4为不同方法与实际流量的测量结果，对角线为实际流量与其自身的比较。图4显示自RS60的性能最好，PCA的性能最差。较低采样期望提出的随机采样方案的性能优于采样期望较大的随机采样方案，较低期望的均匀采样方案也要由于采样期望较大的均匀采样方案这主要是由于流量和间隔的随机波动。同时随机采样方案的效果也比均匀采样方案的效果好，RS240的效果也优于PCA。

图5显示了不同方法的相对误差的累积分布函数(CDF)。U60的相对误差的CDF大于ALAMM、U240，这意味着U60的性能优于ALAMM、U240。U240的相对误差的CDF比ALAMM小，意味着性能U60的性能比ALAMM差。从图还可以看出，ALAMM与U60的相对误差在0.2时的CDF都大于70％，五种方法在相对误差为0.2时的CDF均大于40％左右。U60可用于准确测量网络中的流量。与其他方法相比，本发明提出的方法测量结果有更高的精度。

测量网络中的流量时应考虑开销。设置不同的采样步长，反复进行随机采样过程，对不同采样阈值下的测量点数取平均值，如图6所示。y轴是平均采样点数，随着采样阈值的增加，不同采样步长的采样点的数量都会减少，粗粒度测量的实际流量数据会更少，这对数据恢复非常不利。对于本发明所提出的方法的流量测量开销，使用RS60生成了1000次采样点序列，采样点的平均数量为240。而1个时隙的细粒度测量数量为7200，并且RS30提出的方法只有240个采样点。在一个采样点，采集模块两次收集来自交换机的流和链路的流量统计信息。那么，RS60提出的方案的流量测量开销仅为细粒度流量测量开销的3.3％。因此可以看出本发明提出的测量方法具有更低的开销。

本发明研究的是对IPv6网络中的网络端到端流进行建模与分析，需要对网络端到端流中的信息进行采集。IPv6网络端到端流快速反演方法具体步骤如下：

步骤1：获得仿真所需的流量数据。为简单起见，假设网络拓扑由6个交换机、一个采集模块和6个主机组成。每个主机都连接到一个交换机，网络连接为网状拓扑，如图2显示。对于每个源-目的对，它们之间都有一个流。那么交换机中总共有36个流。所有链路都采用双工传输方式，因此网络中有8条链路。在测量过程中，采集模块随机生成期望的采样间隔。流量填充和优化模块将执行插值和优化以获得细粒度的测量值。

步骤2：对比分析采用本发明方法所得结果和其他方法所得结果。使用RS60、RS240、U60和U240表示本发明提出方法的不同采样方案，其中而RS60和RS240分别代表平均值为60(slot)和240(slot)的随机采样，U60和U240代表平均值为60(slot)和240(slot)的均匀采样。PCA与ALAMM为其他测量网络端到端流量的预测方法，因此将本发明提出的方法与它们进行比较并分析性能。

图3绘制了本发明的方法与ALAMM以及实际流量的比较分析曲线，其中ALAMM方法被广泛用于估计网络中的流量矩阵。从图3可以看出U60和U240的流量测量结果与实际值有一定的偏差，这主要是抽样与插值方法造成的。但是将本发明提出的方法与ALAMM相比较，可以发现本发明的方法流量测量结果更接近实际值，这主要是因使用了实际采样点来调节误差，而ALAMM方法的所有测量都是通过估计获得的，所以所提出的方法比ALAMM方法具有更有效的信息来估计网络中的流量。还可以看出所有这些方法的测量结果都是稳定的并且具有相似的趋势。

图4为不同方法与实际流量的测量结果，对角线为实际流量与其自身的比较。图4显示自RS60的性能最好，PCA的性能最差。较低采样期望提出的随机采样方案的性能优于采样期望较大的随机采样方案，较低期望的均匀采样方案也要由于采样期望较大的均匀采样方案这主要是由于流量和间隔的随机波动。同时随机采样方案的效果也比均匀采样方案的效果好，RS240的效果也优于PCA。

图5显示了不同方法的相对误差的累积分布函数(CDF)。U60的相对误差的CDF大于ALAMM、U240，这意味着U60的性能优于ALAMM、U240。U240的相对误差的CDF比ALAMM小，意味着性能U60的性能比ALAMM差。从图还可以看出，ALAMM与U60的相对误差在0.2时的CDF都大于70％，五种方法在相对误差为0.2时的CDF均大于40％左右。U60可用于准确测量网络中的流量。与其他方法相比，本发明提出的方法测量结果有更高的精度。

步骤3：对本发明的测量结果进行分析。测量网络中的流量时应考虑开销。设置不同的采样步长，反复进行随机采样过程，对不同采样阈值下的测量点数取平均值，如图6所示。y轴是平均采样点数，随着采样阈值的增加，不同采样步长的采样点的数量都会减少，粗粒度测量的实际流量数据会更少，这对数据恢复非常不利。对于本发明所提出的方法的流量测量开销，使用RS60生成了1000次采样点序列，采样点的平均数量为240。而1个时隙的细粒度测量数量为7200，并且RS30提出的方法只有240个采样点。在一个采样点，采集模块两次收集来自交换机的流和链路的流量统计信息。那么，RS60提出的方案的流量测量开销仅为细粒度流量测量开销的3.3％。因此可以看出本发明提出的测量方法具有更低的开销。

网络测量是深入理解网络的重要途径，也是网络性能优化的前提条件。流量测量的精度和粒度对IPv6网络端到端流量工程有着巨大的影响。在本发明中，提出了一种新颖IPv6网络端到端流快速反演方法。本发明提出的测量方案由粗粒度测量、流量矩阵补全和插值优化三部分组成，并最终达到在降低测量开销的同时获得近似细粒度测量的效果。

Claims (3)

1.一种Pv6网络端到端流快速反演方法，具体步骤如下：

步骤1：粗粒度测量；

在IPv6网络中的路由器或者交换机后面连接一个采集模块，随机采集部分路由器或交换机的流量，最后将采集的流量数据构建流量矩阵；

步骤2：流量矩阵补全；

步骤2.1：采用优化问题

描述流量矩阵X的低秩特性，其中rank(·)表示任意矩阵的秩；

步骤2.2：流量矩阵数据兼具时间与空间相关特性，对于每个源-目的流，其自身的时间序列特征用时间相关性来描述；对于不同源-目的流，它们之间的分布及空间特征用空间相关性来描述；使用约束矩阵I刻画流量矩阵的时间相关特性，即：

通过最小化目标函数

F表示范式的阶数，获得正常流量矩阵中元素在时间维度上暂时稳定的效果，从而刻画了流量矩阵中时间序列上的相关性，即：

步骤2.3：基于Moore-Penrose伪逆和拉普拉斯矩阵，构造拉普拉斯矩阵来刻画流量矩阵的空间相关性；具体的构造步骤如下：

步骤2.3.1：计算路由矩阵A的Moore-Penrose伪逆，建立流量矩阵的初始估计：

其中，

为路由矩阵的初始估计，

为路由矩阵A的Moore-Penrose伪逆，Y为链路负载；

步骤2.3.2：构建源-目的流的相似性矩阵，通过计算

行中的卡方距离来定义：

其中，X(i,:)和X(j,:)分别表示第i个源-目的流和第j个源-目的流，S_f(i,j)为源-目的流的相似性矩阵；

步骤2.3.3：基于K近邻定义权重矩阵W_f如下：

计算拉普拉斯矩阵L，定义D_f为对角矩阵，其元素值是W_f每一行的和，即

i＝1,2,...,F，得到图嵌入理论中的图拉普拉斯矩阵：

L＝D_f-W_f (11)

步骤2.3.4：通过最小化空间相关的源-目的流之间差异，具体表达形式如下：

其中，Tr(·)表示矩阵的轨迹范数，通过最小化Tr(X^TLX)捕捉不同源-目的流之间空间分布和相关性特征，从而对步骤1粗粒度测量所得的流量矩阵X进行补全，得到细粒度数据；

步骤3：细粒度数据填充；

采用插值的方法对细粒度数据进行填充；

步骤4：迭代优化；

采用步骤3中得到的细粒度度量Y，构建流量矩阵

接着判断插值结果与实际流量之间的差距是否满足|

如果满足这个条件那么所得结果就是最优的细粒度测量值；如果不满足这个条件，就通过

来更新

其中

表示在第l次迭代中流量的大小，

step表示更新迭代变化的步长，最终经过不断迭代优化直到收敛就得到最优的细粒度测量值。

2.如权利要求1所述的一种Pv6网络端到端流快速反演方法，其特征在于，所述步骤1粗粒度测量，具体过程如下：

设置IPv6网络中有n个可以相互交换数据的主机，流是从源节点到目的节点的数据包序列，因此总共有N＝n²个源-目的，网络流流量矩阵表示为：

其中i是源节点，j是目标节点，网络中有m条链路，用向量

表示网络中的链路负载，为了与链接向量一致，流量矩阵是向量

引入二进制变量来表示流和链接的相关矩阵，二进制变量a_mn表示流n是否经过链路m，a_mn＝1表示流n通过链路m；a_mn＝0则表示流n不通过链路m，链路负载L_m表示为：

Y_m＝a_i1x₁+a_i2x₂+…+a_iNx_N (2)

然后，构建链路负载和流量之间的关系矩阵为：

其中，Y＝[Y₁,Y₂,...,Y_M]^T表示交换机之间每条链路上网络的链路负载，

表示链路和流之间的相关矩阵，流的采样流量序列x_n(k)为：

其中，t_k是时隙k处的采样点，δ表示在t-t_k采用时刻进行采用，通常取值为1，x(t)表示连续的网络流量值；

使用两个检查点t₁和t₂来表示短间隔，在检查点t₁，控制器向交换机发送请求消息，并等待带有统计信息S₁和流条目持续时间T₁的回复消息，在间隔时间L后，控制器在检查点t₂发送另一个请求消息并等待来自交换机的具有统计数据S₂和流条目持续时间T₂的回复消息；测量间隔期间的字节增量为S₂-S₁，对于流条目的持续时间，间隔T₁和T₂之间的流量为：

当测量间隔足够小时，R_t为采样点t处的传输速率，通过收集端口和流量的统计信息，根据式(5)，计算出t时刻的链路负载和流量，然后，根据等式(3)构建流量矩阵。

3.如权利要求2所述的一种Pv6网络端到端流快速反演方法，其特征在于，所述步骤3对步骤2所补全数据进行细粒度数据填充，具体过程如下：

步骤3.1：通过三次样条插值来填充离散采样点，其表达式为：

f(t)＝c₃x³+c₂x²+c₁x¹+c₀ (13)

其中，c₀、c₁、c₂和c₃均为未定系数，f(t)为插值点t处的插值结果，通过对流量和链路负载进行粗粒度离散采样，并使用三次样条插值恢复细粒度测量结果；

步骤3.2：优化细粒度测量值结果；

通过在两个粗粒度采样点之间填充离散值来

获得流n的细粒度流量测量，者通过插值测量获得的链路m上的负载为

测量的链路m的实际链路负载为Y_m，插值结果与实际流量之间的差距为|

使用具有多个约束的目标函数来优化插值：

其中，

是流n用插值法得到的流量矩阵，

是从源节点i到目的节点j的流量；约束C₁描述了链路负载和流量之间的约束；约束C₂表示交换机中的输入输出流量是恒定的；约束C₃表示链路负载为非负；约束C₄是流量和链路之间的相关系数。通过使用目标函数(14)，获得的流量测量比直接插值的结果准确得多；

步骤3.3：计算多个约束的目标函数，链路m上的链路负载Y_m为：

Y_m＝a_m1x₁+a_m2x₂+...+a_mnx_n+...+a_mNx_N (15)

将式(15)引入多个约束的目标函数，在控制器中获得的变量a_mn通过插值获得的流量x_n，以及从开关测量的链路负载Y_m，计算实际采样结果的解。

Images