CN102136087B - 基于多神经网络的流量矩阵估计方法 - Google Patents

Abstract

本发明为一种基于多神经网络的流量矩阵估计方法，可提高现有网络流量矩阵估计的准确性，它通过对样本流量先分类，再分别训练，有效的克服了传统神经网络用于流量矩阵估计时存在记忆消失或变形的问题；本发明的多神经网络估计的误差明显低于传统的神经网络。

Description

基于多神经网络的流量矩阵估计方法

技术领域

本发明涉及网络测量领域和神经网络领域，具体是基于多神经网络的流量矩阵估计方法。

背景技术

流量矩阵是全网流量的概览，矩阵中的元素表示网络中始于一个结点(源结点)而终止于另一个结点(目的结点)的流量(OD流量)。此源、目的结点对又被称为OD对。OD流量的测量与计算在网络结构配置，管理，网络流量工程等研究与工程实践中具有重要的意义，特别是近年来的研究发现网络OD流量的测量可以用于网络异常的检测与识别，因而OD流量的测量与计算研究受到了国内外理论界和工业界的广泛重视。由于流量矩阵需要捕获网络流量的全局状态，直接监控代价非常高，实际上几乎是不可行的。近年来，由间接观测进行流量矩阵估算已成为一个非常热门的研究领域。

流量矩阵的行对应OD对，列对应不同时刻的流量需求。令y(t)＝(y₁(t)，y₂(t)，...，y_m(t))^T表示一个网络中所有链路的流量值，m表示链路的总数。x(t)＝(x₁(t)，x₂(t)，...，x_n(t))^T为该网络中所有OD对的流量矩阵，n表示网络中OD对的总数，x_j表示第j个OD对之间的流量需求。A＝(a_ij)是m×n阶的0-1矩阵。A的列指明了某个OD流量需求在网络中所要经过的全部链路的集合，显然，A是一个包含了实际路由信息的矩阵。令矩阵Y＝(y(1)，y(2)，...，y(T))表示T时间段的链路流量，令矩阵X＝(x(1)，x(2)，...，x(T))表示T时间段的流量矩阵，则链路流量、路由矩阵和流量矩阵三者之间的关系可以表示如下：

Y＝AX    (1)

通常，由于网络中OD对的数量要远大于链路数，即n＞＞m，A不是一个满秩矩阵，这意味着式(1)将有无穷多组可能解，是一种病态的线性逆问题(ill-posedlinear inverse problem)。流量矩阵估算所要解决的就是在已知链路流量Y和路由矩阵A的情况下从式(1)中求出流量矩阵X。其中，链路流量Y可以通过一般的流量数据采集方法(如SNMP)得到，路由矩阵A可以通过收集内部路由协议(IGP)的配置信息或者通过收集路由器之间交互的链路状态信息获得，也可以通过计算最短路径树得到。

为求解问题(1)，国内外许多学者进行了大量有意义的研究工作，主要思路是在上述方程的基础上，增加一些假设来获得(1)的最优解。如假定流量的泊松模型、高斯模型、重力模型、信息论独立模型、马尔可夫高斯模型、独立连接模型等。

当前网络流量被公认最为重要的统计特征是尺度特性(如自相似性)和多尺度行为特性(如长相关、多重分形性)，网络流量的复杂特性使得要想获得更高的估计精确度，需要使用更复杂的模型，神经网络是一个较理想的方法。目前国内外有很多学者将目前已有的很多种神经网络用于该领域。然而传统神经网络普遍存在着这种困境：稳定性和可塑性不可调和的矛盾，这使得神经网络在学习新的样本时会影响甚至是遗忘旧有的记忆。流量矩阵的复杂特性和高维特性需要大量的样本才能够充分的训练神经网络的权值。而这些必将导致神经网络的训练速度非常慢，而对大量的高维样本数据的训练，会加剧传统神经网络记忆性和可塑性的矛盾，即记忆扭曲变形或记忆消失的问题。为了克服这些问题，我们提出一种多神经网络的流量矩阵估计方法。

发明内容

本发明要解决的技术问题是，针对传统神经网络用于流量矩阵估计领域所面临的上述困境，提出一种基于多神经网络的流量矩阵估计方法。

本发明的技术方案是，所述基于多神经网络的流量矩阵估计方法包括样本分类阶段，网络训练阶段和网络估计阶段共三个阶段，其中：

样本分类阶段为：将直接测量得到的链路流量Y按K-means算法进行分类，记录各个分类的中心c和半径d；

网络训练阶段为：将各个分类的链路流量做为输入，对应的OD流量X作为输出，建立传统的神经网络，并训练，记录各个网络的权值；

网络估计阶段为：对于某一时刻的链路测量值，根据各分类中心c和半径d来判断其所属分类，再激活对应的神经网络，计算出OD流量的初步估计值，选取最满足链路约束式(1)的估计值，再使用IPFP算法调整，得到最终的估计值；

Y＝AX    (1)

其中，A表示路由矩阵。

以下对本发明做出进一步说明。

流量矩阵描述其对应的IP网络中所有从源节点传输到目的节点的流量。流量矩阵中的每一行代表着从某一个源节点到另一个目的节点的OD流(Origin-Destination Flow)在不同时刻的流量，每个列表示网络中所有的OD流在某个时间片段(time slot)(如5分钟)的流量。流量矩阵反映了对应网络中所有源节点到目的节点在不同时间的流量需求情况。图1为美国的Abilene IP骨干网络部分链路7周内的流量数据。可看出流量表现出截然不同的类别特征；而OD流量的空间自相似性使得链路的特征在一定程度上反映了OD流量的特征。所以，使用单神经网络进行训练时，会出现已有的训练记忆消失或变形的问题。而多神经网络则分别对不同类别的流量建立网络进行训练，这便解决了记忆性和可塑性的矛盾。

经验和大量的实践表明：欧氏范数能均衡反映向量各分量的差异程度和向量的大小。所以我们选用欧氏范数作为链路流量差异化的度量。分类的目的是为了使各分类的向量差异化大，而分类内的各向量差异小。我们首先选用K-means方法(使用施瓦兹信息准则确定分类数K)对链路流量进行分类。再对各个类分别进行神经网络训练，其中各个类的链路流量作为神经网络的输入，链路流量对应的OD流量作为神经网络的输出。进行流量矩阵估计时，选择合适的分类对应的网络进行估计，一般地，通过神经网络计算的估计流量不满足式(1)，因此需要根据实际的链路流量对估计值进行适当调整。本文采用IPFP算法。整个流量样本分类训练过程和流量矩阵的估计过程表示如下。

流量样本分类训练算法：

Step1采用一段时间的直接测量值(X，Y)作为样本，其中X表示OD流量，Y表示相应的链路流量；

Step2使用K-means算法或其它算法对样本Y进行合理的分类，其中使用贝叶斯信息准则(BIC或施瓦兹信息准则(SIC)确定或根据经验确定分类个数K，并将Y对应的X并入到相同的分类中，使用(4)(5)计算并记录各分类中心c_i和半径d_i，i＝1，2，...，K；

Step3对各个分类分别建立神经网络，以各个分类的Y作为输入，X作为输出，并使用对应的神经网络训练算法进行训练。

其中K-means分类算法表示如下：

给定条件：样本值(X，Y)，其中X表示OD流量矩阵，Y表示相应的链路流量矩阵，Y的列向量为m维列向量，X和Y的列数为T

Step1令初聚类数目K＝2，令初始施瓦兹信息准则值SIC为一个极大值；

Step2从Y的T列中随机选择K列作为初始聚类中心c(c的各个列即为各个相应分类的中心向量)；

Step3根据每个聚类的中心，计算Y的每一列与这些中心的欧几里德距离，根据最小距离对相应的列进行重新划分，即

D(y_i)＝{i|min_{i＝1，...，K}||y_j-c_i||}，y_j∈Y    (2)

其中||.||表示欧氏范数，下同；

其中y_j表示矩阵Y的第j列，D(y_j)表示y_j的分类编号，c_i表示矩阵c的第i列；

Step4使用式(3)计算各分类的元素个数s(向量s的各个元素即为相应各个分类的元素个数)，使用式(4)重新计算每个聚类的中心c，根据式(5)重新计算每个聚类的半径d(向量d的各个元素即为相应各个分类的距离)，根据式(6)计算此次分类的偏差J；

$s_i=\underset{D\left(y_j\right)=i}{\mathrm{\Σ}}1---\left(3\right)$

$c_i=\frac{\underset{D\left(y_j\right)=i}{\mathrm{\Σ}}{y}_j}{s_i}---\left(4\right)$

$d_i={\max }_{D\left(y_j\right)=i}\left|\right|y_j-c_i\left|\right|---\left(5\right)$

$J={\mathrm{\Σ}}_{j=1}^T{\left|\right|y_j-c\left(D\left(y_i\right)\right)\left|\right|}^2---\left(6\right)$

其中s_i表示向量s的第i个元素值，d_i表示向量d的第i列；

Step5转Step3直到分类的偏差J不再变小时转Step6，并记录此时分类的中心c；

Step6转Step2直至分类中心c不再发生变化时转Step7，并将X并入到相应的Y分类中，记录(X，Y)的分类及其中心c和半径d；

Step7通过(7)计算此次分类的施瓦兹信息准则值SIC，令K＝K+1转Step2直至SIC不再变小时中止，输出分类数目K，输出(X，Y)的分类及其中心c和半径d。

SIC＝J+λmKlogT    (7)

其中λ为权重因子。

流量矩阵的估计算法：

Step1对于某时间的链路测量值y，当y满足式(8)时激活相应的网络(ρ为警戒参数)，否则抑制该网络；

||y-c_i||＜ρd_i    (8)

其中ρ表示警戒参数，ρ越小，估计的结果越精确，但ρ过小可能会使链路测量值不属于所有的分类，当ρ大于1时，神经网络的估计结果可靠性大大降低。

Step2计算所有激活网络的流量估计值x_neti，只激活最接近链路约束(1)的估计值的IPFP算法模块，即

x＝{x_neti|min_neti||y-Ax_neti||}    (9)

Step3输出估计值x，转Step1估计下一个时刻的流量。

其中，IPFP算法如下：

给定条件：(1)OD初始估计值x，x的维数为n

(2)观测到某时刻的链路流量y，y的维数为m

(3)当前时刻路由矩阵A，A为m×n的矩阵

Step1设定最大迭代步数K，收敛的误差ε，计算当前链路误差error

$\mathrm{error}=\frac{\left|\right|y-\mathrm{Ax}\left|\right|}{\left|\right|y\left|\right|}---\left(10\right)$

Step2重复以下步骤，直至error小于ε或者迭代步数大于K

for j＝l:m

   ye＝A(j，:)*x；

   x＝A(j，:)^T.×(y(j)/ye*x)+(ones(1，n)-A(j，:))^T.×x；

endfor

其中A(j，:)表示A的第j行，y(j)表示y的第j个元素，“^T”表示矩阵的转置运算，“*”表示乘运算，“/”表示除运算，“.×”表示矩阵的点乘运算，即矩阵的各个元素对应相乘，ones(1，n)表示1行n列的元素值全为1的矩阵；

Step3根据式(10)重新计算error，直至error小于ε或者迭代步数大于K时转Step4，否则转Step2。

Step4输出调整后的x。

流量的分类训练的整个流程如图2所示，流量的整个估计流程如图3所示，其中实箭头表示正常输入或输出，虚箭头表示发送抑制信号(抑制目的模块运行)，只有当椭圆内约束条件满足时，才不发送抑制信号。

本发明使用时间二范数相对误差来衡量该算法，时间二范数相对误差RelL2T(t)代表在时刻t，所有OD流量的构造的向量的二范数误差，如下：

${\mathrm{RelL}2}_T\left(t\right)=\frac{\sqrt{{\mathrm{\Σ}}_{n=1}^N{(x_t\left(n\right)-{\hat{x}}_t\left(n\right))}^2}}{\sqrt{{\mathrm{\Σ}}_{n=1}^N{x}_t{\left(n\right)}^2}}---\left(11\right)$

其中x_t(n)表示在t时刻(time slot)第n个OD流的流量，

表示x_t(n)的估计值。

图4为多BP神经网络同单BP神经网络的对比，其中上图表示时间误差，下图表示时间误差分布，整体来看，采用多BP神经网络整体上的误差要优于单BP神经网络。这说明采用分类后各个网络的记忆要比一个网络的记忆精确。上图中，500-750，1000-1300time units中，多神经网络的误差远远低于单神经网络，这说明多神经网络能够准确记忆那些和大部分流量差异大的流量。

图5为多RBF神经网络(径向基神经网络)与RBF神经网络的对比，其中上图表示时间误差，下图表示时间误差分布。从上图可以看出，由于分类估计，多神经网络在估计与普通流量差异大的流量时，误差较低，或是能判断出某时刻误差会偏高。从下图可以看出，整体上，多RBF神经网络的误差要略优于单RBF神经网络。

径向基神经网络中的径向基函数只在局部区域有强烈的反应，所以使用单RBF神经网络估计时能在一定的程度上缓解训练记忆消失或变形的问题，通过图4和图5的对比也可以发现单RBF神经网络的估计误差要低于单BP神经网络。通过图4中的多BP神经网络与图5中的单RBF网络的误差分布对比可知，多BP神经网络要优于单RBF网络，这也反应了网络流量往往表现出不同的类别特征，使用径向基函数部分抑制神经元并不能有效缓解记忆消失和变形的问题。所以，对网络流量使用分类估计是一个不错的选择。

由以上可知，本发明为一种基于多神经网络的流量矩阵估计方法，它通过对样本流量先分类，再分别训练，有效的克服了传统神经网络用于流量矩阵估计时存在记忆消失或变形的问题，该多神经网络估计的误差明显低于传统的神经网络。

附图说明

图1是链路流量图；

图2是分类训练流程图；

图3是多神经网络估计流程图；

图4是BP神经网络误差对比；

图5是RBF神经网络误差对比。

具体实施方式

本实施例提供一种基于BP神经网络的多神经网络的估计方法。采用美国的Abilene IP骨干网络04年3月最后一周和4月前二周的OD流量和链路流量作为样本，估计接下来的三周的OD流量。包括样本分类，样本训练和流量估计三个步骤。

1、样本分类

使用K-means算法对样本分类，分类个数K使用施原则确定，此处K＝20，分类过程中采用欧氏距离表征向量的差异，重复多次使用K-means算法直至找到稳定的分类。根据(4)(5)计算并记录各个分类的中心c_i和半径d_i，i＝1，2，...，K。

2、样本训练：

对这K个分类分别使用BP神经网络训练，各分类BP网络输入层结点数为30，中间隐层结点数为81，输出层结点数为132(本例中不考虑自己流向自己的流量，Abilene中有12个POP结点，故为11*12个OD流)，输入层对应30维的链路流量值，输入层对应132个OD流量值，训练前先对流量做线性归一化处理。使用共轭梯度法对样本进行训练，训练完成后，记录此K个神经网络的权值。

3、流量估计

首先获得某一时刻链路流量的测量值，再做归一化处理，对于满足(8)式(警戒参数ρ设为1)的神经网络，分别计算估计值，再使用(9)式筛选出最满足链路约束(1)的估计值。对该估计值使用IPFP算法调整。最后对调整后的流量值进行归一化逆处理，输出最终的流量估计值。计算下一时刻的流量值。后三周的估计误差如图3所示。

Claims (3)

1.一种基于多神经网络的流量矩阵估计方法，其特征在于，它包括样本分类阶段，网络训练阶段和网络估计阶段的三个阶段，其中：

样本分类阶段为：将直接测量得到的链路流量Y按K-means算法进行分类，记录各个分类的中心c和半径d；

网络训练阶段为：将各个分类的链路流量做为输入，对应的OD流量X作为输出，建立神经网络，并训练，记录各个网络的权值；

网络估计阶段为：对于某一时刻的链路测量值，根据各分类中心c和半径d来判断其所属分类，再激活对应的神经网络，计算出OD流量的初步估计值，选取最满足链路约束式(1)的估计值，再使用IPFP算法调整，得到最终的估计值；

Y=AX        (1)

其中，A表示路由矩阵；所述样本分类阶段中的K-means分类算法如下：

给定条件：样本值(X,Y)，其中X表示OD流量矩阵，Y表示相应的链路流量矩阵，Y的列向量为m维列向量，X和Y的列数为T

Step1令初聚类数目K=2，令初始施瓦兹信息准则值SIC为一个极大值；

Step2从Y的T列中随机选择K列作为初始聚类中心c(c的各个列代表各个相应分类的中心向量)；

Step3根据每个聚类的中心，计算Y的每一列与这些中心的欧几里德距离，根据最小距离对相应的列进行重新划分，即

D(y_i)={i|min_i=1,...,K||y_j-c_i||},y_j∈Y     (2)

其中y_j表示矩阵Y的第j列，D(y_j)表示y_j的分类编号，c_i表示矩阵c的第i列，||·||表示欧氏范数，下同；

Step4使用式(3)计算各分类的元素个数s(向量s的各个元素即为相应各个分类的元素个数)，使用式(4)重新计算每个聚类的中心c，根据式(5)重新计算每个聚类的半径d(向量d的各个元素即为相应各个分类的距离)，根据式(6)计算此次分类的偏差J；

$s_i=\underset{D\left(y_j\right)=i}{\mathrm{\Σ}}1---\left(3\right)$

$c_i=\frac{\underset{D\left(y_j\right)=i}{\mathrm{\Σ}}{y}_j}{s_i}---\left(4\right)$

$d_i={\max }_{D\left(y_j\right)=i}\left|\right|y_j-c_i\left|\right|---\left(5\right)$

$J={\mathrm{\Σ}}_{j=1}^T{\left|\right|y_j-c\left(D\left(y_i\right)\right)\left|\right|}^2---\left(6\right)$

其中s_i表示向量s的第i个元素值，d_i表示向量d的第i列；

Step5转Step3直到分类的偏差J不再变小时转Step6，并记录此时分类的中心c；

Step6转Step2直至分类中心c不再发生变化时转Step7，并将X并入到相应的Y分类中，记录(X,Y)的分类及其中心c和半径d；

Step7通过(7)计算此次分类的施瓦兹信息准则值SIC，令K=K+1转Step2直至SIC不再变小时中止，输出分类数目K，输出(X,Y)的分类及其中心c和半径d，

SIC=J+λmKlogT           (7)

其中λ为权重因子。

2.根据权利要求1所述多神经网络的流量矩阵估计方法，其特征在于，所述网络估计阶段判断所属分类时使用(8)式确定

||y–c_i||<ρd_i            (8)

其中y是对于某时间的链路测量值，ρ表示警戒参数，ρ越小，估计的结果越精确，但ρ过小可能会使链路测量值不属于所有的分类，当ρ大于1时，神经网络的估计结果可靠性大大降低。

3.根据权利要求1所述多神经网络的流量矩阵估计方法，其特征在于，所述网络估计阶段IPFP算法如下：

给定条件：(1) OD初始估计值x，x的维数为n

(2)观测到某时刻的链路流量y，y的维数为m

(3)当前时刻路由矩阵A，A为m×n的矩阵

步骤一、设定最大迭代步数K，收敛的误差ε，计算当前链路误差error

$\mathrm{error}=\frac{\left|\right|y-\mathrm{Ax}\left|\right|}{\left|\right|y\left|\right|}---\left(10\right)$

步骤二、重复以下步骤，直至error小于ε或者迭代步数大于K

其中A(j,:)表示A的第j行，y(j)表示y的第j个元素，“^T”表示矩阵的转置运算，“*”表示乘运算，“/”表示除运算，“.×”表示矩阵的点乘运算，即矩阵的各个元素对应相乘，ones(1,n)表示1行n列的元素值全为1的矩阵；

步骤三、根据式(10)重新计算error，直至error小于ε或者迭代步数大于K时转步骤四，否则转步骤二；

步骤四、输出调整后的x。

Images