CN102801629B - 一种流量矩阵的估计方法 - Google Patents

Abstract

本发明公开了一种流量矩阵的估计方法。提出了一种基于线性规划方法和Zernike-Moment相结合的流量矩阵估计算法，在本发明方法中，由于采用了线性规划方法，通过目标函数的选择来代替先验信息，排除了模型对先验信息的敏感性。而Zernike-Moment方法的插值处理，解决了K-NN算法中不能解决的大量数据丢失的情况，而且排除了模型对丢失值的敏感性，同时也克服了输入信息中的噪声对估计结果的影响。而且Zernike-Moment方法还可以利用LP方法得到的流量矩阵估计值，以及流量矩阵数据之间的结构相似性、冗余信息、时空约束信息，来修正线性规划方法的结果，进一步提高了流量矩阵估计的准确度。

Description

一种流量矩阵的估计方法

技术领域

本发明属于互联网技术领域，特别涉及一种流量矩阵的估计方法。

背景技术

近年来，随着互联网技术的飞速发展以及网络规模大型化、类型多样化、结构复杂化，网络中各种性能参数的变化也越来越复杂。对一个规模空前庞大的网络进行网络性能的优化、监控及管理，是当前互联网领域所面临的一个全新的研究领域。流量矩阵作为网络流量工程的重要参数，可以为网络设计、容量规划、拥塞控制、流量检测、异常检测等流量工程和网络管理提供有效的保障。流量矩阵(Traffic Matrix,TM)是网络中流量的具体描述，由OD(Origin-Destination)流(即源节点到目的节点的流量)组成，反映了一个网络中所有源节点和目的节点之间的流量需求。根据源节点目的节点的不同类型，OD流量矩阵能定义在任何尺度上，是网络中节点对间流量大小的具体值。流量矩阵也给出了网络流量在全网中各个OD对间流量的分布情况。它作为网络流量工程的重要输入参数，受到国内外理论界和工业界的广泛重视，现已成为Internet的一个重要研究热点。同时也是网络层析成像当中一个重要的研究方向，具有它重要的现实意义。

流量矩阵在理论界和工业界受到了广泛关注，学术界也对流量矩阵估计问题提出多种多样的算法。而对于直接测量网络的流量矩阵，在当今的网络环境下则是难以行得通的。因为如今的实际网络情况纷繁复杂，为了确保现有网络的高效运行，一方面不能过多增加网络负荷，即不能主动在需要估计流量矩阵的网络中发送过多探测包，这样将加重网络的负载，影响网络的效率；另一方面网络服务提供商基于商业考虑，通常也不会允许网络中所有节点参与协作，且在不同域间获得网络节点的充分协作也很困难，直接测量最终可能覆盖不到需要测量的网络节点；所以在网络中通过直接测量获取流量矩阵是很困难甚至于不可行的。在现有的流量矩阵估计中不管是直接测量方法还是间接估算方法都有它的局限性。

由于流量矩阵的目的是捕获网络流量的全局状态，而互联网络规模越来越庞大，直接监控测量代价非常高，在实际上几乎是不可行的。由间接观测进行流量矩阵估算是目前获得骨干网络流量矩阵的主要方法。在可测的链路数据、路由矩阵和流量矩阵之间具有确定的线性关系，由于可测的链路数目远大于OD（Original-destination）流数目，层析成像流量矩阵估计是欠定性反问题求解。因此，流量矩阵估计问题本身是一个欠定反问题，存在多解性，要获得真实解，需要根据流量矩阵估计问题的特点，引入OD流量矩阵的一些约束信息，缩小解空间，从而克服流量矩阵估计的多解性。因而，目前主要通过间接测量链路流量等较易获得的网络相关信息，通过估计模型或算法来获得流量矩阵。但现有的估计模型对先验信息和测量中的值的丢失非常的敏感，估计得到的结果有一定的误差。近年来，流量矩阵的估计已成为一个非常热门的研究领域。

与本发明相关的现有技术包括：

近年来，通过利用链路负载统计数据和其他的测量数据，结合间接流量矩阵估计算法来估计流量矩阵已经成为了一个非常热门的领域。在网络层析成像理论中，流量矩阵的估算算法可统一描述如下式（1-1）所示；其流量矩阵X，路由矩阵A，链路流量矩阵Y三者之间存在以下线性关系：

Y＝AX    (1-1)

在网络中，由于OD流的数量要远远多于链路的条数，如果直接求解式（1-1），意味着式（1-1）将有无穷多个可能的解，是病态反问题（ill-posec linearinverse problem）。因此求解上述问题时，需要许多先验信息来克服欠定性或者病态性问题。许多学者围绕流量矩阵的估计方法等相关问题进行了大量的研究，提出了很多的估计算法，也取得了一定的成效。现有的估算算法可以归纳为几类：重力模型方法、统计推断方法、第三代方法、独立连接模型方法。

（1）重力模型方法

重力模型(gravity model)是最常见的一种计算流量矩阵的方法，它的名字来源于牛顿的地球重力定律，通常被社会科学家用来模型化地域间人口、货物或者信息的流动。将重力模型引入流量矩阵估计领域，其基本思想是：如果我们不知道网络流量在全网中如何分布，可以估计OD流量占从该源节点流入网络的总流量的比例；也就是OD对目的节点总流出流量中有一定比例流量是来自于该源节点的，而这个比例就是OD对源节点总流入流量与整个网络总流入流量的比值。如果对流量的来去无从得知，则最好的推测是估算网络中每个节点接收和发送的流量值的比例。重力模型一般表达式如下：

$x(i,j)=x(i,*)\frac{x(*,j)}{{\mathrm{\Σ}}_{j}x(*,j)}---(1-2)$

在式（1-2）中，x(i,j)表示从源节点i到目的节点j的OD流量，x(i,*)表示从节点i流入网络的总流量，x(*,j)表示从节点j流出网络的总流量，分母表示从网络中流出的总流量。从式(1-2)可知，可求从节点i到节点j的OD流量占从节点i流入网络的总流量的比例，这个比例和从节点j流出网络的总流量与流出网络的总流量的比例一致，得到网络流量在整个网络的分布情况，这里没有区分边缘接入链路的类型，当结合ISP路由策略等信息，就能够很好地估计实际网络数据，这也说明了地理位置在当今的网络中不再是一个主要的因素，所以如何确定斥力因子也就不关键了。

（2）统计推断方法

贝叶斯推断(Bayesian inference)方法并没有定义如何获得先验信息，而是将链路流量信息合并到重力模型先验信息中。该方法是在给定链路流量y和先验信息的情况下，计算OD对流量X的条件概率分布。统计推断方法一般假设需要估计的OD流服从某种概率分布模型，以便获得OD流的先验信息。在早期研究OD流的估计时，常用简单的概率分布模型如泊松分布和高斯分布来拟合OD流。随着估计方法的改进，较为复杂的对数高斯分布模型和混合高斯分布模型等也用于对OD流的建模。

最大似然估计MLE(maximum likelihood estimation)方法，通过均值-方差关系，可以使用二阶矩来估算OD对流量的均值以得到先验信息；该方法需要若干个服从独立同态分布(independent identical distribution，简称IID)可用的连续的链路流量。MLE方法是根据已知链路信息来估算未知的OD对的流量需求以及它们的特征参数。然而，在通常情况下，流量矩阵估算问题的规模是很大的，所以需要使用数学算法来寻找MLE，最常用的就是EM算法。EM算法提供了一种有效的迭代过程来计算似然函数。

（3）第三代方法

主成份分析PCA(principal components analysis)方法是分析高维数据的常用方法。它将原始数据映射到一个新坐标空间中，在新的坐标系下可用很少一部分维来重新构建原始数据。在流量矩阵估计应用中，运用PCA方法，将OD流的集合用其主要成分表示，即本征流，转化为求解本征流向量，降低了TM矩阵估计问题的维度。由于用较少的本征流向量就可较好地捕获到OD流的大多数能量，所以大大降低了估计问题的维度。

（4）独立连接模型方法

Erramilli等人提出了独立连接IC模型(independent connection model)，取代了重力模型来获得先验信息。独立连接模型是第一个结合流量双向特性的流量矩阵模型，将连接中正反两个方向作了区分，其中从发起者流向响应者的流量为正向流量，从响应者流向发起者的流量为反向流量。Rahman等人认为，泊松和高斯分布的假设是不现实的；在实际情况中，任何标准统计分布的假设都是不现实的。所以在实际网络中，流量的独立性假设不成立，因此，Erramilli等人将双向流量看作是具有一个发起者和一个响应者的连接，此连接包含正反两个方向的流量。独立连接模型也不需要额外的真实OD流量作为先验信息，仅通过边缘链路的流量信息和参数f的经验值，便可通过独立连接模型获得流量矩阵的先验估计。

流量矩阵作为网络行为的重要输入参数，能够从全网观点来看待网络流量的具体分布，能够反映网络流量的全部状态，建立网络流量的完整视图。因此，流量矩阵估计已受到国内外研究人员的广泛关注。由于当今的网络规模越来越大，结构复杂以及一些商业因素的影响，在实践中，直接、可靠地测量流量矩阵是非常困难的，直接测量方法在现有的网络环境下几乎是行不通的。而现有的流量矩阵估算算法对流量矩阵的先验信息、测量数据中噪声对估计结果的影响及测量过程中流量值的丢失都非常的敏感。因此，现有算法的估计结果与真实的流量矩阵仍具有较大误差，特别是当模型的假设不成立时，误差更大。

发明内容

为了克服现有技术的上述缺点，本发明提供了一种流量矩阵的估计方法。为了解决模型过分依赖先验信息、克服噪声的污染以及丢失值对模型的影响，提出了一种基于线性规划(LP)方法和Zernike-Moment相结合的流量矩阵估计算法，在本发明方法中，由于采用了线性规划方法，通过目标函数的选择来代替先验信息，排除了模型对先验信息的敏感性。而Zernike-Moment方法的插值处理，解决了K-NN算法中不能解决的大量数据丢失的情况，而且排除了模型对丢失值的敏感性，同时也克服了输入信息中的噪声对估计结果的影响。而且Zernike-Moment方法还可以利用LP方法得到的流量矩阵估计值，以及流量矩阵数据之间的结构相似性、冗余信息、时空约束信息，来修正线性规划方法的结果，进一步提高了流量矩阵估计的准确度。

本发明解决其技术问题所采用的技术方案是：一种流量矩阵的估计方法，包括如下步骤：

步骤一、通过测量工具测量获取路由矩阵A、链路流量矩阵Y及可测部分OD对流量；

步骤二、对路由矩阵A、链路流量矩阵Y及可测部分OD对流量作预处理：将流量矩阵X中可测部分OD对流量剔除掉，将路由矩阵A中的对应列剔除掉，将链路流量矩阵Y的对应行表示的流量值减去剔除的OD对流量；

步骤三、运用线性规划方法，对不可测部分OD对流量进行估计；

步骤四、将由步骤一测量得到的可测部分OD对流量和由步骤三估计得到的不可测部分OD对流量重新组成完整的流量矩阵，并标记出流量矩阵中测量得到的可测部分OD对流量；

步骤五、运用Zernike-Moment方法对由步骤四得到的流量矩阵进行插值修正，得到最终流量矩阵。

与现有技术相比，本发明的积极效果是：实现了通过测量得到的部分流量值来估计流量矩阵，具有如下优点：

(1)本发明将线性规划(LP)方法和Zernike-Moment方法相结合，有效地解决了先验信息和部分测量值丢失对流量矩阵估计的影响。

(2)本发明利用Zernike-Moment方法，克服了测量信息中的噪声的影响，更加有效地解决了K-NN插值方法不能解决测量数据中的大量数据丢失的问题。

(3)本发明方法能更加有效地利用测量流量矩阵详细信息来解决流量矩阵估计问题。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是本发明方法的流程图；

图2是本发明方法中的Zernike-Moment方法的流程图。

具体实施方式

一种流量矩阵的估计方法，如图1所示，包括如下步骤：

步骤一、通过测量工具获取路由矩阵A、链路流量矩阵Y（即链路负载信息）及可测部分OD对流量；

步骤二、对路由矩阵A、链路流量矩阵Y及可测部分OD对流量作预处理：

由Y=AX可知，需要将流量矩阵X中可测部分OD对流量剔除掉，将路由矩阵A中的对应列也剔除掉，链路流量矩阵Y的对应行表示的流量值也需要减去剔除的OD对流量；

步骤三、运用线性规划(LP)方法，估计得到不能测量部分的OD对流量（即不可测部分OD对流量）：

由于流量矩阵估计问题可以用Y=AX线性关系来描述，所以其基本问题就是线性规划模型的最优解求值问题。运用线性规划LP(liner programming)方法解决流量矩阵估计问题时，该方法不是通过重力建模、二阶距估算或者独立连接模型来获取先验信息，而是致力于以目标函数的选择来代替先验信息。因为链路负载是所有使用链路的流量需求的总和，线性规划模型被定义成一个函数最优化形式，线性规划(LP)方法的核心是如何选择合适的目标函数。

运用线性规划(LP)方法，估计得到不能测量部分的OD对流量的具体方法如下：

1)构建目标函数：f＝min||A′X′-Y′||    (2-1)

其中：A′为步骤二中处理过的路由矩阵，X′为待求的估计OD流，Y′为步骤二中处理过的链路流量矩阵。

2)构建约束条件：

$\underset{i}{\mathrm{\Σ}}{A}_{\mathrm{ii}}{x}_i\≤Y_l,l=1,...,J---\left(1\right)$

x_min≤x_ij≤x_max(2)           (2-2)

约束条件中，式(1)表示测量得到的经过该链路的所有OD的流量和≤该条链路的流量总量，因为部分的OD流在测量过程中会丢失掉；式(2)表示每个估计的OD对流量的取值范围；式(3)表示OD对之间流量的等式关系。

3)采用单纯型法对不可测部分OD对流量进行估算。

步骤四、将由步骤一测量得到的可测部分OD对流量和由步骤三估计得到的不可测部分OD对流量重新组成完整的流量矩阵，并标记出流量矩阵中测量得到的可测部分OD对流量；

步骤五、运用Zernike-Moment方法对由步骤四得到的流量矩阵进行插值修正，得到最终流量矩阵：

由于OD对流量值数据之间存在相似性、冗余信息、时空约束信息。所以，本发明运用Zernike-Moment方法从时间域和空间域的角度来解决流量矩阵估计问题。而且Zernike-Moment具有克服测量信息中包含噪声的功能。运用Zernike-Moment方法估计流量矩阵时，该方法通过计算插值节点邻近的OD对间的流量值对插值节点的加权平均权值计算得到。如图2所示，运用Zernike-Moment方法来对由步骤四得到的流量矩阵进行插值修正的具体方法如下：

1）将Zernike函数的积分形式离散化，得到求和形式的Zernike函数M_pq：

Zernike函数主要具有正交性、旋转不变性、信息压缩三个主要的性质。Zernike函数定义如下式（2-3）所示：

$M_{\mathrm{pq}}=\frac{p+1}{\mathrm{\π}}\∫\underset{x^2+y^2\≤1}{\∫}{V}_{\mathrm{pq}}^{*}(x,y)f(x,y)\mathrm{dxdy}---(2-3)$

在式（2-3）中，p表示阶数，D=(p,q)|0≤p≤∞,|q|≤p,|p-q|=even，f(x,y)是单调非增函数，是V_pq(x,y)的复共轭，而V_pq(ρ,θ)的极坐标表示如下式（2-4）所示：

V_pq(ρ,θ)=R_pq(ρ)e^iqθ    (2-4)

$R_{\mathrm{pq}}\left(\mathrm{\ρ}\right)=\underset{k=\left|q\right|,|p-k|=\mathrm{even}}{\mathrm{\Σ}}\frac{{(-1)}^{(p-k)/2}[(p+k)/2]!}{[(p-k)/2]![(k-q)/2]![(k+q)/2]!}{\mathrm{\ρ}}^k---(2-5)$

在式（2-5）中，R_pq(ρ)是径向多项式，θ=tan^-1(y/x)。

Zernike函数在实际应用中，通常将上式（2-3）的积分形式表示成下式（2-7）的离散求和形式：

$M_{\mathrm{pq}}=\frac{p+1}{\mathrm{\π}}\underset{x}{\mathrm{\Σ}}\underset{y}{\mathrm{\Σ}}{V}_{\mathrm{pq}}^{*}(x,y)f(x,y)---(2-7)$

subject to x²+y²≤1。

2）根据求和形式的Zernike函数M_pq，求取Zernike距M(k,l)和M′(i,j)：

本发明将Zernike-Moment函数运用到网络流量矩阵估计时，只需用到1到3阶矩，由于|p-q|＝even,则一共有6个距，分别表示为：M₀₀,M₁₁,M₂₀,M₂₂,M₃₁,M₃₃；简记为：M₁,M₂,M₃,M₄,M₅和M₆。在运用Zernike-Moment方法来解决网络流量矩阵估计问题时，设M(k,l)和M′(i,j)表示的是两个向量，分别代表待插值节点的邻近节点的特征。在使用Zernike-Moment方法的过程中，我们将用7×7大小的局部窗来描述M(k，l)和M′(i,j)如下式（2-8）所示：

M(k,l)=(m₁,m₂,m₃,m₄,m₅,m₆)

M'(i,j)=(m₁′,m′₂,m′₃,m′₄,m′₅,m₆′)    (2-8)

在运用Zernike-Moment方法时，是通过改进后的能量函数来估计流量矩阵，改进后的能量函数定义如下式（2-9）所示：

${\mathrm{\η}}_{\mathrm{SR}}=\underset{(k,l)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\underset{t\∈[1,...T]}{\mathrm{\Σ}}\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}{w}_{\mathrm{ZER}}[k,l,i,j,t]\×{\left|\right|D_p{R}_{k,l}^H\mathrm{HX}-R_{i,j}^L{y}_t\left|\right|}_2^2+\mathrm{\λTV}\left(x\right)---(2-9)$

式（2-9）就是我们要求的流量矩阵估计的目标函数。在式中，w_ZER[k,l,i，j,t]表示的是权值，也是我们接下来会重点讲解的部分，H表示为去噪操作，X表示最终估计的流量矩阵，D_p表示的是对插值节点周围邻近节点的抽取操作，表示的是待估计的流量矩阵抽取的网格数据，表示的是测量得到的流量矩阵抽取的网格数据，y_t表示的是输入的测量得到的流量矩阵，TV(X)表示的是对估计的结果做修正。

为了求取流量矩阵，只需使上式（2-9）的能量函数最小化。令Z=HX，则上式（2-9）最小化能量函数为：

${{\mathrm{\η}}^A}_{\mathrm{SR}}\left(Z\right)=\underset{(k,l)\∈\mathrm{\Ω}}{\mathrm{\Σ}}\underset{t\∈[1,...T]}{\mathrm{\Σ}}\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}{w}_{\mathrm{ZER}}[k,l,i,j,t]\×{\left|\right|D_p{R}_{k,l}^{H}Z-R_{i,j}^L{y}_t\left|\right|}_2^2---(2-10)$

通过式（2-10）则获得流量矩阵估计。

3）根据Zernike距，求取权值w：

加权平均值的计算是Zernike-Moment方法中关键的技术所在，相比于其他方法，Zernike-Moment方法在计算权值时提供了更多与邻近节点流量值的相似性以及能更加合理地利用测量流量矩阵信息（即第一步测量获得的可测部分OD对流量）来估计流量矩阵。在得到式（2-10）的最小化能量函数后，计算权值的公式被定义为：

$w_{\mathrm{ZER}}[k,l,i,j]=\frac{1}{C(i,j)}\exp \{-\frac{\mathrm{\Σ}{\left|\right|M(k,l)-M^{\′}(i,j)\left|\right|}_2^2}{h^2}\}---(2-11)$

在上式（2-11）中，C(i,j)定义为：

$C[k,l]=\underset{i,j\∈N(k,l)}{\mathrm{\Σ}}\exp \{-\frac{\mathrm{\Σ}{\left|\right|M(k,l)-M^{\′}(i,j)\left|\right|}_2^2}{h^2}\}---(2-12)$

在式（2-12）中，h表示过滤参数，是一个经验值，取值范围在[10,50]之间，h²表示过滤的程度，通过式（2-11）和式（2-12）即可求得权值。

4）根据最小化能量函数，求取Z[k,l]：

在本发明中上文已提出，为了求得流量矩阵，只需要最小化能量函数式（2-10）即可。在式（2-10）中Z=HX，而通过最小化式（2-10）得到了Z的一个封闭解，如下式所示：

$Z[k,l]=\frac{\underset{t\∈[1,...T]}{\mathrm{\Σ}}\underset{(i,j)\∈N(k,l)}{\mathrm{\Σ}}{w}_{\mathrm{ZER}}[k,l,i,j,t]y_t[i,j]}{\underset{t\∈[1,...,T]}{\mathrm{\Σ}}\underset{(i,j)\∈[1,...,T]}{\mathrm{\Σ}}{w}_{\mathrm{ZER}}[k,l,i,j,t]}---(2-13)$

5）根据最小化目标函数，最终求取流量矩阵X：

再通过下式（2-14）即可估计流量矩阵X

${\mathrm{\η}}_{\mathrm{SR}}^B\left(X\right)={\left|\right|Z-\mathrm{HX}\left|\right|}_2^2+\mathrm{\λTV}\left(X\right)---(2-14)$

在式（2-14）中，λ表示TV模型正规化交换参数。

经过上述步骤，即可解决流量矩阵估计的问题。Zernike-Moment方法克服了测量的流量矩阵中噪声的影响，并且更好地利用了测量的流量矩阵信息，提高了流量矩阵估计的鲁棒性。

Claims (3)

1.一种流量矩阵的估计方法，其特征在于：包括如下步骤：

步骤一、通过测量工具测量获取路由矩阵A、链路流量矩阵Y及可测部分OD对流量；

步骤二、对路由矩阵A、链路流量矩阵Y及可测部分OD对流量作预处理：

Y＝AX,

其中，X表示流量矩阵；

将流量矩阵X中可测部分OD对流量剔除掉，将路由矩阵A中的对应列剔除掉，将链路流量矩阵Y的对应行表示的流量值减去剔除的OD对流量；

步骤三、运用线性规划方法，对不可测部分OD对流量进行估计；

步骤四、将由步骤一测量得到的可测部分OD对流量和由步骤三估计得到的不可测部分OD对流量重新组成完整的流量矩阵，并标记出流量矩阵中测量得到的可测部分OD对流量；

步骤五、运用Zernike-Moment方法对由步骤四得到的流量矩阵进行插值修正，得到最终流量矩阵。

2.根据权利要求1所述的一种流量矩阵的估计方法，其特征在于：步骤三所述的运用线性规划方法，对不可测部分OD对流量进行估计的方法为：

1)构建目标函数f＝min||A'X'-Y'||，其中：“min||||”表示矩阵A'X'-Y'二次范数的最小值，A'为步骤二中处理过的路由矩阵，X'为待求的估计OD流，Y'为步骤二中处理过的链路流量矩阵；

2)构建约束条件

$\underset{i}{\mathrm{\Σ}}{A}_{\mathrm{ii}}{x}_i\≤Y_l,l=1,...,J---\left(1\right)$

x_min≤x_ij≤x_max           (2)

其中，式(1)表示测量得到的经过该链路的所有OD的流量和≤该条链路的流量总量，式(2)表示每个估计的OD对流量的取值范围；式(3)表示OD对之间流量的等式关系，A_ii表示路由矩阵中的第i行第i列的元素，A_ik表示路由矩阵中的第i行第k列的元素；x_i表示流过第i条链路所有OD流的流量总和；Y_l表示第l条链路的流量总量；y_l表示第l条链路的流量值；x_ij表示流过第i条链路第j个OD流的流量值；x_min表示预先设定的OD流的流量值下限；x_max表示预先设定的OD流的流量值上限；

3)采用单纯型法对不可测部分OD对流量进行估算。

3.根据权利要求1所述的一种流量矩阵的估计方法，其特征在于：步骤五所述的运用Zernike-Moment方法对由步骤四得到的流量矩阵进行插值修正的方法为：

1)将Zernike函数的积分形式离散化，得到求和形式的Zernike函数；

2)根据求和形式的Zernike函数，求取Zernike距；

3)根据Zernike距，求取权值w；

4)根据最小化能量函数，求取Z[k,l]；

其中，Z[k,l]表示流量矩阵中一个OD流的流量值；

5)根据最小化目标函数，最终求取流量矩阵X。