CN109088796A - 基于网络层析成像技术的网络流量矩阵预测方法 - Google Patents

Abstract

基于网络层析成像技术的网络流量矩阵预测方法，它属于网络流量矩阵预测领域。本发明解决了由于观测矩阵属于确定性矩阵，其受网络拓扑结构限制，因此难以满足压缩感知理论的RIP原则，以及网络流量矩阵发生突变导致的预测误差大的问题。本发明基于路由矩阵构造观测矩阵和观测结果矩阵，避免了观测矩阵受网络拓扑结构限制，导致难以满足压缩感知理论的RIP原则的问题；通过计算网络流量矩阵的样本数据的每个子样本片段对应的一组正交基得到近似过完备正交基集合，再通过稀疏系数估计值重构出网络流量矩阵，在网络流量矩阵发生突变时，本发明方法应用于Abilene网络流量矩阵预测时的平均预测误差小于10％。本发明可以应用于网络流量矩阵预测领域用。

Description

基于网络层析成像技术的网络流量矩阵预测方法

技术领域

本发明属于网络流量矩阵预测技术领域，具体涉及一种网络流量矩阵预测方法。

背景技术

网络流量矩阵作为描述网络中源节点和目的节点之间流量信息的参数，是对互联网进行网络控制、实施QoS保证和提高网络性能的基础。目前，网络流量矩阵的测量主要通过网络节点之间的协作来实现，但是随着互联网朝着分布式、异构化和基于边缘控制的方向演变，网络内部节点往往呈现非协作的特点，使得依靠网络内部节点间配合的直接测量方法不能完全满足各种网络应用对互联网测量的需求。网络层析成像将医学上的计算机层析成像技术引入到网络测量中，在没有网络内部节点协作的条件下进行端到端的测量，通过网络边界的测量信息来分析和推断网络链路级性能参数。

网络层析成像技术应用于网络流量矩阵预测中，是传统网络链路级性能参数推断的逆过程，其目的是从链路级的测量数据中预测出路径级的网络流量矩阵信息。链路流量表示相邻两节点间链路上传输的数据量大小，是在路由矩阵控制下各网络OD流(OriginDestination Flow)在链路上的聚合。

链路流量与网络流量矩阵的数学表达式如公式Y^T＝AX^T所示，设表示在测量时间点q上的链路流量，M为网络链路数量；表示当前测量时间点上的网络流量矩阵，N为网络流量矩阵中OD流对的数量；A为M×N的路由矩阵，其构造过程如下：若第i条网络OD流经过第j条链路，则A_i,j＝1，否则A_i,j＝0。在网络流量矩阵测量过程中，假设进行Q次测量，各节点收集的链路流量数据为Y＝(Y₁；Y₂；...；Y_Q)，其大小为Q×M；对应的网络流量矩阵为X＝(X₁；X₂；...；X_Q)，其大小为Q×N。

网络流量矩阵预测是在已知网络链路流量Y和路由矩阵A的情况下，获得网络流量矩阵X的预测值。但是，由于通常情况下由于M＜N，因此式Y^T＝AX^T为欠定方程组，在没有额外信息的情况下，上述方程组没有唯一解。

从信号处理角度上看，网络流量矩阵预测问题是典型的欠采样信号恢复问题。近年来，相关学者提出采用信号领域的压缩感知理论解决网络流量矩阵预测问题，在满足稀疏性的条件下，以远低于奈奎斯特频率的方法进行全局观测，通过重构算法快速准确的恢复出源信息，取得了一定的效果。但是现有的压缩感知的理论在解决网络流量矩阵预测问题上仍然面临两个主要问题：观测矩阵的设计和信号的稀疏表示。一方面，式Y^T＝AX^T所采用的观测矩阵为路由矩阵，由于其本身属于确定性矩阵，而且受网络拓扑结构限制，因此难以满足压缩感知理论的RIP(Restricted Isometry Property)原则。另一方面，网络流量矩阵本身不具有稀疏性，虽然采用SVD(Singular Value Decomposition)能够一定程度上发掘网络流量矩阵的低维特性，但是仍然无法解决当网络流量矩阵发生突变时预测误差过大问题。

发明内容

本发明的目的是为解决由于观测矩阵属于确定性矩阵，其受网络拓扑结构限制，因此难以满足压缩感知理论的RIP原则，以及网络流量矩阵发生突变导致的预测误差大的问题。

本发明为解决上述技术问题采取的技术方案是：

基于网络层析成像技术的网络流量矩阵预测方法，该方法包括以下步骤：

步骤一、基于路由矩阵构造观测矩阵R和观测结果矩阵L，并建立观测矩阵R和观测结果矩阵L的关系式；

步骤二、对网络流量矩阵的样本数据X进行等间隔划分，得到π个网络流量矩阵的子样本片段X(1),X(2),...,X(π)，分别计算每个子样本片段对应的重建网络流量矩阵的一组正交基，得到过完备正交基的集合为

步骤三、设定中间变量矩阵观测信号为l_q，稀疏度为K；初始化残差r₀＝l_q，初始化信号支撑集

步骤四、从中间变量矩阵Φ中寻找与信号相关性最强的信号支撑索引，将寻找到的最强信号支撑索引I对应的φ_j′加入信号支撑集，其中，φ_j′为矩阵Φ的第j′列，得到更新后的信号支撑集Φ₁；利用更新后的信号支撑集Φ₁计算稀疏系数估计值利用稀疏系数估计值更新残差，得到更新后的残差r₁；

步骤五、重复执行步骤四的操作，直至迭代次数达到K，利用第K次迭代对应的稀疏系数估计值重构出测量时间点q上的网络流量矩阵

同理，重构出其它测量时间点上的网络流量矩阵，得到网络流量矩阵

本发明的有益效果是：本发明提供了一种基于网络层析成像技术的网络流量矩阵预测方法，本发明基于路由矩阵构造观测矩阵R和观测结果矩阵L，避免了观测矩阵受网络拓扑结构限制，导致难以满足压缩感知理论的RIP原则的问题；通过计算网络流量矩阵的样本数据X的每个子样本片段对应的重建网络流量矩阵的一组正交基，得到近似过完备正交基的集合，再通过不断的迭代过程最终确定出稀疏系数估计值，利用稀疏系数估计值重构出网络流量矩阵，在网络流量矩阵发生突变时，本发明方法应用于Abilene网络流量矩阵预测时的平均预测误差小于10％，克服了现有方法在网络流量矩阵发生突变时预测误差过大的问题。

附图说明

图1是本发明的基于网络层析成像技术的网络流量矩阵预测方法的流程图；

具体实施方式

具体实施方式一：如图1所示，本实施方式所述的基于网络层析成像技术的网络流量矩阵预测方法，该方法包括以下步骤：

步骤一、基于路由矩阵构造观测矩阵R和观测结果矩阵L，并建立观测矩阵R和观测结果矩阵L的关系式；

步骤二、对网络流量矩阵的样本数据X进行等间隔划分，得到π个网络流量矩阵的子样本片段X(1),X(2),...,X(π)，分别计算每个子样本片段对应的重建网络流量矩阵的一组正交基，得到过完备正交基的集合为

步骤三、设定中间变量矩阵观测信号为l_q，稀疏度为K；初始化残差r₀＝l_q，初始化信号支撑集

步骤四、从中间变量矩阵Φ中寻找与信号相关性最强的信号支撑索引，将寻找到的最强信号支撑索引I对应的φ_j′加入信号支撑集，其中，φ_j′为矩阵Φ的第j′列，得到更新后的信号支撑集Φ₁；利用更新后的信号支撑集Φ₁计算稀疏系数估计值利用稀疏系数估计值更新残差，得到更新后的残差r₁；

步骤五、重复执行步骤四的操作，直至迭代次数达到K，利用第K次迭代对应的稀疏系数估计值重构出测量时间点q上的网络流量矩阵

同理，重构出其它测量时间点上的网络流量矩阵，得到网络流量矩阵

具体实施方式二：本实施方式与具体实施方式一不同的是：步骤一的具体过程为：

步骤一一：初始化观测矩阵R等于路由矩阵，R＝A＝(A₁；A₂；...；A_M)，其中：A₁、A₂和A_M分别为观测矩阵的第1列、第2列和第M列；

初始化待选路径矩阵为对角阵

其中：i＝1,2,…N，j＝1,2,…N，N代表对角阵的行数和列数；且初始化最大路径数量为γ，且γ＜N；初始化观测结果矩阵L为链路流量数据Y^T；

步骤一二：对于对角阵Ω中的每个行向量Ω_i，分别构造中间变量矩阵

代表矩阵Ξⁱ的第1行，|R|代表矩阵R的行数；

通过公式(1)计算矩阵Ξⁱ的Spark常数下限Spark(Ξⁱ)；

其中：||·||代表2范数，表示求向量的内积，表示向量的内积的绝对值；

步骤一三：选择Spark常数下限最大值所对应的行向量Ω_i，将其添加到观测矩阵中，令得到的观测矩阵R＝(A；Ω_i)，将Ω_i从对角阵Ω中删除；使用SNMP工具收集第i条OD流在各个时间点上数据组成的向量Υ，并将向量Υ添加到观测结果矩阵中，令得到的观测结果矩阵L＝(Y^T；Υ)；

步骤一四：重复执行步骤一二与步骤一三，直到观测矩阵中的行向量数量达到M+γ，得到优化后的观测矩阵R和观测结果矩阵L，优化后的观测矩阵R和观测结果矩阵L的关系表示如下：

L＝RX^T (2)

其中：X为网络流量矩阵的样本数据，X^T为X的转置。

具体实施方式三：本实施方式与具体实施方式二不同的是：步骤二的具体过程为：

按照间隔Δ对网络流量矩阵的样本数据X进行等分，得到π个网络流量矩阵的子样本片段X(1),X(2),...,X(π)，X(1)代表第1个子样本片段；网络流量矩阵分解后的特征流低维空间可以描述其主要特征，K个主要的特征流分量占据了网络流量矩阵的大部分能量，特征流分量对应的奇异值代表其能量值。因此对于第t个子样本片段X(t)，1≤t≤π，通过X(t)的SVD分解得到重建网络流量矩阵的一组正交基：

X(t)＝U(t)S(t)V^T(t) (3)

其中，S(t)是一个对角阵，其对角线上的元素是X^T(t)X(t)或X(t)X^T(t)的特征值的平方根，并且是按从大到小的顺序排列；V(t)为正交矩阵，且V(t)的列为X(t)的左奇异向量，U(t)是一个正交矩阵，U(t)的列称为X(t)的右奇异向量，u_i′(t)和v_i′(t)分别表示U(t)和V(t)的列向量，为v_i′(t)的转置；s_i′(t)表示X(t)的奇异值，i′代表对应矩阵的第i′列，K为稀疏度，是X(t)的近似值，是U(t)的近似值，是S(t)的近似值，将式(4)带入式(2)得到：

由于对角阵仅有K个元素取非零值，中间变量矩阵满足K稀疏性，为重建网络流量矩阵的一组正交基；L(t)为观测结果矩阵L中的，与X^T(t)相对应的部分；

通过对所有π个网络流量矩阵的子样本片段的SVD分解，得到过完备正交基的集合为

具体实施方式四：本实施方式与具体实施方式三不同的是：步骤三的具体过程为：

在压缩感知框架下，通过l₀范数优化问题找到公式(5)具有稀疏结构的解：

min||θ_q||₀ s.t.

其中，l_q和θ_q分别为L和Θ的第q列，q＝1,2,...,Q；由于式min||θ_q||₀ s.t.的优化问题是一个难求解的NP-hard(Nondeterministic Polynomial-timehard)问题，利用l₁约束取代l₀约束：

min||θ_q||₁ s.t.

通过正交匹配追踪算法进行公式min||θ_q||₁ s.t.的求解，与匹配追踪算法相比，该算法特点是在每次迭代中将选出的列用Gram-Schmidt正交化方法进行正交化处理，再将采样值在已选列张成的空间上投影，其目的是加快算法收敛速度。

设定中间变量矩阵观测信号为l_q，稀疏度为K；其中：l_q和θ_q分别为优化后的观测结果矩阵L和中间变量矩阵Θ的第q列，Θ＝{Θ(1),Θ(2),…,Θ(t),…,Θ(T)}，Θ(t)为Θ^T(t)的转置；初始化残差r₀＝l_q，初始化信号支撑集

具体实施方式五：本实施方式与具体实施方式三不同的是：步骤四的具体过程为：

步骤四一：从中间变量矩阵Φ中寻找与信号相关性最强的信号支撑索引I：

I＝argmax_{j′＝1,2,...,N×π}|<r₀,φ_j′>| (6)

其中，φ_j′为矩阵Φ的第j′列，j′＝1,2,...,N×π；

将寻找到的最强信号支撑索引I对应的φ_j′加入信号支撑集Φ₀，得到更新后的信号支撑集Φ₁；

Φ₁＝Φ₀∪φ_j′ (7)

通过解决一个最小二乘问题，保证残差最小，获得在已选列向量上的最优投影，利用更新后的信号支撑集Φ₁计算稀疏系数估计值

步骤四二：利用稀疏系数估计值更新残差，得到更新后的残差r₁：

具体实施方式六：本实施方式与具体实施方式三不同的是：步骤五的具体过程为：

步骤五一：重复执行步骤四一至步骤四二的过程，直至迭代次数达到K次，对于第K次迭代，I＝argmax_{j′＝1,2,...,N×π}|<r_K-1,φ_j′＞|，Φ_K＝Φ_K-1∪φ_j′，利用更新后的信号支撑集Φ_K计算出稀疏系数估计值

步骤五二：利用步骤五一第K次迭代计算得到的稀疏系数估计值重构出测量时间点q上的网络流量矩阵

同理，即可重构出其余测量时间点上的网络流量矩阵，即网络流量矩阵的重构结果为其中，Q为测量时间点的个数。

Claims (6)

1.基于网络层析成像技术的网络流量矩阵预测方法，其特征在于，该方法包括以下步骤：

步骤一、基于路由矩阵构造观测矩阵R和观测结果矩阵L，并建立观测矩阵R和观测结果矩阵L的关系式；

步骤二、对网络流量矩阵的样本数据X进行等间隔划分，得到π个网络流量矩阵的子样本片段X(1),X(2),...,X(π)，分别计算每个子样本片段对应的重建网络流量矩阵的一组正交基，得到过完备正交基的集合为

步骤三、设定中间变量矩阵观测信号为l_q，稀疏度为K；初始化残差r₀＝l_q，初始化信号支撑集

步骤四、从中间变量矩阵Φ中寻找与信号相关性最强的信号支撑索引，将寻找到的最强信号支撑索引I对应的φ_j′加入信号支撑集，其中，φ_j′为矩阵Φ的第j′列，得到更新后的信号支撑集Φ₁；利用更新后的信号支撑集Φ₁计算稀疏系数估计值利用稀疏系数估计值更新残差，得到更新后的残差r₁；

步骤五、重复执行步骤四的操作，直至迭代次数达到K，利用第K次迭代对应的稀疏系数估计值重构出测量时间点q上的网络流量矩阵

同理，重构出其它测量时间点上的网络流量矩阵，得到网络流量矩阵

2.根据权利要求1所述的基于网络层析成像技术的网络流量矩阵预测方法，其特征在于，所述步骤一的具体过程为：

步骤一一：初始化观测矩阵R等于路由矩阵，R＝A＝(A₁；A₂；...；A_M)，其中：A₁、A₂和A_M分别为观测矩阵的第1列、第2列和第M列；

初始化待选路径矩阵为对角阵

其中：i＝1,2,…N，j＝1,2,…N，N代表对角阵的行数和列数；且初始化最大路径数量为γ，且γ＜N；初始化观测结果矩阵L为链路流量数据Y^T；

步骤一二：对于对角阵Ω中的每个行向量Ω_i，分别构造中间变量矩阵

代表矩阵Ξⁱ的第1行，|R|代表矩阵R的行数；

通过公式(1)计算矩阵Ξi的Spark常数下限Spark(Ξⁱ)；

其中：||·||代表2范数，表示求向量的内积，表示向量的内积的绝对值；

步骤一三：选择Spark常数下限最大值所对应的行向量Ω_i，将其添加到观测矩阵中，令得到的观测矩阵R＝(A；Ω_i)，将Ω_i从对角阵Ω中删除；使用SNMP工具收集第i条OD流在各个时间点上数据组成的向量Υ，并将向量Υ添加到观测结果矩阵中，令得到的观测结果矩阵L＝(Y^T；Υ)；

步骤一四：重复执行步骤一二与步骤一三，直到观测矩阵中的行向量数量达到M+γ，得到优化后的观测矩阵R和观测结果矩阵L，优化后的观测矩阵R和观测结果矩阵L的关系表示如下：

L＝RX^T (2)

其中：X为网络流量矩阵的样本数据，X^T为X的转置。

3.根据权利要求2所述的基于网络层析成像技术的网络流量矩阵预测方法，其特征在于，所述步骤二的具体过程为：

按照间隔Δ对网络流量矩阵的样本数据X进行等分，得到π个网络流量矩阵的子样本片段X(1),X(2),...,X(π)，X(1)代表第1个子样本片段；对于第t个子样本片段X(t)，1≤t≤π，通过X(t)的SVD分解得到重建网络流量矩阵的一组正交基：

X(t)＝U(t)S(t)V^T(t) (3)

其中，S(t)是一个对角阵；V(t)为正交矩阵，且V(t)的列为X(t)的左奇异向量，U(t)是一个正交矩阵，U(t)的列称为X(t)的右奇异向量，u_i′(t)和v_i′(t)分别表示U(t)和V(t)的列向量，为v_i′(t)的转置；s_i′(t)表示X(t)的奇异值，i′代表对应矩阵的第i′列，K为稀疏度，是X(t)的近似值，是U(t)的近似值，是S(t)的近似值，将式(4)带入式(2)得到：

中间变量矩阵 为重建网络流量矩阵的一组正交基；

通过对所有π个网络流量矩阵的子样本片段的SVD分解，得到过完备正交基的集合为

4.根据权利要求3所述的基于网络层析成像技术的网络流量矩阵预测方法，其特征在于，所述步骤三的具体过程为：

设定中间变量矩阵观测信号为l_q，稀疏度为K；其中：l_q和θ_q分别为优化后的观测结果矩阵L和中间变量矩阵Θ的第q列，Θ＝{Θ(1),Θ(2),…,Θ(t),…,Θ(T)}，Θ(t)为Θ^T(t)的转置；初始化残差r₀＝l_q，初始化信号支撑集

5.根据权利要求4所述的基于网络层析成像技术的网络流量矩阵预测方法，其特征在于，所述步骤四的具体过程为：

步骤四一：从中间变量矩阵Φ中寻找与信号相关性最强的信号支撑索引I：

I＝arg max_{j′＝1,2,...,N×π}|<r₀,φ_j′>| (6)

其中，φ_j′为矩阵Φ的第j′列，j′＝1,2,...,N×π；

将寻找到的最强信号支撑索引I对应的φ_j′加入信号支撑集Φ₀，得到更新后的信号支撑集Φ₁；

Φ₁＝Φ₀∪φ_j′ (7)

利用更新后的信号支撑集Φ₁计算稀疏系数估计值

步骤四二：利用稀疏系数估计值更新残差，得到更新后的残差r₁：

6.根据权利要求5所述的基于网络层析成像技术的网络流量矩阵预测方法，其特征在于，所述步骤五的具体过程为：

步骤五一：重复执行步骤四一至步骤四二的过程，直至迭代次数达到K次；对于第K次迭代，I＝arg max_{j′＝1,2,...,N×π}|<r_K-1,φ_j′>|，Φ_K＝Φ_K-1∪φ_j′，利用更新后的信号支撑集Φ_K计算出稀疏系数估计值

步骤五二：利用步骤五一第K次迭代计算得到的稀疏系数估计值重构出测量时间点q上的网络流量矩阵

同理，即可重构出其余测量时间点上的网络流量矩阵，即网络流量矩阵的重构结果为其中，Q为测量时间点的个数。