CN107682195B - 基于复杂网络与大数据结合的通信网络鲁棒性评估方法 - Google Patents

Abstract

本发明提供了一种基于复杂网络与大数据结合的通信网络鲁棒性评估方法，通过建立通信网络的模型，将通信网络抽象成一个复杂网络；运用数据挖掘算法对故障数据进行处理；对模型进行仿真建模，将分析数据加载到仿真平台中，设定调整转发能力、缓存能力、转发负载以及改变路由策略，得到更加真实、可靠、准确的仿真评估结果；本发明基于复杂网络技术建立现实世界复杂系统的网络模型，利用随机仿真技术和系统运维大数据对系统“健壮性、安全性和可靠性”等性能进行评价并提供优化方案；发现通信网络在故障发生后的级联传播与扩散问题，找出影响整体网络安全与可靠性的脆弱环节，包括故障设备及故障传播路径，进一步基于网络拓扑结构提供优化方案。

Description

基于复杂网络与大数据结合的通信网络鲁棒性评估方法

技术领域

本发明属于通信网络的鲁棒性评估技术领域，具体是基于复杂网络理论与大数据相结合的通信网络鲁棒性评估方法。

背景技术

近年来，复杂网络理论得到了充分的发展，越来越多的科研人员参与其中。Barabasi和Albert提出具有幂律分布的BA无标度网络之后，复杂网络理论被应用到了现实世界中的各个领域。Inetnet、移动通信网络、大型的电力网络、轨道交通网络等都是服从幂律分布的BA无标度网络。随着科技的发展，人们对复杂网络的研究越来越深入，包括复杂网络的统计特性、复杂网络上的各种动力学行为（网络上的病毒传播和级联故障等）。

现实世界中的复杂系统都可以抽象成由节点及其相互之间的连边构成的网络，其中节点代表复杂系统中的单个个体，连边表示个体之间的关系，不同个体之间关系的亲密程度不同，反映到网络中就是不同节点连边的权重不同。如一个个的变电站通过输电线路的连接构成了庞大的电力网络；用有线或无线的方式把分布在世界各地的路由器和计算机连接起来形成庞大的通信网络。这些网络上的突发事件时有发生，如病毒的入侵导致通信网络大面积的瘫痪，某地区电力网络的故障导致大面积的停电事故。

一些学者认为，网络突变的产生可能是由于大部分节点或边同时故障引起的，但在现实生活中很少有大面积的边和节点同时故障的情况发生，大部分情况下是由于少数节点或边的故障，通过节点之间的耦合关系引发其他节点故障，从而产生连锁反应，最终导致整个网络的崩溃。例如在通信网络中，对少数路由器节点进行攻击，会导致路由器节点失效，迫使数据从其他路由器进行转发，从而导致其他路由器过载，引发级联故障。

为了应对复杂系统带来的问题，研究人员构建了基于复杂网络的复杂系统模型，采集并分析复杂系统的海量运维数据，通过对模型进行分析和仿真演化，发现复杂系统中存在的影响系统鲁棒性的脆弱环节，提供针对性的优化方案。基于复杂网络的系统建模方法结合大数据技术的系统性能评价方法，为应对复杂系统带来的挑战提供了良好的机遇。

中国专利201210059660.8公开了一种基于复杂网络的防雷物联网抗毁性优化方法，通过将现实世界中的复杂系统抽象成复杂网络模型，通过对模型增加节点或边的数量，缩短网络节点之间的最短路距离，提高网络的联通性；当网络面临打击时，通过其他节点和边保持网络的正常通信。该方案的缺点是没有考虑实际场景中的动态性，当网络发生故障时，网络中的普通用户、网络防御者和入侵者都会动态选择下一步行动，这些行动对网络系统的通信状态会有直接影响；此外，该方案也没有充分利用海量系统运维数据集来优化系统鲁棒性。该方案没有说明如何判断网络的脆弱点，进而在该点附近增加备份链路或设备，在没有判断网络环境的情况下单纯的依靠这种方式提高网络的连通性成本较高，实用性不高。

中国专利201410768888.3公开了一种基于复杂网络的高速列车系统安全评估方法，给出了一种根据高速列车物理结构关系，构建高速列车网络模型,通过对高速列车运营故障数据分析，结合高速列车系统的物理结构，提取部件的功能属性度值失效率λi、平均无故障时间MTBF作为训练样本集，对训练样本集进行归一化处理。该方案的缺点是依赖于具体高速列车物理结构，与通信设备网络具有较大的差异；此外，该方案同样没有考虑人的因素对网络鲁棒性的影响。该方案也没有对网络模型做仿真，只是基于复杂网络理论对列车物理结构进行抽像，将抽像后的网络节点度与设备的故障频率相结合做为SVM的输入数据，没有利用系统过维大数据得到准确的故障参数。

通信网络系统是一个非常复杂的系统，网络结构的设计不合理或者网络负载分配的不均匀都会导致故障的发生。传统的解决网络故障的方法只能解决局部的、小范围的问题，结构性的问题无法从根本上得到解决。一套全局性的网络评估方法，不仅可以在网络建设规划早期提供重要的参考依据而且可以对当下运行的网络系统进行评估，找出其中的脆弱点、关键点并加以保护，从而防止大面积的级联故障发生。

实际中的复杂系统如通信网、电力网等都可以抽象成复杂网络，复杂网络能真实的反映这些系统的统计特性和拓扑结构。大数据技术的发展为应对日益复杂的通信网络系统提供了重要的帮助。

发明内容

本发明的目的就是提供一种基于复杂网络与大数据结合的通信网络鲁棒性评估方法，基于复杂网络技术建立现实世界复杂系统的网络模型，进一步利用随机仿真技术和系统运维大数据对系统“健壮性、安全性和可靠性”等性能进行评价并提供优化方案；旨在发现通信设备网络在故障发生后的级联传播与扩散问题，找出影响整体网络安全与可靠性的脆弱环节（故障设备及故障传播路径），进一步基于网络拓扑结构提供优化方案。其实现方式是利用模拟真实网络结构的实验环境，实现对各种随机故障级联传播的实验推演，进一步基于评价指标确定其传播带来的毁伤程度，并提供针对性加固方案。

为了实现上述目的采用的技术方案是：基于复杂网络与大数据结合的通信网络鲁棒性评估方法，包括如下步骤：

步骤一，通信网络建立模型，基于无标度网络理论将通信网络抽象成一个复杂网络，节点表示通信网络中的路由器，定义节点的转发能力、缓存能力及转发负载；并定义网络中两个节点之间的传输效率，建立数据包传输的路由方式；

步骤二，运用数据挖掘算法对故障数据进行处理；

步骤三，构建级联故障模型，设置节点初始的路由策略，根据概率向领域节点发送数据，当网络发送拥塞时调整路由策略，将数据优先转发往性能好的、节点的聚类系数故障率较低的节点；

步骤四，仿真模型初始化，将分析后的节点故障数据加载到仿真平台中，分别设置不同的转发能力、缓存能力和转发负载，按照概率传播数据；

步骤五，观察网络中各个节点的状态以及网络的结构变化；

步骤六，当观察到节点有故障发生时，更改路由策略，按照资源占用比来转发数据，同时检查网络中各节点的状态是否仍然有过载节点，如果有则重复上述步骤直到网络再没有过载的节点为止。

本发明的有益效果是：将复杂网络方法与通信设备特征相结合，研究更符合实际网络结构的故障诊断与评估技术：

1）通信设备网络拓扑结构指标。基于复杂网络理论和网络拓扑关系数据，研究能反映通信负荷的节点与线路介数指标及其分布；研究网络拓扑改变对节点与线路介数分布的影响；

2）网络故障传播模型和毁伤程度指标。建立网络故障传播的动力学模型和统计模型，并利用网络告警数据确定模型中的参数取值；研究能刻画网络服务毁伤程度的级联故障指标；

3）网络脆弱性预警与拓扑优化。设计网络拓扑生成算法和网络故障传播算法；利用随机仿真技术实现相关算法，基于毁伤程度指标评价网络脆弱性并给出预警信息；在不同节点和线路介数分布条件下，评估网络毁伤程度，并基于拓扑与介数分布关系给出拓扑优化方案。

附图说明

图1是本发明中将通信网络抽象成复杂网络的示意图；

图2 是本发明中K-means++算法的流程图；

图3是本发明中网络结构的变化示意图。

具体实施方式

基于复杂网络与大数据结合的通信网络鲁棒性评估方法，包括如下步骤

步骤一，通信网络建立模型，基于无标度网络理论将通信网络抽象成一个复杂网络，如图1所示，节点表示通信网络中的路由器，定义节点的转发能力、缓存能力；

当前大多数的复杂网络建模都是基于抽象网络的，如对通信网、交通网等网络拓扑的研究都是基于抽象网络模型，这些模型虽然具有一定的普适性，但无法反映具体网络的特性，因为真实网络中每个节点或边都有自己的属性；通信网络符合BA无标度网络的特性，因此我们基于无标度网络理论对通信网进行抽象，在通信网络中路由器是一个非常重要的网络设备，负责数据包的缓存、转发、路由的选择，路由器的转发能力、缓存能力、路由策略是研究通信网络级联模型的三个重要要素；通常转发能力与CPU的处理能力相关、缓存能力是路由器的内存决定的，路由转发策略通常采用大度优先的局域结构路由策略。

假设有一个由N个路由器组成的自治网络，将其抽象成一个复杂网络G(V,E)。节点V _i 表示通信网中的路由器，定义该节点的转发能力c _i ，节点的缓存空间大小即缓存能力b _i ,单位时间内的数据量代表了节点的转发负载记为l _i ,当节点发生拥塞时l _i >c _i 。网络拥塞表示单位时间内CPU的处理能力到达临界值，此时如果继续增加节点负载可能导致节点失效，同样如果节点的缓存能力达到临界值则有可能引起数据包丢失。节点的转发能力，缓存能力用式(1)表示：

（1）

l _i0 为节点最开始的负载，

是一个正常数，表示节点的转发容差，该值体现了路由器对突发负载的转发能力。

表示节点的缓存容差，体现了路由器应对突发上涨的流量的缓存能力。

网络中连接两个节点v _i ,v _j 的边用e _ij 表示，λ _ij 表示边的传输效率，即单位时间内完成传输的数据量。边的初始传输效率如式（2）所示：

（2）

连接两个节点之间链路的平均初始传输效率，k _i 对应节点v _i 的度，θ主要是限制网络传输效率。

当局部网络发生拥塞时，分析该局部网络的环境，若连接节点

的边负载比较大即λ _ij 不断增加，适当增加网络设备的缓存能力即提高b _i 同时

增大，若连接节点

的链路负载很小，而局部网络中的其他链路负载很高，需动态提高节点

的转发能力即

。

数据包传输的路由方式是局域结构信息路由策略，设网络中每个数据包的源节点和目标节点都是随机选取的，每个节点在发送数据包时向其邻近的节点执行局域搜索，如果在其搜索范围内找到了数据包中的目的地址，则直接发送该数据包到目的地址，否则按照式（3）所表示的概率将数据包发送到领域节点i,k _i 是节点i的度，求和的符号表示对搜索领域内的节点求和。

（3）

当网络发生拥塞时调整路由器的路由策略，将数据包有选择的发往负载较小的节点，缓解其他节点的负荷。在可见范围内找不到数据包目的地址的，查找相邻范围内转发能力、缓存能力较强的节点，即

，

较大的节点。

步骤二，运用数据挖掘算法对故障数据进行处理；所述的数据挖掘算法采用K-means++算法，运用计算机语言通过软件编程进行实现，K-means++算法是在k-means算法的基础上进行的改进，主要是针对初始的K个聚类中心的选取方式进行优化，其核心思想是下一个聚类中心点很大概率出现在距离当前聚类中心点较远的地方。

K-means++算法的流程如图2所示，主要的算法步骤是：

第一步，从样本集中随机选取一个点做为每一个聚类中心；

第二步，计算样本集中的点与当前聚类中心的最短距离

第三步，依次计算样本集中下一个聚类中心的概率

，依照轮盘法则选出下一个聚类中心；

第四步，重复第二步和第三步直到选出K个中心；

第五步，遍历所有样本点，将每个样本点划分到最近的中心点中；

第六步，计算每个聚类的平均值，并作为新的中心点；

第七步，重复第五步和第六步，直到这K个中心点不再变化；

步骤三,构建级联故障模型，设节点i的初始负载为

c、a都是可调参数，Di为节点的度，节点i的转发能力为

、缓存能力为

，节点初始的路由策略为按照（3）式的概率向领域节点发送数据，当网络发生拥塞时调整路由策略，即将数据优先发往性能好的节点，同时节点的聚类系数故障率都比较低的节点，依据以下公式转发数据

其中

是一个正常数、

表示节点的缓存容差，

为故障参数；

步骤四，仿真模型初始化，将分析后的节点故障数据加载到仿真平台中，分别设置不同的转发能力

、缓存能力

及转发负载

，按照分式3中的概率传播数据；

步骤五，传播过程。观察网络中各节点的状态以及网络的结构变化，如图3所示，大节点表示故障节点；

步骤六，当观测到节点有故障发生时，更改路由策略，按照资源占用比

来转发数据；检查网络中各节点的状态是否还有过载节点。若有重复以上步骤直到网络在没有过载节点为止。

通过仿真发现当缓存容差一定时，随着转发能力的增加，网络的传输效率也开始变好，抵御级联故障的能力也开始变强。当转发能力增加到一定程度时网络传输趋于平稳。当网络的转发能力达到某个程度时，提高网络的缓存能力，网络的传输效率逐渐上升，当缓存能力达到某一个临界值时，网络状态不再有明显的变化。级联故障除了上述的两个因素外还与路由策略有关系，当设备采用大度优先策略时，节点受到攻击时会把负荷优先传给度大的节点，大度节点会把负荷传给邻居节点，从而加重邻居节点的负荷，当邻居节点的负荷超过它的最大容量时，又会导致负荷重新分配，一轮又一轮的故障最终导致级联故障的产生。

Claims (3)

1.一种基于复杂网络与大数据结合的通信网络鲁棒性评估方法，其特征在于：包括如下步骤：

步骤一，通信网络建立模型，基于无标度网络理论将通信网络抽象成一个复杂网络，节点表示通信网络中的路由器，定义节点的转发能力、缓存能力及转发负载；并定义网络中两个节点之间的传输效率，建立数据包传输的路由方式；

其中，节点的转发能力定义为c _i 、缓存能力定义为b _i ，转发负载由单位时间内的数据量代表并定义为l _i ，用公式表示为

，其中l _i0 为节点最开始的负载，

是一个正常数，表示节点的转发容差，

表示节点的缓存容差；所述数据包传输的路由方式为：设网络中每个数据包的源节点和目标节点都是随机选取的，每个节点在发送数据包时向其邻近的节点执行局域搜索，如果在其搜索范围内找到了数据包中的目的地址，则直接发送该数据包到目的地址，否则按照概率将数据包发送到领域节点；当网络发生拥塞时调整路由器的路由策略，将数据包有选择的发往负载较小的节点，缓解其他节点的负荷。在可见范围内找不到数据包目的地址的，查找相邻范围内转发能力、缓存能力较强的节点，即

，

较大的节点;

步骤二，运用数据挖掘算法对故障数据进行处理；

步骤三，构建级联故障模型，设置节点初始的路由策略，根据概率向领域节点发送数据，当网络发送拥塞时调整路由策略，将数据优先转发往性能好的、节点的聚类系数故障率较低的节点；

步骤四，仿真模型初始化，将分析后的节点故障数据加载到仿真平台中，分别设置不同的转发能力、缓存能力和转发负载，按照概率传播数据；

步骤五，观察网络中各个节点的状态以及网络的结构变化；

步骤六，当观察到节点有故障发生时，更改路由策略，按照资源占用比来转发数据，同时检查网络中各节点的状态是否仍然有过载节点，如果有则重复上述步骤直到网络再没有过载的节点为止。

2.根据权利要求1所述的基于复杂网络与大数据结合的通信网络鲁棒性评估方法，其特征在于：所述步骤二中的数据挖掘算法采用K-means++算法，K-means++算法的流程包括：

第一步，从样本集中随机选取聚类中心的初始值；

第二步，计算样本集中的点与当前聚类中心的最短距离；

第三步，依次计算样本集中下一个聚类中心的概率，依照轮盘法则选出下一个聚类中心；

第四步，重复第二步和第三步直到选出K个中心；

第五步，遍历所有样本点，将每个样本点划分到最近的中心点中；

第六步，计算每个聚类的平均值，并作为新的中心点；

第七步，重复第五步和第六步，直到这K个中心点不再变化。

3.根据权利要求1所述的基于复杂网络与大数据结合的通信网络鲁棒性评估方法，其特征在于：所述步骤六中，按照资源占用比来转发数据的资源占用比为

其中

是一个正常数，表示节点的转发容差，

表示节点的缓存容差，Di为节点的度，节点i的转发能力为

、缓存能力为

，

为故障参数。

Images