CN101917310B - 基于流量分析的网络拓扑推测方法 - Google Patents

Abstract

本发明公开了一种基于流量分析的网络拓扑推测方法，涉及大规模IP网络拓扑探测技术领域，其步骤包括：在网络主干链路上部署测量点，对流量hop-count值和往返时延RTT进行分析，然后进行第一次聚类和第二次聚类，从而形成网络拓扑图，采用本方法，解决了现有技术中产生大量的探测流量，加重节点负担、应用受限及探测周期长的技术问题，并且本发明的推测结果也更为准确。

Description

基于流量分析的网络拓扑推测方法

技术领域

本发明涉及大规模IP网络拓扑探测技术领域。

背景技术

对大规模IP网络的拓扑探测一度成为网络管理领域的工作热点，各类研究机构纷纷启动了不同的研究项目来实现对Internet结构的发现，这些研究大多基于以traceroute为代表的主动探测技术。然而，此类方法已经越来越明显地表现出其固有缺陷：

(1)开销巨大。由于Internet的庞大，测量点必须向海量的目标节点发送大量的探测数据包，从而产生了大量的探测流量，加重了节点的负担，使网络管理的问题更加复杂化。

(2)应用受限。主动模式的探测方法依赖于目标节点和网络基础设施(路由器)的响应，在防火墙存在的情况下探测手段将会失效。

(3)探测周期长。随着目标网络的扩大，探测次数呈几何增长，完成一次探测往往需要耗费大量的时间。增加探测点数量有助于缩短探测周期，但造成了测量主体的复杂化，提高了测量成本。

此外，在测量手段方面，还有主动方式的路径特性测量和聚类方法，随着测量技术的发展，链路特性的测量结果被越来越多地应用于网络拓扑探测过程。这类方法大多通过向网络上的不同主机发送探测包，根据返回数据包的情况，判断网络路径的特性(如丢包率和往返时延)，然后根据这些特性的不同，将主机划分为不同的聚类，实现小范围内粗略的拓扑探测。

如公开号为CN 1756189，公开日为2006年4月5日的中国专利文件公开了一种基于SNMP协议的自动地发现网络的物理布局以及连接关系的IP网络拓扑的发现方法。该方法包括如下步骤：建立SNMP网络管理运行的环境；在目标网络的每个网络节点上设置一个管理信息库(MIB)；网络管理进程通过应用层协议对SNMP管理信息库进行访问；网络管理应用向网络管理进程内发出的信息，经底层协议到达被管理网络实体；网络层的拓扑发现；数据链路层的拓扑发现。在网络管理中，采用本发明的方法可探测网络层及数据链路层的拓扑结构，获取和维护网络节点的存在性信息和连接关系信息，并绘制出整个网络拓扑图。网管人员通过拓扑结构信息可对网络故障进行定位，发现网络瓶颈，从而优化整个网络。

但上述技术都依赖于主动探测技术。即：需要向网络中不同的目标主机发送IP分组，然后等待对方的IP分组返回并推断网络拓扑。

但与此同时，动态路由、策略路由等技术的应用给网络拓扑管理带来了新的挑战，网络局部结构的不确定性增加，网络拓扑的动态性日益显现，上述基于以traceroute为代表的主动探测技术更加无法应对，因而迫切需要一种更加快速、规模化的拓扑探测手段。

发明内容

为解决上述技术问题，本发明提出了一种基于流量分析的网络拓扑推测方法，本发明对拓扑的推断完全依赖于现有网络流量，不需要任何形式的主动探测和额外IP分组发送，测量过程不会对网络产生任何影响，解决了现有技术中产生大量的探测流量，加重节点负担、应用受限及探测周期长的技术问题，并且本发明的推测结果也更为准确。

本发明是通过采用下述技术方案实现的：

一种基于流量分析的网络拓扑推测方法，其特征在于步骤包括：

a、在网络主干链路上部署测量点，对流经该链路的所有IP分组进行捕获和分析，所述的捕获是指：采用libpcap等常见工具，采用通用的网络包捕获技术，在测量点的网卡上接收网络中传输的IP分组，所述的分析是指：观测TCP会话，获取每个TCP会话双方IP主机各自到所述测量点的路径特性，所述路径特性包括路由跳数(hop_count)和往返时延(RTT)，设置一个固定的时间周期T，在一个时间周期内获得每个路径特性的一个分析结果值；

b、经过多个时间周期的连续捕获和分析，获得各个IP主机各自到测量点的路径特性的时间序列，所述的时间序列是一个标准数学术语，本说明书中定义为：在多个时间周期内关于同一路径特性的多个分析结果，共同组成的一个序列，称为时间序列，具体方法为：如针对任意IP主机H，在某时段测得路由跳数(hop_count)和往返时延(RTT)分别为hop_countk和RTTk，在下一时段测得其路由跳数和往返时延分别为hop_countk+1和RTTk+1，其中hop_count测量结果是稳定不变的，由于网络的路由拓扑一般不会经常发生变化，所以其中hop_count分析结果是稳定不变的，这是网络研究的共识，即hop_countk＝hop_countk+1，因此，连续测量过程将为每个IP主机产生两个测量结果：1个单一的hop_count值，1组关于RTT测量值的时间序列R，记为R＝{RTT1，RTT2，...，RTTk}；

c、重复步骤b，为每一个被观测的IP主机按照b的步骤产生单一的hop_count值和RTT测量值的时间序列R，如一共观测到n台IP主机，则产生两个测量结果数组，记为hop_count[1..n]，R[1..n]；

d、以数组hop_count[1..n]为依据，对所有IP主机进行第一次聚类(cluster)，具体方法是：所有hop_count值相同的IP主机被划分为同一个子集，定义所有IP主机组成的集合为V＝{H1，H2，...，Hn}，则本步骤中，V被划分为多个子集，V＝C₁∪C₂∪...∪C_n，对任意IP主机x，y∈C_i(C_i代表子集C₁。。。C_n中的任意一个)，都满足hop_count[x]＝hop_count[y]，其中hop_count[x]为x的hop-count值，从而产生第一次聚类结果；

e、在步骤d的每个C_i内部进行第二次聚类，聚类的判断依据是以节点之间RTT测量值的时间序列的相似性，即：将C_i划分为更小的子集，每个子集的内部成员-IP主机之间都有较高的RTT时间序列相似性，反之，属于不同子集的IP主机之间的RTT时间序列相似性较低；

本步骤采用DTW距离(一种常见的用于度量时间序列相似性的数学模型，本说明书不详细描述)用于RTT序列之间的相似性计算和度量，对于任意两个IP主机x和y，其RTT时间序列分别为R[x]和R[y]，R[x]和R[y]之间的相似性记为T_x，y。T_x，y值越小，x和y之间的相似性越高；

本步骤将每个C_i划分为若干子集C_i＝s₁∪s₂∪...∪s_k，对于每个s_j(s_j代表子集s₁。。。s_k中的任意一个)，都满足：若任意两个IP主机x，y∈s_j，任意主机z∈C_i，

则T_x，y＜T_x，z；

从而产生第二次聚类结果，实现网络拓扑中的IP子网估计；

f、在步骤e的的基础上，建立各个s_j子集之间的连接(子网之间的网络链路)，建立方法是，计算相邻hop_count层次之间的s_j子集相似性，在相似性较高的s_j子集之间建立连线；

s_j子集之间的相似性可通过如下方法计算：若有子集s_j，s_k，则它们之间的相似性记为TS_sj，sk＝MIN(T_x，y)(x∈s_i，y∈s_j)，即：取s_j中的任意成员x和s_k之间的任意成员y进行RTT时间序列相似性计算，取最小的T_x，y为s_j和s_k的相似性值TS_sj，sk，TS_sj，sk越小，相似性越高；从而获得子网之间的连线，形成网络拓扑图；

g、对步骤f产生的拓扑图进行细化，方法为：

<1>将所有s_j子集定义为“路由节点”；

<2>填加一个根节点ROOT，ROOT与C₁集合中的所有s_j子集(路由节点)之间建立连线；

<3>将每个s_j子集中的主机节点H_k移出，称为每个主机节点H_k称为“叶节点”；

<4>为每个叶节点H_k建立一条连线，连接到其原来所属的s_j子集(路由节点)。

与现有技术相比，本发明的有益效果体现在：

本发明采用a-f步骤形成的技术方案，完全采用纯被动模式，对拓扑的推断完全依赖于现有网络流量，不需要任何形式的主动探测和额外IP分组发送，测量过程不会对网络产生任何影响，而现有技术难以做到这一点，解决了现有技术中需要发送IP分组，产生大量的探测流量，加重节点负担、应用受限及探测周期长的技术问题。

同时，本方案比较了不同主机之间的RTT时间序列相似性，有助于准确判断两个主机之间的网络路径相似性：互联网中两条不相关的路径可能有类似的RTT值，但由于路径的状态和负载在不断变化，这两条路径的RTT值的变化趋势不可能长时间保持一致，时间序列的相似性能够很容易区分这样的路径，而现有的其他研究无法做到这一点，总而言之，采用本发明的成本开销低，能够同时测量整个网络拓扑，推测结果也更加准确。

本发明在f步骤之后还具有g步骤，对所产生的拓扑图进行了进一步的细化，因而所获得推测结果就更为准确。

附图说明

下面将结合说明书附图和具体实施方式对本发明作进一步的详细说明，其中：

图1为网络中测量点的部署示意图

图2为以数组hop_count[1..n]为依据进行第一次聚类的结果示意图

图3为以RTT测量值的时间序列为依据进行第二次聚类的结果示意图

图4为f步骤中获得子网之间的连线，形成的网络拓扑图

图5为g步骤中，对网络拓扑图进行进一步细化的示意图

图6为采用本方法所产生的最终拓扑图

图7为拓扑推测结果图

具体实施方式

实施例1

一种基于流量分析的网络拓扑推测方法，其特征在于步骤包括：

a、在网络主干链路上部署测量点，对流经该链路的所有IP分组进行捕获和分析，所述的捕获是指：采用libpcap等常见工具，采用通用的网络包捕获技术，在测量点的网卡上接收网络中传输的IP分组，所述的分析是指：观测TCP会话，获取每个TCP会话双方IP主机各自到所述测量点的路径特性，所述路径特性包括路由跳数(hop_count)和往返时延(RTT)，设置一个固定的时间周期T，在一个时间周期内获得每个路径特性的一个分析结果值；

b、经过多个时间周期的连续捕获和分析，获得各个IP主机各自到测量点的路径特性的时间序列，所述的时间序列是一个标准数学术语，本说明书中定义为：在多个时间周期内关于同一路径特性的多个分析结果，共同组成的一个序列，称为时间序列，具体方法为：如针对任意IP主机H，在某时段测得路由跳数(hop_count)和往返时延(RTT)分别为hop_countk和RTTk，在下一时段测得其路由跳数和往返时延分别为hop_countk+1和RTTk+1，其中hop_count测量结果是稳定不变的，由于网络的路由拓扑一般不会经常发生变化，所以其中hop_count分析结果是稳定不变的，这是网络研究的共识，即hop_countk＝hop_countk+1，因此，连续测量过程将为每个IP主机产生两个测量结果：1个单一的hop_count值，1组关于RTT测量值的时间序列R，记为R＝{RTT1，RTT2，...，RTTk}；

c、重复步骤b，为每一个被观测的IP主机按照b的步骤产生单一的hop_count值和RTT测量值的时间序列R，如一共观测到n台IP主机，则产生两个测量结果数组，记为hop_count[1..n]，R[1..n]；

d、以数组hop_count[1..n]为依据，对所有IP主机进行第一次聚类(cluster)，具体方法是：所有hop_count值相同的IP主机被划分为同一个子集，定义所有IP主机组成的集合为V＝{H1，H2，...，Hn}，则本步骤中，V被划分为多个子集，V＝C₁∪C₂∪...∪C_n，对任意IP主机x，y∈C_i(C_i代表子集C₁。。。C_n中的任意一个)，都满足hop_count[x]＝hop_count[y]，其中hop_count[x]为x的hop-count值，从而产生第一次聚类结果；

e、在步骤d的每个C_i内部进行第二次聚类，聚类的判断依据是以节点之间RTT测量值的时间序列的相似性，即：将C_i划分为更小的子集，每个子集的内部成员-IP主机之间都有较高的RTT时间序列相似性，反之，属于不同子集的IP主机之间的RTT时间序列相似性较低；

本步骤采用DTW距离(一种常见的用于度量时间序列相似性的数学模型，本说明书不详细描述)用于RTT序列之间的相似性计算和度量，对于任意两个IP主机x和y，其RTT时间序列分别为R[x]和R[y]，R[x]和R[y]之间的相似性记为T_x，y。T_x，y值越小，x和y之间的相似性越高；

本步骤将每个C_i划分为若干子集C_i＝s₁∪s₂∪...∪s_k，对于每个s_j(s_j代表子集s₁。。。s_k中的任意一个)，都满足：若任意两个IP主机x，y∈s_j，任意主机z∈C_i，

则T_x，y＜T_x，z；

从而产生第二次聚类结果，实现网络拓扑中的IP子网估计；

f、在步骤e的的基础上，建立各个s_j子集之间的连接(子网之间的网络链路)，建立方法是，计算相邻hop_count层次之间的s_j子集相似性，在相似性较高的s_j子集之间建立连线；

s_j子集之间的相似性可通过如下方法计算：若有子集s_j，s_k，则它们之间的相似性记为TS_sj，sk＝MIN(T_x，y)(x∈s_i，y∈s_j)，即：取s_j中的任意成员x和s_k之间的任意成员y进行RTT时间序列相似性计算，取最小的T_x，y为s_j和s_k的相似性值TS_sj，sk，TS_sj，sk越小，相似性越高；从而获得子网之间的连线，形成网络拓扑图。

实施例2

(1)在网络主干链路上部署测量点，对流经该链路的所有IP分组进行捕获和分析。如图1所示。

(2)分析所有IP分组，获得测量结果。通过观测TCP会话，来发现每个TCP会话双方主机各自到测量点的路径特性。这些特性包括2个：路由跳数(hop-count)、往返时延(RTT)。

路由跳数的获取方法比较常见，分析每个IP分组的TTL字段值，用255减去TTL值即为本IP分组的源主机到测量点的hop-count值，即：hop_count＝255-TTL。该方法被广泛采用，被说明书不再详细说明。

RTT的获取方法也较多，目前常用的分析手段包括SA方法，SS方法，Karn方法和Running方法等。这些方法也是已经公开的，本说明书不详细说明。

(3)经过一段时间连续测量，获得各个主机各自到测量点的路径特性时间序列。例如，针对任意主机H，在某时段测得其hop_count和往返时延分别为hop_countk和RTTk，在下一时段测得其丢包率和往返时延分别为hop_countk+1和RTTk+1。其中hop_count测量结果是稳定不变的，即hop_countk＝hop_countk+1。因此，连续测量过程将为每个IP主机产生两个测量结果：1个单一的hop_count值，1组关于RTT测量值的时间序列R，记为R＝{RTT1，RTT2，...，RTTk}。

(4)在步骤(3)的连续测量过程中，为每一个被观测的IP主机产生hop_count和R测量结果。假设一共观测到n台IP主机，则产生两个测量结果数组，记为hop_count[1..n]，R[1..n]。

(5)以数组hop_count[1..n]为依据，对所有IP主机进行第1次聚类(cluster)。方法是：所有hop_count值相同的IP主机被划分为同一个子集。定义所有IP主机组成的集合为V＝{H1，H2，...，Hn}，则本步骤中，V被划分为多个子集，V＝C₁∪C₂∪...∪C_n，对任意IP主机x，y∈C_i，都满足hop_count[x]＝hop_count[y]，其中hop_count[x]为x的hop-count值。步骤5产生的聚类结果图2所示。

(6)在步骤(5)的每个C_i内部进行二次聚类，聚类的判断依据是节点之间RTT序列的相似性。即：将C_i划分为更小的子集，每个子集的内部成员(IP主机)之间都有较高的RTT时间序列相似性。反之，属于不同子集的IP主机之间的RTT时间序列相似性较低。

本步骤采用DTW距离(一种常见的用于度量时间序列相似性的数学模型，本说明书不详细描述)用于RTT序列之间的相似性计算和度量。对于任意两个IP主机x和y，其RTT时间序列分别为R[x]和R[y]，R[x]和R[y]之间的相似性记为T_x，y。T_x，y值越小，x和y之间的相似性越高。

本步骤将每个C_i划分为若干子集C_i＝s₁∪s₂∪...∪s_k，对于每个s_j，都满足：若任意两个IP主机x，y∈s_j，任意主机z∈C_i，

则T_x，y＜T_x，z。

本步骤可以实现网络拓扑中的IP子网估计，可将图2的聚类结果再次聚类为图3所示的结果。

(7)在步骤(6)的的基础上，建立各个s_j子集之间的连接(子网之间的网络链路)。其方法是，计算相邻hop_count层次之间的s_j子集相似性，在相似性较高的s_j子集之间建立连线。

s_j子集之间的相似性可通过如下方法计算：若有子集s_j，s_k，则它们之间的相似性记为TS_sj，sk＝MIN(T_x，y)(x∈s_i，y∈s_j)。即：取s_j中的任意成员x和s_k之间的任意成员y进行RTT时间序列相似性计算，取最小的T_x，y为s_j和s_k的相似性值TS_sj，sk。TS_sj，sk越小，相似性越高。

经过本步骤以后可以获得集合(子网)之间的连线，如图4所示。

(8)对步骤(7)产生的拓扑图进行细化。方法为：

<1>将所有s_j子集定义为“路由节点”；

<2>填加一个根节点ROOT，ROOT与C₁集合中的所有s_j子集(路由节点)之间建立连线；

<3>将每个s_j子集中的主机节点H_k移出，称为每个主机节点H_k称为“叶节点”；

<4>为每个叶节点H_k建立一条连线，连接到其原来所属的s_j子集(路由节点)。

例如；图4中的s₂子集可以被重绘，如图5所示。

本步骤产生最终的网络拓扑图。在图4的基础上，拓扑图生成结果如图6所示。

实验验证：

对图1的实际网络进行测量和拓扑推测，结果如图7所示。

可以看出，本方案能够大致准确地推测出网络实际拓扑，具有较强的应用价值。

实施例3

本发明的原理为：在网络骨干中选择某个骨干链路，部署测量点(Measurement Point)对流量进行分析。假设网络中任意两个不同的节点(H_i和H_j)到测量点之间均存在各自的路径(P_i和P_j)，定义P_i和P_j的相关性为R，则R在很大程度上反应了P_i和P_j重合的程度。研究表明网络中节点的共享链路越多，节点的特性越相近，其性能指标变化趋势(经过测量获得的时间序列)的相关性也越大。例如，在路径拥塞加剧时，路径中的不同节点性能均会出现类似的变化趋势(时延和丢包率增加，可用带宽减少)。因此，在网络主干链路中部署测量点，对节点H_i和H_j各自到测量点的不同路径性能指标进行测量，将获取的测量时间序列进行相似性比较，就能够计算出路径P_i和P_j的相关性，进而判定H_i和H_j在网络拓扑中的相关性。更进一步，结合H_i和H_j各自到测量点的路由跳数(hop-count)，可对网络的拓扑进行大致推测。

虽然网络流量(主干网络中传输的IP分组)中几乎不包含任何与网络拓扑直接相关的信息，但通过对这些流量进行分析，可以获得若干有价值的路径特性信息，这些信息包括2类：

(1)IP分组的源节点到测量点的hop-count值。IP分组中包含一个TTL字段，初始值为255(极少部分操作系统的TTL初始值为64，本说明书取最常见的255)，IP分组每经过1跳路由，TTL字段都会自动减1。因此，用255减去IP分组的TTL值，可以获得IP分组从源节点到测量点所经过的路由跳数，即hop-count值。

(2)IP分组的源节点到测量点的路径特性及其变化趋势。目前存在多种方法，对路径的特性(如端到端时延、丢包率、带宽等)进行测量，这些方法能够通过对网络流量的分析来获取这些特性。通过不间断的连续测量，可以获得这些指标的多个连续测量结果，称为时间序列(time series)，该时间序列变化反映了路径状态的变化趋势。

上述2类信息是拓扑推断的依据，本技术在这些信息的基础上，使用聚类等手段，实现拓扑推测。

Claims (4)

1.一种基于流量分析的网络拓扑推测方法，其特征在于步骤包括：

a、在网络主干链路上部署测量点，对流经该链路的所有IP分组进行捕获和分析，所述的分析是指：观测TCP会话，获取每个TCP会话双方IP主机各自到所述测量点的路径特性，所述路径特性包括路由跳数hop_count和往返时延RTT，设置一个固定的时间周期T，在一个时间周期内获得每个路径特性的一个分析结果值；

b、经过多个时间周期的连续捕获和分析，获得各个IP主机各自到测量点的路径特性的时间序列，具体方法为：针对任意IP主机H，在某时段测得路由跳数hop_count和往返时延RTT分别为hop_countk和RTTk，在下一时段测得其路由跳数和往返时延分别为hop_countk+1和RTTk+1，其中hop_count测量结果是稳定不变的，即hop_countk＝hop_countk+1，因此，连续测量过程将为每个IP主机产生两个测量结果：1个单一的hop_count值，1组关于往返时延RTT测量值的时间序列R，记为R＝{RTT1，RTT2，…，RTTk}；

c、重复步骤b，为每一个被观测的IP主机按照b的步骤产生单一的hop_count值和RTT测量值的时间序列R，如果一共观测到n台IP主机，则产生两个测量结果数组，记为hop_count[1..n]，R[1..n]；

d、以数组hop_count[1..n]为依据，对所有IP主机进行第一次聚类，具体方法是：所有hop_count值相同的IP主机被划分为同一个子集，定义所有IP主机组成的集合为V＝{H1，H2，…，Hn}，则本步骤中，V被划分为多个子集，V＝C₁∪C₂∪...∪C_n，对任意IP主机x，y∈C_i，都满足hop_count[x]＝hop_count[y]，其中hop_count[x]为x的hop_count值，从而产生第一次聚类结果；

e、在步骤d的每个C_i内部进行第二次聚类，聚类的判断依据是以节点之间RTT测量值的时间序列的相似性，即：将C_i划分为更小的子集，每个子集的内部成员即IP主机之间都有较高的往返时延RTT时间序列相似性，反之，属于不同子集的IP主机之间的RTT时间序列相似性较低；

本步骤将每个C_i划分为若干子集C_i＝s₁∪s₂∪...∪s_k，对于每个s_j，都满足：若任意两个IP主机x，y∈s_j，任意主机z∈C_i， 

则T_x，y＜T_x，z；

从而产生第二次聚类结果，实现网络拓扑中的IP子网估计；

所述e步骤采用“DTW距离”用于RTT序列之间的相似性计算和度量，对于任意两个IP主机x和y，其RTT时间序列分别为R[x]和R[y]，R[x]和R[y] 之间的相似性记为T_x，y，T_x，y值越小，x和y之间的相似性越高；

f、在步骤e的的基础上，建立各个s_j子集之间的连接，建立方法是，计算相邻hop_count层次之间的s_j子集相似性，在相似性较高的s_j子集之间建立连线；从而获得子网之间的连线，形成网络拓扑图；

f步骤中所述的s_j子集之间的相似性通过如下方法计算：若有子集s_j，s_k，则它们之间的相似性记为TS_sj，sk＝MIN(T_x，y)，其中x∈s_i，y∈s_j，即：取s_j中的任意成员x和s_k之间的任意成员y进行RTT时间序列相似性计算，取最小的T_x，y为s_j和s_k的相似性值TS_sj，sk，TS_sj，sk越小，相似性越高。

2.根据权利要求1所述的基于流量分析的网络拓扑推测方法，其特征在于：在f步骤之后还有g步骤：对步骤f产生的拓扑图进行细化，方法为：

<1>将每个s_j子集都定义为一个“路由节点”；

<2>填加一个根节点ROOT，ROOT与C₁集合中的各s_j子集之间分别建立连线；

<3>将每个s_j子集中的主机节点H_k移出，称每个主机节点H_k为“叶节点”；

<4>为每个叶节点H_k建立一条连线，连接到其原来所属的s_j子集。

3.根据权利要求1所述的基于流量分析的网络拓扑推测方法，其特征在于：所述的捕获是指：采用libpcap数据包捕获工具，在测量点的网卡上接收网络中传输的IP分组。

4.根据权利要求1所述的基于流量分析的网络拓扑推测方法，其特征在于：所述的时间序列是：在连续捕获和分析的多个时间周期内关于同一路径特性的多个分析结果，共同组成的一个序列，称为时间序列。 

Images