CN110430077A - 基于网络结构特征的匿名路由器识别方法 - Google Patents

Abstract

本发明公开了一种基于网络结构特征的匿名路由器识别方法，该方法包括采用基于实值向量的定量化的方式对匿名路由器节点间的相互关系进行描述；利用匿名路由器向量间的欧氏距离来度量相似度，基于相似度情况来判定属于同一匿名路由器的情况；使用聚类算法处理匿名节点，判别属于同一类簇的匿名路由器是同一个路由器，将同一个路由器的匿名路由器节点进行融合，删去多余的边与点以修正路由器级别拓扑图。本发明实现了更高效准确的匿名路由器识别效果，提高了网络路由器级的拓扑识别的正确率，减少了网络节点与连边的冗余。

Description

基于网络结构特征的匿名路由器识别方法

技术领域

本发明网络拓扑识别技术领域，具体涉及一种基于网络结构特征的匿名路 由器识别方法。

背景技术

网络拓扑识别是基于网络测量数据分析恢复网络中节点的存在性与节点 间的连接关系，可以基于发掘出的网络结构特征完成。路由器级网络拓扑的主 要是基于IP级拓扑数据。IP级网络拓扑主要通过测量探测源节点到目标节点 的路径信息来得到。提取IP级网络拓扑结构后，经过别名解析处理会形成一 个较为完整的路由器级别的网络拓扑。但是由于Traceroute机制的固有缺点， 其中最明显的是某些路由器因为安全性和隐私性因素而被设置为不响应 Traceroute报文。这些路由器在整个探测过程中将显示超时，而不是返回自己 的接口IP地址。这类不响应正确路由器IP地址的路由器，被称为匿名路由器。 匿名路由器的存在将严重的增加网络的复杂性与冗余度，影响网络拓扑的准确 性，不利于对路由器级网络拓扑的准确刻画。

在恢复整个网络拓扑的过程中，可以发现匿名路由器的存在，但却无法获 取其真实准确的IP地址。由于存在匿名路由器，网络拓扑中将会出现大量虚 拟节点与虚拟连边，给网络拓扑带来巨大冗余。在现有的研究成果中，处理匿 名路由器的主要方法是经典的图归纳法，即将整个包含有匿名路由器的连接结 构与4种事先归纳总结的连接结构模型匹配，在完全符合的情况下就判定匿名 节点属于同一匿名路由器，若无法完全匹配就无法处理，因而算法实用性不强， 且复杂度较高。另外基于网络测量时延的匿名路由器识别方法，由于时延信息 不稳定等因素效果也受到限制，故而应用的准确性和适用范围皆受到极大的限 制。出于客观原因，匿名路由器难以完全被消除，因此完成匿名路由器的识别 与合并是减轻匿名路由器对网络拓扑识别负面影响较为理想的方法。

现有技术公开了一种基于图归纳的匿名路由器识别方法，该方法的核心思 想是对路由器级网络拓扑中的匿名路由器的连接结构与已经归纳出来的相关 模型进行匹配，识别出其中冗余的匿名路由器及其连边，实现匿名路由器识别 与校正。

匿名路由器的结构模型有四种，即平行结构、星型结构、完全偶图结构、 射线结构。首先是平行结构，平行结构是最常见的并联结构。当源节点和目标 节点间有多个匿名路由器，且对应的路径的跳数也完全一致，就将对应条数的 匿名路由器判定为同一匿名路由器。针对单跳匿名路由器的识别，有星型结构、 完全偶图结构和放射状结构三种。星型结构可以识别路由器中间仅连接一个匿 名路由器的情况。且该匿名路由器直接连接4个以上的可识别路由器，同时整 个模型图是一个完全图。完全偶图结构不同于星型结构，其节点的连接关系可 以看作一个完全偶图。完全偶图左右两边的点集合个数均需大于等于2，且左 右两边的点集合全部通过中间的匿名路由器连接。最后是连接结构最简单的放 射状结构。多个匿名路由器节点具有一个且仅有一个共有的非匿名路由器邻居， 同时整个结构呈现放射状。

图归纳的方法通过对冗余的匿名路由器根据不同的结构模型进行匹配识 别，合并成对应的共同的匿名路由器，可以很好地对匿名路由器进行识别，消 除冗余的虚拟节点和虚拟连边。但是图归纳法也有很明显的不足，即它高度依 赖模型，而模型匹配较为严苛，很容易不满足要求。当连边的探测覆盖的连边 不够充分时，将导致无法完全匹配模型，此时将无法识别匿名路由器。所以， Traceroute路径的探测率与针对匿名路由器部分的覆盖率，对于该方法有着很 重要的影响。在实际的Traceroute探测数据中，因为种种原因会出现探测覆盖 率不足的情况，从而严重影响该经典方法的有效性。基于图归纳的匿名路由器识别方法可以抽象为图论中对于完全图和完全偶图的模型识别，实现起来复杂 度也很高。

发明内容

本发明的主要目的在于提供一种基于网络结构特征的匿名路由器识别方 法，旨在解决既有方法中存在的以上技术问题。

为实现上述目的，本发明提供一种基于网络结构特征的匿名路由器识别方 法，包括以下步骤：

S1、采用图嵌入表示方法挖掘网络结构特征，获取网络匿名路由器节点的 连续特征表示；

S2、根据步骤S1中的匿名路由器节点的连续特征表示进行匿名路由器融 合，完成匿名路由器识别。

进一步地，所述步骤S1具体为：

根据匿名路由器在网络中的连接关系，采用二阶随机游走方法获取网络节 点的领域集；

再采用基于Node2Vec的图嵌入方法挖掘网络的结构特征，获取网络节点 的连续特征表示，并利用Skip-gram方法为网络节点抽取特征分布。

进一步地，所述采用二阶随机游走方法获取网络节点的领域集具体为：

设定在G＝(V,E)网络中，对于源节点u，模拟固定长度l，用c_i表示游走中 的第i个节点，起始节点c₀＝u，节点c_i-1走到节点c_i的概率表示为

其中，π_vx是节点v和节点x间的非归一化转移概率，Z是归一化常数。

进一步地，所述非归一化转移概率具体设置为：

π_vx＝α_pq(t,x)·w_vx

其中，表示节点v和x之间边的权值，

d_tx表示t节点到x节点最短的路径距离，且d_tx取值为{0,1,2}。

进一步地，所述利用Skip-gram方法为网络节点抽取特征分布具体为：

延伸Skip-gram结构到网络，将针对特征表示为f的节点u观测网络邻域 Ns(u)的对数概率最大化，表示为

其中，V是网络中节点个数，Z_u是每个节点的分母函数，n_i是网络邻域Ns(u) 中的任一节点。

进一步地，所述步骤S2具体为：

基于获得的节点的嵌入向量，使用欧式距离计算出向量间的相似度；

使用K-means聚类算法，得到相似度较高的匿名路由器节点的聚类集，将 属于一个类的匿名路由器节点判定为归属于同一个匿名路由器；

根据匿名路由器归属的判定，合并归属于同一个匿名路由器的匿名路由器 节点，删除冗余的虚拟连边，修正整个网络拓扑图后完成匿名路由器识别。

进一步地，所述使用欧式距离计算出向量间的相似度的计算公式表示为：

其中，Vec(n₁),Vec(n₂)分别是网络中节点n₁,n₂的向量表示。

进一步地，所述使用K-means聚类算法，得到相似度较高的匿名路由器节 点的聚类集具体为：

根据匿名路由器间的向量距离，使用k-means聚类算法，通过手肘法和聚 类系数法确认最优k值参数，对匿名路由器节点进行最优聚类。

本发明的有益效果是：本发明采用基于实值向量的定量化的方式对匿名路 由器节点间的相互关系进行描述；利用匿名路由器向量间的欧氏距离来度量相 似度，基于相似度情况来判定属于同一匿名路由器的情况；使用聚类算法处理 匿名节点，判别属于同一类簇的匿名路由器是同一个路由器，将同一个路由器 的匿名路由器节点进行融合，删去多余的边与点以修正路由器级别拓扑图，实 现更高效准确的匿名路由器识别效果，提高了网络路由器级的拓扑识别的正确 率，减少了网络节点与连边的冗余。

附图说明

图1是本发明的基于网络结构特征的匿名路由器识别方法的流程示意图；

图2是本发明中一般随机游走搜寻策略示意图；

图3是本发明中二阶随机游走搜寻策略示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 用以解释本发明，并不用于限定本发明。

现有的识别匿名路由器的主要方法是经典的图归纳法，然而再实际应用中 很难完全匹配连接结构模型，导致算法实用性不强，且复杂度较高。另外基于 网络测量时延的匿名路由器识别方法，由于时延信息不稳定等因素效果也受到 限制，故而应用的准确性和适用范围皆受到极大的限制。

本发明提出了一种基于网络结构特征的匿名路由器识别方法，该方法利用 图嵌入手段挖掘匿名路由器的网络结构特征，并基于网络结构特征的匿名路由 器识别。本发明提出的方法在网络探测覆盖率不够充分的情况下，实现了更高 效准确的匿名路由器识别效果，提高了网络路由器级的拓扑识别的准确率，减 少了网络路由器节点与连边的冗余。

本发明实施例的主要解决方案是：

如图1所示，一种基于网络结构特征的匿名路由器识别方法，包括以下步 骤：

S1、采用图嵌入表示方法挖掘网络结构特征，获取网络匿名路由器节点的 连续特征表示；

S2、根据步骤S1中的匿名路由器节点的连续特征表示进行匿名路由器融 合，完成匿名路由器识别。

在本发明的一个可选实施例中，由于网络中的匿名路由器在拓扑测量中不 会反馈任何信息，因此对该匿名路由器实施多次测量所得的结果无法识别(即 无法识别这些测量结果是否为同一个匿名路由器)。但是，相同的匿名路由器 虽然在测量结果上无法识别，但其在网络连接关系上具有相似性，因此本发明 从网络结构的角度提取匿名路由器的特征，将能对匿名路由器进行有效识别。

网络结构特征即是网络节点之间的连接关系特征，具有相似连接结构的节 点、相连比较紧密的节点具有相似的特征。我们使用node2Vec来深度挖掘网 络的结构特征，对匿名路由器进行特征提取，得到匿名路由器节点的连续特征 表示。

Node2vec是在原本短文本表示方法Word2vec算法基础上演变而来，针对 网络节点的特征学习，训练得到的网络节点的嵌入既可以让属于相同社区的节 点的特征向量相似，也可以使得有相似功能的节点(如在社区中的连接结构相 似)的特征向量也相似。

本发明对匿名路由器的特征提取主要分为两步：

(1)对匿名路由器节点进行随机游走，通过随机采样得到这个网络的语 料库；

(2)网络结构的表征，经过Skip-gram的训练，可得网络中节点的嵌入(Embedding)，即得到了低维度、连续、实值的嵌入向量来表示网络中的节 点。

本发明采用网络节点领域采样方法，通过随机采样得到匿名路由器节点的 领域集，以便下一步使用Skip-gram的特征学习方法得到节点的连续特征表示。

由于网络不是线性的，因而基于Skip-gram的特征学习方法需要定义更丰 富的邻域概念。为了解决网络非线性问题，使用一个随机过程，对给定源节点 u的许多不同的邻居进行抽样。邻域Ns(u)不限于近邻，根据抽样策略S的不同， 其结构可能有很大的不同。

在网络图中节点与邻居间的连接关系是一种重要的信息，Node2vec算法 中对网络中“邻居”的概念是进行了单独描述的，定义一个目标函数来保存节 点的局部邻居结构。

在G＝(V,E)网络中，将网络中源节点的领域采样问题看作是局部随机游走 的一种形式。针对网络拓扑图中的每个节点生成其(采样)领域集Ns，同时 可以比较不同的采样策略S。将邻域集Ns的大小限制为k节点，然后对单个节 点u进行多组采样。

本发明采用2阶随机游走采样得到网络节点的领域集Ns，2阶随机游走结 合了一般随机游走局部搜索的广度优先采样(BFS)和深度优先采样(DFS) 策略。BFS和DFS是分别适用于结构等效性和同质性的极端抽样范例。结构 等效性(同构性)是指结构相似的节点应该有相似的嵌入，例如图2中的u和s₆； 同质性是指属于同一社区，相连比较紧密的节点应该有相似的嵌入，例如图2 的u和s₁。BFS能捕捉同构性节点，DFS能捕捉同质性节点。由于现实的网络 往往同时具备等效性与同质性，故而随机游走将不完全适合，所以本发明引入了2阶随机游走。

首先对于一般随机游走情形。形式上，给定一个源节点u，模拟固定长度l， 用c_i表示游走中的第i个节点，起始节点c₀＝u，节点c_i-1走到节点c_i的概率表示 为

其中，π_vx是节点v和节点x间的非归一化转移概率，Z是归一化常数。

一般随机游走根据局部搜索的策略种类差异可以分为广度优先采样和深 度优先采样，如图2所示。其中广度优先策略采样(BFS)中邻域集Ns的点仅 限于与源节点相邻的节点，深度优先策略采样(DFS)中邻域Ns由距源节点越 来越远的位置连续采样的节点组成。

本发明引入的2阶随机游走，通过两个参数p和q来指导游走方式。以图 3为例。

在2阶随机游走过程中，考虑到一个随机游走仅仅走过了边(t,v)，到达了 v节点。现在行走进行下一步，用以评估转移概率π_vx从v到边(v,x)。非归一化 转移概率具体设置为：

π_vx＝α_pq(t,x)·w_vx

其中，表示节点v和x之间边的权值，

d_tx表示t节点到x节点最短的路径距离，且d_tx取值为{0,1,2}，由此p和q两 个参数来控制游走。

直观地，参数p和q控制着步行探索的速度。并离开起始节点u的邻域。 参数允许搜索过程(近似)在BFS和DFS之间插入，从而反映出对不同节点 等效概念的相似性。

回归参数p控制立即重新访问行走中节点的可能性，当p设置为高值，即 当p＞max(q,1)时，可以确保游走不太可能在以下两个步骤中对已访问的节点进 行采样(除非中的下一个节点游走时没有其他邻居)。该策略鼓励适度的探索， 避免了采样中的二跳冗余。另外一方面，如果p设置为较低值，即p＜min(q,1)， 它将引导游走至回溯一步，这将保持步行“原地”靠近起始节点。

输入输出参数q允许搜索区分在“向内”和“向外”节点之间。如图3， 如果q＞1，随机游动将偏向靠近节点t的节点。这样的行走可以获得关于基础 图的局部视图到步行中的起始节点，并在感觉到本文的样本由一个小地方的节 点组成。相反，如果q＜1，行走更倾向访问离t节点较远的节点。这种行为反 映了鼓励向外探索的DFS。然而，一个这里的本质区别在于本发明实现了类似 于DFS的探索在随机行走框架内。因此，采样节点是不是严格地增加与给定 源节点u的距离，而是反过来，本发明受益于可跟踪的预处理和优越的随机游动采样效率。2阶随机游动本质上是一个二阶马尔可夫函数。对于2阶随机游 走，它有助于存储每个节点的相邻节点之间的互连，导致空间复杂性是O(a²|V|)， 此处的a是图的平均度数，对于真实的网络该数值也通常较小。

本发明对网络的结构特征学习，利用网络连接关系训练得到网络中各节点 的连续特征表示，以便于进行下一步的匿名路由器融合。本发明的方法是一般 性的，适用于任何(非)定向，(非)加权网络。

本发明将网络节点映射到高维空间，并得到映射函数f。f的定义为 是指从节点到特征表示的映射函数，d是参数，它指定了特征表示的 维数。f是一个规模为|V|×d的矩阵，V是网络中节点个数，d是维度。

本发明使用Skip-gram训练模型得到网络节点的连续特征表示。短文本处 理中word2vec方法的Skip-gram训练模型是通过已知的当前词w_t来预测上下文 为context(w_t)的概率。Skip-gram模型的前向计算过程写成数学形式，表示为

其中，V_i是嵌入层映射矩阵_C里的列向量，是w_i的输入向量。U_j是Softmax 输出层矩阵里的行向量，是w_i的输出向量。Skip-gram模型的本质是计算输入 词的输入连续特征表示与目标词的连续特征表示间的余弦距离，再使用softmax 函数归一化。

由于直接让词典里的V个词计算相似度并归一化会使得复杂度极高。为了 解决这个问题，本发明引入了两种优化算法：层次Softmax模型(Hierarchical Softmax，HS模型和负采样模型(Negative Sampling)。

本发明延伸Skip-gram结构到网络，优化以下目标函数，即将针对特征表 示为f的节点u观测网络邻域Ns(u)的对数概率最大化，表示为

其中，V是网络中节点个数，Z_u是每个节点的分母函数，n_i是网络邻域Ns(u) 中的任一节点。

为了使优化问题易于处理，本发明进行以下设定：

(1)条件独立性。基于给定的源特征表示，设定探测邻域节点的可能性 是独立于探测任何其他邻域节点的。

(2)特征空间的对称性。源节点和邻居节点在特征空间上具有对称性。 因此本发明为每个源-邻居节点对的条件似然建模，作为由其特征点积来完成 的一个softmax单位参数化。

通过上述设定，将目标函数简化为

其中每个节点的分母函数Z_u＝∑_u∈Vexp(f(u)·f(v))；采用负采样近似计算， 利用模型参数随机梯度上升进行优化。

在本发明的一个可选实施例中，上述步骤S2将匿名路由器进行融合，通 过计算匿名路由器向量的欧式距离，然后对匿名路由器进行K-means聚类、最 后根据聚类结果合并匿名路由器并修正网络。

本发明在路由器级别的拓扑图上使用图嵌入Node2vec算法进行节点的特 征提取，得到此网络中各个节点的连续特征表示。设定向量维度为d，则网络 中节点u的向量表示为

Vec(u)＝[v₁,v₂,...,v_d],其中u∈V

用Emb(V)表示网络中所有节点的向量表示集合，表示为

本发明的核心目标是识别判定归属于同一路由器节点的匿名路由器，

本发明的核心目标是识别判定归属于同一路由器节点的匿名路由器，采取 以下步骤来完成匿名路由器的识别：

基于获得的节点的嵌入向量，使用欧式距离计算出向量间的相似度；

本实施例中，对网络中的节点n₁和n₂进行向量欧氏距离计算，计算公式表 示为：

其中，Vec(n₁),Vec(n₂)分别是网络中节点n₁,n₂的向量表示，从而得出网络中 所有匿名路由器间的向量距离。

使用K-means聚类算法，得到相似度较高的匿名路由器节点的聚类集，将 属于一个类的匿名路由器节点判定为归属于同一个匿名路由器；

本实施例中，根据匿名路由器间的向量距离，用k-means聚类算法，通过 手肘法和聚类系数发确认最优k值参数，对匿名路由器节点进行最优聚类，属 于一类的匿名路由器判定为归属于同一路由器。

根据匿名路由器归属的判定，合并归属于同一个匿名路由器的匿名路由器 节点，删除冗余的虚拟连边，修正整个网络拓扑图后完成匿名路由器识别。

本发明提供一种基于网络结构特征的匿名路由器识别方法，采用基于实值 向量的定量化的方式对匿名路由器节点间的相互关系进行描述；利用匿名路由 器向量间的欧氏距离来度量相似度，基于相似度情况来判定属于同一匿名路由 器的情况；使用聚类算法处理匿名节点，判别属于同一类簇的匿名路由器是同 一个路由器，将同一个路由器的匿名路由器节点进行融合，删去多余的边与点 以修正路由器级别拓扑图。

通过运用此方法，克服了经典图归纳方法在Traceroute探测数据对网络 节点覆盖率不足的情况下，模型匹配困难导致匿名路由器识别失效的缺点。当 探测率下降时，图归纳法的正确率也在急速下降，而本发明的方法有相对有更 好的表现，实现更高效准确的匿名路由器识别效果，提高了网络路由器级的拓 扑识别的正确率，减少了网络节点与连边的冗余。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理 解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和 实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种 不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明 的保护范围内。

Claims (8)

1.一种基于网络结构特征的匿名路由器识别方法，其特征在于，包括以下步骤：

S1、采用图嵌入表示方法挖掘网络结构特征，获取网络匿名路由器节点的连续特征表示；

S2、根据步骤S1中的匿名路由器节点的连续特征表示进行匿名路由器融合，完成匿名路由器识别。

2.如权利要求1所述的基于网络结构特征的匿名路由器识别方法，其特征在于，所述步骤S1具体为：

根据匿名路由器在网络中的连接关系，采用二阶随机游走方法获取网络节点的领域集；

再采用基于Node2Vec的图嵌入方法挖掘网络的结构特征，获取网络节点的连续特征表示，并利用Skip-gram方法为网络节点抽取特征分布。

3.如权利要求2所述的基于网络结构特征的匿名路由器识别方法，其特征在于，所述采用二阶随机游走方法获取网络节点的领域集具体为：

设定在G＝(V,E)网络中，对于源节点u，模拟固定长度l，用c_i表示游走中的第i个节点，起始节点c₀＝u，节点c_i-1走到节点c_i的概率表示为

其中，π_vx是节点v和节点x间的非归一化转移概率，Z是归一化常数。

4.如权利要求3所述的基于网络结构特征的匿名路由器识别方法，其特征在于，所述非归一化转移概率具体设置为：

π_vx＝α_pq(t,x)·w_vx

其中，表示节点v和x之间边的权值，

d_tx表示t节点到x节点最短的路径距离，且d_tx取值为{0,1,2}。

5.如权利要求2所述的基于网络结构特征的匿名路由器识别方法，其特征在于，所述利用Skip-gram方法为网络节点抽取特征分布具体为：

延伸Skip-gram结构到网络，将针对特征表示为f的节点u观测网络邻域Ns(u)的对数概率最大化，表示为

其中，V是网络中节点个数，Z_u是每个节点的分母函数，n_i是网络邻域Ns(u)中的任一节点。

6.如权利要求1所述的基于网络结构特征的匿名路由器识别方法，其特征在于，所述步骤S2具体为：

基于获得的节点的嵌入向量，使用欧式距离计算出向量间的相似度；

使用K-means聚类算法，得到相似度较高的匿名路由器节点的聚类集，将属于一个类的匿名路由器节点判定为归属于同一个匿名路由器；

根据匿名路由器归属的判定，合并归属于同一个匿名路由器的匿名路由器节点，删除冗余的虚拟连边，修正整个网络拓扑图后完成匿名路由器识别。

7.如权利要求6所述的基于网络结构特征的匿名路由器识别方法，其特征在于，所述使用欧式距离计算出向量间的相似度的计算公式表示为：

其中，Vec(n₁),Vec(n₂)分别是网络中节点n₁,n₂的向量表示。

8.如权利要求6所述的基于网络结构特征的匿名路由器识别方法，其特征在于，所述使用K-means聚类算法，得到相似度较高的匿名路由器节点的聚类集具体为：

根据匿名路由器间的向量距离，使用k-means聚类算法，通过手肘法和聚类系数法确认最优k值参数，对匿名路由器节点进行最优聚类。