CN113726659B - 一种基于最大似然的网络匿名路由器识别方法 - Google Patents

Abstract

本发明公开一种基于最大似然的网络匿名路由器识别方法，应用于互联网技术领域，针对现有技术存在的由于测量数据不完整，在测量数据对特定结构子图的寻找不完整，导致匿名路由器的识别不充分，也不准确的问题；本发明的方法不通过直接在原始网络拓扑中寻找特定子结构，而是通过图嵌入的方式将网络节点映射到高维向量空间；通过捕获匿名路由器结构上的关联性，利用最大似然估计结合聚类的思路迭代式对测量数据中的匿名路由器进行融合；由于本发明并不依赖预设特定模式，并依据最大似然理论启发式融合匿名接口，因此相比于现有方法在准确性上有很大提升。

Description

一种基于最大似然的网络匿名路由器识别方法

技术领域

本发明属于互联网技术领域，特别涉及一种网络中匿名路由器识别技术。

背景技术

随着互联网技术的飞速发展，网络规模迅猛扩增，其重要性也显著提高，当下互联网正不可或缺的影响着人类生活的各个方面。路由器级拓扑以网络中的真实设备(如路由器、交换机等)为顶点，以顶点之间的连接关系为边的几何结构，能够反映网络中真实设备之间的连接关系，因此获取网络路由器级拓扑对于优化网络设计、诊断网络故障、维护网络安全等工作的十分重要，是网络拓扑测量领域亟需解决的重要问题。

网络拓扑测量是用来恢复互联网络拓扑的重要方法，而网络结构特征分析对于网络测量以及互联网拓扑恢复也有很多积极意义。有效的网络测量对于帮助分析网络拓扑结构特征，理解网络行为，有着不可或缺的作用。目前，网络拓扑测量主要是基于traceroute机制测量获取网络的IP级拓扑信息，其基本原理是利用路由器反馈的超时网间控制报文协议的报文获取路由器接口之间的连接关系。

实际中，受安全、隐私、性能等因素的影响，网络并非所有路由器都会响应traceroute的测量，即网络中会出现部分节点没有反馈traceroute测量中的ICMP报文，这就导致无法获得这部分节点的地址信息，这些节点就称为匿名路由器。由于匿名路由器的存在，直接根据测量结果绘制互联网地图将会引入大量的虚拟节点与连边，从而造成网络冗余，严重影响网络拓扑识别，特别是路由器级的网络拓扑的准确度。

匿名路由器识别任务就是要根据原始的traceroute数据，推断测量数据中哪些匿名路由器是相同的，从而降低推断网络拓扑中的冗余节点和冗余连边，提升路由器级别网络拓扑识别精度。现有的方法主要是从原始的traceroute数据中寻找特定模式的结构，并替换成预定义的匿名接口合并后的结构。但由于网络的复杂性和测量的不完整性，导致传统方法可能无法准确恢复出路由器级拓扑。因此，针对传统方法对预定义模式和traceroute原始数据的过度依赖的问题，本发明提出一种基于最大似然估计的网络匿名路由器识别方法，能够准确地根据traceroute测量数据恢复出路由器级拓扑。

现有匿名路由器识别方法的一般思路是从traceroute测量所得拓扑中寻找具有特定模式的结构或子图，然后对相应的匿名路由器进行融合。但实际中，由于网络结构通常较为复杂，真实拓扑结构和测量拓扑结构之间的映射关系很难准确描述。同时由于测量数据不完整，在测量数据对特定结构子图的寻找不完整，导致匿名路由器的识别不充分，也不准确。

发明内容

为解决上述技术问题，本发明提出一种基于最大似然的网络匿名路由器识别方法，不依赖预设特定模式，并依据最大似然理论启发式融合匿名接口，相比于现有方法在准确性上有很大提升。

本发明采用的技术方案为：一种基于最大似然的网络匿名路由器识别方法，包括：

S1、对于网络进行traceroute探测得到原始拓扑测量序列；

S2、通过随机游走对步骤S1得到的原始拓扑测量序列进行数据增强；

S3、对步骤S2处理后的原始拓扑测量序列进行接口特征提取，得到各接口的特征向量；

S4、根据接口的特征向量，定义接口间的相似性；

S5、利用聚类算法，根据接口间的相似性进行接口的合并。

步骤S2采用广度搜索倾向的随机游走策略对步骤S1得到的原始拓扑测量序列进行数据增强。

步骤S3采用node2vec的方法提取接口的特征向量。

步骤S4中通过判断两个接口是否属于同一条traceroute路径，来定义两个接口间的相似度；若属于同一条traceroute路径，则两个接口间的相似度为0；否则采用余弦相似性计算两个接口间的相似性。

步骤S5具体为：

用I＝{I₁,I₂,…,I_M}表示网络中测量得到的所有匿名接口的集合，用一个M×M的矩阵D＝[d_i,j]表示匿名接口之间的距离，其中元素D_i,j＝d_i,j表示匿名接口I_i和I_j的距离；用M×M的二进制矩阵T＝[t_i，j]表示匿名接口之间的关系，其中t_i，j表示匿名接口I_i和I_j的关系，若t_i，j＝1，表示I_i和I_j属于同一个匿名路由器，否则不属于同一个路由器；

假设接口之间的距离两两独立，在已知T的条件下D的概率分布函数可表示为如下形式：

对上式两端取对数可得对数似然函数，表示为如下形式：

最大似然估计的目标是寻找一个T使得L(D|T)达到最大，即：

其中，C(T)是对T的约束，具体包括以下约束：

约束1：T是对称矩阵，即T＝T^T；

约束2：对任意三个接口p_i，p_j，p_k，若t_i，j＝1，t_i，k＝1，则t_j，k＝1；

采用OPTICS聚类方法进行匿名路由器识别。

本发明的有益效果：本发明的方法通过合理地提取接口特征，并在最大似然估计理论的基础上提出了一种迭代的启发式算法，能够更加准确地引导匿名接口的融合，从而得到精度更高的网络拓扑；本发明的方法具备以下优点：

1、本发明的接口特征提取基于原始的traceroute数据，后续的匿名接口合并过程，包括接口相似性统计、迭代式接口合并都是基于接口嵌入向量进一步分析处理，不需要对网络拓扑做额外的traceroute探测；

2、本发明通过将接口特征嵌入高维向量，并基于最大似然理论指导启发式接口融合，相对于依赖于特定模式的子图匹配融合的方法，精度更高；

3、本发明使用神经网络训练traceroute测量接口序列，可以处理海量数据，相比与传统方法，可应用网络规模更大，复杂度更低。

附图说明

图1为本发明的方法流程图；

图2为本发明实施例提供的基于最大似然估计的网络匿名路由器识别流程；

图3为本发明实施例提供的寻找待合并的匿名接口的示例图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图对本发明内容进一步阐释。

本发明提出的匿名路由器识别的方案如图1所示。首先对于网络进行traceroute探测得到原始拓扑测量序列作为输入，并通过随机游走实现数据增强和node2vec技术对原始traceroute探测序列进行接口特征提取，旨在将已知接口或匿名接口都映射到一个高维向量空间。其次，基于接口对应的高维空间向量，定义接口之间的相似性描述。最后，利用聚类算法，根据匿名接口之间的相似度，将相似程度较高的匿名接口聚类到同一簇中，标识这些匿名接口可以合并，从而完成最终的匿名接口融合任务。

所述接口特征提取，具体为：

接口特征提取的目标是通过神经网络训练的方法将匿名路由器的连接特征表示为固定长度的向量。本发明采用node2vec的方法对匿名路由器进行向量化表示。

利用traceroute对网络进行测量，可获得一系列以IP地址表示的路由器序列，这实际类似于在图中进行随机游走获得节点序列。因此，traceroute所得的测量结果可直接作为CBoW和Skip-gram神经网络的训练数据，通过训练得到每个IP地址的向量化表示。值得注意的是，对于匿名路由器，我们在训练过程中将其看成特殊的IP地址进行处理。由于traceroute数据中的匿名路由器是无法识别的，因此输入时将测量数据中的每个“*”都当做不同的IP地址。

在实际中，对网络的测量通常不够充分，所得测量数据可能无法满足CBoW和Skip-gram模型对训练数据量的需求。为此，我们在原始测量数据的基础上，进一步采用随机游走的方式增加数据量。方法是将原始的traceroute测量数据拼接为一个图，在这个图上进行随机游走。同时，同一匿名路由器测量所得的“*”必然具有结构一致性特征，因此我们采用广度搜索倾向的随机游走策略。随机游走所获得的数据与在原始的路由器级拓扑中随机游走获得的数据有一定倾向性，但实验表明通过随机游走方式增加测量数据引入的误差远超数据不足所引入的误差，同时可以极大的提高匿名路由器识别的稳定性。

所述接口之间的相似性，具体为：

对于两个接口I_i和I_j(I_i和I_j可以是匿名接口或非匿名接口)，我们使用v_i和v_j表示通过上一节中描述的方法提取的接口特征向量。两个接口v_i和v_j之间最简单的相似性可以定义为余弦相似性，即

其中，‖·‖为取模运算；

同时，匿名接口合并后的拓扑应满足路由协议的一般约束，其中最基础的就是匿名接口合并后的拓扑中应避免路由环路的出现，因为大多数路由协议都能确保路由环在网络中出现的概率很低。因此我们在接口特征向量余弦相似度的基础上，增加合并匿名接口后避免路由环的约束。

但是，基于traceroute测量数据搜索合并匿名接口后是否存在路由环是十分困难的。为此，本发明采用简化的约束方式——通过判断两个匿名接口是否属于同一条traceroute路径。若两个匿名接口都属于相同的traceroute路径，那么将这两个匿名接口合并必然存在路由环。因此本发明在匿名路由器识别中不会合并属于相同traceroute路径的匿名接口，这些匿名接口之间应该具有很低的相似性。为此将接口的相似性定义为如下形式

为了简化表示，可以将两个接口的距离表示为

d_i，j＝1-s_i,j (3)

匿名接口合并，具体为：

匿名路由器识别的本质是识别哪些接口属于同一个路由器，即对测量得到的匿名接口进行合并。事实上，如果我们能确定任意两个匿名接口之间的关系(属于或不属于同一路由器)，那么就可以很容易实现匿名路由器识别，因此匿名路由器识别问题实际可以简化为针对任意两个匿名接口I_i和I_j，确定这两个接口是否需要合并的问题。

根据前面对接口相似性的定义，若I_i和I_j属于同一路由器，则两者之间距离较近，反之则较远。但实际中，由于网络测量和接口嵌入表示都会引入噪声，因此上述规则不一定满足。为此，我们把I_i和I_j之间的距离d_i,j看成一个随机变量，并假设其服从高斯分布。由于I_i和I_j存在属于或不属于同一路由器两者情况，在这两种情况下d_i,j的分布是不同的。因此，如果I_i和I_j属于同一路由器，d_i,j的分布函数定义为如下形式：

如果I_i和I_j属于不同路由器，d_i,j的分布函数定义为如下形式：

其中，μ₁，μ₂和σ₁，σ₂分别表示I_i和I_j属于或不属于同一路由器两种情况下，两者之间距离的均值和方差。正如前面所述，若I_i和I_j属于同一路由器，则两者之间距离较近，反之则较远，因此μ₁和μ₂之间，以及σ₁，σ₂之间都会有较大差别(我们在实验中通过对实际数据的统计也论证了这一点)。

用I＝{I₁,I₂,…,I_M}表示网络中测量得到的所有匿名接口的集合，用一个M×M的矩阵D＝[d_i,j]表示匿名接口之间的距离，其中元素D_i,j＝d_i,j表示匿名接口I_i和I_j的距离；用M×M的二进制矩阵T＝[t_i,j]表示匿名接口之间的关系，其中t_i,j表示匿名接口I_i和I_j的关系。若t_i,j＝1，表示I_i和I_j属于同一个匿名路由器，否则不属于同一个路由器。我们需要确定哪些匿名接口隶属于同一个匿名路由器，实质是已知D的条件下确定T。

针对上述问题，可采用最大似然法进行估计。假设接口之间的距离两两独立，因此已知T的条件下D的概率分布函数可表示为如下形式：

对上式两端取对数可得对数似然函数，表示为如下形式：

最大似然估计的目标是寻找一个T使得L(D|T)达到最大，即：

其中，C(T)是对T的约束，具体表现为如下两个方面：

约束1：T是对称矩阵，即T＝T^T；上标中的T表示转置；

约束2：对任意三个接口p_i,p_j,p_k，若t_i,j＝1，t_i,k＝1，则t_j,k＝1。

约束1是显而易见的。约束2实际表明若多个接口隶属于同一路由器，则其中任意两个接口都隶属于同一路由器。

匿名路由器识别

通过求解式(7)可获得匿名路由器的识别结果。但是，由于T是一个非连续的二进制矩阵，因此求解式(7)是一个NP难的问题。针对该问题，本发明采用一种启发式的算法获得T的近似最大似然估计。

基于接口距离的定义，隶属于同一路由器的接口具有较近距离，因此识别匿名路由器最简单的思路是采用聚类的方法识别距离较近的接口。但是，现有大部分聚类方法对输入参数十分敏感，例如：聚类个数、限制聚类大小的门限等，这些参数在匿名路由器识别中对应网络中匿名路由器的个数、匿名路由器可能的接口数量。实际中如何确定上述参数是十分困难的，不恰当的参数设置可能导致无法获得好的匿名路由器识别结果。

针对上述问题，本发明基于OPTICS聚类方法进行匿名路由器识别。OPTICS与一般聚类方法不同，它不输出显式的聚类结果，而是根据样本点的空间分布输出一个样本点的排序。在OPTICS输出的样本点排序中，位置相近的样本点在空间上是相近的。本发明基于OPTICS输出的样本点排序，采用迭代的方法识别匿名路由器，并采用式(7)作为匿名路由器识别结果的质量评价指标。

质量评价指标用于后面的迭代聚类过程，在聚类时，如果加入一个备选的节点会让质量评价指标更优的话，就接受该节点加入当前聚类簇，否则拒绝。

在描述本发明方法之前，对必要的一些概念进行定义。令I＝{I₁,I₂,…,I_M}表示OPTICS输出的样本点集合，下标中的序号1,2,…,M表示对应端口的输出顺序。令D＝{D₁,D₂,…,D_M}为I中每个接口与对应核心对象的距离集合。本发明匿名接口合并算法流程如图2所示。

本发明中识别匿名路由器的思想是假设相同匿名路由器的不同接口可以被聚合到一起。因此，算法在初始化阶段假设所有匿名接口都隶属于不同匿名路由器，然后从OPTICS的输出序列中寻找潜在匿名接口聚类的起始接口。算法以迭代的方式对网络中的匿名路由器依次进行识别。在识别每个匿名路由器过程中，从最有可能被合并的匿名接口出发，在OPTICS的输出序列中进行扩展，寻找潜在可以合并的匿名接口，并利用式(7)判断匿名接口合并前后的质量。

图3展示了本发明算法合并匿名地址的示例。图中横轴表示利用OPTICS输出的匿名接口的序号，纵轴表示核心对象到匿名地址对应的可达距离。图3中加粗实线表示这些匿名地址隶属于同一路由器，我们的目标是将这些匿名地址聚类到一起。因此，算法最开始将I_v(序号v对应的匿名接口)单独作为一个聚类，然后向两端扩展将其它匿名地址加入到该聚类。图3中加粗虚线代表当前聚类R中的对象，则下一个可能被加入R的接口为I_r(因为该例子中D_r<D_l)。若加入I_r后聚类质量提升，则接受合并I_r，否则拒绝合并I_r。当算法在某一方向上找到的潜在可合并的匿名地址被拒绝，则算法不会再向该方向扩展寻找潜在可以合并的匿名地址。

直到OPTICS结果序列中的所有节点都被归属到推断的聚类簇中，就得到了网络匿名路由器合并的结果。

表1和表2，给出了本发明方法与现有的寻找特定模式的方法在不同的traceroute探测源节点数量SN、目的节点占网络总结点比例DP、匿名路由器比例AP的参数设置下，F1score的对比。其中F1 score为精确率和召回率的调和平均数。可以看出本发明的方法相比于现有方法在准确性上有很大提升。

表1 SN＝10时基于特定模式匹配和基于最大似然估计的匿名路由器识别结果

表2 SN＝20时基于特定模式匹配方法和基于最大似然估计方法的匿名路由器识别结果

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (3)

1.一种基于最大似然的网络匿名路由器识别方法，其特征在于，包括：

S1、对于网络进行traceroute探测得到原始拓扑测量序列；

S2、通过随机游走对步骤S1得到的原始拓扑测量序列进行数据增强；

S3、对步骤S2处理后的原始拓扑测量序列进行接口特征提取，得到各接口的特征向量；

S4、根据接口的特征向量，定义接口间的相似性；步骤S4中通过判断两个接口是否属于同一条traceroute路径，来定义两个接口间的相似度；若属于同一条traceroute路径，则两个接口间的相似度为0；否则采用余弦相似性计算两个接口间的相似性；

S5、利用聚类算法，根据接口间的相似性进行接口的合并；步骤S5具体为：

用I＝{I₁,I₂,…,I_M}表示网络中测量得到的所有匿名接口的集合，用一个M×M的矩阵D＝[d_i,j]表示匿名接口之间的距离，其中d_i,j表示匿名接口I_i和I_j的距离；用M×M的二进制矩阵T＝[t_i,j]表示匿名接口之间的关系，其中t_i,j表示匿名接口I_i和I_j的关系，若t_i,j＝1，表示I_i和I_j属于同一个匿名路由器，否则不属于同一个路由器；

假设接口之间的距离两两独立，在已知T的条件下D的概率分布函数可表示为如下形式：

其中，p₁(d_i,j)表示I_i和I_j属于同一路由器时d_i,j的分布函数，p₂(d_i,j)表示I_i和I_j属于不同路由器时d_i,j的分布函数；所述d_i,j的计算式为：d_i,j＝1-s_i,j，s_i,j表示匿名接口I_i和I_j的相似性；p₁(d_i,j)的计算式为：

μ₁表示I_i和I_j属于同一路由器时I_i和I_j之间距离的均值，σ₁表示I_i和I_j属于同一路由器时I_i和I_j之间距离的方差；p₂(d_i,j)的计算式为：

μ₂表示I_i和I_j不属于同一路由器时I_i和I_j之间距离的均值，σ₂表示I_i和I_j不属于同一路由器时I_i和I_j之间距离的方差；

对上式两端取对数可得对数似然函数，表示为如下形式：

最大似然估计的目标是寻找一个T使得L(D|T)达到最大，即：

其中，C(T)是对T的约束，具体包括以下约束：

约束1：T是对称矩阵，即T＝T^T；

约束2：对任意三个接口p_i,p_j,p_k，若t_i,j＝1，t_i,k＝1，则t_j,k＝1；

采用OPTICS聚类方法进行匿名路由器识别，具体包括以下步骤：

A1、初始化阶段假设所有匿名接口都隶属于不同匿名路由器，得到OPTICS排序序列；

A2、从OPTICS排序序列中选取可达距离最小的匿名接口，作为当前聚类簇的扩展起点；

A3、判断当前聚类簇是否可以继续扩展，若是则执行步骤A4，否则执行A8；

A4、寻找下一邻近的可达距离最小的匿名接口作为候选接口，接着执行步骤A5；

A5、候选接口合并到当前簇后，根据公式

评判合并指标是否更优，若是则执行步骤A6，否则执行步骤A7；

A6、合并候选节点到当前簇，可以从候选节点开始继续扩展；然后返回步骤A3；

A7、停止从该候选节点进行扩展，然后返回步骤A3；

A8、判断OPTICS排序序列中是否有未访问过的点，若有则返回步骤A2，否则结束。

2.根据权利要求1所述的一种基于最大似然的网络匿名路由器识别方法，其特征在于，步骤S2采用广度搜索倾向的随机游走策略对步骤S1得到的原始拓扑测量序列进行数据增强。

3.根据权利要求2所述的一种基于最大似然的网络匿名路由器识别方法，其特征在于，步骤S3采用node2vec的方法提取接口的特征向量。

Images