CN112422321B

CN112422321B - 一种基于梯度引导的高效网络拓扑探测方法

Info

Publication number: CN112422321B
Application number: CN202011170800.XA
Authority: CN
Inventors: 费高雷; 李天博; 胡光岷
Original assignee: University of Electronic Science and Technology of China
Current assignee: University of Electronic Science and Technology of China
Priority date: 2020-10-28
Filing date: 2020-10-28
Publication date: 2022-02-22
Anticipated expiration: 2040-10-28
Also published as: CN112422321A

Abstract

本发明公开一种基于梯度引导的高效网络拓扑探测方法，应用于网络拓扑探测技术领域，针对现有技术所探测到的网络中节点的覆盖率不理想的问题，本发明首先从待探测网段中随机选取一些IP作为初始IP，对其进行Traceroute探测，利用探测到的目的IP与途径覆盖IP的映射关系训练神经网络，接着计算神经网络对于输入IP的梯度，基于梯度指导IP进行突变产生新的IP地址，并迭代上述过程。利用该方法测量得到的目的IP进行Traceroute，计算最终的点覆盖率，能够探测到更多的IP地址，覆盖更大的网络结构，估计出更为完整的网络拓扑。

Description

一种基于梯度引导的高效网络拓扑探测方法

技术领域

本发明属于互联网领域，特别涉及一种网络拓扑探测技术。

背景技术

在信息时代的21世纪，随着互联网技术的飞速发展，网络规模迅猛扩增，当下互联网正不可或缺的影响着人类生活的各个方面。2018年8月发布的《中国互联网络发展状况统计报告》数据，表示出互联网现在已经深刻的改变了人类的生活，为了更好的监控，管理和建设互联网络，了解网络拓扑，发掘网络的结构特征以及分析网络的行为表现等也变得愈发重要。

当前互联网的规模不断扩大，网络的构造随之变得极为复杂，对于网络的了解也因此变得困难。为了保证网络系统能够正确可靠的运行，网络管理者需要有效的网络管理方法的支持，对网络的结构，状态和性能等特征实施监控，因此，对网络拓扑结构的探测是极为重要的。

网络拓扑探测是用于获得网络结构的新兴方法。网络拓扑测量的过程主要有两个环节，即网络拓扑信息数据收集与网络拓扑结构恢复。根据使用的探测方式是否需要网络内部节点协作的区别，网络拓扑识别又可分为两种类型，需要网络内部节点协作的识别方法称为传统网络拓扑识别方法，该方法利用网络协议自身的特性，通过被动接收或主动探测的方式获得包含网络拓扑信息的报文，再根据报文中携带的信息识别网络拓扑；不需要网络内部节点协作的识别方法称为网络层析成像拓扑识别方法，该方法在网络边缘的可控节点之间互相收发探测报文，分析报文在端到端传播过程中产生的特征数据，并以此推测网络拓扑的逻辑结构。

然而，当使用上述手段探测网络结构时，通常需要随机的选取网络中的IP地址进行探测。然而，这种方法效率很低，其局限性在于：由于网络地址空间过大，网络IP的分布在一些区域是稀疏的，而在另外一些区域是稠密的，通过随机选择IP地址进行测量，所覆盖到的区域可能很小，定义在探测中探测到的网络中的节点占所有的节点的比例为点覆盖率，得到的点覆盖率结果不是很理想。

相关的现有技术如下：

1、Traceroute技术

现实世界中的网络是由无数的计算机和路由器组成的一张的大网，应用的数据包在发送到服务器之前都要经过层层的路由转发。而Traceroute是一种常规的网络分析方法，用来定位到目标主机之间的所有路由器。

Traceroute命令利用ICMP协议定位你的计算机和目标计算机之间的所有路由器，它可以让我们看到IP数据报从一台主机传到另一台主机所经过的路由。尽管不能保证从源端发往目的端的两份连续的IP数据报具有相同的路由，但是大多数情况下是一样的。

Traceroute收到目的主机的IP后，首先给目的主机发送一个TTL＝1的UDP数据包，而经过的第一个路由器收到这个数据包以后，就自动把TTL减1，而TTL变为0以后，路由器就把这个包给抛弃了，并同时产生一个主机不可达的ICMP数据报给主机。主机收到这个数据报以后，记录下发送该数据报节点的IP，再发一个TTL＝2的UDP数据报给目的主机，然后刺激第二个路由器给主机发ICMP数据报。如此往复直到到达目的主机。这样，Traceroute 就得到了所有的路由器IP。

2、网络拓扑探测方法

在现有的网络拓扑探测技术中，探测网络的拓扑主要是基于随机的探测，即随机选取出目标IP网段的一些IP，并进行Traceroute探测，通过分析Traceroute的结果，将IP地址的信息转换为网络中路由器节点的信息，进而估计网络的拓扑结构。然而，由于网络结构是复杂且随机的，网络地址的分配也并不是均匀的，实际表现为有些IP网段的地址较为集中分布，而有些IP网段的地址较为稀疏。因此，随机探测方案的缺点就是，当我们选取很多IP 地址进行Traceroute探测的时候，仅仅能探测出很少的路由器节点，因此会浪费了大量的资源。只有找到能探测出更多路由器节点的IP，再对其进行Traceroute探测，才能解决随机探测方案效率低资源消耗过大的问题。

3、神经网络模型的搭建

在机器学习和相关领域，人工神经网络的计算模型灵感来自动物的中枢神经系统(尤其是脑)，并且被用于估计或可以依赖于大量的输入和一般的未知近似函数。人工神经网络通常呈现为相互连接的“神经元”，它可以从输入的计算值，并且能够机器学习以及模式识别由于它们的自适应性质的系统。神经网络可以用来解决分类问题。

4、基于梯度引导的突变策略

基于梯度引导的突变策略原用于解决漏洞检测问题。采用完全随机产生的输入去探测程序，很难完全的发现程序中存在的漏洞，这是因为程序中的很多边界值条件较难触发。而基于梯度引导的突变策略通过计算最初随机输入的梯度，并根据该梯度指导随机输入产生突变的方向，产生出具有更多新特征的输入，因此可以触发更多的漏洞，达到高效检测漏洞的效果。

发明内容

针对上述问题，本发明提出了一种基于梯度引导的高效网络拓扑探测方法；该方法初始随机选取一些IP地址进行探测，并通过搭建神经网络获取网络的结构特征，并利用其梯度对初始IP进行突变，高效的找到能够探测到更多区域的目的IP地址，达到更好的探测效果。

本发明采用的技术方案为：一种基于梯度引导的高效网络拓扑探测方法，包括：

S1、随机从待探测地址空间中选取少量的IP地址进行初始探测；得到目标IP和对应探测到的IP分类；

S2、根据目标IP和对应探测到的IP分类，构建训练集；

S3、构建神经网络模型；

S4、采用步骤S2的训练集对步骤S3的神经网络模型进行训练；

S5、根据神经网络模型的梯度信息，进行突变产生新的目标IP；

S6、若总的目标IP数量小于设定阈值，则将对步骤S5中的新的目标IP进行探测，得到的目标IP和探测到的IP分类的映射关系加入步骤S2中的训练集；否则得到最终的目的IP集合。

步骤S1中的IP分类数根据IP地址空间的大小确定，所述IP分类数大于或等于1小于或等于所有的IP数量。

所述神经网络模型包括四层，第一层位输入层，用于输入目标IP和对应探测到的IP 分类；第二层与第三层位隐藏层；第四层为输出层，输出元的个数等于步骤S1中的IP分类数。

步骤S3所述的神经网络模型采用二元交叉熵函数构建损失函数。

步骤S4所述训练过程为：

A1、将训练集数据输入到神经网络模型的输入层，经过隐藏层，最后达到输出层并输出结果；

A2、计算输出结果与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；

A3、在反向传播的过程中，根据误差调整神经网络的参数值，返回步骤A1，直至收敛。

本发明的有益效果：本发明的方法通过分析基于梯度引导的突变策略和随机选取的策略Traceroute后所获得的探测结果，可以得到基于梯度引导的突变策略所获得的点覆盖率远远高于随机选取策略所获得点覆盖率，在探测相同数量目标IP地址的前提条件下，能获得更多的探测结果(探测得到更多未知的IP地址和链路)。

附图说明

图1为本发明的方案流程图；

图2为本发明实施例提供的神经网络模型示意图；

图3为采用本发明的方法的探测结果与现有技术的探测结果的对比图。

具体实施方式

现有的网络拓扑探测方案通过随机选取IP地址进行网络探测，因此不可避免的出现了效率低，探测效果差的问题。本发明提出基于梯度引导的网络拓扑探测方法，首先从待探测网段中随机选取一些IP作为初始IP，对其进行Traceroute探测，利用探测到的目的IP与途径覆盖IP的映射关系训练神经网络，接着计算神经网络对于输入IP的梯度，基于梯度指导 IP进行突变产生新的IP地址，并迭代上述过程。利用该方法测量得到的目的IP进行Traceroute，计算最终的点覆盖率，能够探测到更多的IP地址，覆盖更大的网络结构，估计出更为完整的网络拓扑。

如图1所示，本发明的方法包括以下步骤：

1、初始探测

对于待探测的地址空间D，首先随机从D中选取少量的IP地址D₁＝{d₁,d₂,d₃,…,d_n}，其中n为所选择的IP地址数量。我们对初始选取的地址空间D₁进行Traceroute探测，对于D₁中的每一个地址d_i，我们都可以获得从源到目的d_i的路径的集合，用 P_i＝{p₁,p₂,p₃,…,p_m}来表示。其中，p₁,p₂,p₃,…,p_m表示Traceroute经过的每一个节点的IP 信息。我们将整个IP地址空间D分为k类，记为M＝{m₁,m₂,m₃,…,m_k}。例如，我们需要对IP地址空间为[100.0.0.0-100.0.10.255]的网络进行探测，那么对该IP地址空间进行划分的一种方案可表示为如表1所示，其中k＝10。对于不同大小的IP地址空间，我们的k可以根据探测的地址空间D的大小来确定，最大取值为1～x，其中x为所有的IP数量(在极端情况下，可以每一个IP作为一类)。

表1一种可能的分配方案

100.0.0.0～255
	100.0.1.0～255
100.0.2.0～255
	…
…
	100.0.9.0～255
100.0.10.0～255

初始探测时选取的少量IP地址数量远小于待探测IP地址总数的1％，本实施例中以IP 地址空间为[100.0.0.0-100.0.10.255]的网络为例，初始时，随机选取100个IP地址。

我们的目的是为了探测到更多的网络结构，因此需要找到那些通过Traceroute能探测到更多区域的IP地址，利用神经网络来实现。

2、神经网络的搭建

在初始探测的基础上，我们用神经网络模型构建探测IP地址和IP分类的映射关系。我们的目标是找到那些能够探测到D中更多的地址空间的目的IP地址，为此利用神经网络来完成该任务。

我们将对神经网络进行训练，该神经网络的输入样本为通过初始探测得到的目的IP (输入)和探测到的IP分类(输出)的映射关系。利用二元交叉熵函数来构建损失函数。它的目标是找到输入IP与探测结果所探测到的区域之间的映射关系。

搭建探测目标IP和探测分类结果映射关系的神经网络，我们使用普通的NN网络来搭建神经网络模型。模型的示意图如图2所示：

该神经网络采用四层结构，第一层为输入层，用于输入目标IP地址和探测到的IP地址所属的地址空间D_n。由于IP地址通常用如[x.y.z.v]的点分十进制形式表示，因此输入层的输入X为IP地址的每一位。输入Y为一组形如Y＝{y₁,y₂,y₃,…,y_k}的向量，其中，向目的IP进行Traceroute所得到探测IP中，如果探测到了分类m_k中的对应IP，则在Y向量中， y_k＝1，否则y_k＝0。

[x.y.z.v]为IP地址的表示形式，比如IP地址为192.168.1.1。

第二层和第三层是隐藏层，在我们的神经网络中分别采用了1024和2048个神经元(实际中，可以根据探测的规模进行修正)。

第四层是输出层，共有k个输出元，其中k为整个IP地址空间所划分的分类数，第j个输出p_j代表着该目的IP能覆盖第j类的概率，我们可以得到一组向量，该组向量表示了对于目的IP，所能探测到每一类的概率。

在我们的发明中，我们以二元交叉熵作为损失函数训练分类模型，其具体的公式如下：

其中，n表示目标地址，y_i表示每个目的IP地址通过探测得到的IP是否触发地址空间 D中的每个分类(探测到即为1，未探测到即为0)，而f_i(x,θ)表示每个IP地址在训练出的模型中所预测出的能够探测到的地址空间D中的每个分类的概率。

3、反向传播算法

我们使用反向传播算法训练我们的神经网络，其主要步骤如下：

(1)将训练集数据输入到NN的输入层，经过隐藏层，最后达到输出层并输出结果，这是NN的前向传播过程；

(2)由于NN的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；

(3)在反向传播的过程中，根据误差调整神经网络各种参数的值，不断迭代上述过程，直至收敛。

对于

首先将θ随机初始化，为了最小化交叉熵代价函数，用参数θ对交叉熵L求导，在得到θ对应的梯度后，按梯度的反方向更新参数θ(即减去梯度的值)，公式为

其中η为学习率。

4、基于梯度引导的IP地址突变策略

我们尝试找到那些通过Traceroute能够探测到更多地址空间的IP。我们通过对初始IP 进行突变来产生新的IP。采用随机突变的方式可以产生一些IP，然而这种产生方式并不能保证产生的目的IP能够探测更多的地址空间，因此是低效的。我们引入了基于梯度引导的策略去指导IP地址的突变过程。

对于输出层y_i＝f_i(x,θ)，x_i为输入，y_i表示的是系统的预测值，θ为权重参数。我们使用梯度

来表示模型对于输入x的梯度信息。

所得到的梯度信息，就代表了IP地址相对于地址空间分类的维度特征。IP中每一位的梯度值越大，就表明了对该位进行突变后产生的新的目标IP，更可能在探测过程中探测到新的地址空间。因而我们选择突变该位获得的新的IP地址，并对其进行Traceroute。即选择IP地址[x.y.z.v]中突变梯度最大的一位，进行突变后产生新的目标IP。

由梯度信息指导下一步IP地址的突变，并根据梯度的正负指导IP地址突变的方向。在我们确定了梯度突变的位以及突变的方向后，我们尝试在该位上根据突变方向加上或减去一个随机值，由此产生一些新的IP地址。我们对这些新的IP地址进行Traceroute并将这些信息作为新的输入来更新我们的训练集，训练神经网络模型。

5、反馈更新过程

由于初始选择的IP较少，如果仅仅以一次Traceroute获得的信息所训练的神经网络来指导突变IP，不能获得完整的信息，无法有效的进行IP地址突变。因此，在我们经过突变产生新的IP后，需要对这些新的IP作为目的IP再次进行Traceroute。

在获得Traceroute信息后，需要对训练集进行更新。我们将新的输入IP以及对应的探测到地址空间信息分别加入到训练集中进行训练，并更新神经网络模型。迭代进行步骤2-4的过程，直到产生我们预设的目标数量的IP地址。作为对比，随机策略将随机选取目标数量的IP地址进行探测。

6、点覆盖率的计算

通过在步骤1-5的计算，我们得到了最终的IP集合。将这些IP作为目标IP进行traceoute，并将其中经过的中间IP的节点提取出来，采用本发明的方法计算本次探测所覆盖到的点占整个IP地址段的比例，得到点覆盖率，如图3所示，实线为采用本发明的方法的探测结果，虚线为现有技术的探测结果；根据图3所示，可以看出，采用相同的IP，本发明的方法能探测得到更多的分组。

显然优于现有的方法表征了本次探测覆盖网络的好坏情况。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims

1.一种基于梯度引导的高效网络拓扑探测方法，其特征在于，包括：

S1、随机从待探测地址空间中选取少量的IP地址进行初始探测；得到目标IP和对应探测到的IP分类；步骤S1中的IP分类数根据IP地址空间的大小确定，所述IP分类数大于或等于1小于或等于所有的IP数量；

S2、根据目标IP和对应探测到的IP分类，构建训练集；

S3、构建神经网络模型；

S4、采用步骤S2的训练集对步骤S3的神经网络模型进行训练；

2.根据权利要求1所述的一种基于梯度引导的高效网络拓扑探测方法，其特征在于，所述神经网络模型包括四层，第一层位输入层，用于输入目标IP和对应探测到的IP分类；第二层与第三层位隐藏层；第四层为输出层，输出元的个数等于步骤S1中的IP分类数。

3.根据权利要求2所述的一种基于梯度引导的高效网络拓扑探测方法，其特征在于，步骤S3所述的神经网络模型采用二元交叉熵函数构建损失函数。

4.根据权利要求1所述的一种基于梯度引导的高效网络拓扑探测方法，其特征在于，步骤S4所述训练的过程为：

5.根据权利要求4所述的一种基于梯度引导的高效网络拓扑探测方法，其特征在于，所述输入层的输入为IP地址的每一位。

6.根据权利要求5所述的一种基于梯度引导的高效网络拓扑探测方法，其特征在于，步骤S5具体为：根据IP地址中每一位的梯度值，得到梯度值最大的一位，确定该位突变的方向后，在该位上根据突变方向加上或减去一个随机值，由此产生新的IP地址。