CN108011746A

CN108011746A - 基于Traceroute及SNMP协议的IP级全球互联网拓扑测绘方法

Info

Publication number: CN108011746A
Application number: CN201711007985.0A
Authority: CN
Inventors: 杨雨
Original assignee: Beijing Future Information Technology Co Ltd
Current assignee: Beijing Future Information Technology Co Ltd
Priority date: 2017-10-25
Filing date: 2017-10-25
Publication date: 2018-05-08
Anticipated expiration: 2037-10-25
Also published as: CN108011746B

Abstract

本发明涉及一种基于Traceroute及SNMP协议的IP级全球互联网拓扑测绘方法。该方法包括：1)在全球网络空间部署具备Traceroute功能的探测节点；2)在全球范围内的可路由空间，使用Traceroute工具并配合使用ICMP探针和UDP探针进行路由节点探测；3)根据步骤2)得到的探测结果生成拓扑图；4)对拓扑图中的匿名节点进行归并处理；5)利用SNMP协议推测匿名节点的信息并更新到拓扑图中，得到全球互联网网络拓扑图。本发明能够有效减少匿名节点的数量，并能够识别出某些匿名节点的真实信息，同时还能对拓扑图做出进一步的扩充和加强，使拓扑图更接近于实际情况。

Description

基于Traceroute及SNMP协议的IP级全球互联网拓扑测绘方法

技术领域

本发明属于信息技术领域，涉及互联网拓扑测绘方法，具体涉及一种基于Traceroute及SNMP协议的IP级全球互联网拓扑测绘方法。

背景技术

网络拓扑测绘是当今网络化战争中极其重要的基础组成部分，它是现阶段其他各种网络研究的根基，因此研究网络拓扑测绘技术具有关键意义。Traceroute是一种网络工具，用来检测发出数据包的主机到目标主机之间所经过的网关数量。基于Traceroute的拓扑测绘在大多时候都能得到令人满意的结果，但其关键难度在于复杂的网络中有相当数量的非协作节点(匿名节点)，通常表现为对方不回复ICMP(Internet Control MessageProtocol，Internet控制报文协议)应答报文或将其丢弃，给拓扑测绘工作带来极大的不准确性和冗余信息。

ICMP是TCP/IP协议族的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这些控制消息虽然并不传输用户数据，但是对于用户数据的传递起着重要的作用。利用Traceroute获取主机到目标主机之间的路由路径时，由于某些路由器节点的网络管理员对其进行了特殊配置，无法获取到其本应返回的ICMP应答报文，因而该跳IP地址未知，显示为*，称之为非协作节点(匿名节点)。

在全球网络拓扑测绘相关的领域中，传统的网络拓扑识别方法大多是纯粹基于SNMP(Simple Network Management Protocol，简单网络管理协议)协议的网络拓扑构建方法。SNMP是Internet协议族的一部分，该协议能够支持网络管理系统，用以监测连接到网络上的设备是否有任何引起管理上关注的情况。它由一组网络管理的标准组成，包含一个应用层协议(application layer protocol)、数据库模型(database schema)和一组数据对象。基于SNMP协议的网络拓扑构建方法尤为针对局域网，拓扑构建者往往对网络内部所有主机、路由节点享有完整的控制权，可以完整建立SNMP网络管理运行的环境，在此基础之上，自然可以很容易地在每个网络节点上设置管理信息库(即MIB，网络中被管理的每一个设备都存在一个管理信息库用于收集并储存管理信息)，并使用网络管理进程通过应用层协议对SNMP管理信息库进行访问，从而推算、绘制出完整的网络拓扑图。还有一种方案则是是基于ICMP协议的网络诊断程序以及相关的TCP/IP协议、ARP等，主要利用ICMP探测包，如Ping、Traceroute程序，根据目标主机及沿途主机返回的ICMP应答报文来推测网络拓扑情况。

然而上述的方案中，前者适用范围过小，条件过于苛刻，并不适用于全球互联网的拓扑测绘，因为互联网规模十分庞大，没有权限对每个路由节点进行SNMP管理信息库的访问。而对于第二个方案，随着网络规模的不断扩大和对安全性的要求越来越高，节点间的协作变得越来越困难，Traceroute路径中出现的匿名节点数量越来越多，如在Traceroute过程中出现的众多路由节点中，可能出现五种不同表现的节点：

1.正常回复ICMP应答报文，称之为协作路由节点。这种节点在网络空间中是占大多数的。

2.回复ICMP报文，但由于该路由节点配置错误，导致其IP显示为私有地址，即IP地址落在10.0.0.0/8、172.16.0.0/12、192.168.0.0/16等网段。

3.在轻载时返回ICMP报文。

4.不回复ICMP应答报文，称之为匿名节点。在Traceroute结果中体现为***，这种情况下，只知道这个地方有一跳，但不能知道关于它的任何有效信息。

5.丢弃ICMP应答报文。在这种情况下，这个节点以及其后的链路讲都变得不可测量。在Traceroute结果中体现为从某个节点往后都是***。

由此导致由Traceroute无法直接生成有效的网络拓扑结构，因其十分冗余，并不能反应网络的真实情况。

发明内容

本发明针对上述问题，提供一种基于Traceroute及SNMP协议的IP级全球互联网拓扑测绘方法。该方法以Traceroute和SNMP协议为根基，配合使用ICMP和UDP探针以获取尽可能全面的路由信息，并设计匿名节点归并算法，将网络中的非协作节点以较为可靠的方式还原出来，最终生成准确度较高的IP级拓扑图。

本发明采用的技术方案如下：

一种基于Traceroute及SNMP协议的IP级全球互联网拓扑测绘方法，其步骤包括：

1)在全球网络空间部署具备Traceroute功能的探测节点；

2)在全球范围内的可路由空间，使用Traceroute工具并配合使用ICMP探针和UDP探针进行路由节点探测；

3)根据步骤2)得到的探测结果生成拓扑图；

4)对拓扑图中的匿名节点进行归并处理；

5)利用SNMP协议推测匿名节点的信息并更新到拓扑图中，得到全球互联网网络拓扑图。

进一步地，步骤1)在全球网络空间部署尽量多且地理位置分散的具备Traceroute功能的探测节点。

进一步地，步骤2)将全球范围内的可路由空间其划分为许多个C段，每个C段内随机选取一个IP地址作为目的主机。

进一步地，步骤2)首先使用ICMP探针进行探测，若结果中出现匿名节点，则再使用UDP探针进行补充探测，然后合并二者的探测结果。

进一步地，步骤3)将步骤2)得到的探测结果进行存储，使用图数据库制作成有向拓扑图，并针对每个IP节点额外记录其探测源及对应跳数。

进一步地，在步骤4)采用以下策略进行匿名节点的归并处理：

a)父节点相同且子节点相同的匿名节点，可归并为一个节点；

b)同探测源、同父节点或者子节点，可归并为一个节点；

c)同探测源、私网IP相同、跳数相同，则可归并为一个节点；

d)不同探测源、私网IP相同、同父节点或子节点，则可归并为一个节点。

进一步地，步骤5)从SNMP的MIB数据库中递归获取下一跳路由地址。

本发明的有益效果如下：

本发明提供了一种基于ICMP和UDP探针的结合、Traceroute与SNMP协议的结合的拓扑测绘方法。利用上述方案中的步骤2)，能够有效减少匿名节点的数量，使据此得到的初步拓扑图尽量简洁准确；通过步骤4)的处理，能够进一步减少匿名节点的数量，减小拓扑图的冗余情况；再者通过步骤5)，则有可能识别出某些匿名节点的真实信息，同时还能对拓扑图做出进一步的扩充和加强，使拓扑图更接近于实际情况。

附图说明

图1是本发明方法的步骤流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面通过具体实施例和附图，对本发明做进一步详细说明。

本发明的核心构思是：针对SNMP协议适用范围仅限于小规模网络的拓扑测绘以及基于Traceroute等网络工具中大量出现的匿名节点以致拓扑结构冗余的缺陷，本发明提出结合优化后的Traceroute方法及SNMP协议，并设计可靠的匿名节点归并算法，将网络中的非协作节点以较为可靠的方式还原出来，最终生成准确度较高的IP级拓扑图。

经过对Traceroute实现机制的分析，本发明发现Traceroute一般会使用两种发包方式：

a)在windows下默认行为是发送ICMP探针，称为ICMP Traceroute；

b)unix-like系统下发送UDP(User Datagram Protocol，用户数据报协议)探针，称为UDP Traceroute。

对于ICMP Traceroute，全部收发报文过程中会涉及ICMP Echo Request、ICMPEcho Reply以及ICMP TTL-expired三种报文：ICMP Echo Request由探测源节点发出，其TTL(Time To Live，生存时间)值由1开始逐渐递增至30；中间的路由节点收到ICMP EchoRequest报文，当该报文TTL为1时，返回ICMP TTL-expired(ICMP type 11)通知源节点；最后的目的主机收到ICMP Echo Request，返回ICMP Echo Reply报文。因此，中间任何一个路由节点如果丢弃了ICMP Echo Request报文，那么该ICMP Echo Request就永远不会到达它之后的节点，在Traceroute的结果上表现为某跳之后全为***；如果有任何一个节点丢弃了ICMP类型为11的TTL-expired报文，那么它之后的路由节点即使返回Echo Reply，也不会被源节点收到，因此在Traceroute结果上的表现为某跳之后全为***，但终点可以被看到；如果ICMP Echo Reply被过滤，则中间节点全部可见，而终点不可见，显示为***。

对于UDP Traceroute，全部收发报文过程中会涉及ICMP TTL-expired、ICMP portunreachable(type 3，code 3)、UDP报文(端口号大于32768)。探测源节点发出UDP报文，目的端口默认从33434开始随发出报文数量依次递增，直至33463，同时TTL值从1开始依次递增，直至30(这意味着针对每个目的地址，会发出最多30个探针，但该值可配置)；中间的路由节点发现收到的UDP报文TTL值为1时，返回ICMP TTL-expired报文通知源节点；最后目的节点返回ICMP port unreachable报文。其中任何一种类型的数据报被过滤掉，也会导致不同数量的匿名节点出现。

因此，在Traceroute过程中配合使用ICMP和UDP两种探针，首先发出ICMP报文，当ICMP Traceroute结果中出现匿名节点时，则进一步使用UDP Traceroute进行补充，合并二者结果，能有效减少匿名节点的出现。

除了以上在扫描源头上减少匿名节点出现的策略以外，在尽可能得出详细、完整的探测结果之后，还需按照一定的策略进行匿名节点的归并，以尽可能消除冗余，得到更精简的拓扑图。

最后，针对以上得到的拓扑图，找出其中连接度较高的匿名节点或者普通节点，对其父节点、子节点进行扫描，对开启了SNMP服务且无可靠鉴权的节点进行SNMP探测，尽可能推测出匿名节点的信息，同时扩充现有拓扑数据。

综合以上调查结果，本发明提出的网络拓扑测绘方法的实现流程如图1所示，包括以下步骤：

1)在全球网络空间部署尽量多且地理位置分散的具备Traceroute功能的探测节点(每个探测节点可以是一台具备Traceroute功能的计算机节点)。

2)获取全球范围内的可路由空间，并将其划分为许多个C段，每个C段内随机选取一个IP地址作为目的主机，使用Traceroute工具，配合使用ICMP和UDP探针进行探测：先使用ICMP探针，若结果中出现匿名节点，则再使用UDP探针进行补充，合并二者结果。

3)将上述步骤得到的数据(即步骤2)得到的路由节点)进行存储，使用图数据库Neo4j制作成有向拓扑图，针对每个IP节点额外记录其探测源及对应跳数。

4)在步骤3)中生成的有向拓扑图中进行匿名节点归并，策略如下：

b)同探测源、同父节点或者子节点，可归并为一个节点；

c)同探测源、私网IP相同、跳数相同，则可归并为一个节点；

5)针对步骤4)得到的结果，取图中度数(degree，与节点相关联的总边数)相对很高的匿名节点(例如选出度数为Top 1000的节点)，对其进行SNMP服务扫描。由于拓扑测绘关注具备路由功能的节点而非普通主机，因此这里进一步对能获取到MIB信息的节点(假设其中一个节点为A)进行三层交换机/路由器的发现(三层交换机具备路由功能)：

a)通过ipRouteTable获取A节点的路由表，将A的下一跳地址放入一个临时列表中，记为routeList，并将这个临时列表中的节点依次入库(该库是指步骤3)所述的图数据库)，记录其上一跳地址为A；其中ipRouteTable是MIB表中的一个节点，内容包括路由类型、下一跳地址；

b)遍历routeList中的节点，对其中每个节点进行以下步骤直至routeList为空：

i.将当前节点的IP从routeList中移除；

ii.尝试获取当前节点的MIB信息，如果获取失败，进行下一次循环(即回到步骤i进行对下一节点的操作)；如果获取成功，则根据其MIB表中的ipForwarding参数是否为1来判断其是否为三层设备(ipForwarding参数标识当前节点是否作为一个网关进行数据包转发，当值为1时转发)，若ipForwarding不为1，则意味着它不是三层设备，此时进入下一次循环；

iii.若该节点(记为B)是三层设备，则获取其路由表，将下一跳地址增加到routeList中，这些下一跳地址依次入库，记录其上一跳地址(假设标记其为B)，进行下一次循环；

c)此时routeList为空，结束节点A的拓扑完善过程。

6)根据5)中所得拓扑，推测出4)中匿名节点的具体信息更新到拓扑图中，以及扩充现有拓扑图。

7)最终，得到较为丰富、准确的全球互联网网络拓扑图。

本发明中，ICMP和UDP探针的具体使用顺序和策略可以有所不同，关键在于二者配合使用；匿名节点的具体归并策略也可以根据对准确性的需求不同而有所变形。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims

1.一种基于Traceroute及SNMP协议的IP级全球互联网拓扑测绘方法，其步骤包括：

1)在全球网络空间部署具备Traceroute功能的探测节点；

3)根据步骤2)得到的探测结果生成拓扑图；

4)对拓扑图中的匿名节点进行归并处理；

2.如权利要求1所述的方法，其特征在于，步骤1)在全球网络空间部署尽量多且地理位置分散的具备Traceroute功能的探测节点。

3.如权利要求1所述的方法，其特征在于，步骤2)将全球范围内的可路由空间其划分为许多个C段，每个C段内随机选取一个IP地址作为目的主机。

4.如权利要求1所述的方法，其特征在于，步骤2)首先使用ICMP探针进行探测，若结果中出现匿名节点，则再使用UDP探针进行补充探测，然后合并二者的探测结果。

5.如权利要求1所述的方法，其特征在于，步骤3)将步骤2)得到的探测结果进行存储，使用图数据库制作成有向拓扑图，并针对每个IP节点额外记录其探测源及对应跳数。

6.如权利要求1所述的方法，其特征在于，在步骤4)采用以下策略进行匿名节点的归并处理：

b)同探测源、同父节点或者子节点，可归并为一个节点；

c)同探测源、私网IP相同、跳数相同，则可归并为一个节点；

7.如权利要求1所述的方法，其特征在于，步骤5)从SNMP的MIB数据库中递归获取下一跳路由地址。

8.如权利要求7所述的方法，其特征在于，步骤5)对能获取到MIB信息的节点进行三层交换机的发现，其步骤包括：

a)设能获取到MIB信息的节点中的其中一个节点为A，通过ipRouteTable获取A节点的路由表，将A的下一跳地址放入一个临时列表中，记为routeList，并将routeList中的节点依次加入图数据库，记录其上一跳地址为A；

i.将当前节点的IP从routeList中移除；

ii.尝试获取当前节点的MIB信息，如果获取失败，进行下一次循环；如果获取成功，则根据其MIB表中的ipForwarding参数是否为1来判断其是否为三层设备，若ipForwarding不为1，则意味着它不是三层设备，此时进入下一次循环；

iii.若该节点是三层设备，则获取其路由表，将下一跳地址增加到routeList中，这些下一跳地址依次加入图数据库，记录其上一跳地址，进行下一次循环；

c)routeList为空时，结束节点A的拓扑完善过程。