CN110661807A - IPv6地址的自动化采集方法及装置 - Google Patents

IPv6地址的自动化采集方法及装置 Download PDF

Info

Publication number
CN110661807A
CN110661807A CN201910945473.1A CN201910945473A CN110661807A CN 110661807 A CN110661807 A CN 110661807A CN 201910945473 A CN201910945473 A CN 201910945473A CN 110661807 A CN110661807 A CN 110661807A
Authority
CN
China
Prior art keywords
time period
preset time
netflow
ipv6 address
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910945473.1A
Other languages
English (en)
Inventor
李国辉
武浩
禹庆华
李斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netshen Information Technology (beijing) Co Ltd
Qianxin Technology Group Co Ltd
Secworld Information Technology Beijing Co Ltd
Original Assignee
Netshen Information Technology (beijing) Co Ltd
Qianxin Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netshen Information Technology (beijing) Co Ltd, Qianxin Technology Group Co Ltd filed Critical Netshen Information Technology (beijing) Co Ltd
Priority to CN201910945473.1A priority Critical patent/CN110661807A/zh
Publication of CN110661807A publication Critical patent/CN110661807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22Parsing or analysis of headers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00Packet switching elements
    • H04L49/20Support for services
    • H04L49/208Port mirroring
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2101/00Indexing scheme associated with group H04L61/00
    • H04L2101/60Types of network addresses
    • H04L2101/618Details of network addresses
    • H04L2101/659Internet protocol version 6 [IPv6] addresses

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种IPv6地址的自动化采集方法及装置,其中,方法包括:每隔预设时间段,采集所述预设时间段内的网络流量数据;从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。本发明实施例能够提高收集网络中实际存活的IPv6地址的效率,成本低,准确率高。

Description

IPv6地址的自动化采集方法及装置
技术领域
本发明涉及计算机技术领域,尤其涉及一种IPv6地址的自动化采集方法及装置。
背景技术
IPv6(互联网通信协议第6版)是互联网工程任务组IETF设计的用于替代IPv4(互联网通信协议第4版)的下一代网络之间互连的协议,其地址数量号称可以为全世界的每一粒沙子编上一个地址。由于IPv4最大的问题在于网络地址资源有限,严重制约了互联网的应用和发展,IPv6的使用,不仅能解决网络地址资源数量的问题,而且也解决了多种接入设备连入互联网的障碍。
目前,对于IPv6的理论研究和工程探索较少。因此,现有技术中对于IPv6地址数据收集的方法主要依靠人工统计方式,对于收集到的IPv6地址存活准确率的衡量也主要依靠人工统计方式。人工统计方式是最原始的资产探测方法。为了便于资产的管理,通过人工统计定期地组织IPv6资产普查,并利用一些软件(如Excel、Spiceworks等)进行辅助记录。
但是,现有技术的人工统计方式需要耗费大量的人力资源和时间,时效性差,无法及时发现一些恶意接入的网络资产。同时,IPv6的地址数量远远大于IPv4地址的数量,这种以人工方式收集数据和衡量数据准确率的方法存在效率低下的问题。
发明内容
针对现有技术存在的问题,本发明实施例提供一种IPv6地址的自动化采集方法及装置。
本发明实施例提供一种IPv6地址的自动化采集方法,包括:
每隔预设时间段,采集所述预设时间段内的网络流量数据;
从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;
将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
可选地,所述每隔预设时间段,采集所述预设时间段内的网络流量数据,包括:
每隔预设时间段,利用流量镜像技术和/或Netflow技术,采集所述预设时间段内的网络流量数据。
可选地,每隔预设时间段,利用流量镜像技术,采集所述预设时间段内的网络流量数据,包括:
每隔预设时间段,通过目标端口采集所述预设时间段内的网络流量数据,其中,流量镜像技术将源设备的至少一个源端口的网络流量数据远程镜像到目的设备的一个目标端口,所述源设备和所述目的设备均为交换机或路由器。
可选地,每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据,包括:
每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据,所述Netflow网络流量数据是具有Netflow功能的路由器以预设采样比、在所述预设时间段内抓取Netflow网络流量数据后、发送给所述Netflow数据采集器的。
可选地,具有Netflow功能的路由器所抓取的Netflow网络流量数据,是以UDP报文的形式发送给所述Netflow数据采集器的;
其中,每个UDP报文包含一个Netflow报文和最多预设数量条流记录;
每条流记录中的字段信息,包括:数据报文的源IP地址、目的IP地址、下一跳地址、源端口、目的端口、服务类型TOS、协议类型、TCP标志位、流中的数据包数、流中的总字节数、流记录的起始时间和结束时间。
可选地,在每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,所述方法还包括:
将所述Netflow网络流量数据,存储在分布式文件系统中;
相应地,所述从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址,包括:
以流的形式,读取所述分布式文件系统中存储的Netflow网络流量数据,从读取的Netflow网络流量数据中,解析出每条网络流量的源IPv6地址和目的IPv6地址。
本发明实施例提供一种IPv6地址的自动化采集装置,包括:
采集模块,用于每隔预设时间段,采集所述预设时间段内的网络流量数据;
解析模块,用于从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;
加入模块,用于将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
可选地,所述采集模块,具体用于
每隔预设时间段,利用流量镜像技术和/或Netflow技术,采集所述预设时间段内的网络流量数据。
可选地,所述采集模块,具体用于
每隔预设时间段,利用流量镜像技术,采集所述预设时间段内的网络流量数据,包括:每隔预设时间段,通过目标端口采集所述预设时间段内的网络流量数据,其中,流量镜像技术将源设备的至少一个源端口的网络流量数据远程镜像到目的设备的一个目标端口,所述源设备和所述目的设备均为交换机或路由器。
可选地,所述采集模块,具体用于
每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据,包括:每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据,所述Netflow网络流量数据是具有Netflow功能的路由器以预设采样比、在所述预设时间段内抓取Netflow网络流量数据后、发送给所述Netflow数据采集器的。
可选地,具有Netflow功能的路由器所抓取的Netflow网络流量数据,是以UDP报文的形式发送给所述Netflow数据采集器的;
其中,每个UDP报文包含一个Netflow报文和最多预设数量条流记录;
每条流记录中的字段信息,包括:数据报文的源IP地址、目的IP地址、下一跳地址、源端口、目的端口、服务类型TOS、协议类型、TCP标志位、流中的数据包数、流中的总字节数、流记录的起始时间和结束时间。
可选地,所述装置还包括:
存储模块,用于在每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,将所述Netflow网络流量数据,存储在分布式文件系统中;
相应地,所述解析模块,具体用于
以流的形式,读取所述分布式文件系统中存储的Netflow网络流量数据,从读取的Netflow网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址。
本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述方法的步骤。
本发明实施例提供的IPv6地址的自动化采集方法及装置,通过每隔预设时间段,采集所述预设时间段内的网络流量数据,解析出每条网络流量数据的源IPv6地址和目的IPv6地址,将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集,由此,不依赖人工处理,只要接入网络能够获取网络流量数据自动解析并采集存活的IPv6地址,可提高收集网络中实际存活的IPv6地址的效率,成本低,准确率高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的一种IPv6地址的自动化采集方法的流程示意图;
图2为本发明一实施例提供的一种IPv6地址的自动化采集装置的结构示意图;
图3为本发明一实施例提供的电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1示出了本发明一实施例提供的一种IPv6地址的自动化采集方法的流程示意图,如图1所示,本实施例的IPv6地址的自动化采集方法,包括:
S1、每隔预设时间段,采集所述预设时间段内的网络流量数据。
需要说明的是,本实施例所述IPv6地址的自动化采集方法的执行主体为处理器。
可以理解的是,在具体应用中,本实施例可以每隔预设时间段,利用流量镜像技术和/或Netflow技术,采集所述预设时间段内的网络流量数据,以便后续从采集的网络流量数据解析出每条网络流量数据的源IPv6地址和目的IPv6地址,加入到预先建立的IPv6地址存活样本集中。
可以理解的是,所述预设时间段可以根据实际情况进行设置,本实施例并不对其进行限制,例如可以将所述预设时间段设置为12小时、1天、2星期等。
S2、从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址。
可以理解的是,采集所述预设时间段内的网络流量数据,就是采集所述预设时间段内在网络上进行传输的数据,在网络上进行传输的每条网络流量数据需要从源IPv6地址传输给目的IPv6地址,因此,对所述预设时间段内的网络流量数据进行解析,能够解析出每条网络流量数据的源IPv6地址和目的IPv6地址。
S3、将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
可以理解的是,本实施例中所述预先建立的IPv6地址存活样本集是用于存储存活的IPv6地址的。
可以理解的是,互联网中IPv6地址数量巨大且涉及范围广,收集互联网中真正有价值的IPv6地址(即存活的IPv6地址)对IPv6资产的普查更有意义。现有技术中是通过人工统计方式定期地组织IPv6资产普查,并利用一些软件(如Excel、Spiceworks等)辅助记录存活的IPv6地址。
本实施例是每隔预设时间段,采集所述预设时间段内的网络流量数据,所采集的网络流量数据均是有效的,进而从所述预设时间段内的网络流量数据中、解析出的每条网络流量数据的源IPv6地址和目的IPv6地址均为存活的IPv6地址。因此,本实施例将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集,能够实现高效且自动化地采集网络中实际存活的IPV6地址,可以为后续的IPv6网络空间测绘采集IPv6地址训练样本打下重要基础。
本实施例提供的IPv6地址的自动化采集方法,通过每隔预设时间段,采集所述预设时间段内的网络流量数据,解析出每条网络流量数据的源IPv6地址和目的IPv6地址,将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集,由此,不依赖人工处理,只要接入网络能够获取网络流量数据自动解析并采集存活的IPv6地址,可提高收集网络中实际存活的IPv6地址的效率,成本低,准确率高。
进一步地,在上述实施例的基础上,所述S1中每隔预设时间段,利用流量镜像技术,采集所述预设时间段内的网络流量数据,可以包括:
每隔预设时间段,通过目标端口采集所述预设时间段内的网络流量数据,其中,流量镜像技术将源设备的至少一个源端口的网络流量数据远程镜像到目的设备的一个目标端口,所述源设备和所述目的设备均为交换机或路由器。
可以理解的是,本实施例能够每隔预设时间段利用流量镜像技术,将所述预设时间段内被监控的网络流量数据镜像到目标端口,进而从目标端口采集所述预设时间段内被监控的网络流量数据。
进一步地,在上述实施例的基础上,所述S1中每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据,可以包括:
每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据,所述Netflow网络流量数据是具有Netflow功能的路由器以预设采样比、在所述预设时间段内抓取Netflow网络流量数据后、发送给所述Netflow数据采集器的。
可以理解的是,每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据时,本实施例所述IPv6地址的自动化采集方法的执行主体的处理器可以为NFA数据分析器。
可以理解的是,所述预设采样比可以根据实际情况进行设置,本实施例并不对其进行限制,例如可以将所述预设采样比设置为3000:1等。
具体地,具有Netflow功能的路由器所抓取的Netflow网络流量数据,可以UDP(用户数据报协议)报文的形式发送给所述Netflow数据采集器;
其中,每个UDP报文包含一个Netflow报文和最多预设数量条流记录;
每条流记录中的字段信息,可以包括:数据报文的源IP地址、目的IP地址、下一跳地址、源端口、目的端口、服务类型TOS、协议类型、TCP(传输控制协议)标志位、流中的数据包数、流中的总字节数、流记录的起始时间和结束时间等,
相应地,所述步骤S2可以从采集的Netflow网络流量数据中,解析出每条Netflow网络流量数据的源IPv6地址和目的IPv6地址,进而所述步骤S3可将解析出的每条Netflow网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
在具体应用中,在每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,还可以预设特定格式将采集的Netflow网络流量数据存储起来。
进一步地,在每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,所述方法还可以包括:
将所述Netflow网络流量数据,存储在分布式文件系统中。
具体地,所述分布式文件系统可以采用HDFS(Hadoop分布式文件系统)。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且其提供高吞吐量来访问应用程序的数据,适合Netflow流数据等这些有着超大数据集的应用程序。
相应地,所述步骤S2可以具体包括:
以流的形式,读取所述分布式文件系统中存储的Netflow网络流量数据,从读取的Netflow网络流量数据中,解析出每条网络流量的源IPv6地址和目的IPv6地址。
可以理解的是,Netflow技术是一种网络流量分析技术,经由分析收集到的资讯可以知道封包的来源及目的地,本实施例每隔预设时间段利用Netflow技术,采集得到所述预设时间段内被监控的Netflow网络流量数据,能够从采集的Netflow网络流量数据中解析出真实存活的源IPv6地址和目的IPv6地址,进而将解析出的真实存活的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集中,构建丰富的IPv6地址存活样本集。
本实施例提供的IPv6地址的自动化采集方法,不依赖人工处理,只要接入网络能够获取网络流量数据自动解析并采集存活的IPv6地址,可提高收集网络中实际存活的IPv6地址的效率,成本低,准确率高。
图2示出了本发明一实施例提供的一种IPv6地址的自动化采集装置的结构示意图,如图2所示,本实施例的IPv6地址的自动化采集装置,包括:采集模块21、解析模块22和加入模块23;其中:
所述采集模块21,用于每隔预设时间段,采集所述预设时间段内的网络流量数据;
所述解析模块22,用于从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;
所述加入模块23,用于将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
具体地,所述采集模块21每隔预设时间段,采集所述预设时间段内的网络流量数据;所述解析模块22从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;所述加入模块23将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
需要说明的是,本实施例所述IPv6地址的自动化采集装置应用于处理器中。
可以理解的是,在具体应用中,所述采集模块21可以每隔预设时间段,利用流量镜像技术和/或Netflow技术,采集所述预设时间段内的网络流量数据,以便后续从采集的网络流量数据解析出每条网络流量数据的源IPv6地址和目的IPv6地址,加入到预先建立的IPv6地址存活样本集中。
可以理解的是,所述预设时间段可以根据实际情况进行设置,本实施例并不对其进行限制,例如可以将所述预设时间段设置为12小时、1天、2星期等。
可以理解的是,本实施例所述采集模块21采集所述预设时间段内的网络流量数据,就是采集所述预设时间段内在网络上进行传输的数据,在网络上进行传输的每条网络流量数据需要从源IPv6地址传输给目的IPv6地址,因此,所述解析模块22对所述预设时间段内的网络流量数据进行解析,能够解析出每条网络流量数据的源IPv6地址和目的IPv6地址。
可以理解的是,本实施例中所述预先建立的IPv6地址存活样本集是用于存储存活的IPv6地址的。
可以理解的是,互联网中IPv6地址数量巨大且涉及范围广,收集互联网中真正有价值的IPv6地址(即存活的IPv6地址)对IPv6资产的普查更有意义。现有技术中是通过人工统计方式定期地组织IPv6资产普查,并利用一些软件(如Excel、Spiceworks等)辅助记录存活的IPv6地址。
本实施例是通过所述采集模块21每隔预设时间段,采集所述预设时间段内的网络流量数据,所采集的网络流量数据均是有效的,进而所述解析模块22从所述预设时间段内的网络流量数据中、解析出的每条网络流量数据的源IPv6地址和目的IPv6地址均为存活的IPv6地址。因此,本实施例所述加入模块23将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集,能够实现高效且自动化地采集网络中实际存活的IPv6地址,可以为后续的IPv6网络空间测绘采集IPv6地址训练样本打下重要基础。
本实施例提供的IPv6地址的自动化采集装置,通过采集模块每隔预设时间段,采集所述预设时间段内的网络流量数据,解析模块从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址,加入模块将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集,由此,不依赖人工处理,只要接入网络能够获取网络流量数据自动解析并采集存活的IPv6地址,可提高收集网络中实际存活的IPv6地址的效率,成本低,准确率高。
进一步地,在上述实施例的基础上,所述采集模块21中的每隔预设时间段,利用流量镜像技术,采集所述预设时间段内的网络流量数据,可以包括:
每隔预设时间段,通过目标端口采集所述预设时间段内的网络流量数据,其中,流量镜像技术将源设备的至少一个源端口的网络流量数据远程镜像到目的设备的一个目标端口,所述源设备和所述目的设备均为交换机或路由器。
可以理解的是,本实施例能够每隔预设时间段利用流量镜像技术,将所述预设时间段内被监控的网络流量数据镜像到目标端口,进而从目标端口采集所述预设时间段内被监控的网络流量数据。
进一步地,在上述实施例的基础上,所述采集模块21的中每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据,可以包括:
每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据,所述Netflow网络流量数据是具有Netflow功能的路由器以预设采样比、在所述预设时间段内抓取Netflow网络流量数据后、发送给所述Netflow数据采集器的。
可以理解的是,每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据时,本实施例所述IPv6地址的自动化采集装置所应用的处理器可以为NFA数据分析器。
可以理解的是,所述预设采样比可以根据实际情况进行设置,本实施例并不对其进行限制,例如可以将所述预设采样比设置为3000:1等。
具体地,具有Netflow功能的路由器所抓取的Netflow网络流量数据,是以UDP报文的形式发送给所述Netflow数据采集器的;
其中,每个UDP报文包含一个Netflow报文和最多预设数量条流记录;
每条流记录中的字段信息,可以包括:数据报文的源IP地址、目的IP地址、下一跳地址、源端口、目的端口、服务类型TOS、协议类型、TCP标志位、流中的数据包数、流中的总字节数、流记录的起始时间和结束时间等。
相应地,所述解析模块22可以从采集的Netflow网络流量数据中,解析出每条Netflow网络流量数据的源IPv6地址和目的IPv6地址,进而所述加入模块23可将解析出的每条Netflow网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
在具体应用中,在采集模块21每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,还可以预设特定格式将采集的Netflow网络流量数据存储起来。
进一步地,本实施例所述IPv6地址的自动化采集装置还可以包括图中未示出的:
存储模块,用于在每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,将所述Netflow网络流量数据,存储在分布式文件系统中。
具体地,所述分布式文件系统可以采用HDFS(Hadoop分布式文件系统)。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且其提供高吞吐量来访问应用程序的数据,适合Netflow流数据等这些有着超大数据集的应用程序。
相应地,所述解析模块22,可具体用于
以流的形式,读取所述分布式文件系统中存储的Netflow网络流量数据,从读取的Netflow网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址。
可以理解的是,Netflow技术是一种网络流量分析技术,经由分析收集到的资讯可以知道封包的来源及目的地,本实施例每隔预设时间段利用Netflow技术,采集得到所述预设时间段内被监控的Netflow网络流量数据,能够从采集的Netflow网络流量数据中解析出真实存活的源IPv6地址和目的IPv6地址,进而将解析出的真实存活的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集中,构建丰富的IPv6地址存活样本集。
本实施例提供的IPv6地址的自动化采集装置,不依赖人工处理,只要接入网络能够获取网络流量数据自动解析并采集存活的IPv6地址,可提高收集网络中实际存活的IPv6地址的效率,成本低,准确率高。
本发明实施例提供的IPv6地址的自动化采集装置,可以用于执行前述方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图3示出了本发明一实施例提供的一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括存储器302、处理器301、总线303及存储在存储器302上并可在处理器301上运行的计算机程序,其中,处理器301,存储器302通过总线303完成相互间的通信。所述处理器301执行所述计算机程序时实现上述方法的步骤,例如包括:每隔预设时间段,采集所述预设时间段内的网络流量数据;从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
本发明实施例提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤,例如包括:每隔预设时间段,采集所述预设时间段内的网络流量数据;从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种IPv6地址的自动化采集方法,其特征在于,包括:
每隔预设时间段,采集所述预设时间段内的网络流量数据;
从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;
将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
2.根据权利要求1所述的IPv6地址的自动化采集方法,其特征在于,所述每隔预设时间段,采集所述预设时间段内的网络流量数据,包括:
每隔预设时间段,利用流量镜像技术和/或Netflow技术,采集所述预设时间段内的网络流量数据。
3.根据权利要求2所述的IPv6地址的自动化采集方法,其特征在于,每隔预设时间段,利用流量镜像技术,采集所述预设时间段内的网络流量数据,包括:
每隔预设时间段,通过目标端口采集所述预设时间段内的网络流量数据,其中,流量镜像技术将源设备的至少一个源端口的网络流量数据远程镜像到目的设备的一个目标端口,所述源设备和所述目的设备均为交换机或路由器。
4.根据权利要求2所述的IPv6地址的自动化采集方法,其特征在于,每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据,包括:
每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据,所述Netflow网络流量数据是具有Netflow功能的路由器以预设采样比、在所述预设时间段内抓取Netflow网络流量数据后、发送给所述Netflow数据采集器的。
5.根据权利要求4所述的IPv6地址的自动化采集方法,其特征在于,具有Netflow功能的路由器所抓取的Netflow网络流量数据,是以UDP报文的形式发送给所述Netflow数据采集器的;
其中,每个UDP报文包含一个Netflow报文和最多预设数量条流记录;
每条流记录中的字段信息,包括:数据报文的源IP地址、目的IP地址、下一跳地址、源端口、目的端口、服务类型TOS、协议类型、TCP标志位、流中的数据包数、流中的总字节数、流记录的起始时间和结束时间。
6.根据权利要求4所述的IPv6地址的自动化采集方法,其特征在于,在每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,所述方法还包括:
将所述Netflow网络流量数据,存储在分布式文件系统中;
相应地,所述从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址,包括:
以流的形式,读取所述分布式文件系统中存储的Netflow网络流量数据,从读取的Netflow网络流量数据中,解析出每条网络流量的源IPv6地址和目的IPv6地址。
7.一种IPv6地址的自动化采集装置,其特征在于,包括:
采集模块,用于每隔预设时间段,采集所述预设时间段内的网络流量数据;
解析模块,用于从所述预设时间段内的网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址;
加入模块,用于将解析出的每条网络流量数据的源IPv6地址和目的IPv6地址加入预先建立的IPv6地址存活样本集。
8.根据权利要求7所述的IPv6地址的自动化采集装置,其特征在于,所述采集模块,具体用于
每隔预设时间段,利用流量镜像技术和/或Netflow技术,采集所述预设时间段内的网络流量数据。
9.根据权利要求8所述的IPv6地址的自动化采集装置,其特征在于,所述采集模块,具体用于
每隔预设时间段,利用流量镜像技术,采集所述预设时间段内的网络流量数据,包括:每隔预设时间段,通过目标端口采集所述预设时间段内的网络流量数据,其中,流量镜像技术将源设备的至少一个源端口的网络流量数据远程镜像到目的设备的一个目标端口,所述源设备和所述目的设备均为交换机或路由器。
10.根据权利要求8所述的IPv6地址的自动化采集装置,其特征在于,所述采集模块,具体用于
每隔预设时间段,利用Netflow技术,采集所述预设时间段内的网络流量数据,包括:每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据,所述Netflow网络流量数据是具有Netflow功能的路由器以预设采样比、在所述预设时间段内抓取Netflow网络流量数据后、发送给所述Netflow数据采集器的。
11.根据权利要求10所述的IPv6地址的自动化采集装置,其特征在于,具有Netflow功能的路由器所抓取的Netflow网络流量数据,是以UDP报文的形式发送给所述Netflow数据采集器的;
其中,每个UDP报文包含一个Netflow报文和最多预设数量条流记录;
每条流记录中的字段信息,包括:数据报文的源IP地址、目的IP地址、下一跳地址、源端口、目的端口、服务类型TOS、协议类型、TCP标志位、流中的数据包数、流中的总字节数、流记录的起始时间和结束时间。
12.根据权利要求10所述的IPv6地址的自动化采集装置,其特征在于,所述装置还包括:
存储模块,用于在每隔预设时间段,采集Netflow数据采集器在所述预设时间段内接收的Netflow网络流量数据之后,将所述Netflow网络流量数据,存储在分布式文件系统中;
相应地,所述解析模块,具体用于
以流的形式,读取所述分布式文件系统中存储的Netflow网络流量数据,从读取的Netflow网络流量数据中,解析出每条网络流量数据的源IPv6地址和目的IPv6地址。
13.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述方法的步骤。
14.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
CN201910945473.1A 2019-09-30 2019-09-30 IPv6地址的自动化采集方法及装置 Pending CN110661807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910945473.1A CN110661807A (zh) 2019-09-30 2019-09-30 IPv6地址的自动化采集方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910945473.1A CN110661807A (zh) 2019-09-30 2019-09-30 IPv6地址的自动化采集方法及装置

Publications (1)

Publication Number Publication Date
CN110661807A true CN110661807A (zh) 2020-01-07

Family

ID=69038507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910945473.1A Pending CN110661807A (zh) 2019-09-30 2019-09-30 IPv6地址的自动化采集方法及装置

Country Status (1)

Country Link
CN (1) CN110661807A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383644A (zh) * 2020-10-21 2021-02-19 北京邮电大学 一种启发式IPv6地址扫描目标生成方法及相关设备
CN113452714A (zh) * 2021-06-29 2021-09-28 清华大学 主机聚类方法及装置
CN114039914A (zh) * 2021-11-03 2022-02-11 中盈优创资讯科技有限公司 一种城域网存活IPv6地址与规划分析方法及装置
CN114745315A (zh) * 2022-03-24 2022-07-12 广西电网有限责任公司 一种IPv6地址存活性检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106506717A (zh) * 2016-10-24 2017-03-15 杭州华为数字技术有限公司 一种自动发现方法及设备
US20170359227A1 (en) * 2016-06-09 2017-12-14 Akamai Technologies, Inc. Internet address structure analysis, and applications thereof
CN108924005A (zh) * 2018-06-29 2018-11-30 优刻得科技股份有限公司 网络检测方法、网络检测装置、介质和设备
CN109151088A (zh) * 2018-08-20 2019-01-04 下代互联网重大应用技术(北京)工程研究中心有限公司 基于Http日志的IPv6访问用户地理分布排名的统计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359227A1 (en) * 2016-06-09 2017-12-14 Akamai Technologies, Inc. Internet address structure analysis, and applications thereof
CN106506717A (zh) * 2016-10-24 2017-03-15 杭州华为数字技术有限公司 一种自动发现方法及设备
CN108924005A (zh) * 2018-06-29 2018-11-30 优刻得科技股份有限公司 网络检测方法、网络检测装置、介质和设备
CN109151088A (zh) * 2018-08-20 2019-01-04 下代互联网重大应用技术(北京)工程研究中心有限公司 基于Http日志的IPv6访问用户地理分布排名的统计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李福亮: "《IPv6网络流量与性能管理研究》", 31 December 2017 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383644A (zh) * 2020-10-21 2021-02-19 北京邮电大学 一种启发式IPv6地址扫描目标生成方法及相关设备
CN113452714A (zh) * 2021-06-29 2021-09-28 清华大学 主机聚类方法及装置
CN114039914A (zh) * 2021-11-03 2022-02-11 中盈优创资讯科技有限公司 一种城域网存活IPv6地址与规划分析方法及装置
CN114039914B (zh) * 2021-11-03 2023-08-08 中盈优创资讯科技有限公司 一种城域网存活IPv6地址与规划分析方法及装置
CN114745315A (zh) * 2022-03-24 2022-07-12 广西电网有限责任公司 一种IPv6地址存活性检测方法
CN114745315B (zh) * 2022-03-24 2023-09-15 广西电网有限责任公司 一种IPv6地址存活性检测方法

Similar Documents

Publication Publication Date Title
USRE49126E1 (en) Real-time adaptive processing of network data packets for analysis
CN110661807A (zh) IPv6地址的自动化采集方法及装置
US11121947B2 (en) Monitoring and analysis of interactions between network endpoints
US20150085695A1 (en) Efficient Data Center Monitoring
CN112039904A (zh) 一种网络流量分析与文件提取系统及方法
EP3282643B1 (en) Method and apparatus of estimating conversation in a distributed netflow environment
CN113923057B (zh) 卫星测运控平台的数据处理方法、装置、电子设备及介质
CN110519077A (zh) 一种日志采集系统、方法、装置、服务器及存储介质
Karimi et al. Distributed network traffic feature extraction for a real-time IDS
CN111222019B (zh) 特征提取的方法和装置
CN105337753A (zh) 一种互联网真实质量监测方法及装置
CN111224894A (zh) 一种针对iOS设备的流量采集标记方法及系统
CN111224893A (zh) 一种基于vpn的安卓手机流量采集与标注系统及方法
CN113746654B (zh) 一种IPv6地址管理和流量分析的方法和装置
CN110691007A (zh) 一种精确测量quic连接丢包率的方法
RU2668394C2 (ru) Способ и система для сбора пакетов, сетевое устройство и центр управления сетью
CN109144837B (zh) 一种支持精准服务推送的用户行为模式识别方法
CN100566266C (zh) 具有时效性的动态双向环行tcp流缓冲区建立和执行方法
CN115695216A (zh) 一种互联网流量流向的大数据分析的方法
CN106161339A (zh) 获取ip访问关系的方法及装置
Kumar et al. Comparison: Wireshark on different parameters
Sheng et al. Honeyeye: A network traffic collection framework for distributed ICS honeynets
CN116996392B (zh) 一种基于加权有向图算法的流量路径重构方法及系统
Celeda et al. Large-scale geolocation for netflow
CN116319468B (zh) 网络遥测方法、装置、交换机、网络、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200107