CN116192677A - 网络流量数据差异化存储方法及电子设备 - Google Patents

网络流量数据差异化存储方法及电子设备 Download PDF

Info

Publication number
CN116192677A
CN116192677A CN202211649341.2A CN202211649341A CN116192677A CN 116192677 A CN116192677 A CN 116192677A CN 202211649341 A CN202211649341 A CN 202211649341A CN 116192677 A CN116192677 A CN 116192677A
Authority
CN
China
Prior art keywords
network
data
traffic data
network traffic
storing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211649341.2A
Other languages
English (en)
Other versions
CN116192677B (zh
Inventor
李林哲
关墨辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Antiy Network Technology Co Ltd
Original Assignee
Beijing Antiy Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Antiy Network Technology Co Ltd filed Critical Beijing Antiy Network Technology Co Ltd
Priority to CN202211649341.2A priority Critical patent/CN116192677B/zh
Publication of CN116192677A publication Critical patent/CN116192677A/zh
Application granted granted Critical
Publication of CN116192677B publication Critical patent/CN116192677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/04Processing captured monitoring data, e.g. for logfile generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/14Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2463/00Additional details relating to network architectures or network communication protocols for network security covered by H04L63/00
    • H04L2463/146Tracing the source of attacks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/50Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开一种网络流量数据差异化存储方法及电子设备,涉及数据捕获及存储技术领域。所述方法包括:获取预定时间目标网络中的第一网络区段的网络流量数据;根据所述目标网络的网络拓扑结构及所述第一网络区段标识信息,确定所述网络流量数据在所述目标网络中的路由链路及变更信息;所述网络拓扑结构至少用于表征所述目标网络中的第一网络区段,和所述第一网络区段与其它网络区段之间的路由通联链路关系,以及所述第一网络区段及其它网络区段网络流量数据是否变更信息;根据所述路由链路及变更信息,差异化存储所述网络流量数据。实现了对网络流量数据的差异化留存,从而便于减少磁盘存储资源的占用,适用于网络证据留存及取证场景中。

Description

网络流量数据差异化存储方法及电子设备
技术领域
本发明涉及数据捕获及存储技术领域,尤其涉及一种网络流量数据差异化存储方法、装置、电子设备及存储介质。
背景技术
在日益复杂的网络安全态势下,全流量留存取证有助于用户对网络安全事件进行溯源及取证,已经成为常见的业务诉求。
然而,当前对网络流量进行全流量留存取证时,一般需要抵近部署,以对多个网络域进行留存分析。常见部署方案是:在多个交换机、分光器等网络设备上部署流量采集设备。例如:分别在第一业务职能部门接入交换机、第一业务职能部门接入交换机、汇聚交换机和核心交换机上部署流量采集设备。
由于上述网络设备可能跨机房、跨地域、跨机架进行分布式部署,当前,对网络流量数据一般是按照配置固定的ip段、端口段、协议等进行存储留存,未考虑网内不同网络区段的网络设备之间的路由链路传输信息,可能存在一份数据重复备份的情况,导致过多占用磁盘等存储资源。
发明内容
有鉴于此,本发明实施例提供一种网络流量数据差异化存储方法及电子设备,综合考虑了网内不同网络区段的网络设备之间的路由链路传输信息,实现了对网络流量数据的差异化留存,从而便于减少磁盘存储资源的占用。
第一方面,本发明实施例提供的网络流量数据差异化存储方法,包括步骤:获取预定时间目标网络中的第一网络区段的网络流量数据;解析所述网络流量数据,得到所述网络流量数据的头部信息;所述头部信息中携带有所述第一网络区段标识信息;根据所述目标网络的网络拓扑结构及所述第一网络区段标识信息,确定所述网络流量数据在所述目标网络中的路由链路及变更信息;所述网络拓扑结构至少用于表征所述目标网络中的第一网络区段,和所述第一网络区段与其它网络区段之间的路由通联链路关系,以及所述第一网络区段及其它网络区段网络流量数据是否变更信息;根据所述路由链路及所述变更信息,差异化存储所述网络流量数据。
可选地,所述根据所述路由链路及所述变更信息,差异化存储所述网络流量数据,包括:根据所述路由链路,若确定所述网络流量数据由第一网络区段发起或最终接收,则从所述头部信息中提取五元组信息;所述其它网络区段包括第二网络区段,所述第二网络区段为所述第一网络区段在所述目标网络的路由链路中的上一级网络区段;将所述五元组信息作为索引,存储所述网络流量数据。
可选地,所述根据所述路由链路及所述变更信息,差异化存储所述网络流量数据,包括:根据所述路由链路及所述变更信息,确定所述网络流量数据从第二网络区段流向第一网络区段的路由链路上是否发生网络流量数据变更,所述第二网络区段为所述第一网络区段的上一网络区段;若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录。
可选地,所述若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录,包括:若发生变更,查询所述网络拓扑结构,判断所述网络流量数据变更类型;所述网络拓扑结构还包含:第一网络区段及其它网络区段上的发生变更的网络流量数据的变更类型;若所述变更类型为IP头,则从所述头部信息中提取IP头或隧道头;将所述IP头或隧道头作为索引,存储所述网络流量数据变更记录。
可选地,所述若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录,包括:若发生变更,查询所述网络拓扑结构,判断所述网络流量数据变更类型;所述网络拓扑结构还包含:第一网络区段及其它网络区段上的发生变更的网络流量数据的变更类型;若所述变更类型为数据内容,则从所述头部信息中剥离数据头,该数据头的类型包括:协议头、邮件头或代理服务器头;对所述数据头进行修改;将修改后的数据头作为索引,根据所述数据头的类型差异化存储所述网络流量数据变更记录。
可选地,所述根据所述数据头的类型差异化存储所述网络流量数据变更记录包括:若所述数据的类型为协议头和邮件头,则将压缩修改后的协议头、SEQ、ACK、LEN、TCP选项字段作为索引存储;
若所述数据的类型为代理服务器头,则根据代理服务器头携带的代理服务器的类型,按照与所述代理服务器的类型对应的差异化存储策略,存储所述网络流量数据变更记录。
可选地,所述方法还包括:若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上未发生变更,则不存储所述网络流量数据。
可选地,在获取预定时间目标网络中的第一网络区段的网络流量数据之前,所述方法还包括:接收下发的所述目标网络的网络拓扑结构。
可选地,所述方法还包括:在存储所述网络流量数据变更记录之后,接收提取所述网络流量数据的指令;依据提取时间点对应的网络拓扑结构,从对应存储节点上按流依次提取网络流量数据;根据所述网络流量数据存储的类型和变更记录,执行相应的网络流量数据变换策略,得到接近原始网络流量数据的Pcap数据;或者,根据所述网络流量数据存储的类型和变更记录,执行相应的网络流量数据变换策略,得到接近原始网络流量数据的Pcap数据;
对所述Pcap数据重新排序,得到目标Pcap数据;或,对所述Pcap数据按流打包压缩;或,将所述Pcap数据缓存到磁盘。
第二方面,本发明还实施例提供一种电子设备,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述第一方面任一所述的网络流量数据差异化存储方法。
相比于按照配置固定的ip段、端口段、协议等进行存储留存,本发明实施例提供的网络流量数据差异化存储方法,通过获取预定时间目标网络中的第一网络区段的网络流量数据;解析所述网络流量数据,得到所述网络流量数据的头部信息;所述头部信息中携带有所述第一网络区段标识信息;根据所述目标网络的网络拓扑结构及所述第一网络区段标识信息,确定所述网络流量数据在所述目标网络中的路由链路及变更信息;所述网络拓扑结构至少用于表征所述目标网络中的第一网络区段,和所述第一网络区段与其它网络区段之间的路由通联链路关系,以及所述变更信息;根据所述路由链路及所述变更信息,差异化存储所述网络流量数据。这样,由于结合目标网络的网络拓扑结构,综合考虑了网内不同网络区段的网络设备之间的路由链路传输信息,实现了对网络流量数据的差异化留存,避免一份数据重复备份的情况发生(当然,如果有需要也可以实现重复备份),从而便于减少磁盘存储资源的占用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明一实施例网络流量数据差异化存储方法流程示意图;
图2为本发明一实施例目标网络中布设的网络流量数据处理系统架构示意图;
图3为本发明另一实施例网络流量数据差异化存储流程时序图;
图4为本发明一实施例网络流量数据提取流程时序图;
图5为本发明电子设备一个实施例的架构示意框图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
这种固定的存储方式,可能会对同一份网络流量数据产生多份留存副本,增加磁盘等存储资源的过多占用。不仅会对磁盘产生更多的压力,而且对网络流量数据的分析资源也会产生过多消耗。
至少针对当前分布式数据捕获及存储场景中,一般是按照配置固定的ip段、端口段、协议等进行存储留存,特别地,在防火墙NAT设备、负载均衡设备等设备存在的情况下,相关流量的报文内容,特别是IP地址,可能将有所不同,若依然按照固定IP段等进行存储,更容易存在一份数据重复备份的情况,会对磁盘等存储资源产生更多的压力。另外,由于留存了多个副本,对分析资源也是一种消耗,不利于进行后续的分析。
本申请提供了一种实现网络流量数据差异化存储的技术方案,通过根据目标网络的网络拓扑结构,综合考了网内不同网络区段的网络设备之间的路由链路传输信息,实现了对网络流量数据的差异化留存,从而便于减少磁盘存储资源的占用。
实施例一
图1为本发明一实施例网络流量数据差异化存储方法流程示意图,请参看图1所示,本发明实施例提供的网络流量数据差异化存储方法,可应用于网络证据留存及取证场景中,例如,网络安全分析、或一些其它业务分析场景;需要说明的是,该方法可以以软件的形式固化于某一制造的产品中,当用户在使用该产品时,可以再现本申请的方法步骤流程。
所述网络流量数据差异化存储方法,可以包括步骤:
S110、获取预定时间目标网络中的第一网络区段的网络流量数据。
图2示意了本发明一实施例目标网络中布设的网络流量数据处理系统架构示意图。请参看图2所示,本实施例中,所述网络流量数据的获取,可以是通过目标网络中设置的探针设备进行获取,在目标网络中可以设置多个探针设备,即形成分布式网络流量数据获取系统架构。为所述多个探针设备分配一个或多个网络区段(即网段),每个网络区段可以包括一个或多个探针设备,也可以不设探针设备,探针设备可以包括:路由器、交换机、计算机等,存储设备可以集成于所述探针设备中,也可以与所述探针设备分离设置。
S120、解析所述网络流量数据,得到所述网络流量数据的头部信息;所述头部信息中携带有所述第一网络区段标识信息;
所述网络流量数据从通信的角度广义理解,可视为报文(本文中也以报文代称),探针设备在获取到所述网络流量数据之后,对所述网络流量数据进行解析,得到其头部信息,并从头部信息中得到第一网络区段标识信息,一个网络区段可以包括多个IP地址,例如,第一网络区段IP为192.168.x1~x25。
S130、根据所述目标网络的网络拓扑结构及所述第一网络区段标识信息,确定所述网络流量数据在所述目标网络中的路由链路及变更信息;所述网络拓扑结构至少用于表征所述目标网络中的第一网络区段,和所述第一网络区段与其它网络区段之间的路由通联链路关系,以及所述第一网络区段及其它网络区段网络流量数据是否变更信息(即包括文中其余地方描述的名词“变换信息”)。
其中,所述网络拓扑结构,可以是预先存储于探针设备上,也可以是通过流量分析管理中心实时下发至探针设备,以使探针设备掌握该网络流量数据的路由链路及是否已经被获取和/或存储、或发生数据变更的情况。
所述网络拓扑结构可用于表征:网络中可能的IP地址范围,该网络中任意IP地址和其他网络的任意IP地址的通联关系,以及,在此通联关系的情况下,该通联是否可能会被修改及可能会被何种设备进行何种方式修改。其中,该通联是否可能会被修改及可能会被何种设备进行何种方式修改也可以生成专门的变换信息表,以在需要时进行查看。
一些典型的网络拓扑结构实例中,其描述的内容可以包括:拓扑版本号;所述网络的唯一标志;源与目的的IP段和端口段;为进行此通联,其下一跳地址及其所在的网络;此网络区段有无流量探针设备及其唯一标志;是否有网络修改;发起修改的网络设备唯一标志;发起修改的类型,例如,流量包头diff(差异),还是流量内容diff,即变更类型是流量包头的变更,还是流量内容的变更。
S140、根据所述路由链路及所述变更信息,差异化存储所述网络流量数据。
本实施例中,根据所述路由链路及所述更信息,可以确定出所述网络流量数据是否已经在在目标网络中的其它节点存储,或者,是否进行过修改变更,以及变更的种类等信息,使探针设备可以根据该信息进行差异化存储,以避免出现一份数据重复被网络中的不同设备备份的情况,从而便于减少磁盘存储资源的占用。
其中,网络流量数据是否变更信息,可以包括IP变换信息,或数据内容变换信息。所述变换信息可以包括:变换前IP、变换前端口、变换后IP、变换后端口、变换类型。变换类型,主要包括:头变换和内容变换;该处描述的具体变换及其应用的方案,可以参看下文具体描述。
当然,如果有重复备份的需要,本实施例方案也可以实现重复备份。
图3为分布式流量数据捕获及存储的一实施例流程示意图;在该图中,以报文替代网络流量数据进行描述,请参看图3所示,在一些实施例中,所述根据所述路由链路及所述变更信息,差异化存储所述网络流量数据(步骤S140),包括:根据所述路由链路,若确定所述网络流量数据由第一网络区段发起或最终接收,则从所述头部信息中提取五元组信息;所述其它网络区段包括第二网络区段,所述第二网络区段为所述第一网络区段在所述目标网络的路由链路中的上一级网络区段;将所述五元组信息作为索引,存储所述网络流量数据。对于分布式数据获取设备部署模式,在不同的节点上对同一份流量进行留存,会产生多份留存副本,从而对磁盘产生更多的压力。由于留存了多个副本,对分析资源也是一种消耗,不利于进行后续的分析。
因此,为优化存储方案,避免一份数据在不同节点上重复备份的情况发生,请继续参看图3所示,在一些实施例中,所述根据所述路由链路及所述变更信息,差异化存储所述网络流量数据(步骤S140),包括:根据所述路由链路及所述变更信息,确定所述网络流量数据从第二网络区段流向第一网络区段的路由链路上是否发生网络流量数据变更,所述第二网络区段为所述第一网络区段的上一网络区段;若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录。
本发明实施例中,通过网络拓扑结构中表征的所述路由链路及所述第一网络区段及其它网络区段网络流量数据是否变更信息,对所述网络流量数据从第二网络区段到第一网络区段的路由链路进行监视,如果所述网络流量数据发生变更,例如,经过交换机,IP信息发生变换,则在当前网络区段的节点设备上存储变更记录,可以避免同一份数据在不同节点设备上重复备份的情况发生。
对于从上一级网络区段到当前网络区段的网络流量数据发生变更的情况,根据变更类型,上述方案具体分为如下不同情况。
请继续参看图3所示,第一种情况:数据包头发生变更。具体的,所述若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录,包括:若发生变更,查询所述网络拓扑结构,判断所述网络流量数据变更类型;所述网络拓扑结构还包含:第一网络区段及其它网络区段上的发生变更的网络流量数据的变更类型;若所述变更类型为IP头,则从所述头部信息中提取数据包头,包含:IP头或隧道头;将所述IP头或隧道头作为索引,存储所述网络流量数据变更记录。
其中,在网络流量数据传输过程中,基于隧道协议(TunnelingProtocol)数据包封装技术,将原始IP包封装在另一个数据包(称为封装的IP包)的数据净荷中进行传输。另一个数据包的包头构成所述隧道头。
对IP头的修改变更,如,路由器对流量进行了源地址转换(SNAT)或目的地址转换(DNAT)。
而对隧道头,如对流量的不加密报文封装,像GRE隧道、MPLS隧道、IPin IP(4in6、6in4、4in4等)等,均会增加隧道头,使网络流量数据在传输过程中发生变更。
对于数据包头的修改,存储方式可以为:剥离原始流量的流量隧道头,并只压缩存储该流量隧道头,并将其作为索引。
或者,存储元数据、五元组信息及变更类型,将IP头作为索引。
请继续参看图3所示,第二种情况:数据内容发生变更。对于该类变更情况,需要从网络流量数据的头部信息中提取应用层信息,例如,http头、邮件头、socks5协议转换信息等,再根据不同类型的具体应用层信息,按照对应的存储方式进行差异化存储。
具体的,所述若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录,包括:若发生变更,查询所述网络拓扑结构,判断所述网络流量数据变更类型;所述网络拓扑结构还包含:第一网络区段及其它网络区段上的发生变更的网络流量数据的变更类型;若所述变更类型为数据内容,则从所述头部信息中剥离数据头,该数据头的类型包括:协议头、邮件头或代理服务器头;对所述数据头进行修改;将修改后的数据头作为索引,根据所述数据头的类型差异化存储所述网络流量数据变更记录。
在一些实施例中,所述根据所述数据头的类型差异化存储所述网络流量数据变更记录包括:若所述数据的类型为协议头和邮件头,则将压缩修改后的协议头、SEQ、ACK、LEN、TCP选项字段作为索引存储。
示例性地,HTTP的报文头修改变更,包括:增加、修改、删除HTTP报文头等。邮件的报文头修改变更,包括:如增加、修改、删除邮件的报文头。
对于HTTP、邮件的报文头修改,压缩存储修改后的HTTP报文头、SEQ、ACK、LEN、TCP选项等字段。
若所述数据的类型为代理服务器头,则根据代理服务器头携带的代理服务器的类型,按照与所述代理服务器的类型对应的差异化存储策略,存储所述网络流量数据变更记录。
示例性地,代理服务器的修改变更,包括:如HTTP代理服务器的CONNECT方式、socks5的代理服务器。
其中,按照与所述代理服务器的类型对应的差异化存储策略,存储所述网络流量数据变更记录,包括:
对于HTTP代理服务器的CONNECT方式,压缩存储CONNECT及其响应报文,及流量的SEQ、ACK、LEN、TCP选项等字段。其中,HTTP:超文本传输协议(HyperTextTransferProtocol,HTTP)是一个简单的请求-响应协议,它通常运行在TCP(应用层)之上。SEQ、ACK、LEN、TCP选项均为TCP的字段。
对于socks5代理服务协议,压缩存储客户端、服务器之间的SOCKS5协议数据。
请继续参看图3所示,在一些实施例中,所述方法还包括:若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上未发生变更,则不存储所述网络流量数据。
结合图2及图3所示,在一些实施例中,探针设备还可以分析协议特定的IP、端口变换信息,如socks5的变换信息,将其发送至流量捕获分析管理中心,使所述流量捕获分析管理中心根据该网络区段中存在的网络流量数据变化,更新所述网络拓扑结构及网络流量数据变更信息(可以以表的形式存在)。当所述网络数据流量路由至下一跳节点设备时,流量捕获分析管理中心将更新的网络拓扑结构下发给下一跳设备,以实现差异化存储所述网络流量数据。其中,socks5的变换信息等可以是从协议中旁路解析出来的。
请参看图2及图3所示,也可以设置专门的流量捕获分析存储设备,该流量捕获分析存储设备负责索引、存储流量捕获分析探针提供的流量数据及diff数据。
进一步地,请参看图4所示,所述方法还包括:在存储所述网络流量数据变更记录之后,接收提取所述网络流量数据的指令;依据提取时间点对应的网络拓扑结构,从对应存储节点上按流依次提取网络流量数据;根据所述网络流量数据存储的类型和变更记录,执行相应的网络流量数据变换策略,得到接近原始网络流量数据的Pcap数据;或者,
根据所述网络流量数据存储的类型和变更记录,执行相应的网络流量数据变换策略,得到接近原始网络流量数据的Pcap数据;其中,Pcap数据文件是常用的数据报存储格式,简单说就是一种数据文件格式。
对所述Pcap数据重新排序,得到目标Pcap数据;或,对所述Pcap数据按流打包压缩;或,将所述Pcap数据缓存到磁盘。
本实施例中,当需要对流量提取时,可以依据提取时间点的网络拓扑结构和相关转换信息,从对应设备上按流依次提取,根据存储的类型及diff数据进行变换,得到接近原始的流量pcap数据文件。并在之后根据需要,重新排序为一个pcap文件;或按流打包压缩;或缓存到磁盘,以供后续分析。
为了帮助理解本发明实施例提供的技术方案及其技术效果,现以图2示意的系统架构、图3示意的数据差异化存储流程时序图及图4示意的数据提取流程时序图为例,进行详细说明如下:
流量捕获分析管理中心负责:
建立、同步和下发当前网络的网络拓扑结构给流量捕获分析探针设备。其中,网络拓扑结构可用于说明:当前网络中可能的IP地址范围,该网络中任意IP地址和其他网络的任意IP地址的通联关系。在此通联关系的情况下,该通联是否可能会被修改及可能会被何设备进行何种方式修改,修改的类型。
当定期接收到从流量捕获分析存储设备(可以与探针设备集成于一体或分离设置)上传的、该设备在可配置的时间内的五元组流数据(多个数据源持续生成的网络流量数据),并进行比对,判断是否存在有重复存储的数据,若有,则将可能有存储重复的数据提示给用户,以更新网络拓扑结构。
此外,其还用于:接收、分析其它探针或存储设备的流量地址变换日志。如syslog等日志,并将解析后的IP变换信息,中转发给探针设备和存储设备,或随网络拓扑结构一起下发给探针设备和/或存储设备。
以及,接收、分析其他设备的流量地址内容日志。如负载均衡设备的日志,并将解析后的流量内容变换信息转发给探针设备和存储设备,或随网络拓扑结构一起下发给探针设备和/或存储设备。其中,负载均衡设备用于将处理的流量按策略分配到不同的设备上。
以及,根据实时上传的数据或实际网络拓扑变化,对网络拓扑结构进行版本跟踪,以保持与实际目标网络拓扑一致。
当分析管理中心获知拓扑变更后,将更新拓扑版本号,并立即推送新的拓扑结构给网内所有设备,包括存储设备和探针设备。旧的拓扑版本在分析管理中心上进行留存。
当接收到syslog等已配置来源的变更日志事件时,如NAT信息,或socks5服务器信息发送的信息,流量捕获分析管理中心将通过此事件来源发送的IP地址,获取解析模板,并解析此消息。所述解析为公知知识,可参考Logstash、grok等开源技术实现。
其中,Syslog:是一种用来在互联网协议(TCP/IP)的网上中传递记录档消息的标准。NAT信息为网络地址转换,分为源NAT(SNAT)和目的NAT(DNAT)。源NAT变更数据包的客户端(发起端)的IP、端口,DNAT变更数据包的服务端(接收端)的IP、端口。
解析后,通过查询网络拓扑结构,根据解析到的变更内容更新所述网络拓扑结构,并将最新的网络拓扑结构同步给进行变换的网络的探针设备及存储设备。若该网络区段无探针设备和存储设备,则同步给此网络区段变换后的下一探针设备。
当然,也可以直接广播此变换信息,使下一探针设备根据该变换信息存储网络流量数据。
当需要对数据分析时,查询待分析时间点的网络拓扑结构版本,并根据版本指引,确定需要提取数据的流量捕获分析探针设备,从所述流量捕获分析探针设备处提取数据。
流量捕获分析探针设备负责:接收流量捕获分析管理中心提供的网络拓扑结构;解析收到的报文,获取其五元组和应用层信息;根据收到的网络拓扑结构,按五元组存储本网络区段内发起及最终接收的流量。以及,iv.根据接收到的网络拓扑结构,及IP变换信息,存储上一网络区段到本网络区段间修改过的流量包头diff。其中,IP变换信息可以是单独下发的,也可以是在所述网络拓扑结构中说明的。
所述修改包括但不限于:1.对IP头的修改,如,路由器对流量进行了SNAT或DNAT。2.对流量的不加密报文封装。如:GRE隧道、MPLS隧道、IPinIP(4in6、6in4、4in4等)。
所述流量包头diff存储方式可以为:剥离原始流量的流量隧道头,并只压缩存储该流量隧道头。
以及,根据接收到的网络拓扑结构,及转发的流量地址变换信息,存储上一网络区段到本网络区段间,明文修改过的流量内容diff。
流量内容的修改包括但不限于:1.HTTP的报文头修改。如增加、修改、删除HTTP报文头。2.邮件的报文头修改。如增加、修改、删除邮件的报文头。3.代理服务器。如HTTP代理服务器的CONNECT方式、socks5的代理服务器。
所述流量内容diff存储方式为:1.对HTTP、邮件的报文头修改,只压缩存储修改后的HTTP报文头、SEQ、ACK、LEN、TCP选项等字段。2.HTTP代理服务器的CONNECT方式,只压缩存储CONNECT及其响应报文,及流量的SEQ、ACK、LEN、TCP选项等字段。3.对socks5协议,只压缩存储客户端、服务器之间的SOCKS5协议数据。
若根据网络拓扑结构,上一网段到本网段之间对流量数据没有变更,则不存储该流量数据,以避免出现就同一份数据重复存储的情况。
探针设备可以分析协议特定的IP、端口变换信息,如socks5的变换信息,并通过流量捕获分析管理中心,下发给下一跳设备,以使下一跳设备根据所述目标网络拓扑结构,变换信息。
流量捕获分析存储设备负责索引、存储流量捕获分析探针提供的流量数据及diff数据。当然,流量捕获分析存储设备也可以和流量捕获分析探针设备集成于一体。
根据上述公开可知,本发明实施例提供的网络流量数据差异化存储方法,结合目标网络的网络拓扑结构,综合考虑了网内不同网络区段的网络设备之间的路由链路传输信息,实现了对网络流量数据的差异化留存,避免一份数据重复备份的情况发生(当然,如果有需要也可以实现重复备份),从而便于减少磁盘存储资源的占用。
进一步地,由于减少了留存的数据量,便于减轻后续流量分析耗费的时间,提高数据分析效率。
实施例二
图5为本发明电子设备一个实施例的架构示意框图;基于与前述实施例一基本相同的技术构思,本发明实施例提供的电子设备,如图5所示,可以实现本发明实施例一中任一所述的网络流量数据差异化存储方法的步骤流程。
上述电子设备可以包括:壳体41、处理器42、存储器43、电路板44和电源电路45,其中,电路板44安置在壳体41围成的空间内部,处理器42和存储器43设置在电路板44上;电源电路45,用于为上述电子设备的各个电路或器件供电;存储器43用于存储可执行程序代码;处理器42通过读取存储器43中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述实施例一中任一所述的网络流量数据差异化存储方法。
处理器42对上述步骤的具体执行过程以及处理器42通过运行可执行程序代码来进一步执行的步骤,可以参见本发明实施例一的描述,在此不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现前述实施例一任一所述的网络流量数据差异化存储方法。
所述电子设备以多种形式存在,包括但不限于:
(1)移动通信设备:这类设备的特点是具备移动通信功能,并且以提供话音、数据通信为主要目标。这类终端包括:智能手机(例如iPhone)、多媒体手机、功能性手机,以及低端手机等。
(2)超移动个人计算机设备:这类设备属于个人计算机的范畴,有计算和处理功能,一般也具备移动上网特性。这类终端包括:PDA、MID和UMPC设备等,例如iPad。
(3)便携式娱乐设备:这类设备可以显示和播放多媒体内容。该类设备包括:音频、视频播放器(例如iPod),掌上游戏机,电子书,以及智能玩具和便携式车载导航设备。
(4)服务器:提供计算服务的设备,服务器的构成包括处理器、硬盘、内存、系统总线等,服务器和通用的计算机架构类似,但是由于需要提供高可靠的服务,因此在处理能力、稳定性、可靠性、安全性、可扩展性、可管理性等方面要求较高。
(5)其他具有数据交互功能的电子设备。
综上公开可知,相比于按照配置固定的ip段、端口段、协议等进行存储留存,本发明实施例提供的网络流量数据差异化存储方法,实现了对网络流量数据的差异化留存,避免一份数据重复备份的情况发生,从而便于减少磁盘存储资源的占用。
进一步地,由于减少了留存的数据量,便于减轻后续流量分析耗费的时间,提高数据分析效率。
进一步地,根据本发明实施例提供的差异化存储方法,对网络流量数据差异化存储,当需要进行数据分析时,可以根据存储类型及变更记录,快速索引并变换为接近原始流量的Pcap数据,以便于数据的分析。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
为了描述的方便,若涉及系统、服务器等,可能是以功能分为各种单元/模块分别描述。当然,在实施本发明时可以把各单元/模块的功能在同一个或多个软件和/或硬件中实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种网络流量数据差异化存储方法,其特征在于,包括步骤:
获取预定时间目标网络中的第一网络区段的网络流量数据;
解析所述网络流量数据,得到所述网络流量数据的头部信息;所述头部信息中携带有所述第一网络区段标识信息;
根据所述目标网络的网络拓扑结构及所述第一网络区段标识信息,确定所述网络流量数据在所述目标网络中的路由链路及变更信息;所述网络拓扑结构至少用于表征所述目标网络中的第一网络区段,和所述第一网络区段与其它网络区段之间的路由通联链路关系,以及所述第一网络区段及其它网络区段网络流量数据是否变更信息;
根据所述路由链路及所述变更信息,差异化存储所述网络流量数据。
2.如权利要求1所述的网络流量数据差异化存储方法,其特征在于,所述根据所述路由链路及所述变更信息,差异化存储所述网络流量数据,包括:根据所述路由链路,若确定所述网络流量数据由第一网络区段发起或最终接收,则从所述头部信息中提取五元组信息;所述其它网络区段包括第二网络区段,所述第二网络区段为所述第一网络区段在所述目标网络的路由链路中的上一级网络区段;
将所述五元组信息作为索引,存储所述网络流量数据。
3.如权利要求1所述的网络流量数据差异化存储方法,其特征在于,所述根据所述路由链路及所述变更信息,差异化存储所述网络流量数据,包括:根据所述路由链路及所述变更信息,确定所述网络流量数据从第二网络区段流向第一网络区段的路由链路上是否发生网络流量数据变更,所述第二网络区段为所述第一网络区段的上一网络区段;
若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录。
4.如权利要求3所述的网络流量数据差异化存储方法,其特征在于,所述若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录,包括:若发生变更,查询所述网络拓扑结构,判断所述网络流量数据变更类型;所述网络拓扑结构还包含:第一网络区段及其它网络区段上的发生变更的网络流量数据的变更类型;
若所述变更类型为IP头,则从所述头部信息中提取IP头或隧道头;
将所述IP头或隧道头作为索引,存储所述网络流量数据变更记录。
5.如权利要求3所述的网络流量数据差异化存储方法,其特征在于,所述若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上发生变更,则存储所述网络流量数据变更记录,包括:若发生变更,查询所述网络拓扑结构,判断所述网络流量数据变更类型;所述网络拓扑结构还包含:第一网络区段及其它网络区段上的发生变更的网络流量数据的变更类型;
若所述变更类型为数据内容,则从所述头部信息中剥离数据头,该数据头的类型包括:协议头、邮件头或代理服务器头;
对所述数据头进行修改;
将修改后的数据头作为索引,根据所述数据头的类型差异化存储所述网络流量数据变更记录。
6.如权利要求5所述的网络流量数据差异化存储方法,其特征在于,所述根据所述数据头的类型差异化存储所述网络流量数据变更记录包括:
若所述数据的类型为协议头和邮件头,则将压缩修改后的协议头、SEQ、ACK、LEN、TCP选项字段作为索引存储;
若所述数据的类型为代理服务器头,则根据代理服务器头携带的代理服务器的类型,按照与所述代理服务器的类型对应的差异化存储策略,存储所述网络流量数据变更记录。
7.如权利要求3所述的网络流量数据差异化存储方法,其特征在于,所述方法还包括:若所述网络流量数据从第二网络区段流向第一网络区段的路由链路上未发生变更,则不存储所述网络流量数据。
8.如权利要求1所述的网络流量数据差异化存储方法,其特征在于,在获取预定时间目标网络中的第一网络区段的网络流量数据之前,所述方法还包括:接收下发的所述目标网络的网络拓扑结构。
9.如权利要求3所述的网络流量数据差异化存储方法,其特征在于,所述方法还包括:在存储所述网络流量数据变更记录之后,接收提取所述网络流量数据的指令;
依据提取时间点对应的网络拓扑结构,从对应存储节点上按流依次提取网络流量数据;
根据所述网络流量数据存储的类型和变更记录,执行相应的网络流量数据变换策略,得到接近原始网络流量数据的Pcap数据;或者,
根据所述网络流量数据存储的类型和变更记录,执行相应的网络流量数据变换策略,得到接近原始网络流量数据的Pcap数据;
对所述Pcap数据重新排序,得到目标Pcap数据;或,对所述Pcap数据按流打包压缩;或,将所述Pcap数据缓存到磁盘。
10.一种电子设备,其特征在于,所述电子设备包括:壳体、处理器、存储器、电路板和电源电路,其中,电路板安置在壳体围成的空间内部,处理器和存储器设置在电路板上;电源电路,用于为上述电子设备的各个电路或器件供电;存储器用于存储可执行程序代码;处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序,用于执行前述权利要求1至9任一所述的网络流量数据差异化存储方法。
CN202211649341.2A 2022-12-21 2022-12-21 网络流量数据差异化存储方法及电子设备 Active CN116192677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211649341.2A CN116192677B (zh) 2022-12-21 2022-12-21 网络流量数据差异化存储方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211649341.2A CN116192677B (zh) 2022-12-21 2022-12-21 网络流量数据差异化存储方法及电子设备

Publications (2)

Publication Number Publication Date
CN116192677A true CN116192677A (zh) 2023-05-30
CN116192677B CN116192677B (zh) 2024-04-30

Family

ID=86441282

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211649341.2A Active CN116192677B (zh) 2022-12-21 2022-12-21 网络流量数据差异化存储方法及电子设备

Country Status (1)

Country Link
CN (1) CN116192677B (zh)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110757A (zh) * 2006-07-17 2008-01-23 华为技术有限公司 半分布式p2p网络流量管理方法、系统及设备
US20110080829A1 (en) * 2009-10-05 2011-04-07 Vss Monitoring, Inc. Method, apparatus and system for monitoring network conditions via a stacked topology of network captured traffic distribution devices
CN109714266A (zh) * 2018-12-25 2019-05-03 迈普通信技术股份有限公司 一种数据处理方法及网络设备
US20190199609A1 (en) * 2017-12-27 2019-06-27 Extrahop Networks, Inc. Network packet de-duplication
CN110034956A (zh) * 2019-03-27 2019-07-19 广州供电局有限公司 网络数据监控方法、装置、计算机设备和存储介质
US20190312813A1 (en) * 2018-04-10 2019-10-10 Kentik Technologies, Inc. Analyzing network traffic by enriching inbound network flows with exit data
US20200106702A1 (en) * 2018-10-02 2020-04-02 Arista Networks, Inc. Securing mpls network traffic
CN111211979A (zh) * 2018-11-22 2020-05-29 中国移动通信集团河北有限公司 流量管理方法、装置、设备及介质
CN113347099A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 一种分布式网络流量转发方法、装置、设备及存储介质
CN114301769A (zh) * 2021-12-29 2022-04-08 杭州迪普信息技术有限公司 原始流量数据的处理方法及系统
CN114553730A (zh) * 2022-04-27 2022-05-27 远江盛邦(北京)网络安全科技股份有限公司 一种应用识别方法、装置、电子设备及存储介质
CN115150171A (zh) * 2022-06-30 2022-10-04 北京天融信网络安全技术有限公司 一种流量统计方法、装置、电子设备及存储介质
US11489780B1 (en) * 2020-11-30 2022-11-01 Amazon Technologies, Inc. Traffic estimations for backbone networks
CN115277505A (zh) * 2022-07-13 2022-11-01 思力科(深圳)电子科技有限公司 基于区块链的通信数据流量统计装置、方法及相关设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110757A (zh) * 2006-07-17 2008-01-23 华为技术有限公司 半分布式p2p网络流量管理方法、系统及设备
US20110080829A1 (en) * 2009-10-05 2011-04-07 Vss Monitoring, Inc. Method, apparatus and system for monitoring network conditions via a stacked topology of network captured traffic distribution devices
US20190199609A1 (en) * 2017-12-27 2019-06-27 Extrahop Networks, Inc. Network packet de-duplication
US20190312813A1 (en) * 2018-04-10 2019-10-10 Kentik Technologies, Inc. Analyzing network traffic by enriching inbound network flows with exit data
US20200106702A1 (en) * 2018-10-02 2020-04-02 Arista Networks, Inc. Securing mpls network traffic
CN111211979A (zh) * 2018-11-22 2020-05-29 中国移动通信集团河北有限公司 流量管理方法、装置、设备及介质
CN109714266A (zh) * 2018-12-25 2019-05-03 迈普通信技术股份有限公司 一种数据处理方法及网络设备
CN110034956A (zh) * 2019-03-27 2019-07-19 广州供电局有限公司 网络数据监控方法、装置、计算机设备和存储介质
US11489780B1 (en) * 2020-11-30 2022-11-01 Amazon Technologies, Inc. Traffic estimations for backbone networks
CN113347099A (zh) * 2021-05-31 2021-09-03 中国工商银行股份有限公司 一种分布式网络流量转发方法、装置、设备及存储介质
CN114301769A (zh) * 2021-12-29 2022-04-08 杭州迪普信息技术有限公司 原始流量数据的处理方法及系统
CN114553730A (zh) * 2022-04-27 2022-05-27 远江盛邦(北京)网络安全科技股份有限公司 一种应用识别方法、装置、电子设备及存储介质
CN115150171A (zh) * 2022-06-30 2022-10-04 北京天融信网络安全技术有限公司 一种流量统计方法、装置、电子设备及存储介质
CN115277505A (zh) * 2022-07-13 2022-11-01 思力科(深圳)电子科技有限公司 基于区块链的通信数据流量统计装置、方法及相关设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
焦丁华;韩进喜;: "基于路由的网络流量监测系统设计与实现", 计算机与网络, no. 06, 26 March 2017 (2017-03-26), pages 64 - 67 *

Also Published As

Publication number Publication date
CN116192677B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
US10659354B2 (en) Processing data packets using a policy based network path
CN112787931B (zh) 报文传输方法、代理节点及存储介质
CN111510476B (zh) 通信方法、装置、计算机设备和计算机可读存储介质
US10791051B2 (en) System and method to bypass the forwarding information base (FIB) for interest packet forwarding in an information-centric networking (ICN) environment
CN112787921A (zh) 报文传输方法、代理节点及存储介质
CN113055127B (zh) 数据报文去重与传输方法、电子设备及存储介质
CN104980482A (zh) 文件发送方法及装置、文件接收方法及装置
CN102984223B (zh) 一种消息发送方法、网络设备及系统
US10462052B2 (en) Method and apparatus for incremental deployment of information centric network
WO2021083341A1 (zh) 一种报文处理的方法、网络节点和系统
CN108200158A (zh) 请求传输系统、方法、装置及存储介质
CN111418186B (zh) 用于路由终端与服务器之间初始化的会话的数据的方法
CN113810349B (zh) 数据传输方法、装置、计算机设备和存储介质
CN114157607A (zh) 媒体流传输方法和系统
CN110545230B (zh) 用于转发vxlan报文的方法和装置
CN116055311A (zh) 一种通信方法及装置
CN110650092A (zh) 一种数据处理的方法和装置
CN113839882A (zh) 一种报文流分流方法及装置
CN103746768A (zh) 一种数据包的识别方法及设备
CN116192677B (zh) 网络流量数据差异化存储方法及电子设备
CN115190056B (zh) 一种可编排的流量协议识别与解析方法、装置及设备
CN116566897A (zh) 一种寻址路由方法、装置、设备及介质
CN111464879A (zh) 一种数据通信的方法及装置
CN108574637B (zh) 一种地址自学习的方法、装置及交换机
CN116939035A (zh) 数据处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant