CN108809752B - 一种网络流量的自适应监控方法、装置、npb设备及介质 - Google Patents
一种网络流量的自适应监控方法、装置、npb设备及介质 Download PDFInfo
- Publication number
- CN108809752B CN108809752B CN201810396529.8A CN201810396529A CN108809752B CN 108809752 B CN108809752 B CN 108809752B CN 201810396529 A CN201810396529 A CN 201810396529A CN 108809752 B CN108809752 B CN 108809752B
- Authority
- CN
- China
- Prior art keywords
- monitoring
- data
- flow
- polling
- type
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 167
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000003044 adaptive effect Effects 0.000 title claims description 11
- 230000002776 aggregation Effects 0.000 claims abstract description 63
- 238000004220 aggregation Methods 0.000 claims abstract description 63
- 238000005070 sampling Methods 0.000 claims abstract description 21
- 230000004931 aggregating effect Effects 0.000 claims abstract description 18
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000013500 data storage Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000006116 polymerization reaction Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000012806 monitoring device Methods 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/12—Network monitoring probes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/142—Network analysis or design using statistical or mathematical methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/04—Processing captured monitoring data, e.g. for logfile generation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Algebra (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Pure & Applied Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种网络流量的自适应监控方法、装置、NPB设备及计算机可读存储介质,其方法包括以下步骤:每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令;根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合;其中,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合;根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息;将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息,提高网络流量监控的准确率及实时性,同时降低监控开销。
Description
技术领域
本发明涉及通信技术领域,尤其涉及一种网络流量的自适应监控方法、装置、NPB设备及计算机可读存储介质。
背景技术
SDN即网络定义软件,是近几年出现的关于下一代互联网架构的有力候选方案,其核心思想是将数据平面与转发平面分离,使得网络具有可编程性,这使得网络管理的复杂性大幅降低。同时,流量监控对于网络管理是非常重要的一部分,很多网络管理应用都是建立在准确和及时的网络状况统计之上,例如现在数据中心广泛应用的负载均衡技术,流量工程,入侵检测等等,现有的网络流量监控方法包括有:第一种:MonSmap,是一种基于OpenFlow的SDN监控算法,该算法通过对流量采样的优化实现了低网络负载的监控;第二种:分布式协作监控(DCM)是一种分布式的SDN监控系统,它可以实现数据流级的运行监控。
在实现本发明实施例的过程中,发明人发现:现有技术中,MonSmap方法仅实现了SDN的Qos监控.对于SDN网络监控而言,其监控内容不够全面;分布式协作监控(DCM)虽然可以实现数据流级的运行监控,但因其不是基于OpenFlow的,其通用性比较有限。
发明内容
针对上述问题,本发明的目的在于提供一种网络流量的自适应监控方法、装置、设备及计算机可读存储介质,提高网络流量监控的准确率及实时性,同时降低监控开销。
第一方面,本发明实施例提供了一种网络流量的自适应监控方法,包括以下步骤:
每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令;
根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合;其中,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合;
根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息;
将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息。
在第一方面的第一种实现方式中,还包括:
将所述聚合级信息存储于数据存储单元中;其中,所述数据存储单元为关系型数据库、键值型数据库或非结构化的文件系统中的任意一种。
根据第一方面的第一种实现方式,在第一方面的第二种实现方式中,还包括:
根据所述聚合级信息向所述控制器返回一监控标识;其中,所述监控标识用于使得所述控制器通过所述监控标识从所述数据存储单元中定位与所述流状态请求消息相应的监控流量数据。
在第一方面的第三种实现方式中,所述根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息,具体为:
根据所述调度指令确定轮询的数据统计类型;其中,所述数据统计类型包括数据流的统计、队列的数据统计及端口的数据统计;
根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息;其中,所述数据统计信息的格式为eth_dst、eth_src、eth_type、vlan_vid、vlan_pcp、ip_dscp、ip_ecn、ip_proto、ipv4_src、ipv4_dst、tcp_src、tcp_dst、tcp_flags、udp_src、udp_dst、sctp_src、sctp_dst、icmpv4_type、icmpv4_code、arp_op、arp_spa、arp_tpa、arp_sha、arp_tha、ipv6_src、ipv6_dst、ipv6_flabel、icmpv6_type、icmpv6_code、ipv6_nd_target、ipv6_nd_sll、ipv6_nd_tll、mpls_label、mpls_tc、mpls_bos、pbb_isid、ipv6_exthdr及pbb_uca 38位元组成。
根据第一方面的第三种实现方式,在第一方面的第四种实现方式中,在所述交换机中,通过Datapath缓存流技术对接收的数据包进行缓存以进行转发或者过滤,并保存相应的流执行结果;
则所述根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息,具体为:
根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以通过Datapath通道及所述流执行结果获取相应的数据统计信息。
根据第一方面的第四种实现方式,在第一方面的第五种实现方式中,所述将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息,具体为:
根据所述流状态请求消息获取对应的流量监控聚合级别;其中,所述流量监控聚合级别包括数据流级、端口级、交换机级级用户级;
根据所述流量监控聚合级别将所述数据统计信息进行聚合以获取相应的流量监控所需的聚合级信息。
根据第一方面的第五种实现方式,在第一方面的第六种实现方式中,在所述将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息之后,还包括:
根据所述聚合级信息分析监控数据流变化速度;
根据所述监控数据流变化速度调整监控采样时隙及对应的交换机集合的轮询时隙。
第二方面,本发明实施例提供了一种网络流量的自适应监控装置,包括:
请求解析转换模块,用于每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令;
交换选择模块,用于根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合;其中,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合;
统计信息收集模块,用于根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息;
流量聚合模块,用于将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息。
在第二方面的第一种实现方式中,还包括:
流量数据存储模块,用于将所述聚合级信息存储于数据存储单元中;其中,所述数据存储单元为关系型数据库、键值型数据库或非结构化的文件系统中的任意一种。
根据第二方面的第一种实现方式,在第二方面的第二种实现方式中,还包括:
监控结果返回模块,用于根据所述聚合级信息向所述控制器返回一监控标识;其中,所述监控标识用于使得所述控制器通过所述监控标识从所述数据存储单元中定位与所述流状态请求消息相应的监控流量数据。
在第二方面的第三种实现方式中,所述统计信息收集模块具体包括:
统计类型获取子模块,用于根据所述调度指令确定轮询的数据统计类型;其中,所述数据统计类型包括数据流的统计、队列的数据统计及端口的数据统计;
统计信息收集子模块,用于根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息;其中,所述数据统计信息的格式为eth_dst、eth_src、eth_type、vlan_vid、vlan_pcp、ip_dscp、ip_ecn、ip_proto、ipv4_src、ipv4_dst、tcp_src、tcp_dst、tcp_flags、udp_src、udp_dst、sctp_src、sctp_dst、icmpv4_type、icmpv4_code、arp_op、arp_spa、arp_tpa、arp_sha、arp_tha、ipv6_src、ipv6_dst、ipv6_flabel、icmpv6_type、icmpv6_code、ipv6_nd_target、ipv6_nd_sll、ipv6_nd_tll、mpls_label、mpls_tc、mpls_bos、pbb_isid、ipv6_exthdr及pbb_uca 38位元组成。
根据第二方面的第三种实现方式,在第二方面的第四种实现方式中,在所述交换机中,通过Datapath缓存流技术对接收的数据包进行缓存以进行转发或者过滤,并保存相应的流执行结果;
则所述统计信息收集子模块具体包括:
根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以通过Datapath通道及所述流执行结果获取相应的数据统计信息。
根据第二方面的第四种实现方式,在第二方面的第五种实现方式中,
所述流量聚合模块具体包括:
聚合级别获取子模块,用于根据所述流状态请求消息获取对应的流量监控聚合级别;其中,所述流量监控聚合级别包括数据流级、端口级、交换机级级用户级;
流量监控聚合子模块,用于根据所述流量监控聚合级别将所述数据统计信息进行聚合以获取相应的流量监控所需的聚合级信息。
根据第二方面的第五种实现方式,在第二方面的第六种实现方式中,在所述流量聚合模块之后,还包括:
分析模块,用于根据所述聚合级信息分析监控数据流变化速度;
时隙调整模块,用于根据所述监控数据流变化速度调整监控采样时隙及对应的交换机集合的轮询时隙。
第三方面,本发明实施例提供了一种NPB设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述中任意一项所述的网络流量的自适应监控方法。
第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述中任意一项所述的网络流量的自适应监控方法。
本发明实施例提供了一种网络流量的自适应监控方法、装置、NPB设备及计算机可读存储介质,具有如下有益效果:
首先在每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令,然后根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合,再根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息,最后将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息,实现全方位的网络监控,提高网络流量监控的准确性及实时性,降低了复杂性,同时也降低了监控开销。
附图说明
为了更清楚地说明本发明的技术方案,下面将对实施方式中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明第一实施例提供的网络流量的自适应监控方法的流程示意图。
图2是本发明第五实施例提供的网络流量的自适应监控装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明第一实施例提供了一种网络流量的自适应监控方法,其可由NPB设备来执行,并包括以下步骤:
S11,每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令。
在本发明实施例中,所述NPB设备为网络数据包代理设备。
在本发明实施例中,所述NPB设备在每到预设监控采样时间点,接收控制器发送的流状态请求消息,并基于控制器请求和底层网络数据的交互对所述流状态请求消息进行解析及转换,以生成底层网络设备能够解读的调度指令。
在本发明实施例中,需要说明的是,所述调度指令包括控制器所需监控的数据类别,如性能、容错性或安全性等。
S12,根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合。其中,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合。
在本发明实施例中,所述调度指令中的数据类别包括网络流量监控对象,所述网络流量监控对象可以是交换设备、端口、流量表或者数据流等,所述NPB设备解析所述调度指令中的网络流量监控对象,根据所述网络流量监控对象从存储在轮询时间戳内需要轮询的交换机集合的交换选择库中,选择需要进行流量监控的交换机集合,所述交换机可以提供每个数据流的统计、每个队列的数据统计及每个端口的数据统计。
S13,根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息。
在本发明实施例中,所述调度指令中的数据类别还包括数据统计类型,所述NPB设备根据所述调度指令确定轮询的数据统计类型,所述数据统计类型包括数据流的统计、队列的数据统计及端口的数据统计,然后根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息,所述数据统计信息的格式为eth_dst、eth_src、eth_type、vlan_vid、vlan_pcp、ip_dscp、ip_ecn、ip_proto、ipv4_src、ipv4_dst、tcp_src、tcp_dst、tcp_flags、udp_src、udp_dst、sctp_src、sctp_dst、icmpv4_type、icmpv4_code、arp_op、arp_spa、arp_tpa、arp_sha、arp_tha、ipv6_src、ipv6_dst、ipv6_flabel、icmpv6_type、icmpv6_code、ipv6_nd_target、ipv6_nd_sll、ipv6_nd_tll、mpls_label、mpls_tc、mpls_bos、pbb_isid、ipv6_exthdr及pbb_uca 38位元组成,相较于现有技术的5位元格式,提高了流量监控的精度,对于流量监控更为准确;在所述交换机中,通过Datapath缓存流技术对接收的数据包进行缓存以进行转发或者过滤,并保存相应的流执行结果,避免所述交换机中对于所有接收的数据包都需要逐个匹配所有的流从而造成效率极低的现象,在所述交换机中,当匹配到同一条流的数据包时,直接通过Datapath通道进行缓存处理并保存相应的流执行结果,在本发明中,所述网络数据包代理设备根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以通过Datapath通道及所述流执行结果从所述交换机中快速获取相应的数据统计信息,提高了数据包匹配及统计信息采集效率,实现资源的综合利用。
S14,将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息。
在本发明实施例中,所述调度指令中的数据类别还包括流量监控聚合级别,所述NPB设备根据所述流状态请求消息获取对应的流量监控聚合级别,所述流量监控聚合级别包括数据流级、端口级、交换机级级用户级,然后根据所述流量监控聚合级别将所述数据统计信息进行聚合以获取相应的流量监控所需的聚合级信息。
综上所述,本发明第一实施例提供了一种网络流量的自适应监控方法,首先接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令,然后根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合,再根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息,最后将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息,实现全方位的网络监控,提高网络流量监控的准确性及实时性,降低了复杂性,同时也降低了监控开销。
为了便于对本发明的理解,下面将对本发明的一些优选实施例做更进一步的描述。
本发明第二实施例:
在本发明第一实施例的基础上,还包括:
将所述聚合级信息存储于数据存储单元中;其中,所述数据存储单元为关系型数据库、键值型数据库或非结构化的文件系统中的任意一种。
在本发明实施例中,所述NPB设备将所述聚合级信息存储于数据存储单元中,以便后续供所述控制器从所述数据存储单元中获取对应的监控数据,所述数据存储单元可以是关系型数据库、键值型数据库或非结构化的文件系统。
本发明第三实施例:
在本发明第二实施例的基础上,还包括:
根据所述聚合级信息向所述控制器返回一监控标识;其中,所述监控标识用于使得所述控制器通过所述监控标识从所述数据存储单元中定位与所述流状态请求消息相应的监控流量数据。
在本发明实施例中,所述NPB设备将所述流状态请求消息所需的流量监控数据存入数据存储单元,作为所述流状态请求消息的响应,将对所述控制器返回一个监控标识ID,从而使上层网络可以通过监控标识ID从所述数据存储单元中定位与所述流状态请求消息相应的监控流量数据。
本发明第四实施例:
在本发明第三实施例的基础上,在所述将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息之后,还包括:
根据所述聚合级信息分析监控数据流变化速度。
根据所述监控数据流变化速度调整监控采样时隙及对应的交换机集合的轮询时隙。
在本发明实施例中,所述NPB设备根据根据所述聚合级信息分析监控数据流变化速度,然后根据所述监控数据流变化速度调整监控采样时隙及对应的交换机集合的轮询时隙,当监控数据流的数据变化并不显著时,可以将所述监控采样时隙增大预设倍数或者将对应的交换机集合的轮询时隙扩大预设倍数,例如2倍、4倍等,此过程可重复执行直到监控采样时隙(即监控采样时间)及轮询时隙(即轮询时间戳)达到预设上限值;当监控数据流的数据变化很快时,可以将所述监控采样时隙缩小预设倍数或者将对应的交换机集合的轮询时隙缩短预设倍数,例如2倍、4倍等,此过程可重复执行直到监控采样时隙及轮询时隙(即轮询时间戳)达到预设下限值,实现在不影响监控效果的前提下进一步降低监控的负载,以较小的额外负载实现准确、实时的网络监控。
请参阅图2,本发明第五实施例提供了一种网络流量的自适应监控装置,包括:
请求解析转换模块11,用于每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令。
交换选择模块12,用于根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合;其中,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合。
统计信息收集模块13,用于根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息。
流量聚合模块14,用于将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息。
在第五实施例的第一种实现方式中,还包括:
流量数据存储模块,用于将所述聚合级信息存储于数据存储单元中;其中,所述数据存储单元为关系型数据库、键值型数据库或非结构化的文件系统中的任意一种。
根据第五实施例的第一种实现方式,在第五实施例的第二种实现方式中,还包括:
监控结果返回模块,用于根据所述聚合级信息向所述控制器返回一监控标识;其中,所述监控标识用于使得所述控制器通过所述监控标识从所述数据存储单元中定位与所述流状态请求消息相应的监控流量数据。
在第五实施例的第三种实现方式中,所述统计信息收集模块13具体包括:
统计类型获取子模块,用于根据所述调度指令确定轮询的数据统计类型;其中,所述数据统计类型包括数据流的统计、队列的数据统计及端口的数据统计。
统计信息收集子模块,用于根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息;其中,所述数据统计信息的格式为eth_dst、eth_src、eth_type、vlan_vid、vlan_pcp、ip_dscp、ip_ecn、ip_proto、ipv4_src、ipv4_dst、tcp_src、tcp_dst、tcp_flags、udp_src、udp_dst、sctp_src、sctp_dst、icmpv4_type、icmpv4_code、arp_op、arp_spa、arp_tpa、arp_sha、arp_tha、ipv6_src、ipv6_dst、ipv6_flabel、icmpv6_type、icmpv6_code、ipv6_nd_target、ipv6_nd_sll、ipv6_nd_tll、mpls_label、mpls_tc、mpls_bos、pbb_isid、ipv6_exthdr及pbb_uca 38位元组成。
根据第五实施例的第三种实现方式,在第五实施例的第四种实现方式中,在所述交换机中,通过Datapath缓存流技术对接收的数据包进行缓存以进行转发或者过滤,并保存相应的流执行结果。
则所述统计信息收集子模块具体包括:
根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以通过Datapath通道及所述流执行结果获取相应的数据统计信息。
根据第五实施例的第四种实现方式,在第五实施例的第五种实现方式中,所述流量聚合模块14具体包括:
聚合级别获取子模块,用于根据所述流状态请求消息获取对应的流量监控聚合级别;其中,所述流量监控聚合级别包括数据流级、端口级、交换机级级用户级。
流量监控聚合子模块,用于根据所述流量监控聚合级别将所述数据统计信息进行聚合以获取相应的流量监控所需的聚合级信息。
根据第五方面的第五种实现方式,在第五方面的第六种实现方式中,在所述流量聚合模块之后,还包括:
分析模块,用于根据所述聚合级信息分析监控数据流变化速度。
时隙调整模块,用于根据所述监控数据流变化速度调整监控采样时隙及对应的交换机集合的轮询时隙。
本发明第六实施例提供了一种NPB设备。该实施例的NPB设备包括:处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,例如监控网络流量程序。所述处理器执行所述计算机程序时实现上述各个监控网络流量方法实施例中的步骤,例如图1所示的步骤S11。或者,所述处理器执行所述计算机程序时实现上述各装置实施例中各模块/单元的功能,例如请求解析转换模块。
示例性的,所述计算机程序可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器中,并由所述处理器执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序在所述NPB设备中的执行过程。
所述NPB设备可以是网络数据包代理设备,即NPB设备,或者所述NPB设备可为一种基于OpenFlow的SDN监控设备。所述NPB设备可包括,但不仅限于,处理器、存储器。本领域技术人员可以理解,上述部件仅仅是NPB设备的示例,并不构成对NPB设备的限定,可以包括比上述部件更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述NPB设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述NPB设备的控制中心,利用各种接口和线路连接整个NPB设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述NPB设备的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据基于流量监控的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
其中,所述NPB设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
需说明的是,以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外,本发明提供的装置实施例附图中,模块之间的连接关系表示它们之间具有通信连接,具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (8)
1.一种网络流量的自适应监控方法,其特征在于,包括以下步骤:
每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令;
根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合;其中,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合;
根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息;
将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息;
所述根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息,具体为:
根据所述调度指令确定轮询的数据统计类型;其中,所述数据统计类型包括数据流的统计、队列的数据统计及端口的数据统计;
根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息;其中,所述数据统计信息的格式为eth_dst、eth_src、eth_type、vlan_vid、vlan_pcp、ip_dscp、ip_ecn、ip_proto、ipv4_src、ipv4_dst、tcp_src、tcp_dst、tcp_flags、udp_src、udp_dst、sctp_src、sctp_dst、icmpv4_type、icmpv4_code、arp_op、arp_spa、arp_tpa、arp_sha、arp_tha、ipv6_src、ipv6_dst、ipv6_flabel、icmpv6_type、icmpv6_code、ipv6_nd_target、ipv6_nd_sll、ipv6_nd_tll、mpls_label、mpls_tc、mpls_bos、pbb_isid、ipv6_exthdr及pbb_uca 38位元组成;
所述将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息,具体为:
根据所述流状态请求消息获取对应的流量监控聚合级别;其中,所述流量监控聚合级别包括数据流级、端口级、交换机级及用户级;
根据所述流量监控聚合级别将所述数据统计信息进行聚合以获取相应的流量监控所需的聚合级信息。
2.根据权利要求1所述的网络流量的自适应监控方法,其特征在于,还包括:
将所述聚合级信息存储于数据存储单元中;其中,所述数据存储单元为关系型数据库、键值型数据库或非结构化的文件系统中的任意一种。
3.根据权利要求2所述的网络流量的自适应监控方法,其特征在于,还包括:
根据所述聚合级信息向所述控制器返回一监控标识;其中,所述监控标识用于使得所述控制器通过所述监控标识从所述数据存储单元中定位与所述流状态请求消息相应的监控流量数据。
4.根据权利要求1所述的网络流量的自适应监控方法,其特征在于,在所述交换机中,通过Datapath缓存流技术对接收的数据包进行缓存以进行转发或者过滤,并保存相应的流执行结果;
则所述根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息,具体为:
根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以通过Datapath通道及所述流执行结果获取相应的数据统计信息。
5.根据权利要求4所述的网络流量的自适应监控方法,其特征在于,在所述将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息之后,还包括:
根据所述聚合级信息分析监控数据流变化速度;
根据所述监控数据流变化速度调整监控采样时隙及对应的交换机集合的轮询时隙。
6.一种网络流量的自适应监控装置,其特征在于,包括:
请求解析转换模块,用于每到预设监控采样时间点,接收控制器发送的流状态请求消息,并对所述流状态请求消息进行解析,以生成调度指令;
交换选择模块,用于根据所述调度指令从交换选择库中选择需要进行流量监控的交换机集合;其中,所述交换选择库用于存储在轮询时间戳内需要轮询的交换机集合;
统计信息收集模块,用于根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息;
流量聚合模块,用于将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息;
其中,所述根据所述调度指令在轮询时间戳内轮询相应的交换机集合中的所有交换机,以收集数据统计信息,具体为:
根据所述调度指令确定轮询的数据统计类型;其中,所述数据统计类型包括数据流的统计、队列的数据统计及端口的数据统计;
根据所述调度指令及所述数据统计类型轮询相应的交换机集合中的所有交换机,以收集相应数据统计类型的数据统计信息;其中,所述数据统计信息的格式为eth_dst、eth_src、eth_type、vlan_vid、vlan_pcp、ip_dscp、ip_ecn、ip_proto、ipv4_src、ipv4_dst、tcp_src、tcp_dst、tcp_flags、udp_src、udp_dst、sctp_src、sctp_dst、icmpv4_type、icmpv4_code、arp_op、arp_spa、arp_tpa、arp_sha、arp_tha、ipv6_src、ipv6_dst、ipv6_flabel、icmpv6_type、icmpv6_code、ipv6_nd_target、ipv6_nd_sll、ipv6_nd_tll、mpls_label、mpls_tc、mpls_bos、pbb_isid、ipv6_exthdr及pbb_uca 38位元组成;
所述将所述数据统计信息进行聚合以获取流量监控所需的聚合级信息,具体为:
根据所述流状态请求消息获取对应的流量监控聚合级别;其中,所述流量监控聚合级别包括数据流级、端口级、交换机级及用户级;
根据所述流量监控聚合级别将所述数据统计信息进行聚合以获取相应的流量监控所需的聚合级信息。
7.一种NPB设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1至5中任意一项所述的网络流量的自适应监控方法。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至5中任意一项所述的网络流量的自适应监控方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810396529.8A CN108809752B (zh) | 2018-04-27 | 2018-04-27 | 一种网络流量的自适应监控方法、装置、npb设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810396529.8A CN108809752B (zh) | 2018-04-27 | 2018-04-27 | 一种网络流量的自适应监控方法、装置、npb设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108809752A CN108809752A (zh) | 2018-11-13 |
CN108809752B true CN108809752B (zh) | 2020-09-08 |
Family
ID=64094110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810396529.8A Active CN108809752B (zh) | 2018-04-27 | 2018-04-27 | 一种网络流量的自适应监控方法、装置、npb设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108809752B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110677311A (zh) * | 2019-04-24 | 2020-01-10 | 广州西麦科技股份有限公司 | 端口流量统计周期调整方法及相关装置 |
CN110798442B (zh) * | 2019-09-10 | 2023-01-20 | 广州西麦科技股份有限公司 | 数据注入攻击检测方法及相关装置 |
CN112565023A (zh) * | 2020-12-28 | 2021-03-26 | 广州西麦科技股份有限公司 | 一种基于Telemetry流量采集技术的流量可视化系统和方法 |
CN113242158B (zh) * | 2021-05-10 | 2022-11-29 | 上海华讯网络系统有限公司 | 一种基于交换机硬件时间戳的实时监控方法和系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106357534A (zh) * | 2016-08-25 | 2017-01-25 | 江苏省未来网络创新研究院 | 一种基于sdn的流量监控系统及方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10601654B2 (en) * | 2013-10-21 | 2020-03-24 | Nyansa, Inc. | System and method for observing and controlling a programmable network using a remote network manager |
-
2018
- 2018-04-27 CN CN201810396529.8A patent/CN108809752B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106357534A (zh) * | 2016-08-25 | 2017-01-25 | 江苏省未来网络创新研究院 | 一种基于sdn的流量监控系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108809752A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108809752B (zh) | 一种网络流量的自适应监控方法、装置、npb设备及介质 | |
US9749226B2 (en) | Flow-based network switching system | |
Kekely et al. | Software defined monitoring of application protocols | |
US7843827B2 (en) | Method and device for configuring a network device | |
US20060217923A1 (en) | Policy-based approach for managing the export of network flow statistical data | |
Inacio et al. | {YAF}: Yet another flowmeter | |
CN108270699B (zh) | 报文处理方法、分流交换机及聚合网络 | |
US9614766B2 (en) | System and method to analyze congestion in low latency network | |
Hyun et al. | Real‐time and fine‐grained network monitoring using in‐band network telemetry | |
CN104753885A (zh) | 一种流表匹配的方法、装置和OpenFlow交换系统 | |
CN109525495B (zh) | 一种数据处理装置、方法和fpga板卡 | |
CN112039746B (zh) | 一种工业控制网络系统 | |
CN111970211A (zh) | 一种基于ipfix的大象流处理方法及装置 | |
Jia et al. | Reducing and balancing flow table entries in software-defined networks | |
US20210336960A1 (en) | A System and a Method for Monitoring Traffic Flows in a Communications Network | |
CN107995121A (zh) | 基于通配符的软件定义网络中流量统计方法 | |
CN113765812A (zh) | 一种标记报文的方法和装置 | |
US11018960B2 (en) | Accelerated time series analysis in a network | |
US20230155947A1 (en) | Method for identifying flow, and apparatus | |
US11146468B1 (en) | Intelligent export of network information | |
CN114095383B (zh) | 网络流量采样方法、系统和电子设备 | |
US9887892B2 (en) | Traffic statistics collection method and device | |
CN113422699B (zh) | 数据流处理方法、装置、计算机可读存储介质及电子设备 | |
Qiao et al. | Fine-Grained Active Queue Management in the Data Plane with P4 | |
US9880603B1 (en) | Methods and apparatus for clock gating processing modules based on hierarchy and workload |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An adaptive monitoring method, device, NPB device, and medium for network traffic Granted publication date: 20200908 Pledgee: Bank of China Limited Guangzhou Pearl River Branch Pledgor: GUANGZHOU VCMY TECHNOLOGY Co.,Ltd. Registration number: Y2024980020601 |