CN113364651A - 一种新型分布式网络流量采集方法 - Google Patents

一种新型分布式网络流量采集方法 Download PDF

Info

Publication number
CN113364651A
CN113364651A CN202110717185.8A CN202110717185A CN113364651A CN 113364651 A CN113364651 A CN 113364651A CN 202110717185 A CN202110717185 A CN 202110717185A CN 113364651 A CN113364651 A CN 113364651A
Authority
CN
China
Prior art keywords
sflow
flow
module
collector
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110717185.8A
Other languages
English (en)
Other versions
CN113364651B (zh
Inventor
胡章丰
张晖
孙思清
高传集
李彦君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Cloud Information Technology Co Ltd
Original Assignee
Inspur Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Cloud Information Technology Co Ltd filed Critical Inspur Cloud Information Technology Co Ltd
Priority to CN202110717185.8A priority Critical patent/CN113364651B/zh
Publication of CN113364651A publication Critical patent/CN113364651A/zh
Application granted granted Critical
Publication of CN113364651B publication Critical patent/CN113364651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0823—Errors, e.g. transmission errors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Mining & Analysis (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Multi Processors (AREA)

Abstract

本发明公开一种新型分布式网络流量采集方法,涉及数据采集技术领域；部署上下级sflow collector用于分布式网络流量采集，其中通过下级sflow collector采集本地物理服务器中虚拟交换机产生的虚拟网络流量，上报至上级sflow collector集群，通过上级sflow collector集群采集物理网络流量并汇总下级sflow collector上报的虚拟网络流量进行全网络的流量汇总。

Description

一种新型分布式网络流量采集方法
技术领域
本发明公开一种方法,涉及数据采集技术领域，具体地说是一种新型分布式网络流量采集方法。
背景技术
传统网络流量的采集一般通过交换机的端口镜像的方式采集全量数据，或者利用交换机的交换芯片内流量采集模块根据配置策略进行流量采集，并将采集的结果送给集中式的流量收集器(collector)进行处理。端口镜像的方式一般用于网络出现故障时的故障定位或者针对特定用户或业务的流量审计，由于对网络资源消耗过大，应用场景比较受限。而交换芯片内流量采集模块配合流量收集器的方式，由于采样频率和采样报文长度可以自定义，其应用场景较为广泛，是目前主要的网络流量采集方式。
但随着云计算技术的飞速发展，云数据中心中的网络流量不能简单的只采集物理网络的流量状态，还需要针对虚拟网络的流量状态进行采集并分析，而云数据中心可能由成千上万台物理服务器构成，每一台物理服务器内虚拟网络的流量都通过流量采集模块配合流量收集器的方式采集容易导致流量收集器产生性能瓶颈，无法承载高流量的压力，并进一步影响整个系统的运行。
发明内容
本发明针对现有技术的问题，提供一种新型分布式网络流量采集方法，实现对大规模云数据中心网络流量的分布式采集并处理，实现对大规模云数据中心的物理网络、虚拟网络的一体化监控管理。
本发明提出的具体方案是：
一种新型分布式网络流量采集方法，部署上下级sflow collector集群用于分布式网络流量采集，其中通过下级sflow collector采集本地物理服务器中虚拟交换机产生的虚拟网络流量，上报至上级sflow collector集群，通过上级sflow collector集群获取物理网络流量并汇总下级sflow collector上报的虚拟网络流量进行全网络的流量汇总。
进一步，所述的一种新型分布式网络流量采集方法中通过下级sflow collector控制虚拟交换机上的sflow采样行为，解析sflow采样的报文头信息，将解析结果进行本地分析处理，并将本地分析结果进行格式化并打包压缩，上传至上级sflow collector。
进一步，所述的一种新型分布式网络流量采集方法中通过上级sflow collector集群控制物理交换机上的sflow采样行为，解析sflow采样的报文头信息，将解析结果进行分析处理，并将各个下级sflow collector上报的虚拟网络流量的分析结果进行汇总，将虚拟网络的分析结果与物理网络的分析结果进行匹配映射，将虚拟网络的流量与物理网络的流量进行关联，形成全网络的流量汇总。
进一步，所述的一种新型分布式网络流量采集方法中对上下级sflow collector进行运行状态的监控及故障告警。
一种新型分布式网络流量采集系统，包括上下级sflow collector，用于分布式网络流量采集，其中下级sflow collecto采集本地物理服务器中虚拟交换机产生的虚拟网络流量，上报至上级sflow collector集群，上级sflow collector集群采集物理网络流量并汇总下级sflow collector上报的虚拟网络流量进行全网络的流量汇总。
进一步，所述的一种新型分布式网络流量采集系统中下级sflow collector包括sflow采样控制模块、报文解析模块、统计分析模块、打包压缩模块及汇总上报模块，
Sflow采样控制模块负责控制虚拟交换机上的sflow采样行为，报文解析模块负责解析sflow采样的报文头信息，统计分析模块负责将报文解析模块输出的解析结果进行本地分析处理，打包压缩模块负责将本地分析结果进行格式化并打包压缩，汇总上报模块主要负责将打包压缩的本地分析结果上传给上级sflow collector。
进一步，所述的一种新型分布式网络流量采集系统中上级sflow collector包括sflow采样控制模块、报文解析模块、统计分析模块、汇总分析模块及虚拟映射模块，
Sflow采样控制模块负责控制物理交换机上的sflow采样行为，报文解析模块负责解析sflow采样的报文头信息，统计分析模块负责将报文解析模块输出的解析结果进行分析处理，汇总分析模块负责将各个下级sflow collector上报的虚拟网络流量的分析结果进行汇总，虚拟映射模块负责将虚拟网络的分析结果与物理网络的分析结果进行匹配映射，将虚拟网络的流量与物理网络的流量进行关联，形成全网络的流量汇总。
进一步，所述的一种新型分布式网络流量采集系统中下级sflow collector还包括健康检查模块，负责自身运行状态的监控及故障告警。
进一步，所述的一种新型分布式网络流量采集系统中上级sflow collector还包括健康检查模块，负责自身运行状态的监控及故障告警。
计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1-4任一项所述的一种新型分布式网络流量采集方法。
本发明的有益之处是：
本发明提供一种新型分布式网络流量采集方法，基于sflow的全分布式网络流量采集,采用上下级collector架构对物理网络与虚拟网络流量先分离采集，再分析融合,有助于每一级collector可以根据实际采集情况进行自适应采样参数的调整，既保证可用性又保证准确性，同时解决集中式sflow模式则存在collector瓶颈问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明方法上下级sflow collector架构示意图。
图2是本发明系统中下级sflow collector的模块组成示意图。
图3是本发明系统中上级sflow collector的模块组成示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
本发明提供一种新型分布式网络流量采集方法，部署上下级sflow collector用于分布式网络流量采集，其中通过下级sflow collector采集本地物理服务器中虚拟交换机产生的虚拟网络流量，上报至上级sflow collector集群，通过上级sflow collector集群采集物理网络流量并汇总下级sflow collector上报的虚拟网络流量进行全网络的流量汇总。
现有技术中大规模云数据中心中物理网络和虚拟网络的流量采集都通过sflow方式将每一台物理服务器内虚拟网络的流量进行收集，那么流量收集器collector将成为整个采集系统的性能瓶颈，无法承载高流量的压力。而本发明方法部署上下级sflowcollector集群，将collector的压力分摊到网络的边缘，针对物理网络的流量，在物理交换机上采用sflow的方式采集underlay流量，并将采集的结果送给上级sflow collector集群，由上级sflow collector集群进行报文的分析处理。针对虚拟网络的流量，根据各物理服务器的虚拟交换机通过开启虚拟交换机的sflow协议进行报文采集，在各物理服务器的本地部署下级sflow collector负责接收本地虚拟交换机采集的sflow报文并进行本地初始处理，下级sflow collector对采集的报文进行分析处理并将处理结果进行汇总和打包压缩，并通过隧道方式传输给上级sflow collector集群进行汇总处理，上级sflowcollector集群服务器之间可以通过BGP协议进行本地分析结果的全局同步，上级sflowcollector通过对交换机上物理网络流量的分析和各物理服务器上虚拟网络流量的分析汇总，可以绘制出一张全网络的流量视图，包括虚拟网络流量在物理网络中所经过的所有路径。
具体应用中，在本发明的一些实施例中，以附图1-3作为参考，部署上下级sflowcollector集群，上级sflow collector为L1collector，下级sflow collector为L2collector。
其中L2 collector可位于云数据中心的提供虚拟化能力的物理服务器上，L2collector通过内部虚拟口与本地虚拟交换机联通，主要包括六个模块：sflow采样控制模块、报文解析模块、统计分析模块、打包压缩模块、汇总上报模块和健康检查模块。Sflow采样控制模块主要负责控制虚拟交换机上sflow的采样行为，如采样频率、采样报文长度等，L2 collector可以根据当前物理服务器上的业务流量和L2 collector自身负载情况实时调整sflow相关采样参数，在保证基本采样性能的情况下尽可能保证采样分析的准确性。报文解析模块主要负责解析sflow采样的报文头信息，包括二层mac头、三层IP头、四层TCP/UDP头信息等，此外还可解析出GRE或Vxlan隧道封装内部报文的二层mac头、三层IP头、四层TCP/UDP头信息。统计分析模块主要负责将报文解析模块输出的解析结果进行本地分析处理，形成一定格式的输出结果。打包压缩模块主要负责将本地分析结果进行格式化并打包压缩，准备上报给L1 collector进行进一步分析处理。汇总上报模块主要负责将打包压缩的本地分析结果上传给L1 collector，交由L1collector进行后续处理。健康检查模块主要负责L2 collector自身运行状态的监控及故障告警，当发现自身出现故障或资源不足时，需将当前状态上报给系统管理员或第三方运维管理系统，便于系统运维人员或第三方系统尽快介入并修复问题。
L1 collector位于单独部署的分布式集群中，L1 collector一方面收集来自物理网络的采样信息，由交换机sflow上报，另一方面还汇总各L2collector上报的虚拟网络的采样分析结果并进行二次处理。L1 collector包括以下模块：sflow采样控制模块、报文解析模块、统计分析模块、汇总分析模块、虚拟映射模块及健康检查模块。其中Sflow采样控制模块负责控制物理交换机上的sflow采样行为，如采样频率、采样报文长度等，可以根据当前网络流量情况及资源配置情况实时调整sflow相关采样参数，在保证基本采样性能的情况下尽可能保证采样分析的准确性。报文解析模块负责解析sflow采样的报文头信息。统计分析模块负责将报文解析模块输出的解析结果进行分析处理。汇总分析模块主要负责将各L2 collector上报的各物理服务器上虚拟网络流量的分析结果进行汇总。虚拟映射模块主要负责将虚拟网络的采样分析结果与物理网络的采样分析结果进行匹配映射，将虚拟网络的流量与物理网络的流量进行关联，并确定流量的完整路径，形成虚拟网络流量与物理网络流量的全景视图。健康检查模块主要负责L1 collector自身运行状态的监控及故障告警，当发现自身出现故障或资源不足时，需将当前状态上报给系统管理员或第三方运维管理系统，便于系统运维人员或第三方系统尽快介入并修复问题。
采集网络流量时，以物理服务器1为例。物理服务器1上面有两台虚机vm1和vm2。通过虚拟交换机vswitch1连接到虚拟网络中，物理服务器1上的L2 collector1通过内部虚拟接口连接到虚拟交换机vswitch1并与其联通。L2 collector1上的采样控制模块通过向虚拟交换机vswitch1下发sflow配置，确定其采样频率和采样报文长度，当配置下发成功成功后，虚拟交换机vswitch1根据配置的参数进行报文采样并将采样接口送给L2collector1。当vm1与vm3进行通信时，vswitch1能够采样到vm1与vm3之间的流量，并将采样报文送给L2collector1，报文解析模块解析收到的采样报文，提取出报文中的二层mac头、三层IP头、四层TCP/UDP头信息等，统计分析模块对各个报文的解析的结果进行统计分析并形成本地采样报表，打包压缩模块将本地采样报表进行打包压缩，汇总上报模块将打包压缩的结果上传给L1 collector进行后续处理。
当vm1与vm2进行通信时，流量会经过物理链路和物理交换机。L1collector的sflow采样控制模块会根据当前网络的流量情况和自身资源配置情况对物理交换机的sflow采样参数进行配置，确定一个合理的采样频率和采样报文长度。当vm1与vm2之间报文的交互流量达到一定门限时，物理交换机能够采样到流量信息，并上报给L1 collector集群，由L1 collector集群中的某一台L1 collector服务器进行处理，报文解析模块解析出报文的二层mac头、三层IP头、四层TCP/UDP头信息，如果是隧道封装还需要解析出隧道内的二层mac头、三层IP头、四层TCP/UDP头信息，统计分析模块将各报文的统计结果进行格式化分析处理，汇总分析模块将本地的采样分析结果与来自BGP邻居的采样分析结果进行综合汇总，形成全量数据集，虚拟映射模块从全量数据集中将虚拟网络流量与物理网络流量进行映射，形成虚拟网络与物理网络的全景流量视图。
L1collector集群内服务器之间可采用BGP协议进行本地分析结果的宣告，L1collector之间可以运行IBGP协议，当集群规模较大时，比如超过50节点时，可考虑配置多个BGP反射器以减少IBGP邻居之间的连接数。
L1 collector和L2 collector的健康检查模块实时监控collector当前的运行状态，当发现异常时需即使通知系统运维人员或第三方运维管理系统尽快干预。
本发明方法实现了对大规模云数据中心的流量监控，并通过虚拟网络与物理网络的融合监控，形成虚拟网络与物理网络的流量全景视图，并且上下级collector架构具有良好的扩展性，解决流量收集器collector成为整个采集系统的性能瓶颈，无法承载高流量的压力的问题。而且每一级collector可根据当前网络的流量或自身资源情况进行采样参数的动态调整，既保证可用性又保证准确性。
本发明提供一种新型分布式网络流量采集系统，包括上下级sflow collector，用于分布式网络流量采集，其中下级sflow collecto采集本地物理服务器中虚拟交换机产生的虚拟网络流量，上报至上级sflow collector集群，上级sflow collector集群采集物理网络流量并汇总下级sflow collector上报的虚拟网络流量进行全网络的流量汇总。
上述系统内的各模块之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。同样地，本发明系统可以实现对大规模云数据中心的流量监控，并通过虚拟网络与物理网络的融合监控，形成虚拟网络与物理网络的流量全景视图，并且上下级collector架构具有良好的扩展性，解决流量收集器collector成为整个采集系统的性能瓶颈，无法承载高流量的压力的问题。而且每一级collector可根据当前网络的流量或自身资源情况进行采样参数的动态调整，既保证可用性又保证准确性。
本发明还提供计算机可读介质，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1-4任一项所述的一种新型分布式网络流量采集方法。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
此外，应该清楚的是，不仅可以通过执行计算机所读出的程序代码，而且可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作，从而实现上述实施例中任意一项实施例的功能。
此外，可以理解的是，将由存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中，随后基于程序代码的指令使安装在扩展板或者扩展单元上的CPU等来执行部分和全部实际操作，从而实现上述实施例中任一实施例的功能。
需要说明的是，上述较佳实施例中各流程和各系统结构中不是所有的步骤和模块都是必须的，可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的，可以根据需要进行调整。上述各实施例中描述的系统结构可以是物理结构，也可以是逻辑结构，即，有些模块可能由同一物理实体实现，或者，有些模块可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。

Claims (10)

1.一种新型分布式网络流量采集方法，其特征是部署上下级sflow collector集群用于分布式网络流量采集，其中通过下级sflow collector采集本地物理服务器中虚拟交换机产生的虚拟网络流量，上报至上级sflow collector集群，通过上级sflow collector集群获取物理网络流量并汇总下级sflow collector上报的虚拟网络流量进行全网络的流量汇总。
2.根据权利要求1所述的一种新型分布式网络流量采集方法，其特征是通过下级sflowcollector控制虚拟交换机上的sflow采样行为，解析sflow采样的报文头信息，将解析结果进行本地分析处理，并将本地分析结果进行格式化并打包压缩，上传至上级sflowcollector。
3.根据权利要求2所述的一种新型分布式网络流量采集方法，其特征是通过上级sflowcollector集群控制物理交换机上的sflow采样行为，解析sflow采样的报文头信息，将解析结果进行分析处理，并将各个下级sflow collector上报的虚拟网络流量的分析结果进行汇总，将虚拟网络的分析结果与物理网络的分析结果进行匹配映射，将虚拟网络的流量与物理网络的流量进行关联，形成全网络的流量汇总。
4.根据权利要求1-3任一项所述的一种新型分布式网络流量采集方法，其特征是对上下级sflow collector进行运行状态的监控及故障告警。
5.一种新型分布式网络流量采集系统，其特征是包括上下级sflow collector，用于分布式网络流量采集，其中下级sflow collecto采集本地物理服务器中虚拟交换机产生的虚拟网络流量，上报至上级sflow collector集群，上级sflow collector集群获取物理网络流量并汇总下级sflow collector上报的虚拟网络流量进行全网络的流量汇总。
6.根据权利要求5所述的一种新型分布式网络流量采集系统，其特征是下级sflowcollector包括sflow采样控制模块、报文解析模块、统计分析模块、打包压缩模块及汇总上报模块，
Sflow采样控制模块负责控制虚拟交换机上的sflow采样行为，报文解析模块负责解析sflow采样的报文头信息，统计分析模块负责将报文解析模块输出的解析结果进行本地分析处理，打包压缩模块负责将本地分析结果进行格式化并打包压缩，汇总上报模块主要负责将打包压缩的本地分析结果上传给上级sflow collector。
7.根据权利要求5或6所述的一种新型分布式网络流量采集系统，其特征是上级sflowcollector包括sflow采样控制模块、报文解析模块、统计分析模块、汇总分析模块及虚拟映射模块，
Sflow采样控制模块负责控制物理交换机上的sflow采样行为，报文解析模块负责解析sflow采样的报文头信息，统计分析模块负责将报文解析模块输出的解析结果进行分析处理，汇总分析模块负责将各个下级sflow collector上报的虚拟网络流量的分析结果进行汇总，虚拟映射模块负责将虚拟网络的分析结果与物理网络的分析结果进行匹配映射，将虚拟网络的流量与物理网络的流量进行关联，形成全网络的流量汇总。
8.根据权利要求6或7所述的一种新型分布式网络流量采集系统，其特征是下级sflowcollector还包括健康检查模块，负责自身运行状态的监控及故障告警。
9.根据权利要求7或8所述的一种新型分布式网络流量采集系统，其特征是上级sflowcollector还包括健康检查模块，负责自身运行状态的监控及故障告警。
10.计算机可读介质，其特征是所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1-4任一项所述的一种新型分布式网络流量采集方法。
CN202110717185.8A 2021-06-28 2021-06-28 一种分布式网络流量采集方法 Active CN113364651B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110717185.8A CN113364651B (zh) 2021-06-28 2021-06-28 一种分布式网络流量采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110717185.8A CN113364651B (zh) 2021-06-28 2021-06-28 一种分布式网络流量采集方法

Publications (2)

Publication Number Publication Date
CN113364651A true CN113364651A (zh) 2021-09-07
CN113364651B CN113364651B (zh) 2023-05-30

Family

ID=77536654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110717185.8A Active CN113364651B (zh) 2021-06-28 2021-06-28 一种分布式网络流量采集方法

Country Status (1)

Country Link
CN (1) CN113364651B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189480A (zh) * 2021-11-18 2022-03-15 郑州云海信息技术有限公司 一种流量采样方法、装置、电子设备及介质
CN114285667A (zh) * 2021-12-30 2022-04-05 湖南泛联新安信息科技有限公司 一种网络靶场流量实时采集系统及方法
CN117610078A (zh) * 2023-12-20 2024-02-27 前锦网络信息技术(上海)有限公司 数据流转预警的方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164495A1 (en) * 2007-12-19 2009-06-25 Microsoft Corporation Network device information collection and analysis
US20100232290A1 (en) * 2009-03-13 2010-09-16 Patrick Choy Ming Wong Methods And Systems For Managing Network Traffic Within A Virtual Network System
CN106254181A (zh) * 2016-08-16 2016-12-21 浪潮(北京)电子信息产业有限公司 虚拟交换机流量监控的方法、系统及虚拟交换机
CN110716841A (zh) * 2019-09-17 2020-01-21 香港乐蜜有限公司 监控数据收集方法、装置及设备
CN111683097A (zh) * 2020-06-10 2020-09-18 广州市品高软件股份有限公司 一种基于两级架构的云网络流量监控系统
CN112134929A (zh) * 2020-08-28 2020-12-25 新华三技术有限公司 一种会话报文分析方法、装置及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090164495A1 (en) * 2007-12-19 2009-06-25 Microsoft Corporation Network device information collection and analysis
US20100232290A1 (en) * 2009-03-13 2010-09-16 Patrick Choy Ming Wong Methods And Systems For Managing Network Traffic Within A Virtual Network System
CN106254181A (zh) * 2016-08-16 2016-12-21 浪潮(北京)电子信息产业有限公司 虚拟交换机流量监控的方法、系统及虚拟交换机
CN110716841A (zh) * 2019-09-17 2020-01-21 香港乐蜜有限公司 监控数据收集方法、装置及设备
CN111683097A (zh) * 2020-06-10 2020-09-18 广州市品高软件股份有限公司 一种基于两级架构的云网络流量监控系统
CN112134929A (zh) * 2020-08-28 2020-12-25 新华三技术有限公司 一种会话报文分析方法、装置及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
朱华鑫: "《sFlow 网络流量监测技术探析》", 《计算机与数字工程》 *
郭峰赫: "《基于sflow的分布式网络流量分析系统》", 《吉林大学学报（理学版）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114189480A (zh) * 2021-11-18 2022-03-15 郑州云海信息技术有限公司 一种流量采样方法、装置、电子设备及介质
CN114189480B (zh) * 2021-11-18 2024-04-02 郑州云海信息技术有限公司 一种流量采样方法、装置、电子设备及介质
CN114285667A (zh) * 2021-12-30 2022-04-05 湖南泛联新安信息科技有限公司 一种网络靶场流量实时采集系统及方法
CN114285667B (zh) * 2021-12-30 2023-06-02 湖南泛联新安信息科技有限公司 一种网络靶场流量实时采集系统及方法
CN117610078A (zh) * 2023-12-20 2024-02-27 前锦网络信息技术(上海)有限公司 数据流转预警的方法、装置、电子设备及存储介质
CN117610078B (zh) * 2023-12-20 2024-10-01 前锦网络信息技术(上海)有限公司 数据流转预警的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113364651B (zh) 2023-05-30

Similar Documents

Publication Publication Date Title
CN113364651A (zh) 一种新型分布式网络流量采集方法
CN111885012B (zh) 基于多种网络设备信息采集的网络态势感知方法及系统
CN111131379B (zh) 一种分布式流量采集系统和边缘计算方法
CN105159964B (zh) 一种日志监控方法及系统
US8582466B2 (en) Flow statistics aggregation
CN107508722B (zh) 一种业务监控方法和装置
CN110806921B (zh) 一种ovs异常告警监控系统及方法
CN105790990B (zh) 一种监管配用电通信业务的方法及其系统
CN108287905B (zh) 一种网络流特征的提取与存储方法
CN103699063B (zh) 一种制造执行系统mes中离线数据的采集装置和方法
WO2020211561A1 (zh) 数据的处理方法、装置、存储介质及电子装置
CN112118174B (zh) 软件定义数据网关
CN111726410B (zh) 用于分散计算网络的可编程实时计算和网络负载感知方法
CN113364624B (zh) 基于边缘计算的混合云流量采集方法和系统
CN113438010B (zh) 面向天地一体化网络的星座系统能力评估体系及评估系统
CN111400127B (zh) 业务日志的监控方法及装置、存储介质、计算机设备
CN109960634A (zh) 一种应用程序监控方法、装置及系统
CN112350854A (zh) 一种流量故障定位方法、装置、设备及存储介质
CN111813848A (zh) 基于kafka日志中间件的数据实时采集分析方法
CN110912755A (zh) 一种云环境下网卡故障监控与自动恢复的系统及方法
CN107635003A (zh) 系统日志的管理方法、装置及系统
CN112596914A (zh) 一种面向IoT的边缘节点系统体系架构及其工作方法、计算迁移方法
CN110071843B (zh) 一种基于流路径分析的故障定位方法及装置
CN109981377A (zh) 一种分布式数据中心链路监控方法及系统
CN108494625A (zh) 一种网络性能分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant