CN105580318B - 用于分析通过网络的数据通信量的方法和系统 - Google Patents

用于分析通过网络的数据通信量的方法和系统 Download PDF

Info

Publication number
CN105580318B
CN105580318B CN201480052693.7A CN201480052693A CN105580318B CN 105580318 B CN105580318 B CN 105580318B CN 201480052693 A CN201480052693 A CN 201480052693A CN 105580318 B CN105580318 B CN 105580318B
Authority
CN
China
Prior art keywords
port
data
equipment
network
grouping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480052693.7A
Other languages
English (en)
Other versions
CN105580318A (zh
Inventor
K.B.阿加瓦尔
J.B.卡特
C.K.狄克逊
J.T.拉斯利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN105580318A publication Critical patent/CN105580318A/zh
Application granted granted Critical
Publication of CN105580318B publication Critical patent/CN105580318B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/14—Arrangements for monitoring or testing data switching networks using software, i.e. software packages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供用于分析通过网络的数据通信量的机制。机制采样通过该网络的网络转发设备的正常端口的数据流的数据分组。至少通过配置该网络转发设备以实施该网络转发设备的该正常端口至指定镜像端口的端口镜像来执行该采样。机制将凭借该端口镜像而复制到该镜像端口的已采样数据分组转发到收集器计算设备。机制通过该收集器计算设备处理该已采样数据分组以分析通过该网络转发设备的该正常端口的该数据流。机制通过该收集器计算设备执行基于该分析的结果的操作。

Description

用于分析通过网络的数据通信量的方法和系统
技术领域
本申请一般地涉及一种改进的数据处理装置及方法，并且更具体而言，涉及用于使用端口镜像来获得网络流的低延时和高容量采样的机制。
背景技术
为了测量数据流特性的目的而从网络交换机获得信息，已设计出通常可被分类成以计数器为基础的技术/协议和以采样为基础的技术/协议的各种技术和协议。关于以计数器为基础的技术，交换机的每一端口可具有与其相关联的一个或多个计数器，该一个或多个计数器测量自重新启动该交换机或重置该计数器以来发送及丢弃的字节、分组等的数目。虽然这些端口计数器维持在交换机的专用集成电路(ASIC)上，且因此以高速运行，但这些端口计数器必须将计数器值数据提供到交换机的通用处理器以供处理，此处理通常是大约每秒进行一次。此外，该技术监视交换机上的固定数目的端口，并且因此在所提供信息的粒度方面受到限制。
另一以计数器为基础的技术是由思科系统(Cisco Systems)所开发的NetFlow网络协议提供。NetFlow协议使用通常由包含源地址、目的地地址、源端口、目的地端口和协议的5元组(tuple)指定的当前数据流的高速缓存来收集IP和其他通信量信息。也就是说，当从特定数据流接收到数据分组时，执行高速缓存结构中的查找以确定是否存在用于该特定数据流的条目(也就是说，数据分组经由源设备与目的地设备之间的已建立连接的流动)，并且如果存在该条目，则更新该条目中的一个或多个计数器值以反映数据分组的存在。如果不存在条目，则在该高速缓存中建立新条目且相应地递增计数器值。当高速缓存变得满载时，将高速缓存中的条目收回(evict)至收集器以供存储和/或处理。替代地，可使用最多大约每30秒收回高速缓存条目的以计时器为基础的收回。因为NetFlow协议是以高速缓存为基础，所以不存在可与端口计数器相反地被监视的固定数目的数据流。
又一以计数器为基础的技术是在OpenFlow协议流计数器中提供。OpenFlow为由开放网络基金会(Open Networking Foundation,ONF)公布的协议规格，ONF为致力于软件定义网络功能(SDN)的促进及采用并且管理OpenFlow标准的用户主导型组织。OpenFlow允许通过在编程交换机的一个或多个控制器上执行的软件而运用转发规则来确定通过交换机的网络的网络分组的路径。控制与转发的分离允许比通常使用存取控制列表(accesscontrol list,ACL)及路由协议而可行的通信量管理更复杂的通信量管理。OpenFlow流计数器给出以用户指定粒度(例如，每5元组数据流规格、每源ID等等)而发送的字节/分组。这些流计数器通常可被读取为不快于大约每秒一次。
关于采样技术，sFlow为由sFlow.org协会公布的工业标准技术。sFlow标准提供用于监视高速交换式网络的技术。就sFlow标准而言，执行统计采样，其中采样每N中的1个分组且将分组转发到收集器，该收集器可分析样本且提供关于网络的状态的信息，其包括数据流的列表、数据流正采取的路径、数据流的长度等等。然而，因为通常必须将样本转发到交换机的控制CPU，所以sFlow技术限于相对小数目的样本，例如，大约每秒300个样本。此外，采样速率必须被先验地设定，且缓慢地变更。因此，采样速率被强制设定至极低速率，以便适应高负载，例如，采样大约每400,000中的1个分组以在64端口的10Gbps交换机上以列速率处理最小型(例如，64字节)分组，同时使样本的数目保持小于每秒300个。
发明内容
在一个说明性实施例中，提供一种在数据处理系统中用于分析通过网络的数据通信量的方法。该方法包含采样通过该网络的网络转发设备的正常端口的数据流的数据分组。至少通过配置该网络转发设备以实施该网络转发设备的该正常端口至指定镜像端口的端口镜像来执行该采样。该方法进一步包含将凭借该端口镜像而复制到该镜像端口的已采样数据分组转发到收集器计算设备。该方法还包含通过该收集器计算设备处理该已采样数据分组以分析通过该网络转发设备的该正常端口的该数据流。另外，该方法包含通过该收集器计算设备执行基于该分析的结果的操作。
在其他说明性实施例中，提供一种包含具有计算机可读程序的计算机可用或可读介质的计算机程序产品。该计算机可读程序在计算设备上执行时使该计算设备执行上文关于方法说明性实施例所概述的操作中的各种操作和操作的组合。
在又一说明性实施例中，提供一种系统/装置。该系统/装置可包含一个或多个处理器，以及其耦接到该一个或多个处理器的存储器。该存储器可包含指令，指令在由该一个或多个处理器执行时使该一个或多个处理器执行上文关于方法说明性实施例所概述的操作的各种操作和操作的组合。
本发明的这些和其他特征及优点将在本发明的示例实施例的以下详细描述中予以描述，或将鉴于本发明的示例实施例的以下详细描述而变得对于本领域的技术人员而言显而易见。
附图说明
当结合附图进行阅读时，将通过参考说明性实施例的以下详细描述来最好地理解本发明以及其优选使用模式与另外目标和优点，在附图中：
图1为可实施说明性实施例的方面的分布式数据处理系统的示例图；
图2为可实施说明性实施例的方面的计算设备的示例方块图；
图3为根据一个说明性实施例的说明用于使用端口镜像来采样数据流的主要操作元件的示例方块图；
图4说明根据一个说明性实施例的可从报头信息及转发规则推算关于通过其接收数据分组的端口的元数据的场景；
图5为根据一个说明性实施例的概述用于执行网络的数据通信量分析的示例操作的流程图；
图6为说明针对两个示例时间配量的数据流及用于作为这些数据流的部分接收的数据分组的数据分组序号的数据表的示例图；及
图7为根据一个说明性实施例的概述用于推断每时间配量接收的数据分组的采样速率及总数的示例操作的流程图。
具体实施方式
说明性实施例提供用于使用网络转发设备(例如，交换机、路由器等)中的端口镜像来实施数据分组的采样以用于执行数据通信量流的分析且执行用于报告所执行分析的结果的操作、用于最佳化这些数据通信量流的操作、用于对这些数据通信量流执行问题解析的操作或任何其他通信量工程操作的机制。应理解，虽然一般地出于调试目的而使用端口镜像，但说明性实施例出于采样用于数据通信量分析及通信量工程操作的数据分组的不同且先前未探索的目的，而使用端口镜像。
说明性实施例利用网络转发设备(在下文中出于说明性目的而被简单地称为交换机)的端口的饱和极限以用于实施采样。在不涉及交换机的控制平面处理器的情况下，经由数据分组被镜像到的端口而将数据分组样本转发到收集器。因此，可收集的样本的数目为动态的且不受到采样速率的先验规格限制。在指定时段期间提供的样本的数目可取决于遍及镜像到镜像端口的端口的数据流而遭遇的数据分组通信量的数量。
在一些说明性实施例中，交换机的一个或多个端口被选取为镜像端口，也就是说，流动通过交换机的剩余端口的数据分组被镜像到的端口。镜像包含随着接收/传输数据分组而执行数据分组的标准交换机端口处理，但另外将数据分组的复本转发到指定镜像端口。根据说明性实施例，交换机逻辑经配置以通过在该逻辑中指定交换机的哪些端口待镜像到哪些其他端口来实施此端口镜像。
镜像端口耦接到已采样数据分组收集器，其可实施在服务器或其他计算设备上。已采样数据分组收集器(在下文中被称为“收集器”)收集镜像到镜像端口的已采样数据分组，且对该已采样数据分组执行分析。分析的结果可被报告至用户、用于执行通信量工程操作等。
说明性实施例利用镜像端口的饱和作为用于采样作为交换机的其他端口的数据流的部分接收的数据分组的机制。也就是说，由于端口的先天限制，每一端口可每单位时间仅处理特定数量的数据分组。如果超过数据分组的此数量，则可丢弃数据分组。因此，在轻负载期间，镜像端口将采样流动通过镜像到镜像端口的其他端口的所有数据分组。在重负载下，随着由于周期性地达到端口的限制而随机地丢弃数据分组，达成数据分组的随机采样。因此，将流动通过交换机的端口的数据通信量的子集收集及转发到收集器。然而，此采样相较于通过上文所提及的sFlow技术而提供的每400,000中的1采样始终针对N端口交换机提供到少每N中的1个样本，也就是说，针对64端口交换机为每64中的1个样本。
应理解，依据已建立的标准及文件(包括sFlow，以及来自诸如Cisco Systems的网络厂商的文件)，特定地规定应避免端口的超额订阅，也就是说，不应准许将多个端口镜像到镜像端口而使得超过端口限制。说明性实施例特定地略过此建议，并且替代地，利用镜像端口的此超额订阅及饱和来执行数据分组的采样以用于数据流通信量分析。因此，说明性实施例充分利用端口频宽的限制以从交换机的多个端口达成数据分组的高容量低延时采样。
还应理解，此采样为真随机采样，而非如由sFlow技术所使用的统计采样。也就是说，在sFlow中，统计采样类似于滚转具有N个侧的骰子，且每当在已滚转骰子上出现“1”时，就采样对应数据分组。相反地，通过说明性实施例的机制而执行的采样并不知道如何确定所丢弃的特定数据分组。只要达到交换机的端口极限就丢弃分组，且此端口极限未被先验地预测。
此外，已采样数据分组的转发是直接地从镜像端口进行至耦接到镜像端口的收集器。以此方式，无需在转发已采样数据分组以供分析时涉及交换机的控制平面处理器。此情形消除由相对较缓慢操作控制平面处理器引入的对可每单位时间处理的已采样数据分组的数目的限制。因此，说明性实施例的机制提供高样本容量，这是与sFlow技术的典型实施的相对低样本容量相对。
因此，就说明性实施例的机制而言，具有N个端口的网络转发设备(例如，交换机)经配置成使得N-k个端口用于正常数据通信量流，其中k为分配至镜像端口的交换机的端口的数目。网络转发设备经进一步配置以将N-k个端口镜像到剩余k个端口，也就是说，经配置以将流动通过N-k个端口的数据分组的复本转发到剩余k个端口。k个端口耦接到实施已采样数据分组的收集器的计算设备的网络适配器的端口。网络适配器经配置为处于“混杂(promiscuous)”操作模式，这意味着网络适配器处理所接收的所有数据分组，而非仅处理目的地识别符匹配于网络适配器的识别符的数据分组。以此方式，通过收集器而在此计算设备上处理所有已采样数据分组。收集器接着可对已采样数据执行各种通信量分析演算法，且产生用于报告、执行通信量工程操作等的对应输出数据。
应理解，当执行端口镜像时，一个缺点为：定义通过其接收数据分组的端口的元数据可能会遗失，这是因为数据分组被镜像到镜像端口且已采样数据分组起源于镜像端口而到达收集器。说明性实施例提供用于根据实施在交换机逻辑中的数据分组转发规则来恢复此元数据的另外机制。也就是说，就交换机自身中利用的数据分组报头信息与转发规则的组合而言，可确定数据分组到达交换机所采取的路径，且因此确定经由交换机的哪一端口接收数据分组。也就是说，网络控制器(例如，SDN控制器等)可存储定义用于网络的目的地节点(计算设备)的转发树状(forwarding tree)或其他结构的转发规则。替代地，可查询网络中的交换机以取得其转发规则，例如，经由命令列界面、REST API或其他界面。在知道源节点及目的地节点以及转发规则或转发树状的情况下，可确定从网络中的哪一交换机接收数据分组，且因此确定通过其接收数据分组的端口。
在下文中将参看附图来更详细地描述本发明的说明性实施例的以上方面及优点。应理解，附图仅旨在说明本发明的示例性实施例。本发明可涵盖附图中未明确地示出但将鉴于说明性实施例的本描述而对于本领域的技术人员而言显而易见的方面、实施例及对所描绘示例性实施例的修改。
本领域技术人员应理解，本发明的方面可被体现为一种系统、方法或计算机程序产品。因此，本发明的方面可采取完全硬件实施例、完全软件实施例(包括韧体、常驻软件、微代码等等)或组合软件方面与硬件方面的实施例的形式，实施例都通常可在本文中被称为“电路”、“模组”或“系统”。此外，本发明的方面可采取体现于任何一个或多个计算机可读介质中的计算机程序产品的形式，该一个或多个计算机可读介质具有体现于其上的计算机可用程序代码。
可利用一个或多个计算机可读介质的任何组合。计算机可读介质可为计算机可读信号介质或计算机可读存储介质。计算机可读存储介质为具有电子、磁性、光学、电磁或半导体性质、前述各者的任何适合组合或其等效者的系统、装置或设备。计算机可读存储介质的更特定示例(非详尽列表)将包括以下：具有存储能力的电子设备、便携式计算机磁片、硬盘、随机存取存储器(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmable read-only memory,EPROM或闪存存储器(Flash memory))、以光纤为基础的设备、便携式光盘只读存储器(compact disc read-only memory,CDROM)、光学存储设备、磁性存储设备，或前述各者的任何适合组合。在此文件的上下文中，计算机可读存储介质为可含有或存储供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备而使用的程序的任何有形介质。
在一些说明性实施例中，计算机可读介质为非暂时性计算机可读介质。非暂时性计算机可读介质为并非无物理信号或传播波(也就是说，纯信号或传播波本身)的任何介质。非暂时性计算机可读介质可利用信号及传播波，但并非信号或传播波自身。因此，举例而言，以任何方式利用信号以(例如)维持状态的各种形式的存储器设备和其他类型的系统、设备或装置可被视为本描述的范围内的非暂时性计算机可读介质。
另一方面，计算机可读信号介质可包括传播数据信号，该传播数据信号具有体现于其中的计算机可读程序代码，例如，在基频中或作为载波的部分。此传播信号可采取多种形式中任一个，包括但不限于电磁、光学或其任何适合组合。计算机可读信号介质可为并非计算机可读存储介质且可传达、传播或输送供指令执行系统、装置或设备使用或结合指令执行系统、装置或设备而使用的程序的任何计算机可读介质。相似地，计算机可读存储介质为并非计算机可读信号介质的任何计算机可读介质。
可使用任何适当介质来传输体现于计算机可读介质上的计算机程序代码，该任何适当介质包括但不限于无线、有线、光纤缆线、射频(RF)等等，或其任何适合组合。
可以一种或多种程序设计语言的任何组合来撰写用于执行用于本发明的方面的操作的计算机程序代码，该一种或多种程序设计语言包括诸如JavaTM、SmalltalkTM、C++等的面向对象程序设计语言，及诸如“C”程序设计语言或相似程序设计语言的已知程序性程序设计语言。程序代码可完全地在用户计算机上执行、部分地在用户计算机上执行、作为单机套装软件而执行、部分地在用户计算机上且部分地在远程计算机上执行，或完全地在远程计算机或服务器上执行。在后一场景中，远程计算机可经由任何类型的网络(包括局域网络(local area network,LAN)或广域网络(wide area network,WAN))而连接至用户计算机，或可对外部计算机进行连接(例如，经由使用因特网服务提供者的因特网)。
下文参考根据本发明的说明性实施例的方法、装置(系统)及计算机程序产品的流程图说明和/或方块图来描述本发明的方面。应理解，可通过计算机程序指令来实施流程图说明和/或方块图的每一区块以及流程图说明和/或方块图中的区块组合。可将这些计算机程序指令提供到通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由该计算机或其他可编程数据处理装置的处理器而执行的指令建立用于实施在流程图和/或方块图区块中指定的功能/动作的构件。
还可将这些计算机程序指令存储于计算机可读介质中，该计算机可读介质可指导计算机、其他可编程数据处理装置或其他设备以特定方式起作用，使得存储于该计算机可读介质中的指令产生制品，该制品包括实施在流程图和/或方块图区块中指定的功能/动作的指令。
还可将计算机程序指令载入至计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在该计算机、其他可编程装置或其他设备上执行以产生计算机实施处理，使得在该计算机或其他可编程装置上执行的指令提供用于实施在流程图和/或方块图区块中指定的功能/动作的处理。
各图中的流程图及方块图说明根据本发明的各种实施例的系统、方法及计算机程序产品的可能实施的架构、功能性及操作。在此方面，流程图或方块图中的每一区块可表示程序代码的模组、区段或部分，其包含用于实施指定逻辑功能的一个或多个可执行指令。还应注意，在一些替代实施中，区块中提到的功能可不以各图中提到的次序发生。举例而言，取决于所涉及的功能性，连续地示出的两个区块事实上可实质上同时地执行，或区块有时可以相反次序执行。还应注意，可通过执行指定功能或动作的以专用硬件为基础的系统或专用硬件与计算机指令的组合来实施方块图和/或流程图说明的每一区块以及方块图和/或流程图说明中的区块组合。
因此，可在许多不同类型的数据处理环境中利用说明性实施例。为了提供用于说明性实施例的特定元件及功能性的描述的上下文，在下文中提供图1及图2作为可实施说明性实施例的方面的示例环境。应理解，图1及图2仅为示例，且并不旨在确证或隐含关于可实施本发明的方面或实施例的环境的任何限制。可在不背离本发明的精神及范围的情况下进行对所描绘环境的许多修改。
图1描绘其中可实施的说明性实施例的方面的示例分布式数据处理系统的图示表示。分布式数据处理系统100可包括其中可实施说明性实施例的方面的计算机的网络。分布式数据处理系统100含有至少一个网络102，其为用于在分布式数据处理系统100内连接在一起的各种设备与计算机之间提供通信链接的介质。网络102可包括连接，诸如线缆、无线通信链接，或光纤缆线。
在所描绘示例中，服务器104及服务器106连同存储单元108连接至网络102。另外，客户端110、112及114也连接至网络102。这些客户端110、112及114可为(例如)个人计算机、网络计算机等。在所描绘示例中，服务器104将诸如引导文件、操作系统镜像及应用程序的数据提供到客户端110、112及114。在所描绘示例中，客户端110、112及114为服务器104的客户端。分布式数据处理系统100可包括未示出的额外服务器、客户端和其他设备。
在所描绘示例中，分布式数据处理系统100为具有网络102的因特网，其表示使用传输控制协议/因特网协议(Transmission Control Protocol/Internet Protocol,TCP/IP)协议套件以彼此通信的网络与网关的全球集合。在因特网的中心处为主要节点或主机计算机之间的高速数据通信线的骨干，其由路由数据及消息的数千个商业、政府、教育和其他计算机系统组成。当然，分布式数据处理系统100还可被实施为包括数个不同类型的网络，诸如，企业内部网络、局域网络(LAN)、广域网络(WAN)等。如上文所陈述，图1旨在作为示例，而非作为针对本发明的不同实施例的架构限制，且因此，不应将图1所示出的特定元件视为关于可实施本发明的说明性实施例的环境为限制性的。
图2为其中可实施说明性实施例的方面的示例数据处理系统的方块图。数据处理系统200为计算机的示例，诸如，图1中的客户端110，其中可定位实施用于本发明的说明性实施例的处理的计算机可用程序代码或指令。
在所描绘示例中，数据处理系统200使用包括北桥与存储器控制器集线器(NB/MCH)202及南桥与输入/输出(I/O)控制器集线器(SB/ICH)204的集线器架构。处理单元206、主存储器208及图形处理器210连接至NB/MCH202。图形处理器210可经由加速图形端口(AGP)而连接至NB/MCH 202。
在所描绘示例中，局域网络(LAN)适配器212连接至SB/ICH 204。音频适配器216、键盘与鼠标适配器220、调制解调器222、只读存储器(ROM)224、硬盘驱动器(HDD)226、CD-ROM光盘驱动器230、通用串行总线(USB)端口与其他通信端口232及PCI/PCIe设备234经由总线238及总线240而连接至SB/ICH 204。PCI/PCIe设备可包括(例如)用于笔记型计算机的乙太网络适配器、附加卡及PC卡。PCI使用卡总线控制器，而PCIe不使用卡总线控制器。ROM224可为(例如)闪存基本输入/输出系统(BIOS)。
HDD 226及CD-ROM光盘驱动器230经由总线240而连接至SB/ICH 204。HDD 226及CD-ROM光盘驱动器230可使用(例如)集成驱动电路(integrated drive electronics,IDE)或串行高级附接技术(serial advanced technology attachment,SATA)接口。超I/O(SIO)设备236可连接至SB/ICH 204。
操作系统在处理单元206上执行。操作系统协调及提供图2中的数据处理系统200内的各种组件的控制。作为客户端，操作系统可为诸如Windows的商业可用操作系统。诸如JavaTM程序设计系统的面向对象程序设计系统可结合操作系统而执行，且可提供自执行于数据处理系统200上的JavaTM程序或应用程序至操作系统的呼叫。
作为服务器，数据处理系统200可为(例如)eServerTM System计算机系统，其执行高级互动式执行操作系统或操作系统。数据处理系统200可为在处理单元206中包括多个处理器的对称多处理器(SMP)系统。替代地，可使用单处理器系统。
用于操作系统、面向对象程序设计系统及应用程序或程序的指令位于诸如HDD226的存储设备上，且可载入至主存储器208中以供处理单元206执行。用于本发明的说明性实施例的处理是可通过处理单元206使用计算机可用程序代码而执行，该计算机可用程序代码可位于诸如主存储器208、ROM 224的存储器中，或位于(例如)一个或多个外围设备226及230中。
诸如图2所示出的总线238或总线240的总线系统可包含一个或多个总线。当然，可使用任何类型的通信网状架构或架构来实施该总线系统，该通信网状架构或架构提供附接至该网状架构或架构的不同组件或设备之间的数据传送。诸如图2的调制解调器222或网络适配器212的通信单元可包括用于传输及接收数据的一个或多个设备。存储器可为(例如)图2中的主存储器208、ROM 224，或诸如在NB/MCH 202中找到的高速缓存。
本领域的技术人员应理解，图1及图2中的硬件可取决于实施而变化。除了图1及图2所描绘的硬件以外或代替图1及图2所描绘的硬件，还可使用诸如闪存存储器、等效非易失性存储器或光盘驱动器及其类似者的其他内部硬件或外围设备。此外，在不背离本发明的精神及范围的情况下，说明性实施例的处理可应用于除了先前所提及的SMP系统以外的多处理器数据处理系统。
此外，数据处理系统200可采取数个不同数据处理系统中任一个的形式，不同数据处理系统包括客户端计算设备、服务器计算设备、平板计算机、膝上型计算机、电话或其他通信设备、个人数字助理(PDA)等。举例而言，在一些说明性示例中，数据处理系统200可为经配置有闪存存储器以提供非易失性存储器以用于存储操作系统文件和/或用户产生数据的便携式计算设备。基本上，在无架构限制的情况下，数据处理系统200可为任何已知或以后开发的数据处理系统。
再次参看图1，网络102可包含多个网络转发设备，诸如，交换机、路由器等，其是可根据说明性实施例的机制而配置以执行用于自通过网络转发设备的各种数据流采样数据分组通信量的端口镜像。数据流位于源设备与目的地设备之间。服务器计算设备104、106、网络附接存储体108或客户端计算设备110至114中任一个可作为源设备或目的地设备而操作。此外，服务器计算设备104、106中的一个或多个可实施用于执行已采样数据分组收集及分析的软件机制，也就是说，可实施已采样数据分组“收集器”。实施在服务器计算设备104、106中的一个或多个上的收集器可从网络102的一个或多个网络转发设备收集已采样数据分组。另外，服务器计算设备104、106中的一个可实施网络控制器或网络管理员，诸如，软件定义网络功能(SDN)控制器。在一些说明性实施例中，收集器及网络控制器可实施在同一服务器计算设备104、106上。
根据说明性实施例，当将实施自流动通过网络转发设备(在下文中出于描述简单起见而被假定为交换机)中的一个或多个的数据流采样数据分组以便出于报告、执行通信量工程等的目的而分析数据通信量流时，网络系统管理员或网络控制器向所关注的对应交换机的控制平面处理器发出命令以在交换机上起始端口镜像。交换机是优选地先前(诸如)通过网络控制器或网络系统管理员而配置，使得交换机的k数目的端口为耦接到实施收集器的服务器计算设备104、106的一个或多个端口的镜像端口。此情形可涉及被物理地或虚拟地分配且直接地或间接地附接至收集器的k个镜像端口。
替代地，可在指示哪些端口将为镜像端口及哪些端口待镜像到镜像端口来从网络控制器的命令中传达交换机的配置。剩余端口可经配置以镜像到镜像端口，使得经由这些端口接收/传输的数据分组可镜像到镜像端口，且由此经采样以用于发送至收集器。取决于特定希望的功能性，可以许多不同方式来确定哪些端口镜像到交换机上的镜像端口中每一个的特定配置。只要不要求所有正常端口(也就是说，非镜像端口)必须镜像到一个或多个镜像端口且正常端口至镜像端口的镜像分布无需均匀就足够了。
此端口镜像方法允许使得经由端口镜像而达成希望的样本率(这是与希望的采样速率相对)的配置。然而，此方法并不排除可能地尝试达成希望的采样速率，这是因为此方法将采样速率界限至大约每已采样端口的数目除以镜像端口的数目中的1。也就是说，在sFlow和其他采样技术中，通常在采样开始之前先验地设定采样速率，也就是说，在指定数目的总分组内采样的分组的数目。另一方面，说明性实施例的机制配置端口镜像以达成希望的采样大小，也就是说，每单位时间所获取的总样本的数目。这是因为：通过端口镜像而执行的采样不准许指定采样速率，这是因为采样速率取决于流动通过正常端口的数据流的负载。就相对较轻负载而言，将采样几乎每一数据分组。就相对较高负载而言，将丢弃且不采样许多数据分组。然而，可基于对已镜像端口的轻负载假定来一致地达成数个已采样数据分组。此外，此方法确保在假定任何数据流完全地通过正常端口的情况下采样至少每N中的1(其中N为交换机的端口的数目)。
在已配置交换机以用于端口镜像的情况下，将经由已被配置以镜像到镜像端口的正常端口接收的数据分组复制及提供到镜像端口。镜像端口具有其可处理的数据分组的最大频宽。因此，随着经由交换机的正常端口接收较多数据分组，此频宽可被完全地利用且最终饱和，使得将必须丢弃数据分组。至少对于外部观察者而言，这些数据分组的丢弃看似为随机的，在于外部观察者并不知道在确定哪些数据分组待丢弃时所涉及的确定。
因此，通过已镜像端口的端口镜像及饱和来获得数据分组的随机采样。数据分组的随机采样可包含自流动通过正常端口的所有数据分组(在不使镜像端口的频宽饱和的轻负载下)直至等于镜像端口的频宽的数个已采样数据分组之间的任何量。数据分组的此随机采样横越镜像到镜像端口的正常端口的数据流中每一个，因此可不均匀地采样每一数据流，例如，如果交换机自输入端口均匀地采样，则轻负载的输入端口相较于较重负载的输入端口将被超额表示。因此，虽然经由端口镜像而达成的数据分组的随机采样可不允许所接收的数据流通信量相对于所丢弃的数据流通信量的特性化，但数据流通信量的其他有用特性化是可能的，诸如，列出通过网络的大部分流、服务等级协议监视，及确定经由给定链接的数据流的大小的相对排序，例如，最小数据流至最大数据流，或反之亦然。还可经由说明性实施例的机制而达成数据流通信量的其他有用特性化。
举例而言，将在镜像端口处接收的已采样数据分组转发到实施在诸如服务器104或106的计算设备上的收集器。收集器计算设备可直接地附接至交换机的镜像端口，或可在交换机的远端定位(间接地耦接)。在远端定位的收集器计算设备的状况下，当收集器计算设备未直接地耦接到镜像端口时，可(例如)经由GRE通道而发送已采样数据分组作为已囊封数据分组。
收集器收集已采样数据分组且存储已采样数据分组以供分析。收集器自身可进一步执行分析，或可利用分离的分析引擎来分析已收集数据分组以确定网络的数据流通信量的特性。可对已采样数据分组执行各种类型的分析，包括但不限于(例如)产生网络中的数据流和数据流已被观察遵循的路径中的数据流的列表、产生越过个别链接的数据流的列表以及数据流依据大小的相对排序及用于在多个位置处采样的数据分组的交换机的间的延时等。
可诸如经由用户的计算设备(例如，客户端计算设备110)而将此分析的结果输出至授权用户以供授权用户审阅及使用。在一些说明性实施例中，可进一步通过人类用户或自动化系统来利用分析的结果以实施通信量工程操作。这些通信量工程操作可采取许多不同形式，包括通过将数据流自一个链接移动至另一链接(诸如，通过变更由交换机实施的路由规则)而横越网络中的链接进行负载平衡、确定额外资源应部署于网络拓扑中的何处、重新配置网络内的资源等。除了通信量工程以外，还可完全地停止或封锁数据流以节约资源或处理潜在安全性威胁。此情形为除了将为本领域技术人员所知的对网络测量数据的其他网络反应以外的反应。
图3为根据一个说明性实施例的说明用于使用端口镜像来采样数据流的主要操作元件的示例方块图。如图3所示出，主要元件包含网络交换机300，其包含控制平面处理器302、交换机300的数据平面中的交换机芯片304、转发规则数据存储体306、配置逻辑308，及多个物理端口310。在一个说明性实施例中，交换机300为通过根据存储于转发规则数据存储体306中的转发规则而在物理端口310中的一个上接收数据通信量且在另一物理端口310上输出数据通信量来路由通过网络的数据通信量的物理设备。在其他说明性实施例中，交换机300可为实施在物理数据处理设备中的虚拟交换机。出于本描述的目的，将假定交换机300为物理交换机，然而，在不背离说明性实施例的精神及范围的情况下，还可关于虚拟交换机来实施说明性实施例的机制。相似地，关于物理端口来进行对本描述中的“端口”的参考，但说明性实施例并不限于此情形。而是还可关于虚拟端口来实施说明性实施例的机制。
配置逻辑308尤其可通过配置数据平面交换机芯片304以将一个或多个指定端口(正常端口)上接收的数据分组复制到一个或多个其他端口(镜像端口)来实施用于达成交换机300内的端口镜像的机制。交换机的端口310中的一个或多个可经配置为镜像端口，例如，端口312。非镜像端口(也就是说，“正常”端口)310中的一个或多个可镜像到指定镜像端口312。并不要求交换机的所有正常端口镜像到镜像端口312，并且如果利用一个以上镜像端口312，则并不要求正常端口遍及多个镜像端口312均匀地分布。优选的是，正常端口310至镜像端口312的镜像经配置成超额订阅镜像端口312，以便根据说明性实施例的机制来实施数据分组的采样。因此，可特定地选取镜像到镜像端口312中每一个的正常端口310的数目以确保在希望的负载条件下达成镜像端口312的此超额订阅。
除了交换机300以外，说明性实施例的机制还进一步使用收集器计算设备320，其从交换机300收集已采样数据分组、存储已采样数据分组，且分析数据分组以产生可经由网络系统管理员计算设备340而输出至网络系统管理员或其他授权用户的数据通信量特性信息，该数据通信量特性信息提供到通信量工程系统350以便自动地执行通信量工程操作，诸如，链接的负载平衡、资源的部署、资源的重新配置等。
图3中还描绘网络控制器330，且可利用网络控制器330以通过将命令发送至交换机300以进行端口镜像来起始交换机300的配置以用于此端口镜像。此命令可使交换机在配置逻辑308中实施已经定义的配置以用于实施此端口镜像，或可在命令自身中指定特定配置，例如，交换机300中的哪些正常端口待映射至交换机300中的哪些镜像端口。应理解，收集器计算系统320或网络系统管理员可代替地为用于初始化交换机300的此配置的主要代理商，且可将命令发出至网络的交换机以执行此配置，而非使用网络控制器330来起始此配置。此情形是通过图3中的收集器计算系统320与交换机300的控制平面处理器302之间的网络链接而描绘。
如图3所示出，数据分组通信量经由交换机300的物理端口310而在源计算设备360与目的地计算设备370之间流动。应注意，虽然源计算设备及目的地计算设备被示出为都连接至同一交换机，但并非需要此情形，且其可附接至两个相异交换机。通过交换机芯片304来使用转发规则数据存储体306中的转发规则来分析已接收数据分组的报头，以确定已接收数据分组的至少一目的地且在一些状况下确定包含源识别符、目的地识别符、源端口、目的地端口和协议的5元组的至少一目的地，且识别用于该数据分组的对应转发规则。该转发规则识别将数据分组转发到哪一物理端口(例如，端口314)，以便将数据分组路由至目的地计算设备370。因此，数据分组基于转发规则而自接收端口316通过交换机300流动至传输端口314。
另外，根据说明性实施例的机制，如果交换机300是通过配置逻辑308而配置以诸如回应于来自网络控制器330的命令来实施端口镜像，则接收端口316处接收的数据分组还可被镜像或复制到镜像端口312，而不经受通过控制平面处理器302进行的处理。因为端口镜像并不需要通过控制平面处理器302进行的处理，所以避免了与通过控制平面处理器302进行的处理相关联的延时。取而代之，数据分组被镜像或复制到镜像端口312，且是通过镜像端口312凭借镜像端口312的最大频宽而被采样。虽然应注意，此端口镜像通过避免控制平面处理器302而提供优点，但还应注意，在一些实施例中，还可在已镜像通信量的处理中涉及控制平面处理器302。
如果镜像到镜像端口312的数据分组超过镜像端口312的最大频宽，则会随机地丢弃数据分组。将未丢弃的数据分组转发到收集器计算系统320，其是凭借至镜像端口312的直接或间接网络链接而与镜像端口312相关联。也就是说，虽然图3示出收集器计算系统320(诸如)经由乙太网络链接等而直接地链接至镜像端口312，但并非需要此情形，且收集器计算系统320事实上可在远端定位且经由一个或多个其他网络连接而可存取。在此情况下，可将已镜像数据分组囊封于具有报头信息的另一分组中，以用于经由这些其他网络连接而将数据分组路由至收集器计算系统320。
收集器计算系统320收集经由镜像端口312接收的已采样数据分组，且存储该已采样数据分组以供分析。收集器计算系统320自身可进一步执行此分析，且产生此分析的结果或调用另一计算设备的操作以执行此分析。通过收集器计算系统320或其他分析计算设备而执行的各种分析可采取许多不同形式，但通常将引起流动通过网络且在此特定示例中流动通过交换机300的数据流通信量的一种或多种特性化。可将分析的结果提供到用户或自动化机制以基于分析的结果来执行另外操作。举例而言，收集器计算系统320可经由网络系统管理员计算设备340而将分析的结果输出至用户。作为另一示例，可提供通信量工程计算系统350以用于基于通过收集器计算系统320而执行的分析的结果来执行各种通信量工程操作以最佳化或修改网络及其资源的操作。
如上文所论述，说明性实施例的主要特征中的一个为说明性实施例的端口镜像机制利用交换机300的端口310的饱和极限(例如，最大频宽)以用于实施采样且在不涉及通过交换机300的控制平面处理器306而对数据分组进行的任何处理的情况下实施采样的能力。由于采样取决于流动通过交换机300的端口310的通信量的数量及镜像端口的最大频宽，故可通过收集器计算系统320而收集的样本的数目为动态的且不受到采样速率的先验规格限制。在指定时段期间提供的样本的数目可取决于遍及镜像到镜像端口的端口的数据流而遭遇的数据分组通信量的数量。端口镜像经配置以将足够数目的正常端口镜像到镜像端口，以便确保在特定通信量流条件下达成镜像端口的饱和极限，也就是说，镜像端口被有意地超额订阅。
具体地，在一个说明性实施例中，交换机300可具有N数目的端口，其中k个端口是经由交换机300的配置而被指定为镜像端口312。在所描绘示例中，N将为12，且k将为1，但实际上，交换机300可具有任何数目的端口，且任何数目的这些端口可被选取为镜像端口，但优选的是，k实质上小于N，以确保k个镜像端口312的超额订阅，且减少出于监视目的而放弃且因此不可用于数据转发的端口的数目。因此，交换机300经配置成使得N-k个端口用于正常数据通信量流。交换机300经进一步配置以将N-k个端口310镜像到剩余k个端口312。k个端口312耦接到收集器计算系统320的网络适配器的端口。在一个说明性实施例中，收集器计算系统320的网络适配器经配置为处于“混杂”操作模式，这意味着网络适配器处理所接收的所有数据分组，而非仅处理目的地识别符匹配于网络适配器的识别符的数据分组。以此方式，通过收集器计算系统320处理所有已采样数据分组。替代地，如果收集器计算系统320在交换机300的远端定位且未经由网络链接而间接地连接至镜像端口312，则已采样数据分组可被囊封有将收集器计算系统320指示为目的地的报头信息，在此情况下，变得没有必要将收集器计算系统320的网络适配器设定至混杂操作模式。
如上文所提及，端口镜像的一个缺点为：定义通过其接收数据分组的端口(例如，接收端口316)的元数据可能会遗失，这是因为数据分组被镜像到镜像端口312且已采样数据分组起源于镜像端口312而到达收集器计算系统320。说明性实施例提供用于根据存储于转发规则数据存储体306中且实施在交换机芯片304的逻辑中的数据分组转发规则来恢复此元数据的另外机制及逻辑。也就是说，就数据分组报头信息与转发规则的组合而言，可确定数据分组到达交换机300所采取的路径，且因此确定经由交换机300的哪一端口316接收数据分组。网络控制器330(例如，SDN控制器等)可存储定义用于网络的目的地节点(例如，目的地计算设备370)的转发树状的转发规则。替代地，可从交换机自身获得这些转发规则。在知道源节点360及目的地节点370以及转发规则或转发树状的情况下，收集器计算系统320可确定从网络中的哪一交换机或计算设备接收数据分组，且因此确定通过其接收数据分组的端口316。
图4说明根据一个说明性实施例的可从报头信息及转发规则推算关于通过其接收数据分组的端口的元数据的场景。如图4所示出，数据分组可经由在此示例中被标记为A至F的多个网络交换机440而自源节点(计算设备)410或420中任一个流动至目的地节点430。数据分组的报头指示数据分组的源及目的地。此信息可与通过网络的交换机440利用以推算数据分组到达其在自源节点410至目的地节点430的数据流中的当前位置所采取的路径的转发规则相关。由此，可识别数据分组被采样所处的交换机440的端口。
举例而言，假定收集器计算系统450自实施说明性实施例的端口镜像机制的交换机B接收已采样数据分组。此外，假定已采样数据分组包含将其源指示为源节点410且将其目的地指示为目的地节点430的报头信息。收集器计算系统450可从交换机A至F或自诸如图3中的网络控制器330的网络控制器获得转发规则。转发规则是依据至少一目的地节点识别符而指定，在一些情况下，依据诸如包含源识别符、目的地识别符、源端口、目的地端口和协议的5元组的元组且可能地依据其他规则格式而指定。转发规则基于转发规则至数据分组的应用来进一步指定用于特定交换机的一个或多个输出端口，使得对应交换机将在该交换机的指定端口上输出数据分组。
考虑到网络交换机中使用的当前适用转发规则，追踪数据分组自其源通过交换机而至当前交换机B的路径。因此，在所描绘示例中，可确定出来自源节点410的数据分组是通过交换机A接收且接着从交换机A转发到交换机B。在知道此信息的情况下，收集器计算系统450可确定出端口X连接至交换机A，且因此，已采样数据分组系经由交换机B的端口X接收。因此，在使用已采样数据分组的报头且使其与当前适用转发规则相关的情况下，收集器计算系统450能够恢复用于已采样数据分组的接收端口元数据，且可在执行已采样数据分组的分析时利用此信息。具体地，此元数据允许任何设备对已采样分组执行分析以知道该分组所遍历的链接。因此，尤其有可能确定哪些数据流过哪些链接且还基于在给定时间窗中来自每一数据的样本的数目来确定数据的相对大小排序。
应理解，通过网络中的交换机而使用的转发规则本质上可为静态的或动态的。在动态转发规则的情况下，诸如，当SDN控制器将新转发规则周期性地发出至网络的交换机以便执行如上文所描述的这些接收端口元数据恢复操作时，收集器计算系统450必须进一步知道哪些转发规则在交换机处接收到数据分组的时间有效，这是因为这些转发规则可能后来已变更。因而，指示何时在交换机的接收端口处接收到数据分组的时间戳记信息可与数据分组相关联。此时间戳记信息可与从网络控制器(例如，SDN控制器)可得到的转发规则相关，以确定哪些转发规则在接收到已采样数据分组的时间有效。
应理解，虽然图3出于本描述简易起见而说明收集器计算系统320耦接到单一交换机300，但说明性实施例并不限于此情形。相反地，网络拓扑的多个交换机可经配置以根据说明性实施例来执行端口镜像，且经由此端口镜像而获得的已采样数据分组都可提供到同一收集器计算系统320。替代地，可利用多个收集器计算系统320。此外，虽然将图3所示出的各种元件300、320、330、340、350、360及370说明为彼此直接地耦接，但此情形是仅出于说明目的而进行，且本发明并不限于此情形。相反地，在不背离说明性实施例的精神及范围的情况下，这些元件中每一个可在彼此的远端定位，或这些元件的子集可在这些元件的另一子集的远端定位。此外，虽然交换机300被示出为具有包括控制平面处理器302、交换机芯片304、物理端口310等等的子元件的特定配置，但此情形是仅出于说明目的，且应理解，说明性实施例的机制可实施在能够根据说明性实施例来实施端口镜像的任何网络转发设备(例如，交换机、路由器等)中。
图5为根据一个说明性实施例的概述用于执行网络的数据通信量分析的示例操作的流程图。虽然图5所概述的操作将参考单一交换机，但应理解，可关于网络的多个交换机来执行图5所概述的操作。
如图5所示出，操作通过配置交换机以出于在交换机的端口上采样数据分组的目的而实施端口镜像而开始(步骤510)。交换机的配置涉及配置交换机，使得N-k个端口用于正常数据通信量且镜像到k个镜像端口。将经由交换机的正常端口接收的数据分组镜像到镜像端口(步骤520)。镜像端口根据其频宽限制来采样数据分组(步骤530)，且将已采样数据分组转发到收集器(步骤540)。收集器收集已采样数据分组且存储已采样数据分组以供分析(步骤550)。视情况，收集器可基于数据分组的报头及在数据分组的接收时间适用的转发规则来执行接收端口元数据恢复操作(步骤560)。收集器接着可对所存储的已采样数据分组执行分析以识别一个或多个数据流通信量特性(步骤570)。可将包含一个或多个数据流通信量特性的分析的结果输出至用户和/或通信量工程系统(步骤580)。接着可基于分析的结果来执行一个或多个通信量工程操作(步骤590)，且操作终止。
因此，说明性实施例提供用于充分利用网络转发设备的端口饱和及端口镜像机制以达成通过网络转发设备的数据流通信量的随机采样的机制。已采样数据的数量归因于供收集器计算系统接收该数据的镜像端口的频宽而极大地增加。此外，因为端口镜像规避网络转发设备的控制平面处理器，所以在采样数据分组方面的延时会减少。因此，达成低延时高容量采样机制。
如上文所提及，说明性实施例的机制提供自流动通过镜像到镜像端口的交换机的正常端口的各种数据流的数据分组的随机采样。与诸如sFlow的已知机制相反，此随机采样不具有先验设定采样速率。就sFlow或其他采样机制而言，采样速率被先验地设定且用于选取待采样的数据分组。因此，举例而言，如果样本率为每10中的1个已采样数据分组，且采样12个数据分组，则可推算出可能地传输120个数据分组。换言之，使固定采样速率先验地知道会允许基于样本来作出关于较广通信量率的某些结论。就没有设定采样速率的数据分组的随机采样而言并非此状况，在说明性实施例的机制中具有设定采样速率。
为了处理这些限制，说明性实施例提供用于基于已采样数据分组的分析及在时间配量内遗漏的数据分组的数目的确定来推断采样速率的另外机制，如下文所描述。说明性实施例利用与一些数据流的已采样数据分组相关联的序号以确定针对每一数据流所接收的数据分组的最可能总数。可能地接收的数据分组的已确定总数对已采样数据分组的数目的比率用于确定在特定时间配量期间针对数据流的采样速率。根据自所有数据流接收的数据分组的总数及已采样数据分组的总数，可确定横越所有流而针对整个时间配量的采样速率。可将此采样速率乘以针对该时间配量通过收集器计算系统接收的数据分组(其包括不具有序号和/或不能与特定数据流相关联的数据分组)的数目，以估计在该时间配量期间接收的分组的总数。
对于后续时间配量，在前一时间配量中看到的每一数据流的最高序号用于调整针对每一数据流的采样速率的计算、总数据流，及已接收分组的估计总数。也就是说，对于每一数据流，从针对当前时间配量的最高序号减去针对先前时间配量的最高序号，以确定在目前时间配量期间接收的用于该数据流的数据分组的可能总数。应注意，对于一些分组，序号可不在分组中，而在字节中(例如，对于TCP)或在某一其他单元中。只要在这些单元与分组之间存在粗略对应，就可推断采样速率。这些值用于计算上文先前所提及的比率以产生针对数据流中每一个的采样速率。另外，累积这些值以确定遍和该时间配量接收的数据分组的可能总数，该总数接着可用于计算针对目前时间配量的总采样速率。接着可将总采样速率乘以通过收集器计算系统接收的分组(具有序号与数据流识别符的分组及不具有序号与数据流识别符的分组两者)的数目，以确定在目前时间配量期间接收的分组的总数的估计。可针对每一后续时间配量重复此处理。
就这些机制而言，说明性实施例在序号是依据字节而提供时以近完美准确度来估计数据流及链接的真实数据率，且在序号是依据分组时以高准确度来估计数据流及链接的真实数据率。采样速率是可根据真实数据率的估计而计算，且用于获得所有其他通信量(例如，不具有序号或不能够与任何特定数据流相关联的通信量)的良好估计。
图6为说明针对两个示例时间配量的数据流及用于作为这些数据流的部分接收的数据分组的数据分组序号的数据表的示例图。举例而言，这些数据分组可为经由上文先前所描述的端口镜像机制而采样的数据分组。
如图6所示出，在第一时间配量期间，针对三个不同数据流1至3接收数据分组。数据分组可基于数据分组的报头信息而与特定数据流相关联。此情形可与数据流是基于目的地节点识别符、源节点识别符与目的地节点识别符的组合或基于元组(诸如，5元组)的较复杂确定而识别一样简单，如上文先前所论述。另外，已接收数据分组可或可不具有关联序号。如图6所示出，大部分数据分组具有对应序号，但少量数据分组(在数据表的条目处以“-”予以示出)出于某种原因而不具有序号或可不与特定数据流相关联。举例而言，在具有未知分组格式的乙太网络通信量或具有异动ID但不保证ID被排序的DNS请求的情况下可发生此情形。
在所描绘示例中，在时间配量1期间，针对数据流1所接收的最高序号数据分组为7，且采样总共4个数据分组。对于数据流2，最高序号为3，且采样2个数据分组。对于数据流3，采样1个数据分组，且最高序号为7。这些值用于计算针对数据流中每一个的采样速率作为最高序号对已采样数据分组的数目的比率。因此，针对数据流1的采样速率为7/4＝1.75，也就是说，自数据流1采样每1.75中的1个数据分组。针对数据流2的采样速率为3/2＝1.5，也就是说，自数据流2采样每1.5中的1个数据分组。针对数据流3的采样速率为1/1＝1，也就是说，自数据流3采样每1中的1个数据分组。已采样数据分组的总数及针对数据流中每一个的最高序号的总数可用于使用总最高序号对已采样数据分组的总数的相似比率(例如，11/7～＝1.57，也就是说，跨所有数据流采样每1.57中的1个数据分组)来产生针对该配量的采样速率。可将此总采样速率乘以已采样分组(包括可不与数据流相关或不具有序号的分组)的总数，以产生在时间配量1期间接收的数据分组的总数的估计，例如，8*1.57＝12.56。因此，在此示例中，据估计，在时间配量1期间，12.56个数据分组是通过供采样数据分组的交换机接收。应注意，可证明更有成效的是在交换机上每端口进行此分析，或等效地，每链接进行此分析，这是因为实际采样速率整体上倾于每链接而非每交换机发生变化。藉此，分组根据提供输入端口或链接的系统中的明确元数据(例如，sFlow)或通过自如先前所论述的转发规则的推断而与输入端口或链接相关联。
可针对一系列时间配量中的第一时间配量进行此计算。调整针对后续时间配量的计算以考量在前一时间配量期间接收的数据分组的数目。对于这些后续时间配量，自当前时间配量中的当前最高序号减去前一时间配量中的数据流的最高序号，以便获得关于可能地在目前时间配量期间遍及该数据流接收的数据分组的数目的估计。
因此，举例而言，在图6的配量2中，采样来自数据流1的仅1个数据分组，且该数据分组具有序号24。在配量1期间的数据流1的最高序号为7。因此，据估计，在配量2期间的数据流1的数据率为24-7或17个数据分组，数据分组是在配量2期间通过交换机遍及数据流1接收。相似地，对于数据流2，数据率被确定为13-3＝10，且对于数据流3，数据率被确定为17-7＝10。针对配量2的数据率的这些已调整值用于以与上文针对配量1所描述的方式相似的方式来计算采样速率，例如，已调整数据率值对在该时间配量期间采样的分组的总数的比率，例如，对于数据流1为17/1，其给出每17中的1的采样速率；对于数据流2为10/2，其给出每5中的1的采样速率；且对于数据流3同样如此。这些值再次可用于确定跨所有数据流而针对配量2的总采样速率，在此示例中，给出37/5＝每7.4中的1。可将此值乘以已采样数据分组的总数，以产生通过交换机在配量2期间接收的分组的估计总数，如6*7.4＝44.4个数据分组。
收集器计算系统可在通过收集器对已采样数据分组执行的分析中实施这些计算及逻辑。收集器计算系统可存储数据结构(诸如，图6所示出的数据表数据结构)，以及针对前一时间配量的最高序号和其他数据值，以促进这些计算。
图7为根据一个说明性实施例的概述用于推断每时间配量接收的数据分组的采样速率及总数的示例操作的流程图。如图7所示出，操作通过接收已采样数据分组的序列而开始(步骤710)。将已采样数据分组分组成数据流(步骤720)。如上文所提及，此分组是可基于目的地识别符、源识别符及目的地识别符、元组(诸如，源、目的地、源端口、目的地端口和协议的5元组)等而执行。在每一流内，识别与流相关联的数据分组的序号(步骤730)。将与数据分组的序列相关联的时段分成配量(步骤740)，且基于最高序号的总数对已采样数据分组的总数的比率来计算跨所有数据流针对每一配量的总采样速率(针对在第一配量之后的配量考虑来自前一配量的最高序号)(步骤750)。将针对每一配量的总采样速率乘以在特定配量期间采样的数据分组的总数以确定在该特定配量期间接收的数据分组的估计总数(步骤760)。存储此数据以供进一步分析(步骤770)，且操作终止。
在一个说明性实施例中，此机制可用于检查采样机制的配置以确保采样机制实际上以已请求采样速率进行采样。举例而言，就sFlow采样标准而言，设想用户可配置sFlow机制而以高于可通过硬件机制达成的采样速率的采样速率来采样数据分组。说明性实施例的机制可用于估计实际采样速率且比较实际采样速率与已配置或已请求采样速率以查看硬件/软件机制是否以已请求采样速率来采样数据分组。如果否，则可产生通知且将通知传输至用户或以其他方式记录通知以供稍后用来确定如何重新配置sFlow机制。可针对其他类型的以采样为基础的机制进行相同操作。
应理解，虽然关于图6及图7所描述的以上机制被描述为用于确定用于采样数据分组的采样速率及在时间配量期间接收的分组的总数的估计，但说明性实施例并不限于此情形。而是这些机制可用于估计任何类型的事件的速率及总数。也就是说，可使用说明性实施例的机制来估计在时间配量期间的事件的事件速率及总数，只要事件具有与其相关联的可用于执行该估计的某种序列识别符即可。这些事件可包括在存储区或其他服务环境中服务客户，在该存储区或其他服务环境中，将序号发出至客户以确保客户以其到达的次序受到服务，但并非所有客户采取号码，例如，在较不忙碌时间期间。这些事件可包括使用身分证号码作为序号的人口中的疾病事件，这是因为序号以往但并非最近按次序被发出。具有识别事件的关联有序值的任何其他事件可为说明性实施例的这些操作的基础。
如上文所提到，应理解，说明性实施例可采取完全硬件实施例、完全软件实施例或含有硬件元件及软件元件两者的实施例的形式。在一项示例实施例中，说明性实施例的机制是以软件或程序代码而实施，该软件或程序代码包括但不限于固件、常驻软件、微代码等等。
适合于存储和/或执行程序代码的数据处理系统将包括直接地或经由系统总线而间接地耦接到存储器元件的至少一个处理器。存储器元件可包括在程序代码的实际执行期间使用的本机存储器、大容量存储体及高速缓存，高速缓存提供至少某些程序代码的暂时存储，以便减少程序代码在执行期间必须自大容量存储体被提取的次数。
输入/输出或I/O设备(包括但不限于键盘、显示器、指针设备等等)可直接地或经由介入I/O控制器而耦接到系统。网络适配器还可耦接到系统以使数据处理系统能够经由介入私用或公用网络而耦接到其他数据处理系统或远程打印机或存储设备。调制解调器、缆线调制解调器及乙太网络卡仅为当前可用类型的网络适配器中的少数几种。
已出于说明及描述目的而提供本发明的描述，且该描述不旨在为详尽的或限于所公开的形式的本发明。许多修改及变化对于本领域的技术人员而言将显而易见。选择及描述实施例以便最好地解释本发明的原理、实际应用，且使其他本领域的技术人员能够针对具有适于所预期的特定用途的各种修改的各种实施例理解本发明。

Claims (18)

1.一种在数据处理系统中用于分析通过网络的数据通信量的方法，该方法包括：
采样通过该网络的网络转发设备的正常端口的数据流的数据分组，其中至少通过配置该网络转发设备以实施该网络转发设备的该正常端口至指定镜像端口的端口镜像来执行该采样；
将凭借该端口镜像而复制到该镜像端口的已采样数据分组转发到收集器计算设备；
通过该收集器计算设备处理该已采样数据分组以分析通过该网络转发设备的该正常端口的数据流；以及
通过该收集器计算设备执行基于该分析的结果的操作，其中，该网络转发设备中的镜像端口的数目和正常端口的数目是根据希望的采样大小或希望的采样速率而配置的。
2.如权利要求1所述的方法，其中采样该数据流的数据分组包含：超额订阅该指定镜像端口以便在非轻负载下使该指定镜像端口饱和，并且其中被采样的数据分组为不超过该指定镜像端口的频宽的数据分组。
3.如权利要求1所述的方法，其中该已采样数据分组是在不涉及该网络转发设备的控制平面处理器的情况下转发到该收集器计算设备。
4.如权利要求1所述的方法，其中每时段转发到该收集器计算设备的已采样数据分组的数目基于在该时段期间经由该正常端口接收的通信量的数量是动态的。
5.如权利要求1所述的方法，其进一步包括：
将该收集器计算设备的网络适配器配置为处于混杂操作模式。
6.如权利要求1所述的方法，其进一步包括：
基于实施在该网络的该网络转发设备中的数据分组转发规则来恢复与该已采样数据分组相关联的原始输入端口元数据。
7.如权利要求6所述的方法，其中对于每一已采样数据分组，恢复用于该已采样数据分组的原始输入端口元数据包括：
使该已采样数据分组的分组报头信息与转发规则相关，以确定从其接收该已采样数据分组的该网络中的另一设备；以及
基于该另一设备的确定来确定通过其接收该已采样数据分组的该网络转发设备的输入端口。
8.如权利要求1所述的方法，其中该网络转发设备是网络交换机，该网络交换机是数据处理设备的物理交换机或虚拟交换机，并且该正常端口和该镜像端口是数据处理设备的物理端口或虚拟端口。
9.如权利要求1所述的方法，其中该操作是通信量分析操作或通信量工程操作中的一个。
10.一种计算机可读存储介质，该计算机可读存储介质具有存储于其中的计算机可读程序，其中该计算机可读程序在包含网络转发设备及收集器计算设备的数据处理系统上执行时使该数据处理系统：
采样通过该网络转发设备的正常端口的数据流的数据分组，其中至少通过配置该网络转发设备以实施该网络转发设备的该正常端口至指定镜像端口的端口镜像来执行该采样；
将凭借该端口镜像而复制到该镜像端口的已采样数据分组转发到该收集器计算设备；
通过该收集器计算设备处理该已采样数据分组以分析通过该网络转发设备的该正常端口的该数据流；及
通过该收集器计算设备执行基于该分析的结果的操作，其中，该网络转发设备中的镜像端口的数目和正常端口的数目是根据希望的采样大小或希望的采样速率而配置的。
11.如权利要求10所述的计算机可读存储介质，其中该计算机可读程序使该数据处理系统至少通过超额订阅该指定镜像端口以便在非轻负载下使该指定镜像端口饱和来采样该数据流的数据分组，并且其中被采样的数据分组为不超过该指定镜像端口的频宽的数据分组。
12.如权利要求10所述的计算机可读存储介质，其中该已采样数据分组是在不涉及该网络转发设备的控制平面处理器的情况下转发到该收集器计算设备。
13.如权利要求10所述的计算机可读存储介质，其中每时段转发到该收集器计算设备的已采样数据分组的数目基于在该时段期间经由该正常端口接收的通信量的数量是动态的。
14.如权利要求10所述的计算机可读存储介质，其中该计算机可读程序进一步使该数据处理系统：
将该收集器计算设备的网络适配器配置为处于混杂操作模式。
15.如权利要求10所述的计算机可读存储介质，其中该计算机可读程序进一步使该数据处理系统：
基于实施在该网络的该网络转发设备中的数据分组转发规则来恢复与该已采样数据分组相关联的原始输入端口元数据。
16.如权利要求15所述的计算机可读存储介质，其中对于每一已采样数据分组，该计算机可读程序使该数据处理系统至少通过以下操作来恢复用于该已采样数据分组的原始输入端口元数据：
使该已采样数据分组的分组报头信息与转发规则相关，以确定从其接收该已采样数据分组的该网络中的另一设备；以及
基于该另一设备的确定来确定通过其接收该已采样数据分组的该网络转发设备的输入端口。
17.如权利要求10所述的计算机可读存储介质，其中该网络转发设备是网络交换机，该网络交换机是数据处理设备的物理交换机或虚拟交换机，并且该正常端口和该镜像端口是数据处理设备的物理端口或虚拟端口。
18.一种用于分析通过网络的数据通信量的系统，其包含：
网络转发设备；以及
收集器计算设备，其通信地耦接到该网络转发设备，其中该网络转发设备经配置以：
采样通过该网络转发设备的正常端口的数据流的数据分组，其中至少通过配置该网络转发设备以实施该网络转发设备的该正常端口至指定镜像端口的端口镜像来执行该采样；及
将凭借该端口镜像而复制到该镜像端口的已采样数据分组转发到该收集器计算设备，并且其中该收集器计算设备经配置以：
处理该已采样数据分组以分析通过该网络转发设备的该正常端口的该数据流；以及
通过该收集器计算设备执行基于该分析的结果的操作，其中，该网络转发设备中的镜像端口的数目和正常端口的数目是根据希望的采样大小或希望的采样速率而配置的。
CN201480052693.7A 2013-09-24 2014-09-23 用于分析通过网络的数据通信量的方法和系统 Active CN105580318B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/034,666 US9203711B2 (en) 2013-09-24 2013-09-24 Port mirroring for sampling measurement of network flows
US14/034,666 2013-09-24
PCT/CN2014/087165 WO2015043446A1 (en) 2013-09-24 2014-09-23 Port mirroring for sampling measurement of network flows

Publications (2)

Publication Number Publication Date
CN105580318A CN105580318A (zh) 2016-05-11
CN105580318B true CN105580318B (zh) 2019-05-14

Family

ID=52690854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480052693.7A Active CN105580318B (zh) 2013-09-24 2014-09-23 用于分析通过网络的数据通信量的方法和系统

Country Status (4)

Country Link
US (2) US9203711B2 (zh)
CN (1) CN105580318B (zh)
TW (1) TW201520770A (zh)
WO (1) WO2015043446A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9794379B2 (en) 2013-04-26 2017-10-17 Cisco Technology, Inc. High-efficiency service chaining with agentless service nodes
US9401853B2 (en) 2013-09-24 2016-07-26 International Business Machines Corporation Determining sampling rate from randomly sampled events
US9203711B2 (en) 2013-09-24 2015-12-01 International Business Machines Corporation Port mirroring for sampling measurement of network flows
WO2015061353A1 (en) * 2013-10-21 2015-04-30 Nyansa, Inc. A system and method for observing and controlling a programmable network using a remote network manager
JP6248763B2 (ja) * 2014-03-31 2017-12-20 富士通株式会社 キャプチャポイント決定方法、キャプチャポイント決定システムおよびキャプチャポイント決定プログラム
US9740527B2 (en) * 2014-05-06 2017-08-22 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Load distribution of logical switch routers in a distributed system
ES2663410T3 (es) * 2014-11-14 2018-04-12 Telefónica S.A. Un controlador de red y un método informático implementado para definir automáticamente reglas de reenvío para configurar un dispositivo de interconexión de red informático
US10417025B2 (en) 2014-11-18 2019-09-17 Cisco Technology, Inc. System and method to chain distributed applications in a network environment
US9660909B2 (en) 2014-12-11 2017-05-23 Cisco Technology, Inc. Network service header metadata for load balancing
USRE48131E1 (en) 2014-12-11 2020-07-28 Cisco Technology, Inc. Metadata augmentation in a service function chain
WO2016157836A1 (ja) * 2015-03-31 2016-10-06 日本電気株式会社 通信システム、通信制御方法、制御装置、受信装置、転送装置、制御方法、受信方法、及び、転送方法
US10153986B2 (en) * 2015-06-26 2018-12-11 Dell Products L.P. Port monitoring system
US10063446B2 (en) 2015-06-26 2018-08-28 Intel Corporation Netflow collection and export offload using network silicon
US9860152B2 (en) * 2015-09-21 2018-01-02 Telefonaktiebolaget L M Ericsson (Publ) Non-intrusive method for testing and profiling network service functions
WO2017053687A1 (en) * 2015-09-25 2017-03-30 Brocade Communication Systems, Inc. High granularity link oversubscription detection
SG11201803460TA (en) * 2015-10-31 2018-05-30 Huawei Tech Co Ltd Route determining method and corresponding apparatus and system
KR101641637B1 (ko) * 2016-02-29 2016-07-21 주식회사 티맥스 소프트 패킷 처리 시스템 내의 패킷을 분석하여 트랜잭션을 모니터링하는 방법 및 apm 장치
US10187306B2 (en) 2016-03-24 2019-01-22 Cisco Technology, Inc. System and method for improved service chaining
US10193741B2 (en) 2016-04-18 2019-01-29 Nyansa, Inc. System and method for network incident identification and analysis
US10230609B2 (en) 2016-04-18 2019-03-12 Nyansa, Inc. System and method for using real-time packet data to detect and manage network issues
US10200267B2 (en) 2016-04-18 2019-02-05 Nyansa, Inc. System and method for client network congestion detection, analysis, and management
US10931793B2 (en) 2016-04-26 2021-02-23 Cisco Technology, Inc. System and method for automated rendering of service chaining
US10491462B1 (en) * 2016-05-06 2019-11-26 Equinix, Inc. Port verification for customer interconnection in a data center
US10541947B2 (en) * 2016-05-18 2020-01-21 Marvell Israel (M.I.S.L.) Ltd. Egress flow mirroring in a network device
US10432531B2 (en) 2016-06-28 2019-10-01 Paypal, Inc. Tapping network data to perform load balancing
US10419550B2 (en) 2016-07-06 2019-09-17 Cisco Technology, Inc. Automatic service function validation in a virtual network environment
US10320664B2 (en) 2016-07-21 2019-06-11 Cisco Technology, Inc. Cloud overlay for operations administration and management
US10218616B2 (en) 2016-07-21 2019-02-26 Cisco Technology, Inc. Link selection for communication with a service function cluster
US10225270B2 (en) 2016-08-02 2019-03-05 Cisco Technology, Inc. Steering of cloned traffic in a service function chain
US10218593B2 (en) 2016-08-23 2019-02-26 Cisco Technology, Inc. Identifying sources of packet drops in a service function chain environment
CN106100999B (zh) * 2016-08-28 2019-05-24 北京瑞和云图科技有限公司 一种虚拟化网络环境中镜像网络流量控制方法
TWI641251B (zh) 2016-11-18 2018-11-11 財團法人工業技術研究院 網路流量監控方法與系統
US10616101B1 (en) 2017-03-21 2020-04-07 Barefoot Networks, Inc. Forwarding element with flow learning circuit in its data plane
US10225187B2 (en) 2017-03-22 2019-03-05 Cisco Technology, Inc. System and method for providing a bit indexed service chain
US10333855B2 (en) 2017-04-19 2019-06-25 Cisco Technology, Inc. Latency reduction in service function paths
US10554689B2 (en) 2017-04-28 2020-02-04 Cisco Technology, Inc. Secure communication session resumption in a service function chain
US10735275B2 (en) 2017-06-16 2020-08-04 Cisco Technology, Inc. Releasing and retaining resources for use in a NFV environment
US10798187B2 (en) 2017-06-19 2020-10-06 Cisco Technology, Inc. Secure service chaining
US10397271B2 (en) 2017-07-11 2019-08-27 Cisco Technology, Inc. Distributed denial of service mitigation for web conferencing
US10673698B2 (en) 2017-07-21 2020-06-02 Cisco Technology, Inc. Service function chain optimization using live testing
US11095535B2 (en) * 2017-08-15 2021-08-17 Gigamon Inc. Adaptive and flexible packet sampling
US11063856B2 (en) 2017-08-24 2021-07-13 Cisco Technology, Inc. Virtual network function monitoring in a network function virtualization deployment
US10791065B2 (en) 2017-09-19 2020-09-29 Cisco Technology, Inc. Systems and methods for providing container attributes as part of OAM techniques
US10419327B2 (en) * 2017-10-12 2019-09-17 Big Switch Networks, Inc. Systems and methods for controlling switches to record network packets using a traffic monitoring network
US11018981B2 (en) 2017-10-13 2021-05-25 Cisco Technology, Inc. System and method for replication container performance and policy validation using real time network traffic
US10541893B2 (en) 2017-10-25 2020-01-21 Cisco Technology, Inc. System and method for obtaining micro-service telemetry data
US10666494B2 (en) 2017-11-10 2020-05-26 Nyansa, Inc. System and method for network incident remediation recommendations
US11190418B2 (en) * 2017-11-29 2021-11-30 Extreme Networks, Inc. Systems and methods for determining flow and path analytics of an application of a network using sampled packet inspection
TWI664838B (zh) * 2017-12-14 2019-07-01 財團法人工業技術研究院 在一網路中監測傳輸量的方法及裝置
US10666612B2 (en) 2018-06-06 2020-05-26 Cisco Technology, Inc. Service chains for inter-cloud traffic
US11882024B2 (en) * 2018-06-18 2024-01-23 Cisco Technology, Inc. Application-aware links
US10924504B2 (en) * 2018-07-06 2021-02-16 International Business Machines Corporation Dual-port mirroring system for analyzing non-stationary data in a network
CN109194590B (zh) * 2018-09-17 2020-08-25 中国科学技术大学 支持网内智能的网络交换系统
US11310241B2 (en) 2018-09-18 2022-04-19 Microsoft Technology Licensing, Llc Mirroring virtual network traffic
US11444877B2 (en) * 2019-03-18 2022-09-13 At&T Intellectual Property I, L.P. Packet flow identification with reduced decode operations
CN110113205B (zh) * 2019-05-06 2021-07-30 南京大学 一种基于软件定义网络技术的网络排障系统及其工作方法
US11115294B2 (en) 2019-05-07 2021-09-07 Gigamon Inc. Automatic dynamic determination of data traffic sampling policy in a network visibility appliance
TWI777156B (zh) * 2019-12-10 2022-09-11 威聯通科技股份有限公司 內部網路監控方法及使用其的內部網路監控系統
US11470007B2 (en) 2021-01-19 2022-10-11 Mellanox Technologies, Ltd. Bandwidth-control policers in a network adapter
US11310163B1 (en) * 2021-02-10 2022-04-19 Mellanox Technologies, Ltd. Network flow sampling fairness
CN115514686A (zh) * 2021-06-23 2022-12-23 深信服科技股份有限公司 一种流量采集方法、装置及电子设备和存储介质
US11722436B2 (en) 2021-08-24 2023-08-08 International Business Machines Corporation Transport control word architecture for physical port mirroring
CN114095513B (zh) * 2021-11-26 2024-03-29 苏州盛科科技有限公司 有限带宽场景下转发流量和镜像流量调度的方法及应用
CN114285667B (zh) * 2021-12-30 2023-06-02 湖南泛联新安信息科技有限公司 一种网络靶场流量实时采集系统及方法
EP4362415A1 (en) * 2022-10-24 2024-05-01 Nokia Solutions and Networks Oy Processing of data volumes in a network

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101521630A (zh) * 2009-04-09 2009-09-02 杭州华三通信技术有限公司 一种网络流量的分析方法和设备
CN100592707C (zh) * 2002-06-17 2010-02-24 英特尔公司 确定数据网络中有保障的服务的令牌桶参数的方法和设备
CN101286895B (zh) * 2008-05-22 2010-08-18 上海交通大学 可动态配置的分布式网络数据监控系统及方法
CN102209035A (zh) * 2011-05-25 2011-10-05 杭州华三通信技术有限公司 流量转发方法及转发设备
CN102783098A (zh) * 2010-03-05 2012-11-14 日本电气株式会社 通信系统、路径控制设备、分组转发设备以及路径控制方法
CN102986179A (zh) * 2010-06-08 2013-03-20 博科通讯系统有限公司 用于处理和/或转发包的方法和设备

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001063838A2 (en) 2000-02-22 2001-08-30 Top Layer Networks, Inc. System and method for flow mirroring in a network switch
US7536455B2 (en) 2001-03-18 2009-05-19 At&T Corp. Optimal combination of sampled measurements
JP3882187B2 (ja) 2001-04-19 2007-02-14 日本電気株式会社 フロー制御システムおよび方法
KR100496217B1 (ko) * 2001-06-28 2005-06-21 가부시키가이샤 엔티티 도코모 라우팅 방법, 노드, 패킷 통신 시스템, 프로그램 및 기록매체
US7512980B2 (en) 2001-11-30 2009-03-31 Lancope, Inc. Packet sampling flow-based detection of network intrusions
US7363656B2 (en) 2002-11-04 2008-04-22 Mazu Networks, Inc. Event detection/anomaly correlation heuristics
US7738613B1 (en) 2003-03-21 2010-06-15 D2Audio Corporation Streaming multi-channel audio as packetized data or parallel data with a separate input frame sync
US7385984B2 (en) 2004-03-30 2008-06-10 Extreme Networks, Inc. Packet processing system architecture and method
CN101048984B (zh) 2004-10-21 2013-08-21 日本电气株式会社 通信质量测量装置和通信质量测量方法
US8085766B2 (en) 2005-07-06 2011-12-27 Broadcom Corporation S-flow in a network device
US8121043B2 (en) 2005-08-19 2012-02-21 Cisco Technology, Inc. Approach for managing the consumption of resources using adaptive random sampling
US8155118B2 (en) 2005-08-19 2012-04-10 Hewlett-Packard Development Company, L.P. Mirroring of a random subset of network traffic
US8050185B2 (en) * 2005-08-24 2011-11-01 Hewlett-Packard Development Company, L.P. Sampling of network traffic based on CAM lookup
JP4759389B2 (ja) 2006-01-10 2011-08-31 アラクサラネットワークス株式会社 パケット通信装置
JP4734223B2 (ja) 2006-11-29 2011-07-27 アラクサラネットワークス株式会社 トラヒック分析装置および分析方法
JP4738358B2 (ja) 2007-01-31 2011-08-03 富士通株式会社 帯域計測方法及び装置
US8711852B2 (en) 2007-09-24 2014-04-29 Ciena Corporation Systems and methods for port mirroring with network-scoped connection-oriented sink
CN101188531B (zh) 2007-12-27 2010-04-07 东软集团股份有限公司 一种监测网络流量异常的方法及系统
US7924739B2 (en) 2008-12-22 2011-04-12 At&T Intellectual Property I, L.P. Method and apparatus for one-way passive loss measurements using sampled flow statistics
US8102783B1 (en) 2009-02-04 2012-01-24 Juniper Networks, Inc. Dynamic monitoring of network traffic
US20110026525A1 (en) * 2009-08-03 2011-02-03 Ziqiang He Ethernet Switch and System
US8599692B2 (en) * 2009-10-14 2013-12-03 Vss Monitoring, Inc. System, apparatus and method for removing unwanted information from captured data packets
CN101697519B (zh) 2009-11-05 2012-07-18 中兴通讯股份有限公司 一种端口镜像的方法及装置
US8477648B2 (en) * 2010-02-16 2013-07-02 Vss Monitoring, Inc. Systems, apparatus, and methods for monitoring network capacity
US9001828B2 (en) 2011-03-21 2015-04-07 Marvell World Trade Ltd. Method and apparatus for pre-classifying packets
US9401853B2 (en) 2013-09-24 2016-07-26 International Business Machines Corporation Determining sampling rate from randomly sampled events
US9203711B2 (en) 2013-09-24 2015-12-01 International Business Machines Corporation Port mirroring for sampling measurement of network flows

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100592707C (zh) * 2002-06-17 2010-02-24 英特尔公司 确定数据网络中有保障的服务的令牌桶参数的方法和设备
CN101286895B (zh) * 2008-05-22 2010-08-18 上海交通大学 可动态配置的分布式网络数据监控系统及方法
CN101521630A (zh) * 2009-04-09 2009-09-02 杭州华三通信技术有限公司 一种网络流量的分析方法和设备
CN102783098A (zh) * 2010-03-05 2012-11-14 日本电气株式会社 通信系统、路径控制设备、分组转发设备以及路径控制方法
CN102986179A (zh) * 2010-06-08 2013-03-20 博科通讯系统有限公司 用于处理和/或转发包的方法和设备
CN102209035A (zh) * 2011-05-25 2011-10-05 杭州华三通信技术有限公司 流量转发方法及转发设备

Also Published As

Publication number Publication date
TW201520770A (zh) 2015-06-01
CN105580318A (zh) 2016-05-11
US9203711B2 (en) 2015-12-01
US20160036659A1 (en) 2016-02-04
US9893962B2 (en) 2018-02-13
US20150085694A1 (en) 2015-03-26
WO2015043446A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
CN105580318B (zh) 用于分析通过网络的数据通信量的方法和系统
US10009236B2 (en) Determining sampling rate from randomly sampled events
US9860154B2 (en) Streaming method and system for processing network metadata
US10355949B2 (en) Behavioral network intelligence system and method thereof
RU2683486C1 (ru) Способ и устройство для защиты от сетевых атак
CN112134741B (zh) 分布式系统中的客户导向的联网限制
US9219691B2 (en) Source-driven switch probing with feedback request
EP3206345B1 (en) Traffic deduplication in a visibility network
US10389655B2 (en) Event-based packet mirroring
JP5673805B2 (ja) ネットワーク装置、通信システム、異常トラヒックの検出方法およびプログラム
CN112242965A (zh) 遥测事件聚合
CA2897664A1 (en) An improved streaming method and system for processing network metadata
JP2019047254A (ja) 情報処理システム、情報処理装置及び情報処理プログラム
US20180167337A1 (en) Application of network flow rule action based on packet counter
Shirali-Shahreza et al. Traffic statistics collection with FleXam
US20170063660A1 (en) Application-specific integrated circuit data flow entity counting
US20200220794A1 (en) Method and system for monitoing communication in a network
DK2929472T3 (en) Device, system and approach for improved network monitoring, data reporting and data processing
EP3092737B1 (en) Systems for enhanced monitoring, searching, and visualization of network data
US10097515B2 (en) Firewall control device, method and firewall device
KR101707073B1 (ko) Sdn 기반의 에러 탐색 네트워크 시스템
EP3092771A1 (en) Apparatus, system, and method for enhanced monitoring and interception of network data
Abd Rahman et al. Hybrid optimisation for managed network services
KR101522405B1 (ko) 접속망에서의 심층 패킷 조사 방법 및 장치
Kundu A framework for improving the performance of application servers in next generation networks

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant