CN102780591A - 用于在会话级别区分和采样双向网络流量的方法和装置 - Google Patents

用于在会话级别区分和采样双向网络流量的方法和装置 Download PDF

Info

Publication number
CN102780591A
CN102780591A CN201210205444XA CN201210205444A CN102780591A CN 102780591 A CN102780591 A CN 102780591A CN 201210205444X A CN201210205444X A CN 201210205444XA CN 201210205444 A CN201210205444 A CN 201210205444A CN 102780591 A CN102780591 A CN 102780591A
Authority
CN
China
Prior art keywords
session
hash
address
maker
party
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201210205444XA
Other languages
English (en)
Inventor
约翰·芒克
丹·普雷斯科特
罗伯特·沃格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AirMagnet Inc
Original Assignee
Fluke Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fluke Corp filed Critical Fluke Corp
Publication of CN102780591A publication Critical patent/CN102780591A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/18—Protocol analysers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明提供了用于在会话级别区分和采样双向网络流量的方法和装置。在会话级别区分网络流量，提供采样确定能力。基于IP地址和协议类型确定哈希值，针对单独的会话赋予唯一的标识符。

Description

用于在会话级别区分和采样双向网络流量的方法和装置
技术领域
本发明涉及网络，更具体地涉及在会话级别区分和采样网络流量。
背景技术
应用性能管理(APM)采用监视和/或故障排除工具来观察网络流量并用于网络和应用的优化和维护。在高流量网络中，数据量会导致过载(oversubscription)，在该情况下，输入数据速率太高以使网络/应用监视系统无法处理。这个问题本身的一种表现方式是在分析延迟方面。在所有的专用应用分析器(例如Http、Oracle、Citrix、TCP等应用)中都有软件延迟。当要分析太多数据时，监视系统的各个离散部分的总延迟在整个系统上造成了足量的总延迟，使得难以继续处理和分析输入数据。在高度使用的计算机网络上对每个分组/流/会话实时地执行完整分析在计算上是不切实际的。
发明内容
本发明的一个目的是基于Socket连接和会话提供分组表征和采样选择，处理当流量速率超过测量设备能力时无法生成精确的性能测量的问题。
因此，本发明的另一个目的是提供改进的网络数据采样。
本发明进一步的目的是提供在会话级别区分网络流量的改进的网络监视系统。
本发明的另一个目的是提供能够在会话级别改进网络流量的区分和采样的改进的网络监视和分析的方法。
在本说明书的权利要求部分中具体地指出本发明的主题并且明确地要求保护。然而，操作的组织和方法及其进一步的优点和目的最好参照以下描述并结合附图来理解，在附图中，相同的标号指代相同的元件。
附图说明
图1是通过接口连接有网络分析产品的网络的框图；
图2是用于在会话级别区分和采样双向网络流量的监视设备的框图；并且
图3是会话标识符的示例性确定的流程图。
具体实施方式
根据本发明的优选实施方式的系统包括用于在会话级别区分和采样双向网络流量的监视系统和方法以及分析系统和方法。
参照图1，即，具有根据本文所公开的装置的网络的框图，网络可以包括多个网络客户端10、10′等，它们通过经由与服务器20交互发送和接收网络流量14而在网络12上进行通信。流量可以依据不同的协议及格式以分组的形式发送。
网络分析设备16也连接到网络，并且可以包括用户接口18，从而使用户无论是在该作为网络附件的分析设备的安装地点还是在远离该作为网络附件的分析设备的物理地点的位置，都能够与网络分析设备交互，以操作该分析设备并从其获得数据。
该网络分析设备包括硬件和软件、CPU、存储器、接口等，以进行操作来连接到网络并监视网络上的流量，并且执行各种测试和测量操作、发送和接收数据等。当在远程时，网络分析设备通常通过在与网络通过接口连接的计算机或工作站上运行来进行操作。一个或更多个监视设备可以在网络上的不同位置进行操作，在不同的位置提供测量数据，测量数据可以被转发和/或储存以用于分析。
分析设备包括分析引擎22，分析引擎22接收分组网络数据并与数据存储器24通过接口连接。
图2是可以实现本发明的测试仪器/分析器26的框图，其中，所述仪器可以包括：网络接口28，其通过多个端口将设备附接到网络12；一个或更多个处理器30，其用于对该仪器进行操作；存储器，例如RAM/ROM32或永久存储器(persistent storage)34；显示器36；用户输入设备38(例如，键盘、鼠标或其它定点设备、触摸屏等)；电源40，其可以包括电池或AC电源；其它接口42，其将设备附接到网络或其它外部设备(存储器、其它计算机等)。
在操作中，该网络测试仪器被附接到网络，并且观察网络上的传输以收集数据并对数据进行分析，生成统计以及元数据。在会话级别区分和采样网络数据，能连贯并一致地对数据进行分组与分析，并且选择和区分感兴趣的数据，而允许忽略不感兴趣的数据。
为了完成区分和采样，基于所观察到的数据的标识因子(例如，客户端IP地址)、服务器IP地址以及两个主机之间所使用的通信协议，在两个主机之间的会话中生成单向哈希(one way hash)。各主机具有唯一的IP地址，并且客户端/服务器对使用特定的网络协议彼此通信。单向哈希允许针对特定的会话生成唯一的标识符。如果是感兴趣的会话，则该会话可以被采样，并基于哈希值处理或储存。这允许一种在会话级别区分流量的快速方式，能够快速判断数据是否是感兴趣的以及是否进行进一步处理。
图3是处理的流程图，其中，在44选择在客户端和服务器之间交换的所观察到的分组，在框46将哈希函数(hash function)的值初始化。接着，在框48、50、52处利用客户端IP地址、服务器IP地址和协议类型计算哈希值。可以接着将所确定的哈希值用做关于该分组所属于的会话的唯一的标识符。作为示例并为了便于阐释，图3的示例例示了基于客户端地址、服务器地址和协议类型的3种单独的哈希计算的情况。特定的哈希函数以及实现哈希函数的方式可以使哈希键(hash key)结合在单个步骤或多个步骤中。
例如，在特定的实施方式中，将哈希函数选为CRC(循环冗余校验)函数(crc32)，并应用于数据分组的源IP、目的IP和协议类型字段。可以由根据本公开的网络测试仪器，依据在特定的实施方式和操作环境中所需的速度，使用专门的哈希计算硬件或者软件来执行哈希判断(hash determination)。
下面提供了一个采用适用于IPV4(32比特)和IPV6(128比特)地址的crc32的示例，其中，client-IP-address[]是下面给出的32比特IP地址值的数组。该示例假设地址类型是IPV4或者IPV6，最初就地址的前32比特计算哈希值，如果地址是IPV6类型，则利用该地址附加的96比特计算哈希值：
Figure BSA00000737864800031
Figure BSA00000737864800041
所产生的哈希值提供了唯一的方式来根据协议类型、发送者和接收者标识会话。
在上述特定的示例中采用了CRC函数，但也可以采用其它的单向哈希函数。通过这种方式，多个主机/协议之间的哈希碰撞(hash collision)的可能性被最小化。因此，可以精确地追踪计算机网络上的唯一的客户端/服务器对之间的会话。
本发明提供了将网络分组集合到由从客户端/服务器IP地址和它们之间所使用的相关网络协议而生成的ID所唯一标识的更高级别构造(会话)的能力。因此，可以基于会话而不是单独的分组来进行流量采样以及动态标度(dynamic scaling)。除了本文例示的IP地址/协议类型示例以外，会话的其它部分或部分的组合可以用于区分和采样。
虽然已经示出和描述了本发明的优选的实施方式，但是对于本领域技术人员明显的是，在不脱离本发明的更广泛方面的情况下可以做出许多改变和修改。因此，所附权利要求旨在覆盖落入本发明的真实精神和范围内的所有这种改变和修改。

Claims (19)

1.一种在会话级别区分网络流量的方法，所述方法包括：
确定哈希值的步骤，基于会话确定哈希值；以及
标识会话的步骤，使用所述哈希值来标识所述会话。
2.根据权利要求1所述的方法，其中，所述确定哈希值的步骤包括：
使用所述会话的多个部分作为哈希确定函数的输入以提供所述会话的标识符。
3.根据权利要求2所述的方法，其中，所述会话的所述多个部分包括所述会话的第一方的IP地址以及所述会话的第二方的IP地址。
4.根据权利要求3所述的方法，其中，所述会话的所述多个部分还包括协议类型标识符。
5.根据权利要求1所述的方法，其中，所述确定哈希值的步骤包括：以所述会话的第一方的IP地址和所述会话的第二方的IP地址作为CRC函数的输入，使用所述CRC函数生成所述哈希值。
6.根据权利要求1所述的方法，其中，所述确定哈希值的步骤包括：以所述会话的第一方的IP地址、所述会话的第二方的IP地址和协议类型作为CRC函数的输入，使用所述CRC函数生成所述哈希值。
7.根据权利要求1所述的方法，所述方法还包括使用所述哈希值确定所述会话的采样。
8.一种在会话级别区分网络流量的系统，所述系统包括：
网络流量监视器，所述网络流量监视器用于观察网络流量；以及
哈希生成器，所述哈希生成器用于确定哈希值以标识所观察到的流量。
9.根据权利要求8所述的系统，其中，所述哈希生成器：
使用会话的第一方的IP地址和所述会话的第二方的IP地址作为所述哈希生成器的输入，以确定所述哈希值。
10.根据权利要求9所述的系统，其中，所述哈希生成器：
使用协议类型标识符作为哈希确定函数的输入。
11.根据权利要求8所述的系统，其中，所述哈希生成器包括CRC计算设备以生成所述哈希值。
12.根据权利要求8所述的系统，其中，所述哈希生成器包括：以所述会话的第一方的IP地址和所述会话的第二方的IP地址作为CRC函数的输入，使用CRC函数生成器来生成所述哈希值。
13.根据权利要求8所述的系统，其中，所述哈希生成器包括CRC函数生成器，所述CRC函数生成器以所述会话的第一方的IP地址和所述会话的第二方的IP地址以及协议类型作为CRC函数的输入，来生成所述哈希值。
14.根据权利要求8所述的系统，所述系统还包括：采样器，所述采样器使用所述哈希值来确定所述会话的采样。
15.一种用于在会话级别区分网络流量的网络测试仪器，所述网络测试仪器包括：
网络接口，所述网络接口用于观察网络流量；以及
流量分类器，所述流量分类器用于确定标识符以将所观察到的网络流量进行分类。
16.根据权利要求15所述的网络测试仪器，其中，所述流量分类器包括：哈希生成器，所述哈希生成器用于基于所述网络流量的组成部分生成标识符。
17.根据权利要求16所述的网络测试仪器，其中，所述哈希生成器使用会话的第一方的IP地址、所述会话的第二方的IP地址以及所述会话的协议标识符作为所述哈希生成器的输入来确定哈希值。
18.根据权利要求17所述的网络测试仪器，其中，所述哈希生成器包括CRC计算设备，所述CRC计算设备用以生成所述哈希值。
19.根据权利要求16所述的网络测试仪器，其中，所述哈希生成器包括CRC计算设备，所述CRC计算设备用以生成所述哈希值。
CN201210205444XA 2011-05-12 2012-05-11 用于在会话级别区分和采样双向网络流量的方法和装置 Pending CN102780591A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/106,821 US20120287793A1 (en) 2011-05-12 2011-05-12 Method and apparatus for distinguishing and sampling bi-directional network traffic at a conversation level
US13/106,821 2011-05-12

Publications (1)

Publication Number Publication Date
CN102780591A true CN102780591A (zh) 2012-11-14

Family

ID=46125337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210205444XA Pending CN102780591A (zh) 2011-05-12 2012-05-11 用于在会话级别区分和采样双向网络流量的方法和装置

Country Status (3)

Country Link
US (1) US20120287793A1 (zh)
EP (1) EP2523394A1 (zh)
CN (1) CN102780591A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104579805A (zh) * 2013-10-12 2015-04-29 郑州冰川网络技术有限公司 一种新的网络流量识别方法
CN106452856A (zh) * 2016-09-28 2017-02-22 杭州鸿雁智能科技有限公司 流量统计方法及装置和具有流量统计功能的无线接入设备
CN113676373A (zh) * 2021-08-12 2021-11-19 深圳追一科技有限公司 会话测试方法、装置、计算机设备和存储介质
CN113994274A (zh) * 2019-04-10 2022-01-28 豪倍公司 网络压力测试

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9923832B2 (en) * 2014-07-21 2018-03-20 Cisco Technology, Inc. Lightweight flow reporting in constrained networks
US10341211B2 (en) * 2015-09-25 2019-07-02 Brocade Communications Systems LLC Command response and completion determination
GB201810294D0 (en) * 2018-06-22 2018-08-08 Senseon Tech Ltd Cybe defence system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6873600B1 (en) * 2000-02-04 2005-03-29 At&T Corp. Consistent sampling for network traffic measurement
US7639613B1 (en) * 2005-06-24 2009-12-29 Packeteer, Inc. Adaptive, flow-based network traffic measurement and monitoring system
US8665892B2 (en) * 2006-05-30 2014-03-04 Broadcom Corporation Method and system for adaptive queue and buffer control based on monitoring in a packet network switch
US7602789B2 (en) * 2006-10-23 2009-10-13 Hewlett-Packard Development Company, L.P. Low overhead method to detect new connection rate for network traffic
US7821925B2 (en) * 2007-01-29 2010-10-26 Fulcrum Microsystems, Inc. Traffic distribution techniques utilizing initial and scrambled hash values
US8059532B2 (en) * 2007-06-21 2011-11-15 Packeteer, Inc. Data and control plane architecture including server-side triggered flow policy mechanism
US7957319B2 (en) * 2009-05-08 2011-06-07 Blue Coat Systems, Inc. Classification techniques for encrypted network traffic

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104579805A (zh) * 2013-10-12 2015-04-29 郑州冰川网络技术有限公司 一种新的网络流量识别方法
CN106452856A (zh) * 2016-09-28 2017-02-22 杭州鸿雁智能科技有限公司 流量统计方法及装置和具有流量统计功能的无线接入设备
CN113994274A (zh) * 2019-04-10 2022-01-28 豪倍公司 网络压力测试
CN113994274B (zh) * 2019-04-10 2024-03-29 豪倍公司 网络压力测试
US11997002B2 (en) 2019-04-10 2024-05-28 Hubbell Incorporated Network stress test
CN113676373A (zh) * 2021-08-12 2021-11-19 深圳追一科技有限公司 会话测试方法、装置、计算机设备和存储介质
CN113676373B (zh) * 2021-08-12 2022-08-19 深圳追一科技有限公司 会话测试方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US20120287793A1 (en) 2012-11-15
EP2523394A1 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
CN102780591A (zh) 用于在会话级别区分和采样双向网络流量的方法和装置
Afek et al. Detecting heavy flows in the SDN match and action model
US9270477B2 (en) Method and apparatus of measuring and reporting data gap from within an analysis tool
Tahaei et al. Cost effective network flow measurement for software defined networks: A distributed controller scenario
EP1742416A1 (en) Methods, computer readable medium and system for analyzing and management of application traffic on networks
CN104753732A (zh) 一种基于分布式的网络流量分析系统及方法
US11336545B2 (en) Network device measurements employing white boxes
Suarez-Varela et al. Flow monitoring in Software-Defined Networks: Finding the accuracy/performance tradeoffs
Mahmood et al. Network traffic analysis and SCADA security
Miravalls-Sierra et al. Online detection of pathological TCP flows with retransmissions in high-speed networks
CN102664773A (zh) 一种网络流量的探测方法和探测装置
Sperotto et al. Anomaly characterization in flow-based traffic time series
Hernández-Campos et al. Understanding patterns of TCP connection usage with statistical clustering
CN107454052A (zh) 网络攻击检测方法以及攻击检测装置
Liu et al. Mobilegt: A system to collect mobile traffic trace and build the ground truth
TWI389504B (zh) IP network traffic error detection and analysis system
TW201038009A (en) Real-time traffic measurement system of IP network centralized network management and distributed nodes
Kumar et al. Comparison: Wireshark on different parameters
Bleul et al. Advanced P2P multiprotocol traffic analysis based on application level signature detection
Eittenberger et al. Atheris: A First Step Towards a Uni? ed Peer-to-Peer Traf? c Measurement Framework
JP2013243534A (ja) 遅延時間評価装置および遅延時間評価方法
Viipuri Traffic analysis and modeling of IP core networks
Bujlow et al. A method for evaluation of quality of service in computer networks
Muragaa et al. A pox controller module to collect web traffic statistics in SDN environment
US20090296592A1 (en) Method and apparatus of measuring and reporting data gap from within an analysis tool

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20161215

Address after: American California

Applicant after: Airmagnet Inc.

Address before: Washington State

Applicant before: Fluke Corp.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20121114