CN106453129A - 一种大象流两级识别系统及方法 - Google Patents
一种大象流两级识别系统及方法 Download PDFInfo
- Publication number
- CN106453129A CN106453129A CN201610866979.XA CN201610866979A CN106453129A CN 106453129 A CN106453129 A CN 106453129A CN 201610866979 A CN201610866979 A CN 201610866979A CN 106453129 A CN106453129 A CN 106453129A
- Authority
- CN
- China
- Prior art keywords
- elephant
- stream
- flow
- flows
- elephant flow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及一种大象流的两级识别系统及方法,其系统包含识别并标记大象流模块、统计大象流信息模块和识别错检大象流模块。识别并标记大象流模块:通过监测终端发送数据过程中TCP队列的数据量识别大象流,若网络流被识别为大象流,则通过设置IP包头DSCP字段进行大象流标识;统计大象流信息模块:通过数据包DSCP字段识别并统计网络中的大象流;识别错检大象流模块:计算大象流数据包的平均字节数,若该字节数小于大象流包平均字节数,则识别该网络流为错检的大象流,将其从大象流列表中删除;反之识别该网络流仍为大象流。本发明通过将大象流终端识别与SDN网络监测结合提高了识别大象流识别的精确度。
Description
技术领域
本发明属于网络通信领域,特别涉及一种大象流两级识别系统及方法。
背景技术
数据流量的爆发式增长对网络管理提出了巨大的挑战,流量识别成为当前的热门技术。依据流携带数据量的多少通常可将网络流分为大象流和老鼠流,大象流占网络流总数的10%左右,但其承载了网络85%的数据量,具有传输时间长、占用带宽大、数量较少的特点,而老鼠流则正好相反。
现有大象流识别技术主要基于包采样实现,通过对网络流进行采样并由SDN控制器对其出现频率进行统计分析,如分析结果超出预设大象流阈值则可认定该流为大象流。但该方案有两个缺点,一是大象流识别准确率不高,二是老鼠流误判为大象流的错误率较高。如果能够终端识别大象流并依据网络统计信息对识别结果进行筛选,则可以提高大象流识别准确性。目前,还没有将大象流终端识别与SDN网络监测结合来识别大象流的方法,为此,本专利设计一种大象流的两级识别系统及方法。
发明内容
本发明的目的在于提供一种大象流的两级识别系统及方法,考虑主机终端的大象流识别,并依据SDN监测信息对终端识别结果进行筛选,以此提升大象流识别准确性。本发明通过监测主机端套接字缓存来实现终端大象流的识别,根据SDN控制器统计的大象流信息实现对终端识别结果的筛选,剔除不满足条件的大象流。
本发明提出的一种大象流两级识别系统,其包括识别并标记大象流模块、统计大象流信息模块和识别错检大象流模块。
1、识别并标记大象流模块:用户主机与对端主机通过三次握手建立TCP连接,如果应用程序存在待转发数据,该模块启动计时器1记录时间t1,允许主机端套接字缓存正常接收应用程序数据但不允许TCP向网络转发数据。当t1≥T0(T0为数据累积时间)或套接字缓存被填满时,该模块监测套接字缓存并记录此时缓存中字节数m。比较m与M(M为大象流识别阈值),如果m≥M,则识别该流为大象流;如果m<M,则识别该流为老鼠流。某条流被识别为大象流后,该模块通知IP协议在封装该流数据包时,设置该流数据包IP包头差分服务代码点(Differentiated Services Code Point,DSCP)字段为大象流标识符;如果某条流识别为老鼠流,则不设置该流IP包头DSCP字段。最后该模块启用数据包的正常发送功能。
2、统计大象流信息模块:该模块将终端识别的大象流记录在大象流列表中,通过SDN控制器定时读取网络边缘交换机流表项中计数器记录的大象流信息,包括接收到该流数据包数p,接收到该流比特数b以及该流持续时间。
3、识别错检大象流模块:该模块读取统计大象流信息模块收集的大象流信息,计算最近时间段内该流数据包的平均字节数n。如果n<N(N为大象流包平均字节数),则认定该流为老鼠流,筛选大象流模块将其大象流列表中删除;如果n≥N,则认定该流仍为大象流。
本发明提出的一种基于套接字缓存的大象流两级识别系统,如图1所示。
本发明方法通过监测主机端套接字缓存来实现大象流的识别,并依据网络中大象流的特征信息实现终端识别结果的筛选。本发明方法应用前,网络管理员可依据大象流识别标准及网络实际情况设置主机端套接字缓存的大小,数据累积时间T0,大象流识别阈值M,大象流包平均字节数N。
本发明提出的一种基于套接字缓存的大象流两级识别方法,其按如下步骤:
步骤1、用户主机与对端主机建立TCP连接并进行数据交互。
两台主机建立TCP连接进行数据交互时,软件判断是否存在应用程序数据待发送,如果有则进入步骤2;否则继续等待直到有应用程序数据产生。
步骤2、在套接字缓存中累积应用程序数据。
软件启动计时器1并记录时间t1,同时允许主机端套接字缓存正常接收应用程序数据但不允许TCP向网络转发数据,累积应用程序数据。当t1≥T0(T0为数据累积时间)或套接字缓存区被填满时,进入步骤3;否则继续步骤2。
步骤3、监测套接字缓存中的累积字节数并据此识别该流是否为大象流。
软件读取用户主机端套接字发送缓存中的累积字节数m。如果m≥M(M为大象流阈值),则软件识别该流为大象流;如果m<M,软件识别该流为老鼠流,本发明方法结束。
步骤4、设置IP包头DSCP字段标识大象流。
软件设置该流IP包头DSCP值为大象流标识符,对该大象流进行标识;不设置老鼠流数据包IP包头DSCP值(采用默认值)。
步骤5、大象流在SDN网络中转发。
主机端应用程序数据封装后在SDN网络中传输,交换机按照相应策略进行转发,转发策略可由控制器制定。
步骤6、监测并统计网络中的大象流。
控制器记录大象流于大象流列表中并监测网络中的大象流,定时读取网络边缘交换机流表项计数器中记录的大象流信息,包括接收到该流数据包数p,接收到该流比特数b以及该流持续时间。
步骤7、筛选大象流
分析大象流相关信息并计算最近时间段内该流数据包的平均字节数n,可由公式得到,其中b2、p2为最新统计信息,b1、p1为次新统计信息。
如果n<N(N为预设阈值),则识别该流为老鼠流,将该流从大象流列表中删除,大象流识别方法结束;如果n>N,则识别该流仍为大象流,回到步骤5继续转发。
至此,整个大象流两级识别方法结束,方法流程图如图2所示。
本发明的系统及方法具有以下两个优点:
(1)通过在主机端套接字缓存中累积应用程序数据并监测缓存中字节数来识别大象流,大象流识别准确性和实时性较高。
(2)依据网络中大象流的传输特征实现主机端识别结果的筛选,将不满足条件的大象流从大象流列表中剔除,。
附图说明
图1是本发明的系统框图。
图2是本发明的方法流程图。
图3是本发明实施例网络拓扑示意图
具体实施方式
下面对本发明优选实施例作详细说明。
本实施例以主机A(Host A)上的应用程序1通过TCP连接与主机B(Host B)进行数据交互为例,主机所处网络如图3所示。依据本专利大象流标准(传输数据大于10KB的流)以及网络的实际情况,本实施例中网络管理员可设置主机套接字发送缓存大小为20KB,数据累积时间T0=50ms,大象流识别阈值M=10KB,大象流标志值位110000,大象流包平均字节数N=500B。
一种大象流两级识别方法的步骤如下:
步骤1、用户主机与对端主机建立TCP连接并进行数据交互。
主机A应用程序1与主机B建立TCP连接并进行数据交互,软件判断此时存在应用程序1数据待发送,进入步骤2。
步骤2、在套接字缓存中累积应用程序数据。
软件启动计时器1并记录时间t1,同时允许主机A的套接字缓存正常接收应用程序1的数据但不允许TCP向网络转发数据。当t1=50ms=T0时计时器计时结束,进入步骤3。
步骤3、监测套接字发送缓存中累积的数据字节数并识别该流是否为大象流。
软件读取主机A套接字缓存中的累积字节数m=15KB,判断m>M,则识别应用程序1的流为大象流。
步骤4、设置IP包头DSCP字段标记大象流。
软件设置该流IP包头DSCP值为110000,实现该大象流的标识。
步骤5、大象流在SDN网络中转发。
主机A应用程序1的数据封装后在SDN网络中传输,交换机按照相应策略进行转发,转发策略可由控制器制定。
步骤6、监测并统计网络中的大象流。
控制器记录应用程序1的数据流于大象流列表中并监测该流,定时读取网络边缘交换机流表项计数器中记录的大象流信息,获得如下数据:最新接收到的该流数据包数p2=50个、最新接收到的该流比特数b2=200Mb;次新接收到的该流数据包数p1=5个、次新接收到的该流比特数b1=40Mb。
步骤7、对大象流进行二次识别
分析应用程序1的数据流相关信息并计算最近时间内该流数据包的平均字节数n,可由公式字节/包得到,其中b2、p2为最新统计信息,b1、p1为次新统计信息。此时n<N,则识别该流为老鼠流,将该流从大象流列表中删除,大象流识别方法结束。
至此,一种大象流两级识别方法结束。
本发明的一种大象流两级识别系统,在实例中采用与方法实例中相同的场景。具体应用如下:
1、识别并标记大象流模块:主机A应用程序1与主机B建立TCP连接并进行数据交互,该模块启动计时器1记录时间t1,允许主机端套接字缓存正常接收应用程序1的数据但不允许TCP向网络层传输数据,对应用程序数据进行累积。当t1=50ms=T0时计时器计时结束,允许数据段从传输层到网络层的正常传输。该模块读取主机A套接字缓存中的累积字节数m=15KB,判断m>M,则识别应用程序1的流为大象流。主机A应用程序1的流被识别为大象流后,该模块通知IP协议在封装该流数据段时,设置该流数据包IP包头DSCP值(Differentiated Services Code Point)为大象流标记值(本实施例中为000011)。
2、统计大象流信息模块:该模块通过SDN控制器定时读取网络边缘交换机流表项(Flow Entry)计数器记录的应用程序1的流相关信息,获得如下数据:最新接收到的该流数据包数p2=50个、最新接收到的该流比特数b2=200Mb;次新接收到的该流数据包数p1=5个、次新接收到的该流比特数b1=40Mb。
3、识别错检大象流模块:该模块读取统计大象流信息模块收集的大象流相关信息,计算最近一段时间内应用程序1的数据包的平均字节n=455字节/包,则认定该流为老鼠流,筛选大象流模块将其大象流列表中删除。
当然,本技术领域中的普通技术人员应当认识到,以上实施例仅是用来说明本发明的,而并非作为对本发明的限定,只要在本发明的范围内,对以上实施例的变化、变型都将落入本发明的保护范围。
Claims (10)
1.一种大象流两级识别系统,其特征在于:包括识别并标记大象流模块、统计大象流信息模块和识别错检大象流模块。
2.根据权利要求1所述的大象流两级识别系统,其特征在于:在套接字缓存中累积待发送的数据。
3.根据权利要求1所述的大象流两级识别系统,其识别并标记大象流模块的特征在于:当套接字缓存被填满或数据累积时间达到标准时,监测并记录套接字缓存中数据大小,若该数值大于或等于大象流识别阈值,则识别为大象流,若该数值小于大象流识别阈值,则识别为老鼠流。
4.根据权利要求1所述的大象流两级识别系统,其识别并标记大象流模块的特征在于:若网络流被识别为大象流,则通过设置IP包头的DSCP字段进行大象流标识。
5.根据权利要求1所述的大象流两级识别系统,其统计大象流信息模块的特征在于:利用SDN控制器的网络监测功能,定时读取网络边缘交换机的流表项计数器中大象流统计信息。
6.根据权利要求1所述的大象流两级识别系统,其识别错检大象流模块的特征在于:持续收集大象流统计信息,计算大象流数据包的平均字节数,若该字节数小于大象流包平均字节数,则识别该网络流为错检的大象流,将其从大象流列表中删除;若该字节数大于或等于大象流包平均字节数,则识别该网络流仍为大象流。
7.一种大象流两级识别方法,其特征在于包括如下步骤:
步骤1、用户主机与对端主机建立TCP连接并进行数据交互;
步骤2、在用户主机端套接字缓存中累积应用程序数据;
步骤3、监测套接字缓存中累积的数据大小并识别是否为大象流;
步骤4、设置IP包头DSCP字段来标记大象流;
步骤5、大象流在SDN网络中转发;
步骤6、定时读取大象流信息;
步骤7、计算大象流数据包的平均字节数并持续识别错检的大象流。
8.根据权利要求7所述的大象流两级识别方法,其步骤3特征在:当记录时间t1≥T0(T0为数据累积时间)或套接字缓存区被填满时,软件读取套接字缓存中累积的数据大小m;如果m≥M(M为大象流阈值),则识别该流为大象流;如果m<M,则识别该流为老鼠流。
9.根据权利要求7所述的大象流两级识别方法,其步骤4特征在于:设置大象流IP包头DSCP值为大象流标识符,实现主机端大象流识别结果的标记。
10.根据权利要求7所述的大象流两级识别方法,其步骤7特征在于:依据收集的老鼠流信息计算最近时间段该流数据包的平均字节数n,如果n<N(N为大象流包平均字节数),则识别该网络流为错检的大象流,将其从大象流列表中删除;如果n≥N,则识别该流仍为大象流。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610866979.XA CN106453129A (zh) | 2016-09-30 | 2016-09-30 | 一种大象流两级识别系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610866979.XA CN106453129A (zh) | 2016-09-30 | 2016-09-30 | 一种大象流两级识别系统及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106453129A true CN106453129A (zh) | 2017-02-22 |
Family
ID=58171380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610866979.XA Pending CN106453129A (zh) | 2016-09-30 | 2016-09-30 | 一种大象流两级识别系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106453129A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108282402A (zh) * | 2018-01-24 | 2018-07-13 | 中南大学 | 数据中心网络中基于编码的包散射方法 |
CN108809826A (zh) * | 2018-04-27 | 2018-11-13 | 广州西麦科技股份有限公司 | 一种大象数据流处理方法、装置、p4交换机及介质 |
CN110677324A (zh) * | 2019-09-30 | 2020-01-10 | 华南理工大学 | 基于sFlow采样与控制器主动更新列表的大象流两级检测方法 |
CN111262756A (zh) * | 2020-01-20 | 2020-06-09 | 长沙理工大学 | 一种高速网络大象流精确测量方法及架构 |
CN111277467A (zh) * | 2020-01-23 | 2020-06-12 | 华为技术有限公司 | 一种通信装置、数据流识别方法及相关设备 |
CN112367217A (zh) * | 2020-10-20 | 2021-02-12 | 武汉大学 | 一种面向软件定义网络的协作式大流检测方法及系统 |
CN113595822A (zh) * | 2021-07-26 | 2021-11-02 | 北京恒光信息技术股份有限公司 | 一种数据包管理方法、系统和装置 |
CN113746700A (zh) * | 2021-09-02 | 2021-12-03 | 中国人民解放军国防科技大学 | 一种基于概率采样的大象流快速检测方法及系统 |
WO2022152230A1 (zh) * | 2021-01-18 | 2022-07-21 | 阿里巴巴集团控股有限公司 | 信息流识别方法、网络芯片及网络设备 |
CN115914011A (zh) * | 2021-12-28 | 2023-04-04 | 长沙理工大学 | 一种支持软件定义的top-k流弹性测量方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102984064A (zh) * | 2012-12-28 | 2013-03-20 | 盛科网络(苏州)有限公司 | 区分转发大象流的方法及系统 |
-
2016
- 2016-09-30 CN CN201610866979.XA patent/CN106453129A/zh active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102984064A (zh) * | 2012-12-28 | 2013-03-20 | 盛科网络(苏州)有限公司 | 区分转发大象流的方法及系统 |
Non-Patent Citations (2)
Title |
---|
A. R. CURTIS, W. KIM AND P. YALAGANDULA: ""Mahout: Low-overhead datacenter traffic management using end-host-based elephant detection"", 《2011 PROCEEDINGS IEEE INFOCOM》 * |
C. BI, X. LUO, T. YE AND Y. JIN: ""On precision and scalability of elephant flow detection in data center with SDN"", 《2013 IEEE GLOBECOM WORKSHOPS》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108282402A (zh) * | 2018-01-24 | 2018-07-13 | 中南大学 | 数据中心网络中基于编码的包散射方法 |
CN108282402B (zh) * | 2018-01-24 | 2020-06-09 | 中南大学 | 数据中心网络中基于编码的包散射方法 |
CN108809826A (zh) * | 2018-04-27 | 2018-11-13 | 广州西麦科技股份有限公司 | 一种大象数据流处理方法、装置、p4交换机及介质 |
CN110677324A (zh) * | 2019-09-30 | 2020-01-10 | 华南理工大学 | 基于sFlow采样与控制器主动更新列表的大象流两级检测方法 |
CN110677324B (zh) * | 2019-09-30 | 2023-02-14 | 华南理工大学 | 基于sFlow采样与控制器主动更新列表的大象流两级检测方法 |
CN111262756A (zh) * | 2020-01-20 | 2020-06-09 | 长沙理工大学 | 一种高速网络大象流精确测量方法及架构 |
CN111262756B (zh) * | 2020-01-20 | 2022-05-06 | 长沙理工大学 | 一种高速网络大象流精确测量方法及装置 |
CN111277467B (zh) * | 2020-01-23 | 2021-12-28 | 华为技术有限公司 | 一种通信装置、数据流识别方法及相关设备 |
CN111277467A (zh) * | 2020-01-23 | 2020-06-12 | 华为技术有限公司 | 一种通信装置、数据流识别方法及相关设备 |
CN112367217A (zh) * | 2020-10-20 | 2021-02-12 | 武汉大学 | 一种面向软件定义网络的协作式大流检测方法及系统 |
WO2022152230A1 (zh) * | 2021-01-18 | 2022-07-21 | 阿里巴巴集团控股有限公司 | 信息流识别方法、网络芯片及网络设备 |
CN114866488A (zh) * | 2021-01-18 | 2022-08-05 | 阿里巴巴集团控股有限公司 | 信息流识别方法、网络芯片及网络设备 |
CN113595822A (zh) * | 2021-07-26 | 2021-11-02 | 北京恒光信息技术股份有限公司 | 一种数据包管理方法、系统和装置 |
CN113746700A (zh) * | 2021-09-02 | 2021-12-03 | 中国人民解放军国防科技大学 | 一种基于概率采样的大象流快速检测方法及系统 |
CN115914011A (zh) * | 2021-12-28 | 2023-04-04 | 长沙理工大学 | 一种支持软件定义的top-k流弹性测量方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106453129A (zh) | 一种大象流两级识别系统及方法 | |
US7440409B2 (en) | Network traffic monitoring system and monitoring method | |
CN106453130A (zh) | 一种基于大象流精确识别的流量调度系统及方法 | |
US7206284B2 (en) | Method and apparatus for automatic congestion avoidance for differentiated service flows | |
CN110677324B (zh) | 基于sFlow采样与控制器主动更新列表的大象流两级检测方法 | |
KR100651486B1 (ko) | 네트워크를 통해 멀티미디어 컨텐츠를 전송하는 장치 및방법 | |
CN101488925B (zh) | 一种利用网络流采集及统计虚拟专用网络流量的方法 | |
CN107135049B (zh) | 一种面向离散数据流的可靠异步通信方法 | |
EP1367771A3 (en) | Passive network monitoring system | |
CN104486153B (zh) | 一种基于fpga的智能变电站过程层网络传输性能监测方法 | |
US20010027485A1 (en) | Method for collecting statistical traffic data | |
JP4409991B2 (ja) | リンクアグリゲーションを用いた伝送制御システム | |
US7719990B2 (en) | Communications network traffic monitor system | |
CN102170663A (zh) | 基于3g的实时传输业务中保证服务质量的方法及设备 | |
CN106330584A (zh) | 一种业务流的识别方法及识别装置 | |
CN113055251B (zh) | 一种面向高速网络的流量丢包状态实时感知方法 | |
CN106921665A (zh) | 一种报文处理方法及网络设备 | |
CN108011865A (zh) | 基于流水印和随机采样的sdn流迹追踪方法、装置及系统 | |
US7701942B2 (en) | Network monitor system, data amount counting method and program for use in the system | |
CN103179047B (zh) | 业务的资源调度方法、装置及系统 | |
CN106817619A (zh) | 一种识别视频暂停状态,提高ott视频质量监测精度的方法 | |
CN114422309B (zh) | 基于摘要回传比对方式的业务消息传输效果分析方法 | |
CN115766471A (zh) | 一种基于组播流量的网络业务质量分析方法 | |
CN208689748U (zh) | 一种高速交通数据抽象与分离装置 | |
CN102098333B (zh) | 一种hdlc数据处理的方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |