CN111970211A - 一种基于ipfix的大象流处理方法及装置 - Google Patents
一种基于ipfix的大象流处理方法及装置 Download PDFInfo
- Publication number
- CN111970211A CN111970211A CN202010813120.9A CN202010813120A CN111970211A CN 111970211 A CN111970211 A CN 111970211A CN 202010813120 A CN202010813120 A CN 202010813120A CN 111970211 A CN111970211 A CN 111970211A
- Authority
- CN
- China
- Prior art keywords
- flow
- ipfix
- elephant
- elephant flow
- flow table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000406668 Loxodonta cyclotis Species 0.000 title claims abstract description 154
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005111 flow chemistry technique Methods 0.000 title claims abstract description 11
- 238000000638 solvent extraction Methods 0.000 claims 1
- 238000005457 optimization Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明揭示了一种基于IPFIX的大象流处理方法及装置。方法包括接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，IPFIX流表对每个大象流进行字节数统计；周期性扫描IPFIX流表并判断IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流并将该大象流上送CPU处理。本发明能够精确去除大象流中被误检测为大象流的老鼠流，提高数据中心网络优化的准确性，节省CPU资源。
Description
技术领域
本发明涉及网络技术领域，尤其是涉及一种基于IPFIX的大象流处理方法及装置。
背景技术
在数据中心网络中，流量包括大象流和老鼠流，老鼠流种类繁多，占比相对较大，而大象流种类较少，占比相对较少，其中，大象流通常是指占据数据中心网络大部分带宽的数据流，老鼠流通常是指占据数据中心网络小部分带宽的数据流。由于老鼠流延迟敏感，消耗数据中心少量带宽，而大象流消耗数据中心超过80％的带宽，因而有效检测出大象流，并针对大象流执行相应策略和控制(如转发路径、QoS等策略)，一方面能够提高数据中心网络的带宽利用率，另一方面还能够提高老鼠流的转发效率，增强会话有效传输的吞吐量。
目前，在检测大象流时通常采用基于软件和基于硬件的检测方案，软件如服务器端管理组件等，硬件如TOR(Top of Rack，架顶)交换机等。由于通过软件进行大象流检测容易导致CPU负荷的增加，因而在TOR交换机芯片上做纯硬件的大象流检测越来越受欢迎。目前最受欢迎的是利用Bloom Filter(布隆过滤器)算法去检测大象流，Bloom Filter算法模型是多个并行的报文包长计数的Hash桶，以4个hash桶为例，当收到报文时，利用四个互质的Hash多项式计算出四个Hash值，每个Hash值分别索引到4个Hash桶，读取存放的计数器Counter，根据当前报文长度，累加更新到4个计数器Counter中，同时比较四个计数器Counter值和配置的门限值，并在计数器Counter值大于门限值时，认为当前的报文已被检测成大象流，此时将报文信息记录到大象流的流表中进一步控制，同时设置一个计时器，周期性的将四个Hash桶中所有的计数器Counter全部清零。
然而，由于Bloom Filter算法模型中计数器Counter是共享的，仅仅通过四个Hash多项式来对流进行打散，容易使得在流量较多时存在一定的冲突率，导致出现误检测，并且流量种类越多，误检测率越高，容易将老鼠流误检测为大象流。为了去除大象流中的老鼠流，通常采用软件方法去除，容易导致CPU负荷较高，影响其他业务的进行。
发明内容
本发明的目的在于克服现有技术的缺陷，提供一种可精确去除大象流中老鼠流的大象流处理方法及装置。
为实现上述目的，本发明提出如下技术方案：一种基于IPFIX的大象流处理方法，所述方法包括：
S100，接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；
S200，周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。
优选地，所述IPFIX流表统计机制包括获取报文的五元组信息并根据五元组信息将报文划分为不同的流。
优选地，在步骤S100之前，还包括通过访问控制列表匹配报文是否被标记为大象流，并在匹配到报文被标记为大象流时使能IPFIX。
优选地，在步骤S200中，IPFIX流表通过每个大象流对应的字节计数字段统计该大象流的字节数。
优选地，周期性扫描IPFIX流表中的一个大象流后，将该大象流对应的字节计数字段清零处理。
本发明还揭示了一种基于IPFIX的大象流处理装置，装置包括
IPFIX模块，用于接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；
判断模块，用于周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。
优选地，装置还包括ACL模块，用于匹配报文是否被标记为大象流，并在匹配到报文被标记为大象流时使能IPFIX。
优选地，所述IPFIX流表统计机制包括获取报文的五元组信息并根据五元组信息将报文划分为不同的流。
优选地，所述IPFIX流表通过每个大象流对应的字节计数字段统计该大象流的字节数。
优选地，装置包括定时器模块，用于使判断模块周期性扫描所述IPFIX流表并判断每个大象流对应的总字节数是否大于预设阈值。
本发明的有益效果是：
本发明能够精确去除大象流中被误检测为大象流的老鼠流，一方面提高数据中心网络优化的准确性，提高大象流检测的准确性，提高时延敏感的老鼠流的转发性能，另一方面避免CPU直接参与识别大象流中被误检测的老鼠流，节省了CPU资源。
附图说明
图1是本发明的大象流处理方法流程图示意图；
图2是本发明的大象流处理装置结构框图示意图。
具体实施方式
下面将结合本发明的附图，对本发明实施例的技术方案进行清楚、完整的描述。
在交换芯片中检测出大象流后，采用本发明所揭示的一种基于IPFIX的大象流处理方法及装置，能够精确去除大象流中被误检测为大象流的老鼠流，一方面提高数据中心网络优化的准确性，另一方面避免CPU直接参与识别大象流中被误检测的老鼠流，节省了CPU资源。
如图1所示，为本发明所揭示的一种基于IPFIX的大象流处理方法，包括如下步骤：
S100，接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计。
具体地，交换芯片通过Bloom Filter(布隆过滤器)算法对报文进行检测，当检测到大象流后将报文标记为大象流，实施时，可通过字段isElephantFlow来标记报文是否为大象流，如字段isElephantFlow的值为0时，表示该报文不是大象流，为1时，表示该报文为大象流。交换芯片通过Bloom Filter算法检测出的大象流中可能存在误检测为大象流的老鼠流，为了将误检测为大象流的老鼠流准确从大象流中去除，本发明通过IPFIX(IP FlowInformation Export，IP数据流信息输出)对检测结果是大象流的报文进行处理。IPFIX是用于网络中流信息测量的标准协议，让网络设备在转发数据流量的同时生成特定的流量信息，然后将流量信息发送到特定的分析模块，进而可实现对流量的分析。IPFIX可根据报文的五元组信息(入接口、协议号、源地址、目的地址、TOS字段、TCP/UDP源端口、TCP/UDP目的端口)将报文分成的不同的流并对每个流进行统计，IPFIX会记录这个流的统计信息，包括时间戳、报文数、总的字节数。对于五元组信息相同的报文则视为属于同一个流。因此，在获得大象流后，利用IPFIX流表统计机制对检测结果是大象流的报文进行五元组展开，也即获取报文的五元组信息，根据五元组信息将报文划分不同的流，进一步将流学习至IPFIX流表中，IPFIX流表进一步通过字节数统计字段(ByteCount)对每个流进行字节数统计，每个流对应一字节数统计字段。由于流经过Bloom Filter检测后，检测出流的种类大大减少，因此IPFIX的流表大小压力大大降低。
进一步地，交换芯片对报文进行标记后，还通过ACL(访问控制列表)对报文标记的状态进行匹配，以确定是否使能IPFIX，也即：当ACL匹配到报文标记状态为大象流时，使能IPFIX功能；当ACL匹配到的报文标记状态为非大象流时，不使能IPFIX功能，也就是说对于检测结果为大象流的报文进行IPFIX处理。
S200，周期性扫描所述IPFIX流表，并判断每个大象流对应的总字节数是否大于预设阈值，并在总字节数小于预设阈值时确定该大象流为误检测的老鼠流，进一步将该大象流上送至CPU处理。
具体地，IPFIX流表针通过字节数统计字段(ByteCount)对每个流进行字节数统计后，可根据该字节数统计字段标示的字节数判断该流是否为老鼠流或大象流。当流的字节数大于预设阈值时，则表明流为真正的大象流；当流的字节数小于预设阈值时，则表明该流为误检测成大象流的老鼠流，需将该老鼠流上报至CPU处理，CPU可针对该老鼠流配置策略，如清除掉大象流标记，保持原有的QoS策略等。通过将大象流中误检为大象流的老鼠流去除，提高了交换芯片对大象流检测的准确性，同时也提高了延时敏感的老鼠流的转发性能。
本实施例中，通过配置一定时器(Timer)，以周期性地对IPFIX流表进行扫描，当周期性扫描IPFIX流表中一个流后将该流对应的字节数统计字段的值进行清零处理。
如图2所示，本发明还揭示了一种基于IPFIX的大象流处理装置，包括IPFIX模块和判断模块，其中，IPFIX模块用于接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；判断模块用于周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。
具体地，交换芯片通过Bloom Filter(布隆过滤器)算法对报文进行检测，当检测到大象流后将报文标记为大象流，实施时，可通过字段isElephantFlow来标记报文是否为大象流，如字段isElephantFlow的值为0时，表示该报文不是大象流，为1时，表示该报文为大象流。交换芯片通过Bloom Filter算法检测出的大象流中可能存在误检测为大象流的老鼠流，为了将误检测为大象流的老鼠流准确从大象流中去除，本发明通过IPFIX(IP FlowInformation Export，IP数据流信息输出)对检测结果是大象流的报文进行处理。IPFIX模块根据报文的五元组信息(入接口、协议号、源地址、目的地址、TOS字段、TCP/UDP源端口、TCP/UDP目的端口)将报文分成的不同的流并对每个流进行统计，IPFIX模块会记录这个流的统计信息，包括时间戳、报文数、总的字节数。对于五元组信息相同的报文则视为属于同一个流。因此，在获得大象流后，IPFIX模块利用IPFIX流表统计机制对检测结果是大象流的报文进行五元组展开，也即获取报文的五元组信息，根据五元组信息将报文划分为不同的流，进一步将流学习至IPFIX流表中，IPFIX流表进一步对每个流进行字节数统计。
进一步地，装置还包括ACL模块，ACL模块用于匹配报文标记状态，根据大象流标记状态确定是否使能IPFIX。实施时，当ACL模块匹配到报文标记状态为大象流时，使能IPFIX功能；当ACL模块匹配到的报文标记状态为非大象流时，不使能IPFIX功能，也就是说对于检测结果为大象流的报文进行IPFIX处理。
IPFIX模块针通过字节数统计字段(ByteCount)对每个流进行字节数统计后，判断模块进一步根据该字节数判断该流是否为老鼠流或大象流。当流的字节数大于预设阈值时，则表明流为真正的大象流；当流的字节数小于预设阈值时，则表明该流为误检测成大象流的老鼠流，需将该老鼠流上报至CPU处理，CPU可针对该老鼠流配置策略，如清除掉大象流标记，保持原有的QoS策略等。通过将大象流中误检为大象流的老鼠流去除，提高了交换芯片对大象流检测的准确性，同时也提高了延时敏感的老鼠流的转发性能。
进一步地，装置还包括定时器模块，用于使判断模块周期性扫描所述IPFIX流表，并判断每个大象流对应的总字节数是否大于预设阈值。当周期性扫描IPFIX流表中一个流后将该流对应的字节数统计字段进行清零处理。
本发明优化了基于硬件的大象流检测机制Bloom Filter，通过对交换芯片检测出的大象流进行洗流处理，以去除大象流中误检测为大象流的老鼠流，提高大象流检测的准确性，同时也提高了时延敏感的老鼠流的转发性能。
本发明的技术内容及技术特征已揭示如上，然而熟悉本领域的技术人员仍可能基于本发明的教示及揭示而作种种不背离本发明精神的替换及修饰，因此，本发明保护范围应不限于实施例所揭示的内容，而应包括各种不背离本发明的替换及修饰，并为本专利申请权利要求所涵盖。
Claims (10)
1.一种基于IPFIX的大象流处理方法，其特征在于，所述方法包括：
S100，接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；
S200，周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。
2.根据权利要求1所述的方法，其特征在于，所述IPFIX流表统计机制包括获取报文的五元组信息并根据五元组信息将报文划分为不同的流。
3.根据权利要求1所述的方法，其特征在于，在步骤S100之前，还包括通过访问控制列表匹配报文是否被标记为大象流，并在匹配到报文被标记为大象流时使能IPFIX。
4.根据权利要求1所述的方法，其特征在于，在步骤S200中，IPFIX流表通过每个大象流对应的字节计数字段统计该大象流的字节数。
5.根据权利要求4所述的方法，其特征在于，周期性扫描IPFIX流表中的一个大象流后，将该大象流对应的字节计数字段清零处理。
6.一种基于IPFIX的大象流处理装置，其特征在于，装置包括
IPFIX模块，用于接收被标记为大象流的报文并通过IPFIX流表统计机制将大象流学习至IPFIX流表中，所述IPFIX流表对每个大象流进行字节数统计；
判断模块，用于周期性扫描所述IPFIX流表并判断所述IPFIX流表中每个大象流的字节数是否大于预设阈值，并将字节数小于预设阈值的大象流确定为误检测的老鼠流，进一步将该大象流上送CPU处理。
7.根据权利要求6所述的大象流处理装置，其特征在于，装置还包括ACL模块，用于匹配报文是否被标记为大象流，并在匹配到报文被标记为大象流时使能IPFIX。
8.根据权利要求6所述的大象流处理装置，其特征在于，所述IPFIX流表统计机制包括获取报文的五元组信息并根据五元组信息将报文划分为不同的流。
9.根据权利要求6所述的大象流处理装置，其特征在于，所述IPFIX流表通过每个大象流对应的字节计数字段统计该大象流的字节数。
10.根据权利要求6所述的大象流处理装置，其特征在于，装置包括定时器模块，用于使判断模块周期性扫描所述IPFIX流表并判断每个大象流对应的总字节数是否大于预设阈值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010813120.9A CN111970211A (zh) | 2020-08-13 | 2020-08-13 | 一种基于ipfix的大象流处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010813120.9A CN111970211A (zh) | 2020-08-13 | 2020-08-13 | 一种基于ipfix的大象流处理方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111970211A true CN111970211A (zh) | 2020-11-20 |
Family
ID=73364468
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010813120.9A Pending CN111970211A (zh) | 2020-08-13 | 2020-08-13 | 一种基于ipfix的大象流处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111970211A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113381945A (zh) * | 2021-05-17 | 2021-09-10 | 中国人民解放军国防科技大学 | 基于冷热分离的流量处理方法及系统 |
| CN113783794A (zh) * | 2020-11-27 | 2021-12-10 | 北京京东尚科信息技术有限公司 | 拥塞控制方法和装置 |
| WO2022152230A1 (zh) * | 2021-01-18 | 2022-07-21 | 阿里巴巴集团控股有限公司 | 信息流识别方法、网络芯片及网络设备 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106453130A (zh) * | 2016-09-30 | 2017-02-22 | 杭州电子科技大学 | 一种基于大象流精确识别的流量调度系统及方法 |
| CN109802891A (zh) * | 2019-02-22 | 2019-05-24 | 盛科网络（苏州）有限公司 | 一种提高大象流流表利用率的方法及装置 |
| US20190253362A1 (en) * | 2018-02-14 | 2019-08-15 | Mellanox Technologies, Ltd. | Ability to Detect Unlimited Elephant Flows |
-
2020
- 2020-08-13 CN CN202010813120.9A patent/CN111970211A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106453130A (zh) * | 2016-09-30 | 2017-02-22 | 杭州电子科技大学 | 一种基于大象流精确识别的流量调度系统及方法 |
| US20190253362A1 (en) * | 2018-02-14 | 2019-08-15 | Mellanox Technologies, Ltd. | Ability to Detect Unlimited Elephant Flows |
| CN109802891A (zh) * | 2019-02-22 | 2019-05-24 | 盛科网络（苏州）有限公司 | 一种提高大象流流表利用率的方法及装置 |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113783794A (zh) * | 2020-11-27 | 2021-12-10 | 北京京东尚科信息技术有限公司 | 拥塞控制方法和装置 |
| WO2022152230A1 (zh) * | 2021-01-18 | 2022-07-21 | 阿里巴巴集团控股有限公司 | 信息流识别方法、网络芯片及网络设备 |
| CN113381945A (zh) * | 2021-05-17 | 2021-09-10 | 中国人民解放军国防科技大学 | 基于冷热分离的流量处理方法及系统 |
| CN113381945B (zh) * | 2021-05-17 | 2022-08-30 | 中国人民解放军国防科技大学 | 基于冷热分离的流量处理方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4512196B2 (ja) | 異常トラヒックの検出方法およびパケット中継装置 | |
| CN111970211A (zh) | 一种基于ipfix的大象流处理方法及装置 | |
| JP5660198B2 (ja) | ネットワークシステム、及びスイッチ方法 | |
| CN101399711B (zh) | 网络监视装置以及网络监视方法 | |
| CN110677324B (zh) | 基于sFlow采样与控制器主动更新列表的大象流两级检测方法 | |
| CN106416171A (zh) | 一种特征信息分析方法及装置 | |
| US20150319090A1 (en) | Method and apparatus for notifying network abnormality | |
| JP2005277804A (ja) | 情報中継装置 | |
| WO2011131076A1 (zh) | 建立流转发表项的方法及数据通信设备 | |
| Phan et al. | Sdn-mon: Fine-grained traffic monitoring framework in software-defined networks | |
| CN108011865B (zh) | 基于流水印和随机采样的sdn流迹追踪方法、装置及系统 | |
| US20090240804A1 (en) | Method and apparatus for preventing igmp packet attack | |
| CN110535888B (zh) | 端口扫描攻击检测方法及相关装置 | |
| CN111314179A (zh) | 网络质量检测方法、装置、设备和存储介质 | |
| CN108809752B (zh) | 一种网络流量的自适应监控方法、装置、npb设备及介质 | |
| WO2024021495A1 (zh) | 云平台中的泛洪攻击的识别方法、装置、设备及存储介质 | |
| CN112260899B (zh) | 基于mmu的网络监测方法和装置 | |
| KR100608541B1 (ko) | 샘플링과 시그너쳐 검색 기능을 구비한 인터넷 프로토콜패킷 수집 장치 및 그 방법 | |
| EP4181479A1 (en) | Method for identifying flow, and apparatus | |
| CN115967673A (zh) | 一种基于p4可编程交换机的大流五元组的查询方法 | |
| CN112612670B (zh) | 一种会话信息统计方法、装置、交换设备及存储介质 | |
| JP2008079138A (ja) | 通信監視システム、フロー収集装置、解析マネージャ装置及びプログラム | |
| Qiao et al. | Fine-Grained Active Queue Management in the Data Plane with P4 | |
| CN114615200A (zh) | 一种基于acl的大象流检测方法及装置 | |
| CN111106977B (zh) | 数据流检测方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20201120 |
|
| RJ01 | Rejection of invention patent application after publication |