CN106506399B - 实现mfp的方法、装置及数据交换芯片 - Google Patents

实现mfp的方法、装置及数据交换芯片 Download PDF

Info

Publication number
CN106506399B
CN106506399B CN201610957314.XA CN201610957314A CN106506399B CN 106506399 B CN106506399 B CN 106506399B CN 201610957314 A CN201610957314 A CN 201610957314A CN 106506399 B CN106506399 B CN 106506399B
Authority
CN
China
Prior art keywords
stream
message
mfp
record
ipfix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610957314.XA
Other languages
English (en)
Other versions
CN106506399A (zh
Inventor
刘庆海
周伟
马千里
单哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Centec Communications Co Ltd
Original Assignee
SHENGKE NETWORK (SUZHOU) CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENGKE NETWORK (SUZHOU) CO Ltd filed Critical SHENGKE NETWORK (SUZHOU) CO Ltd
Priority to CN201610957314.XA priority Critical patent/CN106506399B/zh
Publication of CN106506399A publication Critical patent/CN106506399A/zh
Application granted granted Critical
Publication of CN106506399B publication Critical patent/CN106506399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/215—Flow control; Congestion control using token-bucket
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
    • H04L47/2483—Traffic characterised by specific attributes, e.g. priority or QoS involving identification of individual flows

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种实现MFP的方法、装置及数据交换芯片。所述方法包括：判断监测引擎中MFP功能是否使能；当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；判断是否查找到所述报文对应的流；当查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。本发明能够利用芯片中已有的IPFIX的硬件资源和芯片逻辑来实现MFP功能，节约硬件资源，降低芯片设计的复杂度。

Description

实现MFP的方法、装置及数据交换芯片
技术领域
本发明涉及网络通信技术领域，尤其涉及一种实现MFP的方法、装置及数据交换芯片。
背景技术
网络通信中，“流”定义为在一定时间间隔内，经过网络中某一观察点的一系列具有相同属性的数据包，每条流对应一条流记录，记录流相关的有用信息。MFP(Micro FlowPolicing，微流策略)是一种基于单个流的流量速率限制策略，其基本原理是：在特有的MFP监测引擎中根据报文头中的一些关键信息识别出指定的流，并对该流对应的令牌桶进行令牌的更新，其中令牌桶是指网络设备的内部存储池，令牌是指以给定速率填充令牌桶的虚拟信息包。数据交换芯片在实现MFP时，MFP监测引擎一方面会不断地以某个速率往令牌桶里加入令牌，另一方面会执行流触发的减令牌操作，当接收到一个包含n个字节的数据包时，就从令牌桶中删除n个令牌，并且数据包被发送到网络，一旦令牌桶空了，表示此流速率超过限定的速率值，应该进行丢包操作。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
数据交换芯片要实现MFP，需要设计特有的MFP监测引擎，占用硬件资源，使芯片设计复杂。
在实现本发明的过程中，发明人发现现有技术中至少存在如下技术问题：
本发明提供的实现MFP的方法、装置及数据交换芯片，能够利用芯片中已有的IPFIX的硬件资源和芯片逻辑来实现MFP功能，节约硬件资源，降低芯片设计的复杂度。
发明内容
本发明提供的实现MFP的方法、装置及数据交换芯片，能够利用芯片中已有的IPFIX的硬件资源和芯片逻辑来实现MFP功能，节约硬件资源，降低芯片设计的复杂度。
第一方面，本发明提供一种实现MFP的方法，通过IPFIX监测引擎已有的芯片逻辑实现MFP，所述方法包括：
判断监测引擎中MFP功能是否使能；
当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；
判断是否查找到所述报文对应的流；
当查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。
可选地，所述当查找到所述报文对应的流时，更新所述流的流记录包括：在所述流的流记录中减去与所述报文长度相同的令牌。
可选地，所述初始化新加的流的流记录包括：对所述新加的流的流记录初始化一个令牌值。
第二方面，本发明提供一种实现MFP的装置，通过IPFIX监测引擎已有的芯片逻辑实现MFP，所述装置包括：
第一判断单元，用于判断监测引擎中MFP功能是否使能；
查找单元，用于当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；
第二判断单元，用于判断所述查找单元是否查找到所述报文对应的流；
处理单元，用于当所述查找单元查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。
可选地，所述处理单元，用于当查找到所述报文对应的流时，在所述流的流记录中减去与所述报文长度相同的令牌。
可选地，所述处理单元，用于当没有查找到所述报文对应的流时，将所述报文的关键字段添加到RAM中以生成新的流，对所述新加的流的流记录初始化一个令牌值。
第三方面，本发明提供一种数据交换芯片，所述数据交换芯片包括上述实现MFP的装置。
本发明实施例提供的实现MFP的方法、装置及数据交换芯片，通过IPFIX监测引擎已有的芯片逻辑实现MFP，当MFP功能使能时，根据报文首部信息的哈希值查找所述报文对应的流，当查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。与现有技术相比，本发明能够利用芯片中已有的IPFIX的硬件资源来实现MFP功能，节约硬件资源，降低芯片设计的复杂度。
附图说明
图1为本发明一实施例实现MFP的方法的流程图；
图2为本发明另一实施例实现MFP的方法的流程图；
图3为本发明一实施例实现MFP的装置的结构示意图；
图4为本发明另一实施例实现MFP的装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种实现MFP的方法，IPFIX(IP Flow Information Export，IP流信息输出)是用于IP网络中的流信息测量的标准协议，通过IPFIX监测引擎实现流多方面的统计和监测，它是数据交换芯片必有的功能模块，所述IPFIX监测引擎主要功能包括：
通过报文的关键字识别出所述报文对应的流；其中，IPFIX监测引擎支持二层数据，三层数据的多种关键字结构，字段非常丰富，能够更精确地识别出各条流；
对所述流进行记录；其中，IPFIX监测引擎包含了包计数，包字节计数等多种数据统计方式，能够记录报文个数等流相关的信息。
具体地，IPFIX监测引擎能够进行硬件学习(芯片逻辑自动添加新流)和软件学习(CPU设置)的功能。
如图1所示，所述方法包括：
S11、判断监测引擎中MFP功能是否使能；
S12、当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；
S13、判断是否查找到所述报文对应的流；
S14、当查找到所述报文对应的流时，更新所述流的流记录，否则跳转S15；
S15、根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。
本发明实施例提供的实现MFP的方法，通过IPFIX监测引擎已有的芯片逻辑实现MFP，当MFP功能使能时，根据报文首部信息的哈希值查找所述报文对应的流，当查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。与现有技术相比，本发明能够利用芯片中已有的IPFIX的硬件资源来实现MFP功能，节约硬件资源，降低芯片设计的复杂度。
可选地，所述当查找到所述报文对应的流时，更新所述流的流记录包括：在所述流的流记录中减去与所述报文长度相同的令牌。
具体地，流记录包括所述流对应的令牌桶，监测引擎通过刷新记录表使令牌以一定的速率加入令牌桶，当有属于所述流的报文流入时，更新流记录，在流记录中减去与所述报文长度相同的令牌。
进一步的，当令牌桶内的令牌减成负数时，表示所述流的速率超过限定的速率值，触发丢包操作。
可选地，所述初始化新加的流的流记录包括：对所述新加的流的流记录初始化一个令牌值。
可选地，本发明还提供一种实现MFP的方法的另一实施例，如图2所示，所述实现MFP的方法包括：
S21、判断监测引擎中MFP功能是否使能；
S22、当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；
S23、判断是否查找到所述报文对应的流；
S24、当查找到所述报文对应的流时，更新所述流的流记录，否则跳转S25；
S25、根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。
S26、判断所述流记录在指定时间内是否有更新；
S27、当所述流记录在指定时间内没有更新时，删除所述流记录。
具体地，当所述流记录在指定时间内有更新时，说明所述流记录所对应的流在指定时间内有报文流入，所述流记录正常更新；当所述流记录在指定时间内没有更新时，说明所述流记录所对应的流在指定时间内没有报文流入，认为所述流结束，删除所述流记录以提高RAM利用率。
可选地，在所述流记录中，存放一个标识信息来区分当前记录是用于MFP还是IPFIX，通过所述标识信息将MFP和IPFIX在一定程度进行解耦。
可选地，当MFP功能未使能时，IPFIX中为了降低流的消耗速率，会对进入监测引擎的流进行一定间隔的采样；当MFP功能使能时，通过寄存器关掉采样功能，不需要对所述流进行采样。
可选地，当MFP功能未使能时，IPFIX中遇到指示TCP结束或复位的报文时，会删除报文对应的流，结束相应流的统计，当MFP功能使能时，监测引擎把指示TCP结束的报文当成普通的报文处理。
可选地，IPFIX中有多种流输出机制，MFP使能时，对所述流输出不感知，监测引擎通过寄存器关掉这些功能，从而达到两个功能块的解耦。
本发明实施例还提供一种实现MFP的装置，通过IPFIX监测引擎已有的芯片逻辑实现MFP，如图3所示，所述装置包括：
第一判断单元11，用于判断监测引擎中MFP功能是否使能；
查找单元12，用于当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；
第二判断单元13，用于判断所述查找单元是否查找到所述报文对应的流；
处理单元14，用于当所述查找单元查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。
本发明实施例提供的实现MFP的装置，通过IPFIX监测引擎已有的芯片逻辑实现MFP，当MFP功能使能时，根据报文首部信息的哈希值查找所述报文对应的流，当查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录。与现有技术相比，本发明能够利用芯片中已有的IPFIX的硬件资源来实现MFP功能，节约硬件资源，降低芯片设计的复杂度。
可选地，所述处理单元14，用于当查找到所述报文对应的流时，在所述流的流记录中减去与所述报文长度相同的令牌。
可选地，所述处理单元14，用于当没有查找到所述报文对应的流时，将所述报文的关键字段添加到RAM中以生成新的流，对所述新加的流的流记录初始化一个令牌值。
可选地，如图4所示，所述实现MFP的装置还包括：
第三判断单元15，用于判断所流记录在指定时间内是否有更新；
删除单元16，用于当所述流记录在指定时间内没有更新时，删除所述流记录。
具体地，当所述流记录在指定时间内有更新时，说明所述流记录所对应的流在指定时间内有报文流入，所述流记录正常更新；当所述流记录在指定时间内没有更新时，说明所述流记录所对应的流在指定时间内没有报文流入，认为所述流结束，删除所述流记录以提高RAM利用率。
本发明实施例还提供一种数据交换芯片，所述数据交换芯片包括上述实现MFP的装置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (7)

1.一种实现MFP的方法，其特征在于，通过IPFIX监测引擎已有的芯片逻辑实现MFP，所述方法包括：
判断监测引擎中MFP功能是否使能；
当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；
判断是否查找到所述报文对应的流；
当查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录；
其中，在所述流记录中，存放一个标识信息来区分当前记录是用于MFP还是IPFIX，通过所述标识信息将MFP和IPFIX在一定程度进行解耦。
2.根据权利要求1所述的方法，其特征在于，所述当查找到所述报文对应的流时，更新所述流的流记录包括：在所述流的流记录中减去与所述报文长度相同的令牌。
3.根据权利要求1所述的方法，其特征在于，所述初始化新加的流的流记录包括：对所述新加的流的流记录初始化一个令牌值。
4.一种实现MFP的装置，其特征在于，通过IPFIX监测引擎已有的芯片逻辑实现MFP，所述装置包括：
第一判断单元，用于判断监测引擎中MFP功能是否使能；
查找单元，用于当MFP功能使能时，将报文的首部信息进行哈希计算，根据计算得到的哈希值查找所述报文对应的流；
第二判断单元，用于判断所述查找单元是否查找到所述报文对应的流；
处理单元，用于当所述查找单元查找到所述报文对应的流时，更新所述流的流记录，否则根据所述哈希值将所述报文的关键字段添加到RAM中以生成新的流，并初始化新加的流的流记录，
其中，在所述流记录中，存放一个标识信息来区分当前记录是用于MFP还是IPFIX，通过所述标识信息将MFP和IPFIX在一定程度进行解耦。
5.根据权利要求4所述的装置，其特征在于，所述处理单元，用于当查找到所述报文对应的流时，在所述流的流记录中减去与所述报文长度相同的令牌。
6.根据权利要求4所述的装置，其特征在于，所述处理单元，用于当没有查找到所述报文对应的流时，将所述报文的关键字段添加到RAM中以生成新的流，对所述新加的流的流记录初始化一个令牌值。
7.一种数据交换芯片，其特征在于，所述数据交换芯片包括如权利要求4至6中任一项所述的实现MFP的装置。
CN201610957314.XA 2016-11-03 2016-11-03 实现mfp的方法、装置及数据交换芯片 Active CN106506399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610957314.XA CN106506399B (zh) 2016-11-03 2016-11-03 实现mfp的方法、装置及数据交换芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610957314.XA CN106506399B (zh) 2016-11-03 2016-11-03 实现mfp的方法、装置及数据交换芯片

Publications (2)

Publication Number Publication Date
CN106506399A CN106506399A (zh) 2017-03-15
CN106506399B true CN106506399B (zh) 2019-10-25

Family

ID=58322387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610957314.XA Active CN106506399B (zh) 2016-11-03 2016-11-03 实现mfp的方法、装置及数据交换芯片

Country Status (1)

Country Link
CN (1) CN106506399B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379302B (zh) * 2017-08-08 2022-01-11 深圳市中兴微电子技术有限公司 一种实现令牌处理的方法及装置
CN113824606B (zh) * 2020-06-19 2023-10-24 华为技术有限公司 一种网络测量方法及装置
CN112702232B (zh) * 2020-12-21 2022-04-01 苏州盛科通信股份有限公司 一种基于用户自定义数据的ipfix流量统计方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101841436A (zh) * 2010-03-02 2010-09-22 北京星网锐捷网络技术有限公司 Ipfix服务器性能的测试方法、装置和系统
CN102130823A (zh) * 2009-10-28 2011-07-20 美国博通公司 用于数据通信的方法和网络设备
CN104378263A (zh) * 2014-11-27 2015-02-25 盛科网络（苏州）有限公司 基于tcp会话的网络流量监测方法、装置及报文处理芯片
WO2016018181A1 (en) * 2014-07-28 2016-02-04 Telefonaktiebolaget L M Ericsson (Publ) Automated flow devolvement in an aggregate flow environment
CN105515921A (zh) * 2016-01-25 2016-04-20 盛科网络（苏州）有限公司 实现网络分片报文流量实时监测的方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101056215B (zh) * 2006-04-14 2011-04-20 华为技术有限公司 一种网络性能测量方法及系统
CN102201981A (zh) * 2011-03-31 2011-09-28 成都飞鱼星科技开发有限公司 基于视讯流量加速的网络视频会议系统及其加速方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102130823A (zh) * 2009-10-28 2011-07-20 美国博通公司 用于数据通信的方法和网络设备
CN101841436A (zh) * 2010-03-02 2010-09-22 北京星网锐捷网络技术有限公司 Ipfix服务器性能的测试方法、装置和系统
WO2016018181A1 (en) * 2014-07-28 2016-02-04 Telefonaktiebolaget L M Ericsson (Publ) Automated flow devolvement in an aggregate flow environment
CN104378263A (zh) * 2014-11-27 2015-02-25 盛科网络（苏州）有限公司 基于tcp会话的网络流量监测方法、装置及报文处理芯片
CN105515921A (zh) * 2016-01-25 2016-04-20 盛科网络（苏州）有限公司 实现网络分片报文流量实时监测的方法和装置

Also Published As

Publication number Publication date
CN106506399A (zh) 2017-03-15

Similar Documents

Publication Publication Date Title
CN105871602B (zh) 一种统计流量的控制方法、装置和系统
US9825841B2 (en) Method of and network server for detecting data patterns in an input data stream
CN104426768B (zh) 一种数据报文转发方法及装置
CN106506399B (zh) 实现mfp的方法、装置及数据交换芯片
US20150113646A1 (en) Apparatus and method for improving detection performance of intrusion detection system
CN110414236A (zh) 一种恶意进程的检测方法及装置
JP6174520B2 (ja) 悪性通信パターン検知装置、悪性通信パターン検知方法、および、悪性通信パターン検知プログラム
CN105591914B (zh) 一种openflow流表的查表方法和装置
CN102387082A (zh) 基于流分类的分组流量控制系统及控制方法
CN110928717B (zh) 一种复杂时序事件检测方法及装置
CN105359472A (zh) 一种用于OpenFlow网络的数据处理方法和装置
Wang et al. An intrusion detection method based on log sequence clustering of honeypot for modbus tcp protocol
CN107924330A (zh) 用于集成的线程调度的技术
JP2015173406A (ja) 分析システム、分析装置、及び分析プログラム
CN105681199B (zh) 一种车载总线中报文数据的处理方法及装置
CN108055166B (zh) 一种嵌套的应用层协议的状态机提取系统及其提取方法
US9674083B2 (en) Path calculation order deciding method, program and calculating apparatus
CN104765792B (zh) 一种维度数据存储的方法、装置及系统
CN104205745B (zh) 报文处理的方法与设备
CN109981389A (zh) 手机号码识别方法、装置、设备及介质
CN104901897A (zh) 一种应用类型的确定方法和装置
CN105516016B (zh) 一种使用Tilera多核加速卡基于流的数据包过滤系统及数据包过滤方法
CN117201340A (zh) 一种报文特征识别方法、装置、设备及存储介质
CN107086960A (zh) 一种报文传输方法和装置
CN107888588B (zh) 一种指定目标结点集合的k最大概率攻击路径求解方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 215000 unit 13 / 16, 4th floor, building B, No.5 Xinghan street, Suzhou Industrial Park, Jiangsu Province

Patentee after: Suzhou Shengke Communication Co.,Ltd.

Address before: Xinghan Street Industrial Park of Suzhou city in Jiangsu province 215021 B No. 5 Building 4 floor 13/16 unit

Patentee before: CENTEC NETWORKS (SU ZHOU) Co.,Ltd.

CP03 Change of name, title or address