CN103997415A - 一种实现报文统计的装置及方法 - Google Patents
一种实现报文统计的装置及方法 Download PDFInfo
- Publication number
- CN103997415A CN103997415A CN201310054672.6A CN201310054672A CN103997415A CN 103997415 A CN103997415 A CN 103997415A CN 201310054672 A CN201310054672 A CN 201310054672A CN 103997415 A CN103997415 A CN 103997415A
- Authority
- CN
- China
- Prior art keywords
- module
- information processing
- message
- statistical information
- accounting message
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种实现报文统计的装置及方法,包括:交换模块和统计信息处理模块,其中:所述交换模块,用于接收数据流报文,对接收到的数据流报文进行解析,得到统计信息,将得到的统计信息组装成统计报文,将所述统计报文发送给所述统计信息处理模块;所述统计信息处理模块,用于在接收到所述交换模块发送的统计报文后,针对所述统计报文的字段进行统计信息处理。本发明通过增加统计信息处理模块进行统计信息的处理,在不影响交换模块转发性能,并降低交换模块负担的前提下,提高了系统的数据流报文的统计能力,并通过使用统计信息处理模块外挂存储模块提高了统计信息处理的容量,能够实现更加丰富的对数据流的控制。
Description
技术领域
本发明涉及以太网数据通信领域,尤其涉及一种实现报文统计的装置及方法。
背景技术
以太网技术以其良好的经济性、互通性和易用性等优势得到了普遍应用,目前以太网逐步向城域网和广域网发展,从而作为运营级传送网技术提供多业务承载。
在以太网的应用中,经常需要完成对数据流的统计、分析和管理,将数据流的统计结果上报给CPU(中央处理器),CPU对统计结果进行分析并进行相应处理。
目前,统计信息主要是由交换模块进行处理,并保存到片内存储模块或者保存到交换模块的外挂存储模块中。这种方法存在以下缺陷:交换模块的统计功能有限,并且,高速接口和外挂存储模块也有限。这些方面的限制影响了对数据流报文和统计报文的缓存能力,并且,无法实现大容量、灵活丰富的统计信息处理能力。
发明内容
本发明要解决的技术问题是提供一种实现报文统计的装置及方法,在降低交换模块负担的情况下,提高系统中数据流报文的统计能力。
为解决上述技术问题,本发明的一种实现报文统计的装置,包括:交换模块和统计信息处理模块,其中:
所述交换模块,用于接收数据流报文,对接收到的数据流报文进行解析,得到统计信息,将得到的统计信息组装成统计报文,将所述统计报文发送给所述统计信息处理模块;
所述统计信息处理模块,用于在接收到所述交换模块发送的统计报文后,针对所述统计报文的字段进行统计信息处理。
进一步地,还包括第二存储模块,其中:
所述统计信息处理模块,还用于在进行统计信息处理后,将进行统计信息处理后的统计报文存储至所述第二存储模块;
所述第二存储模块,用于存储统计报文。
进一步地,还包括第一存储模块,其中:
所述交换模块,还用于将接收到的数据流报文存储至所述第一存储模块;
所述第一存储模块,用于存储所述数据流报文。
进一步地,还包括控制模块,其中:
所述控制模块,用于通过所述交换模块从所述第一存储模块读取数据流报文,通过所述统计信息处理模块从所述第二存储模块读取统计报文,根据统计报文进行数据流报文的控制。
进一步地,所述控制模块,还用于对所述交换模块和统计信息处理模块进行配置。
进一步地,一种实现报文统计的方法,包括:
交换模块接收数据流报文,对接收到的数据流报文进行解析,得到统计信息,将得到的统计信息组装成统计报文,将所述统计报文发送给统计信息处理模块;
所述统计信息处理模块在接收到所述交换模块发送的统计报文后,针对所述统计报文的字段进行统计信息处理。
进一步地,还包括:
所述统计信息处理模块在进行统计信息处理后,将进行统计信息处理后的统计报文存储至第二存储模块。
进一步地,还包括:
所述交换模块在接收数据流报文后,将接收到的数据流报文存储至第一存储模块。
进一步地,还包括:
控制模块通过所述交换模块从所述第一存储模块读取数据流报文,通过所述统计信息处理模块从所述第二存储模块读取统计报文,根据统计报文进行数据流报文的控制。
进一步地,还包括:
所述控制模块还对所述交换模块和统计信息处理模块进行配置。
综上所述,本发明通过增加统计信息处理模块进行统计信息的处理,在不影响交换模块转发性能,并降低交换模块负担的前提下,提高了系统的数据流报文的统计能力,并通过使用统计信息处理模块外挂存储模块提高了统计信息处理的容量,能够实现更加丰富的对数据流的控制。
附图说明
图1是本发明的实现报文统计的装置的架构图;
图2是本发明的实现报文统计的方法的流程图。
具体实施方式
本实施方式通过增加统计信息处理模块作为协处理模块来进行统计报文的处理,实现数据流报文的转发与统计的分离,并且,为统计信息处理模块设置外挂的存储模块,提高了统计信息处理的容量。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
如图1所示,本实施方式的实现报文统计的装置,包括:
交换模块101,用于接收数据流报文,对接收的数据流报文进行解析,得到统计信息,将统计信息组装成统计报文,将统计报文发送给统计信息处理模块,并且,将数据流报文保存至第一存储模块102;还对接收的数据流报文进行丢弃、转发或广播等操作。
上述数据流报文可以是以太网报文,以太网报文的种类繁多,IEEE802.3定义了以太网格式,以太网报文包括:目的地址、源地址、协议类型/报文长度、数据、校验等字段,因此,统计报文可以是分别针对上述字段,对所关心的具体内容进行的统计。
例如,网络管理员希望了解一段时间内超长报文的数据流信息,因此,可以配置交换模块对报文长度进行统计,并将统计报文发送给统计信息处理模块。
第一存储模块102,用于保存数据流报文。
存储模块是系统的记忆装置,用以存储指令和数据。例如,目前较为普遍使用的DDR3SDRAM等,具有功耗低、读写速度高、通用性能良好等特点。
统计信息处理模块103,是本实施方式的关键部分,用于扩展增强的数据流统计功能,通过高速接口接收交换模块101发送的统计报文,通过不同的报文筛选、过滤和透传等策略,针对统计报文的各个关键字段,进行灵活、丰富、高性能的统计信息处理,然后将处理后的统计报文保存至第二存储模块104。
统计信息处理模块103可以采用FPGA(可编程逻辑器件),FPGA广泛使用与数据通信、图像处理、工业控制、数码电子等领域,具有灵活编程、接口丰富等特点。FPGA的serdes(串行器)高速信号接口,可用于实现芯片间的高速互联,带宽可以达到10Gbps以上。
第二存储模块104,用于保存统计报文。
控制模块105,用于通过交换模块从第一存储模块102读取数据流报文,通过统计信息处理模块从第二存储模块104读取统计报文,并据此进行灵活丰富的数据流控制。
控制模块105从第一存储模块102读取数据流报文时,从第二存储模块104读取统计报文时,交换模块和统计信息处理模块作为桥片,相当于在控制模块105与存储模块之间搭建了一个通道。
控制模块105可采用CPU,CPU通过LocalBus(局部总线)实现对系统的管理,例如,读取FPGA的寄存器值,FPGA的寄存器保存了系统版本号、版本日期、当前系统工作环境温度等信息,配置FPGA和交换模块。
CPU通过高速接口得到数据流报文和统计报文,并据此进行灵活丰富的数据流控制。例如,对某一特征的数据流报文进行计时、流量统计、限速和/或隔离等操作。
如图2所示,本实施方式的实现报文统计的方法,包括:
步骤201:交换模块接收以太网数据流报文;
步骤202:交换模块解析接收到的以太网数据流报文,得到统计信息,统计信息包括但不限于:源地址、目的地址、报文类型、报文长度等;
交换模块还根据数据流报文信息,对数据流报文进行转发、广播或丢弃等操作。
步骤203:交换模块将统计信息组装成统计报文,将统计报文通过高速接口发送给统计信息处理模块;
步骤204:交换模块将数据流报文存储至第一存储模块;
步骤205:统计信息处理模块通过高速接口接收交换模块发送的统计报文,通过不同的报文筛选、过滤或透传等策略,针对统计报文的各个关键字段,进行灵活、丰富、高性能的统计信息处理;
步骤206:统计信息处理模块将处理后的统计报文保存至第二存储模块;
步骤207:控制模块使用高速接口通过交换模块读取数据流报文,通过统计信息处理模块读取统计报文,根据统计报文进行数据流报文的控制。
在本实施方式的方法中控制模块还预先对交换模块和统计信息处理模块进行配置。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种实现报文统计的装置,包括:交换模块和统计信息处理模块,其中:
所述交换模块,用于接收数据流报文,对接收到的数据流报文进行解析,得到统计信息,将得到的统计信息组装成统计报文,将所述统计报文发送给所述统计信息处理模块;
所述统计信息处理模块,用于在接收到所述交换模块发送的统计报文后,针对所述统计报文的字段进行统计信息处理。
2.如权利要求1所述的装置,其特征在于,还包括第二存储模块,其中:
所述统计信息处理模块,还用于在进行统计信息处理后,将进行统计信息处理后的统计报文存储至所述第二存储模块;
所述第二存储模块,用于存储统计报文。
3.如权利要求2所述的装置,其特征在于,还包括第一存储模块,其中:
所述交换模块,还用于将接收到的数据流报文存储至所述第一存储模块;
所述第一存储模块,用于存储所述数据流报文。
4.如权利要求3所述的装置,其特征在于,还包括控制模块,其中:
所述控制模块,用于通过所述交换模块从所述第一存储模块读取数据流报文,通过所述统计信息处理模块从所述第二存储模块读取统计报文,根据统计报文进行数据流报文的控制。
5.如权利要求4所述的装置,其特征在于:
所述控制模块,还用于对所述交换模块和统计信息处理模块进行配置。
6.一种实现报文统计的方法,包括:
交换模块接收数据流报文,对接收到的数据流报文进行解析,得到统计信息,将得到的统计信息组装成统计报文,将所述统计报文发送给统计信息处理模块;
所述统计信息处理模块在接收到所述交换模块发送的统计报文后,针对所述统计报文的字段进行统计信息处理。
7.如权利要求6所述的方法,其特征在于,还包括:
所述统计信息处理模块在进行统计信息处理后,将进行统计信息处理后的统计报文存储至第二存储模块。
8.如权利要求7所述的方法,其特征在于,还包括:
所述交换模块在接收数据流报文后,将接收到的数据流报文存储至第一存储模块。
9.如权利要求8所述的方法,其特征在于,还包括:
控制模块通过所述交换模块从所述第一存储模块读取数据流报文,通过所述统计信息处理模块从所述第二存储模块读取统计报文,根据统计报文进行数据流报文的控制。
10.如权利要求9所述的方法,其特征在于,还包括:
所述控制模块还对所述交换模块和统计信息处理模块进行配置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310054672.6A CN103997415A (zh) | 2013-02-20 | 2013-02-20 | 一种实现报文统计的装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310054672.6A CN103997415A (zh) | 2013-02-20 | 2013-02-20 | 一种实现报文统计的装置及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103997415A true CN103997415A (zh) | 2014-08-20 |
Family
ID=51311424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310054672.6A Pending CN103997415A (zh) | 2013-02-20 | 2013-02-20 | 一种实现报文统计的装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103997415A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104539557A (zh) * | 2015-01-04 | 2015-04-22 | 盛科网络(苏州)有限公司 | 报文统计上报cpu的方法及装置 |
CN105389267A (zh) * | 2015-10-21 | 2016-03-09 | 盛科网络(苏州)有限公司 | stats分配的芯片实现方法 |
CN105530256A (zh) * | 2015-12-18 | 2016-04-27 | 航天恒星科技有限公司 | 一种卫星通信协议数据的处理装置和系统 |
CN110719215A (zh) * | 2019-10-21 | 2020-01-21 | 北京百度网讯科技有限公司 | 虚拟网络的流信息采集方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101719850A (zh) * | 2009-11-04 | 2010-06-02 | 中兴通讯股份有限公司 | 对以太网丢包率进行统计的装置、方法及报文交换设备 |
CN101848132A (zh) * | 2009-03-24 | 2010-09-29 | 华为技术有限公司 | 流量统计装置及方法 |
CN101902759A (zh) * | 2010-05-25 | 2010-12-01 | 中国科学技术大学 | 基于协议测试的对无线网络进行安全分析的方法和装置 |
US20120236728A1 (en) * | 2008-10-17 | 2012-09-20 | John Dalmau | Flexible Network Test Apparatus |
CN102752196A (zh) * | 2012-06-19 | 2012-10-24 | 中兴通讯股份有限公司 | 统计信息的发送、统计计数方法及装置 |
-
2013
- 2013-02-20 CN CN201310054672.6A patent/CN103997415A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120236728A1 (en) * | 2008-10-17 | 2012-09-20 | John Dalmau | Flexible Network Test Apparatus |
CN101848132A (zh) * | 2009-03-24 | 2010-09-29 | 华为技术有限公司 | 流量统计装置及方法 |
CN101719850A (zh) * | 2009-11-04 | 2010-06-02 | 中兴通讯股份有限公司 | 对以太网丢包率进行统计的装置、方法及报文交换设备 |
CN101902759A (zh) * | 2010-05-25 | 2010-12-01 | 中国科学技术大学 | 基于协议测试的对无线网络进行安全分析的方法和装置 |
CN102752196A (zh) * | 2012-06-19 | 2012-10-24 | 中兴通讯股份有限公司 | 统计信息的发送、统计计数方法及装置 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104539557A (zh) * | 2015-01-04 | 2015-04-22 | 盛科网络(苏州)有限公司 | 报文统计上报cpu的方法及装置 |
CN104539557B (zh) * | 2015-01-04 | 2017-08-11 | 盛科网络(苏州)有限公司 | 报文统计上报cpu的方法及装置 |
CN105389267A (zh) * | 2015-10-21 | 2016-03-09 | 盛科网络(苏州)有限公司 | stats分配的芯片实现方法 |
CN105389267B (zh) * | 2015-10-21 | 2018-08-21 | 盛科网络(苏州)有限公司 | stats分配的芯片实现方法 |
CN105530256A (zh) * | 2015-12-18 | 2016-04-27 | 航天恒星科技有限公司 | 一种卫星通信协议数据的处理装置和系统 |
CN105530256B (zh) * | 2015-12-18 | 2019-10-25 | 航天恒星科技有限公司 | 一种卫星通信协议数据的处理装置和系统 |
CN110719215A (zh) * | 2019-10-21 | 2020-01-21 | 北京百度网讯科技有限公司 | 虚拟网络的流信息采集方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7760629B2 (en) | Aggregate data frame generation | |
US20160330128A1 (en) | Queue scheduling method and device, and computer storage medium | |
US10225196B2 (en) | Apparatus, system and method for controlling packet data flow | |
ES2340954T3 (es) | Motor multi-protocolo para procesamiento de corriente de bits reconfigurable en redes de alta velocidad. | |
US20020093964A1 (en) | Internal communication protocol for data switching equipment | |
WO2006063298A1 (en) | Techniques to manage flow control | |
CN103997415A (zh) | 一种实现报文统计的装置及方法 | |
CN105530207A (zh) | 一种支持多类型数据帧的交换机端口仲裁电路及方法 | |
US9137030B1 (en) | Multicast queueing in a network switch | |
CN114885045B (zh) | 一种在高速智能网卡/dpu内节约dma通道资源方法和装置 | |
CN113542043B (zh) | 网络设备的数据采样方法、装置、设备及介质 | |
CN101764756B (zh) | 组播数据转发路径的剪枝处理方法、装置和网络设备 | |
CN109951750A (zh) | 基于FlexE一层交叉架构的数据处理方法及系统 | |
US20120014391A1 (en) | Data communication method and data communication apparatus | |
CN112751788A (zh) | 一种支持多类型帧混合传输的双平面交换方法 | |
US9083563B2 (en) | Method for reducing processing latency in a multi-thread packet processor with at least one re-order queue | |
CN102984083A (zh) | 队列管理方法及装置 | |
EP3691210A1 (en) | Flexible ethernet message forwarding method and apparatus | |
CN107196879A (zh) | Udp报文的处理方法、装置以及网络转发装置 | |
CN101552735A (zh) | 基于订阅模式的可插拔消息总线装置及其实现方法 | |
US20220191144A1 (en) | System and method for low latency network switching | |
CN117499351A (zh) | 报文转发装置及方法、通信芯片及网络设备 | |
CN114125078A (zh) | 一种mac地址学习的方法及装置 | |
JP5892325B2 (ja) | ループバック回路 | |
CN109450826B (zh) | 报文处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140820 |
|
WD01 | Invention patent application deemed withdrawn after publication |