CN114710571B - 数据包处理系统 - Google Patents
数据包处理系统 Download PDFInfo
- Publication number
- CN114710571B CN114710571B CN202210338328.9A CN202210338328A CN114710571B CN 114710571 B CN114710571 B CN 114710571B CN 202210338328 A CN202210338328 A CN 202210338328A CN 114710571 B CN114710571 B CN 114710571B
- Authority
- CN
- China
- Prior art keywords
- data packet
- module
- line card
- protocol type
- intelligent network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/18—Multiprotocol handlers, e.g. single devices capable of handling multiple protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/12—Protocol engines
Abstract
本申请公开了一种数据包处理系统,异构资源一体化调度模组在线重构高性能报文交换模组的多个流水线逻辑,并将业务流表拆分为多个流表项,将流表项加载至对应的流水线逻辑,每个流水线逻辑对应一种网络协议类型的数据包处理逻辑;高性能报文交换模组接收数据包,确定数据包对应的目标网络协议类型,利用与目标网络协议类型对应的流水线逻辑中的流表项将数据包发送至智能网络线卡模组;智能网络线卡模组接收数据包,利用与目标网络协议类型对应的异构资源组合对数据包进行处理,并将处理后的数据包返回高性能报文交换模组,由高性能报文交换模组对处理后的数据包进行转发。该系统能够实现多种网络技术体制并存环境下的协议无关数据包处理。
Description
技术领域
本申请涉及信息通信网络技术领域,更具体的说,是涉及一种数据包处理系统。
背景技术
随着信息通信网络技术的不断发展,互联网逐渐成为与国家发展、人民生活息息相关的重要基础设施。互联网与人类社会深度融合,用户对互联网的使用需求从简单的端到端模式转变为对海量内容的获取,并发展出移动互联网、物联网、云计算等新模式。
因此,如何实现多种网络技术体制并存环境下的协议无关数据包处理,成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于上述问题,本申请提出了一种数据包处理系统。具体方案如下:
一种数据包处理系统,所述系统包括:
异构资源一体化调度模组、高性能报文交换模组和智能网络线卡模组;
所述异构资源一体化调度模组用于在线重构所述高性能报文交换模组的多个流水线逻辑,并将业务流表拆分为多个流表项,将所述流表项加载至对应的流水线逻辑,每个流水线逻辑对应一种网络协议类型的数据包处理逻辑;
所述高性能报文交换模组用于接收数据包,确定所述数据包对应的目标网络协议类型,利用与所述目标网络协议类型对应的流水线逻辑中的流表项将所述数据包发送至所述智能网络线卡模组;
所述智能网络线卡模组用于接收所述数据包,利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行处理,并将处理后的数据包返回所述高性能报文交换模组,由所述高性能报文交换模组对所述处理后的数据包进行转发。
可选地,所述高性能报文交换模组还用于:
将所述预设元数据封装在所述数据包的私有协议字段中。
可选地,所述智能网络线卡模组利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行处理,包括:
所述智能网络线卡模组利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行加密、缓存、更新私有协议字段,得到处理后的数据包。
可选地,当所述数据包对应的目标网络协议类型无法识别时,所述智能网络线卡模组还用于:
通过所述异构资源一体化调度模组上报Packet_in消息到远程控制器,以由所述远程控制器确定解决方案,并通过所述异构资源一体化调度模组接收所述远程控制器返回的解决方案。
可选地,所述智能网络线卡模组还用于:
根据预设时间段内的流量到达率动态最优化调整各网络协议类型对应的异构资源组合分配比例。
可选地,所述高性能报文交换模组利用与所述目标网络协议类型对应的流水线逻辑中的流表项将所述数据包发送至所述智能网络线卡模组,包括:
所述高性能报文交换模组按照与所述目标网络协议类型对应的流水线逻辑中的流表项规则配置确定系统内部的物理链路传递至智能网络线卡的端口;
基于所述端口将所述数据包发送至所述智能网络线卡模组。
可选地,所述异构资源一体化调度模组基于多核CPU实现。
可选地,所述高性能报文交换模组基于可编程ASIC芯片实现。
可选地,所述智能网络线卡模组基于NetFPGA实现。
借由上述技术方案,本申请公开了一种数据包处理系统,系统包括:异构资源一体化调度模组、高性能报文交换模组和智能网络线卡模组;异构资源一体化调度模组用于在线重构高性能报文交换模组的多个流水线逻辑,并将业务流表拆分为多个流表项,将流表项加载至对应的流水线逻辑,每个流水线逻辑对应一种网络协议类型的数据包处理逻辑;高性能报文交换模组用于接收数据包,确定数据包对应的目标网络协议类型,利用与目标网络协议类型对应的流水线逻辑中的流表项将数据包发送至智能网络线卡模组;智能网络线卡模组用于接收数据包,利用与目标网络协议类型对应的异构资源组合对数据包进行处理,并将处理后的数据包返回高性能报文交换模组,由高性能报文交换模组对处理后的数据包进行转发。该系统能够实现多种网络技术体制并存环境下的协议无关数据包处理。
附图说明
通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1为本申请实施例公开的一种数据包处理系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
接下来,通过下述实施例对本申请提供的数据包处理系统进行介绍。
参照图1,图1为本申请实施例公开的一种数据包处理系统的结构示意图,该系统可以包括:
异构资源一体化调度模组、高性能报文交换模组和智能网络线卡模组;
所述异构资源一体化调度模组用于在线重构所述高性能报文交换模组的多个流水线逻辑,并将业务流表拆分为多个流表项,将所述流表项加载至对应的流水线逻辑,每个流水线逻辑对应一种网络协议类型的数据包处理逻辑;
所述高性能报文交换模组用于接收数据包,确定所述数据包对应的目标网络协议类型,利用与所述目标网络协议类型对应的流水线逻辑中的流表项将所述数据包发送至所述智能网络线卡模组;
所述智能网络线卡模组用于接收所述数据包,利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行处理,并将处理后的数据包返回所述高性能报文交换模组,由所述高性能报文交换模组对所述处理后的数据包进行转发。
本实施例公开了一种数据包处理系统,系统包括:异构资源一体化调度模组、高性能报文交换模组和智能网络线卡模组;异构资源一体化调度模组用于在线重构高性能报文交换模组的多个流水线逻辑,并将业务流表拆分为多个流表项,将流表项加载至对应的流水线逻辑,每个流水线逻辑对应一种网络协议类型的数据包处理逻辑;高性能报文交换模组用于接收数据包,确定数据包对应的目标网络协议类型,利用与目标网络协议类型对应的流水线逻辑中的流表项将数据包发送至智能网络线卡模组;智能网络线卡模组用于接收数据包,利用与目标网络协议类型对应的异构资源组合对数据包进行处理,并将处理后的数据包返回高性能报文交换模组,由高性能报文交换模组对处理后的数据包进行转发。该系统能够实现多种网络技术体制并存环境下的协议无关数据包处理。
在本申请的另一个实施例中,所述高性能报文交换模组还用于:
将所述预设元数据封装在所述数据包的私有协议字段中。
在本申请的另一个实施例中,所述智能网络线卡模组利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行处理,包括:
所述智能网络线卡模组利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行加密、缓存、更新私有协议字段,得到处理后的数据包。
在本申请的另一个实施例中,当所述数据包对应的目标网络协议类型无法识别时,所述智能网络线卡模组还用于:
通过所述异构资源一体化调度模组上报Packet_in消息到远程控制器,以由所述远程控制器确定解决方案,并通过所述异构资源一体化调度模组接收所述远程控制器返回的解决方案。
在本申请的另一个实施例中,所述智能网络线卡模组还用于:
根据预设时间段内的流量到达率动态最优化调整各网络协议类型对应的异构资源组合分配比例。
在本申请的另一个实施例中,所述高性能报文交换模组利用与所述目标网络协议类型对应的流水线逻辑中的流表项将所述数据包发送至所述智能网络线卡模组,包括:
所述高性能报文交换模组按照与所述目标网络协议类型对应的流水线逻辑中的流表项规则配置确定系统内部的物理链路传递至智能网络线卡的端口;
基于所述端口将所述数据包发送至所述智能网络线卡模组。
在本申请的另一个实施例中,所述异构资源一体化调度模组基于多核CPU实现。
需要说明的是,所述异构资源一体化调度模组,基于多核CPU平台运行开放网络操作系统,直接管理所述智能网络线卡模组,通过标准的远程过程调用接口间接管理所述高性能报文交换模组,依照管理员指令构建网络功能流水线配置及配套流表项并加载至适合的硬件平台,同时向上提供统一的系统管理接口,监视各平台组件的运行状态;
进一步地,所述异构资源一体化调度模组将可定义的维度由“匹配+动作”扩展至计算、存储、转发等多个维度,抽象出通用的高级语言表示,为构造和组合数据平面功能提供细粒度的操作原语和交互接口,形成模块化编程特征;
进一步地,所述异构资源一体化调度模组定期监控各硬件平台的表项容量、流量到达率和丢包率,仅仅将命中率高的流表项加载至所述智能网络线卡模组内有限的SRAM资源空间中,剩余大容量表项及系统状态保存在多核CPU平台的DRAM资源中。
在本申请的另一个实施例中,所述高性能报文交换模组基于可编程ASIC芯片实现。
需要说明的是,所述高性能报文交换模组,构建在基于“匹配+转发”流水线模型的可编程ASIC芯片之上,支持通过通用的高级编程语言动态重构流水线处理逻辑,片内SRAM/TCAM资源稀缺但报文转发性能优异;
进一步地,所述可编程ASIC芯片专注于协议无关的报文转发功能,具备可编程的模态识别、协议解析和报文处理等功能,对指定类型的网络协议进行标记以及向后端所述智能网络线卡模组的数据分发,并完成相应的协议报文输入输出功能。
所述指定类型的网络协议均以以太网协议为物理层基础,分别承载多元化垂直行业应用场景,有效避免单一网络标识带来的效能弊端。
在本申请的另一个实施例中,所述智能网络线卡模组基于NetFPGA实现。
需要说明的是,所述智能网络线卡模组,由多个基于NetFPGA的PCIExpress板卡组成,拥有一定容量的板内算力/缓存资源和外接存储资源,支持处理逻辑可编程和复杂网络功能卸载,通过万兆物理链路与所述高性能报文交换模组进行交互。
进一步地,所述智能网络线卡模组的NetFPGA平台在可定义的灵活性方面优于ASIC芯片,支持在原有模板框架上添加新的编译指令和操作原语,能够灵活组合平台资源以执行特定的资源密集型任务,与所述可编程ASIC交换模组之间形成“性能-功能”互补。
最后,还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (9)
1.一种数据包处理系统,其特征在于,所述系统包括:
异构资源一体化调度模组、高性能报文交换模组和智能网络线卡模组;
所述异构资源一体化调度模组用于在线重构所述高性能报文交换模组的多个流水线逻辑,并将业务流表拆分为多个流表项,将所述流表项加载至对应的流水线逻辑,每个流水线逻辑对应一种网络协议类型的数据包处理逻辑;
所述高性能报文交换模组用于接收数据包,确定所述数据包对应的目标网络协议类型,利用与所述目标网络协议类型对应的流水线逻辑中的流表项将所述数据包发送至所述智能网络线卡模组;
所述智能网络线卡模组用于接收所述数据包,利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行处理,并将处理后的数据包返回所述高性能报文交换模组,由所述高性能报文交换模组对所述处理后的数据包进行转发。
2.根据权利要求1所述的系统,其特征在于,所述高性能报文交换模组还用于:
将预设元数据封装在所述数据包的私有协议字段中。
3.根据权利要求2所述的系统,其特征在于,所述智能网络线卡模组利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行处理,包括:
所述智能网络线卡模组利用与所述目标网络协议类型对应的异构资源组合对所述数据包进行加密、缓存、更新私有协议字段,得到处理后的数据包。
4.根据权利要求1所述的系统,其特征在于,当所述数据包对应的目标网络协议类型无法识别时,所述智能网络线卡模组还用于:
通过所述异构资源一体化调度模组上报Packet_in消息到远程控制器,以由所述远程控制器确定解决方案,并通过所述异构资源一体化调度模组接收所述远程控制器返回的解决方案。
5.根据权利要求1所述的系统,其特征在于,所述智能网络线卡模组还用于:
根据预设时间段内的流量到达率动态最优化调整各网络协议类型对应的异构资源组合分配比例。
6.根据权利要求1所述的系统,其特征在于,所述高性能报文交换模组利用与所述目标网络协议类型对应的流水线逻辑中的流表项将所述数据包发送至所述智能网络线卡模组,包括:
所述高性能报文交换模组按照与所述目标网络协议类型对应的流水线逻辑中的流表项规则配置确定系统内部的物理链路传递至智能网络线卡的端口;
基于所述端口将所述数据包发送至所述智能网络线卡模组。
7.根据权利要求1所述的系统,其特征在于,所述异构资源一体化调度模组基于多核CPU实现。
8.根据权利要求1所述的系统,其特征在于,所述高性能报文交换模组基于可编程ASIC芯片实现。
9.根据权利要求1所述的系统,其特征在于,所述智能网络线卡模组基于NetFPGA实现。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210338328.9A CN114710571B (zh) | 2022-04-01 | 2022-04-01 | 数据包处理系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210338328.9A CN114710571B (zh) | 2022-04-01 | 2022-04-01 | 数据包处理系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114710571A CN114710571A (zh) | 2022-07-05 |
CN114710571B true CN114710571B (zh) | 2023-05-23 |
Family
ID=82173416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210338328.9A Active CN114710571B (zh) | 2022-04-01 | 2022-04-01 | 数据包处理系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114710571B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114885047B (zh) * | 2022-07-12 | 2022-10-25 | 之江实验室 | 一种可编程网络的协议解析方法、系统和可读存储介质 |
CN116962220A (zh) * | 2023-09-05 | 2023-10-27 | 之江实验室 | 一种全维可定义智信网络装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8005012B1 (en) * | 2009-01-30 | 2011-08-23 | Juniper Networks, Inc. | Traffic analysis of data flows |
CN102523165A (zh) * | 2011-12-23 | 2012-06-27 | 中山大学 | 一种适用于未来互联网的可编程交换机系统 |
CN105553749A (zh) * | 2016-02-26 | 2016-05-04 | 广东技术师范学院 | 一种基于sdn的icn逻辑拓扑构建方法 |
CN110798345A (zh) * | 2019-10-25 | 2020-02-14 | 华东师范大学 | 一种基于zynq的网络流量监控分析设备 |
CN112491889A (zh) * | 2020-11-27 | 2021-03-12 | 中国人民解放军战略支援部队信息工程大学 | 一种软硬件协同的可编程转发系统、方法及装置 |
CN113839894A (zh) * | 2021-07-28 | 2021-12-24 | 新华三大数据技术有限公司 | 报文处理方法及系统 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9917775B2 (en) * | 2015-12-22 | 2018-03-13 | Mcafee, Llc | Intelligent devices in a software-defined network |
-
2022
- 2022-04-01 CN CN202210338328.9A patent/CN114710571B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8005012B1 (en) * | 2009-01-30 | 2011-08-23 | Juniper Networks, Inc. | Traffic analysis of data flows |
CN102523165A (zh) * | 2011-12-23 | 2012-06-27 | 中山大学 | 一种适用于未来互联网的可编程交换机系统 |
CN105553749A (zh) * | 2016-02-26 | 2016-05-04 | 广东技术师范学院 | 一种基于sdn的icn逻辑拓扑构建方法 |
CN110798345A (zh) * | 2019-10-25 | 2020-02-14 | 华东师范大学 | 一种基于zynq的网络流量监控分析设备 |
CN112491889A (zh) * | 2020-11-27 | 2021-03-12 | 中国人民解放军战略支援部队信息工程大学 | 一种软硬件协同的可编程转发系统、方法及装置 |
CN113839894A (zh) * | 2021-07-28 | 2021-12-24 | 新华三大数据技术有限公司 | 报文处理方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114710571A (zh) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114710571B (zh) | 数据包处理系统 | |
CN109451072A (zh) | 一种基于Kafka的消息缓存系统和方法 | |
CN108809854B (zh) | 一种用于大流量网络处理的可重构芯片架构 | |
Zhang et al. | Toward transcoding as a service: energy-efficient offloading policy for green mobile cloud | |
CN109327509A (zh) | 一种主/从架构的低耦合的分布式流式计算框架 | |
CN108449410A (zh) | 一种云平台中消息管理方法、系统及相关装置 | |
CN109873736A (zh) | 一种微服务监控方法及系统 | |
CN110716744A (zh) | 一种数据流处理方法、系统和计算机可读存储介质 | |
CN108353040A (zh) | 用于分布式分组调度的系统和方法 | |
CN111737329A (zh) | 一种轨道交通统一数据采集平台 | |
CN107172187A (zh) | 一种负载均衡系统和方法 | |
WO2021151312A1 (zh) | 一种确定服务间依赖关系的方法及相关装置 | |
CN103581966A (zh) | 一种智能手机实时监测优化配置方法 | |
US8606908B2 (en) | Wake-up server | |
CN110928694B (zh) | 一种计算机系统 | |
WO2023092415A1 (zh) | 一种消息处理方法及装置 | |
CN111770029B (zh) | 基于RabbitMQ和ActiveMQ的动态队列转发方法、系统及存储介质 | |
US20230133020A1 (en) | Accelerator or accelerated functions as a service using networked processing units | |
CN116684418B (zh) | 基于算力服务网关的算力编排调度方法、算力网络及装置 | |
WO2022120806A1 (zh) | 面向高性能计算多云的分布式消息传递方法及系统 | |
US20090132582A1 (en) | Processor-server hybrid system for processing data | |
CN104052723B (zh) | 信息处理方法、服务器和系统 | |
CN112714146B (zh) | 一种资源调度方法、装置、设备及计算机可读存储介质 | |
CN112099930A (zh) | 一种量子计算机集群分布式队列调度方法 | |
CN110913018A (zh) | 一种分布式调控服务系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |