CN111404776A - 一种开放式硬件实现深度数据过滤分流的系统及方法 - Google Patents

一种开放式硬件实现深度数据过滤分流的系统及方法 Download PDF

Info

Publication number
CN111404776A
CN111404776A CN202010168418.9A CN202010168418A CN111404776A CN 111404776 A CN111404776 A CN 111404776A CN 202010168418 A CN202010168418 A CN 202010168418A CN 111404776 A CN111404776 A CN 111404776A
Authority
CN
China
Prior art keywords
switch
data
processing
intel cpu
distribution processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010168418.9A
Other languages
English (en)
Inventor
杨晶亮
涂明
沈圳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dongsheng Data Co ltd
Original Assignee
Shenzhen Dongsheng Data Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Dongsheng Data Co ltd filed Critical Shenzhen Dongsheng Data Co ltd
Priority to CN202010168418.9A priority Critical patent/CN111404776A/zh
Publication of CN111404776A publication Critical patent/CN111404776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/028—Capturing of monitoring data by filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/90335—Query processing
    • G06F16/90344—Query processing by using string matching techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/74—Address processing for routing
    • H04L45/745—Address table lookup; Address filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Abstract

本发明公开一种开放式硬件实现深度数据过滤分流的系统及方法，该系统包括分发处理交换机，Intel CPU矩阵，汇聚输出交换机；分发处理交换机的数据初始处理输出端与Intel CPU的数据初始处理接收端连接，Intel CPU的数据深度处理输出端与分发处理交换机的数据深度处理接收端连接，分发处理交换机的数据处理结果输出端与汇聚输出交换机的数据处理结果接收端连接；分发处理交换机和汇聚输出交换机均包括可编程交换芯片，Intel CPU矩阵包括若干Intel CPU，且任一Intel CPU分别与分发处理交换机连接。本发明技术方案节省硬件开发成本，大大降低产品的开发周期。

Description

一种开放式硬件实现深度数据过滤分流的系统及方法
技术领域
本发明涉及数据过滤分流技术领域，特别涉及一种开放式硬件实现深度数据过滤分流的系统及方法。
背景技术
在分流器领域，用户需要通过对现网的高速流量进行深度解析和过滤后，将用户需要的数据提取出来后转发给后端服务器进行进一步分析，过滤的方法包括掩码规则，精确规则，字符串规则，以及掩码/精确和字符串复合规则等。输出给用户的时候需要保证同源同宿。当前分流器领域进行报文的高速深度过滤，大部分实现方案为FPGA或者专门NP(网络处理器)。但是，通过NP/FPGA进行报文过滤处理这种方案，需要开发专门的硬件，市场上没有这种方案的开放式的硬件可以采购，这样开发不仅会提高开发成本，还会增加开发时间。
因此，现有技术存在缺陷，需要改进。
发明内容
本发明提出一种开放式硬件实现深度数据过滤分流的系统及方法，旨在节省硬件开发成本，大大降低产品的开发周期。
为实现上述目的，本发明提出的一种开放式硬件实现深度数据过滤分流的系统，包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机，用于进行规则查询及数据报文深度处理的Intel CPU矩阵，用于接收处理后的数据报文并输出的汇聚输出交换机；所述分发处理交换机的数据初始处理输出端与所述Intel CPU的数据初始处理接收端连接，所述Intel CPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接，所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片，所述Intel CPU矩阵包括若干Intel CPU，且任一所述Intel CPU分别与所述分发处理交换机连接。
优选地，所述可编程交换芯片设置为白盒可编程交换芯片硬件。
优选地，所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板。
优选地，所述Intel CPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。
本发明还提出一种开放式硬件实现深度数据过滤分流的方法，其包括如下步骤：
S1：分发处理交换机接收外部数据报文，对数据报文进行解析并查询内部掩码规则；
S2:分发处理交换机将掩码规则查询结果携带进入数据报文，并输出至Intel CPU矩阵中对应的Intel CPU；
S3:Intel CPU对S2中接收的数据报文进行查询精确规则表项、特征码规则，完成规则复合处理，将处理结果携带进入数据报文并发送至分发处理交换机；
S4：分发处理交换机将S3中接收的数据报文发送至汇聚输出交换机；
S5：汇聚输出交换机根据S4中接收的数据报文携带的信息，进行数据报文的复制和负载均衡同源同宿输出；
所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片。
优选地，所述可编程交换芯片设置为白盒可编程交换芯片硬件。
优选地，所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板。
优选地，所述Intel CPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。
与现有技术相比，本发明的有益效果是：节省了硬件开发成本，大大降低产品的开发周期。
本方案主要业务处理采用Intel CPU来处理，通过横向扩展CPU数目可以到达扩展系统处理能力的目的。
通过DPDK报文处理框架以及HyperScan灵活的字符串搜索功能同样也可以完成高速数据过滤功能，而不需要NP/FPGA专门的开发技术。
采用可编程交换芯片来处理掩码规则，不需要额外的NP/FPGA外挂TCAM来实现掩码规则。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明数据过滤分流的系统原理图；
图2为本发明数据过滤分流的方法流程图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
本发明提出一种开放式硬件实现深度数据过滤分流的系统，参考图1，包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机，用于进行规则查询及数据报文深度处理的Intel CPU矩阵，用于接收处理后的数据报文并输出的汇聚输出交换机；所述分发处理交换机的数据初始处理输出端与所述Intel CPU的数据初始处理接收端连接，所述Intel CPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接，所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片，所述Intel CPU矩阵包括若干Intel CPU，且任一所述Intel CPU分别与所述分发处理交换机连接。
应当说明的是，Intel CPU负责精确规则，特征串规则，复合规则等查询以及其他功能处理，通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。可编程交换芯片负责报文输入，将报文分发到IntelCPU,进行掩码规则查找，最后的负载均衡同源同宿输出。
进一步地，所述可编程交换芯片设置为白盒可编程交换芯片硬件。所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板，还可以扩展为多个ATCA机箱。其中，最小形态为在一个1U的盒式设备里面包括可编程芯片和若干个IntelCPU。
进一步地，所述Intel CPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。
该系统在工作时，分发处理交换机接收外部数据报文，对数据报文进行解析并查询内部掩码规则；分发处理交换机将掩码规则查询结果携带进入数据报文，并输出至IntelCPU矩阵中对应的Intel CPU；Intel CPU对接收的数据报文进行查询精确规则表项、特征码规则，完成规则复合处理，将处理结果携带进入数据报文并发送至分发处理交换机；分发处理交换机将接收的数据报文发送至汇聚输出交换机；汇聚输出交换机根据接收的数据报文携带的信息，进行数据报文的复制和负载均衡同源同宿输出。
其中，掩码规则通过控制面的程序统一配置。查询掩码规则并将结果携带到数据报文深度处理去进行规则复合；精确规则表项可以包括IP信息和端口信息，用于与其他规则进行复合，该表项通过控制面的程序统一配置。
特征码规则是指搜索报文中的某些字符串的规则，可以包括字符串的出现位置的范围等信息，用于与其他规则进行复合，也是通过控制面程序同意配置。
本发明还提出一种开放式硬件实现深度数据过滤分流的方法，参考图2，其包括如下步骤：
S1：分发处理交换机接收外部数据报文，对数据报文进行解析并查询内部掩码规则；
S2:分发处理交换机将掩码规则查询结果携带进入数据报文，并输出至Intel CPU矩阵中对应的Intel CPU；
S3:Intel CPU对S2中接收的数据报文进行查询精确规则表项、特征码规则，完成规则复合处理，将处理结果携带进入数据报文并发送至分发处理交换机；
S4：分发处理交换机将S3中接收的数据报文发送至汇聚输出交换机；
S5：汇聚输出交换机根据S4中接收的数据报文携带的信息，进行数据报文的复制和负载均衡同源同宿输出；
所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片。应当说明的是，Intel CPU负责精确规则，特征串规则，复合规则等查询以及其他功能处理，通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。可编程交换芯片负责报文输入，将报文分发到IntelCPU,进行掩码规则查找，最后的负载均衡同源同宿输出。
进一步地，掩码规则通过控制面的程序统一配置。查询掩码规则并将结果携带到数据报文深度处理去进行规则复合；精确规则表项可以包括IP信息和端口信息，用于与其他规则进行复合，该表项通过控制面的程序统一配置。特征码规则是指搜索报文中的某些字符串的规则，可以包括字符串的出现位置的范围等信息，用于与其他规则进行复合，也是通过控制面程序同意配置。
进一步地，所述可编程交换芯片设置为白盒可编程交换芯片硬件。所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板，还可以扩展为多个ATCA机箱。其中，最小形态为在一个1U的盒式设备里面包括可编程芯片和若干个IntelCPU。
进一步地，所述Intel CPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。

Claims (8)

1.一种开放式硬件实现深度数据过滤分流的系统，其特征在于，包括用于接收数据报文并对数据报文进行分发处理的分发处理交换机，用于进行规则查询及数据报文深度处理的Intel CPU矩阵，用于接收处理后的数据报文并输出的汇聚输出交换机；所述分发处理交换机的数据初始处理输出端与所述Intel CPU的数据初始处理接收端连接，所述Intel CPU的数据深度处理输出端与所述分发处理交换机的数据深度处理接收端连接，所述分发处理交换机的数据处理结果输出端与所述汇聚输出交换机的数据处理结果接收端连接；所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片，所述Intel CPU矩阵包括若干Intel CPU，且任一所述Intel CPU分别与所述分发处理交换机连接。
2.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统，其特征在于，所述可编程交换芯片设置为白盒可编程交换芯片硬件。
3.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统，其特征在于，所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板。
4.如权利要求1所述的开放式硬件实现深度数据过滤分流的系统，其特征在于，所述Intel CPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。
5.一种开放式硬件实现深度数据过滤分流的方法，其特征在于，包括如下步骤：
S1：分发处理交换机接收外部数据报文，对数据报文进行解析并查询内部掩码规则；
S2:分发处理交换机将掩码规则查询结果携带进入数据报文，并输出至Intel CPU矩阵中对应的Intel CPU；
S3:Intel CPU对S2中接收的数据报文进行查询精确规则表项、特征码规则，完成规则复合处理，将处理结果携带进入数据报文并发送至分发处理交换机；
S4：分发处理交换机将S3中接收的数据报文发送至汇聚输出交换机；
S5：汇聚输出交换机根据S4中接收的数据报文携带的信息，进行数据报文的复制和负载均衡同源同宿输出；
所述分发处理交换机和所述汇聚输出交换机均包括可编程交换芯片。
6.如权利要求5所述的开放式硬件实现深度数据过滤分流的方法，其特征在于，所述可编程交换芯片设置为白盒可编程交换芯片硬件。
7.如权利要求5所述的开放式硬件实现深度数据过滤分流的方法，其特征在于，所述Intel CPU矩阵设置为多台标准服务器硬件或ATCA机箱上的多块Intel CPU处理板。
8.如权利要求5所述的开放式硬件实现深度数据过滤分流的方法，其特征在于，所述Intel CPU通过DPDK完成数据高速的收发，通过HyperScan完成字符串的查找。
CN202010168418.9A 2020-03-11 2020-03-11 一种开放式硬件实现深度数据过滤分流的系统及方法 Pending CN111404776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010168418.9A CN111404776A (zh) 2020-03-11 2020-03-11 一种开放式硬件实现深度数据过滤分流的系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010168418.9A CN111404776A (zh) 2020-03-11 2020-03-11 一种开放式硬件实现深度数据过滤分流的系统及方法

Publications (1)

Publication Number Publication Date
CN111404776A true CN111404776A (zh) 2020-07-10

Family

ID=71432354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010168418.9A Pending CN111404776A (zh) 2020-03-11 2020-03-11 一种开放式硬件实现深度数据过滤分流的系统及方法

Country Status (1)

Country Link
CN (1) CN111404776A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637090A (zh) * 2020-12-30 2021-04-09 上海欣诺通信技术股份有限公司 一种基于可编程交换芯片的动态多级流控的方法
CN114338851A (zh) * 2021-12-29 2022-04-12 武汉绿色网络信息服务有限责任公司 一种基于隧道报文的匹配方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103368872A (zh) * 2013-07-24 2013-10-23 广东睿江科技有限公司 数据包转发系统和方法
CN103560951A (zh) * 2013-11-13 2014-02-05 华为技术有限公司 报文处理方法及物理转发设备
CN103986658A (zh) * 2014-05-14 2014-08-13 北京锐安科技有限公司 一种报文输出方法及装置
CN105516008A (zh) * 2015-12-04 2016-04-20 北京锐安科技有限公司 数据分流设备及其多用户处理的实现方法
CN106209506A (zh) * 2016-06-30 2016-12-07 瑞斯康达科技发展股份有限公司 一种虚拟化深度包检测流量分析方法及系统
CN108632165A (zh) * 2018-04-23 2018-10-09 新华三技术有限公司 一种报文处理方法、装置及设备
CN109672589A (zh) * 2018-12-29 2019-04-23 江苏博智软件科技股份有限公司 一种基于dpi的数据报文深度识别的实现方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103368872A (zh) * 2013-07-24 2013-10-23 广东睿江科技有限公司 数据包转发系统和方法
CN103560951A (zh) * 2013-11-13 2014-02-05 华为技术有限公司 报文处理方法及物理转发设备
CN103986658A (zh) * 2014-05-14 2014-08-13 北京锐安科技有限公司 一种报文输出方法及装置
CN105516008A (zh) * 2015-12-04 2016-04-20 北京锐安科技有限公司 数据分流设备及其多用户处理的实现方法
CN106209506A (zh) * 2016-06-30 2016-12-07 瑞斯康达科技发展股份有限公司 一种虚拟化深度包检测流量分析方法及系统
CN108632165A (zh) * 2018-04-23 2018-10-09 新华三技术有限公司 一种报文处理方法、装置及设备
CN109672589A (zh) * 2018-12-29 2019-04-23 江苏博智软件科技股份有限公司 一种基于dpi的数据报文深度识别的实现方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵旭涛: "Intel DPDK 和 Hyperscan 的网络防御系统", 《网络与信息工程》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637090A (zh) * 2020-12-30 2021-04-09 上海欣诺通信技术股份有限公司 一种基于可编程交换芯片的动态多级流控的方法
CN114338851A (zh) * 2021-12-29 2022-04-12 武汉绿色网络信息服务有限责任公司 一种基于隧道报文的匹配方法和装置

Similar Documents

Publication Publication Date Title
CN106156088B (zh) 一种索引数据处理方法、数据查询方法及装置
CN107181806B (zh) 一种基于dubbo的分布式业务处理系统及方法
CN111404776A (zh) 一种开放式硬件实现深度数据过滤分流的系统及方法
CN102111331B (zh) 一种基于hash表实现的带掩码五元组规则的匹配方法
EP2604006A1 (en) Method and apparatus for packet processing and a preprocessor
CN104166738A (zh) 数据库查询处理的方法及装置
CN102915344B (zh) 一种sql语句处理方法及装置
CN106170956A (zh) 一种路由方法和设备
CN105591914A (zh) 一种openflow流表的查表方法和装置
CN105912679A (zh) 一种数据查询的方法和装置
US20160156724A1 (en) Method, apparatus, and system for determining target user for service policy
CN115495473A (zh) 数据库查询方法、装置、电子设备和存储介质
CN111163060B (zh) 一种基于应用组的转发方法、设备以及系统
CN115484233B (zh) 数通芯片中链路聚合报文的转发方法、装置、设备及介质
CN105634999B (zh) 一种介质访问控制地址的老化方法及装置
CN108377205A (zh) 优化nfv数据转发性能的系统及其方法
EP3993366B1 (en) Network load balancer, request message distribution method, program product and system
CN112948246B (zh) 数据平台的ab测试控制方法、装置、设备及存储介质
CN108337311A (zh) 一种面向服务的应用程序集中调配的方法和系统
CN115292356A (zh) 数据查询方法、装置及电子设备
CN114449031B (zh) 信息获取方法、装置、设备和存储介质
CN111625701B (zh) 搜索方法、装置、服务器及存储介质
CN116599892B (zh) 一种服务器系统、路由方法、装置及电子设备和存储介质
CN104298724A (zh) 一种大数据报表预存储计算方法
US20240054132A1 (en) Computer system and query processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200710