CN103368777B - 一种数据包处理板及处理方法 - Google Patents

Abstract

本发明提供了一种数据包处理板及处理方法，通过数据包处理板上采用FPGA作为主处理单元以负责数据接收、报文信息提取、TCAM预查找和DPI，并搭配XLP芯片作为协处理单元负责具体报文信息规则查找、流量采样、负载均衡控制及相关系统管理工作，将FPGA的数据处理优势与XLP芯片的中断控制及系统管理优势进行结合，有效地解决了现有双NP数据包处理板存在的问题。

Description

一种数据包处理板及处理方法

技术领域

本发明涉及一种数据包处理板及处理方法。

背景技术

目前以REDSYS为代表的双NP（Network Processor，网络处理器）方案的数据包处理板能够支持40G流量的数据处理速度。双NP方案，即在一块板子上有两个完全独立的NP每个负责20G的流量处理任务。

上述的双NP方案会存在两个NP的负载不均衡，例如一个NP收到的数据流量为25G，NP的处理量已经大大超过其处理能力，而另一个NP收到的数据流量仅为5G，没有合理利用NP的处理能力，一个NP超负荷工作，一个NP没有被分配合理的工作量，存在明显的负载不均，严重限制了数据包处理板的处理效率。若加入动态的负载均衡处理又会产生额外的开销，且双NP方案很难在板子上直接接入40G的流量，需要额外的预处理板或接口板，在机箱槽位有限的情况下，降低了整个系统的计算密度。此外，有些算法会增加NP访问内存的压力，不适合采用NP实现。

发明内容

为了解决上述问题，本发明提供了一种数据包处理板，至少包括：FPGA主处理单元、协处理单元、交换单元、POS子卡接口单元、CPB接口单元和RTM接口单元，其中，

FPGA主处理单元与POS子卡接口单元相连接，通过Interlaken总线与协处理单元相连接，通过GE或10GE总线与交换单元相连接，FPGA主处理单元用于接收数据、提取报文信息、报文信息预查找、指示协处理单元进行报文信息详细规则查找和指示交换单元进行数据重定向；

协处理单元通过PCIE总线与FPGA主处理单元、交换单元和POS子卡接口单元连接，以对FPGA主处理单元、交换单元和与POS子卡接口单元相连接的POS子卡上的成帧器进行驱动，经过交换单元与CPB接口单元进行连接，协处理单元用于进行报文信息详细规则查找、流量采集、负载均衡管理；

交换单元通过GE或10GE总线与协处理单元、CPB接口单元和FPGA主处理单元、RTM接口单元相连接，交换单元用于从CPB接口单元接收规则数据转发给协处理单元，接收FPGA主处理单元的数据及配置信息，并依据配置信息将数据发送至RTM接口单元；

POS子卡接口单元用于与POS子卡相连；

CPB接口单元用于与CPB相连；

RTM接口单元用于与RTM连接。

另一方面，本发明还提供了一种利用数据包处理板的数据包处理方法，包括：

FPGA主处理单元通过POS子卡接口单元从POS子卡读取数据并提取报文信息；

FPGA主处理单元通过TCAM进行报文信息的规则预查找，将预查找结果发送给协处理单元，并指示协处理单元进行报文信息的详细规则查找；

协处理单元进行报文信息详细规则查找，并将查找结果反馈给FPGA主处理单元；

FPGA主处理单元依据协处理的报文信息详细规则查找结果，向交换单元发送数据、转发表及数据重定向指示信息；

交换单元根据数据重定向信息，将收到的数据发送到RTM接口单元，由RTM单元将数据发送到重定向的相应接口。

本发明通过数据包处理板上采用FPGA作为主处理单元以负责数据接收、报文信息提取、TCAM（Ternary Content Addressable Memory，三态内容寻址存储器）预查找、DPI（Deep Packet Inspection），搭配XLP（eXtrem Low Power，极低功耗）芯片作为协处理单元负责具体报文信息规则查找、流量采样、负载均衡控制及相关系统管理工作，将FPGA的数据处理优势与XLP芯片的中断控制及系统管理优势进行结合，有效地解决了现有双NP数据包处理板存在的问题。

附图说明

图1为根据本发明的数据包处理板的示意图；

图2为根据本发明的数据包处理板的电路示意图；

图3为利用根据本发明的数据包处理板的数据包处理方法的流程图。

具体实施方式

如图1所示，本发明提供了一种数据包处理板，包括：FPGA（Field-Programmable Gate Array，现场可编程门阵列）主处理单元、协处理单元、交换单元、POS（Package over SDH，利用SDH骨干网传输IP包的中间协议层）子卡接口单元、CPB（Control Processing Board，控制处理板）接口单元、RTM（Rear Transition Module，后端转换模块）接口单元、QDR（Quad DataRate，4倍速率SRAM）、TCAM（Ternary Content Addressable Memory，三态内容寻址存储器）和DDR3，其中，FPGA主处理单元与POS子卡接口单元相连接，通过Interlaken总线与协处理单元相连接，通过GE或10GE总线与交换单元相连接，FPGA主处理单元用于接收数据、提取报文信息、报文信息预查找、指示协处理单元进行报文信息详细规则查找和指示交换单元进行数据重定向；协处理单元通过PCIE总线与FPGA主处理单元、交换单元和POS子卡接口单元连接，以对FPGA主处理单元、交换单元和与POS子卡接口单元相连接的POS子卡上的成帧器进行驱动，经过交换单元与CPB接口单元进行连接，协处理单元用于进行报文信息详细规则查找、流量采集、负载均衡管理；交换单元通过GE或10GE总线与协处理单元、CPB接口单元和FPGA主处理单元、RTM接口单元相连接，交换单元用于从CPB接口单元接收规则数据转发给协处理单元，接收FPGA主处理单元的数据及配置信息，并依据配置信息将数据发送至RTM接口单元；POS子卡接口单元用于与POS子卡相连；CPB接口单元用于与CPB相连；RTM接口单元用于与RTM连接。TCAM与FPGA主处理单元相连，用于报文信息规则预查找；QDR与FPGA主处理单元相连，用于存储FPGA主处理单元读取的报文数据；DDR3与协处理单元相连，用于存储报文的详细规则数据。

在数据包处理板中，为了满足数据包读取的速度和DPI（Deep PacketInspection，深度包解析）的需求，选用了FPGA作为主处理单元，前面板接入的经POS成帧器解析后的数据首先进入FPGA，由FPGA进行数据的报文提取并将报文信息缓存到QDR中、通过TCAM预查找报文信息规则、进行DPI处理和重定向回流传输等适合硬件执行的处理，由XLP通过DDR3查找报文信息的详细规则、进行流量采样和负载均衡计算等复杂的适合软件执行的处理。FPGA对收到的每个报文信息，提取出报文信息的五元组信息（传输层协议、源ip、目的ip、传输层源端口、传输层目的端口），指示协处理单元到详细规则数据表中查找，根据查找到的规则，决定转发给哪些服务器继续分析，还是阻断或继续传输该报文。

在硬件结构中，FPGA成为数据包的调度中心，起到了主芯片的作用，XLP作为FPGA的协处理器使用。FPGA有4个XFI（万兆光模块接口标准）接口连接到前面板的四个XFP光模块上（XFI和XFP的个数可以根据实际需要设定），用以接收输入的4*10G流量（可以是万兆以太或者10GPOS），此外FPGA通过一个25G的IL总线连接到POS子卡上，子卡上面有POS的成帧器可以提供2*10G的POS数据输出，这里POS成帧器主要用于对数据包进行协议解析后，通过POS子卡接口单元输出给FPGA。

为了提高系统吞吐量，FPGA连接了两个TCAM用来预查找规则，由于一片TCAM的容量不够，采用了串接的方式连接，两个TCAM之间用一个60G的IL总线连接。FGPA上还连接了4个QDR芯片每个72Mb，用来在XLP进行报文信息的详细规则查找的时候缓存数据流。FPGA有一组40G带宽的IL信号连接到XLP，用于自定义协处理消息的通信，指示XLP完成相应报文信息详细规则查找，并接收XLP返回的报文信息详细规则的查找结果。FPGA查找和FPGA连接的TCAM芯片，TCAM中存储报文信息的规则预测数据，可以快速预测报文在DDR3中的规则命中情况，通过Interlaken接口把报文头信息和预测情况发送给XLP，由XLP查询DDR3内存中保存的报文信息的详细规则数据表，在这个过程中报文的原始数据保存在QDR缓存中。XLP根据报文信息的五元组信息查找详细规则表，是整个系统的核心工作，在XLP的多个CPU核心中（例如XLP中有32个CPU），0号作为管理CPU，其他的CPU（1号至31号）进行报文信息的详细规则查找，XLP接收到从FPGA传来的报文信息的五元组信息后，由微引擎（Micro Engine）把五元组信息分发给负责报文信息详细规则查找的多个CPU。查找CPU在DDR3中完成报文信息的详细规则查找以后将结果反馈给0号CPU并统一发送给FPGA。

FPGA根据规则匹配结果确定应该对报文执行的动作，转发或者丢弃报文。转发报文有可能有两个方向RTM上的下行端口或者CPB接口的板间均衡，FPGA基于报文信息详细规则的查找结果在报文信息的保留字段上增加一个标记作为数据重定向指示信息，统一发给交换芯片，交换芯片根据转发表和报文上的标记决定从哪个口进行数据的转发。若对某一数据包的报文信息查找到详细规则，则由交换芯片将该数据包发送至相应端口；若没有查找的其报文信息的规则，则丢弃该数据包。

FPGA还有8个万兆以太网连接到交换芯片（交换芯片也可以采用BCM56842或其他满足数据、信令交换功能的芯片）上，可以提供80G的下行数据带宽进行数据转发，同时将转发规则发送给交换芯片。如果查找命中了会通过这8个口按照设定好的规则进行转发，如果未命中则会将包丢弃，未命中，即报文信息的规则查找中，没有找到任何规则。

FPGA主处理单元还用于通过Jtag连接到前面板，以便对FPGA主处理单元的测试或调试。

XLP作为数据处理的协处理器以及系统管理的主处理器。数据部分，XLP连接了四条DDR3内存（DDR3内存的单个容量及数量可以根据实际需要选取）以保存报文信息的详细规则数据，当FPGA发来查找消息以后，XLP在DDR3中进行报文信息详细规则的查找。管理部分，由于交换芯片需要一个控制芯片来进行本地管理，XLP中设有交换芯片的驱动，XLP通过pcie连接到交换芯片。为提高系统业务处理性能，CPB和XLP之间的规则数据的管理消息报文，走10GE的fabric总线经过交换芯片进行交换，GE交换专门用来做数据处理无关的管理信息，主要是硬件管理，因此XLP需要有10GE和GE连接到交换芯片上。FPGA主处理单元的规则下载及管理需要通过XLP的pcie接口进行，因此XLP需要有pcie连接到FPGA主处理单元。XLP还控制、驱动POS子卡上的成帧器，当系统需要输出2*10GPOS的时候需要通过这个总线加载成帧器的固件。XLP的网口和串口通过GE总线或RS232接口引出到前面板，方便系统调试。

交换芯片主要作为系统的网络桥梁，除了跟FPGA主处理单元、XLP连接的网口以外，还有8*10GE的网络连到CPB接口单元上，用来传输从CPB传过来的规则数据至XLP，或将XLP发送的流量采样或负载均衡请求传输给CPB，以及实现跨板数据包的负载均衡处理命令的传输。交换芯片通过24*10GE网络连接到RTM接口单元上，通过一个RTM实现24个下行的万兆接口，将FPGA发送过来的数据按照转发表的配置及数据重定向指示信息发送到相应的接口上去。

上述总线的选择仅作为一个实施例中的具体举例，不代表对总线的具体限定。

另一方面，如图3所示，本发明提供了一种利用数据包处理板的数据包处理方法，其包括如下步骤：

S301：FPGA主处理单元通过POS子卡接口单元从POS子卡读取数据并提取报文信息；

S302：FPGA主处理单元通过TCAM进行报文信息的规则预查找，将预查找结果发送给协处理单元，并指示协处理单元进行报文信息的详细规则查找；

S303：协处理单元进行报文信息详细规则查找，并将查找结果反馈给FPGA主处理单元；

S304：FPGA主处理单元依据协处理的报文信息详细规则查找结果，向交换单元发送数据、转发表及数据重定向指示信息；

S305：交换单元根据数据重定向信息，将收到的数据发送到RTM接口单元，由RTM单元将数据发送到重定向的相应接口。

在S301之前，POS子卡上的POS成帧器要对数据进行协议解析。协处理单元通过PCIE总线驱动交换单元、FPGA主处理单元和与POS子卡接口单元相连的POS子卡上的成帧器。

在S301中，FPGA主处理单元从POS子卡接口单元读取经POS子卡的POS成帧器解析后的数据，并提取所述数据的报文信息，FPGA提取报文信息的五元组信息，即：传输层协议、源ip、目的ip、传输层源端口、传输层目的端口，FPGA主处理单元会将提取的报文信息存储在QDR中。

在S302中，FPGA主处理单元根据提取的报文信息在TCAM中预查找报文信息的规则，将TCAM对报文信息的预查找结果发送给协处理单元，并指示协处理单元依据报文信息的预查找结果进行报文信息的详细规则查找。

在FPGA主处理单元在TCAM中进行报文信息规则预查找前，由协处理单元通过FPGA主处理单元对TCAM的预查找规则进行配置。

在S303中，DDR3中存储了报文信息的详细规则数据，协处理单元有多个CPU核心中（例如协处理单元中有32个CPU），0号作为管理CPU，其他的CPU（1号至31号）进行报文信息的详细规则查找，协处理单元接收到FPGA传来的报文信息的五元组信息后，由管理CPU把五元组信息分发给负责报文信息详细规则查找的多个CPU。负责报文信息详细规则查找的CPU在DDR3中完成报文信息的详细规则查找以后将结果反馈给0号CPU并统一发送给FPGA。

若此时协处理单元接收到的报文信息详细规则查找的处理量超过预设值时，协处理单元经交换芯片向CPB接口发送数据处理负载均衡请求，将本数据包处理板无法及时处理的数据转发至其他数据包处理板；或者在本数据包处理板负载没有满负荷时，接收CPB的负责均衡处理结果，接收其他数据包处理板转发来需要处理的数据。

当协处理单元采样到用户通过CPB预设的规则时，通过交换芯片发送至CPB接口单元，供用户分析。

在S304中，FPGA主处理单元接收协处理单元反馈的报文信息详细规则查找结果后，对在报文的保留位上进行标记作为所述数据重定向指示信息，并将所述数据、转发表和数据重定向指示信息发送给交换单元。这里，FPGA主处理单元在将数据发送至交换单元前，根据协处理器反馈的报文信息详细规则查找的结果对数据进行处理，具体包括：报文信息详细规则查找命中，指示交换单元将数据分发到命中的相应接口；报文信息详细规则查找没有命中，则将所述的数据丢弃。

在S305中，交换单元依据FPGA主处理单元发送的转发表和所述数据重定向指示信息对所述的数据转发RTM单元中相应的接口中，进行后续的数据处理。这里还包括，FPGA根据协处理单元的数据负载均衡指令，将超过本数据包处理板处理能力的数据经交换单元转发至其他的数据包处理板进行处理。

FPGA主处理单元通过Jtag连接到前面板，以便对FPGA主处理单元的测试或调试。

另外，所述的协处理单元通过GE、RS232与前面板调试网口和串口相连，以便调试或测试。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制。尽管参照上述实施例对本发明进行了详细的说明，所述领域的普通技术人员应该理解，可以对本发明的具体实施例方式进行修改或等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，均涵盖在本发明的权利要求范围中。

Claims (22)

1.一种数据包处理板，至少包括：FPGA主处理单元、协处理单元、交换单元、利用SDH骨干网传输IP包的中间协议层POS子卡接口单元、控制处理板CPB接口单元和后端转换模块RTM接口单元，其中，

FPGA主处理单元与POS子卡接口单元相连接，通过Interlaken总线与协处理单元相连接，通过GE或10GE总线与交换单元相连接，FPGA主处理单元用于接收数据、提取报文信息、报文信息预查找、指示协处理单元进行报文信息详细规则查找和根据协处理单元反馈的报文信息详细查找结果指示交换单元进行数据重定向；

协处理单元通过PCIE总线与FPGA主处理单元、交换单元和POS子卡接口单元连接，以对FPGA主处理单元、交换单元和与POS子卡接口单元相连接的POS子卡上的成帧器进行驱动，经过交换单元与CPB接口单元进行连接，协处理单元用于进行报文信息详细规则查找、流量采集、负载均衡管理；

交换单元通过GE或10GE总线与协处理单元、CPB接口单元和FPGA主处理单元、RTM接口单元相连接，交换单元用于从CPB接口单元接收规则数据转发给协处理单元，接收FPGA主处理单元的数据及配置信息，并依据配置信息将数据发送至RTM接口单元；

POS子卡接口单元用于与POS子卡相连；

CPB接口单元用于与CPB相连；

RTM接口单元用于与RTM连接。

2.如权利要求1所述的数据包处理板，其特征在于，还包括用于报文信息规则预查找的三态内容寻址存储器TCAM，TCAM与FPGA主处理单元相连。

3.如权利要求1或2所述的数据包处理板，其特征在于，还包括用于存储FPGA主处理单元读取的报文信息的四倍数据速率同步动态随机存储器QDR，QDR与FPGA主处理单元相连。

4.如权利要求1所述的数据包处理板，其特征在于，还包括用于存储报文信息的详细规则数据的第三代双倍速率同步动态随机存储器DDR3，DDR3与协处理单元相连。

5.如权利要求2所述的数据包处理板，其特征在于，FPGA主处理单元与两个TCAM相连接，两个TCAM之间通过Interlaken总线相连接。

6.如权利要求1所述的数据包处理板，其特征在于，所述的FPGA主处理单元还用于对发送给交换单元的报文信息中增加标记作为数据重定向指示信息。

7.如权利要求1或6所述的数据包处理板，其特征在于，FPGA主处理单元在将数据发送至交换单元前，根据协处理器反馈的报文信息详细规则查找的结果对数据进行处理，具体包括：

当报文信息详细规则查找命中时，FPGA主处理单元用于指示交换单元将数据分发到命中的相应接口；

当报文信息详细规则查找没有命中时，FPGA用于将所述的数据丢弃。

8.如权利要求1所述的数据包处理板，其特征在于，所述的协处理单元与交换单元间通过10GE和GE连接，其中，

10GE用于传输流量采样和负载均衡信息；

GE用于传输控制信息。

9.如权利要求1所述的数据包处理板，其特征在于，所述的协处理单元包括多个处理模块，其中一个处理模块用于系统管理，其余的处理模块用于报文信息规则查找并将查找结果反馈给负责系统管理的处理模块。

10.如权利要求1所述的数据包处理板，其特征在于，协处理单元还用于配置TCAM中的预查找规则。

11.如权利要求1所述的数据包处理板，其特征在于，所述的协处理单元还用于通过GE、RS232与前面板调试网口和串口相连。

12.一种利用权利要求1-11任一所述的数据包处理板的数据包处理方法，包括：

FPGA主处理单元通过POS子卡接口单元从POS子卡读取数据并提取报文信息；

FPGA主处理单元通过TCAM进行报文信息的规则预查找，将预查找结果发送给协处理单元，并指示协处理单元进行报文信息的详细规则查找；

协处理单元进行报文信息详细规则查找，并将查找结果反馈给FPGA主处理单元；

FPGA主处理单元依据协处理单元反馈的报文信息详细规则查找结果，向交换单元发送数据、转发表及数据重定向指示信息；

交换单元根据数据重定向信息，将收到的数据发送到RTM接口单元，由RTM单元将数据发送到重定向的相应接口。

13.如权利要求12所述的数据包处理方法，其特征在于，FPGA主处理单元通过POS子卡接口单元从POS子卡读取的数据之前，所述数据经过POS成帧器解析。

14.如权利要求12所述的数据包处理方法，其特征在于，CPB接口单元与协处理单元经交换单元传输规则数据和负载均衡信息。

15.如权利要求12或14所述的数据包处理方法，其特征在于，所述的协处理单元查找到预设规则时，经由交换单元将报文信息发送给CPB接口单元。

16.如权利要求12或14所述的数据包处理方法，其特征在于，当协处理单元采集到的数据量大于预设值时，向CPB发送负载均衡处理请求。

17.如权利要求12所述的数据包处理方法，其特征在于，所述的协处理单元通过PCIE总线驱动交换单元、FPGA主处理单元和POS成帧器。

18.如权利要求12所述的数据包处理方法，其特征在于，FPGA主处理单元在将数据发送至交换单元前，根据协处理器反馈的报文信息详细规则查找的结果对数据进行处理，具体包括：

报文信息详细规则查找命中，指示交换单元将数据分发到命中的相应接口；

报文信息详细规则查找没有命中，则将所述的数据丢弃。

19.如权利要求12所述的数据包处理方法，其特征在于，FPGA主处理单元进行TCAM预查找前，由协处理单元配置TCAM中的预查找规则。

20.如权利要求12所述的数据包处理方法，其特征在于，所述的协处理单元通过GE、RS232与前面板调试网口和串口相连。

21.如权利要求12或18所述的数据包处理方法，其特征在于，所述的FPGA主处理单元对发送给交换单元的报文信息中增加标记作为数据重定向指示信息，交换单元依据所述的标记和转发表进行数据的分发。

22.如权利要求12所述的数据包处理方法，其特征在于，所述的协处理单元包括多个处理模块，其中一个处理模块进行系统管理，其余的处理模块进行报文信息规则查找并将查找结果反馈给负责系统管理的处理模块。