CN101296189A - 分布式流处理网络设备以及其中的报文传输方法 - Google Patents

Abstract

本发明公开了一种分布式流处理网络设备中的报文传输方法，该分布式流处理网络设备包括：主控板、交换网单元和业务板，所述主控板和业务板均包括：网络处理单元和交换网接口单元，该方法包括：交换网接口单元接收到来自网络处理单元的第一业务报文时，为第一业务报文添加交换头信息，将第一业务报文发送给交换网单元；交换网接口单元接收到来自交换网单元的第二业务报文时，剥离第二报文的交换头信息，将第二业务报文发送给网络处理单元。本发明还公开了一种分布式流处理网络设备和一种交换网接口装置。本发明的技术方案能够减轻网络处理单元的负担，缓解网络处理单元上的缓存带宽压力，提高网络处理单元和交换网接口单元之间的数据传输效率。

Description

分布式流处理网络设备以及其中的报文传输方法

技术领域

本发明涉及通信网络技术领域，尤指一种分布式流处理网络设备中的报文传输方法、一种分布式流处理网络设备和一种交换网接口装置。

背景技术

随着网络技术的发展，基于网络处理器芯片和采用流处理方式的网络设备正得到越来越大规模的使用。但是随着网络传输带宽的不断提高(从10Mbps逐步增大到现在的10Gbps)，基于流处理方式的网络设备的性能在整个网络中的瓶颈影响逐步显现出来。为了提升性能，基于流处理方式的网络设备大多采用分布式的流处理方法。分布式流处理网络设备的一个重要特点是：同一条业务流的正反两个方向的流以及其他相关的流都要由同一个业务板上的网络处理单元进行处理。

图1是现有技术中的分布式流处理网络设备的组成结构示意图。如图1所示，分布式流处理网络设备主要由一个主控板和多个业务板构成，主控板通过交换网单元与各业务板进行通信。其中，主控板由多个接口预处理部分组成，每个接口预处理部分包括：线路接口单元、网络处理单元和交换网接口单元；每个业务板包括：交换网接口单元、网络处理单元和多核处理器。其中，主控板上的网络处理单元和业务板上的网络处理单元一般都采用网络处理器芯片实现，但主控板上网络处理单元主要用于对进入网络设备的业务流进行分类，以保证同一业务的流以及其相关的流都由同一业务板上网络处理单元进行处理，因此主控板上的网络处理单元又称为预处理单元；而业务板上的网络处理单元主要用于对于业务流进行与业务相关的处理，又称为流处理单元。

此外，在图1中还示意性地给出了一条业务流进入网络设备并经过处理后流出网络设备的路径，其中，用实线箭头表示该业务流从线路接口单元A流进网络设备直至业务板1的多核处理器1的路径，用虚线箭头表示该业务流从业务板1的多核处理器1直至线路接口单元B流出网络设备的路径。

从图1可以看出，在这种分布式流处理网络设备中，各网络处理单元之间需要进行业务流的传递，为了保证流处理的连贯性，需要随业务报文传递一些额外信息，如前级网络处理单元的处理结果等，这对各网络处理单元之间的接口带宽和性能提出了更高的要求。例如，如果需要达到双向10Gbps的流处理能力，那么各网络处理单元之间的接口带宽在双向都必须大于10Gbps，以便传送额外的信息。此外，各网络处理单元上数据流经的缓存接口带宽，如内存等，也都需要能够满足要求，以避免成为系统的瓶颈。

在图1中，实现报文交换功能的交换网单元是根据报文携带的交换头(Header)来实现报文交换的，而报文携带的交换头是由前一级的网络处理单元填写好后通过交换网接口单元发送给交换网单元的，其中交换网接口单元负责完成硬件接口的协议转换以及流量控制等功能，对报文格式或内容不做任何修改，交换网单元根据报文的交换头将报文发送到下一级网络处理单元时，该下一级网络处理单元必须先扔掉这个交换头后才能进行数据处理。以图1中所示意的业务流为例：当业务报文流经网络处理单元A时，网络处理单元A为业务报文添加交换头；当业务报文经过交换网接口单元A到达交换网单元时，交换网单元根据业务报文的交换头将业务报文转发到业务板1的交换网接口单元1；交换网接口单元1将该业务报文转发到网络处理单元1时，网络处理单元1先剥离交换头，然后进行处理后发送到多核处理器1；同样，当网络处理单元1从多核处理器1接收到业务报文并进行处理后为该业务报文添加报文交换头，交换网单元根据报文交换头将业务报文转发到交换网接口单元B，网络处理单元B接收到来自交换网接口单元B的业务报文时，先剥离报文交换头，然后进行处理，处理后的业务报文通过线路接口单元B发送出去。

从上述描述可见，在现有方案中，网络处理单元和交换网接口单元之间传输的业务报文是带有交换头的，由网络处理单元来完成添加和剥离交换头的工作。这种方案导致了如下的缺点：

1、由于网络处理单元需要频繁地进行添加和剥离报文交换头的工作，因此增加了网络处理器的负担。

2、增加了网络处理单元上的缓存带宽的压力。例如，实现网络处理单元所最常用的网络处理器芯片，采用芯片内部的缓存链表来缓存报文，每块缓存为512K字节大小，且每块缓存为报文预留了64K字节的空间用于存放报文处理后所需要携带的额外信息。如果交换头由网络处理单元来组装的话，则必须使用这64K字节的空间。当交换头和其他的额外信息超过了64K字节时，网络处理单元需要借助外部缓存来存储报文的额外信息。这增大了网络处理单元上的内外缓存的压力。同时，也增加了网络处理单元的处理步骤，使网络处理单元的性能大打折扣。

3、由于网络处理单元和交换网接口单元之间传输需要传输报文的交换头，必然会导致实际传输的业务数据量减少，从而降低了网络处理单元和交换网接口单元之间的数据传输效率。实现网络处理单元所采用的网络处理器芯片常用的标准接口为SPI4.2总线接口，该接口的带宽可以根据带宽接口时钟频率的设计而决定，在传输交换头的情况下为了满足业务双向10Gbps的要求，需要将SPI4.2总线的接口带宽提高到10Gbps以上，而由于SPI4.2总线的特性，只能通过提高时钟频率实现，这将大大增加硬件设计的难度。

综上所述，现有的分布式流处理网络设备中存在网络处理单元负担重、网络处理单元上的缓存带宽压力大和网络处理单元和交换网接口单元之间的传输效率低等问题。

发明内容

本发明提供了一种分布式流处理网络设备中的报文传输方法，该方法能够减轻网络处理单元的负担，缓解网络处理单元上的缓存带宽压力，提高网络处理单元和交换网接口单元之间的数据传输效率。

本发明提供了一种分布式流处理网络设备，该网络设备能够减轻网络处理单元的负担，缓解网络处理单元上的缓存带宽压力，提高网络处理单元和交换网接口单元之间的数据传输效率。

本发明还提供了一种交换网接口装置，该装置能够减轻网络处理单元的负担，缓解网络处理单元上的缓存带宽压力，提高自身与网络处理单元之间的数据传输效率

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明公开了一种分布式流处理网络设备中的报文传输方法，该分布式流处理网络设备包括：主控板、交换网单元和业务板，所述主控板和业务板均包括：网络处理单元和交换网接口单元，该方法包括：

交换网接口单元接收到来自网络处理单元的第一业务报文时，为第一业务报文添加交换头信息，将第一业务报文发送给交换网单元；

交换网接口单元接收到来自交换网单元的第二业务报文时，剥离第二报文的交换头信息，将第二业务报文发送给网络处理单元。

本发明公开了一种分布式流处理网络设备，该网络设备包括：主控板、交换网单元和两个以上的业务板；所述主控板和每个业务板均包括：网络处理单元和交换网接口单元；

所述主控板的网络处理单元，用于向主控板的交换网接口单元发送第一业务报文；用于接收主控板的交换网接口单元发送的第二报文；

所述主控板的交换网接口单元，用于接收所述主控板的网络处理单元发送的第一业务报文，为第一业务报文添加交换头信息，将第一业务报文发送给所述交换网单元；用于接收所述交换网单元发送的第二业务报文，剥离第二报文的交换头信息，将第二业务报文发送给所述主控板的网络处理单元；

所述每个业务板的网络处理单元，用于向该业务板的交换网接口单元发送第三业务报文；用于接收该业务板的交换网接口单元发送的第四业务报文；

所述每个业务板的交换网接口单元，用于接收该业务板的网络处理单元发送的第三业务报文，为第三业务报文添加交换头信息，将第三业务报文发送给所述交换网单元；用于接收交换网单元发送的第四业务报文，剥离第四报文的交换头信息，将第四业务报文发送给该业务板的网络处理单元。

本发明还公开了一种交换网接口装置，该装置包括：

交换头处理模块，用于为来自网络处理单元侧的第一业务报文添加交换头信息；用于剥离来自交换网单元侧的第二报文的交换头信息。

由上述技术方案可见，本发明这种由交换网接口单元来完成业务报文交换头信息的添加和删除操作的技术方案，使得网络处理单元不再需要进行添加和剥离业务报文交换头的工作，从而减轻了网络处理器的负担；并且传输至网络处理单元的报文中不再携带交换头信息，从而减轻了网络处理单元上的缓存带宽的压力；此外网络处理单元和交换网接口单元之间传输的报文不再携带交换头信息，因此提高了网络处理单元和交换网接口单元之间的数据传输效率。

附图说明

图1是现有技术中的分布式流处理网络设备的组成结构示意图；

图2是本发明实施例中采用FPGA实现的交换网接口单元的组成结构以及其外部连接示意图；

图3是本发明实施例一种交换网接口装置的组成结构框图。

具体实施方式

本发明的核心思想是：由交换网接口单元来完成业务报文交换头的组装，从而减轻网络处理单元的负担、缓解网络处理单元上的缓存压力、提高网络处理单元和交换网接口单元之间的数据传输效率。

目前，分布式流处理网络设备中的交换网接口单元一般采用与交换网单元配套的ASIC芯片实现，或者采用FPGA芯片实现。为了实现本发明的目的，需要对交换网接口单元进行改进，使其能够完成业务报文交换头信息的添加和删除功能。

为使本发明的目的、技术方案及优点更加清楚明白，下面以采用FPGA实现交换网接口单元为例，对本发明进一步详细说明。

图2是本发明实施例中采用FPGA实现的交换网接口单元的组成结构以及其外部连接示意图。图2所示，交换网接口单元201的两端分别与网络处理单元202和交换网单元203连接。交换网接口单元201除了包括网际协议核心(IP Core)模块204和接口MAC模块205以外还包括交换头处理模块206和存储模块207。

在图2中，网际协议核心模块204用于实现与网络处理单元202之间的接口转换功能；接口MAC模块205用于实现与交换网单元203之间的接口转换功能。这两个模块所实现的接口转换功能属于现有技术，这里不再详细描述。

在图2中，交换头处理模块206，用于为网际协议核心模块204发送的来自网络处理单元202侧的业务报文添加交换头信息，并转发给接口MAC模块205，再由接口MAC模块205进行接口转换处理后发送给交换网单元203；交换头处理模块206，用于为接口MAC模块205发送的来自交换网单元203侧的报文剥离交换头信息，并转发给网际协议核心模块204，再由网际协议核心模块204进行接口转换处理后发送给网络处理单元202。

在图2中，存储模块207，用于保存不同业务报文所对应的交换头信息。交换头处理模块206，用于根据存储模块206中所保存的信息为来自网络处理单元202侧的业务报文添加相应的交换头信息。存储模块207中可以以列表的形式保存业务报文标识和对应的交换头信息，这样交换头处理模块206可以根据所接收报文的标识从存储模块207中查找出相应的交换头信息，并添加到所述接收报文中。

交换头信息一般包括：目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。其中，定值信息为交换头特征标识和保留字段等。

在图2中，当交换网接口单元201和网络处理单元202位于分布式流处理网络设备的主控板上时：当业务报文的流向是从网络处理单元202到交换网接口单元201时，交换头中的目的端口信息、报文优先级信息和交换方式信息由网络处理单元202添加，一般需要3字节的长度，这些信息随报文到达交换网接口单元201后，由交换头处理模块206添加交换头中的源端口信息和定值信息；即当业务报文的流向是从网络处理单元202到交换网接口单元201时，由网络处理单元202为报文添加部分的交换头信息，然后由交换网接口单元201添加其余部分的交换头信息。这是因为，主控板上的网络处理单元负责对业务流进行分类，以保证同一业务的流以及相关的流都被发送到同一业务板的网络处理单元进行处理，而交换头中的目的端口信息、报文优先级信息和交换方式信息正是与流分类相关的信息，因此必须由主控板上的网络处理单元来添加。当业务报文的流向是从交换网接口单元201到网络处理单元202时，由于网络处理单元202不需要交换头中的信息，因此，由交换网接口单元201删除报文的交换头信息(包括目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息)后再发送给网络处理单元202，即网络处理单元202从交换网接口单元201所接收的报文不携带交换头信息。

在图2中，当交换网接口单元201和网络处理单元202位于分布式流处理网络设备的业务板上时，由于并不涉及流分类的问题，因此，当业务报文的流向是从网络处理单元202到交换网接口单元201时，报文交换头的添加和删除均有交换网接口单元中201中的交换头处理模块206来完成。即当业务报文的流向是从网络处理单元202到交换网接口单元201时，网络处理单元202不需要为报文添加任何交换头信息，网络处理单元202向交换网接口单元201发送的报文中不携带任何交换头信息，交换网接口单元201接收到来自网络处理单元202的报文后，其中的交换头处理模块206根据存储模块207中所保存的信息为该报文添加包括目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息的交换头信息；当业务报文的流向是从交换网接口单元201到网络处理单元202时，交换网接口单元201删除报文的交换头信息(包括目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息)后，再发送给网络处理单元202，即网络处理单元202从交换网接口单元201所接收的报文不携带交换头信息。

在图2中，存储模块207中保存的不同业务报文所对应的交换头信息可以由存储模块207所在的单板(主控板或业务板)的CPU来写入。

接下来给出本发明实施例一种分布式流处理网络设备的组成结构。本发明实施例中的分布式流处理网络设备的整体框架与图1中所示相同，包括：主控板、交换网单元和两个以上的业务板；主控板和每个业务板均包括：网络处理单元和交换网接口单元。因此，此处不再图示。但本发明实施例中的分布式流处理设备与图1所示的分布式流处理设备的不同之处在于：

所述主控板的网络处理单元，用于向主控板的交换网接口单元发送第一业务报文，以及用于接收主控板的交换网接口单元发送的第二报文；

所述主控板的交换网接口单元，用于接收所述主控板的网络处理单元发送的第一业务报文，为第一业务报文添加交换头信息，将第一业务报文发送给所述交换网单元；用于接收所述交换网单元发送的第二业务报文，剥离第二报文的交换头信息，将第二业务报文发送给所述主控板的网络处理单元；

所述每个业务板的网络处理单元，用于向该业务板的交换网接口单元发送第三业务报文；用于接收该业务板的交换网接口单元发送的第四业务报文；

所述每个业务板的交换网接口单元，用于接收该业务板的网络处理单元发送的第三业务报文，为第三业务报文添加交换头信息，将第三业务报文发送给所述交换网单元；用于接收交换网单元发送的第四业务报文，剥离第四报文的交换头信息，将第四业务报文发送给该业务板的网络处理单元。

在本发明上述实施例所述的分布式流处理网络设备中，所述主控板的网络处理单元，用于向主控板的交换网接口单元发送携带目的端口信息、报文优先级信息和交换方式信息的第一业务报文；所述主控板的交换网接口单元，用于为该第一业务报文添加源端口信息和定值信息；用于剥离第二报文的目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

在本发明上述实施例所述的分布式流处理网络设备中，所述每个业务板的交换网接口单元，用于为第三业务报文添加端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息；用于剥离第四报文的目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

本发明实现发明目的的技术方案主要体现在对交换网接口单元的改进上(如图2中的交换网接口单元201)，因此接下来将本发明中改进后的交换网接口单元作为一个独立的装置(交换网接口装置)来着重描述其组成结构。

图3是本发明实施例一种交换网接口装置的组成结构框图。如图3所示，该装置包括：交换头处理模块301，用于为来自网络处理单元侧的第一业务报文添加交换头信息；用于剥离来自交换网单元侧的第二报文的交换头信息。

在图3中，交换头处理模块301包括：添加子模块303和剥离子模块304；其中，添加子模块303，用于为来自网络处理单元侧的第一业务报文添加源端口信息和定值信息，所述来自网络处理单元侧的第一业务报文本身携带有目的端口信息、报文优先级信息和交换方式信息；剥离子模块304，用于剥离来自交换网单元侧的第二报文的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

或者，在图3中，添加子模块303，用于为来自网络处理单元侧的第一业务报文添加端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息；剥离子模块304，用于剥离来自交换网单元侧的第二报文的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

在图3中，所述交换网接口装置还包括：存储模块302，用于保存不同业务报文所对应的交换头信息；交换头处理模块301(即其中的添加子模块303)，用于根据存储模块302中所保存的信息为来自网络处理单元侧的第一业务报文添加相应的交换头信息。

综上所述，本发明这种由交换网接口单元来完成业务报文交换头信息的添加和删除操作的技术方案，使得网络处理单元不再需要进行添加和剥离业务报文交换头的工作，从而减轻了网络处理器的负担；并且传输至网络处理单元的报文中不再携带交换头信息，从而减轻了网络处理单元上的缓存带宽的压力；此外网络处理单元和交换网接口单元之间传输的报文不再携带交换头信息，因此提高了网络处理单元和交换网接口单元之间的数据传输效率。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围，凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1、一种分布式流处理网络设备中的报文传输方法，该分布式流处理网络设备包括：主控板、交换网单元和业务板，所述主控板和业务板均包括：网络处理单元和交换网接口单元，其特征在于，该方法包括：

交换网接口单元接收到来自网络处理单元的第一业务报文时，为第一业务报文添加交换头信息，将第一业务报文发送给交换网单元；

交换网接口单元接收到来自交换网单元的第二业务报文时，剥离第二报文的交换头信息，将第二业务报文发送给网络处理单元。

2、如权利要求1所述的方法，其特征在于，当所述交换网接口单元和网络处理单元位于所述分布式流处理网络设备的主控板上时，

所述交换网接口单元接收到的来自网络处理单元的第一业务报文中携带有指定的交换头信息；所述指定的交换头信息包括：目的端口信息、报文优先级信息和交换方式信息；

所述交换网接口单元为第一业务报文添加的交换头信息包括：源端口信息和定值信息；

所述交换网接口单元剥离的第二报文的交换头信息包括：目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

3、如权利要求1所述的方法，其特征在于，当所述交换网接口单元和网络处理单元位于所述分布式流处理网络设备的业务板上时，

所述交换网接口单元为第一业务报文添加的交换头信息包括：目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息；

所述交换网接口单元剥离的第二报文的交换头信息包括：目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

4、一种分布式流处理网络设备，其特征在于，该网络设备包括：主控板、交换网单元和两个以上的业务板；所述主控板和每个业务板均包括：网络处理单元和交换网接口单元；

所述主控板的网络处理单元，用于向主控板的交换网接口单元发送第一业务报文；用于接收主控板的交换网接口单元发送的第二报文；

所述主控板的交换网接口单元，用于接收所述主控板的网络处理单元发送的第一业务报文，为第一业务报文添加交换头信息，将第一业务报文发送给所述交换网单元；用于接收所述交换网单元发送的第二业务报文，剥离第二报文的交换头信息，将第二业务报文发送给所述主控板的网络处理单元；

所述每个业务板的网络处理单元，用于向该业务板的交换网接口单元发送第三业务报文；用于接收该业务板的交换网接口单元发送的第四业务报文；

所述每个业务板的交换网接口单元，用于接收该业务板的网络处理单元发送的第三业务报文，为第三业务报文添加交换头信息，将第三业务报文发送给所述交换网单元；用于接收交换网单元发送的第四业务报文，剥离第四报文的交换头信息，将第四业务报文发送给该业务板的网络处理单元。

5、如权利要求4所述的分布式流处理网络设备，其特征在于，

所述主控板的网络处理单元，用于向主控板的交换网接口单元发送携带目的端口信息、报文优先级信息和交换方式信息的第一业务报文；

所述主控板的交换网接口单元，用于为该第一业务报文添加源端口信息和定值信息；用于剥离第二报文的目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

6、如权利要求4所述的分布式流处理网络设备，其特征在于，

所述每个业务板的交换网接口单元，用于为第三业务报文添加端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息；用于剥离第四报文的目的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

7、一种交换网接口装置，其特征在于，该装置包括：

交换头处理模块，用于为来自网络处理单元侧的第一业务报文添加交换头信息；用于剥离来自交换网单元侧的第二报文的交换头信息。

8、如权利要求7所述的交换网接口装置，其特征在于，所述交换头处理模块包括：添加子模块和剥离子模块，

所述添加子模块，用于为来自网络处理单元侧的第一业务报文添加源端口信息和定值信息；其中，所述来自网络处理单元侧的第一业务报文本身携带有目的端口信息、报文优先级信息和交换方式信息；

所述剥离子模块，用于剥离来自交换网单元侧的第二报文的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

9、如权利要求7所述的交换网接口装置，其特征在于，所述交换头处理模块包括：添加子模块和剥离子模块，

所述添加子模块，用于为来自网络处理单元侧的第一业务报文添加端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息；

所述剥离子模块，用于剥离来自交换网单元侧的第二报文的端口信息、报文优先级信息、交换方式信息、源端口信息和定值信息。

10、如权利要求7至9中任一项所述的交换网接口装置，其特征在于，该装置进一步包括：存储模块，用于保存不同业务报文所对应的交换头信息；

所述交换头处理模块，用于根据存储模块中所保存的信息为来自网络处理单元侧的第一业务报文添加相应的交换头信息。

Images