CN104639455A - 一种网络流处理方法和装置 - Google Patents

Abstract

本发明提供了一种网络流处理方法，该方法包括：交换芯片针对经过配置采样功能的端口的报文，按配置的采样规则进行采样；将采样到的报文根据配置的封装信息进行封装，形成封装报文；并根据配置的FPGA转发表中的出端口号对应的端口发送给FPGA芯片，使所述FPGA芯片解封装接收到的封装报文后，进行解析处理。基于同样的发明构思，本申请还提出一种网络流处理装置，能够在减轻FPGA的负担，且不丢失报文信息的基础上实现解析处理。

Description

一种网络流处理方法和装置

技术领域

本发明涉及通信技术领域，特别涉及一种网络流处理方法和装置。

背景技术

交换机设备上，很多都带有现场可编程门阵列(Field Programmable GateArray，FPGA)芯片，用来实现普通交换芯片无法实现的功能，如网络地址转换(NAT)、网络流(netstream)等功能，这些FPGA芯片和交换芯片之间通过物理端口相连接，同时和中央处理器(CPU)之间通过总线接口(PCIE)互联。

netstream功能是一种网络流量统计和分析技术，在这里实现原理是，通过把交换芯片上的流引到FPGA上，然后对流量进行解析，将具有相同特征的报文作为一条流，对各个流进行统计，记录流的统计信息并输出。也可以把多个具有某些相同特征的流聚合成一条聚合流，记录聚合流的统计信息并输出。

要对端口的流量进行分析，就需要把端口的流量引到FPGA芯片上，最容易考虑到的方法是通过镜像(mirror)功能来引流。具体实现是在需要引流的端口上配置镜像功能，把流量镜像一份到交换芯片和FPGA互连的端口上。FPGA对镜像过来的报文进行分析，可以得到报文的入接口、目的IP地址、源IP地址、目的端口号、源端口号、协议号等信息。

通过镜像功能发出的报文的目的会被修改成指向与FPGA芯片相连的端口，于是当我们从FPGA取出报文信息的时候，无法得到报文原始的目的信息，这样导致进行解析处理后只能对入方向上的流进行统计，而无法对出方向上的流进行统计。

发明内容

有鉴于此，本申请提供一种网络流处理方法和装置，以解决在实现解析处理时FPGA负担重，并丢失报文信息的问题。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种网络流处理方法，应用于交换设备的任一交换芯片，该方法包括：

所述交换芯片针对经过配置采样功能的端口的报文，按配置的采样规则进行采样；

所述交换芯片将采样到的报文根据配置的封装信息进行封装，形成封装报文；

所述交换芯片根据配置的现场可编程门阵列FPGA转发表中的出端口号对应的端口，将该封装报文发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对所述采样到的报文进行解析处理。

一种网络流处理装置，应用于交换设备的任一交换芯片，该装置包括：配置单元、采样单元、封装单元和发送单元；

所述配置单元，用于在需要进行解析处理的报文所经的端口上配置采样功能，配置采样规则，配置封装信息；

所述采样单元，用于针对经过所述配置单元配置采样功能的端口的报文，按配置的采样规则进行采样；

所述封装单元，用于将所述采样单元采样到的报文根据所述配置单元配置的封装信息进行封装，形成封装报文；

所述发送单元，用于将所述封装单元形成的封装报文根据所述配置单元配置的FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对所述采样到的报文进行解析处理。

由上面的技术方案可知，本申请中交换芯片配置采样功能，将采样后的报文通过芯片封装发送给FPGA芯片，使FPGA芯片解封装接收到的报文后，进行解析处理。能够在减轻FPGA的负担，且不丢失报文信息的基础上实现解析处理。

附图说明

图1为本申请实施例中网络流处理流程示意图；

图2为本申请实施例中应用于上述技术的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本申请提供一种网络流处理方法，应用于交换设备的任一交换芯片上，该交换芯片配置采样功能，将采样后的报文通过芯片封装发送给FPGA芯片，使FPGA芯片解封装接收到的报文后，进行解析处理。该方案在减轻FPGA的负担，且不丢失报文信息的基础上实现解析处理。

本申请实施例具体实现之前，需预先配置采样规则、封装信息以及FPGA转发表。

其中，采样规则的配置本申请不作限制。如可以设置一个采样比例，每10条报文采样1条报文；每20条报文采样1条报文等。

对于封装信息，本申请实施例的具体配置至少包括如下信息：目的媒体访问控制(MAC)地址、源MAC地址和虚拟局域网标识(VLAN ID)、封装类型；

在配置封装信息中的各信息中时，具体如何配置，根据配置的FPGA转发表相关。

如果各交换芯片均自带进行解析处理的FPGA时，FPGA转发表中只包括出端口号即可；如果存在一些交换芯片未自带FPGA芯片，即需要其他交换芯片中转上送FPGA芯片的报文时，配置的FPGA转发表还应该包括匹配信息。

在具体实现时，匹配信息可以为MAC地址、VLAN ID、封装类型等，甚至其组合。下面针对各匹配信息详细描述如何配置：

当FPGA转发表中配置的匹配信息为MAC地址，即FPGA转发表包括：MAC地址和出端口号，其中的MAC地址为封装信息中的目的MAC地址；这时，封装信息中的目的MAC地址配置为预留MAC地址，即通常不被使用的MAC地址；其他封装信息可以任意配置。

当FPGA转发表中配置的匹配信息为VLAN ID，即FPGA转发表包括：VLAN ID和出端口号，其中的VLAN ID为封装信息中的VLAN ID；这时，封装信息中的VLAN ID配置为预留VLAN ID，即通常不被使用的MAC地址；其他封装信息可以任意配置。

当FPGA转发表中配置的匹配信息为封装类型，即FPGA转发表包括：封装类型和出端口号，其中的封装类型为封装信息中的封装类型；这时，封装信息中的封装类型配置为预留封装类型，即通常不被使用的封装类型；其他封装信息可以根据实际需要任意配置。

如果一个FPGA芯片需对多个交换芯片上报文进行解析处理，所述源MAC地址配置为唯一标识本交换芯片的MAC地址，用于使所述FPGA芯片获知发送报文的交换芯片。

若该交换芯片与所述FPGA芯片直连，则所述FPGA转发表中的出端口号为本交换芯片与所述FPGA芯片相连的物理端口的端口号；所述MAC地址为所述封装信息中的目的MAC地址；所述VLAN ID为封装信息中的VLAN ID。

若该交换芯片与所述FPGA芯片通过其他交换芯片相连，则所述FPGA转发表中的出端口号为本交换芯片与所述其他交换芯片相连的物理端口的端口号。

参见图1，图1为本申请实施例中网络流处理流程示意图。具体步骤为：

步骤101，交换芯片针对经过配置采样功能的端口的报文，按配置的采样规则进行采样。

本申请实施例中还需针对需要关注的报文，即需要进行解析处理的报文所经端口配置采样功能，这样，仅将采样到的报文发送给FPGA芯片，而不需将经过该端口的所有报文都发送给FPGA芯片，从而大大减少了向FPGA芯片发送的报文，避免交换芯片与交换芯片，交换芯片与FPGA芯片互联的端口的拥塞，并且减轻了FPGA进行解析处理的负担。

步骤102，该交换芯片将采样到的报文根据配置的封装信息进行封装，形成封装报文。

本步骤中该交换芯片将采样到的报文根据配置的封装信息进行封装，具体实现时，将采样的报文进行复制，使用原始报文或复制的报文进行报文封装，另外一个报文在交换芯片上按现有流程作数据转发。

步骤103，该交换芯片将所述封装报文根据配置的FPGA转发表中的出端口号对应的端口，将该封装报文发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对所述采样到的报文进行解析处理。

本申请实施例中根据配置的封装信息封装后的报文的目的MAC地址为封装信息中的MAC地址，源MAC地址为封装信息中的源MAC地址，VLAN ID为封装信息中的VLAN ID，封装类型为封装信息中的封装类型，至于是否还需要封装其他字段等，根据芯片交换的实际需要增加，本申请实施例不作限制。封装后的报文中的原始报文和原始报文的higig头均不作任何改变。

FPGA芯片接收到封装报文时，进行解封装，并针对解封装后的报文进行解析处理。由于解封装后的报文同采样到的报文完全相同，因此，能够在进行解析处理过程中，获得报文的所有原始信息。本申请实施例对FPGA芯片如何进行解析处理，以及处理后的信息如何处理，如何使用均不作限制。

本申请实施例中的解析处理如：使用netstream功能进行处理，解析报文的入接口、目的IP地址、源IP地址、目的端口号、源端口号、协议号、服务类型(Type of service，Tos)等信息，从而对具有相同特征的报文进行流统计，记录统计信息，以用于流路径调整等。

如果该FPGA芯片针对多个交换芯片进行解析处理时，可以根据接收到的报文的源MAC地址分别记录解析处理结果。

本申请实施例中，如果本交换芯片与FPGA芯片直连，而该交换芯片所在的服务器上的其他交换芯片未带FPGA芯片，则会将该封装后的需要发送给FPGA芯片的报文发送到本交换芯片，针对配置的FPGA转发表包含的匹配信息进行匹配处理，具体如下：

当FPGA转发表包括MAC地址和出端口号时，所述交换芯片接收到目的MAC地址与所述FPGA转发表匹配的报文时，将该报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的报文，并对解封装后的报文进行解析处理。

当FPGA转发表包括VLAN ID和出端口号时，所述交换芯片接收到VLANID与所述FPGA转发表匹配的报文时，将该报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的报文，并对解封装后的报文进行解析处理。

当FPGA转发表包括封装类型和出端口号时，所述交换芯片接收到封装类型与所述FPGA转发表匹配的报文时，将该报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的报文，并对解封装后的报文进行解析处理。

本申请针对FPGA转发表的匹配信息进行如上举例，在具体实现时，并不限于上述匹配信息，可以根据实际应用环境配置对应的匹配信息以实现封装报文的转发。

基于同样的发明构思，本申请还提出一种网络流处理装置，应用于交换设备的任一交换芯片。参见图2，图2为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：配置单元201、采样单元202、封装单元203和发送单元204；

配置单元201，用于在需要进行解析处理的报文所经的端口上配置采样功能，配置采样规则，配置封装信息；

采样单元202，用于针对经过配置单元201配置采样功能的端口的报文，按配置的采样规则进行采样；

封装单元203，用于将采样单元202采样到的报文根据配置单元201配置的封装信息进行封装，形成封装报文；

发送单元204，用于将封装单元203形成的封装报文根据配置单元201配置的FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对所述采样到的报文进行解析处理。

较佳地，

配置单元201，用于本单元所在的交换芯片与所述FPGA芯片直连，则所述FPGA转发表中的出端口号为本交换芯片与所述FPGA芯片相连的物理端口的端口号；若本单元所在的交换芯片与所述FPGA芯片通过其他交换芯片相连，则所述FPGA转发表中的出端口号为本交换芯片与所述其他交换芯片相连的物理端口的端口号。

较佳地，所述装置进一步包括：接收单元205和匹配单元206；

配置单元201，具体用于配置的封装信息包括：目的媒体访问控制MAC地址、源MAC地址和虚拟局域网标识VLAN ID，所述目的MAC地址为预留MAC地址；配置的FPGA转发表还包括：MAC地址和出端口号；所述MAC地址为所述封装信息中的目的MAC地址；

接收单元205，用于接收报文；

匹配单元206，用于当接收单元205接收到报文时，使用接收到的报文的目的MAC地址匹配所述FPGA转发表，当匹配成功时，触发发送单元204将该封装报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对接封装后的报文进行解析处理。

较佳地，

配置单元201，具体用于配置的封装信息包括：目的媒体访问控制MAC地址、源MAC地址和VLAN ID，所述VLAN ID为预留VLAN ID；配置的FPGA转发表还包括：VLAN ID；所述VLAN ID为所述封装信息中的VLAN ID；

接收单元205，用于接收报文；

匹配单元206，用于当接收单元205接收到报文时，使用接收到的报文的VLAN ID匹配所述FPGA转发表，当匹配成功时，触发发送单元204将该封装报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对接封装后的报文进行解析处理。

较佳地，

配置单元201，具体用于当所述FPGA芯片针对多个交换芯片上的报文进行解析处理时，配置的封装信息中的所述源MAC地址配置为唯一标识本交换芯片的MAC地址，用于使所述FPGA芯片获知发送报文的交换芯片。

较佳地，

配置单元201，具体用于配置的封装信息包括：封装类型，所述封装类型为预留封装类型；配置的FPGA转发表还包括：封装类型；所述封装类型为所述封装信息中的封装类型；

接收单元205，用于接收报文；

匹配单元206，用于当接收单元205接收到报文时，使用接收到的报文的封装类型匹配所述FPGA转发表，当匹配成功时，触发发送单元204将该封装报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对接封装后的报文进行解析处理。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

另外，需要说明的是，网络流处理装置可以集成于交换芯片中，也可以是交换芯片本身。除了上面所描述的功能外，该交换芯片还可以集成其他功能，在此不再赘述。

综上所述，本申请通过该交换芯片配置采样功能，将采样后的报文通过芯片封装发送给FPGA芯片，使FPGA芯片解封装接收到的报文后，进行解析处理。该方案在减轻FPGA的负担，且不丢失报文信息的基础上实现解析处理。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (12)

1.一种网络流处理方法，应用于交换设备的任一交换芯片，其特征在于，该方法包括：

所述交换芯片针对经过配置采样功能的端口的报文，按配置的采样规则进行采样；

所述交换芯片将采样到的报文根据配置的封装信息进行封装，形成封装报文；

所述交换芯片根据配置的现场可编程门阵列FPGA转发表中的出端口号对应的端口，将该封装报文发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对所述采样到的报文进行解析处理。

2.根据权利要求1所述的方法，其特征在于，若该交换芯片与所述FPGA芯片直连，则所述FPGA转发表中的出端口号为本交换芯片与所述FPGA芯片相连的物理端口的端口号；

若该交换芯片与所述FPGA芯片通过其他交换芯片相连，则所述FPGA转发表中的出端口号为本交换芯片与所述其他交换芯片相连的物理端口的端口号。

3.根据权利要求2所述的方法，其特征在于，所述封装信息包括：目的媒体访问控制MAC地址、源MAC地址和虚拟局域网标识VLAN ID，所述目的MAC地址为预留MAC地址；

所述FPGA转发表还包括：MAC地址；所述MAC地址为所述封装信息中的目的MAC地址；

所述方法进一步包括：

所述交换芯片接收到目的MAC地址与所述FPGA转发表匹配的报文时，将该报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的报文，并对解封装后的报文进行解析处理。

4.根据权利要求2所述的方法，其特征在于，所述封装信息包括：目的媒体访问控制MAC地址、源MAC地址和VLAN ID，所述VLAN ID为预留VLANID；

所述FPGA转发表还包括：VLAN ID；所述VLAN ID为所述封装信息中的VLAN ID；

所述方法进一步包括：

所述交换芯片接收到VLAN ID与所述FPGA转发表匹配的报文时，将该报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对解封装后的报文进行解析处理。

5.根据权利要求3或4所述的方法，其特征在于，当所述FPGA芯片针对多个交换芯片上的报文进行解析处理时，该交换芯片上的封装信息中的所述源MAC地址配置为唯一标识本交换芯片的MAC地址，用于使所述FPGA芯片获知发送报文的交换芯片。

6.根据权利要求2所述的方法，其特征在于，所述封装信息包括：封装类型，所述封装类型为预留封装类型；

所述FPGA转发表还包括：封装类型；所述封装类型为所述封装信息中的封装类型；

所述方法进一步包括：

所述交换芯片接收到封装类型与所述FPGA转发表匹配的报文时，将该报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的报文，并对解封装后的报文进行解析处理。

7.一种网络流处理装置，应用于交换设备的任一交换芯片，其特征在于，该装置包括：配置单元、采样单元、封装单元和发送单元；

所述配置单元，用于在需要进行解析处理的报文所经的端口上配置采样功能，配置采样规则，配置封装信息；

所述采样单元，用于针对经过所述配置单元配置采样功能的端口的报文，按配置的采样规则进行采样；

所述封装单元，用于将所述采样单元采样到的报文根据所述配置单元配置的封装信息进行封装，形成封装报文；

所述发送单元，用于将所述封装单元形成的封装报文根据所述配置单元配置的FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对所述采样到的报文进行解析处理。

8.根据权利要求7所述的装置，其特征在于，

所述配置单元，用于本单元所在的交换芯片与所述FPGA芯片直连，则所述FPGA转发表中的出端口号为本交换芯片与所述FPGA芯片相连的物理端口的端口号；若本单元所在的交换芯片与所述FPGA芯片通过其他交换芯片相连，则所述FPGA转发表中的出端口号为本交换芯片与所述其他交换芯片相连的物理端口的端口号。

9.根据权利要求8所述的装置，其特征在于，所述装置进一步包括：接收单元和匹配单元；

所述配置单元，具体用于配置的封装信息包括：目的媒体访问控制MAC地址、源MAC地址和虚拟局域网标识VLAN ID，所述目的MAC地址为预留MAC地址；配置的FPGA转发表还包括：MAC地址和出端口号；所述MAC地址为所述封装信息中的目的MAC地址；

所述接收单元，用于接收报文；

所述匹配单元，用于当所述接收单元接收到报文时，使用接收到的报文的目的MAC地址匹配所述FPGA转发表，当匹配成功时，触发所述发送单元将该封装报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对接封装后的报文进行解析处理。

10.根据权利要求8所述的装置，其特征在于，

所述配置单元，具体用于配置的封装信息包括：目的媒体访问控制MAC地址、源MAC地址和VLAN ID，所述VLAN ID为预留VLAN ID；配置的FPGA转发表还包括：VLAN ID；所述VLAN ID为所述封装信息中的VLAN ID；

所述接收单元，用于接收报文；

所述匹配单元，用于当所述接收单元接收到报文时，使用接收到的报文的VLAN ID匹配所述FPGA转发表，当匹配成功时，触发所述发送单元将该封装报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对接封装后的报文进行解析处理。

11.根据权利要求9或10所述的装置，其特征在于，

所述配置单元，具体用于当所述FPGA芯片针对多个交换芯片上的报文进行解析处理时，配置的封装信息中的所述源MAC地址配置为唯一标识本交换芯片的MAC地址，用于使所述FPGA芯片获知发送报文的交换芯片。

12.根据权利要求8所述的装置，其特征在于，

所述配置单元，具体用于配置的封装信息包括：封装类型，所述封装类型为预留封装类型；配置的FPGA转发表还包括：封装类型；所述封装类型为所述封装信息中的封装类型；

所述接收单元，用于接收报文；

所述匹配单元，用于当所述接收单元接收到报文时，使用接收到的报文的封装类型匹配所述FPGA转发表，当匹配成功时，触发所述发送单元将该封装报文通过所述FPGA转发表中的出端口号对应的端口发送给FPGA芯片，以使所述FPGA芯片解封装接收到的封装报文，并对接封装后的报文进行解析处理。