CN110958146A - 一种基于fpga的以太网数据实时分析设备 - Google Patents

Abstract

本发明公开了一种基于FPGA的以太网数据实时分析设备，包括：外部数据源、数据录取板卡、存储设备；其中：外部数据源，用于通过以太网向数据录取板卡中输入吉比特报文速率的报文数据；数据录取板卡，其电路中增加FPGA芯片，通过FPGA对吉比特报文速率的报文数据进行实时统计分析，实现可配置策略报文过滤功能，通过建立基于报文的多元组进行过滤，多元组包括多个固定字段和多个自定义字段；将过滤后的报文数据发送给存储设备；存储设备，用于保存符合规则的报文数据，并提供访问接口，数据录取板卡通过访问接口对存储的报文数据进行深度查表。本发明采用FPGA进行数据的自定义规则过滤和统计，可以实现吉比特速率的以太网报文实时统计分析。

Description

一种基于FPGA的以太网数据实时分析设备

技术领域

本发明涉及舰船电子信息领域，尤其涉及一种基于FPGA的以太网数据实时分析设备。

背景技术

舰船网络系统连接了舰船平台的信息化设备，为舰船各信息化设备提供高速、实时、冗余的信息交互通道。由于接入舰船网络系统的设备较多，连接关系和信息流程复杂，且由于建造进度的安排，通常舰船网络系统与接入网络的设备是同时开展调试的，设备技术状态均未固化，一旦网络信息不可达，需要定位故障原因时，通常要考虑软件、硬件、协议、线缆等多方面的因素，故障定位十分复杂，并且部分故障是偶发故障，也进一步加剧了故障定位的难度。

为定位网络故障，网络维护人员通常会使用sniffer、wireshark等网络抓包软件，对网络系统上的数据进行抓取，再人工对数据进行分析，并通过分析结果逐步缩小故障范围、定位故障原因。但由于舰船网络系统数据流量较大，经常超出sniffer、wireshark等软件数据处理能力的范围，导致录取下来的数据不全或频繁死机，且人工分析大量网络数据费时费力，致使网络故障定位需要耗费大量时间，占用大量人员。

目前的数据录取分析设备通常利用CPU进行数据的分类、过滤、和分析，CPU作为通用处理芯片在处理这些任务时，效率较低，难以满足吉比特带宽数据的实时处理需求。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于FPGA的以太网数据实时分析设备。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于FPGA的以太网数据实时分析设备，包括：外部数据源、数据录取板卡、存储设备；其中：

外部数据源，用于通过以太网向数据录取板卡中输入吉比特报文速率的报文数据；

数据录取板卡，其电路中增加FPGA芯片，通过FPGA对吉比特报文速率的报文数据进行实时统计分析，实现可配置策略报文过滤功能，通过建立基于报文的多元组进行过滤，多元组包括多个固定字段和多个自定义字段；将过滤后的报文数据发送给存储设备；

存储设备，用于保存符合规则的报文数据，并提供访问接口，数据录取板卡通过访问接口对存储的报文数据进行深度查表。

进一步地，本发明的基于报文的多元组为十四元组，包括固定字段的十元组和自定义字段的四元组；其中：

固定字段的十元组包括：源MAC，48位；目的MAC，48位；VLAN，12位；源IP，32位；目的IP，32位；源PORT，16位；目的PORT，16位；二层协议类型，16位；三层协议类型，16位；设备端口，8位；自定义字段的四元组包括四个32位的自定义字段。

进一步地，本发明的数据录取板卡包括以下模块：MAC控制器接收模块、MAC控制器发送模块、DATABUF缓存报文模块、PARSER元组解析模块、RESULT_PROC结果处理模块、PARAM_FIFO结果缓存模块、PROC报文操作模块；其中：

MAC控制器接收模块，输入端与外部数据源相连，用于获取报文数据，其输出端分别与DATABUF缓存报文模块、PARSER元组解析模块相连；

PARSER元组解析模块，用于对接收到的报文数据进行实时分析处理，实现数据录取板卡的可配置策略报文过滤功能，并将PARSER元组解析模块分析的结果发送给RESULT_PROC结果处理模块；

PARAM_FIFO结果缓存模块，与RESULT_PROC结果处理模块的输出端连接，用于缓存报文分析的结果；

PROC报文操作模块，其输入端分为两路，一路输入端与PARAM_FIFO结果缓存模块相连，另一路输入端与DATABUF缓存报文模块相连；PROC报文操作模块根据通过PARAM_FIFO结果缓存模块中存储的分析过滤结果，然后从ATABUF缓存报文模块中读取报文数据，完成丢弃或者通过操作；

MAC控制器发送模块，其输入端与PROC报文操作模块的输出端相连，其输出端与存储设备相连；将通过操作的报文数据送入存储设备中进行保存。

进一步地，本发明的PARSER元组解析模块分为：FILTER报文过滤模块、STATISTIC报文统计模块、MAC_IP单设备查表模块、SIP_DIP连通性查表模块；其中：

FILTER报文过滤模块，用于根据设定的配置规则、元组进行报文匹配，同时将过滤结果送入RESULT_PROC结果处理模块；

STATISTIC报文统计模块，用于根据设定的配置规则、元组进行报文的个数、字节的统计，同时将统计结果送入RESULT_PROC结果处理模块；

MAC_IP单设备查表模块，用于根据设定的配置规则、元组进行查表，查找其中的源MAC、目的MAC、源IP、目的IP，查找到对应的设备信息，同时将查表结果送入RESULT_PROC结果处理模块；

SIP_DIP连通性查表模块，用于根据设定的配置规则、元组进行查表，查找其中的源IP、目的IP，查找到连通性信息，同时将查表结果送入RESULT_PROC结果处理模块。

进一步地，本发明的PARAM_FIFO结果缓存模块中存储的数据格式为：

0号字节，表示查表结果，其中：

Bit7:过滤规则查表标识，1：命中，0：未命中；

Bit6:统计规则查表标识，1：命中，0：未命中；

Bit5:SMAC_SIP查表结果标识，1：命中，0：未命中；

Bit4:DMAC_DIP查表结果标识，1：命中，0：未命中；

Bit3:SIP_DIP查表结果标识，1：命中，0：未命中；

Bit2：0：保留；

1号字节，表示FILTER命中ID；

2号字节，表示STATISTIC命中ID；

3号字节，表示DMAC_DIP命中ID；

4号字节，表示SMAC_SIP命中ID；

5号字节，表示SIP_DIP命中ID；

6号字节，保留。

进一步地，本发明的MAC控制器发送模块将通过操作的报文数据送入存储设备中进行保存的方式为：对于通过的报文将查表结果加入到报文头部，按照设定的报文格式送入存储设备中进行存储；设定的报文格式为：

报文标识，报文长度，查表结果标识，查表ID，DMAC，SMAC，Type/Length，净荷，FCS。

进一步地，本发明的四个自定义字段能根据报文256字节以内的偏移量，以及报文长度进行匹配。

本发明产生的有益效果是：本发明的基于FPGA的以太网数据实时分析设备，通过在电路中增加FPGA芯片专用于数据的分类、过滤和分析，将网络数据录取设备的无丢包实时统计分析、录取速率提高到吉比特；在吉比特报文速率的情况下，动态实现可配置策略报文过滤功能，实现基于报文14元组的过滤，并依据用户配置策略及二次查表配置进行最大偏移量达256字节的深度查表；实现了对高速率报文的实时统计分析和多维ACL控制，为基于模型的全网数据可信交互和实时监管提供了技术支撑。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1为本发明实施例的基于FPGA的以太网数据实时分析设备内部组成框图；

图2为采用本发明实施例的以太网数据实时分析设备的连接关系图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1和图2所示，本发明实施例的基于FPGA的以太网数据实时分析设备，该设备所涉及的部件/设备包括外部数据源、数据录取板卡(BOARD)、存储设备(STORE_DEV)。

数据录取板卡进行统计规则和访问控制列表(ACL)的配置，统计规则定义了数据录取板卡接收到数据后按何种参数、配置统计接收到的数据，访问控制列表定义了数据录取板卡基于十四元组对接收到的数据进行过滤的规则。十四元组包括固定字段的十元组和自定义字段的四元组；其中：

固定字段的十元组包括：源MAC，48位；目的MAC，48位；VLAN，12位；源IP，32位；目的IP，32位；源PORT，16位；目的PORT，16位；二层协议类型，16位；三层协议类型，16位；设备端口，8位；自定义字段的四元组包括四个32位的自定义字段。

数据录取板卡包括以下模块：MAC控制器接收模块、MAC控制器发送模块、DATABUF缓存报文模块、PARSER元组解析模块、RESULT_PROC结果处理模块、PARAM_FIFO结果缓存模块、PROC报文操作模块；其中：

MAC控制器接收模块，输入端与外部数据源相连，用于获取报文数据，其输出端分别与DATABUF缓存报文模块、PARSER元组解析模块相连；

PARSER元组解析模块，用于对接收到的报文数据进行实时分析处理，实现数据录取板卡的可配置策略报文过滤功能，并将PARSER元组解析模块分析的结果发送给RESULT_PROC结果处理模块；

PARAM_FIFO结果缓存模块，与RESULT_PROC结果处理模块的输出端连接，用于缓存报文分析的结果；

PROC报文操作模块，其输入端分为两路，一路输入端与PARAM_FIFO结果缓存模块相连，另一路输入端与DATABUF缓存报文模块相连；PROC报文操作模块根据通过PARAM_FIFO结果缓存模块中存储的分析过滤结果，然后从ATABUF缓存报文模块中读取报文数据，完成丢弃或者通过操作；

MAC控制器发送模块，其输入端与PROC报文操作模块的输出端相连，其输出端与存储设备相连；将通过操作的报文数据送入存储设备中进行保存。

PARSER元组解析模块分为：FILTER报文过滤模块、STATISTIC报文统计模块、MAC_IP单设备查表模块、SIP_DIP连通性查表模块；其中：

FILTER报文过滤模块，用于根据设定的配置规则、元组进行报文匹配，同时将过滤结果送入RESULT_PROC结果处理模块；

STATISTIC报文统计模块，用于根据设定的配置规则、元组进行报文的个数、字节的统计，同时将统计结果送入RESULT_PROC结果处理模块；

MAC_IP单设备查表模块，用于根据设定的配置规则、元组进行查表，查找其中的源MAC、目的MAC、源IP、目的IP，查找到对应的设备信息，同时将查表结果送入RESULT_PROC结果处理模块；

SIP_DIP连通性查表模块，用于根据设定的配置规则、元组进行查表，查找其中的源IP、目的IP，查找到连通性信息，同时将查表结果送入RESULT_PROC结果处理模块。

数据源通过以太网向数据录取板卡发送数据，数据录取板卡能以最大不超过吉比特的速率实时对数据进行统计分析，同时对数据进行访问控制，将符合规则的数据发送至存储设备，存储设备对接收到的数据进行存储。

在本发明的另一个具体实施例中：

FPGA内部实现过滤、统计、MAC_IP表项以及SIP_DIP表项等功能，分别支持32条过滤规则、32条统计规则、32条MAC_IP表项以及64条SIP_DIP，并且支持在线配置；FPGA内部实现MAC控制器，接收以太网报文数据；实现以太网报文元组解析，支持十元组以及四个自定义字段解析，具体元组如下表所示；

表1十四元组

四个自定义字段可以根据报文256字节以内偏移量及报文长度进行任意匹配；内部实现报文缓存、报文过滤、MAC_IP查表、SIP_DIP查表以及过滤后报文传输。

报文过滤、统计以及查表过程：

1)管理设备进行配置规则以及表项(管理接口可为PCIE、LOCALBUS等任意接口)；

2)MAC接收到以太网报文之后，将数据送入到PARSER和DATABUF模块；

3)DATABUF缓存报文，同时元组解析模块PARSER解析出九元组以及自定义字段；

4)报文过滤模块FILTER(条数为32条)按照设定的规则(即有规则被配置)、元组(可为十一元组的任何组合，对于自定义字段可按照bit掩码，其它元组做字段掩码)进行报文匹配，同时将过滤结果(命中规则ID以及命中结果，若命中则报文送入到存储设备)送入到结果处理模块；

5)报文统计模块STATISTIC(条数为32条)按照设定的规则(即有规则被配置)、元组(可为十一元组的任何组合，对于自定义字段可按照bit掩码，其它元组做字段掩码)进行报文个数、字节的统计(统计的前提条件为报文满足过滤规则的其中一条)，管理设备通过管理接口实时读取统计数据；

6)单设备查表模块MAC_IP(条数为32条)按照设定的规则(即有规则被配置)、元组(SMAC、SIP、DMAC、DIP，可通过字段掩码)进行查表，同时查表结果(命中表项ID以及命中结果)送入到结果处理模块；

7)连通性查表模块SIP_DIP(条数为64条)按照设定的规则、元组(SIP、DIP)进行查表，同时查表结果(命中表项ID以及命中结果)送入到结果处理模块；

8)结果处理模块RESULT_PROC，按照过滤结果确定报文是否丢弃，过滤通过则不丢弃，否则丢弃，同时将过滤结果、统计结果(不包括统计值)、MAC_IP查表结果以及SIP_DIP查表结果按照如下数据格式存储到PARAM_FIFO中；

表2字段含义

9)PROC按照过PARAM_FIFO中存储的过滤结果，然后从DATABUF中读取报文数据，完成丢弃或者通过操作，对于通过的报文将查表结果加入到报文头部(报文格式如下所示)，送入到存储设备STORE_DEV，存储设备将各类统计信息、连通性、单设备等信息显示到软件界面，并将接收到报文存储到硬盘，供用户提取。

表3新组报文数据结构

应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于FPGA的以太网数据实时分析设备，其特征在于，包括：外部数据源、数据录取板卡、存储设备；其中：

外部数据源，用于通过以太网向数据录取板卡中输入吉比特报文速率的报文数据；

数据录取板卡，其电路中增加FPGA芯片，通过FPGA对吉比特报文速率的报文数据进行实时统计分析，实现可配置策略报文过滤功能，通过建立基于报文的多元组进行过滤，多元组包括多个固定字段和多个自定义字段；将过滤后的报文数据发送给存储设备；

存储设备，用于保存符合规则的报文数据，并提供访问接口，数据录取板卡通过访问接口对存储的报文数据进行深度查表。

2.根据权利要求1所述的基于FPGA的以太网数据实时分析设备，其特征在于，基于报文的多元组为十四元组，包括固定字段的十元组和自定义字段的四元组；其中：

固定字段的十元组包括：源MAC，48位；目的MAC，48位；VLAN，12位；源IP，32位；目的IP，32位；源PORT，16位；目的PORT，16位；二层协议类型，16位；三层协议类型，16位；设备端口，8位；自定义字段的四元组包括四个32位的自定义字段。

3.根据权利要求1所述的基于FPGA的以太网数据实时分析设备，其特征在于，数据录取板卡包括以下模块：MAC控制器接收模块、MAC控制器发送模块、DATABUF缓存报文模块、PARSER元组解析模块、RESULT_PROC结果处理模块、PARAM_FIFO结果缓存模块、PROC报文操作模块；其中：

MAC控制器接收模块，输入端与外部数据源相连，用于获取报文数据，其输出端分别与DATABUF缓存报文模块、PARSER元组解析模块相连；

PARSER元组解析模块，用于对接收到的报文数据进行实时分析处理，实现数据录取板卡的可配置策略报文过滤功能，并将PARSER元组解析模块分析的结果发送给RESULT_PROC结果处理模块；

PARAM_FIFO结果缓存模块，与RESULT_PROC结果处理模块的输出端连接，用于缓存报文分析的结果；

PROC报文操作模块，其输入端分为两路，一路输入端与PARAM_FIFO结果缓存模块相连，另一路输入端与DATABUF缓存报文模块相连；PROC报文操作模块根据通过PARAM_FIFO结果缓存模块中存储的分析过滤结果，然后从ATABUF缓存报文模块中读取报文数据，完成丢弃或者通过操作；

MAC控制器发送模块，其输入端与PROC报文操作模块的输出端相连，其输出端与存储设备相连；将通过操作的报文数据送入存储设备中进行保存。

4.根据权利要求3所述的基于FPGA的以太网数据实时分析设备，其特征在于，PARSER元组解析模块分为：FILTER报文过滤模块、STATISTIC报文统计模块、MAC_IP单设备查表模块、SIP_DIP连通性查表模块；其中：

FILTER报文过滤模块，用于根据设定的配置规则、元组进行报文匹配，同时将过滤结果送入RESULT_PROC结果处理模块；

STATISTIC报文统计模块，用于根据设定的配置规则、元组进行报文的个数、字节的统计，同时将统计结果送入RESULT_PROC结果处理模块；

MAC_IP单设备查表模块，用于根据设定的配置规则、元组进行查表，查找其中的源MAC、目的MAC、源IP、目的IP，查找到对应的设备信息，同时将查表结果送入RESULT_PROC结果处理模块；

SIP_DIP连通性查表模块，用于根据设定的配置规则、元组进行查表，查找其中的源IP、目的IP，查找到连通性信息，同时将查表结果送入RESULT_PROC结果处理模块。

5.根据权利要求4所述的基于FPGA的以太网数据实时分析设备，其特征在于，PARAM_FIFO结果缓存模块中存储的数据格式为：

0号字节，表示查表结果，其中：

Bit7:过滤规则查表标识，1：命中，0：未命中；

Bit6:统计规则查表标识，1：命中，0：未命中；

Bit5:SMAC_SIP查表结果标识，1：命中，0：未命中；

Bit4:DMAC_DIP查表结果标识，1：命中，0：未命中；

Bit3:SIP_DIP查表结果标识，1：命中，0：未命中；

Bit2：0：保留；

1号字节，表示FILTER命中ID；

2号字节，表示STATISTIC命中ID；

3号字节，表示DMAC_DIP命中ID；

4号字节，表示SMAC_SIP命中ID；

5号字节，表示SIP_DIP命中ID；

6号字节，保留。

6.根据权利要求1所述的基于FPGA的以太网数据实时分析设备，其特征在于，MAC控制器发送模块将通过操作的报文数据送入存储设备中进行保存的方式为：对于通过的报文将查表结果加入到报文头部，按照设定的报文格式送入存储设备中进行存储；设定的报文格式为：

报文标识，报文长度，查表结果标识，查表ID，DMAC，SMAC，Type/Length，净荷，FCS。

7.根据权利要求2所述的基于FPGA的以太网数据实时分析设备，其特征在于，四个自定义字段能根据报文256字节以内的偏移量，以及报文长度进行匹配。

Images