CN103780460A - 一种通过fpga实现tap设备硬件过滤的系统 - Google Patents

Abstract

本发明公开了一种通过FPGA实现TAP设备硬件过滤的系统，通过过滤装置实现过滤，过滤装置包括HASH查找引擎、数据流敏感信息提取模块、过滤规则添加模块、过滤规则删除模块、过滤信息匹配模块和流量过滤控制模块，由过滤规则添加模块或过滤规则删除模块进行添加或删除操作后，由过滤信息匹配模块将提取的敏感信息与过滤规则进行匹配，流量过滤控制模块输出匹配成功的数据。本发明通过硬件实现过滤，无需其他核心器件，简化了系统的复杂程度，降低了设备成本；匹配算法采用HASH查找引擎，从硬件上实现流量过滤技术，匹配效率更快，实时性强，过滤内容丰富。

Description

一种通过FPGA实现TAP设备硬件过滤的系统

技术领域

本发明涉及网络设备领域，特别是一种通过FPGA实现TAP设备硬件过滤的系统。

背景技术

以太网分路器（以下简称TAP设备）是一种以太网流量复制设备，该设备能够在不中断网络正常流量的情况下，实时获取网络数据。随着端到端网络的可视性增长，流量必须为适应大多数监测工具而定义，因此TAP设备需要根据每个独特的网络环境实现对特定流量的完全可视性，避免查看多余的数据包。  

TAP设备常被用来实时为安全和监测被动复制和转发网络流量。许多监测和分析工具的设计都是为了处理带有特定协议、标签或封装的流量。因此需要根据用户的特定需要来选择由每个网络侧接口发送到各个监控测端口的输入流量，这样每个监控测端口都可以独立、完全地自由选择要监测的网络流量，将需要的流量引导到监控工具中，减轻过度接收，充分利用各组的工具资源，从而在保持会话完整性的同时提高输出能力。TAP设备一般使用过滤技术以剥离有关的数据流，这种技术可以基于硬件（ASIC、FPGA）或软件（NPU）处理实现。

传统TAP设备实现流量过滤一般有二种实现方式，一是通过内嵌交换机芯片实现；二是通过NPU（网络处理器）实现。

参照图1所示的第一种实现方式，原有链路的数据经过RJ接口接入TAP设备，经过继电器、变压器和PHY进入Switch芯片，通过配置Switch的过滤引擎参数实现过滤功能。这种方式是基于ASIC实现。但这种实现方式中，交换机芯片属于专用集成芯片，功能固定无法灵活配置；受限于交换机芯片的缓存资源限制，实现的过滤规则数目有限，过滤内容有限；受制于交换机芯片的成本，一般只有高端交换机芯片具有过滤功能，导致系统成本增加。

参照图2所示的第二种实现方式，原有链路的数据经过RJ接口接入TAP设备，经过继电器、变压器和PHY进入NPU，通过高速串口输入到NPU并缓存在RAM中等待NPU的分析及过滤实现。但这种实现方式，受限于NPU的软处理机制，转发延迟较大，查询匹配的效率低，无法做到实时大流量的数据处理；NPU需要的外围配置电路多，增加了系统的复杂程度及成本。

发明内容

为解决上述问题，本发明的目的在于提供一种在FPGA中实现TAP设备硬件过滤的方法，基于硬件实现，匹配效率快，实时性强；过滤内容丰富，流量可以被如下关键字识别：源/目的 MAC地址、以太网类型、IP协议类型、IP地址、TCP/UDP端口，以及特殊的协议如DCCP、 MTP、 PGM、SCTP、UDP-Lite的端口；并且，通过可配置的寄存器、可配置的存储器和可重配置的FPGA三个方面保证能灵活和快速的实现TAP硬件过滤功能。

本发明解决其问题所采用的技术方案是：

一种通过FPGA实现TAP设备硬件过滤的系统，包括网络侧端口和监控侧端口，所述网络侧端口与监控侧端口之间连接有包括过滤装置的FPGA，所述过滤装置包括：

HASH查找引擎；

数据流敏感信息提取模块，用于从网络侧端口的输入数据中提取敏感信息；

过滤规则添加模块，用于通过HASH查找引擎添加下发的过滤规则；

过滤规则删除模块，用于通过HASH查找引擎删除下发的过滤规则；

过滤信息匹配模块，用于通过HASH查找引擎将敏感信息与过滤规则添加模块和过滤规则删除模块处理后的过滤规则进行匹配，并输出匹配结果；

流量过滤控制模块，用于根据过滤信息匹配模块的匹配结果，输出匹配成功的数据至监控侧端口。

所述数据流敏感信息提取模块包括有提取单元，所述提取单元用于从网络侧端口的输入数据中识别数据的关键字段作为敏感信息。

所述关键字段包括源/目的 MAC地址、以太网类型、IP协议类型、IP地址、TCP/UDP端口，以及协议DCCP、 MTP、 PGM、 SCTP、 UDP-Lite的端口。

所述HASH查找引擎包括CAMtable、CAMIntable、MANtable、FILtable查找表以及HASH计算单元，且FILtable查找表为链表结构，其中：

所述CAMtable表用于存储下发的过滤规则；

所述HASH计算单元用于计算过滤规则或提取的敏感信息的HASH值；

所述FILtable表用于存储过滤规则添加模块所添加的过滤规则或用于从中删除过滤规则删除模块需要删除的过滤规则；

所述CAMIntable表用于存储FILtable表的入口地址，并通过HASH计算单元计算的HASH值进行访问；

所述MANtable表为地址管理表，用于分配或收回FILtable链表的地址。

所述过滤规则添加模块通过HASH查找引擎添加下发的过滤规则具体为：

（51）根据过滤规则的索引地址从CAMtable表中读取过滤规则；

（52）由HASH计算单元获取此过滤规则的HASH值；

（53）根据HASH值访问CAMIntable表，若访问无效，则进入步骤（55），若访问有效，则从CAMIntable表中获取FILtable表对应的入口地址；

（54）从入口地址依次读取FILtable链表中的内容直至FILtable链表的尾部；

（55）从MANtable表中读取一个地址作为FILtable链表的写入地址，将过滤规则写入到FILtable链表中。

所述步骤（51）根据过滤规则的索引地址从CAMtable表中读取过滤规则时，如果读取无效，则将过滤规则写入索引地址所对应的CAMtable表中，如果读取有效，则调用过滤规则删除模块将此过滤规则删除，并将过滤规则写入索引地址所对应的CAMtable表中。

所述过滤规则删除模块通过HASH查找引擎删除下发的过滤规则具体为：

（71）根据过滤规则的索引地址从CAMtable表中读取过滤规则；

（72）若读取无效，则进入步骤（77），若读取有效，则读取索引地址所对应CAMtable表中的过滤规则，并置索引地址所对应CAMtable表中的过滤规则无效；

（73）由HASH计算单元获取所读取的过滤规则的HASH值；

（74）由HASH值访问CAMIntable表获取FILtable链表对应的入口地址；

（75）将此入口地址交回给地址管理表MANtable；

（76）更新FILtable链表；

（77）删除结束。

所述过滤信息匹配模块通过HASH查找引擎将敏感信息与过滤规则添加模块和过滤规则删除模块处理后的过滤规则进行匹配，具体为：

（81）由HASH计算单元计算敏感信息的HASH值；

（82）由HASH值访问CAMIntable表，若访问无效，则进入步骤（86），若访问有效，则从CAMIntable表中获取FILtable链表对应的入口地址；

（83）从入口地址读取FILtable链表中的过滤规则；

（84）将敏感信息与从FILtable链表中读取的过滤规则进行匹配，若匹配成功，则进入步骤（86）；

（85）检测是否到达FILtable链表的尾部，若没有到达，则读取FILtable链表中的下一个过滤规则，并进入步骤（84）；

（86）匹配操作结束，输出匹配结果。本发明的有益效果是：

本发明采用一种通过FPGA实现TAP设备硬件过滤的系统，除PHY（物理层接口芯片）及FPGA之外，无需其他核心器件，即可实现网络侧端口输入的数据与过滤规则的匹配，简化了系统的复杂程度，降低了设备成本；匹配算法采用HASH查找引擎，从硬件上实现流量过滤技术，该方案匹配效率快，实时性强，过滤内容丰富。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是采用内嵌交换机芯片方式实现过滤的原理示意图；

图2是采用NPU实现过滤的原理示意图；

图3是本发明所述系统的原理示意图；

图4是本发明所述过滤模块的结构组成示意图；

图5是本发明所述数据流敏感信息提取模块提取的流程示意图；

图6是本发明所述HASH查找引擎的原理示意图；

图7是本发明所述过滤规则添加模块添加过滤规则的流程示意图；

图8是本发明所述过滤规则删除模块删除过滤规则的流程示意图；

图9是本发明所述过滤信息匹配模块进行匹配的流程示意图。

具体实施方式

参照图1与图2所示，在背景技术当中已经叙述了采用此两种方式所具有的现实问题，本发明正是基于这种现实问题，提出了一种新的过滤方式。

参照图3所示，本发明所述的系统包括网络侧端口和监控侧端口，所述网络侧端口与监控侧端口之间连接有包括过滤装置的FPGA。原有链路的数据经过RJ接口接入TAP设备的网络侧端口，依次经过继电器R、变压器T和PHY进入过滤装置，经过滤装置过滤后，依次由监控侧端口的PHY、变压器T和RJ接口输出数据。这种实现方式比较简单，成本较小，而且匹配效率快，实时性强，过滤内容丰富。

参照图4所示，所述过滤装置包括：

HASH查找引擎；

数据流敏感信息提取模块，用于从网络侧端口的输入数据中提取敏感信息；

过滤规则添加模块，用于通过HASH查找引擎添加下发的过滤规则；

过滤规则删除模块，用于通过HASH查找引擎删除下发的过滤规则；

过滤信息匹配模块，用于通过HASH查找引擎将敏感信息与过滤规则添加模块和过滤规则删除模块处理后的过滤规则进行匹配，并输出匹配结果；

流量过滤控制模块，用于根据过滤信息匹配模块的匹配结果，输出匹配成功的数据至监控侧端口。

参照图5所示，所述数据流敏感信息提取模块包括有提取单元，此提取单元用于从网络侧端口的输入数据中识别数据的关键字段作为敏感信息。所述的关键字段包括源/目的 MAC地址、以太网类型、IP协议类型、IP地址、TCP/UDP端口，以及协议DCCP、 MTP、 PGM、 SCTP、 UDP-Lite的端口，从网络侧端口中提取的这些关键字段通过与过滤规则进行匹配，可以检测出所需要的过滤数据，并将这些数据输出到监控侧端口，从而实现数据过滤。在实现过程中，可以根据需要调整提取单元可以识别的关键字段，本发明包括但不限于以上所述关键字段，对应的，过滤规则亦可以根据关键字段的不同而进行对应调整。

参照图6所示，所述过滤规则添加模块、过滤规则删除模块和过滤信息匹配模块通过HASH查找引擎实现添加、删除和匹配操作。HASH查找引擎包括CAMtable、CAMIntable、MANtable、FILtable四个查找表以及HASH计算单元，所述的CAMtable、CAMIntable、MANtable均为普通表，FILtable为链表结构，其中：

所述CAMtable表用于存储下发的过滤规则；

所述HASH计算单元用于计算过滤规则或提取的敏感信息的HASH值；

所述FILtable表用于存储过滤规则添加模块所添加的过滤规则或用于从中删除过滤规则删除模块需要删除的过滤规则；

所述CAMIntable表用于存储FILtable表的入口地址，并通过HASH计算单元计算的HASH值进行访问；

所述MANtable表为地址管理表，用于分配或收回FILtable链表的地址。

本发明根据HASH计算单元所计算的HASH值可以快速访问CAMIntable表，加快访问的速度，有利于过滤的快速实现。

所述过滤规则添加模块通过HASH查找引擎向FILtable链表中添加过滤规则。上层软件在下发每一个过滤内容时，会同时分配一个索引地址（Index），此Index地址为CAMtable表的入口地址，因此，通过此Index地址可以将过滤规则写入CAMtable表中，进而实现添加操作，具体参照图7所示，包括：

步骤700，根据过滤规则的索引地址从CAMtable表中读取过滤规则。

本步骤中，CAMtable表中对于每一个存储的过滤规则均设置有对应的一个有效位Valid，当写入一个数据到该地址时，将地址的有效位Valid置1，无效时则置Valid为0，如果读取无效，说明此索引地址并没有存储过滤规则，则可以直接将现有的过滤规则写入索引地址所对应的CAMtable表中，否则，说明此索引地址存储有过滤规则，则需要将此索引地址对应的已存储的过滤规则删除后再将现有过滤规则写入CAMtable表中，通过调用过滤规则删除模块可以将此索引地址所对应的CAMtable表中已经存储的过滤规则删除。

步骤701，由HASH计算单元获取此过滤规则的HASH值。

本步骤中，HASH计算单元通过HASH算法计算出HASH值，以此HASH值可以实现快速访问，并为后续的快速匹配过滤等提升效率。

步骤702，根据HASH值访问CAMIntable表，若访问无效，则进入步骤（704），若访问有效，则从CAMIntable表中获取FILtable链表对应的入口地址。

本步骤中，CAMIntable表中也分配有一位有效位Valid，当写入一个数据到该CAMIntable表时，则置对应地址的有效位Valid为1，无效时则置Valid为0，因此访问CAMIntable表中的该有效位就知道当前CAMIntable表中的该地址是否有效。

步骤703，从入口地址依次读取FILtable链表中的内容直至FILtable链表的尾部。

本步骤中，因为FILtable的链表结构，在存储时，需要将过滤规则添加到链表最后的一个空间，因此，需要根据FILtable链表中所存储的数据及数据指向的地址逐次读取FILtable链表中的内容，直至链表的尾部，之后方可进行存储。

步骤704，从MANtable表中读取一个地址作为FILtable链表的写入地址，将过滤规则写入到FILtable链表中。

本发明通过MANtable表管理FILtable链表的地址，可以快速地获取FILtable链表中可用的地址和已经存储的地址。

所述过滤规则删除模块通过HASH查找引擎删除过滤规则，删除时，删除此过滤规则在四个表中的所有信息，具体参照图8所示，包括：

步骤800，根据过滤规则的索引地址从CAMtable表中读取过滤规则；

步骤801，若读取无效，则进入步骤（806），若读取有效，则读取索引地址所对应CAMtable表中的过滤规则，并置索引地址所对应CAMtable表中的过滤规则无效，即将有效位Valid置0；

步骤802，由HASH计算单元获取所读取的过滤规则的HASH值；

步骤803，由HASH值访问CAMIntable表获取FILtable链表对应的入口地址；

步骤804，将此入口地址交回给地址管理表MANtable；

步骤805，更新FILtable链表；由于FILtable的链表结构，删除其中一个内容时，需要调整链表中指针的指向；

步骤806，删除结束。

在所述过滤规则添加模块和过滤规则删除模块完成添加与删除过滤规则之后，就已经为网络侧输入的数据设置好了预设的过滤规则，只要从输入的数据中提取的敏感信息能够与过滤规则匹配成功，即可将符合过滤规则的数据过滤出来，并输出至监控侧端口进行后续的传输。在后续匹配时，由过滤信息匹配模块通过HASH查找引擎实现匹配操作，具体参照图9所示，包括：

步骤900，由HASH计算单元计算敏感信息的HASH值；在匹配时，需要根据过滤规则进行匹配，在过滤规则添加模块和过滤规则删除模块完成对FILtable链表的添加与删除操作后，通过HASH计算单元可快速完成匹配，实现快速过滤；

步骤901，由HASH值访问CAMIntable表；

步骤902，若访问无效，说明CAMIntable表中的有效位Valid为0，则无法进行匹配操作，进入步骤907，否则，说明CAMIntable表中的有效位Valid为1，则从CAMIntable表中获取FILtable链表对应的入口地址；

步骤903，从入口地址读取FILtable链表中的过滤规则；

步骤904，将敏感信息与从FILtable链表中读取的过滤规则进行匹配，若匹配成功，则进入步骤907，否则，进入步骤905；

步骤905，检测是否到达FILtable链表的尾部，若到达尾部，说明FILtable链表已经没有可以读取的数据，匹配操作结束，进入步骤907，否则，进入步骤906；

步骤906，读取FILtable链表中的下一个数据，并进入步骤904；

步骤907，匹配操作结束，输出匹配结果。

所述步骤904中，在进行匹配时，可以通过一个比较器实现，也可以通过其它方式实现。

过滤信息匹配模块通过HASH查找引擎进行匹配，有效提升了匹配效率，且降低了成本，具有较强的实时性，过滤内容更加丰富。

流量过滤控制模块则可以根据过滤信息匹配模块的匹配结果，输出匹配成功的数据至监控侧端口。流量过滤控制模块在实现时，对非匹配的数据进行丢弃，并且将匹配成功的数据输出。流量过滤控制模块由一个BUF（缓冲区）实现，根据匹配信息决定是否对写地址进行跳转。匹配成功的数据能写入进BUF，而匹配不对的数据无法写入进BUF，以此来实现对非匹配数据的丢弃。

本发明将预设的过滤规则存储于FILtable链表中，通过过滤规则添加模块与过滤规则删除模块实现过滤规则的添加与删除，对FILtable链表进行维护，当敏感信息通过HASH查找引擎进行匹配时，计算敏感信息的HASH值，进而从FILtable链表中读取对应的过滤规则进行匹配，如果匹配成功，则输出匹配数据至监控侧端口。本发明实现时，配置简单，无需其他核心器件，降低了设备成本，简化了系统的复杂程序；采用HASH查找引擎，有效地提高了匹配效率，而且过滤内容更加丰富。

以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。

Claims (8)

1.一种通过FPGA实现TAP设备硬件过滤的系统，包括网络侧端口和监控侧端口，其特征在于，所述网络侧端口与监控侧端口之间连接有包括过滤装置的FPGA，所述过滤装置包括：

HASH查找引擎；

数据流敏感信息提取模块，用于从网络侧端口的输入数据中提取敏感信息；

过滤规则添加模块，用于通过HASH查找引擎添加下发的过滤规则；

过滤规则删除模块，用于通过HASH查找引擎删除下发的过滤规则；

过滤信息匹配模块，用于通过HASH查找引擎将敏感信息与过滤规则添加模块和过滤规则删除模块处理后的过滤规则进行匹配，并输出匹配结果；

流量过滤控制模块，用于根据过滤信息匹配模块的匹配结果，输出匹配成功的数据至监控侧端口。

2.根据权利要求1所述的系统，其特征在于，所述数据流敏感信息提取模块包括有提取单元，所述提取单元用于从网络侧端口的输入数据中识别数据的关键字段作为敏感信息。

3.根据权利要求2所述的系统，其特征在于，所述关键字段包括源/目的 MAC地址、以太网类型、IP协议类型、IP地址、TCP/UDP端口，以及协议DCCP、 MTP、 PGM、 SCTP、 UDP-Lite的端口。

4.根据权利要求1所述的系统，其特征在于，所述HASH查找引擎包括CAMtable、CAMIntable、MANtable、FILtable查找表以及HASH计算单元，且FILtable查找表为链表结构，其中：

所述CAMtable表用于存储下发的过滤规则；

所述HASH计算单元用于计算过滤规则或提取的敏感信息的HASH值；

所述FILtable表用于存储过滤规则添加模块所添加的过滤规则或用于从中删除过滤规则删除模块需要删除的过滤规则；

所述CAMIntable表用于存储FILtable表的入口地址，并通过HASH计算单元计算的HASH值进行访问；

所述MANtable表为地址管理表，用于分配或收回FILtable链表的地址。

5.根据权利要求4所述的系统，其特征在于，所述过滤规则添加模块通过HASH查找引擎添加下发的过滤规则具体为：

（51）根据过滤规则的索引地址从CAMtable表中读取过滤规则；

（52）由HASH计算单元获取此过滤规则的HASH值；

（53）根据HASH值访问CAMIntable表，若访问无效，则进入步骤（55），若访问有效，则从CAMIntable表中获取FILtable表对应的入口地址；

（54）从入口地址依次读取FILtable链表中的内容直至FILtable链表的尾部；

（55）从MANtable表中读取一个地址作为FILtable链表的写入地址，将过滤规则写入到FILtable链表中。

6.根据权利要求5所述的系统，其特征在于，所述步骤（51）根据过滤规则的索引地址从CAMtable表中读取过滤规则时，如果读取无效，则将过滤规则写入索引地址所对应的CAMtable表中，如果读取有效，则调用过滤规则删除模块将此过滤规则删除，并将过滤规则写入索引地址所对应的CAMtable表中。

7.根据权利要求4所述的系统，其特征在于，所述过滤规则删除模块通过HASH查找引擎删除下发的过滤规则具体为：

（71）根据过滤规则的索引地址从CAMtable表中读取过滤规则；

（72）若读取无效，则进入步骤（77），若读取有效，则读取索引地址所对应CAMtable表中的过滤规则，并置索引地址所对应CAMtable表中的过滤规则无效；

（73）由HASH计算单元获取所读取的过滤规则的HASH值；

（74）由HASH值访问CAMIntable表获取FILtable链表对应的入口地址；

（75）将此入口地址交回给地址管理表MANtable；

（76）更新FILtable链表；

（77）删除结束。

8.根据权利要求5所述的系统，其特征在于，所述过滤信息匹配模块通过HASH查找引擎将敏感信息与过滤规则添加模块和过滤规则删除模块处理后的过滤规则进行匹配，具体为：

（81）由HASH计算单元计算敏感信息的HASH值；

（82）由HASH值访问CAMIntable表，若访问无效，则进入步骤（86），若访问有效，则从CAMIntable表中获取FILtable链表对应的入口地址；

（83）从入口地址读取FILtable链表中的过滤规则；

（84）将敏感信息与从FILtable链表中读取的过滤规则进行匹配，若匹配成功，则进入步骤（86）；

（85）检测是否到达FILtable链表的尾部，若没有到达，则读取FILtable链表中的下一个过滤规则，并进入步骤（84）；

（86）匹配操作结束，输出匹配结果。

Images