CN117857669A - 一种数据包抓取方法、装置、设备及介质 - Google Patents

一种数据包抓取方法、装置、设备及介质 Download PDF

Info

Publication number
CN117857669A
CN117857669A CN202410026476.6A CN202410026476A CN117857669A CN 117857669 A CN117857669 A CN 117857669A CN 202410026476 A CN202410026476 A CN 202410026476A CN 117857669 A CN117857669 A CN 117857669A
Authority
CN
China
Prior art keywords
data packet
sfp
chip
interfaces
fpga chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410026476.6A
Other languages
English (en)
Inventor
顾焕峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengli Anyuan Technology Hangzhou Co ltd
Original Assignee
Shengli Anyuan Technology Hangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengli Anyuan Technology Hangzhou Co ltd filed Critical Shengli Anyuan Technology Hangzhou Co ltd
Priority to CN202410026476.6A priority Critical patent/CN117857669A/zh
Publication of CN117857669A publication Critical patent/CN117857669A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/12—Network monitoring probes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/10—Packet switching elements characterised by the switching fabric construction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/10—Packet switching elements characterised by the switching fabric construction
    • H04L49/111—Switch interfaces, e.g. port details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种数据包抓取方法、装置、设备及介质，涉及网络抓包领域，包括：通过交换芯片将从多个第一SFP+接口接收到的多个数据包基于多个以太网输入接口输入至FPGA芯片；通过FPGA芯片中的多个以太网解析模块对各数据包进行解析并将解析后的数据包存储至各缓冲器；通过FPGA芯片中的仲裁器对各缓冲器中的已存储数据包进行处理并将处理后的数据包缓存至DDR4；通过FPGA芯片中的流量控制器基于数据包抓取设备的接收性能从DDR4读取目标数据包，并通过第二SFP+接口将目标数据包通过网卡传输至数据包抓取设备以完成对数据包的抓取。本申请通过特定架构并基于FPGA芯片结合网卡解决了网络抓包过程中的丢包问题。

Description

一种数据包抓取方法、装置、设备及介质
技术领域
本发明涉及网络抓包领域，特别涉及一种数据包抓取方法、装置、设备及介质。
背景技术
Tcpdump广泛应用于网络抓包，是目前主流的网络抓包和网络数据分析工具；一般在数据传输过程中，通过NIC(Network Interface Controller，网卡)接收主动推送过来的数据包，并缓存在内核的RingBuffer(环形缓冲区)中，然后通过BPF(Berkeley PacketFilter，伯克利封包过滤器)对数据包进行过滤，并将过滤后的数据包发送至Tcpdump抓包工具。但是在突发大流量或者CPU(Central Processing Unit，中央处理器)任务调度、性能低下等场景中，Tcpdump抓包容易出现网卡丢包或者协议栈RingBuffer(环形缓冲区)溢出等问题，而不完整的数据往往会给网络数据分析造成无法弥补的问题，特别是在金融、网络安全等相关领域。
发明内容
有鉴于此，本发明的目的在于提供一种数据包抓取方法、装置、设备及介质，能够通过交换设备的特定架构，并基于FPGA芯片中的流量控制器根据数据包抓取设备的接收性能控制数据包的读取速率，并将读取的数据包通过普通网卡传输至数据包抓取设备以完成对数据包的抓取，保证了数据包抓取的完整性，解决了网络抓包过程中的丢包问题。其具体方案如下：
第一方面，本申请提供了一种数据包抓取方法，应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述方法包括：
当所述交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过所述交换芯片将各所述待抓取数据包基于与所述多个第一SFP+接口分别对应的多个以太网输入接口输入至所述FPGA芯片；所述第一SFP+接口与外部数据收发设备一一对应；
通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，并将各解析后的数据包存储至与各所述以太网解析模块分别连接的缓冲器中；
通过所述FPGA芯片中的仲裁器对各所述缓冲器中的已存储数据包进行处理，并将处理后的数据包缓存至所述DDR4存储器中；
通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，以完成所述外部数据包抓取设备对数据包的抓取。
可选的，所述方法还包括：
当所述交换芯片接收到任一第一SFP+接口传输的所述待抓取数据包时，通过所述交换芯片从所有第一SFP+接口中确定与所述任一第一SFP+接口对应的目标第一SFP+接口，并将所述待抓取数据包通过所述目标第一SFP+接口传输至目标外部数据收发设备。
可选的，所述方法还包括：
通过控制模块中的ARM处理器将各芯片配置信息分别传输至所述交换芯片以及所述FPGA芯片，以便所述交换芯片以及所述FPGA芯片基于各自对应的所述芯片配置信息进行配置；
通过所述控制模块中的微控制单元对所述交换设备中的CPLD固件进行远程升级；
其中，所述控制模块位于所述交换设备中；所述控制模块通过集成电路总线与所述交换芯片连接，并通过XFI通道与所述FPGA芯片连接。
可选的，所述以太网输入接口为对所述第一SFP+接口的输入所述交换芯片的通道进行复制得到的输入接口；所述以太网输入接口的数量与所述第一SFP+接口的数量相同。
可选的，所述通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，包括：
通过所述FPGA芯片中的时间戳模块获取时钟模块中的全球定位系统发送的时间同步信号，以及获取所述时钟模块中的晶体振荡器发送的时钟信号；所述时钟模块位于所述交换设备中；
通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，以得到各所述解析后的数据包；
通过所述时间戳模块基于所述时间同步信号和所述时钟信号对各所述解析后的数据包进行时间戳同步标记。
可选的，所述通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，包括：
通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能确定数据包读取量；
通过所述FPGA芯片中的内存控制器基于所述数据包读取量从所述DDR4存储器中读取相应数量的目标数据包，并将所述目标数据包发送至所述流量控制器；
通过所述流量控制器基于预设高速通道接口将所述目标数据包传输至所述交换芯片，以便所述交换芯片通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备。
可选的，所述外部数据包抓取设备为基于网络数据采集分析工具构建的设备；所述网络数据采集分析工具包括Tcpdump工具。
第二方面，本申请提供了一种数据包抓取装置，应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述装置包括：
数据包传输模块，用于当所述交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过所述交换芯片将各所述待抓取数据包基于与所述多个第一SFP+接口分别对应的多个以太网输入接口输入至所述FPGA芯片；所述第一SFP+接口与外部数据收发设备一一对应；
数据包解析模块，用于通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，并将各解析后的数据包存储至与各所述以太网解析模块分别连接的缓冲器中；
数据包缓存模块，用于通过所述FPGA芯片中的仲裁器对各所述缓冲器中的已存储数据包进行处理，并将处理后的数据包缓存至所述DDR4存储器中；
数据包抓取模块，用于通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，以完成所述外部数据包抓取设备对数据包的抓取。
第三方面，本申请提供了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现前述的数据包抓取方法。
第四方面，本申请提供了一种计算机可读存储介质，用于保存计算机程序，所述计算机程序被处理器执行时实现前述的数据包抓取方法。
本申请中，该数据包抓取方法应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述方法包括：当所述交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过所述交换芯片将各所述待抓取数据包基于与所述多个第一SFP+接口分别对应的多个以太网输入接口输入至所述FPGA芯片；所述第一SFP+接口与外部数据收发设备一一对应；通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，并将各解析后的数据包存储至与各所述以太网解析模块分别连接的缓冲器中；通过所述FPGA芯片中的仲裁器对各所述缓冲器中的已存储数据包进行处理，并将处理后的数据包缓存至所述DDR4存储器中；通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，以完成所述外部数据包抓取设备对数据包的抓取。由此可见，一方面，本申请通过流量控制器根据数据包抓取设备的接收性能控制数据包的读取速率，并将读取的数据包通过普通网卡传输至数据包抓取设备，以完成数据包抓取设备对数据包的抓取功能，从而在数据包抓取设备性能较差的情况下也可以保证数据包抓取的完整性，一定程度上解决了网络抓包过程中的丢包问题；并且，本申请通过在交换设备中配置多个用于连接外部数据收发设备的第一SFP+接口，从而通过一张网卡便可以同时对多个以太网物理通道进行网络抓包。另一方面，本申请通过采用独立的以太网解析模块分别对各个以太网输入接口接收到的数据包进行解析，确保数据并行处理彼此无等待时间，保证了数据包处理的实时性；另外，本申请通过为每个以太网解析模块分别配置一个缓冲器，以确保仲裁器在切换到某个通道时，其他通道可以继续通过缓冲器缓存这段时间内接收到的数据包，从而保证数据包的完整性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种数据包抓取方法流程图；
图2为本申请公开的一种数据包抓取结构图；
图3为本申请公开的一种设备接线示意图；
图4为本申请公开的一种FPGA芯片结构图；
图5为本申请公开的一种数据包抓取装置结构示意图；
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，在突发大流量或者CPU任务调度、性能低下等场景中，Tcpdump抓包容易出现网卡丢包或者协议栈RingBuffer(环形缓冲区)溢出等问题，而不完整的数据往往会给网络数据分析造成无法弥补的问题。为此，本申请提供了一种数据包抓取方法，通过交换设备的特定架构，并基于FPGA芯片中的流量控制器根据数据包抓取设备的接收性能控制数据包的读取速率，并将读取的数据包通过普通网卡传输至数据包抓取设备以完成对数据包的抓取，保证了数据包抓取的完整性，解决了网络抓包过程中的丢包问题。
参见图1所示，本发明实施例公开了一种数据包抓取方法，应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述方法包括：
步骤S11、当所述交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过所述交换芯片将各所述待抓取数据包基于与所述多个第一SFP+接口分别对应的多个以太网输入接口输入至所述FPGA芯片；所述第一SFP+接口与外部数据收发设备一一对应。
本实施例中，如图2所示，交换设备包括主功能模块(Main function module)中的FPGA(Field Programmable Gate Array，现场可编程逻辑门阵列)芯片、Swith交换芯片、存储模块(Memory module)中的DDR4(Double Data Rate，双倍数据速率)存储器、若干SFP+(Small Form-factor Pluggables，小型可插拔)接口、控制模块(Control module)中的ARM(Advanced RISC Machines，先进的精简指令微处理器)和MCU(Micro Control Unit，微控制单元)、配置模块(Config module)中的RJ45(Registered Jack 45，一种由插头和插座组成的连接器)、时钟模块(Clock module)中的GPS(Global Positioning System，全球定位系统)和OCXO(Oven Controlled Crystal Oscillator，恒温晶体振荡器)、电源模块(Powermodule)；其中，控制模块通过IIC(Inter-Integrated Circuit，集成电路总线)与交换芯片连接，并通过XFI(一种10Gbit/s的光纤通道)与FPGA芯片连接。并且，交换设备中的SFP+接口用于连接外部设备与交换芯片；第一SFP+接口包括SFP+#1_1～SFP+#44_1、SFP+#1_2～SFP+#44_2，第一SFP+接口与外部数据收发设备一一对应，其中，SFP+#1_1与SFP+#1_2相对应，SFP+#2_1与SFP+#2_2相对应，依此类推，SFP+#44_1与SFP+#44_2相对应；第二SFP+接口包括SFP+#45_1～SFP+#48_1，第二SFP+接口与NIC网卡相连，而NIC网卡与外部数据包抓取设备相连，从而实现外部数据包抓取设备对数据包的抓取。
本实施例中，如图3所示，现有的数据传输是通过网线连接设备#1和设备#2，从而基于以太网在设备#1和设备#2之间进行数据传输，但是如果设备#1和设备#2之间布线连接错误或者想要更改连接关系，在通过网线连接的情况下是比较麻烦的。而本申请通过将设备#1与交换设备中的SFP+#1_1接口连接，将设备#2与交换设备中的SFP+#1_2接口连接，SFP+#1_1接口和SFP+#1_2接口均与交换芯片连接，在这种连接关系下，如果设备#1和设备#2之间布线连接错误或者想要更改连接关系，仅需要对交换芯片中的SFP+接口的连接对应关系进行配置更改即可，操作方便简单且对于现有网络的布线基本无影响。
具体的，在设备#1和设备#2之间进行数据传输的过程包括：当设备#1基于以太网将待抓取数据包传输至与设备#1对应的SFP+#1_1接口时，交换设备中的交换芯片会相应的接收到SFP+#1_1接口传输的待抓取数据包，然后通过交换芯片从所有第一SFP+接口中确定与SFP+#1_1接口对应的SFP+#1_2接口，并将待抓取数据包通过SFP+#1_2接口传输至设备#2。
本实施例中，由于存在多个外部数据收发设备同时通过交换设备进行数据传输的情况，因此当交换设备中的交换芯片同时接收到多个第一SFP+接口传输的待抓取数据包时，通过交换芯片将各待抓取数据包基于与多个第一SFP+接口分别对应的多个以太网输入接口输入至交换设备中的FPGA芯片。可以理解的是，以太网输入接口为对第一SFP+接口的输入交换芯片的通道进行复制得到的输入接口，以太网输入接口为交换芯片将数据包传输至FPGA芯片的单向通道；并且，以太网输入接口的数量与第一SFP+接口的数量相同。例如，若第一SFP+接口的数量为88个，则多个以太网输入接口为对88个第一SFP+接口的输入交换芯片的通道分别进行复制得到的输入接口，并且，以太网输入接口的数量也为88个。需要说明的是，88个以太网输入接口也可以为对SFP+#1_1～SFP+#44_1的输入输出交换芯片的通道分别进行复制得到的输入接口，还可以为对SFP+#1_2～SFP+#44_2的输入输出交换芯片的通道分别进行复制得到的输入接口。
步骤S12、通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，并将各解析后的数据包存储至与各所述以太网解析模块分别连接的缓冲器中。
本实施例中，在FPGA芯片通过多个以太网输入接口接收到交换芯片传输的多个待抓取数据包时，通过FPGA芯片中与各以太网输入接口分别连接的以太网解析模块对各待抓取数据包进行解析，以得到各解析后的数据包，并将各解析后的数据包存储至与各以太网解析模块分别连接的缓冲器(buffer)中。
具体的，通过FPGA芯片中的时间戳模块(Timestamp module)获取位于交换设备的时钟模块中的全球定位系统GPS发送的时间同步信号，以及获取位于交换设备的时钟模块中的恒温晶体振荡器OCXO发送的时钟信号；通过FPGA芯片中与各以太网输入接口分别连接的以太网解析模块对各待抓取数据包进行解析，以得到各解析后的数据包；通过时间戳模块基于时间同步信号和时钟信号对各解析后的数据包进行时间戳同步标记；然后将各解析后的数据包以及对应的时间戳存储至与各以太网解析模块分别连接的缓冲器中。这样一来，本实施例通过在FPGA芯片中采用统一的时间戳模块，可以实现对同一时刻接收到的数据包的同步时间戳标记，并且可以对每帧数据打上精准到ps皮秒级的时间戳，同时，时间戳模块通过GPS提供秒级时间同步以及通过OCXO提供高精度守时时钟，从而确保了绝对时间的准确性；另外，本实施例通过采用独立的以太网解析模块分别对各个以太网输入接口接收到的数据包进行解析，确保数据并行处理彼此无等待时间，并且保证了对各数据包进行时间戳标记的实时性。
步骤S13、通过所述FPGA芯片中的仲裁器对各所述缓冲器中的已存储数据包进行处理，并将处理后的数据包缓存至所述DDR4存储器中。
本实施例中，通过FPGA芯片中的仲裁器(arbiter)对各缓冲器中的已存储数据包进行处理，并将处理后的数据包发送至FPGA芯片中的内存控制器(Memory control)，然后内存控制器基于DDR4存储器的IP(Internet Protocol，网际互连协议)地址将处理后的数据包缓存至位于交换设备的DDR4存储器中。需要说明的是，仲裁器一般情况下一次只能处理一个通道的数据，也即一次只能从一个缓冲器中读取数据包并进行处理，因此，本实施例通过为每个以太网解析模块分别配置一个缓冲器，以确保仲裁器在切换到某个通道时，其他通道可以继续通过缓冲器缓存这段时间内接收到的数据包，从而保证数据包的完整性。并且，本实施例通过采用大容量的DDR4存储器，可以实现128G数据的实时存储，其总带宽达到320Gbit/s，可以确保在数据存储过程中不丢帧。
步骤S14、通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，以完成所述外部数据包抓取设备对数据包的抓取。
本实施例中，通过FPGA芯片中的流量控制器(Flow rate control)基于外部数据包抓取设备的接收性能确定数据包读取量；然后通过FPGA芯片中的内存控制器基于数据包读取量从DDR4存储器中读取相应数量的目标数据包，并将目标数据包发送至流量控制器；通过流量控制器基于预设高速通道接口将目标数据包传输至交换设备中的交换芯片，以便交换芯片通过与预设高速通道接口对应的第二SFP+接口将目标数据包通过网卡传输至外部数据包抓取设备。需要说明的是，预设高速通道接口为对第二SFP+接口的输入输出交换芯片的双向通道进行复制得到的双向接口，也即预设高速通道接口与第二SFP+接口一一对应，且预设高速通道接口的数量与第二SFP+接口的数量相同。并且，外部数据包抓取设备为基于网络数据采集分析工具构建的设备；其中，网络数据采集分析工具包括Tcpdump抓包工具。这样一来，本实施例通过流量控制器根据数据包抓取设备的接收性能控制数据包的读取速率，并将读取的数据包通过普通网卡传输至数据包抓取设备，以完成数据包抓取设备对数据包的抓取功能，从而在数据包抓取设备性能较差的情况下也可以保证数据包抓取的完整性，并且解决了网络抓包过程中的丢包问题。另外，本实施例通过在交换设备中配置多个用于连接外部数据收发设备的第一SFP+接口，从而通过一张网卡便可以同时对多个以太网物理通道进行网络抓包，并且数据不区分TCP(Transmission Control Protocol，传输控制协议)和UDP(User Datagram Protocol，用户数据报协议)，也即可以支持所有类型数据包的抓取。
需要说明的是，对于FPGA芯片中的88个以太网输入接口；在第一种情况下，可以将88个以太网输入接口接收到的数据包都通过一个高速通道接口传输至交换芯片，从而交换芯片通过一个与该高速通道接口对应的第二SFP+接口将数据包通过网卡传输至外部数据包抓取设备；在第二种情况下，可以将88个以太网输入接口分为四组，每组对应一个高速通道接口，任意一组中的以太网输入接口接收到的数据包都通过同一个高速通道接口传输至交换芯片，从而交换芯片通过与该高速通道接口对应的第二SFP+接口将数据包通过网卡传输至外部数据包抓取设备。
本实施例中，FPGA芯片中还包括登记模块(Register module)，登记模块可以对FPGA内部的各模块配置参数以及各通道的数据包接收数量、数据包丢帧率、数据包传输速率等参数进行统计，以便用户可以对统计的各参数进行查看。
进一步的，如图2所示，在NIC网卡接收到目标数据包之后，通过NIC网卡基于DMA(Direct Memory Access，直接内存访问)将目标数据包传输至内核的驱动程序，驱动程序将目标数据包通过网络设备层存储至基于协议栈的RingBuffer环形缓冲区中，然后通过注入网络设备层的BPF过滤器对从环形缓冲区中读取的目标数据包进行过滤，并将过滤后的数据包传输至包含Libpcap(一种unix/linux平台下的网络数据包捕获函数包)工具的Tcpdump抓包工具中，从而实现对数据包的抓取功能；同时，用户层可以从协议栈中读取位于环形缓冲区中的数据包。
本实施例中，如图2所示，通过位于交换设备的控制模块中的ARM处理器将交换芯片的配置信息基于IIC集成电路总线传输至交换芯片，以便交换芯片基于接收到的配置信息对自身进行配置；并且，通过位于交换设备的控制模块中的ARM处理器将FPGA芯片的配置信息通过XFI通道传输至FPGA芯片，也即此时FPGA芯片可以通过自身的XFI接口接收到配置信息，并基于接收到的配置信息对自身进行配置；除此之外，FPGA芯片中的XFI接口还可以接收上传的各种统计参数。另外，通过位于交换设备的控制模块中的MCU微控制单元可以对交换设备中的CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)固件进行远程升级。这样一来，本实施例可以通过控制模块中ARM处理器负责上位机的通信以及板载设备的配置功能，通过控制模块中的MCU微控制单元实现CPLD固件的远程升级功能。
由此可见，一方面，本申请通过流量控制器根据数据包抓取设备的接收性能控制数据包的读取速率，并将读取的数据包通过普通网卡传输至数据包抓取设备，以完成数据包抓取设备对数据包的抓取功能，从而在数据包抓取设备性能较差的情况下也可以保证数据包抓取的完整性，一定程度上解决了网络抓包过程中的丢包问题；并且，本申请通过在交换设备中配置多个用于连接外部数据收发设备的第一SFP+接口，从而通过一张网卡便可以同时对多个以太网物理通道进行网络抓包。另一方面，本申请通过采用独立的以太网解析模块分别对各个以太网输入接口接收到的数据包进行解析，确保数据并行处理彼此无等待时间，保证了数据包处理的实时性；另外，本申请通过为每个以太网解析模块分别配置一个缓冲器，以确保仲裁器在切换到某个通道时，其他通道可以继续通过缓冲器缓存这段时间内接收到的数据包，从而保证数据包的完整性。
参见图4所示，本发明实施例公开了一种数据包抓取方法，应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述方法包括：
当位于交换设备中的交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过交换芯片将各待抓取数据包基于与多个第一SFP+接口分别对应的多个以太网输入接口输入至位于交换设备中的FPGA芯片。其中，第一SFP+接口用于将从外部数据收发设备接收的数据包传输至交换芯片中；以太网输入接口包括MAC_rx#1～MAC_rx#88。
通过FPGA芯片中的时间戳模块(Timestamp module)获取位于交换设备的时钟模块中的全球定位系统GPS发送的时间同步信号，以及获取位于交换设备的时钟模块中的恒温晶体振荡器OCXO发送的时钟信号；通过FPGA芯片中与各以太网输入接口分别连接的以太网解析模块对各待抓取数据包进行解析，以得到各解析后的数据包；其中，以太网解析模块包括Ethernet RX onload#1～Ethernet RX onload#88；然后FPGA芯片通过时间戳模块基于时间同步信号和时钟信号对各解析后的数据包进行时间戳同步标记，并将各解析后的数据包以及对应的时间戳存储至与各以太网解析模块分别连接的缓冲器(buffer)中。
通过FPGA芯片中的仲裁器(arbiter)对各缓冲器中的已存储数据包进行处理，并将处理后的数据包发送至FPGA芯片中的内存控制器(Memory control)，然后内存控制器基于DDR4存储器的IP地址将处理后的数据包缓存至位于交换设备的DDR4存储器中。
通过FPGA芯片中的流量控制器(Flow rate control)基于外部数据包抓取设备的接收性能确定数据包读取量，并通过FPGA芯片中的内存控制器基于数据包读取量从DDR4存储器中读取相应数量的目标数据包，然后将目标数据包发送至流量控制器；通过流量控制器基于预设高速通道接口，例如MAC#92将目标数据包传输至交换设备中的交换芯片，以便交换芯片通过与预设高速通道接口MAC#92对应的SFP+#48_1将目标数据包通过网卡传输至外部数据包抓取设备。其中，预设高速通道接口包括MAC#89～MAC#92。
由此可见，一方面，本申请通过流量控制器根据数据包抓取设备的接收性能控制数据包的读取速率，并将读取的数据包通过普通网卡传输至数据包抓取设备，以完成数据包抓取设备对数据包的抓取功能，从而在数据包抓取设备性能较差的情况下也可以保证数据包抓取的完整性，一定程度上解决了网络抓包过程中的丢包问题；并且，本申请通过在交换设备中配置多个用于连接外部数据收发设备的第一SFP+接口，从而通过一张网卡便可以同时对多个以太网物理通道进行网络抓包。另一方面，本申请通过采用独立的以太网解析模块分别对各个以太网输入接口接收到的数据包进行解析，确保数据并行处理彼此无等待时间，保证了数据包处理的实时性；另外，本申请通过为每个以太网解析模块分别配置一个缓冲器，以确保仲裁器在切换到某个通道时，其他通道可以继续通过缓冲器缓存这段时间内接收到的数据包，从而保证数据包的完整性。
参见图5所示，本发明实施例公开了一种数据包抓取装置，应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述装置包括：
数据包传输模块11，用于当所述交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过所述交换芯片将各所述待抓取数据包基于与所述多个第一SFP+接口分别对应的多个以太网输入接口输入至所述FPGA芯片；所述第一SFP+接口与外部数据收发设备一一对应；
数据包解析模块12，用于通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，并将各解析后的数据包存储至与各所述以太网解析模块分别连接的缓冲器中；
数据包缓存模块13，用于通过所述FPGA芯片中的仲裁器对各所述缓冲器中的已存储数据包进行处理，并将处理后的数据包缓存至所述DDR4存储器中；
数据包抓取模块14，用于通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，以完成所述外部数据包抓取设备对数据包的抓取。
由此可见，一方面，本申请通过流量控制器根据数据包抓取设备的接收性能控制数据包的读取速率，并将读取的数据包通过普通网卡传输至数据包抓取设备，以完成数据包抓取设备对数据包的抓取功能，从而在数据包抓取设备性能较差的情况下也可以保证数据包抓取的完整性，一定程度上解决了网络抓包过程中的丢包问题；并且，本申请通过在交换设备中配置多个用于连接外部数据收发设备的第一SFP+接口，从而通过一张网卡便可以同时对多个以太网物理通道进行网络抓包。另一方面，本申请通过采用独立的以太网解析模块分别对各个以太网输入接口接收到的数据包进行解析，确保数据并行处理彼此无等待时间，保证了数据包处理的实时性；另外，本申请通过为每个以太网解析模块分别配置一个缓冲器，以确保仲裁器在切换到某个通道时，其他通道可以继续通过缓冲器缓存这段时间内接收到的数据包，从而保证数据包的完整性。
在一些具体实施例中，所述数据包抓取装置，还包括：
数据包收发单元，用于当所述交换芯片接收到任一第一SFP+接口传输的所述待抓取数据包时，通过所述交换芯片从所有第一SFP+接口中确定与所述任一第一SFP+接口对应的目标第一SFP+接口，并将所述待抓取数据包通过所述目标第一SFP+接口传输至目标外部数据收发设备。
在一些具体实施例中，所述数据包抓取装置，还包括：
芯片配置单元，用于通过控制模块中的ARM处理器将各芯片配置信息分别传输至所述交换芯片以及所述FPGA芯片，以便所述交换芯片以及所述FPGA芯片基于各自对应的所述芯片配置信息进行配置；
固件升级单元，用于通过所述控制模块中的微控制单元对所述交换设备中的CPLD固件进行远程升级；
其中，所述控制模块位于所述交换设备中；所述控制模块通过集成电路总线与所述交换芯片连接，并通过XFI通道与所述FPGA芯片连接。
在一些具体实施例中，所述以太网输入接口为对所述第一SFP+接口的输入所述交换芯片的通道进行复制得到的输入接口；所述以太网输入接口的数量与所述第一SFP+接口的数量相同。
在一些具体实施例中，所述数据包解析模块12，包括：
信号获取单元，用于通过所述FPGA芯片中的时间戳模块获取时钟模块中的全球定位系统发送的时间同步信号，以及获取所述时钟模块中的晶体振荡器发送的时钟信号；所述时钟模块位于所述交换设备中；
数据包解析单元，用于通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，以得到各所述解析后的数据包；
时间戳标记单元，用于通过所述时间戳模块基于所述时间同步信号和所述时钟信号对各所述解析后的数据包进行时间戳同步标记。
在一些具体实施例中，所述数据包抓取模块14，包括：
读取量确定单元，用于通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能确定数据包读取量；
数据包读取单元，用于通过所述FPGA芯片中的内存控制器基于所述数据包读取量从所述DDR4存储器中读取相应数量的目标数据包，并将所述目标数据包发送至所述流量控制器；
数据包传输单元，用于通过所述流量控制器基于预设高速通道接口将所述目标数据包传输至所述交换芯片，以便所述交换芯片通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备。
在一些具体实施例中，所述外部数据包抓取设备为基于网络数据采集分析工具构建的设备；所述网络数据采集分析工具包括Tcpdump工具。
进一步的，本申请实施例还公开了一种电子设备，图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的数据包抓取方法中的相关步骤。另外，本实施例中的电子设备20具体可以为电子计算机。
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222等，存储方式可以是短暂存储或者永久存储。
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，其可以是Windows Server、Netware、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的数据包抓取方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的数据包抓取方法。关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的技术方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据包抓取方法，其特征在于，应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述方法包括：
当所述交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过所述交换芯片将各所述待抓取数据包基于与所述多个第一SFP+接口分别对应的多个以太网输入接口输入至所述FPGA芯片；所述第一SFP+接口与外部数据收发设备一一对应；
通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，并将各解析后的数据包存储至与各所述以太网解析模块分别连接的缓冲器中；
通过所述FPGA芯片中的仲裁器对各所述缓冲器中的已存储数据包进行处理，并将处理后的数据包缓存至所述DDR4存储器中；
通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，以完成所述外部数据包抓取设备对数据包的抓取。
2.根据权利要求1所述的数据包抓取方法，其特征在于，还包括：
当所述交换芯片接收到任一第一SFP+接口传输的所述待抓取数据包时，通过所述交换芯片从所有第一SFP+接口中确定与所述任一第一SFP+接口对应的目标第一SFP+接口，并将所述待抓取数据包通过所述目标第一SFP+接口传输至目标外部数据收发设备。
3.根据权利要求1所述的数据包抓取方法，其特征在于，还包括：
通过控制模块中的ARM处理器将各芯片配置信息分别传输至所述交换芯片以及所述FPGA芯片，以便所述交换芯片以及所述FPGA芯片基于各自对应的所述芯片配置信息进行配置；
通过所述控制模块中的微控制单元对所述交换设备中的CPLD固件进行远程升级；
其中，所述控制模块位于所述交换设备中；所述控制模块通过集成电路总线与所述交换芯片连接，并通过XFI通道与所述FPGA芯片连接。
4.根据权利要求1所述的数据包抓取方法，其特征在于，所述以太网输入接口为对所述第一SFP+接口的输入所述交换芯片的通道进行复制得到的输入接口；所述以太网输入接口的数量与所述第一SFP+接口的数量相同。
5.根据权利要求1所述的数据包抓取方法，其特征在于，所述通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，包括：
通过所述FPGA芯片中的时间戳模块获取时钟模块中的全球定位系统发送的时间同步信号，以及获取所述时钟模块中的晶体振荡器发送的时钟信号；所述时钟模块位于所述交换设备中；
通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，以得到各所述解析后的数据包；
通过所述时间戳模块基于所述时间同步信号和所述时钟信号对各所述解析后的数据包进行时间戳同步标记。
6.根据权利要求1所述的数据包抓取方法，其特征在于，所述通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，包括：
通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能确定数据包读取量；
通过所述FPGA芯片中的内存控制器基于所述数据包读取量从所述DDR4存储器中读取相应数量的目标数据包，并将所述目标数据包发送至所述流量控制器；
通过所述流量控制器基于预设高速通道接口将所述目标数据包传输至所述交换芯片，以便所述交换芯片通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备。
7.根据权利要求1至6任一项所述的数据包抓取方法，其特征在于，所述外部数据包抓取设备为基于网络数据采集分析工具构建的设备；所述网络数据采集分析工具包括Tcpdump工具。
8.一种数据包抓取装置，其特征在于，应用于交换设备，所述交换设备包括FPGA芯片、交换芯片、DDR4存储器、若干SFP+接口；所述SFP+接口用于连接外部设备与所述交换芯片；其中，所述装置包括：
数据包传输模块，用于当所述交换芯片接收到多个第一SFP+接口传输的待抓取数据包时，通过所述交换芯片将各所述待抓取数据包基于与所述多个第一SFP+接口分别对应的多个以太网输入接口输入至所述FPGA芯片；所述第一SFP+接口与外部数据收发设备一一对应；
数据包解析模块，用于通过所述FPGA芯片中与各所述以太网输入接口分别连接的以太网解析模块对各所述待抓取数据包进行解析，并将各解析后的数据包存储至与各所述以太网解析模块分别连接的缓冲器中；
数据包缓存模块，用于通过所述FPGA芯片中的仲裁器对各所述缓冲器中的已存储数据包进行处理，并将处理后的数据包缓存至所述DDR4存储器中；
数据包抓取模块，用于通过所述FPGA芯片中的流量控制器基于外部数据包抓取设备的接收性能从所述DDR4存储器中读取目标数据包，并通过第二SFP+接口将所述目标数据包通过网卡传输至所述外部数据包抓取设备，以完成所述外部数据包抓取设备对数据包的抓取。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序以实现如权利要求1至7任一项所述的数据包抓取方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的数据包抓取方法。
CN202410026476.6A 2024-01-08 2024-01-08 一种数据包抓取方法、装置、设备及介质 Pending CN117857669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410026476.6A CN117857669A (zh) 2024-01-08 2024-01-08 一种数据包抓取方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410026476.6A CN117857669A (zh) 2024-01-08 2024-01-08 一种数据包抓取方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN117857669A true CN117857669A (zh) 2024-04-09

Family

ID=90541491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410026476.6A Pending CN117857669A (zh) 2024-01-08 2024-01-08 一种数据包抓取方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN117857669A (zh)

Similar Documents

Publication Publication Date Title
US20220394316A1 (en) Message sending method and device, readable medium and electronic device
US9026832B2 (en) Method, system and device for removing media access control addresses
CN112804121A (zh) 一种tte网络传输时延测试系统、方法
US8788689B2 (en) Techniques for improved clock offset measuring
US10887408B2 (en) Remote monitoring of network communication devices
CN103117900A (zh) 一种可配置式工业以太网数据解析系统及解析方法
EP3174237A1 (en) Time synchronization method and apparatus for network devices and time synchronization server
CN104410581A (zh) Afdx网络的配置信息设计及信息提取
EP2614614B1 (en) Dynamic configuration of interconnected devices for measuring performance characteristics in a network
CN117857669A (zh) 一种数据包抓取方法、装置、设备及介质
CN112134750B (zh) 网络时间协议压力测试方法和装置
CN113032320A (zh) 一种异步串口通信波特率自适应方法
CN115484161A (zh) Tsn网络配置方法、装置及计算机可读存储介质
CA2640745C (en) Method and system for bidirectional data transfer
CN117201635A (zh) 数据处理系统及方法
Cleary et al. High precision traffic measurement
CN110495139A (zh) 测试通信协议
DE102017011458A1 (de) Teilnehmer eines Bussystems, Verfahren zum Betrieb und ein Bussystem
CN203522776U (zh) 一种可配置式工业以太网数据解析系统
CN109412737A (zh) 数据采集系统的控制方法、数据采集系统及存储介质
CN211127817U (zh) 一种同步模块
DE10260807A1 (de) Sendeverfahren für eine Zeitreferenz über ein Übertragungsmedium und hiermit korrespondierender Zeitgeberblock
CN118316819A (zh) 一种网络监控方法、装置、设备及存储介质
CN108763461A (zh) 数据处理方法、装置、系统及存储介质
CN117707775A (zh) 一种行情数据传输方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination