CN112948295B - 一种基于axi4总线的fpga与ddr高速数据包传输系统及方法 - Google Patents

Abstract

本发明公开了一种基于AXI4总线的FPGA与DDR高速数据包传输系统及方法。所述系统通过FPGA实现，包括解析模块、FIFO、填充触发模块、数据填充模块、数据控制模块、AXI4接口模块和DDR；解析模块，用于对光口收到的以太网数据包进行协议解析，按照顺序写入FIFO；FIFO，用于对其写入的数据进行跨时钟域转换和数据结构转换；填充触发模块，用于在检测到触发条件满足时，设置填充使能信号为1；数据填充模块，用于在检测到填充使能信号为1时，将FIFO中的数据量补为64B的整数倍；数据控制模块，用于根据FIFO中的数据大小，调整突发长度，触发一次AXI4数据突发读取；AXI4接口模块,用于通过AXI4突发模式将FIFO的数据高速传输至DDR；DDR通过DMA将数据大块传输到服务器。

Description

一种基于AXI4总线的FPGA与DDR高速数据包传输系统及方法

技术领域

本发明涉及高速网络数据采集领域，特别涉及一种基于AXI4总线的FPGA与DDR高速数据包传输系统及方法。

背景技术

随着网络带宽的逐步提高，高速口互联传输数据也日益成为业界的研究热点。在网络安全、数字算法处理等需要大量数据传输的领域，对高速网口传输的高效性、安全性、完整性要求也越来越高。而随着数据传输高速串行化的不断发展，PCIE总线、高速以太网等串行化总线标准相继提出，也使得数据的高速传输得以实现。PCIE DMA的传输方式减少了CPU干预，传输速率极快，时延较小；高速以太网与其他串行总线相比，也具有更大带宽，传输速率更快，传输距离更远等优点。

FPGA经过几十年飞速发展，已逐渐成为高速数据处理系统的主流平台之一，由于其可并行、高吞吐率的突出优点，广泛应用于网络通信各个领域。对于高速数据处理系统，通常使用FPGA来将所需处理的数据传输至上位机服务器端进行后续精度复杂的运算处理。这就涉及到FPGA与上位机间的大量数据传输的问题，因此，构建服务器与FPGA间的高速数据传输采集系统及方法已成为目前业界的研究重点。

业界常使用DDR来扩展系统的存储空间，提升数据实时存储和处理的能力。通过内存控制器来完成对内存的读写、刷新等操作，DDR更是广泛应用于FPGA板卡设计，目前常采用DDR，通过内部内存控制器的配置，完成各类需要高速缓存设计功能的实现。Xilinx、Altera、Synopsys等公司均开发公布了通用性的DDR3/DDR4系列控制器IP核。基于DDRSDRAM在FPGA中的重要作用，设计一种高速、低延迟的数据传输采集系统，以及一种如何将采集到的数据进行高效处理的方法具有广阔的应用场景，并且对未来网络、大数据处理具有重大的研究意义。

针对利用片上DDR作为数据缓存的设计，一般都采用FIFO加DDR的缓存架构，用以解决XGMII接口与DDR接口的时钟和数据宽度不匹配问题。片上DDR的访问方式一般为AXI4Memory Map(MM)，此种方式的传输模式采用基于突发的传输模式。突发传输的优点在于设置完突发长度、突发大小和起始地址后，一次传输过程中，地址会根据设定的突发长度和大小自增，无需对每次突发赋予地址，传输性能高，容易访问。但这也带来了相应的缺点，即每次传输的数据块大小必须为突发大小的整数倍，对于持续的大流量输入，基于突发的传输方式对其并无影响，但在某些场景中，一定时间内输入流量较为稀疏，无法满足一次传输的数据大小要求，则会造成少量流量滞留于FIFO中，无法及时上传至服务器端进行处理。FIFO内的数据大小必须是64B的整数倍才能通过AXI4总线的突发模式传输至DDR。在某个时间段入口流量减小，长时间(如50ms)内无输入流量，FIFO内的数据大小由于不满足突发传输的要求，将被滞留于FIFO内无法上传至服务器端进行及时地处理。此外，对于AXI4总线，常采用某一固定的突发长度来进行传输，这种方式对于任意长度的数据包，剩余数据往往需要填充到固定突发长度的数据量后进行传输，填充的数据包多且时间代价较高。本发明给出了一种基于AXI4总线的DDR高速收包方法。

FPGA可用于实现网络加速，一般基于AXI4总线来进行DDR数据包数据传输。对于网口收到的数据包，如何快速存入基于AXI4接口的DDR，存在数据包的同步时钟与AXI4时钟不匹配，且由于AXI4基于大块数据突发传输，存在传输大小颗粒度不匹配的问题。

现有的FPGA网络加速卡设计中基于AXI4突发传输的FIFO加DDR缓存架构中，存在AXI4是突发大块数据的，而实际网络中存在输入数据包少且可能长时间无输入包输入的情况，针对这种情况，存在FIFO中的数据量比较少，可能会达不到AXI4一次突发的最小数量的要求，这些数据可能会滞留在FIFO中。

发明内容

本发明的目的在于克服上述技术缺陷，提出了一种基于AXI4总线的FPGA与DDR高速数据包传输系统及方法。

为实现上述目的，本发明提出了一种基于AXI4总线的FPGA与DDR高速数据包传输系统，所述系统通过FPGA实现，所述系统包括解析模块、FIFO、填充触发模块、数据填充模块、数据控制模块、AXI4接口模块和DDR；

所述解析模块，用于对光口收到的以太网数据包进行协议解析，按照顺序写入FIFO；

所述FIFO，用于对其写入的数据进行跨时钟域转换和数据结构转换；

所述填充触发模块，用于在检测到触发条件满足时，设置填充使能信号为1；

所述数据填充模块，用于在检测到填充使能信号为1时，将FIFO中的数据量补为64B的整数倍；

所述数据控制模块，用于根据FIFO中的数据大小，调整突发长度，触发一次AXI4数据突发读取；

所述AXI4接口模块,用于通过AXI4突发模式将FIFO的数据高速传输至DDR；

所述DDR，用于通过DMA将数据大块传输到服务器。

作为上述系统的一种改进，所述解析模块包括：物理层解析单元和MAC层解析单元；

物理层解析单元，用于对光口输入的数据流进行物理解析；

MAC层解析单元，用于对物理层解析单元输出的数据流进行解析，输出信号包括数据有效信号和64位数据信号，有效信号传输至FIFO和填充触发模块；64位数据信号，按照顺序写入FIFO。

作为上述系统的一种改进，所述填充触发模块的具体实现过程为：

接收所述解析模块输出的数据有效信号，如果在设置时间内检测到数据有效信号始终为低，则将填充使能信号置为1，激活数据填充模块。

作为上述系统的一种改进，所述数据填充模块的具体实现过程为：

判断填充使能信号，如果该信号为1，判断数据有效信号，如果数据有效信号为1，则放弃填充；

如果数据有效信号不为1，则根据FIFO的现存数据量和AXI4所要求的最小数据即64字节，计算出需要填充的数据块数量；

判断数据有效信号，如果数据有效信号为1，则放弃填充，将收到的数据信号输入FIFO；

如果数据有效信号不为1，则将64位‘0xFF’输入FIFO，重复此操作直到填充的数量等于计算出需要填充的数据块数量或者检测到数据有效信号为1时为止，填充完成发出填充完成信号。

作为上述系统的一种改进，所述数据控制模块的具体实现过程为：

检测到数据填充模块发出的填充完成信号，根据FIFO现存数据量计算出需要突发传输的次数，动态修改AXI4总线的突发长度，以AXI4突发模式一次传输FIFO中的数据至DDR。

作为上述系统的一种改进，所述动态修改AXI4总线的突发长度，具体为：

当FIFO中的数据量大于或等于256*64B时，调整AXI4总线的突发长度为256；

当FIFO中的数据量小于256*64B时，调整突发长度为m，其中m*64B为FIFO中的数据量。

作为上述系统的一种改进，所述AXI4接口模块通过FPGA上的内存控制MIG实现对DDR的数据读写功能。

作为上述系统的一种改进，所述FIFO的输入时钟为与数据流同步的时钟，FIFO的输出时钟为AXI4总线的工作时钟。

本发明还提出一种基于AXI4总线的FPGA与DDR高速数据包传输方法，基于上述的系统实现，所述方法包括以下步骤：

所述解析模块，对光口收到的以太网数据包进行协议解析；

所述FIFO对解析模块输出的数据进行跨时钟域转换和数据结构转换；

所述填充触发模块在检测到触发条件满足时，设置填充使能信号为1；

所述数据填充模块在检测到填充使能信号为1时，将FIFO中补为64B的整数倍，填充数据为64位‘OxFF’；

所述数据控制模块，根据FIFO中的数据大小，调整突发长度，触发一次AXI4数据突发读取；

所述AXI4接口模块通过AXI4突发模式将数据高速传输至DDR；

所述DDR通过DMA将数据大块传输到服务器。

与现有技术相比，本发明的优势在于：

1、针对用于加速数据流量处理和采集的FPGA板卡内采用FIFO加DDR缓存架构并使用基于突发模式的AXI4总线作为传输手段的设计，利用设计功能模块加有限状态机的方法，可将特殊场景下滞留于FPGA加速卡内的数据流量导出并及时上传至服务器进行处理，不造成数据包的丢失和数据处理的延迟；

2、对于AXI4总线，能够对任意大小的以太网数据包，动态调整突发长度，以最优的方法快速将数据存入DDR中。

附图说明

图1是本发明的总体框架设计图；

图2是本发明的数据填充模块状态机示意图；

图3是本发明的数据控制模块状态机示意图。

具体实施方式

本发明通过异步FIFO来实现与基于AXI4的DDR对接，解决异步时钟的问题，收包模块将数据按顺序存入FIFO中，FIFO以AXI4总线的方式进行数据输出到DDR，AXI4总线的突发长度根据FIFO中的已有数据自适应动态进行调整。对于AXI4总线，本发明能够对FIFO中任意大小的以太网数据包，当数据量充足时，以最大的突发长度(256x64B)来进行传输，当剩余数据量小于256x64B时，动态调整为64B的最大整数倍来进行数据传输。从而始终以能达到的最大带宽快速将数据包存入DDR中。

本发明给出了一种基于AXI4总线的FPGA与DDR高速数据包传输方法，能够实现对任意大小的以太网数据包，通过AXI4网络接口高速存入DDR中。以太网高速数据收模块通过FIFO来实现与基于AXI4的DDR对接。以太网收包模块将数据按顺序存入FIFO中，FIFO以AXI4总线的方式进行数据输出到DDR，AXI4总线的突发长度根据FIFO中的已有数据自适应动态进行调整。

FPGA端的设计中FIFO输入端的逻辑，增加数据填充触发模块、数据填充模块和控制模块，将特殊场景下，如长时间输入流量稀疏，达不到一次AXI4传输的数据大小要求，滞留的数据包导出。

下面结合附图和实施例对本发明的技术方案进行详细的说明。

实施例1

本发明的解决方案为：当触发模块探测到5ms内无输入流量时，拉高填充使能信号，填充模块检测到拉高的使能信号，给FIFO填充数据至突发所要求的数据块大小，即64B的整数倍，控制模块根据FIFO的输出信息，调整突发长度，将FIFO内的数据通过一次传输送入DDR中。

1、数据填充触发模块根据设置的触发条件发出填充使能信号。

2、数据填充模块检测到使能信号拉高，开始对FIFO进行数据填充，填充至满足一次传输的最小数据大小要求。

3、控制模块主要负责根据FIFO内被填充后的滞留数据大小，动态调整AXI4突发模式的各项参数，将滞留的数据传输至DDR。

其中，触发条件一般可设置为5ms没收到输入数据。一般数据链路层解析模块输出信号中，WENB信号标志收到有效数据，通常也用作FIFO写使能信号，在之前的应用中，若WENB信号一直为低，则FIFO长时间无输入数据，造成数据滞留。在本方法中，若在5ms内WENB信号始终为低，则拉高使能信号，激活数据填充模块。

通常情况下，FIFO的输入使能为WENB信号，FIFO的数据输入信号为64位的数据流。若检测到来自触发模块的填充使能信号，则根据FIFO的输出信号WDATA_CNT，即FIFO内现存数据量，计算出需要填充的数据块数量，利用有限状态机完成填充。填充的数据块为64位的全‘0xFF’字段，有利于服务器端对无效数据的剔除。有限状态机的转换逻辑大致为：

状态1：每个时钟上升沿检测使能信号，若为1则跳转至状态2，未检测到则进入正常处理逻辑；

状态2：检测WENB信号，若为1则表示此时有新的数据进入，则将FIFO数据输入线重新接回原先的数据流，下一个状态跳转至状态1，放弃填充，若WENB信号不为1，则根据WDATA_CNT计算出需要填充的数据块数量CNT，跳转至状态3；

状态3：将FIFO写使能置1，同时将64位全‘F’字段赋值给FIFO写数据线，每个时钟上升沿检测WENB信号，若为1则表示在填充过程中有新的数据进入，则将FIFO数据输入线重新接回原先的数据流，下一个状态跳转至状态1，放弃填充，若WENB信号不为1，则计数器CNT_TEMP加一，直到CNT_TEMP等于CNT，完成填充，将填充完成信号ALIGN_DONE置1，跳转至状态1。

控制模块检测到填充完成信号，根据FIFO输出信号WDATA_CNT计算出需要突发传输的次数，动态修改突发长度，继而发起一次传输，以上的过程由有限状态机完成，简化的转换逻辑如下：

状态1：检测填充完成信号，若为1，跳转至状态2，否则按正常流程处理；

状态2：根据FIFO输出信号WDATA_CNT计算要导出填充完毕的数据所需的突发传输次数，根据计算出的结果，修改突发长度，跳转至状态3；

状态3：为本次AXI4传输赋起始地址，并开始本次传输，传输结束后跳转至状态1。

实施例2

图1是本发明的总体框架设计图，包括以太网解析模块、数据填充逻辑模块、数据间交互模块、FIFO加DDR缓存模块。由于网口传输时钟为156MHz，AXI4总线读写时钟为250MHz，因此AXI4总线和网口之间需要添加FIFO，完成跨时钟域转换和数据结构转换。但使用AXI4突发模式作为FIFO和DDR间的传输手段会造成上文提到的数据包滞留问题，于是加入数据填充逻辑模块用于处理所述问题，该逻辑模块分为填充触发模块、数据填充模块和控制模块，其中后两个模块的逻辑均由有限状态机实现，下面介绍处理的具体流程。

数据流从光模块输入，经过物理层解析IP和数据链路层解析IP，输出信号包括数据有效信号WENB和数据信号WDATA接入数据填充模块，数据有效信号同时还进入填充触发模块。填充触发模块内的触发时间可根据不同场景进行设置，本例中设置为5ms。填充模块内设有计数模块，在每次100MHz上升沿到来时，若数据有效信号WENB为低，则进行加1操作，否则计数器归零，若计数器加至499999，即代表5ms内无有效数据流入，将数据填充使能置1。

在一般场景下，数据流正常，数据填充使能一直为低，数据填充模块不进行填充操作，数据被直接送进FIFO，FIFO内数据达到传输的阈值16KB时，FIFO会输出数据准备就绪信号，控制模块会发起一次突发长度为256，突发大小为64B的传输。超过5ms没有新数据输入时，数据填充使能被置1，有限状态机按图2所示的跳转逻辑跳转至下一状态，在此状态中，先判断是否有新的数据流入，是则放弃填充，否则根据FIFO的输出信号WDATA_CNT计算出需要填充的数据块数量CNT，跳转至下一状态，在本状态中，同样地先判断是否有新数据流入，是则放弃填充，将新数据送入FIFO，否则将FIFO写使能置1，同时将64位全‘F’字段赋值给FIFO写数据线，计数器CNT_TEMP加一，一直停留在此状态直到CNT_TEMP等于CNT或有新的数据到来，若填充完成，则将填充完成信号ALIGN_DONE置1。

控制模块负责使用AXI4总线将FIFO内数据高速地送入DDR，所以在数据量充足时，突发长度和突发宽度大小都设为最大值，分别为256和512位，这样每次传输的数据大小都为16KB。检测到ALIGN_DONE信号被置高，则代表要传输被填充的数据，有限状态机按图3所示的跳转逻辑跳转至下一状态，本状态中根据FIFO输出信号WDATA_CNT计算要导出填充完毕的数据所需的突发传输次数，根据计算出的结果，修改突发长度，跳转至下一状态发起一次AXI4传输，将FIFO内滞留数据一次导入DDR。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1.一种基于AXI4总线的FPGA与DDR高速数据包传输系统，其特征在于，所述系统通过FPGA实现，所述系统包括解析模块、FIFO、填充触发模块、数据填充模块、数据控制模块、AXI4接口模块和DDR；

所述解析模块，用于对光口收到的以太网数据包进行协议解析，按照顺序写入FIFO；

所述FIFO，用于对其写入的数据进行跨时钟域转换和数据结构转换；

所述填充触发模块，用于在检测到触发条件满足时，设置填充使能信号为1；

所述数据填充模块，用于在检测到填充使能信号为1时，将FIFO中的数据量补为64B的整数倍；

所述数据控制模块，用于根据FIFO中的数据大小，调整突发长度，触发一次AXI4数据突发读取；

所述AXI4接口模块,用于通过AXI4突发模式将FIFO的数据高速传输至DDR；

所述DDR，用于通过DMA将数据大块传输到服务器；

所述数据填充模块的具体实现过程为：

判断填充使能信号，如果该信号为1，判断数据有效信号，如果数据有效信号为1，则放弃填充；

如果数据有效信号不为1，则根据FIFO的现存数据量和AXI4所要求的最小数据即64字节，计算出需要填充的数据块数量；

判断数据有效信号，如果数据有效信号为1，则放弃填充，将收到的数据信号输入FIFO；

如果数据有效信号不为1，则将64位‘0xFF’输入FIFO，重复此操作直到填充的数量等于计算出需要填充的数据块数量或者检测到数据有效信号为1时为止，填充完成发出填充完成信号。

2.根据权利要求1所述的基于AXI4总线的FPGA与DDR高速数据包传输系统，其特征在于，所述解析模块包括：物理层解析单元和MAC层解析单元；

物理层解析单元，用于对光口输入的数据流进行物理解析；

MAC层解析单元，用于对物理层解析单元输出的数据流进行解析，输出信号包括数据有效信号和64位数据信号，有效信号传输至FIFO和填充触发模块；64位数据信号，按照顺序写入FIFO。

3.根据权利要求2所述的基于AXI4总线的FPGA与DDR高速数据包传输系统，其特征在于，所述填充触发模块的具体实现过程为：

接收所述解析模块输出的数据有效信号，如果在设置时间内检测到数据有效信号始终为低，则将填充使能信号置为1，激活数据填充模块。

4.根据权利要求3所述的基于AXI4总线的FPGA与DDR高速数据包传输系统，其特征在于，所述数据控制模块的具体实现过程为：

检测到数据填充模块发出的填充完成信号，根据FIFO现存数据量计算出需要突发传输的次数，动态修改AXI4总线的突发长度，以AXI4突发模式一次传输FIFO中的数据至DDR。

5.根据权利要求4所述的基于AXI4总线的FPGA与DDR高速数据包传输系统，其特征在于，所述动态修改AXI4总线的突发长度，具体为：

当FIFO中的数据量大于或等于256*64B时，调整AXI4总线的突发长度为256；

当FIFO中的数据量小于256*64B时，调整突发长度为m，其中m*64B为FIFO中的数据量。

6.根据权利要求4所述的基于AXI4总线的FPGA与DDR高速数据包传输系统，其特征在于，所述AXI4接口模块通过FPGA上的内存控制MIG实现对DDR的数据读写功能。

7.根据权利要求6所述的基于AXI4总线的FPGA与DDR高速数据包传输系统，其特征在于，所述FIFO的输入时钟为与数据流同步的时钟，FIFO的输出时钟为AXI4总线的工作时钟。

8.一种基于AXI4总线的FPGA与DDR高速数据包传输方法，基于权利要求2-7之一所述的系统实现，所述方法包括：

所述解析模块对光口收到的以太网数据包进行协议解析；

所述FIFO对解析模块输出的数据进行跨时钟域转换和数据结构转换；

所述填充触发模块在检测到触发条件满足时，设置填充使能信号为1；

所述数据填充模块在检测到填充使能信号为1时，将FIFO中补为64B的整数倍，填充数据为64位‘OxFF’；

所述数据控制模块，根据FIFO中的数据大小，调整突发长度，触发一次AXI4数据突发读取；

所述AXI4接口模块通过AXI4突发模式将数据高速传输至DDR；

所述DDR通过DMA将数据大块传输到服务器。

Images