CN109408434B - 一种基于fpga的多路高速ad数据采集和存储系统 - Google Patents

Abstract

本发明提供了一种基于FPGA的多路高速AD数据采集和存储系统，包括：数据接收母板,高速AD采集子板,存储板,CPU板及底板；本发明在使用JESD204B接口的基础上同步且高采样率的多路AD采样，同时提供足够的传输、存储带宽保证采集到的数据的持续存储，使用同一个FPGA给多个AD发送同步信号，以达到同步的效果；使用多块SSD组成存储板，使用多个存储板共同存储的技术方案达到连续存储所需的带宽指标，满足了多路高速AD采样中的多路同步、高速采样、高速存储三个目标，在高采样率高精度的同时也不牺牲存储时间，具有采样率高，存储容量大，同步性好等优点。

Description

一种基于FPGA的多路高速AD数据采集和存储系统

技术领域

本发明涉及高速信号数据采集和存储领域，尤其是在文件系统存储方面，具体涉及一种基于FPGA的多路高速AD数据采集和存储系统。

背景技术

AD采样技术广泛应用于航空航天、雷达、通信等领域。随着技术水平的提高，高采样率和采样精度的AD采样芯片使用越来越多，随之而来的是对数据传输速率、存储带宽、存储容量的更高需求。由于并行传输的码间串扰、同步问题等因素，高速AD采样芯片的数据传输已经逐渐从并行传输发展为高速串行传输，比较常用的AD高速串行接口是JESD204B接口,理论上仅仅单个JESD204B通道即可传输5.4GSPS的采样率16bit采样精度的数据。

高速AD的数据采集存储的一个关键是高采样率下的数据接收。一个完整的JESD204B通道含8路高速串行通路，总传输速率可达12.8GB/s。在使用不止一个AD或者使用多通道AD芯片时，对于接收端来说会有多个JESD204B通道，需要让多个JESD204B通道同步且完整的接收和存储采样的数据。

高速AD的数据采集存储的另一个关键是多路高采样率下的数据存储，如果不能解决多路高速AD采集产生的快速数据的存储问题，只能选择牺牲采样率或者降低采样精度来保证数据的连续存储。使用大量DDR缓存是一种解决方案，但由于数据速率极快，16G的DDR3缓存也只能缓存单路JESD204B通道1秒钟的数据。而单一固态存储的速度约为500MB/s，远远达不到要求。因此，针对目前的技术问题，就需要一种高容量、高存储带宽的存储解决方案。

发明内容

本发明要解决的技术问题是提供一种高速AD的数据采集存储系统，目的在于实现多通道、高采样率的AD采集和存储。

为实现上述目的，本发明采取以下技术方案：

一种基于FPGA的多路高速AD数据采集和存储系统，其特征在于，包括：

数据接收母板,高速AD采集子板,存储板,CPU板，底板；

所述数据接收母板由一块FPGA、时钟晶振、超低抖动合成器、DDR3颗粒及外围电路组成；数据接收母板为所述高速AD采集子板提供时钟和同步信号，通过高速串行接口接收采集数据，通过其上的板载DDR3缓存和同步数据，通过高速串行接口与存储板进行数据交互，通过其上的PCIE接口连接PC板用于查看数据及接收命令；

所述高速AD采集子板由AD芯片及其外围控制电路组成；

所述存储板由一块FPGA芯片、DDR3颗粒、至少12块SATA3.0接口的SSD组成，每块存储板与数据接收母板有至少4路4x SRIO连接，并通过以太网与所述底板的板载路由器连接；

所述CPU板为一台板载计算机，通过通用高速串行接口同所述数据接收母板连接，并通过以太网连接底板的板载路由器来连接所述各存储板；

所述底板包括数据通路和板载路由器，所述数据接收母板、存储板和CPU板均插在所述底板上。

优选的，所述高速AD采集子板的数量为N个,其中1≤N≤G/40取整数，G为所述数据接收母板所选FPGA中的高速串行收发器的数量；所述存储板数量为N的两倍。

所述数据接收母板为N个高速AD采集子板提供时钟和同步信号,通过JESD204B高速串行接口接收采集数据,通过至少8*N路4x SRIO高速串行接口与存储板进行数据交互。

优选的，所述高速AD采集子板中的AD芯片采样数据量最高为10GB/s，AD的采样数据通过JESD204B发送给数据接收母板，高速AD采集子板使用来自数据接收母板的同源时钟和相同的同步信号。

优选的，所述存储板中的SATA3.0接口的SSD数量为16块。

优选的，所述CPU板通过PCIE接口同所述数据接收母板连接。

本发明提供一套基于FPGA的N路高速AD数据采集存储系统，包括：数据接收母板、N个高速AD采集子板、2*N个存储板、CPU板及底板。其中N≥1，其最大值由所选FPGA的高速串行收发器资源决定。

所述数据接收母板主要功能为：数据接收母板为N个高速AD采集子板提供时钟和同步信号；通过已有技术JESD204B高速串行接口接收采集数据；使用板载DDR3缓存和同步数据；经过不低于8*N路4x SRIO高速串行接口与存储板进行数据交互；数据根据文件系统及带宽需求可选择SRIO通路；另有PCIE接口连接PC板用于查看数据及接收命令。

所述高速AD采集板由采样数据量最高10GB/s的AD芯片及其外围控制电路组成，AD的采样数据通过JESD204B发送给数据接收母板。N个高速AD采集子板使用来自数据接收母板的同源时钟和相同的同步信号。

所述存储板由一块FPGA芯片、DDR3、16块SATA3.0接口的SSD组成，每块存储板与数据接收母板有最少4路4x SRIO连接，通过以太网与底板的板载路由器连接。若采用单块容量2T的SSD，则每块存储板存储容量为32TB,理论存储带宽大于6GB/s，6.4G采样率采集时每个高速采集子板对应两块存储板。

本发明的关键技术是多路高速采集和存储系统，拟保护的重点是一套技术方案和系统。

本发明的技术方案与现有技术相比，新颖性和创造性主要体现在使用JESD204B接口的基础上同步且高采样率的多路AD采样，同时提供足够的传输、存储带宽保证采集到的数据的持续存储。使用同一个FPGA给多个AD发送同步信号，以达到同步的效果；使用多块SSD组成存储板，使用多个存储板共同存储的技术方案达到连续存储所需的带宽指标。解决并同时满足了多路高速AD采样中的多路同步、高速采样、高速存储三个目标。

本系统使用JESD204B接收AD采样数据，相对于并行差分信号减少了串扰，节约了通用IO资源，实现所有AD通过一块FPGA进行配置和同步，由于使用同源时钟，统一的同步信号，可保证数据同步性；通过SRIO交互数据，使用多块SSD存储数据，在保证数据稳定存储的同时实现多路12bit精度6.4G采样率的采样；每路采集对应两块存储板,以两路采集为例，总计64块2T容量的SSD，存储容量可达128TB，实测连续存储带宽约22GB/s，可保证1.5小时以上的两路6.4G采样率连续采集，在高采样率高精度的同时也不牺牲存储时间。具有采样率高，存储容量大，同步性好等优点。

附图说明

图1为本发明的硬件连接示意图。

图2为本发明的板间数据交互示意图。

图3为本发明的AD采集子板的原理框图。

图4为本发明的数据接收母板的原理框图。

图5为本发明的存储板原理框图。

图6为本发明的采集和存储时的工作流程图。

图7为本发明的读取数据时的工作流程图。

具体实施方式

为了更加清楚明白理解本发明的目的、技术方案和优点，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

本发明基于FPGA的多路高速AD数据采集存储系统的具体实施方式包括1块数据接收母板、2个高速AD采集子板、4个存储板、1个CPU板及1个底板。其组成结构如图1所示，2个高速AD采集子卡插在数据接收母板，所述数据接收母板、存储板及CPU板均插在底板上。数据和信号流向如图2所示。

所述高速AD采集子板具体结构如图3所示，选用的AD芯片是ADC12DJ3200,支持12bit精度6.4G采样率。高速AD采集子板只与数据接收母板连接，与母板交互的数据内容是JESD204B接口数据、同步信号、采样时钟、配置数据。

所述数据接收母板具体结构如图4所示，包括8个MT41K256M16TW型号DDR3颗粒总计2GB容量，一块xc7vx1140t型号的FPGA，LMK04828型号超低抖动合成器和常规晶振。所述FPGA中，所有指令控制均通过MicroBlaze实现，包括超低抖动合成器的输出频率、JESD204B接收器的适配、SRIO收发器的启停。数据接收母板除连接高速AD采集子板外，通过16路4xSRIO连接4块存储板，用于发送采集数据及接收已存储数据；通过PCIE接口与CPU板交互控制信息，并用于上位机用户查看实时数据或已存储数据。

所述CPU板为常规X86架构的通用计算机，除PCIE连接数据接收母板外，还通过连接底板上的板载路由器，用于给存储板发送命令和文件系统信息。

所述4块存储板结构如图5所示，除每块4路4x SRIO连接数据接收母板外，均由千兆以太网连接至板载路由器，以便与上位机交互控制信息和文件系统信息。FPGA内使用4个SATA控制器，每个控制器连接4块SSD组成RAID0，统一从DDR缓存中获取数据，充分利用SSD的存储带宽。

本发明基于FPGA的多路高速AD数据采集存储系统工作时可以同时进行数据接收存储及存储数据读取。

所述数据采集存储流程如图6所示，具体流程如下：

1.CPU板用户发起流程，经过千兆以太网发送存储命令给对应存储板，等待存储板已准备的响应。

2.CPU板收到存储板的响应后，通过PCIE发送采样命令给数据接收母板。数据接收母板收到命令后配置根据命令内容配置高速AD采集子板工作模式和采样时钟频率，同时清空所有缓存，然后发送同步信号至高速AD采集子板。

3.高速AD采集子板收到同步信号后开始采样模拟信号，通过JESD204B接口发送采集数据至数据接收母板。

4.数据接收母板接收到JESD204B数据后，解析数据内容，并将解析后数据缓存至DDR中，同时SRIO收发器开始读取DDR缓存中的数据，并发送至存储板。DDR缓存的作用是防止多块存储板的实时写入速率不一致引发数据丢失，由于两块存储板的平均写入速率为11GB/s，大于采集的有效数据速率9.6GB/s，只要缓存足够，在存储板写满前DDR缓存一直不会溢出。所需DDR缓存大小通过实验获得，本实例中单路采集提供512MB的DDR缓存数据可以一直稳定存储。

5.存储板在步骤1之后一直处于已准备的状态，收到数据接收母板发送的数据后，数据缓存至DDR缓存，同时将DDR中的数据存入SSD中。存储板DDR缓存的作用是为了适应16个SSD的写入，以防丢失数据，缓存容量为2GB，使用时将其封装为先入先出的队列。

所述数据读取流程如图7所示，具体流程如下：

1.CPU板用户发起流程，经过千兆以太网发送读取命令给对应存储板，等待存储板已准备的响应。

2.每块存储板开始根据命令从16块SSD读取数据，并将数据存入每块SSD对应DDR地址空间，SRIO收发器从DDR中读取数据并将数据发送至数据接收母板。

3.数据接收母板通过SRIO收发器受到所有存储板的数据后，将数据缓存入每块存储板对应的DDR地址空间，并通过PCIE将缓存的数据发送至上位机CPU板。

考虑到数据读取只需保证数据内容的连续不丢失，而数据流可以被暂停和阻塞，且多个SSD及存储板读到的数据需要进行数据对齐。因此将DDR均分割为多块地址空间，每个数据来源对应一块RAID0，进行统一的缓存操作。读写策略为：在任意一块地址空间的数据读空时，整体不再读取数据；任意一块地址空间数据写满时，对本块地址空间对应的RAID0进行阻塞，防止本块DDR地址空间数据溢出。

Claims (5)

1.一种基于FPGA的多路高速AD数据采集和存储系统，其特征在于，包括：

数据接收母板,高速AD采集子板,存储板,CPU板，底板；

所述数据接收母板由一块FPGA、时钟晶振、超低抖动合成器、DDR3颗粒及外围电路组成；数据接收母板为所述高速AD采集子板提供时钟和同步信号，通过高速串行接口接收采集数据，通过其上的板载DDR3缓存和同步数据，通过高速串行接口与存储板进行数据交互，通过其上的PCIE接口连接PC板用于查看数据及接收命令；

所述高速AD采集子板由AD芯片及其外围控制电路组成；

所述存储板由一块FPGA芯片、DDR3颗粒、至少12块SATA3.0接口的SSD组成，每块存储板与数据接收母板有至少4路4x SRIO连接，并通过以太网与所述底板的板载路由器连接；

所述CPU板为一台板载计算机，通过高速串行总线同所述数据接收母板连接，并通过以太网连接底板的板载路由器来连接所述各存储板；

所述底板包括数据通路和板载路由器，所述数据接收母板、存储板和CPU板均插在所述底板上。

2.根据权利要求1所述的一种基于FPGA的多路高速AD数据采集和存储系统，其特征在于，包括：

所述高速AD采集子板的数量为N个,其中1≤N≤G/40取整数，G为所述数据接收母板所选FPGA中的高速串行收发器的数量；所述存储板数量为N的两倍；

所述数据接收母板为N个高速AD采集子板提供时钟和同步信号,通过JESD204B高速串行接口接收采集数据,通过至少8*N路4x SRIO高速串行接口与存储板进行数据交互。

3.根据权利要求1所述的一种基于FPGA的多路高速AD数据采集和存储系统，其特征在于，包括：所述高速AD采集子板中的AD芯片采样数据量最高为10GB/s，AD的采样数据通过JESD204B发送给数据接收母板，高速AD采集子板使用来自数据接收母板的同源时钟和相同的同步信号。

4.根据权利要求1所述的一种基于FPGA的多路高速AD数据采集和存储系统，其特征在于，包括：所述存储板中的SATA3.0接口的SSD数量为16块。

5.根据权利要求1至4中任一项所述的一种基于FPGA的多路高速AD数据采集和存储系统，其特征在于，包括：所述CPU板通过PCIE接口同所述数据接收母板连接。

Images