CN112947156A - 一种基于fpga的分布式数据传输系统及方法 - Google Patents
一种基于fpga的分布式数据传输系统及方法 Download PDFInfo
- Publication number
- CN112947156A CN112947156A CN202110125304.0A CN202110125304A CN112947156A CN 112947156 A CN112947156 A CN 112947156A CN 202110125304 A CN202110125304 A CN 202110125304A CN 112947156 A CN112947156 A CN 112947156A
- Authority
- CN
- China
- Prior art keywords
- fpga
- file
- data
- receiving
- data transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 12
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 claims abstract description 25
- 239000005441 aurora Substances 0.000 claims abstract description 23
- 238000007637 random forest analysis Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000007405 data analysis Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 239000013307 optical fiber Substances 0.000 description 8
- 238000012546 transfer Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
- G05B19/0423—Input/output
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/20—Pc systems
- G05B2219/25—Pc structure of the system
- G05B2219/25257—Microcontroller
Abstract
本发明公开了一种基于FPGA的分布式数据传输系统及方法，SFP接口至少设置两个，分别与Aurora接收端和Aurora发送端连接，Aurora接收端由接收控制模块控制接收数据，接收后存入接收FIFO，Aurora发送端由发送控制模块控制发送数据，发送的数据由发送FIFO中取出；所述控制寄存器经GPIO接收DMA中的数据，控制寄存器与接收控制模块和发送控制模块分别连接，DMA还与接收FIFO和发送FIFO分别连接；DMA和XDMA均与AXI Interconnect连接，AXI Interconnect还DDR4内存连接。本发明用于分布式，可以实现高速大数据量传输，传输速度可以达到410MB/s，通过此平台利用随机森林算法的并行化，数据分块分析，最后多个主机进行投票处理，大大提高随机森林算法的速度与准确度。
Description
技术领域
本发明属于分布式数据传输领域，特别涉及一种基于FPGA的分布式数据传输系统及方法。
背景技术
在计算技术发展到了今天，人们对于无论是数据的高速处理还是数据的高速传输都提出了更高的要求，有许多的实际应用中都需要非常庞大的计算量去支撑。若采用传统的集中式计算，完成数据计算则需要耗费相当长的一段时间。那么就需要有一种更加快速的数据处理方式去取代传统集中式计算。分布式计算应运而生。
分布式计算依赖于多台计算设备的高速互联，所以对于数据的传输速率就有了一定的要求。当前存在的大多数分布式计算平台都依托与互联网来实现，通过互联网去传输，最大的好处就在于实现了低成本的数据交互。但是对于要求越来越大的数据传输速率来说，以太网就越来越难以满足要求了。由于以太网协议的复杂性和物理层决定其传输速率不会太高，这极大影响了数据量计算的实时数据传输。FPGA，即现场可编程门阵列，是继PAL、GAL、CPLD之后，发展比较成熟的可编程器件发展的产物，其低延时，高连接性，并行传输的特点，使得FPGA成为转接平台实现数据高速通信的最佳平台。
发明内容
鉴于以上问题，本发明针对分布式计算的数据传输进行了研究和探索，提出了一种主机和从机之间全双工通信的、高速数据传输的、可分布式处理的可靠的技术方案：一种基于FPGA的分布式数据传输系统，包括若干个FPGA、和若干个PC；
其中，每个FPGA分别与每个PC通信连接，若干个PC中的一个PC作为主机，其余PC作为从机，每个FPGA依次连接；
所述FPGA包括SFP接口、接收控制模块、Aurora接收端、接收FIFO、发送控制模块、发送FIFO、Aurora发送端、控制寄存器、GPIO、DMA、XDMA、AXI Interconnect和DDR4内存；其中，SFP接口至少设置两个，分别与Aurora接收端和Aurora发送端连接，Aurora接收端由接收控制模块控制接收数据，接收后存入接收FIFO，Aurora发送端由发送控制模块控制发送数据，发送的数据由发送FIFO中取出；所述控制寄存器经GPIO接收DMA中的数据，控制寄存器与接收控制模块和发送控制模块分别连接，DMA还与接收FIFO和发送FIFO分别连接；DMA和XDMA均与AXI Interconnect连接，AXI Interconnect还DDR4内存连接。
优选地，所述FPGA之间通过SFP连接通信。
优选地，所述FPGA与PC通过PCIE连接通信。
优选地，所述DMA与GPIO通过AXI_Lite总线连接。
优选地，所述DMA与AXI Interconnect通过AXI总线连接。
优选地，所述XDMA与AXI Interconnect通过AXI总线连接。
优选地，所述AXI Interconnect与DDR4内存通过AXI总线连接。
优选地，所述PC包括文件选择模块、分发模式选择模块、文件列表显示模块、站点计算选择模块以及文件传输测速模块。
优选地，所述文件选择模块选择文件类型，并通过PCIE发送给FPGA，或者通过PCIE接收FPGA传来的数据；所述分发模式选择模块用于选择分发的方式，可选固定一个后端节点，或者均衡发送；所述文件列表显示模块用于显示已经发送的文件的名称、类型和大小；所述站点计算选择功能用于选择分布式计算的种类，包括CNN卷积神经网络训练和随机森林数据分析；所述文件传输测速模块用于在传输过程中显示传输速度。
基于上述目的，本发明还提供了一种基于FPGA的分布式数据传输方法，采用上述基于FPGA的分布式数据传输系统，包括以下步骤：
S10，先在作为主机的PC上选择要分布式处理的文件，再上传文件；
S20，文件通过PCIE传给与作为主机的PC连接的FPGA，再通过FPGA的SFP接口传给与从机PC连接的FPGA的DDR4内存中；
S30，从机PC选择接收文件位置并开始接收；
S40，与从机PC连接的FPGA接收到信号，并将数据通过PCIE传给从机PC，待文件全部保存到从机PC上时，表示一次传输完成。
本发明的有益效果至少包括：
1.本发明成本较低，功能相对齐全，具备4个SFP和一个PCIE，实际的传输速度可以达到410MB/s，可识别各种文件格式，因此可实现各种文件的高速传输，并配有上位机软件，操作较为简便。
2.本发明FPGA之间的数据交换利用Aurora 64b/66b高速串行协议进行，FPGA与PC端的数据交换采用的是PCI Express 3.0X8规范协议，传输速度比USB3.0的速度更快，且数据不易丢失，安全性较高。
3.利用该平台实现主机和从机的卷积神经网络的搭建以及并行的分布式计算，时间也大大缩短为原来的二分之一。
4.通过FPGA的分布式数据传输平台的高速互联以及随机森林算法的并行化计算，将大型数据分块处理和分析，最后由两个主机投票处理，大大提高了随机森林算法的速度和准确性。
附图说明
图1为本发明基于FPGA的分布式数据传输系统的结构框图；
图2为本发明基于FPGA的分布式数据传输系统的FPGA结构示意图；
图3为本发明基于FPGA的分布式数据传输系统的分布式文件传输系统界面图；
图4为本发明基于FPGA的分布式数据传输系统的发送端节点PC界面图；
图5为本发明基于FPGA的分布式数据传输系统的接收端节点PC界面图；
图6为本发明基于FPGA的分布式数据传输系统的数据采集部的界面图；
图7为本发明基于FPGA的分布式数据传输系统的DMA引脚图；
图8为本发明基于FPGA的分布式数据传输系统的文件传输数据包的格式图；
图9为本发明基于FPGA的分布式数据传输系统的控制逻辑Verilog HDL层次示意图；
图10为本发明基于FPGA的分布式数据传输系统的Aurora发送端的数据波形图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
参见图1、图2，一种基于FPGA的分布式数据传输系统，包括若干个FPGA10、和若干个PC20；
其中，每个FPGA10分别与每个PC20通信连接，若干个PC20中的一个PC20作为主机，其余PC20作为从机，每个FPGA10依次连接；
FPGA10包括SFP接口11、接收控制模块111、Aurora接收端112、接收FIFO113、发送控制模块114、发送FIFO115、Aurora发送端116、控制寄存器110、GPIO19、DMA13、XDMA15、AXIInterconnect16和DDR4内存17；其中，SFP接口11至少设置两个，分别与Aurora接收端112和Aurora发送端116连接，Aurora接收端112由接收控制模块111控制接收数据，接收后存入接收FIFO113，Aurora发送端116由发送控制模块114控制发送数据，发送的数据由发送FIFO115中取出；所述控制寄存器110经GPIO19接收DMA13中的数据，控制寄存器110与接收控制模块111和发送控制模块114分别连接，DMA13还与接收FIFO113和发送FIFO115分别连接；DMA13和XDMA15均与AXI Interconnect16连接，AXI Interconnect16还DDR4内存17连接。
FPGA10之间通过SFP连接通信。FPGA10与PC20通过PCIE连接通信。
DMA13与GPIO19通过AXI_Lite总线18连接；DMA13与AXI Interconnect16通过AXI总线14连接；XDMA15与AXI Interconnect16通过AXI总线14连接；AXI Interconnect16与DDR4内存17通过AXI总线14连接。
其中，单通道小型光纤可插拔收发器SFP(Small Form-factor Pluggable)、高速串行计算机扩展总线PCIE(Peripheral Component Interconnect Express)、第四代双倍速率同步动态随机存储器DDR4(Dual Data Rate SDRAM 4)、DMA13(Direct MemoryAccess,直接存储器访问)、XDMA15(DMA13/Bridge Subsystem for PC20I Express,用于PC20I Express的DMA13/桥子系统)、AXI Interconnect16(AXI总线14型接口连接器。
PC20包括文件选择模块、分发模式选择模块、文件列表显示模块、站点计算选择模块以及文件传输测速模块。文件选择模块选择文件类型，并通过PCIE发送给FPGA10，或者通过PCIE接收FPGA10传来的数据；所述分发模式选择模块用于选择分发的方式，可选固定一个后端节点，或者均衡发送；所述文件列表显示模块用于显示已经发送的文件的名称、类型和大小；所述站点计算选择功能用于选择分布式计算的种类，包括CNN卷积神经网络训练和随机森林数据分析；所述文件传输测速模块用于在传输过程中显示传输速度。
利用FPGA10作为PC20主机间交互的转换中介，其中FPGA10与PC20的数据交换采用的是PC20I Express 3.0X8规范协议，理论速度可达50Gbps以上，FPGA10平台之间采用Aurora 64b/66b协议进行数据传输，该协议单通道传输速度可达10Gbps以上。每个PC20都与一个FPGA10相连，FPGA10之间也通过SFP接口11相连，为方便描述，对发送数据的PC20称为Master PC20，对与Master PC20相连的FPGA10称为Master FPGA10，接收数据的PC20称为Slave PC20，与Slave PC20相连的FPGA10称为Slave FPGA10；显然Master FPGA10和SlaveFPGA10通过SFP接口11相连以传输数据。
整个数据流如下：Master PC20将所要下发给Slave PC20的数据和指令通过PCIE接口写入Master FPGA10端的DDR4内存17空间，然后数据进行Aurora64b/66b协议的光纤数据路由；Slave FPGA10接收相应光纤数据进行解析，缓存进该Slave FPGA10的DDR4内存17空间并通知Slave PC20进行数据读取，Slave PC20通过PCIE接口获取数据后进行数据解析，形成相应文件信息，表明一次传输完成。FPGA10作为传输中介，不但要实现PCIE、Aurora64b/66b协议、DDR4的读写控制，还要进行数据的缓存，指令的解析，端口的路由，并保证接口之间的无缝配合。
在FPGA10内部又分为两个部分，一是DMA13部分：该部分有两种数据通路，一种为AXI总线14的内存映射，另一种是AXI_Lite的寄存器映射接口。通过前者，PC20传输的PCIE数据可以直接映射到FPGA10的DDR4内存17空间，通过后者，PC20可以对AXI_Lite总线18接口的Slave端当作GPIO19控制，即可以通过AXI总线14实现大数据传输，通过AXI_Lite总线18实现控制指令的传输。此外添加5个GPIO19，分别用来接收PC20控制信息、FPGA10控制信息、传输文件大小、DDR4内存17空间以及其他控制信息，PC20可以实时监听这五个控制寄存器110并与之进行轻量级数据交换，这不会影响正常的PCIE大数据流传输。二是数据传输部分：为实现全双工工作模式，又因为光纤的发送和接收端不止要发送数据信息，还用来发送指令信息(例如一次传输的大小，传输的源端ID，传输的目的端ID等)，因此需要编写相应的控制逻辑进行读写仲裁，并解析相应信息，另外，传输的数据需要通过DMA13控制器与内存进行数据交换，因此DMA13控制器需要设计相应的控制逻辑；数据从内存到Aurora模块属于跨时钟域传输，因此输入输出端都需要添加FIFO实现跨时钟域。故设置了SFP接口11、接收控制模块111、Aurora接收端112、接收FIFO113、发送控制模块114、发送FIFO115、Aurora发送端116和控制寄存器110。
在PC20端，在文件选择模块选择要传送的本地文件；然后在分发模式选择模块可以选择分发的方式，可选固定一个后端节点，或者均衡发送；在站点计算选择模块选择想要进行的计算：CNN(Convolutional Neural Networks)卷积神经网络训练或者随机森林数据分析；在文件列表显示模块右键点击文件选择开始发送，数据便开始传输；在传输过程中，会自动弹出文件传输测速模块，用以显示传输文件大小和传输速度。在此过程中利用文件与内存的映射mmap(memory map,内存映射)技术，这样可以大大提高对于大文件的读取效率，为了避免大量数据一块通过PCIE接口从而造成数据阻塞，控制每次分发数据块的大小。利用文件内存指针索引分块读取，减少传输过程不必要的CPU负担。在接收节点接受完成后，可以利用分布式存储的优点进行分块计算，CNN卷积神经网络利用像素点并行卷积的优势，将大量图像数据源分配到不同的主机可以弥补单一计算机内存与CPU的计算能力的极限，利用Python语言的rPC20远程过程调用方式，进行从机节点的计算调节，以及分布计算的返回值结果。然后主机节点对于返回值进行汇总，实现总分总的结构。用户可以在完全不懂FPGA原理和VIVADO软件操作的情况下，只需在上位机中选择所需传输文件以及相应功能即可。
方法实施例
一种基于FPGA10的分布式数据传输方法，采用上述基于FPGA10的分布式数据传输系统，参见图3为PC20界面图，方法包括以下步骤：
S10，先在作为主机的PC20上选择要分布式处理的文件，再上传文件，参见图4；
S20，文件通过PCIE传给与作为主机的PC20连接的FPGA10，再通过FPGA10的SFP接口11传给与从机PC20连接的FPGA10的DDR4内存17中；
S30，从机PC20选择接收文件位置并开始接收，参见图5；
S40，与从机PC20连接的FPGA10接收到信号，并将数据通过PCIE传给从机PC20，待文件全部保存到从机PC20上时，表示一次传输完成。
参见图6所示是本发明文件传输的测速界面，此界面在文件传输完成后，显示保存文件速度达到410Mb/s左右。为实现高速数据传输，本发明选用PC20I Express 3.0协议标准，其通信速率理论为8GT/s，实测速度为3.5GB/s，FPGA10设置4个SFP光纤接口，使用G bit高速收发器GTH(Gigabyte Transceiver中的一种)作为物理层，使用Aurora64b/66b作为传输层协议，单通道理论线速度约为2GB/s，板卡实测最高线速度为1.3GB/s，通过理论计算，单通道实际速度最高为3.5G/4≈800MB/s，去除光纤双工读写仲裁和内存读写仲裁时间，一个PCIE X8接口的带宽最高大约可以承载4通道SFP光纤的最高速度约为700MB/s。
PCIE通过AXI Interconnect16与DDR4内存17直接进行相连，因此PC20可以方便的与DDR4内存17进行数据交换：通过AXI总线14实现大数据传输，通过AXI_Lite总线18实现控制指令的传输，并且XDMA15的IP核需要对AXI_Lite总线18的基地址和偏移地址做出相应的转换。但是用户模块要想获得DDR4内存17数据，就必须也将模块封装为AXI Master(AXI总线型主接口)通过AXI Interconnect16(AXI总线型接口连接器)来对DDR4内存17进行读写，这是因为DDR4内存17的数据是按照AXI总线型接口进行传输的，并且需要与不同模块进行数据读写，所以需要用AXI Interconnect16对数据进行路由。DMA13实现的功能是内存直接获取，从本质实现方式来讲也即完成了从AXI总线14到用户接口的转换功能。本发明采用MSXBO提供的开源DMA控制模块，对DDR4内存17进行数据读写通过控制相应的请求信号即可，并且还可以设计突发长度大小、总线宽度、突发数量等信息，此外该模块的数据接口可以直接作为输入输出缓冲FIFO的读写使能信号，该模块的端口参见图7。
本发明所设计的FPGA分布式传输为全双工工作模式，又因为光纤的发送和接收端不止要发送数据信息，还用来发送指令信息，如一次传输的大小，传输的源端ID，传输的目的端ID，因此需要编写相应的控制逻辑进行读写仲裁，并解析相应信息，所以设计了图8所示的数据包格式。另外，传输的数据需要通过DMA控制器与内存进行数据交换，因此DMA控制器需要设计相应的控制逻辑；数据从内存到Aurora模块属于跨时钟域传输，因此输入输出端都需要添加FIFO实现跨时钟域，两个FIFO的控制线也归为控制逻辑设计。本发明的控制逻辑均采用Verilog HDL语言设计，设计层次参见图9。传输过程中FPGA内部的Aurora64b/66b发送部分的数据波形参见图10。
实际中，传输文件可能因为一个字节数据传输错误而导致整个文件校验失败，再加上文件的格式多种多样性，接收与发送必须定义好一致的通信协议。当系统传输数据的时候，只有原始内存数据，接收端无法得知文件的类型，所以要提前对文件进行分类，比如pdf，mp4，jpg，png等。根据不同的文件类型进行简单编码标注操作，这样接收端才可以通过标注进行相应文件类型保存。在要传输的数据前面开辟两个字节存放传递文件类型对应的编码，不同文件类型对应不同的数据头，先行判断数据头选择保存的文件类型。为了防止数据粘包情况出现，在传输的数据头不仅有文件类型还要记录文件的大小，避免接收数据过多或者过少与原始数据的容量不一致导致恢复失败。所以在文件类型后面开辟八个字节的空间，通过文件容量大小进行求余计算并且在八字节对应位置进行置一操作。因此本发明设计了图8的通信协议。
传输时，接收端首先读取内存头部分数据判断文件类型，通过提前指定的协议标准，解码出对应的不同文件类型。然后读取后面的几个字节的文件大小，通过十六进制与十进制的转换，计算准确的文件大小。获得文件大小后，通过内存指针的索引，改变分段保存的对应类型的文件，保证传输数据的完整性。因为PC的CPU的工作效率有极限，假如发送端传输的某个本地文件容量过大，此时仍然按照传输文件的传统数据流读取方法，会进行多次硬盘数据读取，这将会浪费大量时间，甚至会出现读取进程阻塞的情况，这时PC一直处于读取文件的状态，读取进程会出现长时间未响应的后果，阻塞时间过长会导致程序崩溃，读取文件失败。为此需要先进行判断，若文件过大，比如文件大小大于500MB，就需要使用mmap文件内存映射，通过文件数据直接映射到内存段，这样就不需要CPU的切换直接对内存数据读取，读取速度大大提高。此操作需要使用PC的虚拟内存，并保证映射的文件大小小于PC预留出的虚拟内存。如果大于虚拟内存，就需要通过头指针进行分段按顺序读取，从而提高系统的传输效率，避免系统出现“假死”的状态。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (10)
1.一种基于FPGA的分布式数据传输系统，其特征在于，包括若干个FPGA、和若干个PC；
其中，每个FPGA分别与每个PC通信连接，若干个PC中的一个PC作为主机，其余PC作为从机，每个FPGA依次连接；
所述FPGA包括SFP接口、接收控制模块、Aurora接收端、接收FIFO、发送控制模块、发送FIFO、Aurora发送端、控制寄存器、GPIO、DMA、XDMA、AXI Interconnect和DDR4内存；其中，SFP接口至少设置两个，分别与Aurora接收端和Aurora发送端连接，Aurora接收端由接收控制模块控制接收数据，接收后存入接收FIFO，Aurora发送端由发送控制模块控制发送数据，发送的数据由发送FIFO中取出；所述控制寄存器经GPIO接收DMA中的数据，控制寄存器与接收控制模块和发送控制模块分别连接，DMA还与接收FIFO和发送FIFO分别连接；DMA和XDMA均与AXI Interconnect连接，AXI Interconnect还DDR4内存连接。
2.根据权利要求1所述的基于FPGA的分布式数据传输系统，其特征在于，所述FPGA之间通过SFP连接通信。
3.根据权利要求1所述的基于FPGA的分布式数据传输系统，其特征在于，所述FPGA与PC通过PCIE连接通信。
4.根据权利要求1所述的基于FPGA的分布式数据传输系统，其特征在于，所述DMA与GPIO通过AXI_Lite总线连接。
5.根据权利要求1所述的基于FPGA的分布式数据传输系统，其特征在于，所述DMA与AXIInterconnect通过AXI总线连接。
6.根据权利要求1所述的基于FPGA的分布式数据传输系统，其特征在于，所述XDMA与AXI Interconnect通过AXI总线连接。
7.根据权利要求1所述的基于FPGA的分布式数据传输系统，其特征在于，所述AXIInterconnect与DDR4内存通过AXI总线连接。
8.根据权利要求1所述的基于FPGA的分布式数据传输系统，其特征在于，所述PC包括文件选择模块、分发模式选择模块、文件列表显示模块、站点计算选择模块以及文件传输测速模块。
9.根据权利要求8所述的基于FPGA的分布式数据传输系统，其特征在于，所述文件选择模块选择文件类型，并通过PCIE发送给FPGA，或者通过PCIE接收FPGA传来的数据；所述分发模式选择模块用于选择分发的方式，可选固定一个后端节点，或者均衡发送；所述文件列表显示模块用于显示已经发送的文件的名称、类型和大小；所述站点计算选择功能用于选择分布式计算的种类，包括CNN卷积神经网络训练和随机森林数据分析；所述文件传输测速模块用于在传输过程中显示传输速度。
10.一种基于FPGA的分布式数据传输方法，采用权利要求1-9之一所述的基于FPGA的分布式数据传输系统，其特征在于，包括以下步骤：
S10，先在作为主机的PC上选择要分布式处理的文件，再上传文件；
S20，文件通过PCIE传给与作为主机的PC连接的FPGA，再通过FPGA的SFP接口传给与从机PC连接的FPGA的DDR4内存中；
S30，从机PC选择接收文件位置并开始接收；
S40，与从机PC连接的FPGA接收到信号，并将数据通过PCIE传给从机PC，待文件全部保存到从机PC上时，表示一次传输完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110125304.0A CN112947156A (zh) | 2021-01-29 | 2021-01-29 | 一种基于fpga的分布式数据传输系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110125304.0A CN112947156A (zh) | 2021-01-29 | 2021-01-29 | 一种基于fpga的分布式数据传输系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112947156A true CN112947156A (zh) | 2021-06-11 |
Family
ID=76239597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110125304.0A Pending CN112947156A (zh) | 2021-01-29 | 2021-01-29 | 一种基于fpga的分布式数据传输系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112947156A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114398303A (zh) * | 2022-01-19 | 2022-04-26 | 扬州万方科技股份有限公司 | 一种实现低延时的数据传输方法及系统 |
-
2021
- 2021-01-29 CN CN202110125304.0A patent/CN112947156A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114398303A (zh) * | 2022-01-19 | 2022-04-26 | 扬州万方科技股份有限公司 | 一种实现低延时的数据传输方法及系统 |
| CN114398303B (zh) * | 2022-01-19 | 2022-10-28 | 扬州万方科技股份有限公司 | 一种实现低延时的数据传输方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7970953B2 (en) | Serial ATA port addressing | |
| CN103178872B (zh) | 通过以太网延长usb系统传输距离的方法及装置 | |
| CN105335326A (zh) | 一种基于fpga的pcie转sata接口阵列的装置 | |
| CN111090603B (zh) | 一种lvds转usb3.0适配器 | |
| CN114168520B (zh) | 光纤通信总线装置、设备和系统 | |
| CN111338996B (zh) | 一种支持多协议的复合总线控制器 | |
| CN112148651B (zh) | 一种增强型rapidio互联装置及设备 | |
| CN113961494B (zh) | 一种pcie总线与axi总线的桥接系统 | |
| CN116069711A (zh) | 直接内存访问控制器、异构设备、内存访问方法及介质 | |
| CN101901278B (zh) | 一种高速数据采集卡及数据采集方法 | |
| CN112947156A (zh) | 一种基于fpga的分布式数据传输系统及方法 | |
| US20100228901A1 (en) | Input output control apparatus with a plurality of ports and single protocol processing circuit | |
| CN116737624B (zh) | 一种高性能数据存取装置 | |
| Zhou et al. | Optimization design of high-speed data acquisition system based on DMA double cache mechanism | |
| CN215006296U (zh) | 一种基于fpga的分布式数据传输系统 | |
| CN102012948B (zh) | 基于usb的数据实时采集和存储系统及方法 | |
| CN116107923B (zh) | 一种基于bram的多对多高速访存架构和访存系统 | |
| KR20160147373A (ko) | 광 신호를 이용한 sata 호스트 버스 어댑터 및 sata 저장소 연결 방법 | |
| CN204334811U (zh) | 基于光纤通信的红外数字图像采集和传输系统 | |
| CN115296743A (zh) | 光纤通信转接系统 | |
| US5602667A (en) | Extended distance fiber optic interface | |
| CN108055460A (zh) | 高速图像处理和采集系统 | |
| Du et al. | Research on XDMA high-speed data transmission architecture based on PCIe | |
| CN111538688B (zh) | 数据处理方法、装置、模组及芯片 | |
| CN116820867B (zh) | 一种芯片调试方法、装置及芯片 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Country or region after: Zhong Guo Address after: 310018 Xiasha Higher Education Zone, Hangzhou, Zhejiang Applicant after: HANGZHOU DIANZI University Applicant after: Hangzhou University of Electronic Science and Technology Fuyang Institute of Electronic Information Co.,Ltd. Address before: Room 937, 9 / F, no.6, Yinhu innovation center, No.9 Fuxian Road, Yinhu street, Fuyang District, Hangzhou City, Zhejiang Province Applicant before: Hangzhou University of Electronic Science and Technology Fuyang Institute of Electronic Information Co.,Ltd. Country or region before: Zhong Guo Applicant before: HANGZHOU DIANZI University |