CN213338710U - 一种基于多fpga板卡全连接的异构计算服务器 - Google Patents

Abstract

本实用新型提出一种基于多FPGA板卡全连接的异构计算服务器，该服务器包含5个FPGA并行计算信号处理板，每个FPGA处理板出4组X4的Aurora总线，和其他四个FPGA处理板两两互相连接，同时每个FPGA处理板出一个PCIeX4的总线信号，全部连接到X86的主控管理板上。这样，形成X86处理器和多FPGA处理器的全连接的异构计算服务器。全连接的Full mesh结构实现串行、并行数据传输和串行、并行算法计算，使得设备扩展性大大加强，计算的延迟时间、数据的吞吐率远高于传统PCIe架构的异构计算服务器。其FPGA的计算结果又可以通过PCIe总线传输给X86处理器，实现数据的管理、显示、存储。

Description

一种基于多FPGA板卡全连接的异构计算服务器

技术领域

本实用新型涉及一种异构计算服务器技术领域，特别是涉及一种基于多FPGA板卡全连接的异构计算服务器。

背景技术

异构计算是一种特殊形式的并行和分布式计算，它能同时支持串行方式和并行方式的单个独立计算机，或是用由高速网络互连的一组独立计算机来完成计算任务。它能协调地使用性能、结构各异地机器以满足不同的计算需求，并使代码能以获取最大总体性能方式来执行。目前通常的异构计算服务器在硬件上大部分使用PCIe总线互相连接，实现X86处理器或者ARM处理器和一片GPU/FPGA PCIe卡，或者多片GPU/FPGA PCIe卡组合，实现算法任务的串行和并行计算，达到异构计算的效果，产品目前广泛应用于互联网图像、大数据运算，人工智能分析等场合。产品形态都是延续传统服务器结构扩展PCIe卡的模式，主要有塔式服务器和机架服务器，常见曙光、浪潮、华为等公司服务器产品。

PCIe总线的通用异构计算服务器是在传统服务器的基础上发展过来的，其最大的特点就是各计算子卡的数据传输都需要通过主板PCIe总线进行桥接，受制于PCIe总线没有Switch交换功能，其子卡之间没有办法实现数据的直接连通。这样，导致高带宽的数据交互频繁的占用主板CPU的资源，使得CPU成为了一个简单的数据转发器，大大浪费了CPU本身的数据算法计算能力，另外，频繁的PCIe交互，大大增加了数据传输的延迟，对于高带宽、低延迟的系统，传统异构计算服务器就满足不了产品应用的要求。

以GPU为处理器的并行计算PCIe卡构建的异构计算服务器，受制于GPU是一种固化的PCIe处理器，其只能沿用目前PCIe总线模式，另外其API函数、底层中间件软件也是基于PCIe服务器模式进行搭建，目前还很难看到其数据互联模式升级的可能性。

发明内容

为了克服现有技术的不足,本实用新型提出一种基于多FPGA板卡全连接的异构计算服务器，该服务器包含5个FPGA并行计算信号处理板，每个FPGA处理板出4组X4的 Aurora总线，和其他四个FPGA处理板两两互相连接，同时每个FPGA处理板出一个PCIeX4 的总线信号，全部连接到X86的主控管理板上。这样，形成X86处理器和多FPGA处理器的全连接的异构计算服务器。全连接的Full mesh结构实现串行、并行数据传输和串行、并行算法计算，使得设备扩展性大大加强，计算的延迟时间、数据的吞吐率远高于传统PCIe 架构的异构计算服务器。其FPGA的计算结果又可以通过PCIe总线传输给X86处理器，实现数据的管理、显示、存储。

该服务器中的多板卡FPGA数据互联不需要经过PCIe总线，全连接的Full mesh结构使得板卡任意两两互联，5个FPGA处理器的数据传输可以按照串行方式传输，也可以并行传输，从而实现FPGA算法计算串行方式或者并行方式进行，大大增强了异构的灵活性，并行计算的扩展性大大加强，计算的延迟时间、数据的吞吐率远高于传统PCIe架构的异构计算服务器。其FPGA的计算结果又可以通过PCIe总线传输给X86处理器，实现主控管理、显示、存储。FPGA卡可以扩展万兆网络、光纤等接口，能非常方便的从外部直接导入数据到FPGA直接计算。

FPGA器件是一种可编程逻辑器件，具有丰富的逻辑运算资源和乘法器，其高速差分串行收发器可配置成PCIe、RapidIO、万兆网、Aurora等总线传输方式。FPGA作为一种优良的并行计算器件，随着其编译工具的易用性提高、算法IP的丰富，越来越有替代GPU处理器的趋势。基于多FPGA板卡全连接的异构计算服务器，其Full Mesh结构，可以充分利用了FPGA的高速差分串行收发器可多功能配置的特点，GTX互联可以采用Aurora、 RapidIO链路层协议，从而实现服务器内部多板卡互联的整机工作。整机互联背板可以选择使用VPX、CPCIe或者ATCA的背板互联协议规范。

整机互联背板可以选择使用VPX、CPCIe或者ATCA的背板互联协议规范，主要考虑军工、工业、电信等行业特点，设备的安装、加固、散热、高低温工作场景进行选择，该几种设备形态其信号高速率传输，长期可靠稳定工作经过行业的充分认可。

本实用新型解决其技术问题所采用的技术方案是：

一种基于多FPGA板卡全连接的异构计算服务器采用VPX、CPCIe或者ATCA架构，其设备包括FPGA并行处理卡，X86主控管理卡，可选择的接口扩展卡，高速全连接背板，电源，机箱等部件。

所述FPGA并行处理卡板载一片高性能FPGA芯片，具有丰富的逻辑资源、乘法器，外连于背板的4组AuroraX4的串行收发器和X4的PCIe总线；具有大容量2GB以上的外部 DDR缓存；具有可能外扩的万兆网络、AD接入、图像接入等接口；计算能力支持并行的加速算法和神经网络AI算法。

所述X86主控管理卡是由高性能X86处理器芯片为主，具有多核浮点、数值计算能力；外出5组以上的PCIeX4总线，能支持和5个FPGA并行处理卡互联，并完成管理配置、数据交互能力；自带显示、硬盘、内存、USB、网络等通用计算机外设，实现显控管理功能。

所述可选择的接口扩展卡，考虑到异构计算服务器可能要扩展的一些外设信号，如千兆网络、RS232、GPS时钟等需要增加PCIe的扩展卡，占用一个单板槽位。

所述高速全连接背板是实现多板卡Aurora、PCIe总线信号互联、提供工作电源的一个电气电子板卡，也是支撑多板卡互联的一个物理受力结构件，背板还需要支持可能的多板卡的复位、时钟、触发总线、IO低速互联等功能。是实现多板卡协同工作的信号传输网络，板卡本身不带高性能处理器，不具有计算能力。

所述电源通常实现220V交流市电转换成板卡工作的+12V、+5V直流电，需要提供足够的功率、电源保护，纹波要求，为整机板卡提供持续的电源保障。

所述的机箱部件主要用于各电路板的安装固定、风扇风道散热，工作保护；机箱整机尺寸外观符合VPX、CPCIe、ATCA规范，适配于常见工作场景，如机架机柜等安装放置。

需要说明的是，多FPGA板卡全连接的异构计算服务器，目前主要定义五角星五边形五块FPGA卡的全连接结构，其定义也可以是三块卡互联等，主要考虑计算规模和整机体积功耗，五块卡相对通用；其机箱内部也可以插入三块FPGA卡或者若干数量的卡构建合适的应用规模；另外某块FPGA卡也可以替换为高带宽的Aurora接口存储卡，实现数据直连高速存储。

需要说明的是，所述的FPGA处理卡可以是xilinx公司产品、也可以是intel等其他公司产品，其高速串行Aurora总线支持6.25Gbps，10Gbps等速率，其X4模式也可以调整为X1模式，实现更多路的互联；其Aurora协议也可以使用RapidIO协议进行点到点的全连接互联；其PCIe支持PCIe2.0，3.0等速率规范；FPGA还可能扩展DSP协处理器，光纤、AD、图像等接口接入。

需要说明的是，所述的X86主控管理卡区别于通用异构服务器，可能不承担主要的计算功能，更多完成设备的配置、管理、显控和简单的计算，让FPGA发挥更多的计算性能；或者主控管理卡上可配置GPU处理器帮助更好的数值计算。

需要说明的是，高速全连接背板除了全连接Aurora总线，PCIe总线，可能还需要增加统一复位、统一时钟，同步触发IO，这样有利于多FPGA的时钟同源、处理节奏同步，这又是传统异构服务器所没有的功能，在高并行性，精准延时等应用具有独特的价值。

需要说明的，多FPGA板卡全连接的异构计算服务器需要开发有别于通用异构服务器的底层软件，设备的状态监测、高速数据的交互模式、多FPGA计算参数的配置、FPGA软件的动态加载，需要服务器厂家开发一套类似BIOS的底层中间件，为客户应用提供一个简洁、高效、易用的异构计算数据链框架软件，为客户算法移植、产品开发提供坚实的基础。

本实用新型有益效果在于：

1、新型架构：利用FPGA处理器的多路高速串行收发器的特点，结合大数据计算和人工智能时代的设备新特点，基于Aurora总线和PCIe总线重新定义Full mesh全连接的异构计算服务器，充分发挥FPGA并行计算的性能，降低互联时延，提供互联带宽，减轻X86主控板卡的资源开销，可以充分优化智能算法架构，实现并行计算和串行计算的最佳匹配。

2、处理能力：多片FPGA的全连接结构，可以非常方便的搭建多路并行，多路串行的算法处理结构，充分发挥FPGA的计算性能，克服传统基于GPU板卡的PCIe异构模式缺点。为高实时、低延时、精准延时的加速计算平台和人工智能平台提供硬件算力支持。

3、背板架构：基于VPX、CPCIe、ATCA的背板架构，使得背板成为一个独立的互联设备，架起多片FPGA板卡和主板板卡的桥梁，板卡基于刀片模式，更好的增加产品的集成度，同时有利于风道设计、板卡散热，有利于机箱板卡加固安装，提高设备的可靠性。

附图说明

图1是本异构计算服务器的背板结构示意图；

图2是基于6U VPX的FPGA加速计算卡框图；

图3是本异构计算服务器的外形图；

图4是本异构服务器的软件流程图。

具体实施方式

以下将结合附图对本实用新型进行进一步的描述，需要说明的是，本实施技术方案为前提，给出详细的实施方式，但本实用新型的保护范围并不限于本实施例。

如图1所示，一种基于多FPGA板卡全连接的异构计算服务器的背板结构示意图。该背板承载6个槽位：1个系统板槽，5个处理板槽。

图1：系统板卡槽分别和5个处理板槽采用PCIe x4和千兆以太网互联，用于控制管理和数据传输。系统板卡槽分别和5个处理板卡槽有复位信号和，I2C串口等低速通道互联，可实现对处理板的复位操作和板卡状态信息的回传。

图1：五个处理板槽间实现Full Mesh方式全连接互联，用于Aurora x4或者SRIOx4 等高速接口协议数据互联，构建五边形加星型连接的形式，实现任意两个处理板对等数据传输，五个FPGA处理器可以构建并行或者串行的数据计算模式。同时五个处理板间槽实现时钟和LVDS等低速数据互联。

如图2所示，一种基于FPGA的6U VPX信号处理卡的物理结构形式。该硬件平台是由多个硬件模块构成，该硬件平台的模块包括高速数据采集模块，高速数据暂存模块，高速数据处理模块，VPX接口电路模块。

图2：本实用新型中的高速数据采集模块用于将高速数据采集卡与高速数据处理模块的FPGA通过FMC标准接口相连接。

图2：本实用新型中的高速数据暂存模块包括FPGA配置电路，FPGA外部数据存储电路。FPGA配置电路用于FPGA的加载方式及关键数据的保存。FPGA外部数据存储电路可以将采集到的高速数据暂存到DDR3中存储，用于数据后续处理。

图2：本实用新型中的的高速数据处理模块采用高性能FPGA处理器，高性能PGA处理器具有多路高速串行收发器，可以分别连接与FMC接口和VPX接口，用于高带宽的大数据传输。同时其具有大量的硬件可编程逻辑单元，用于算法的灵活、并行运算。其芯片可以是xilinx公司的，也可以是其他公司如intel公司等。

图2：本实用新型中的VPX接口电路模块，采用的是6U VPX的标准结构。其中P0 为公用连接器，维护管理总线、测试总线和电源信号；P1部分连接4组GTX x4，可以实现Aurora、SRIO等协议；P2连接1组GTX x4，实现PCIe协议，用于和系统板连接。P4连接LVDS信号。

如图3所示，本异构服务器的外形图。该异构服务器可用于VPX、CPCIe、ATCA等架构。内部支持6U 6槽VPX板卡背板和1块600W大功率电源。系统采用水平插卡和高性能散热设计，适用于桌面和上架应用。整机表面光洁、无锈蚀、无划痕，美观大方，操作方便、灵活。

如图4所示，异构服务器的软件流程示意图，构建系统板卡管理，多板卡全连接的综合处理方式。

(1)系统板卡管理：系统板和处理板采用IPMI接口互联。IPMI是智能型平台管理接口，用于可以利用IPMI监视服务器的物理健康特性，如温度、电压、风扇工作状态、电源状态等。IPMI能够横跨不同的操作系统、固件和硬件平台，可以智能的监视、控制和自动回报大量服务器的运作状况，以降低服务器系统成本。

(2)PCIe互联：通过PCIe高速总线，实现主控板卡和各信号处理板的连接，所连接的设备分配独享通道带宽，不共享总线带宽，主要支持端对端的可靠性传输，实现软件的配置管理，数据的显示控制。

(3)Full Mesh全网状互联：所有处理板通过背板走线连接到其他板卡，不需要外部的交换芯片，就能实现任意两个板卡都有直接连接，连接形式采样GTX串行差分对，协议支持RapidIOX4或者AuroraX4，这样，任意信号处理板从外部接入的数据都能通过总线实时并行的传给其他四块信号处理板，也能串行传输，实现FPGA1，FPGA2…FPGA5的串行处理工作，无论是并行处理，还是串行处理，数据的传输交互都不需要通过主控板，不需要占用主控板CPU的资源。Full Mesh全网状结构，充分发挥了FPGA的可编程能力，可任意定义并行、串行模式，充分的可扩展、冗余能力，为大数据计算和人工智能算法的高速、实时计算创造了多种可能性，最大的发挥硬件效能。

Claims (2)

1.一种基于多FPGA板卡全连接的异构计算服务器，其特征在于该服务器包含5个FPGA并行计算信号处理板，每个FPGA处理板出4组X4的Aurora总线，和其他四个FPGA处理板两两互相连接，同时每个FPGA处理板出一个PCIeX4的总线信号，全部连接到X86的主控管理板上，形成X86处理器和多FPGA处理器的全连接的异构计算服务器。

2.根据权利要求1所述的一种基于多FPGA板卡全连接的异构计算服务器，其特征在于其全连接的Full Mesh结构，可以充分利用了FPGA的高速差分串行收发器可多功能配置的特点，GTX互联可以采用Aurora、RapidIO链路层协议，整机互联背板可以选择使用VPX、CPCIe或者ATCA的背板互联协议规范。

Images