CN210776379U - 一种GPU Box系统 - Google Patents

Abstract

本申请公开了一种GPU Box系统，该系统设置于一独立的4U高度服务器机箱内，该系统与服务器HOST之间通过MiniSAS HD线缆通信连接。该系统中包括GPU板和电源板，且GPU板与电源板之间通过Busbar电源连接器连接，GPU板与电源板之间还通过线缆连接，GPU板上设置有N个GPU加速卡，且任一所述GPU加速卡通过MiniSAS HD线缆与一个服务器HOST通信连接。通过本申请，能够提高GPU板供电的稳定性，大大提高高密度服务器的数据运行速度。

Description

一种GPU Box系统

技术领域

本申请涉及服务器架构设计技术领域，特别是涉及一种GPU(Graphic ProcessingUnit，图形处理器)Box系统。

背景技术

随着互联网、云计算和大数据应用技术的发展，数据中心进行数据处理时，通常采用加速计算型的高密度服务器。因此，如何设计高密度服务器的结构，使其实现高速而稳定的运行，是一个重要问题。

目前的高密度服务器，通常采用基于FPGA((Field-Programmable Gate Array，现场可编程门阵列)、GPU加速和CPU相结合的架构形式，这种架构形式，在1U高密度机型内无法很好地适配，2U/4U高度的服务器机箱适配能力有限。这种架构形式主要应用于4U高度的服务器机箱，具体地，4U架构的服务器内设置有CPU以及1张或者2张FPGA/GPU卡。

然而，目前的高密度服务器中，由于4U高度的服务器机箱内设置有CPU，内部可以配置FPGA/GPU卡的空间狭小，通常只能设置1张或者2张FPGA/GPU卡，所配置的FPGA/GPU卡数量太少，无法更好地实现加快计算的目的，即：数据运行速度不够高。而且，FPGA/GPU卡运行时散发的热量较高，较高的热量容易导致GPU宕机，从而影响高密度服务器运行的稳定性。另外，GPU运行时功耗较高，有时会有瞬时性电流激增的现象，目前的高密度服务器内CPU与FPGA/GPU卡共用电源，容易导致机箱内部主板供电稳定性较差，从而影响高密度服务器运行的稳定性。

实用新型内容

本申请提供了一种GPU Box系统，以解决现有技术中高密度服务器运行稳定性较差、数据运行速度不够高的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种GPU Box系统，所述GPU Box系统设置于一独立的4U高度的服务器机箱内部，所述GPU Box系统与服务器HOST(主机)之间通过MiniSAS HD线缆通信连接，所述GPU Box系统中包括：GPU板和电源板，所述GPU板与电源板之间通过Busbar电源连接器连接，所述GPU板与电源板之间还通过线缆连接，所述GPU板上设置有N个GPU加速卡，且任一所述GPU加速卡通过MiniSAS HD线缆与一个服务器HOST通信连接，N为自然数，且N的取值范围是1-8。

可选地，所述GPU板可与1-8个服务器HOST通信连接。

可选地，任一所述GPU加速卡通过设置于服务器HOST上的Retimer标准卡与一个服务器HOST的PCIE接口通信连接。

可选地，任一所述服务器HOST中设置有标准PCIE x16卡槽，且任一所述服务器HOST可连接1个、2个或者4个GPU加速卡。

可选地，所述电源板中设置有多个PSU(Power Supply Unit，电源供应器)连接器、PSU、风扇连接器以及风扇转子，任一所述PSU连接器与任一所述PSU连接，任一所述风扇连接器与任一所述风扇转子连接。

可选地，所述GPU板包括：N个GPU加速卡、N个PCIE x16标准插槽、N个MiniSAS HDx16连接器、N组HSC(Hot Swap Controller，热插拔控制器)供电模块、CPLD(ComplexProgrammable Logic Device，复杂可编程逻辑器件)以及BMC(Baseboard ManagementController，基板管理控制器)，任一所述GPU加速卡与任一所述PCIE x16标准插槽相匹配，任一所述GPU加速卡通过任一所述MiniSAS HD连接器经由所述MiniSAS HD线缆与一个服务器HOST通信连接，任一所述HSC供电模块与一个GPU加速卡连接，任一所述HSC供电模块的power enable信号、power good信号以及alert信号分别与所述CPLD连接，所述BMC分别与N个GPU加速卡、N个HSC供电模块、CPLD、电源板以及服务器HOST通信连接。

可选地，所述BMC包括：N个第一I2C(Inter Integrated Circuit,I2C总线)信号引脚、一个第二I2C信号引脚、一个第三I2C信号引脚、一个第四I2C信号引脚、一个第五I2C信号引脚、一个第六I2C信号引脚、COM(Cluster Communication Port，串行通讯接口，简称串口)接口、以太网接口、ADC(Analog to Digital Converter，模数转换器)模块、PWM(PulseWidth Modulation，脉冲宽度调制)模块以及TACH(Tachometer转速计)检测模块，任一所述第一I2C信号引脚通过MiniSAS HD线缆连接至服务器HOST的BMC，所述第二I2C信号引脚通过PCA9548开关扩展N组第一I2C总线，N组所述第一I2C总线分别连接至N个GPU加速卡，所述第三I2C信号引脚通过PCA9548开关扩展N组第二I2C总线，N组所述第二I2C总线分别连接至N个HSC供电模块，所述第四I2C信号引脚用于获取电源板的功耗、设备信息以及配置电源板的工作模式，所述第五I2C信号引脚用于采集GPU Box系统所在服务器机箱进风口和出风口的温度，所述第六I2C信号引脚用于获取GPU板的设备信息，所述COM接口用于连接外部设备，所述以太网接口用于连接远程网络，所述ADC模块用于采集N个GPU加速卡的供电信息，所述PWM模块用于控制风扇转子的转速，所述TACH检测模块用于采集风扇转子转速的反馈信息。

可选地，所述GPU加速卡为标准FHFL(Full Height Full Length，全高全长)的GPU加速卡。

本申请的实施例提供的技术方案可以包括以下有益效果：

本申请提供一种GPU Box系统，该系统设置于一独立的4U高度服务器机箱内，该系统中不包括CPU，主要设置FPGA/GPU卡，且该系统与服务器HOST之间通过MiniSAS HD线缆通信连接。该系统中主要包括GPU板和电源板，且GPU板与电源板之间通过Busbar电源连接器连接，从而实现电源板对GPU板的供电，GPU板与电源板之间还通过线缆连接，从而实现GPU板中BMC或CPLD对电源板上风扇以及PSU的信息采集与控制。本实施例中GPU板上设置有1-8个GPU加速卡，且任一GPU加速卡通过MiniSAS HD线缆与一个服务器HOST通信连接，从而实现GPU加速卡与服务器HOST中CPU之间的数据通信。本实施例中设置一不带有CPU的新型GPUBox系统，通过将该GPU Box系统设置一独立的4U高度服务器机箱内部，由于该GPU Box系统中不包含CPU节点，且能够避免在高密度的CPU节点机箱内安装GPU，从而能够解决现有的4U高密度服务器内部空间狭小，无法配置较多的GPU加速卡的问题。本实施例的GPU Box系统中包括有GPU板和电源板，GPU板采用独立的电源板进行供电，能够确保GPU板供电的稳定性，有利于提高高密度服务器运行的稳定性。而且GPU板上设置有1-8个GPU加速卡，较多的GPU加速卡能够更好地实现加快计算的目的，从而大大提高高密度服务器的数据运行速度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例所提供的一种GPU Box系统的结构示意图；

图2为本申请实施例中GPU Box系统与服务器HOST之间互联拓扑的结构示意图；

图3为本申请实施例中GPU Box系统设置8个GPU板时的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

本申请实施例中的GPU Box系统设置于一独立的4U高度的服务器机箱内部，也就是本实施例的4U高度的服务器机箱内部主要是用于存放GPU加速卡的GPU Box系统，并没有CPU节点，通过将GPU Box系统设置于独立的4U服务器机箱内，能够避免在高密度的CPU服务器机箱内设置GPU，从而能够解决现有的4U高密度服务器内部空间狭小，无法配置较多的GPU加速卡的问题。

GPU Box系统与服务器HOST之间通过MiniSAS HD线缆通信连接，从而能够实现GPUBox系统中的GPU板与服务器HOST的CPU之间进行数据通信。

为了更好地理解本申请，下面结合附图来详细解释本申请的实施方式。

参见图1，图1为本申请实施例所提供的一种GPU Box系统的结构示意图。由图1可知，本实施例中GPU Box系统主要包括：GPU板和电源板，且GPU板与电源板之间通过Busbar电源连接器连接，使得电源板能够为GPU板供电，这种结构设置，使得GPU板具有独立的供电设备，有利于提高GPU板供电的稳定性，从而提高整个高密度服务器运行的稳定性。由图1可知，GPU板与电源板之间还通过线缆连接，从而实现GPU板中BMC对电源板上风扇以及PSU的信息采集与控制，以及，GPU板中CPLD对电源板上风扇以及PSU的信息采集与控制。

本实施例中Busbar电源连接器为U型圆柱状连接器，GPU板及电源板上对应地设置与Busbar电源连接器配套的连接结构。

本实施例GPU板上设置有N个GPU加速卡，GPU板是GPU加速卡的载体，且任一GPU加速卡通过MiniSAS HD线缆与一个服务器HOST通信连接，N为自然数，且N的取值范围是1-8，也就是根据不同的业务需求，本实施例的GPU板上可设置1-8个GPU加速卡，相比于现有技术中仅可在4U服务器机箱内设置1-2张FPGA/GPU卡，本实施例中的GPU Box系统能够设置更多的GPU加速卡，有利于提高服务器的数据运行速度，能够更好地实现加快计算的目的。

本实施例中GPU板上设置1-8个GPU加速卡，每个GPU加速卡之间采用分立式的工作方式，各GPU加速卡之间不进行数据交互，而每个GPU加速卡与一个服务器HOST均通过一根MiniSAS HD线缆通信连接，每根MiniSAS HD线缆提供一个PCIE x16数据通道。本实施例的GPU Box系统中的GPU板可与1-8个服务器HOST通信连接。本实施例中的GPU加速卡为标准FHFL的GPU加速卡。

其中，任一GPU加速卡通过设置于服务器HOST上的Retimer标准卡与一个服务器HOST的PCIE接口通信连接，也就是服务器HOST的PCIE接口不可以直接与GPU板上的GPU加速卡连接，需要通过设置于服务器HOST上的Retimer标准卡来实现二者之间的连接。服务器HOST的PCIE接口首先通过一组x16通道的Retimer标准卡将PCIE信号的质量进行改善后，再连接至GPU板上的GPU加速卡。当服务器HOST上有充分PCIE接口时，可至多扩展出4组Retimer标准卡，即可互联4个GPU加速卡。本实施例的服务器HOST中设置有标准PCIE x16卡槽，且任一服务器HOST可连接1个、2个或者4个GPU加速卡。

本实施例中GPU Box系统与服务器HOST之间互联拓扑的结构示意图，可以参见图2。图2中GPU BOX为GPU Box系统，MiniSAS HD Cable为MiniSAS HD线缆，RetimerCard为Retimer标准卡，c0为Retimer标准卡上的MiniSAS HD连接器，c8-c15为GPU板上的8个MiniSAS HD连接器，MUX为多路复用器。虚线代表I2C总线。

进一步地，本实施例中电源板的结构为：电源板中设置有多个PSU连接器、PSU、风扇连接器以及风扇转子，任一PSU连接器与一个PSU连接，任一风扇连接器与一个风扇转子连接。通常，当GPU Box系统的GPU板中设置有8个GPU加速卡时，相应地，电源板中设置16个风扇转子，4个PSU连接器，1个PUS连接器用于安装1个PSU。

本实施例的GPU板中包括：N个GPU加速卡、N个PCIE x16标准插槽、N个MiniSAS HDx16连接器、N组HSC供电模块、CPLD以及BMC，任一GPU加速卡与一个PCIE x16标准插槽相匹配，任一GPU加速卡通过一个MiniSAS HD连接器经由MiniSAS HD线缆与一个服务器HOST通信连接，任一HSC供电模块与一个GPU加速卡连接，任一HSC供电模块的power enable信号、power good信号以及alert信号分别与CPLD连接，BMC分别与N个GPU加速卡、N个HSC供电模块、CPLD、电源板以及服务器HOST通信连接。

进一步地，本实施例GPU板的BMC中包括：N个第一I2C信号引脚、一个第二I2C信号引脚、一个第三I2C信号引脚、一个第四I2C信号引脚、一个第五I2C信号引脚、一个第六I2C信号引脚、COM接口、以太网接口、ADC模块、PWM模块以及TACH检测模块。其中，任一第一I2C信号引脚通过MiniSAS HD线缆连接至服务器HOST的BMC，第二I2C信号引脚通过PCA9548开关扩展N组第一I2C总线，N组第一I2C总线分别连接至N个GPU加速卡，第三I2C信号引脚通过PCA9548开关扩展N组第二I2C总线，N组第二I2C总线分别连接至N个HSC供电模块，第四I2C信号引脚用于获取电源板的功耗、设备信息以及配置电源板的工作模式，第五I2C信号引脚用于采集GPU Box系统所在服务器机箱进风口和出风口的温度，第六I2C信号引脚用于获取GPU板的设备信息，COM接口用于连接外部设备，实现外部管理，主要用于连接外部运维设备等，以太网接口用于连接远程网络，ADC模块用于采集N个GPU加速卡的供电信息，PWM模块用于控制风扇转子的转速，TACH检测模块用于采集风扇转子转速的反馈信息。

下面以包括有8个GPU板的GPU Box系统为例，详细描述本实施例中GPU Box系统的结构组成和工作原理。参见图3，图3为本申请实施例中GPU Box系统设置8个GPU板时的结构示意图。图3中I2C0-I2C7为第一I2C信号引脚发出的I2C信号，I2C-8为第二I2C信号引脚发出的信号，I2C-9为第三I2C信号引脚发出的信号，I2C-10为第四I2C信号引脚发出的信号，I2C-11为第五I2C信号引脚发出的信号，I2C-12为第六I2C信号引脚发出的I2C信号。MISC为杂项信号，GPU BOARD为GPU板，POWER BOARD为电源板，STBY Power为Standby Power,是GPUBox系统中先上电的部分，主要用于为管理模块供电，具体指为GPU板上GPU卡以外的BMC、CPLD等芯片供电)，FAN为风扇。

由图3可知，本实施例中GPU Box系统主要配置有GPU板和电源板。其中，GPU板上设置有8个PCIE x16标准插槽，用于安装GPU加速卡，每个PCIE x16标准插槽对应一个GPU加速卡，8个PCIE x16标准插槽对应有8个MiniSAS HD x16连接器，且PCIE x16标准插槽与MiniSAS HD x16连接器一一对应，用以安装MiniSAS HD线缆与服务器HOST互联。GPU板上还设置有8组HSC供电模块，分别为每个GPU加速卡提供工作所需的P12V电源或者P3V3电源，其中，HSC供电模块的power enable信号、power good信号以及alert信号分别与连接至CPLD。GPU板上的CPLD一方面用于检测任一GPU加速卡的在位状态，另一方面用于控制HSC供电模块的power enbale信号、power good信号以及alert信号。HSC供电模块的power enbale信号、power good信号以及alert信号通过CPLD与GPU板上的BMC之间的GPIO(GeneralPurpose Input Output，通用输入输出)杂项信号进行通信，将GPU加速卡的上电状态和在位状态上上传至BMC。CPLD根据服务器HOST的使能信号，控制power enable信号，并根据HSC供电模块的power good信号判断GPU加速卡上电是否完成，CPLD检测HSC alert信号，当由于过流过温发生alert告警时，CPLD将发出power brake信号至GPU加速卡，从而使能GPU加速卡降频。当检测到GPU加速卡上电完成时，CPLD还会使能FAN_PWR_EN信号，使能efuse芯片输出，为风扇供电。其中，efuse芯片为电子熔丝开关芯片，是一种具有过流保护和开关通断功能的开关芯片。

继续参见图3可知，本实施例的GPU板中设置有BMC，用于监控GPU Box系统中GPU板的温度、功耗以及设备信息等。其中，GPU板上的BMC拓展出I2C0-I2C7共8组I2C信号，每个I2C信号与每组MiniSAS HD线缆互联的服务器HOST的BMC进行通信。BMC I2C-8通过PCA9548switch扩展8组I2C总线分别连接至8个GPU加速卡，用于获取GPU设备信息及内部温度信息。BMC I2C-9通过PCA9548 switch扩展8组I2C总线分别连接至8组HSC供电模块,分别用于获取每一路GPU加速卡的功耗，还可以用于可获取HSC供电模块的温度。通过I2C-9信号能够访问PM(power monitor，功耗监测器)，从而获取Stanby Power功耗数据。BMC I2C-10引脚用于获取风扇的功耗，还可以访问PSU用于获取PSU的设备信息以及配置PSU的工作模式。BMCI2C-11引脚用于读取温度传感器的温度数据，从而监控GPU Box系统所在服务器机箱进风口和出风口的温度。BMC I2C-12引脚用于读取FRU(Field Replaceable Unit，现场可替换单元)，从而获取GPU板的版本参数信息。需要注意的是，本实施例中GPU板上的BMC主要用于拓展I2C信号，用于管理GPU板；服务器HOST的BMC主要用于收集GPU板上的BMC上报的信息。

由图3可知，本实施例的BMC中还设置有COM接口和以太网口，其中RJ45即为一种以太网口。COM接口用于连接外部设备实现外部管理，以太网接口用于远程网络管理。BMC通过与CPLD之间互联的GPIO接口，可以对CPLD进行访问和固件刷新，还可以及时获取GPU加速卡的状态信息。GPIO接口包括I2C接口和JTAG接口。BMC内部还设置有ADC模块，用于实现对8个GPU加速卡12V和3.3V供电的采样监控。本实施例中BMC用于检测电源板中风扇和PSU电源模块的状态信息，同时通过BMC芯片内部的PWM模块产生8路占空比可调的PWM，用于控制风扇转子的转速，并通过TACH检测模块测量风扇转速的反馈信息。

由图3可知，本实施例中电源板的风扇连接器中设计4个PSU连接器，用于安装4个PSU。GPU板与电源板之间采用Busbar电源连接器连接，实现GPU板供电。风扇、PSU相关的杂项信号则通过一组线缆/连接器与GPU板的BMC、CPLD互联，实现BMC/CPLD对风扇和PSU的监控。

综上所述，本实施例中GPU Box系统独立于高密度服务器节点，能够确保GPU加速卡良好的散热条件，避免狭小的机箱空间导致的GPU散热较差从而导致的运行稳定性问题，且GPU Box系统中设置电源板用于为GPU板供电，GPU板中各GPU加速卡之间采用分立式的工作方式，CPLD根据服务器HOST的信号能够独立使能相应的GPU加速卡上电，可避免GPU群组之间的相互影响，有利于GPU的稳定运行，BMC能够实现对每一路GPU加速卡的温度和功耗数据的监测，从而能够实时调整机箱内的温度，有利于进一步提高GPU运行的稳定性。本实施例中的GPU Box系统能够在保留原有机房设施不变的情况下，兼容原有通用的服务器机型，实现对GPU加速卡的灵活拓展，更好地实现加快计算的目的，有利于提高高密度服务器的运行速度，提高用户体验。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种GPU Box系统，其特征在于，所述GPU Box系统设置于一独立的4U高度的服务器机箱内部，所述GPU Box系统与服务器HOST之间通过MiniSAS HD线缆通信连接，所述GPUBox系统中包括：GPU板和电源板，所述GPU板与电源板之间通过Busbar电源连接器连接，所述GPU板与电源板之间还通过线缆连接，所述GPU板上设置有N个GPU加速卡，且任一所述GPU加速卡通过MiniSAS HD线缆与一个服务器HOST通信连接，N为自然数，且N的取值范围是1-8。

2.根据权利要求1所述的一种GPU Box系统，其特征在于，所述GPU板可与1-8个服务器HOST通信连接。

3.根据权利要求1所述的一种GPU Box系统，其特征在于，任一所述GPU加速卡通过设置于服务器HOST上的Retimer标准卡与一个服务器HOST的PCIE接口通信连接。

4.根据权利要求1所述的一种GPU Box系统，其特征在于，任一所述服务器HOST中设置有标准PCIE x16卡槽，且任一所述服务器HOST可连接1个、2个或者4个GPU加速卡。

5.根据权利要求1所述的一种GPU Box系统，其特征在于，所述电源板中设置有多个PSU连接器、PSU、风扇连接器以及风扇转子，任一所述PSU连接器与任一所述PSU连接，任一所述风扇连接器与任一所述风扇转子连接。

6.根据权利要求5所述的一种GPU Box系统，其特征在于，所述GPU板包括：N个GPU加速卡、N个PCIE x16标准插槽、N个MiniSAS HD x16连接器、N组HSC供电模块、CPLD以及BMC，任一所述GPU加速卡与任一所述PCIE x16标准插槽相匹配，任一所述GPU加速卡通过任一所述MiniSAS HD连接器经由所述MiniSAS HD线缆与一个服务器HOST通信连接，任一所述HSC供电模块与一个GPU加速卡连接，任一所述HSC供电模块的power enable信号、power good信号以及alert信号分别与所述CPLD连接，所述BMC分别与N个GPU加速卡、N个HSC供电模块、CPLD、电源板以及服务器HOST通信连接。

7.根据权利要求6所述的一种GPU Box系统，其特征在于，所述BMC包括：N个第一I2C信号引脚、一个第二I2C信号引脚、一个第三I2C信号引脚、一个第四I2C信号引脚、一个第五I2C信号引脚、一个第六I2C信号引脚、COM接口、以太网接口、ADC模块、PWM模块以及TACH检测模块，任一所述第一I2C信号引脚通过MiniSAS HD线缆连接至服务器HOST的BMC，所述第二I2C信号引脚通过PCA9548开关扩展N组第一I2C总线，N组所述第一I2C总线分别连接至N个GPU加速卡，所述第三I2C信号引脚通过PCA9548开关扩展N组第二I2C总线，N组所述第二I2C总线分别连接至N个HSC供电模块，所述第四I2C信号引脚用于获取电源板的功耗、设备信息以及配置电源板的工作模式，所述第五I2C信号引脚用于采集GPU Box系统所在服务器机箱进风口和出风口的温度，所述第六I2C信号引脚用于获取GPU板的设备信息，所述COM接口用于连接外部设备，所述以太网接口用于连接远程网络，所述ADC模块用于采集N个GPU加速卡的供电信息，所述PWM模块用于控制风扇转子的转速，所述TACH检测模块用于采集风扇转子转速的反馈信息。

8.根据权利要求1-7中任一所述的一种GPU Box系统，其特征在于，所述GPU加速卡为标准FHFL的GPU加速卡。

Images