CN107590101B

CN107590101B - 一种与gpu整机箱互联的服务器装置

Info

Publication number: CN107590101B
Application number: CN201710797413.0A
Authority: CN
Inventors: 宗艳艳; 贡维
Original assignee: Suzhou Inspur Intelligent Technology Co Ltd
Current assignee: Suzhou Inspur Intelligent Technology Co Ltd
Priority date: 2017-09-06
Filing date: 2017-09-06
Publication date: 2021-02-09
Anticipated expiration: 2037-09-06
Also published as: CN107590101A

Abstract

本发明公开了一种与GPU整机箱互连的服务器装置，包括GPU BOX，和，通过CON连接器与GPU BOX连接的服务器，所述GPU BOX包括设置在同一机箱内的若干只GPU，所述GPU通过PCIE连接器与CON连接器连接，所述服务器包括若干只CPU，CPU的扩展卡槽与riser卡连接，riser卡通过服务器一侧的CON连接器与GPU BOX一侧的CON连接器连接。

Description

一种与GPU整机箱互联的服务器装置

技术领域

本发明涉及服务器设计技术领域，尤其是一种与GPU 整机箱互联的服务器装置。

背景技术

目前服务器分为很多种，计算型服务器、存储型服务器等，通常服务器如果服务器支持GPU 的话，都是把GPU 和CPU 主板设计在同一个机箱内部，由于现在加工工艺的限制，PCB 板的尺寸的限制以及PCIe 布线长度的限制，支持的GPU 的数量是有限的，由于GPU 功耗在300W，CPU 功耗目前最大也要205W，所以在电源以及散热方面也是难点，而且扩展不灵活。如图1 所示，2 个CPU 和8 个GPU 放在一个机箱内，这种结构使得CPU 或者GPU 的可扩展的灵活性较差，只能是一种形态的服务器。

发明内容

本发明的目的是提供一种与GPU 整机箱互联的服务器装置，实现服务器与更多的GPU 互联，达到更快的计算速度。为实现上述目的，本发明采用下述技术方案：

为实现上述目的，本发明采用下述技术方案：

一种与GPU 整机箱互联的服务器装置，包括GPU BOX，和，通过CON连接器与GPUBOX 连接的服务器，所述GPU BOX 包括设置在同一机箱内的若干只GPU，所述GPU 通过PCIE连接器与CON 连接器连接，所述服务器包括若干只CPU，CPU 的扩展卡槽与riser 卡连接，riser 卡通过服务器一侧的CON 连接器与GPU BOX 一侧的CON 连接器连接。

进一步地，所述GPUBOX 包括GPU0、GPU1、GPU2、GPU3、GPU4、GPU5、GPU6、GPU7；GPU0、GPU1、GPU2、GPU3 依次通过NVlink 连接形成回路，GPU0 与GPU3 通过NVlink 连接，GPU1与GPU2 通过NVlink 连接；GPU4、GPU5、GPU6、GPU7 依次通过NVlink 连接形成回路，GPU4与GPU7通过NVlink 连接，GPU5 与GPU6 通过NVlink 连接；GPU1 与GPU5 通过NVlink连接，GPU3 与GPU7 通过NVlink 连接；GPU0 与GU4 通过NVlink 连接，GPU2与GPU6 通过NVlink连接。

进一步地，GPU0、GPU2 分别通过PCIE 连接器与第一PCIE Switch 连接器连接；GPU1、GPU3 分别通过PCIE 连接器与第二PCIE Switch 连接器连接；GPU5、GPU7、分别通过PCIE 连接器与第三PCIE Switch 连接器连接；GPU4、GPU6 分别通过PCIE 连接器与第四PCIE Switch 连接器连接。

进一步地，所述第一PCIE Switch 连接器、第二PCIE Switch 连接器、第三PCIESwitch 连接器、第四PCIE Switch 连接器分别通过PCIE 连接器与GPUBOX 一侧的CON 连接器连接。

进一步地，所述第一PCIE Switch 连接器通过PCIE 连接器分别与第一CON连接器、第二CON 连接器连接；所述第二PCIE Switch 连接器通过PCIE 连接器分别与第三CON连接器、第四CON 连接器连接；所述第三PCIE Switch 连接器通过PCIE 连接器分别与第五CON 连接器、第六CON 连接器连接；所述第四PCIE Switch 连接器通过PCIE 连接器分别与第七CON 连接器、第八CON连接器连接。

进一步地，所述GPU BOX 与4路服务器连接，4 路服务器一侧的CON 连接器包括CON1 连接器、CON2 连接器、CON3 连接器、CON4 连接器、CON5连接器、CON6 连接器、CON7连接器、CON8 连接器，所述GPU BOX 一侧的CON 连接器与CON1 连接器、CON2 连接器、CON3连接器、CON4 连接器、CON5 连接器、CON6 连接器、CON7 连接器、CON8 连接器一一对应连接。

进一步地，所述GPU BOX 与两个两路服务器连接，两个两路服务器包含的CON 连接器分别为CON1 连接器、CON2 连接器、CON3 连接器、CON4连接器、CON5 连接器、CON6 连接器、CON7 连接器、CON8 连接器，所述GPU BOX 一侧的CON 连接器与CON1 连接器、CON2连接器、CON3 连接器、CON4 连接器、CON5 连接器、CON6 连接器、CON7 连接器、CON8 连接器一一对应连接。

进一步地，所述GPU BOX 包含16 只GPU，16 只GPU 与两个四路服务器连接，GPUBOX 一侧的CON 连接器包括16 只CON 连接器，两个四路服务器包括16 只CON 连接器，GPUBOX 一侧的16 只CON 连接器与两个四路服务器的16 只CON 连接器一一对应连接。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案中的一个技术方案具有如下优点或有益效果：

本发明将GPU BOX 主板与连接的服务器设置在不同的机箱内，支持的GPU 和CPU数量可以根据需要设定，避免了放置在同一机箱由于尺寸限值导致的支持的GPU 和CPU 数量限值问题，此外，也避免了放置在一起电源设计匹配的难度和散热设计问题，简化了设计难度。

附图说明

此处所说明的附图用来提供对本发明的进一步解释，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1 是目前GPU 与CPU 在同一机箱的拓扑连接示意图；

图2 是本发明GPU BOX 主板示意图；

图3 是与GPU BOX 主板连接的思路服务器示意图；

图4 是与CON 连接器连接的riser 卡；

图5 是实施例一8 GPU BOX 与四路服务器连接示意图；

图6 是实施例二8 GPU BOX 与两个两路服务器连接示意图；

图7 是实施例三16 GPU BOX 与两个四路服务器连接示意图；

图8 是实施例四16 GPU BOX 与四个两路服务器连接示意图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

如图1 所示,设置在同一机箱内的GPU0、GPU1、GPU2、GPU3、GPU4、GPU5、GPU6、GPU7之间通过NV link 连接。GPU0、GPU1、GPU2、GPU3分别通过PCIE 连接器与第一PCIE Switch连接器连接，GPU4、GPU5、GPU6、GPU7 分别通过PCIE 连接器与第二PCIE Switch 连接器连接，第一PCIE Switch连接器与第二PCIE Switch 连接器分别与第三PCIE Switch 连接器，第三PCIESwitch 连接器分别与GPU一侧的第一CON 连接器、第二CON 连接器连接，GPU 一侧的第一CON 连接器与CPU一侧的第一CON 连接器连接，GPU一侧的第二CON 连接器与CPU一侧的第二CON连接器连接，CPU一侧的第一CON 连接器通过PCIE 连接器与CPU 的一个port 连接，CPU一侧的第二CON连接器通过PCIE 连接器与CPU的另一个port 连接。

实施例一

如图2 所示，一种与GPU 整机箱互联的服务器装置，包括GPU BOX，和，通过CON 连接器与GPU BOX 连接的服务器，GPU BOX 包括设置在同一机箱内的若干只GPU，GPU 通过PCIE 连接器与CON 连接器连接，服务器包括若干只CPU，CPU 的扩展卡槽与riser 卡连接，riser 卡通过服务器一侧的CON连接器与GPU BOX 一侧的CON 连接器连接。

GPU BOX包括GPU0、GPU1、GPU2、GPU3、GPU4、GPU5、GPU6、GPU7；GPU0、GPU1、GPU2、GPU3 依次通过NVlink 连接形成回路，GPU0与GPU3 通过NVlink 连接，GPU1 与GPU2 通过NVlink 连接；GPU4、GPU5、GPU6、GPU7 依次通过NVlink 连接形成回路，GPU4 与GPU7 通过NVlink 连接，GPU5 与GPU6 通过NVlink 连接；GPU1 与GPU5 通过NVlink 连接，GPU3与GPU7 通过NVlink 连接；GPU0 与GU4 通过NVlink 连接，GPU2 与GPU6通过NVlink 连接。

GPU0、GPU2 分别通过PCIE连接器与第一PCIE Switch 连接器连接；GPU1、GPU3 分别通过PCIE 连接器与第二PCIE Switch 连接器连接；GPU5、GPU7、分别通过PCIE 连接器与第三PCIE Switch 连接器连接；GPU4、GPU6分别通过PCIE 连接器与第四PCIE Switch 连接器连接。

第一PCIE Switch 连接器、第二PCIE Switch 连接器、第三PCIE Switch 连接器、第四PCIE Switch 连接器分别通过PCIE 连接器与GPU BOX 一侧的CON连接器连接。第一PCIE Switch 连接器通过PCIE 连接器分别与第一CON 连接器、第二CON 连接器连接；所述第二PCIE Switch 连接器通过PCIE 连接器分别与第三CON 连接器、第四CON 连接器连接；所述第三PCIE Switch 连接器通过PCIE连接器分别与第五CON 连接器、第六CON 连接器连接；所述第四PCIE Switch连接器通过PCIE 连接器分别与第七CON 连接器、第八CON 连接器连接。

如图3 所示，与GPU BOX 连接的四路服务器的slot#0至slot#7分别插一张riser卡，如图4 所示。

如图5 所示，GPU BOX 与4 路服务器连接，4 路服务器一侧的CON 连接器包括CON1 连接器、CON2 连接器、CON3 连接器、CON4 连接器、CON5连接器、CON6 连接器、CON7连接器、CON8 连接器，第一CON 连接器与CON1 连接器通过连接器连接；第二CON 连接器与CON2 连接器通过连接器连接；第三CON 连接器与CON3 连接器通过连接器连接；第四CON连接器与CON4 连接器通过连接器连接；第五CON 连接器与CON5 连接器通过连接器连接；第六CON 连接器与CON6 连接器通过连接器连接；第七CON 连接器与CON7 连接器通过连接器连接；第八CON 连接器与CON8 连接器通过连接器连接。

实施例二

如图6 所示，GPU BOX 与第一2S 服务器、第二2S 服务器连接，第一2S服务器包含的CON 连接器分别为CON1 连接器、CON3 连接器、CON5 连接器、CON7 连接器，第二2S 服务器包含的CON 连接器分别为CON2 连接器、CON4 连接器、CON6 连接器、CON8 连接器，第一CON 连接器与CON1 连接器通过连接器连接；第二CON 连接器与CON2 连接器通过连接器连接；第三CON 连接器与CON3 连接器通过连接器连接；第四CON 连接器与CON4连接器通过连接器连接；第五CON 连接器与CON5 连接器通过连接器连接；第六CON 连接器与CON6 连接器通过连接器连接；第七CON 连接器与CON7连接器通过连接器连接；第八CON 连接器与CON8 连接器通过连接器连接。

实施例三

如图7 所示，GPU BOX 包含16 只GPU，16 只GPU 与两个四路服务器连接，GPU BOX一侧的CON 连接器包括16 只CON 连接器，两个四路服务器包括16 只CON 连接器，GPU BOX一侧的16 只CON 连接器与两个四路服务器的16 只CON 连接器一一对应连接。

实施例四

如图8 所示，GPU BOX 包含16 只GPU，16 只GPU 与四个两路服务器连接，GPU BOX一侧的CON 连接器包括16 只CON 连接器，四个两路服务器包括16 只CON 连接器，GPU BOX一侧的16 只CON 连接器与四个两路服务器的16 只CON 连接器一一对应连接。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims

1.一种与GPU整机箱互联的服务器装置，其特征是，包括GPUBOX，和，通过CON连接器与GPU BOX连接的服务器，所述GPU BOX包括设置在同一机箱内的若干只GPU，所述GPU通过PCIE连接器与CON连接器连接，所述服务器包括若干只CPU，CPU的扩展卡槽与riser卡连接，riser卡通过服务器一侧的CON连接器与GPU BOX一侧的CON连接器连接；

所述 GPU BOX包括GPU0、GPU1、GPU2、GPU3、GPU4、GPU5、GPU6、GPU7；GPU0、GPU1、GPU2、GPU3依次通过NVlink连接形成回路，GPU0与GPU3通过NVlink连接，GPU1与GPU2通过NVlink连接；GPU4、GPU5、GPU6、GPU7依次通过NVlink连接形成回路，GPU4与GPU7通过NVlink连接，GPU5与GPU6通过NVlink连接；GPU1与GPU5通过NVlink连接，GPU3与GPU7通过NVlink连接；GPU0与GU4通过NVlink连接，GPU2与GPU6通过NVlink连接；

GPU0、GPU2分别通过PCIE连接器与第一PCIE Switch连接器连接；GPU1、GPU3分别通过PCIE连接器与第二PCIE Switch连接器连接；GPU5、GPU7、分别通过PCIE连接器与第三PCIESwitch连接器连接；GPU4、GPU6分别通过PCIE连接器与第四PCIE Switch连接器连接；

所述第一PCIE Switch连接器、第二PCIE Switch连接器、第三PCIE Switch连接器、第四PCIE Switch连接器分别通过PCIE连接器与GPU BOX一侧的CON连接器连接；

所述第一PCIE Switch连接器通过PCIE连接器分别与第一CON连接器、第二CON连接器连接；所述第二PCIE Switch连接器通过PCIE连接器分别与第三CON连接器、第四CON连接器连接；所述第三PCIE Switch连接器通过PCIE连接器分别与第五CON连接器、第六CON连接器连接；所述第四PCIE Switch连接器通过PCIE连接器分别与第七CON连接器、第八CON连接器连接。

2.如权利要求1所述的一种与GPU整机箱互联的服务器装置，其特征是，所述GPU BOX与4路服务器连接，4路服务器一侧的CON连接器包括CON1连接器、CON2连接器、CON3连接器、CON4连接器、CON5连接器、CON6连接器、CON7连接器、CON8连接器，所述GPU BOX一侧的CON连接器与CON1连接器、CON2连接器、CON3连接器、CON4连接器、CON5连接器、CON6连接器、CON7连接器、CON8连接器一一对应连接。

3.如权利要求1所述的一种与GPU整机箱互联的服务器装置，其特征是，所述GPU BOX与两个两路服务器连接，两个两路服务器包含的CON连接器分别为CON1连接器、CON2连接器、CON3连接器、CON4连接器、CON5连接器、CON6连接器、CON7连接器、CON8连接器，所述GPU BOX一侧的CON连接器与CON1连接器、CON2连接器、CON3连接器、CON4连接器、CON5连接器、CON6连接器、CON7连接器、CON8连接器一一对应连接。

4.如权利要求1所述的一种与GPU整机箱互联的服务器装置，其特征是，所述GPU BOX包含16只GPU，16只GPU与两个四路服务器连接，GPU BOX一侧的CON连接器包括16只CON连接器，两个四路服务器包括16只CON连接器，GPU BOX一侧的16只CON连接器与两个四路服务器的16只CON连接器一一对应连接。