CN107102964A - 一种利用高速率连接器进行gpu集群拓展的方法 - Google Patents

Abstract

本发明公开了一种利用高速率连接器进行GPU集群拓展的方法，它通过可扩展模块将GPU卡连接到服务器来搭建不同大小的GPU集群，具体包括以下步骤：步骤1，设计可扩展模块；步骤2，设计GPU卡转接板；步骤3，将可扩展模块的上行端口连接上位机，下行端口连接下位机，所述上位机包括服务器或该可扩展模块的上一级可扩展模块，所述下位机包括GPU卡转接板和/或该可扩展模块的下一级可扩展模块；步骤4，将GPU卡连接到GPU卡转接板上。本发明以基本扩展模块为基础，通过高速连接器进行灵活的自由组合，通过模块之间的互联来搭建适应于不同业务的GPU集群，不急基本架构简单，而且节约了开发成本。

Description

一种利用高速率连接器进行GPU集群拓展的方法

技术领域

本发明涉及一种利用高速率连接器进行GPU集群拓展的方法，属于计算机技术领域。

背景技术

未来科技是大数据的时代，数据中心网络数据正以突飞猛进的速度进行着增长，数据库就像是一座宝藏，如何开发利用这些大数据，挖掘有用信息应用到产品以及服务中来，是近几年互联网公司大力研究的领域，而想要从如此大的数据库中提取出某一领域的有效信息，除了需要高级的算法外，还需要高效的硬件系统。硬件系统正是承载着大数据以及算法的基础。由于GPU在计算能力上明显优于CPU。因此，近几年以GPU为计算单元的GPU集群逐渐被各大互联网公司应用。

目前由于应用的环境以及任务量和数据量的不同，各大公司需求的GPU集群对GPU的部署密度也不同，从而根据不同任务以及应用场景而设计的GPU集群的硬件架构也不同。不同的应用领域之间硬件系统不能灵活的进行应用，使得硬件资源以及开发资源浪费。

为解决该问题，本发明提出了一种利用高速连接器实现GPU集群的拓展方法。

发明内容

针对上述不足，本发明提供了一种利用高速率连接器进行GPU集群拓展的方法，其通过将基本的PCIE扩展模块进行灵活连接，从而实现不同的GPU集群架构。

本发明解决其技术问题采取的技术方案是：

本发明的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，通过可扩展模块将GPU卡连接到服务器来搭建不同大小的GPU集群。

进一步地，所述利用高速率连接器进行GPU集群拓展的方法包括以下步骤：

步骤1，设计可扩展模块；

步骤2，设计GPU卡转接板；

步骤3，将可扩展模块的上行端口连接上位机，下行端口连接下位机，所述上位机包括服务器或该可扩展模块的上一级可扩展模块，所述下位机包括GPU卡转接板和/或该可扩展模块的下一级可扩展模块；

步骤4，将GPU卡连接到GPU卡转接板上。

进一步地，所述可扩展模块包括PCIE芯片、高速率连接器、CPU和BMC模块，所述PCIE芯片的上下行端口分别连接一个高速率连接器，所述CPU分别与PCIE芯片和BMC模块连接，CPU还设置有USB接口，所述BMC模块设置有管理网口和VGA接口，所述PCIE芯片的上下行端口采用的传输协议为PCIE3.0x16的PCIE接口。

进一步地，所述可扩展模块的上行端口包括1或2个上行端口。

进一步地，所述GPU卡转接板包括相互连接的转接高速率连接器和PCIE卡槽，所述转接高速率连接器与上位机的高速率连接器连接，所述PCIE卡槽内设置有GPU卡。

进一步地，所述可扩展模块的上行端口和下行端口分别通过cable线连接上位机和下位机。

进一步地，所述可扩展模块包括一级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与GPU卡转接板连接。

进一步地，所述可扩展模块包括一级可扩展模块和二级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与GPU卡转接板连接。

进一步地，所述可扩展模块包括一级可扩展模块、二级可扩展模块和三级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与三级可扩展模块或GPU卡转接板连接，所述三级可扩展模块的下行端口与GPU卡转接板连接。

本发明还提供了一种利用高速率连接器进行三级GPU集群拓展的方法，其特征是，所述方法包括以下步骤：

步骤1，设计可扩展模块：所述可扩展模块包括PCIE芯片、高速率连接器、CPU和BMC模块，所述PCIE芯片的上下行端口分别连接一个高速率连接器，所述CPU分别与PCIE芯片和BMC模块连接，CPU还设置有USB接口，所述BMC模块设置有管理网口和VGA接口，所述PCIE芯片的上下行端口采用的传输协议为PCIE3.0x16的PCIE接口，所述可扩展模块的上行端口包括1或2个上行端口；

步骤2，设计GPU卡转接板：所述GPU卡转接板包括相互连接的转接高速率连接器和PCIE卡槽，所述转接高速率连接器与上位机的高速率连接器连接，所述PCIE卡槽内设置有GPU卡；

步骤3，将可扩展模块的上下行端口分别通过cable线缆连接上位机和下位机：所述可扩展模块包括一级可扩展模块、二级可扩展模块和三级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与三级可扩展模块或GPU卡转接板连接，所述三级可扩展模块的下行端口与GPU卡转接板连接；

步骤4，将GPU卡插入到GPU卡转接板上的PCIE卡槽内。

本发明的有益效果是：

本发明以单个PCIE switch IC的模块为基础，利用高密度连接器可灵活进行GPU集群的扩展，基本架构简单，有利于生产和客户理解应用，当业务增大时无需再进行硬件开发，本发明可在原有硬件架构基础上继续扩展，使资源最大利用化，节省了成本。

本发明以基本扩展模块为基础，通过高速连接器进行灵活的自由组合，通过模块与模块之间的互联来搭建适应于不同业务的GPU集群，打破了为适应多种应用领域而出现的多种硬件架构开发的传统思路，节约了开发成本。另外当业务增大时，本发明可在原有的搭建的模块上继续进行扩展，节省了硬件开发时间，节约了资源，降低了成本，本发明可应用于通用服务器架构以及RACK服务器架构等不同的应用领域。

附图说明

下面结合说明书附图对本发明进行说明。

图1为本发明的方法流程图；

图2为本发明所述可扩展模块的结构示意图；

图3为本发明所述GPU卡转接板的结构示意图；

图4为本发明采用一个上行端口的一级GPU集群拓展示意图；

图5为本发明采用二个上行端口的一级GPU集群拓展示意图；

图6为本发明的其中一种二级GPU集群拓展示意图；

图7为本发明的另一种一级GPU集群拓展示意图；

图8为本发明的一种三级GPU集群拓展示意图；。

具体实施方式

为能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。应当注意，在附图中所图示的部件不一定按比例绘制。本发明省略了对公知组件和处理技术及工艺的描述以避免不必要地限制本发明。

本发明的一种利用高速率连接器进行GPU集群拓展的方法，他通过可扩展模块将GPU卡连接到服务器来搭建不同大小的GPU集群。

如图1至图8所示，本发明利用高速率连接器进行GPU集群拓展的方法包括以下步骤：

步骤1，设计可扩展模块；

步骤2，设计GPU卡转接板；

步骤3，将可扩展模块的上行端口连接上位机，下行端口连接下位机，所述上位机包括服务器或该可扩展模块的上一级可扩展模块，所述下位机包括GPU卡转接板和/或该可扩展模块的下一级可扩展模块；

步骤4，将GPU卡连接到GPU卡转接板上。

进一步地，如图2所示，所述可扩展模块包括PCIE芯片PCIE switch IC、高速率连接器PCIE3.0CONN、CPU和BMC模块，所述PCIE芯片的上下行端口分别连接一个高速率连接器，所述CPU分别与PCIE芯片和BMC模块连接，CPU还设置有USB接口，所述BMC模块设置有管理网口和VGA接口，所述PCIE芯片的上下行端口采用的传输协议为PCIE3.0x16的PCIE接口。

进一步地，所述可扩展模块的上行端口包括1或2个上行端口。

进一步地，如图3所示，所述GPU卡转接板包括相互连接的转接高速率连接器和PCIE卡槽，所述转接高速率连接器与上位机的高速率连接器连接，所述PCIE卡槽内设置有GPU卡。

进一步地，所述可扩展模块的上行端口和下行端口分别通过cable线连接上位机和下位机。

进一步地，如图4和图5所示，所述可扩展模块包括一级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与GPU卡转接板连接。

进一步地，如图6和图7所示，所述可扩展模块包括一级可扩展模块和二级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与GPU卡转接板连接。

进一步地，如图8所示，所述可扩展模块包括一级可扩展模块、二级可扩展模块和三级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与三级可扩展模块或GPU卡转接板连接，所述三级可扩展模块的下行端口与GPU卡转接板连接。

如图1、图2、图3和图8所示，本发明一种利用高速率连接器进行三级GPU集群拓展的方法，它包括以下步骤：

步骤1，设计可扩展模块：所述可扩展模块包括PCIE芯片、高速率连接器、CPU和BMC模块，所述PCIE芯片的上下行端口分别连接一个高速率连接器，所述CPU分别与PCIE芯片和BMC模块连接，CPU还设置有USB接口，所述BMC模块设置有管理网口和VGA接口，所述PCIE芯片的上下行端口采用的传输协议为PCIE3.0x16的PCIE接口，所述可扩展模块的上行端口包括1或2个上行端口；

步骤2，设计GPU卡转接板：所述GPU卡转接板包括相互连接的转接高速率连接器和PCIE卡槽，所述转接高速率连接器与上位机的高速率连接器连接，所述PCIE卡槽内设置有GPU卡；

步骤3，将可扩展模块的上下行端口分别通过cable线缆连接上位机和下位机：所述可扩展模块包括一级可扩展模块、二级可扩展模块和三级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与三级可扩展模块或GPU卡转接板连接，所述三级可扩展模块的下行端口与GPU卡转接板连接；

步骤4，将GPU卡插入到GPU卡转接板上的PCIE卡槽内。

本发明以单个PCIE switch IC的扩展为基本模块，利用高速率连接器来进行灵活的扩展，从而可根据不同的应用环境，扩展出不同大小的GPU集群。从而，满足了不同的任务应用。

单个PCIE switch IC的扩展模块包含：PCIE switch的扩展IC，CPU和BMC用于控制以及基本IO应用，高速率连接器，以及用于搭载GPU卡的转接板。

如图2所示，为PCIE的扩展的基本单元架构的示意图。其中：

1)、CPU以及BMC为PCIE的扩展的基本单元的控制部分以及IO部分，用来对此单元进行开关机以及基本信息的输入输出，和对PCIE switch进行管控以及连路上驱动芯片的软件设置更新。

2)、PCIE Switch IC做PCIE扩展用，为此模块的核心，图示有6个端口，每个端口可灵活进行上行或者下行设置，用于对上行端口连接的PCIE链路进行扩展以及下行端口连接设备。目前速率最快的应用最广泛的传输协议为PCIE3.0x16，本模型就以PCIE3.0x16为例。

3)、PCIE3.0 CONN为支持PCIE3.0x16的高速率连接器，搭配cable线，进行各模块间的自由组合连接，模块与服务器连接，模块与GPU卡转接板的连接。

如图3所示，本发明的GPU卡转接板用于将PCIE3.0的高速率连接器转为标准的PCIE3.0卡槽，从而连接GPU卡。

基于上述模型搭建的小型基本应用，如图4所示。其中：端口0通过软件设置为上行口，连接服务器，整个扩展基本模型以及所挂在的GPU卡作为服务器上的设备。此小型应用GPU卡的挂载可根据业务量进行数量的选择1到5个，即一个基本模型可实现最多5个GPU卡的部署密度。

另外的小型应用，如图5所示。通过设置两个上行口，连接两个服务器，采用此基本模型通过软件设置，将端口2和端口3作为端口0的扩展端口，端口4和端口5作为端口1的扩展端口。这样可以实现更小的应用。例如：两个部门在同一个基本模块上同时跑不同的业务。

模块与模块之间的扩展级联可以进行多种组合，如图6所示。

为简单的两级互联，两个模块互联从而实现搭载GPU卡数量增加到9pcs。因为GPU卡为并行处理。因此，GPU卡的并行处理速度与GPU卡的数量成正比。

图7所示架构是两级互联里可实现的最多GPU卡挂载数量的GPU集群架构，由6个模块进行互联，可同时实现25个GPU卡进行并行处理数据。可应用于大型数据中心以及图形处理等深度学习领域。

模块的扩展还可进行三级互联，其架构如图8所示。可实现的125个GPU卡挂载数量的GPU集群架构。但是这种利用多重级联，并不是可以任意的进行GPU数量的扩展。按照目前行业发展水平，广泛使用的PCIE3.0x16的传输速度是一定的，单向最高为16GB/S，当所有并行处理的GPU卡的处理数据的吞吐量达到PCIE3.0x16本身的数据传输速率时，则此时这个GPU集群架构所容纳的GPU卡数量就为最大值。

而GPU卡的处理数据的吞吐量和所执行的算法以及GPU卡本身的计算速率有直接的关系，GPU卡本身的运行速率越高，算法越简单，则GPU卡处理数据的吞吐量就越大。

因此，GPU集群的处理数据的吞吐量并不是和GPU集群所搭载GPU卡的数量，无限成正比的，会受传输总线的速率和算法的限制，有一个最大值。

若GPU集群收到的传输总线速度的限制，增加并行GPU卡的数量已经不能再提高数据的吞吐量，此时是否还有机会再进行扩展，图8即介绍一种方法将和服务器的连接总线扩展到PCIE3.0x32,单向速率从16GB/S，增加到32GB/S，但是此架构需要配合软件实现。

为清楚的说明该设计方法的实现情况，本发明的具体实现过程如下：1)、设计基本扩展模块，PCIE switch IC，目前行业中速率最快的为PCIE3.0，最多可支持6个PCIE3.0x16端口，例如(PEX9797).PCIE3.0连接器可选择接口密度大速率高的Oclink类型。2)、设计GPU卡转接板，实现PCIE3.0高速率连接器转换成PCIE标准卡槽，从而实现GPU卡的接入。3)、根据业务需求进行不同规模的GPU集群的搭建。这样一来，本发明提出的利用高速率连接器进行拓展的GPU集群即可得以实现。

以上所述只是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也被视为本发明的保护范围。

Claims (10)

1.一种利用高速率连接器进行GPU集群拓展的方法，其特征是，通过可扩展模块将GPU卡连接到服务器来搭建不同大小的GPU集群。

2.根据权利要求1所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述方法包括以下步骤：

步骤1，设计可扩展模块；

步骤2，设计GPU卡转接板；

步骤3，将可扩展模块的上行端口连接上位机，下行端口连接下位机，所述上位机包括服务器或该可扩展模块的上一级可扩展模块，所述下位机包括GPU卡转接板和/或该可扩展模块的下一级可扩展模块；

步骤4，将GPU卡连接到GPU卡转接板上。

3.根据权利要求2所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述可扩展模块包括PCIE芯片、高速率连接器、CPU和BMC模块，所述PCIE芯片的上下行端口分别连接一个高速率连接器，所述CPU分别与PCIE芯片和BMC模块连接，CPU还设置有USB接口，所述BMC模块设置有管理网口和VGA接口，所述PCIE芯片的上下行端口采用的传输协议为PCIE3.0x16的PCIE接口。

4.根据权利要求3所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述可扩展模块的上行端口包括1或2个上行端口。

5.根据权利要求2所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述GPU卡转接板包括相互连接的转接高速率连接器和PCIE卡槽，所述转接高速率连接器与上位机的高速率连接器连接，所述PCIE卡槽内设置有GPU卡。

6.根据权利要求2所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述可扩展模块的上行端口和下行端口分别通过cable线连接上位机和下位机。

7.根据权利要求2至6任意一项所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述可扩展模块包括一级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与GPU卡转接板连接。

8.根据权利要求2至6任意一项所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述可扩展模块包括一级可扩展模块和二级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与GPU卡转接板连接。

9.根据权利要求2至6任意一项所述的一种利用高速率连接器进行GPU集群拓展的方法，其特征是，所述可扩展模块包括一级可扩展模块、二级可扩展模块和三级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与三级可扩展模块或GPU卡转接板连接，所述三级可扩展模块的下行端口与GPU卡转接板连接。

10.一种利用高速率连接器进行三级GPU集群拓展的方法，其特征是，所述方法包括以下步骤：

步骤1，设计可扩展模块：所述可扩展模块包括PCIE芯片、高速率连接器、CPU和BMC模块，所述PCIE芯片的上下行端口分别连接一个高速率连接器，所述CPU分别与PCIE芯片和BMC模块连接，CPU还设置有USB接口，所述BMC模块设置有管理网口和VGA接口，所述PCIE芯片的上下行端口采用的传输协议为PCIE3.0x16的PCIE接口，所述可扩展模块的上行端口包括1或2个上行端口；

步骤2，设计GPU卡转接板：所述GPU卡转接板包括相互连接的转接高速率连接器和PCIE卡槽，所述转接高速率连接器与上位机的高速率连接器连接，所述PCIE卡槽内设置有GPU卡；

步骤3，将可扩展模块的上下行端口分别通过cable线缆连接上位机和下位机：所述可扩展模块包括一级可扩展模块、二级可扩展模块和三级可扩展模块，所述一级可扩展模块的上行端口与服务器连接，一级可扩展模块的下行端口与二级可扩展模块或GPU卡转接板连接，所述二级可扩展模块的下行端口与三级可扩展模块或GPU卡转接板连接，所述三级可扩展模块的下行端口与GPU卡转接板连接；

步骤4，将GPU卡插入到GPU卡转接板上的PCIE卡槽内。