CN105022716A - 一种多数据链路的gpu服务器 - Google Patents

Abstract

本发明提供了一种多数据链路的GPU服务器，包括：至少一个图形处理器GPU、CPU；每个GPU与第一转换单元相连；每个第一转换单元与至少两个第二转换单元相连；每个第二转换单元与所述CPU相连；所述第一转换单元，用于接收相连的GPU发来的第一数据，将所述第一数据发送给相连的第二转换单元，并接收相连的第二转换单元发来的第二数据，将所述第二数据转发给相连的GPU；所述第二转换单元，用于接收相连的第一转换单元发来的所述第一数据，将所述第一数据发送给相连的CPU，并接收CPU发来的所述第二数据，将所述第二数据转发给相连的第一转换单元。通过本发明提供的一种多数据链路的GPU服务器，能够提高GPU服务器的稳定性。

Description

一种多数据链路的GPU服务器

技术领域

本发明涉及电子技术领域，特别涉及一种多数据链路的GPU服务器。

背景技术

随着互联网的快速发展，云计算时代的到来，更多的用户希望服务器在云计算和人工智能两个领域有更大的技术突破，并且能够在视频搜索、图片搜索、语音搜索、深度学习等方面，有更高性能的产品出现，很多用户选择在GPU(Graphics Processing Unit，图形处理器)服务器上实现以上功能。

现有技术中，GPU服务器中包括CPU、GPU，CPU与GPU直接相连，GPU与CPU之间直接进行信息交互。当GPU与CPU之间的链路发生故障时，GPU与CPU之间无法进行信息交互。通过上述描述可见，现有技术中，GPU与CPU之间只有一条链路，当该链路发生故障时，GPU与CPU之间无法进行信息交互，GPU服务器的稳定性较低。

发明内容

有鉴于此，本发明提供了一种多数据链路的GPU服务器，能够提高GPU服务器的稳定性。

一方面，本发明提供了一种多数据链路的GPU服务器，包括：

至少一个图形处理器GPU、CPU；

每个GPU与第一转换单元相连；

每个第一转换单元与至少两个第二转换单元相连；

每个第二转换单元与所述CPU相连；

所述第一转换单元，用于接收相连的GPU发来的第一数据，将所述第一数据发送给相连的第二转换单元，并接收相连的第二转换单元发来的第二数据，将所述第二数据转发给相连的GPU；

所述第二转换单元，用于接收相连的第一转换单元发来的所述第一数据，将所述第一数据发送给相连的CPU，并接收CPU发来的所述第二数据，将所述第二数据转发给相连的第一转换单元。

进一步地，还包括：中转层；

所述中转层，包括：多个中间转换单元；

所述中转层位于第一转换单元和第二转换单元之间；

所述第一转换单元与至少两个中间转换单元相连；

至少有一个中间转换单元分别与至少两个第二转换单元相连；

所述第一转换单元，用于将所述第一数据发送给相连的中间转换单元，并接收相连的中间转换单元发来的第二数据；

所述第二转换单元，用于接收相连的中间转换单元发来的所述第一数据，并将所述第二数据转发给相连的中间转换单元；

所述中转层，用于将所述第一转换单元发来的所述第一数据发送给所述第二转换单元，并将第二转换单元发来的第二数据发送给所述第一转换单元。

进一步地，还包括：

每个第二转换单元对应至少一个互为备份的第二转换单元；

互为备份的第二转换单元与同一个第一转换单元相连。

进一步地，所述第一转换单元，还用于向相连的第二转换单元分发第一数据。

进一步地，所述第一转换单元，还用于当相连的第二转换单元出现故障时，将所有的第一数据发送给出现故障的第二转换单元对应的互为备份的第二转换单元。

进一步地，所述第一转换单元，还用于接收相连的GPU发来的第一数据，将接收到的第一数据进行整合，将整合后的第一数据发送给相连的第二转换单元。

进一步地，所述第一转换单元为总线接口转换PCIE Switch芯片。

进一步地，所述第二转换单元为PCIE Switch芯片。

另一方面，本发明提供了一种多数据链路的GPU服务器，包括：

至少一个图形处理器GPU、CPU、

每个GPU与第一总线接口转换PCIE Switch芯片相连；

每个第一PCIE Switch芯片与至少两个第二PCIE Switch芯片相连；

每个第二PCIE Switch芯片与所述CPU相连；

所述第一PCIE Switch芯片，用于接收相连的GPU发来的第一数据，将所述第一数据发送给相连的第二PCIE Switch芯片，并接收相连的第二PCIESwitch芯片发来的第二数据，将所述第二数据转发给相连的GPU；

所述第二PCIE Switch芯片，用于接收相连的第一PCIE Switch芯片发来的所述第一数据，将所述第一数据发送给相连的CPU，并接收CPU发来的所述第二数据，将所述第二数据转发给相连的第一PCIE Switch芯片。

进一步地，包括：4个第一PCIE Switch芯片，2个第二PCIE Switch芯片；

每个第二PCIE Switch芯片均与4个第一PCIE Switch芯片相连。

进一步地，还包括：

每个第二PCIE Switch芯片对应至少一个互为备份的第二PCIE Switch芯片；

互为备份的第二PCIE Switch芯片与同一个第一PCIE Switch芯片相连。

本发明提供了一种多数据链路的GPU服务器，CPU与GPU之间通过第一转换单元和第二转换单元相连，每个第一转换单元与至少两个第二转换单元相连，则从GPU到CPU至少有两条链路，当其中一条链路发生故障时，可用另一条链路传输数据，提高了GPU服务器的稳定性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种多数据链路的GPU服务器的结构示意图；

图2是本发明一实施例提供的另一种多数据链路的GPU服务器的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种多数据链路的GPU服务器，该GPU服务器包括：

至少一个GPU、CPU；

每个GPU与第一转换单元相连；

每个第一转换单元与至少两个第二转换单元相连；

每个第二转换单元与所述CPU相连；

所述第一转换单元，用于接收相连的GPU发来的第一数据，将所述第一数据发送给相连的第二转换单元，并接收相连的第二转换单元发来的第二数据，将所述第二数据转发给相连的GPU；

所述第二转换单元，用于接收相连的第一转换单元发来的所述第一数据，将所述第一数据发送给相连的CPU，并接收CPU发来的所述第二数据，将所述第二数据转发给相连的第一转换单元。

通过本发明实施例提供的一种多数据链路的GPU服务器，CPU与GPU之间通过第一转换单元和第二转换单元相连，每个第一转换单元与至少两个第二转换单元相连，则从GPU到CPU至少有两条链路，当其中一条链路发生故障时，可用另一条链路传输数据，提高了GPU服务器的稳定性。

为了能够使得一个CPU可以与更多的GPU进行数据交互，可以在第一转换单元和第二转换单元之间增加中转层，通过中转层增加传输通道。在一种可能的实现方式中，该GPU服务器，还包括：中转层；

所述中转层，包括：多个中间转换单元；

所述中转层位于第一转换单元和第二转换单元之间；

所述第一转换单元与至少两个中间转换单元相连；

至少有一个中间转换单元分别与至少两个第二转换单元相连；

所述第一转换单元，用于将所述第一数据发送给相连的中间转换单元，并接收相连的中间转换单元发来的第二数据；

所述第二转换单元，用于接收相连的中间转换单元发来的所述第一数据，并将所述第二数据转发给相连的中间转换单元；

所述中转层，用于将所述第一转换单元发来的所述第一数据发送给所述第二转换单元，并将第二转换单元发来的第二数据发送给所述第一转换单元。

在一种可能的实现方式中，该GPU服务器，包括：每个第二转换单元对应至少一个互为备份的第二转换单元；互为备份的第二转换单元与同一个第一转换单元相连。为每个第二转换单元设置互为备份的第二转换单元，当该第二转换单元出现故障时，可以通过备份的第二转换单元来替换，提高了GPU服务器的稳定性。

在一种可能的实现方式中，所述第一转换单元，还用于向相连的第二转换单元分发第一数据。为了提高数据传输速度，第一转换单元将接收到的第一数据按照一定规则分发给相连第二转换单元，举例来说，将当前数据包发送给第二转换单元A，将下一个数据包发送给第二转换单元B。

在一种可能的实现方式中，所述第一转换单元，还用于当相连的第二转换单元出现故障时，将所有的第一数据发送给出现故障的第二转换单元对应的互为备份的第二转换单元。

由于一个第一转换单元可能连接了多个GPU，可能会接到多个GPU发来的第一数据，在将第一数据发送给相连的第二转换单元时，可以对接收的所有第一数据进行整合，整合完之后再发送出去。在一种可能的实现方式中，所述第一转换单元，还用于接收相连的GPU发来的第一数据，将接收到的第一数据进行整合，将整合后的第一数据发送给相连的第二转换单元。

在一种可能的实现方式中，所述第一转换单元为PCIE(PeripheralComponent Interconnect Express，总线接口)Switch(转换)芯片。

在一种可能的实现方式中，所述第二转换单元为PCIE Switch芯片。

参见图1，本发明实施例提供了一种多数据链路的GPU服务器，该GPU服务器包括：

8个GPU 101、1个CPU 102、4个第一转换单元103、2个第二转换单元104；

每个GPU 101与一个第一转换单元103相连；

每个第一转换单元103与两个GPU 101相连；

每个第一转换单元103均与所有第二转换单元104均相连；

每个第二转换单元104与所述CPU 102相连；

所述第一转换单元103，用于接收相连的GPU 101发来的第一数据，将所述第一数据发送给相连的第二转换单元104，并接收相连的第二转换单元104发来的第二数据，将所述第二数据转发给相连的GPU 101；

所述第二转换单元104，用于接收相连的第一转换单元103发来的所述第一数据，将所述第一数据发送给相连的CPU 102，并接收CPU 102发来的所述第二数据，将所述第二数据转发给相连的第一转换单元103。

在该实施例中，第一转换单元和第二转换单元均可以通过PCIE Switch芯片实现。两个第二转换单元104互为备份。PCIE Switch芯片通过Fabric管理软件来管理接收到的数据。

上述的GPU可以位于GPU卡上，GPU与第一转换单元相连。

本实施例还提供了一种多数据链路的GPU服务器，该GPU服务器包括：

至少一个GPU、CPU、

每个GPU与第一总线接口转换PCIE Switch芯片相连；

每个第一PCIE Switch芯片与至少两个第二PCIE Switch芯片相连；

每个第二PCIE Switch芯片与所述CPU相连；

所述第一PCIE Switch芯片，用于接收相连的GPU发来的第一数据，将所述第一数据发送给相连的第二PCIE Switch芯片，并接收相连的第二PCIESwitch芯片发来的第二数据，将所述第二数据转发给相连的GPU；

所述第二PCIE Switch芯片，用于接收相连的第一PCIE Switch芯片发来的所述第一数据，将所述第一数据发送给相连的CPU，并接收CPU发来的所述第二数据，将所述第二数据转发给相连的第一PCIE Switch芯片。

在一种可能的实现方式中，该GPU服务器包括：4个第一PCIE Switch芯片，2个第二PCIE Switch芯片；

每个第二PCIE Switch芯片均与4个第一PCIE Switch芯片相连。

在一种可能的实现方式中，该GPU服务器包括：

每个第二PCIE Switch芯片对应至少一个互为备份的第二PCIE Switch芯片；

互为备份的第二PCIE Switch芯片与同一个第一PCIE Switch芯片相连。

通过本发明实施例提供的一种多数据链路的GPU服务器，每个GPU到CPU的数据通道都有至少两条，当其中一条出现故障时，可以通过其他数据通道进行数据传输，提高了GPU服务器的稳定性，每个第二PCIE Switch芯片对应至少一个互为备份的第二PCIE Switch芯片，当一个出现故障时，可以通过备份的第二PCIE Switch芯片继续进行数据传输，进一步提高了GPU服务器的稳定性。

图2示出了本发明实施例提供的一种多数据链路的GPU服务器，该GPU服务器，包括：

8个GPU 201、1个CPU 202、4个第一PCIE Switch芯片203、2个第二PCIE Switch芯片204；

每个GPU 201与第一PCIE Switch芯片203相连；

第一PCIE Switch芯片203与两个GPU 201相连；

每个第一PCIE Switch芯片203与所有第二PCIE Switch芯片204均相连；

每个第二PCIE Switch芯片204与CPU 202相连；

所述第一PCIE Switch芯片203，用于接收相连的GPU 201发来的第一数据，将所述第一数据发送给相连的第二PCIE Switch芯片204，并接收相连的第二PCIE Switch芯片204发来的第二数据，将所述第二数据转发给相连的GPU 201；

所述第二PCIE Switch芯片204，用于接收相连的第一PCIE Switch芯片203发来的所述第一数据，将所述第一数据发送给相连的CPU 202，并接收CPU 202发来的所述第二数据，将所述第二数据转发给相连的第一PCIESwitch芯片203。

其中，两个第二PCIE Switch芯片204互为备份。

在该实施例中，第一PCIE Switch芯片将接收到的两个GPU发来的第一数据进行整合，将整合后的第一数据发送给第二PCIE Switch芯片。

本发明实施例提供了一种多数据链路的GPU服务器，具有如下有益效果：

1、通过本发明实施例提供的一种多数据链路的GPU服务器，CPU与GPU之间通过第一转换单元和第二转换单元相连，每个第一转换单元与至少两个第二转换单元相连，则从GPU到CPU至少有两条链路，当其中一条链路发生故障时，可用另一条链路传输数据，提高了GPU服务器的稳定性。

2、通过本发明实施例提供的一种多数据链路的GPU服务器，每个GPU到CPU的数据通道都有至少两条，当其中一条出现故障时，可以通过其他数据通道进行数据传输，提高了GPU服务器的稳定性，每个第二PCIE Switch芯片对应至少一个互为备份的第二PCIE Switch芯片，当一个出现故障时，可以通过备份的第二PCIE Switch芯片继续进行数据传输，进一步提高了GPU服务器的稳定性。

需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个〃〃〃〃〃〃”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。

最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种多数据链路的GPU服务器，其特征在于，包括：

至少一个图形处理器GPU、CPU；

每个GPU与第一转换单元相连；

每个第一转换单元与至少两个第二转换单元相连；

每个第二转换单元与所述CPU相连；

所述第一转换单元，用于接收相连的GPU发来的第一数据，将所述第一数据发送给相连的第二转换单元，并接收相连的第二转换单元发来的第二数据，将所述第二数据转发给相连的GPU；

所述第二转换单元，用于接收相连的第一转换单元发来的所述第一数据，将所述第一数据发送给相连的CPU，并接收CPU发来的所述第二数据，将所述第二数据转发给相连的第一转换单元。

2.根据权利要求1所述的GPU服务器，其特征在于，还包括：中转层；

所述中转层，包括：多个中间转换单元；

所述中转层位于第一转换单元和第二转换单元之间；

所述第一转换单元与至少两个中间转换单元相连；

至少有一个中间转换单元分别与至少两个第二转换单元相连；

所述第一转换单元，用于将所述第一数据发送给相连的中间转换单元，并接收相连的中间转换单元发来的第二数据；

所述第二转换单元，用于接收相连的中间转换单元发来的所述第一数据，并将所述第二数据转发给相连的中间转换单元；

所述中转层，用于将所述第一转换单元发来的所述第一数据发送给所述第二转换单元，并将第二转换单元发来的第二数据发送给所述第一转换单元。

3.根据权利要求1所述的GPU服务器，其特征在于，包括：

每个第二转换单元对应至少一个互为备份的第二转换单元；

互为备份的第二转换单元与同一个第一转换单元相连。

4.根据权利要求3所述的GPU服务器，其特征在于，所述第一转换单元，还用于向相连的第二转换单元分发第一数据。

5.根据权利要求3所述的GPU服务器，其特征在于，所述第一转换单元，还用于当相连的第二转换单元出现故障时，将所有的第一数据发送给出现故障的第二转换单元对应的互为备份的第二转换单元。

6.根据权利要求1所述的GPU服务器，其特征在于，所述第一转换单元，还用于接收相连的GPU发来的第一数据，将接收到的第一数据进行整合，将整合后的第一数据发送给相连的第二转换单元。

7.根据权利要求1所述的GPU服务器，其特征在于，所述第一转换单元为总线接口转换PCIE Switch芯片；

和/或，所述第二转换单元为PCIE Switch芯片。

8.一种多数据链路的GPU服务器，其特征在于，包括：

至少一个图形处理器GPU、CPU、

每个GPU与第一总线接口转换PCIE Switch芯片相连；

每个第一PCIE Switch芯片与至少两个第二PCIE Switch芯片相连；

每个第二PCIE Switch芯片与所述CPU相连；

所述第一PCIE Switch芯片，用于接收相连的GPU发来的第一数据，将所述第一数据发送给相连的第二PCIE Switch芯片，并接收相连的第二PCIESwitch芯片发来的第二数据，将所述第二数据转发给相连的GPU；

所述第二PCIE Switch芯片，用于接收相连的第一PCIE Switch芯片发来的所述第一数据，将所述第一数据发送给相连的CPU，并接收CPU发来的所述第二数据，将所述第二数据转发给相连的第一PCIE Switch芯片。

9.根据权利要求8所述的GPU服务器，其特征在于，包括：4个第一PCIE Switch芯片，2个第二PCIE Switch芯片；

每个第二PCIE Switch芯片均与4个第一PCIE Switch芯片相连。

10.根据权利要求8所述的GPU服务器，其特征在于，包括：

每个第二PCIE Switch芯片对应至少一个互为备份的第二PCIE Switch芯片；

互为备份的第二PCIE Switch芯片与同一个第一PCIE Switch芯片相连。