CN115098422A - 一种基于NVLink总线的多GPU交互系统及服务器 - Google Patents
一种基于NVLink总线的多GPU交互系统及服务器 Download PDFInfo
- Publication number
- CN115098422A CN115098422A CN202210762629.4A CN202210762629A CN115098422A CN 115098422 A CN115098422 A CN 115098422A CN 202210762629 A CN202210762629 A CN 202210762629A CN 115098422 A CN115098422 A CN 115098422A
- Authority
- CN
- China
- Prior art keywords
- gpu
- board
- nvlink
- gpus
- bus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 title description 2
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 150000003071 polychlorinated biphenyls Chemical class 0.000 claims description 3
- 238000013461 design Methods 0.000 abstract description 25
- 238000012423 maintenance Methods 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 4
- 230000005540 biological transmission Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4063—Device-to-bus coupling
- G06F13/4068—Electrical coupling
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bus Control (AREA)
Abstract
本发明涉及多GPU交互领域，具体公开一种基于NVlink总线的多GPU交互系统及服务器，括第一GPU板、第二GPU板和连接器；第一GPU板上布置至少两个GPU，第二GPU板上布置至少两个GPU；第一GPU上的各个GPU基于NVlink总线互连，第二GPU上的各个GPU基于NVlink总线互连；第一GPU板上的各个GPU基于NVlink总线通过连接器分别与第二GPU板上的各个GPU互连。本发明利用两块板卡共同承担多个GPU的结构设计,将两个板卡通过连接器进行叠层放置，使得NVLink总线拓扑的设计方式更加灵活,可用的空间增大，且缩减横向空间的效果,从而大大减小单个PCB板的横向尺寸,使得PCB板能够应用于AI服务器中,有利于AI服务器的设计，对于4U及以下高度的机箱的服务器来说，也会降低桥接器及桥接线缆的维护成本。
Description
技术领域
本发明涉及多GPU交互领域，具体涉及一种基于NVlink总线的多GPU交互系统及服务器。
背景技术
人工智能和高计算性能的计算机需求正在上升，因此越来越需要支持多GPU系统，这些系统在GPU之间无缝地连接，以便它们可以作为一个巨大的加速器协同工作。虽然PCIe 非常标准，但带宽有限，因此通常会产生瓶颈。为构建功能强大的端到端计算平台，我们需要速度更快、扩展性更强的互联。但是GPU之间以及GPU和CPU之间的数据交换受到PCIe总线影响，成为了瓶颈。NVIDIA NVLink 是世界首项高速GPU互连技术，当前可在服务器中利用NVLink总线进行多GPU互连的结构设计。
服务器中利用NVLink总线进行多GPU互连的结构设计通常分为两种：一种是主板是集成了NVLink接口，但是目前集成NVLink接口的主板极为少数，PCIe仍为主流平台的标配。另一种则是以桥接器的形式实现NVLink高速互联技术，使NVLink得到更广泛应用，加速应用程序的运行效率，其能实现显存扩展和性能增强，满足人工智能下的超大负载需求。
然而，当前板卡设计通常是在同一板卡上放置多个GPU芯片，而且对于不同的需求，一个板卡上要存在多个GPU芯片不同的互联形式，这就导致基于NVlink总线的GPU互联系统存在以下缺陷：
1）走线错综复杂，灵活性低。在服务器采用NVLink总线进行多GPU的互连结构时，由于同一PCB板上包含多个GPU芯片，而且对于不同的需求，一个PCB板上要存在多个GPU芯片的不同互联形式，在一个板卡上的GPU互联通道变的更加错综复杂，使得多个GPU交互的设计灵活性较低， 而且，剩余的设计空间非常有限。例如， DGX-2拥有16个GV100GPU的超级计算机，16个GPU在NVLink2.0下需要使用48条总线，面对如此多的总线，对PCB的设计，提出了极大的难题。
2）板卡尺寸过大，维护成本较大。而目前的NVLink总线拓扑使得PCB板尺寸更大，具有一定的局限性，特别是在AI服务器设计中，PCB板尺寸与当前结构设计太大，无法在AI服务器的较小空间内互连多个GPU，不利于AI服务器的设计，对于4U及以下高度的服务器机箱来说，多个GPU互联导致宽度尺寸过大，在有限的机箱空间条件下便无法竖插。这样就限制了多GPU的交互，增加了多GPU互联桥接器或者桥接线缆的维护成本。
发明内容
为解决上述问题，本发明提供一种基于NVLink总线的多GPU交互系统及服务器，利用两块板卡共同承担多个GPU的结构设计,将两个板卡通过连接器进行叠层放置，使得NVLink总线拓扑的设计方式更加灵活,可用的空间增大，且缩减横向空间的效果,从而大大减小单个PCB板的横向尺寸,使得PCB板能够应用于AI服务器中,有利于AI服务器的设计，对于4U及以下高度的机箱的服务器来说，也会降低桥接器及桥接线缆的维护成本。
第一方面，本发明的技术方案提供一种基于NVLink总线的多GPU交互系统，包括第一GPU板、第二GPU板和连接器；第一GPU板上布置至少两个GPU，第二GPU板上布置至少两个GPU；第一GPU上的各个GPU基于NVlink总线互连，第二GPU上的各个GPU基于NVlink总线互连；第一GPU板上的各个GPU基于NVlink总线通过连接器分别与第二GPU板上的各个GPU互连。
根据权利要求1所述的基于NVLink总线的多GPU交互系统，其特征在于，第一GPU板和第二GPU板上的GPU个数相同。
进一步地，第一GPU板和第二GPU板上的GPU个数为偶数。
进一步地，GPU至少有4个端口。
进一步地，第一GPU板和第二GPU板为PCB板，两个PCB板的板材等级均≥m6等级。
进一步地，第一GPU板上的NVlink走线的总长度9.5inch。
进一步地，第二GPU板上的NVlink走线的总长度9.5inch。
第二方面，本发明的技术方案提供一种服务器，配置有上述任一项所述的基于NVLink总线的多GPU交互系统。
本发明提供的一种基于NVLink总线的多GPU交互系统及服务器，相对于现有技术，具有以下有益效果：多个GPU芯片分别分布在两个GPU板上，两个GPU板通过连接器连接，两个GPU板上的GPU芯片互连，通过板卡叠层放置的拓扑结构,能够将多个GPU平均分布于两个板卡中,使得NVLink总线拓扑的设计方式更加灵活,可用的空间增大。而且这种利用两块板卡共同承担多个GPU的结构设计,将两个板卡通过连接器进行叠层放置,可以达到缩减横向空间的效果,从而大大减小单个PCB板的横向尺寸,使得PCB板能够应用于AI服务器中,有利于AI服务器的设计，对于4U及以下高度的机箱的服务器来说，也会降低桥接器及桥接线缆的维护成本。同时较短的NVLink总线实现GPU的跨板互连，且不同单板之间GPU的NVLink总线布局更加合理，有利于减少信号损耗，提高不同单板之间GPU跨板互连信号的传输效率。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于NVLink总线的左GPU交互系统结构示意框图。
图2是本发明实施例提供的一种基于NVLink总线的左GPU交互系统的一具体实施例的结构示意框图。
图中，100-第一GPU板，200-第二GPU板，300-连接器。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1是本发明实施例提供的一种基于NVLink总线的左GPU交互系统结构示意框图，包括两个板卡和一个连接器300，两个板卡分别为第一GPU板100和第二GPU板200。
第一GPU板100上布置至少两个GPU，第二GPU板200上布置至少两个GPU；第一GPU上的各个GPU基于NVlink总线互连，第二GPU上的各个GPU基于NVlink总线互连；同时，第一GPU板100上的各个GPU基于NVlink总线通过连接器300分别与第二GPU板200上的各个GPU互连。
多个GPU芯片分别分布在两个GPU板上，两个GPU板通过连接器300连接，两个GPU板上的GPU芯片互连，通过板卡叠层放置的拓扑结构,能够将多个GPU平均分布于两个板卡中,使得NVLink总线拓扑的设计方式更加灵活,可用的空间增大。而且这种利用两块板卡共同承担多个GPU的结构设计,将两个板卡通过连接器300进行叠层放置,可以达到缩减横向空间的效果,从而大大减小单个PCB板的横向尺寸,使得PCB板能够应用于AI服务器中,有利于AI服务器的设计，对于4U及以下高度的机箱的服务器来说，也会降低桥接器及桥接线缆的维护成本。同时较短的NVLink总线实现GPU的跨板互连，且不同单板之间GPU的NVLink总线布局更加合理，有利于减少信号损耗，提高不同单板之间GPU跨板互连信号的传输效率。
在上述实施例基础上，作为优选的实施方式，第一GPU板100和第二GPU板200上的GPU个数相同。
可以理解的是，将GPU平均分布在两个GPU板上，第一GPU板100上有几个输出端，第二GPU板200上则为几个输入端，使得NVLink总线拓扑的设计方式更加灵活,可用的空间增大。
在上述实施例基础上，作为优选的实施方式，第一GPU板100和第二GPU板200上的GPU个数为偶数。
在两个GPU板上分别布置数量相同的偶数个GPU，可更方便的进行NVlink总线拓扑。当然，可以理解的是，用户也可根据需要或实际情况进行其他数量的布置。
在上述实施例基础上，作为优选的实施方式，GPU至少有4个端口。
第一GPU板100上的任一GPU至少有4个发送端连接至第二GPU板200中不同GPU的接收端，这种拓扑结构，能够以较短的NVLink总线实现GPU的跨板互连，且不同板卡之间GPU的NVLink总线布局更加合理，有利于减少信号损耗，提高不同板卡之间GPU跨板互连信号的传输效率。
在上述实施例基础上，作为优选的实施方式，第一GPU板100和第二GPU板200为PCB板，两个PCB板的板材等级均≥m6等级。
在上述实施例基础上，作为优选的实施方式，第一GPU板100上的NVlink走线的总长度9.5inch，第二GPU板200上的NVlink走线的总长度9.5inch。
保证NVLink信号的传输品质，从而提高GPU跨板互连的数据传输效率，PCB板的材质和NVLink的总线的总长度也是有要求的，板材等级均≥m6等级，NVLink走线的总长度≤9.5inch。在设计两个板卡时能够避免过孔数量过多和过孔残桩过大，可以减少信号传输通道上阻抗不匹配点的数量，从而减少反射，进而提高NVLink信号的品质，有利于提高多GPU互连时信号传输的质量。
为进一步理解本方法，以下提供一具体实施例对本发明进一步详细说明，图2为该具体实施例结构示意图。
以4GPU芯片为例，第一GPU板100中有两个GPU，第二GPU板200上有两个GPU，且第一GPU板100上任一GPU至少有4个发送端连接至第二GPU板200中不同GPU的接收端。通过这种单板叠层的拓扑结构，该装置能够将多个GPU平均分布于两个板卡中，使得多NVLink总线的设计方式从原来板卡上设置的n个GPU变为板卡上设置n/2个GPU，使得NVLink总线拓扑的设计方式更加灵活，设计空间增大。图2中4GPU跨板互连的拓扑，用虚线表示跨板互连的GPU之间的连接。板卡的尺寸可以根据机箱的尺寸进行灵活调节，但是多个GPU跨板互连的拓扑不变，第一GPU板100中的任一GPU中至少有4个发送端连接至第二GPU板200中GPU的接收端。这种拓扑结构，能够以较短的NVLink总线实现GPU的跨板互连，且不同板卡之间GPU的NVLink总线布局更加合理，有利于减少信号损耗，提高不同板卡之间GPU跨板互连信号的传输效率。
同时为了保证NVLink信号的传输品质，从而提高GPU跨板互连的数据传输效率，PCB板的材质和NVLink的总线的总长度也是有要求的，板材等级均≥m6等级，NVLink走线的总长度≤9.5inch。在设计两个板卡时能够避免过孔数量过多和过孔残桩过大，可以减少信号传输通道上阻抗不匹配点的数量，从而减少反射，进而提高NVLink信号的品质，有利于提高多GPU互连时信号传输的质量。
上文中对于一种基于NVLink总线的多GPU交互系统的实施例进行了详细描述，基于上述实施例描述的基于NVLink总线的多GPU交互系统，本发明实施例还提供了一种与该系统对应的服务器。
本发明实施例提供的服务器，配置上述实施例的基于NVLink总线的多GPU交互系统。
本实施例的服务器基于前述的基于NVLink总线的多GPU交互系统实现，因此该服务器中的具体实施方式可见前文中的基于NVLink总线的多GPU交互系统的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的服务器基于前述的基于NVLink总线的多GPU交互系统实现，因此其作用与上述系统的作用相对应，这里不再赘述。
以上公开的仅为本发明的优选实施方式，但本发明并非局限于此，任何本领域的技术人员能思之的没有创造性的变化，以及在不脱离本发明原理前提下所作的若干改进和润饰，都应落在本发明的保护范围内。
Claims (8)
1.一种基于NVLink总线的多GPU交互系统，其特征在于，包括第一GPU板、第二GPU板和连接器；第一GPU板上布置至少两个GPU，第二GPU板上布置至少两个GPU；第一GPU上的各个GPU基于NVlink总线互连，第二GPU上的各个GPU基于NVlink总线互连；第一GPU板上的各个GPU基于NVlink总线通过连接器分别与第二GPU板上的各个GPU互连。
2.根据权利要求1所述的基于NVLink总线的多GPU交互系统，其特征在于，第一GPU板和第二GPU板上的GPU个数相同。
3.根据权利要求2所述的基于NVLink总线的多GPU交互系统，其特征在于，第一GPU板和第二GPU板上的GPU个数为偶数。
4.根据权利要求3所述的基于NVLink总线的多GPU交互系统，其特征在于，GPU至少有4个端口。
5.根据权利要求1-4任一项所述的基于NVLink总线的多GPU交互系统，其特征在于，第一GPU板和第二GPU板为PCB板，两个PCB板的板材等级均≥m6等级。
6.根据权利要求5所述的基于NVLink总线的多GPU交互系统，其特征在于，第一GPU板上的NVlink走线的总长度9.5inch。
7.根据权利要求6所述的基于NVLink总线的多GPU交互系统，其特征在于，第二GPU板上的NVlink走线的总长度9.5inch。
8.一种服务器，其特征在于，配置有权利要求1-7任一项所述的基于NVLink总线的多GPU交互系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210762629.4A CN115098422A (zh) | 2022-06-30 | 2022-06-30 | 一种基于NVLink总线的多GPU交互系统及服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210762629.4A CN115098422A (zh) | 2022-06-30 | 2022-06-30 | 一种基于NVLink总线的多GPU交互系统及服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115098422A true CN115098422A (zh) | 2022-09-23 |
Family
ID=83294437
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210762629.4A Withdrawn CN115098422A (zh) | 2022-06-30 | 2022-06-30 | 一种基于NVLink总线的多GPU交互系统及服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115098422A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115952126A (zh) * | 2023-03-14 | 2023-04-11 | 沐曦集成电路(上海)有限公司 | 一种gpu处理器系统 |
-
2022
- 2022-06-30 CN CN202210762629.4A patent/CN115098422A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115952126A (zh) * | 2023-03-14 | 2023-04-11 | 沐曦集成电路(上海)有限公司 | 一种gpu处理器系统 |
| CN115952126B (zh) * | 2023-03-14 | 2023-05-12 | 沐曦集成电路(上海)有限公司 | 一种gpu处理器系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7793029B1 (en) | Translation device apparatus for configuring printed circuit board connectors | |
| CN109002591B (zh) | 一种从服务器主板端调整PCIe拓扑的方法和系统 | |
| US20080123552A1 (en) | Method and system for switchless backplane controller using existing standards-based backplanes | |
| US10010007B2 (en) | Multi-slot plug-in card | |
| US9954295B2 (en) | Midplane interconnect system with conductor twist mitigation | |
| CN115098422A (zh) | 一种基于NVLink总线的多GPU交互系统及服务器 | |
| CN108879150A (zh) | 一种线缆背板以及通讯设备 | |
| US6772262B1 (en) | Memory module with improved data bus performance | |
| CN205263801U (zh) | 一种pcie信号的切换板卡 | |
| CN115038246A (zh) | 一种esd器件的布线方法和板卡 | |
| CN113568847B (zh) | 一种网卡与处理器的互联装置及服务器 | |
| CN112148663A (zh) | 一种数据交换芯片及服务器 | |
| CN100584145C (zh) | 线路板系统 | |
| CN114138354B (zh) | 一种支持multihost的板载OCP网卡系统及服务器 | |
| CN211791587U (zh) | 一种新型框架式硬件系统平台装置 | |
| CN218867408U (zh) | 一种可长距传输的新型fpc跨背板传输系统 | |
| CN114282487B (zh) | 一种pcb板上upi兼容pcie的方法、系统和装置 | |
| US10701800B2 (en) | Printed circuit boards | |
| CN114840461B (zh) | 服务器的扩展装置和服务器 | |
| CN111159078B (zh) | 一种电子设备 | |
| CN110990326B (zh) | 一种用于ATCA架构的高速PCI Express转接驱动单元 | |
| CN220292254U (zh) | 一种改善阻抗的pcie金手指结构 | |
| CN217739896U (zh) | 一种智能计算模块电路、计算板卡及计算机 | |
| CN210835822U (zh) | Pcb板组件和计算机 | |
| CN117333348A (zh) | 图形处理器的线路板及服务器系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220923 |
|
| WW01 | Invention patent application withdrawn after publication |