CN109308281A - 一种gpu集群和一种计算系统 - Google Patents

一种gpu集群和一种计算系统 Download PDF

Info

Publication number
CN109308281A
CN109308281A CN201810777191.0A CN201810777191A CN109308281A CN 109308281 A CN109308281 A CN 109308281A CN 201810777191 A CN201810777191 A CN 201810777191A CN 109308281 A CN109308281 A CN 109308281A
Authority
CN
China
Prior art keywords
extension
node
gpu
data
expanding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810777191.0A
Other languages
English (en)
Inventor
王玲燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810777191.0A priority Critical patent/CN109308281A/zh
Publication of CN109308281A publication Critical patent/CN109308281A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G06F15/17306—Intercommunication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G06F13/42—Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221—Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Design And Manufacture Of Integrated Circuits (AREA)

Abstract

本申请所提供的一种GPU集群，GPU节点通过PCIE链路与扩展节点连接；扩展节点设有供GPU节点或其他扩展节点连接的数据接口；扩展节点内设有第一预设数量的扩展IC，扩展IC包括第二预设数量的数据接口，扩展IC通过PCIE链路与其他扩展IC或GPU节点或HOST服务器进行连接。本申请不采用传输效率低的HOST服务器，而采用扩展节点作为连接GPU节点的中枢。扩展节点和GPU节点之间藉由PCIE链路提高GPU集群的传输性能。尤其对于大型GPU集群而言，可以实现GPU节点连接扩展节点，扩展节点连接其他扩展节点，可以实现GPU集群规模的升级。本申请还提供一种计算系统，具有上述有益效果。

Description

一种GPU集群和一种计算系统
技术领域
本申请涉及服务器领域，特别涉及一种GPU集群和一种计算系统。
背景技术
目前AI技术飞速发展，高运算性能的计算机架构也出现了空前的研发高涨。而目前NVIDIA发布的高计算性能的GPU卡，在计算性能上占据了领先的地位。将多个GPU卡进行并行设计，组成一个GPU卡计算集群，并且搭配计算服务器成了业界不断提高计算性能的计算系统。而整机柜以其高密度便捷性成为整个计算系统的部署方式。
目前GPU集群作为GPU节点，计算服务器作为计算节点，在整机柜中进行部署，而单个GPU节点所能搭载的GPU卡受功耗的限制，目前最多的是16卡设计，GPU节点与GPU节点之间的交互，是通过网络来进行传递的。而由于网络传输的速度并不是很快，这成为了GPU节点数据交互的瓶颈。
参见图1，图1为本申请实施例所提供的现有GPU集群设计的数据互联拓扑图。目前在GPU集群设计中，GPU节点与GPU节点之间的数据交互，都是通过网络来进行互联的。而目前网络的传输速率并不能满足GPU集群的速率需求，是目前数据传输的瓶颈点。
因此，如何提高GPU集群之中的数据传输效率是本领域技术人员亟需解决的问题。
申请内容
本申请的目的是提供一种GPU集群和一种计算系统，解决现有的GPU集群网络传输速率慢、效率低的问题。
为解决上述技术问题，本申请提供一种GPU集群，具体技术方案如下：
所述GPU集群至少包括GPU节点和扩展节点；
其中，所述GPU节点通过PCIE链路与所述扩展节点连接；其中，所述扩展节点设有供所述GPU节点或其他所述扩展节点连接的数据接口；
其中，所述扩展节点内设有第一预设数量的扩展IC，所述扩展IC包括第二预设数量的所述数据接口，所述扩展IC通过所述PCIE链路与其他扩展IC或所述GPU节点或HOST服务器中的至少两个相连接。
其中，所述GPU节点包括2U4型GPU节点、2U8型GPU节点或4U16型GPU节点；
相对应的，当不同型号的GPU节点连接至所述扩展节点时，不同型号的GPU节点上设有相同规格的第二数据接口。
其中，所述扩展节点内设有第一预设数量的扩展IC，所述扩展IC包括第二预设数量的所述数据接口，所述扩展IC通过所述PCIE链路与其他扩展IC或所述GPU节点或HOST服务器连接，包括：
所述扩展节点内设有六个扩展IC，分别为第一扩展IC、第二扩展IC、第三扩展IC、第四扩展IC、第五扩展IC、第六扩展IC，每个所述扩展IC包括六个所述数据接口；
其中所述第一扩展IC和所述第二扩展IC各有四个所述数据接口用于分别连接所述第三扩展IC、所述第四扩展IC、所述第五扩展IC和所述第六扩展IC，所述第一扩展IC和所述第二扩展IC各自剩余的两个所述数据接口连接其他扩展节点中的扩展IC或HOST服务器，所述第三扩展IC、所述第四扩展IC、所述第五扩展IC和所述第六扩展IC剩余的共计十六个所述数据接口与所述GPU节点相连。
其中，所述扩展IC具体为PEX9797型号的扩展IC。
其中，所述数据接口包括宽度为PCIEx16的高密连接器。
其中，所述高密连接器具体为10112628-101LF型号的高密连接器。
本申请还提供一种计算系统，包括：
如上文所述的GPU集群；
与所述GPU集群相连的计算服务器。
本申请所提供的一种GPU集群，GPU节点通过PCIE链路与扩展节点连接；所述扩展节点设有供所述GPU节点或其他所述扩展节点连接的数据接口；所述扩展节点内设有第一预设数量的扩展IC，所述扩展IC包括第二预设数量的所述数据接口，所述扩展IC通过所述PCIE链路与其他扩展IC或所述GPU节点或HOST服务器中的至少两个相连接。
本申请不采用传输效率低的HOST服务器，而是采用扩展节点作为连接GPU节点的中枢。扩展节点和GPU节点之间采用PCIE链路连接，提高了GPU集群的传输性能。尤其对于大型GPU集群而言，可以实现GPU节点连接扩展节点，扩展节点连接其他扩展节点，可以实现GPU集群规模的升级。并且在大型GPU集群中，不存在网络传输带来的低速问题，藉由PCIE实现了整个GPU集群中数据的高速传输。本申请还提供一种计算系统，具有上述有益效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请所提供的现有GPU集群设计的数据互联拓扑图；
图2为本申请实施例所提供的一种GPU集群拓扑图；
图3为本申请实施例所提供的扩展节点内部结构示意图；
图4为本申请实施例所提供的GPU集群互联架构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参考图2，图2为本申请实施例所提供的一种GPU集群拓扑图，需要说明的是，本申请中所有附图中对于数据接口的标号仅为方便说明，并不代表实际的扩展节点或扩展IC中必须存在相应的标号，且不同标号的数据接口并无区别，均为相同标准的数据接口。
本申请所提供的一种GPU集群，具体包括：
GPU节点通过PCIE链路与扩展节点连接；其中，所述扩展节点设有供所述GPU节点或其他所述扩展节点连接的数据接口；
其中，所述扩展节点内设有第一预设数量的扩展IC，所述扩展IC包括第二预设数量的所述数据接口，所述扩展IC通过所述PCIE链路与其他扩展IC或所述GPU节点或HOST服务器中的至少两个相连接。
若图2所示，GPU节点通过PCIE链路与扩展节点连接，使得GPU节点与GPU节点之间的数据在扩展节点内，通过PCIE链路进行交互，无需通过HOST服务器转发，提高了传输效率。
扩展节点上设有数据接口，该数据接口用于与GPU节点，或者其他扩展节点相连，还可以连接存储盘节点，或者其他的PCIE设备。需要说明的是，GPU节点有很多类型，例如2U4型GPU节点、2U8型GPU节点或4U16型GPU节点等等，当不同型号的GPU节点连接至扩展节点时，不同型号的GPU节点上设有相同规格的第二数据接口。也就是说，无论哪一种GPU节点类型，其上的数据接口类型均相同，即统一数据接口的标准。统一数据接口的标准不仅针对每一个扩展节点，意思是说并非指的是当不同型号的GPU节点连接至同一扩展节点，而是指在整个GPU集群中均采用同一标准的数据接口。在此对于数据接口的型号和标准(例如连接器的脚位)不作限定，具体应由本领域技术人员根据数据传输效率等实际需要进行相应的设定。特别需要说明的是，统一数据接口的标准并非必须要求PCIE链路两端的数据接口标准一致，重点是指该PCIE链路(包括两端的接头)可以应用于GPU节点与扩展节点之间、HOST服务器与扩展节点之间、扩展节点与其他扩展节点之间的连接。
具体的，数据接口包括宽度为PCIEx16的高密连接器，而该高密连接器可以为10112628-101LF型号的高密连接器。当然，以上仅是本申请提供的一种较优型号的数据接口相关构建的参数或型号，本领域技术人员可以根据本申请中数据接口的实际使用需求和上述型号使用其他型号或参数的数据接口，均应在本申请的保护范围内。
扩展节点中包括多个扩展IC，且扩展节点上的数据接口实际上就是扩展IC的数据接口，扩展IC的数据接口和扩展IC的型号相关，不同型号的扩展IC数据接口的数量可能不同。而扩展节点对外的数据接口数量取决于扩展IC的型号以及扩展IC之间的连接关系。同样的，本申请对于扩展IC的具体型号和扩展节点中扩展IC的数量亦不作限定，例如其型号可以为PEX9797，PEX9797型扩展IC为六端口的扩展IC。
因为扩展IC通常设有多个数据接口，所述扩展IC通过所述PCIE链路与其他扩展IC或所述GPU节点或HOST服务器中的至少两个相连接。需要说明的是，扩展IC由于属于扩展节点内部的结构，而扩展节点通常接入系统或者与其他扩展节点相连，在不考虑接入系统的数据接口时，一个扩展IC可连接的元器件或组件类型包括以下几种情况：
1、同时连接GPU节点和其他扩展IC。
2、同时连接GPU节点、HOST服务器和其他扩展IC。
3、同时连接GPU节点和HOST服务器。
4、同时连接HOST服务器和其他扩展IC。
其他扩展IC可以属于同一扩展节点，亦可以分别属于不同的扩展节点。当然，前文已说明，扩展节点还可以连接存储盘节点，或者其他的PCIE设备，同样的，扩展IC的连接种类作相应的扩展，此处不再赘述。
以下以PEX9797型扩展IC，且扩展节点包括六个PEX9797型扩展IC为例对扩展节点进行说明。
参考图3，图3为本申请实施例所提供的扩展节点内部结构示意图。
如图3所示，该扩展节点内设有六个扩展IC，分别为第一扩展IC、第二扩展IC、第三扩展IC、第四扩展IC、第五扩展IC、第六扩展IC，每个扩展IC包括六个数据接口；
其中第一扩展IC和第二扩展IC各有四个数据接口用于分别连接第三扩展IC、第四扩展IC、第五扩展IC和第六扩展IC，第一扩展IC和第二扩展IC各自剩余的两个数据接口连接其他扩展节点中的扩展IC或HOST服务器，第三扩展IC、第四扩展IC、第五扩展IC和第六扩展IC剩余的共计十六个数据接口与GPU节点相连。
本实施例通过使用六个六端口的扩展IC，形成了两级扩展，将PCIE链路由一个扩展IC的4路扩展为16路。通过PCIE链路将GPU节点接入到扩展节点的下行数据接口1-16，将外界计算节点接入到上行数据接口17-20，实现GPU节点与系统的连接。当然，还可以在此基础上利用不同型号的扩展IC以及不同的连接方式形成其他形式的两级扩展甚至多级扩展，在此不一一举例说明，均应在本申请的保护范围内。
需要说明的是，本申请上文所述的扩展IC的端口，与扩展IC的数据接口为同一含义，扩展IC未接入时通常可称为端口，接入后通常称为数据接口。
更进一步的，基于上述实施例，为了便于GPU集群的扩展，GPU集群中所有设备、器件数据接口均采用同一标准，包括GPU节点(无论何种型号)、扩展IC和HOST服务器。数据接口的统一化设计，可以实现不同架构的GPU节点以及扩展节点和HOST服务器节点连接到一个GPU集群系统中。这使得整个GPU集群的兼容性更强，使得GPU集群的搭建更加灵活，提高了产品的兼容性，增加了GPU集群的覆盖度。
需要指出的是，这里的HOST服务器不作数据转发使用，可以参与业务大数据计算，但并非通过HOST服务器作数据转发。
可以理解的是，为了便于数据管理，扩展节点上可以存在相关网络，用于基本的数据传输的管理，但不参与业务大数据计算。
参见图4，图4为本申请实施例所提供的GPU集群互联架构示意图。
图4是基于上述实施例的GPU集群互联架构示意图，可以明显看出，扩展可以连接扩展节点、GPU节点和HOST服务器。但需要指出的是，对于某一个GPU集群而言，其中的扩展节点可以是由不同扩展方式得到的。由上文所述的实施例易知，扩展节点根据扩展IC的端口数量和连接方式不同可以有多种形式，对于一个GPU集群而言，可以包括不同形式的扩展节点。
本申请还提供一种计算系统，包括：
上述任一实施例所述GPU集群；
与所述GPU集群相连的计算服务器。
通过将上文所述描述的GPU集群替代现有的GPU计算集群，对GPU集群的互联架构重新进行设计，利用扩展节点连接多个GPU节点，从而解决传输路径的速率瓶颈问题，提高数据传输速率。进而使整个计算系统计算更加高效，性能更加卓越。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言，由于其与实施例提供的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (7)

1.一种GPU集群，其特征在于，包括：
所述GPU集群至少包括GPU节点和扩展节点；
其中，所述GPU节点通过PCIE链路与所述扩展节点连接；其中，所述扩展节点设有供所述GPU节点或其他所述扩展节点连接的数据接口；
其中，所述扩展节点内设有第一预设数量的扩展IC，所述扩展IC包括第二预设数量的所述数据接口，所述扩展IC通过所述PCIE链路与其他扩展IC或所述GPU节点或HOST服务器中的至少两个相连接。
2.根据权利要求1所述的GPU集群，其特征在于，所述GPU节点包括2U4型GPU节点、2U8型GPU节点或4U16型GPU节点；
相对应的，当不同型号的GPU节点连接至所述扩展节点时，不同型号的所述GPU节点上设有相同规格的第二数据接口。
3.根据权利要求1或2所述的GPU集群，其特征在于，所述扩展节点内设有第一预设数量的扩展IC，所述扩展IC包括第二预设数量的所述数据接口，所述扩展IC通过所述PCIE链路与其他扩展IC或所述GPU节点或HOST服务器连接，包括：
所述扩展节点内设有六个扩展IC，分别为第一扩展IC、第二扩展IC、第三扩展IC、第四扩展IC、第五扩展IC、第六扩展IC，每个所述扩展IC包括六个所述数据接口；
其中所述第一扩展IC和所述第二扩展IC各有四个所述数据接口用于分别连接所述第三扩展IC、所述第四扩展IC、所述第五扩展IC和所述第六扩展IC，所述第一扩展IC和所述第二扩展IC各自剩余的两个所述数据接口连接其他扩展节点中的扩展IC或HOST服务器，所述第三扩展IC、所述第四扩展IC、所述第五扩展IC和所述第六扩展IC剩余的共计十六个所述数据接口与所述GPU节点相连。
4.根据权利要求1所述的GPU集群，其特征在于，所述扩展IC具体为PEX9797型号的扩展IC。
5.根据权利要求1所述的GPU集群，其特征在于，所述数据接口包括宽度为PCIEx16的高密连接器。
6.根据权利要求5所述的GPU集群，其特征在于，所述高密连接器具体为10112628-101LF型号的高密连接器。
7.一种计算系统，其特征在于，包括：
如权利要求1-6任一项所述GPU集群；
和所述GPU集群相连的计算服务器。
CN201810777191.0A 2018-07-16 2018-07-16 一种gpu集群和一种计算系统 Withdrawn CN109308281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810777191.0A CN109308281A (zh) 2018-07-16 2018-07-16 一种gpu集群和一种计算系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810777191.0A CN109308281A (zh) 2018-07-16 2018-07-16 一种gpu集群和一种计算系统

Publications (1)

Publication Number Publication Date
CN109308281A true CN109308281A (zh) 2019-02-05

Family

ID=65225860

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810777191.0A Withdrawn CN109308281A (zh) 2018-07-16 2018-07-16 一种gpu集群和一种计算系统

Country Status (1)

Country Link
CN (1) CN109308281A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025696A1 (en) * 2009-07-29 2011-02-03 Nvidia Corporation Method and system for dynamically adding and removing display modes coordinated across multiple graphcis processing units
CN104915917A (zh) * 2015-06-01 2015-09-16 浪潮电子信息产业股份有限公司 一种GPU机箱、PCIe交换装置以及服务器系统
CN104954221A (zh) * 2014-03-25 2015-09-30 Dssd股份有限公司 用于全连接网格拓扑结构的高速pci架构路由
US20170143994A1 (en) * 2015-11-23 2017-05-25 Board Of Regents, The University Of Texas System Systems and Methods for Cloud-Based Radiation Therapy Treatment Planning
CN107102946A (zh) * 2017-05-04 2017-08-29 上海林果实业股份有限公司 一种程序的检测方法、装置与电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025696A1 (en) * 2009-07-29 2011-02-03 Nvidia Corporation Method and system for dynamically adding and removing display modes coordinated across multiple graphcis processing units
CN104954221A (zh) * 2014-03-25 2015-09-30 Dssd股份有限公司 用于全连接网格拓扑结构的高速pci架构路由
CN104915917A (zh) * 2015-06-01 2015-09-16 浪潮电子信息产业股份有限公司 一种GPU机箱、PCIe交换装置以及服务器系统
US20170143994A1 (en) * 2015-11-23 2017-05-25 Board Of Regents, The University Of Texas System Systems and Methods for Cloud-Based Radiation Therapy Treatment Planning
CN107102946A (zh) * 2017-05-04 2017-08-29 上海林果实业股份有限公司 一种程序的检测方法、装置与电子设备

Similar Documents

Publication Publication Date Title
TWI313546B (en) Generating topology information identifying devices in a network topology
CN104170319B (zh) 分布式组构系统及其管理方法
CN106155959A (zh) 数据传输方法及数据传输系统
CN108009114B (zh) 一种优化ncsi时钟信号线等长的结构
CN110290227A (zh) 集成电路总线地址的动态分配方法、系统及存储介质
CN102447590B (zh) 一种交换机的线路测试方法、装置和系统
CN113835487B (zh) 一种实现高密度服务器内存池扩充的系统及方法
CN104408014A (zh) 一种计算系统之间处理单元互连的系统及方法
CN110191204A (zh) 一种内网设备间通信方法、系统、装置及计算机存储介质
CN107851078A (zh) 一种PCIe设备的聚合友好型地址分配的方法和系统
CN107480094A (zh) 一种融合架构的池化服务器系统架构
CN108737163A (zh) 一种基于OpenFlow协议的SDN控制器应用性能分析方法
CN104243172B (zh) 一种分散控制系统的扩展输入输出装置和方法
CN103092735A (zh) 节点状态更新方法
CN109308281A (zh) 一种gpu集群和一种计算系统
CN103838298B (zh) 一种背板、设备和相应的制作方法
CN106528475A (zh) 一种支持单八路和双四路动态分区的多路计算机系统
CN103455104B (zh) 一种交换板及刀片服务器
CN206021155U (zh) 一种融合架构服务器
CN105490859B (zh) 一种高端容错服务器的节点定位方法
CN105468104B (zh) 一种融合式服务器及背板
CN106292911A (zh) 一种融合架构服务器
CN107391403A (zh) 一种存储设备中多路控制器间的通信方法及装置
CN107102961A (zh) 加速arm处理器并行工作的方法及系统
CN202261411U (zh) 一种计算机集群系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20190205