CN105183692A

CN105183692A - 一种集群系统设备间数据通信方法与系统

Info

Publication number: CN105183692A
Application number: CN201510609743.3A
Authority: CN
Inventors: 高永虎
Original assignee: Inspur Beijing Electronic Information Industry Co Ltd
Current assignee: Inspur Beijing Electronic Information Industry Co Ltd
Priority date: 2015-09-22
Filing date: 2015-09-22
Publication date: 2015-12-23
Anticipated expiration: 2035-09-22
Also published as: CN105183692B

Abstract

本发明公开了一种集群系统设备间数据通信方法与系统，获取每个节点内GPU的数量，为所述每个节点内的所有GPU进行编号，将GPU的计算结果进行分块，并将每个结果数据块根据所述的GPU进行编号，每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU，每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据，每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新，每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU，每个GPU处理一个数据块，充分利用了系统网络带宽，均衡了GPU负载，可以高效地实现GPU间的数据通信。

Description

一种集群系统设备间数据通信方法与系统

技术领域

本发明涉及高性能计算领域，特别是涉及一种集群系统设备间数据通信方法与系统。

背景技术

当前社会数据大爆炸，信息数据越来越多，人们对信息数据处理能力的要求也越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高性能计算，金融、政府信息化、教育、企业、网络游戏、人工智能等更广泛的领域对高性能计算的需求迅猛增长。

计算速度对于高性能计算尤为重要，高性能计算朝多核、众核发展，采用异构并行提升应用计算速度，目前CPU+GPU是非常成熟的异构协同计算模式，适合高度并行计算的应用或算法。在大规模集群系统中，数据的并行计算是主要的并行计算的应用方式，但是由于数据并行计算的计算设备需要彼此间相互通信，而受限于网络带宽、总线带宽等原因，对于通信量较大，计算需要较长时间的等待数据的传输，而使得系统整体性能无法提高。因此，当前有限的传输带宽已经无法满足系统设备的通信需求，而现有的硬件通信能力也无法在短期内得到大幅度的提升，所以需要设计一种根据现有有限的通信能力的条件下提高系统设备的通信效率的方法，从而避免因等待数据传输而浪费计算资源。

发明内容

有鉴于此，本发明的主要目的在于提供一种集群系统设备间数据通讯方法与系统，可以高效地进行GPU设备间的通信。

为实现上述目的，本发明提供了一种集群系统设备间数据通信方法，包括：

获取每个节点内GPU的数量N，为所述每个节点内的所有GPU进行GPU编号，将GPU的计算结果等分为N个数据块，并将每个结果数据块根据所述的GPU进行数据块编号；

令每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU；

令每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据；

令每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新；

令每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU。

优选地，所述第一预设规则为将每个GPU内此时所有的结果数据块进行求和。

优选地，所述第二预设规则为将每个节点内此时所有的GPU的所有结果数据块进行求和。

本发明还提供了一种集群系统设备间数据通信系统，包括：

分块模块，用于获取每个节点内GPU的数量N，为所述每个节点内的所有GPU进行GPU编号，将GPU的计算结果等分为N个数据块，并将每个结果数据块根据所述的GPU进行数据块编号；

节点内收集模块，用于令每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU；

节点内计算模块，用于令每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据；

节点间规约模块，用于令每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新；

节点内散发模块，用于令每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU。

应用本发明提供的一种集群系统设备间数据通信方法与系统，获取每个节点内GPU的数量，为所述每个节点内的所有GPU进行编号，将GPU的计算结果进行分块，并将每个结果数据块根据所述的GPU进行编号，每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU，每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据，每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新，每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU，每个GPU处理一个数据块，充分利用了系统网络带宽，均衡了GPU负载，可以高效地实现GPU间的数据通信。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明一种集群系统设备间数据通信方法实施例一的原理示意图；

图2为本发明一种集群系统设备间数据通信方法实施例一的流程图；

图3为本发明一种集群系统设备间数据通信方法实施例一的又一原理示意图；

图4为本发明一种集群系统设备间数据通信方法实施例一的又一原理示意图；

图5为本发明一种集群系统设备间数据通信方法实施例一的又一原理示意图；

图6为本发明一种集群系统设备间数据通信系统实施例二的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种集群系统设备间数据通信方法，集群节点间通过高速网络相互连接，如图1所示，系统为CPU(中央处理器)+GPU(图形处理器)异构集群系统，集群由若干node节点组成，节点内有若干计算设备GPU，GPU间可以同过总线直接相互通信。节点间通过IB网络相互连接，节点间的GPU可以通过IB网络直接相互通信，IB即InfiniBand，是一个统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信，本实施例通信方法首先在节点内部更新计算结果，然后再在节点间更新计算结果，图2示出了本发明集群系统设备间数据通信方法实施例一的流程图，包括：

步骤S101：获取每个节点内GPU的数量N，为所述每个节点内的所有GPU进行GPU编号，将GPU的计算结果等分为N个数据块，并将每个结果数据块根据所述的GPU进行数据块编号；

如将GPU的计算结果命名为Wi，假设节点内有N块GPU计算设备，则将每个计算结果Wi等分成N块，每块大小为Wi/N,每块分别命名为Wii_j，(i为GPU号，j为块号)。如图3所示，节点内有4块GPU，则分块为，将每个Wi等分成4块：

GPU0的4块△W0分别命名为△W00_0，△W00_1，△W00_2，△W00_3，

GPU1的4块△W1分别命名为△W11_0，△W11_1，△W11_2，△W11_3，

GPU2的4块△W2分别命名为△W22_0，△W22_1，△W22_2，△W22_3，

GPU3的4块△W3分别命名为△W33_0，△W33_1，△W33_2，△W33_3。

步骤S102：令每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU；

每个GPU将自己的结果Wi块平均发送给不同的GPU，GPU0将自己的3个GPU块△W00_1,△W00_2,△W00_3，分别发送给GPU1，GPU2，GPU3；GPU1类似，将自己的3个GPU块△W11_0,△W11_2,△W11_3,分别发送给GPU0，GPU2，GPU3；GPU2将自己的3个GPU块△W22_0,△W22_1,△W22_3,分别发送给GPU0，GPU1，GPU3；GPU3将自己的3个GPU块△W33_0,△W33_1,△W33_2,分别发送个GPU0，GPU1，GPU2；发送完成后如图4所示：

GPU0中存储有每个卡的0号W块：W00_0、W11_0、W22_0、W33_0；

GPU1中存储有每个卡的1号W块：W00_1、W11_1、W22_1、W33_1；

GPU2中存储有每个卡的2号W块：W00_2、W11_2、W22_2、W33_2；

GPU3中存储有每个卡的3号W块：W00_3、W11_3、W22_3、W33_3。

步骤S103：令每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据；

第一预设规则为将每个GPU内此时所有的结果数据块进行求和，每块GPU将自己的结果数据块与接收到的其它GPU的结果数据块做相应的更新计算操作，如下进行求和操作：

G P U 0 : Σ_{i = 0}^{i = 3} W_{i} i_0,

G P U 1 : Σ_{i = 0}^{i = 3} W_{i} i_1,

G P U 2 : Σ_{i = 0}^{i = 3} W_{i} i_2,

G P U 3 : Σ_{i = 0}^{i = 3} W_{i} i_3,

节点内更新完成。

步骤S104：令每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新；

然后进行节点间的更新：节点间的更新即每个节点内的GPU都将包括自己在内的其它节点对应的GPU上的数据块进行规约。如图5所示：共有四个节点，每个节点有4个GPU。node0的GPU0要将node0、node1、node2、node3上的GPU0的数据块规约，同样的node1上的GPU0也要将node0、node1，node2、node3上的GPU0的数据块规约；以此类推，node0、node1、node2、node3上的GPU0、GPU1、GPU2、GPU3都要做同样的规约操作，第二预设规则为将每个节点内此时所有的GPU的所有结果数据块进行求和，更新结果如下(n为节点号)：

G P U 0 : Σ_{n = 0}^{n = 3} Σ_{i = 0}^{i = 3} W_{i} i_0,

G P U 1 : Σ_{n = 0}^{n = 3} Σ_{i = 0}^{i = 3} W_{i} i_1,

G P U 2 : Σ_{n = 0}^{n = 3} Σ_{i = 0}^{i = 3} W_{i} i_2,

G P U 3 : Σ_{n = 0}^{n = 3} Σ_{i = 0}^{i = 3} W_{i} i_3,

节点间更新完成。

步骤S105：令每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU。

每个GPU需要将自己更新完成的数据块散发给节点内的其它GPU，这样每个节点内的每个GPU都获得了更新好的最终的完整W数据。

应用本实施例提供的一种集群系统设备间数据通信方法，获取每个节点内GPU的数量，为所述每个节点内的所有GPU进行编号，将GPU的计算结果进行分块，并将每个结果数据块根据所述的GPU进行编号，每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU，每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据，每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新，每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU，即首先节点内数据分块，然后节点内收集，节点内计算，再进行节点间规约和节点内散发，每个GPU处理一个数据块，充分利用了系统网络带宽，均衡了GPU负载，理论上相比较于传统的集中式的更新操作(即节点内：所有GPU将计算传输给一个GPU，然后在有一个GPU做计算，在将计算结果发送个其它GPU。节点间：所有节点将数据集中传输到一个节点进行更新，更新完成后再将结果散发给其它节点)，数据传输量少了N-1/N，性能提高N倍，可以高效地实现GPU间的数据通信。

本发明还提供了一种集群系统设备间数据通信系统，图6示出了本发明集群系统设备间数据通信系统实施例二的结构示意图，包括：

分块模块101，用于获取每个节点内GPU的数量N，为所述每个节点内的所有GPU进行GPU编号，将GPU的计算结果等分为N个数据块，并将每个结果数据块根据所述的GPU进行数据块编号；

节点内收集模块102，用于令每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU；

节点内计算模块103，用于令每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据；

节点间规约模块104，用于令每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新；

节点内散发模块105，用于令每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU。

本实施例中第一预设规则为将每个GPU内此时所有的结果数据块进行求和，第二预设规则为将每个节点内此时所有的GPU的所有结果数据块进行求和。

应用本实施例提供的一种集群系统设备间数据通信系统，获取每个节点内GPU的数量，为所述每个节点内的所有GPU进行编号，将GPU的计算结果进行分块，并将每个结果数据块根据所述的GPU进行编号，每个GPU将自己的结果数据块根据数据块编号发送至其他各GPU，每个GPU根据此时自己的结果数据块与其他GPU发送的结果数据块通过第一预设规则更新节点内的数据，每个节点内的目标GPU分别将其他节点内与所述目标GPU对应的GPU进行规约操作，根据第二预设规则完成节点间数据更新，每个GPU将对应更新完成的结果数据块散发至所在节点内的其他GPU，即首先节点内数据分块，然后节点内收集，节点内计算，再进行节点间规约和节点内散发，每个GPU处理一个数据块，充分利用了系统网络带宽，均衡了GPU负载，理论上相比较于传统的集中式的更新操作(即节点内：所有GPU将计算传输给一个GPU，然后在有一个GPU做计算，在将计算结果发送个其它GPU。节点间：所有节点将数据集中传输到一个节点进行更新，更新完成后再将结果散发给其它节点)，数据传输量少了N-1/N，性能提高N倍，可以高效地实现GPU间的数据通信。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

最后，还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明所提供的方法和系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种集群系统设备间数据通信方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述第一预设规则为将每个GPU内此时所有的结果数据块进行求和。

3.根据权利要求1所述的方法，其特征在于，所述第二预设规则为将每个节点内此时所有的GPU的所有结果数据块进行求和。

4.一种集群系统设备间数据通信系统，其特征在于，包括：

5.根据权利要求4所述的系统，其特征在于，所述第一预设规则为将每个GPU内此时所有的结果数据块进行求和。

6.根据权利要求4所述的系统，其特征在于，所述第二预设规则为将每个节点内此时所有的GPU的所有结果数据块进行求和。