CN114968902B

CN114968902B - 一种多处理器互联系统

Info

Publication number: CN114968902B
Application number: CN202210894533.3A
Authority: CN
Inventors: 史之星
Original assignee: Muxi Technology Chengdu Co ltd
Current assignee: Muxi Technology Chengdu Co ltd
Priority date: 2022-07-28
Filing date: 2022-07-28
Publication date: 2022-10-25
Anticipated expiration: 2042-07-28
Also published as: CN114968902A

Abstract

本发明涉及多处理器互联技术领域，具体涉及一种多处理器互联系统，该系统包括N个互联的处理器节点，节点Gi和节点Gj之间进行路由计算时，节点Gi利用最短路径优先算法迭代计算若干条路径，其中每条路径之间没有交叉且节点不重复利用；在节点Gi和节点Gj之间进行数据传输时，节点Gi在将数据D分片之后得到多个数据片，并为每个数据片分配路径；数据片按照所分配的路径传输至节点Gj，节点Gj根据接收的数据片得到数据D，进而完成数据拷贝的过程。该系统通过计算最短路径并为每个数据片分配对应的路径，以达到增大通信速率的目的，解决了目前系统中仅依靠最短路径传输数据所造成的通信速率低的问题。

Description

一种多处理器互联系统

技术领域

本发明涉及多处理器互联技术领域，具体涉及一种多处理器互联系统。

背景技术

在多GPU计算场景下，有一种应用场景是将数据从一个GPU发送到另一个GPU，通信库称之为P2P通信(Point-to-point communication)。在这两个GPU之间有多个路径相连的情况下，常用的传输方式是使用这两个GPU之间的一条路径传输数据，该路径最短、带宽最大。请参阅图1，以四个GPU互联的应用场景为例，利用常用传输方式，由于GPU0到GPU3之间的路径最短，则会选择该路径进行数据传输，但是由于只选择了一条传输路径，在数据量较大的情况下，该路径会出现数据堵塞，但其它路径闲置的情况，系统的通信速率只能被限制在最短路径的带宽上。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种多处理器互联系统，所采用的技术方案具体如下：

一种多处理器互联系统，该系统包括N个互联的处理器节点{G1，G2，…，GN}，在第i个节点Gi和第j个节点Gj之间进行路由计算时，包括以下步骤，其中，i、j的取值范围均为1到N，且i≠j：

S001，Gi根据Gj计算最短路径，将最短路径标记为路径标签R01，并将所述路径标签R01存储到路径集合R中，同时将R01标记为不可用，并且将R01上的中间节点标记为不可用，其中，中间节点为从源节点Gi到目的节点Gj之间所经过的转发数据的节点；

S002，对剩余的节点迭代执行所述步骤S001，直至所有路径均不可用，得到Gi到Gj的最终的路径集合R={R01,R02,…,R0M}；根据R计算出每条路径在每个节点上的路由，并将些路由信息发送给对应节点，所述路由信息包括路径标签和数据传输的下一个节点；

其中，在源节点Gi和目的节点Gj之间进行数据传输时，包括以下步骤：

S100，源节点Gi将待发送的数据D进行分片得到多个数据片{D1,D2,…,Dj,…,DJ}，其中Dj表示第j个数据片，j的取值范围为1到J；为数据片Dj分配路径集合R中的路径，生成数据包PDj，其中数据包PDj包括头部信息和数据片信息，所述头部信息包括目的节点Gj、分配的路径标签R0k、地址偏移量，其中路径标签R0k表示路径集合中的第k条路径，k的取值范围为1到M；

S200，相应节点在收到数据包PDj之后，根据数据包中的路径标签R0k查询路由信息，根据路由信息转发相应的数据包PDj，直至将数据包PDj转发给目的节点Gj，目的节点Gj在接收到数据包PDj之后，解析数据包PDj的头部信息，根据头部信息中的地址偏移识别数据包PDj中所携带的数据片在数据中的位置，进而根据目的节点Gj接收到的所有相关数据片获取数据D。

本发明具有如下有益效果：

本发明实施例提供了一种多处理器互联系统，该系统包括若干个处理器节点，在源节点Gi与目的节点Gj之间进行数据传输时，源节点利用最短路径优先算法迭代计算若干条路径，其中每条路径之间没有交叉且节点不重复利用；源节点在将数据分片之后得到多个数据片，并为每个数据片分配对应的路径；数据片按照所分配的路径传输至目的节点，并由目的节点进行整合为一个完整的数据，进而完成数据拷贝的过程。该系统通过为每个数据片分配对应的路径，不仅能够达到增大通信速率的目的，而且能够保证数据单线程传输，解决了目前系统中仅依靠最短路径传输数据所造成的通信速率低的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为现有技术中数据传输路径的示意图；

图2为本发明一个实施例所提供的基于多处理器互联系统的数据传输路径的示意框图；

图3为本发明实施例中数据分片的结构示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种多处理器互联系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一个或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种多处理器互联系统的具体方案。

本发明一个实施例提供的一种多处理器互联系统，该多处理器互联系统包括N个互联的处理器节点{G1,G2,…,GN}，其中，GN表示第N个节点；对于互联系统中的第i个节点Gi和第j个节点Gj，其中i、j的取值范围均为1到N，且i≠j，Gi为源节点，Gj为目的节点，且源节点Gi和目的节点Gj不同，在源节点Gi和目的节点Gj之间进行路由计算时，包括以下步骤：

步骤S001，源节点Gi根据目的节点Gj计算最短路径，将最短路径标记为路径标签R01，并将所述路径标签R01放入路径集合R中，同时将R01对应的路径标记为不可用，将R01对应的路径上的中间节点标记为不可用，其中，中间节点为从源节点Gi到目的节点Gj之间所经过的转发数据的节点。

具体的，请参阅图2，为了方便理解，以四个GPU互联的应用场景为例，其中每个GPU为一个节点，对于互联的4个GPU节点：GPU0、GPU1、GPU2和GPU3，在数据拷贝的过程中，发起数据的GPU为源节点，接收数据的GPU为目的节点，无法直接传输需要中间节点进行数据转发时转发数据的节点为中间节点。假设需要将数据从GPU0拷贝到GPU3中，则GPU0为源节点，GPU3为目的节点。其中，从源节点到目的节点的路径有若干条，例如：无需中间节点转发数据的直接由GPU0到GPU3的路径{GPU0,GPU3}，需要通过中间节点GPU1转发的路径：由GPU0通过GPU1转发到GPU3的路径{GPU0,GPU1,GPU3}，需要通过中间节点GPU转发的路径：由GPU0通过GPU2转发到GPU3的路径{GPU0,GPU2,GPU3}，或者通过两个中间节点转发的路径：由GPU0依次通过GPU1和GPU2之后转发到GPU3的路径{GPU0,GPU1,GPU2,GPU3}等。

第一次利用最短路径优先算法计算得到的最短路径为GPU0到GPU3的路径{GPU0,GPU3}。本发明实施例采用的最短路径优先算法为迪克斯特拉（Dijkstra）算法，在其他实施例中还可以采用其他计算最短路径的算法获取最短路径。

请再次参阅图2，将由GPU0到GPU3的最短路径{GPU0,GPU3}标记为路径标签R01，并将路径标签放入路径集合R中，此时路径集合R={R01}。在将相应的路径放入集合之后，将路径标签R01对应的路径标记为不可用，以便在下次进行最短路径计算的时候不再重复计算，只需要对剩余的节点和相应的路径进行计算。

步骤S002，对剩余的节点迭代执行步骤S001，直至所有路径均不可用，得到最终的路径集合R={R01,R02,…,R0M}；根据R计算出每条路径在每个节点上的路由，并将些路由信息发送给对应节点，所述路由信息包括路径标签和数据传输的下一个节点。

最终的路径集合R={R01,R02,…,R0M}，其中，M为由源节点到目的节点的路径数量。由于在每次计算最短路径之前，都会将上一次计算得到的最短路径以及中间节点剔除，因此在路径集合R中的路径不存在重复的路径和重复使用的节点。

请再次参阅图2，在第二次进行最短路径的计算时，由于路径标签R01被标记为不可用，因此只需要对剩余的节点和路径进行计算。假设GPU0通过GPU1转发到GPU3的路径{GPU0,GPU1,GPU3}优于GPU0通过GPU2转发到GPU3的路径{GPU0,GPU2,GPU3}，第二次采用最短路径优先算法进行计算，由于路径R01不可用，计算得到的最短路径为{GPU0,GPU1,GPU3}，将该最短路径{GPU0,GPU1,GPU3}标记为路径标签R02，并存储到路径集合中得到R={R01,R02}，同时将路径R02设为不可用，并且同时将所经过的中间节点GPU1标记为不可用。对于剩余节点：GPU0、GPU2和GPU3，在第三次采用最短路径优先算法进行计算时，由于路径R01、路径R02以及中间节点GPU1不可用，因此计算最短路径可以得到GPU0通过GPU2转GPU3的路径{GPU0,GPU2,GPU3}为最短路径，则该最短路径标记为路径标签R03，并存入路径集合中得到R={R01,R02,R03}，同时将路径R03设为不可用，并且同时将所经过的中间节点GPU2标记为不可用。对于剩余节点：GPU0和GPU3，在第四次进行最短路径的计算时，由于可达路径以及中间节点均被标记为不可用，此时已经没有可用路径了，路径规划结束。此时最终的路径集合R={R01,R02,R03}，其中R01为路径{GPU0,GPU3}，R02为路径{GPU0,GPU1,GPU3}，R03为路径{GPU0,GPU2,GPU3}。

在得到最终的路径集合R={R01,R02,R03}之后，根据R计算出每条路径在每个节点上的路由，将路由信息发送给相应节点，每个节点得到由源节点GPU0到目的节点GPU3的路由表，在路由表中记录着相应路径的标签以及数据传输的下一个节点。例如，源节点GPU0的路由表中记录着路径标签R01及其下一个节点GPU3、路径标签R02及其下一个节点GPU1、路径标签R03及其下一个节点GPU2；中间节点GPU1的路由表中记录着路径标签R02及其下一个节点GPU3；中间节点GPU2的路由表中记录着路径标签R02及其下一个节点GPU3。

需要说明的是，将相应的路径或者节点标记为不可用的目的是为了使所获取的路径中不重复利用相应的中间节点或者路径，保证数据在转发的过程中没有节点重复使用以及没有路径交叉。该标记是在计算最短路径时所做的标记，并不影响实际数据传输时的路径。

如果节点重复使用或者路径之间有交叉，那么交叉点会导致带宽瓶颈。本发明实施例所提出的每次对剩余的节点和剩余的路径采用最短路径的计算方式得到路径集合，在该路径集合中并不存在重复使用的节点或者路径；而且由于路径集合为最短路径的集合，也即选取了最优的路径组合传输数据，因此该路径集合的传输效率最高。

在节点Gi和节点Gj之间进行数据传输时，包括以下步骤：

步骤S100，源节点Gi将待发送的数据D进行分片得到多个数据片{D1,D2,…,Dj,…,DJ}，其中Dj表示第j个数据片，j的取值范围为1到J；为数据片Dj分配路径集合R中的路径，生成数据包PDj，其中数据包PDj包括头部信息和数据片信息，所述头部信息包括目的节点Gj、分配的路径标签R0k、地址偏移量，其中路径标签R0k表示第k条路径，k的取值范围为1到M。

将数据切片分给由步骤S002得到的路径集合中的路径，不仅能够扩大通信速率，而且能够充分利用系统资源，防止系统资源浪费。

需要说明的是，数据片所切分的大小可以采用逐步逼近的方法来确定，由Gi向Gj发送一个大小为L₀的测试数据，该L₀的取值为预设值，一般为几百兆，在测试的过程中，包括以下步骤：

步骤S101，由Gi向Gj发送测试数据L₀，将该测试数据L₀按照预设的第一梯度依次调节数据片的大小得到由大到小依次排列的测试数据集L={L₀,L₁,L₂,…,L_Q}，将L中的每个测试数据片发送至测试路径上测试传输时间得到时间集t={t₀,t₁,t₂,…,t_Q}。由于数据片越小，其传输时间越短，因此该时间集是单调递减的时间集。对时间集t进行分析，得到时间集中的最小值t_q，最小值t_q对应的数据片的大小为L_q，则最佳分片位于L_q与L_q-1之间。

步骤S102，根据t_q获取数据大小的范围为L_q-1到L_q，对L_q与L_q-1之间的数据大小按照预设的第二梯度再次利用步骤S101的方式获取时间集t´，t´中的最小值对应的测试数据的大小为数据片的大小。其中，第一梯度与第二梯度不同。

在本发明实施例中，预设的第一梯度和第二梯度可以为等差数列的公差或者等比数列的公比等，也可以是其他的预设规则。例如，预设的第一梯度为每个等级之间相差0.1倍，基于测试数据L₀得到测试数据集为L={L₀,0.9L₀,0.8L₀,…,0.1L₀}。

具体的，请参阅图3，源节点Gi将待发送的数据100分为J个数据片10，得到数据片集合DX={D1,D2,D3,D4,D5，…,DJ-1,DJ}。数据片的切分可以是将数据100均匀的切分为大小相等的数据片10，也可以根据需求设定切分数据的规则。

其中，源节点Gi在为数据片集合DX中的数据片分配路径时，可以采用随机分配的方式分配路径集合中的路径，也可以是采用按顺序循环分配路径集合中的路径，或者采用其他的分配规则为数据片分配相应的路径。例如，按顺序循环分配路径集合中的路径的具体方式为：为数据片集合DX中的数据片D1分配路径标签R01，数据片D2分配路径标签R02，数据片D3分配路径标签R03，数据片D4分配路径标签R01，数据片D5分配路径标签R02，数据片D6分配路径标签R03，以此类推。

具体的，在源节点Gi将数据分片分配路径之后，生成数据包PDj，数据包PDj包括头部信息11和数据片信息12，其中头部信息11包括目的节点Gj、分配的路径标签R0k、地址偏移量、数据片Dj的大小、数据D的大小。头部信息中的目的节点Gj是为了使接收数据的节点识别当前节点是否为最终的目的节点，具体的，当前节点解析数据包PDj的头部信息，根据头部信息携带的节点Gj的地址识别当前节点是否为节点Gj，如果当前节点为节点Gj，则将数据包所携带的数据片放入对应的数据中；否则，查询路由信息，根据路由信息继续转发数据包。路径标签R0k是各个节点用于识别数据包PDj所选择的路径，以及所选路径的下一跳节点是哪个。数据D的大小是为了使第一个到达目的节点的数据包触发目的节点分配对应的空间，以接收剩余的数据。地址偏移量是相对于首地址的偏移地址，用于识别数据片Dj在整个数据D中的位置。

由于数据源将数据切片分配给不同的传输路径进行传输，该方法不仅能够解决通信速率低的问题，而且可以充分利用系统资源，均衡利用系统中的节点，缩短数据传输的时长。因为系统中数据传输的效率与数据的大小密切相关，数据越大，通过某一个路径传输该数据所需的时长越长。通过将一个数据切分为很多片并通过不同的路径同时传输的方式，能够进一步的缩短数据传输所需的时长。

步骤S200，相应节点在收到数据包PDj之后，根据数据包中的路径标签查询路由信息，根据路由信息转发相应的数据包PDj，直至将数据包PDj转发给节点Gj，节点Gj在接收到数据包PDj之后，解析数据包PDj的头部信息，根据头部信息中的地址偏移识别数据包PDj中所携带的数据片在数据中的位置，进而根据节点Gj接收到的所有相关数据片获取一个完整的数据D。

具体的，数据包的包头信息中数据片Dj的大小用于标识当前数据的大小，节点Gj会将接受的数据片的数据大小进行累加，在累加的数据大小等于数据D的大小时，说明数据接受完毕；否则，等待需要剩余的数据片。具体的，完整的数据满足以下条件：

SD=Sr，其中Sr=S1+S2+…+SW；

式中，SD表示数据D的大小，Sr表示接收的数据片的累计大小，SW表示接收的第W个数据片的大小，W的取值范围为1到J。

综上所述，本发明实施例提供了一种多处理器互联系统，该系统包括若干个处理器节点，基于该系统，在节点Gi与节点Gj之间进行路由计算时，源节点利用最短路径优先算法依次计算若干条路径，其中每条路径之间没有交叉且节点不重复利用；在Gi向Gj传输数据时包括以下步骤：节点Gi在将数据D分片之后得到多个数据片，并为每个数据片分配对应的路径；数据片按照所分配的路径传输至节点Gj，并由节点Gj进行整合为数据D，进而完成数据拷贝的过程。该系统通过计算最短路径的方式获得路径集合，并为每个数据片分配路径，不仅能够在保证数据单线程传输的情况下，解决了通信速率低的问题，并且充分利用了系统的资源，防止仅依靠最短路径传输数据所造成的最短路径堵塞而其他路径闲置的资源分配不均衡，而且能够进一步的缩短数据传输的时长。

优选的，由于在系统中的某一些链路需要传输其他数据，因此会存在某些链路被占用的情况，在这种情况下如果通过该链路转发数据，则需要等待其处理完毕当前的数据，这样会导致数据传输的延时增大。为了解决该问题，在源节点Gi决定使用某一个路径之前还包括：源节点获取系统中所有链路的占用信息，其中链路的占用信息包括占用和空闲；将被占用的链路设为不可用，其所在的路径不被本次传输使用，不参加数据转发。在系统中的所有节点会将自己的所有链路的占用情况同步给其他节点，因此源节点可以同步到系统中所有链路的占用情况。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多处理器互联系统，其特征在于，该系统包括N个互联的处理器节点{G1，G2，…，GN}，在第i个节点Gi和第j个节点Gj之间进行路由计算时，包括以下步骤，其中，i、j的取值范围均为1到N，且i≠j：

S001，Gi根据Gj计算最短路径，将最短路径标记为路径标签R01，并将所述路径标签R01存储到路径集合R中，同时将R01标记为不可用，并且将R01上的中间节点标记为不可用，其中，中间节点为节点Gi到节点Gj之间所经过的转发数据的节点；

S002，对剩余的节点迭代执行所述步骤S001，直至所有路径均不可用，得到Gi到Gj的最终的路径集合R={R01,R02,…,R0M}；根据R计算出每条路径在每个节点上的路由，并将路由信息发送给对应节点，所述路由信息包括路径标签和数据传输的下一个节点；

其中，在节点Gi和节点Gj之间进行数据传输时，包括以下步骤：

S100，节点Gi将待发送的数据D进行分片得到多个数据片{D1,D2,…,Dj,…,DJ}，其中Dj表示第j个数据片，j的取值范围为1到J；为数据片Dj分配路径集合R中的路径，生成数据包PDj，其中数据包PDj包括头部信息和数据片信息，所述头部信息包括目的节点Gj、分配的路径标签R0k、地址偏移量，其中路径标签R0k表示路径集合中的第k条路径，k的取值范围为1到M；

S200，相应节点在收到数据包PDj之后，根据数据包中的路径标签R0k查询路由信息，根据路由信息转发相应的数据包PDj，直至将数据包PDj转发给节点Gj，节点Gj在接收到数据包PDj之后，解析数据包PDj的头部信息，根据头部信息中的地址偏移识别数据包PDj中所携带的数据片在数据中的位置，进而根据节点Gj接收到的所有相关数据片获取数据D。

2.根据权利要求1所述的一种多处理器互联系统，其特征在于，所述为数据片Dj分配路径集合R中的路径之前，还包括以下步骤：节点Gi获取系统中所有链路的占用信息，其中链路的占用信息包括占用和空闲；将被占用的链路设为不可用，不参加数据转发。

3.根据权利要求1所述的一种多处理器互联系统，其特征在于，所述根据数据包中的路径标签R0k查询路由信息之前还包括：解析数据包PDj的头部信息，根据头部信息携带的节点Gj的地址识别当前节点是否为节点Gj，若否，则查询路由信息。

4.根据权利要求1所述的一种多处理器互联系统，其特征在于，所述为数据片Dj分配路径集合R中的路径的方法包括：按照顺序循环分配路径集合中的路径。

5.根据权利要求1所述的一种多处理器互联系统，其特征在于，所述为数据片Dj分配路径集合R中的路径的方法包括：随机分配路径集合中的路径。

6.根据权利要求1所述的一种多处理器互联系统，其特征在于，所述数据D，满足以下条件：

SD=Sr，其中Sr=S1+S2+…+SW；

7.根据权利要求6所述的一种多处理器互联系统，其特征在于，在所述Sr小于SD时，所述节点Gj等待剩余数据片。

8.根据权利要求1所述的一种多处理器互联系统，其特征在于，所述最短路径的计算方法采用迪克斯特拉算法。

9.根据权利要求6所述的一种多处理器互联系统，其特征在于，所述数据片的大小的获取步骤包括：

S101，由Gi向Gj发送测试数据L₀，将该测试数据L₀按照预设的第一梯度依次调节数据片的大小得到由大到小依次排列的测试数据集L={L₀,L₁,L₂,…,L_Q}，将L中的每个测试数据片发送至测试路径上测试传输时间得到时间集t={t₀,t₁,t₂,…,t_Q}，获取t中的最小值t_q；

S102，根据t_q获取数据大小的范围为L_q-1到L_q，对L_q-1与L_q之间的数据大小按照预设的第二梯度再次通过S101的方式获取时间集t´，其中第一梯度与第二梯度不同；t´中的最小值对应的测试数据的大小为数据片的大小。