CN113570067B - 分布式系统的同步方法、装置 - Google Patents

Abstract

本公开提供了一种分布式系统的同步方法、装置，涉及深度学习和分布式技术领域。该方法的一实施方式包括：获取分布式系统的目标拓扑图和对应的设备信息；根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。

Description

分布式系统的同步方法、装置

技术领域

本公开涉及计算机领域，具体涉及深度学习和分布式技术领域，尤其涉及一种分布式系统的同步方法、装置。

背景技术

近年来，机器学习在语音识别、图像处理、人机交互等领域取得了巨大的进展。大数据和大模型为机器学习的快速发展奠定了坚实的基础。然而，面对数据量和模型大小的增加，单机有限的计算和存储资源会导致训练时间过长；因此大规模的分布式机器学习被引入到提高训练效率中。

目前，大规模分布式机器学习面临的其中一个重要挑战就是梯度同步带来的通信开销，随着网络规模的扩大，梯度同步带来的通信开销将迅速增加，成为系统的性能瓶颈。因此，亟需一种基于开销选择最优梯度方式的方法。

发明内容

本公开实施例提出了一种分布式系统的同步方法、装置。

第一方面，本公开实施例提出了一种分布式系统的同步方法，包括：获取分布式系统的目标拓扑图和对应的设备信息；根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。

第二方面，本公开实施例提出了一种分布式系统的同步装置，包括：信息获取模块，被配置成获取分布式系统的目标拓扑图和对应的设备信息；第一确定模块，被配置成根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；第二确定模块，被配置成根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。

第三方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面描述的方法。

第四方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面描述的方法。

第五方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面描述的方法。

本公开实施例提供的分布式系统的同步方法、装置，首先获取分布式系统的目标拓扑图和对应的设备信息；然后根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；最后根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。可以目标拓扑图的设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；之后，根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，从至少两种梯度同步方式中筛选出最优的目标梯度同步方式。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是本公开可以应用于其中的示例性系统架构图；

图2是根据本公开的分布式系统的同步方法的一个实施例的流程图；

图3是拓扑感知的示意图；

图4是根据本公开的分布式系统的同步方法的一个实施例的流程图；

图5是根据本公开的分布式系统的同步方法的一个实施例的流程图；

图6是根据本公开的分布式系统的同步装置的一个实施例的结构示意图；

图7是用来实现本公开实施例的电子设备的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。

图1示出了可以应用本公开的分布式系统的同步方法和装置的实施例的示例性系统架构100。

如图1所示，系统架构100可以包括分布式系统、网络104和电子设备105，该分布式系统包括多个服务器，例如，服务器101、102、103。网络104用以在服务器101、102、103和电子设备105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

电子设备105可以提供各种服务。例如，电子设备105可以在获取到服务器101、102、103的目标拓扑图和对应的设备信息；根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。

需要说明的是，服务器101、102、103可以是硬件，也可以是软件。在此不做具体限定。

需要说明的是，本公开实施例所提供的分布式系统的同步方法一般由电子设备105执行，相应地，分布式系统的同步装置一般设置于电子设备105中。

应该理解，图1中的服务器、网络和电子设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的服务器、网络和电子设备。

继续参考图2，其示出了根据本公开的分布式系统的同步方法的一个实施例的流程200。该分布式系统的同步方法可以包括以下步骤：

步骤201，获取分布式系统的目标拓扑图和对应的设备信息。

在本实施例中，分布式系统的同步方法的执行主体（例如图1所示的电子设备105）对分布式系统进行硬件感知（Topology-aware），得到分布式系统的目标拓扑图（例如图3所示）和目标拓扑图对应的设备信息。上述目标拓扑图可以为分布式系统中各个设备相互连接的形式。其中，目标拓扑图的类别可以包括总线型拓扑、环型拓扑、树型拓扑、星型拓扑、混合型拓扑以及网状拓扑。

在这里，设备信息可以为与分布式系统的目标拓扑图相关的信息，例如，通信带宽、延迟、设备算力等。

步骤202，根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。

在本实施例中，上述执行主体可以根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。上述设备信息对应的开销可以为分布式系统在运行过程中，产生设备信息所产生的开销，例如，时间开销、通信开销等。

步骤203，根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。

在本实施例中，上述执行主体针对至少两种梯度同步方式中的每种梯度同步方式，可以根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销；之后，根据每种梯度同步方式和预设的开销阈值，确定目标梯度同步方式。上述预设的开销阈值可以用于从至少两种梯度同步方式中筛选出目标梯度同步方式。该预设的开销阈值可以筛选目标梯度同步方式的精度或由人工设定。

需要说明的是，在确定目标梯度同步方式之后，该分布式系统的同步方法还包括：在通过分布式系统训练模型的每一次迭代之后，分布式系统中的任意设备需要获取分布式系统中的其他设备训练数据的梯度；之后，由目标梯度同步方式将训练数据的梯度在分布式系统中进行同步；在同步之后，再进行下一次迭代，在分布式系统中的设备得到训练数据的梯度之后，再由梯度同步方式进行同步，直至训练过程结束。

本公开实施例提供的分布式系统的同步方法，首先获取分布式系统的目标拓扑图和对应的设备信息；然后根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；最后根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。可以目标拓扑图的设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；之后，根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，从至少两种梯度同步方式中筛选出最优的目标梯度同步方式。

进一步参考图4，图4示出了根据本公开的一种分布式系统的同步方法的一个实施例的流程400。该分布式系统的同步方法可以包括以下步骤：

步骤401，获取分布式系统的目标拓扑图和对应的设备信息。

步骤402，将设备信息对应的开销输入预设的开销模型中，得到目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。

在本实现方式中，分布式系统的同步方法的执行主体（例如图1所示的电子设备105）可以将设备信息对应的开销输入预设的开销模型中，得到目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。上述开销模型可以基于通信算子的通信带宽、通信延迟和设备算力所确定，该开销模型可以用于确定通信算子的开销。

步骤403，根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。

在本实施例中，步骤401、403的具体操作分别已在图2所示的实施例中步骤201、203进行了详细的介绍，在此不再赘述。

从图4中可以看出，与图2对应的实施例相比，本实施例中的分布式系统的同步方法突出了确定通信算子开销的步骤。由此，本实施例描述的方案将设备信息对应的开销输入预设的开销模型中，得到目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。能够基于开销模型和设备信息对应的开销，实现对至少两种梯度同步方式中通信算子的开销的确定。

在本实施例的一些可选的实现方式中，开销模型基于通信算子的通信延迟、通信带宽和设备算力所构建。

在本实现方式中，每种通信算子的实现可以包括通信开销和计算开销，其中，通信开销可以包括与延迟相关和带宽相关的开销。

具体地，可以针对每个通信算子的延迟、带宽和计算三个特性构建开销模型。

需要说明的是，不同的通信算子在不同拓扑图中的实现方式不同。下表对树形拓扑图、环形拓扑图和网状拓扑图对应的通信算子的开销为示例：

其中，α为与延迟（latency）相关的通信开销，β为带宽（bandwidth）相关的通信开销，γ为计算开销，n为需要传输的数据块大小，p为总进程数，s为流水线并行阶段数。

需要说明的是，开销模型可以适用于不同延迟、不同带宽、不同算力、不同传输数据量、不同进程数的多种应用场景。

在本实现方式中，开销模型的输入可以包括以下至少一项：通信延迟、通信带宽、设备算力、数据块大小、总进程数、流水线并行阶段数。

在本实现方式中，可以基于通信算子的通信延迟、通信带宽和设备算力，实现对开销模型的构建。

在本实施例的一些可选的实现方式中，根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式，可以包括：针对至少两种梯度同步方式中的每种梯度同步方式，根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销；根据每种梯度同步方式和预设的开销阈值，确定目标梯度同步方式。

在本实现方式中，上述执行主体可以针对至少两种梯度同步方式中的每种梯度同步方式，根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销；之后，根据每种梯度同步方式的开销和预设的开销阈值，从至少两种梯度同步方式中，确定目标梯度同步方式。

在一个示例中，梯度同步方式Hierarchical All-reduce包括reduce、allreduce和broadcast三种通信算子。

对应地，在该示例中，根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销，可以包括：根据reduce、allreduce和broadcast的开销，确定HierarchicalAll-reduce的开销。

需要说明的是，预设的开销阈值可以用于从至少两种梯度同步方式中筛选出开销最小的梯度同步方式。

在本实现方式中，可以根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销；之后，根据每种梯度同步方式和预设的开销阈值，确定目标梯度同步方式。

在本实施例的一些可选的实现方式中，目标拓扑图对应的至少两种梯度同步方式包括：目标拓扑图的类别信息和/或尺寸信息对应的至少两种梯度同步方式。

在本实现方式中，可以根据目标拓扑图的类别信息和/或尺寸信息，从所有的梯度同步方式中，确定至少两种梯度同步方式。上述类别信息可以用于表征目标拓扑图的类别。上述尺寸信息可以为目标拓扑图的尺寸相关的信息。

在一个示例中，目标拓扑图的类别信息可以包括：环形、树形、网状。

其中，环形拓扑图对应的通信算子可以包括以下至少一种：All-reduce（ring）、reduce（ring）、Reduce-Scatter（ring）、All-gather（ring）、Broadcast（ring/pipeline）。

网状拓扑图对应的通信算子可以包括以下至少一种：All-reduce（ring）、reduce（ring）、Reduce-Scatter（ring）、All-gather（ring）、Broadcast（ring/pipeline）。

树型拓扑图对应的通信算子可以包括以下至少一种：All-reduce（tree/ring）、reduce（tree/ring）、Reduce-Scatter（tree/ring）、All-gather（tree/ring）、Broadcast（tree/ring）。

需要说明的是，以树形拓扑图为例，该通信算子在树形拓扑图或环形拓扑图上实现的方式不同，对应的开销也不同；在目标拓扑图的类别信息为树形拓扑图时，可以先从所有的通信算子中筛选出开销小的通信算子，例如，All-reduce（tree）。

在本实现方式中，可以从同类通信算子中挑选在开销小的通信算子，以进一步减小梯度同步方式的开销。也即，本实现方式，考虑了通信算子在不同拓扑图上的开销差异。

在本实现方式中，可以根据类别信息和/或尺寸信息，从多个预设的梯度同步方式中确定至少两种梯度同步方式。

在本实施例的一些可选的实现方式中，若目标拓扑图对应的至少两种梯度同步方式包括：目标拓扑图的类别信息和尺寸信息对应的至少两种梯度同步方式。该确定目标梯度同步方式的方法还包括：

根据目标拓扑图的类别信息，从预设的多种梯度同步方式中，确定与类别信息匹配的多种梯度同步方式；根据与类别信息匹配的多种梯度同步方式的尺寸信息，确定与尺寸信息匹配的至少两种梯度同步方式。

在本实现方式中，可以先根据目标拓扑图的类别信息，从预设的多个梯度同步方式中，确定与类别信息对应的多种梯度同步方式；之后，根据与类别信息对应的多种梯度同步方式的尺寸信息，确定与尺寸信息匹配的至少两种梯度同步方式。上述类别信息可以用于从所有类别对应的梯度同步方式中筛选与该类别信息对应的梯度同步方式，例如，从所有的梯度同步方式中确定与树形拓扑图对应的梯度同步方式。上述匹配可以为与类别信息一致。上述匹配还可以为满足预设的尺寸信息阈值。

在一个示例中，根据与类别信息对应的多种梯度同步方式的尺寸信息，确定与尺寸信息匹配的至少两种梯度同步方式，可以包括：根据预设的尺寸信息阈值，从与类别信息对应的多种梯度同步方式中，确定尺寸信息满足预设的尺寸信息阈值的至少两种梯度同步方式。上述预设的尺寸信息阈值可以根据第一通信带宽、第二通信带宽和分布式系统中设备包括的图形处理器（Graphics Processing Unit，GPU）的个数所确定。

在一个示例中，类别信息为环形的环形拓扑图可以包括：Ring All-reduce、Hierarchical All-reduce和2D-Torus Allreduce，通过下表进行示意：

对应的，在该示例中，在Ring size（尺寸信息）<8时，至少两种梯度同步方式可以包括：Allreduce (ring bandwidth optimal) (i)和Allreudce (ring latency optimal)(i)。

在一个示例中，类别信息为网状的网状拓扑图可以包括：2D-Mesh和2D-HRA，通过下表进行示意：

在一个示例中，类别信息为树形的树形拓扑图可以包括：Tree Allreduce，通过下表进行示意：

其中，(i)为该通信算子利用分布式系统中设备内的通信带宽，(o)为该通信算子利用分布式系统中设备之间的通信带宽。

需要说明的是，根据类别信息和尺寸信息，确定至少两种梯度同步方式的执行顺序可以在步骤402之前步骤401之后执行，或与步骤401同时执行。

在本实现方式中，可以根据目标拓扑图的尺寸信息和类别信息，从预设的多种梯度同步方式中确定与类别信息和尺寸信息匹配的至少两种梯度同步方式。

在本实施例的一些可选的实现方式中，若目标拓扑图的类别信息为树形拓扑图；根据与类别信息匹配的多种梯度同步方式的尺寸信息，确定与尺寸信息匹配的至少两种梯度同步方式，包括：响应于树形拓扑图的尺寸信息不为预设的尺寸信息，根据与类别信息匹配的多种梯度同步方式的预设的尺寸信息，确定与预设的尺寸信息匹配的至少两种梯度同步方式。

在本实现方式中，上述执行主体在树形拓扑图的尺寸信息不为预设的尺寸信息时，根据与类别信息匹配的多种梯度同步方式的预设的尺寸信息，确定与预设的尺寸信息匹配的至少两种梯度同步方式。

在本实现方式中，针对树形拓扑设计了一种新型梯度同步方式（Optimal TreeAll-reduce）：树形拓扑图中树的宽度和树的高度很大程度上影响了梯度同步方式的整体效果，在树形拓扑图中再加入一个挑选树宽高的开销模型，使树形拓扑中的树形梯度同步方式能达到最优表现，会使最终产生的开销最小。

在一个示例中，Optimal Tree All-reduce如下表：

在本实现方式中，在树形拓扑图中再加入一个挑选树宽高的开销模型，使树形拓扑中的树形梯度同步方式能达到最优表现，会使最终产生的开销最小。

在本实施例的一些可选的实现方式中，目标拓扑图对应的至少两种梯度同步方式中通信算子为同类通信算子中开销小的通信算子。

在本实现方式中，每种梯度同步方式可以包括不同类别信息的通信算子，例如，All-reduce（ring/tree），可以从该类通信算子（即，All-reduce）中挑选出开销小的通信算子作为梯度同步方式中的通信算子。

其中，环形拓扑图对应的通信算子可以包括以下至少一种：All-reduce（ring）、reduce（ring）、Reduce-Scatter（ring）、All-gather（ring）、Broadcast（ring/pipeline）。

网状拓扑图对应的通信算子可以包括以下至少一种：All-reduce（ring）、reduce（ring）、Reduce-Scatter（ring）、All-gather（ring）、Broadcast（ring/pipeline）。

树型拓扑图对应的通信算子可以包括以下至少一种：All-reduce（tree/ring）、reduce（tree/ring）、Reduce-Scatter（tree/ring）、All-gather（tree/ring）、Broadcast（tree/ring）。

需要说明的是，以树形拓扑图为例，该通信算子在树形拓扑图或环形拓扑图上实现的方式不同，对应的开销也不同；在目标拓扑图的类别信息为树形拓扑图时，可以先从所有的通信算子中筛选出开销小的通信算子，例如，All-reduce（tree）和All-reduce（tree）中的All-reduce（tree）开销小，Allreudce（ring latency optimal）和Allreudce（ringlatency optimal）中的Allreudce（ring latency optimal）开销小。

在本实现方式中，可以从同类通信算子中挑选在开销小的通信算子，以进一步减小梯度同步方式的开销。

在本实施例的一些可选的实现方式中，设备信息（device information）包括以下至少一项：通信延迟（delay）、通信带宽（bandwidth）、设备算力（computing power）、数据块（data volume）大小、总进程数（number of processes）、流水线并行阶段数（number ofpipeline stages）。

在本实现方式中，总进程数可以为分布式系统中设备的数量。

在本实现方式中，可以基于设备信息中的至少一项，确定通信算子的开销。

在本实施例的一些可选的实现方式中，若设备信息包括通信带宽；以及根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销，包括：

根据每种梯度同步方式中通信算子的开销，以及通信带宽的类别对应的开销，确定每种梯度同步方式的开销，其中，通信带宽的类别包括第一通信带宽和第二通信带宽，第一通信带宽为分布式系统中设备之间的带宽，第二通信带宽为分布式系统中设备内的带宽。例如，通信算子的开销与通信带宽的类别对应的开销进行相乘，或相加得到每种梯度同步方式的开销。

在本实现方式中，上述执行主体可以先确定设备信息中的通信带宽为设备内带宽还是设备之间的带宽；之后，根据设备之间的带宽或设备内带宽对应的开销以及每种梯度同步方式中通信算子的开销，确定该种梯度同步方式的开销。

在本实现方式中，上述执行主体还可以根据通信带宽的类别，调整梯度同步方式的开销。

在一个示例中，以Ring All-reduce为例。

其中，(i)为该通信算子利用分布式系统中设备内的第二通信带宽，(o)为该通信算子利用分布式系统中设备之间的第一通信带宽。

在本实现方式中，可以根据分布式系统中设备的通信带宽的类别对应的开销，以及每种梯度同步方式中通信算子的开销，以确定每种梯度同步方式的开销。

在本实施例的一些可选的实现方式中，若设备信息包括通信延迟、通信带宽，以及设备算力；以及该分布式系统的同步方法还包括：

根据通信延迟对应的开销、通信带宽对应的开销，以及设备算力对应的开销，确定重叠系数；

根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销，可以包括：根据设备信息对应的开销和重叠系数，确定每种梯度同步方式的开销。

在本实现方式中，上述执行主体可以先根据通信延迟对应的开销、通信带宽对应的开销，以及设备算力对应的开销，确定重叠系数；之后，根据设备信息对应的开销和重叠系数，确定每种梯度同步方式的开销。

在本实现方式中，为了使开销建模更加准确，还引入了考虑到计算通信重叠的补充开销建模。如果考虑通信和计算的重叠，例如通信时间小于计算时间（重叠系数为完全重叠），该开销模型可以改写为：

如果通信和计算不完全重叠，可以引入重叠系数δ：

其中，⊓为交集，通信和计算完全重叠时，δ=（α，β）或γ。（α，β）表示α+β。

在本实现方式中，开销模型会先从通信算子层面筛选出最优通信算子组成不同的梯度同步方式，再从梯度同步方式层面筛选出最优梯度同步方式（例如，开销最小的梯度同步方式）。

在本实施例的一些可选的实现方式中，根据通信延迟对应的开销、通信带宽对应的开销，以及设备算力对应的开销，确定重叠系数，包括：根据通信延迟对应的开销和通信带宽对应的开销，确定通信开销；根据通信开销和设备算力对应的开销，确定重叠系数。

在本实现方式中，可以先根据通信延迟对应的开销和通信带宽对应的开销，确定通信开销；之后，根据通信开销和设备算力对应的开销，确定重叠系数。

在本实现方式中，可以根据通信延迟对应的开销、通信带宽对应的开销，以及设备算力对应的开销，以确定重叠系数。

进一步参考图5，图5示出了根据本公开的一种分布式系统的同步方法的一个实施例的流程500。该分布式系统的同步方法可以包括以下步骤：

步骤501，获取分布式系统的目标拓扑图和对应的设备信息。

步骤502，根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。

步骤503，针对至少两种梯度同步方式中的每种梯度同步方式，根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销。

在本实现方式中，分布式系统的同步方法的执行主体（例如图1所示的服务器105）可以针对至少两种梯度同步方式中的每种梯度同步方式，根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销。上述每种梯度同步方式的开销可以为该种梯度同步方式中通信算子的开销所确定。

步骤504，根据每种梯度同步方式的开销和预设的开销阈值，确定目标梯度同步方式。

在本实现方式中，上述执行主体可以根据每种梯度同步方式的开销和预设的开销阈值，确定目标梯度同步方式。

在本实施例中，步骤501、502的具体操作分别已在图2所示的实施例中步骤201、202进行了详细的介绍，在此不再赘述。

从图5中可以看出，与图2对应的实施例相比，本实施例中的分布式系统的同步方法突出了确定目标梯度同步方式的步骤。由此，本实施例描述的方案针对至少两种梯度同步方式中的每种梯度同步方式，先根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销；之后，根据每种梯度同步方式和预设的开销阈值，确定目标梯度同步方式。从而可以根据预设的开销阈值，从至少两种梯度同步方式中确定目标梯度同步方式。

进一步参考图6，作为对上述各图所示方法的实现，本公开提供了一种分布式系统的同步装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的分布式系统的同步装置600可以包括：信息获取模块601、第一确定模块602和第二确定模块603。其中，信息获取模块601，获取分布式系统的目标拓扑图和对应的设备信息；第一确定模块602，被配置成根据设备信息对应的开销，确定目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；第二确定模块603，被配置成根据至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式。

在本实施例中，分布式系统的同步装置600中：信息获取模块601、第一确定模块602和第二确定模块603的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，第一确定模块602，进一步被配置成：将设备信息对应的开销输入预设的开销模型中，得到目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。

在本实施例的一些可选的实现方式中，开销模型基于通信算子的通信延迟、通信带宽和设备算力所确定。

在本实施例的一些可选的实现方式中，第二确定模块603，包括：开销确定单元，被配置成针对至少两种梯度同步方式中的每种梯度同步方式，根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销；方式确定单元，被配置成根据每种梯度同步方式的开销和预设的开销阈值，确定目标梯度同步方式。

在本实施例的一些可选的实现方式中，目标拓扑图对应的至少两种梯度同步方式包括：目标拓扑图的类别信息和/或尺寸信息对应的至少两种梯度同步方式。

在本实施例的一些可选的实现方式中，若目标拓扑图对应的至少两种梯度同步方式包括：目标拓扑图的类别信息和尺寸信息对应的至少两种梯度同步方式；以及该分布式系统的同步装置还包括：第三确定模块，被配置成根据目标拓扑图的类别信息，从预设的多种梯度同步方式中，确定与类别信息匹配的多种梯度同步方式；第四确定模块，被配置成根据与类别信息匹配的多种梯度同步方式的尺寸信息，确定与尺寸信息匹配的至少两种梯度同步方式。

在本实施例的一些可选的实现方式中，若目标拓扑图的类别信息为树形拓扑图；以及第四确定模块，进一步被配置成：响应于树形拓扑图的尺寸信息不为预设的尺寸信息，根据与类别信息匹配的多种梯度同步方式的预设的尺寸信息，确定与预设的尺寸信息匹配的至少两种梯度同步方式。

在本实施例的一些可选的实现方式中，目标拓扑图对应的至少两种梯度同步方式中通信算子为同类通信算子中开销小的通信算子。

在本实施例的一些可选的实现方式中，设备信息包括以下至少一项：通信延迟、通信带宽、设备算力、数据块大小、总进程数、流水线并行阶段数。

在本实施例的一些可选的实现方式中，若设备信息包括通信带宽；以及开销确定单元，进一步被配置成，包括：根据每种梯度同步方式中通信算子的开销，以及通信带宽的类别对应的开销，确定每种梯度同步方式的开销，其中，通信带宽的类别包括第一通信带宽和第二通信带宽，第一通信带宽为分布式系统中设备之间的带宽，第二通信带宽为分布式系统中设备内的带宽。

在本实施例的一些可选的实现方式中，若设备信息包括通信延迟、通信带宽，以及设备算力；以及该分布式系统的同步装置还包括：系数确定模块，被配置成根据通信延迟对应的开销、通信带宽对应的开销，以及设备算力对应的开销，确定重叠系数；开销确定单元，进一步被配置成，包括：根据设备信息对应的开销和重叠系数，确定每种梯度同步方式的开销。

在本实施例的一些可选的实现方式中，系数确定模块，进一步被配置成：根据通信延迟对应的开销和通信带宽对应的开销，确定通信开销；根据通信开销和设备算力对应的开销，确定重叠系数。

在本实施例的一些可选的实现方式中，第一确定模块602，进一步被配置成：将设备信息对应的开销输入预设的开销模型中，得到目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。

在本实施例的一些可选的实现方式中，开销模型基于通信算子的通信延迟、通信带宽和设备算力所确定。

在本实施例的一些可选的实现方式中，第二确定模块603，进一步被配置成：针对至少两种梯度同步方式中的每种梯度同步方式，根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销；根据每种梯度同步方式的开销和预设的开销阈值，确定目标梯度同步方式。

在本实施例的一些可选的实现方式中，若目标拓扑图的类别为树形拓扑图；根据第一梯度同步方式中每种通信算子的开销，确定目标梯度同步方式，包括：将第一梯度同步方式中树形拓扑图的高和宽度对应的梯度同步方式，确定为目标梯度同步方式。

在本实施例的一些可选的实现方式中，目标拓扑图对应的至少两种梯度同步方式包括：目标拓扑图的类别信息和/或尺寸信息对应的至少两种梯度同步方式。

在本实施例的一些可选的实现方式中，若目标拓扑图对应的至少两种梯度同步方式包括：目标拓扑图的类别信息和尺寸信息对应的至少两种梯度同步方式；以及

该分布式系统的同步装置还包括：第三确定模块，被配置成根据目标拓扑图的类别信息，从预设的多种梯度同步方式中，确定与类别信息匹配的多种梯度同步方式；第四确定模块，被配置成根据与类别信息匹配的多种梯度同步方式的尺寸信息，确定与尺寸信息匹配的至少两种梯度同步方式。

在本实施例的一些可选的实现方式中，设备信息包括以下至少一项：通信延迟、通信带宽、设备算力、数据块大小、总进程数、流水线并行阶段数。

在本实施例的一些可选的实现方式中，若设备信息包括通信带宽，通信带宽包括第一通信带宽和第二通信带宽，第一通信带宽为分布式系统中设备之间的带宽，第二通信带宽为分布式系统中设备内的带宽；以及根据每种梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销，包括：根据每种梯度同步方式中通信算子的开销，以及第一通信带宽或第二通信带宽对应的开销，确定每种梯度同步方式的开销。

在本实施例的一些可选的实现方式中，若设备信息包括通信延迟、通信带宽，以及设备算力；以及该分布式系统的同步装置还包括：系数确定模块，被配置成根据通信延迟对应的开销、通信带宽对应的开销，以及设备算力对应的开销，确定重叠系数；根据设备信息对应的开销，确定分布式系统中通信算子的开销，包括：根据设备信息对应的开销和重叠系数，确定分布式系统中通信算子的开销。

在本实施例的一些可选的实现方式中，根据通信延迟对应的开销、通信带宽对应的开销，以及设备算力对应的开销，确定重叠系数，包括：根据通信延迟对应的开销和通信带宽对应的开销，确定通信开销；根据通信开销和设备算力对应的开销，确定重叠系数。

根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。

图7示出了可以用来实施本公开的实施例的示例电子设备700的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图7所示，设备700包括计算单元701，其可以根据存储在只读存储器（ROM）702中的计算机程序或者从存储单元708加载到随机访问存储器（RAM）703中的计算机程序，来执行各种适当的动作和处理。在RAM 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、ROM 702以及RAM 703通过总线704彼此相连。输入/输出（I/O）接口705也连接至总线704。

设备700中的多个部件连接至I/O接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如分布式系统的同步方法。例如，在一些实施例中，分布式系统的同步方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由ROM 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到RAM 703并由计算单元701执行时，可以执行上文描述的分布式系统的同步方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行分布式系统的同步方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

人工智能是研究计算机来模拟人的某些思维过程和智能行为（如学习、推理、思考、规划等）的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提及的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种分布式系统的同步方法，包括：

获取分布式系统的目标拓扑图和对应的设备信息；

根据所述设备信息对应的开销，确定所述目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；

根据所述至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式，其中，所述目标拓扑图对应的至少两种梯度同步方式包括：所述目标拓扑图的类别信息和尺寸信息对应的至少两种梯度同步方式；

所述方法还包括：

根据所述目标拓扑图的类别信息，从预设的多种梯度同步方式中，确定与所述类别信息匹配的多种梯度同步方式；

根据与所述类别信息匹配的多种梯度同步方式的尺寸信息，确定与所述尺寸信息匹配的所述至少两种梯度同步方式。

2.根据权利要求1所述的方法，其中，所述根据所述设备信息对应的开销，确定所述目标拓扑图对应的至少两种梯度同步方式中通信算子的开销，包括：

将所述设备信息对应的开销输入预设的开销模型中，得到所述目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。

3.根据权利要求2所述的方法，其中，所述开销模型基于所述通信算子的通信延迟、通信带宽和设备算力所确定。

4.根据权利要求1-3任一项所述的方法，其中，所述根据所述至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式，包括：

针对至少两种梯度同步方式中的每种梯度同步方式，根据所述每种梯度同步方式中通信算子的开销，确定所述每种梯度同步方式的开销；

根据所述每种梯度同步方式的开销和预设的开销阈值，确定所述目标梯度同步方式。

5.根据权利要求1-3任一项所述的方法，其中，所述目标拓扑图对应的至少两种梯度同步方式还包括：所述目标拓扑图的类别信息或尺寸信息对应的至少两种梯度同步方式。

6.根据权利要求1所述的方法，其中，若所述目标拓扑图的类别信息为树形拓扑图；

所述根据与所述类别信息匹配的多种梯度同步方式的尺寸信息，确定与所述尺寸信息匹配的所述至少两种梯度同步方式，包括：

响应于所述树形拓扑图的尺寸信息不为预设的尺寸信息，根据与所述类别信息匹配的多种梯度同步方式的预设的尺寸信息，确定与所述预设的尺寸信息匹配的所述至少两种梯度同步方式。

7.根据权利要求1所述的方法，其中，目标拓扑图对应的至少两种梯度同步方式中通信算子为同类通信算子中开销小的通信算子。

8.根据权利要求1-3任一项所述的方法，其中，所述设备信息包括以下至少一项：通信延迟、通信带宽、设备算力、数据块大小、总进程数、流水线并行阶段数。

9.根据权利要求8所述的方法，其中，若所述设备信息包括通信带宽；以及

所述根据每种梯度同步方式中通信算子的开销，确定所述每种梯度同步方式的开销，包括：

根据所述每种梯度同步方式中通信算子的开销，以及所述通信带宽的类别对应的开销，确定所述每种梯度同步方式的开销，其中，通信带宽的类别包括第一通信带宽和第二通信带宽，所述第一通信带宽为所述分布式系统中设备之间的带宽，所述第二通信带宽为所述分布式系统中设备内的带宽。

10.根据权利要求9所述的方法，其中，若所述设备信息包括通信延迟、通信带宽，以及设备算力；以及所述方法还包括：

根据所述通信延迟对应的开销、所述通信带宽对应的开销，以及所述设备算力对应的开销，确定重叠系数；

所述根据所述梯度同步方式中通信算子的开销，确定每种梯度同步方式的开销，包括：

根据所述设备信息对应的开销和所述重叠系数，确定每种梯度同步方式的开销。

11.根据权利要求10所述的方法，其中，所述根据所述通信延迟对应的开销、所述通信带宽对应的开销，以及所述设备算力对应的开销，确定重叠系数，包括：

根据所述通信延迟对应的开销和所述通信带宽对应的开销之和，确定通信开销；

根据所述通信开销和所述设备算力对应的开销之间的交集，确定所述重叠系数。

12.一种分布式系统的同步装置，包括：

信息获取模块，被配置成获取分布式系统的目标拓扑图和对应的设备信息；

第一确定模块，被配置成根据所述设备信息对应的开销，确定所述目标拓扑图对应的至少两种梯度同步方式中通信算子的开销；

第二确定模块，被配置成根据所述至少两种梯度同步方式中通信算子的开销和预设的开销阈值，确定目标梯度同步方式，其中，所述目标拓扑图对应的至少两种梯度同步方式包括：所述目标拓扑图的类别信息和尺寸信息对应的至少两种梯度同步方式；以及

所述装置还包括：

第三确定模块，被配置成根据所述目标拓扑图的类别信息，从预设的多种梯度同步方式中，确定与所述类别信息匹配的多种梯度同步方式；

第四确定模块，被配置成根据与所述类别信息匹配的多种梯度同步方式的尺寸信息，确定与所述尺寸信息匹配的所述至少两种梯度同步方式。

13.根据权利要求12所述的装置，其中，所述第一确定模块，进一步被配置成：将所述设备信息对应的开销输入预设的开销模型中，得到所述目标拓扑图对应的至少两种梯度同步方式中通信算子的开销。

14.根据权利要求13所述的装置，其中，所述开销模型基于所述通信算子的通信延迟、通信带宽和设备算力所确定。

15.根据权利要求12-14任一项所述的装置，其中，所述第二确定模块，包括：

开销确定单元，被配置成针对至少两种梯度同步方式中的每种梯度同步方式，根据所述每种梯度同步方式中通信算子的开销，确定所述每种梯度同步方式的开销；

方式确定单元，被配置成根据所述每种梯度同步方式的开销和预设的开销阈值，确定所述目标梯度同步方式。

16.根据权利要求12-14任一项所述的装置，其中，所述目标拓扑图对应的至少两种梯度同步方式还包括：所述目标拓扑图的类别信息或尺寸信息对应的至少两种梯度同步方式。

17.根据权利要求12所述的装置，其中，若所述目标拓扑图的类别信息为树形拓扑图；以及

所述第四确定模块，进一步被配置成：响应于所述树形拓扑图的尺寸信息不为预设的尺寸信息，根据与所述类别信息匹配的多种梯度同步方式的预设的尺寸信息，确定与所述预设的尺寸信息匹配的所述至少两种梯度同步方式。

18.根据权利要求12所述的装置，其中，目标拓扑图对应的至少两种梯度同步方式中通信算子为同类通信算子中开销小的通信算子。

19.根据权利要求12-14任一项所述的装置，其中，所述设备信息包括以下至少一项：通信延迟、通信带宽、设备算力、数据块大小、总进程数、流水线并行阶段数。

20.根据权利要求19所述的装置，其中，若所述设备信息包括通信带宽；以及

开销确定单元，进一步被配置成，包括：根据每种梯度同步方式中通信算子的开销，以及所述通信带宽的类别对应的开销，确定所述每种梯度同步方式的开销，其中，通信带宽的类别包括第一通信带宽和第二通信带宽，所述第一通信带宽为所述分布式系统中设备之间的带宽，所述第二通信带宽为所述分布式系统中设备内的带宽。

21.根据权利要求20所述的装置，其中，若所述设备信息包括通信延迟、通信带宽，以及设备算力；以及所述装置还包括：

系数确定模块，被配置成根据所述通信延迟对应的开销、所述通信带宽对应的开销，以及所述设备算力对应的开销，确定重叠系数；

开销确定单元，进一步被配置成，包括：

根据所述设备信息对应的开销和所述重叠系数，确定每种梯度同步方式的开销。

22.根据权利要求21所述的装置，其中，所述系数确定模块，进一步被配置成：

根据所述通信延迟对应的开销和所述通信带宽对应的开销之和，确定通信开销；根据所述通信开销和所述设备算力对应的开销之间的交集，确定所述重叠系数。

23.一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-11中任一项所述的方法。

24.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行权利要求1-11中任一项所述的方法。

Images