CN115906983B - 分布式模型训练方法、装置、设备、存储介质及程序产品 - Google Patents
分布式模型训练方法、装置、设备、存储介质及程序产品 Download PDFInfo
- Publication number
- CN115906983B CN115906983B CN202211496745.2A CN202211496745A CN115906983B CN 115906983 B CN115906983 B CN 115906983B CN 202211496745 A CN202211496745 A CN 202211496745A CN 115906983 B CN115906983 B CN 115906983B
- Authority
- CN
- China
- Prior art keywords
- distributed
- data
- tensor
- distributed computing
- computing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 287
- 238000000034 method Methods 0.000 title claims abstract description 101
- 238000013136 deep learning model Methods 0.000 claims abstract description 64
- 230000004044 response Effects 0.000 claims abstract description 13
- 238000009826 distribution Methods 0.000 claims abstract description 11
- 238000000638 solvent extraction Methods 0.000 claims description 55
- 238000004891 communication Methods 0.000 claims description 54
- 238000004364 calculation method Methods 0.000 claims description 50
- 238000013507 mapping Methods 0.000 claims description 25
- 230000003068 static effect Effects 0.000 claims description 20
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 13
- 238000012986 modification Methods 0.000 claims description 11
- 230000004048 modification Effects 0.000 claims description 11
- 238000012795 verification Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 16
- 238000013473 artificial intelligence Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 22
- 238000004590 computer program Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 101100482341 Synechococcus elongatus (strain PCC 7942 / FACHB-805) trmB gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 101150012655 dcl1 gene Proteins 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本公开提供了一种分布式模型训练方法、装置、设备、存储介质以及程序产品，涉及数据处理领域，尤其涉及人工智能、深度学习、分布式技术领域。具体实现方案为：接收来自针对目标计算单元的模型数据，其中，模型数据包括模型参数、训练数据以及计算图；根据计算图和分布式策略，确定分布式全局计算图；对模型参数进行初始化，得到初始模型参数；将分布式全局计算图和初始模型参数发送至多个分布式计算单元；以及响应于接收到来自分布式计算单元的目标深度学习模型，将目标深度学习模型发送至目标计算单元；其中，目标深度学习模型，是分布式计算单元根据训练数据和全局计算图对初始模型参数进行更新后得到的。
Description
技术领域
本公开涉及数据处理技术领域，尤其涉及人工智能、深度学习、分布式技术领域，具体涉及一种分布式模型训练方法、装置、设备、存储介质以及程序产品。
背景技术
随着人工智能技术的发展，深度学习作为人工智能的一个重要分支在例如计算机视觉、智能推荐以及自然语言等场景具有广泛应用前景。深度学习模型不断优化更迭，随之带来模型参数规模和相关数据量的快速攀升，如何应对模型数据量的增加成为一个亟需解决的技术问题。
发明内容
本公开提供了一种分布式模型训练方法、装置、设备、存储介质以及程序产品。
根据本公开的一方面，提供了一种分布式模型训练方法，包括：接收来自针对目标计算单元的模型数据，其中，模型数据包括模型参数、训练数据以及计算图；根据计算图和分布式策略，确定分布式全局计算图；对模型参数进行初始化，得到初始模型参数；将分布式全局计算图和初始模型参数发送至多个分布式计算单元；以及响应于接收到来自分布式计算单元的目标深度学习模型，将目标深度学习模型发送至目标计算单元；其中，目标深度学习模型，是分布式计算单元根据训练数据和全局计算图对初始模型参数进行更新后得到的。
根据本公开的另一方面，提供了一种分布式模型训练方法，包括：响应于接收到分布式全局计算图和初始模型参数，根据训练数据和全局计算图对具有初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型；发送目标深度学习模型。
根据本公开的另一方面，提供了一种分布式模型训练装置，包括：模型数据接收模块、分布式全局计算图确定模块、初始模型参数确定模块、第一发送模块以及第二发送模块。模型数据接收模块，用于接收来自针对目标计算单元的模型数据，其中，模型数据包括模型参数、训练数据以及计算图；分布式全局计算图确定模块，用于根据计算图和分布式策略，确定分布式全局计算图；初始模型参数确定模块，用于对模型参数进行初始化，得到初始模型参数；第一发送模块，用于将分布式全局计算图和初始模型参数发送至多个分布式计算单元；第二发送模块，用于响应于接收到来自分布式计算单元的目标深度学习模型，将目标深度学习模型发送至目标计算单元；其中，目标深度学习模型，是分布式计算单元根据训练数据和全局计算图对初始模型参数进行更新后得到的。
根据本公开的另一方面，提供了一种分布式模型训练装置，包括：模型训练模块以及第三发送模块。模型训练模块，用于响应于接收到分布式全局计算图和初始模型参数，根据训练数据和全局计算图对具有初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型；第三发送模块，用于发送目标深度学习模型。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器和与至少一个处理器通信连接的存储器。其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行本公开实施例的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序存储于可读存储介质和电子设备其中至少之一上，计算机程序在被处理器执行时实现本公开实施例的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开实施例的分布式模型训练方法和装置的系统架构图；
图2示意性示出了根据本公开实施例的分布式模型训练方法的流程图；
图3示意性示出了根据本公开另一实施例的分布式模型训练方法的相关操作逻辑封装为接口的示意图；
图4A示意性示出了根据本公开又一实施例的分布式模型训练方法的示意图；
图4B示意性示出了根据本公开又一实施例的分布式模型训练方法的示意图；
图5A示意性示出了根据本公开一实施例的多个分布式计算单元的标识排布为分布式计算单元编码阵列、操作数据张量(或者数据张量)的维度与分布式计算单元子集合之间的映射关系的示意图；
图5B示意性示出了根据本公开又一实施例的分布式模型训练方法的利用process_mesh表征分布式计算单元标识阵列Mx，其中分布式计算单元标识阵列Mx为二维的矩阵的示意图；
图5C示意性示出了根据本公开又一实施例的分布式模型训练方法的利用标注形式的操作划分策略shrad_op表征分布式计算单元子集合与操作数据张量(或者数据张量)的维度之间的映射关系的示意图；
图6示意性示出了根据本公开又一实施例的分布式模型训练方法的确定分布式全局计算图的示意图；
图7示意性示出了根据本公开又一实施例的分布式模型训练方法的流程图；
图8示意性示出了根据本公开一实施例的分布式模型训练装置的框图；
图9示意性示出了根据本公开另一实施例的分布式模型训练装置的框图；以及
图10示意性示出了可以实现本公开实施例的分布式模型训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
随着人工智能技术的发展，深度学习作为人工智能的一个重要分支在例如计算机视觉、智能推荐以及自然语言等场景具有广泛应用前景。深度学习模型不断优化更迭，随之带来模型参数规模和相关数据量的快速攀升，如何应对模型数据量的增加成为一个亟需解决的技术问题。
一些实施方式，深度学习模型在单机执行，单机即单个设备，一些情况下单个设备具有一个计算单元，一个计算单元难以应对大量模型参数和运算等，这就使得单机的模型训练具有较大局限性。
一些实施方式，可以利用分布式的方法进行模型训练，分布式涉及多个设备，可以拓展计算单元的数量，从而应对大量模型参数和运算等。这种实施方式需要相关人员具有分布式的专业技术知识，对于相关人员的技术要求更高，应用难度较高。
图1示意性示出了根据本公开一实施例的分布式模型训练方法和装置的系统架构。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括目标计算单元101、终端102、分布式计算单元和网络104，
目标计算单元101例如可以设置于电子设备中，目标计算单元101例如用于存储模型数据。电子设备例如可以是计算机。
终端102例如可以用于接收来自针对目标计算单元101的模型数据，并执行本公开实施例的应用于终端的分布式模型训练方法。终端102例如可以是提供各种服务的服务器。
分布式计算单元包括多个，图1示意性示出了分布式计算单元103.1至分布式计算单元103.N的共计N个分布式计算单元的具体示例。
分布式计算单元例如可以用于响应于接收到分布式全局计算图和初始模型参数，根据训练数据和全局计算图对具有初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型。
网络104用以在目标计算单元101、终端102以及分布式计算单元之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
目标计算单元和分布式计算单元可以是具有运算能力和存储能力的处理器，例如可以是中央处理器、图形处理器以及神经网络处理器等。中间处理器即CentralProcessing Unit，简称为CPU。图形处理器即Graphics Processing Unit，简称为GPU。神经网络处理器即Neural Network Processing unit，简称为NNP。
需要说明的是，本公开一实施例所提供的分布式模型训练方法可以由终端执行，本公开另一实施例所提供的分布式模型训练方法可以由分布式计算单元执行。
应该理解，图1中的目标计算单元101、终端102、分布式计算单元和网络104的数目仅仅是示意性的。根据实现需要，可以具有任意数目的目标计算单元101、终端102、分布式计算单元和网络104。
应注意，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
本公开一实施例提供了一种分布式模型训练方法，下面结合图1的系统架构，参考图2～图6来描述根据本公开一示例性实施方式的分布式模型训练方法。本公开实施例的分布式模型训练方法例如可以由图1所示的终端102来执行。
图2示意性示出了根据本公开一实施例的分布式模型训练方法的流程图。
如图2所示，本公开实施例的分布式模型训练方法200例如可以包括操作S210～操作S240。
在操作S210，接收来自针对目标计算单元的模型数据。
计算单元可以理解为具有计算能力、存储能力的硬件单元，计算单元例如可以是GPU、CPU、NNP等。目标计算单元例如是用于模型训练的独立的一个计算单元，即单机模型训练。
以下将以一个计算机等设备具有一个计算单元为例进行说明。
模型数据包括模型参数、训练数据以及计算图。
示例性地，模型参数例如可以包括深度学习模型的每一个网络层的权重和偏置量。
示例性地，训练数据例如可以包括多个训练样本。
计算图可以理解为一种图结构数据，表征深度学习模型训练过程涉及的运算操作和数据的拓扑结构。示例性地，计算图可以包括节点和连接边，节点可以包括运算操作和与运算操作相关的操作数据张量，连接边可以表征节点之间的相关性和方向。
在操作S220，根据计算图和分布式策略，确定分布式全局计算图。
分布式可以理解为将一个需要较大计算能力才可解决的问题分成多个小的部分，将这些部分分配给多个计算单元进行处理，并将多个计算单元处理得到的结果进行整合，得以解决该问题的方法。
分布式策略可以理解为针对模型训练进行分布式计算的策略。
在操作S230，对模型参数进行初始化，得到初始模型参数。
在操作S240，将分布式全局计算图和初始模型参数发送至分布式计算单元。
分布式全局计算图可以理解为分布式模型训练情况下，针对分布式计算单元的计算图。分布式计算单元设置为多个。
在操作S250，响应于接收到来自分布式计算单元的目标深度学习模型，将目标深度学习模型发送至目标计算单元。
目标深度学习模型，是分布式计算单元根据训练数据和全局计算图对初始模型参数进行更新后得到的。
针对目标计算单元的模型训练(单机模型训练)，在目标计算单元不满足模型训练的计算能力和存储能力的情况下，可以进行分布式模型训练，在执行分布式模型训练时，还额外涉及例如分布式环境初始化、参数的正确划分以及分布式计算单元之间的通信等分布式的相关技术知识。对于例如算法工程师等相关技术人员，需要具备分布式的相关技术知识，这些分布式相关技术知识对于相关技术人员具有较高的学习成本且与模型算法本身无关，这就造成分布式模型训练具有难度高和效率低等问题。
根据本公开实施例的分布式模型训练方法，通过接收来自针对目标计算单元的模型数据，可以基于针对目标计算单元(单机)的模型数据，自动确定分布式全局计算图和初始模型参数等，具体的训练过程可以由分布式计算单元执行，由此可以得到训练好的目标深度学习模型。在整个分布式模型训练过程中，仅需与单机模型训练一致的模型数据，无需相关技术人员掌握分布式的相关技术知识，单机模型训练的用户对于整个分布式模型训练的分布式相关操作无感知，对于相关技术人员没有分布式模型训练的技术门槛，由此可以简单、高效地完成分布式模型训练。
示例性地，操作S210～操作S250的逻辑例如可以封装为接口，接口可以接收来自针对目标计算单元的模型数据，提供分布式模型训练的服务。
图3示意性示出了将操作S210～操作S250的逻辑封装为总接口Engine的具体示例。例如，可以利用总接口Engine接收来自针对目标计算单元301的模型数据304。总接口Engine例如可以调用第一接口p1，通过第一接口p1提供根据计算图304-1和分布式策略307，确定分布式全局计算图305的服务。第一接口p1例如还可以提供对模型参数304-2进行初始化，得到初始模型参数306的服务。第一接口p1例如还可以提供将分布式全局计算图305和初始模型参数306发送至分布式计算单元的服务。第一接口p1例如还可以提供响应于接收到来自分布式计算单元的目标深度学习模型Mt，将目标深度学习模型Mt发送至目标计算单元301的服务，分布式计算单元设置为多个，例如分布式计算单元303-1至分布式计算单元303-N。
根据本公开实施例的分布式模型训练方法，通过提供封装上述操作逻辑的接口，使得单机模型训练的模型数据仅需输入接口，接口即可通过提供与分布式相适应的执行上述操作的服务自动执行分布式模型训练，具有更高的易用性，可以降低相关技术人员的技术门槛，对于单机模型训练的相关技术人员可以有效提高模型训练的效率。
如图3所示，示例性地，分布式策略307可以包括操作划分策略s1和张量划分策略s2。
张量划分策略针对数据张量。
数据张量包括模型参数、训练数据中的至少一个。
操作划分策略针对分布式全局计算图的运算操作，操作划分策略表征：分布式全局计算图的运算操作和与运算操作相关的操作数据张量分别存储于不同的分布式计算单元的情况下，操作数据张量的划分策略。
需要说明的是，计算图表征运算操作和参与运算操作的操作数据张量，因此操作数据张量涉及具体的运算。与操作数据张量不同地，数据张量涉及读写等。
根据本公开实施例的分布式模型训练方法，通过操作划分策略可以对涉及运算操作的操作数据张量进行划分，例如可以分散操作数据张量的存储和计算。
根据本公开实施例的分布式模型训练方法，通过张量划分策略可以对例如以张量形式表征的模型参数、训练数据进行划分，可以分散数据张量的存储。
图4A示意性示出了根据本公开又一实施例的分布式模型训练方法的示意图。
如图4A所示，根据本公开实施例的分布式模型训练方法，还可以包括操作S460。
在操作S460，根据操作划分策略401，确定每一个分布式计算单元子集合对应的操作数据子张量。
操作划分策略表征分布式计算单元子集合与操作数据张量的维度之间的映射关系。
图4B示意性示出了根据本公开又一实施例的分布式模型训练方法的示意图。
如图4B所示，根据本公开实施例的分布式模型训练方法，还可以包括操作S470。
在操作S470，根据张量划分策略408，确定每一个分布式计算单元子集合对应的数据子张量。
张量划分策略表征分布式计算单元子集合与数据张量的维度之间的映射关系。
分布式计算子集合是对多个分布式计算单元划分得到的。
图4A示意性示出了分布式计算单元子集合406-1至计算单元子集合406-M1的共计M1个计算单元子集合的具体示例，图4B均示意性示出了分布式计算单元子集合406-1至计算单元子集合406-M2的共计M2个计算单元子集合的具体示例，每一个分布式计算单元子集合可以是多个分布式计算单元407划分得到的。
图4A示意性示出了操作数据张量划分为操作数据子张量403-1至操作数据子张量403-M1的M1个操作数据子张量的具体示例。图4B示意性示出了数据张量划分为数据子张量410-1至数据子张量410-M2的M2个数据子张量的具体示例。
根据本公开实施例的分布式模型训练方法，通过表征分布式计算子集合与操作数据张量的维度之间的映射关系的分布式策略，可以基于维度对操作数据张量进行准确划分，得到操作数据子张量。
类似地，根据本公开实施例的分布式模型训练方法，通过表征分布式计算子集合与数据张量的维度之间的映射关系的分布式策略，可以基于维度对数据张量进行准确划分，得到数据子张量。
需要说明的是，操作划分策略表征分布式计算单元子集合与操作数据张量的维度之间的映射关系，终端102并不涉及操作数据张量的存储和计算等。类似地，张量划分策略表征分布式计算单元子集合与数据张量的维度之间的映射关系，终端102并不涉及数据张量的存储。
图4A还示意性示出了与分布式全局计算图404相关的运算操作405和与运算操作相关的操作数据张量402。以“r1+r2”为例，运算操作405为加和运算，操作数据张量402为r1和r2。
示例性地，如图3所示，例如可以利用总接口Engine接收操作划分策略。例如可以通过第一接口p1提供根据操作划分策略，对操作数据张量进行划分，得到多个操作数据子张量的服务。图3的示例中，在分布式策略307为操作划分策略s1的情况下，子张量308即为操作数据子张量。
如图3所示，例如可以利用总接口Engine接收张量划分策略。例如可以通过第一接口p1提供根据张量划分策略，对数据张量进行划分，得到多个数据子张量的服务。图3的示例中，在分布式策略307为张量划分策略s2的情况下，子张量308即为数据子张量。
示例性地，每一个操作数据子张量例如可以存储于对应的分布式计算单元或者在对应的分布式计算单元执行运算操作。每一个数据子张量例如可以存储于对应的分布式计算单元。
示例性地，根据本公开又一实施例的分布式模型训练方法，多个分布式计算单元的标识例如可以排布为分布式计算单元编码阵列。
分布式计算单元编码阵列的每一个维度为一个分布式计算单元子集合。
示例性地，阵列例如可以是二维矩阵。
根据本公开实施例的分布式模型训练方法，通过将多个分布式计算单元的标识排布为分布式计算单元编码阵列，由于阵列具有元素分布规整的特点，便于将相关操作数据子张量以及数据子张量均匀分布于多个分布式计算单元。且阵列可以扩展至任意维度，可以满足例如操作数据张量以及数据张量的维度拓展。
图5A示意性示出了根据本公开一实施例的多个分布式计算单元的标识排布为分布式计算单元编码阵列、操作数据张量(或者数据张量)的维度与分布式计算单元子集合之间的映射关系的具体示例。
在图5A的示例中，示意性示出了操作数据张量Pt(或者数据张量Dt)具有dx和dy这两个维度的具体示例。
分布式计算单元编码阵列的维度可以与操作数据张量Pt(或者数据张量Dt)的维度一致。例如，在图5A的示例中，操作数据张量Pt(或者数据张量Dt)具有两个维度的情况下，分布式计算编码阵列Mx的维度可以具有两个维度，例如可以是维度x和y。
在图5A的示例中，还示意性示出了分布式计算单元501-1至分布式计算单元501-N的N个分布式计算单元的具体示例。例如可以将分布式计算单元501-1的标识排布至分布式计算单元编码阵列Mx的第一行、第一列，对应的元素索引为11，例如可以将分布式计算单元501-2的标识排布至分布式计算单元编码矩阵Mx的第一行、第二列，对应的元素索引为12，以此类推，可以得到二维的分布式计算单元编码阵列Mx。
图5B示意性示出了根据本公开又一实施例的分布式模型训练方法的利用process_mesh表征分布式计算单元标识阵列Mx，其中分布式计算单元标识阵列Mx为二维的矩阵的具体示例。
例如process_mesh：dset1[11，12，13]，dset2[21，22，23]Dim：‘x’，‘y’表征分布式计算单元标识阵列包括dc11、dc12 dc13、dc21、dc22以及dc23的共计6个元素，并且分布式计算单元标识阵列具有两个维度x和y。
例如根据分布式计算单元标识阵列Mx的两个维度可以将分布式计算单元阵列表征的多个分布式计算单元划分为两个分布式计算单元子集合。其中一个分布式计算单元子集合dst1为[11，12，13]，另一个分布式计算单元子集合dset2为[21，22，23]。
图5C示意性示出了根据本公开又一实施例的分布式模型训练方法的利用标注形式的操作划分策略shrad_op表征分布式计算单元子集合与操作数据张量(或者数据张量)的维度之间的映射关系的具体示例。在图5C的示例中，操作数据张量也具有两个维度，分别为dx和dy。
在图5C的示例中，例如操作划分策略shard_op(process_mesh，[None，‘y’])表征操作数据张量的dx维度不划分，dy维度划分，则可以得到划分后的操作数据子张量Pt1和操作数据子张量Pt2，操作数据子张量Ptl例如可以存储于对应元素索引为dcl1、dc12以及dc13的分布式计算单元。操作数据子张量Pt2例如可以存储于对应元素索引为dc21、dc22以及dc23的分布式计算单元。
在图5C的示例中，示意性示出了操作划分策略shard_op(process_mesh，[‘x’，None])以及操作划分策略shard_op(process_mesh，[‘x’，‘y’])的具体含义，类似于上述的操作划分策略shard_op(process_mesh，[None，‘y’])的说明，在此不再赘述。
与操作划分策略shard_op类似地，例如也可以根据张量划分策略shard_tensor将数据张量Dt划分为数据子张量Dt1和数据子张量Dt2，在此不再赘述。
需要说明的是，在图5C的示例中，操作数据张量(或者数据张量)的维度与分布式计算子集合之间的映射关系由相同的灰度表征。
示例性地，例如可以将操作划分策略shard_op(或者张量划分策略shard_tensor)封装为接口，一些例如了解分布式技术知识的相关技术人员可以通过操作划分策略shard_op(或者张量划分策略shard_tensor)接口自定义操作数据张量(或者数据张量)的维度与分布式计算单元子集合之间的映射关系，拓展应用场景，满足具有不同层次的分布式技术知识的技术人员进行分布式模型训练的需求。
图6示意性示出了根据本公开又一实施例的分布式模型训练方法的确定分布式全局计算图的示意图。
如图6所示，例如可以利用以下实施例实现操作S620的根据计算图和分布式策略，确定分布式全局计算图的具体示例。
在操作S621，根据操作划分策略601，确定与运算操作602映射的第一分布式计算单元603和与多个操作数据子张量映射的多个第二分布式计算单元。
在图6的示例中，示意性示出了操作数据张量604的操作数据子张量604-1至操作数据子张量604-M的共计M个操作数据子张量的具体示例，M个操作数据子张量分别映射第二分布式计算单元605-1至第二分布式计算单元605-M的共计M个第二分布式计算单元。
可以理解的是，操作划分策略表征分布式计算单元自己和与操作数据张量的维度之间的映射关系，操作数据张量与运算操作相关，由此可以确定运算操作以及与运算操作映射的第一分布式计算单元。在确定运算操作的情况下，还可以根据运算操作，确定与运算操作相关的操作数据张量，进而确定操作数据子张量。
在操作S622，根据操作划分策略601，确定第一通信算子606。
第一通信算子606用于在第一分布式计算单元与多个第二分布式计算单元之间进行通信和数据交互。
在操作S623，根据第一通信算子606对计算图607进行修改，得到分布式全局计算图608。
由于分布式模型训练涉及多个分布式计算单元，从单机模型训练的角度得到的计算图在执行分布式模型训练时，需要适应于分布式模型训练时相关分布式计算单元之间的数据交互。根据本公开实施例的分布式模型训练方法，通过根据操作划分策略，确定与运算操作映射的第一分布式计算单元和与多个操作数据子张量映射的多个第二分布式计算单元，可以从多个分布式计算单元中定位到相关的第一分布式计算单元和第二分布式计算单元，通过根据操作划分策略确定的第一通信算子可以在第一分布式计算单元与多个第二分布式计算单元之间进行通信和交互，通过根据第一通信算子对计算图进行修改得到的分布式全局计算图，可以从多个分布式计算单元整体的角度描述分布式模型训练的过程。
根据本公开实施例的分布式模型训练方法，可以自动实现从单机模型训练转换至分布式模型训练的与计算图相关的适应性调整，对于相关技术人员无感知，可以降低对于相关技术人员的分布式技术门槛，还可以减轻相关技术人员的工作量，具有更高的分布式模型训练效率。
示例性地，根据本公开又一实施例的分布式模型训练方法，例如可以利用以下实施例实现根据计算图和分布式策略，确定分布式全局计算图的具体示例：根据张量划分策略，确定与多个数据子张量映射的多个第三分布式计算单元。根据张量划分标注信息，确定第二通信算子。根据第二通信算子对计算图进行修改，得到分布式全局计算图。
第二通信算子用于在多个第三分布式计算单元进行通信和数据交互。
由于分布式模型训练涉及多个分布式计算单元，从单机模型训练的角度得到的计算图在执行分布式模型训练时，需要适应于分布式模型训练时相关分布式计算单元之间的数据交互。根据本公开实施例的分布式模型训练方法，通过根据张量划分策略，确定与多个数据子张量映射的多个第三分布式计算单元，可以从多个分布式计算单元中定位到相关的第三分布式计算单元，通过根据张量划分策略确定的第二通信算子可以在多个第三分布式计算单元进行通信和数据交互，通过根据第二通信算子对计算图进行修改得到的分布式全局计算图，可以从多个分布式计算单元整体的角度描述分布式模型训练的过程。
根据本公开实施例的分布式模型训练方法，可以自动实现从单机模型训练转换至分布式模型训练的与计算图相关的适应性调整，对于相关技术人员无感知，可以降低对于相关技术人员的分布式技术门槛，还可以减轻相关技术人员的工作量，具有更高的分布式模型训练效率。
示例性地，根据本公开又一实施例的分布式模型训练方法，训练数据为批量训练数据，批量训练数据包括多个独立训练数据。
分布式模型训练方法还可以包括以下操作：根据批量训练数据和独立训练数据描述数据，确定与独立训练数据描述数据匹配的目标独立训练数据。接收来自分布式计算单元的与目标独立训练数据相关的数据。
独立训练数据描述数据用于表征目标独立训练数据。
与目标独立训练数据相关的数据是分布式计算单元，根据目标独立训练数据和全局计算图得到的。
示例性地，如图3所示，例如可以将根据批量训练数据和独立训练数据描述数据，确定与独立训练数据描述数据匹配的目标独立训练数据的逻辑封装为第二接口p2，还可以将接收来自分布式计算单元的与独立训练数据相关的数据的逻辑也封装为第二接口p2。
根据本公开实施例的分布式模型训练方法，通过根据批量训练数据和独立训练数据描述数据，确定与独立训练数据匹配的目标独立训练数据以及接收来自分布式计算单元的与目标独立训练数据相关的数据，可以支持目标独立训练数据的单独训练，得到目标独立训练数据相关的数据。目标独立训练数据相关的数据可以用于相关技术人员调试分布式模型训练等。
根据本公开实施例的分布式模型训练方法，在上述实施例可以支持针对批量训练数据，一次性完成模型训练的情况下，还同时可以支持目标独立训练数据单独训练，单独训练例如还可以适应于循环执行操作的场景下。根据本公开实施例的分布式模型训练方法，可以适应不了解分布式模型训练的相关技术人员以及具有一定分布式模型训练知识的相关技术人员，具有更广泛的应用场景。
示例性地，根据本公开又一实施例的分布式模型训练方法，训练数据包括验证数据。
根据本公开实施例的分布式模型训练方法还可以包括以下操作：利用验证数据对模型训练进行评估，得到模型训练评估数值。
模型训练评估数值用于评估模型训练的效率。
示例性地，例如可以确定模型训练所用时间和准确性数值，利用模型训练所用时间、准确性数值等作为评估模型训练的因素。
根据本公开实施例的分布式模型训练方法，通过对模型训练进行评估，得到的模型训练评估数值例如可以使得相关技术人员了解模型训练的效率，便于后续优化分布式模型训练。
示例性地，如图3所示，例如可以利用验证数据将对模型训练进行评估，得到模型训练评估数值的逻辑封装为第三接口p3。
示例性地，根据本公开又一实施例的分布式模型训练方法，还可以包括以下操作：利用目标深度学习模型对待预测数据进行预测，得到预测数值。
预测数值用于表征目标深度学习模型的模型性能。
需要说明的是，在上述实施例中，利用验证数据对模型训练进行评估，得到模型训练评估数值是针对当前时刻训练好的参数。利用深度学习模型对待预测数据进行预测，得到预测数值是针对训练好的深度学习模型的，通过利用目标深度学习模型对待预测数据进行预测，得到的预测数值例如可以使得相关技术人员了解目标深度学习模型的模型性能。
示例性地，如图3所示，例如可以将利用目标深度学习模型对待预测数据进行预测，得到预测数值的逻辑封装为第四接口p4。
示例性地，根据本公开又一实施例的分布式模型训练方法，计算图为动态；根据分布式策略和计算图，确定分布式全局计算图还可以包括以下操作：将动态的计算图转换为静态的计算图。根据静态的计算图和分布式策略，确定分布式全局计算图。
分布式全局计算图为静态。
由于动态的计算图相比于静态的静态图具有简洁的优点，例如单机模型训练的相关技术人员等更趋向于动态的计算图。静态的计算图相比于动态的计算图具有处理速度更快、便于调整、修改等优点，更适合执行分布式模型训练。
根据本公开实施例的分布式模型训练，通过将动态的计算图转换为静态的计算图可以自动实现计算图的动静转换。根据静态的计算图和分布式策略，确定的分布式全局计算图可以直接用于分布式计算单元执行分布式模型训练，具有更高的分布式模型训练效率。
示例性地，如图3所示，例如可以将动态的计算图转换为静态的计算图的逻辑以及根据静态的计算图和分布式策略，确定分布式全局计算图的逻辑封装为第一接口p1。
综上，根据本公开实施例的应用于终端102的分布式模型训练方法，可以适应具有不同层次分布式技术知识的相关技术人员，降低分布式模型训练的技术门槛。例如还可以通过封装相关逻辑的接口使得本公开实施例的分布式模型训练方法具有更高的易用性，最大限度减少了相关技术人员对单机可运行的模型的修改。
根据本公开实施例的应用于终端102的分布式模型训练方法，还通过例如操作划分策张量划分策略这两种划分策略，可以提供更优的分布式计算单元的分配方式，提高分布式模型训练效率。
根据本公开又一实施例还提供了一种分布式模型训练方法，可以应用于分布式模型训练单元。
根据本公开又一实施例的分布式模型训练方法700可以包括操作S710～操作S720。
在操作S710，响应于接收到分布式全局计算图和初始模型参数，根据训练数据和全局计算图对具有初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型。
在操作S710，发送目标深度学习模型。
分布式全局计算图和初始模型参数是在上述的由终端102执行的分布式模型训练方法得到的。
根据本公开实施例的分布式模型训练方法700，通过响应于接收到分布式全局计算图和初始模型参数，根据训练数据和全局计算图对具有初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型，可以在分布式计算单元，接收由终端102确定的分布式模型训练的相关数据，利用分布式实现模型训练，具有更高的模型训练效率。
根据本公开另一实施例的分布式模型训练方法，还可以包括以下操作中的至少一个：根据操作划分策略，存储多个操作数据子张量。根据张量划分策略，存储多个数据子张量。
根据本公开实施例的分布式模型训练方法，通过根据操作划分策略，存储多个操作数据子张量，可以在操作数据张量划分为多个操作数据子张亮的情况下，将多个操作数据子张量的存储在多个分布式计算单元存储，优化操作数据张量的存储，便于提高模型训练效率。通过根据张量划分策略，存储多个数据子张量，可以在数据张量划分为多个数据子张亮的情况下，将多个数据子张量的存储在多个分布式计算单元存储，优化数据张量的存储，便于提高模型训练效率。
图8示意性示出了根据本公开一实施例的分布式模型训练装置的框图。
如图8所示，本公开实施例的分布式模型训练装置800例如包括模型数据接收模块810、分布式全局计算图确定模块820、初始模型参数确定模块830、第一发送模块840以及第二发送模块850。
模型数据接收模块810，用于接收来自针对目标计算单元的模型数据，其中，模型数据包括模型参数、训练数据以及计算图。
分布式全局计算图确定模块820，用于根据计算图和分布式策略，确定分布式全局计算图。
初始模型参数确定模块830，用于对模型参数进行初始化，得到初始模型参数。
第一发送模块840，用于将分布式全局计算图和初始模型参数发送至多个分布式计算单元。
第二发送模块850，用于响应于接收到来自分布式计算单元的目标深度学习模型，将目标深度学习模型发送至目标计算单元；其中，目标深度学习模型，是分布式计算单元根据训练数据和全局计算图对初始模型参数进行更新后得到的。
根据本公开实施例，分布式策略包括：张量划分策略和操作划分策略。
张量划分策略针对数据张量，其中，数据张量包括模型参数、训练数据中的至少一个。
操作划分策略针对分布式全局计算图的运算操作，操作划分策略表征：分布式全局计算图的运算操作和与运算操作相关的操作数据张量分别存储于不同的分布式计算单元的情况下，操作数据张量的划分策略。
根据本公开实施例，还包括：操作数据子张量确定模块，用于根据操作划分策略，确定与每一个分布式计算单元子集合对应的操作数据子张量，其中，分布式计算单元子集合是对多个分布式计算单元划分得到的；操作划分策略表征分布式计算单元子集合与操作数据张量的维度之间的映射关系。
根据本公开实施例，分布式全局计算图确定模块包括：分布计算单元第一确定子模块、第一通信算子确定子模块以及第一修改子模块。
分布计算单元第一确定子模块，用于根据操作划分策略，确定与运算操作映射的第一分布式计算单元和与多个操作数据子张量映射的多个第二分布式计算单元。
第一通信算子确定子模块，用于根据操作划分策略，确定第一通信算子，第一通信算子用于在第一分布式计算单元与多个第二分布式计算单元之间进行通信和数据交互。
第一修改子模块，用于根据第一通信算子对计算图进行修改，得到分布式全局计算图。
根据本公开实施例，还包括：数据子张量确定模块，用于根据张量划分策略，确定与每一个分布式计算单元集合对应的数据子张量，其中，分布式计算单元子集合是对多个分布式计算单元划分得到的；张量划分策略表征分布式计算单元子集合与数据张量的维度之间的映射关系。
根据本公开实施例，分布式全局计算图确定模块包括：分布式计算单元第二确定子模块、第二通信算子确定子模块以及第二修改子模块。
分布式计算单元第二确定子模块，用于根据张量划分策略，确定与多个数据子张量映射的多个第三分布式计算单元。
第二通信算子确定子模块，用于根据张量划分标注信息，确定第二通信算子，第二通信算子用于在多个第三分布式计算单元进行通信和数据交互。
第二修改子模块，用于根据第二通信算子对计算图进行修改，得到分布式全局计算图。
根据本公开实施例，多个分布式计算单元的标识排布为分布式计算单元编码阵列，分布式计算单元编码阵列的每一个维度为一个分布式计算单元子集合。
根据本公开实施例，训练数据为批量训练数据，批量训练数据包括多个独立训练数据。分布式模型训练装置还包括：目标独立训练数据确定模块、接收模块。
目标独立训练数据确定模块，用于根据批量训练数据和独立训练数据描述数据，确定与独立训练数据描述数据匹配的目标独立训练数据，其中，独立训练数据描述数据用于表征目标独立训练数据。
接收模块，用于接收来自分布式计算单元的与目标独立训练数据相关的数据，其中，与目标独立训练数据相关的数据是分布式计算单元，根据目标独立训练数据和分布式全局计算图得到的。
根据本公开实施例，训练数据包括验证数据。分布式模型训练装置还包括：评估模块，用于利用验证数据对模型训练进行评估，得到模型训练评估数值，模型训练评估数值用于评估模型训练的效率。
根据本公开实施例，还包括：预测模块，用于利用目标深度学习模型对待预测数据进行预测，得到预测数值，预测数值用于表征目标深度学习模型的模型性能。
根据本公开实施例，计算图为动态。分布式全局计算图确定模块还包括：转换子模块以及分布式全局计算图确定子模块。
转换子模块，用于将动态的计算图转换为静态的计算图。
分布式全局计算图确定子模块，用于根据静态的计算图和分布式策略，确定分布式全局计算图，其中，分布式全局计算图为静态。
图9示意性示出了根据本公开一实施例的分布式模型训练装置的框图。
如图9所示，本公开实施例的分布式模型训练装置900例如包括模型训练模块910和第三发送模块920。
模型训练模块910，用于响应于接收到分布式全局计算图和初始模型参数，根据训练数据和全局计算图对具有初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型。
第三发送模块920，用于发送目标深度学习模型。
根据本公开实施例，还包括以下中的至少一个：第一存储模块、第二存储模块。
第一存储模块，用于根据操作划分策略，存储多个操作数据子张量。
第二存储模块，用于根据张量划分策略，存储多个数据子张量。
应该理解，本公开装置部分的实施例与本公开方法部分的实施例对应相同或类似，所解决的技术问题和所达到的技术效果也对应相同或类似，本公开在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如分布式模型训练方法。例如，在一些实施例中，分布式模型训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1 002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的分布式模型训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行分布式模型训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (24)
1.一种分布式模型训练方法，包括：
接收来自针对目标计算单元的模型数据，其中，所述模型数据包括模型参数、训练数据以及计算图；
根据所述计算图和分布式策略，确定分布式全局计算图；
对所述模型参数进行初始化，得到初始模型参数；
将所述分布式全局计算图和所述初始模型参数发送至多个分布式计算单元；以及
响应于接收到来自所述分布式计算单元的目标深度学习模型，将所述目标深度学习模型发送至所述目标计算单元；其中，所述目标深度学习模型，是所述分布式计算单元根据所述训练数据和所述全局计算图对所述初始模型参数进行更新后得到的；
其中，所述分布式策略包括操作划分策略，所述分布式模型训练方法还包括：
根据所述操作划分策略，确定与每一个分布式计算单元子集合对应的操作数据子张量，其中，所述分布式计算单元子集合是对多个所述分布式计算单元划分得到的；所述操作划分策略表征所述分布式计算单元子集合与操作数据张量的维度之间的映射关系，所述操作数据张量与所述分布式全局计算图的运算操作相关，多个所述分布式计算单元的标识排布为分布式计算单元编码阵列，所述分布式计算单元编码阵列的每一个维度为一个所述分布式计算单元子集合；其中，根据所述操作划分策略，确定与每一个分布式计算单元子集合对应的操作数据子张量包括：
根据所述操作划分策略指示的被划分的维度，对所述操作数据张量进行划分，得到与所述被划分的维度对应的操作数据子张量；
从所述分布式计算单元编码阵列中确定与所述被划分的维度对应的分布式计算单元子集合；
根据分布式计算单元子集合与操作数据张量的维度之间的映射关系，得到与每一个所述分布式计算单元子集合对应的操作数据子张量。
2.根据权利要求1所述的方法，其中，所述分布式策略还包括：张量划分策略；
所述张量划分策略针对数据张量，其中，所述数据张量包括所述模型参数、所述训练数据中的至少一个，
所述操作划分策略针对所述分布式全局计算图的运算操作，所述操作划分策略表征：所述分布式全局计算图的运算操作和与所述运算操作相关的操作数据张量分别存储于不同的所述分布式计算单元的情况下，所述操作数据张量的划分策略。
3.根据权利要求1所述的方法，其中，所述根据所述计算图和分布式策略，确定分布式全局计算图包括：
根据所述操作划分策略，确定与所述运算操作映射的第一分布式计算单元和与多个所述操作数据子张量映射的多个第二分布式计算单元；
根据所述操作划分策略，确定第一通信算子，所述第一通信算子用于在所述第一分布式计算单元与多个所述第二分布式计算单元之间进行通信和数据交互；以及
根据所述第一通信算子对所述计算图进行修改，得到所述分布式全局计算图。
4.根据权利要求2所述的方法，还包括：
根据所述张量划分策略，确定与每一个分布式计算单元集合对应的数据子张量，其中，所述分布式计算单元子集合是对多个所述分布式计算单元划分得到的；所述张量划分策略表征所述分布式计算单元子集合与所述数据张量的维度之间的映射关系。
5.根据权利要求4所述的方法，其中，所述根据所述计算图和分布式策略，确定分布式全局计算图包括：
根据所述张量划分策略，确定与多个所述数据子张量映射的多个第三分布式计算单元；
根据所述张量划分策略，确定第二通信算子，所述第二通信算子用于在多个所述第三分布式计算单元进行通信和数据交互；以及
根据所述第二通信算子对所述计算图进行修改，得到所述分布式全局计算图。
6.根据权利要求1-5中任一项所述的方法，其中，所述训练数据为批量训练数据，所述批量训练数据包括多个独立训练数据；所述分布式模型训练方法还包括：
根据所述批量训练数据和独立训练数据描述数据，确定与所述独立训练数据描述数据匹配的目标独立训练数据，其中，所述独立训练数据描述数据用于表征所述目标独立训练数据；
接收来自分布式计算单元的与所述目标独立训练数据相关的数据，其中，与所述目标独立训练数据相关的数据是所述分布式计算单元，根据所述目标独立训练数据和所述分布式全局计算图得到的。
7.根据权利要求1-5中任一项所述的方法，其中，所述训练数据包括验证数据；还包括：
利用验证数据对所述模型训练进行评估，得到模型训练评估数值，所述模型训练评估数值用于评估所述模型训练的效率。
8.根据权利要求1-5中任一项所述的方法，还包括：
利用所述目标深度学习模型对待预测数据进行预测，得到预测数值，所述预测数值用于表征所述目标深度学习模型的模型性能。
9.根据权利要求1-5中任一项所述的方法，其中，所述计算图为动态；所述根据所述分布式策略和所述计算图，确定分布式全局计算图还包括：
将动态的所述计算图转换为静态的计算图；以及
根据所述静态的计算图和所述分布式策略，确定分布式全局计算图，其中，所述分布式全局计算图为静态。
10.一种分布式模型训练方法，包括：
响应于接收到分布式全局计算图和初始模型参数，根据训练数据和所述全局计算图对具有所述初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型；以及
发送所述目标深度学习模型；
其中，所述初始模型参数是通过如下方式获得，所述方式包括：
根据操作划分策略指示的被划分的维度，对操作数据张量进行划分，得到与所述被划分的维度对应的操作数据子张量；以及
从分布式计算单元编码阵列中确定与所述被划分的维度对应的分布式计算单元子集合；
根据分布式计算单元子集合与操作数据张量的维度之间的映射关系，得到与每一个分布式计算单元子集合对应的操作数据子张量；其中，所述操作数据子张量包括所述初始模型参数，所述操作划分策略表征所述分布式计算单元子集合与操作数据张量的维度之间的映射关系；
其中，多个所述分布式计算单元的标识排布为分布式计算单元编码阵列，所述分布式计算单元编码阵列的每一个维度为一个所述分布式计算单元子集合。
11.根据权利要求10所述的方法，还包括以下中的至少一个：
根据操作划分策略，存储多个操作数据子张量；
根据张量划分策略，存储多个数据子张量。
12.一种分布式模型训练装置，包括：
模型数据接收模块，用于接收来自针对目标计算单元的模型数据，其中，所述模型数据包括模型参数、训练数据以及计算图；
分布式全局计算图确定模块，用于根据所述计算图和分布式策略，确定分布式全局计算图；
初始模型参数确定模块，用于对所述模型参数进行初始化，得到初始模型参数；
第一发送模块，用于将所述分布式全局计算图和所述初始模型参数发送至多个分布式计算单元；以及
第二发送模块，用于响应于接收到来自所述分布式计算单元的目标深度学习模型，将所述目标深度学习模型发送至所述目标计算单元；其中，所述目标深度学习模型，是所述分布式计算单元根据所述训练数据和所述全局计算图对所述初始模型参数进行更新后得到的；
其中，所述分布式策略包括操作划分策略，所述分布式模型训练装置还包括：
操作数据子张量确定模块，用于根据所述操作划分策略，确定与每一个分布式计算单元子集合对应的操作数据子张量，其中，所述分布式计算单元子集合是对多个所述分布式计算单元划分得到的；所述操作划分策略表征所述分布式计算单元子集合与操作数据张量的维度之间的映射关系，操作数据张量与所述分布式全局计算图的运算操作相关，多个所述分布式计算单元的标识排布为分布式计算单元编码阵列，所述分布式计算单元编码阵列的每一个维度为一个所述分布式计算单元子集合；
其中，所述操作数据子张量确定模块进一步被配置为：
根据所述操作划分策略指示的被划分的维度，对所述操作数据张量进行划分，得到与所述被划分的维度对应的操作数据子张量；
从所述分布式计算单元编码阵列中确定与所述被划分的维度对应的分布式计算单元子集合；
根据分布式计算单元子集合与操作数据张量的维度之间的映射关系，得到与每一个所述分布式计算单元子集合对应的操作数据子张量。
13.根据权利要求12所述的装置，其中，所述分布式策略包括：张量划分策略；
所述张量划分策略针对数据张量，其中，所述数据张量包括所述模型参数、所述训练数据中的至少一个，
所述操作划分策略针对所述分布式全局计算图的运算操作，所述操作划分策略表征：所述分布式全局计算图的运算操作和与所述运算操作相关的操作数据张量分别存储于不同的所述分布式计算单元的情况下，所述操作数据张量的划分策略。
14.根据权利要求12所述的装置，其中，所述分布式全局计算图确定模块包括：
分布计算单元第一确定子模块，用于根据所述操作划分策略，确定与所述运算操作映射的第一分布式计算单元和与多个所述操作数据子张量映射的多个第二分布式计算单元；
第一通信算子确定子模块，用于根据所述操作划分策略，确定第一通信算子，所述第一通信算子用于在所述第一分布式计算单元与多个所述第二分布式计算单元之间进行通信和数据交互；以及
第一修改子模块，用于根据所述第一通信算子对所述计算图进行修改，得到所述分布式全局计算图。
15.根据权利要求13所述的装置，还包括：
数据子张量确定模块，用于根据所述张量划分策略，确定与每一个分布式计算单元集合对应的数据子张量，其中，所述分布式计算单元子集合是对多个所述分布式计算单元划分得到的；所述张量划分策略表征所述分布式计算单元子集合与所述数据张量的维度之间的映射关系。
16.根据权利要求15所述的装置，其中，所述分布式全局计算图确定模块包括：
分布式计算单元第二确定子模块，用于根据所述张量划分策略，确定与多个所述数据子张量映射的多个第三分布式计算单元；
第二通信算子确定子模块，用于根据所述张量划分标注信息，确定第二通信算子，所述第二通信算子用于在多个所述第三分布式计算单元进行通信和数据交互；以及
第二修改子模块，用于根据所述第二通信算子对所述计算图进行修改，得到所述分布式全局计算图。
17.根据权利要求12-16中任一项所述的装置，其中，所述训练数据为批量训练数据，所述批量训练数据包括多个独立训练数据；所述分布式模型训练装置还包括：
目标独立训练数据确定模块，用于根据所述批量训练数据和独立训练数据描述数据，确定与所述独立训练数据描述数据匹配的目标独立训练数据，其中，所述独立训练数据描述数据用于表征所述目标独立训练数据；
接收模块，用于接收来自分布式计算单元的与所述目标独立训练数据相关的数据，其中，与所述目标独立训练数据相关的数据是所述分布式计算单元，根据所述目标独立训练数据和所述分布式全局计算图得到的。
18.根据权利要求12-16中任一项所述的装置，其中，所述训练数据包括验证数据；分布式模型训练装置还包括：
评估模块，用于利用验证数据对所述模型训练进行评估，得到模型训练评估数值，所述模型训练评估数值用于评估所述模型训练的效率。
19.根据权利要求12-16中任一项所述的装置，还包括：
预测模块，用于利用所述目标深度学习模型对待预测数据进行预测，得到预测数值，所述预测数值用于表征所述目标深度学习模型的模型性能。
20.根据权利要求12-16中任一项所述的装置，其中，所述计算图为动态；所述分布式全局计算图确定模块还包括：
转换子模块，用于将动态的所述计算图转换为静态的计算图；以及
分布式全局计算图确定子模块，用于根据所述静态的计算图和所述分布式策略，确定分布式全局计算图，其中，所述分布式全局计算图为静态。
21.一种分布式模型训练装置，包括：
模型训练模块，用于响应于接收到分布式全局计算图和初始模型参数，根据训练数据和所述全局计算图对具有所述初始模型参数的初始深度学习模型进行训练，得到目标深度学习模型；以及
第三发送模块，用于发送所述目标深度学习模型；
其中，所述初始模型参数是通过如下方式获得，所述方式包括：
根据操作划分策略指示的被划分的维度，对操作数据张量进行划分，得到与所述被划分的维度对应的操作数据子张量；以及
从分布式计算单元编码阵列中确定与所述被划分的维度对应的分布式计算单元子集合；
根据分布式计算单元子集合与操作数据张量的维度之间的映射关系，得到与每一个分布式计算单元子集合对应的操作数据子张量；其中，所述操作数据子张量包括所述初始模型参数，所述操作划分策略表征所述分布式计算单元子集合与操作数据张量的维度之间的映射关系；
其中，多个所述分布式计算单元的标识排布为分布式计算单元编码阵列，所述分布式计算单元编码阵列的每一个维度为一个所述分布式计算单元子集合。
22.根据权利要求21所述的装置，还包括以下中的至少一个：
第一存储模块，用于根据操作划分策略，存储多个操作数据子张量；
第二存储模块，用于根据张量划分策略，存储多个数据子张量。
23.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-9或者10-11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-9或者10-11中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211496745.2A CN115906983B (zh) | 2022-11-23 | 2022-11-23 | 分布式模型训练方法、装置、设备、存储介质及程序产品 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211496745.2A CN115906983B (zh) | 2022-11-23 | 2022-11-23 | 分布式模型训练方法、装置、设备、存储介质及程序产品 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115906983A CN115906983A (zh) | 2023-04-04 |
| CN115906983B true CN115906983B (zh) | 2024-01-02 |
Family
ID=86495156
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211496745.2A Active CN115906983B (zh) | 2022-11-23 | 2022-11-23 | 分布式模型训练方法、装置、设备、存储介质及程序产品 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115906983B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406985A (zh) * | 2016-09-21 | 2017-02-15 | 北京百度网讯科技有限公司 | 分布式计算框架和分布式计算方法 |
| CN113515370A (zh) * | 2021-04-28 | 2021-10-19 | 之江实验室 | 一种面向大规模深度神经网络的分布式训练方法 |
| CN113961351A (zh) * | 2021-10-28 | 2022-01-21 | 北京百度网讯科技有限公司 | 深度学习模型的分布式训练方法、装置、设备及存储介质 |
| CN114021696A (zh) * | 2020-10-02 | 2022-02-08 | 谷歌有限责任公司 | 用于高保真图像变换的条件轴向变换层 |
| CN114611688A (zh) * | 2022-01-19 | 2022-06-10 | 阿里云计算有限公司 | 深度学习模型分布式训练方法及其训练执行计划构建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020182989A1 (en) * | 2019-03-13 | 2020-09-17 | Deepmind Technologies Limited | Scheduling computation graphs using neural networks |
-
2022
- 2022-11-23 CN CN202211496745.2A patent/CN115906983B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106406985A (zh) * | 2016-09-21 | 2017-02-15 | 北京百度网讯科技有限公司 | 分布式计算框架和分布式计算方法 |
| CN114021696A (zh) * | 2020-10-02 | 2022-02-08 | 谷歌有限责任公司 | 用于高保真图像变换的条件轴向变换层 |
| CN113515370A (zh) * | 2021-04-28 | 2021-10-19 | 之江实验室 | 一种面向大规模深度神经网络的分布式训练方法 |
| CN113961351A (zh) * | 2021-10-28 | 2022-01-21 | 北京百度网讯科技有限公司 | 深度学习模型的分布式训练方法、装置、设备及存储介质 |
| CN114611688A (zh) * | 2022-01-19 | 2022-06-10 | 阿里云计算有限公司 | 深度学习模型分布式训练方法及其训练执行计划构建方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115906983A (zh) | 2023-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102170105B1 (ko) | 신경 네트워크 구조의 생성 방법 및 장치, 전자 기기, 저장 매체 | |
| KR102202149B1 (ko) | 선택 가능한 비교 속성들을 갖는 부동 소수점 명령 | |
| US20140317034A1 (en) | Data classification | |
| EP4002216A1 (en) | Method for recommending object, neural network, computer program product and computer-readable storage medium | |
| CN113592593B (zh) | 序列推荐模型的训练及应用方法、装置、设备及存储介质 | |
| CN113627536A (zh) | 模型训练、视频分类方法，装置，设备以及存储介质 | |
| CN115690443A (zh) | 特征提取模型训练方法、图像分类方法及相关装置 | |
| CN113516185B (zh) | 模型训练的方法、装置、电子设备及存储介质 | |
| CN116151374B (zh) | 分布式模型推理方法、装置、设备、存储介质以及程序产品 | |
| CN116881027B (zh) | 原子服务组合通信方法、装置、电子设备和介质 | |
| CN115906983B (zh) | 分布式模型训练方法、装置、设备、存储介质及程序产品 | |
| US12001174B2 (en) | Determination of task automation using an artificial intelligence model | |
| CN114742035B (zh) | 基于注意力机制优化的文本处理方法、网络模型训练方法 | |
| CN113760407A (zh) | 信息处理方法、装置、设备及存储介质 | |
| CN113326942A (zh) | 模型推理方法及装置、电子设备和存储介质 | |
| CN115018009B (zh) | 对象描述方法、网络模型的训练方法及装置 | |
| CN115860055B (zh) | 性能确定方法、性能优化方法、装置、电子设备以及介质 | |
| CN115951936B (zh) | 向量化编译程序的芯片适配方法、装置、设备及介质 | |
| CN113362428B (zh) | 用于配置颜色的方法、装置、设备、介质和产品 | |
| CN117131424B (zh) | 一种训练方法、流量检测方法、装置、设备及介质 | |
| CN115495312B (zh) | 业务请求处理方法和装置 | |
| US12038989B2 (en) | Methods for community search, method for training community search model, and electronic device | |
| CN118349895B (zh) | 漏洞样本库构建方法、漏洞识别方法、装置、设备和介质 | |
| CN117273241B (zh) | 一种处理数据的方法和装置 | |
| CN118331716A (zh) | 异构算力集成系统下算力智能迁移方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |