CN110096346B

CN110096346B - 一种多计算节点的训练任务处理方法及装置

Info

Publication number: CN110096346B
Application number: CN201910251201.1A
Authority: CN
Inventors: 王斐; 朱喻
Original assignee: Guangzhou Side Medical Technology Co ltd
Current assignee: Guangzhou Side Medical Technology Co ltd
Priority date: 2019-03-29
Filing date: 2019-03-29
Publication date: 2021-06-15
Anticipated expiration: 2039-03-29
Also published as: CN110096346A

Abstract

本发明实施例提供一种多计算节点的训练任务处理方法及装置，所述方法包括：获取用于训练预设模型的样本图片；构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。所述装置执行上述方法。本发明实施例提供的多计算节点的训练任务处理方法及装置，能够提高训练任务的处理效率。

Description

一种多计算节点的训练任务处理方法及装置

技术领域

本发明实施例涉及图片处理技术领域，尤其涉及一种多计算节点的训练任务处理方法及装置。

背景技术

胶囊内镜具有无痛、无伤、拍摄图像信息量大等优点，具备广泛的应用价值。

现有技术采用人工方式识别通过胶囊内镜拍摄的原始图片、并对原始图片进行分类，为了更加准确、高效地识别原始图片，需要构建模型，但是模型在使用之前通常需要进行训练，在训练完成之后，才可以使用模型对原始图片进行识别。但是，训练模型需要大量的样本图片，使得现有技术训练所有样本图片的训练任务耗时过长、且效率低下。

因此，如何避免上述缺陷，提高训练任务的处理效率，成为亟须解决的问题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种多计算节点的训练任务处理方法及装置。

本发明实施例提供一种多计算节点的训练任务处理方法，包括：

获取用于训练预设模型的样本图片；

构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；

发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

本发明实施例提供一种多计算节点的训练任务处理装置，包括：

获取单元，用于获取用于训练预设模型的样本图片；

确定单元，用于构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；

发送单元，用于发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：

获取用于训练预设模型的样本图片；

本发明实施例提供一种非暂态计算机可读存储介质，包括：

所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：

获取用于训练预设模型的样本图片；

本发明实施例提供的多计算节点的训练任务处理方法及装置，通过根据训练任务的任务类型，确定相对应的执行策略，并使得计算节点根据该执行策略，并行计算训练任务，能够提高训练任务的处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明多计算节点的训练任务处理方法实施例流程图；

图2为本发明多计算节点的训练任务处理装置实施例结构示意图；

图3为本发明实施例提供的电子设备实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明多计算节点的训练任务处理方法实施例流程图，如图1所示，本发明实施例提供的一种多计算节点的训练任务处理方法，包括以下步骤：

S101：获取用于训练预设模型的样本图片。

具体的，装置获取用于训练预设模型的样本图片。装置可以是对所有计算节点进行管控的控制节点，每个节点(包括计算节点和控制节点)都包含有处理器等能够进行大规模数据运算的器件。样本图片是从原始图片中选取的，需要说明的是：该原始图片是通过胶囊内镜拍摄的，对胶囊内镜的工作过程作如下说明：

·胶囊内镜从口腔进入消化道，再从肛门自然排出体外。

·胶囊内镜的电池续航力有限，其有效工作区间为口腔、食道、胃、十二指肠、小肠和大肠一部分。

·胶囊内镜的每次活动都产生域内检查图片和域外检查图片。

·域内检查图片是对消化道某一段所进行的拍摄结果。

·域外检查图片是除了域内检查图片以外，胶囊内镜顺便拍到的图片。

·全部图片均可自动识别，无需任何人工介入(包括图像预处理)。

·识别图像后，将胶囊内镜拍摄的图片分为六个大类(125个小类)，自动保存于125个图片文件夹中，其中，六个大类可以为：

第一大类：一类域外分类标签(10个类别)。

第二大类：二类域外分类标签(13个类别)。

第三大类：基于局部结构特征的图片分类标签(14个类别)。

第四大类：洞状结构图片分类标签(8个类别)。

第五大类：基于全局结构特征的图片分类标签(24个类别)。

第六大类：异常特征图片分类标签(56个类别)。

·能够自动识别口腔、食道、胃、十二指肠、小肠和大肠等消化道的不同部位。

每粒胶囊内镜每次可以拍摄的原始图片的数量可以为2000～3000张，即胶囊内镜获取到的图片集中的图片数量。

可以从医院信息系统中导出、未经任何处理的胶囊内镜拍摄的原始图片(JPG格式)。

S102：构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略。

具体的，装置构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略。需要说明的是：所有样本图片通常数量巨大，受限于单个计算节点的运算能力，需要构建分批的训练任务。任务类型可以包括不可并行执行任务，根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略，可以具体包括：

确定与所述不可并行执行任务相对应的执行策略为第一执行策略；其中，所述第一执行策略为每个计算节点在每完成一次批次训练任务的计算之后，更新这次批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方。由于该任务类型为不可并行执行任务，因此，该不可并行执行任务需要在某个计算节点A中单独运算，并且需要在该计算节点A中先后分批计算，举例说明如下：所有样本图片对应的训练任务总量为100万兆，共有两个计算节点，分别为A和B，先分配第一批10万兆不可并行执行任务量给计算节点A，在计算节点A内部进行并行计算，例如先计算这10万兆中的第一部分任务量a，待计算完成后在初始权重的基础上，更新初始权重为第一部分任务量a对应的权重，再计算这10万兆中的第二部分任务量b，待计算完成后在(a对应的权重)的基础上，更新a对应的权重为第二部分任务量b对应的权重，以此类推，直到完成全部的这10万兆不可并行执行任务量(对应完成第一次批次训练任务的计算)，并更新完成这些任务量时的权重A1X，将权重A1X返回至第一执行策略的发送方(即控制节点)。同理，对于计算节点B，先分配另外第一批10万兆不可并行执行任务量给计算节点B，具体说明可参照计算节点A的说明，然后，将将权重B1X返回至第一执行策略的发送方(即控制节点)。即A和B分别对应100万兆训练任务总量中的两类不同的不可并行执行任务。

所述返回更新后的权重至所述第一执行策略的发送方的步骤之后，所述方法还包括：

计算所有计算节点的叠加权重的算术平均值；所述叠加权重是每个计算节点对应的、每次批次训练任务对应权重的叠加值。参照上述举例，所有计算节点为A和B，共计两个，因此，算术平均值1Y等于(A1X+B1X)/2。即A1X是计算节点A对应第一批训练任务的叠加权重、B1X是计算节点B对应另外第一批训练任务的叠加权重。

发送所述算术平均值和下一批次训练任务至每个计算节点，以使每个计算节点基于所述算术平均值继续叠加计算当前批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方，重复执行计算所有计算节点的叠加权重的算术平均值至并返回更新后的权重至所述第一执行策略的发送方之间的步骤，直到相邻两次计算出的算术平均值之差小于预设阈值。预设阈值可以根据实际情况自主设置，可以理解为终止运算的终止条件。参照上述举例，控制节点发送算术平均值1Y和第二批10万兆不可并行执行任务量给计算节点A、以及发送算术平均值1Y和另外第二批10万兆不可并行执行任务量给计算节点B，然后计算节点A和计算节点B继续重复上述步骤，不再赘述，计算得到A2X、B2X(即与计算节点A和计算节点B分别对应的第二批叠加权重)，算术平均值2Y等于(A2X+B2X)/2，然后计算算术平均值2Y和算术平均值1Y之差Z21，如果Z21大于预设阈值，则继续重复上述步骤，假如经过几次迭代后算得的算术平均值4Y和算术平均值3Y之差Z43小于预设阈值，则由控制节点输出此时的权重A4X、B4X，需要说明的是，通常为了保证训练的结果收敛，训练任务总量应足够大(例如上述100万兆)，从而避免使得算法在还没有在相邻两次计算出的算术平均值小于预设阈值时，训练任务总量已经算完。如果出现还没有在相邻两次计算出的算术平均值小于预设阈值时，训练任务总量已经算完的情况，可以生成告警消息，提示相关人员增补训练任务总量的样本图片数量。

所述任务类型还可以包括可并行执行任务；相应的，所述根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略，包括：

确定与所述可并行执行任务相对应的执行策略为第二执行策略；其中，所述第二执行策略为每个计算节点各自独立完成每次批次训练任务的计算，并无需更新每次批次训练任务对应的权重。这部分任务，节点内批次计算完成之后，无需更新全局权重，所有节点内的计算结果，仅仅在该节点内部使用，因此，这部分任务在节点之间是全并行的。

S103：发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

具体的，装置发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。可参照上述说明，不再赘述。

本发明实施例提供的多计算节点的训练任务处理方法，通过根据训练任务的任务类型，确定相对应的执行策略，并使得计算节点根据该执行策略，并行计算训练任务，能够提高训练任务的处理效率。

在上述实施例的基础上，所述任务类型包括不可并行执行任务；相应的，所述根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略，包括：

确定与所述不可并行执行任务相对应的执行策略为第一执行策略；其中，所述第一执行策略为每个计算节点在每完成一次批次训练任务的计算之后，更新这次批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方。

具体的，装置确定与所述不可并行执行任务相对应的执行策略为第一执行策略；其中，所述第一执行策略为每个计算节点在每完成一次批次训练任务的计算之后，更新这次批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方。可参照上述实施例，不再赘述。

本发明实施例提供的多计算节点的训练任务处理方法，通过确定与不可并行执行任务相对应的执行策略为第一执行策略，并使得计算节点根据该第一执行策略，并行计算训练任务，能够提高训练任务的处理效率。

在上述实施例的基础上，述任务类型包括可并行执行任务；相应的，所述根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略，包括：

确定与所述可并行执行任务相对应的执行策略为第二执行策略；其中，所述第二执行策略为每个计算节点各自独立完成每次批次训练任务的计算，并无需更新每次批次训练任务对应的权重。

具体的，装置确定与所述可并行执行任务相对应的执行策略为第二执行策略；其中，所述第二执行策略为每个计算节点各自独立完成每次批次训练任务的计算，并无需更新每次批次训练任务对应的权重。可参照上述实施例，不再赘述。

本发明实施例提供的多计算节点的训练任务处理方法，通过确定与可并行执行任务相对应的执行策略为第二执行策略，并使得计算节点根据该第二执行策略，并行计算训练任务，能够提高训练任务的处理效率。

在上述实施例的基础上，所述返回更新后的权重至所述第一执行策略的发送方的步骤之后，所述方法还包括：

计算所有计算节点的叠加权重的算术平均值；所述叠加权重是每个计算节点对应的、每次批次训练任务对应权重的叠加值。

具体的，装置计算所有计算节点的叠加权重的算术平均值；所述叠加权重是每个计算节点对应的、每次批次训练任务对应权重的叠加值。可参照上述实施例，不再赘述。

发送所述算术平均值和下一批次训练任务至每个计算节点，以使每个计算节点基于所述算术平均值继续叠加计算当前批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方，重复执行计算所有计算节点的叠加权重的算术平均值至并返回更新后的权重至所述第一执行策略的发送方之间的步骤，直到相邻两次计算出的算术平均值之差小于预设阈值。

具体的，装置发送所述算术平均值和下一批次训练任务至每个计算节点，以使每个计算节点基于所述算术平均值继续叠加计算当前批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方，重复执行计算所有计算节点的叠加权重的算术平均值至并返回更新后的权重至所述第一执行策略的发送方之间的步骤，直到相邻两次计算出的算术平均值之差小于预设阈值。可参照上述实施例，不再赘述。

本发明实施例提供的多计算节点的训练任务处理方法，通过将相邻两次计算出的算术平均值之差小于预设阈值作为训练任务终止条件，进一步优化了训练任务的训练过程。

在上述实施例的基础上，所述预设模型为CNN；相应的，所述方法还包括：

在首次发送所述执行策略至所有计算节点时，初始化CNN的各隐藏层和各输出层的初始权重为随机值。

具体的，装置在首次发送所述执行策略至所有计算节点时，初始化CNN网络的各隐藏层和各输出层的初始权重为随机值。卷积神经网络(Convolutional Neural Networks，简称“CNN”)。执行策略可以包括第一执行策略和第二执行策略。即当预设模型为CNN时，上述权重，以A1X为例，可以为CNN模型各隐藏层与输出层的W、b，其中，W、b为CNN技术领域表示权重的专业术语，不再赘述。需要说明的是，预设模型为CNN，以单独某个计算节点A为例，对计算训练任务进行简要说明如下：

对节点划分控制节点与计算节点，由控制节点分发数据给计算节点，称计算节点上的数据大小为m。计算节点对各自分配到的数据执行batch大小为m的正向计算。

计算节点开辟一段内存。在完成正向计算后，按照层的顺序同时进行反向传播和更新权重，但此时计算得到的权重更新量只存到内存缓冲区内，不修改原来权重。

根据缓冲区数据量大小，各节点异步的将权重更新量发送至控制节点。控制节点累加完毕后，计算算术平均值，并将此数据和新一批训练数据发送给计算节点。

计算节点更新权重后，进行下一轮训练。

输入：n个计算节点，每个节点上m个图片样本，CNN模型的层数L和所有隐藏层的类型，对于卷积层，要定义卷积核的大小K，卷积核子矩阵的维度F，填充大小P，步幅S。对于池化层，要定义池化区域大小k和池化标准(MAX或Average)，对于全连接层，要定义全连接层的激活函数(输出层除外)和各层的神经元个数。梯度迭代参数迭代步长α，最大迭代次数MAX与停止迭代阈值∈

输出：CNN模型各隐藏层与输出层的W、b。

1.控制节点：初始化各隐藏层与输出层的各W，b的值为一个随机值，给各个计算节点分发m个图片样本和权重。

2.计算节点：for iter to 1to MAX

2-1前向传播

a)将CNN输入a^l设置为形如(m，3，rows，columns)的张量

b)根据下面3种情况进行前向传播算法计算

b-1)如果当前是全连接层a^i，l＝σ(z^i，l)＝σ(W^la^i，l-1+b^l)

b-2)如果当前是卷积层a^i，l＝σ(z^i，l)＝σ(W^l*a^i，l-1+b^l)

b-3)如果当前是池化层a^i，l＝pool(a^i，l-1)

2-2反向传播

c-1)对于输出层第L层：

a^i，L＝softmax(z^i，L)＝softmax(W^La^i，L-1+b^L)

c-2)对于输出层第L层：通过损失函数计算输出层的δ^i，L

d)for L-1to 2，根据下面3种情况进行反向传播算法计算：

d-1)如果当前是全连接层δ^i，l＝(W^l+1)^Tδ^i，l+1⊙σ′(z^i，l)

d-2)如果当前是卷积层δ^i，l＝rot180°(W^l+1)*δ^i，l+1⊙σ′(z^i，l)

d-3)如果当前是池化层δ^i，l＝upsample(δ^i，l+1⊙σ′(z^i，l))

2-3更新权重

e)for 2 to L，根据下面2种情况计算第l层的梯度

e-1)如果当前是全连接层

e-2)如果当前是卷积层对于每一个卷积核有：

3.控制节点

3-1计算p个节点上的权重的算术平均值：

3-2如果所有W^l′和b^l′，变化值都小于停止迭代阈值∈，则停止循环，跳到第4步

3-3分发新的权重和图片样本到计算节点

4.控制节点输出权重矩阵

需要说明的是，上述各参变量都为CNN技术领域中通用的参变量，不作具体说明。

本发明实施例提供的多计算节点的训练任务处理方法，通过初始化权重为随机值，保证训练任务能够在起始阶段正常进行。

图2为本发明多计算节点的训练任务处理装置实施例结构示意图，如图2所示，本发明实施例提供了一种多计算节点的训练任务处理装置，包括获取单元201、确定单元202和发送单元203，其中：

获取单元201用于获取用于训练预设模型的样本图片；确定单元202用于构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；发送单元203用于发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

具体的，获取单元201用于获取用于训练预设模型的样本图片；确定单元202用于构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；发送单元203用于发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

本发明实施例提供的多计算节点的训练任务处理装置，通过根据训练任务的任务类型，确定相对应的执行策略，并使得计算节点根据该执行策略，并行计算训练任务，能够提高训练任务的处理效率。

本发明实施例提供的多计算节点的训练任务处理装置具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

图3为本发明实施例提供的电子设备实体结构示意图，如图3所示，所述电子设备包括：处理器(processor)301、存储器(memory)302和总线303；

其中，所述处理器301、存储器302通过总线303完成相互间的通信；

所述处理器301用于调用所述存储器302中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：获取用于训练预设模型的样本图片；构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取用于训练预设模型的样本图片；构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取用于训练预设模型的样本图片；构建可分批训练所有样本图片的训练任务，并根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略；发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种多计算节点的训练任务处理方法，其特征在于，包括：

获取用于训练预设模型的样本图片；

发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务；

所述任务类型包括不可并行执行任务；相应的，所述根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略，包括：

确定与所述不可并行执行任务相对应的执行策略为第一执行策略；其中，所述第一执行策略为每个计算节点在每完成一次批次训练任务的计算之后，更新这次批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方；

计算所有计算节点的叠加权重的算术平均值；所述叠加权重是每个计算节点对应的、每次批次训练任务对应权重的叠加值；

2.根据权利要求1所述的方法，其特征在于，所述任务类型包括可并行执行任务；相应的，所述根据所述训练任务的任务类型，确定与所述任务类型相对应的执行策略，包括：

3.根据权利要求1所述的方法，其特征在于，所述预设模型为CNN；相应的，所述方法还包括：

4.一种多计算节点的训练任务处理装置，其特征在于，包括：

获取单元，用于获取用于训练预设模型的样本图片；

发送单元，用于发送所述执行策略至所有计算节点，以使所有计算节点根据所述执行策略，并行计算所述训练任务；

确定与所述不可并行执行任务相对应的执行策略为第一执行策略；其中，所述第一执行策略为每个计算节点在每完成一次批次训练任务的计算之后，更新这次批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方；计算所有计算节点的叠加权重的算术平均值；所述叠加权重是每个计算节点对应的、每次批次训练任务对应权重的叠加值；发送所述算术平均值和下一批次训练任务至每个计算节点，以使每个计算节点基于所述算术平均值继续叠加计算当前批次训练任务对应的权重，并返回更新后的权重至所述第一执行策略的发送方，重复执行计算所有计算节点的叠加权重的算术平均值至并返回更新后的权重至所述第一执行策略的发送方之间的步骤，直到相邻两次计算出的算术平均值之差小于预设阈值。

5.一种电子设备，其特征在于，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。

6.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。