CN113052334B

CN113052334B - 一种联邦学习实现方法、系统、终端设备及可读存储介质

Info

Publication number: CN113052334B
Application number: CN202110401739.3A
Authority: CN
Inventors: 王建新; 吴帆; 刘渊; 安莹; 胡建中; 黄伟红
Original assignee: Central South University
Current assignee: Central South University
Priority date: 2021-04-14
Filing date: 2021-04-14
Publication date: 2023-09-29
Anticipated expiration: 2041-04-14
Also published as: CN113052334A

Abstract

本发明公开了一种联邦学习实现方法、系统、终端设备及可读存储介质，该方法包括：客户端使用本地神经网络模型进行第一轮本地迭代得到模型权重和损失值，并上传至服务器；服务器将客户端的模型权重进行加权平均计算得到平均权重，以及根据客户端的损失值对客户端进行分组；客户端利用平均权重更新本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值；客户端将更新后的模型权重和损失值上传至服务器进行循环更新。本发明的客户端以所在组的中位数损失值为标准调整本地迭代次数，有效降低本地计算复杂度，提升联邦学习效率，进一步利用公共数据集进行知识蒸馏，提升模型性能。

Description

一种联邦学习实现方法、系统、终端设备及可读存储介质

技术领域

本发明属于联邦学习技术领域，具体涉及一种联邦学习实现方法、系统、终端设备及可读存储介质。

背景技术

在现实世界中，由于行业竞争、隐私安全等问题，数据大都以孤岛形式存在，即使在同一个公司的不同部门之间，实现数据整合也面临着重重阻力，面对难以桥接的数据孤岛，如何安全合法的使用多方数据进行联合建模始终是业界的一个难点。

为了解决这种数据孤岛问题，谷歌提出了针对移动设备的联邦学习方法。联邦学习可以使各个参与方的数据不出本地而使用各个参与方的数据共同协作训练出一个全局模型，可以解决数据孤岛这一痛点问题。谷歌提出的联邦学习方法步骤如下：首先，服务器选择可以参与本次全局迭代的设备。其次，服务器将上一轮全局模型参数发送给这些被选中的设备。然后，被选中的这些设备使用本地的私有数据和模型进行本地迭代计算，更新模型参数。最后，这些被选中的设备将此次更新的模型参数发送给服务器，服务器对接收到的模型参数进行加权平均，更新全局模型参数。

然而，谷歌提出的联邦学习方法是针对移动设备的方法，所以每一轮全局迭代中都要选择此次参与的设备。然而，在其它应用场景中，例如不同的医院之间通过联邦学习构建全局模型时，通常是不需要进行设备选择的。而且，谷歌提出的联邦学习方法中参与方的数量(一般超过10000)往往远远大于设备中的数据的数量，而跨机构的联邦学习方法中参与方的数量(一般不超过50)远远小于参与方数据的数量。与此同时，如何提高模型训练的效率也是联邦学习的关注点之一。

因此，针对跨数据孤岛问题的联邦学习模型，如何实现不限制于移动设备以及适用于跨机构的联邦学习模型，并如何提升联邦学习的通信效率是本发明亟需研究的。

发明内容

本发明的目的是为了克服现有技术中存在的不足，提供一种联邦学习实现方法、系统、终端设备及可读存储介质，其利用中位数损失将客户端分成不同组来自适应调整客户端的本地计算复杂度，有效提升了联邦学习的通信效率，且所述方法的训练过程无需选择客户端且对客户端的数量并无要求，可以有效应用于跨机构的联邦学习模型中，譬如，不同医院之间的联邦模型。

一方面，本发明提供一种联邦学习实现方法，包括如下步骤：

步骤1：每个客户端使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；

其中，各个客户端与服务器通讯连接，每个客户端使用同一类本地神经网络；

步骤2：所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；

步骤3：客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值；

其中，客户端将更新后的模型权重和损失值上传至服务器进行循环更新，直至客户端的模型满足预设标准。

本发明以中位数损失作为一个标准，让损失小的客户端少训练，损失高的客户端多训练，进行了均衡，总体上所有客户端的本地计算复杂度是小于常规的平均算法，并通过实验进行了有效验证。

可选地，步骤2中根据每个客户端的损失值对客户端进行分组的分组依据如下：

以每个客户端的损失值与所在组的中位数损失值的差的绝对值之和最小。

可选地，依据所述分组依据对客户端进行分组的过程为：将N个客户端上传的损失按照从小到大排列，并按照如下迭代过程将N个客户端划分为g组得到g个曼哈顿距离，且所述g个曼哈顿距离之和最小，其中，所述迭代过程如下：

A：设定参数i表示损失个数，对应取值范围为1-N；其中，在其取值范围内依次遍历取值；

B：设定参数j表示分组组数，对应取值范围为1-G；其中，在其取值范围内依次遍历取值；

C：在i值与j值确定下，设定参数k在[1,i]的范围内依次遍历取值，并按照如下公式计算得到

式中，表示前i个损失分成了j组后，得到的j个曼哈顿距离之和的最小值，/>表示前k-1个损失分成了j-1组后，得到的j-1个曼哈顿距离之和的最小值；cost_ki为从下标为k～i的客户端作为第j组时损失的曼哈顿距离；

其中，参数k遍历计算完成后，返回步骤B，在参数j的取值范围更新参数j，再执行步骤C；待参数j遍历完成后，再返回步骤A，在参数i的取值范围更新参数i，再执行步骤B与步骤C，实现循环迭代，直至将N个损失化为g组得到的g个曼哈顿距离之和最小，g小于或等于G。

其中，迭代算法一共是三重for循环，第一个枚举i，范围从1～N，第二个枚举j，范围从1～G，第三个枚举k，范围从1～i，在最后一个for循环中按照上述公式不断更新迭代算法的时间复杂度为O(GN²)。观察上述公式可以发现只要记录每组客户端的最后一次划分就能知道客户端的划分情况。每次全局迭代中都进行上述的调整，然后，每个客户端可以根据自身损失与组中的中位数损失比较来自适应调整本地计算的迭代次数，以此来减小联邦学习的本地计算复杂度。

可选地，步骤3中基于中位数损失自适应调节本地迭代次数的过程如下：

首先，客户端利用平均权重更新所述本地神经网络模型后，利用本地数据迭代训练次，E为预设的联邦平均算法中的本地训练迭代次数；

然后，判断训练后的损失值是否小于中位数损失值，若小于，则停止本地迭代训练；否则，根据当前轮数确定当前的本地迭代次数为：r为当前轮数；

其中，若迭代训练过程中，客户端的损失值小于中位数损失值或客户端的本地迭代次数达到停止迭代训练。

可选地，步骤3之后，还执行：

步骤4：每个客户端利用公共数据集进行知识蒸馏完成模型权重更新，再将客户端的模型权重和损失值上传至服务器，返回步骤2进行循环更新；

其中，若客户端的模型满足预设标准，则停止循环更新。

第二方面，本发明提供一种联邦学习实现方法，应用于客户端时，包括如下步骤：

S1：使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；

S2：接收服务器传送的平均权值以及客户端所在组的中位数损失值；

其中，所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组得到客户端所在组的中位数损失值；

S3：利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值，以及得到新的损失值；

其中，将更新后的模型权重和损失值上传至服务器进行循环更新，直至本地神经网络模型满足预设标准。

第三方面，本发明一种联邦学习实现方法，应用于服务器时，包括如下步骤：

Step 1：接收客户端上传的模型权重和损失值；

其中，每个客户端与服务器连接，并使用本地神经网络模型以及利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；

Step2：将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；

Step3：接收客户端上传的更新后的模型权重和损失值，并返回Step2，进行循环更新，直至客户端的模型满足预设标准

其中，客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值，再上传给服务器。

第四方面，本发明体用一种基于所述联邦学习实现方法的系统，包括通讯连接客户端和服务器；

其中，客户端包括：本地收发模块和训练模块；

所述训练模块，用于使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；

所述本地收发模块，用于将模型权重和损失值上传至服务器；以及用于接收服务器发送的平均权值和所在组的中位数损失值；

所述训练模块，还用于利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值；

所述服务器包括：服务器收发模块、加权平均计算模块、分组模块；

所述服务器收发模块，用于接收客户端发送的模型权重和损失值；

所述加权平均计算模块，用于将所有客户端的模型权重进行加权平均计算得到平均权重；

所述分组模块，用于根据每个客户端的损失值对客户端进行分组；

所述服务器收发模块，还用于将平均权重和客户端所在组的中位数损失值发送给对应客户端。

第五方面，本发明提供一种终端设备，所述终端设备为客户端或服务器，其包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：所述的联邦学习实现方法的步骤。

第六方面，本发明提供一种可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以执行：所述的联邦学习实现方法的步骤。

有益效果

1.本发明提供了一种联邦学习实现方法，所述方法利用客户端的损失值对客户端进行分组，每个客户端再以所在组的中位数损失值为标准调整本地训练迭代次数，有效降低本地计算复杂度，提升联邦学习的效率。

2.本发明的进一步优选方案中，利用公共数据集进行知识蒸馏，将客户端作为教师网络，将服务器作为学生网络，利用知识蒸馏进行模型融合，进一步发掘各个客户端的数据价值，提高模型训练的稳定性、收敛性和分类性能，以解决现有基于联邦学习的模型参数训练方法无法满足跨数据孤岛模型参数训练所需性能要求的问题。尤其是针对现有直接使用参数平均的模型参数训练方法，其中，参数平均的方法会使得模型的决策边界模糊，尤其是各个参与方的数据是非独立同分布的情况下，将极大影响模型的性能，而本发明利用知识蒸馏，进一步优化模型本地参数。

附图说明

图1是本发明所述方法提供的模型通信示意图；

图2是本发明所述方法提供的流程示意图。

具体实施方式

本发明提供一种联邦学习实现方法，是用于解决数据孤岛问题，其中，本发明尤其关注模型参数优化以及模型训练效率。为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明，但本发明可以由权力要求限定和覆盖的多种不同方式实施。

实施例1：

本实施例提供的一种联邦学习实现方法，应用于客户端和服务器，包括如下步骤：

如图1所示，一个中央服务以及多个客户端，客户端与服务器之间通讯连接，由于分布式计算的本地数据通常与节点的位置有关，可以是独立同分布的也可以是非独立同分布的。客户端上本地神经网络的类型不受约束，譬如CNN。

首先，利用随机初始化的本地神经网络进行第一轮本地迭代计算，具体的，客户端使用本地私有数据和本地随机初始化参数进行本地模型更新，得到模型权重和损失值。其中模型权重实质上为模型的本地参数，即待优化的模型参数。

本实施例中，训练的目标函数如下：

其中，K为客户端个数，n_k为客户端k的数据样本个数，n为数据样本总数，w是模型权重，是客户端k的数据集。通常，f_i(w)通过使用模型参数w对数据(x_i,y_i)的交叉熵损失进行计算得到损失值，即f_i(w)＝L(x_i,y_i；w)，数据x_i,y_i对应为模型的输入数据以及输出数据，每个客户端通过梯度下降更新本地模型参数(模型权重w)：

其中，η为学习率，w^k为客户端k的本地模型参数。

上述表述中，损失值由损失由交叉熵损失函数计算得到：

式中，y_i是期望输出，是实际输出。

步骤2：所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端。

其中，加权平均计算时，以客户端的数据样本个数与所有数据样本总个数的比值作为权重，再进行加权平均计算，因此，全局模型参数的更新公式如下：

其中，w_t+1为第t+1轮全局模型参数，是第t轮全局迭代中客户端k的模型权重，通过将第t轮每个客户端的模型参数加权平均更新全局模型的模型参数，即得到平均权重。

本实施例中根据每个客户端的损失值对客户端进行分组时，以每个客户端的损失值与所在组的中位数损失值的差的绝对值之和最小为分组依据。

其中，中位数损失值指代：将客户端上传的损失排序后的中位数损失值，若参与训练的客户端个数K为奇数则中位数损失值为排序后的下标(从0开始)为的损失值，否则为下标为/>和/>的算数平均数。

中位数有这一性质：对于一个有限数列x₁,x₂,...,x_n，中位数x使得f(x)＝|x₁-x|+|x₂-x|+...+|x_n-x|即曼哈顿距离取得最小值。因此，分组时，若组数g是固定值，则将客户端上传的损失按照从小到大排列(记录每个损失是从哪个客户端来的)，然后将它们划分成g组，得到g个曼哈顿距离，求解使得g个曼哈顿距离之和的最小的最佳划分方式。若组数g在某一范围可以任意取值，则遍历g的取值范围，每次针对一个g值，将客户端上传的损失按照从小到大排列(记录每个损失是从哪个客户端来的)，然后将它们划分成g组，得到g个曼哈顿距离，求解使得g个曼哈顿距离之和的最小值，然后再从中选择值最小是对应的g值及其分组规律。

具体的划分过程如下：

把N个客户端上传的损失按照从小到大排列(记录每个损失从哪个客户端上传)，然后将它们划分成g组，得到g个曼哈顿距离，求解使得g个曼哈顿距离之和的最小的最佳划分方式，不同于已有方法。

对于1≤k≤i,显然有：

其中，表示前i个损失分成了j组后，得到的j个曼哈顿距离之和的最小值，cost_ki为从下标为k～i的客户端损失的曼哈顿距离。通过迭代计算最终可以得到将N个客户端分成g组的最佳划分方式。迭代计算过程如下：一共N个损失，按照从小到大的顺序存在一维数组中，将这些损失分成g组。迭代算法一共是三重for循环，第一个枚举i，范围从1～N，第二个枚举j，范围从1～G，第三个枚举k，范围从1～i，在最后一个for循环中按照上述公式不断更新/>迭代算法的时间复杂度为O(GN²)。观察上述公式可以发现只要记录每组客户端的最后一次划分就能知道客户端的划分情况。每次全局迭代中都进行上述的调整，然后，每个客户端可以根据自身损失与组中的中位数损失比较来自适应调整本地计算的迭代次数，以此来减小联邦学习的本地计算复杂度。

步骤3：客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值。

其中，基于中位数损失值自适应调节本地迭代次数的过程如下：

然后，判断训练后的损失值是否小于中位数损失值，若小于，则停止本地迭代训练；否则，根据当前轮数确定当前的本地迭代次数为：r为当前轮数。其中，客户端每接收服务器下发的平均权重并进行迭代训练视为一轮训练过程。

需要说明的是，本实施例中，执行完步骤3后得到新的模型权重以及损失值后，若客户端的本地神经网络模型还未达到预设标准，则客户端继续上传模型权重以及损失值至服务器进行下一轮运算，直至客户端的本地神经网络满足预设标准。所述预设标准是可以根据实际需求进行设定的，譬如设定的最大轮数、或者设定的客户端的模型精度、或者设定的客户端的模型误差允许范围等等。

本实施例中，充分利用了客户端分组后，所在组的中位数损失值来调整迭代次数，以降低本地迭代次数，提高运算效率。

实施例2：

本实施例在实施例1的基础上，每一轮运算时，加入了知识蒸馏操作，提升了模型的性能，具体以下步骤：

本实施例中步骤1-步骤3的具体实现过程可以参照实施例1中的相关陈述。

其中，若客户端的模型满足预设标准，则停止循环更新。

本实施例中，在一个共享的小数据集上进行知识蒸馏操作，知识蒸馏的目的是让学生网络学到教师网络中的知识，将所有客户端模型作为教师网络，中央服务器的全局模型作为学生网络，整个过程主要分成两步：

(1)每个客户端在公共数据集上得到充分的训练后，将教师网络模型经过Softmax层的前一层的输出进行平均得到的AVGLOGITS指导学生网络模型的训练，即以AVGLOGITS做为蒸馏数据集的标签训练学生网络。AVGLOGITS计算方式如下：

其中m是客户端个数，f_k是客户端本地模型，其输出是Softmax层的上一层的输出，将共享的数据作为模型间通信的基础，通过模型蒸馏来完成模型间知识共享，每个参与者f_k通过共享在公共数据集上计算的分类分数/>来表示自己的学习到的知识。中央服务器收集这些分类分数并计算平均值/>该值可以称为共识(Consensus)。然后各方在D₀上继续训练使得f_k的输出接近共识/>

(2)各客户端在自己的私有数据集上对f_k继续训练少量epoch，进行微调。

本实施例中，从每个客户端中取出5％～10％的数据或者是同类型数据或者由对抗生成网络生成的数据作为公共数据集，该公共数据集中数据更接近均匀分布，通过该数据进行知识蒸馏使不同分布客户端得到共识。

实施例3：

本实施例提供的一种联邦学习实现方法，应用于客户端时，包括如下步骤：

S3：利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值，以及得到新的损失值；

需要说明的是，本实施例中以客户端的角度来阐述联邦学习实现方法。其中，各个步骤的具体实现过程可以参照前述实施例1以及实施例2的内容，应当理解，本实施例中，在步骤S3之后优选进行知识蒸馏操作。

实施例4：

本实施例提供的一种联邦学习实现方法，应用于服务器时，包括如下步骤：

Step 1：接收客户端上传的模型权重和损失值；

其中，客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值，再上传给服务器。

需要说明的是，本实施例中以服务器的角度来阐述联邦学习实现方法。其中，各个步骤的具体实现过程可以参照前述实施例1以及实施例2的内容，应当理解，本实施例中，在步骤Step 3之后优选进行知识蒸馏操作。

实施例5：

对应的实施例1以及实施例2，本实施例提供一种基于所述联邦学习实现方法的系统，包括通讯连接客户端和服务器；

其中，客户端包括：本地收发模块和训练模块；

所述训练模块，还用于利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值；

在有些实现方式中，对应于实施例2，客户端上包括知识蒸馏模块，所述知识蒸馏模块，用于利用公共数据集进行知识蒸馏完成模型权重更新。

需要说明的是，应当理解，各个模块单元的实现过程请参照对应方法的阐述，在此不再赘述。本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用硬件或软件的形式来实现。

实施例6：

本实施例提供的一种终端设备，所述终端设备为客户端时，其存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：

应当理解，在一些实现方式中，在步骤S3之后优选进行知识蒸馏操作。其中，各个步骤的具体实现过程请参照前述方法的陈述。

此外，若本实施例提供的一种终端设备，所述终端设备为服务器时，其包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：

Step1：接收客户端上传的模型权重和损失值；

应当理解，在一些实现方式中，在步骤Step3之后优选进行知识蒸馏操作。其中，各个步骤的具体实现过程请参照前述方法的陈述。

实施例7：

本发明实施例提供一种可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以执行：实施例1-实施例4中任一所述的联邦学习的实现方法。

应用实例：

本发明将客户端的本地私有数据以MNIST数据为例，存在两种数据分布设置：独立同分布设置下，每个客户端分别有5000张不重叠的随机从总体随机采样的图像。非独立同分布设置下，通过迪利克雷分布(Dirichlet Distributions)创建不重叠的客户端数据,α控制非独立同分布程度，α＝100时说明所有客户端本地数据分布相同，α越小则客户端越有可能只有随机选择的一类数据。本地神经模型选择ResNet-18进行实际应用。

本发明所述方法应用广泛，譬如，当所述方法应用于求解不同医院之间的数据孤岛问题时，每个客户端可以视为一个独立的医院。综上所述，本发明中一个客户端的只是可以其他客户端所理解，而无需显式地共享其私有数据或模型结构，通过知识蒸馏进行模型融合，进一步发掘各个参与方的数据价值，提高模型训练的稳定性、收敛性和分类性能。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims

1.一种联邦学习实现方法，其特征在于：所述方法应用于求解不同医院之间的数据孤岛问题，每个客户端为一个独立的医院；所述方法包括如下步骤：

步骤2中根据每个客户端的损失值对客户端进行分组的分组依据如下：以每个客户端的损失值与所在组的中位数损失值的差的绝对值之和最小；

依据所述分组依据对客户端进行分组的过程为：将N个客户端上传的损失按照从小到大排列，并按照如下迭代过程将N个客户端划分为g组得到g个曼哈顿距离，且所述g个曼哈顿距离之和最小，其中，所述迭代过程如下：

其中，参数k遍历计算完成后，返回步骤B，在参数j的取值范围更新参数j，再执行步骤C；待参数j遍历完成后，再返回步骤A，在参数i的取值范围更新参数i，再执行步骤B与步骤C，实现循环迭代，直至将N个损失化为g组得到的g个曼哈顿距离之和最小，g小于或等于G；

步骤3中基于中位数损失自适应调节本地迭代次数的过程如下：

其中，若迭代训练过程中，客户端的损失值小于中位数损失值或客户端的本地迭代次数达到停止迭代训练；

2.根据权利要求1所述的方法，其特征在于：步骤3之后，还执行：

其中，若客户端的模型满足预设标准，则停止循环更新。

3.一种联邦学习实现方法，应用于客户端时，其特征在于，所述方法应用于求解不同医院之间的数据孤岛问题，每个客户端为一个独立的医院；所述方法包括如下步骤：

4.一种联邦学习实现方法，应用于服务器时，其特征在于，所述方法应用于求解不同医院之间的数据孤岛问题，每个客户端为一个独立的医院；所述方法包括如下步骤：

Step 1：接收客户端上传的模型权重和损失值；

根据每个客户端的损失值对客户端进行分组的分组依据如下：以每个客户端的损失值与所在组的中位数损失值的差的绝对值之和最小；

其中，客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值，再上传给服务器；

基于中位数损失自适应调节本地迭代次数的过程如下：

5.一种实现权利要求1所述方法的联邦学习实现系统，其特征在于：包括通讯连接客户端和服务器；

其中，客户端包括：本地收发模块和训练模块；

6.一种终端设备，所述终端设备为客户端或服务器，其特征在于，其包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：权利要求3所述的联邦学习实现方法或权利要求4所述的联邦学习实现方法的步骤。

7.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以执行：权利要求1或权利要求3或权利要求4所述的联邦学习实现方法的步骤。