CN113988314A - 一种选择客户端的分簇联邦学习方法及系统 - Google Patents

Abstract

本发明提供了一种选择客户端的分簇联邦学习方法及系统，其中，方法包括：获取数据样品标签矩阵；数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；根据数据样品标签矩阵，利用K‑Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；分别利用每个簇中的客户端的本地数据，对全局初始模型进行训练，得到每个簇的簇全局模型。本发明通过将为与服务器连接的多个客户端进行分簇处理并分别进行连邦学习，能够降低Non‑IID数据程度对联邦学习的影响，同时降低客户端上传本地模型至服务器阶段的通信开销。

Description

一种选择客户端的分簇联邦学习方法及系统

技术领域

本发明涉及机器训练技术领域，特别是涉及一种选择客户端的分簇联邦学习方法及系统。

背景技术

近年来，随着大数据和物联网的快速发展，数据量呈现爆炸式增长。在海量数据中，用户的隐私保护问题显得格外的突出。在普通的分布式机器学习的训练过程中，若干客户端的本地数据会直接发送至服务器，进行统一训练，这无疑会增大用户隐私泄露的危险。研究者为保护用户隐私，研究出了联邦学习技术。联邦学习技术由Google在2016年首次提出，之后被应用于移动设备输入法的下一词联想模型的训练和部署。联邦学习的设计目标是在保证每个参与训练用户数据的安全前提下，无需将所有数据集中到中央服务器就能够训练机器学习模型的技术。因此，客户端的数据只需在本地就可以完成模型的训练，从而在一定程度上解决了隐私保护的问题，让客户端的数据能够在多客户端的参与下进行安全的交互建模和学习，从而达到理想的共同收益。

但是，在联邦学习的实际应用环境中，非独立同分布数据(Non-Independent andIdentically Distributed，Non-IID)会对联邦学习的训练带来以下的影响：模型训练带来偏差、导致准确率下降、影响模型的性能以及训练轮次过多导致模型不能够快速收敛。

发明内容

本发明的目的是提供一种选择客户端的分簇联邦学习方法及系统，能够降低Non-IID数据程度对联邦学习的影响，同时降低客户端上传本地模型至服务器阶段的通信开销。

为实现上述目的，本发明提供了如下方案：

一种选择客户端的分簇联邦学习方法，包括：

获取数据样品标签矩阵；所述数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；

根据所述数据样品标签矩阵，利用K-Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；

分别利用每个所述簇中的客户端的本地数据，对全局初始模型进行训练，得到每个所述簇的簇全局模型。

可选的，所述分别利用每个所述簇中的客户端的本地数据，对全局初始模型进行训练，得到每个所述簇的簇全局模型，具体包括：

确定任一簇为当前簇；

所述当前簇中的多个客户端分别获取服务器发送的全局初始模型，并将所述全局初始模型确定为本地初始模型；

所述当前簇中的多个客户端分别利用本地数据，对所述本地初始模型进行训练，得到所述当前簇中的每个客户端的本地模型；

根据多个所述本地模型，更新所述当前簇；

所述服务器将更新后的所述当前簇中多个客户端对应的本地模型进行聚合，得到当前簇的聚合模型；

判断所述当前簇的聚合模型是否收敛，得到第一判断结果；

若所述第一判断结果为否，则将所述当前簇的聚合模型作为所述本地初始模型，并返回步骤“所述当前簇中的多个客户端分别利用本地数据，对所述本地初始模型进行训练，得到所述当前簇中的每个客户端的本地模型”；

若所述第一判断结果为是，则确定当前簇的聚合模型为所述当前簇的簇全局模型。

可选的，所述根据多个所述本地模型，更新所述当前簇，具体包括：

分别计算所述当前簇中多个本地模型的评估分数；

根据所述评估分数，更新每个所述本地模型的惩罚因子；

删除所述当前簇中惩罚因子小于惩罚因子阈值的本地模型对应的客户端，得到更新后所述当前簇。

可选的，所述根据所述评估分数，更新每个所述本地模型的惩罚因子，具体包括：

确定所述当前簇中任一客户端对应的本地模型为当前本地模型；

判断所述当前本地模型的评估分数是否小于评估分数阈值，得到第二判断结果；

若所述第二判断结果为是，则将所述当前本地模型的惩罚因子的数值减小1；

若所述第二判断结果为否，则将所述当前本地模型的惩罚因子的数值增加1。

可选的，所述评估分数的计算公式为：

其中，S为评估分数；E为总通信轮次；w_e+M为客户端i在e+M轮的训练权重；acc_i，e+M为客户端i在第e+M轮的训练准确率；M为1次迭代时本地模型的训练次数；test_{acc，i，e+M}为客户端i在第e+M轮的测试准确率；avg_acc，e+M为该簇中的客户端在第e+M轮的平均准确率。

一种选择客户端的分簇联邦学习系统，包括：

数据样品标签矩阵获取模块，用于获取数据样品标签矩阵；所述数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；

分簇处理模块，用于根据所述数据样品标签矩阵，利用K-Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；

簇全局模型确定模块，用于分别利用每个所述簇中的客户端的本地数据，对全局初始模型进行训练，得到每个所述簇的簇全局模型。

可选的，所述簇全局模型确定模块，具体包括：

当前簇确定子模块，用于确定任一簇为当前簇；

本地初始模型确定子模块，用于所述当前簇中的多个客户端分别获取服务器发送的全局初始模型，并将所述全局初始模型确定为本地初始模型；

本地模型确定子模块，用于使所述当前簇中的多个客户端分别利用本地数据，对所述本地初始模型进行训练，得到所述当前簇中的每个客户端的本地模型；

当前簇更新子模块，用于根据多个所述本地模型，更新所述当前簇；

聚合模型确定子模块，用于使所述服务器将更新后的所述当前簇中多个客户端对应的本地模型进行聚合，得到当前簇的聚合模型；

第一判断子模块，用于判断所述当前簇的聚合模型是否收敛，得到第一判断结果；若所述第一判断结果为否，则调用本地初始模型更新子模块；若所述第一判断结果为是，则调用簇全局模型确定子模块；

本地初始模型更新子模块，用于将所述当前簇的聚合模型作为所述本地初始模型，并调用所述本地模型确定子模块；

簇全局模型确定子模块，用于确定当前簇的聚合模型为所述当前簇的簇全局模型。

可选的，所述当前簇更新子模块，具体包括：

评估分数计算单元，用于分别计算所述当前簇中多个本地模型的评估分数；

惩罚因子更新单元，用于根据所述评估分数，更新每个所述本地模型的惩罚因子；

当前簇更新单元，用于删除所述当前簇中惩罚因子小于惩罚因子阈值的本地模型对应的客户端，得到更新后所述当前簇。

可选的，所述惩罚因子更新单元，具体包括：

当前本地模型确定子单元，用于确定所述当前簇中任一客户端对应的本地模型为当前本地模型；

第二判断子单元，用于判断所述当前本地模型的评估分数是否小于评估分数阈值，得到第二判断结果；若所述第二判断结果为是，则调用第一惩罚因子更新子单元；若所述第二判断结果为否，则调用第二惩罚因子更新子单元；

第一惩罚因子更新子单元，用于将所述当前本地模型的惩罚因子的数值减小1；

第二惩罚因子更新子单元，用于将所述当前本地模型的惩罚因子的数值增加1。

可选的，所述评估分数的计算公式为：

其中，S为评估分数；E为总通信轮次；w_c+M为客户端i在e+M轮的训练权重；acc_i，e+M为客户端i在第e+M轮的训练准确率；M为1次迭代时本地模型的训练次数；test_{acc，i，e+M}为客户端i在第e+M轮的测试准确率；avg_acc，e+M为该簇中的客户端在第e+M轮的平均准确率。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种选择客户端的分簇联邦学习方法及系统，其中，方法包括：获取数据样品标签矩阵；数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；根据数据样品标签矩阵，利用K-Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；分别利用每个簇中的客户端的本地数据，对全局初始模型进行训练，得到每个簇的簇全局模型。本发明通过将为与服务器连接的多个客户端进行分簇处理并分别进行连邦学习，能够降低Non-IID数据程度对联邦学习的影响，同时降低客户端上传本地模型至服务器阶段的通信开销。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中选择客户端的分簇联邦学习方法流程图；

图2为本发明实施例中客户端分簇流程图；

图3为本发明实施例中选择客户端的分簇联邦学习过程框架图；

图4为本发明实施例中客户端训练过程中的选择流程。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种选择客户端的分簇联邦学习方法及系统，能够降低Non-IID数据程度对联邦学习的影响，同时降低客户端上传本地模型至服务器阶段的通信开销。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例中选择客户端的分簇联邦学习方法流程图，如图1，本发明提供了一种选择客户端的分簇联邦学习方法，包括：

步骤101：获取数据样品标签矩阵；数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；

步骤102：根据数据样品标签矩阵，利用K-Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；

步骤103：分别利用每个簇中的客户端的本地数据，对全局初始模型进行训练，得到每个簇的簇全局模型。

步骤103，具体包括：

确定任一簇为当前簇；

当前簇中的多个客户端分别获取服务器发送的全局初始模型，并将全局初始模型确定为本地初始模型；

当前簇中的多个客户端分别利用本地数据，对本地初始模型进行训练，得到当前簇中的每个客户端的本地模型；

根据多个本地模型，更新当前簇；

服务器将更新后的当前簇中多个客户端对应的本地模型进行聚合，得到当前簇的聚合模型；

判断当前簇的聚合模型是否收敛，得到第一判断结果；

若第一判断结果为否，则将当前簇的聚合模型作为本地初始模型，并返回步骤“当前簇中的多个客户端分别利用本地数据，对本地初始模型进行训练，得到当前簇中的每个客户端的本地模型”；

若第一判断结果为是，则确定当前簇的聚合模型为当前簇的簇全局模型。

其中，根据多个本地模型，更新当前簇，具体包括：

分别计算当前簇中多个本地模型的评估分数；

根据评估分数，更新每个本地模型的惩罚因子；

删除当前簇中惩罚因子小于惩罚因子阈值的本地模型对应的客户端，得到更新后当前簇。

具体的，根据评估分数，更新每个本地模型的惩罚因子，具体包括：

确定当前簇中任一客户端对应的本地模型为当前本地模型；

判断当前本地模型的评估分数是否小于评估分数阈值，得到第二判断结果；

若第二判断结果为是，则将当前本地模型的惩罚因子的数值减小1；

若第二判断结果为否，则将当前本地模型的惩罚因子的数值增加1。

具体的，评估分数的计算公式为：

其中，S为评估分数；E为总通信轮次；w_e+M为客户端i在e+M轮的训练权重；acc_i，e+M为客户端i在第e+M轮的训练准确率；M为1次迭代时本地模型的训练次数；test_{acc，i，e+M}为客户端i在第e+M轮的测试准确率；avga_cc，e+M为该簇中的客户端在第e+M轮的平均准确率。

具体的，本发明阐述了一种基于分簇的联邦学习客户端选择方法。该方法主要是筛选在每个簇中训练的客户端的模型质量的好坏或者是具有一定破坏行为的恶意客户端。该方法起到了能够保证多客户端之间训练的可靠性和安全性，在不降低训练准确率的保证下，降低客户端与服务器之间的通信开销。该方法主要体现在簇内客户端的选择，而不过多介绍对客户端进行分簇的方法，具体方案如下所示：

Step 1：对客户端进行分簇(采用客户端上传数据样本标签的方式)。

1.1、首先，所有参与训练的客户端将自己的数据样本标签以one-hot编码的方式上传至服务器，上传过程可使用某种安全协议(安全多方计算、同态加密和差分隐私等)保证客户端的数据不被识别。

1.2、之后，服务器根据每个客户端上传的数据样本标签信息后，形成一个数据样本标签矩阵。

1.3、最后，服务器基于该数据样本标签矩阵使用K-Means++算法对每个客户端进行分簇，使具有相似标签信息的客户端放在同一个簇内。簇的数量由K-Means++算法中的k值而定。

在K-Means++算法中，本方法采用余弦相似度来度量每个客户端之间的相似性，假设客户端i和客户端j的余弦相似度表示如下：

sim(x_i，x_j)＝||x_i，x_j||

假设共N个客户端参与训练及分成k个簇。经过K-Means++算法之后，可以得到客户端簇c₁，c₂，…，c_k如图2。

Step 2：联邦训练

在该步骤中，我们分别对每个簇中的客户端进行联邦训练，并在训练的过程中评估出符合我们要求的客户端。图3为选择客户端的分簇联邦学习过程框架图。我们在此假设，训练需要用到的参数：本地训练次数E，簇内客户端数目n，计算阈值M，惩罚因子P，惩罚宽容因子Q，评估分数S，平均准确率avg，测试准确率test_acc以及准确率acc。其中，M表示在训练过程中每训练M次进行一次计算；P表示每训练M次如果评估分数S的值小于0，则P减1，否则，P加1；S表示每训练M次的评估分数；avg表示的意思为，在每训练M次该簇中所有客户端的平均准确率；test_acc表示的意思为，在每训练M次，客户端i的测试准确率。

2.1、服务器初始化全局模型w₀，并将该全局模型发送给每个簇中的客户端。

2.2、在簇c_k中，客户端i收到服务器发送的全局模型之后，将自己持有的本地数据与全局模型进行本地训练。

2.3、在训练过程中，我们每M个回合就对参加训练的客户端计算一次评估分数S。评估分数S的表达式如下：

2.4、每个客户端计算评估分数S之后，进行判断评估分数S是否符合系统所设置的阈值0(评估分数阈值)。若评估分数S≥0，则符合我们对该客户端的评估，其惩罚因子P加1；否则说明该客户端，在该次评估中模型质量较差。或者说，该客户端的数据样本标签与簇中其它客户端差别较大，因此，惩罚因子P减1。惩罚因子P的初始值为0。

2.5、如图4，每个客户端的模型质量评价结束后，得到了每个客户端新的惩罚因子P。我们假设惩罚宽容因子Q＝2，即P＝Q＝|2|。此时，我们将判断每个客户端的惩罚因子大小。若客户端i的惩罚因子-2≤P≤2时，该客户端仍可以参与下一通信轮次的训练；若P＞2时，说明客户端i的模型质量较好；若P＜-2时，客户端将被剔除，不再进行后续的联邦训练。

2.6、当所有的客户端训练结束后，将训练好的本地模型上传至服务器，等待服务器的聚合操作。注：惩罚因子P＜-2的客户端，将不再上传本地模型。

2.7、服务器收到每个客户端本地模型之后，将每个簇的客户端分别聚合成新的全局模型，即

2.8、服务器将新的全局模型发送给对应簇的客户端中，进行下一轮次的训练。直到模型收敛为止。

本发明还提供了一种选择客户端的分簇联邦学习系统，包括：

数据样品标签矩阵获取模块，用于获取数据样品标签矩阵；数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；

分簇处理模块，用于根据数据样品标签矩阵，利用K-Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；

簇全局模型确定模块，用于分别利用每个簇中的客户端的本地数据，对全局初始模型进行训练，得到每个簇的簇全局模型。

其中，簇全局模型确定模块，具体包括：

当前簇确定子模块，用于确定任一簇为当前簇；

本地初始模型确定子模块，用于当前簇中的多个客户端分别获取服务器发送的全局初始模型，并将全局初始模型确定为本地初始模型；

本地模型确定子模块，用于使当前簇中的多个客户端分别利用本地数据，对本地初始模型进行训练，得到当前簇中的每个客户端的本地模型；

当前簇更新子模块，用于根据多个本地模型，更新当前簇；

聚合模型确定子模块，用于使服务器将更新后的当前簇中多个客户端对应的本地模型进行聚合，得到当前簇的聚合模型；

第一判断子模块，用于判断当前簇的聚合模型是否收敛，得到第一判断结果；若第一判断结果为否，则调用本地初始模型更新子模块；若第一判断结果为是，则调用簇全局模型确定子模块；

本地初始模型更新子模块，用于将当前簇的聚合模型作为本地初始模型，并调用本地模型确定子模块；

簇全局模型确定子模块，用于确定当前簇的聚合模型为当前簇的簇全局模型。

具体的，当前簇更新子模块，具体包括：

评估分数计算单元，用于分别计算当前簇中多个本地模型的评估分数；

惩罚因子更新单元，用于根据评估分数，更新每个本地模型的惩罚因子；

当前簇更新单元，用于删除当前簇中惩罚因子小于惩罚因子阈值的本地模型对应的客户端，得到更新后当前簇。

优选地，惩罚因子更新单元，具体包括：

当前本地模型确定子单元，用于确定当前簇中任一客户端对应的本地模型为当前本地模型；

第二判断子单元，用于判断当前本地模型的评估分数是否小于评估分数阈值，得到第二判断结果；若第二判断结果为是，则调用第一惩罚因子更新子单元；若第二判断结果为否，则调用第二惩罚因子更新子单元；

第一惩罚因子更新子单元，用于将当前本地模型的惩罚因子的数值减小1；

第二惩罚因子更新子单元，用于将当前本地模型的惩罚因子的数值增加1。

具体的，评估分数的计算公式为：

其中，S为评估分数；E为总通信轮次；w_e+M为客户端i在e+M轮的训练权重；acc_i，e+M为客户端i在第e+M轮的训练准确率；M为1次迭代时本地模型的训练次数；test_{acc，i，e+M}为客户端i在第e+M轮的测试准确率；avg_acc，c+M为该簇中的客户端在第e+M轮的平均准确率。

综上，本发明可以某个簇内，剔除掉质量较差的客户端，即数据样本标签与该簇内其他客户端相差较大的客户端。可以进一步解决Non-IID数据问题；剔除掉质量较差的客户端，可以进一步提高联邦学习算法的准确率，使得模型可以快速达到收敛状态，在上传本地模型期间，不再上传质量较差的客户端，可以一定程度上节省上行链路的通信开销；质量较差的客户端，亦可能是带有攻击性或者威胁性的恶劣客户端，这样的客户端对联邦学习算法是具有很大威胁的，严重情况下会导致客户端的隐私泄露。因此，该方法可以有效地在安全性方面得到较好的保障。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种选择客户端的分簇联邦学习方法，其特征在于，所述方法，包括：

获取数据样品标签矩阵；所述数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；

根据所述数据样品标签矩阵，利用K-Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；

分别利用每个所述簇中的客户端的本地数据，对全局初始模型进行训练，得到每个所述簇的簇全局模型。

2.根据权利要求1所述的选择客户端的分簇联邦学习方法，其特征在于，所述分别利用每个所述簇中的客户端的本地数据，对全局初始模型进行训练，得到每个所述簇的簇全局模型，具体包括：

确定任一簇为当前簇；

所述当前簇中的多个客户端分别获取服务器发送的全局初始模型，并将所述全局初始模型确定为本地初始模型；

所述当前簇中的多个客户端分别利用本地数据，对所述本地初始模型进行训练，得到所述当前簇中的每个客户端的本地模型；

根据多个所述本地模型，更新所述当前簇；

所述服务器将更新后的所述当前簇中多个客户端对应的本地模型进行聚合，得到当前簇的聚合模型；

判断所述当前簇的聚合模型是否收敛，得到第一判断结果；

若所述第一判断结果为否，则将所述当前簇的聚合模型作为所述本地初始模型，并返回步骤“所述当前簇中的多个客户端分别利用本地数据，对所述本地初始模型进行训练，得到所述当前簇中的每个客户端的本地模型”；

若所述第一判断结果为是，则确定当前簇的聚合模型为所述当前簇的簇全局模型。

3.根据权利要求2所述的选择客户端的分簇联邦学习方法，其特征在于，所述根据多个所述本地模型，更新所述当前簇，具体包括：

分别计算所述当前簇中多个本地模型的评估分数；

根据所述评估分数，更新每个所述本地模型的惩罚因子；

删除所述当前簇中惩罚因子小于惩罚因子阈值的本地模型对应的客户端，得到更新后所述当前簇。

4.根据权利要求3所述的选择客户端的分簇联邦学习方法，其特征在于，所述根据所述评估分数，更新每个所述本地模型的惩罚因子，具体包括：

确定所述当前簇中任一客户端对应的本地模型为当前本地模型；

判断所述当前本地模型的评估分数是否小于评估分数阈值，得到第二判断结果；

若所述第二判断结果为是，则将所述当前本地模型的惩罚因子的数值减小1；

若所述第二判断结果为否，则将所述当前本地模型的惩罚因子的数值增加1。

5.根据权利要求3所述的选择客户端的分簇联邦学习方法，其特征在于，所述评估分数的计算公式为：

其中，S为评估分数；E为总通信轮次；w_e+M为客户端i在e+M轮的训练权重；acc_i，e+M为客户端i在第e+M轮的训练准确率；M为1次迭代时本地模型的训练次数；test_{acc，i，e+M}为客户端i在第e+M轮的测试准确率；avg_acc，e+M为该簇中的客户端在第e+M轮的平均准确率。

6.一种选择客户端的分簇联邦学习系统，其特征在于，所述系统，包括：

数据样品标签矩阵获取模块，用于获取数据样品标签矩阵；所述数据样品标签矩阵中的元素为与服务器连接的多个客户端的本地数据标签；

分簇处理模块，用于根据所述数据样品标签矩阵，利用K-Means++算法对为与服务器连接的多个客户端进行分簇处理，得到多个簇；

簇全局模型确定模块，用于分别利用每个所述簇中的客户端的本地数据，对全局初始模型进行训练，得到每个所述簇的簇全局模型。

7.根据权利要求6所述的选择客户端的分簇联邦学习系统，其特征在于，所述簇全局模型确定模块，具体包括：

当前簇确定子模块，用于确定任一簇为当前簇；

本地初始模型确定子模块，用于所述当前簇中的多个客户端分别获取服务器发送的全局初始模型，并将所述全局初始模型确定为本地初始模型；

本地模型确定子模块，用于使所述当前簇中的多个客户端分别利用本地数据，对所述本地初始模型进行训练，得到所述当前簇中的每个客户端的本地模型；

当前簇更新子模块，用于根据多个所述本地模型，更新所述当前簇；

聚合模型确定子模块，用于使所述服务器将更新后的所述当前簇中多个客户端对应的本地模型进行聚合，得到当前簇的聚合模型；

第一判断子模块，用于判断所述当前簇的聚合模型是否收敛，得到第一判断结果；若所述第一判断结果为否，则调用本地初始模型更新子模块；若所述第一判断结果为是，则调用簇全局模型确定子模块；

本地初始模型更新子模块，用于将所述当前簇的聚合模型作为所述本地初始模型，并调用所述本地模型确定子模块；

簇全局模型确定子模块，用于确定当前簇的聚合模型为所述当前簇的簇全局模型。

8.根据权利要7所述的选择客户端的分簇联邦学习系统，其特征在于，所述当前簇更新子模块，具体包括：

评估分数计算单元，用于分别计算所述当前簇中多个本地模型的评估分数；

惩罚因子更新单元，用于根据所述评估分数，更新每个所述本地模型的惩罚因子；

当前簇更新单元，用于删除所述当前簇中惩罚因子小于惩罚因子阈值的本地模型对应的客户端，得到更新后所述当前簇。

9.根据权利要求8所述的选择客户端的分簇联邦学习系统，其特征在于，所述惩罚因子更新单元，具体包括：

当前本地模型确定子单元，用于确定所述当前簇中任一客户端对应的本地模型为当前本地模型；

第二判断子单元，用于判断所述当前本地模型的评估分数是否小于评估分数阈值，得到第二判断结果；若所述第二判断结果为是，则调用第一惩罚因子更新子单元；若所述第二判断结果为否，则调用第二惩罚因子更新子单元；

第一惩罚因子更新子单元，用于将所述当前本地模型的惩罚因子的数值减小1；

第二惩罚因子更新子单元，用于将所述当前本地模型的惩罚因子的数值增加1。

10.根据权利要求8所述的选择客户端的分簇联邦学习系统，其特征在于，所述评估分数的计算公式为：

其中，S为评估分数；E为总通信轮次；w_c+M为客户端i在e+M轮的训练权重；acc_i，e+M为客户端i在第e+M轮的训练准确率；M为1次迭代时本地模型的训练次数；test_{acc，i，e+M}为客户端i在第e+M轮的测试准确率；avg_acc，e+M为该簇中的客户端在第e+M轮的平均准确率。

Images