CN117422151A - 基于推理相似性与软聚类的联邦学习方法和装置 - Google Patents
基于推理相似性与软聚类的联邦学习方法和装置 Download PDFInfo
- Publication number
- CN117422151A CN117422151A CN202311392160.0A CN202311392160A CN117422151A CN 117422151 A CN117422151 A CN 117422151A CN 202311392160 A CN202311392160 A CN 202311392160A CN 117422151 A CN117422151 A CN 117422151A
- Authority
- CN
- China
- Prior art keywords
- model
- client
- cluster
- training
- similarity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012549 training Methods 0.000 claims description 85
- 239000011159 matrix material Substances 0.000 claims description 28
- 238000004138 cluster model Methods 0.000 claims description 19
- 238000012935 Averaging Methods 0.000 claims description 15
- 230000002776 aggregation Effects 0.000 claims description 14
- 238000004220 aggregation Methods 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000006872 improvement Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 description 10
- 238000012360 testing method Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 238000005457 optimization Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明属于联邦学习技术领域，公开一种基于推理相似性与软聚类的联邦学习方法和装置，该方法考虑了non‑IID数据环境中基于推理相似性根据固定阈值进行硬聚类的缺陷，实现了在优化算法的同时提高不同异质程度下的测试精度目标，为了实现这些目标，提出了聚类时基于簇内客户端数量来替代固定阈值的灵活聚类，采用软聚类思路来更好的利用客户端数据特征表现，从而提高了模型的泛化能力和性能。大量的实验结果验证了本发明所提方法的性能和有效性，本发明所提方法与原始算法FLIS比较，在多个数据集下都有不同程度的提升。
Description
技术领域
本发明涉及联邦学习技术领域，尤其涉及在non-IID数据下基于推理相似性与软聚类的联邦学习方法和装置。
背景技术
联邦学习是一种分布式机器学习方法，解决了传统集中式学习方法带来的挑战。在传统的机器学习中，数据通常被聚合在一个中央服务器上，这使其容易发生数据泄漏和安全风险。联邦学习的学习过程是分散的，数据保存在参与设备上。这种方法确保了保护数据的隐私和机密性。联邦学习使用分布式计算来跨多个设备联合训练机器学习模型，而无需共享原始数据。每个客户端使用自己的数据执行本地模型训练，并且只向中央服务器发送模型更新，在中央服务器上聚合模型以构建一个全局模型。这种转变使用户能够在维护数据安全的同时有效地进行协作。联邦学习的适用性可以扩展到各种领域，包括医疗保健、金融和智能设备。通过使机器学习算法更接近数据源，联邦学习促进了模型训练而不损害隐私。然而，在将数据存储在客户机上的分布式体系结构中，它也带来了几个挑战，其中数据异构性尤为突出。联邦学习中的数据异构性问题主要是由参与训练的各客户端的数据虽独立分布但不服从同一采样方法(non-IID)所导致的，这一问题也导致模型精度的严重下降。
为了解决数据异构性问题，根据FedAvg提出了许多优化算法。FedProx通过在优化目标中引入一个近端项,该术语优先考虑了在更新过程中与全局模型权重紧密一致的局部模型权重，从而减轻了non-IID数据和设备异构性的负面影响来提高模型的整体性能。FedNova采用归一化平均，在每次迭代中对单个设备进行局部训练，并在将局部模型参数传输到中央服务器之前进行归一化。随后，服务器从所有设备中收集和标准化参数更新，以减少目标不一致性。虽然这些方法有助于解决数据的异质性，但它们并没有显著改善训练结果。
个性化聚类学习旨在将联邦学习与聚类学习相结合，以进一步满足联邦学习中的个性化需求。它考虑了参与者之间的数据差异和个体特征，允许每个参与者基于自己的数据进行个性化的模型训练和聚类。IFCA是一种迭代联邦聚类算法，该算法交替估计用户的集群身份，并通过梯度下降优化用户集群的模型参数。FLIS算法是最新的一种利用数据相似性进行硬聚类的联邦学习方法。它主要通过利用从服务器端推断出的数据相似性信息来对客户端进行聚类，从而提高了在non-IID数据场景中进行模型训练的效率和性能。
FedProx对于高度异构的数据集，需要仔细调整超参数以达到最佳效果。在某些情况下，FedProx可能需要更多的通信回合和计算时间来实现收敛。FedNova在处理高度异构的数据时，可能仍然遭受性能下降或高通信开销。对于IFCA方法存在一个潜在的风险是，仍然需要用户将他们的集群身份估计发送到中央服务器。
FLIS虽然相较于以往的聚类方法通过推理相似性提高了聚类的准确性，但它也表现出一定的局限性。
(1)FLIS根据固定的阈值来作为聚类的依据，将相似度矩阵值大于阈值的客户端归类到同一个簇中。看似是个很好的方式，但是对于不同数据集以及不同异质程度下的最佳阈值都不同，这种固定的阈值方法可能会忽略客户端之间潜在的相关性和相似性。
(2)另一方面，FLIS采用硬聚类的思路，将每个客户端分配到单独的簇中进行训练，客户端模型更新取决于它们所属的簇。在数据异构性的场景中，不同客户端之间的差异变得相对复杂，以至于硬聚类方法无法精确捕获。因此，它不能更好的利用客户端模型信息来提升训练效果。
发明内容
本发明针对FLIS根据固定阈值聚类和硬聚类导致客户端模型信息利用不足的问题，提出一种基于推理相似性与软聚类的联邦学习方法(FLISC)和装置，将FLIS算法改进为更加灵活的自适应软聚类来增强对算法的优化，这种自适应使客户端能够根据客户端数据分布来执行灵活的聚类。而且为了有效地针对训练过程中出现簇中重叠客户端情况，对具有重叠客户端的簇采用了加权合并策略，利用合并簇中的数据量的比例作为加权因子。通过这些改进，提高了在non-IID数据下联邦学习的测试精确性。
为了实现上述目的，本发明采用以下技术方案：
本发明一方面提出一种基于推理相似性与软聚类的联邦学习方法，包括：
步骤1：在服务器端布置用来进行相似性推理的小数据集；
步骤2：服务器进行模型初始化并下发给参与训练的客户端；
步骤3：客户端收到模型后利用本地数据进行训练；
步骤4：客户端将训练好的模型上传到服务器端；
步骤5：服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
步骤6：将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
步骤7：对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
步骤8：服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
步骤9：客户端收到上一轮的簇集合模型，选择损失最小的簇模型来进行本地训练，之后重复步骤4至步骤9直到训练结束。
进一步地，所述步骤5包括：
服务器基于真实数据或合成数据构成的小数据集来进行客户端模型的相似推理，在对每个客户端推理后，服务器获得一个相应的one-hot编码，一轮训练中所有客户机的one-hot编码形成张量，利用张量的哈达玛积和矩阵二范数运算得到客户端的相似矩阵。
进一步地，所述步骤6包括：
每个客户端选择相似矩阵中值最大的前m个客户端形成簇集合，将簇内客户端的模型进行平均作为簇的模型。
进一步地，所述步骤7包括：
在重叠的客户端集群之间引入加权聚合，在划分簇后先将簇模型进行平均，在合并时将两簇模型根据簇数据量大小作为加权因子进行最终的模型平均。
本发明另一方面提出一种基于推理相似性与软聚类的联邦学习装置，包括：
小数据集布置模块，用于在服务器端布置用来进行相似性推理的小数据集；
模型初始化模块，用于服务器进行模型初始化并下发给参与训练的客户端；
本地模型训练模块，用于客户端收到模型后利用本地数据进行训练；
模型上传模块，用于客户端将训练好的模型上传到服务器端；
推理模块，用于服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
自适应聚类模块，用于将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
重叠簇加权聚合模块，用于对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
模型下发模块，用于服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
迭代训练模块，用于客户端收到上一轮的簇集合模型，选择损失最小的簇模型来进行本地训练，之后重复模型上传模块至迭代训练模块直到训练结束。
进一步地，所述推理模块具体用于：
服务器准备真实数据或合成数据构成的小数据集来进行客户端模型的相似推理，在对每个客户端推理后，服务器获得一个相应的one-hot编码，一轮训练中所有客户机的one-hot编码形成张量，利用张量的哈达玛积和矩阵二范数运算得到客户端的相似矩阵。
进一步地，所述自适应聚类模块具体用于：
每个客户端选择相似矩阵中值最大的前m个客户端形成簇集合，将簇内客户端的模型进行平均作为簇的模型。
进一步地，所述重叠簇加权聚合模块具体用于：
在重叠的客户端集群之间引入加权聚合，在划分簇后先将簇模型进行平均，在合并时将两簇模型根据簇数据量大小作为加权因子进行最终的模型平均。
与现有技术相比，本发明具有的有益效果：
本发明考虑了non-IID数据环境中基于推理相似性根据固定阈值进行硬聚类的缺陷。实现了在优化算法的同时提高不同异质程度下的测试精度目标。为了实现这些目标，提出了聚类时基于簇内客户端数量来替代固定阈值的灵活聚类，采用软聚类思路来更好的利用客户端数据特征表现，从而提高了模型的泛化能力和性能。大量的实验结果验证了本发明所提方法的性能和有效性，聚类联邦学习算法与一般的传统联邦学习算法效果保持较大的提升。FLISC与原始算法FLIS比较，在多个数据集下都有不同程度的提升。较明显的在CIFAR-10数据集上，FLISC在不同水平的数据异质情况下测试精度比FLIS平均提高了近1个百分点。
附图说明
图1为本发明实例提供的non-IID数据下基于推理相似性与软聚类的联邦学习方法(m＝2)的流程示意图；
图2为本发明实例实验中的神经网络结构示意图；
图3为在Fashion-MNIST数据集非iid标签倾斜(20％)情况下根据簇内数量为(1,2,3,5)内在30轮，60轮，90轮训练结果的精度对比；
图4为在Fashion-MNIST数据集非iid标签倾斜(30％)情况下根据簇内数量为(1,2,3,5)内在30轮，60轮，90轮训练结果的精度对比；
图5为在CIFAR-10数据集非iid标签倾斜(20％)情况下根据簇内数量为(1,2,3,5)内在30轮，60轮，90轮训练结果的精度对比；
图6为在CIFAR-10数据集非iid标签倾斜(30％)情况下根据簇内数量为(1,2,3,5)内在30轮，60轮，90轮训练结果的精度对比；
图7为在Fashion-MNIST数据集非iid标签倾斜(20％)情况下对FLISC(簇内数量为3)和FLIS在200轮训练结果的精度对比；
图8为在Fashion-MNIST数据集非iid标签倾斜(30％)情况下对FLISC(簇内数量为3)和FLIS在200轮训练结果的精度对比；
图9为在CIFAR-10数据集非iid标签倾斜(20％)情况下对FLISC(簇内数量为3)和FLIS在200轮训练结果的精度对比；
图10为在CIFAR-10数据集非iid标签倾斜(30％)情况下对FLISC(簇内数量为3)和FLIS在200轮训练结果的精度对比；
图11为在Fashion-MNIST数据集非iid标签倾斜(20％)情况下根据不同的服务器端数据集大小(2500,5000,7500)对FLISC算法在200轮训练结果的精度对比；
图12为在Fashion-MNIST数据集非iid标签倾斜(30％)情况下根据不同的服务器端数据集大小(2500,5000,7500)对FLISC算法在200轮训练结果的精度对比；
图13为在CIFAR-10数据集非iid标签倾斜(20％)情况下根据不同的服务器端数据集大小(2500,5000,7500)对FLISC算法在200轮训练结果的精度对比；
图14为在CIFAR-10数据集非iid标签倾斜(30％)情况下根据不同的服务器端数据集大小(2500,5000,7500)对FLISC算法在200轮训练结果的精度对比；
图15为本发明实例提供的一种基于推理相似性与软聚类的联邦学习装置的结构示意图。
具体实施方式
下面结合附图和具体的实施例对本发明做进一步的解释说明：
如图1所示，non-IID场景下一种基于推理相似性与软聚类的联邦学习方法，包括：
步骤1：在服务器端布置用来进行相似性推理的小数据集；
步骤2：服务器进行模型初始化并下发给参与训练的客户端；
步骤3：客户端收到模型后利用本地数据进行训练；
步骤4：客户端将训练好的模型上传到服务器端；
步骤5：服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
步骤6：将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
步骤7：对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
步骤8：服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
步骤9：客户端收到上一轮的簇集合模型，选择损失最小的簇模型来进行本地训练，之后重复步骤4到9直到训练结束。
进一步地，对所述步骤5进行详细说明：
服务器准备真实数据或合成数据构成的小数据集来进行客户端模型的相似推理，在对每个客户端推理后，服务器将获得一个相应的one-hot编码。这一轮训练中所有客户机的one-hot编码形成张量。利用张量的哈达玛积和矩阵二范数运算得到客户端的相似矩阵。
进一步地，对所述步骤6进行详细说明：
每个客户端选择相似矩阵中值最高(即相似程度最大)的前m个客户端形成簇集合。将簇内客户端的模型进行平均作为簇的模型。
进一步地，对所述步骤7进行详细介绍如下：
与FLIS相比，FLISC不仅在簇形成方面有所不同，而且增强了对重叠簇的处理。在进行聚类模型平均之前，FLISC在聚类形成过程中加入了软聚类。简单地举个例子，对于客户端I，J，K根据某一个阈值进行聚类，划分为(I、J)和(J、K)即客户端J和客户端K都和客户端J进行模型共享。FLIS会直接将它们合并为单个集群(I、J、K)，然后执行平均。然而，当I和K数据之间的相似性非常低时，这种合并方法可能会导致很不理想的效果。理想情况下，聚类的目标是将最相似的客户端分组在一个集群中，以进行培训，以便更好地利用数据之间的相关性。该方法有利于提高在数据异质性较高的场景中的训练效果，特别是当non-IID数据之间的相关性更大时。为了改进原算法，FLISC在重叠的客户端集群之间引入了加权聚合。具体实施是在划分簇(I、J)和(J、K)后先将簇模型进行平均，在合并时将两簇模型根据簇数据量大小作为加权因子进行最终的模型平均。这种多次平均的方式减轻了数据相似低导致的客户端间的负面影响，优化了簇之间的模型共享。
为验证本发明效果，进行如下实验：
实验具体环境如表1所示。
表1：实验具体环境
实验使用的神经网络结构如图2所示，CIFAR-10和Fashion-MNIST数据集采用了相同的卷积神经网络(CNN)模型，模型架构由两个连续的卷积层组成，每个卷积层后面都有激活层和最大池层。在每个卷积层之后应用大小为2×2的max-pooling层。
对于m值的选择我们设置了1，2，3，5四种值，在Fashion-MNIST和CIFAR-10数据集上进行了实验分析。图3，图4代表在Fashion-MNIST中non-IID标签倾斜(20％)和(30％)的90轮结果对比。图5，图6代表在CIFAR-10中non-IID标签倾斜(20％)和(30％)的90轮结果对比。在图中显示当m＝3时，测试精度在m值选择区间中最高，所以综合选择了m＝3作为实验的簇中客户端数量。在此基础上对Fashion-MNIST，CIFAR-10数据集进行non-IID标签倾斜(20％)和(30％)情况下500轮训练，与改进前的算法FLIS以及其他算法的对比结果如表2和表3所示。
表2：在不同数据集之间进行non-IID标签倾斜(20％)的测试准确性比较
表3：在不同数据集之间进行non-IID标签倾斜(30％)的测试准确性比较
从表2，表3中的结果可以看出提出的FLISC比原有的FLIS算法在不同数据集中有不同程度的提升，在复杂的数据集中和随着异质性增强下效果提升的更加明显。作为聚类算法的IFCA结果最接近，而FedAvg和其他基于FedAvg改进的算法提升效果很小甚至低于原始算法。这也从另一方面体现出了聚类算法的有效性。图1展示了FLISC方法当m＝2时的框架流程图，详细的概括了本发明包含的步骤，让过程更加简单明了。图7～图10展示了m＝3时FLISC方法分别在Fashion-MNIST和CIFAR-10数据集non-IID标签倾斜(20％)和(30％)情况下和FLIS训练200轮测试结果对比。图中可以看出FLISC在这几种情况下的结果基本都优于FLIS，在较为复杂的CIFAR-10数据集上更加明显，且随着non-IID标签倾斜的加剧FLISC较FLIS提升的更多。
此外，本发明还探讨了服务器端小数据集的数据量大小对客户端数据相似性推理实验精度的影响，对两个数据集不同数据量时情况下的测试结果进行对比。针对此问题同样也在Fashion-MNIST和CIFAR-10数据集上进行了实验分析。通过调整样本值在2500，5000，7500进行200轮的实验，根据每50轮的平均值来观察数据量变化带来的影响。图11，图12代表在Fashion-MNIST中non-IID标签倾斜(20％)和(30％)时使用三个样本值进行200轮训练结果。图13，图14代表在CIFAR-10中non-IID标签倾斜(20％)和(30％)时使用三个样本值进行200轮训练结果。随着数据集复杂度的增加，样本值增加的提升效果更加明显。通过实验发现样本值5000和7500的差距相对于样本值2500和5000时提升的效果有所减缓。
从图11～14中的结果表明，随着样本值的增加加快了训练精度收敛，说明了FLISC的性能受益于大量的服务器数据。随着服务器数据集数量的增加，FLISC的准确性有了相对提高。这些发现表明，更高数量的服务器数据有助于提高FLISC算法的准确性。但是另一方面，更大的服务器数据集会导致通信和计算成本的增加，从而影响基于集群的联合学习的效率。所以在选择服务器端样本值时要考虑两者之间的关系。
综上，由于FLIS算法在不同数据集不同异质情况下需要根据不同的阈值调参来进行聚类，本发明通过选择簇中客户端数量来进行替换实验极大的丰富数据特征，获取最具相关性的簇集合的同时也简化了参数选择。通过引入软聚类思想，有效的利用了被硬聚类忽略的客户端的相似信息，提升了模型训练的有效性。优化重叠簇合并方式，在重叠的客户端集群之间增添了加权聚合，减轻了原有方式的负面效果，优化了集群之间的模型共享，提高了训练的准确性。大量的实验结果验证了本发明所提方法的性能和有效性，聚类联邦学习算法与一般的传统联邦学习算法效果保持较大的提升。FLISC与原始算法FLIS比较，在多个数据集下都有不同程度的提升。较明显的在CIFAR-10数据集上，FLISC在不同水平的数据异质情况下测试精度比FLIS平均提高了近1个百分点。
在上述实施例的基础上，如图15所示，本发明还提出一种基于推理相似性与软聚类的联邦学习装置，包括：
小数据集布置模块，用于在服务器端布置用来进行相似性推理的小数据集；
模型初始化模块，用于服务器进行模型初始化并下发给参与训练的客户端；
本地模型训练模块，用于客户端收到模型后利用本地数据进行训练；
模型上传模块，用于客户端将训练好的模型上传到服务器端；
推理模块，用于服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
自适应聚类模块，用于将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
重叠簇加权聚合模块，用于对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
模型下发模块，用于服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
迭代训练模块，用于客户端收到上一轮的簇集合模型，选择损失最小的簇模型来进行本地训练，之后重复模型上传模块至迭代训练模块直到训练结束。
进一步地，所述推理模块具体用于：
服务器准备真实数据或合成数据构成的小数据集来进行客户端模型的相似推理，在对每个客户端推理后，服务器获得一个相应的one-hot编码，一轮训练中所有客户机的one-hot编码形成张量，利用张量的哈达玛积和矩阵二范数运算得到客户端的相似矩阵。
进一步地，所述自适应聚类模块具体用于：
每个客户端选择相似矩阵中值最大的前m个客户端形成簇集合，将簇内客户端的模型进行平均作为簇的模型。
进一步地，所述重叠簇加权聚合模块具体用于：
在重叠的客户端集群之间引入加权聚合，在划分簇后先将簇模型进行平均，在合并时将两簇模型根据簇数据量大小作为加权因子进行最终的模型平均。
综上，本发明考虑了non-IID数据环境中基于推理相似性根据固定阈值进行硬聚类的缺陷。实现了在优化算法的同时提高不同异质程度下的测试精度目标。为了实现这些目标，提出了聚类时基于簇内客户端数量来替代固定阈值的灵活聚类，采用软聚类思路来更好的利用客户端数据特征表现，从而提高了模型的泛化能力和性能。
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种基于推理相似性与软聚类的联邦学习方法，其特征在于，包括：
步骤1：在服务器端布置用来进行相似性推理的小数据集；
步骤2：服务器进行模型初始化并下发给参与训练的客户端；
步骤3：客户端收到模型后利用本地数据进行训练；
步骤4：客户端将训练好的模型上传到服务器端；
步骤5：服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
步骤6：将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
步骤7：对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
步骤8：服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
步骤9：客户端收到上一轮的簇集合模型，选择损失最小的簇模型来进行本地训练，之后重复步骤4至步骤9直到训练结束。
2.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤5包括：
服务器基于真实数据或合成数据构成的小数据集来进行客户端模型的相似推理，在对每个客户端推理后，服务器获得一个相应的one-hot编码，一轮训练中所有客户机的one-hot编码形成张量，利用张量的哈达玛积和矩阵二范数运算得到客户端的相似矩阵。
3.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤6包括：
每个客户端选择相似矩阵中值最大的前m个客户端形成簇集合，将簇内客户端的模型进行平均作为簇的模型。
4.根据权利要求1所述的基于推理相似性与软聚类的联邦学习方法，其特征在于，所述步骤7包括：
在重叠的客户端集群之间引入加权聚合，在划分簇后先将簇模型进行平均，在合并时将两簇模型根据簇数据量大小作为加权因子进行最终的模型平均。
5.一种基于推理相似性与软聚类的联邦学习装置，其特征在于，包括：
小数据集布置模块，用于在服务器端布置用来进行相似性推理的小数据集；
模型初始化模块，用于服务器进行模型初始化并下发给参与训练的客户端；
本地模型训练模块，用于客户端收到模型后利用本地数据进行训练；
模型上传模块，用于客户端将训练好的模型上传到服务器端；
推理模块，用于服务器端利用小数据集对收到的模型进行推理，得到本轮训练客户端数据的相似矩阵；
自适应聚类模块，用于将相似矩阵中每个客户端相似值最大的前m个划分为一簇，对不同簇内进行模型平均；
重叠簇加权聚合模块，用于对客户端存在多个簇的情况进行加权合并，簇内的数据量作为权重分配的依据；
模型下发模块，用于服务器端将训练结束后得到的簇集合模型发给下一轮训练的客户端；
迭代训练模块，用于客户端收到上一轮的簇集合模型，选择损失最小的簇模型来进行本地训练，之后重复模型上传模块至迭代训练模块直到训练结束。
6.根据权利要求5所述的基于推理相似性与软聚类的联邦学习装置，其特征在于，所述推理模块具体用于：
服务器基于真实数据或合成数据构成的小数据集来进行客户端模型的相似推理，在对每个客户端推理后，服务器获得一个相应的one-hot编码，一轮训练中所有客户机的one-hot编码形成张量，利用张量的哈达玛积和矩阵二范数运算得到客户端的相似矩阵。
7.根据权利要求5所述的基于推理相似性与软聚类的联邦学习装置，其特征在于，所述自适应聚类模块具体用于：
每个客户端选择相似矩阵中值最大的前m个客户端形成簇集合，将簇内客户端的模型进行平均作为簇的模型。
8.根据权利要求5所述的基于推理相似性与软聚类的联邦学习装置，其特征在于，所述重叠簇加权聚合模块具体用于：
在重叠的客户端集群之间引入加权聚合，在划分簇后先将簇模型进行平均，在合并时将两簇模型根据簇数据量大小作为加权因子进行最终的模型平均。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311392160.0A CN117422151A (zh) | 2023-10-25 | 2023-10-25 | 基于推理相似性与软聚类的联邦学习方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311392160.0A CN117422151A (zh) | 2023-10-25 | 2023-10-25 | 基于推理相似性与软聚类的联邦学习方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117422151A true CN117422151A (zh) | 2024-01-19 |
Family
ID=89525966
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311392160.0A Pending CN117422151A (zh) | 2023-10-25 | 2023-10-25 | 基于推理相似性与软聚类的联邦学习方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117422151A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117973457A (zh) * | 2024-04-01 | 2024-05-03 | 南京信息工程大学 | 自动驾驶感知场景下基于推理相似性的联邦学习方法 |
-
2023
- 2023-10-25 CN CN202311392160.0A patent/CN117422151A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117973457A (zh) * | 2024-04-01 | 2024-05-03 | 南京信息工程大学 | 自动驾驶感知场景下基于推理相似性的联邦学习方法 |
| CN117973457B (zh) * | 2024-04-01 | 2024-06-18 | 南京信息工程大学 | 自动驾驶感知场景下基于推理相似性的联邦学习方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hao et al. | Towards fair federated learning with zero-shot data augmentation | |
| Yao et al. | Federated learning with additional mechanisms on clients to reduce communication costs | |
| CN107392919B (zh) | 基于自适应遗传算法的灰度阈值获取方法、图像分割方法 | |
| CN117422151A (zh) | 基于推理相似性与软聚类的联邦学习方法和装置 | |
| Wong et al. | Image clustering using particle swarm optimization | |
| CN109740695A (zh) | 基于自适应全卷积注意力网络的图像识别方法 | |
| CN113708969A (zh) | 一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法 | |
| Zhu et al. | FedOVA: one-vs-all training method for federated learning with non-IID data | |
| Idrissi et al. | Fedbs: Learning on non-iid data in federated learning using batch normalization | |
| CN114385376A (zh) | 一种异构数据下边缘侧联邦学习的客户端选择方法 | |
| CN117253072A (zh) | 一种基于个性化联邦学习的图像分类方法 | |
| CN117290721A (zh) | 数字孪生建模方法、装置、设备及介质 | |
| Chen et al. | Dynamic attention-based communication-efficient federated learning | |
| CN117634594A (zh) | 一种具有差分隐私的自适应聚类联邦学习方法 | |
| Zhang et al. | Federated multi-task learning with non-stationary heterogeneous data | |
| CN115150288B (zh) | 一种分布式通信系统和方法 | |
| Zhao et al. | Exploiting channel similarity for network pruning | |
| Ye et al. | PFedSA: Personalized federated multi-task learning via similarity awareness | |
| CN116629376A (zh) | 一种基于无数据蒸馏的联邦学习聚合方法和系统 | |
| CN115695429A (zh) | 面向Non-IID场景的联邦学习客户端选择方法 | |
| CN110490057A (zh) | 一种基于人脸大数据人工智能聚类的自适应识别方法与系统 | |
| CN115454608A (zh) | 基于权值散度和更新增量的联邦学习客户端调度方法 | |
| CN108681609A (zh) | 一种基于层次聚类的自适应选择性文本聚类集成方法 | |
| CN113177627B (zh) | 优化系统、重新训练系统及其方法及处理器和可读介质 | |
| CN110096603A (zh) | 一种基于fcs的多视图模糊聚类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |