CN116362329A - 一种融合参数优化的集群联邦学习方法及设备 - Google Patents
一种融合参数优化的集群联邦学习方法及设备 Download PDFInfo
- Publication number
- CN116362329A CN116362329A CN202310437585.2A CN202310437585A CN116362329A CN 116362329 A CN116362329 A CN 116362329A CN 202310437585 A CN202310437585 A CN 202310437585A CN 116362329 A CN116362329 A CN 116362329A
- Authority
- CN
- China
- Prior art keywords
- cluster
- parameters
- training
- particles
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000013016 learning Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000005457 optimization Methods 0.000 title claims abstract description 18
- 239000002245 particle Substances 0.000 claims abstract description 74
- 238000012549 training Methods 0.000 claims abstract description 38
- 230000006870 function Effects 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 17
- 230000008859 change Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 238000000137 annealing Methods 0.000 claims description 4
- 238000001816 cooling Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 4
- 230000009326 social learning Effects 0.000 claims description 4
- 239000008186 active pharmaceutical agent Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000003247 decreasing effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000002922 simulated annealing Methods 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种融合参数优化的集群联邦学习方法及设备，方法包括：S1：各客户端基于中央服务器发布的全局模型和各自私有数据进行本地模型训练，得到代表本地数据特征的局部模型，将局部模型参数上传至中央服务器；S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；S4：各集群分别进行联邦学习训练，训练过程中引入改进的粒子群算法，根据中央服务器确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数，以获得最优的联邦学习模型。与现有技术相比，本发明具备训练效率高、训练模型精度高的优点。
Description
技术领域
本发明涉及人工智能技术领域，尤其是涉及一种融合参数优化的集群联邦学习方法及设备。
背景技术
对日趋严格的隐私保护规范与集中式学习方式对大量数据需求之间的矛盾，提出了联邦学习(Federated Learning,FL)的概念，利用多个设备协作地训练全局模型，并且无需上传本地数据，有效地保护了用户隐私。联邦学习的独特之处在于，它不是处理集中的数据，而是处理分离的数据，并且只需要更新客户端的模型参数信息。由于这个特性，联邦学习在人脸识别、智能交通和医疗服务等领域引起了极大的关注，这些领域高度重视隐私。
现有技术关于联邦学习的研究主要集中在以下四个方面，包括1)数据的非独立同分布问题；2)通信资源受限的问题；3)用户数据的隐私问题；4)联邦学习的安全问题。其中，数据的非独立同分布问题是联邦学习面临的一项基本挑战。相关研究表明，当参与联邦学习的客户端的数据分布差异较大时，训练出的模型精度会大大降低。在现实场景中，各个边缘设备独立产生和存储数据，每个客户端本地数据的分布与全局的数据分布存在较大差异。传统的FedAvg算法随机抽取一定比例的客户端作为参与节点进行联邦学习，每个节点的数据分布是随机的，造成各客户端的局部优化目标与联邦学习的整体优化目标不一致。
超参数的调整对于深度学习模型的训练至关重要，这直接决定了它们的学习能力，为联邦学习设置合适的超参数可以缓解数据非独立同分布环境对模型训练造成的压力。联邦学习需要考虑的超参数很多，包括学习率、批量大小、客户端参与比例、每轮的迭代次数等，静态的超参数调整方式效率很低，难以适应联邦学习的训练。联邦学习的实质是利用边缘设备执行局部模型训练，最后加权平均得到全局模型，而局部模型的训练效果很大程度上取决于其本地模型的参数设置。例如，深度神经网络(DNN)的性能取决于隐藏层的数量、神经元数量和训练周期。相对于集中式学习，联邦学习的超参数更多，且不同的边缘设备训练偏好存在差异，采用试错法手动选择超参数需要反复训练效率低下，难以为模型寻找到合适的参数配置。
综上所述，现有技术存在以下问题：
(1)当参与联邦学习的客户端的数据分布差异较大时，训练出的模型精度会大大降低；
(2)训练效率低下，难以为模型寻找到合适的参数配置。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种融合参数优化的集群联邦学习方法及设备，本发明具备训练效率高、训练模型精度高的优点。
本发明的目的可以通过以下技术方案来实现：
根据本发明的第一个方面，本发明提供一种融合参数优化的集群联邦学习方法，包括如下步骤：
S1：各客户端基于中央服务器发布的全局模型和各自私有数据进行本地模型训练，得到代表本地数据特征的局部模型，将局部模型参数上传至中央服务器；
S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；
S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；
S4：各集群分别进行联邦学习训练，训练过程中引入改进的粒子群算法，根据中央服务器确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数，以获得最优的联邦学习模型。
优选地，所述S2具体包括以下步骤：
S201：将所有的客户端模型WDS作为一组对象点，并标记为未访问，从中任意选取一个作为对象P1，标记为已访问；
S202：将对象P1作为核心点，判断P1的ε邻域内是否至少存在MinPts个对象，是则生成一个簇Q，并把P1添加到簇Q中，将P1的ε邻域中的对象集合记为X；
S203：遍历X中的每个点P2，判断P2的ε邻域中是否至少存在MinPts个对象；是则再判断P2是否属于其他簇，属于则将P2的ε邻域中的对象添加到对象集合X，不属于其他簇，则将它添加至簇Q中，遍历结束后形成聚类Q；
S204：选择任意一个标记为未访问的对象作为P1，重复步骤S202～S203，直到不存在未访问的对象为止；完成客户端聚类，得到k个集群，每个集群包含数量不等的客户端。
优选地，所述S3中，中央服务器确认待优化的超参数包括隐藏层数L、每层神经元数N、学习率η和本地迭代次数E。
优选地，所述S3中，采用FedAvg算法对粒子进行测试，将测试的精度作为粒子的适应度；FedAvg算法表达式如下：
其中，n为总数据集{D1,D2,...,DM}的大小，
为参与节点m在第s轮联邦学习的模型参数。
优选地，所述S4具体包括如下步骤：
S401：初始化所有粒子的速度
和位置/>
设置种群规模X、最大迭代次数T、惯性权重ω、初始温度U、降温系数μ以及粒子转换概率p；
S402：计算所有初始粒子的适应度，获得个体最优位置pBest和种群最优位置gBest；
S403：更新退火温度U、惯性权重ω和学习因子c1、c2；
S404：对所有粒子的适应度值排序，选择适应度值较差的粒子以概率p接受新粒子，将更新后的粒子添加到种群；
S405：更新所有粒子的速度
和位置/>
S406：通过比较每个粒子生成新的适应度值，更新pBest和gBest；
S407：当迭代次数达到T时，输出gBest，算法终止，否则跳转到步骤S403。
优选地，所述S403中，根据
更新惯性权重ω，式中，ω是惯性权重，ωstart为初始惯性权重，ωend为迭代至最大次数的惯性权重，t为当前迭代次数，T为最大迭代次数，S为变化系数。
优选地，所述S403中，根据
更新学习因子c1、c2；式中，
和/>
分别是个体学习因子的初始值和终止值，
和/>
分别是社会学习因子的初始值和终止值，t为当前迭代次数，T为最大迭代次数。
优选地，所述S405中，根据
更新所有粒子的速度
和位置/>
式中，/>
和/>
分别表示粒子当前的位置和速度，
和/>
分别表示粒子与种群当前的最优位置，r1和r2为[0,1]区间内均匀分布的随机数，ω是惯性权重。
根据本发明的第二个方面，本发明提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
根据本发明的第三个方面，本发明提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
与现有技术相比，本发明具有以如下有益效果：
(1)本发明通过客户端基于中央服务器发布的全局模型和各自的私有数据进行一次充分的本地模型训练，能够很好地代表本地数据的特征。
(2)本发明通过中央服务器根据客户端上传的模型参数，使用DBSCAN算法对客户端进行聚类，不仅有效降低了集群内部的数据异构程度，还能以较低的客户端参与率执行超参数优化，提高了学习效率，并且可以根据实际需要选择要优化的超参数及其相应的适应度函数，非常灵活。
(3)本发明通过采用改进粒子群算法调整每个集群的超参数，寻找多个参数的最佳组合，实现了更好的模型训练，寻找到合适的参数配置。
附图说明
图1为本实施例提供的一种融合参数优化的集群联邦学习方法的流程示意图。
图2为图1所示实施例中S4的流程示意图；
图3为采用图1所示实施例得到的惯性权重变化曲线。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参考图1所示，根据本发明的第一个方面，本实施例提供一种融合参数优化的集群联邦学习方法，包括如下步骤：
S1：客户端i基于中央服务器发布的全局模型w0和各自的私有数据di进行一次充分的本地模型训练，获得代表本地数据特征的局部模型，并将模型参数上传给中央服务器；
S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；
S201：将所有的客户端模型WDS作为一组对象点，并标记为“未访问”，然后从中任意选取一个作为对象P1，并标记为“已访问”。
S202：将对象P1作为核心点，判断P1的ε邻域内是否至少存在MinPts个对象，是则生成一个簇Q，并把P1添加到簇Q中，将P1的ε邻域中的对象集合记为X；
S203：遍历X中的每个点P2，判断P2的ε邻域中是否至少存在MinPts个对象；是则再判断P2是否属于其他簇，属于则将P2的ε邻域中的对象添加到对象集合X，不属于其他簇，则将它添加至簇Q中，遍历结束后形成聚类Q；
S204：选择任意一个标记为“未访问”的对象作为P1，重复步骤S202～S203，直到不存在“未访问”的对象为止。
作为一种可选的实施方式，基于DBSCAN算法进行客户端聚类。
完成客户端聚类，得到k个集群C＝{C1,C2,…,Ck}，每个集群包含数量不等的客户端。
S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；
具体地，确定需要优化的超参数和寻优范围，超参数包括隐藏层数L、每层神经元数N、学习率η和本地迭代次数E；
在优化过程中，采用FedAvg算法对粒子进行测试，将测试的精度作为粒子的适应度。FedAvg算法表达式如下：
其中，n为总数据集{D1,D2,...,DM}的大小，
为参与节点m在第s轮联邦学习的模型参数。
S4：每个集群分别进行联邦学习训练，引入改进的粒子群算法，根据S3确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数。
改进的粒子群算法基于非线性惯性权重递减策略、学习因子调整和模拟退火算法，具体迭代公式如下：
式中，ω是惯性权重，决定了算法的收敛特性，当ω较大时，全局搜索能力强，当ω较小时，局部搜索能力强。c1和c2是学习因子，c1体现了粒子受自身历史信息影响的程度，c2体现了粒子受种群历史信息影响的程度。r1和r2为[0,1]区间内均匀分布的随机数。
和/>
分别表示粒子当前的位置和速度，/>
和/>
分别表示粒子与种群当前的最优位置。ωstart为初始惯性权重，ωend为迭代至最大次数的惯性权重，t为当前迭代次数，T为最大迭代次数，S为变化系数。/>
和/>
分别是个体学习因子的初始值和终止值，/>
和/>
分别是社会学习因子的初始值和终止值。
进一步地，ωstart为初始惯性权重，取值为0.9，ωend为迭代至最大次数的惯性权重，取值为0.4，t为当前迭代次数，T为最大迭代次数，S为变化系数，取值范围为[1,15]。
根据上述迭代公式寻找超参数的最优解，S4具体包括如下步骤：
S401：初始化所有粒子的速度
和位置/>
设置种群规模X、最大迭代次数T、惯性权重ω、初始温度U、降温系数μ以及粒子转换概率p。
S402：计算所有初始粒子的适应度，获得个体最优位置pBest和种群最优位置gBest。
S403：根据公式(3)更新退火温度U，根据公式(4)～(6)更新惯性权重ω和学习因子c1、c2。
S404：对所有粒子的适应度值排序，选择适应度值较差的粒子以公式(7)计算出的概率p接受新粒子，将更新后的粒子添加到种群。
S405：根据公式(2)、(3)更新所有粒子的速度
和位置/>
。
S406：通过比较每个粒子生成新的适应度值，更新pBest和gBest。
S407：当迭代次数达到T时，输出gBest，算法终止，否则跳转到步骤S403。
将上述可选的实施方式进行排列组合，得到最优的实施方式，下面基于最优的实施方式进行详细阐述。
输入：N,T；其中，N为客户端的数量，T为联邦学习的训练轮数；
输出：
其中，H为每个集群的最佳超参数组合，W为每个集群结束联邦学习后的全局模型。
(1)初始化全局模型参数w0；
(2)for each client Si∈(S1,S2,…,SN)do
式中，
为属于客户端Si的本地数据；
(3)
采用DBSCAN算法进行客户端聚类，C为簇的集合；
(4)for each clusterCj∈C do
式中，H为集群Cj的最佳超参数组合。
(5)return H,W to server。
其中，(3)为基于DBSCAN的客户端聚类阶段，所有的客户端先在本地反复进行训练，这样能够更好地代表本地的数据特征，从而获得最佳的聚类效果；训练结束后，中央服务器收集所有客户端的本地模型参数，应用DBSCAN算法对客户端聚类。
DBSCAN算法基于密度对客户端进行聚类，它有两个重要参数(ε,MinPts)，其中ε描述的是某个样本邻域的距离阈值，MinPts描述的是ε邻域所包含的样本个数阈值。表1展示了不同的ε和MinPts设置对集群数量的影响。
表1 DBSCAN参数和聚类结果
参考图2所示，当聚类完成后，所有的客户端都划入了对应的集群，这时候在每个集群内分别进行联邦学习，并引入粒子群算法优化客户端的超参数。PSO算法将4个关键超参数(学习率η,批量大小B,动量大小m,本地迭代次数E)作为寻优变量，通过更新粒子的速度和位置，让粒子的适应度达到最低，从而获得最优的超参数组合。
参考表2所示，为本实施例待优化的超参数及其值域。
表2待优化的超参数及其值域
| 超参数 | 参数下限 | 参数上限 |
| 学习率η | 1e-7 | 1e-3 |
| 批量大小B | 8 | 128 |
| 本地迭代次数E | 3 | 9 |
但是标准粒子群算法存在容易陷入局部最优的问题，本发明针对这个问题，对标准粒子群算法进行了改进，加入非线性惯性权重递减策略和动态学习因子调整，并引入模拟退火算法，提升了粒子的全局搜索能力。在粒子进化初期，过小的惯性权重会减小搜索空间，而在粒子进化后期，过大的惯性权重不利于粒子群算法的收敛。因此，合理地改变惯性权重有利于得到更优的结果。由于粒子的移动是非线性的，因此本实施例采用非线性的惯性权重递减策略，算法表达式为：
式中，ω是惯性权重，取值为0.9，ωend为迭代至最大次数的惯性权重，取值为0.4，t为当前迭代次数，T为最大迭代次数，S为变化系数，取值范围为[1,15]。
参考图3，变化系数S＝9时，惯性权重前期较大，后期较小，可以降低粒子群算法陷入局部最优的概率。
学习因子会影响算法的全局搜索能力，设置较大的c1值，会使粒子过多地在自身的局部范围搜索，而较大的c2值，则又会使粒子过早收敛到局部最优值。为了使算法在全局搜索和局部搜索之间实现有效的平衡，本发明采用的学习因子的调整策略如下：
其中，
和/>
分别是个体学习因子的初始值和终止值，/>
和/>
分别是社会学习因子的初始值和终止值。通过大量的实验并分析，取/>
算法初期采用较大的c1值和较小的c2值，强调粒子的“个体意识”，增强粒子的全局搜索能力。随着迭代次数t的增加，c1不断减小，c2不断增大，此时越来越重视粒子的“社会意识”，局部搜索能力随之增强。
由于粒子群算法以贪心算法的思想接受新解，只接受比当前好的粒子，导致算法迭代到一定次数后很容易陷入局部最优。因此在粒子群算法的每一次迭代后，对适应度值较差的粒子使用模拟退火算法，以概率p产生新粒子，这样在粒子群算法的迭代过程中，就会不断有新的粒子进入下一次迭代，达到跳出局部最优达到全局最优的目的。概率p表达式如下：
其中，Ui表示当前的温度，Ei(t)表示第i个粒子在第t次迭代时的适应度值，Eg表示当前种群最优点的适应度值。温度以公式(3)进行线性衰减，算法的寻优就是不断寻找新解和退火降温的过程。
根据本发明的第二个方面，本实施例提供一种电子设备，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
根据本发明的第三个方面，本实施例提供一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如上任一所述的融合参数优化的集群联邦学习方法的指令。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。
Claims (10)
1.一种融合参数优化的集群联邦学习方法，其特征在于，包括如下步骤：
S1：各客户端基于中央服务器发布的全局模型和各自私有数据进行本地模型训练，得到代表本地数据特征的局部模型，将局部模型参数上传至中央服务器；
S2：中央服务器根据所有客户端的局部模型参数，对客户端进行聚类，将所有客户端划分为不同的集群；
S3：中央服务器确认此次训练需要优化的超参数和适应度函数，发送给所有客户端；
S4：各集群分别进行联邦学习训练，训练过程中引入改进的粒子群算法，根据中央服务器确认的超参数和适应度函数进行训练，并在每一轮训练中动态调整超参数，以获得最优的联邦学习模型。
2.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S2具体包括以下步骤：
S201：将所有的客户端模型WDS作为一组对象点，并标记为未访问，从中任意选取一个作为对象P1，标记为已访问；
S202：将对象P1作为核心点，判断P1的ε邻域内是否至少存在MinPts个对象，是则生成一个簇Q，并把P1添加到簇Q中，将P1的ε邻域中的对象集合记为X；
S203：遍历X中的每个点P2，判断P2的ε邻域中是否至少存在MinPts个对象；是则再判断P2是否属于其他簇，属于则将P2的ε邻域中的对象添加到对象集合X，不属于其他簇，则将它添加至簇Q中，遍历结束后形成聚类Q；
S204：选择任意一个标记为未访问的对象作为P1，重复步骤S202～S203，直到不存在未访问的对象为止；完成客户端聚类，得到k个集群，每个集群包含数量不等的客户端。
3.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S3中，中央服务器确认待优化的超参数包括隐藏层数L、每层神经元数N、学习率η和本地迭代次数E。
4.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S3中，采用FedAvg算法对粒子进行测试，将测试的精度作为粒子的适应度；FedAvg算法表达式如下：
其中，n为总数据集{D1,D2,...,DM}的大小，
为参与节点m在第s轮联邦学习的模型参数。
5.根据权利要求1所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S4具体包括如下步骤：
S401：初始化所有粒子的速度
和位置/>
设置种群规模X、最大迭代次数T、惯性权重ω、初始温度U、降温系数μ以及粒子转换概率p；
S402：计算所有初始粒子的适应度，获得个体最优位置pBest和种群最优位置gBest；
S403：更新退火温度U、惯性权重ω和学习因子c1、c2；
S404：对所有粒子的适应度值排序，选择适应度值较差的粒子以概率p接受新粒子，将更新后的粒子添加到种群；
S405：更新所有粒子的速度
和位置/>
S406：通过比较每个粒子生成新的适应度值，更新pBest和gBest；
S407：当迭代次数达到T时，输出gBest，算法终止，否则跳转到步骤S403。
6.根据权利要求5所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S403中，根据
更新惯性权重ω，式中，ω是惯性权重，ωstart为初始惯性权重，ωend为迭代至最大次数的惯性权重，t为当前迭代次数，T为最大迭代次数，S为变化系数。
7.根据权利要求5所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S403中，根据
更新学习因子c1、c2；式中，
和/>
分别是个体学习因子的初始值和终止值，/>
和
分别是社会学习因子的初始值和终止值，t为当前迭代次数，T为最大迭代次数。
8.根据权利要求5所述的一种融合参数优化的集群联邦学习方法，其特征在于，所述S405中，根据
更新所有粒子的速度
和位置/>
式中，/>
和/>
分别表示粒子当前的位置和速度，/>
和/>
分别表示粒子与种群当前的最优位置，r1和r2为[0,1]区间内均匀分布的随机数，ω是惯性权重。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；存储器；和被存储在存储器中的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的融合参数优化的集群联邦学习方法的指令。
10.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1～8任一所述的融合参数优化的集群联邦学习方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310437585.2A CN116362329A (zh) | 2023-04-21 | 2023-04-21 | 一种融合参数优化的集群联邦学习方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310437585.2A CN116362329A (zh) | 2023-04-21 | 2023-04-21 | 一种融合参数优化的集群联邦学习方法及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116362329A true CN116362329A (zh) | 2023-06-30 |
Family
ID=86923000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310437585.2A Pending CN116362329A (zh) | 2023-04-21 | 2023-04-21 | 一种融合参数优化的集群联邦学习方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116362329A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116611506A (zh) * | 2023-07-18 | 2023-08-18 | 中国电信股份有限公司 | 用户分析模型训练方法、用户标签确定方法和装置 |
| CN117094382A (zh) * | 2023-10-19 | 2023-11-21 | 曲阜师范大学 | 一种具有隐私保护的个性化联邦学习方法、装置和介质 |
| CN117688425A (zh) * | 2023-12-07 | 2024-03-12 | 重庆大学 | 面向Non-IID图数据的多任务图分类模型构建方法及系统 |
-
2023
- 2023-04-21 CN CN202310437585.2A patent/CN116362329A/zh active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116611506A (zh) * | 2023-07-18 | 2023-08-18 | 中国电信股份有限公司 | 用户分析模型训练方法、用户标签确定方法和装置 |
| CN116611506B (zh) * | 2023-07-18 | 2023-10-03 | 中国电信股份有限公司 | 用户分析模型训练方法、用户标签确定方法和装置 |
| CN117094382A (zh) * | 2023-10-19 | 2023-11-21 | 曲阜师范大学 | 一种具有隐私保护的个性化联邦学习方法、装置和介质 |
| CN117094382B (zh) * | 2023-10-19 | 2024-01-26 | 曲阜师范大学 | 一种具有隐私保护的个性化联邦学习方法、装置和介质 |
| CN117688425A (zh) * | 2023-12-07 | 2024-03-12 | 重庆大学 | 面向Non-IID图数据的多任务图分类模型构建方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116362329A (zh) | 一种融合参数优化的集群联邦学习方法及设备 | |
| CN103106279B (zh) | 一种同时基于节点属性以及结构关系相似度的聚类方法 | |
| CN112581263A (zh) | 一种基于灰狼算法优化广义回归神经网络的信用评估方法 | |
| CN109948029A (zh) | 基于神经网络自适应的深度哈希图像搜索方法 | |
| CN110889434B (zh) | 一种基于活动的社交网络活动特征提取方法 | |
| CN110245783B (zh) | 一种基于c-均值聚类模糊粗糙集的短期负荷预测方法 | |
| CN102075352A (zh) | 一种网络用户行为预测的方法和装置 | |
| CN110263236B (zh) | 基于动态多视图学习模型的社交网络用户多标签分类方法 | |
| CN108985617B (zh) | 一种基于智能制造的产品生产流程调度方法及系统 | |
| CN113722980B (zh) | 海洋浪高预测方法、系统、计算机设备、存储介质、终端 | |
| CN113095477B (zh) | 基于de-bp神经网络的风电功率预测方法 | |
| CN116050540B (zh) | 一种基于联合双维度用户调度的自适应联邦边缘学习方法 | |
| CN111985623A (zh) | 基于最大化互信息和图神经网络的属性图群组发现方法 | |
| CN117010534B (zh) | 一种基于环形知识蒸馏和元联邦学习的动态模型训练方法、系统及设备 | |
| CN109754122A (zh) | 一种基于随机森林特征提取的bp神经网络的数值预测方法 | |
| CN116055175A (zh) | 联合对称不确定性和超参数优化神经网络的入侵检测方法 | |
| CN113269652A (zh) | 基于从众心理的超图影响力传播方法及影响力最大化方法 | |
| CN113963410A (zh) | 一种基于改进遗传算法的人脸识别优化方法 | |
| CN106407379A (zh) | 一种基于Hadoop平台的电影推荐方法 | |
| CN117078312B (zh) | 一种基于人工智能的广告投放管理方法及系统 | |
| CN110852435A (zh) | 一种基于神经进化计算模型 | |
| CN117787411A (zh) | 一种基于关系图的局部-全局时序知识图谱推理方法 | |
| Malmir et al. | Optimization of data mining with evolutionary algorithms for cloud computing application | |
| CN109472712A (zh) | 一种基于结构特征强化的高效马尔可夫随机场社团发现方法 | |
| CN115936110B (zh) | 一种缓解异构性问题的联邦学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |