CN117093885A - 融合分层聚类和粒子群的联邦学习多目标优化方法 - Google Patents

融合分层聚类和粒子群的联邦学习多目标优化方法 Download PDF

Info

Publication number
CN117093885A
CN117093885A CN202310660995.3A CN202310660995A CN117093885A CN 117093885 A CN117093885 A CN 117093885A CN 202310660995 A CN202310660995 A CN 202310660995A CN 117093885 A CN117093885 A CN 117093885A
Authority
CN
China
Prior art keywords
particle
federal learning
participants
particles
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310660995.3A
Other languages
English (en)
Inventor
马武彬
吴亚辉
周浩浩
张鹏飞
鲁晨阳
戴超凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310660995.3A priority Critical patent/CN117093885A/zh
Publication of CN117093885A publication Critical patent/CN117093885A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/231—Hierarchical techniques, i.e. dividing or merging pattern sets so as to obtain a dendrogram
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了融合分层聚类和粒子群的联邦学习多目标优化方法，包括步骤：根据预训练模型参数的相似性将全部参与者聚成多个类；将各参与者聚类划分成簇之后，基于聚类结果进行多目标粒子群进化阶段；对粒子更新采用线性减权和引入变异算子；每个粒子表示特定的神经网络结构参数，此阶段中，基于聚类结果按比例采样得到参与者子集，并进行一个粒子的联邦学习适应度值评估，并在联邦学习每轮训练中重新分配每个粒子内的参与者子集。本发明可快速优化联邦学习多目标均衡下超参数；分层聚类算法提高了计算效率；引入粒子群算法、线性减权和变异算子对粒子群的更新方式，提高了本发明所得解的质量。

Description

融合分层聚类和粒子群的联邦学习多目标优化方法
技术领域
本发明属于机器学习技术领域，尤其涉及融合分层聚类和粒子群的联邦学习多目标优化方法。
背景技术
随着互联网技术的快速发展，各行各业都在源源不断地产生大数据，这些数据来源广、形式多样、体量巨大，能够创造巨大的经济和社会价值，是重要的生产要素和基础的战略资源。机器学习是发现和利用数据价值的关键技术，以机器学习为代表的人工智能技术在各个领域都有运用，例如图像处理、智慧医疗、智能家居物联网、智能网联汽车等，渗入到人们日常生活的各个方面。对于机器学习来说，所使用的数据量越大，得到的模型性能可能越好，同时一些大规模模型的训练需要复杂的计算以及处理海量的数据，单个机器上有限的资源无法满足训练要求，这也催生了分布式机器学习、云计算等新兴技术的研究与发展。
传统的集中式机器学习，是对现有的数据进行集成，将所有数据聚合在一起，再进行模型训练，这是因为在使用机器学习进行数据挖掘过程中，单个数据拥有方的数据通常是不完整或者不平衡的，仅仅依靠单个数据源所得的模型往往无法不能满足模型性能要求。虽然集中多方数据能够得到更稳定、泛化的模型，但是实际环境中，数据源可能非常分散，同时由于数据的粗细粒度、密级、获取方式不同，部分数据可能获取不到，在某些情况下，数据方之间存在数据孤岛的问题。数据孤岛问题指的是各个数据拥有方之间的数据往往都各自存储、各自定义、缺乏关联性，难以与其他数据方进行连接和互动。数据孤岛使得数据的价值难以被发掘和利用，并限制了人工智能的发展。
对于上述数据孤岛和数据安全的挑战，工业界在2016年提出了联邦学习(Federated Learning，FL)的概念，该方法旨在保证不上传原始数据的情况下，协调多方设备分布式协同训练预测模型，共享数据价值而不共享数据。具体来讲，各个数据方所拥有的数据将始终在本地存储，通过联邦学习框架中的加密机制来交换模型训练的参数，在中央服务器通过模型聚合来建立一个联邦模型。因此，联邦学习通过避免聚集本地隐私数据，可以有效解决模型训练过程中的隐私泄露问题，充分保护数据的规范性和安全性。
联邦学习是一种隐私保护的分布式机器学习技术，它使参与者协同训练出一个全局模型，而无需上传本地隐私数据到服务器中，能够解决传统集中式机器学习数据聚集带来的隐私泄露风险，在遵守相关法规的基础下进行数据训练。联邦学习多目标优化算法的计算时间长，整个优化框架消耗的计算成本和通信成本大，不利于联邦学习多目标优化算法的实际应用，因此存在较大的改进空间。同时，联邦学习的参与者之间更多情况下是非独立同分布的。
发明内容
针对联邦学习多目标优化算法中计算时间消耗大的问题，本发明在数据异构场景下，设计出融合分层聚类算法和粒子群算法的联邦学习多目标优化算法-CPSO算法，以提高进化效率。
本发明公开的融合分层聚类和粒子群的联邦学习多目标优化方法，包括以下步骤：
聚类阶段：根据预训练模型参数的相似性将全部参与者聚成多个类；将各参与者聚类划分成簇之后，基于聚类结果进行多目标粒子群进化阶段；对粒子更新采用线性减权和引入变异算子，其中粒子的适应度评估采用基于聚类结果的联邦学习训练；
对于分层聚类应用于联邦学习下的参与者划分，在聚类之前进行R轮的联邦学习全局通信，然后在第R+1轮进行一轮涉及所有参与者的全局通信，得到所有参与者上传的模型参数；
将模型参数wk转化为向量并将其作为聚类算法的特征输入，再使用分层聚类算法迭代合并最相似的参与者直到给定的距离阈值/>最终得到聚类结果Clusters＝{c1,c2,…cM}，每个集群包含数据分布最相似的参与者子集；
多目标粒子群进化算法阶段：每个粒子表示特定的神经网络结构参数，此阶段中，基于聚类结果按比例采样得到参与者子集，并进行一个粒子的联邦学习适应度值评估，并在联邦学习每轮训练中重新分配每个粒子内的参与者子集。
进一步地，在联邦学习多目标优化模型中，优化目标是3个最小化目标，分别是最小化全局模型测试错误率f1、最小化全局模型准确率分布方差f2、最小化通信成本f3；三个最小化目标函数综合考虑了联邦学习的模型有效性、公平性和通信成本；决策变量包括联邦学习的参与者参与比例C、学习率η、批次大小B、神经网络结构参数。
进一步地，选定卷积神经网络作为联邦学习的神经网络模型进行优化实验，并根据CNN的结构，设置CNN中卷积层数Conv、卷积核数目kc、卷积核大小ks、全连接层数L、全连接层神经元数NL为待优化的神经网络结构参数，则联邦学习多目标优化模型的决策变量为v＝{C,η,B,Conv,kc,ks,L,NL}。
进一步地，选择使用分层聚类方法，并选择自底向上的策略：首先将每个样本作为一个类；在聚类的每一步，计算所有类之间的成对距离来判断它们的相似性，然后根据某种度量将符合条件的簇合并，直到达到某个终止条件；设置距离阈值作为超参数来确定何时停止合并集群。
进一步地，确定粒子参数N后，按照参与比例C对各聚类簇抽样成子集1至子集N，其中N·C小于1，则子集之间无交叉参与者；将所有参与者划分为多个子集，并行进行粒子间的联邦学习评估任务；
在联邦学习的每轮训练中，参与者子集是动态不完全相同的，都是基于聚类簇重新采样形成。
进一步地，在多目标粒子群算法的迭代轮次中，联邦学习训练过程中，还结合聚类结果进行每轮参与者的选择，训练后得到的错误率、神经网络结构参数量、方差，即为该粒子的目标函数值；其中参与者参与比例C相同且固定不变，则第三个目标值通信成本f3从简化为Cost＝σ。
进一步地，结合聚类结果的联邦学习训练方法如下：
获取粒子i对应的决策变量参数和聚类结果Clusters＝{c1,c2,…cM}；
服务器端：使用i中的参数初始化神经网络权重
对于每个通信轮次，从每个聚类结果中随机选择mc个参与者，将所有参与者组成集合St，对于集合St中的每个客户端，并行从参与者更新上传模型参数，并将每轮的模型参数进行加权平均，作为下一轮的模型参数；
使用训练后的wi计算全局模型测试准确率A和模型参数大小σi＝f(wi)；
计算目标函数f1 i全局模型测试误差E＝1-A；
计算出目标函数全局模型准确率分布方差V；
计算得目标函数通信成本Cost＝σi。
进一步地，改进粒子群算法的粒子速度位置的更新方式，以适应可变长度粒子的相互学习，具体包括：
对于每个粒子的卷积层和全连接层，将两者独立开，分为两个部分，分别进行更新；
在得到粒子的本地最优和全局最优之后，考虑粒子当前的神经网络结构P、Pbest、Gbest的神经网络结构来更新粒子卷积层和全连接层速度位置：在本地最优Pbest和全局最优Gbest之间，以概率αg在本地最优和全局最优之间选择层；对每一层生成一个处于[0,1]的随机数r，如果r小于等于αg，则选取Gbest中相应的层与超参数，反之就选取Pbest层；最终将选择的层组成粒子的速度，粒子更新时要求与粒子速度层数结构相同；所述概率αg采用线性递减的方式变化，最开始选择一个较大值，随着训练轮次的增加而减少；
在得到速度后，对粒子当前的神经网络结构和粒子的速度进行粒子的更新；在更新粒子的过程中，对粒子内与速度同时存在的层，根据公式x＝x+αg(v-x)进行位置的更新，对结果取整；根据粒子速度的神经网络结构确定粒子更新后的结构，从粒子当前结构中添加或删除层，粒子的结构最终与速度相同，与速度具有相同的层数，当粒子层数大于速度时，粒子多余层数被删除；当粒子层数小于速度时，速度中剩下的层数增加到粒子的结构中。
进一步地，所述联邦学习多目标优化方法优化CNN参数模型的过程如下：
步骤1：初始化粒子群算法的种群规模、选择权重、变异算子，并基于聚类结果采用快速贪婪初始化构建初代粒子群，粒子的位置为CNN模型相关参数；
步骤2：计算每个粒子的目标函数值，使用当前粒子对应的参数进行基于聚类簇的联邦学习训练，得到三目标值，并初始化粒子i的个体最优为当前位置Pbesti；
步骤3：根据Pareto支配原则，将当前粒子群的Pareto非支配解存入Archive集，并根在Archive集中选择全局最优Gbest；
步骤4：根据基于线性减权的粒子更新方式，对每个粒子的速度位置进行更新；
步骤5：以一定概率选择部分粒子进行变异操作；
步骤6：计算每个粒子的联邦学习多目标值，若当前粒子位置可支配历史最优位置，则更新Pbesti为当前粒子位置；同时更新Archive集内容，将当前不被占优的粒子储存在Archive集中；
步骤7：当轮次大于设置值时，对种群中的粒子采用低质量解替换策略，遍历种群过程中，将错误率大于指定值的劣解删掉，并替换为新的粒子；
步骤8：重复步骤4至7，直到算法达到最大迭代次数；
步骤9：迭代结束，输出Archive集中的Pareto最优解。
本发明的有益效果如下：
本发明针对联邦学习多目标优化算法中计算时间消耗大的问题，在数据异构场景下，设计出融合分层聚类和粒子群的联邦学习多目标优化算法，可快速优化联邦学习多目标均衡下超参数。
引入分层聚类算法来解决non-IID数据倾斜问题，并使得联邦学习能够以低参与者参与比例进行多目标优化算法，极大提高了计算效率。引入粒子群算法对联邦学习多目标模型进行求解，并在沿用快速贪婪初始化和种群低质量个体替换策略的情况下，引入了线性减权和变异算子对粒子群的更新方式进行了改进，增加了种群多样性，提高了本发明所得解的质量。实验结果表明，CPSO算法优于FDNSGA-III算法，从时间上有显著改进，所得Pareto解集更优。
使用本发明优化得到的Pareto最优解与基准的联邦平均算法比较，有效提高了全局模型准确率、降低了全局模型准确率分布方差及通信成本，实现了对联邦学习多目标均衡下的超参数寻优。。
附图说明
图1本发明方法框架图；
图2参与者子集采样结构图；
图3CNN模型的粒子化表示示例；
图4CNN模型下粒子的速度计算示例；
图5CNN模型下粒子的位置更新示例；
图6多目标粒子群优化联邦学习CNN模型参数流程图；
图7MNIST,Extreme non-IID联邦学习分层聚类算法迭代曲线；
图8MNIST,Pathological non-IID联邦学习分层聚类算法迭代曲线；
图9CIFAR-10,Extreme non-IID联邦学习分层聚类算法迭代曲线；
图10CIFAR-10,Pathological non-IID联邦学习分层聚类算法迭代曲线。
具体实施方式
下面结合附图对本发明作进一步的说明，但不以任何方式对本发明加以限制，基于本发明教导所作的任何变换或替换，均属于本发明的保护范围。
本发明建立的联邦学习多目标优化模型中，优化目标是3个最小化目标，分别是最小化全局模型测试错误率f1、最小化全局模型准确率分布方差f2、最小化通信成本f3。三个最小化目标函数综合考虑了联邦学习的模型有效性、公平性和通信成本。决策变量包括联邦学习的参与者参与比例C、学习率η、批次大小B、神经网络结构参数。
本发明的联邦学习多目标优化模型中，选定卷积神经网络作为联邦学习的神经网络模型进行优化实验。并根据CNN的结构，设置CNN中卷积层数Conv、卷积核数目kc、卷积核大小ks、全连接层数L、全连接层神经元数NL为待优化的神经网络结构参数，则联邦学习多目标优化模型的决策变量为v＝{C,η,B,Conv,kc,ks,L,NL}。
本发明对于联邦学习多目标优化模型的求解中，着重于提高求解质量和计算效率。针对联邦学习多目标优化算法中计算时间消耗大的问题，面向数据异构场景和快速优化需求，提出融合分层聚类和粒子群的联邦学习多目标优化算法，以提高各参与者的使用率及粒子群算法的计算效率，构建更高效可行的联邦学习多目标优化算法。
如图1所示，CPSO算法整体上分为两阶段，即聚类阶段和多目标粒子群进化阶段。在聚类阶段，根据预训练模型参数的相似性将全部参与者聚成多个类。将各参与者聚类划分成簇之后，基于聚类结果进行多目标粒子群进化阶段。在这一阶段，本发明对粒子更新采用线性减权和引入变异算子，其中粒子的适应度评估采用基于聚类结果的联邦学习训练。
本发明面向的参与者之间的数据分布设置为non-IID，在联邦学习的应用场景中，各参与者的数据往往独立产生，因此参与者之间的数据分布差别较大，存在样本特征维度不同、标签空间不同或样本量不均衡等异构的情况。数据分布差异大使得联邦学习的一轮训练中，每个参与者的训练出来的模型也存在较大的差异，进而影响联邦学习全局模型的收敛速度，导致模型性能明显下降。
为了减少由于参与者数据的异质性导致的联邦学习性能损失，本发明通过一定方式平衡参与者之间的数据分布。聚类联邦学习(Clustered Federated Learning，CFL)算法将聚类算法引入联邦学习过程，通过对参与者本地模型参数的聚类，将联邦学习的所有参与者划分为数据分布相似的多个簇。在每个簇内，参与者之间的数据分布相似，簇间的数据分布差异较大，通过对每个簇的抽样，使得联邦学习每轮训练的参与者集覆盖的数据分布相似，实现对异构数据的平衡，加快联邦学习的收敛速度。
聚类算法是一种无监督学习算法，监督学习是指使用的数据集中有一系列的标签，训练出的模型可以根据输入得到相应的输出。而在无监督学习中，数据集只有数据特征没有任何标签。聚类算法用于对数据集进行分组，将相似的数据点聚集在一起，称之为‘类’，类内各数据点属性相近，同时将不相似的数据点分开，聚类的重点在于计算样本之间的相似度，也称为样本间的距离。
本发明选择使用分层聚类方法，并选择自底向上的策略。首先将每个样本作为一个类。在聚类的每一步，计算所有类之间的成对距离来判断它们的相似性，然后根据某种度量将符合条件的簇合并，直到达到某个终止条件。距离阈值可以作为超参数来确定何时停止合并集群。
对分层聚类算法的两个超参数选择中，第一个用于计算聚类之间相似性的距离度量选择欧几里得距离，欧几里得距离是一种常用的度量标准，用于判断向量之间的相似性。第二个重要的超参数是用于确定两个集群相似程度的链接机制，选择Ward的链接(只能与欧几里得距离度量相结合)，能最小化合并两个集群时的集群内方差。
对于分层聚类应用于联邦学习下的参与者划分，在聚类之前进行R轮的联邦学习全局通信，然后在第R+1轮进行一轮涉及所有参与者的全局通信，得到所有参与者上传的模型参数。将模型参数wk转化为向量并将其作为聚类算法的特征输入，再使用分层聚类算法HierarchicalClusteringAlgorithm(w,PHC)迭代合并最相似的参与者直到给定的距离阈值/>最终得到聚类结果Clusters＝{c1,c2,…cM}，每个集群包含数据分布最相似的参与者子集。分层聚类算法为本领域的现有技术，本发明不再赘述。伪代码如算法1所示。
获得参与者的聚类簇后，进入下一个多目标粒子群进化算法阶段，每个粒子表示特定的神经网络结构参数，此阶段中，需要基于聚类结果按比例采样得到参与者子集，来进行一个粒子的联邦学习适应度值评估。若粒子内参与者保持不动，不符合联邦学习每轮训练动态抽样参与者的行为，不利于模型的泛化。为保持联邦学习训练过程中每轮参与者的动态性，使得模型训练更有效，在粒子群算法的粒子并行使用联邦学习进行适应值评估中，在联邦学习每轮训练中重新分配每个粒子内的参与者子集，采样结构如图2所示。
从横向来看，确定粒子参数N后，按照参与比例C对各聚类簇抽样成子集1至子集N，其中N·C应该小于1，则子集之间无交叉参与者。原所有参与者在一定时间内只能进行一个联邦学习适应值评估任务，现可以将所有参与者划分为多个子集，并行进行粒子间的联邦学习评估任务。
从纵向来看，例如粒子2进行联邦学习训练以得到多目标值，在联邦学习的每轮训练中，参与者子集是动态不完全相同的，都是基于聚类簇重新采样形成。原进化算法中不进行参与者采样，参与者全集一次只能进行一次联邦学习评估。当前的采样拓扑结构，对于参与者全集来说，基于聚类结果划分成子集，可以提高参与者使用率，同时进行多次联邦学习评估。
在多目标粒子群算法的迭代轮次中，联邦学习训练过程中，需要结合聚类结果进行每轮参与者的选择，训练后得到的错误率、神经网络结构参数量、方差，即为该粒子的目标函数值。其中参与者参与比例C相同且固定不变，则第三个目标值通信成本f3可以从简化为Cost＝σ。具体的基于聚类结果的联邦学习训练算法2如下所示。
粒子群优化联邦学习多目标模型
当使用多目标粒子群算法来优化联邦学习多目标模型的变量时，每个粒子都包括联邦学习的参与者参与比例C、学习率η、批次大小B、CNN神经网络结构参数，粒子化表示如图3所示，其中卷积层和全连接层长度可变。
粒子间表示网络结构的向量的维度不一定相同，由于粒子群优化算法的特性，不同维度的粒子向量之间无法直接相互学习，即具有不同卷积层数或不同全连接层数的网络之间无法相互学习。对于这个问题，本章对粒子群算法的粒子速度位置的更新方式进行了改进，以适应可变长度粒子的相互学习。
对于学习率η、参与者参与比例C、批次大小B这几个变量，采用一般的粒子更新方式进行速度位置的更新。而对于每个粒子的卷积层和全连接层，将两者独立开，分为两个部分，分别进行更新。
首先在得到粒子的本地最优和全局最优之后，粒子卷积层和全连接层速度位置的更新需要考虑粒子当前的神经网络结构P、Pbest、Gbest的神经网络结构。在本地最优Pbest和全局最优Gbest之间，以一定的概率αg在本地最优和全局最优之间选择层。对每一层生成一个处于[0,1]的随机数r，如果r小于等于αg，则选取Gbest中相应的层与超参数，反之就选取Pbest层。最终将选择的层组成粒子的速度，粒子更新时要求与粒子速度层数结构相同。αg采用线性递减的方式变化，最开始选择一个较大值，随着训练轮次的增加而减少。即在前期，有较大的概率选择全局最优的层，能加快收敛速度。
图4给出了CNN模型下卷积层和全连接层的粒子速度计算的一个示例，绿色表示当前粒子P的全局最优Gbest，橙色为当前粒子的本地最优Pbest。将全局最优和本地最优的卷积层、全连接层分开对齐，将长度较短的粒子补空至长度相同。当随机概率小于αg时选择Gbest层，反之选择Pbest层。则粒子P的速度的长度会在全局最优Gbest和本地最优Pbest之间。
在得到速度后，粒子的更新需要对粒子当前的神经网络结构和粒子的速度进行计算。在更新粒子的过程中，对粒子内与速度同时存在的层，根据变式x＝x+αg(v-x)进行位置的更新，对结果取整。根据粒子速度的神经网络结构确定粒子更新后的结构，从粒子当前结构中添加或删除层，粒子的结构最终与速度相同，与速度具有相同的层数，当粒子层数大于速度时，粒子多余层数被删除；当粒子层数小于速度时，速度中剩下的层数增加到粒子的结构中。例如图5中，粒子P朝着速度靠近，且更新后的粒子P结构与粒子P的速度一致。
本发明使用多目标粒子群算法，结合聚类结果对联邦学习的多目标模型进行求解，为了提高得到的联邦学习神经网络模型参数的质量，在本发明面向联邦学习的多目标粒子群算法中，做的改进列举如下，并将改进的算法记为CPSO算法：
(1)将聚类结果引入到快速贪婪初始化，基于聚类结果分组并行进行初始化粒子的评估，使得初始粒子的评估更具有准确率保障。
(2)针对需要搜寻的决策变量特点，包括整数、实数、神经网络结构参数(卷积层数、神经元数目等)，对不同类型变量进行不同的粒子更新，其中整数、实数类型的固定长度变量采用一般的粒子速度、位置更新方式。对于卷积层数和相应每层的卷积核数目、全连接层数和相应每层的神经元数目，这两个可变长度的变量进行粒子更新时，本发明进行了适应化改进，在兼顾其粒子向量长度可变的特点时，使得更新后的粒子还具有朝着本地最优和全局最优靠近的特性。
(3)对于CNN神经网络结构参数的更新，即卷积层和全连接层的粒子更新中，对更新权重采用线性减权的方式，即：在前期会以较大概率选择全局最优的层数，即粒子群的神经网络结构(卷积层数、全连接层数)朝着全局最优粒子对应的神经网络模型靠拢，但同时因为低质量替换策略，能够引进新的粒子，在一定程度上保证粒子群在神经网络结构上保持多样性。在神经元上，也是前期以较大比重靠近选定的层数。
(4)在粒子进行速度位置的更新之后，对于部分粒子进行变异算子操作，即：以一定概率抽取部分粒子进行变异操作，采用多项式变异。能够提高粒子群的群体多样性，跳出局部最优，进一步改善算法的全局寻优能力。
使用CPSO算法对联邦学习多目标模型的变量进行优化，图6表示多目标粒子群优化联邦学习CNN参数模型的流程图，其具体的优化过程如下：
步骤1：初始化粒子群算法的种群规模、选择权重、变异算子等参数，并基于聚类结果采用快速贪婪初始化构建初代粒子群，粒子的位置为CNN模型相关参数。
步骤2：计算每个粒子的目标函数值，使用当前粒子对应的参数进行基于聚类簇的联邦学习训练，得到三目标值。并初始化粒子i的个体最优为当前位置Pbesti。
步骤3：根据Pareto支配原则，将当前粒子群的Pareto非支配解存入Archive集，并根据一定规则在Archive集中选择全局最优Gbest。
步骤4：根据上文描述的基于线性减权的粒子更新方式，对每个粒子的速度位置进行更新。
步骤5：以一定概率选择部分粒子进行变异操作。
步骤6：计算每个粒子的联邦学习多目标值，若当前粒子位置可支配历史最优位置，则更新Pbesti为当前粒子位置。同时更新Archive集内容，将当前不被占优的粒子储存在Archive集中。
步骤7：当轮次大于设置值时，对种群中的粒子采用低质量解替换策略，遍历种群过程中，将错误率大于指定值的劣解删掉，并替换为新的粒子。
步骤8：重复步骤4至7，直到算法达到最大迭代次数
步骤9：迭代结束，输出Archive集中的Pareto最优解。
实验使用两个流行的数据集评估CPSO算法，分别是MNIST和CIFAR-10数据集，两个数据集的训练难度是CIFAR-10数据集难于MNIST数据集。本章实验选取了CNN模型作为联邦学习的基准模型，该基准模型由2个5×5卷积层(第一个有32个通道，第二个有64个通道)，只在卷积层的最后面跟一个2×2的最大池化层，深层结构中只有1个全连接层和一个10分类的softmax层，全连接层的神经元的数量是128，该基准CNN模型在MNIST数据集上参数量为1 659 146，在CIFAR-10数据集上参数量为2 152 266。
(2)基准联邦学习训练相关参数
联邦学习训练的相关参数中，在本章设置存在大规模的参与者，即设置参与者总数K为1000，并设定基准联邦学习训练时的参与者参与比例C为0.1，即联邦学习每轮通信中有100个参与者。在参与者使用本地隐私数据进行本地计算时，采用带动量的小批量随机梯度下降，设定其学习率为0.05，批次大小为50。
参与者本地训练的迭代轮次对联邦学习算法性能也有影响，本地训练轮次太少则需要更多的全局通信轮次，增大系统通信开销。本地训练轮次太多，则可能使得联邦学习模型过拟合，因此需要结合问题特点对本地轮次进行选择。本章主要在非独立同分布下进行实验，数据间差异较大，设置过大的本地轮次会使得各参与者本地模型过于分散，不利于全局模型的收敛，因此设置本地轮次为3轮。
(3)联邦学习的数据分布设置
联邦学习的数据分布设置中，由于现实场景中参与者之间的数据在大小和分布方面通常是异质的，我们在本章基于以下两种non-IID设置进行实验，主要依据标签分布不均衡来模拟non-IID分布。第一种是极端的数据分布不均衡，每个节点近似只拥有一种标签的数据，但每个节点数据大小相同，所以数据的倾斜程度更高，标记为Extreme non-IID。第二种是Pathological non-IID，每个参与者只含有两个标签且数据样本大小相同。训练难度是Extreme non-IID数据分布难于Pathological non-IID数据分布。
(4)多目标粒子群参数设置
多目标粒子群算法参数设置中，粒子数设置为20，迭代20次，Pareto解存储集大小设置为100。
粒子的更新分为两种类型，一是整数、实数的更新，采用一般的粒子速度位置更新方式，其中的c1和c2的取值范围是[1.5,2.5]，r1和r2的取值范围是[0,1]，惯性权重设置为0.1，初始速度设置为0。二是卷积层和全连接层的更新会改变粒子的维度，在这部分可变长度变量的更新权重采用线性递减的方式，初始值为0.7，递减至0.3。粒子是否采取变异算子的概率为0.5，变异算子对于整数和实数采用对应的概率为0.2且nm＝20的多项式变异。对于卷积核大小，由于只在3和5之间取值，不采用变异操作。
在粒子群的快速贪婪初始化中，设置随机粒子为设定粒子数的3倍，在快速贪婪初始化中的联邦学习评估设置较低的参数以加快评估速度，其中Extreme non-IID中联邦学习迭代次数为10，在Pathological non-IID中，联邦学习迭代次数为5，并且参与者参与比例为0.1，按参与者比例基于聚类结果抽样，并行进行联邦学习训练评估过程。当粒子群迭代轮次大于5时，对错误率大于0.8的低质量粒子采取替换策略，并重置该新粒子的个体最优和速度为0。
在粒子群算法的联邦学习评估中，Extreme non-IID数据分布中联邦学习迭代次数为20，在Pathological non-IID数据分布中，联邦学习迭代次数为10。本地训练的迭代轮次设置为3。在粒子进行一次联邦学习训练评估中，各个参与者使用的模型优化器和超参数都相同，联邦学习训练完成后，得到该粒子的适应度值。
本发明设定联邦学习的数据分布为non-IID，为提高non-IID数据分布下的准确率，并在不严重损失准确率的情况下以较低参与者参与比例进行CPSO实验，以减少通信成本和提高计算效率。本发明在CPSO实验前，先对联邦学习进行分层聚类，将所有参与者划分为簇。
其中，本发明的分层聚类算法中选择使用欧几里德距离和Ward’s linkage参数，在聚类前进行R轮的联邦学习迭代，根据距离阈值参数实现参与者聚类。在MNIST和CIFAR-10数据集上，对两种non-IID数据分布进行实验，不同的数据集和不同的数据分布下使用的联邦学习分层聚类算法参数不同，经实验最后选定参数如下表1所示。
表1联邦学习分层聚类算法的相关参数设置
在采用分层聚类算法将所有参与者按模型相似度划分为簇之后，对聚类后的各簇按参与比例C＝0.1抽样进行训练，记为CFL，并分别与参与比例为0.1和参与比例为1的标准联邦学习进行对比，其中联邦学习实验参数中，本地迭代轮次为3，全局通信轮次T＝100，实验结果如图7-图10所示，横坐标为通信轮次，纵坐标为测试准确率。
整体上看，可以发现参与比例C为0.1的聚类联邦学习代表的曲线，优于C为0.1的基准联邦学习代表的虚线，能够加快收敛速度，并且提高准确率。同时，可以看到，参与比例C为0.1的聚类联邦学习与联邦学习中参与比例为1的迭代曲线靠近，并未出现明显准确率降低。从通信成本和准确率损失的置换角度来说，采用参与比例C为0.1的聚类联邦学习，所带来的通信开销减小所造成的准确率损失是有限的，但通信开销的减少非常明显，是参与比例为1的基准联邦学习的十分之一。
即，在聚类下使用低参与比例C＝0.1进行多目标粒子群进化算法，对联邦学习的多目标模型进行求解是可行的，既能够减轻non-IID数据分布带来的影响，有一定的准确率保障，还可以加快收敛，降低全局模型通信轮次，减少整个进化算法的通信成本，并提高进化效率。同时，聚类下的低参与比例意味着，对于所有的参与者来说，可以合理动态划分为多组，在粒子群算法的粒子评估中，并行进行联邦学习的适应值评估训练，能够极大化参与者的使用效率，提高整个多目标粒子群优化算法的运行速度和降低通信开销。
采用分层聚类算法将所有参与者划分成簇之后，进入多目标粒子群优化联邦学习模型参数阶段。在MNIST和CIFAR-10数据集上对Extreme non-IID和Pathological non-IID两种数据分布，使用CPSO算法和第三章的FDNSGA-III算法进行对比，以验证CPSO算法对比FDNSGA-III算法，能够在获得同样或者更优Pareto解的基础上，进一步提高面向联邦学习多目标模型的智能优化算法的求解质量和计算效率，实现了面向大规模数据异构、快速优化、高质量优化解的联邦学习多目标需求。
此外，表2给出了CPSO算法与FDNSGA-III算法所得Pareto解的相关评价指标结果，从HV指标、非支配解数量、覆盖率指标、进化算法每轮迭代时间和单一目标最小值多个维度对两个算法的Pareto解进行分析。
表2CPSO算法与FDNSGA-III算法的各指标分析
对表2的数据进行分析，CPSO算法的HV值始终优于NSGA-III，即从解集综合性指标分析，CPSO解集整体上表现出更好的质量。在Pareto非支配解数量上也表现出数量较多较稳定的优势。覆盖率C(P,FD)中的P表示为CPSO解集，FD表示为FDNSGA-III的解集，C(P,FD)度量值都大于C(FD,P)，但C(FD,P)也有数值，并且在CIFAR-10数据集中两个度量值接近，即从覆盖率度量值的角度来说，CPSO解集表示出一些优势，更多情况下CPSO解集会占优于FNSGA-III的解。
同时，CPSO的解得到的全局模型测试错误率最小值和方差最小值均比FDNSGA-III的要小，体现CPSO算法在更高准确率和更公平的性能分布上，有更好的探索能力。但通信成本上没有明显优势，CPSO解集相较于FDNSGA-III解集更倾斜于低准确率和低方差。从以上HV指标、非支配解数量、覆盖率指标和单一目标最小值的指标上看，所提出的CPSO算法获得的Pareto最优解集具有更好的质量，并且优于FDNSGA-III算法所得解集。
在时间上，采用的指标是算法每轮迭代时间，即总时间/算法轮次/联邦学习评估并行数。CPSO算法采用基于聚类的联邦学习并行进行粒子的适应度值评估，使得联邦学习训练能够在保证准确率的情况下，减少每轮通信的参与者参与数，既降低了通信成本、又降低了计算成本，还能提高进化算法的整体效率，快速优化得到Pareto解。在得到的时间中，FDNSGA-III算法时间是CPSO算法时间的十倍以上，从时间上分析，CPSO算法相对于FDNSGA-III算法在算法运行效率上，有巨大的改进，同时所得解质量较好，可以认为CPSO算法能高质量高效求解联邦学习多目标模型。
本发明的有益效果如下：
本发明针对联邦学习多目标优化算法中计算时间消耗大的问题，在数据异构场景下，设计出融合分层聚类和粒子群的联邦学习多目标优化算法，可快速优化联邦学习多目标均衡下超参数。
引入分层聚类算法来解决non-IID数据倾斜问题，并使得联邦学习能够以低参与者参与比例进行多目标优化算法，极大提高了计算效率。引入粒子群算法对联邦学习多目标模型进行求解，并在沿用快速贪婪初始化和种群低质量个体替换策略的情况下，引入了线性减权和变异算子对粒子群的更新方式进行了改进，增加了种群多样性，提高了本发明所得解的质量。实验结果表明，CPSO算法优于FDNSGA-III算法，从时间上有显著改进，所得Pareto解集更优。
使用本发明优化得到的Pareto最优解与基准的联邦平均算法比较，有效提高了全局模型准确率、降低了全局模型准确率分布方差及通信成本，实现了对联邦学习多目标均衡下的超参数寻优。
本文所使用的词语“优选的”意指用作实例、示例或例证。本文描述为“优选的”任意方面或设计不必被解释为比其他方面或设计更有利。相反，词语“优选的”的使用旨在以具体方式提出概念。如本申请中所使用的术语“或”旨在意指包含的“或”而非排除的“或”。即，除非另外指定或从上下文中清楚，“X使用A或B”意指自然包括排列的任意一个。即，如果X使用A；X使用B；或X使用A和B二者，则“X使用A或B”在前述任一示例中得到满足。
而且，尽管已经相对于一个或实现方式示出并描述了本公开，但是本领域技术人员基于对本说明书和附图的阅读和理解将会想到等价变型和修改。本公开包括所有这样的修改和变型，并且仅由所附权利要求的范围限制。特别地关于由上述组件(例如元件等)执行的各种功能，用于描述这样的组件的术语旨在对应于执行所述组件的指定功能(例如其在功能上是等价的)的任意组件(除非另外指示)，即使在结构上与执行本文所示的本公开的示范性实现方式中的功能的公开结构不等同。此外，尽管本公开的特定特征已经相对于若干实现方式中的仅一个被公开，但是这种特征可以与如可以对给定或特定应用而言是期望和有利的其他实现方式的一个或其他特征组合。而且，就术语“包括”、“具有”、“含有”或其变形被用在具体实施方式或权利要求中而言，这样的术语旨在以与术语“包含”相似的方式包括。
本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以多个或多个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。上述提到的存储介质可以是只读存储器，磁盘或光盘等。上述的各装置或系统，可以执行相应方法实施例中的存储方法。
综上所述，上述实施例为本发明的一种实施方式，但本发明的实施方式并不受所述实施例的限制，其他的任何背离本发明的精神实质与原理下所做的改变、修饰、代替、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (9)

1.融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，包括以下步骤：
聚类阶段：根据预训练模型参数的相似性将全部参与者聚成多个类；将各参与者聚类划分成簇之后，基于聚类结果进行多目标粒子群进化阶段；对粒子更新采用线性减权和引入变异算子，其中粒子的适应度评估采用基于聚类结果的联邦学习训练；
对于分层聚类应用于联邦学习下的参与者划分，在聚类之前进行R轮的联邦学习全局通信，然后在第R+1轮进行一轮涉及所有参与者的全局通信，得到所有参与者上传的模型参数；
将模型参数wk转化为向量并将其作为聚类算法的特征输入，再使用分层聚类算法迭代合并最相似的参与者直到给定的距离阈值/>最终得到聚类结果Clusters＝{c1,c2,…cM}，每个集群包含数据分布最相似的参与者子集；
多目标粒子群进化算法阶段：每个粒子表示特定的神经网络结构参数，此阶段中，基于聚类结果按比例采样得到参与者子集，并进行一个粒子的联邦学习适应度值评估，并在联邦学习每轮训练中重新分配每个粒子内的参与者子集。
2.根据权利要求1所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，在联邦学习多目标优化模型中，优化目标是3个最小化目标，分别是最小化全局模型测试错误率f1、最小化全局模型准确率分布方差f2、最小化通信成本f3；三个最小化目标函数综合考虑了联邦学习的模型有效性、公平性和通信成本；决策变量包括联邦学习的参与者参与比例C、学习率η、批次大小B、神经网络结构参数。
3.根据权利要求2所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，选定卷积神经网络作为联邦学习的神经网络模型进行优化实验，并根据CNN的结构，设置CNN中卷积层数Conv、卷积核数目kc、卷积核大小ks、全连接层数L、全连接层神经元数NL为待优化的神经网络结构参数，则联邦学习多目标优化模型的决策变量为v＝{C,η,B,Conv,kc,ks,L,NL}。
4.根据权利要求1所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，选择使用分层聚类方法，并选择自底向上的策略：首先将每个样本作为一个类；在聚类的每一步，计算所有类之间的成对距离来判断它们的相似性，然后根据某种度量将符合条件的簇合并，直到达到某个终止条件；设置距离阈值作为超参数来确定何时停止合并集群。
5.根据权利要求1所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，确定粒子参数N后，按照参与比例C对各聚类簇抽样成子集1至子集N，其中N·C小于1，则子集之间无交叉参与者；将所有参与者划分为多个子集，并行进行粒子间的联邦学习评估任务；
在联邦学习的每轮训练中，参与者子集是动态不完全相同的，都是基于聚类簇重新采样形成。
6.根据权利要求1所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，在多目标粒子群算法的迭代轮次中，联邦学习训练过程中，还结合聚类结果进行每轮参与者的选择，训练后得到的错误率、神经网络结构参数量、方差，即为该粒子的目标函数值；其中参与者参与比例C相同且固定不变，则第三个目标值通信成本f3从简化为Cost＝σ。
7.根据权利要求6所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，结合聚类结果的联邦学习训练方法如下：
获取粒子i对应的决策变量参数和聚类结果Clusters＝{c1,c2,…cM}；
服务器端：使用i中的参数初始化神经网络权重
对于每个通信轮次，从每个聚类结果中随机选择mc个参与者，将所有参与者组成集合St，对于集合St中的每个客户端，并行从参与者更新上传模型参数，并将每轮的模型参数进行加权平均，作为下一轮的模型参数；
使用训练后的wi计算全局模型测试准确率A和模型参数大小σi＝f(wi)；
计算目标函数f1 i全局模型测试误差E＝1-A；
计算出目标函数f2 i全局模型准确率分布方差V；
计算得目标函数f3 i通信成本Cost＝σi。
8.根据权利要求1所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，改进粒子群算法的粒子速度位置的更新方式，以适应可变长度粒子的相互学习，具体包括：
对于每个粒子的卷积层和全连接层，将两者独立开，分为两个部分，分别进行更新；
在得到粒子的本地最优和全局最优之后，考虑粒子当前的神经网络结构P、Pbest、Gbest的神经网络结构来更新粒子卷积层和全连接层速度位置：在本地最优Pbest和全局最优Gbest之间，以概率αg在本地最优和全局最优之间选择层；对每一层生成一个处于[0,1]的随机数r，如果r小于等于αg，则选取Gbest中相应的层与超参数，反之就选取Pbest层；最终将选择的层组成粒子的速度，粒子更新时要求与粒子速度层数结构相同；所述概率αg采用线性递减的方式变化，最开始选择一个较大值，随着训练轮次的增加而减少；
在得到速度后，对粒子当前的神经网络结构和粒子的速度进行粒子的更新；在更新粒子的过程中，对粒子内与速度同时存在的层，根据公式x＝x+αg(v-x)进行位置的更新，对结果取整；根据粒子速度的神经网络结构确定粒子更新后的结构，从粒子当前结构中添加或删除层，粒子的结构最终与速度相同，与速度具有相同的层数，当粒子层数大于速度时，粒子多余层数被删除；当粒子层数小于速度时，速度中剩下的层数增加到粒子的结构中。
9.根据权利要求1所述的融合分层聚类和粒子群的联邦学习多目标优化方法，其特征在于，所述联邦学习多目标优化方法优化CNN参数模型的过程如下：
步骤1：初始化粒子群算法的种群规模、选择权重、变异算子，并基于聚类结果采用快速贪婪初始化构建初代粒子群，粒子的位置为CNN模型相关参数；
步骤2：计算每个粒子的目标函数值，使用当前粒子对应的参数进行基于聚类簇的联邦学习训练，得到三目标值，并初始化粒子i的个体最优为当前位置Pbesti；
步骤3：根据Pareto支配原则，将当前粒子群的Pareto非支配解存入Archive集，并根在Archive集中选择全局最优Gbest；
步骤4：根据基于线性减权的粒子更新方式，对每个粒子的速度位置进行更新；
步骤5：以一定概率选择部分粒子进行变异操作；
步骤6：计算每个粒子的联邦学习多目标值，若当前粒子位置可支配历史最优位置，则更新Pbesti为当前粒子位置；同时更新Archive集内容，将当前不被占优的粒子储存在Archive集中；
步骤7：当轮次大于设置值时，对种群中的粒子采用低质量解替换策略，遍历种群过程中，将错误率大于指定值的劣解删掉，并替换为新的粒子；
步骤8：重复步骤4至7，直到算法达到最大迭代次数；
步骤9：迭代结束，输出Archive集中的Pareto最优解。
CN202310660995.3A 2023-06-06 2023-06-06 融合分层聚类和粒子群的联邦学习多目标优化方法 Pending CN117093885A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310660995.3A CN117093885A (zh) 2023-06-06 2023-06-06 融合分层聚类和粒子群的联邦学习多目标优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310660995.3A CN117093885A (zh) 2023-06-06 2023-06-06 融合分层聚类和粒子群的联邦学习多目标优化方法

Publications (1)

Publication Number Publication Date
CN117093885A true CN117093885A (zh) 2023-11-21

Family

ID=88772455

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310660995.3A Pending CN117093885A (zh) 2023-06-06 2023-06-06 融合分层聚类和粒子群的联邦学习多目标优化方法

Country Status (1)

Country Link
CN (1) CN117093885A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688425A (zh) * 2023-12-07 2024-03-12 重庆大学 面向Non-IID图数据的多任务图分类模型构建方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117688425A (zh) * 2023-12-07 2024-03-12 重庆大学 面向Non-IID图数据的多任务图分类模型构建方法及系统

Similar Documents

Publication Publication Date Title
Varol Altay et al. Performance analysis of multi-objective artificial intelligence optimization algorithms in numerical association rule mining
Hu et al. FCAN-MOPSO: an improved fuzzy-based graph clustering algorithm for complex networks with multiobjective particle swarm optimization
CN110544011B (zh) 一种智能化的体系作战效能评估和优化方法
Tang et al. Clustering big IoT data by metaheuristic optimized mini-batch and parallel partition-based DGC in Hadoop
CN108805193B (zh) 一种基于混合策略的电力缺失数据填充方法
Dhaenens et al. Metaheuristics for big data
CN112465120A (zh) 一种基于进化方法的快速注意力神经网络架构搜索方法
CN109388565B (zh) 基于生成式对抗网络的软件系统性能优化方法
Labroche New incremental fuzzy c medoids clustering algorithms
Hu et al. Multiparticipant federated feature selection algorithm with particle swarm optimization for imbalanced data under privacy protection
Orouskhani et al. Multi-objective evolutionary clustering with complex networks
CN117093885A (zh) 融合分层聚类和粒子群的联邦学习多目标优化方法
Rastogi et al. GA based clustering of mixed data type of attributes (numeric, categorical, ordinal, binary and ratio-scaled)
Zhou et al. On the opportunities of green computing: A survey
CN113128617B (zh) 基于Spark和ASPSO的并行化K-means的优化方法
Huang et al. Data mining algorithm for cloud network information based on artificial intelligence decision mechanism
Sun et al. Dynamic Intelligent Supply-Demand Adaptation Model Towards Intelligent Cloud Manufacturing.
Wang et al. Improving evolutionary algorithms with information feedback model for large-scale many-objective optimization
CN116822742A (zh) 一种基于动态分解-重构集成处理的电力负荷预测方法
CN116303386A (zh) 一种基于关系图谱的缺失数据智能插补方法和系统
Patel et al. Study and analysis of particle swarm optimization for improving partition clustering
CN115762183A (zh) 基于几何代数和超图的交通速度预测方法
Kaneriya et al. A novel approach for clustering data streams using granularity technique
Hamdad et al. Association Rules Mining: Exact, Approximate and Parallel Methods: A Survey
Rastogi et al. Business analysis and decision making through unsupervised classification of mixed data type of attributes through genetic algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination