CN116933866A - 针对数据异质性的个性化联邦学习方法、系统及存储介质 - Google Patents

针对数据异质性的个性化联邦学习方法、系统及存储介质 Download PDF

Info

Publication number
CN116933866A
CN116933866A CN202311035140.8A CN202311035140A CN116933866A CN 116933866 A CN116933866 A CN 116933866A CN 202311035140 A CN202311035140 A CN 202311035140A CN 116933866 A CN116933866 A CN 116933866A
Authority
CN
China
Prior art keywords
clients
client
server
training
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311035140.8A
Other languages
English (en)
Inventor
赵亚威
何昆仑
姜明明
柳青河
庄严
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese PLA General Hospital
Original Assignee
Chinese PLA General Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese PLA General Hospital filed Critical Chinese PLA General Hospital
Priority to CN202311035140.8A priority Critical patent/CN116933866A/zh
Publication of CN116933866A publication Critical patent/CN116933866A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Bioethics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种针对数据异质性的个性化联邦学习方法、系统及存储介质，该方法包括如下步骤：服务端将初始学习模型发送至客户端；服务端根据所有客户端的数据分布相似性对客户端进行聚类，生成客户端的相似性网络图；客户端进行本地迭代训练，得到训练梯度和第一权重参数进行训练更新后的第一更新参数；服务端计算所有客户端上传的第一更新参数的平均值，得到第一平均更新参数；服务端自动更新迭代初始学习模型，并得到第二权重参数更新后的第二更新参数；服务端更新初始学习模型；重复上述步骤直至模型损失函数收敛，得到联邦学习模型。本发明具有在实现个性化联邦学习的基础上不违反客户端隐私保护的效果。

Description

针对数据异质性的个性化联邦学习方法、系统及存储介质
技术领域
本发明属于联邦学习技术领域，具体是涉及到一种针对数据异质性的个性化联邦学习方法、系统及存储介质。
背景技术
联邦学习是指多个相互隔离的孤岛数据集上训练模型的任务，在愈加严格的隐私政策的要求下，传统中心式汇聚多个数据孤岛的数据来进行数据挖掘的方式变得不可行，而单个数据孤岛的有效数据不足，数据驱动的建模和数据挖掘受到限制，此时联邦学习便能发挥作用。通用联邦学习是指，所有客户端在不共享数据的情况下，共同训练一个共识模型，以尽可能地学到来自多个客户端数据的知识。通用联邦学习步骤主要包括：客户端选择、模型分发、模型训练和模型聚合，通过迭代直至收敛得到一个聚合的共识模型。
由于联邦学习各客户端节点的数据互相不可见，不仅数据量存在差异，其数据分布也存在异构型，在此条件下直接聚合训练得到的全局模型，不能满足客户端的个性化需求，会导致在部分客户端应用的性能欠佳。个性化联邦学习允许在训练全局模型的基础上，结合局部单个或多个客户端的本地特性进行个性化训练，从而减小数据异构对联邦学习带来的干扰。
个性化联邦学习提出为隐私保护和解决数据异构性的困扰提供了解决方案，主流方法包括两类，一类多是从数据输入层进行优化，通过数据预处理的方式对每个客户端的数据进行处理(如去掉极端数据样本或进行样本平滑)，从而使客户端的分布相似性提升；另一类是方法是建立数据共享池，汇集多个客户端的数据进行训练，以应对异质性问题。但这两种方法在实际应用中存在难以解决的问题，如医学影像数据涉及大量用户私人信息，预处理的方式会干扰影像数据的精度，而共享部分数据违背了隐私保护的需求。
发明内容
本发明提供一种针对数据异质性的个性化联邦学习方法、系统及存储介质，以解决个性化联邦学习会因共享部分数据而违背了隐私保护需求的问题。
第一方面，本发明提供一种针对数据异质性的个性化联邦学习方法，该方法包括如下步骤：
服务端将预先构建的初始学习模型以及所述初始学习模型的初始化参数发送至参与联邦学习的多个客户端，所述初始学习模型包括特征提取层和分类器层，所述初始化参数包括所述特征提取层的第一权重参数和所述分类器层的第二权重参数；
所述服务端根据所有所述客户端的数据分布相似性对所述客户端进行聚类，生成所述客户端的相似性网络图；
所述客户端基于所述第一权重参数并利用所述客户端的本地数据对所述初始学习模型自动进行本地迭代训练，得到训练梯度和所述第一权重参数进行训练更新后的第一更新参数，并将所述训练梯度和所述第一更新参数上传至所述服务端；
所述服务端计算所有所述客户端上传的所述第一更新参数的平均值，得到第一平均更新参数；
所述服务端结合所述相似性网络图和所有所述客户端上传的所述训练梯度自动更新迭代所述初始学习模型，并得到所述第二权重参数更新后的第二更新参数；
所述服务端通过所述第一平均更新参数和所述第二更新参数更新所述初始学习模型；
所述服务端将更新后的所述初始学习模型再次发送至所有所述客户端，并重复上述所述客户端进行所述本地迭代训练的步骤，直至所述初始学习模型的损失函数收敛，得到联邦学习模型。
可选的，所述服务端根据所有所述客户端的数据分布相似性对所述客户端进行聚类，生成所述客户端的相似性网络图包括如下步骤：
所述服务端将预先构建的数据分布相似性评估模型发送至所有所述客户端；
所述客户端结合所述数据分布相似性评估模型和所述客户端的本地数据计算得到本地数据分布相似性系数，并将所述本地数据分布相似性系数上传至所述服务端；
所述服务端基于所述本地数据分布相似性系数并通过KNN算法对所述客户端进行聚类，生成所述客户端的相似性网络图。
可选的，所述客户端结合所述数据分布相似性评估模型和所述客户端的本地数据计算得到本地数据分布相似性系数，并将所述本地数据分布相似性系数上传至所述服务端包括如下步骤：
所述客户端接收所述数据分布相似性评估模型；
所述客户端将预设的标准数据集和所述客户端的本地数据输入至所述数据分布相似性评估模型；
所述客户端通过所述数据分布相似性评估模型进行协方差计算，得到本地数据分布相似性系数，并将所述本地数据分布相似性系数上传至所述服务端。
可选的，所述服务端基于所述本地数据分布相似性系数并通过KNN算法对所述客户端进行聚类，生成所述客户端的相似性网络图包括如下步骤：
所述服务端基于所述本地数据分布相似性系数，计算所述客户端与多个预设的已分类点之间的欧式距离；
所述服务端将多个所述已分类点按照对应所述欧氏距离从小到大的顺序排列，并取前K个所述已分类点作为目标分类点；
所述服务端统计所有所述目标分类点所属目标类别的出现次数；
所述服务端将所述出现次数最高的所述目标类别作为所述客户端的目标类别；
所述服务端根据所有所述客户端的所述目标类别进行聚类，生成所述客户端的相似性网络图。
可选的，所述客户端基于所述第一权重参数并利用所述客户端的本地数据对所述初始学习模型自动进行本地迭代训练，得到训练梯度和所述第一权重参数进行训练更新后的第一更新参数，并将所述训练梯度和所述第一更新参数上传至所述服务端包括如下步骤：
所述客户端基于所述第一权重参数并利用所述客户端的本地数据对所述初始学习模型自动进行本地迭代训练，并基于所述初始学习模型的损失函数利用梯度下降法计算得到训练梯度；
所述客户端结合所述初始学习模型和所述训练梯度自动更新所述第一权重参数，得到第一更新参数；
所述客户端将所述训练梯度和所述第一更新参数上传至所述服务端。
可选的，所述第一更新参数的计算公式如下：
式中：ηt表示学习率，M表示所述特征提取层，表示第i个所述客户端第t轮的所述训练梯度，xt表示通过第t轮训练得到的值，x表示变量求解的值。
可选的，所述服务端结合所述相似性网络图和所有所述客户端上传的所述训练梯度自动更新迭代所述初始学习模型，并得到所述第二权重参数更新后的第二更新参数包括如下步骤：
所述服务端根据所有所述客户端上传的所述训练梯度自动更新迭代所述初始学习模型；
所述服务端结合所述相似性网络图和更新后的所述初始学习模型更新所述第二权重参数，得到第二更新参数。
可选的，所述第二更新参数的计算公式如下：
式中：ηt表示学习率，N表示所述分类器层，Zt表示通过第t轮训练得到的值，Z表示变量求解的值，Q表示所述相似性网络图，λ表示调节因子，p表示p范数，F表示F范数，T表示矩阵转置， 表示第i个所述客户端第t轮的所述训练梯度，I表示所述客户端的数量。
第二方面，本发明还提供一种针对数据异质性的个性化联邦学习系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面中所述的方法。
第三方面，本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面中所述的方法的步骤。
本发明的有益效果是：
本发明提供了一种针对数据异质性的个性化联邦学习方法，所述方法利用包含个性化特征和泛化性特征的全局模型，通过全局任务子模型进行泛化性模型的训练；利用客户端的数据分布相似性自动生成具有相似数据分布的客户端相似性网络图，对具有相似数据分布的客户端进行局部个性化训练，有效解决了数据分布异质性对联邦学习模型训练的干扰问题，并且客户端的局部个性化训练均在客户端本地进行，因此还满足了客户端数据隐私保护的需求。
附图说明
图1为本发明中针对数据异质性的个性化联邦学习方法的流程示意图。
具体实施方式
本发明公开一种针对数据异质性的个性化联邦学习方法。
参照图1，针对数据异质性的个性化联邦学习方法具体包括如下步骤：
S101.服务端将预先构建的初始学习模型以及初始学习模型的初始化参数发送至参与联邦学习的多个客户端。
其中，服务端所发送到各个客户端的初始学习模型可以用以下公式表示：
式中：表示发送至第i个客户端的初始学习模型，M表示神经网络的特征提取层，若以DenseNet网络为例，M可以表示DenseNet网络中的卷积层和标准化层，N表示神经网络的分类器层，在另一个实施方式中，N还可以表示神经网络的全连接层。/>和/>均为初始化参数。其中，/>为特征提取层M的第一权重参数，/>为分类器层N的第二权重参数。第一权重参数和第二权重参数中的“第一”与“第二”仅作为技术特征的区分，不表示任何其他意义。
S102.服务端根据所有客户端的数据分布相似性对客户端进行聚类，生成客户端的相似性网络图。
其中，可以基于数据分布相似性并通过KNN(K-Nearest Neighbor)算法对客户端进行聚类，并生成客户端的相似性网络图，还可以采用DenseNet、Cov等算法实现。相似性网络图也可以表示为矩阵形式，假设共有5个客户端，则相似性网络图是一个5*5的矩阵，具有相似性的客户端节点被标记为1，其他客户端节点标记为0。
S103.客户端基于第一权重参数并利用客户端的本地数据对初始学习模型自动进行本地迭代训练，得到训练梯度和第一权重参数进行训练更新后的第一更新参数，并将训练梯度和第一更新参数上传至服务端。
其中，根据初始学习模型的损失函数(loss function)求得本轮本地迭代训练的训练梯度，损失函数可以选用交叉熵损失函数。
S104.服务端计算所有客户端上传的第一更新参数的平均值，得到第一平均更新参数。
其中，将所有客户端上传的第一更新参数之和，除以客户端的数量，即可得到第一平均更新参数。
S105.服务端结合相似性网络图和所有客户端上传的训练梯度自动更新迭代初始学习模型，并得到第二权重参数更新后的第二更新参数。
其中，更新第二权重参数时，引入相似性网络图的矩阵形式进行计算，再结合所有客户端上传的训练梯度实现服务端的自适应更新。
S106.服务端通过第一平均更新参数和第二更新参数更新初始学习模型。
其中，服务端通过第一平均更新参数和第二更新参数更新初始学习模型，得到更新后的初始学习模型表示如下：
yt+1＝Mxt+1+Nzt+1
式中：yt+1表示经过本轮更新迭代后的初始学习模型，M表示神经网络的特征提取层，N表示神经网络的分类器层，xt+1表示第一平均更新参数，Zt+1表示第二更新参数。
S107.服务端将更新后的初始学习模型再次发送至所有客户端，并重复上述客户端进行本地迭代训练的步骤，直至初始学习模型的损失函数收敛，得到联邦学习模型。
其中，在服务端将更新后的初始学习模型再次发送至所有客户端之后，重复执行步骤S103至步骤S107，直至初始学习模型的损失函数收敛，损失函数收敛表示损失函数趋于稳定不再变化。损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好。
本实施方式的实施原理为：
利用包含个性化特征和泛化性特征的全局模型，通过全局任务子模型进行泛化性模型的训练；利用客户端的数据分布相似性自动生成具有相似数据分布的客户端相似性网络图，对具有相似数据分布的客户端进行局部个性化训练，有效解决了数据分布异质性对联邦学习模型训练的干扰问题，并且客户端的局部个性化训练均在客户端本地进行，因此还满足了客户端数据隐私保护的需求。
在其中一种实施方式中，步骤S102即服务端根据所有客户端的数据分布相似性对客户端进行聚类，生成客户端的相似性网络图具体包括如下步骤：
服务端将预先构建的数据分布相似性评估模型发送至所有客户端；
客户端结合数据分布相似性评估模型和客户端的本地数据计算得到本地数据分布相似性系数，并将本地数据分布相似性系数上传至服务端；
服务端基于本地数据分布相似性系数并通过KNN算法对客户端进行聚类，生成客户端的相似性网络图。
在本实施方式中，服务端还可以基于本地数据分布相似性系数并基于K-Means聚类方法对客户端进行聚类。
在其中一种实施方式中，客户端结合数据分布相似性评估模型和客户端的本地数据计算得到本地数据分布相似性系数，并将本地数据分布相似性系数上传至服务端具体包括如下步骤：
客户端接收数据分布相似性评估模型；
客户端将预设的标准数据集和客户端的本地数据输入至数据分布相似性评估模型；
客户端通过数据分布相似性评估模型进行协方差计算，得到本地数据分布相似性系数，并将本地数据分布相似性系数上传至服务端。
在本实施方式中，样本空间中两个点之间的距离度量表示的是两个样本点之间的相似程度，在计算距离时，可以采用不同的距离度量方式，如欧式距离、曼哈顿距离等。距离越小，表示相似程度越高；相反，距离越大，相似程度越低。取协方差来刻画输入之间的相关性，协方差只是本实施方式中的方法，在其他实施方式中还可以使用其他计算方法。
协方差的定义如下：
X和Y是两个随机变量，X和Y的协方差cov(X，Y)可以表示为：
cov(X，Y)＝E[(X-μx)(Y-μy)]
其中，E(X)＝μx，E(Y)＝μy。
协方差矩阵的定义如下：
矩阵中的数据按行排列与按列排列求出的协方差矩阵是不同的，可以默认数据是按行排列。即每一行是一个维度，那么每一列就是一个随机变量，协方差对角线处的元素表示的是方差。上述矩阵可以表示为：
则协方差矩阵可以表示为：
在其中一种实施方式中，服务端基于本地数据分布相似性系数并通过KNN算法对客户端进行聚类，生成客户端的相似性网络图具体包括如下步骤：
服务端基于本地数据分布相似性系数，计算客户端与多个预设的已分类点之间的欧式距离；
服务端将多个已分类点按照对应欧氏距离从小到大的顺序排列，并取前K个已分类点作为目标分类点；
服务端统计所有目标分类点所属目标类别的出现次数；
服务端将出现次数最高的目标类别作为客户端的目标类别；
服务端根据所有客户端的目标类别进行聚类，生成客户端的相似性网络图。
在其中一种实施方式中，步骤S103即客户端基于第一权重参数并利用客户端的本地数据对初始学习模型自动进行本地迭代训练，得到训练梯度和第一权重参数进行训练更新后的第一更新参数，并将训练梯度和第一更新参数上传至服务端具体包括如下步骤：
客户端基于第一权重参数并利用客户端的本地数据对初始学习模型自动进行本地迭代训练，并基于初始学习模型的损失函数利用梯度下降法计算得到训练梯度；
客户端结合初始学习模型和训练梯度自动更新第一权重参数，得到第一更新参数；
客户端将训练梯度和第一更新参数上传至服务端。
在本实施方式中，第一更新参数的计算公式如下：
式中：ηt表示学习率，M表示所述特征提取层，表示第i个所述客户端第t轮的所述训练梯度，xt表示通过第t轮训练得到的值，x表示变量求解的值。
在其中一种实施方式中，步骤S105即服务端结合相似性网络图和所有客户端上传的训练梯度自动更新迭代初始学习模型，并得到第二权重参数更新后的第二更新参数具体包括如下步骤：
服务端根据所有客户端上传的训练梯度自动更新迭代初始学习模型；
服务端结合相似性网络图和更新后的初始学习模型更新第二权重参数，得到第二更新参数。
在本实施方式中，第二更新参数的计算公式如下：
式中：ηt表示学习率，N表示所述分类器层，Zt表示通过第t轮训练得到的值，Z表示变量求解的值，Q表示所述相似性网络图，λ表示调节因子，p表示p范数，F表示F范数，T表示矩阵转置， 表示第i个所述客户端第t轮的所述训练梯度，I表示所述客户端的数量。
本发明还公开一种针对数据异质性的个性化联邦学习系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述实施方式中的针对数据异质性的个性化联邦学习方法。
本实施方式的实施原理为：
通过程序的调取，可以利用包含个性化特征和泛化性特征的全局模型，通过全局任务子模型进行泛化性模型的训练；利用客户端的数据分布相似性自动生成具有相似数据分布的客户端相似性网络图，对具有相似数据分布的客户端进行局部个性化训练，有效解决了数据分布异质性对联邦学习模型训练的干扰问题，并且客户端的局部个性化训练均在客户端本地进行，因此还满足了客户端数据隐私保护的需求。
本发明还公开一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施方式中的针对数据异质性的个性化联邦学习方法的步骤。
本实施方式的实施原理为：
通过程序的调取，可以利用包含个性化特征和泛化性特征的全局模型，通过全局任务子模型进行泛化性模型的训练；利用客户端的数据分布相似性自动生成具有相似数据分布的客户端相似性网络图，对具有相似数据分布的客户端进行局部个性化训练，有效解决了数据分布异质性对联邦学习模型训练的干扰问题，并且客户端的局部个性化训练均在客户端本地进行，因此还满足了客户端数据隐私保护的需求。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的保护范围限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上的本申请中一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
本申请中一个或多个实施例旨在涵盖落入本申请的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请中一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种针对数据异质性的个性化联邦学习方法，其特征在于，包括如下步骤：
服务端将预先构建的初始学习模型以及所述初始学习模型的初始化参数发送至参与联邦学习的多个客户端，所述初始学习模型包括特征提取层和分类器层，所述初始化参数包括所述特征提取层的第一权重参数和所述分类器层的第二权重参数；
所述服务端根据所有所述客户端的数据分布相似性对所述客户端进行聚类，生成所述客户端的相似性网络图；
所述客户端基于所述第一权重参数并利用所述客户端的本地数据对所述初始学习模型自动进行本地迭代训练，得到训练梯度和所述第一权重参数进行训练更新后的第一更新参数，并将所述训练梯度和所述第一更新参数上传至所述服务端；
所述服务端计算所有所述客户端上传的所述第一更新参数的平均值，得到第一平均更新参数；
所述服务端结合所述相似性网络图和所有所述客户端上传的所述训练梯度自动更新迭代所述初始学习模型，并得到所述第二权重参数更新后的第二更新参数；
所述服务端通过所述第一平均更新参数和所述第二更新参数更新所述初始学习模型；
所述服务端将更新后的所述初始学习模型再次发送至所有所述客户端，并重复上述所述客户端进行所述本地迭代训练的步骤，直至所述初始学习模型的损失函数收敛，得到联邦学习模型。
2.根据权利要求1所述的针对数据异质性的个性化联邦学习方法，其特征在于，所述服务端根据所有所述客户端的数据分布相似性对所述客户端进行聚类，生成所述客户端的相似性网络图包括如下步骤：
所述服务端将预先构建的数据分布相似性评估模型发送至所有所述客户端；
所述客户端结合所述数据分布相似性评估模型和所述客户端的本地数据计算得到本地数据分布相似性系数，并将所述本地数据分布相似性系数上传至所述服务端；
所述服务端基于所述本地数据分布相似性系数并通过KNN算法对所述客户端进行聚类，生成所述客户端的相似性网络图。
3.根据权利要求2所述的针对数据异质性的个性化联邦学习方法，其特征在于，所述客户端结合所述数据分布相似性评估模型和所述客户端的本地数据计算得到本地数据分布相似性系数，并将所述本地数据分布相似性系数上传至所述服务端包括如下步骤：
所述客户端接收所述数据分布相似性评估模型；
所述客户端将预设的标准数据集和所述客户端的本地数据输入至所述数据分布相似性评估模型；
所述客户端通过所述数据分布相似性评估模型进行协方差计算，得到本地数据分布相似性系数，并将所述本地数据分布相似性系数上传至所述服务端。
4.根据权利要求2所述的针对数据异质性的个性化联邦学习方法，其特征在于，所述服务端基于所述本地数据分布相似性系数并通过KNN算法对所述客户端进行聚类，生成所述客户端的相似性网络图包括如下步骤：
所述服务端基于所述本地数据分布相似性系数，计算所述客户端与多个预设的已分类点之间的欧式距离；
所述服务端将多个所述已分类点按照对应所述欧氏距离从小到大的顺序排列，并取前K个所述已分类点作为目标分类点；
所述服务端统计所有所述目标分类点所属目标类别的出现次数；
所述服务端将所述出现次数最高的所述目标类别作为所述客户端的目标类别；
所述服务端根据所有所述客户端的所述目标类别进行聚类，生成所述客户端的相似性网络图。
5.根据权利要求1所述的针对数据异质性的个性化联邦学习方法，其特征在于，所述客户端基于所述第一权重参数并利用所述客户端的本地数据对所述初始学习模型自动进行本地迭代训练，得到训练梯度和所述第一权重参数进行训练更新后的第一更新参数，并将所述训练梯度和所述第一更新参数上传至所述服务端包括如下步骤：
所述客户端基于所述第一权重参数并利用所述客户端的本地数据对所述初始学习模型自动进行本地迭代训练，并基于所述初始学习模型的损失函数利用梯度下降法计算得到训练梯度；
所述客户端结合所述初始学习模型和所述训练梯度自动更新所述第一权重参数，得到第一更新参数；
所述客户端将所述训练梯度和所述第一更新参数上传至所述服务端。
6.根据权利要求5所述的针对数据异质性的个性化联邦学习方法，其特征在于，所述第一更新参数的计算公式如下：
式中：ηt表示学习率，M表示所述特征提取层，表示第i个所述客户端第t轮的所述训练梯度，xt表示通过第t轮训练得到的值，x表示变量求解的值。
7.根据权利要求1所述的针对数据异质性的个性化联邦学习方法，其特征在于，所述服务端结合所述相似性网络图和所有所述客户端上传的所述训练梯度自动更新迭代所述初始学习模型，并得到所述第二权重参数更新后的第二更新参数包括如下步骤：
所述服务端根据所有所述客户端上传的所述训练梯度自动更新迭代所述初始学习模型；
所述服务端结合所述相似性网络图和更新后的所述初始学习模型更新所述第二权重参数，得到第二更新参数。
8.根据权利要求7所述的针对数据异质性的个性化联邦学习方法，其特征在于，所述第二更新参数的计算公式如下：
式中：ηt表示学习率，N表示所述分类器层，Zt表示通过第t轮训练得到的值，Z表示变量求解的值，Q表示所述相似性网络图，λ表示调节因子，p表示p范数，F表示F范数，T表示矩阵转置，表示第i个所述客户端第t轮的所述训练梯度，I表示所述客户端的数量。
9.一种针对数据异质性的个性化联邦学习系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8中任意一项所述的方法。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202311035140.8A 2023-08-16 2023-08-16 针对数据异质性的个性化联邦学习方法、系统及存储介质 Pending CN116933866A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311035140.8A CN116933866A (zh) 2023-08-16 2023-08-16 针对数据异质性的个性化联邦学习方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311035140.8A CN116933866A (zh) 2023-08-16 2023-08-16 针对数据异质性的个性化联邦学习方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN116933866A true CN116933866A (zh) 2023-10-24

Family

ID=88382673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311035140.8A Pending CN116933866A (zh) 2023-08-16 2023-08-16 针对数据异质性的个性化联邦学习方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN116933866A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117313901A (zh) * 2023-11-28 2023-12-29 北京邮电大学 一种基于多任务聚类联邦个性学习的模型训练方法及装置
CN117892805A (zh) * 2024-03-18 2024-04-16 清华大学 基于超网络和层级别协作图聚合的个性化联邦学习方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117313901A (zh) * 2023-11-28 2023-12-29 北京邮电大学 一种基于多任务聚类联邦个性学习的模型训练方法及装置
CN117313901B (zh) * 2023-11-28 2024-04-02 北京邮电大学 一种基于多任务聚类联邦个性学习的模型训练方法及装置
CN117892805A (zh) * 2024-03-18 2024-04-16 清华大学 基于超网络和层级别协作图聚合的个性化联邦学习方法
CN117892805B (zh) * 2024-03-18 2024-05-28 清华大学 基于超网络和层级别协作图聚合的个性化联邦学习方法

Similar Documents

Publication Publication Date Title
CN116933866A (zh) 针对数据异质性的个性化联邦学习方法、系统及存储介质
CN107358293B (zh) 一种神经网络训练方法及装置
CN115688913B (zh) 一种云边端协同个性化联邦学习方法、系统、设备及介质
CN110490227B (zh) 一种基于特征转换的少样本图像分类方法
Barrera et al. A review of particle swarm optimization methods used for multimodal optimization
Aghdam et al. A novel non-negative matrix factorization method for recommender systems
CN112633481B (zh) 一种多跳图卷积神经网络模型系统及训练方法
Si et al. Dynamic topology representing networks
Mall et al. Representative subsets for big data learning using k-NN graphs
CN115329885A (zh) 一种基于隐私保护的个性化联邦学习方法和装置
Chalasani et al. Self-organizing maps with information theoretic learning
Mozaffari et al. E2FL: Equal and equitable federated learning
CN115271980A (zh) 风险值预测方法、装置、计算机设备和存储介质
CN113128617B (zh) 基于Spark和ASPSO的并行化K-means的优化方法
CN117634594A (zh) 一种具有差分隐私的自适应聚类联邦学习方法
CN112966741B (zh) 一种可防御拜占庭攻击的联邦学习图像分类方法
Kayhan et al. Counter propagation network based extreme learning machine
Spanakis et al. Amsom: Adaptive moving self-organizing map for clustering and visualization
Ko et al. On data summarization for machine learning in multi-organization federations
CN111709478B (zh) 一种基于锚图的模糊聚类方法及装置
Wang et al. Logit calibration for non-iid and long-tailed data in federated learning
Coulson et al. Growing hierarchical self-organising representation map (GHSORM)
CN117173750B (zh) 生物信息处理方法、电子设备及存储介质
Song et al. Fast convergent distributed cooperative learning algorithms over networks
Desai et al. An enterprise-friendly book recommendation system for very sparse data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination