CN115544873A - 个性化联邦学习的训练效率与个性化效果量化评估方法 - Google Patents

个性化联邦学习的训练效率与个性化效果量化评估方法 Download PDF

Info

Publication number
CN115544873A
CN115544873A CN202211184157.5A CN202211184157A CN115544873A CN 115544873 A CN115544873 A CN 115544873A CN 202211184157 A CN202211184157 A CN 202211184157A CN 115544873 A CN115544873 A CN 115544873A
Authority
CN
China
Prior art keywords
personalized
model
global
training
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211184157.5A
Other languages
English (en)
Other versions
CN115544873B (zh
Inventor
刘淼
郭亮
夏雨虹
王少鹏
杨洁
桂冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211184157.5A priority Critical patent/CN115544873B/zh
Publication of CN115544873A publication Critical patent/CN115544873A/zh
Application granted granted Critical
Publication of CN115544873B publication Critical patent/CN115544873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/16—Customisation or personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于个性化联邦学习领域，尤其是个性化联邦学习的训练效率与个性化效果量化评估方法，包括以下步骤：S1、创建一个Non‑IID的跨域数据集，作为评测数据集；S2、选择合适的模型，作为个性化联邦学习的初始全局模型；S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；本发明充分考虑了跨域异质的场景，实现了模型的个性化功能，在现有研究的基础上，针对个性化联邦学习训练效率和个性化效果给出定性定量的评价指标，为在跨域异质场景下，为衡量不同个性化联邦学习算法与架构提供了一种具体方法。

Description

个性化联邦学习的训练效率与个性化效果量化评估方法
技术领域
本发明涉及个性化联邦学习技术领域，尤其涉及个性化联邦学习的训练效率与个性化效果量化评估方法。
背景技术
联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习、联合学习、联盟学习。是一种先进的机器学习框架，能有效帮助多个客户端在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,从技术上打破数据孤岛,实现人工智能(AI)中的协作。
联邦学习的一大挑战便是异质性，异质性主要分三种，分别是数据异质性和设备异质性和模型异质性。
数据异质性主要是由参与训练的各客户端的数据虽独立分布但不服从同一采样方法(Non-IID)所导致的，传统的联邦学习算法在数据异构(non-iid)的情况下很容易产生client-drift的现象，即本地更新和全局更新的不一致，这种不一致会导致系统的收敛不稳定或者缓慢。
设备异质性主要是各个客户机(设备)在存储、计算和通信能力方面存在异构性，这种设备的异质性会导致本地模型在收敛速率和通信时间方面有很大的差异性。
模型异构性主要是指成功收敛的全局模型不能满足各个客户机的实际场景，导致不能为客户端提供具有个性化的内容和服务。
为了解决这些异构性挑战，一种有效的方法是在设备、数据和模型级别上进行个性化处理，以减轻异构性并为每个设备获得高质量的个性化模型，即个性化联邦学习。
此外，在现存的研究通常使用测试的准确性和损失函数的收敛时间作为联邦学习的评价指标，但很少有合适的方法对个性化联邦学习的训练效率和个性化指标做出定性的评价。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的个性化联邦学习的训练效率与个性化效果量化评估方法。
为了实现上述目的，本发明采用了如下技术方案：
个性化联邦学习的训练效率与个性化效果量化评估方法，包括以下步骤：
S1、创建一个Non-IID的跨域数据集，作为评测数据集；
S2、选择合适的模型，作为个性化联邦学习的初始全局模型；
S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；
S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；
S5、进行全局模型训练效率和个性化效果指标设计。
优选的，所述S1中，创建一个Non-IID的跨域数据集，作为评测数据集，具体步骤包括：
采用跨域数据集：Office-Home数据集，作为评测数据集，对于该数据集，使用原始测试数据集的一半作为公共数据集，其余的作为最终测试数据集，使用Dirichlet分布来模拟各方之间的异构数据分区，假设有k个客户端，根据pk～DirN(β)进行采样，并将标签m的比例为pk,j的样本分配客户端j，作为本地数据集Dj，其中Dir(.)代表狄利克雷分布，参数β＝0.5。
优选的，所述S2中，选择合适的模型，作为个性化联邦学习的初始全局模型，具体步骤包括：
使用ResNet18作为全局模型，模型由1个卷积层和8个残差块以及1个全连接层组成。
优选的，所述S3中，进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型，具体步骤包括：
步骤4-1，服务器随机挑选异质客户端，并将全局模型参数进行广播；
步骤4-2，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器；
步骤4-3，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛。
优选的，步骤4-1，服务器随机挑选一批客户端，并将全局模型参数进行广播，具体步骤包括：
步骤5-1，假设所有客户端达到模型优化拟合状态需要的整体通信次数为T，对于其中的第t轮模型联合训练，t＝1,2,…,T；
步骤5-2，确定客户端总数为k，客户端设备异质，如手机、平板、监控摄像头等，被选中的客户端个数为n，第k个客户端被选中的概率为pk；
步骤5-3，服务器首先根据概率pk随机选出一批客户端，它们的集合为St；
步骤5-4，服务器将当前的参数wt发送给被选中的客户端。
优选的，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器，具体步骤包括：
客户端n收到全局模型信息wt,并利用本地数据集进行训练，得到本地模型
Figure BDA0003866613990000043
并将本地模型参数传递给服务器。
优选的，每个客户端将得到的不精确解传递回服务器，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛，其具体步骤包括:
步骤7-1，服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息
Figure BDA0003866613990000041
步骤7-2，服务器通过
Figure BDA0003866613990000042
对得到的所有的本地模型参数进行加权平均，聚合为全局模型；
步骤7-3，重复步骤4-1、4-2、4-3，直至全局模型收敛。
优选的，所述S4中，各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型，具体步骤包括：
步骤8-1，在第i轮前向计算+反向传播过程的第b批中，每个客户端k求解步骤6-2中的最优个性化问题以获得其个性化模型；
步骤8-2，客户端k利用梯度下降的公式进行本地更新，具体公式为
Figure BDA0003866613990000051
其中η是学习率，
Figure BDA0003866613990000052
是客户端n数据批次为b时本地模型
Figure BDA0003866613990000053
的梯度。
优选的，所述S5中，进行全局模型训练效率和个性化效果指标设计，具体步骤包括：
步骤9-1，我们将训练效率Sglobal作为全局模型训练效率指标，具体定义为集中式训练时的全局准确率
Figure BDA0003866613990000054
与训练周期T的加权值即：
Figure BDA0003866613990000055
F1Center是初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数
Figure BDA0003866613990000056
是进行全局训练时，客户端n
其中，
Figure BDA0003866613990000057
P为测试的精确率，可定义为：
Figure BDA0003866613990000058
R为召回率，可定义为:
Figure BDA0003866613990000059
TP即True Positive，真阳性，指模型预测为正的正样本；
FP，FN为计算错误的结果数，其中FP即False Positive，假阳性，指被模型预测为正的负样本；FN即False Negative，假阴性，指模型预测为负的正样本；
TCenter是联邦全局训练时所需收敛周期；
μ1+μ2＝1，默认都取
Figure BDA0003866613990000061
可根据实际情况进行修改；
根据常规的定义，假设优化算法的目标是
Figure BDA0003866613990000062
其中，W是参数空间，f(ω)是目标函数；记算法在迭代第T步输出的模型参数是ωT，最优的模型参数为
Figure BDA0003866613990000063
如果两者在参数空间的距离或者对于的目标函数值有以下上界：
E||ωT-ω*||2≤ε(T)or Ef(ωT)-f(ω*)≤ε(T)
并且ε(T)随T→∞收敛到0，那么称这个算法是收敛的，此时称logε(T)关于T的阶数为算法的收敛速率，
步骤9-2，我们将训练效果Eindivi作为个性化效果指标，具体可定义为个性化F1分数
Figure BDA0003866613990000064
相比全局F1分数的提升，即：
Figure BDA0003866613990000065
其中，
Figure BDA0003866613990000066
为个性化训练阶段时，使用本地测试集训练更新后的本地模型所得到的F1分数。
本发明中，所述个性化联邦学习的训练效率与个性化效果量化评估方法的有益效果：
本发明充分考虑了跨域异质的场景，实现了模型的个性化功能，在现有研究的基础上，针对个性化联邦学习训练效率和个性化效果给出定性定量的评价指标，为在跨域异质场景下，为衡量不同个性化联邦学习算法与架构提供了一种具体方法。
附图说明
图1为本发明提出的个性化联邦学习的训练效率与个性化效果量化评估方法的算法结构图；
图2为本发明提出的个性化联邦学习的训练效率与个性化效果量化评估方法的算法流程图；
图3为本发明提出的个性化联邦学习的训练效率与个性化效果量化评估方法的Resnet18结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-3，个性化联邦学习的训练效率与个性化效果量化评估方法，包括以下步骤：
S1、创建一个Non-IID的跨域数据集，作为评测数据集；
S2、选择合适的模型，作为个性化联邦学习的初始全局模型；
S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；
S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；
S5、进行全局模型训练效率和个性化效果指标设计。
本实施例中，S1中，创建一个Non-IID的跨域数据集，作为评测数据集，具体步骤包括：
采用跨域数据集：Office-Home数据集，作为评测数据集，对于该数据集，使用原始测试数据集的一半作为公共数据集，其余的作为最终测试数据集，使用Dirichlet分布来模拟各方之间的异构数据分区，假设有k个客户端，根据pk～DirN(β)进行采样，并将标签m的比例为pk,j的样本分配客户端j，作为本地数据集Dj，其中Dir(.)代表狄利克雷分布，参数β＝0.5。
本实施例中，S2中，选择合适的模型，作为个性化联邦学习的初始全局模型，具体步骤包括：
使用ResNet18作为全局模型，模型由1个卷积层和8个残差块以及1个全连接层组成。
本实施例中，S3中，进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型，具体步骤包括：
步骤4-1，服务器随机挑选异质客户端，并将全局模型参数进行广播；
步骤4-2，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器；
步骤4-3，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛。
本实施例中，步骤4-1，服务器随机挑选一批客户端，并将全局模型参数进行广播，具体步骤包括：
步骤5-1，假设所有客户端达到模型优化拟合状态需要的整体通信次数为T，对于其中的第t轮模型联合训练，t＝1,2,…,T；
步骤5-2，确定客户端总数为k，客户端设备异质，如手机、平板、监控摄像头等，被选中的客户端个数为n，第k个客户端被选中的概率为pk；
步骤5-3，服务器首先根据概率pk随机选出一批客户端，它们的集合为St；
步骤5-4，服务器将当前的参数wt发送给被选中的客户端。
本实施例中，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器，具体步骤包括：
客户端n收到全局模型信息wt,并利用本地数据集进行训练，得到本地模型
Figure BDA0003866613990000091
并将本地模型参数传递给服务器。
本实施例中，每个客户端将得到的不精确解传递回服务器，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛，其具体步骤包括:
步骤7-1，服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息
Figure BDA0003866613990000092
步骤7-2，服务器通过
Figure BDA0003866613990000093
对得到的所有的本地模型参数进行加权平均，聚合为全局模型；
步骤7-3，重复步骤4-1、4-2、4-3，直至全局模型收敛。
本实施例中，S4中，各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型，具体步骤包括：
步骤8-1，在第i轮前向计算+反向传播过程的第b批中，每个客户端k求解步骤6-2中的最优个性化问题以获得其个性化模型；
步骤8-2，客户端k利用梯度下降的公式进行本地更新，具体公式为
Figure BDA0003866613990000101
其中η是学习率，
Figure BDA0003866613990000102
是客户端n数据批次为b时本地模型
Figure BDA0003866613990000103
的梯度。
本实施例中，S5中，进行全局模型训练效率和个性化效果指标设计，具体步骤包括：
步骤9-1，我们将训练效率Sglobal作为全局模型训练效率指标，具体定义为集中式训练时的全局准确率
Figure BDA0003866613990000104
与训练周期T的加权值即：
Figure BDA0003866613990000105
F1Center是初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数
Figure BDA0003866613990000106
是进行全局训练时，客户端n
其中，
Figure BDA0003866613990000107
P为测试的精确率，可定义为：
Figure BDA0003866613990000108
R为召回率，可定义为:
Figure BDA0003866613990000109
TP即True Positive，真阳性，指模型预测为正的正样本；
FP，FN为计算错误的结果数，其中FP即False Positive，假阳性，指被模型预测为正的负样本；FN即False Negative，假阴性，指模型预测为负的正样本；
TCenter是联邦全局训练时所需收敛周期；
μ1+μ2＝1，默认都取
Figure BDA0003866613990000111
可根据实际情况进行修改；
根据常规的定义，假设优化算法的目标是
Figure BDA0003866613990000112
其中，W是参数空间，f(ω)是目标函数；记算法在迭代第T步输出的模型参数是ωT，最优的模型参数为
Figure BDA0003866613990000113
如果两者在参数空间的距离或者对于的目标函数值有以下上界：
E||ωT-ω*||2≤ε(T)or Ef(ωT)-f(ω*)≤ε(T)
并且ε(T)随T→∞收敛到0，那么称这个算法是收敛的，此时称logε(T)关于T的阶数为算法的收敛速率，
步骤9-2，我们将训练效果Eindivi作为个性化效果指标，具体可定义为个性化F1分数
Figure BDA0003866613990000114
相比全局F1分数的提升，即：
Figure BDA0003866613990000115
其中，
Figure BDA0003866613990000116
为个性化训练阶段时，使用本地测试集训练更新后的本地模型所得到的F1分数。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，包括以下步骤：
S1、创建一个Non-IID的跨域数据集，作为评测数据集；
S2、选择合适的模型，作为个性化联邦学习的初始全局模型；
S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；
S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；
S5、进行全局模型训练效率和个性化效果指标设计。
2.根据权利要求1所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，所述S1中，创建一个Non-IID的跨域数据集，作为评测数据集，具体步骤包括：
采用跨域数据集：Office-Home数据集，作为评测数据集，对于该数据集，使用原始测试数据集的一半作为公共数据集，其余的作为最终测试数据集，使用Dirichlet分布来模拟各方之间的异构数据分区，假设有k个客户端，根据pk～DirN(β)进行采样，并将标签m的比例为pk,j的样本分配客户端j，作为本地数据集Dj，其中Dir(.)代表狄利克雷分布，参数β＝0.5。
3.根据权利要求2所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，所述S2中，选择合适的模型，作为个性化联邦学习的初始全局模型，具体步骤包括：
使用ResNet18作为全局模型，模型由1个卷积层和8个残差块以及1个全连接层组成。
4.根据权利要求3所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，所述S3中，进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型，具体步骤包括：
步骤4-1，服务器随机挑选异质客户端，并将全局模型参数进行广播；
步骤4-2，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器；
步骤4-3，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛。
5.根据权利要求4所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，步骤4-1，服务器随机挑选一批客户端，并将全局模型参数进行广播，具体步骤包括：
步骤5-1，假设所有客户端达到模型优化拟合状态需要的整体通信次数为T，对于其中的第t轮模型联合训练，t＝1,2,…,T；
步骤5-2，确定客户端总数为k，客户端设备异质，如手机、平板、监控摄像头等，被选中的客户端个数为n，第k个客户端被选中的概率为pk；
步骤5-3，服务器首先根据概率pk随机选出一批客户端，它们的集合为St；
步骤5-4，服务器将当前的参数wt发送给被选中的客户端。
6.根据权利要求5所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器，具体步骤包括：
客户端n收到全局模型信息wt,并利用本地数据集进行训练，得到本地模型
Figure FDA0003866613980000031
并将本地模型参数传递给服务器。
7.根据权利要求6所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，每个客户端将得到的不精确解传递回服务器，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛，其具体步骤包括:
步骤7-1，服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息
Figure FDA0003866613980000032
步骤7-2，服务器通过
Figure FDA0003866613980000033
对得到的所有的本地模型参数进行加权平均，聚合为全局模型；
步骤7-3，重复步骤4-1、4-2、4-3，直至全局模型收敛。
8.根据权利要求7所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，所述S4中，各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型，具体步骤包括：
步骤8-1，在第i轮前向计算+反向传播过程的第b批中，每个客户端k求解步骤6-2中的最优个性化问题以获得其个性化模型；
步骤8-2，客户端k利用梯度下降的公式进行本地更新，具体公式为
Figure FDA0003866613980000041
其中η是学习率，
Figure FDA0003866613980000042
是客户端n数据批次为b时本地模型
Figure FDA0003866613980000043
的梯度。
9.根据权利要求8所述的个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，所述S5中，进行全局模型训练效率和个性化效果指标设计，具体步骤包括：
步骤9-1，我们将训练效率Sglobal作为全局模型训练效率指标，具体定义为集中式训练时的全局准确率
Figure FDA0003866613980000044
与训练周期T的加权值即：
Figure FDA0003866613980000045
F1Center是初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数
Figure FDA0003866613980000046
是进行全局训练时，客户端n
其中，
Figure FDA0003866613980000047
P为测试的精确率，可定义为：
Figure FDA0003866613980000048
R为召回率，可定义为:
Figure FDA0003866613980000049
TP即True Positive，真阳性，指模型预测为正的正样本；
FP，FN为计算错误的结果数，其中FP即False Positive，假阳性，指被模型预测为正的负样本；FN即False Negative，假阴性，指模型预测为负的正样本；
TCenter是联邦全局训练时所需收敛周期；
μ1+μ2＝1，默认都取
Figure FDA0003866613980000051
可根据实际情况进行修改；
根据常规的定义，假设优化算法的目标是
Figure FDA0003866613980000052
其中，W是参数空间，f(ω)是目标函数；记算法在迭代第T步输出的模型参数是ωT，最优的模型参数为
Figure FDA0003866613980000053
如果两者在参数空间的距离或者对于的目标函数值有以下上界：
E||ωT-ω*||2≤ε(T)or Ef(ωT)-f(ω*)≤ε(T)
并且ε(T)随T→∞收敛到0，那么称这个算法是收敛的，此时称logε(T)关于T的阶数为算法的收敛速率；
步骤9-2，我们将训练效果Eindivi作为个性化效果指标，具体可定义为个性化F1分数
Figure FDA0003866613980000054
相比全局F1分数的提升，即：
Figure FDA0003866613980000055
其中，
Figure FDA0003866613980000056
为个性化训练阶段时，使用本地测试集训练更新后的本地模型所得到的F1分数。
CN202211184157.5A 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法 Active CN115544873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211184157.5A CN115544873B (zh) 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211184157.5A CN115544873B (zh) 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法

Publications (2)

Publication Number Publication Date
CN115544873A true CN115544873A (zh) 2022-12-30
CN115544873B CN115544873B (zh) 2023-10-17

Family

ID=84729268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211184157.5A Active CN115544873B (zh) 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法

Country Status (1)

Country Link
CN (1) CN115544873B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226540A (zh) * 2023-05-09 2023-06-06 浙江大学 一种基于用户兴趣域的端到端联邦个性化推荐方法和系统
CN117689009A (zh) * 2024-01-30 2024-03-12 东北大学 一种面向正则化个性化联邦训练的通信优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN114065951A (zh) * 2021-11-17 2022-02-18 黑龙江大学 基于non-IID数据的半监督联邦学习方法
CN114936595A (zh) * 2022-05-06 2022-08-23 四川省人工智能研究院(宜宾) 一种联邦学习中的模型微调和头部聚合方法
CN114943345A (zh) * 2022-06-10 2022-08-26 西安电子科技大学 基于主动学习和模型压缩的联邦学习全局模型训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN114065951A (zh) * 2021-11-17 2022-02-18 黑龙江大学 基于non-IID数据的半监督联邦学习方法
CN114936595A (zh) * 2022-05-06 2022-08-23 四川省人工智能研究院(宜宾) 一种联邦学习中的模型微调和头部聚合方法
CN114943345A (zh) * 2022-06-10 2022-08-26 西安电子科技大学 基于主动学习和模型压缩的联邦学习全局模型训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YANG Q, LIU Y, CHEN T: "Federated machine learning:concept and applications", ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY, vol. 10, no. 2, XP058427733, DOI: 10.1145/3298981 *
赵羽;杨洁;刘淼;孙金龙;桂冠;: "面向视频监控基于联邦学习的智能边缘计算技术", 通信学报, vol. 41, no. 10 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226540A (zh) * 2023-05-09 2023-06-06 浙江大学 一种基于用户兴趣域的端到端联邦个性化推荐方法和系统
CN116226540B (zh) * 2023-05-09 2023-09-26 浙江大学 一种基于用户兴趣域的端到端联邦个性化推荐方法和系统
CN117689009A (zh) * 2024-01-30 2024-03-12 东北大学 一种面向正则化个性化联邦训练的通信优化方法

Also Published As

Publication number Publication date
CN115544873B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN111858009B (zh) 基于迁移和强化学习的移动边缘计算系统任务调度方法
CN110517482B (zh) 一种基于3d卷积神经网络的短时交通流预测方法
CN110858973B (zh) 小区网络流量预测方法及装置
CN114912705A (zh) 一种联邦学习中异质模型融合的优化方法
CN112054943B (zh) 一种移动网络基站流量预测方法
CN114092769B (zh) 基于联邦学习的变电站多场景巡检分析方法
CN107193962A (zh) 一种互联网推广信息的智能配图方法及装置
CN110110663A (zh) 一种基于人脸属性的年龄识别方法及系统
CN115374853A (zh) 基于T-Step聚合算法的异步联邦学习方法及系统
CN115544873B (zh) 个性化联邦学习的训练效率与个性化效果量化评估方法
CN117236421B (zh) 一种基于联邦知识蒸馏的大模型训练方法
CN103795592B (zh) 网络水军的检测方法及装置
CN111222753A (zh) 一种电子政务绩效评估系统和方法
CN114971819A (zh) 基于多智能体强化学习算法在联邦学习下的用户竞价方法及装置
CN115659807A (zh) 一种基于贝叶斯优化模型融合算法对人才表现预测的方法
CN114580517A (zh) 一种图像识别模型的确定方法及装置
CN113672684A (zh) 一种面向非独立同分布数据的分层用户训练管理系统及方法
CN109034372A (zh) 一种基于概率的神经网络剪枝方法
CN112199154A (zh) 一种基于分布式协同采样中心式优化的强化学习训练系统及方法
CN116502709A (zh) 一种异质性联邦学习方法和装置
CN116702881A (zh) 一种基于抽样聚合优化的多层联邦学习方案
CN114065646B (zh) 基于混合优化算法的能耗预测方法、云计算平台及系统
CN102262659B (zh) 一种基于内容计算的音频标签传播方法
CN113516163A (zh) 基于网络剪枝的车辆分类模型压缩方法、装置及存储介质
CN115730631A (zh) 联邦学习的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant