CN115544873B - 个性化联邦学习的训练效率与个性化效果量化评估方法 - Google Patents

个性化联邦学习的训练效率与个性化效果量化评估方法 Download PDF

Info

Publication number
CN115544873B
CN115544873B CN202211184157.5A CN202211184157A CN115544873B CN 115544873 B CN115544873 B CN 115544873B CN 202211184157 A CN202211184157 A CN 202211184157A CN 115544873 B CN115544873 B CN 115544873B
Authority
CN
China
Prior art keywords
model
personalized
global
local
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211184157.5A
Other languages
English (en)
Other versions
CN115544873A (zh
Inventor
刘淼
郭亮
夏雨虹
王少鹏
杨洁
桂冠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN202211184157.5A priority Critical patent/CN115544873B/zh
Publication of CN115544873A publication Critical patent/CN115544873A/zh
Application granted granted Critical
Publication of CN115544873B publication Critical patent/CN115544873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06393—Score-carding, benchmarking or key performance indicator [KPI] analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2111/00—Details relating to CAD techniques
    • G06F2111/16—Customisation or personalisation

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明属于个性化联邦学习领域，尤其是个性化联邦学习的训练效率与个性化效果量化评估方法，包括以下步骤：S1、创建一个Non‑IID的跨域数据集，作为评测数据集；S2、选择合适的模型，作为个性化联邦学习的初始全局模型；S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；本发明充分考虑了跨域异质的场景，实现了模型的个性化功能，在现有研究的基础上，针对个性化联邦学习训练效率和个性化效果给出定性定量的评价指标，为在跨域异质场景下，为衡量不同个性化联邦学习算法与架构提供了一种具体方法。

Description

个性化联邦学习的训练效率与个性化效果量化评估方法
技术领域
本发明涉及个性化联邦学习技术领域，尤其涉及个性化联邦学习的训练效率与个性化效果量化评估方法。
背景技术
联邦机器学习(Federated machine learning/Federated Learning)，又名联邦学习、联合学习、联盟学习。是一种先进的机器学习框架，能有效帮助多个客户端在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,从技术上打破数据孤岛,实现人工智能（AI）中的协作。
联邦学习的一大挑战便是异质性，异质性主要分三种，分别是数据异质性和设备异质性和模型异质性。
数据异质性主要是由参与训练的各客户端的数据虽独立分布但不服从同一采样方法（Non-IID）所导致的，传统的联邦学习算法在数据异构(non-iid)的情况下很容易产生client-drift的现象，即本地更新和全局更新的不一致，这种不一致会导致系统的收敛不稳定或者缓慢。
设备异质性主要是各个客户机（设备）在存储、计算和通信能力方面存在异构性，这种设备的异质性会导致本地模型在收敛速率和通信时间方面有很大的差异性。
模型异构性主要是指成功收敛的全局模型不能满足各个客户机的实际场景，导致不能为客户端提供具有个性化的内容和服务。
为了解决这些异构性挑战，一种有效的方法是在设备、数据和模型级别上进行个性化处理，以减轻异构性并为每个设备获得高质量的个性化模型，即个性化联邦学习。
此外，在现存的研究通常使用测试的准确性和损失函数的收敛时间作为联邦学习的评价指标，但很少有合适的方法对个性化联邦学习的训练效率和个性化指标做出定性的评价。
发明内容
本发明的目的是为了解决现有技术中存在的缺点，而提出的个性化联邦学习的训练效率与个性化效果量化评估方法。
为了实现上述目的，本发明采用了如下技术方案：
个性化联邦学习的训练效率与个性化效果量化评估方法，包括以下步骤：
S1、创建一个Non-IID的跨域数据集，作为评测数据集；
S2、选择合适的模型，作为个性化联邦学习的初始全局模型；
S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；
S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；
S5、进行全局模型训练效率和个性化效果指标设计。
优选的，所述S1中，创建一个Non-IID的跨域数据集，作为评测数据集，具体步骤包括：
采用跨域数据集：Office-Home 数据集，作为评测数据集，对于该数据集，使用原始测试数据集的一半作为公共数据集，其余的作为最终测试数据集，使用Dirichlet分布来模拟各方之间的异构数据分区，假设有k个客户端，根据进行采样，并将标签m的比例为pk,j的样本分配客户端j，作为本地数据集Dj，其中Dir(.)代表狄利克雷分布，参数β=0.5。
优选的，所述S2中，选择合适的模型，作为个性化联邦学习的初始全局模型，具体步骤包括：
使用ResNet18作为全局模型，模型由1个卷积层和8个残差块以及1个全连接层组成。
优选的，所述S3中，进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型，具体步骤包括：
步骤4-1，服务器随机挑选异质客户端，并将全局模型参数进行广播；
步骤4-2，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器；
步骤4-3，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛。
优选的，步骤4-1，服务器随机挑选一批客户端，并将全局模型参数进行广播，具体步骤包括：
步骤5-1，假设所有客户端达到模型优化拟合状态需要的整体通信次数为T，对于其中的第t轮模型联合训练，t＝1,2,…,T；
步骤5-2，确定客户端总数为k，客户端设备异质，如手机、平板、监控摄像头等，被选中的客户端个数为n，第k个客户端被选中的概率为Pk；
步骤5-3，服务器首先根据概率Pk随机选出一批客户端，它们的集合为St；
步骤5-4，服务器将当前的参数Wt发送给被选中的客户端。
优选的，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器，具体步骤包括：
客户端n收到全局模型信息Wt, 并利用本地数据集进行训练，得到本地模型，并将本地模型参数传递给服务器。
优选的，每个客户端将得到的不精确解传递回服务器，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛，其具体步骤包括:
步骤7-1，服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息;
步骤7-2，服务器通过对得到的所有的本地模型参数进行加权平均，聚合为全局模型；
步骤7-3，重复步骤4-1、4-2、4-3，直至全局模型收敛。
优选的，所述S4中，各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型，具体步骤包括：
步骤8-1，在第i轮前向计算+反向传播过程的第b批中，每个客户端k求解步骤6-2中的最优个性化问题以获得其个性化模型；
步骤8-2，客户端k利用梯度下降的公式进行本地更新，具体公式为;其中/>是学习率，/>是客户端n数据批次为b时本地模型/>的梯度。
优选的，所述S5中，进行全局模型训练效率和个性化效果指标设计，具体步骤包括：
步骤9-1，我们将训练效率作为全局模型训练效率指标，具体定义为集中式训练时的全局准确率/>与训练周期/>的加权值即：
,
初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数是进行全局训练时，客户端n
其中,,
P为测试的精确率，可定义为：;
R为召回率，可定义为:;
TP即True Positive，真阳性，指模型预测为正的正样本；
FP，FN为计算错误的结果数，其中FP即False Positive，假阳性，指被模型预测为正的负样本；FN即False Negative，假阴性，指模型预测为负的正样本；
是联邦全局训练时所需收敛周期；
,默认都取1/2，可根据实际情况进行修改；
根据常规的定义，假设优化算法的目标是，其中，W是参数空间，/>是目标函数；记算法在迭代第T步输出的模型参数是/>,最优的模型参数为/>,
如果两者在参数空间的距离或者对于的目标函数值有以下上界：
,
并且随/>收敛到0，那么称这个算法是收敛的，此时称/>关于T的阶数为算法的收敛速率，
步骤9-2，我们将训练效果作为个性化效果指标，具体可定义为个性化F1分数/>相比全局F1分数的提升，即：/>,
其中，为个性化训练阶段时，使用本地测试集训练更新后的本地模型所得到的F1分数。
本发明中，所述个性化联邦学习的训练效率与个性化效果量化评估方法的有益效果：
本发明充分考虑了跨域异质的场景，实现了模型的个性化功能，在现有研究的基础上，针对个性化联邦学习训练效率和个性化效果给出定性定量的评价指标，为在跨域异质场景下，为衡量不同个性化联邦学习算法与架构提供了一种具体方法。
附图说明
图1为本发明提出的个性化联邦学习的训练效率与个性化效果量化评估方法的算法结构图；
图2为本发明提出的个性化联邦学习的训练效率与个性化效果量化评估方法的算法流程图；
图3为本发明提出的个性化联邦学习的训练效率与个性化效果量化评估方法的Resnet18结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-3，个性化联邦学习的训练效率与个性化效果量化评估方法，包括以下步骤：
S1、创建一个Non-IID的跨域数据集，作为评测数据集；
S2、选择合适的模型，作为个性化联邦学习的初始全局模型；
S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；
S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；
S5、进行全局模型训练效率和个性化效果指标设计。
本实施例中，S1中，创建一个Non-IID的跨域数据集，作为评测数据集，具体步骤包括：
采用跨域数据集：Office-Home 数据集，作为评测数据集，对于该数据集，使用原始测试数据集的一半作为公共数据集，其余的作为最终测试数据集，使用Dirichlet分布来模拟各方之间的异构数据分区，假设有k个客户端，根据进行采样，并将标签m的比例为/>的样本分配客户端j，作为本地数据集/>，其中/>代表狄利克雷分布，参数β=0.5。
本实施例中，S2中，选择合适的模型，作为个性化联邦学习的初始全局模型，具体步骤包括：
使用ResNet18作为全局模型，模型由1个卷积层和8个残差块以及1个全连接层组成。
本实施例中，S3中，进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型，具体步骤包括：
步骤4-1，服务器随机挑选异质客户端，并将全局模型参数进行广播；
步骤4-2，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器；
步骤4-3，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛。
本实施例中，步骤4-1，服务器随机挑选一批客户端，并将全局模型参数进行广播，具体步骤包括：
步骤5-1，假设所有客户端达到模型优化拟合状态需要的整体通信次数为T，对于其中的第t轮模型联合训练，t＝1,2,…,T；
步骤5-2，确定客户端总数为k，客户端设备异质，如手机、平板、监控摄像头等，被选中的客户端个数为n，第k个客户端被选中的概率为;
步骤5-3，服务器首先根据概率随机选出一批客户端，它们的集合为/>;
步骤5-4，服务器将当前的参数Wt发送给被选中的客户端。
本实施例中，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器，具体步骤包括：
客户端n收到全局模型信息Wt, 并利用本地数据集进行训练，得到本地模型 ，并将本地模型参数传递给服务器。
本实施例中，每个客户端将得到的不精确解传递回服务器，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛，其具体步骤包括:
步骤7-1，服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息；
步骤7-2，服务器通过对得到的所有的本地模型参数进行加权平均，聚合为全局模型；
步骤7-3，重复步骤4-1、4-2、4-3，直至全局模型收敛。
本实施例中，S4中，各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型，具体步骤包括：
步骤8-1，在第i轮前向计算+反向传播过程的第b批中，每个客户端k求解步骤6-2中的最优个性化问题以获得其个性化模型；
步骤8-2，客户端k利用梯度下降的公式进行本地更新，具体公式为其中/>是学习率，/>是客户端n数据批次为b时本地模型/>的梯度。
本实施例中，S5中，进行全局模型训练效率和个性化效果指标设计，具体步骤包括：
步骤9-1，我们将训练效率作为全局模型训练效率指标，具体定义为集中式训练时的全局准确率/>与训练周期/>的加权值即：
,
是初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数是进行全局训练时，客户端n
其中，P为测试的精确率，可定义为：/>；
R为召回率，可定义为:；
TP即True Positive，真阳性，指模型预测为正的正样本；
FP，FN为计算错误的结果数，其中FP即False Positive，假阳性，指被模型预测为正的负样本；FN即False Negative，假阴性，指模型预测为负的正样本；
是联邦全局训练时所需收敛周期；
，默认都取/>，可根据实际情况进行修改；
根据常规的定义，假设优化算法的目标是，其中，W是参数空间，/>是目标函数；记算法在迭代第T步输出的模型参数是/>，最优的模型参数为/>，
如果两者在参数空间的距离或者对于的目标函数值有以下上界：,
并且随/>收敛到0，那么称这个算法是收敛的，此时称/>关于T的阶数为算法的收敛速率，
步骤9-2，我们将训练效果作为个性化效果指标，具体可定义为个性化F1分数/>相比全局F1分数的提升，即：/>其中，个性化训练阶段时，使用本地测试集训练更新后的本地模型所得到的F1分数。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (1)

1.个性化联邦学习的训练效率与个性化效果量化评估方法，其特征在于，包括以下步骤：
S1、创建一个Non-IID的跨域数据集，作为评测数据集；
S2、选择合适的模型，作为个性化联邦学习的初始全局模型；
S3、进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型；
S4、各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型；
S5、进行全局模型训练效率和个性化效果指标设计；
所述S1中，创建一个Non-IID的跨域数据集，作为评测数据集，具体步骤包括：
采用跨域数据集：Office-Home数据集，作为评测数据集，对于该数据集，使用原始测试数据集的一半作为公共数据集，其余的作为最终测试数据集，使用Dirichlet分布来模拟各方之间的异构数据分区，假设有k个客户端，根据pk～DirN(β)进行采样，并将标签m的比例为pk,j的样本分配客户端j，作为本地数据集Dj，其中Dir(.)代表狄利克雷分布，参数β＝0.5；
所述S2中，选择合适的模型，作为个性化联邦学习的初始全局模型，具体步骤包括：
使用ResNet18作为全局模型，模型由1个卷积层和8个残差块以及1个全连接层组成；
所述S3中，进行联邦学习的全局神经网络训练，聚合出一个收敛的全局神经网络模型，具体步骤包括：
步骤4-1，服务器随机挑选异质客户端，并将全局模型参数进行广播；
步骤4-2，客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器；
步骤4-3，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛；
步骤4-1，服务器随机挑选一批客户端，并将全局模型参数进行广播，具体步骤包括：
步骤5-1，假设所有客户端达到模型优化拟合状态需要的整体通信次数为T，对于其中的第t轮模型联合训练，t＝1,2,…,T；
步骤5-2，确定客户端总数为k，客户端设备异质，如手机、平板、监控摄像头，被选中的客户端个数为n，第k个客户端被选中的概率为pk；
步骤5-3，服务器首先根据概率pk随机选出一批客户端，它们的集合为St；
步骤5-4，服务器将当前的参数wt发送给被选中的客户端；
客户端根据全局模型参数，利用本地测试数据进行训练，将所得的本地模型参数传回服务器，具体步骤包括：
客户端n收到全局模型信息wt,并利用本地数据集进行训练，得到本地模型wn t+1，并将本地模型参数传递给服务器；
每个客户端将得到的不精确解传递回服务器，服务器聚合这些参数得到下一轮初始参数，重复步骤4-1，4-2，4-3直至全局模型收敛，其具体步骤包括:
步骤7-1，服务器在第t个通信轮次中接收到第k个客户端所提交的本地模型信息
步骤7-2，服务器通过对得到的所有的本地模型参数进行加权平均，聚合为全局模型；
步骤7-3，重复步骤4-1、4-2、4-3，直至全局模型收敛；
所述S4中，各个客户端利用本地的数据集对下发的全局模型进行优化，收敛并形成个性化的本地神经网络模型，具体步骤包括：
步骤8-1，在第i轮前向计算+反向传播过程的第b批中，每个客户端k求解步骤6-2中的最优个性化问题以获得其个性化模型；
步骤8-2，客户端k利用梯度下降的公式进行本地更新，具体公式为
其中η是学习率，是客户端n数据批次为b时本地模型wi t的梯度；
所述S5中，进行全局模型训练效率和个性化效果指标设计，具体步骤包括：
步骤9-1，我们将训练效率Sglobal作为全局模型训练效率指标，具体定义为集中式训练时的全局准确率与训练周期T的加权值即：
F1Center是初始全局模型ResNet18使用初始最终测试数据集进行训练时的F1分数是进行全局训练时，客户端n
其中，
P为测试的精确率，可定义为：
R为召回率，可定义为:
TP即True Positive，真阳性，指模型预测为正的正样本；
FP，FN为计算错误的结果数，其中FP即False Positive，假阳性，指被模型预测为正的负样本；FN即False Negative，假阴性，指模型预测为负的正样本；
TCenter是联邦全局训练时所需收敛周期；
μ1+μ2＝1，默认都取可根据实际情况进行修改；
根据常规的定义，假设优化算法的目标是其中，W是参数空间，f(ω)是目标函数；记算法在迭代第T步输出的模型参数是ωT，最优的模型参数为/>
如果两者在参数空间的距离或者对于的目标函数值有以下上界：
E||ωT-ω*||2≤ε(T)or Ef(ωT)-f(ω*)≤ε(T)
并且ε(T)随T→∞收敛到0，那么称这个算法是收敛的，此时称logε(T)关于T的阶数为算法的收敛速率；
步骤9-2，我们将训练效果Eindivi作为个性化效果指标，具体可定义为个性化F1分数相比全局F1分数的提升，即：
其中，为个性化训练阶段时，使用本地测试集训练更新后的本地模型所得到的F1分数。
CN202211184157.5A 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法 Active CN115544873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211184157.5A CN115544873B (zh) 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211184157.5A CN115544873B (zh) 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法

Publications (2)

Publication Number Publication Date
CN115544873A CN115544873A (zh) 2022-12-30
CN115544873B true CN115544873B (zh) 2023-10-17

Family

ID=84729268

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211184157.5A Active CN115544873B (zh) 2022-09-27 2022-09-27 个性化联邦学习的训练效率与个性化效果量化评估方法

Country Status (1)

Country Link
CN (1) CN115544873B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226540B (zh) * 2023-05-09 2023-09-26 浙江大学 一种基于用户兴趣域的端到端联邦个性化推荐方法和系统
CN117689009A (zh) * 2024-01-30 2024-03-12 东北大学 一种面向正则化个性化联邦训练的通信优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN114065951A (zh) * 2021-11-17 2022-02-18 黑龙江大学 基于non-IID数据的半监督联邦学习方法
CN114936595A (zh) * 2022-05-06 2022-08-23 四川省人工智能研究院(宜宾) 一种联邦学习中的模型微调和头部聚合方法
CN114943345A (zh) * 2022-06-10 2022-08-26 西安电子科技大学 基于主动学习和模型压缩的联邦学习全局模型训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
CN114065951A (zh) * 2021-11-17 2022-02-18 黑龙江大学 基于non-IID数据的半监督联邦学习方法
CN114936595A (zh) * 2022-05-06 2022-08-23 四川省人工智能研究院(宜宾) 一种联邦学习中的模型微调和头部聚合方法
CN114943345A (zh) * 2022-06-10 2022-08-26 西安电子科技大学 基于主动学习和模型压缩的联邦学习全局模型训练方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Federated machine learning:concept and applications;YANG Q, LIU Y, CHEN T;ACM Transactions on Intelligent Systems and Technology;第10卷(第2期);全文 *
面向视频监控基于联邦学习的智能边缘计算技术;赵羽;杨洁;刘淼;孙金龙;桂冠;;通信学报;第41卷(第10期);全文 *

Also Published As

Publication number Publication date
CN115544873A (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN115544873B (zh) 个性化联邦学习的训练效率与个性化效果量化评估方法
CN114362367B (zh) 面向云边协同的输电线路监测系统和方法、识别系统和方法
CN108648188B (zh) 一种基于生成对抗网络的无参考图像质量评价方法
CN108924836B (zh) 一种基于深度神经网络的边缘侧物理层信道认证方法
CN108776844A (zh) 基于上下文感知张量分解的社交网络用户行为预测方法
CN114912705A (zh) 一种联邦学习中异质模型融合的优化方法
CN110084365A (zh) 一种基于深度学习的服务提供系统及方法
CN110032630A (zh) 话术推荐设备、方法及模型训练设备
CN109523021A (zh) 一种基于长短时记忆网络的动态网络结构预测方法
CN112217674B (zh) 基于因果网络挖掘和图注意力网络的告警根因识别方法
CN113254719B (zh) 一种基于地位理论的在线社交网络信息传播方法
CN103795592B (zh) 网络水军的检测方法及装置
CN114584406B (zh) 一种联邦学习的工业大数据隐私保护系统及方法
CN115659807A (zh) 一种基于贝叶斯优化模型融合算法对人才表现预测的方法
CN110909230A (zh) 一种网络热点分析方法及系统
CN117236421B (zh) 一种基于联邦知识蒸馏的大模型训练方法
CN116502709A (zh) 一种异质性联邦学习方法和装置
CN114785608B (zh) 一种基于去中心化联邦学习的工业控制网络入侵检测方法
CN115495671A (zh) 一种基于图结构迁移的跨领域谣言传播控制方法
CN115660147A (zh) 一种基于传播路径间与传播路径内影响力建模的信息传播预测方法及系统
CN116187469A (zh) 一种基于联邦蒸馏学习框架的客户端成员推理攻击方法
CN102262659B (zh) 一种基于内容计算的音频标签传播方法
CN109410078A (zh) 一种适用于面向文件共享的移动社交网络的信息传播预测方法
CN115310625A (zh) 一种纵向联邦学习推理攻击防御方法
CN115330432A (zh) 一种烟草销量预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant