CN116187474A - 一种横向联邦学习中参与方的贡献度评估方法 - Google Patents

一种横向联邦学习中参与方的贡献度评估方法 Download PDF

Info

Publication number
CN116187474A
CN116187474A CN202310211598.8A CN202310211598A CN116187474A CN 116187474 A CN116187474 A CN 116187474A CN 202310211598 A CN202310211598 A CN 202310211598A CN 116187474 A CN116187474 A CN 116187474A
Authority
CN
China
Prior art keywords
model
contribution
participant
participants
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310211598.8A
Other languages
English (en)
Inventor
郭晶晶
熊良成
刘志全
李佳星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202310211598.8A priority Critical patent/CN116187474A/zh
Publication of CN116187474A publication Critical patent/CN116187474A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种横向联邦学习中参与方的贡献度评估方法，包括：步骤1：聚合服务器初始化全局模型，并将其下发给各参与方；步骤2：各参与方利用自身的本地数据以及接收到的全局模型进行模型训练；步骤3：参与方将训练完成的本地模型参数以及训练过程的消耗参数上传至聚合服务器；步骤4：聚合服务器聚合各参与方上传的本地模型，并将聚合得到的全局模型下发给各参与方；步骤5：聚合服务器根据各参与方上传的资源消耗参数、本地模型和聚合生成的全局模型数据，利用贡献度评估方法计算各参与方的贡献，并将该次迭代各参与方的相关参数和对应的模型贡献值记录在聚合服务器的数据库上。本发明能确保评估结果可靠、公平而且能降低评估成本。

Description

一种横向联邦学习中参与方的贡献度评估方法
技术领域
本发明属于网络空间安全技术领域，具体涉及一种横向联邦学习系统中评估参与方贡献的方法。
背景技术
联邦学习(Federated Learning)是近年提出的一种分布式机器学习范式，其特点是多个参与方利用自身拥有的数据在服务器的配合下协作训练机器学习模型。每个参与方首先利用其本地数据进行模型训练；然后将训练得到的本地模型上传至服务器；接着，服务器利用某种聚合规则对接收到的参与方本地模型进行聚合从而得到全局模型供所有参与方共享。这种机器学习范式在各方数据不共享的情况下完成了联合建模，从而保护各方隐私。在联邦学习的商业落地过程中，除了数据隐私的考虑之外，联邦学习系统的公平性也是学术界与产业界共同关注的难点之一，为了保证公平，参与方的贡献与其得到的报酬应该有直接联系，因此需要一种有效的方法来评估每一个参与方在模型训练期间所做的贡献。
现有的联邦学习参与方贡献评估方法主要可以分为两类。第一类是将参与方在联邦学习过程中资源(计算资源和通信资源，以及参与方自身拥有的数据资源等)消耗作为评估参与方贡献的因素，利用国内外学者提出的参与方资源消耗模型计算其贡献度。根据这一模型，付出相同资源的可靠参与方与不可靠参与方会得到相同的贡献评估结果，这是不合理的。第二类是从全局模型角度出发，将参与方为全局模型带来的边际收益作为评估该参与方贡献的标准，其中最常见的做法是将参与方在联邦学习系统中的沙普利值(ShapleyValue,SV)作为该参与方的贡献。沙普利值反映了系统中的成员对于系统边际收益的平均值，基于SV的贡献评估方法已经得到了大部分学者的认可，但是由于其O(n！)的计算复杂度，使得服务器需要大量的时间来计算这一结果，当参与方数量达到一定规模后会极大增加系统开销。
发明内容
本发明的目的在于克服上述现有技术的不足，提供一种横向联邦学习系统中评估参与方贡献的方法
为实现上述目的，本发明的技术方案是：
一种横向联邦学习中参与方的贡献度评估方法，包括：
步骤1：聚合服务器初始化全局模型，并将其下发给各参与方；
步骤2：各参与方利用自身的本地数据以及接收到的全局模型进行模型训练；
步骤3：参与方将训练完成的本地模型参数以及训练过程的消耗参数上传至聚合服务器；
步骤4：聚合服务器聚合各参与方上传的本地模型，并将聚合得到的全局模型下发给各参与方；
步骤5：聚合服务器根据各参与方上传的资源消耗参数、本地模型和聚合生成的全局模型数据，利用贡献度评估方法计算各参与方的贡献，并将该次迭代各参与方的相关参数和对应的模型贡献值记录在聚合服务器的数据库上；
重复执行上述步骤2至步骤5，直至模型收敛或达到预先定义的迭代轮数为止。
进一步地，所述贡献度评估方法将将参与方的总贡献分为数据贡献、计算贡献和模型贡献三部分，其计算方式被形式化描述为公式(1)：
Figure BDA0004112896080000021
其中，Φi表示参与方Pi的最终贡献度，T表示全局迭代轮数，
Figure BDA0004112896080000022
表示参与方Pi在第t轮迭代过程中的数据贡献，/>
Figure BDA0004112896080000023
表示Pi在第t轮迭代过程中的计算贡献，/>
Figure BDA0004112896080000024
表示Pi在第t轮迭代过程中的模型贡献。
进一步地，某个参与方Pi的沙普利值SVi的计算方法表示为公式(4)：
Figure BDA0004112896080000025
其中，ω为常数，P表示全体参与方集合，U(x)为效益函数，这里的参数x为一个机器学习模型，U(x)的取值表示模型x在测试集上的精度。
进一步地，所述步骤2具体包括：
假设参与方Pi用于联邦学习的本地训练数据集大小为si，n个参与方的总数据集大小为
Figure BDA0004112896080000026
联邦学习通过最小化每个参与方Pi的本地损失函数/>
Figure BDA0004112896080000029
在其本地数据集上的加权平均值来优化全局损失函数/>
Figure BDA00041128960800000210
表示为公式(5)：
Figure BDA0004112896080000027
其中，fx(M)是在本地数据集上的一个样本x的损失函数；每个参与方计算本地梯度，在最小化本地损失
Figure BDA00041128960800000211
的方向上更新本地模型。
进一步地，在步骤4中，所述聚合过程如公式(6)所示：
Figure BDA0004112896080000028
其中，
Figure BDA0004112896080000031
为参与方Pi在第t轮训练得到的本地模型。
进一步地，所述数据贡献包括：
在联邦学习过程中，每个参与方使用本地数据进行本地模型训练。假设参与方Pi在第t轮全局迭代中用于本地模型训练的数据集大小为
Figure BDA0004112896080000032
考虑到不同类型不同质量的数据单位价值也有不同，所以Pi在第t轮全局迭代中对数据的贡献/>
Figure BDA0004112896080000033
表示为公式(7)：
Figure BDA0004112896080000034
其中，li为Pi的单位数据价值。
进一步地，所述计算贡献包括：
每轮迭代过程中，参与者消耗自身设备资源进行本地模型训练和参数上传工作，这一过程的贡献主要包括模型训练的计算能耗与模型上传的通信能耗；所以参与方Pi在第t轮全局迭代中的计算贡献
Figure BDA0004112896080000035
表示为公式(8)：/>
Figure BDA0004112896080000036
其中，le为单位能耗价值，
Figure BDA0004112896080000037
和/>
Figure BDA0004112896080000038
分别为Pi在第t次全局迭代过程中用于本地模型训练的计算能耗和通信能耗。
进一步地，所述模型贡献包括：
根据参与方的沙普利值来评估其模型贡献，如公式(9)所示：
Figure BDA0004112896080000039
其中，ω为模型贡献参数。
进一步地，所述模型贡献的评估流程包括；
聚合服务器初始化更新全局模型并下发给各参与方后，开始对各参与方进行模型贡献评估；
对于超时上传的参与方，其本轮的模型贡献记为0，即
Figure BDA00041128960800000310
对于成功上传模型参数的参与方，聚合服务器首先判断其是否拥有参与方沙普利值预测模型，如果存在则直接使用预测模型计算各参与方的沙普利值；否则根据公式(4)计算SV；参与方沙普利值预测模型为聚合服务器基于其获取的参与方信息通过机器学习模型训练得到的一个机器学习模型；当该模型训练结束后，聚合服务器可利用该模型直接进行参与方的沙普利值预测，无需再利用公式(4)进行沙普利值的计算。
进一步地，所述参与方沙普利值预测模型通过如下方式构建：
从第t0轮迭代开始，聚合服务器开始训练SV预测模型并根据该预测模型计算SV；所述SV预测模型采用的是三层神经网络模型，该模型的输入包括参与者的本地样本数量、数据量占比、本地模型精度、预定义的全局迭代轮数以及全局模型精度，输出为参与方对应的SV；当预测模型训练结束后，聚合服务器便可利用该模型预测各参与方的SV，然后根据SV计算出参与方Pi在当前全局迭代轮数t下的模型贡献
Figure BDA0004112896080000041
本发明与现有技术相比，其有益效果在于：
本发明从参与方对联邦学习系统的数据资源付出、计算资源消耗和模型效益提升三个方面来评估参与方贡献，降低了单一评估因子带来的不公平性影响，此外还提出了一种参与方贡献度预测方法，在保持评估精度的同时降低了贡献评估的时间复杂度。
附图说明
图1为本发明实施例提供的横向联邦学习系统架构图；
图2为本发明实施例提供的横向联邦学习中参与方的贡献度评估方法框架图；
图3为模型贡献评估流程图；
图4为神经网络模型结构图；
图5为不同参与方数量下预测起始轮数(t0)与预测精度的关系图；
图6为不同全局迭代轮数下的不同预测起始轮数比值与预测精度折线图
具体实施方式
实施例：
下面结合附图和实施例对本发明的技术方案做进一步的说明。
联邦学习可以在数据不共享的情况下完成联合建模。在评估每个参与方的贡献时，如果仅根据付出的资源来评估参与方的贡献，则可能会忽略其对全局模型的影响，产生不公平现象；引入沙普利值的贡献评估方案虽然可以计算出每个参与方对全局模型的边际效益，但会增加额外的计算成本。本发明针对上述问题提出了一种多因子的参与方贡献度评估方案，从参与方对联邦学习系统的数据资源付出、计算资源消耗和模型效益提升三个方面来评估参与方贡献，降低了单一评估因子带来的不公平性影响，此外还提出了一种参与方贡献度预测方法，在保持评估精度的同时降低了贡献评估的时间复杂度。
图1给出了本发明所考虑的横向联邦学习的系统架构。联邦学习系统由一个聚合服务器(Aggregation Server)与若干参与方(Participators)组成。各个系统实体的任务分别描述如下：
聚合服务器：主要负责接收各参与方上传的本地模型并通过某种聚合规则对这些模型进行聚合，并将聚合得到全局模型下发给参与方。此外聚合服务器还负责在此过程中利用自身拥有的测试数据集检测参与方上传的本地模型精度和全局模型精度，计算并记录各参与方的贡献，以及对应的参与方身份信息和迭代过程中的行为信息。
参与方：主要负责利用自身的本地数据进行模型训练得到本地模型，并将本地模型参数与训练过程中的行为信息上传给聚合服务器，这些行为信息包括其在训练期间所消耗的计算资源、通信资源、本地训练数据大小等参数。为了保护隐私，参与方之间不会共享各自的数据。
本发明所提横向联邦学习中参与方的贡献度评估方案对横向联邦学习的系统系统具有如下假设：
(1)聚合服务器是诚实可信的。
(2)各参与方是理性且贪婪的，并且参与方之间不会进行通信与共谋。
(3)聚合服务器拥有一个公共数据集，并可以用此数据集来计算每一轮迭代中本地模型和全局模型的精度。
在具体介绍本发明所提参与方贡献评估方案前，首先对本发明中涉及的横向联邦学习和沙普利值的相关理论与技术进行说明。
(1)联邦学习参与方资源消耗模型
在横向联邦学习系统中，具有同样数据结构的n个参与方在聚合服务器的协助下，共同训练一个模型。在迭代过程中，参与方需要消耗自身资源进行本地模型训练和模型参数上传工作。对于计算消耗，假设每个参与方Pi用来参与联邦学习任务的本地数据样本大小为si，CPU周期频率为fi，执行一个数据样本训练所需的CPU周期数为ci。那么Pi一次迭代的能耗表示为
Figure BDA0004112896080000051
其中ζ是参与方的计算芯片组的有效电容参数。假设Pi的本地模型精度为εi，则Pi本地训练的迭代次数可以表示为/>
Figure BDA0004112896080000052
那么在一轮全局迭代中Pi的计算资源消耗可表示为公式(2)。
Figure BDA0004112896080000053
本地训练完成后，参与方需要将本地模型参数上传给聚合服务器，这一过程会产生通信开销。假设参与方Pi通过无线通信上传其本地模型信息，传输速率
Figure BDA0004112896080000054
其中B表示传输带宽，ρi为传输功率，hi是Pi与聚合服务器之间的信道增益系数，N0为背景噪声。假设参与方在传输本地模型参数时的位置是固定的，上传信息的大小为σ，则本地模型的传输时间为/>
Figure BDA0004112896080000061
那么在一轮全局迭代中Pi的传输资源消耗可表示为公式(3)。
Figure BDA0004112896080000062
(2)沙普利值
沙普利值(Shapley value，SV)主要用于解决在合作博弈中各方的利益分配问题，这一值反应的是联盟中的成员对于联盟边际贡献的平均值。系统中某个参与方Pi的沙普利值SVi的计算方法可表示为公式(4)，其中ω为常数，P表示全体参与方集合，U(x)为效益函数，这里的参数x为一个机器学习模型，U(x)的取值表示模型x在测试集上的精度，MS表示由集合S中的参与方的本地模型聚合形成的模型。
Figure BDA0004112896080000063
在本申请中，本发明所提横向联邦学习中参与方的贡献度评估方案中用到的记号说明如表1所示。
表1记号说明
Figure BDA0004112896080000064
Figure BDA0004112896080000071
本发明所提出的贡献评估方法框架图如图2所示，由五个阶段组成：
步骤1：为初始化阶段，聚合服务器初始化全局模型M0，并将其下发给各参与方；
步骤2：为本地训练阶段，各参与方利用自身的本地数据，并根据相应的机器学习算法(如随机梯度下降法)训练聚合服务器下发的全局模型得到本地模型；
步骤3：为参数上传阶段，参与方将其本地模型参数以及训练过程中的计算资源消耗、通信资源消耗、训练数据大小等数据上传至聚合服务器；
步骤4：为模型聚合阶段，聚合服务器按照相应的算法(如联邦平均算法)聚合各参与方上传的本地模型，将聚合得到的最新全局模型下发给各参与方；
步骤5：为贡献评估阶段，聚合服务器根据各参与方上传的参数和聚合生成的全局模型，利用本发明所设计的贡献评估方案计算各参与方的贡献，并将该轮迭代中各参与方的相关参数和对应的贡献值记录在聚合服务器上。
以上步骤2至步骤5不断循环直至全局模型收敛或训练达到规定的迭代轮数。
为了从多角度评估参与方贡献，确保结果可靠、公平，同时尽可能降低因评估参与方贡献而产生的额外成本，上述步骤5中，该贡献评估方案为基于多因子的横向联邦学习参与方贡献评估方案。每个参与方的贡献包括计算贡献、数据贡献和模型贡献三部分，其计算方式可以被形式化描述为公式(1)。
Figure BDA0004112896080000072
其中Φi表示参与方Pi的最终贡献度，T表示全局迭代轮数，
Figure BDA0004112896080000073
表示参与方Pi在第t轮迭代过程中的数据贡献，/>
Figure BDA0004112896080000074
表示Pi在第t轮迭代过程中的计算贡献，/>
Figure BDA0004112896080000075
表示Pi在第t轮迭代过程中的模型贡献。本发明提出的贡献评估方案既考虑到参与方的付出(数据资源和计算能力)，又兼顾了全局模型效益。同时在评估模型贡献时提出了一种贡献预测方案，在保持评估精度的同时降低了因评估参与方贡献而产生的额外成本。
在一具体实施例中，上述步骤2具体包括：
假设参与方Pi用于联邦学习的本地训练数据集大小为si，n个参与方的总数据集大小为
Figure BDA0004112896080000081
联邦学习通过最小化每个参与方Pi的本地损失函数/>
Figure BDA00041128960800000813
在其本地数据集上的加权平均值来优化全局损失函数/>
Figure BDA00041128960800000814
这一目标可表示为公式(5)，其中fx(M)是在本地数据集上的一个样本x的损失函数。每个参与方根据系统约定的优化算法(如随机梯度下降法)以及训练样本来计算本地梯度，在最小化本地损失/>
Figure BDA00041128960800000815
的方向上更新本地模型。
Figure BDA0004112896080000082
在一具体实施例中，上述步骤4中，聚合过程如公式(6)所示，其中
Figure BDA0004112896080000083
为参与方Pi在第t轮训练得到的本地模型。
Figure BDA0004112896080000084
具体地，步骤5中所述的贡献度评估方法将参与方的总贡献分为数据贡献、计算贡献和模型贡献三个方面。
(1)数据贡献
在联邦学习过程中，每个参与方使用本地数据进行本地模型训练。假设参与方Pi在第t轮全局迭代中用于本地模型训练的数据集大小为
Figure BDA0004112896080000085
考虑到不同类型不同质量的数据单位价值也有不同，所以Pi在第t轮全局迭代中对数据的贡献/>
Figure BDA0004112896080000086
表示为公式(7)，其中li为Pi的单位数据价值。
Figure BDA00041128960800000812
(2)计算贡献
每轮迭代过程中，参与者消耗自身设备资源进行本地模型训练和参数上传工作，这一过程的贡献主要包括模型训练的计算能耗与模型上传的通信能耗。所以参与方Pi在第t轮全局迭代中的计算贡献
Figure BDA0004112896080000087
可以表示为公式(8)，其中le为单位能耗价值，/>
Figure BDA0004112896080000088
和/>
Figure BDA0004112896080000089
分别为Pi在第t次全局迭代过程中用于本地模型训练的计算能耗和通信能耗。
Figure BDA00041128960800000810
(3)模型贡献
联邦学习的最终目的是得到一个共享的全局模型。参与方的模型贡献体现在其加入联邦学习系统后对全局模型效益的提升上，具体表现在全局模型的精度升高或价值提升等方面。沙普利值反应的是一个联盟中的成员对于联盟效益的提升的平均值，常用于合作博弈中分配所有参与者联合产生的总收益。本发明根据参与方的沙普利值来评估其模型贡献，如公式(9)所示，其中ω为模型贡献参数。
Figure BDA00041128960800000811
图3为模型贡献评估流程图。每个参与方的贡献包括计算贡献、数据贡献和模型贡献三部分，聚合服务器更新全局模型并下发给各参与方后，开始对各参与方进行模型贡献评估。对于超时上传的参与方，其本轮的模型贡献记为0，即
Figure BDA0004112896080000091
对于成功上传模型参数的参与方，聚合服务器首先判断其是否拥有参与方沙普利值预测模型，如果存在则直接使用预测模型计算各参与方的沙普利值；否则根据公式(4)计算SV。参与方沙普利值预测模型为聚合服务器基于其获取的参与方信息通过机器学习模型训练得到的一个机器学习模型。当该模型训练结束后，聚合服务器可利用该模型直接进行参与方的沙普利值预测，无需再利用公式(4)进行沙普利值的计算，从而可以显著减少参与方模型贡献度的计算复杂度。
下面详细阐述参与方沙普利值预测模型的构造方法。从系统第t0轮迭代开始，聚合服务器开始训练SV预测模型并根据该预测模型计算SV。本发明的SV预测模型采用的是三层神经网络模型，该模型的输入包括参与者的本地样本数量、数据量占比、本地模型精度、预定义的全局迭代轮数以及全局模型精度，输出为参与方对应的SV。当预测模型训练结束后，聚合服务器便可利用该模型预测各参与方的SV，然后根据SV计算出参与方Pi在当前全局迭代轮数t下的模型贡献
Figure BDA0004112896080000092
当训练结束后，聚合服务器根据参与方Pi在每一轮迭代期间的模型贡献来计算参与方Pi的模型贡献
Figure BDA0004112896080000093
然后依据上文给出的方案计算出计算贡献以及数据贡献，最后计算出该参与方的全局贡献Φi，结束贡献评估流程。
下面通过实验对本发明进行有效性验证。
实验运行在64位操作系统Windows 10.0.19042.928下，所用编程语言为python3.9.0，处理器为Intel(R)Core(TM)i5-10400F CPU@2.90GHz，RAM为8.00GB。各个参与方的本地模型学习率为0.01，训练批次为64，迭代次数为10。各个参与方采用逻辑回归算法训练本地模型，聚合服务器采用联邦平均算法聚合本地模型，聚合权重为本地数据集大小占比，效益函数U(M)＝100*A(M)，其中A(M)表示模型M的精度。其他实验参数设置如表2。
表2实验参数
Figure BDA0004112896080000094
实验在MNIST数据集上进行。该数据集为手写数字识别数据集，分为10类，共有70000张28x28的0-9的手写数字图片，每类有7000张图片，其中60000张为训练集，10000张为测试集。我们在测试集中选取每类数据20条共200条数据作为公共测试集，并在训练集中随机选取不同的100到200个样本数据作为每个参与方的本地训练样本。
实验中选取了三层神经网络预测模型作为SV预测模型，图4为该神经网络模型的结构图。该模型的输入层input_size为5，分别为参与者的训练样本数量、数据量占比、本地模型精度、全局迭代轮数以及全局模型精度，隐藏层hidden_size设置为200，输出层output_size为对应的SV。训练批次大小为32，学习率为0.01，迭代次数为200，预测误差为±0.3*实际值。图4显示了系统中拥有数量参与方(分别为5、7、10)时，预测起始位置(t0)与预测模型精度之间的关系，其中横坐标为预测起始轮数，纵坐标为SV预测模型的精度。
从图5可以看出预测精度随着预测起始轮数的增加而增加，并且参与方数量的变化对这一上升趋势的影响不大。不管参与方数量为多少，在预测起始轮数时，聚合服务器收集到的同一参与方的历史数据数量是相同的，因此参与方数量的变化对预测精度的影响不大。然而，随着预测起始轮数的取值增加，聚合服务器在进行预测模型训练时收集到各参与方的历史数据也会增加，所以得到的SV预测模型的预测精度也会随之增加，因此，在预测起始轮数的取值越大，SV预测模型的预测结果会有更高的可信度。总体来看，预测起始轮数大于35时，预测精度便可达到80％以上。
表3给出了在上述参数环境下，预测起始轮数为37时，不同参与方数量条件下的各参与方训练集大小占比、本地模型精度和根据SV计算的贡献值
Figure BDA0004112896080000101
与通过本发明计算的贡献值Φi归一化后的结果对比，其计算方式分别为(10)和(11)式。
Figure BDA0004112896080000102
Figure BDA0004112896080000103
表3不同参与方数量下的贡献对比
表3.1参与方数量＝5
Figure BDA0004112896080000104
Figure BDA0004112896080000111
表3.2参与方数量＝7
Figure BDA0004112896080000112
表3.3参与方数量＝10
Figure BDA0004112896080000113
通过对比表3中各参与方使用不同计算方法所得的贡献值可得，根据沙普利值计算的贡献与本发明计算的贡献值差别不大。其中误差超过0.02的参与方有2个，误差在0.01到0.02之间的参与方数量有6个，其余参与方所得误差均小于0.01。并且我们也可以明显看到这两种贡献计算方法都对训练集大小占比低、本地模型精度差的参与方给出了较低的贡献值。这也表明了本发明计算贡献的精度可以达到比较高的水平
表4给出了对比了模型训练全程采用公式(4)计算沙普利值和采用本发明所提模型贡献预测方法时，完成联邦学习训练所需的总时间(单位秒)。
表4消耗总时间对比
Figure BDA0004112896080000121
从上述实验结果可以看出随着预测起始轮数取值的增加，利用本发明所提的方案计算模型贡献度时完成联邦学习所需的总时间呈线性增加。在预测精度高于80％时，与未使用贡献度预测模型的情况相比，在参与方数量为5时总时间减少了213.86秒，占总时间的22.62％；在参与方数量为7时总时间减少了1781.16秒，占总时间的32.12％；在参与方数量为10时总时间减少了18106.42秒，占总时间的29.97％。实验结果表明，本发明可以在保证预测结果可信的前提下降低计算参与方贡献的时间开销。
图6给出了不同的全局迭代轮数下，预测起始轮数取值与全局迭代轮数取值之比与SV预测模型精度间的关系。由该图可以看出，在预测起始轮数取值与全局迭代轮数取值之比相同的情况下，SV预测模型的精度随着全局迭代轮数的增加而上升。当全局迭代轮数为10时，SV预测模型的精度最高仅为0.6；而在全局迭代轮数≥30时，我们可以通过增加预测起始轮数与全局迭代轮数的比值来使SV预测模型的精度达到0.8以上。
以上所述的仅仅是本发明的较佳实施例，并不用以对本发明的技术方案进行任何限制，本领域技术人员应当理解的是，在不脱离本发明精神和原则的前提下，该技术方案还可以进行若干简单的修改和替换(包括但不限于增加贡献度评估因子，替换SV预测模型的结构，改变参数等)，这些修改和替换也均属于权利要求书所涵盖的保护范围之内。

Claims (10)

1.一种横向联邦学习中参与方的贡献度评估方法，其特征在于，包括：
步骤1：聚合服务器初始化全局模型，并将其下发给各参与方；
步骤2：各参与方利用自身的本地数据以及接收到的全局模型进行模型训练；
步骤3：参与方将训练完成的本地模型参数以及训练过程的消耗参数上传至聚合服务器；
步骤4：聚合服务器聚合各参与方上传的本地模型，并将聚合得到的全局模型下发给各参与方；
步骤5：聚合服务器根据各参与方上传的资源消耗参数、本地模型和聚合生成的全局模型数据，利用贡献度评估方法计算各参与方的贡献，并将该次迭代各参与方的相关参数和对应的模型贡献值记录在聚合服务器的数据库上；
重复执行上述步骤2至步骤5，直至模型收敛或达到预先定义的迭代轮数为止。
2.如权利要求1所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，所述贡献度评估方法将将参与方的总贡献分为数据贡献、计算贡献和模型贡献三部分，其计算方式被形式化描述为公式(1)：
Figure FDA0004112896070000011
其中，Φi表示参与方Pi的最终贡献度，T表示全局迭代轮数，
Figure FDA0004112896070000012
表示参与方Pi在第t轮迭代过程中的数据贡献，/>
Figure FDA0004112896070000013
表示Pi在第t轮迭代过程中的计算贡献，/>
Figure FDA0004112896070000014
表示Pi在第t轮迭代过程中的模型贡献。
3.如权利要求2所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，某个参与方Pi的沙普利值SVi的计算方法表示为公式(4)：
Figure FDA0004112896070000015
其中，ω为常数，P表示全体参与方集合，U(x)为效益函数，这里的参数x为一个机器学习模型，U(x)的取值表示模型x在测试集上的精度。
4.如权利要求1所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，所述步骤2具体包括：
假设参与方Pi用于联邦学习的本地训练数据集大小为si，n个参与方的总数据集大小为
Figure FDA0004112896070000016
联邦学习通过最小化每个参与方Pi的本地损失函数li(M)在其本地数据集上的加权平均值来优化全局损失函数l(M)，表示为公式(5)：
Figure FDA0004112896070000017
其中，fx(M)是在本地数据集上的一个样本x的损失函数；每个参与方计算本地梯度，在最小化本地损失li(M)的方向上更新本地模型。
5.如权利要求1所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，在步骤4中，所述聚合过程如公式(6)所示：
Figure FDA0004112896070000021
其中，
Figure FDA0004112896070000022
为参与方Pi在第t轮训练得到的本地模型。/>
6.如权利要求2所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，所述数据贡献包括：
在联邦学习过程中，每个参与方使用本地数据进行本地模型训练。假设参与方Pi在第t轮全局迭代中用于本地模型训练的数据集大小为
Figure FDA0004112896070000023
考虑到不同类型不同质量的数据单位价值也有不同，所以Pi在第t轮全局迭代中对数据的贡献/>
Figure FDA0004112896070000024
表示为公式(7)：
Figure FDA0004112896070000025
其中，li为Pi的单位数据价值。
7.如权利要求2所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，所述计算贡献包括：
每轮迭代过程中，参与者消耗自身设备资源进行本地模型训练和参数上传工作，这一过程的贡献主要包括模型训练的计算能耗与模型上传的通信能耗；所以参与方Pi在第t轮全局迭代中的计算贡献
Figure FDA0004112896070000026
表示为公式(8)：
Figure FDA0004112896070000027
其中，le为单位能耗价值，
Figure FDA0004112896070000028
和/>
Figure FDA0004112896070000029
分别为Pi在第t次全局迭代过程中用于本地模型训练的计算能耗和通信能耗。
8.如权利要求3所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，所述模型贡献包括：
根据参与方的沙普利值来评估其模型贡献，如公式(9)所示：
Figure FDA00041128960700000210
其中，ω为模型贡献参数。
9.如权利要求8所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，所述模型贡献的评估流程包括；
聚合服务器初始化更新全局模型并下发给各参与方后，开始对各参与方进行模型贡献评估；
对于超时上传的参与方，其本轮的模型贡献记为0，即
Figure FDA0004112896070000031
对于成功上传模型参数的参与方，聚合服务器首先判断其是否拥有参与方沙普利值预测模型，如果存在则直接使用预测模型计算各参与方的沙普利值；否则根据公式(4)计算SV；参与方沙普利值预测模型为聚合服务器基于其获取的参与方信息通过机器学习模型训练得到的一个机器学习模型；当该模型训练结束后，聚合服务器可利用该模型直接进行参与方的沙普利值预测，无需再利用公式(4)进行沙普利值的计算。
10.如权利要求9所述的横向联邦学习中参与方的贡献度评估方法，其特征在于，所述参与方沙普利值预测模型通过如下方式构建：
从第t0轮迭代开始，聚合服务器开始训练SV预测模型并根据该预测模型计算SV；所述SV预测模型采用的是三层神经网络模型，该模型的输入包括参与者的本地样本数量、数据量占比、本地模型精度、预定义的全局迭代轮数以及全局模型精度，输出为参与方对应的SV；当预测模型训练结束后，聚合服务器便可利用该模型预测各参与方的SV，然后根据SV计算出参与方Pi在当前全局迭代轮数t下的模型贡献
Figure FDA0004112896070000032
/>
CN202310211598.8A 2023-03-07 2023-03-07 一种横向联邦学习中参与方的贡献度评估方法 Pending CN116187474A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310211598.8A CN116187474A (zh) 2023-03-07 2023-03-07 一种横向联邦学习中参与方的贡献度评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310211598.8A CN116187474A (zh) 2023-03-07 2023-03-07 一种横向联邦学习中参与方的贡献度评估方法

Publications (1)

Publication Number Publication Date
CN116187474A true CN116187474A (zh) 2023-05-30

Family

ID=86440320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310211598.8A Pending CN116187474A (zh) 2023-03-07 2023-03-07 一种横向联邦学习中参与方的贡献度评估方法

Country Status (1)

Country Link
CN (1) CN116187474A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738444A (zh) * 2023-08-15 2023-09-12 山东省计算中心（国家超级计算济南中心） 基于夏普利值的数据安全共享平台多方贡献度评估方法
CN117592555A (zh) * 2023-11-28 2024-02-23 中国医学科学院北京协和医院 一种面向多源异构医疗数据的联邦学习方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116738444A (zh) * 2023-08-15 2023-09-12 山东省计算中心（国家超级计算济南中心） 基于夏普利值的数据安全共享平台多方贡献度评估方法
CN116738444B (zh) * 2023-08-15 2023-10-31 山东省计算中心（国家超级计算济南中心） 基于夏普利值的数据安全共享平台多方贡献度评估方法
CN117592555A (zh) * 2023-11-28 2024-02-23 中国医学科学院北京协和医院 一种面向多源异构医疗数据的联邦学习方法及系统
CN117592555B (zh) * 2023-11-28 2024-05-10 中国医学科学院北京协和医院 一种面向多源异构医疗数据的联邦学习方法及系统

Similar Documents

Publication Publication Date Title
CN111754000B (zh) 质量感知的边缘智能联邦学习方法及系统
CN116187474A (zh) 一种横向联邦学习中参与方的贡献度评估方法
CN113610303B (zh) 一种负荷预测方法及系统
CN114297722B (zh) 一种基于区块链的隐私保护异步联邦共享方法及系统
Abdelmoniem et al. Refl: Resource-efficient federated learning
CN113992676A (zh) 端边云架构和完全信息下分层联邦学习的激励方法及系统
CN113283778B (zh) 一种基于安全性评价的分层汇聚联邦学习方法
CN110929958A (zh) 基于深度学习参数优化的短时交通流量预测方法
CN115396442A (zh) 一种面向城市轨道交通的算力共享系统及方法
CN116669111A (zh) 一种基于区块链的移动边缘计算任务卸载方法
Yang et al. An ensemble prediction system based on artificial neural networks and deep learning methods for deterministic and probabilistic carbon price forecasting
CN116108919A (zh) 一种基于相似特征协作的个性化联邦学习方法和系统
CN116227180A (zh) 基于数据驱动的机组组合智能决策方法
Yuan et al. Low-cost federated broad learning for privacy-preserved knowledge sharing in the RIS-aided internet of vehicles
Fekri et al. Asynchronous adaptive federated learning for distributed load forecasting with smart meter data
KR101927317B1 (ko) 부채 관리 능력 평가 방법 및 장치
Zhang et al. An approach to determining attribute weights based on integrating preference information on attributes with decision matrix
Nanor et al. FedSULP: A communication-efficient federated learning framework with selective updating and loss penalization
Zhou et al. Data envelopment analysis models based on decentralized decision making
Witt et al. Decentralized and Incentivized Federated Learning: A Blockchain-Enabled Framework Utilising Compressed Soft-Labels and Peer Consistency
CN112541623A (zh) 电力物联网双创园区科技成果转化值的获取方法
Liu et al. Network public opinion monitoring and semantic event discovery strategy in mobile edge computing scenario
Peng et al. Research on incentive strategy based on service quality in spatial crowdsourcing task allocation
Yang et al. Prediction uncertainty and volatility for carbon price using an adaptive lower and upper bound estimation model
Li et al. Optimization Algorithm of Incentive Mechanism of Parking Space Crowdsensing System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination