CN114169412A - 面向大规模产业链隐私计算的联邦学习模型训练方法 - Google Patents

面向大规模产业链隐私计算的联邦学习模型训练方法 Download PDF

Info

Publication number
CN114169412A
CN114169412A CN202111397160.0A CN202111397160A CN114169412A CN 114169412 A CN114169412 A CN 114169412A CN 202111397160 A CN202111397160 A CN 202111397160A CN 114169412 A CN114169412 A CN 114169412A
Authority
CN
China
Prior art keywords
federal learning
federal
worker
node
industrial chain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111397160.0A
Other languages
English (en)
Inventor
郭少勇
陈浩
黄建平
颜拥
陈洁蔚
黄徐川
韩嘉佳
孙歆
姚影
杨国铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Beijing University of Posts and Telecommunications
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications, Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Beijing University of Posts and Telecommunications
Priority to CN202111397160.0A priority Critical patent/CN114169412A/zh
Publication of CN114169412A publication Critical patent/CN114169412A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种面向大规模产业链隐私计算的联邦学习模型训练方法。所述方法包括：由联邦学习中心服务器节点以非独立同分布为目标划分产业链业务训练数据集，并分发至多个联邦学习工人节点；联邦学习工人节点基于目标利润函数迭代训练本地模型；聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据各个本地模型权重分布和整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离，并剔除超过预设距离阈值的联邦学习工人节点；由剩余的联邦学习工人节点继续进行模型训练。本发明在联邦学习模型训练过程中将分布差异过大的数据分布剔除，减少异质性数据带来的精度损失，提高了传统算法在产业链中的应用可靠性。

Description

面向大规模产业链隐私计算的联邦学习模型训练方法
技术领域
本发明涉及联邦学习技术领域，尤其涉及一种面向大规模产业链隐私计算的联邦学习模型训练方法。
背景技术
产业链是一个包含价值链、企业链、供需链和空间链四个维度的概念，在这四个维度在相互对接的均衡过程中形成了产业链。产业链中大量存在着上下游关系和相互价值的交换，上游环节向下游环节输送产品或服务，下游环节向上游环节反馈信息从而调整策略。产业链中的信息交互需求形成大型网状拓扑结构，其中面临着严峻的隐私壁垒和安全挑战，同时也意味着产业链分布式隐私计算任务亟待解决。
目前，一种在并行计算的基础上发展的机器学习技术成为有效解决上述问题的方法，这种利用加密技术保证设备数据不出本地的协作训练方式被称为联邦学习。然而现有技术在将联邦学习应用于产业链网络系统时，由于某些低效率工人学习节点的存在，影响了整个联邦学习模型的训练效果，降低了联邦学习模型的精度。
发明内容
为解决上述问题，本发明提供一种面向大规模产业链隐私计算的联邦学习模型训练方法，包括：
步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD 阈值的联邦学习工人节点；
步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。
可选的，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，包括：
将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
可选的，所述目标利润函数
Figure RE-GDA0003474150800000021
为：
Figure RE-GDA0003474150800000022
Figure RE-GDA0003474150800000023
其中，gn为联邦学习工人节点的奖励因子Rn和联邦学习工人节点类型的集成表达式，包含一系列联邦学习中心服务器对于联邦学习工人节点计算资源提供率、数据提供率的奖励包，qn为联邦学习工人节点的数据量贡献，Tmax为联邦学习中心服务器节点对本次联邦学习任务的最大容忍时间，
Figure RE-GDA0003474150800000024
为本地模型更新后参数传输时间，μ为相关系数，与本地模型模型迭代次数有关，cn为训练本地模型所需执行的 CPU周期数，fn为CPU周期频率，θn为联邦学习工人节点资质，K为联邦学习工人节点类型，ρ为联邦学习中心服务器节点对联邦学习工人节点的单位奖励成本，
Figure RE-GDA0003474150800000031
为联邦学习工人节点在联邦学习模型迭代中的传输能耗，τ表示中心服务器和联邦学习工人的计算迭代能耗参数。
可选的，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，包括：
根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
Figure RE-GDA0003474150800000032
其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布， pk(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
本发明还提供一种面向大规模产业链隐私计算的联邦学习模型训练装置，包括：
第一处理模块，用于获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
第二处理模块，用于所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
第三处理模块，用于所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点；
第四处理模块，用于由剩余的联邦学习工人节点重复执行第一处理模块至第三处理模块，直至所述联邦学习模型收敛或达到预设迭代次数。
可选的，所述第一处理模块，具体用于：
将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
可选的，所述第三处理模块，具体用于：
根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
Figure RE-GDA0003474150800000041
其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布， pk(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
本发明提供的面向大规模产业链隐私计算的联邦学习模型训练方法，首先由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点，为了保证高效可靠的联邦学习，由联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，以此激励更多的联邦工人学习节点以更高的积极性来参与联邦学习任务。最后，在联邦聚合模型阶段，本发明提供了一种基于地动距离EMD(earth mover's distances)的聚权重联邦平均算法，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点，从而降低了聚合模型的权重分散程度，由此训练出准确度更高的联邦学习模型，从而优化产业链智能应用，提高了产业链服务质量和运转效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的面向大规模产业链隐私计算的联邦学习模型训练方法的流程示意图；
图2是本发明提供的面向大规模产业链隐私计算的联邦学习模型结构示意图；
图3是本发明提供的非独立同分布non-iid划分的示意图；
图4是本发明提供的基于EMD的联邦平均算法示意图；
图5是本发明提供的训练后的联邦学习模型与传统联邦学习模型精度对比图；
图6是本发明提供的面向大规模产业链隐私计算的联邦学习模型训练装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的一种面向大规模产业链隐私计算的联邦学习模型训练方法，包括：
步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
在本步骤中，需要说明的是，产业链中多方主体根据自身业务需求的不同，既是数据提供方也是数据需求方。因此可以将产业链中的数据提供方建模为联邦学习的本地模型提供者(联邦学习用户节点)，任务发布者建模为联邦学习的模型使用者(联邦学习中心服务器节点)。一个任务发布者需要协同多个联邦学习工人节点完成一个联邦学习任务，
在本步骤中，首先获取产业链业务训练数据集，该训练数据集用于整个联邦学习模型的训练，其可以包括报个产业链不同业务数据。在获取产业链业务训练数据集后，如图3所示，为模仿真实场景中非独立同分布non-iid的数据分布，可以采用label从0到9按从小到大的顺序对MNIST训练集60000张手写数字图片进行排序，排序完后再把训练集依次分为200张切片，每片包含300张图片。经过划分，每一份切片包含的图像都是同一个数字(label)。把300*2片训练数据(产业链业务训练子数据集)分发给100个联邦学习工人节点(N＝100)，此时，每个联邦学习工人节点分到的训练数据集有两种可能：只包含两个数字的各300张图片，或者包含3个数字的总共600张图片，后者为少数情况。因此，各参与方的数据种类和对应种类的图片数目都不一样，由此形成了non-iid数据分布类型。
步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
在本步骤中，各个联邦学习工人节点利用分发到的产业链业务训练子数据集作为本地数据，进行迭代训练本地模型。其中，在进行本地模型训练时，为了进行可靠的联邦学习任务、促进数据共享交易，联邦学习中心服务器节点有必要对在训练任务重表现良好的联邦学习工人节点给予相应的奖励，使它们在未来的任务来临时能够更积极地贡献数据和训练质量良好的模型。在联邦学习协作计算的模型交易中，需要考虑两个利益主体，即联邦学习中心服务器节点(也是模型使用方)的利润和联邦学习工人节点(模型提供方)的效用，因此本发明提供了一种基于多目标效用的模型共向激励机制，具体的，基于目标利润函数迭代训练本地模型，所述目标利润函数
Figure RE-GDA0003474150800000071
为：
Figure RE-GDA0003474150800000072
Figure RE-GDA0003474150800000073
其中，gn为联邦学习工人节点的奖励因子Rn和联邦学习工人节点类型的集成表达式，包含一系列联邦学习中心服务器对于联邦学习工人节点计算资源提供率、数据提供率的奖励包，qn为联邦学习工人节点的数据量贡献，Tmax为联邦学习中心服务器节点对本次联邦学习任务的最大容忍时间，
Figure RE-GDA0003474150800000081
为本地模型更新后参数传输时间，μ为相关系数，与本地模型模型迭代次数有关，cn为训练本地模型所需执行的 CPU周期数，fn为CPU周期频率，θn为联邦学习工人节点资质，K为联邦学习工人节点类型，ρ为联邦学习中心服务器节点对联邦学习工人节点的单位奖励成本，
Figure RE-GDA0003474150800000082
为联邦学习工人节点在联邦学习模型迭代中的传输能耗，τ表示中心服务器和联邦学习工人的计算迭代能耗参数。
步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD 阈值的联邦学习工人节点；
在本步骤中，需要说明的是，如图4所示，本发明提供了一种基于地动距离EMD定义产业链业务训练数据的权重散度，通过一定的淘汰机制减少训练过程中的模型损失。具体的，用signature sj＝ (mj,wj)表示一系列特征类别，s为一类特征，m为该类中心，w是该类特征的权重。依据数据持有者的数据提供率和计算能力将联邦学习工人节点分为k类。假设存在两类训练数据集类型P和Q，令 P＝(p1,wp1),…,(pi,wpi)，表示具有i个集群的签名；令Q＝ (q1,wq1),…,(qj,wqj)，表示具有j个集群的签名。
D＝[dij]为单个特征之间的距离，每一个dij表示pi到pj之间的距离，可以发现它是I×J矩阵。定义一个工作流矩阵F＝[fij]，其中每一项fij表示pi到pj之间的流数目，则EMD距离可以进一步转化为一个线性规划问题，即找到矩阵F使得从P到Q的全局代价最小：
Figure RE-GDA0003474150800000091
因此，两个不同分布的联邦学习节点的EMD距离为
Figure RE-GDA0003474150800000092
需要说明的是，在实际应用中训练数据集的不同对于EMD使用的方式可能不同，但都需要保证符合上述约束条件。设N为联邦学习工人节点候选人总数，而K(≤N)为参与每一轮通信的最大设备数量，规定(1<K≤N)。R为联邦学习的SGD总数，E为“server-client”的两次通信过程中，设备执行的本地迭代次数，因此
Figure RE-GDA0003474150800000093
为通信次数。假设第k个工人本地保存z个训练数据：
Figure RE-GDA0003474150800000098
因此本地模型目标定义为：
Figure RE-GDA0003474150800000094
其中l(·；·)是指定的损失函数。假设第k个设备中的数据是从分布
Figure RE-GDA0003474150800000095
中iid采样的，那么可以认为总体分布是所有局部数据分布的混合，即
Figure RE-GDA0003474150800000096
采用以下公式定义SGD权重发散：
Figure RE-GDA0003474150800000097
在本步骤中，采用EMD距离来度量权重发散程度。聚合服务器节点将最新模型wt广播到工人候选人当后，根据每个工人的本地模型样本权重分布与整体模型样本权重分布计算一个EMD值，并对这个EMD值进行由小到大的排序，排在第三四分位数后面的群组会被认为与总体分布差异过大、会降低联邦模型的效果而被淘汰。设 p(y＝i)为总体概率分布，pk(y＝i)为第k个参与任务工人的局部概率分布，则它们之间的EMD距离为：
Figure RE-GDA0003474150800000101
接着，由K个工人进行本地模型更新(E≥1)，同时令
Figure RE-GDA0003474150800000102
通过EMD距离移除数据分布差异过大的工人，设第t轮被淘汰的工人数目为ht，剩下的工人集合为Pt(|Pt|≤K)，则第t轮没被淘汰的工人得到的新参数为：
Figure RE-GDA0003474150800000103
其中，ηt+i为学习率(也叫步长)。
在本步骤中，为了让数据分布差距较小的的工人更大概率被取用，将在EMD距离计算中贡献较高的设备取得更大的权重，则在聚合步骤执行：
Figure RE-GDA0003474150800000104
其中，可以证明
Figure RE-GDA0003474150800000105
等于1。EMD-FedAvg每次E迭代需要两轮通信：一次广播和一次聚合，如果完全执行了R次迭代，则通信次数为
Figure RE-GDA0003474150800000106
广播期间，中央服务器将wt发送到设备上；聚合期间，执行任务的工人将其输出(例如wt+E)上传至服务器。
步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。
在本步骤中，在剔除效用较低的联邦学习工人节点后，由剩下的点进入下一轮联邦模型训练，直至联邦学习模型收敛或达到预设迭代次数。如图5所示，一开始基于EMD的改进算法与传统联邦平均算法收敛速度差不多，之后20轮之内产生较为明显的差异。改进算法在收敛速率和预测准确率方面都强于传统联邦平均算法，大概到40轮左右达到收敛。从整体上来看，即使减少部分训练数据量，EMD-CW的测试精度还是优于FedAvg算法，提高了2-4％。
本发明提供的面向大规模产业链隐私计算的联邦学习模型训练方法，首先由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点，为了保证高效可靠的联邦学习，由联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，以此激励更多的联邦工人学习节点以更高的积极性来参与联邦学习任务。最后，在联邦聚合模型阶段，本发明提供了一种基于地动距离EMD(earth mover's distances)的聚权重联邦平均算法，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点，从而降低了聚合模型的权重分散程度，由此训练出准确度更高的联邦学习模型，从而优化产业链智能应用，提高了产业链服务质量和运转效率。
基于上述实施例的内容，在本实施例中，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，包括：
将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
基于上述实施例的内容，在本实施例中，所述目标利润函数
Figure RE-GDA0003474150800000121
为：
Figure RE-GDA0003474150800000122
Figure RE-GDA0003474150800000123
其中，gn为联邦学习工人节点的奖励因子Rn和联邦学习工人节点类型的集成表达式，包含一系列联邦学习中心服务器对于联邦学习工人节点计算资源提供率、数据提供率的奖励包，qn为联邦学习工人节点的数据量贡献，Tmax为联邦学习中心服务器节点对本次联邦学习任务的最大容忍时间，
Figure RE-GDA0003474150800000124
为本地模型更新后参数传输时间，μ为相关系数，与本地模型模型迭代次数有关，cn为训练本地模型所需执行的 CPU周期数，fn为CPU周期频率，θn为联邦学习工人节点资质，K为联邦学习工人节点类型，ρ为联邦学习中心服务器节点对联邦学习工人节点的单位奖励成本，
Figure RE-GDA0003474150800000125
为联邦学习工人节点在联邦学习模型迭代中的传输能耗，τ表示中心服务器和联邦学习工人的计算迭代能耗参数。
基于上述实施例的内容，在本实施例中，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，包括：
根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
Figure RE-GDA0003474150800000126
其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布， pk(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
下面通过具体实施例进行说明：
实施例一：
在本实施例中，针对威胁模型，本发明提供了一种面向产业链的多方协作联邦学习模型，如图2所示。多方协作计算委员会的目的是通过联邦学习帮助任务发布者训练一个联邦学习模型
Figure RE-GDA0003474150800000131
联邦学习工人会将本地训练的模型
Figure RE-GDA0003474150800000132
发送给数据请求者。一方面，为了实现公平、高效的联邦学习，本发明提供了一种基于工人的数据共享率和计算资源共享率的激励机制来分配奖励，使得模型使用者的利润最大化。在特定的资源约束下，优化联邦学习的性能。另一方面，为实现可靠、健壮的联邦学习，在聚合步骤时数据代理节点会根据权重散度剔除掉某个设备上类分布与种群分布差异过大的模型。模型消费者将 Req＝{w1,w2,...,wx}作为模型
Figure RE-GDA0003474150800000133
的输入，得到相应的输出结果
Figure RE-GDA0003474150800000134
并不断循环迭代直到模型收敛。最后，任务发布者将使用训练好的全局模型来进行决策分析，以提高产业链运转效率。
实施例二：
在本实施例中，本发明还提供了一种联邦学习通信模型和计算模型，包括：考虑一组具有联邦计算能力的设备
Figure RE-GDA0003474150800000135
Figure RE-GDA0003474150800000136
的计算能力(即CPU周期频率)表示为fn，训练本地模型所需要执行的CPU周期数为cn，qn表示样本数据大小，因此工人n一次迭代的计算时间用下式表示：
Figure RE-GDA0003474150800000137
其中，
Figure RE-GDA0003474150800000138
是worker n芯片组的有效电容参数。将联邦学习参数的传输速率表示为
Figure RE-GDA0003474150800000139
其中，B是传输带宽，ρn是 worker n的传输功率，hn是联邦学习工人节点和联邦学习中心服务器节点之间点对点链路的信道增益，N0是可能存在的噪声。用εn表示工人训练的本地模型质量，主要取决于本地数据贡献度和计算资源贡献度，即εn的值越大，越能实现较少的局部和全局迭代，完成联邦学习任务所用的时间成本越低。为了更好的分析问题，用 log(1/εn)来表示全局模型收敛时本地模型迭代的次数。其中对数函数理解为，由于存在过度拟合的阻挡，局部学习的精度不能随着训练数据集数量的增大而增大，到后期精度趋于平缓。
假设共享的模型参数大小相同。令联邦学习工人节点每次迭代所得的训练模型参数数目qn＝σ，这是一个确定的值。则本地模型更新后参数传输时间为
Figure RE-GDA0003474150800000141
工人n在全局迭代中传输能耗为
Figure RE-GDA0003474150800000142
那么联邦学习一次全局迭代所需要总的时间为通信时间加上模型训练时间，即：
Figure RE-GDA0003474150800000143
相应地，一次全局迭代能量消耗为：
Figure RE-GDA0003474150800000144
根据训练数据大小、计算能力等参数，设计联邦学习工人资质评估函数，即定义n-型worker的定义。
定义1(工人类型)：将联邦学习节点分为K种类型，每一种工人资质设为θk。令Θ＝{θ1,θ2,...,θk}。Θ集为有序排列，且按训练出的模型质量升序排列：θ1<θ2<...<θk,。θk越大，表明工人能力越强，共享积极性越高。则每一个节点的工人评估为
Figure RE-GDA0003474150800000145
这里，μ是相关系数，与本地模型迭代次数有关。
实施例三：
在本实施例中，为了进行可靠的联邦学习任务、促进数据共享交易，任务发布者有必要对在训练任务重表现良好的节点给予相应的奖励，使它们在未来的任务来临时能够更积极地贡献数据和训练质量良好的模型。在联邦学习协作计算的模型交易中，需要考虑两个利益主体，即任务发布者(也是模型使用方)的利润和联邦学习工人(模型提供方)的效用。
对于任务发布者来说，它需要为每一种数据类型的worker设计个性化合同，每一次任务发布者都会给做出贡献的联邦学习工人发放报酬以满足自身需求。将任务发布者与工人n签署的合同表示为 {Rn(qn),qn}，Rn是对该worker的奖励因子，包含一系列对于工人计算资源提供率、数据提供率的奖励包。需要注意的是，由于任务发布者不知道该节点的数据提供率，因此无法确定该节点的工人类型，但是任务发布者可以通过概率pn判断该节点属于某一种工人类型，并且
Figure RE-GDA0003474150800000151
那是因为任务发布者可以观察到工人类型的分布和该节点过去的工作行为。
任务发布者的利润函数由两部分组成：满意度函数和成本函数。一般地，工人贡献越多计算资源可以使训练模型更加迅速，任务发布者的满意度更高，因此本发明定义任务发布者从类型为n的工人处获得的利润为：
Figure RE-GDA0003474150800000152
其中δ是设置的任务发布者满意度参数，且δ>0。Tmax是任务发布者对本次联邦学习任务的最大容忍时间，
Figure RE-GDA0003474150800000153
为一次全局随机梯度下降总时间，包括
Figure RE-GDA0003474150800000154
和
Figure RE-GDA0003474150800000155
一般地，将
Figure RE-GDA0003474150800000156
表示为任务发布者对该数据类型的工作人员一次全局迭代总时间的满意度函数，当全局迭代的总时间
Figure RE-GDA0003474150800000157
减少时，任务发布者的满意度将提高。对于任务发布者而言，更多的高级别的工作者加入联邦学习会带来更多的利润，但同时意味着产生更大的奖励成本ρRn，其中ρ表示任务发布者对于k型worker的单位奖励成本。
显然，任务发布者在执行联邦学习任务时不会接受负利润，即 Utp(n)≥0。任务发布者的目标是在联邦学习任务中最大限度地提高其利润，假设系统中存在K种类型的联邦学习工人，则系统中任务发布者的目标利润表示为：
Figure RE-GDA0003474150800000161
联邦学习工人的效用函数主要考虑训练模型的收入、迭代的能量消耗还有任务发布者对其模型质量评估的成本，用Uw表示该工人产生的效用函数，记为：
Figure RE-GDA0003474150800000162
其中，ω是预先定义的关于能耗的权重参数，Rn是该工人的收入，
Figure RE-GDA0003474150800000163
是一次迭代worker消耗的能量，包括
Figure RE-GDA0003474150800000164
和
Figure RE-GDA0003474150800000165
Figure RE-GDA0003474150800000166
表示任务发布者对工人提供的模型质量评估所收取的费用。worker的目的是在执行联合学习任务时最大程度地发挥其效用。因此签约工人n的总体目标表示为：
Figure RE-GDA0003474150800000167
评估费用和模型质量成正比，因此质量评估的成本为：
Figure RE-GDA0003474150800000168
其中χ是单位模型评估的价格，β是采样比例，An是对工人模型质量评估的次数。结合定义1，将联邦学习工人的总体目标表示为：
Figure RE-GDA0003474150800000169
工人根据自身的能力和需求去选择并签署提供的合同，并完成给定的联合学习任务。若该工人无法完成指定的联邦学习任务，则会被扣除相应账户的奖励。
在模型交易的过程中，任务发布者提供联邦学习任务要求和奖励包价格，看做交易的领导者；随后，联邦学习工人根据任务发布者提供的信息选择合适的合同签约，作出自己的决策，可以看做交易的追随者。规定工人签署的合约满足需要两个条件：1)个体理性；2)激励相容性。
定理1(个体理性)：每个工作者只会参与使其效用不小于零的联合学习任务，即：
Figure RE-GDA0003474150800000171
定理2(激励相容性)：为了效用最大化，每种类型的工人只能选择为自身订制的合同，即θn型，不会选择其他合同{Rm(qm),qm}，即：
Figure RE-GDA0003474150800000172
Figure RE-GDA0003474150800000173
不失一般性地，在相似的无线网络环境下本发明将传输带宽、传输功率和信道增益看做是可测量的并且拥有近似值，因此有
Figure RE-GDA0003474150800000174
综合上述分析，可将所提供的联邦学习激励方案表示为一个多目标规划问题，结合定义1和定理1、2，写出以下优化问题：
Figure RE-GDA0003474150800000175
s.t.
Figure RE-GDA0003474150800000176
Figure RE-GDA0003474150800000177
Figure RE-GDA0003474150800000178
Figure RE-GDA0003474150800000179
Figure RE-GDA0003474150800000181
Figure RE-GDA0003474150800000182
Figure RE-GDA0003474150800000183
其中Rmax是任务发布者给予的奖励的总额。这是一个涉及一个领导者和多个跟随者的多目标优化问题，通过对IR、IC约束的迭代，将任务发布者的资源奖励包Rn(qn)表示为：
Figure RE-GDA0003474150800000184
其中Δk表示工人类型相同的两个节点的能耗差，即
Figure RE-GDA0003474150800000185
Figure RE-GDA0003474150800000186
证明了在数据大小相同时，节点计算资源与合同奖励的单调性。同理在工人计算资源服从均匀分布时，可以认为数据提供率与奖励也服从单调性。将原问题中的Rn替换掉，可将原问题改写为：
Figure RE-GDA0003474150800000187
s.t.
Figure RE-GDA0003474150800000188
Figure RE-GDA0003474150800000189
其中，
Figure RE-GDA00034741508000001810
Figure RE-GDA00034741508000001811
目标函数Utp的决策变量是qn，可以得到
Figure RE-GDA00034741508000001812
因此该问题是一个凹优化问题，可以借助凸优化工具(例如CVX)求解，该优化问题的解空间为最优节点的数据提供率
Figure RE-GDA0003474150800000191
及其相应的激励因子
Figure RE-GDA0003474150800000192
由此可见，本发明构建一个支撑数据隐私化共享的多方协作计算架构。模型共享在每个产业链主体之间进行；单个联邦学习任务中，各数据持有者独立地在本地进行局部模型的更新，并与聚合器所在的服务器进行交互。此外，模拟了一个模型自由交易市场，通过设计最优化合同来激励更多的节点贡献其所持有的数据，通过数据贡献率和计算资源贡献率来分配奖励，贡献越大的节点得到的回报越多，最终达到提高联邦学习任务质量的目标。此外，本发明还提供一种基于 non-iid数据的聚合权重联邦平均算法。将分布差异过大的数据分布剔除，减少异质性数据带来的精度损失，提高FedAvg算法在产业链中的应用可靠性。
下面对本发明提供的面向大规模产业链隐私计算的联邦学习模型训练装置进行描述，下文描述的面向大规模产业链隐私计算的联邦学习模型训练装置与上文描述的面向大规模产业链隐私计算的联邦学习模型训练方法可相互对应参照。
如图6所示，本发明提供的一种面向大规模产业链隐私计算的联邦学习模型训练装置，包括：
第一处理模块1，用于获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
第二处理模块2，用于所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
第三处理模块3，用于所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点；
第四处理模块4，用于由剩余的联邦学习工人节点重复执行第一处理模块至第三处理模块，直至所述联邦学习模型收敛或达到预设迭代次数。
本发明提供的面向大规模产业链隐私计算的联邦学习模型训练装置，首先由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点，为了保证高效可靠的联邦学习，由联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，以此激励更多的联邦工人学习节点以更高的积极性来参与联邦学习任务。最后，在联邦聚合模型阶段，本发明提供了一种基于地动距离EMD(earth mover's distances)的聚权重联邦平均算法，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点，从而降低了聚合模型的权重分散程度，由此训练出准确度更高的联邦学习模型，从而优化产业链智能应用，提高了产业链服务质量和运转效率。
基于上述实施例的内容，在本实施例中，所述第一处理模块，具体用于：
将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
基于上述实施例的内容，在本实施例中，所述第三处理模块，具体用于：
根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
Figure RE-GDA0003474150800000211
其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布， pk(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行面向大规模产业链隐私计算的联邦学习模型训练方法，该方法包括：步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布 non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点；步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的面向大规模产业链隐私计算的联邦学习模型训练方法，该方法包括：步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD 阈值的联邦学习工人节点；步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的面向大规模产业链隐私计算的联邦学习模型训练方法，该方法包括：步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设 EMD阈值的联邦学习工人节点；步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，包括：
步骤101，获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
步骤102，所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
步骤103，所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点；
步骤104，由剩余的联邦学习工人节点重复步骤101至步骤103，直至所述联邦学习模型收敛或达到预设迭代次数。
2.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，包括：
将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
3.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，所述目标利润函数
Figure FDA0003370720230000011
为：
Figure FDA0003370720230000021
Figure FDA0003370720230000022
其中，gn为联邦学习工人节点的奖励因子Rn和联邦学习工人节点类型的集成表达式，包含一系列联邦学习中心服务器对于联邦学习工人节点计算资源提供率、数据提供率的奖励包，qn为联邦学习工人节点的数据量贡献，Tmax为联邦学习中心服务器节点对本次联邦学习任务的最大容忍时间，
Figure FDA0003370720230000023
为本地模型更新后参数传输时间，μ为相关系数，与本地模型模型迭代次数有关，cn为训练本地模型所需执行的CPU周期数，fn为CPU周期频率，θn为联邦学习工人节点资质，K为联邦学习工人节点类型，ρ为联邦学习中心服务器节点对联邦学习工人节点的单位奖励成本，
Figure FDA0003370720230000024
为联邦学习工人节点在联邦学习模型迭代中的传输能耗，τ表示中心服务器和联邦学习工人的计算迭代能耗参数。
4.根据权利要求1所述的面向大规模产业链隐私计算的联邦学习模型训练方法，其特征在于，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，包括：
根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
Figure FDA0003370720230000025
其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布，pk(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
5.一种面向大规模产业链隐私计算的联邦学习模型训练装置，其特征在于，包括：
第一处理模块，用于获取产业链业务训练数据集，由联邦学习中心服务器节点以非独立同分布non-iid为目标划分所述产业链业务训练数据集，得到多个产业链业务训练子数据集，并将所述多个产业链业务训练子数据集分发至多个联邦学习工人节点；
第二处理模块，用于所述联邦学习工人节点将所述联邦学习中心服务器分发的所述产业链业务训练子数据集作为输入，基于目标利润函数迭代训练本地模型，更新所述本地模型权重，并将更新后的所述本地模型权重发送至聚合服务器节点；
第三处理模块，用于所述聚合服务器节点在聚合每个联邦学习工人节点发送的更新后的本地模型权重后，根据每个联邦学习工人节点的本地模型权重分布和全部联邦学习工人节点的整体本地模型权重分布，计算每个联邦学习工人节点对应的地动距离EMD，并剔除超过预设EMD阈值的联邦学习工人节点；
第四处理模块，用于由剩余的联邦学习工人节点重复执行第一处理模块至第三处理模块，直至所述联邦学习模型收敛或达到预设迭代次数。
6.根据权利要求5所述的面向大规模产业链隐私计算的联邦学习模型训练装置，其特征在于，所述第一处理模块，具体用于：
将所述产业链业务训练数据集按数字标签进行排序，将排序后的所述产业链业务训练数据集分成包含预设数量产业链业务训练数据的产业链业务训练子数据集。
7.根据权利要求5所述的面向大规模产业链隐私计算的联邦学习模型训练装置，其特征在于，所述第三处理模块，具体用于：
根据下面公式计算每个联邦学习工人节点的本地模型权重分布与全部联邦学习工人节点的整体本地模型权重分布之间的EMD，所述公式为：
Figure FDA0003370720230000031
其中，p(y＝i)为全部联邦学习工人节点的整体本地模型权重分布，pk(y＝i)为第k个联邦学习工人节点的本地模型权重分布。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述面向大规模产业链隐私计算的联邦学习模型训练方法的步骤。
CN202111397160.0A 2021-11-23 2021-11-23 面向大规模产业链隐私计算的联邦学习模型训练方法 Pending CN114169412A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111397160.0A CN114169412A (zh) 2021-11-23 2021-11-23 面向大规模产业链隐私计算的联邦学习模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111397160.0A CN114169412A (zh) 2021-11-23 2021-11-23 面向大规模产业链隐私计算的联邦学习模型训练方法

Publications (1)

Publication Number Publication Date
CN114169412A true CN114169412A (zh) 2022-03-11

Family

ID=80480583

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111397160.0A Pending CN114169412A (zh) 2021-11-23 2021-11-23 面向大规模产业链隐私计算的联邦学习模型训练方法

Country Status (1)

Country Link
CN (1) CN114169412A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130814A (zh) * 2022-05-10 2022-09-30 中南大学 一种纵向数据融合的隐私计算方法及系统
CN115238065A (zh) * 2022-09-22 2022-10-25 太极计算机股份有限公司 一种基于联邦学习的公文智能推荐方法
CN115496204A (zh) * 2022-10-09 2022-12-20 南京邮电大学 一种跨域异质场景下的面向联邦学习的评测方法及装置
CN115526313A (zh) * 2022-10-11 2022-12-27 南京邮电大学 基于预测精度的跨域异质联邦学习架构运行效率评测方法
CN116582871A (zh) * 2023-07-07 2023-08-11 南京邮电大学 一种基于拓扑优化的无人机集群联邦学习模型优化方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130814A (zh) * 2022-05-10 2022-09-30 中南大学 一种纵向数据融合的隐私计算方法及系统
CN115130814B (zh) * 2022-05-10 2023-05-02 中南大学 一种纵向数据融合的隐私计算方法及系统
CN115238065A (zh) * 2022-09-22 2022-10-25 太极计算机股份有限公司 一种基于联邦学习的公文智能推荐方法
CN115496204A (zh) * 2022-10-09 2022-12-20 南京邮电大学 一种跨域异质场景下的面向联邦学习的评测方法及装置
CN115496204B (zh) * 2022-10-09 2024-02-02 南京邮电大学 一种跨域异质场景下的面向联邦学习的评测方法及装置
CN115526313A (zh) * 2022-10-11 2022-12-27 南京邮电大学 基于预测精度的跨域异质联邦学习架构运行效率评测方法
CN115526313B (zh) * 2022-10-11 2023-10-24 南京邮电大学 基于预测精度的跨域异质联邦学习架构运行效率评测方法
CN116582871A (zh) * 2023-07-07 2023-08-11 南京邮电大学 一种基于拓扑优化的无人机集群联邦学习模型优化方法
CN116582871B (zh) * 2023-07-07 2023-10-13 南京邮电大学 一种基于拓扑优化的无人机集群联邦学习模型优化方法

Similar Documents

Publication Publication Date Title
CN114169412A (zh) 面向大规模产业链隐私计算的联邦学习模型训练方法
Cai et al. Real-time bidding by reinforcement learning in display advertising
Cho et al. Identification of effective opinion leaders in the diffusion of technological innovation: A social network approach
US8312056B1 (en) Method and system for identifying a key influencer in social media utilizing topic modeling and social diffusion analysis
US20110071962A1 (en) Method and system of using network graph properties to predict vertex behavior
Li et al. Crowdsourcing logistics pricing optimization model based on DBSCAN clustering algorithm
Zhang et al. More than privacy: Adopting differential privacy in game-theoretic mechanism design
Geebelen et al. QoS prediction for web service compositions using kernel-based quantile estimation with online adaptation of the constant offset
Sun et al. A profit-maximizing model marketplace with differentially private federated learning
Xu et al. Predicting advertiser bidding behaviors in sponsored search by rationality modeling
US11210823B1 (en) Systems and methods for attributing value to data analytics-driven system components
CN112182399A (zh) 一种联邦学习的多方安全计算方法及装置
CN113821827B (zh) 保护多方数据隐私的联合建模方法及装置
Zhou et al. A dynamic logistic regression for network link prediction
CN113128916A (zh) 一种基于大数据的工作平台任务工作量评估方法
Prakash et al. ARP–GWO: an efficient approach for prioritization of risks in agile software development
Razi et al. A hybrid grey-based fuzzy C-means and multiple objective genetic algorithms for project portfolio selection
CN110457387A (zh) 一种应用于网络中用户标签确定的方法及相关装置
Alrashoud et al. Perception-based software release planning
Wang An Effect Analysis Model for Corporate Marketing Mix Based on Artificial Neural Network.
CN114358308A (zh) 面向公平性保障的联邦学习的模型优化方法及系统
CN114596108A (zh) 一种对象推荐方法、装置、电子设备及存储介质
Ruan et al. A nonparametric approach with marginals for modeling consumer choice
Fan et al. CRL-MABA: A Completion Rate Learning Based Accurate Data Collection Scheme in Large-Scale Energy Internet
CN115828107B (zh) 基于离线环境的模型训练方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination