CN113052334A - 一种联邦学习实现方法、系统、终端设备及可读存储介质 - Google Patents

一种联邦学习实现方法、系统、终端设备及可读存储介质 Download PDF

Info

Publication number
CN113052334A
CN113052334A CN202110401739.3A CN202110401739A CN113052334A CN 113052334 A CN113052334 A CN 113052334A CN 202110401739 A CN202110401739 A CN 202110401739A CN 113052334 A CN113052334 A CN 113052334A
Authority
CN
China
Prior art keywords
client
loss value
local
model
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110401739.3A
Other languages
English (en)
Other versions
CN113052334B (zh
Inventor
王建新
吴帆
刘渊
安莹
胡建中
黄伟红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Central South University
Original Assignee
Central South University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Central South University filed Critical Central South University
Priority to CN202110401739.3A priority Critical patent/CN113052334B/zh
Publication of CN113052334A publication Critical patent/CN113052334A/zh
Application granted granted Critical
Publication of CN113052334B publication Critical patent/CN113052334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种联邦学习实现方法、系统、终端设备及可读存储介质，该方法包括：客户端使用本地神经网络模型进行第一轮本地迭代得到模型权重和损失值，并上传至服务器；服务器将客户端的模型权重进行加权平均计算得到平均权重，以及根据客户端的损失值对客户端进行分组；客户端利用平均权重更新本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值；客户端将更新后的模型权重和损失值上传至服务器进行循环更新。本发明的客户端以所在组的中位数损失值为标准调整本地迭代次数，有效降低本地计算复杂度，提升联邦学习效率，进一步利用公共数据集进行知识蒸馏，提升模型性能。

Description

一种联邦学习实现方法、系统、终端设备及可读存储介质
技术领域
本发明属于联邦学习技术领域，具体涉及一种联邦学习实现方法、系统、终端设备及可读存储介质。
背景技术
在现实世界中，由于行业竞争、隐私安全等问题，数据大都以孤岛形式存在，即使在同一个公司的不同部门之间，实现数据整合也面临着重重阻力，面对难以桥接的数据孤岛，如何安全合法的使用多方数据进行联合建模始终是业界的一个难点。
为了解决这种数据孤岛问题，谷歌提出了针对移动设备的联邦学习方法。联邦学习可以使各个参与方的数据不出本地而使用各个参与方的数据共同协作训练出一个全局模型，可以解决数据孤岛这一痛点问题。谷歌提出的联邦学习方法步骤如下：首先，服务器选择可以参与本次全局迭代的设备。其次，服务器将上一轮全局模型参数发送给这些被选中的设备。然后，被选中的这些设备使用本地的私有数据和模型进行本地迭代计算，更新模型参数。最后，这些被选中的设备将此次更新的模型参数发送给服务器，服务器对接收到的模型参数进行加权平均，更新全局模型参数。
然而，谷歌提出的联邦学习方法是针对移动设备的方法，所以每一轮全局迭代中都要选择此次参与的设备。然而，在其它应用场景中，例如不同的医院之间通过联邦学习构建全局模型时，通常是不需要进行设备选择的。而且，谷歌提出的联邦学习方法中参与方的数量(一般超过10000)往往远远大于设备中的数据的数量，而跨机构的联邦学习方法中参与方的数量(一般不超过50)远远小于参与方数据的数量。与此同时，如何提高模型训练的效率也是联邦学习的关注点之一。
因此，针对跨数据孤岛问题的联邦学习模型，如何实现不限制于移动设备以及适用于跨机构的联邦学习模型，并如何提升联邦学习的通信效率是本发明亟需研究的。
发明内容
本发明的目的是为了克服现有技术中存在的不足，提供一种联邦学习实现方法、系统、终端设备及可读存储介质，其利用中位数损失将客户端分成不同组来自适应调整客户端的本地计算复杂度，有效提升了联邦学习的通信效率，且所述方法的训练过程无需选择客户端且对客户端的数量并无要求，可以有效应用于跨机构的联邦学习模型中，譬如，不同医院之间的联邦模型。
一方面，本发明提供一种联邦学习实现方法，包括如下步骤：
步骤1：每个客户端使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
其中，各个客户端与服务器通讯连接，每个客户端使用同一类本地神经网络；
步骤2：所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；
步骤3：客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值；
其中，客户端将更新后的模型权重和损失值上传至服务器进行循环更新，直至客户端的模型满足预设标准。
本发明以中位数损失作为一个标准，让损失小的客户端少训练，损失高的客户端多训练，进行了均衡，总体上所有客户端的本地计算复杂度是小于常规的平均算法，并通过实验进行了有效验证。
可选地，步骤2中根据每个客户端的损失值对客户端进行分组的分组依据如下：
以每个客户端的损失值与所在组的中位数损失值的差的绝对值之和最小。
可选地，依据所述分组依据对客户端进行分组的过程为：将N个客户端上传的损失按照从小到大排列，并按照如下迭代过程将N个客户端划分为g组得到g个曼哈顿距离，且所述g个曼哈顿距离之和最小，其中，所述迭代过程如下：
A：设定参数i表示损失个数，对应取值范围为1-N；其中，在其取值范围内依次遍历取值；
B：设定参数j表示分组组数，对应取值范围为1-G；其中，在其取值范围内依次遍历取值；
C：在i值与j值确定下，设定参数k在[1,i]的范围内依次遍历取值，并按照如下公式计算得到
Figure BDA0003020584870000021
Figure BDA0003020584870000022
式中，
Figure BDA0003020584870000023
表示前i个损失分成了j组后，得到的j个曼哈顿距离之和的最小值，
Figure BDA0003020584870000024
表示前k-1个损失分成了j-1组后，得到的j-1个曼哈顿距离之和的最小值；costki为从下标为k～i的客户端作为第j组时损失的曼哈顿距离；
其中，参数k遍历计算完成后，返回步骤B，在参数j的取值范围更新参数j，再执行步骤C；待参数j遍历完成后，再返回步骤A，在参数i的取值范围更新参数i，再执行步骤B与步骤C，实现循环迭代，直至将N个损失化为g组得到的g个曼哈顿距离之和最小，g小于或等于G。
其中，迭代算法一共是三重for循环，第一个枚举i，范围从1～N，第二个枚举j，范围从1～G，第三个枚举k，范围从1～i，在最后一个for循环中按照上述公式不断更新
Figure BDA0003020584870000031
迭代算法的时间复杂度为O(GN2)。观察上述公式可以发现只要记录每组客户端的最后一次划分就能知道客户端的划分情况。每次全局迭代中都进行上述的调整，然后，每个客户端可以根据自身损失与组中的中位数损失比较来自适应调整本地计算的迭代次数，以此来减小联邦学习的本地计算复杂度。
可选地，步骤3中基于中位数损失自适应调节本地迭代次数的过程如下：
首先，客户端利用平均权重更新所述本地神经网络模型后，利用本地数据迭代训练
Figure BDA0003020584870000032
次，E为预设的联邦平均算法中的本地训练迭代次数；
然后，判断训练后的损失值是否小于中位数损失值，若小于，则停止本地迭代训练；否则，根据当前轮数确定当前的本地迭代次数为：
Figure BDA0003020584870000033
r为当前轮数；
其中，若迭代训练过程中，客户端的损失值小于中位数损失值或客户端的本地迭代次数达到
Figure BDA0003020584870000034
停止迭代训练。
可选地，步骤3之后，还执行：
步骤4：每个客户端利用公共数据集进行知识蒸馏完成模型权重更新，再将客户端的模型权重和损失值上传至服务器，返回步骤2进行循环更新；
其中，若客户端的模型满足预设标准，则停止循环更新。
第二方面，本发明提供一种联邦学习实现方法，应用于客户端时，包括如下步骤：
S1：使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
S2：接收服务器传送的平均权值以及客户端所在组的中位数损失值；
其中，所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组得到客户端所在组的中位数损失值；
S3：利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值，以及得到新的损失值；
其中，将更新后的模型权重和损失值上传至服务器进行循环更新，直至本地神经网络模型满足预设标准。
第三方面，本发明一种联邦学习实现方法，应用于服务器时，包括如下步骤：
Step 1：接收客户端上传的模型权重和损失值；
其中，每个客户端与服务器连接，并使用本地神经网络模型以及利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；
Step2：将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；
Step3：接收客户端上传的更新后的模型权重和损失值，并返回Step2，进行循环更新，直至客户端的模型满足预设标准
其中，客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值，再上传给服务器。
第四方面，本发明体用一种基于所述联邦学习实现方法的系统，包括通讯连接客户端和服务器；
其中，客户端包括：本地收发模块和训练模块；
所述训练模块，用于使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；
所述本地收发模块，用于将模型权重和损失值上传至服务器；以及用于接收服务器发送的平均权值和所在组的中位数损失值；
所述训练模块，还用于利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值；
所述服务器包括：服务器收发模块、加权平均计算模块、分组模块；
所述服务器收发模块，用于接收客户端发送的模型权重和损失值；
所述加权平均计算模块，用于将所有客户端的模型权重进行加权平均计算得到平均权重；
所述分组模块，用于根据每个客户端的损失值对客户端进行分组；
所述服务器收发模块，还用于将平均权重和客户端所在组的中位数损失值发送给对应客户端。
第五方面，本发明提供一种终端设备，所述终端设备为客户端或服务器，其包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：所述的联邦学习实现方法的步骤。
第六方面，本发明提供一种可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以执行：所述的联邦学习实现方法的步骤。
有益效果
1.本发明提供了一种联邦学习实现方法，所述方法利用客户端的损失值对客户端进行分组，每个客户端再以所在组的中位数损失值为标准调整本地训练迭代次数，有效降低本地计算复杂度，提升联邦学习的效率。
2.本发明的进一步优选方案中，利用公共数据集进行知识蒸馏，将客户端作为教师网络，将服务器作为学生网络，利用知识蒸馏进行模型融合，进一步发掘各个客户端的数据价值，提高模型训练的稳定性、收敛性和分类性能，以解决现有基于联邦学习的模型参数训练方法无法满足跨数据孤岛模型参数训练所需性能要求的问题。尤其是针对现有直接使用参数平均的模型参数训练方法，其中，参数平均的方法会使得模型的决策边界模糊，尤其是各个参与方的数据是非独立同分布的情况下，将极大影响模型的性能，而本发明利用知识蒸馏，进一步优化模型本地参数。
附图说明
图1是本发明所述方法提供的模型通信示意图；
图2是本发明所述方法提供的流程示意图。
具体实施方式
本发明提供一种联邦学习实现方法，是用于解决数据孤岛问题，其中，本发明尤其关注模型参数优化以及模型训练效率。为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明中技术方案作进一步详细的说明，但本发明可以由权力要求限定和覆盖的多种不同方式实施。
实施例1：
本实施例提供的一种联邦学习实现方法，应用于客户端和服务器，包括如下步骤：
步骤1：每个客户端使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
如图1所示，一个中央服务以及多个客户端，客户端与服务器之间通讯连接，由于分布式计算的本地数据通常与节点的位置有关，可以是独立同分布的也可以是非独立同分布的。客户端上本地神经网络的类型不受约束，譬如CNN。
首先，利用随机初始化的本地神经网络进行第一轮本地迭代计算，具体的，客户端使用本地私有数据和本地随机初始化参数进行本地模型更新，得到模型权重和损失值。其中模型权重实质上为模型的本地参数，即待优化的模型参数。
本实施例中，训练的目标函数如下：
Figure BDA0003020584870000061
其中，K为客户端个数，nk为客户端k的数据样本个数，n为数据样本总数，w是模型权重，
Figure BDA0003020584870000062
是客户端k的数据集。通常，fi(w)通过使用模型参数w对数据(xi,yi)的交叉熵损失进行计算得到损失值，即fi(w)＝L(xi,yi；w)，数据xi,yi对应为模型的输入数据以及输出数据，每个客户端通过梯度下降更新本地模型参数(模型权重w)：
Figure BDA0003020584870000063
其中，η为学习率，wk为客户端k的本地模型参数。
上述表述中，损失值由损失由交叉熵损失函数计算得到：
Figure BDA0003020584870000064
式中，yi是期望输出，
Figure BDA0003020584870000065
是实际输出。
步骤2：所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端。
其中，加权平均计算时，以客户端的数据样本个数与所有数据样本总个数的比值作为权重，再进行加权平均计算，因此，全局模型参数的更新公式如下：
Figure BDA0003020584870000066
其中，wt+1为第t+1轮全局模型参数，
Figure BDA0003020584870000067
是第t轮全局迭代中客户端k的模型权重，通过将第t轮每个客户端的模型参数加权平均更新全局模型的模型参数，即得到平均权重。
本实施例中根据每个客户端的损失值对客户端进行分组时，以每个客户端的损失值与所在组的中位数损失值的差的绝对值之和最小为分组依据。
其中，中位数损失值指代：将客户端上传的损失排序后的中位数损失值，若参与训练的客户端个数K为奇数则中位数损失值为排序后的下标(从0开始)为
Figure BDA0003020584870000068
的损失值，否则为下标为
Figure BDA0003020584870000069
和
Figure BDA00030205848700000610
的算数平均数。
中位数有这一性质：对于一个有限数列x1,x2,...,xn，中位数x使得f(x)＝|x1-x|+|x2-x|+...+|xn-x|即曼哈顿距离取得最小值。因此，分组时，若组数g是固定值，则将客户端上传的损失按照从小到大排列(记录每个损失是从哪个客户端来的)，然后将它们划分成g组，得到g个曼哈顿距离，求解使得g个曼哈顿距离之和的最小的最佳划分方式。若组数g在某一范围可以任意取值，则遍历g的取值范围，每次针对一个g值，将客户端上传的损失按照从小到大排列(记录每个损失是从哪个客户端来的)，然后将它们划分成g组，得到g个曼哈顿距离，求解使得g个曼哈顿距离之和的最小值，然后再从中选择值最小是对应的g值及其分组规律。
具体的划分过程如下：
把N个客户端上传的损失按照从小到大排列(记录每个损失从哪个客户端上传)，然后将它们划分成g组，得到g个曼哈顿距离，求解使得g个曼哈顿距离之和的最小的最佳划分方式，不同于已有方法。
对于1≤k≤i,显然有：
Figure BDA0003020584870000071
其中，
Figure BDA0003020584870000072
表示前i个损失分成了j组后，得到的j个曼哈顿距离之和的最小值，costki为从下标为k～i的客户端损失的曼哈顿距离。通过迭代计算最终可以得到将N个客户端分成g组的最佳划分方式。迭代计算过程如下：一共N个损失，按照从小到大的顺序存在一维数组中，将这些损失分成g组。迭代算法一共是三重for循环，第一个枚举i，范围从1～N，第二个枚举j，范围从1～G，第三个枚举k，范围从1～i，在最后一个for循环中按照上述公式不断更新
Figure BDA0003020584870000073
迭代算法的时间复杂度为O(GN2)。观察上述公式可以发现只要记录每组客户端的最后一次划分就能知道客户端的划分情况。每次全局迭代中都进行上述的调整，然后，每个客户端可以根据自身损失与组中的中位数损失比较来自适应调整本地计算的迭代次数，以此来减小联邦学习的本地计算复杂度。
步骤3：客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值。
其中，基于中位数损失值自适应调节本地迭代次数的过程如下：
首先，客户端利用平均权重更新所述本地神经网络模型后，利用本地数据迭代训练
Figure BDA0003020584870000074
次，E为预设的联邦平均算法中的本地训练迭代次数；
然后，判断训练后的损失值是否小于中位数损失值，若小于，则停止本地迭代训练；否则，根据当前轮数确定当前的本地迭代次数为：
Figure BDA0003020584870000081
r为当前轮数。其中，客户端每接收服务器下发的平均权重并进行迭代训练视为一轮训练过程。
其中，若迭代训练过程中，客户端的损失值小于中位数损失值或客户端的本地迭代次数达到
Figure BDA0003020584870000082
停止迭代训练。
需要说明的是，本实施例中，执行完步骤3后得到新的模型权重以及损失值后，若客户端的本地神经网络模型还未达到预设标准，则客户端继续上传模型权重以及损失值至服务器进行下一轮运算，直至客户端的本地神经网络满足预设标准。所述预设标准是可以根据实际需求进行设定的，譬如设定的最大轮数、或者设定的客户端的模型精度、或者设定的客户端的模型误差允许范围等等。
本实施例中，充分利用了客户端分组后，所在组的中位数损失值来调整迭代次数，以降低本地迭代次数，提高运算效率。
实施例2：
本实施例在实施例1的基础上，每一轮运算时，加入了知识蒸馏操作，提升了模型的性能，具体以下步骤：
步骤1：每个客户端使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
步骤2：所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；
步骤3：客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值；
本实施例中步骤1-步骤3的具体实现过程可以参照实施例1中的相关陈述。
步骤4：每个客户端利用公共数据集进行知识蒸馏完成模型权重更新，再将客户端的模型权重和损失值上传至服务器，返回步骤2进行循环更新；
其中，若客户端的模型满足预设标准，则停止循环更新。
本实施例中，在一个共享的小数据集上进行知识蒸馏操作，知识蒸馏的目的是让学生网络学到教师网络中的知识，将所有客户端模型作为教师网络，中央服务器的全局模型作为学生网络，整个过程主要分成两步：
(1)每个客户端在公共数据集上得到充分的训练后，将教师网络模型经过Softmax层的前一层的输出进行平均得到的AVGLOGITS指导学生网络模型的训练，即以AVGLOGITS做为蒸馏数据集的标签训练学生网络。AVGLOGITS计算方式如下：
Figure BDA0003020584870000091
其中m是客户端个数，fk是客户端本地模型，其输出是Softmax层的上一层的输出，将共享的数据作为模型间通信的基础，通过模型蒸馏来完成模型间知识共享，每个参与者fk通过共享在公共数据集
Figure BDA0003020584870000092
上计算的分类分数
Figure BDA0003020584870000093
来表示自己的学习到的知识。中央服务器收集这些分类分数并计算平均值
Figure BDA0003020584870000094
该值可以称为共识(Consensus)。然后各方在D0上继续训练使得fk的输出接近共识
Figure BDA0003020584870000095
(2)各客户端在自己的私有数据集
Figure BDA0003020584870000096
上对fk继续训练少量epoch，进行微调。
本实施例中，从每个客户端中取出5％～10％的数据或者是同类型数据或者由对抗生成网络生成的数据作为公共数据集，该公共数据集中数据更接近均匀分布，通过该数据进行知识蒸馏使不同分布客户端得到共识。
实施例3：
本实施例提供的一种联邦学习实现方法，应用于客户端时，包括如下步骤：
S1：使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
S2：接收服务器传送的平均权值以及客户端所在组的中位数损失值；
其中，所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组得到客户端所在组的中位数损失值；
S3：利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值，以及得到新的损失值；
其中，将更新后的模型权重和损失值上传至服务器进行循环更新，直至本地神经网络模型满足预设标准。
需要说明的是，本实施例中以客户端的角度来阐述联邦学习实现方法。其中，各个步骤的具体实现过程可以参照前述实施例1以及实施例2的内容，应当理解，本实施例中，在步骤S3之后优选进行知识蒸馏操作。
实施例4：
本实施例提供的一种联邦学习实现方法，应用于服务器时，包括如下步骤：
Step 1：接收客户端上传的模型权重和损失值；
其中，每个客户端与服务器连接，并使用本地神经网络模型以及利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；
Step2：将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；
Step3：接收客户端上传的更新后的模型权重和损失值，并返回Step2，进行循环更新，直至客户端的模型满足预设标准
其中，客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值，再上传给服务器。
需要说明的是，本实施例中以服务器的角度来阐述联邦学习实现方法。其中，各个步骤的具体实现过程可以参照前述实施例1以及实施例2的内容，应当理解，本实施例中，在步骤Step 3之后优选进行知识蒸馏操作。
实施例5：
对应的实施例1以及实施例2，本实施例提供一种基于所述联邦学习实现方法的系统，包括通讯连接客户端和服务器；
其中，客户端包括：本地收发模块和训练模块；
所述训练模块，用于使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；
所述本地收发模块，用于将模型权重和损失值上传至服务器；以及用于接收服务器发送的平均权值和所在组的中位数损失值；
所述训练模块，还用于利用平均权重更新所述本地神经网络模型，并基于中位数损失值自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值；
所述服务器包括：服务器收发模块、加权平均计算模块、分组模块；
所述服务器收发模块，用于接收客户端发送的模型权重和损失值；
所述加权平均计算模块，用于将所有客户端的模型权重进行加权平均计算得到平均权重；
所述分组模块，用于根据每个客户端的损失值对客户端进行分组；
所述服务器收发模块，还用于将平均权重和客户端所在组的中位数损失值发送给对应客户端。
在有些实现方式中，对应于实施例2，客户端上包括知识蒸馏模块，所述知识蒸馏模块，用于利用公共数据集进行知识蒸馏完成模型权重更新。
需要说明的是，应当理解，各个模块单元的实现过程请参照对应方法的阐述，在此不再赘述。本发明各个实施例中的功能单元模块可以集中在一个处理单元中，也可以是各个单元模块单独物理存在，也可以是两个或两个以上的单元模块集成在一个单元模块中，可以采用硬件或软件的形式来实现。
实施例6：
本实施例提供的一种终端设备，所述终端设备为客户端时，其存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：
S1：使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
S2：接收服务器传送的平均权值以及客户端所在组的中位数损失值；
其中，所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组得到客户端所在组的中位数损失值；
S3：利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值，以及得到新的损失值；
其中，将更新后的模型权重和损失值上传至服务器进行循环更新，直至本地神经网络模型满足预设标准。
应当理解，在一些实现方式中，在步骤S3之后优选进行知识蒸馏操作。其中，各个步骤的具体实现过程请参照前述方法的陈述。
此外，若本实施例提供的一种终端设备，所述终端设备为服务器时，其包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：
Step1：接收客户端上传的模型权重和损失值；
其中，每个客户端与服务器连接，并使用本地神经网络模型以及利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；
Step2：将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；
Step3：接收客户端上传的更新后的模型权重和损失值，并返回Step2，进行循环更新，直至客户端的模型满足预设标准
其中，客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值，再上传给服务器。
应当理解，在一些实现方式中，在步骤Step3之后优选进行知识蒸馏操作。其中，各个步骤的具体实现过程请参照前述方法的陈述。
实施例7：
本发明实施例提供一种可读存储介质，存储了计算机程序，所述计算机程序被处理器调用以执行：实施例1-实施例4中任一所述的联邦学习的实现方法。
应用实例：
本发明将客户端的本地私有数据以MNIST数据为例，存在两种数据分布设置：独立同分布设置下，每个客户端分别有5000张不重叠的随机从总体随机采样的图像。非独立同分布设置下，通过迪利克雷分布(Dirichlet Distributions)创建不重叠的客户端数据,α控制非独立同分布程度，α＝100时说明所有客户端本地数据分布相同，α越小则客户端越有可能只有随机选择的一类数据。本地神经模型选择ResNet-18进行实际应用。
本发明所述方法应用广泛，譬如，当所述方法应用于求解不同医院之间的数据孤岛问题时，每个客户端可以视为一个独立的医院。综上所述，本发明中一个客户端的只是可以其他客户端所理解，而无需显式地共享其私有数据或模型结构，通过知识蒸馏进行模型融合，进一步发掘各个参与方的数据价值，提高模型训练的稳定性、收敛性和分类性能。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
需要强调的是，本发明所述的实例是说明性的，而不是限定性的，因此本发明不限于具体实施方式中所述的实例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，不脱离本发明宗旨和范围的，不论是修改还是替换，同样属于本发明的保护范围。

Claims (10)

1.一种联邦学习实现方法，其特征在于：包括如下步骤：
步骤1：每个客户端使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
其中，各个客户端与服务器通讯连接，每个客户端使用同一类本地神经网络；
步骤2：所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；
步骤3：客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值并得到新的损失值；
其中，客户端将更新后的模型权重和损失值上传至服务器进行循环更新，直至客户端的模型满足预设标准。
2.根据权利要求1所述的方法，其特征在于：步骤2中根据每个客户端的损失值对客户端进行分组的分组依据如下：
以每个客户端的损失值与所在组的中位数损失值的差的绝对值之和最小。
3.根据权利要求2所述的方法，其特征在于：依据所述分组依据对客户端进行分组的过程为：将N个客户端上传的损失按照从小到大排列，并按照如下迭代过程将N个客户端划分为g组得到g个曼哈顿距离，且所述g个曼哈顿距离之和最小，其中，所述迭代过程如下：
A：设定参数i表示损失个数，对应取值范围为1-N；其中，在其取值范围内依次遍历取值；
B：设定参数j表示分组组数，对应取值范围为1-G；其中，在其取值范围内依次遍历取值；
C：在i值与j值确定下，设定参数k在[1,i]的范围内依次遍历取值，并按照如下公式计算得到
Figure FDA0003020584860000011
Figure FDA0003020584860000012
式中，
Figure FDA0003020584860000013
表示前i个损失分成了j组后，得到的j个曼哈顿距离之和的最小值，
Figure FDA0003020584860000014
表示前k-1个损失分成了j-1组后，得到的j-1个曼哈顿距离之和的最小值；costki为从下标为k～i的客户端作为第j组时损失的曼哈顿距离；
其中，参数k遍历计算完成后，返回步骤B，在参数j的取值范围更新参数j，再执行步骤C；待参数j遍历完成后，再返回步骤A，在参数i的取值范围更新参数i，再执行步骤B与步骤C，实现循环迭代，直至将N个损失化为g组得到的g个曼哈顿距离之和最小，g小于或等于G。
4.根据权利要求1所述的方法，其特征在于：步骤3中基于中位数损失自适应调节本地迭代次数的过程如下：
首先，客户端利用平均权重更新所述本地神经网络模型后，利用本地数据迭代训练
Figure FDA0003020584860000021
次，E为预设的联邦平均算法中的本地训练迭代次数；
然后，判断训练后的损失值是否小于中位数损失值，若小于，则停止本地迭代训练；否则，根据当前轮数确定当前的本地迭代次数为：
Figure FDA0003020584860000022
r为当前轮数；
其中，若迭代训练过程中，客户端的损失值小于中位数损失值或客户端的本地迭代次数达到
Figure FDA0003020584860000023
停止迭代训练。
5.根据权利要求1所述的方法，其特征在于：步骤3之后，还执行：
步骤4：每个客户端利用公共数据集进行知识蒸馏完成模型权重更新，再将客户端的模型权重和损失值上传至服务器，返回步骤2进行循环更新；
其中，若客户端的模型满足预设标准，则停止循环更新。
6.一种联邦学习实现方法，应用于客户端时，其特征在于，包括如下步骤：
S1：使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值，并上传至服务器；
S2：接收服务器传送的平均权值以及客户端所在组的中位数损失值；
其中，所述服务器将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组得到客户端所在组的中位数损失值；
S3：利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值，以及得到新的损失值；
其中，将更新后的模型权重和损失值上传至服务器进行循环更新，直至本地神经网络模型满足预设标准。
7.一种联邦学习实现方法，应用于服务器时，其特征在于，包括如下步骤：
Step1：接收客户端上传的模型权重和损失值；
其中，每个客户端与服务器连接，并使用本地神经网络模型以及利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；
Step2：将所有客户端的模型权重进行加权平均计算得到平均权重，以及根据每个客户端的损失值对客户端进行分组，并将平均权值以及客户端所在组的中位数损失值发送给对应客户端；
Step3：接收客户端上传的更新后的模型权重和损失值，并返回Step2，进行循环更新，直至客户端的模型满足预设标准
其中，客户端利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值，再上传给服务器。
8.一种基于权利要求1所述的系统，其特征在于：包括通讯连接客户端和服务器；
其中，客户端包括：本地收发模块和训练模块；
所述训练模块，用于使用本地神经网络模型并利用本地数据进行第一轮本地迭代计算，得到模型权重和损失值；
所述本地收发模块，用于将模型权重和损失值上传至服务器；以及用于接收服务器发送的平均权值和所在组的中位数损失值；
所述训练模块，还用于利用平均权重更新所述本地神经网络模型，并基于中位数损失自适应调节本地迭代次数，再基于本地数据进行迭代训练更新模型权值以及得到新的损失值；
所述服务器包括：服务器收发模块、加权平均计算模块、分组模块；
所述服务器收发模块，用于接收客户端发送的模型权重和损失值；
所述加权平均计算模块，用于将所有客户端的模型权重进行加权平均计算得到平均权重；
所述分组模块，用于根据每个客户端的损失值对客户端进行分组；
所述服务器收发模块，还用于将平均权重和客户端所在组的中位数损失值发送给对应客户端。
9.一种终端设备，所述终端设备为客户端或服务器，其特征在于，其包括处理器和存储器，所述存储器存储了计算机程序，所述处理器调用所述计算机程序以执行：权利要求6所述的联邦学习实现方法或权利要求7所述的联邦学习实现方法的步骤。
10.一种可读存储介质，其特征在于：存储了计算机程序，所述计算机程序被处理器调用以执行：权利要求1或权利要求6或权利要求7所述的联邦学习实现方法的步骤。
CN202110401739.3A 2021-04-14 2021-04-14 一种联邦学习实现方法、系统、终端设备及可读存储介质 Active CN113052334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110401739.3A CN113052334B (zh) 2021-04-14 2021-04-14 一种联邦学习实现方法、系统、终端设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110401739.3A CN113052334B (zh) 2021-04-14 2021-04-14 一种联邦学习实现方法、系统、终端设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113052334A true CN113052334A (zh) 2021-06-29
CN113052334B CN113052334B (zh) 2023-09-29

Family

ID=76519732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110401739.3A Active CN113052334B (zh) 2021-04-14 2021-04-14 一种联邦学习实现方法、系统、终端设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113052334B (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537518A (zh) * 2021-07-19 2021-10-22 哈尔滨工业大学 基于联邦学习的模型训练方法及装置、设备、存储介质
CN113657614A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN113673711A (zh) * 2021-08-25 2021-11-19 深圳前海微众银行股份有限公司 多智能体模型的训练方法、装置、电子设备及存储介质
CN113705610A (zh) * 2021-07-26 2021-11-26 广州大学 一种基于联邦学习的异构模型聚合方法和系统
CN113723617A (zh) * 2021-08-26 2021-11-30 清华大学 二阶段联邦学习方法、系统
CN113724219A (zh) * 2021-08-27 2021-11-30 重庆大学 基于卷积神经网络的建筑物表面病害检测方法及系统
CN113919508A (zh) * 2021-10-15 2022-01-11 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
CN114490035A (zh) * 2021-12-28 2022-05-13 海信集团控股股份有限公司 第一服务器及家庭慢性病管理方法
CN114741611A (zh) * 2022-06-08 2022-07-12 杭州金智塔科技有限公司 联邦推荐模型训练方法以及系统
WO2023029944A1 (zh) * 2021-08-30 2023-03-09 华为云计算技术有限公司 联邦学习的方法和装置
WO2023050754A1 (zh) * 2021-09-30 2023-04-06 清华大学 隐私数据集的模型训练方法和装置
WO2023071106A1 (zh) * 2021-10-26 2023-05-04 平安科技（深圳）有限公司 联邦学习管理方法、装置、计算机设备及存储介质
CN117557870A (zh) * 2024-01-08 2024-02-13 之江实验室 基于联邦学习客户端选择的分类模型训练方法及系统
CN117556253A (zh) * 2023-11-14 2024-02-13 中国人民大学 一种联邦学习方法及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
US20190258925A1 (en) * 2018-02-20 2019-08-22 Adobe Inc. Performing attribute-aware based tasks via an attention-controlled neural network
CN111090764A (zh) * 2019-12-20 2020-05-01 中南大学 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN111444026A (zh) * 2020-04-20 2020-07-24 北京工业大学 一种云环境下的深度学习训练资源配置预测方法
CN111865815A (zh) * 2020-09-24 2020-10-30 中国人民解放军国防科技大学 一种基于联邦学习的流量分类方法及系统
CN112101579A (zh) * 2020-11-18 2020-12-18 杭州趣链科技有限公司 基于联邦学习的机器学习方法、电子装置和存储介质
CN112288097A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、计算机设备及存储介质
CN112365006A (zh) * 2021-01-12 2021-02-12 深圳致星科技有限公司 用于联邦学习的并行训练方法及系统
CN112394974A (zh) * 2020-11-23 2021-02-23 平安科技（深圳）有限公司 代码变更的注释生成方法、装置、电子设备及存储介质
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
US20190258925A1 (en) * 2018-02-20 2019-08-22 Adobe Inc. Performing attribute-aware based tasks via an attention-controlled neural network
CN111090764A (zh) * 2019-12-20 2020-05-01 中南大学 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN111444026A (zh) * 2020-04-20 2020-07-24 北京工业大学 一种云环境下的深度学习训练资源配置预测方法
CN111865815A (zh) * 2020-09-24 2020-10-30 中国人民解放军国防科技大学 一种基于联邦学习的流量分类方法及系统
CN112288097A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、计算机设备及存储介质
CN112101579A (zh) * 2020-11-18 2020-12-18 杭州趣链科技有限公司 基于联邦学习的机器学习方法、电子装置和存储介质
CN112394974A (zh) * 2020-11-23 2021-02-23 平安科技（深圳）有限公司 代码变更的注释生成方法、装置、电子设备及存储介质
CN112532451A (zh) * 2020-11-30 2021-03-19 安徽工业大学 基于异步通信的分层联邦学习方法、装置、终端设备及存储介质
CN112488322A (zh) * 2020-12-15 2021-03-12 杭州电子科技大学 一种基于数据特征感知聚合的联邦学习模型训练方法
CN112365006A (zh) * 2021-01-12 2021-02-12 深圳致星科技有限公司 用于联邦学习的并行训练方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PENG XIAO等: "Averaging Is Probably Not the Optimum Way of Aggregating Parameters in Federated Learning", ENTROPY, vol. 22, no. 3, pages 1 - 11 *
谭作文等: "机器学习隐私保护研究综述", 软件学报, vol. 31, no. 7, pages 2127 - 2156 *
郝欣宇: "移动终端下基于联合学习的车牌识别系统", 中国优秀硕士学位论文全文数据库 工程科技II辑, no. 2, pages 034 - 687 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537518B (zh) * 2021-07-19 2022-09-30 哈尔滨工业大学 基于联邦学习的模型训练方法及装置、设备、存储介质
CN113537518A (zh) * 2021-07-19 2021-10-22 哈尔滨工业大学 基于联邦学习的模型训练方法及装置、设备、存储介质
CN113705610A (zh) * 2021-07-26 2021-11-26 广州大学 一种基于联邦学习的异构模型聚合方法和系统
CN113705610B (zh) * 2021-07-26 2024-05-24 广州大学 一种基于联邦学习的异构模型聚合方法和系统
CN113657607B (zh) * 2021-08-05 2024-03-22 浙江大学 一种面向联邦学习的连续学习方法
CN113657607A (zh) * 2021-08-05 2021-11-16 浙江大学 一种面向联邦学习的连续学习方法
CN113673711A (zh) * 2021-08-25 2021-11-19 深圳前海微众银行股份有限公司 多智能体模型的训练方法、装置、电子设备及存储介质
CN113723617A (zh) * 2021-08-26 2021-11-30 清华大学 二阶段联邦学习方法、系统
CN113724219A (zh) * 2021-08-27 2021-11-30 重庆大学 基于卷积神经网络的建筑物表面病害检测方法及系统
WO2023029944A1 (zh) * 2021-08-30 2023-03-09 华为云计算技术有限公司 联邦学习的方法和装置
CN113657614B (zh) * 2021-09-02 2024-03-01 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113657614A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
WO2023050754A1 (zh) * 2021-09-30 2023-04-06 清华大学 隐私数据集的模型训练方法和装置
CN113919508B (zh) * 2021-10-15 2022-07-19 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
CN113919508A (zh) * 2021-10-15 2022-01-11 河南工业大学 一种基于移动式服务器的联邦学习系统及方法
WO2023071106A1 (zh) * 2021-10-26 2023-05-04 平安科技（深圳）有限公司 联邦学习管理方法、装置、计算机设备及存储介质
CN114490035A (zh) * 2021-12-28 2022-05-13 海信集团控股股份有限公司 第一服务器及家庭慢性病管理方法
CN114490035B (zh) * 2021-12-28 2024-08-20 海信集团控股股份有限公司 第一服务器及家庭慢性病管理方法
CN114741611A (zh) * 2022-06-08 2022-07-12 杭州金智塔科技有限公司 联邦推荐模型训练方法以及系统
CN117556253A (zh) * 2023-11-14 2024-02-13 中国人民大学 一种联邦学习方法及介质
CN117557870A (zh) * 2024-01-08 2024-02-13 之江实验室 基于联邦学习客户端选择的分类模型训练方法及系统
CN117557870B (zh) * 2024-01-08 2024-04-23 之江实验室 基于联邦学习客户端选择的分类模型训练方法及系统

Also Published As

Publication number Publication date
CN113052334B (zh) 2023-09-29

Similar Documents

Publication Publication Date Title
CN113052334A (zh) 一种联邦学习实现方法、系统、终端设备及可读存储介质
CN109948029B (zh) 基于神经网络自适应的深度哈希图像搜索方法
CN111030861B (zh) 一种边缘计算分布式模型训练方法、终端和网络侧设备
CN112700060B (zh) 站所终端负荷预测方法和预测装置
CN110661727B (zh) 数据传输优化方法、装置、计算机设备和存储介质
CN113518007B (zh) 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN102075352A (zh) 一种网络用户行为预测的方法和装置
CN114330125A (zh) 基于知识蒸馏的联合学习训练方法、装置、设备及介质
CN115344883A (zh) 一种用于处理不平衡数据的个性化联邦学习方法和装置
CN110858973A (zh) 小区网络流量预测方法及装置
CN113206887A (zh) 边缘计算下针对数据与设备异构性加速联邦学习的方法
CN117236421B (zh) 一种基于联邦知识蒸馏的大模型训练方法
CN109858798B (zh) 关联改造措施与电压指标的电网投资决策建模方法及装置
CN111158912A (zh) 云雾协同计算环境下一种基于深度学习的任务卸载决策方法
CN108280207A (zh) 一种构造完美哈希的方法
CN115022231B (zh) 一种基于深度强化学习的最优路径规划的方法和系统
CN110852435A (zh) 一种基于神经进化计算模型
CN117391858A (zh) 一种基于图神经网络的归纳式区块链账户分配方法及装置
CN117459570A (zh) 联邦学习中基于强化学习的客户端选择和自适应模型聚合方法及系统
CN116912942A (zh) 一种基于联邦学习的人类行为识别应用的模型训练方法
CN111506833A (zh) 基于单源SimRank精确解的好友推荐方法
CN116702598A (zh) 建设成效预测模型的训练方法、装置、设备及存储介质
Zhang et al. Optimizing federated edge learning on Non-IID data via neural architecture search
CN113743012B (zh) 一种多用户场景下的云-边缘协同模式任务卸载优化方法
CN116306915A (zh) 一种面向大规模物联网协同智能的无线联邦学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant