CN116227623A - 联邦学习方法、装置、计算机设备及存储介质 - Google Patents

联邦学习方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN116227623A
CN116227623A CN202310107125.3A CN202310107125A CN116227623A CN 116227623 A CN116227623 A CN 116227623A CN 202310107125 A CN202310107125 A CN 202310107125A CN 116227623 A CN116227623 A CN 116227623A
Authority
CN
China
Prior art keywords
client
model
parameters
local model
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310107125.3A
Other languages
English (en)
Inventor
陈永红
谢翀
兰鹏
罗伟杰
陈柯树
赵豫陕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Original Assignee
Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd filed Critical Shenzhen Qianhai Huanrong Lianyi Information Technology Service Co Ltd
Priority to CN202310107125.3A priority Critical patent/CN116227623A/zh
Publication of CN116227623A publication Critical patent/CN116227623A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开一种联邦学习方法、装置、计算机设备及存储介质，包括：获取服务端的全局模型及所述全局模型的初始化参数；将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；将所述客户端的本地模型参数发送至服务端，获取服务端聚合后生成的下一迭代轮次的初始化参数；将所述下一迭代轮次的初始化参数发送至客户端，作为下一迭代轮次阶段的初始化参数。通过配置客户端模型不同迭代轮次阶段的初始化参数，提高模型的准确性。

Description

联邦学习方法、装置、计算机设备及存储介质
技术领域
本发明涉及机器学习领域，特别涉及一种联邦学习方法、装置及计算机设备、计算机存储介质。
背景技术
在联邦学习任务中，现有的方法是由服务端收集所有客户端的参数并处理后再分发给客户端，此方法忽略了各客户端的差异性，无法解决各客户端的个性化需求；其次，各客户端的本地模型的更新依赖于所有参与联邦训练的其他客户端，导致出现参与联邦训练的客户端的迭代效率低，拓展难度大等问题。
发明内容
本发明的目的在于提供一种联邦学习方法、装置及计算机设备、计算机存储介质，以至少解决目前联邦训练的迭代效率低、拓展难度大的问题。
为解决上述技术问题，本发明提供一种联邦学习方法，包括：
获取服务端的全局模型及所述全局模型的初始化参数；
将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；
在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；
将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；
将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数。
可选的，所述通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型，包括：
计算本地模型训练后的交叉熵损失；
对所述交叉熵损失进行全面模型蒸馏，以平衡本地模型的全局特征与局部特征；
根据梯度下降算法确定模型蒸馏后的参数作为本地模型参数，并根据所述本地模型参数确定客户端的本地模型。
可选的，所述获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数，包括：
获取各个客户端的影响力参数；
将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数；
将所述平衡参数进行聚合后生成的下一迭代轮次的初始化参数。
可选的，所述获取各个客户端的影响力参数，包括：
获取各个客户端的训练数据的数据特征；
计算各个所述数据特征的相似度；
根据所述数据特征及所述相似度确定各个所述客户端的影响力参数。
可选地，所述得到客户端的本地模型之后还包括：
将所述本地模型应用至当前迭代轮次阶段的客户端的实际业务中。
可选的，所述将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数之后，还包括：
获取客户端的本地模型；
获取客户端的业务需求，根据所述业务需求匹配本地模型与全局模型的权重；
根据所述权重调整所述下一迭代轮次阶段的初始化参数，并执行本地模型的下一迭代轮次阶段的训练。
可选的，所述将所述客户端的本地模型参数发送至服务端之后，还包括：
当检测到新接入的客户端时，获取新接入的客户端的类型；
根据所述类型匹配目标客户端，所述目标客户端为已参加联邦训练的客户端；
获取目标客户端的本地模型参数；
将所述目标客户端的本地模型参数发送至所述新接入的客户端，以根据所述本地模型参数确定新接入的客户端的初始本地模型。
为解决上述技术问题，本发明实施例还提供一种联邦学习装置，包括：
全局配置模块，用于获取服务端的全局模型及所述全局模型的初始化参数；
参数发送模块，用于将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；
模型训练模块，用于在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；
联邦聚合模块，用于将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；
参数更新模块，用于将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数。
可选地，所述模型训练模块还用于：
计算本地模型训练后的交叉熵损失；
对所述交叉熵损失进行全面模型蒸馏，以平衡本地模型的全局特征与局部特征；
根据梯度下降算法确定模型蒸馏后的参数作为本地模型参数，并根据所述本地模型参数确定客户端的本地模型。
可选地，所述联邦聚合模块还用于：
获取各个客户端的影响力参数；
将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数；
将所述平衡参数进行聚合后生成的下一迭代轮次的初始化参数。
可选地，所述联邦聚合模块还用于：
获取各个客户端的训练数据的数据特征；
计算各个所述数据特征的相似度；
根据所述数据特征及所述相似度确定各个所述客户端的影响力参数。
可选地，还包括模型应用模块，用于；
将所述本地模型应用至当前迭代轮次阶段的客户端的实际业务中。
可选地，参数更新模块还用于；
获取客户端的本地模型；
获取客户端的业务需求，根据所述业务需求匹配本地模型与全局模型的权重；
根据所述权重调整所述下一迭代轮次阶段的初始化参数，并执行本地模型的下一迭代轮次阶段的训练。
可选地，还包括模型接入模块，用于：
当检测到新接入的客户端时，获取新接入的客户端的类型；
根据所述类型匹配目标客户端，所述目标客户端为已参加联邦训练的客户端；
获取目标客户端的本地模型参数；
将所述目标客户端的本地模型参数发送至所述新接入的客户端，以根据所述本地模型参数确定新接入的客户端的初始本地模型。
为解决上述技术问题本发明实施例还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述所述联邦学习方法的步骤。
为解决上述技术问题本发明实施例还提供一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述所述联邦学习方法的步骤。
本发明创造实施例的有益效果是：通过获取服务端的全局模型及所述全局模型的初始化参数；将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数，保证了每一个迭代轮次阶段各个客户端的参与，而每一个迭代轮次阶段无需客户端同步进行模型训练，提高了联邦训练的效率，不同迭代轮次阶段的初始化参数由上一迭代轮次阶段的各个客户端的本地模型参数进行聚合得到，保证了模型的全局性特征与各个客户端的个性化特征，提高各个客户端的本地模型的准确性。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个具体实施例的联邦学习方法的基本流程示意图；
图2为本申请一个具体实施例的联邦学习装置的基本结构示意图；
图3为本申请一个具体实施例的计算机设备的基本结构框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本技术领域技术人员可以理解，这里所使用的“终端”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
本申请所称的“服务器”、“客户端”、“服务节点”等名称所指向的硬件，本质上是具备个人计算机等效能力的电子设备，为具有中央处理器(包括运算器和控制器)、存储器、输入设备以及输出设备等冯诺依曼原理所揭示的必要构件的硬件装置，计算机程序存储于其存储器中，中央处理器将存储在外存中的程序调入内存中运行，执行程序中的指令，与输入输出设备交互，借此完成特定的功能。
需要指出的是，本申请所称的“服务器”这一概念，同理也可扩展到适用于服务器机群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
本申请的一个或数个技术特征，除非明文指定，既可部署于服务器实施而由客户端远程调用获取服务器提供的在线服务接口来实施访问，也可直接部署并运行于客户端来实施访问。
本申请中所引用或可能引用到的神经网络模型，除非明文指定，既可部署于远程服务器且在客户端实施远程调用，也可部署于设备能力胜任的客户端直接调用，某些实施例中，当其运行于客户端时，其相应的智能可通过迁移学习来获得，以便降低对客户端硬件运行资源的要求，避免过度占用客户端硬件运行资源。
本申请所涉及的各种数据，除非明文指定，既可远程存储于服务器，也可存储于本地终端设备，只要其适于被本申请的技术方案所调用即可。
本领域技术人员对此应当知晓：本申请的各种方法，虽然基于相同的概念而进行描述而使其彼此间呈现共通性，但是，除非特别说明，否则这些方法都是可以独立执行的。同理，对于本申请所揭示的各个实施例而言，均基于同一发明构思而提出，因此，对于相同表述的概念，以及尽管概念表述不同但仅是为了方便而适当变换的概念，应被等同理解。
本申请即将揭示的各个实施例，除非明文指出彼此之间的相互排斥关系，否则，各个实施例所涉的相关技术特征可以交叉结合而灵活构造出新的实施例，只要这种结合不背离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。对此变通，本领域技术人员应当知晓。
请参阅图1，图1为本实施例联邦学习方法的基本流程示意图。
如图1所示，包括：
S1100、获取服务端的全局模型及所述全局模型的初始化参数；
本实施例应用于联邦学习的场景，联邦学习也可称为协同学习、联邦训练，联邦学习通过联合多个客户端训练一个统一的模型，可以在产生数据的设备上进行大规模的训练，并且这些敏感数据保留在数据产生的设备上，也即是通过设备上的客户端进行本地收集收据再在本地客户端上进行本地模型训练，而服务端不访问实际的业务数据。在本实施例中，模型训练大致由两部分组成，第一部分是服务端的参数聚合与广播，以及初始模型的构建，第二部分是客户端的本地模型训练以及参数上传汇合。首先，获取服务端构建的全局模型，以及该全局模型的初始化参数，即在服务端上统一构建一个模型，该模型定义为全局模型，全局模型中配置模型的各个参数及对应的初始值，将各个参数及对应的初始值定义为初始化参数，该全局模型由多个客户端进行协同训练。
需要指出的是，本实施例的初始化参数可以是一个或多个参数，在一种实施方式中，将每一个参数及参数的初始值独立配置，将各个参数及参数的初始值的聚合定义为初始化参数；在另一种实施方式中，将多个参数以数组的形式进行统一配置，再分别赋予数组中各个参数对应的初始值，将其定义为初始化参数。
需要指出的是，在一个全局模型第一次进行训练时，从服务端获取的是最初的全局模型；而如果该全局模型经过若干阶段训练后，记录每一次训练后的模型，从服务端可以获取不同阶段的全局模型。
需要指出的是，上述所说的服务端也可以称为服务中心、中心端，中心节点、中央服务器等。
需要指出的是，上述所说的客户端也可以称为Client，也可以称为节点，数据源等。
S1200、将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；
在获取服务端的全局模型及所述全局模型的初始化参数之后，将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端，当客户端确定参与联邦训练时，在获取了服务端的全局模型及所述全局模型的初始化参数之后便通过服务端与客户端的连接，将所述全局模型与所述初始化参数发送到各个参与联邦训练的客户端，客户端的数量至少一个，优选的客户端的数量大于或等于两个。
需要指出的是，在客户端上，可以通过配置主动确认信息确认客户端是否要加入参与联邦训练，当客户端确认参与联邦训练后，才将所述全局模型与所述初始化参数发送到对应的客户端。
需要指出的是，可以通过设定特定的时间，将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；也可以按照各个客户端设定的时间，将全局模型发送至客户端，或将初始化参数发送至客户端。
S1300、在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；
在将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端之后，如果客户端第一次接收到全局模型以及初始化参数，则开始第一轮次的模型迭代。在客户端的当前迭代轮次阶段，以及在客户端的每一次迭代轮次阶段，都需要首先获取客户端的训练数据，所述训练数据与该模型所需要的数据正相关，可以在获取数据之后将数据进行预设的过滤，得到与模型训练正相关的数据作为训练数据，然后根据所述训练数据所述述全局模型与初始化参数进行若干次训练，在一个客户端上，每一个迭代轮次阶段都需要进行若干次的模型训练任务，然后计算每一次训练后的模型的交叉熵损失，以及将训练后的模型的交叉熵损失进行模型蒸馏，从而确定若干次训练后得到的模型参数，将每一个客户端上训练得到的模型参数定义为本地模型参数，以及通过所述本地模型参数应用至所述全局模型，得到经过若干次训练后的客户端的模型，定义为客户端的本地模型。
需要指出的是，在每一次迭代轮次阶段，可以获取当前迭代轮次阶段获取到的客户端数据作为训练数据，也可以获取当前迭代轮次阶段获取到的客户端数据以及历史客户端数据作为训练数据，所述历史客户端数据可以是上一迭代轮次获取到的客户端数据，也可以是上若干迭代轮次获取到的客户端数据。
需要指出的是，每一个客户端的训练次数可以是相同的，例如在一个迭代轮次阶段中，将每一个客户端的训练次数进行统一预配置为10次；每一个客户端的训练次数也可以是不同的，当不同客户端所获得的训练数据的数据量不同时，根据数据量配置当前客户端的训练次数，例如客户端的数据量越大，则配置该客户端的训练次数越高。
S1400、将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；
在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型后，将所述客户端的本地模型参数发送至服务端，每一个参与联邦训练的客户端，均将其在本地训练得到的本地模型的本地模型参数发送至服务端进行汇集，而服务端根据各个不同的客户端训练同一个全局模型而得到的不同模型参数基于预设算法进行聚合，生成聚合后的模型参数，在服务端上聚合后的模型参数便是考虑了各个不同的客户端上的本地数据所训练得到的模型，当服务端上对客户端的本地模型参数进行聚合后，获取服务端聚合后生成的参与联邦训练的各个客户端下一迭代轮次的初始化参数。
需要指出的是，服务端对若干个所述客户端的本地模型参数进行聚合的方式可以是平均聚合法，即对各个客户端所训练得到的参数进行平均值计算；服务端对若干个所述客户端的本地模型参数进行聚合的方式可以是权重聚合法，即对各个客户端所训练得到的参数进行加权平均值计算，加权平均值计算的加权值可以是各个客户端的训练数据量或者各个客户端的重要程度。
S1500、将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数。
(1)在将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数之后，将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数，在一种实施方式中，在联邦学习初始阶段，服务端端将全局模型发送给所有客户端：
Figure BDA0004076514540000101
其中
Figure BDA0004076514540000102
为第i个客户端在第1轮时候的初始化参数，/>
Figure BDA0004076514540000103
为全局模型的初始化参数，常数C为客户端的数量。相应的在第t轮迭代时，本地客户端的初始化参数更新如下：
Figure BDA0004076514540000104
即使用t-1轮的全局模型作为新一轮本地模型迭代的初始化参数。在当前迭代轮次阶段各个客户端完成训练后，由服务端对各个客户端当前迭代轮次阶段的本地模型参数进行聚合后生成下一迭代轮次阶段的初始化参数，保证了每一个迭代轮次阶段各个客户端的参与，而每一个迭代轮次阶段无需客户端同步进行模型训练，提高了联邦训练的效率，不同迭代轮次阶段的初始化参数由上一迭代轮次阶段的各个客户端的本地模型参数进行聚合得到，保证了模型的全局性特征与各个客户端的个性化特征，提高各个客户端的本地模型的准确性。
上述实施方式中，通过获取服务端的全局模型及所述全局模型的初始化参数；将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数，保证了每一个迭代轮次阶段各个客户端的参与，而每一个迭代轮次阶段无需客户端同步进行模型训练，提高了联邦训练的效率，不同迭代轮次阶段的初始化参数由上一迭代轮次阶段的各个客户端的本地模型参数进行聚合得到，保证了模型的全局性特征与各个客户端的个性化特征，提高各个客户端的本地模型的准确性。
在一些实施方式中，S1300中通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型，包括：
S1311、计算本地模型训练后的交叉熵损失；
在一种实施方式中，在通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型时，首先计算本地模型训练后的交叉熵损失，由于客户端对本地模型进行训练需要经过若干次的训练，定义若干次为M次，客户端本地会进行M次训练，第M次训练时，本地模型的交叉熵损失如下：
Figure BDA0004076514540000111
其中Hcross表示交叉熵的计算，
Figure BDA0004076514540000112
表示第i个客户端第t轮更新本地第m次训练的本地模型参数，/>
Figure BDA0004076514540000113
表示利用该本地模型参数计算出来的本地第j个样本的预测值，yj表示本地第j个样本的真实标签；Lcross表示第t轮更新本地第m次训练的交叉熵损失。
S1312、对所述交叉熵损失进行全面模型蒸馏，以平衡本地模型的全局特征与局部特征；
在计算本地模型训练后的交叉熵损失之后，如果仅用初始全局模型进行本地更新将使得训练后的全局模型更加偏向于本地特征，而全局信息的保留将所剩无几，使得模型的泛化能力大大降低，因此需要对所述交叉熵损失进行全面模型蒸馏，以平衡本地模型的全局特征与局部特征，模型蒸馏的损失函数如下：
Figure BDA0004076514540000114
经过全面模型蒸馏后，得到第i个客户端第t轮更新本地第m次迭代的交叉熵损失为：
L＝Lcross+αLi-g
其中α为模型蒸馏损失函数的权重值。
S1313、根据梯度下降算法确定模型蒸馏后的参数作为本地模型参数，并根据所述本地模型参数确定客户端的本地模型。
在对所述交叉熵损失进行全面模型蒸馏，以平衡本地模型的全局特征与局部特征，得到第i个客户端第t轮更新本地第m次迭代的交叉熵损失后，根据梯度下降算法确定模型蒸馏后的参数作为本地模型参数，并根据所述本地模型参数确定客户端的本地模型，梯度下降算法确定模型蒸馏后的参数作为本地模型参数的方式为：
Figure BDA0004076514540000115
其中GRD为梯度下降方法，γ为更新的步长。经过M次本地更新后，模型最终的参数为
Figure BDA0004076514540000116
当确定了本地模型经过全面蒸馏后的参数后，根据全面蒸馏后的参数应用至本地模型，从而确定本地模型。
本实施方式通过计算本地模型训练后的交叉熵损失然后再进行全面模型蒸馏，平衡本地模型的全局特征与局部特征，再根据梯度下降算法确定模型蒸馏后的参数作为本地模型参数，提高本地模型训练的准确性，以及本地模型对全局特征以及本地特征的平衡性。
在一些实施方式中，S1400中获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数，包括：
S1411、获取各个客户端的影响力参数；
在获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数的过程中，首先获取各个客户端的影响力参数，所述影响力参数可以是客户端的训练数据的容量，当训练数据的容量越大，其客户端的影响力越大，所述客户端的影响力还可以是客户端的重要程度，每个客户端都预先配置了不同的重要程度，不同重要的客户端对于模型训练的结果的影响力是不同的。
S1412、将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数；
在获取各个客户端的影响力参数之后，将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数，将每一个客户端训练得到的本地模型参数先跟各个客户端的影响力参数进行聚合，得到各个客户端的平衡参数，可以有效地平衡不同客户端对全局模型训练的影响力。
S1413、将所述平衡参数进行聚合后生成的下一迭代轮次的初始化参数。
在将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数之后，服务端将所述平衡参数进行聚合后，然后生成的下一迭代轮次的初始化参数，即考虑了各个客户端的影响力参数，又将各个客户端的本地模型参数进行聚合，从而在服务端能够有效地平衡各个参与联邦训练的客户端的影响，避免全局模型向某一个客户端进行倾斜，从而提高全局模型的准确性，同样可以提高本地模型的准确性。
本实施方式通过获取各个客户端的影响力参数，再将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数，使得服务端能够平衡各个参与联邦训练的客户端的影响，避免全局模型向某一个客户端进行倾斜，从而提高全局模型的准确性，同样可以提高本地模型的准确性。
在一些实施方式中，S1411获取各个客户端的影响力参数，包括：
S1421、获取各个客户端的训练数据的数据特征；
在获取各个客户端的影响力参数，可以通过各个客户端的训练数据对各个客户端进行影响力的配置，并且，由于每一迭代轮次阶段，各个客户端所获得的训练数据的数据量不相同，因此可以动态调解每一迭代轮次阶段各个客户端的影响力，首先，获取各个客户端的训练数据的数据特征，即当前训练时客户端所获得的训练数据的特征，所述训练特征包括数据量，数据密集度，数据丰富度，数据冗余度等。
S1422、计算各个所述数据特征的相似度；
在获取各个客户端的训练数据的数据特征之后，将各个数据特征进行向量转化，然后计算各个所述数据特征的相似度，数据特征的相似度预示着客户端之间数据的差异程度，而全局模型的训练需要更丰富的数据特征，如果一直采用相似的数据特征进行训练的话，得到的模型会向某一个特征进行倾斜导致模型的准确率下降。
S1423、根据所述数据特征及所述相似度确定各个所述客户端的影响力参数。
在计算各个所述数据特征的相似度之后，根据所述数据特征及所述相似度确定各个所述客户端的影响力参数，当两个客户端的数据特征的相似度较高时，此时将两个客户端的影响力参数配置为中间值，使得两个客户端的影响力参数均较平衡，当两个客户端的相似度较低时，将两个客户端的影响力参数配置为较大值，使得两个客户端的影响力参数较大，从而为各个客户端的影响力参数进行平衡，确保具有相似数据特征的客户端的不会同时具有较大的影响力参数，提高全局模型的平衡性。
本实施方式通过获取各个客户端的训练数据的数据特征，计算各个所述数据特征的相似度，根据所述数据特征及所述相似度确定各个所述客户端的影响力参数，确保具有相似数据特征的客户端的不会同时具有较大的影响力参数，提高全局模型的平衡性。
在一些实施方式中，所述S1300中得到客户端的本地模型之后，还包括：
S1321、将所述本地模型应用至当前迭代轮次阶段的客户端的实际业务中。
在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型，当前客户端不再需要等待其他参与联邦训练的客户端的模型参数的同步与上传，即可将所述本地模型应用至当前迭代轮次阶段的客户端的实际业务中，避免其他客户端的模型参数同步不及时而导致本地业务无法应用最新的本地模型。
本实施方式得到客户端的本地模型之后，将所述本地模型应用至当前迭代轮次阶段的客户端的实际业务中，不依赖有其他客户端本轮训练的时间和参数，提高本地模型应用的灵活性与便捷性，提高本地模型应用的效率。
在一些实施方式中，S1500将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数之后，还包括：
S1511、获取客户端的本地模型；
将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数之后，客户端接收到所述初始化参数，既可以进行下一迭代轮次的模型训练，该迭代轮次的模型训练融合了参与联邦训练的各个客户端所训练得到的模型参数，因此能够对全局特征作出更好的平衡，而在特定场景下，客户端需要更加个性化地考虑本地的特征，此时为了在全局特征与本地特征进行更好的平衡，获取客户端的本地模型。
S1512、获取客户端的业务需求，根据所述业务需求匹配本地模型与全局模型的权重；
当获取客户端的本地模型之后，获取客户端的业务需求，然后根据所述业务需求匹配本地模型与全局模型的权重，即若是业务需求确定需要更倾向考虑本地的特征，则配置本地特征的权重较全局特征高。
S1513、根据所述权重调整所述下一迭代轮次阶段的初始化参数，并执行本地模型的下一迭代轮次阶段的训练。
当根据所述业务需求匹配本地模型与全局模型的权重后，根据所述权重调整所述下一迭代轮次阶段的初始化参数，并执行本地模型的下一迭代轮次阶段的训练，在配置了当前迭代轮次阶段的本地特征与全局特征的权重后，执行训练得到的本地模型参数更加倾向于本地特征，能够更好地解决本地业务的需求，提高模型使用的准确性，而又不影响联邦训练时，服务端对各个客户端的本地模型参数的聚合。
本实施方式通过获取客户端的业务需求，根据所述业务需求匹配本地模型与全局模型的权重，根据所述权重调整所述下一迭代轮次阶段的初始化参数，并执行本地模型的下一迭代轮次阶段的训练，可以实现更好地解决客户端的本地业务的需求，提高客户端本地模型和应用的准确性，而又不影响联邦训练时服务端对各个客户端的本地模型参数的聚合，提高联邦学习的广泛性。
在一些实施方式中，所述S1400将所述客户端的本地模型参数发送至服务端之后，还包括：
S1431、当检测到新接入的客户端时，获取新接入的客户端的类型；
在将所述客户端的本地模型参数发送至服务端之后，当检测到新接入的客户端时，获取新接入的客户端的类型，所述客户端的类型可以是客户端用户的人物画像，通过其人物画像确定客户端的类型，所述客户端的类型还可以是客户端的实际业务，通过确定客户端的实际业务确定客户端的类型。
S1432、根据所述类型匹配目标客户端，所述目标客户端为已参加联邦训练的客户端；
在获取新接入的客户端的类型之后，为了使新接入的客户端能够快速地获取到相应的模型，根据所述类型匹配目标客户端，所述目标客户端为已参加联邦训练的客户端，即在已参加联邦训练的客户端中通过客户端类型比较选取一个或多个客户端作为目标客户端，例如选取类型相同的客户端作为目标客户端。
S1433、获取目标客户端的本地模型参数；
在根据所述类型匹配目标客户端之后，获取目标客户端的本地模型参数，由于基于类型进行目标客户端的匹配，保证新接入的客户端与目标客户端具有相同或相似的特征，因此应用目标客户端已训练号的本地模型对应的本地模型参数作为新接入的客户端的本地模型的模型参数。
S1434、将所述目标客户端的本地模型参数发送至所述新接入的客户端，以根据所述本地模型参数确定新接入的客户端的初始本地模型。
在获取目标客户端的本地模型参数之后，将所述目标客户端的本地模型参数发送至所述新接入的客户端，以根据所述本地模型参数确定新接入的客户端的初始本地模型，使得新接入的客户端能够快速地获取具有相同或相似特征的客户端已训练好的模型，提高模型应用的效率。
需要指出的是，新接入的客户端也可以使用当前服务端已聚合生成的初始化参数，根据所述初始化参数确定新接入的客户端的初始本地模型，与服务端的全局模型保持一致。
本实施方式通过获取新接入的客户端的类型，根据所述类型匹配目标客户端，所述目标客户端为已参加联邦训练的客户端，再将目标客户端已训练好的模型分享至新接入的客户端，使得新接入的客户端能够快速地获取具有相同或相似特征的客户端已训练好的模型，提高模型应用的效率。
具体请参阅图2，图2为本实施例联邦学习装置基本结构示意图。
如图2所示，一种联邦学习装置，包括：全局配置模块1100、参数发送模块1200、模型训练模块1300、联邦聚合模块1400和参数更新模块1500。其中，全局配置模块1100，用于获取服务端的全局模型及所述全局模型的初始化参数；参数发送模块1200，用于将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；模型训练模块1300，用于在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；联邦聚合模块1400，用于将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；参数更新模块1500，用于将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数。
上述的联邦学习装置通过获取服务端的全局模型及所述全局模型的初始化参数；将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数，保证了每一个迭代轮次阶段各个客户端的参与，而每一个迭代轮次阶段无需客户端同步进行模型训练，提高了联邦训练的效率，不同迭代轮次阶段的初始化参数由上一迭代轮次阶段的各个客户端的本地模型参数进行聚合得到，保证了模型的全局性特征与各个客户端的个性化特征，提高各个客户端的本地模型的准确性。
可选地，所述模型训练模块1300还用于：
计算本地模型训练后的交叉熵损失；
对所述交叉熵损失进行全面模型蒸馏，以平衡本地模型的全局特征与局部特征；
根据梯度下降算法确定模型蒸馏后的参数作为本地模型参数，并根据所述本地模型参数确定客户端的本地模型。
可选地，所述联邦聚合模块1400还用于：
获取各个客户端的影响力参数；
将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数；
将所述平衡参数进行聚合后生成的下一迭代轮次的初始化参数。
可选地，所述联邦聚合模块1400还用于：
获取各个客户端的训练数据的数据特征；
计算各个所述数据特征的相似度；
根据所述数据特征及所述相似度确定各个所述客户端的影响力参数。
可选地，还包括模型应用模块1401，用于；
将所述本地模型应用至当前迭代轮次阶段的客户端的实际业务中。
可选地，所述参数更新模块1500还用于；
获取客户端的本地模型；
获取客户端的业务需求，根据所述业务需求匹配本地模型与全局模型的权重；
根据所述权重调整所述下一迭代轮次阶段的初始化参数，并执行本地模型的下一迭代轮次阶段的训练。
可选地，还包括模型接入模块1402，用于：
当检测到新接入的客户端时，获取新接入的客户端的类型；
根据所述类型匹配目标客户端，所述目标客户端为已参加联邦训练的客户端；
获取目标客户端的本地模型参数；
将所述目标客户端的本地模型参数发送至所述新接入的客户端，以根据所述本地模型参数确定新接入的客户端的初始本地模型。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图3，图3为本实施例计算机设备基本结构框图。
如图3所示，计算机设备的内部结构示意图。该计算机设备包括通过系统总线连接的处理器、非易失性存储介质、存储器和网络接口。其中，该计算机设备的非易失性存储介质存储有操作系统、数据库和计算机可读指令，数据库中可存储有控件信息序列，该计算机可读指令被处理器执行时，可使得处理器实现一种交易凭证上链法。该计算机设备的处理器用于提供计算和控制能力，支撑整个计算机设备的运行。该计算机设备的存储器中可存储有计算机可读指令，该计算机可读指令被处理器执行时，可使得处理器执行一种联邦学习方法。该计算机设备的网络接口用于与终端连接通信。本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本实施方式中处理器用于执行图2中全局配置模块1100、参数发送模块1200、模型训练模块1300、联邦聚合模块1400和参数更新模块1500的具体功能，存储器存储有执行上述模块所需的程序代码和各类数据。网络接口用于向用户终端或服务器之间的数据传输。本实施方式中的存储器存储有联邦学习装置中执行所有子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所有子模块的功能。
计算机设备通过获取服务端的全局模型及所述全局模型的初始化参数；然后将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数，保证了每一个迭代轮次阶段各个客户端的参与，而每一个迭代轮次阶段无需客户端同步进行模型训练，提高了联邦训练的效率，不同迭代轮次阶段的初始化参数由上一迭代轮次阶段的各个客户端的本地模型参数进行聚合得到，保证了模型的全局性特征与各个客户端的个性化特征，提高各个客户端的本地模型的准确性。
本申请还提供一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述任一实施例联邦学习方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
本技术领域技术人员可以理解，本申请中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本申请中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本申请中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。
以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种联邦学习方法，其特征在于，包括：
获取服务端的全局模型及所述全局模型的初始化参数；
将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；
在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；
将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；
将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数。
2.根据权利要求1所述的联邦学习方法，其特征在于，所述通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型，包括：
计算本地模型训练后的交叉熵损失；
对所述交叉熵损失进行全面模型蒸馏，以平衡本地模型的全局特征与局部特征；
根据梯度下降算法确定模型蒸馏后的参数作为本地模型参数，并根据所述本地模型参数确定客户端的本地模型。
3.根据权利要求1所述的联邦学习方法，其特征在于，所述获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数，包括：
获取各个客户端的影响力参数；
将各个客户端的所述影响力参数与其本地模型参数进行结合，得到各个客户端的平衡参数；
将所述平衡参数进行聚合后生成的下一迭代轮次的初始化参数。
4.根据权利要求3所述的联邦学习方法，其特征在于，所述获取各个客户端的影响力参数，包括：
获取各个客户端的训练数据的数据特征；
计算各个所述数据特征的相似度；
根据所述数据特征及所述相似度确定各个所述客户端的影响力参数。
5.根据权利要1所述的联邦学习方法，其特征在于，所述得到客户端的本地模型之后还包括：
将所述本地模型应用至当前迭代轮次阶段的客户端的实际业务中。
6.根据权利要求1所述的联邦学习方法，其特征在于，所述将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数之后，还包括：
获取客户端的本地模型；
获取客户端的业务需求，根据所述业务需求匹配本地模型与全局模型的权重；
根据所述权重调整所述下一迭代轮次阶段的初始化参数，并执行本地模型的下一迭代轮次阶段的训练。
7.根据权利要求1所述的联邦学习方法，其特征在于，所述将所述客户端的本地模型参数发送至服务端之后，还包括：
当检测到新接入的客户端时，获取新接入的客户端的类型；
根据所述类型匹配目标客户端，所述目标客户端为已参加联邦训练的客户端；
获取目标客户端的本地模型参数；
将所述目标客户端的本地模型参数发送至所述新接入的客户端，以根据所述本地模型参数确定新接入的客户端的初始本地模型。
8.一种联邦学习装置，其特征在于，包括：
全局配置模块，用于获取服务端的全局模型及所述全局模型的初始化参数；
参数发送模块，用于将所述全局模型与所述初始化参数发送到若干个参与联邦训练的客户端；
模型训练模块，用于在客户端的当前迭代轮次阶段，获取客户端的训练数据，根据所述训练数据所述述全局模型与初始化参数进行若干次训练，并通过计算模型的交叉熵损失和模型蒸馏确定训练后的本地模型参数，得到客户端的本地模型；
联邦聚合模块，用于将所述客户端的本地模型参数发送至服务端，获取服务端根据若干个所述客户端的本地模型参数进行聚合后生成的下一迭代轮次的初始化参数；
参数更新模块，用于将所述下一迭代轮次的初始化参数发送至客户端，以作为客户端的本地模型的下一迭代轮次阶段的初始化参数。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项权利要求所述联邦学习方法的步骤。
10.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项权利要求所述联邦学习方法的步骤。
CN202310107125.3A 2023-01-29 2023-01-29 联邦学习方法、装置、计算机设备及存储介质 Pending CN116227623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310107125.3A CN116227623A (zh) 2023-01-29 2023-01-29 联邦学习方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310107125.3A CN116227623A (zh) 2023-01-29 2023-01-29 联邦学习方法、装置、计算机设备及存储介质

Publications (1)

Publication Number Publication Date
CN116227623A true CN116227623A (zh) 2023-06-06

Family

ID=86588598

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310107125.3A Pending CN116227623A (zh) 2023-01-29 2023-01-29 联邦学习方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN116227623A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401359A (zh) * 2023-06-09 2023-07-07 深圳前海环融联易信息科技服务有限公司 文档抽取方法及装置、介质、设备
CN116522988A (zh) * 2023-07-03 2023-08-01 粤港澳大湾区数字经济研究院(福田) 基于图结构学习的联邦学习方法、系统、终端及介质
CN117010484A (zh) * 2023-10-07 2023-11-07 之江实验室 基于注意力机制的个性化联邦学习泛化方法、设备、应用
CN117094355A (zh) * 2023-10-20 2023-11-21 网络通信与安全紫金山实验室 模型更新方法、非易失性存储介质及计算机设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116401359A (zh) * 2023-06-09 2023-07-07 深圳前海环融联易信息科技服务有限公司 文档抽取方法及装置、介质、设备
CN116522988A (zh) * 2023-07-03 2023-08-01 粤港澳大湾区数字经济研究院(福田) 基于图结构学习的联邦学习方法、系统、终端及介质
CN116522988B (zh) * 2023-07-03 2023-10-31 粤港澳大湾区数字经济研究院(福田) 基于图结构学习的联邦学习方法、系统、终端及介质
CN117010484A (zh) * 2023-10-07 2023-11-07 之江实验室 基于注意力机制的个性化联邦学习泛化方法、设备、应用
CN117010484B (zh) * 2023-10-07 2024-01-26 之江实验室 基于注意力机制的个性化联邦学习泛化方法、设备、应用
CN117094355A (zh) * 2023-10-20 2023-11-21 网络通信与安全紫金山实验室 模型更新方法、非易失性存储介质及计算机设备
CN117094355B (zh) * 2023-10-20 2024-03-29 网络通信与安全紫金山实验室 模型更新方法、非易失性存储介质及计算机设备

Similar Documents

Publication Publication Date Title
CN116227623A (zh) 联邦学习方法、装置、计算机设备及存储介质
US11836615B2 (en) Bayesian nonparametric learning of neural networks
US20190385019A1 (en) Systems and Methods for Conditional Generative Models
CN110956202B (zh) 基于分布式学习的图像训练方法、系统、介质及智能设备
CN112272381B (zh) 一种卫星网络任务部署方法和系统
CN111709493B (zh) 对象分类方法、训练方法、装置、设备及存储介质
WO2024027164A1 (zh) 一种支持异构模型的自适应个性化联邦学习方法
CN111277860B (zh) 移动边缘网络中视频缓存的方法、装置、设备及可读介质
US20210065011A1 (en) Training and application method apparatus system and stroage medium of neural network model
CN112600697B (zh) 基于联邦学习的QoS预测方法及系统、客户端和服务端
US11843587B2 (en) Systems and methods for tree-based model inference using multi-party computation
CN114760308B (zh) 边缘计算卸载方法及装置
Che et al. Fedtrinet: A pseudo labeling method with three players for federated semi-supervised learning
CN116384504A (zh) 联邦迁移学习系统
CN115115986A (zh) 视频质量评估模型生产方法及其装置、设备、介质
CN112235062A (zh) 一种对抗通信噪声的联邦学习方法和系统
CN110555120A (zh) 图片压缩控制方法、装置、计算机设备及存储介质
CN114205366A (zh) 跨平台数据同步方法及其装置、设备、介质、产品
CN117523291A (zh) 基于联邦知识蒸馏和集成学习的图像分类方法
CN117454213A (zh) 多视图数据聚类方法、装置、设备及介质
CN115146775B (zh) 边缘设备推理加速方法、装置和数据处理系统
CN109684102B (zh) 直播答题的处理方法、装置、计算机可读存储介质及终端
CN115499875B (zh) 一种卫星互联网任务卸载方法、系统以及可读存储介质
WO2023221266A1 (zh) 用于物联网的多分支网络协同推理方法及系统
CN114268966B (zh) 一种无人机辅助mec网络低时延多任务分配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination