CN113869528B - 共识表征提取和多样性传播的解纠缠个性化联邦学习方法 - Google Patents

共识表征提取和多样性传播的解纠缠个性化联邦学习方法 Download PDF

Info

Publication number
CN113869528B
CN113869528B CN202111456896.0A CN202111456896A CN113869528B CN 113869528 B CN113869528 B CN 113869528B CN 202111456896 A CN202111456896 A CN 202111456896A CN 113869528 B CN113869528 B CN 113869528B
Authority
CN
China
Prior art keywords
node
nodes
consensus
current node
characterization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111456896.0A
Other languages
English (en)
Other versions
CN113869528A (zh
Inventor
骆正权
王云龙
孙哲南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111456896.0A priority Critical patent/CN113869528B/zh
Publication of CN113869528A publication Critical patent/CN113869528A/zh
Application granted granted Critical
Publication of CN113869528B publication Critical patent/CN113869528B/zh
Priority to PCT/CN2022/135821 priority patent/WO2023098790A1/zh
Priority to US18/731,260 priority patent/US12124963B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例涉及一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法，通过当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；当前节点获得所述当前节点对应的全局共识表征聚合模型；即本发明的实施例，通过聚合节点的局部共识表征模型获得的全局共识表征模型，具备良好的泛化能力，并且基于特有表征相似加权的个性化聚合方案减弱了节点属性差异巨大带来的性能负向迁移。

Description

共识表征提取和多样性传播的解纠缠个性化联邦学习方法
技术领域
本发明涉及计算机领域，尤其涉及一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法。
背景技术
联邦学习是一种新型的分布式机器学习方式。在联邦学习中，聚合节点利用联邦平均(FedAvg)算法来聚合来自各个节点的模型更新，参与联邦训练的各节点在训练结束后得到的是一个统一的全局模型，但这样训练出的全局模型很难适配每一个节点，因此提出了个性化联邦学习。
目前的个性化联邦学习通常有权重聚合方法、元学习方案、域适应方案、个性化预测层等，但是这些方案更多关注的是数据标签分布差异的非独立同分布，而并没有充分关心到每个节点由于位置环境、采集设备的差异等所带来的节点间数据属性存在巨大差异，而这会导致训练出的模型泛化性能差、可解释性差。
发明内容
本发明提供了一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法，以解决由于节点间属性差异巨大而造成的训练出的模型泛化性能差、可解释性差的技术问题。
第一方面，本发明提供了一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法，应用于个性化联邦学习系统，所述个性化联邦学习系统包括多个节点；所述方法包括如下步骤：步骤S1、当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；步骤S2、当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；步骤S3、当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型。
作为可选的实施例，所述步骤S2中的聚合权重通过如下公式获得：
Figure DEST_PATH_IMAGE001
其中，Wji表示所述其他节点中的任一节点j所对应的聚合权重；所述
Figure 476470DEST_PATH_IMAGE002
表示所述其他节点中的任一节点j所对应的特有表征提取模型E s j 提取出的当前节点i的当前节点数据x i 的的表征；
Figure DEST_PATH_IMAGE003
表示当前节点i的特有表征提取模型E s i 提取出的当前节点i的当前节点数据x i 的表征；I表示互信息计算函数，K表示所述个性化联邦学习系统中的节点数量；E s k （x i ）表示所述个性化联邦学习系统中的节点k的特有表征提取模型E s k 提取出的当前节点i的当前节点数据x i 的表征，其中，节点k的取值为个性化联邦学习系统中的节点1~K中的任一个。
作为可选的实施例，上述步骤S3中的全局共识表征聚合模型通过如下公式获得：
Figure 506743DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
表示所述当前节点i对应的全局共识表征聚合模型；
Figure 602875DEST_PATH_IMAGE006
表示所述其他节点中的任一节点j所对应的局部共识表征提取模型。
作为可选的实施例，所述步骤S1之前还包括：步骤S0、从所述多个节点中随机选取至少两个节点，所述至少两个节点用于执行所述步骤S1-步骤S3。
作为可选的实施例，所述方法还包括：判断迭代执行所述步骤S0-步骤S3的次数是否达到预设聚合轮次；若否，则继续返回执行步骤S0。
作为可选的实施例，所述步骤S0之前还包括：步骤S4、根据每个节点对应的第一预设优化条件，更新每个节点对应的局部共识表征提取模型和特有表征提取模型；其中，所述第一预设优化条件包括第二互信息取值最大化、每个节点对应的局部共识表征提取模型和上一聚合轮次获得的全局共识表征聚合模型的相似度取值最大化，以及第三互信息取值最小化，所述第二互信息为节点原始数据与节点对应的局部共识表征提取模型提取得到的关于所述节点原始数据的表征之间的互信息与节点原始数据与上一聚合轮次获得的全局共识表征聚合模型提取得到的关于所述节点原始数据的表征之间的互信息的加和；
所述第二互信息满足以下表达式：
Figure DEST_PATH_IMAGE007
，
其中，
Figure 111217DEST_PATH_IMAGE008
表示所述个性化联邦学习系统中的每个当前节点i对应的第二互信息，
Figure DEST_PATH_IMAGE009
表示当前节点i的节点原始数据X与当前节点i对应的局部共识表征提取模型
Figure 241984DEST_PATH_IMAGE010
提取出来的关于节点原始数据X的表征
Figure DEST_PATH_IMAGE011
之间的互信息；
Figure 944623DEST_PATH_IMAGE012
表示当前节点i的节点原始数据X与当前节点i对应的上一聚合轮次获得的全局共识表征聚合模型
Figure DEST_PATH_IMAGE013
提取出来的关于节点原始数据X的表征
Figure 528051DEST_PATH_IMAGE014
之间的互信息；
所述第三互信息为以对抗方式分离的节点原始数据的特有表征和共识表征之间的互信息；
所述第三互信息满足以下表达式：
Figure DEST_PATH_IMAGE015
，
其中，L client 表示所述个性化联邦学习系统中的每个当前节点i对应的第三互信息；D（）表示相似度计算函数；P（E s i）表示每个当前节点i的特有表征的分布函数；P（E c i）表示每个当前节点i的共识表征的分布函数；D（E s i，E c i）表示每个当前节点i的特有表征和共识表征之间的相似度；P（E s i，E c i）表示每个当前节点i的特有表征和共识表征的联合分布函数；
Figure 840084DEST_PATH_IMAGE016
表示计算两个独立分布P（E s i）和P（E c i）的期望；
Figure DEST_PATH_IMAGE017
表示计算P（E s i，E c i）的期望；
步骤S5、根据每个节点对应的第二预设优化条件，更新每个节点的节点模型，其中，所述每个节点的节点模型包括节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型，所述第二预设优化条件为与节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型相关的损失函数取值最小化。
作为可选的实施例，所述方法还包括：判断迭代执行所述步骤S4、步骤S5的次数是否达到预设更新次数；若是，则执行所述步骤S1；若否，则返回继续执行步骤S4。
作为可选的实施例，所述第一预设优化条件L如以下公式：
Figure 825357DEST_PATH_IMAGE018
其中，
Figure DEST_PATH_IMAGE019
表示相似度权重、
Figure 197433DEST_PATH_IMAGE020
表示第三互信息权重；
Figure DEST_PATH_IMAGE021
表示第二互信息；
Figure 268157DEST_PATH_IMAGE022
表示通过余弦公式获得相似度；
Figure DEST_PATH_IMAGE023
表示第三互信息。
第二方面，本发明提供一种共识表征提取和多样性传播的解纠缠个性化联邦学习系统，所述个性化联邦学习系统包括多个节点；其中，当前节点用于分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型。
作为可选的实施例，上述学习系统中，上述聚合权重通过如下公式获得：
Figure 321563DEST_PATH_IMAGE001
其中，Wji表示所述其他节点中的任一节点j所对应的聚合权重；所述
Figure 223660DEST_PATH_IMAGE002
表示所述其他节点中的任一节点j所对应的特有表征提取模型E s j 提取出的当前节点i的当前节点数据x i 的的表征；
Figure 704320DEST_PATH_IMAGE003
表示当前节点i的特有表征提取模型E s i 提取出的当前节点i的当前节点数据x i 的表征；I表示互信息计算函数，K表示所述个性化联邦学习系统中的节点数量；E s k （x i ）表示所述个性化联邦学习系统中的节点k的特有表征提取模型E s k 提取出的当前节点i的当前节点数据x i 的表征，其中，节点k的取值为个性化联邦学习系统中的节点1~K中的任一个。
作为可选的实施例，上述步骤S3中的全局共识表征聚合模型通过如下公式获得：
Figure 996761DEST_PATH_IMAGE004
其中，
Figure 853859DEST_PATH_IMAGE005
表示所述当前节点i对应的全局共识表征聚合模型；
Figure 114857DEST_PATH_IMAGE006
表示所述其他节点中的任一节点j所对应的局部共识表征提取模型。
第三方面，本发明提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现第一方面任一项所述的共识表征提取和多样性传播的解纠缠个性化联邦学习方法的步骤。
第四方面，本发明一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的共识表征提取和多样性传播的解纠缠个性化联邦学习方法的步骤。
本发明实施例提供的共识表征提取和多样性传播的解纠缠个性化联邦学习方法，应用于个性化联邦学习系统，所述个性化联邦学习系统包括多个节点；通过当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型；即本发明的实施例，通过聚合节点的局部共识表征模型获得的全局共识表征模型，具备良好的泛化能力，并且基于特有表征相似加权的个性化聚合方案减弱了节点属性差异巨大带来的性能负向迁移。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种系统架构图；
图2为本发明实施例提供的一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的流程示意图；
图3为本发明实施例提供的另一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的流程示意图；
图4为本发明实施例提供的又一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的流程示意图；
图5为本发明实施例提高的一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的框图示意图；
图6为本发明实施例提供的一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的详细流程示意图；
图7为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面对本发明所涉及的名词进行解释：
节点：参与联邦学习的任务需求方，一般具备一定的私有数据。例如需要应用提供某种功能的手机用户。
共识知识（consensus knowledge），又可称为共识属性、共识表征，是对于特定任务所有参与节点所共同拥有的知识或固有的属性、本质，具备高度的域泛化能力。
特有属性，又称为特有表征，是指任何一个参与节点除了共识知识以外对于提升任务性能有帮助的特有属性，或者外围性质，在各个节点是多样化的。
多样性传播（diversity transfer）：特有属性在各个节点是多样化的，通过在节点之间传递多个特有属性提取网络，迫使目标节点关注到其它节点数据所关注关注的外围属性，以及通过表征信息的差异潜在的估计数据域之间的属性分布相似性。
近年来，联邦学习在针对数据隐私保护下的联合训练取得了突破性的进展，在很多方面取得了广泛的引用。然而，由于各节点在地理位置、空间上分布不同，所面对的环境和场景复杂性各异，节点处的数据采集设备千差万别，造成节点数据存在巨大的属性差异，导致联邦学习网络泛化能力差的同时，任务性能低下，对联邦学习的发展和应用造成了相当的阻碍。尤其是在生物特征领域，不同种族、性别、年龄造成的特征属性差异，以及获取图像设备之间存在的巨大环境差异和拍摄参数差别，阻碍了识别准确性的进一步提升，同时也使得网络无法较好的泛化到未见过的生物数据并取得准确的识别结果，其原因就在于网络训练时引入了过多的特有属性。例如，经典的联邦学习框架FedAvg，在聚合时直接使用多个节点的模型参数均值作为全局聚合模型，直接将不同域的特有属性进行了混合，导致泛化性差。
为了克服节点特有属性传播到全局网络减弱泛化性的问题，现有的个性化联邦学习研究方案可分为几种实现方法：
1）权重聚合方法：为不同的节点分配不同权重的或者特定的聚合方案，可以理解为通过在大量节点中找到与对应节点最相关的或者对性能提升最大的数据节点进行相应的模型加权聚合，目前常见有对目标模型性能提升影响更大的节点的占据更大权重，或者模型相似性更高的占据更大的权重。
2）元学习方案，通过在各节点不同任务设置上不同的元模型初始化参数，可以快速的重新应用于新的节点，适应对应的数据分布。
3）域适应方法：通过将其他数据节点作为源域，通过知识蒸馏的方法将提取不同域的共识知识并传递至目标域以提升目标域任务性能。
4）个性化预测层：全局聚合更新特征提取器，保留每个节点私有的预测器，提升网络个性化以处理不同的数据。
但是，上述几种实现方法中更多关注的是联邦学习中数据标签分布差异的非独立同分布（non-i.i.d）问题，并没有充分的关心每一个数据节点获取数据的属性差异性造成的任务性能下降；并且大多数方法是让节点模型自主去学习对任务有作用的属性特征，忽视了模型提取特征的可解释性。
针对上述技术问题，本发明的技术构思在于：通过提取任务导向的共识表征构建具备更好域泛化能力的共识知识网络，同时在各节点之间传播多样性的节点特有属性提供个性化的聚合方案，减轻属性差异巨大节点可能造成的性能负向迁移。
图1为本发明实施例提供的一种系统架构图，如图1所示，该系统定义了多个节点，若节点总计｜C｜=K个，这K个节点中，每个节点可表示为
Figure 766418DEST_PATH_IMAGE024
，对应第i个节点包含有n i 个训练数据
Figure DEST_PATH_IMAGE025
，其中｜c i ｜表示类别数目，其数据表示为
Figure 811734DEST_PATH_IMAGE026
，D i 为节点i拥有训练数据。需要说明的是，每个节点可以为手机、电脑、服务器等终端设备，该系统中的每个节点可用于执行下述各实施例。
图2为本发明实施例提供的一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的流程示意图，如图2所示，该共识表征提取和多样性传播的解纠缠个性化联邦学习方法包括：
步骤S1、当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型。
具体来说，如图1所示的系统中的每个节点通过表征解纠缠的方法将节点原始数据具有的共识表征和特有表征充分的分离，即每个节点都已经训练好了局部共识表征提取模型和特有表征提取模型。本步骤中，系统中的每个节点可以接收其他节点传递的局部共识表征提取模型和特有表征提取模型，换言之，就是在不同节点间互相传递各自的局部共识表征提取模型和特有表征提取模型，即进行多样性传播。本文将接收其他节点传递的局部共识表征提取模型和特有表征提取模型的节点称为当前节点。
步骤S2、当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重。
具体来说，通过步骤S1在节点间传播这些特有属性提取模型后，如果某节点数据被不同的特有属性提取模型提取出具有很高相似性的表征，则表明这些特有属性提取模型来自的节点具有较强的属性相关性，提高这些节点在全局聚合时的权重将有助于的更好的知识传播，可以有效避免由于部分数据分布差异过大节点可能引起的性能负向迁移。
作为可选的实施例，所述步骤S2中的聚合权重Wji通过公式（1）获得：
Figure 206944DEST_PATH_IMAGE027
（1）
其中，所述
Figure 818054DEST_PATH_IMAGE028
表示所述其他节点中的任一节点j所对应的特有表征提取模型提取出的当前节点i的表征；
Figure 906095DEST_PATH_IMAGE029
表示当前节点i的特有表征提取模型提取出的当前节点i的表征；I表示互信息计算。
步骤S3、当前节点根据所述每个合作节点对应的聚合权重、所述每个合作节点对应的第二局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型。
作为可选的实施例，所述步骤S3中的全局共识表征聚合模型
Figure 173129DEST_PATH_IMAGE030
通过公式（2）获得：
Figure 168766DEST_PATH_IMAGE031
（2）
其中，
Figure 837645DEST_PATH_IMAGE006
表示所述其他节点中的任一节点j所对应的局部共识表征提取模型。
需要说明的是，该系统中的每个节点均可以为当前节点，当前节点执行步骤S1-步骤S3，从而使得每个节点获得该节点对应的全局共识表征聚合模型，即计算出每一个节点个性化的全局聚合模型。
本发明实施例提供的共识表征提取和多样性传播的解纠缠个性化联邦学习方法，通过当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型；即本发明实施例通过聚合节点的局部共识表征模型获得的全局共识表征模型，具备良好的泛化能力，并且基于特有表征相似加权的个性化聚合方案减弱了节点属性差异巨大带来的性能负向迁移。
在上述实施例的基础上，图3为本发明实施例提供的另一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的流程示意图，如图3所示，该共识表征提取和多样性传播的解纠缠个性化联邦学习方法包括：
步骤S0、从所述多个节点中随机选取至少两个节点，所述至少两个节点用于执行所述步骤S1-步骤S3。
具体来说，系统共有K个节点，则可以从K个节点中随机选取M个节点，这M个节点用于执行下述的步骤S1-S3，其中，M小于等于K。
步骤S1、当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型。
步骤S2、当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重。
步骤S3、当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型。
与上述实施例的区别在于，考虑到各节点之间通信的带宽与延迟限制，本实施例中，会在K个节点中随机选取M个节点去参与到当前轮次的个性化联邦学习中，从而在该轮次中得到这M个节点对应的全局共识表征聚合模型。
作为可选的实施例，所述方法还包括：判断迭代执行所述步骤S0-步骤S3的次数是否达到预设聚合轮次；若否，则继续返回执行步骤S0。
具体来说，设置预设聚合轮次T，当前更新轮次为t，当满足t<=T时执行步骤S0-步骤S4，并在该轮次结束后t=t+1；否则结束训练。即本发明实施例在每一聚合轮次中选取部分节点进行聚合优化，进行多轮聚合，从而实现获得每个节点对应的全局共识表征聚合模型。
本发明的实施例提供的共识表征提取和多样性传播的解纠缠个性化联邦学习方法，通过在每一个聚合轮次中，从所述多个节点中随机选取至少两个节点，所述至少两个节点用于执行所述步骤S1-步骤S3，避免了由于所有节点之间同时互相通信而造成的通信带宽资源紧张和延迟的问题；并且还通过多个聚合轮次，获得每个节点对应的全局共识表征聚合模型。
在上述实施例的基础上，图4为本发明实施例提供的又一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的流程示意图，如图4所示，该共识表征提取和多样性传播的解纠缠个性化联邦学习方法包括：
步骤S4、根据每个节点对应的第一预设优化条件，更新每个节点对应的局部共识表征提取模型和特有表征提取模型。
其中，所述第一预设优化条件包括第二互信息取值最大化、每个节点对应的局部共识表征提取模型和上一聚合轮次获得的全局共识表征聚合模型的相似度取值最大化，以及以对抗方式分离的节点原始数据的特有表征和共识表征之间的第三互信息取值最小化，所述第二互信息为节点原始数据与节点对应的局部共识表征提取模型之间的互信息与节点原始数据与上一聚合轮次获得的全局共识表征聚合模型之间的互信息之和。
步骤S5、根据每个节点对应的第二预设优化条件，更新每个节点的节点模型。
其中，所述每个节点的节点模型包括节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型，所述第二预设优化条件为与节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型相关的损失函数取值最小化
步骤S1、当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型。
步骤S2、当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重。
步骤S3、当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型。
与上述实施例的区别在于，本实施例进一步限定了每个节点的节点模型的本地更新过程。在本实施例中，根据每个节点对应的第一预设优化条件，更新每个节点对应的局部共识表征提取模型和特有表征提取模型；其中，所述第一预设优化条件包括第二互信息取值最大化、每个节点对应的局部共识表征提取模型和上一聚合轮次获得的全局共识表征聚合模型的相似度取值最大化，以及以对抗方式分离的节点原始数据的特有表征和共识表征之间的第三互信息取值最小化，所述第二互信息为节点原始数据与节点对应的局部共识表征提取模型提取得到的关于所述节点原始数据的表征之间的互信息和节点原始数据与上一聚合轮次获得的全局共识表征聚合模型提取得到的关于所述节点原始数据的表征之间的互信息的加和；根据每个节点对应的第二预设优化条件，更新每个节点的节点模型，其中，所述每个节点的节点模型包括节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型，所述第二预设优化条件为与节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型相关的损失函数取值最小化。
具体来说，定义节点i模型为
Figure 96588DEST_PATH_IMAGE032
，可分为局部共识表征提取模型
Figure 585338DEST_PATH_IMAGE033
和节点特有表征提取模型
Figure 650246DEST_PATH_IMAGE034
，以及节点私有预测模型P i ，其对应的模型参数分别为
Figure 173632DEST_PATH_IMAGE035
、
Figure 337897DEST_PATH_IMAGE036
、
Figure 579522DEST_PATH_IMAGE037
，则定义的步骤S5中的第二预设优化条件如公式（3）所示：
Figure 684007DEST_PATH_IMAGE038
（3）
其中，l i 表示损失函数计算；argmin表示改变节点模型参数时能够获得的最小值。因真实数据的分布是不可知的，因此为了可行的数学计算采用经验优化条件，优选的，第二预设优化条件为公式（4）所示：
Figure 61898DEST_PATH_IMAGE039
（4）
作为可选的实施例，步骤S4中的第一预设优化条件L如公式（5）所示：
Figure 662644DEST_PATH_IMAGE018
（5）
其中，
Figure 125986DEST_PATH_IMAGE019
表示相似度权重、
Figure 532697DEST_PATH_IMAGE020
表示第三互信息权重；
Figure 30674DEST_PATH_IMAGE021
表示上述个性化联邦学习系统中的每个当前节点i对应的第二互信息；
Figure 536742DEST_PATH_IMAGE021
满足以下表达式：
Figure 752960DEST_PATH_IMAGE040
其中，
Figure 697782DEST_PATH_IMAGE041
表示当前节点i的节点原始数据X与当前节点i对应的局部共识表征提取模型
Figure 50266DEST_PATH_IMAGE042
提取出来的关于节点原始数据X的表征
Figure 727235DEST_PATH_IMAGE043
之间的互信息；
Figure 165170DEST_PATH_IMAGE044
表示当前节点i的节点原始数据X与当前节点i对应的上一聚合轮次获得的全局共识表征聚合模型
Figure 851366DEST_PATH_IMAGE013
提取出来的关于节点原始数据X的表征
Figure 120673DEST_PATH_IMAGE014
之间的互信息；
Figure 234123DEST_PATH_IMAGE022
表示通过余弦公式获得相似度；
上述第三互信息为以对抗方式分离的节点原始数据的特有表征和共识表征之间的互信息；例如上述第三互信息满足以下表达式：
Figure 159353DEST_PATH_IMAGE015
，
其中，L client 表示所述个性化联邦学习系统中的每个当前节点i对应的第三互信息；D（）表示相似度计算函数；P（E s i）表示每个当前节点i的特有表征的分布函数；P（E c i）表示每个当前节点i的共识表征的分布函数；D（E s i，E c i）表示每个当前节点i的特有表征和共识表征之间的相似度；P（E s i，E c i）表示每个当前节点i的特有表征和共识表征的联合分布函数；
Figure 383661DEST_PATH_IMAGE045
表示计算两个独立分布P（E s i）和P（E c i）的期望；
Figure 271589DEST_PATH_IMAGE046
表示计算P（E s i，E c i）的期望。
具体来说，为了保证提取到尽可能多的有效共识表征，需要最大化第二互信息，第二互信息为节点原始数据X与该节点对应的局部共识表征提取模型提取的对应表征（关于节点原始数据X的表征）的互信息，再加上节点原始数据X与全局共识表征聚合模型（上一聚合轮次获得的）提取的对应表征（关于节点原始数据X的表征）的互信息，如公式（6）所示：
Figure 555940DEST_PATH_IMAGE047
（6）
其中，I表示互信息计算公式，
Figure 702888DEST_PATH_IMAGE048
表示两个具备信息的向量x,z的互信息，使用Jensen-Shannon互信息估计器，目标为最小化下式：
Figure 730887DEST_PATH_IMAGE049
（7）
其中，
Figure 912469DEST_PATH_IMAGE050
表示激活函数，f为鉴别器函数。
则第二互信息变更为公式（8），如下：
Figure 430038DEST_PATH_IMAGE051
（8）
进一步的，为了提取节点共识表征，如果表征能得到充分并且符合预期的分离的话，也就意味着局部共识表征提取模型提取的表征和全局共识表征聚合模型提取的表征需要足够的相似，因此引入共识相似约束，如公式（9）所示：
Figure 329861DEST_PATH_IMAGE052
（9）
其中，D（）表示相似度计算公式。优选的，相似度计算公式采用余弦相似度度量，如公式（10）所示：
Figure 895972DEST_PATH_IMAGE053
（10）
进一步的，为了尽可能分离出节点原始数据中具有的特有表征和共识表征，通过最小化两种表征之间的互信息来完成，也即最小化
Figure 932061DEST_PATH_IMAGE054
，使用对抗的方式分离两种表征，如公式（11）所示：
Figure 620531DEST_PATH_IMAGE055
（11）
综上所述，第一预设优化条件如公式（5）所示，表示将计算得到的三种损失进行加权聚合得到最终整体的优化目标（损失函数）。
作为可选的实施例，所述方法还包括：判断迭代执行所述步骤S4、步骤S5的次数是否达到预设更新次数；若是，则执行所述步骤S1；若否，则返回继续执行步骤S4。
具体来说，首先每个节点执行预设更新次数E的步骤S4、步骤S5的本地更新，获得更新后的节点模型，然后将更新后的节点模型中的局部共识表征提取模型和特有表征提取模型在不同节点间进行传递，即执行步骤S1。也就是说，每个节点首先完成E轮的本地更新，然后进入到下一聚合轮次的全局共识表征聚合模型的训练。
可选的，若无法获得上一聚合轮次的全局共识表征聚合模型，则初始化每个节点的节点模型，并执行步骤S1-步骤S3，将获得的全局共识表征聚合模型作为所述上一聚合轮次的全局共识表征聚合模型。
具体来说，每个节点在进行本地E轮更新时，有可能各节点还没有获得过全局共识表征提取模型，则无法执行步骤S4；则可以在步骤S4之前，随机初始化每个节点的节点模型，然后在各节点间传递初始化节点模型中对应的初始局部表征提取模型和初始特有表征提取模型，继而获得当前节点对应的全局共识表征聚合模型，根据该全局共识表征聚合模型去进行本地E轮更新。
本实施例提供的共识表征提取和多样性传播的解纠缠个性化联邦学习方法，通过根据每个节点对应的第一预设优化条件，更新每个节点对应的局部共识表征提取模型和特有表征提取模型；其中，所述第一预设优化条件包括第二互信息取值最大化、每个节点对应的局部共识表征提取模型和上一聚合轮次获得的全局共识表征聚合模型的相似度取值最大化，以及以对抗方式分离的节点原始数据的特有表征和共识表征之间的第三互信息取值最小化，所述第二互信息为节点原始数据与节点对应的局部共识表征提取模型之间的互信息与节点原始数据与上一聚合轮次获得的全局共识表征聚合模型之间的互信息之和；根据每个节点对应的第二预设优化条件，更新每个节点的节点模型，其中，所述每个节点的节点模型包括节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型，所述第二预设优化条件为与节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型相关的损失函数取值最小化；即本发明实施例通过最大化节点原始数据与节点对应的局部共识表征提取模型之间的互信息与节点原始数据与上一聚合轮次获得的全局共识表征聚合模型之间的互信息之和、最大化每个节点对应的局部共识表征提取模型和上一聚合轮次获得的全局共识表征聚合模型的相似度，以及最小化以对抗方式分离的节点原始数据的特有表征和共识表征之间的第三互信息，实现了节点的共识表征和特有表征充分分离，并充分提取节点的共识表征并有效提取节点间共识表征，提高了全局模型的泛化能力。
为了更进一步了解本发明的实施例，图5为本发明实施例提供的一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的框图示意图；图6为本发明实施例提供的一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法的详细流程示意图，结合图5和图6，该个性化联邦学习包括如下步骤：
第1步：随机初始化每个节点的节点模型，节点模型输入为对应的训练数据D i 。
如图5所示，对于节点i的节点模型包括局部共识表征提取器
Figure 742071DEST_PATH_IMAGE056
、特有表征提取器
Figure 111872DEST_PATH_IMAGE057
，以及每个节点私有的预测器，该节点模型的输入数据为局部数据D i ，其中，
Figure 268047DEST_PATH_IMAGE058
可以提取D i 中的局部共识表征，
Figure 127419DEST_PATH_IMAGE059
可以提取出对应的节点特有表征。
本步骤中，以相同的权重随机初始化所有节点的节点模型，即以相同的权重随机初始化所有节点的特有表征提取器和局部共识表征提取器，以及初始化各节点对应的预测器。
第2步：判断当前轮次t是否小于预设聚合轮次T。
若是，向下执行第3步，若否，跳转到第10步结束训练。
具体来说，预设聚合轮次为T，当前轮次为t，当满足t<=T时向下执行第3步，并在每一轮次步骤执行完毕以后t=t+1；否则跳转到最后一步结束训练。
第3步：随机在K个节点中选择M（M<=K）个节点进行聚合更新。
第4步：在M个节点间传递各节点对应的特有表征提取器，计算各节点对应的聚合权重（又可称之为互信息相似权重）。
如图5所示，将选定的M个节点的特有表征提取器互相传递，计算不同节点的特有表征提取器对对于同一节点原始数据提取表征的互信息，根据互信息衡量不同节点模型的关注点是否相同，进而推断出节点间特有表征是否相似，为具备有更高属性相似的节点分配更高的聚合权重。
第5步：为每一个节点计算个性化的全局共识表征提取器。
具体来说，对于每个节点都执行如公式（2）的聚合方案，从而获得每个节点对应的全局共识表征提取器
Figure 736255DEST_PATH_IMAGE060
，实现了个性化联邦学习，如图5中的利用互信息相似权重进行个性化聚合，获得
Figure 644168DEST_PATH_IMAGE061
。
第6步：判断选中的节点的更新次数是否小于预设更新次数E。
若是，执行步骤7，若否，则执行步骤9，即传递各节点对应的局部共识表征提取器和特有表征提取器，然后返回到步骤2，确定是否进行下一聚合轮次的聚合优化。
第7步：采用第二互信息最大化和相似性约束，同时以对抗方式最小化节点特有表征和共识表征之间的第三互信息，更新节点的局部共识表征提取器和特有表征提取器。
参考图5所示，第二互信息为局部数据D i 与
Figure 654849DEST_PATH_IMAGE062
提取出的全局共识表征的互信息，再加上D i 与
Figure 622805DEST_PATH_IMAGE063
提取出的局部共识表征的互信息之和，为了获得最大化第二互信息，则最大化D i 与
Figure 282719DEST_PATH_IMAGE064
提取出的全局共识表征的互信息，且最大化D i 与
Figure 994323DEST_PATH_IMAGE063
提取出的局部共识表征的互信息；相似性约束为
Figure 125090DEST_PATH_IMAGE065
提取出的局部共识表征和
Figure 263947DEST_PATH_IMAGE066
提取出的全局共识表征的相似度取值最大化，并最小化节点特有表征和局部共识表征的互信息。也就是说，可以根据公式（6）对节点的局部公式表征提取器和特有表征提取器进行更新。
第8步：根据节点任务目标对节点模型进行更新。
具体来说，节点任务目标如公式（5）所示，对节点模型进行更新。
第9步：在节点间传递共识知识提取器和特有属性提取器。
具体来说，每个节点的预测器作为节点特有的个性化层被保留在节点处不进行聚合和传播。
第10步：结束训练。
综上，本发明实施例通过最大化互信息的方式，将节点原始数据表征解纠缠为特有表征和共识表征，通过聚合所有节点的局部共识表征获得的全局模型，具备良好的泛化能力；并通过特有表征提取模型在各节点间传播，为全局模型聚合时提供特有表征相似性加权方案，通过个性化聚合方案减轻聚合模型共识表征薄弱的问题，消除巨大数据属性差异可能造成的负向迁移，同时通过各节点特性表征模型关注重点不同传播多样性。每个特性提取模型都会关注到数据的不同属性，通过传播这些模型尝试让单个数据节点寻找其他节点的特有表征，可以潜在的发现数据的属性相似性，可以有效的补充全局模型的性能，同时利于相似属性节点的模型聚合，提升联邦学习个性化和性能，同时增强了框架的可解释性和泛化性。
另外，需要说明的是，本发明实施例可以应用到生物特征识别领域。在生物特征识别领域中，由于不同设备、环境、人员采集获得的数据具有高度的属性异质性，比如在不同大陆采集的生物数据中人种分布具有较大差异。当采用传统方式在基于原始数据隐私安全不泄露的基础上进行分布式的联合训练时，这种属性差异性导致最终全局模型不具备很好的泛化能力和个性化能力。本发明实施例通过共识表征提取和多样性传播的解纠缠个性化联邦学习算法框架，将每个节点中生物数据的共识表征和特有表征进行充分的分离，并进行个性化加权聚合和训练，有效的提升了每个节点生物特征识别的准确性，同时提升了共识聚合网络的泛化能力。
本发明实施例还提供一种共识表征提取和多样性传播的解纠缠个性化联邦学习系统，可参考图1所示，该个性化联邦学习系统包括多个节点；其中，当前节点用于分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型。
作为本发明的可选实施例，所述聚合权重Wji通过如下公式获得：
Figure 644113DEST_PATH_IMAGE067
其中，所述
Figure 159408DEST_PATH_IMAGE028
表示所述其他节点中的任一节点j所对应的特有表征提取模型提取出的当前节点i的表征；
Figure 144682DEST_PATH_IMAGE029
表示当前节点i的特有表征提取模型提取出的当前节点i的表征；I表示互信息计算，K表示所述个性化联邦学习系统中的节点数量；
所述全局共识表征聚合模型
Figure 454440DEST_PATH_IMAGE030
通过如下公式获得：
Figure 321902DEST_PATH_IMAGE004
其中，
Figure 375309DEST_PATH_IMAGE006
表示所述其他节点中的任一节点j所对应的局部共识表征提取模型。
作为本发明的可选实施例，所述系统还用于从所述多个节点中随机选取至少两个节点，所述至少两个节点用于执行所述步骤S1-步骤S3。
作为本发明的可选实施例，所述系统还用于判断迭代执行所述步骤S0-步骤S3的次数是否达到预设聚合轮次；若否，则继续返回执行步骤S0。
作为本发明的可选实施例，所述系统中的每个节点还根据每个节点对应的第一预设优化条件，更新每个节点对应的局部共识表征提取模型和特有表征提取模型；其中，所述第一预设优化条件包括第二互信息取值最大化、每个节点对应的局部共识表征提取模型和上一聚合轮次获得的全局共识表征聚合模型的相似度取值最大化，以及以对抗方式分离的节点原始数据的特有表征和共识表征之间的第三互信息取值最小化，所述第二互信息为节点原始数据与节点对应的局部共识表征提取模型之间的互信息与节点原始数据与上一聚合轮次获得的全局共识表征聚合模型之间的互信息之和；根据每个节点对应的第二预设优化条件，更新每个节点的节点模型，其中，所述每个节点的节点模型包括节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型，所述第二预设优化条件为与节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型相关的损失函数取值最小化。
作为本发明的可选实施例，所述系统中的每个节点还用于判断迭代执行所述步骤S4、步骤S5的次数是否达到预设更新次数；若是，则执行所述步骤S1；若否，则返回继续执行步骤S4。
作为本发明的可选实施例，所述第一预设优化条件L如以下公式：
Figure 215089DEST_PATH_IMAGE018
其中，
Figure 695749DEST_PATH_IMAGE019
表示相似度权重、
Figure 253769DEST_PATH_IMAGE020
表示第三互信息权重；
Figure 907604DEST_PATH_IMAGE068
表示第二互信息；
Figure 867470DEST_PATH_IMAGE022
表示通过余弦公式获得相似度；
Figure 519031DEST_PATH_IMAGE055
表示第三互信息。
本发明实施例提供的共识表征提取和多样性传播的解纠缠个性化联邦学习系统，其实现原理和技术效果与上述实施例类似，此处不再赘述。
如图7所示，本发明实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信，
存储器113，用于存放计算机程序；
在本发明一个实施例中，处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的共识表征提取和多样性传播的解纠缠个性化联邦学习方法的步骤。
上述存储器113可以是诸如闪存、EEPROM（电可擦除可编程只读存储器）、EPROM、硬盘或者ROM之类的电子存储器。存储器113具有用于执行上述方法中的任何方法步骤的程序代码的存储空间。例如，用于程序代码的存储空间可以包括分别用于实现上面的方法中的各个步骤的各个程序代码。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，光盘（CD）、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为便携式或者固定存储单元。该存储单元可以具有与上述电子设备中的存储器113类似布置的存储段或者存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括用于执行根据本公开的实施例的方法步骤的程序，即可以由例如诸如111之类的处理器读取的代码，这些代码当由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的共识表征提取和多样性传播的解纠缠个性化联邦学习方法的步骤。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种共识表征提取和多样性传播的解纠缠个性化联邦学习方法，其特征在于，应用于个性化联邦学习系统，所述个性化联邦学习系统包括多个节点；所述方法包括如下步骤：
步骤S1、当前节点分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；
步骤S2、当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；
步骤S3、当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型；
其中，所述步骤S2中的聚合权重通过如下公式获得：
Figure 29399DEST_PATH_IMAGE001
其中，Wji表示所述其他节点中的任一节点j所对应的聚合权重；所述
Figure 911905DEST_PATH_IMAGE002
表示所述其他节点中的任一节点j所对应的特有表征提取模型E s j 提取出的当前节点i的当前节点数据x i 的表征；
Figure 264389DEST_PATH_IMAGE003
表示当前节点i的特有表征提取模型E s i 提取出的当前节点i的当前节点数据x i 的表征；I表示互信息计算函数，K表示所述个性化联邦学习系统中的节点数量；E s k （x i ）表示所述个性化联邦学习系统中的节点k的特有表征提取模型E s k 提取出的当前节点i的当前节点数据x i 的表征，其中，节点k的取值为个性化联邦学习系统中的节点1~K中的任一个。
2.根据权利要求1所述的方法，其特征在于，
所述步骤S3中的全局共识表征聚合模型通过如下公式获得：
Figure 206937DEST_PATH_IMAGE004
其中，
Figure 707188DEST_PATH_IMAGE005
表示所述当前节点i对应的全局共识表征聚合模型；
Figure 127805DEST_PATH_IMAGE006
表示所述其他节点中的任一节点j所对应的局部共识表征提取模型。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤S1之前还包括：
步骤S0、从所述多个节点中随机选取至少两个节点，所述至少两个节点用于执行所述步骤S1-步骤S3。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
判断迭代执行所述步骤S0-步骤S3的次数是否达到预设聚合轮次；
若否，则继续返回执行步骤S0。
5.根据权利要求4所述的方法，其特征在于，所述步骤S0之前还包括：
步骤S4、根据每个节点对应的第一预设优化条件，更新每个节点对应的局部共识表征提取模型和特有表征提取模型；其中，所述第一预设优化条件包括第二互信息取值最大化、每个节点对应的局部共识表征提取模型和上一聚合轮次获得的全局共识表征聚合模型的相似度取值最大化，以及第三互信息取值最小化；
其中，所述第二互信息为节点原始数据与节点对应的局部共识表征提取模型提取得到的关于所述节点原始数据的表征之间的互信息和节点原始数据与上一聚合轮次获得的全局共识表征聚合模型提取得到的关于所述节点原始数据的表征之间的互信息的加和；
所述第二互信息满足以下表达式：
Figure 600375DEST_PATH_IMAGE007
，
其中，
Figure 448245DEST_PATH_IMAGE008
表示所述个性化联邦学习系统中的每个当前节点i对应的第二互信息，
Figure 937258DEST_PATH_IMAGE009
表示当前节点i的节点原始数据X与当前节点i对应的局部共识表征提取模型
Figure 161566DEST_PATH_IMAGE010
提取出来的关于节点原始数据X的表征
Figure 488642DEST_PATH_IMAGE011
之间的互信息；
Figure 772993DEST_PATH_IMAGE012
表示当前节点i的节点原始数据X与当前节点i对应的上一聚合轮次获得的全局共识表征聚合模型
Figure 247836DEST_PATH_IMAGE013
提取出来的关于节点原始数据X的表征
Figure 10256DEST_PATH_IMAGE014
之间的互信息；
所述第三互信息为以对抗方式分离的节点原始数据的特有表征和共识表征之间的互信息；
所述第三互信息满足以下表达式：
Figure 191839DEST_PATH_IMAGE015
，
其中，L client 表示所述个性化联邦学习系统中的每个当前节点i对应的第三互信息；D（）表示相似度计算函数；P（E s i）表示每个当前节点i的特有表征的分布函数；P（E c i）表示每个当前节点i的共识表征的分布函数；D（E s i，E c i）表示每个当前节点i的特有表征和共识表征之间的相似度；P（E s i，E c i）表示每个当前节点i的特有表征和共识表征的联合分布函数；
Figure 647091DEST_PATH_IMAGE016
表示计算两个独立分布P（E s i）和P（E c i）的期望；
Figure 546914DEST_PATH_IMAGE017
表示计算P（E s i，E c i）的期望；
步骤S5、根据每个节点对应的第二预设优化条件，更新每个节点的节点模型，其中，所述每个节点的节点模型包括节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型，所述第二预设优化条件为与节点对应的局部共识表征提取模型、特有表征提取模型以及节点私有预测模型相关的损失函数取值最小化。
6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
判断迭代执行所述步骤S4、步骤S5的次数是否达到预设更新次数；
若是，则执行所述步骤S1；若否，则返回继续执行步骤S4。
7.根据权利要求6所述的方法，其特征在于，所述第一预设优化条件L如以下公式：
Figure 175341DEST_PATH_IMAGE018
其中，
Figure 211430DEST_PATH_IMAGE019
表示相似度权重、
Figure 837584DEST_PATH_IMAGE020
表示第三互信息权重；
Figure 224703DEST_PATH_IMAGE021
表示第二互信息；
Figure 391242DEST_PATH_IMAGE022
表示通过余弦公式获得相似度；
Figure 547417DEST_PATH_IMAGE023
表示第三互信息。
8.一种共识表征提取和多样性传播的解纠缠个性化联邦学习系统，其特征在于，所述个性化联邦学习系统包括多个节点；
其中，当前节点用于分别接收其他节点各自对应的局部共识表征提取模型和特有表征提取模型；
当前节点使用其他节点特有表征模型分别提取当前节点数据的表征，并计算不同组表征之间的第一互信息，通过第一互信息大小确定节点之间数据分布相似性，并根据所述第一互信息确定所述其他节点各自对应的聚合权重；
当前节点根据所述其他节点各自对应的聚合权重、所述其他节点各自对应的局部共识表征提取模型，获得所述当前节点对应的全局共识表征聚合模型；
其中，所述聚合权重通过如下公式获得：
Figure 344471DEST_PATH_IMAGE001
其中，Wji表示所述其他节点中的任一节点j所对应的聚合权重；所述
Figure 953307DEST_PATH_IMAGE002
表示所述其他节点中的任一节点j所对应的特有表征提取模型E s j 提取出的当前节点i的当前节点数据x i 的表征；
Figure 126800DEST_PATH_IMAGE003
表示当前节点i的特有表征提取模型E s i 提取出的当前节点i的当前节点数据x i 的表征；I表示互信息计算函数，K表示所述个性化联邦学习系统中的节点数量；E s k （x i ）表示所述个性化联邦学习系统中的节点k的特有表征提取模型E s k 提取出的当前节点i的当前节点数据x i 的表征，其中，节点k的取值为个性化联邦学习系统中的节点1~K中的任一个。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-7任一项所述的共识表征提取和多样性传播的解纠缠个性化联邦学习方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的共识表征提取和多样性传播的解纠缠个性化联邦学习方法的步骤。
CN202111456896.0A 2021-12-02 2021-12-02 共识表征提取和多样性传播的解纠缠个性化联邦学习方法 Active CN113869528B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202111456896.0A CN113869528B (zh) 2021-12-02 2021-12-02 共识表征提取和多样性传播的解纠缠个性化联邦学习方法
PCT/CN2022/135821 WO2023098790A1 (zh) 2021-12-02 2022-12-01 共识表征提取和多样性传播的解纠缠个性化联邦学习方法
US18/731,260 US12124963B2 (en) 2021-12-02 2024-06-01 Disentangled personalized federated learning method via consensus representation extraction and diversity propagation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111456896.0A CN113869528B (zh) 2021-12-02 2021-12-02 共识表征提取和多样性传播的解纠缠个性化联邦学习方法

Publications (2)

Publication Number Publication Date
CN113869528A CN113869528A (zh) 2021-12-31
CN113869528B true CN113869528B (zh) 2022-03-18

Family

ID=78985630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111456896.0A Active CN113869528B (zh) 2021-12-02 2021-12-02 共识表征提取和多样性传播的解纠缠个性化联邦学习方法

Country Status (2)

Country Link
CN (1) CN113869528B (zh)
WO (1) WO2023098790A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113869528B (zh) * 2021-12-02 2022-03-18 中国科学院自动化研究所 共识表征提取和多样性传播的解纠缠个性化联邦学习方法
CN114863169B (zh) * 2022-04-27 2023-05-02 电子科技大学 一种结合并行集成学习和联邦学习的图像分类方法
CN117195279B (zh) * 2023-07-25 2024-08-27 南京航空航天大学 一种基于可解释性联邦学习数据隐私保护的方法
CN117829274B (zh) * 2024-02-29 2024-05-24 浪潮电子信息产业股份有限公司 模型融合方法、装置、设备、联邦学习系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807122A (zh) * 2019-10-18 2020-02-18 浙江大学 一种基于深度互信息约束的图文跨模态特征解纠缠方法
CN113240128A (zh) * 2021-04-07 2021-08-10 睿蜂群(北京)科技有限公司 数据不平衡的协同训练方法、装置、电子设备及存储介质
WO2021179196A1 (zh) * 2020-03-11 2021-09-16 Oppo广东移动通信有限公司 一种基于联邦学习的模型训练方法、电子设备及存储介质
CN113627332A (zh) * 2021-08-10 2021-11-09 宜宾电子科技大学研究院 一种基于梯度控制联邦学习的分心驾驶行为识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150242760A1 (en) * 2014-02-21 2015-08-27 Microsoft Corporation Personalized Machine Learning System
CN111369042B (zh) * 2020-02-27 2021-09-24 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN113222031B (zh) * 2021-05-19 2022-04-12 浙江大学 基于联邦个性化学习的光刻热区检测方法
CN113435604B (zh) * 2021-06-16 2024-05-07 清华大学 一种联邦学习优化方法及装置
CN113516255B (zh) * 2021-07-28 2024-09-03 深圳前海微众银行股份有限公司 联邦学习建模优化方法、设备、可读存储介质及程序产品
CN113869528B (zh) * 2021-12-02 2022-03-18 中国科学院自动化研究所 共识表征提取和多样性传播的解纠缠个性化联邦学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807122A (zh) * 2019-10-18 2020-02-18 浙江大学 一种基于深度互信息约束的图文跨模态特征解纠缠方法
WO2021179196A1 (zh) * 2020-03-11 2021-09-16 Oppo广东移动通信有限公司 一种基于联邦学习的模型训练方法、电子设备及存储介质
CN113240128A (zh) * 2021-04-07 2021-08-10 睿蜂群(北京)科技有限公司 数据不平衡的协同训练方法、装置、电子设备及存储介质
CN113627332A (zh) * 2021-08-10 2021-11-09 宜宾电子科技大学研究院 一种基于梯度控制联邦学习的分心驾驶行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FEDERATED ADVERSARIAL DOMAIN ADAPTATION;Xingchao Peng 等;《ICLR 2020》;20191221;第1-19页 *

Also Published As

Publication number Publication date
WO2023098790A1 (zh) 2023-06-08
US20240320513A1 (en) 2024-09-26
CN113869528A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113869528B (zh) 共识表征提取和多样性传播的解纠缠个性化联邦学习方法
CN112181666B (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法
CN111754000A (zh) 质量感知的边缘智能联邦学习方法及系统
CN110852447B (zh) 元学习方法和装置、初始化方法、计算设备和存储介质
US11715044B2 (en) Methods and systems for horizontal federated learning using non-IID data
CN109460793A (zh) 一种节点分类的方法、模型训练的方法及装置
CN114514519A (zh) 使用异构模型类型和架构的联合学习
CN113902473B (zh) 业务预测系统的训练方法及装置
WO2023036184A1 (en) Methods and systems for quantifying client contribution in federated learning
CN115344883A (zh) 一种用于处理不平衡数据的个性化联邦学习方法和装置
CN114385376B (zh) 一种异构数据下边缘侧联邦学习的客户端选择方法
CN117349672B (zh) 基于差分隐私联邦学习的模型训练方法、装置及设备
Long et al. Fedsiam: Towards adaptive federated semi-supervised learning
CN116339932A (zh) 资源调度方法、装置和服务器
CN113256335A (zh) 数据筛选方法、多媒体数据的投放效果预测方法及装置
CN112990387B (zh) 模型优化方法、相关设备及存储介质
CN114490618A (zh) 基于蚁狮算法的数据填补方法、装置、设备及存储介质
CN114693993A (zh) 一种图像处理和图像分类方法、装置、设备及存储介质
Singhal et al. Greedy Shapley Client Selection for Communication-Efficient Federated Learning
CN113838527B (zh) 一种靶基因预测模型的生成方法及装置、存储介质
CN114385359B (zh) 一种物联网云边端任务时序协同方法
US12124963B2 (en) Disentangled personalized federated learning method via consensus representation extraction and diversity propagation
CN104965812B (zh) 一种深层模型处理方法及装置
CN110705593B (zh) 训练关系网络嵌入模型和确定使用概率的方法及装置
CN110782478A (zh) 运动合成装置和运动合成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant