CN113902131B - 抵抗联邦学习中歧视传播的节点模型的更新方法 - Google Patents

抵抗联邦学习中歧视传播的节点模型的更新方法 Download PDF

Info

Publication number
CN113902131B
CN113902131B CN202111472023.9A CN202111472023A CN113902131B CN 113902131 B CN113902131 B CN 113902131B CN 202111472023 A CN202111472023 A CN 202111472023A CN 113902131 B CN113902131 B CN 113902131B
Authority
CN
China
Prior art keywords
node
data
distribution
model
ith
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111472023.9A
Other languages
English (en)
Other versions
CN113902131A (zh
Inventor
骆正权
王云龙
孙哲南
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202111472023.9A priority Critical patent/CN113902131B/zh
Publication of CN113902131A publication Critical patent/CN113902131A/zh
Application granted granted Critical
Publication of CN113902131B publication Critical patent/CN113902131B/zh
Priority to PCT/CN2022/135819 priority patent/WO2023103864A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本公开涉及一种抵抗联邦学习中歧视传播的节点模型的更新方法，上述方法包括：获取数据节点对应的节点模型；计算数据节点的训练数据对应的类别特征分布均值和数量比率，根据节点模型、类别特征分布均值和数量比率，计算分布加权聚合模型；根据节点模型和分布加权聚合模型计算数据节点对应的正则化项；计算数据节点对应的类别特征分布方差，根据类别特征分布均值和类别特征分布方差，使用跨域特征生成器计算数据节点所需的特征分布层面对应的类别均衡补充项；根据分布加权聚合模型、正则化项和类别均衡补充项更新节点模型。采用上述技术手段，解决现有技术中，缺少解决联邦学习中歧视传播的方案的问题。

Description

抵抗联邦学习中歧视传播的节点模型的更新方法
技术领域
本公开涉及人工智能领域，尤其涉及一种抵抗联邦学习中歧视传播的节点模型的更新方法。
背景技术
在联邦学习中，个性化联邦学习更关注于训练后的模型对于任务整体性能提升的作用，而对于性能差异或者说是数据歧视问题并没有投入过多关注。同时对于引入过多特异性数据模型所引入的歧视传播，目前并没有相应的解决方法。歧视传播（bias transfer）由于交互的节点数据分布差异过大或者其数据具备特殊属性造成的局部性能下降或者性能偏差。联邦学习(federated learning)指不接触参与学习节点原始数据的分布式学习方案。
在实现本公开构思的过程中，发明人发现相关技术中至少存在如下技术问题：缺少解决联邦学习中歧视传播的方案的问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开的实施例提供了一种抵抗联邦学习中歧视传播的节点模型的更新方法，以至少解决现有技术中，缺少解决联邦学习中歧视传播的方案的问题。
本公开的目的是通过以下技术方案实现的：
第一方面，本公开的实施例提供了一种抵抗联邦学习中歧视传播的节点模型的更新方法，包括：获取数据节点对应的节点模型；计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。
在一个示例性实施例中，计算所述数据节点对应的类别特征分布均值
Figure 421440DEST_PATH_IMAGE001
、数量比率
Figure 252736DEST_PATH_IMAGE002
和类别特征分布方差
Figure DEST_PATH_IMAGE003
，包括：
Figure 425092DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE005
Figure 501501DEST_PATH_IMAGE006
其中，i为所述数据节点的序号，j为所述数据节点的样本数据的类别的序号，所述节点模型包括：特征提取模块fE和预测模块fP，第i个节点模型的特征提取模块fE和预测模块fP分别对应的模型参数为
Figure DEST_PATH_IMAGE007
和
Figure 396907DEST_PATH_IMAGE008
，
Figure DEST_PATH_IMAGE009
为第i个数据节点的第j种样本数据的输入向量，
Figure 510356DEST_PATH_IMAGE010
为第i个数据节点的第j种样本数据的输出向量，f()为所述节点模型对应的函数，l()为所述节点模型对应的损失函数，ni为第i个节点模型所具有的所有的样本数据，T表示总共训练的轮次，
Figure DEST_PATH_IMAGE011
是节点i的训练数据集，
Figure 170008DEST_PATH_IMAGE012
表示选取的样本数据都属于样本类别c下的数据，样本数据有多个样本类别。
在一个示例性实施例中，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型，包括：根据所述类别特征分布均值和所述数量比率计算所述数据节点与其他数据节点之间对应的分布相似度距离；从多个数据节点对应的多个节点模型中，选出第一预设数量的节点模型，根据所述分布相似度距离和所述第一预设数量的节点模型，计算分布加权聚合模型。
在一个示例性实施例中，根据所述类别特征分布均值和所述数量比率计算所述数据节点对应的分布相似度距离，包括：
定义
Figure DEST_PATH_IMAGE013
为数据节点P的第i种样本数据到数据节点Q第j种样本数据的距离；
定义fij满足如下公式：
Figure 784529DEST_PATH_IMAGE014
通过如下公式计算数据节点P的第i种样本数据到数据节点Q的j种样本数据对应的分布相似度距离EMDPQ：
Figure DEST_PATH_IMAGE015
；
其中，nP和nQ分别为第P个数据节点和第Q个数据节点所具有的所有的样本数据，
Figure 111605DEST_PATH_IMAGE016
为第Q个数据节点的第j种样本数据的数量比率，
Figure DEST_PATH_IMAGE017
第P个数据节点的第i种样本数据的数量比率，
Figure 68060DEST_PATH_IMAGE018
为第P个数据节点的第i种样本数据的类别特征分布均值，
Figure DEST_PATH_IMAGE019
为第Q个数据节点的第j种样本数据的类别特征分布均值，|| ||表示求二范数运算。
在一个示例性实施例中，从多个数据节点对应的多个节点模型中，选出第一预设数量的节点模型，根据所述分布相似度距离和所述第一预设数量的节点模型，计算分布加权聚合模型，包括：
通过如下公式计算第i个数据节点对应的分布加权聚合模型
Figure 215007DEST_PATH_IMAGE020
：
Figure DEST_PATH_IMAGE021
；
其中，λ为常数，θi为第i个节点模型对应的模型参数，θj为第j个节点模型对应的模型参数，EMDji为第i个数据节点与第j个数据节点对应的分布相似度距离，K为第一预设数量。
在一个示例性实施例中，根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项，包括：
通过如下公式计算第i个数据节点对应的在第t+1次更新中的正则化项
Figure 1261DEST_PATH_IMAGE022
：
Figure DEST_PATH_IMAGE023
其中，
Figure 917264DEST_PATH_IMAGE024
为第i个数据节点对应的分布加权聚合模型，
Figure DEST_PATH_IMAGE025
为第i个数据节点对应的第t+1次更新中的节点模型，
Figure 261265DEST_PATH_IMAGE026
为第i个数据节点对应的第t次更新中的节点模型，||||表示求二范数运算。
在一个示例性实施例中，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点对应的类别均衡补充项，包括：
通过如下公式计算第i个数据节点对应的所述类别均衡补充项
Figure DEST_PATH_IMAGE027
：
Figure 629929DEST_PATH_IMAGE028
其中，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure DEST_PATH_IMAGE029
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 586253DEST_PATH_IMAGE030
为第i个数据节点的关于输出向量y的类别特征分布方差，K为第一预设数量，第i个节点模型的预测模块fP对应的模型参数为
Figure DEST_PATH_IMAGE031
，fP()分别为所述节点模型的预测模块fP对应的函数，
Figure 576337DEST_PATH_IMAGE032
表示y满足
Figure DEST_PATH_IMAGE033
分布，
Figure 202490DEST_PATH_IMAGE034
表示Z满足
Figure DEST_PATH_IMAGE035
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y。
在一个示例性实施例中，获取数据节点对应的节点模型之后，所述方法还包括：初始化所述节点模型，并确认每一个所述数据节点对应的节点数据，执行如下循环：步骤一：确定当前轮次，在所述当前轮次小于等于第一预设轮次时，执行步骤二，在所述当前轮次大于第一预设轮次时，执行步骤八；步骤二：从所有的数据节点中确定第二预设数量的数据节点对应的节点模型；步骤三：计算每一个数据节点对应的类别特征分布均值和数量比率，根据每一个数据节点对应的节点模型、类别特征分布均值和数量比率，计算每一个数据节点对应的分布加权聚合模型；步骤四：使用每一个数据节点对应的所述分布加权聚合模型更新每个数据节点对应的节点模型；步骤五：根据每一个数据节点对应的节点模型和分布加权聚合模型计算每一个数据节点对应的正则化项；步骤六：计算每一个数据节点对应的类别特征分布方差，根据每一个数据节点对应的类别特征分布均值和类别特征分布方差，使用每个数据节点对应的跨域特征生成器计算每一个数据节点对应的类别均衡补充项；步骤七：获取每个数据节点对应的跨域特征生成器所对应的生成器数据，根据每一个数据节点对应的节点数据和生成器数据，使用模型优化公式更新每个数据节点对应的节点模型，并使用所述当前轮次加一的数值更新所述当前轮次，在所述当前轮次小于等于所述第一预设轮次时，执行步骤二，在所述当前轮次大于所述第一预设轮次时，执行步骤八，其中，更新每个数据节点对应的节点模型的次数为第二预设轮次；步骤八：根据生成器优化公式更新每个数据节点对应的跨域特征生成器，结束循环。
在一个示例性实施例中，所述模型优化公式：
Figure 58451DEST_PATH_IMAGE036
Figure DEST_PATH_IMAGE037
Figure 818465DEST_PATH_IMAGE038
其中，
Figure DEST_PATH_IMAGE039
为第i个数据节点对应的第t+1次更新中的节点模型，
Figure DEST_PATH_IMAGE041
为第i个数据节点对应的第t次更新中的节点模型，η为所述节点模型的学习率，
Figure 912323DEST_PATH_IMAGE042
是对
Figure DEST_PATH_IMAGE043
求
Figure 709378DEST_PATH_IMAGE044
的导数，
Figure DEST_PATH_IMAGE045
是关于
Figure 52634DEST_PATH_IMAGE046
的优化函数，
Figure DEST_PATH_IMAGE047
为第i个数据节点对应的在第t+1次更新中的正则化项，
Figure 792838DEST_PATH_IMAGE048
为第i个数据节点对应在第t+1次更新中的所述类别均衡补充项，α为所述跨域特征生成器的学习率，ni为第i个节点模型所具有的所有的样本数据，fE()和fP()分别为所述节点模型的特征提取模块fE和预测模块fP对应的函数，
Figure DEST_PATH_IMAGE049
与
Figure 741203DEST_PATH_IMAGE050
分别为第i个数据节点对应的第t+1次更新中的特征提取模块fE和预测模块fP，K为第一预设数量，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure DEST_PATH_IMAGE051
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 443579DEST_PATH_IMAGE052
为第i个数据节点的关于输出向量y的类别特征分布方差，
Figure 539711DEST_PATH_IMAGE009
为第i个数据节点的第j种样本数据的输入向量，
Figure DEST_PATH_IMAGE053
为第i个数据节点的第j种样本数据的输出向量，
Figure 140064DEST_PATH_IMAGE054
表示y满足
Figure 5251DEST_PATH_IMAGE033
分布，
Figure DEST_PATH_IMAGE055
表示Z满足
Figure 878529DEST_PATH_IMAGE056
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y，β是所述跨域特征生成器的超参数。
在一个示例性实施例中，所述生成器优化公式：
Figure DEST_PATH_IMAGE057
其中，
Figure 461958DEST_PATH_IMAGE058
为所述生成器，h()为非线性激活函数，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure 367465DEST_PATH_IMAGE029
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure DEST_PATH_IMAGE059
为第i个数据节点的关于输出向量y的类别特征分布方差，K为第一预设数量，第i个节点模型的预测模块fP对应的模型参数为
Figure 87160DEST_PATH_IMAGE060
，fP()分别为所述节点模型的预测模块fP对应的函数，
Figure DEST_PATH_IMAGE061
表示y满足
Figure 85334DEST_PATH_IMAGE033
分布，
Figure 156058DEST_PATH_IMAGE062
表示Z满足
Figure DEST_PATH_IMAGE063
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y。
第二方面，本公开的实施例提供了一种抵抗联邦学习中歧视传播的节点模型的更新装置，包括：获取模块，用于获取数据节点对应的节点模型；第一计算模块，用于计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；第二计算模块，用于根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；第三计算模块，用于计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；更新模块，用于根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。
第三方面，本公开的实施例提供了一种电子设备。上述电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现如上所述的节点模型的更新方法或图像处理的方法。
第四方面，本公开的实施例提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现如上所述的节点模型的更新方法或图像处理的方法。
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部：获取数据节点对应的节点模型；计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。因为，本公开实施例可以计算所述分布加权聚合模型、所述正则化项和所述类别均衡补充项，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型，因此，采用上述技术手段，可以解决现有技术中，缺少解决联邦学习中歧视传播的方案的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出了本公开实施例的一种抵抗联邦学习中歧视传播的节点模型的更新方法的流程图；
图2示意性示出了本公开实施例的一种计算节点模型的更新量的示意图；
图3示意性示出了本公开实施例的一种抵抗联邦学习中歧视传播的节点模型的更新装置的结构框图；
图4示意性示出了本公开实施例提供的一种电子设备的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本公开。需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
在本公开实施例中提供了一种抵抗联邦学习中歧视传播的节点模型的更新方法，图1示意性示出了本公开实施例的一种抵抗联邦学习中歧视传播的节点模型的更新方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，获取数据节点对应的节点模型；
步骤S104，计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；
步骤S106，根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；
步骤S108，计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；
步骤S110，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。
因为，本公开实施例可以计算所述分布加权聚合模型、所述正则化项和所述类别均衡补充项，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型，因此，采用上述技术手段，可以解决现有技术中，缺少解决联邦学习中歧视传播的方案的问题。
本公开实施例利用对抗的弱歧视知识提取方法和类别性能补充加权的模型聚合方案，消除歧视传播并在保证性能提升的基础上减轻了模型在不同类别性能的差异，减轻了模型歧视。
在生物特征领域，由于不同的数据集在采集时搜集到的数据关于人种、性别、年龄分布方面都有较大的差异，这些存在数据偏差的数据集在联合训练时，节点模型会学习到具有歧视性的参数，而且这种歧视会顺着联合学习的节点进行扩散从而破坏其他节点的公平性。因此歧视传播在生物特征识别领域，是非常突出的。本公开实施例提出的节点模型的更新方法，可以应用于生物特征识别，针对不同设备地区数据集在采集时搜集到的数据关于人种、性别、年龄分布方面存在较大的差异，有效克服了分布训练时这种差异造成的性能歧视传播，减轻了歧视对各个数据节点的性能的影响。
在一个可选实施例中，计算所述数据节点对应的类别特征分布均值、数量比率和类别特征分布方差，包括：
Figure 943886DEST_PATH_IMAGE064
Figure DEST_PATH_IMAGE065
Figure 783666DEST_PATH_IMAGE066
其中，
Figure DEST_PATH_IMAGE067
为类别特征分布均值，
Figure 654539DEST_PATH_IMAGE068
为数量比率，
Figure 212559DEST_PATH_IMAGE069
为类别特征分布方差。
i为所述数据节点的序号，j为所述数据节点的样本数据的类别的序号，所述节点模型包括：特征提取模块fE和预测模块fP，第i个节点模型的特征提取模块fE和预测模块fP分别对应的模型参数为
Figure 741760DEST_PATH_IMAGE070
和
Figure 436047DEST_PATH_IMAGE071
，
Figure 353187DEST_PATH_IMAGE072
为第i个数据节点的第j种样本数据的输入向量，
Figure 867345DEST_PATH_IMAGE073
为第i个数据节点的第j种样本数据的输出向量，f()为所述节点模型对应的函数，l()为所述节点模型对应的损失函数，ni为第i个节点模型所具有的所有的样本数据，T表示总共训练的轮次，
Figure 262554DEST_PATH_IMAGE074
是节点i的训练数据集，
Figure 983253DEST_PATH_IMAGE075
表示选取的样本数据都属于样本类别c下的数据，样本数据有多个样本类别。
需要说明的是，因为本公开涉及大量的基于数学原理的计算，因此使用打了大量的字符，造成同一个字符在不同实施例中表示不同的含义。比如i在不同的实施例中都表示第几个的意思，但是表示的对象不同，因为在数学上，i在同一个计算中，可以或者常常表示不同的对象是第几个的意思，所以本公开对字符的使用是同于数学上字符的表示习惯，同时，各种字符在各自的语境中也是清楚的。
Figure 805715DEST_PATH_IMAGE072
为第i个数据节点的第j种样本数据的输入向量，
Figure 807169DEST_PATH_IMAGE073
为第i个数据节点的第j种样本数据的输出向量，
Figure 6070DEST_PATH_IMAGE076
表示训练数据集
Figure 674948DEST_PATH_IMAGE074
中的一条数据，该数据为第i个数据节点的第j种样本数据。
在步骤S104中，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型，包括：根据所述类别特征分布均值和所述数量比率计算所述数据节点与其他数据节点之间对应的分布相似度距离；从多个数据节点对应的多个节点模型中，选出第一预设数量的节点模型，根据所述分布相似度距离和所述第一预设数量的节点模型，计算分布加权聚合模型。
本公开实施例是一种基于分布相似性加权的模型聚合方法，消除了联邦模型单一全局聚合模型无法有效应对节点数据差异化分布的情况，通过为每一个节点提供一种差异化的聚合模型更符合其自身分布要求，在满足个性化的需求同时有效提升了节点性能，减轻了分布差异过大节点引入了严重的歧视传播。
在步骤S104中，根据所述类别特征分布均值和所述数量比率计算所述数据节点对应的分布相似度距离，包括：
定义
Figure 58525DEST_PATH_IMAGE077
为数据节点P的第i种样本数据到数据节点Q第j种样本数据的距离；
定义fij满足如下公式：
Figure 812855DEST_PATH_IMAGE078
通过如下公式计算数据节点P的第i种样本数据到数据节点Q的j种样本数据对应的分布相似度距离EMDPQ：
Figure 549866DEST_PATH_IMAGE015
；
其中，nP和nQ分别为第P个数据节点和第Q个数据节点所具有的所有的样本数据，
Figure 761667DEST_PATH_IMAGE016
为第Q个数据节点的第j种样本数据的数量比率，
Figure 191512DEST_PATH_IMAGE079
第P个数据节点的第i种样本数据的数量比率，
Figure 433137DEST_PATH_IMAGE080
为第P个数据节点的第i种样本数据的类别特征分布均值，
Figure 708261DEST_PATH_IMAGE081
为第Q个数据节点的第j种样本数据的类别特征分布均值，||||表示求二范数运算。
Figure 86152DEST_PATH_IMAGE077
为数据节点P的第i种样本数据到数据节点Q第j种样本数据的距离，可以理解为节点P第i类别中心到节点Q第j类别中心的距离。
在步骤S104中，从多个数据节点对应的多个节点模型中，选出第一预设数量的节点模型，根据所述分布相似度距离和所述第一预设数量的节点模型，计算分布加权聚合模型，包括：
通过如下公式计算第i个数据节点对应的分布加权聚合模型
Figure 421319DEST_PATH_IMAGE020
：
Figure 150240DEST_PATH_IMAGE082
；
其中，λ为常数，θi为第i个节点模型对应的模型参数，θj为第j个节点模型对应的模型参数，EMDji为第i个数据节点与第j个数据节点对应的分布相似度距离，K为第一预设数量。
在步骤S106中，根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项，包括：
通过如下公式计算第i个数据节点对应的在第t+1次更新中的正则化项
Figure 619268DEST_PATH_IMAGE083
：
Figure 117245DEST_PATH_IMAGE023
其中，
Figure 888892DEST_PATH_IMAGE084
为第i个数据节点对应的分布加权聚合模型，
Figure 777214DEST_PATH_IMAGE085
为第i个数据节点对应的第t+1次更新中的节点模型，
Figure 659719DEST_PATH_IMAGE086
为第i个数据节点对应的第t次更新中的节点模型，
|| ||表示求二范数运算。
本公开实施例是一种在模型更新中增加正则化项，可以有效控制节点模型在更新时更加靠近节点分布自身，消除了聚合模型所对应的数据潜在分布与节点所需数据分布差异带来的模型偏移，有效减轻了潜在聚合分布可能会引入的歧视传播。
在步骤S108中，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点对应的类别均衡补充项，包括：
通过如下公式计算第i个数据节点对应的所述类别均衡补充项
Figure 12203DEST_PATH_IMAGE087
：
Figure 689172DEST_PATH_IMAGE088
其中，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure 127106DEST_PATH_IMAGE029
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 547724DEST_PATH_IMAGE089
为第i个数据节点的关于输出向量y的类别特征分布方差，K为第一预设数量，第i个节点模型的预测模块fP对应的模型参数为
Figure 909041DEST_PATH_IMAGE071
，fP()分别为所述节点模型的预测模块fP对应的函数，
Figure 22491DEST_PATH_IMAGE090
表示y满足
Figure 947722DEST_PATH_IMAGE033
分布，
Figure 906450DEST_PATH_IMAGE091
表示Z满足
Figure 967947DEST_PATH_IMAGE035
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y。
因为
Figure 252298DEST_PATH_IMAGE035
分布、
Figure 55038DEST_PATH_IMAGE033
分布和真实分布都是本领域常用的数学分布，不再解释。Ê表示根据部分数据点样本计算得到的估计均值，其中，Ê使用到的部分数据点样本也是满足真实分布的，ε是所述跨域特征生成器的参数，在所述跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项，会使用到ε。
本公开实施例是一种基于轻量级类分布采样跨域特征生成器，根据计算得到的类别均衡补充项更新节点模型，补充性的生成了由于节点类别不均衡和类间数据分布差异性可能造成的类间性能歧视，同时通过足量的特征点补充可以有效提升节点由于数据倾斜（部分类别数据量不足）造成的节点类间性能歧视。
在步骤S102之后，也就是获取数据节点对应的节点模型之后，所述方法还包括：初始化所述节点模型，并确认每一个所述数据节点对应的节点数据，执行如下循环：步骤一：确定当前轮次，在所述当前轮次小于等于第一预设轮次时，执行步骤二，在所述当前轮次大于第一预设轮次时，执行步骤八；步骤二：从所有的数据节点中确定第二预设数量的数据节点对应的节点模型；步骤三：计算每一个数据节点对应的类别特征分布均值和数量比率，根据每一个数据节点对应的节点模型、类别特征分布均值和数量比率，计算每一个数据节点对应的分布加权聚合模型；步骤四：使用每一个数据节点对应的所述分布加权聚合模型更新每个数据节点对应的节点模型；步骤五：根据每一个数据节点对应的节点模型和分布加权聚合模型计算每一个数据节点对应的正则化项；步骤六：计算每一个数据节点对应的类别特征分布方差，根据每一个数据节点对应的类别特征分布均值和类别特征分布方差，使用每个数据节点对应的跨域特征生成器计算每一个数据节点对应的类别均衡补充项；步骤七：获取每个数据节点对应的跨域特征生成器所对应的生成器数据，根据每一个数据节点对应的节点数据和生成器数据，使用模型优化公式更新每个数据节点对应的节点模型，并使用所述当前轮次加一的数值更新所述当前轮次，在所述当前轮次小于等于所述第一预设轮次时，执行步骤二，在所述当前轮次大于所述第一预设轮次时，执行步骤八，其中，更新每个数据节点对应的节点模型的次数为第二预设轮次；步骤八：根据生成器优化公式更新每个数据节点对应的跨域特征生成器，结束循环。
上述方案，可以理解为：步骤一是为了全局更新判断条件，步骤二局部更新判断条件，步骤三是分布加权聚合模型的计算，步骤四是使用分布加权聚合模型更新节点模型，步骤五是正则化项的计算，步骤六是类别均衡补充项的计算，步骤七是判断节点模型更新是否结束，步骤八是更新跨域特征生成器。
所述模型优化公式：
Figure 83037DEST_PATH_IMAGE092
Figure 264619DEST_PATH_IMAGE093
Figure 205025DEST_PATH_IMAGE094
其中，
Figure 839268DEST_PATH_IMAGE095
为第i个数据节点对应的第t+1次更新中的节点模型，
Figure 405379DEST_PATH_IMAGE096
为第i个数据节点对应的第t次更新中的节点模型，η为所述节点模型的学习率，
Figure 707047DEST_PATH_IMAGE097
是对
Figure 962229DEST_PATH_IMAGE098
求
Figure 349348DEST_PATH_IMAGE099
的导数，
Figure 719149DEST_PATH_IMAGE100
是关于
Figure 344166DEST_PATH_IMAGE101
的优化函数，
Figure 141220DEST_PATH_IMAGE102
为第i个数据节点对应的在第t+1次更新中的正则化项，
Figure 750056DEST_PATH_IMAGE103
为第i个数据节点对应在第t+1次更新中的所述类别均衡补充项，α为所述跨域特征生成器的学习率，ni为第i个节点模型所具有的所有的样本数据，fE()和fP()分别为所述节点模型的特征提取模块fE和预测模块fP对应的函数，
Figure 313762DEST_PATH_IMAGE104
与
Figure 324443DEST_PATH_IMAGE105
分别为第i个数据节点对应的第t+1次更新中的特征提取模块fE和预测模块fP，K为第一预设数量，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure 292399DEST_PATH_IMAGE029
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 76947DEST_PATH_IMAGE089
为第i个数据节点的关于输出向量y的类别特征分布方差，
Figure 788551DEST_PATH_IMAGE072
为第i个数据节点的第j种样本数据的输入向量，
Figure 653738DEST_PATH_IMAGE073
为第i个数据节点的第j种样本数据的输出向量，
Figure 527017DEST_PATH_IMAGE090
表示y满足
Figure 110445DEST_PATH_IMAGE033
分布，
Figure 360160DEST_PATH_IMAGE091
表示Z满足
Figure 735647DEST_PATH_IMAGE035
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y，β是所述跨域特征生成器的超参数，β表示在
Figure 45406DEST_PATH_IMAGE106
中
Figure 116130DEST_PATH_IMAGE107
的比重。
所述生成器优化公式：
Figure 169536DEST_PATH_IMAGE108
其中，
Figure 946999DEST_PATH_IMAGE058
为所述生成器，h()为非线性激活函数，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure 427659DEST_PATH_IMAGE029
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 720100DEST_PATH_IMAGE089
为第i个数据节点的关于输出向量y的类别特征分布方差，K为第一预设数量，第i个节点模型的预测模块fP对应的模型参数为
Figure 311619DEST_PATH_IMAGE071
，fP()分别为所述节点模型的预测模块fP对应的函数，
Figure 5905DEST_PATH_IMAGE090
表示y满足
Figure 657467DEST_PATH_IMAGE033
分布，
Figure 591531DEST_PATH_IMAGE109
表示Z满足
Figure 986740DEST_PATH_IMAGE035
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y。
需要说明的是，所述生成器优化公式可以通过以下公式推导出来：
生成器对应优化目标为
Figure 535533DEST_PATH_IMAGE110
：
Figure 357996DEST_PATH_IMAGE111
；
其中，
Figure 625029DEST_PATH_IMAGE112
；
或者经验损失优化目标
Figure 823929DEST_PATH_IMAGE113
：
Figure 617442DEST_PATH_IMAGE114
经验损失优化目标与优化目标区别在于二者对应的损失函数不一样，因为经验损失优化目标与优化目标都是本领域通用概念，所以不再解释。本公开实施例中的字符在其他实施例解释过，不再赘述。
为了更好的理解上述技术方案，本公开实施例还提供了一种可选实施例，用于解释说明上述技术方案。
图2示意性示出了本公开实施例的一种计算节点模型的更新量的示意图，如下图：
通过特征提取模块fE和预测模块fP，分别从训练数据集
Figure 876385DEST_PATH_IMAGE074
提取第i个节点模型的特征提取模块fE和预测模块fP分别对应的模型参数为
Figure 319130DEST_PATH_IMAGE070
和
Figure 283238DEST_PATH_IMAGE071
。比如图2中， fE（
Figure 196836DEST_PATH_IMAGE115
）表示从训练数据集D1中，通过特征提取模块fE第1个节点模型的特征提取模块fE对应的模型参数
Figure 626681DEST_PATH_IMAGE115
；
根据特征提取模块fE提取到的模型参数和分布相似性权重矩阵，计算分布加权聚合模型
Figure 540410DEST_PATH_IMAGE116
，其中，分布加权聚合模型是一种全局聚合，全局聚合包括了对过去参数
Figure 81113DEST_PATH_IMAGE117
的聚合，在本公开实施例中，E对应特征提取模块，P对应预测模块，t表示时刻，t-1为过去时刻，t为当前时刻；
通过特征提取器提取分布加权聚合模型的分布加权特征；
根据
Figure 724584DEST_PATH_IMAGE118
分布和和预测模块fP提取到的模型参数，通过生成器GW得到生成特征，其中，本公开中的生成器都是指跨域特征生成器；
根据分布加权特征和生成特征，通过预测器输出节点模型的更新量，并根据更新量更新节点模型，其中，预测器就是预测模块fP。
通过本公开，获取数据节点对应的节点模型；计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。因为，本公开实施例可以计算所述分布加权聚合模型、所述正则化项和所述类别均衡补充项，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型，因此，采用上述技术手段，可以解决现有技术中，缺少解决联邦学习中歧视传播的方案的问题。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器（Read-Only Memory，简称为ROM）、随机存取存储器（Random AccessMemory，简称为RAM）、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，组件服务端，或者网络设备等）执行本公开各个实施例的方法。
在本实施例中还提供了一种抵抗联邦学习中歧视传播的节点模型的更新装置，该节点模型的更新装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图3示意性示出了本公开可选实施例的一种抵抗联邦学习中歧视传播的节点模型的更新装置的结构框图，如图3所示，该装置包括：
获取模块302，获取数据节点对应的节点模型；
第一计算模块304，计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；
第二计算模块306，根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；
第三计算模块308，计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；
更新模块310，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。
因为，本公开实施例可以计算所述分布加权聚合模型、所述正则化项和所述类别均衡补充项，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型，因此，采用上述技术手段，可以解决现有技术中，缺少解决联邦学习中歧视传播的方案的问题。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本公开的实施例提供了一种电子设备。
图4示意性示出了本公开实施例提供的一种电子设备的结构框图。
参照图4所示，本公开实施例提供的电子设备400包括处理器401、通信接口402、存储器403和通信总线404，其中，处理器401、通信接口402和存储器403通过通信总线404完成相互间的通信；存储器403，用于存放计算机程序；处理器401，用于执行存储器上所存放的程序时，实现上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该输入输出设备与上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取数据节点对应的节点模型；
S2，计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；
S3，根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；
S4，计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；
S5，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。
本公开的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序，上述计算机程序被处理器执行时实现上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
S1，获取数据节点对应的节点模型；
S2，计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；
S3，根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；
S4，计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；
S5，根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型。
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的；也可以是单独存在，而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本公开的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本公开不限制于任何特定的硬件和软件结合。
以上所述仅为本公开的优选实施例而已，并不用于限制于本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims (7)

1.一种抵抗联邦学习中歧视传播的节点模型的更新方法，其特征在于，包括：
获取数据节点对应的节点模型；
计算所述数据节点的训练数据对应的类别特征分布均值和数量比率，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型；
根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项；
计算所述数据节点对应的类别特征分布方差，根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点所需的特征分布层面对应的类别均衡补充项；
根据所述分布加权聚合模型、所述正则化项和所述类别均衡补充项更新所述节点模型，
其中，根据所述节点模型、所述类别特征分布均值和所述数量比率，计算分布加权聚合模型，包括：
根据所述类别特征分布均值和所述数量比率计算所述数据节点与其他数据节点之间对应的分布相似度距离；
从多个数据节点对应的多个节点模型中，选出第一预设数量的节点模型，根据所述分布相似度距离和所述第一预设数量的节点模型，计算分布加权聚合模型，
根据所述节点模型和所述分布加权聚合模型计算所述数据节点对应的正则化项，包括：
通过如下公式计算第i个数据节点对应的在第t+1次更新中的正则化项
Figure 578261DEST_PATH_IMAGE001
：
Figure 822160DEST_PATH_IMAGE002
其中，
Figure 11833DEST_PATH_IMAGE003
为第i个数据节点对应的分布加权聚合模型，
Figure 911656DEST_PATH_IMAGE004
为第i个数据节点对应的第t+1次更新中的节点模型，
Figure 477767DEST_PATH_IMAGE005
为第i个数据节点对应的第t次更新中的节点模型，||||表示求二范数运算，
根据所述类别特征分布均值和所述类别特征分布方差，使用跨域特征生成器计算所述数据节点对应的类别均衡补充项，包括：
通过如下公式计算第i个数据节点对应的所述类别均衡补充项
Figure 779435DEST_PATH_IMAGE006
：
Figure 202326DEST_PATH_IMAGE007
其中，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure 589445DEST_PATH_IMAGE008
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 959246DEST_PATH_IMAGE009
为第i个数据节点的关于输出向量y的类别特征分布方差，K为第一预设数量，第i个节点模型的预测模块fP对应的模型参数为
Figure 849842DEST_PATH_IMAGE010
，fP()分别为所述节点模型的预测模块fP对应的函数，
Figure 709214DEST_PATH_IMAGE011
表示y满足
Figure 318049DEST_PATH_IMAGE012
分布，
Figure 491542DEST_PATH_IMAGE013
表示Z满足
Figure 502223DEST_PATH_IMAGE014
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y。
2.根据权利要求1所述的方法，其特征在于，计算所述数据节点对应的类别特征分布均值、数量比率和类别特征分布方差，包括
Figure 470179DEST_PATH_IMAGE015
Figure 628628DEST_PATH_IMAGE016
Figure 340232DEST_PATH_IMAGE017
其中，
Figure 205420DEST_PATH_IMAGE018
为类别特征分布均值，
Figure 344277DEST_PATH_IMAGE019
为数量比率，
Figure 927705DEST_PATH_IMAGE020
为类别特征分布方差，i为所述数据节点的序号，j为所述数据节点的样本数据的类别的序号，所述节点模型包括：特征提取模块fE和预测模块fP，第i个节点模型的特征提取模块fE和预测模块fP分别对应的模型参数为
Figure 236808DEST_PATH_IMAGE021
和
Figure 222082DEST_PATH_IMAGE022
，
Figure 531840DEST_PATH_IMAGE023
为第i个数据节点的第j种样本数据的输入向量，
Figure 602565DEST_PATH_IMAGE024
为第i个数据节点的第j种样本数据的输出向量，f()为所述节点模型对应的函数，l()为所述节点模型对应的损失函数，ni为第i个节点模型所具有的所有的样本数据，T表示总共训练的轮次，
Figure 718288DEST_PATH_IMAGE025
是节点i的训练数据集，
Figure 558068DEST_PATH_IMAGE026
表示选取的样本数据都属于样本类别c下的数据，样本数据有多个样本类别。
3.根据权利要求1所述的方法，其特征在于，根据所述类别特征分布均值和所述数量比率计算所述数据节点对应的分布相似度距离，包括：
定义
Figure 38728DEST_PATH_IMAGE027
为数据节点P的第i种样本数据到数据节点Q第j种样本数据的距离；
定义fij满足如下公式：
Figure 331169DEST_PATH_IMAGE028
通过如下公式计算数据节点P的第i种样本数据到数据节点Q的j种样本数据对应的分布相似度距离EMDPQ：
Figure 188267DEST_PATH_IMAGE029
；
其中，nP和nQ分别为第P个数据节点和第Q个数据节点所具有的所有的样本数据，
Figure 944870DEST_PATH_IMAGE030
为第Q个数据节点的第j种样本数据的数量比率，
Figure 596431DEST_PATH_IMAGE031
第P个数据节点的第i种样本数据的数量比率，
Figure 641748DEST_PATH_IMAGE032
为第P个数据节点的第i种样本数据的类别特征分布均值，
Figure 36957DEST_PATH_IMAGE033
为第Q个数据节点的第j种样本数据的类别特征分布均值，|| ||表示求二范数运算。
4.根据权利要求1所述的方法，其特征在于，从多个数据节点对应的多个节点模型中，选出第一预设数量的节点模型，根据所述分布相似度距离和所述第一预设数量的节点模型，计算分布加权聚合模型，包括：
通过如下公式计算第i个数据节点对应的分布加权聚合模型
Figure 585750DEST_PATH_IMAGE034
：
Figure 736109DEST_PATH_IMAGE035
其中，λ为常数，θi为第i个节点模型对应的模型参数，θj为第j个节点模型对应的模型参数，EMDji为第i个数据节点与第j个数据节点对应的分布相似度距离，K为第一预设数量。
5.根据权利要求1所述的方法，其特征在于，获取数据节点对应的节点模型之后，所述方法还包括：
初始化所述节点模型，并确认每一个所述数据节点对应的节点数据，执行如下循环：
步骤一：确定当前轮次，在所述当前轮次小于等于第一预设轮次时，执行步骤二，在所述当前轮次大于第一预设轮次时，执行步骤八；
步骤二：从所有的数据节点中确定第二预设数量的数据节点对应的节点模型；
步骤三：计算每一个数据节点对应的类别特征分布均值和数量比率，根据每一个数据节点对应的节点模型、类别特征分布均值和数量比率，计算每一个数据节点对应的分布加权聚合模型；
步骤四：使用每一个数据节点对应的所述分布加权聚合模型更新每个数据节点对应的节点模型；
步骤五：根据每一个数据节点对应的节点模型和分布加权聚合模型计算每一个数据节点对应的正则化项；
步骤六：计算每一个数据节点对应的类别特征分布方差，根据每一个数据节点对应的类别特征分布均值和类别特征分布方差，使用每个数据节点对应的跨域特征生成器计算每一个数据节点对应的类别均衡补充项；
步骤七：获取每个数据节点对应的跨域特征生成器所对应的生成器数据，根据每一个数据节点对应的节点数据和生成器数据，使用模型优化公式更新每个数据节点对应的节点模型，并使用所述当前轮次加一的数值更新所述当前轮次，在所述当前轮次小于等于所述第一预设轮次时，执行步骤二，在所述当前轮次大于所述第一预设轮次时，执行步骤八，其中，更新每个数据节点对应的节点模型的次数为第二预设轮次；
步骤八：根据生成器优化公式更新每个数据节点对应的跨域特征生成器，结束循环。
6.根据权利要求5所述的方法，其特征在于，所述模型优化公式：
Figure 3142DEST_PATH_IMAGE036
Figure 202042DEST_PATH_IMAGE037
Figure 605342DEST_PATH_IMAGE038
其中，
Figure 864285DEST_PATH_IMAGE039
为第i个数据节点对应的第t+1次更新中的节点模型，
Figure 680931DEST_PATH_IMAGE041
为第i个数据节点对应的第t次更新中的节点模型，η为所述节点模型的学习率，
Figure 417943DEST_PATH_IMAGE042
是对
Figure 941328DEST_PATH_IMAGE043
求
Figure 371172DEST_PATH_IMAGE044
的导数，
Figure 409535DEST_PATH_IMAGE045
是关于
Figure 950238DEST_PATH_IMAGE046
的优化函数，
Figure 593709DEST_PATH_IMAGE047
为第i个数据节点对应的在第t+1次更新中的正则化项，
Figure 928876DEST_PATH_IMAGE048
为第i个数据节点对应在第t+1次更新中的所述类别均衡补充项，α为所述跨域特征生成器的学习率，ni为第i个节点模型所具有的所有的样本数据，fE()和fP()分别为所述节点模型的特征提取模块fE和预测模块fP对应的函数，
Figure 657797DEST_PATH_IMAGE049
与
Figure 798928DEST_PATH_IMAGE050
分别为第i个数据节点对应的第t+1次更新中的特征提取模块fE和预测模块fP，K为第一预设数量，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure 296906DEST_PATH_IMAGE051
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 802974DEST_PATH_IMAGE052
为第i个数据节点的关于输出向量y的类别特征分布方差，
Figure 19191DEST_PATH_IMAGE053
为第i个数据节点的第j种样本数据的输入向量，
Figure 901697DEST_PATH_IMAGE054
为第i个数据节点的第j种样本数据的输出向量，
Figure 316498DEST_PATH_IMAGE055
表示y满足
Figure 259046DEST_PATH_IMAGE012
分布，
Figure 696980DEST_PATH_IMAGE056
表示Z满足
Figure 117597DEST_PATH_IMAGE057
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y，β是所述跨域特征生成器的超参数。
7.根据权利要求5所述的方法，其特征在于，所述生成器优化公式：
Figure 655414DEST_PATH_IMAGE058
其中，
Figure 503284DEST_PATH_IMAGE059
为所述生成器，h()为非线性激活函数，z为除第i个数据节点之外的其他数据节点的输入向量的特征向量，y为除第i个数据节点之外的其他数据节点的输出向量，li()为第i个数据节点的节点模型对应的损失函数，
Figure 428515DEST_PATH_IMAGE060
为第i个数据节点的关于输出向量y的类别特征分布均值，
Figure 652822DEST_PATH_IMAGE061
为第i个数据节点的关于输出向量y的类别特征分布方差，K为第一预设数量，第i个节点模型的预测模块fP对应的模型参数为
Figure 979899DEST_PATH_IMAGE062
，fP()分别为所述节点模型的预测模块fP对应的函数，
Figure 326566DEST_PATH_IMAGE063
表示y满足
Figure 739093DEST_PATH_IMAGE012
分布，
Figure 501513DEST_PATH_IMAGE064
表示Z满足
Figure 683095DEST_PATH_IMAGE065
分布，N()为正态分布，E[ ]表示数据点样本服从真实分布时的实际均值，Ê表示根据部分数据点样本计算得到的估计均值，ε是所述跨域特征生成器的参数，数据点样本包括：特征向量z和输出向量y。
CN202111472023.9A 2021-12-06 2021-12-06 抵抗联邦学习中歧视传播的节点模型的更新方法 Active CN113902131B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111472023.9A CN113902131B (zh) 2021-12-06 2021-12-06 抵抗联邦学习中歧视传播的节点模型的更新方法
PCT/CN2022/135819 WO2023103864A1 (zh) 2021-12-06 2022-12-01 抵抗联邦学习中歧视传播的节点模型的更新方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111472023.9A CN113902131B (zh) 2021-12-06 2021-12-06 抵抗联邦学习中歧视传播的节点模型的更新方法

Publications (2)

Publication Number Publication Date
CN113902131A CN113902131A (zh) 2022-01-07
CN113902131B true CN113902131B (zh) 2022-03-08

Family

ID=79195319

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111472023.9A Active CN113902131B (zh) 2021-12-06 2021-12-06 抵抗联邦学习中歧视传播的节点模型的更新方法

Country Status (2)

Country Link
CN (1) CN113902131B (zh)
WO (1) WO2023103864A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113486569B (zh) * 2021-06-04 2023-10-10 江苏科技大学 一种离心泵剩余寿命预测方法
CN113902131B (zh) * 2021-12-06 2022-03-08 中国科学院自动化研究所 抵抗联邦学习中歧视传播的节点模型的更新方法
CN115905913B (zh) * 2022-10-14 2024-03-12 支付宝(杭州)信息技术有限公司 数字藏品的检测方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110097130B (zh) * 2019-05-07 2022-12-13 深圳市腾讯计算机系统有限公司 分类任务模型的训练方法、装置、设备及存储介质
CN112183652A (zh) * 2020-10-09 2021-01-05 浙江工业大学 一种联邦机器学习环境下的边缘端偏见检测方法
CN112446025A (zh) * 2020-11-23 2021-03-05 平安科技（深圳）有限公司 联邦学习防御方法、装置、电子设备及存储介质
CN112434758B (zh) * 2020-12-17 2024-02-13 浙江工业大学 基于聚类的联邦学习搭便车攻击防御方法
CN112906911B (zh) * 2021-02-03 2022-07-01 厦门大学 联邦学习的模型训练方法
CN112949837B (zh) * 2021-04-13 2022-11-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN113326949A (zh) * 2021-04-14 2021-08-31 厦门大学 联邦学习的模型参数优化方法及系统
CN113435537B (zh) * 2021-07-16 2022-08-26 同盾控股有限公司 基于Soft GBDT的跨特征联邦学习方法、预测方法
CN113902131B (zh) * 2021-12-06 2022-03-08 中国科学院自动化研究所 抵抗联邦学习中歧视传播的节点模型的更新方法

Also Published As

Publication number Publication date
CN113902131A (zh) 2022-01-07
WO2023103864A1 (zh) 2023-06-15

Similar Documents

Publication Publication Date Title
CN113902131B (zh) 抵抗联邦学习中歧视传播的节点模型的更新方法
CN109902222B (zh) 一种推荐方法及装置
CN109522942A (zh) 一种图像分类方法、装置、终端设备和存储介质
WO2015165372A1 (en) Method and apparatus for classifying object based on social networking service, and storage medium
CN112052948B (zh) 一种网络模型压缩方法、装置、存储介质和电子设备
CN109766454A (zh) 一种投资者分类方法、装置、设备及介质
JP6908302B2 (ja) 学習装置、識別装置及びプログラム
Ahmadi et al. Learning fuzzy cognitive maps using imperialist competitive algorithm
CN109829478A (zh) 一种基于变分自编码器的问题分类方法和装置
CN113554156B (zh) 基于注意力机制与可变形卷积的多任务图像处理方法
CN112733043B (zh) 评论推荐方法及装置
CN107223260A (zh) 用于动态地更新分类器复杂度的方法
CN103093247A (zh) 一种植物图片的自动分类方法
Tian et al. Genetic algorithm based deep learning model selection for visual data classification
CN111352926A (zh) 数据处理的方法、装置、设备及可读存储介质
CN108629381A (zh) 基于大数据的人群筛选方法及终端设备
CN111767985B (zh) 一种神经网络的训练方法、视频识别方法及装置
CN113407820A (zh) 模型训练方法及相关系统、存储介质
US8700541B2 (en) Modeling method of neuro-fuzzy system
CN110109005B (zh) 一种基于序贯测试的模拟电路故障测试方法
Amini et al. A fuzzy MADM method for uncertain attributes using ranking distribution
CN111984842B (zh) 银行客户数据处理方法及装置
CN114611673A (zh) 神经网络压缩方法、装置、设备及可读存储介质
Chouikhi et al. Adaptive extreme learning machine for recurrent beta-basis function neural network training
CN109308565B (zh) 人群绩效等级识别方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant