CN112906911B - 联邦学习的模型训练方法 - Google Patents

联邦学习的模型训练方法 Download PDF

Info

Publication number
CN112906911B
CN112906911B CN202110150143.0A CN202110150143A CN112906911B CN 112906911 B CN112906911 B CN 112906911B CN 202110150143 A CN202110150143 A CN 202110150143A CN 112906911 B CN112906911 B CN 112906911B
Authority
CN
China
Prior art keywords
client
model
training
evaluation
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110150143.0A
Other languages
English (en)
Other versions
CN112906911A (zh
Inventor
范晓亮
高桂春
王铮
王子徽
程明
王程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Dongjian Intelligent Technology Co ltd
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202110150143.0A priority Critical patent/CN112906911B/zh
Publication of CN112906911A publication Critical patent/CN112906911A/zh
Application granted granted Critical
Publication of CN112906911B publication Critical patent/CN112906911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Complex Calculations (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种联邦学习的模型训练方法、介质及设备，其中方法包括：选取评测客户端；进行模型预训练，以提取评测数据集；根据内部评测训练集进行模型的训练，以生成评测模型，并计算第一损失值；将评测模型广播给各个客户端，并获取第二损失值，以及计算第一累积分布和第二累积分布；计算损失值上限值，并将损失值上限值广播给对应的客户端，以便每个客户端进行噪声过滤，得到客户端网络模型；每个客户端计算质量因子，并将质量因子和客户端网络模型发送给服务器，以便服务器根据质量因子和客户端网络模型进行聚合，得到服务器模型；能够消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。

Description

联邦学习的模型训练方法
技术领域
本发明涉及深度学习技术领域，特别涉及一种联邦学习的模型训练方法、一种计算机可读存储介质以及一种计算机设备。
背景技术
在物联网、5G等服务的推动下，大量传感器接入网络，给云带来了巨大的负担。分布式边缘计算应运而生，将计算任务从集中式云转移到边缘。联邦学习是一种新的适应于分布式边缘计算的计算范式，它使得分布式客户端不需要交换数据，只交换加密后的模型参数，就可以协同训练一个模型，同时达到数据隐私保护的目的。
相关技术中，在实际应用场景下，由于人为标记错误或客户端设备的差异性，每个客户端所呈现的标签噪声水平不一致，容易造成标签质量差异化的现象，该现象的存在会大大降低联邦学习模型的准确度。目前联邦学习中解决标签质量差异化的方法通常是利用一个额外的基准数据集，来抑制标签噪声客户端。然而，引入这样一个外部基准数据集具有潜在的数据偏见。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种联邦学习的模型训练方法，能够消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
本发明的第二个目的在于提出一种计算机可读存储介质。
本发明的第三个目的在于提出一种计算机设备。
为达到上述目的，本发明第一方面实施例提出了一种联邦学习的模型训练方法，包括以下步骤：获取每个客户端统计的数据集的数据量和标签种类，并根据统计结果选取评测客户端；对所述评测客户端进行模型预训练，以提取评测数据集；将所述评测数据集划分为训练集和测试集，并根据所述训练集进行模型的训练，以生成评测模型，以及根据所述评测模型计算所述测试集对应的第一损失值；将所述评测模型广播给各个客户端，并获取每个客户端反馈的第二损失值，以及计算所述第一损失值对应的第一累积分布和所述第二损失值对应的第二累积分布；根据所述第一累积分布和所述第二累积分布计算损失值上限值，并将所述损失值上限值广播给对应的客户端，以便每个客户端根据所述损失值上限值进行噪声的过滤，得到过滤后的客户端网络模型；每个客户端根据所述损失值上限值计算对应的质量因子，并将所述质量因子和所述客户端网络模型发送给服务器，以便所述服务器根据所述质量因子和所述客户端网络模型进行聚合，得到服务器模型。
根据本发明实施例的联邦学习的模型训练方法，首先，获取每个客户端统计的数据集的数据量和标签种类，并根据统计结果选取评测客户端；接着，对所述评测客户端进行模型预训练，以提取评测数据集；然后，将所述评测数据集划分为训练集和测试集，并根据所述训练集进行模型的训练，以生成评测模型，以及根据所述评测模型计算所述测试集对应的第一损失值；接着，将所述评测模型广播给各个客户端，并获取每个客户端反馈的第二损失值，以及计算所述第一损失值对应的第一累积分布和所述第二损失值对应的第二累积分布；然后，根据所述第一累积分布和所述第二累积分布计算损失值上限值，并将所述损失值上限值广播给对应的客户端，以便每个客户端根据所述损失值上限值进行噪声的过滤，得到过滤后的客户端网络模型；接着，每个客户端根据所述损失值上限值计算对应的质量因子，并将所述质量因子和所述客户端网络模型发送给服务器，以便所述服务器根据所述质量因子和所述客户端网络模型进行聚合，得到服务器模型；从而消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
另外，根据本发明上述实施例提出的联邦学习的模型训练方法还可以具有如下附加的技术特征：
可选地，对所述评测客户端进行模型预训练，以提取评测数据集，包括：对所述评测客户端进行模型预训练，并采用周期性余弦衰减函数调整预训练过程中的学习率，以及获取该评测客户端对应的训练数据集中每个样本在所有周期中的损失值；对每个样本在所有周期中的损失值进行平均归一化，并提取预设阈值范围内的数据作为评测数据集。
可选地，所述周期性余弦衰减函数通过以下公式表达：
Figure BDA0002932010250000021
其中，lr(t)表示第t个纪元时刻的学习率，t表示第t个纪元，c表示每个周期中纪元的总数。
可选地，所述第一累积分布根据以下公式计算：
CD(lm)＝Pr{X≤lm,X∈l}
其中，CD(lm)表示第一累积分布，lm表示第一损失值。
可选地，所述第二累积分布和所述损失值上限值根据以下公式计算：
Figure BDA0002932010250000031
Figure BDA0002932010250000032
Figure BDA0002932010250000033
其中，
Figure BDA0002932010250000034
表示第二损失值，
Figure BDA0002932010250000035
表示第二累积分布，λk表示变量，
Figure BDA0002932010250000036
表示损失值上限值。
可选地，每个客户端根据以下公式进行噪声的过滤：
Figure BDA0002932010250000037
Figure BDA0002932010250000038
其中，
Figure BDA0002932010250000039
表示客户端过滤噪声后的本地数据集，nk表示客户端的本地数据集的数据量，nlk表示信誉值，p表示预设噪声阈值。
可选地，服务器根据以下公式进行聚合：
Figure BDA00029320102500000310
Figure BDA00029320102500000311
其中，
Figure BDA00029320102500000312
表示服务器模型，Qk表示质量因子，
Figure BDA00029320102500000313
表示客户端网络模型，
Figure BDA00029320102500000314
表示第k个客户端的本地数据集的数量。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有联邦学习的模型训练程序，该联邦学习的模型训练程序被处理器执行时实现如上述的联邦学习的模型训练方法。
根据本发明实施例的计算机可读存储介质，通过存储联邦学习的模型训练程序，以使得处理器在执行该联邦学习的模型训练程序时，实现如上述的联邦学习的模型训练方法，从而消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
为达到上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的联邦学习的模型训练方法。
根据本发明实施例的计算机设备，通过存储器对联邦学习的模型训练程序进行存储，以使得处理器在执行该联邦学习的模型训练程序时，实现如上述的联邦学习的模型训练方法，从而消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
附图说明
图1为根据本发明实施例的联邦学习的模型训练方法的流程示意图；
图2为根据本发明实施例的评测数据集提取流程示意图；
图3为根据本发明实施例的客户端噪声过滤流程示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，解决标签质量差异化的方法通常是利用一个额外的基准数据集，来抑制标签噪声客户端。然而，引入这样一个外部基准数据集具有潜在的数据偏见；根据本发明实施例的联邦学习的模型训练方法，首先，获取每个客户端统计的数据集的数据量和标签种类，并根据统计结果选取评测客户端；接着，对所述评测客户端进行模型预训练，以提取评测数据集；然后，将所述评测数据集划分为训练集和测试集，并根据所述训练集进行模型的训练，以生成评测模型，以及根据所述评测模型计算所述测试集对应的第一损失值；接着，将所述评测模型广播给各个客户端，并获取每个客户端反馈的第二损失值，以及计算所述第一损失值对应的第一累积分布和所述第二损失值对应的第二累积分布；然后，根据所述第一累积分布和所述第二累积分布计算损失值上限值，并将所述损失值上限值广播给对应的客户端，以便每个客户端根据所述损失值上限值进行噪声的过滤，得到过滤后的客户端网络模型；接着，每个客户端根据所述损失值上限值计算对应的质量因子，并将所述质量因子和所述客户端网络模型发送给服务器，以便所述服务器根据所述质量因子和所述客户端网络模型进行聚合，得到服务器模型；从而消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的联邦学习的模型训练方法的流程示意图，如图1所示，该联邦学习的模型训练方法包括以下步骤：
S101，获取每个客户端统计的数据集的数据量和标签种类，并根据统计结果选取评测客户端。
即言，客户端在获取到数据之后，对数据进行预处理，已生成训练数据集，服务器获取到每个客户端发送的数据量和标签种类的信息之后，对每个客户端对应的数据量和标签种类进行比较，将其中数据量最多、标签种类最多的客户端作为评测客户端。
S102，对评测客户端进行模型预训练，以提取评测数据集。
在一些实施例中，对评测客户端进行模型预训练，以提取评测数据集，包括：
对评测客户端进行模型预训练，并采用周期性余弦衰减函数调整预训练过程中的学习率，以及获取该评测客户端对应的训练数据集中每个样本在所有周期中的损失值；
对每个样本在所有周期中的损失值进行平均归一化，并提取预设阈值范围内的数据作为评测数据集。
作为一种示例，周期性余弦衰减函数通过以下公式表达：
Figure BDA0002932010250000051
其中，lr(t)表示第t个纪元时刻的学习率，t表示第t个纪元，c表示每个周期中纪元的总数。
具体地，图2为根据本发明实施例的评测数据集提取流程示意图；如图2所示，对客户端Client-MD进行模型预训练，记为Mmd，训练中采用一个恒定的学习率η和一个大批次bl；然后，采用周期性余弦衰减函数调整学习率lrmin到lrmax之间，减小批次为bs，继续训练Mmd，使得Mmd在过拟合与欠拟合之间来回切换，bs<bl；接着，记录每个样本在所有周期中的损失值，经过预测次数的训练之后，对每个样本的损失值求平均，并进行归一化操作；然后，对样本的损失值按照类间和类内进行排序，并提取其中前k％的数据作为内部评测数据集IMD。
S103，将评测数据集划分为训练集和测试集，并根据训练集进行模型的训练，以生成评测模型，以及根据评测模型计算测试集对应的第一损失值。
S104，将评测模型广播给各个客户端，并获取每个客户端反馈的第二损失值，以及计算第一损失值对应的第一累积分布和第二损失值对应的第二累积分布。
即言，如图3所示，服务器将评测模型广播给各个客户端，每个客户端根据评测模型进行模型测试，以计算其训练数据集对应的第二损失值，接着，每个客户端将计算结果(即第二损失值)反馈给服务器；然后，服务器根据第一损失值和第二损失值分别计算对应的第一累积分布和第二累积分布。
在一些实施例中，第一累积分布根据以下公式计算：
CD(lm)＝Pr{X≤lm,X∈l}
其中，CD(lm)表示第一累积分布，lm表示第一损失值。
在一些实施例中，第二累积分布和所述损失值上限值根据以下公式计算：
Figure BDA0002932010250000061
Figure BDA0002932010250000062
Figure BDA0002932010250000063
其中，
Figure BDA0002932010250000064
表示第二损失值，
Figure BDA0002932010250000065
表示第二累积分布，λk表示变量，
Figure BDA0002932010250000066
表示损失值上限值。
S105，根据第一累积分布和第二累积分布计算损失值上限值，并将损失值上限值广播给对应的客户端，以便每个客户端根据损失值上限值进行噪声的过滤，得到过滤后的客户端网络模型。
在一些实施例中，每个客户端根据以下公式进行噪声的过滤：
Figure BDA0002932010250000067
Figure BDA0002932010250000068
其中，
Figure BDA0002932010250000069
表示客户端过滤噪声后的本地数据集，nk表示客户端的本地数据集的数据量，nlk表示信誉值，p表示预设噪声阈值。
即言，如图3所示，服务器将各个客户端的损失值上限值发送给对应的客户端，每个客户端计算自身相应的噪声水平(即信誉值)；然后，根据该信誉值过滤噪声标签和噪声客户端，以得到干净的客户端(Clean Client)。
S106，每个客户端根据损失值上限值计算对应的质量因子，并将质量因子和客户端网络模型发送给服务器，以便服务器根据质量因子和客户端网络模型进行聚合，得到服务器模型。
即言，每个客户端根据损失值上限计算对应的质量因子，并将质量因子和客户端网络模型(即过滤后的干净的客户端模型)发送给服务器，服务器在接收到各个客户端发送的质量因子之后，根据所有质量因子重写模型聚合规则；并根据聚合规则进行聚合得到服务器模型；可以理解，服务器在聚合得到服务器模型之后，可以将服务器模型广播给各个客户端；而客户端可以对接收到的服务器模型进行继续优化，并重复上述步骤将优化后的客户端网络模型和对应的质量因子发送给服务器；则当服务器模型收敛时，该模型即为最终模型。
在一些实施例中，每个客户端根据以下公式进行噪声的过滤：
Figure BDA0002932010250000071
Figure BDA0002932010250000072
其中，
Figure BDA0002932010250000073
表示客户端过滤噪声后的本地数据集，nk表示客户端过滤噪声后的本地数据集，nlk表示信誉值，p表示预设噪声阈值。
在一些实施例中，服务器根据以下公式进行聚合：
Figure BDA0002932010250000074
Figure BDA0002932010250000075
其中，
Figure BDA0002932010250000076
表示服务器模型，Qk表示质量因子，
Figure BDA0002932010250000077
表示客户端网络模型，
Figure BDA0002932010250000078
表示第k个客户端的本地数据集的数量。
综上所述，根据本发明实施例的联邦学习的模型训练方法，首先，获取每个客户端统计的数据集的数据量和标签种类，并根据统计结果选取评测客户端；接着，对所述评测客户端进行模型预训练，以提取评测数据集；然后，将所述评测数据集划分为训练集和测试集，并根据所述训练集进行模型的训练，以生成评测模型，以及根据所述评测模型计算所述测试集对应的第一损失值；接着，将所述评测模型广播给各个客户端，并获取每个客户端反馈的第二损失值，以及计算所述第一损失值对应的第一累积分布和所述第二损失值对应的第二累积分布；然后，根据所述第一累积分布和所述第二累积分布计算损失值上限值，并将所述损失值上限值广播给对应的客户端，以便每个客户端根据所述损失值上限值进行噪声的过滤，得到过滤后的客户端网络模型；接着，每个客户端根据所述损失值上限值计算对应的质量因子，并将所述质量因子和所述客户端网络模型发送给服务器，以便所述服务器根据所述质量因子和所述客户端网络模型进行聚合，得到服务器模型；从而消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有联邦学习的模型训练程序，该联邦学习的模型训练程序被处理器执行时实现如上述的联邦学习的模型训练方法。
根据本发明实施例的计算机可读存储介质，通过存储联邦学习的模型训练程序，以使得处理器在执行该联邦学习的模型训练程序时，实现如上述的联邦学习的模型训练方法，从而消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
为了实现上述实施例，本发明实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如上述的联邦学习的模型训练方法。
根据本发明实施例的计算机设备，通过存储器对联邦学习的模型训练程序进行存储，以使得处理器在执行该联邦学习的模型训练程序时，实现如上述的联邦学习的模型训练方法，从而消除潜在的数据偏见，对客户端采集的数据进行有效过滤，提高联邦学习模型的准确度。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种联邦学习的模型训练方法，其特征在于，包括以下步骤：
获取每个客户端统计的数据集的数据量和标签种类，并根据统计结果选取评测客户端；
对所述评测客户端进行模型预训练，以提取评测数据集；
将所述评测数据集划分为训练集和测试集，并根据所述训练集进行模型的训练，以生成评测模型，以及根据所述评测模型计算所述测试集对应的第一损失值；
将所述评测模型广播给各个客户端，并获取每个客户端反馈的第二损失值，以及计算所述第一损失值对应的第一累积分布和所述第二损失值对应的第二累积分布；
根据所述第一累积分布和所述第二累积分布计算损失值上限值，并将所述损失值上限值广播给对应的客户端，以便每个客户端根据所述损失值上限值进行噪声的过滤，得到过滤后的客户端网络模型；
每个客户端根据所述损失值上限值计算对应的质量因子，并将所述质量因子和所述客户端网络模型发送给服务器，以便所述服务器根据所述质量因子和所述客户端网络模型进行聚合，得到服务器模型；
所述第一累积分布根据以下公式计算：
CD(lm)＝Pr{X≤lm,X∈l}
其中，CD(lm)表示第一累积分布，lm表示第一损失值；
所述第二累积分布和所述损失值上限值根据以下公式计算：
Figure FDA0003601337780000011
Figure FDA0003601337780000012
Figure FDA0003601337780000013
其中，
Figure FDA0003601337780000014
表示第二损失值，
Figure FDA0003601337780000015
表示第二累积分布，λk表示变量，
Figure FDA0003601337780000016
表示损失值上限值。
2.如权利要求1所述的联邦学习的模型训练方法，其特征在于，对所述评测客户端进行模型预训练，以提取评测数据集，包括：
对所述评测客户端进行模型预训练，并采用周期性余弦衰减函数调整预训练过程中的学习率，以及获取该评测客户端对应的训练数据集中每个样本在所有周期中的损失值；
对每个样本在所有周期中的损失值进行平均归一化，并提取预设阈值范围内的数据作为评测数据集。
3.如权利要求2所述的联邦学习的模型训练方法，其特征在于，所述周期性余弦衰减函数通过以下公式表达：
Figure FDA0003601337780000021
其中，lr(t)表示第t个纪元时刻的学习率，t表示第t个纪元，c表示每个周期中纪元的总数。
4.如权利要求1所述的联邦学习的模型训练方法，其特征在于，每个客户端根据以下公式进行噪声的过滤：
Figure FDA0003601337780000022
Figure FDA0003601337780000023
其中，
Figure FDA0003601337780000024
表示客户端过滤噪声后的本地数据集，nk表示客户端的本地数据集的数据量，nlk表示信誉值，p表示预设噪声阈值。
5.如权利要求4所述的联邦学习的模型训练方法，其特征在于，服务器根据以下公式进行聚合：
Figure FDA0003601337780000025
Figure FDA0003601337780000026
其中，
Figure FDA0003601337780000027
表示服务器模型，Qk表示质量因子，
Figure FDA0003601337780000028
表示客户端网络模型，
Figure FDA0003601337780000029
表示第k个客户端的本地数据集的数量。
6.一种计算机可读存储介质，其特征在于，其上存储有联邦学习的模型训练程序，该联邦学习的模型训练程序被处理器执行时实现如权利要求1-5中任一项所述的联邦学习的模型训练方法。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-5中任一项所述的联邦学习的模型训练方法。
CN202110150143.0A 2021-02-03 2021-02-03 联邦学习的模型训练方法 Active CN112906911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110150143.0A CN112906911B (zh) 2021-02-03 2021-02-03 联邦学习的模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110150143.0A CN112906911B (zh) 2021-02-03 2021-02-03 联邦学习的模型训练方法

Publications (2)

Publication Number Publication Date
CN112906911A CN112906911A (zh) 2021-06-04
CN112906911B true CN112906911B (zh) 2022-07-01

Family

ID=76121829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110150143.0A Active CN112906911B (zh) 2021-02-03 2021-02-03 联邦学习的模型训练方法

Country Status (1)

Country Link
CN (1) CN112906911B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382066B (zh) * 2021-06-08 2022-08-30 江南大学 基于联邦边缘平台的车辆用户选择方法及系统
CN113379071B (zh) * 2021-06-16 2022-11-29 中国科学院计算技术研究所 一种基于联邦学习的噪声标签修正方法
CN113902131B (zh) * 2021-12-06 2022-03-08 中国科学院自动化研究所 抵抗联邦学习中歧视传播的节点模型的更新方法
CN114387580A (zh) * 2022-01-06 2022-04-22 厦门大学 基于联邦学习的模型训练方法及装置
CN114723071B (zh) * 2022-04-26 2023-04-07 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于客户端分类和信息熵的联邦学习方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492420A (zh) * 2018-12-28 2019-03-19 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
CN110874648A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 联邦模型的训练方法、系统和电子设备
CN110942154A (zh) * 2019-11-22 2020-03-31 深圳前海微众银行股份有限公司 基于联邦学习的数据处理方法、装置、设备及存储介质
CN111723947A (zh) * 2020-06-19 2020-09-29 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
WO2020229684A1 (en) * 2019-05-16 2020-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492420A (zh) * 2018-12-28 2019-03-19 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
WO2020229684A1 (en) * 2019-05-16 2020-11-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concepts for federated learning, client classification and training data similarity measurement
CN110942154A (zh) * 2019-11-22 2020-03-31 深圳前海微众银行股份有限公司 基于联邦学习的数据处理方法、装置、设备及存储介质
CN110874648A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 联邦模型的训练方法、系统和电子设备
CN111723947A (zh) * 2020-06-19 2020-09-29 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Annie Abay et al..Mitigating bias in federated learning.《arXiv》.2020, *
Kang Wei et al..Federated Learning With Differential Privacy: Algorithms and Performance Analysis.《IEEE Transactions on Information Forensics and Security 》.2020,第15卷第3454-3469页. *
胡尧.基于改进联邦学习的时序数据趋势跟踪及应用.《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》.2021,(第1期),第I138-647页. *

Also Published As

Publication number Publication date
CN112906911A (zh) 2021-06-04

Similar Documents

Publication Publication Date Title
CN112906911B (zh) 联邦学习的模型训练方法
CN110634080B (zh) 异常用电检测方法、装置、设备及计算机可读存储介质
Massari et al. Data assimilation of satellite soil moisture into rainfall-runoff modelling: A complex recipe?
Qiongyan et al. Detecting spikes of wheat plants using neural networks with Laws texture energy
Pellet et al. Monitoring butterfly abundance: beyond Pollard walks
CN108447054B (zh) 木材缺陷样本获取方法、装置、电子设备及存储介质
DE202018101368U1 (de) Erstellen von Modellen für WLAN-Zugangspunkte unter Verwendung von Cluster-Techniken
CN110349153B (zh) 基于多特征融合的图像法烟草含梗率检测方法
DE102020119090A1 (de) Verfahren und vorrichtungen zum selbsterzeugen einer mehrausgaben-ensemblemodell-verteidigung gegen gegnerische angriffe
Stewart et al. Bootstrapping of sample sizes for length-or age-composition data used in stock assessments
WO2016012972A1 (fr) Procede pour detecter des anomalies dans un reseau de distribution, en particulier d&#39;eau potable
Quinn et al. Application of detectability in the use of indicator species: a case study with birds
Chen et al. Investigating rice cropping practices and growing areas from MODIS data using empirical mode decomposition and support vector machines
Bhattacharya et al. Polarimetric SAR urban classification using the Touzi target scattering decomposition
Alonso et al. Comparing generalized Pareto models fitted to extreme observations: an application to the largest temperatures in Spain
Yang et al. Teleconnections of large-scale climate patterns to regional drought in mid-latitudes: A case study in Xinjiang, China
CN117972314B (zh) 一种基于数字孪生的云平台监控方法及系统
Sternberg et al. Biogeographic determinants of A ustralian freshwater fish life‐history indices assessed within a spatio‐phylogenetic framework
Poppick et al. Using covariates to model dependence in nonstationary, high‐frequency meteorological processes
CN116416055A (zh) 农业贷款评估方法、装置、存储介质及电子设备
Azizi et al. Noninteger dimension of seasonal land surface temperature (LST)
Voineagu et al. Forecasting monthly unemployment by econometric smoothing techniques
CN104636318A (zh) 一种大数据方差标准差的分布式或增量计算方法
CN115510998A (zh) 交易异常值检测方法及装置
CN113256304A (zh) 一种校园卡异常使用行为在线预警方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221209

Address after: 518000 1003-C08, West Block, Tian'an Innovation Science and Technology Plaza (Phase II), the intersection of Binhe Road and Xiangmihu Road, Tian'an Community, Shatou Street, Futian District, Shenzhen, Guangdong

Patentee after: Shenzhen Dongjian Intelligent Technology Co.,Ltd.

Address before: 361000 Siming South Road, Xiamen, Fujian Province, No. 422

Patentee before: XIAMEN University