CN115577797A - 一种基于本地噪声感知的联邦学习优化方法及系统 - Google Patents

一种基于本地噪声感知的联邦学习优化方法及系统 Download PDF

Info

Publication number
CN115577797A
CN115577797A CN202211273252.2A CN202211273252A CN115577797A CN 115577797 A CN115577797 A CN 115577797A CN 202211273252 A CN202211273252 A CN 202211273252A CN 115577797 A CN115577797 A CN 115577797A
Authority
CN
China
Prior art keywords
model
training
label
noise
lcn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211273252.2A
Other languages
English (en)
Other versions
CN115577797B (zh
Inventor
张竞慧
吕丁阳
东方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Southeast University
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University, Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Southeast University
Priority to CN202211273252.2A priority Critical patent/CN115577797B/zh
Publication of CN115577797A publication Critical patent/CN115577797A/zh
Application granted granted Critical
Publication of CN115577797B publication Critical patent/CN115577797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Bioethics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Algebra (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于噪声感知的联邦学习优化方法及系统，解决联邦学习场景中客户端本地数据集的样本存在噪声而导致的全局模型精度下降的问题。本发明首先针对联邦学习中客户端本地数据集的样本噪声现象，提出使用标签冲突矩阵来表示数据噪声，然后使用标签矫正网络(LCN)拟合噪声数据集中的标签冲突概率分布，从而达到对噪声样本错误标签值的矫正效果；为了更有效的实现标签矫正网络和联邦学习模型的训练，本发明提出采用元学习的训练模式来实现同步优化；最后，本发明还提出了一种基于交叉验证的数据采样算法，从原始噪声数据集选择出一批带有相对正确标签的数据样本，从而提升LCN模型的标签矫正效果，最终提高联邦学习中训练模型的精度。

Description

一种基于本地噪声感知的联邦学习优化方法及系统
技术领域
本发明属于人工智能技术领域，涉及联邦学习技术，具体涉及一种基于本地噪声感知的联邦学习优化方法及系统。
背景技术
随着移动设备和物联网设备的普及，基于深度神经网络模型的应用取得了广泛的应用，如人脸识别、自然语言处理和推荐系统等。这些终端设备能够在网络的边缘收集大量的数据，这些数据也正是训练深度神经网络所需要的。然而，在这些应用中，由于有限的网络资源以及隐私限制，让所有终端设备向中央服务器上传数据是不现实的。联邦学习是一种机器学习的新范式，可以有效地解决上述问题。联邦学习遵循分布式架构，模型直接在终端设备上进行训练而无需上传或共享本地数据，然后将模型发送到服务器上进行聚合，得到一个全局模型。因此，终端设备的本地模型训练对联邦学习至关重要。在监督学习的情况下，本地训练过程是基于终端设备样本的特征和标签。作为本地训练程序的一部分，从预测结果和样本标签之间计算的损失中获得的梯度被用来更新模型参数。因此，准确的样本标签在联邦学习的本地模型训练中起着重要作用。
然而，在现实世界的场景中，具有完全准确标签的数据集很难获得。对大量的数据进行精准地标注是昂贵而耗时的，这些因素导致现实世界中的数据集含有噪声标签。据统计，真实数据集中的噪声样本数量占整个数据集的8％-38.5％。当用终端设备上含有噪声样本的数据集训练局部模型时，参数会根据错误标签计算的损失和梯度进行更新，这使得模型参数更新偏离了预期的方向。最终，通过联邦聚合各终端设备的局部模型得到的全局模型的收敛精度和泛化能力都会明显下降。目前解决数据样本噪声对模型训练精度影响的研究工作多数围绕在集中式训练模式展开，主要方法包括损失值矫正、样本选择、鲁棒性网络结构等。这些方式针对于集中式的噪声数据集，通过基于各种假设条件和先验知识的启发式算法提升模型训练的泛化能力和收敛精度。但是在联邦学习场景下，由于数据集分散在各个客户端以及数据的隐私保护特性，无法获知关于数据集的相关先验信息，同时由于联邦学习中客户端和服务器之间高昂的通信代价，使得以上方式无法直接应用到联邦训练模式。
申请号为2021106667517的中国发明申请公开了一种基于联邦学习的噪声标签修正方法，该方法根据全局模型参数和本地训练数据，计算指示不同类别的平均预测概率的多个本地类基准，然后通过全局模型的预测结果以及本地类基准来修正标签。该方法仅仅通过全局模型来对噪声标签进行修正，但当数据集噪声程度较大时，全局模型的质量会显著降低，无法获得准确的本地类基准，因此该方法的性能依赖于噪声较少的数据集，无法适用于更一般的场景。
发明内容
为解决上述问题，本发明提出了一种联邦学习下噪声样本感知的本地模型训练方法及系统，通过建立噪声标签冲突模型，分析样本标签的冲突过程，并且采用样本标签矫正技术对噪声样本的标签进行修正，使得标签值更接近于正确值，从而引导模型参数向正确的方向迭代更新。同时，本发明采用了交叉验证的方法，从噪声数据集中采样出标签相对正确的数据样本形成校验数据集，该数据集中标签的正确程度直接决定了标签矫正的效果。因此本发明通过有效的矫正噪声样本标签，提高了模型在各个客户端上的收敛精度。
为了达到上述目的，本发明提供如下技术方案：
一种基于本地噪声感知的联邦学习优化方法，包括如下步骤：
步骤1：设计基于标签冲突矩阵的标签矫正网络LCN，LCN网络模型基于噪声冲突矩阵，噪声冲突矩阵能够定量分析各类型噪声数据集中样本标签发生冲突的过程，用于标签的矫正，将任意噪声样本的标签向量矫正为一个软标签向量；服务器初始化联邦学习模型以及LCN模型，并设定相关参数，组织各个客户端的本地训练；
步骤2：客户端执行基于标签矫正的鲁棒性训练算法，采用元学习的训练模式，对LCN模型和联邦学习模型同步进行优化；
步骤3：客户端执行基于交叉验证的数据采样算法，采用交叉验证的方式实现从噪声数据集中选择出标签相对正确的数据样本，并且将该子集近似作为校验数据集参与LCN模型的更新；
步骤4：服务器负责聚合各客户端的模型并将聚合后的模型发送给各客户端以进行下一轮的训练，在模型收敛后，服务器将最终的模型发送给各客户端用于模型推理。
进一步的，所述步骤1中使用标签矫正网络LCN矫正标签过程包括如下步骤：
步骤1-1：LCN模型输入样本特征向量的函数表征值h(x)，以及噪声样本标签的One-hot向量；
步骤1-2：对标签向量进行Embedding操作，将其线性转换为密集向量；
步骤1-3：已经拟合数据集标签冲突概率分布的LCN模型根据以上输入对该数据样本的标签值进行矫正，最后通过LCN的Softmax层输出矫正结果，该结果是一个1*C的向量，其中每维表示属于某一类别的概率值。
进一步的，所述步骤1中设定相关参数包括：设定学习率、训练批次大小、损失函数以及优化器；并设定联邦学习的超参数。
进一步的，所述步骤2具体包括如下步骤：
步骤2-1：进行元训练模式下的内层训练，利用每轮初始主训练模型参数和初始LCN模型参数在噪声数据集上进行一轮的训练；
步骤2-2：进行元训练模式下的外层训练，利用更新后的主训练模型在校验数据集上计算损失值，利用该损失值计算出的梯度对LCN模型参数进行反向更新；
步骤2-3：最后利用更新后的LCN模型参数和主训练模型参数在噪声数据集上进行多轮的更新迭代，完成该训练轮次的本地模型更新。
进一步的，所述步骤3具体包括如下步骤：
步骤3-1：将整个噪声数据集随机划分为两个子集，将联邦训练模型深度拷贝为两个初始模型分别在两个数据子集上进行多轮的训练迭代，得到两个更新后的模型；
步骤3-2：在推断选取部分，利用更新后的模型在数据集上进行交叉验证，如果模型的推断结果与样本标签一致，则将该样本加入待选集合；
步骤3-3：最后返回两个待选集合的并集作为LCN模型更新的校验数据集。
进一步的，所述步骤4具体包括如下步骤：
步骤4-1：服务器收到各个客户端返回的联邦学习模型参数后，对这些模型参数进行聚合，聚合方法为：
Figure BDA0003895958370000031
其中t表示训练轮次，I表示客户端数量，Di表示客户端i数据量大小；
步骤4-2：计算此时是否到达全局的通信轮次或达到预定的模型精度；若到达，则训练完毕，转到步骤4-3；否则，服务器将联邦学习发送至各客户端，转到步骤2，继续下一轮的训练；
步骤4-3：服务器将已经收敛的模型广播至各客户端，用于实际的应用推理。
基于本地噪声感知的联邦学习优化系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的基于本地噪声感知的联邦学习优化方法。
进一步的，所述计算机程序包括物理资源层、基础服务层、系统服务层、应用层。
与现有技术相比，本发明具有如下优点和有益效果：
本发明提出了一种联邦学习下噪声样本感知的本地模型训练方法，该方法使用标签冲突矩阵来反映数据集的噪声情况，通过使用标签矫正网络(LCN)拟合噪声数据集中的标签冲突概率分布，进而使用基于标签矫正的鲁棒性训练算法来训练联邦学习模型以及LCN模型。此外，该发明还使用基于交叉验证的数据采样算法来有效提升LCN的矫正效果。该方案有以下优点：
(1)准确性：通过噪声冲突矩阵可以定量分析各类型噪声数据集中样本标签发生冲突的过程，并且根据各个标签发生冲突的概率，在训练过程中对噪声样本的标签进行矫正，使得矫正后的标签值更接近于正确标签值，进一步提升模型在噪声数据集中的训练收敛精度。
(2)安全性：联邦学习基于分布式架构，在模型训练的过程中，各个终端的数据以及噪声矫正的过程都在终端本地处理，这一过程并不会使得各个终端上的隐私数据被暴露出来，从而保证了安全性。
(3)可行性。在一些研究工作中都假设校验数据集是天然存在并保存在集中式的云服务器中，但是由于正确标签的数据样本成本昂贵和不易获取，而且在联邦学习模式下客户端在每轮将主训练模型参数发送到服务器端计算损失值和梯度，然后将梯度结果传回本地进行LCN模型的反向更新，将使得通信成本大大增加。而本发明提出的基于交叉验证的数据采样算法直接在联邦学习终端本地产生校验集，节省了传输数据所需带宽，同时也充分利用了各终端的硬件性能，具有更高的可行性。
附图说明
图1为基于本地噪声感知的联邦学习优化方法原型系统示意图。
图2为标签纠正模型LCN结构框架示意图。
图3为采用元学习模式的本地模型训练流程图。
图4为基于交叉验证的数据采样流程图。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
联邦学习系统的基本组成为：一台服务器、若干台终端。噪声数据存在于终端本地，噪声数据标签的矫正也发生于终端本地，而无需上传至服务器。本发明提供了基于本地噪声感知的联邦学习优化系统，系统包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的基于本地噪声感知的联邦学习优化方法。系统的整体原型结构如图1所示。整个系统从逻辑架构上分为四个层次，包括：物理资源层、基础服务层、系统服务层、应用层。其中物理资源层主要包括参与本地模型训练的客户端设备以及用于模型聚合的服务端设备。其次基础服务层主要是系统开发过程中所使用的现有技术，主要包括开发平台Pytorch，服务端与客户端的通信框架gRPC，数据信息处理的序列化框架Protobuf以及通信协议HTTP/2等，基于这些技术对系统服务层中的模块进行开发实现。然后系统服务层提供相关的关键技术服务，主要包括服务端执行模块，客户端执行模块以及通信模块，这些模块实现本文所提出的方法，即实现本地噪声感知的联邦学习优化方法。因为服务端执行模块和客户端执行模块中均会涉及到数据信息的通信过程，所以通信模块作为这两个模块的基础模块层。最后应用层主要包括该系统支持的一系列智能任务，比如通过训练图像分类模型生成图像识别器等。客户端执行模块主要包括训练控制模块和协同交互模块，其中训练控制模块实现对本地训练流程的控制，该模块实现了噪声感知的本地模型训练方法。协同交互模块用于对通信数据进行管理，同样该模块是通信模块在客户端的具体实现。
服务器和各个客户端协同的完成基于本地噪声的联邦学习优化训练，首先服务器需要进行预处理准备工作，包含以下几个步骤：
步骤一，设计标签矫正网络
步骤1-1：设计基于标签冲突矩阵的标签矫正网络LCN，其架构如图2所示。
本发明提出使用噪声冲突矩阵来表示噪声数据集中样本标签发生冲突的过程，噪声冲突矩阵中的每一个值表示每个标签被错误标记为其他标签的概率。进而提出使用标签矫正网络来拟合噪声冲突矩阵，在已知数据集的标签冲突矩阵前提下，我们可以通过标签冲突的概率值，计算出任意数据样本属于其他标签的概率，从而获得相对正确的标签，达到标签矫正的效果。对于任意噪声数据集，需要对其中的样本标签进行多次的数理统计过程，然后拟合出冲突矩阵中的各个噪声冲突概率值，并且需要随着训练轮次不断更新，以优化冲突概率的准确性。本发明将标签冲突矩阵抽象为深度神经网络结构，使用标签矫正网络(LCN)拟合噪声数据集中的标签冲突概率分布。
该LCN模型基于噪声冲突矩阵，噪声冲突矩阵可以定量分析各类型噪声数据集中样本标签发生冲突的过程，用于标签的矫正。LCN模型输入样本特征向量的函数表征值h(x)，以及噪声样本标签的One-hot向量。其次对标签向量进行Embedding操作，将其线性转换为密集向量。然后已经拟合数据集标签冲突概率分布的LCN模型根据以上输入对该数据样本的标签值进行矫正，最后通过LCN的Softmax层输出矫正结果，该结果是一个1*C的向量，其中每维表示属于某一类别的概率值。因此通过LCN模型，可以将任意噪声样本的标签向量矫正为一个软标签向量，从而降低该样本属于错误标签的概率，以及提升正确标签的概率，最终达到对噪声样本错误标签值的矫正效果。联邦学习模型的设计一般需要针对特定任务，例如一般用于图像分类的任务的卷积神经网络模型等。
步骤1-2：在联邦学习系统中，服务器初始化联邦学习模型以及LCN模型。设定学习率、训练批次大小、损失函数以及优化器；并设定联邦学习的超参数，包括服务器与客户端之间的通信总轮次、每轮中客户端的训练次数等。
步骤1-3：服务器选择并通知一定数量的客户端，将初始的联邦学习模型以及LCN模型发送给客户端，准备开始模型的训练。
步骤二，基于标签矫正的鲁棒性训练算法
客户端收到服务器的训练通知后，开始本地的模型训练，如图3所示。本发明提出了一种元学习训练算法，在训练过程对LCN模型和联邦学习训练模型同步进行优化，主要步骤如下：
步骤2-1：客户端接收服务器发送的联邦学习模型以及LCN模型后，将联邦学习模型作为内层模型，LCN模型作为外层模型。将噪声样本的标签y和特征向量的函数表征值h(x)输入到LCN模型中进行标签矫正，从而得到矫正后的软标签yc。
步骤2-2：将数据样本的特征向量x输入到联邦训练模型w中进行预测，并得到预测结果fw(x)。步骤2-1、2-2可并行执行。
步骤2-3：利用联邦训练模型的预测结果和LCN模型的矫正结果，计算损失函数值。该损失值从侧面反映了LCN模型的标签矫正效果，即损失值越小，说明LCN的矫正效果越好。
步骤2-4：利用该损失值得到的梯度对联邦训练模型参数w进行反向更新，实现LCN模型在训练过程中的动态优化，以提升LCN模型的标签矫正效果。至此内层训练过程结束，在该过程中利用LCN模型的矫正后软标签引导联邦学习模型参数更新，因此更新后联邦训练模型在校验数据集上的测试精度可以说明LCN模型的矫正效果。
步骤2-5：利用校验数据集Dc验证更新后联邦训练模型的精度，并计算损失值，其中(x*,y*)∈Dc。
步骤2-6：利用更新后联邦训练模型参数在Dc上损失值得到的梯度对LCN模型的反向更新，从而优化标签矫正效果。
因此客户端此时需要利用本地数据集，并使用基于交叉验证的数据采样算法生成相对不含噪声的校验集，用以更新LCN模型，以完成步骤2-5、2-6。本发明的进一步改进在于提出了基于交叉验证的数据采样算法，该算法通过数据样本采样技术，从噪声数据集中动态选取噪声比更低的样本子集，并且将该子集近似作为校验数据集参与LCN模型的更新。如图4所示，其主要步骤如下：
步骤三：基于交叉验证的数据采样算法。本发明提出了基于交叉验证的数据采样算法，主要步骤分为模型训练和推断选取两部分。
模型训练部分：
步骤3-1：模型更新前，将客户端本地的噪声数据集D随机划分为两个子数据集D1和D2。
步骤3-2和3-3为将联邦训练模型深度拷贝为两个初始模型，分别在两个数据子集上进行多轮的训练迭代，得到两个更新后的模型。
推断选取部分：
步骤3-4：基于交叉验证的思想，采用模型w1(在D1上训练得到的模型)对子数据集D2进行推断，以及采用模型w2(在D2上训练得到的模型)对子数据集D1进行推断，分别收集其中预测结果与样本标签值相同的数据样本。具体过程为利用在D1上训练得到的模型w1，将集合D2作为测试集进行推断，对于D2的每个样本(x,y)，如果模型的推断结果yfw1与样本标签y一致，则将该样本加入待选集合S2，对于集合D1和模型w2也是同样过程。
步骤3-5：将收集到的数据样本(两个待选集合的并集)归纳为校验数据集Dc。然后利用更新后联邦训练模型参数在Dc上损失值得到的梯度对LCN模型的反向更新，从而优化标签矫正效果。
客户端将更新后的联邦学习模型上传至服务器。至此该轮次的本地训练过程结束。服务器继续以下流程：
步骤4-1：服务器收到各个客户端返回的联邦学习模型参数后，对这些模型参数进行聚合，聚合方法为：
Figure BDA0003895958370000071
其中t表示训练轮次，I表示客户端数量，|Di|表示客户端i数据量大小，|D|表示所有参与训练的客户端的总数据量，w表示联邦学习模型参数。该公式具体含义为：服务器对收到的模型参数句使用加权平均，每个客户端的权重为该客户端的数据量大小占总数据量的比重。
步骤4-2：服务器计算此时是否到达全局的通信轮次或达到预定的模型精度。若到达，则训练完毕，转到步骤4-3；否则，服务器将联邦学习发送至各客户端，转到步骤2-1，继续下一轮的训练。
步骤4-3：服务器将已经收敛的模型广播至各客户端，该模型可用于实际的应用推理。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (8)

1.一种基于本地噪声感知的联邦学习优化方法，其特征在于，包括如下步骤：
步骤1：设计基于标签冲突矩阵的标签矫正网络LCN，LCN网络模型基于噪声冲突矩阵，噪声冲突矩阵能够定量分析各类型噪声数据集中样本标签发生冲突的过程，用于标签的矫正，将任意噪声样本的标签向量矫正为一个软标签向量；服务器初始化联邦学习模型以及LCN模型，并设定相关参数，组织各个客户端的本地训练；
步骤2：客户端执行基于标签矫正的鲁棒性训练算法，采用元学习的训练模式，对LCN模型和联邦学习模型同步进行优化；
步骤3：客户端执行基于交叉验证的数据采样算法，采用交叉验证的方式实现从噪声数据集中选择出标签相对正确的数据样本，并且将该子集近似作为校验数据集参与LCN模型的更新；
步骤4：服务器负责聚合各客户端的模型并将聚合后的模型发送给各客户端以进行下一轮的训练，在模型收敛后，服务器将最终的模型发送给各客户端用于模型推理。
2.根据权利要求1所述的基于本地噪声感知的联邦学习优化方法，其特征在于，所述步骤1中使用标签矫正网络LCN矫正标签的过程包括如下步骤：
步骤1-1：LCN模型输入样本特征向量的函数表征值h(x)，以及噪声样本标签的One-hot向量；
步骤1-2：对标签向量进行Embedding操作，将其线性转换为密集向量；
步骤1-3：已经拟合数据集标签冲突概率分布的LCN模型根据以上输入对该数据样本的标签值进行矫正，最后通过LCN的Softmax层输出矫正结果，该结果是一个1*C的向量，其中每维表示属于某一类别的概率值。
3.根据权利要求1所述的基于本地噪声感知的联邦学习优化方法，其特征在于，所述步骤1中设定相关参数包括：设定学习率、训练批次大小、损失函数以及优化器；并设定联邦学习的超参数。
4.根据权利要求1所述的基于本地噪声感知的联邦学习优化方法，其特征在于，所述步骤2具体包括如下步骤：
步骤2-1：进行元训练模式下的内层训练，利用每轮初始主训练模型参数和初始LCN模型参数在噪声数据集上进行一轮的训练；
步骤2-2：进行元训练模式下的外层训练，利用更新后的主训练模型在校验数据集上计算损失值，利用该损失值计算出的梯度对LCN模型参数进行反向更新；
步骤2-3：最后利用更新后的LCN模型参数和主训练模型参数在噪声数据集上进行多轮的更新迭代，完成该训练轮次的本地模型更新。
5.根据权利要求1所述的基于本地噪声感知的联邦学习优化方法，其特征在于，所述步骤3具体包括如下步骤：
步骤3-1：将整个噪声数据集随机划分为两个子集，将联邦训练模型深度拷贝为两个初始模型分别在两个数据子集上进行多轮的训练迭代，得到两个更新后的模型；
步骤3-2：在推断选取部分，利用更新后的模型在数据集上进行交叉验证，如果模型的推断结果与样本标签一致，则将该样本加入待选集合；
步骤3-3：最后返回两个待选集合的并集作为LCN模型更新的校验数据集。
6.根据权利要求1所述的基于本地噪声感知的联邦学习优化方法，其特征在于，所述步骤4具体包括如下步骤：
步骤4-1：服务器收到各个客户端返回的联邦学习模型参数后，对这些模型参数进行聚合，聚合方法为：
Figure FDA0003895958360000021
其中t表示训练轮次，I表示客户端数量，Di表示客户端i数据量大小；
步骤4-2：计算此时是否到达全局的通信轮次或达到预定的模型精度；若到达，则训练完毕，转到步骤4-3；否则，服务器将联邦学习发送至各客户端，转到步骤2，继续下一轮的训练；
步骤4-3：服务器将已经收敛的模型广播至各客户端，用于实际的应用推理。
7.基于本地噪声感知的联邦学习优化系统，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现上述的基于本地噪声感知的联邦学习优化方法。
8.根据权利要求7所述的基于本地噪声感知的联邦学习优化系统，其特征在于，所述计算机程序包括物理资源层、基础服务层、系统服务层、应用层。
CN202211273252.2A 2022-10-18 2022-10-18 一种基于本地噪声感知的联邦学习优化方法及系统 Active CN115577797B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211273252.2A CN115577797B (zh) 2022-10-18 2022-10-18 一种基于本地噪声感知的联邦学习优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211273252.2A CN115577797B (zh) 2022-10-18 2022-10-18 一种基于本地噪声感知的联邦学习优化方法及系统

Publications (2)

Publication Number Publication Date
CN115577797A true CN115577797A (zh) 2023-01-06
CN115577797B CN115577797B (zh) 2023-09-26

Family

ID=84584250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211273252.2A Active CN115577797B (zh) 2022-10-18 2022-10-18 一种基于本地噪声感知的联邦学习优化方法及系统

Country Status (1)

Country Link
CN (1) CN115577797B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541769A (zh) * 2023-07-05 2023-08-04 北京邮电大学 一种基于联邦学习的节点数据分类方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837850A (zh) * 2019-10-23 2020-02-25 浙江大学 一种基于对抗学习损失函数的无监督域适应方法
CN112101328A (zh) * 2020-11-19 2020-12-18 四川新网银行股份有限公司 一种深度学习中识别并处理标签噪声的方法
CN112420187A (zh) * 2020-10-15 2021-02-26 南京邮电大学 一种基于迁移联邦学习的医疗疾病分析方法
CN112801177A (zh) * 2021-01-26 2021-05-14 南京邮电大学 基于标签矫正的无监督领域自适应模型的实现方法
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
US11100373B1 (en) * 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
CN113379071A (zh) * 2021-06-16 2021-09-10 中国科学院计算技术研究所 一种基于联邦学习的噪声标签修正方法
US20220083917A1 (en) * 2020-09-15 2022-03-17 Vmware, Inc. Distributed and federated learning using multi-layer machine learning models
CN114842267A (zh) * 2022-05-23 2022-08-02 南京邮电大学 基于标签噪声域自适应的图像分类方法及系统
CN114997423A (zh) * 2022-05-09 2022-09-02 北京航空航天大学 一种面向联邦学习的半中心化对抗训练方法
CN115062710A (zh) * 2022-06-22 2022-09-16 西安电子科技大学 基于深度确定性策略梯度的联邦学习分类模型训练方法
CN115081532A (zh) * 2022-07-01 2022-09-20 西安电子科技大学 基于记忆重放和差分隐私的联邦持续学习训练方法
CN115099334A (zh) * 2022-06-23 2022-09-23 上海大学 多方协作数据学习系统及学习模型训练方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837850A (zh) * 2019-10-23 2020-02-25 浙江大学 一种基于对抗学习损失函数的无监督域适应方法
WO2021115480A1 (zh) * 2020-06-30 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
US20220083917A1 (en) * 2020-09-15 2022-03-17 Vmware, Inc. Distributed and federated learning using multi-layer machine learning models
CN112420187A (zh) * 2020-10-15 2021-02-26 南京邮电大学 一种基于迁移联邦学习的医疗疾病分析方法
US11100373B1 (en) * 2020-11-02 2021-08-24 DOCBOT, Inc. Autonomous and continuously self-improving learning system
CN112101328A (zh) * 2020-11-19 2020-12-18 四川新网银行股份有限公司 一种深度学习中识别并处理标签噪声的方法
CN112801177A (zh) * 2021-01-26 2021-05-14 南京邮电大学 基于标签矫正的无监督领域自适应模型的实现方法
CN112949837A (zh) * 2021-04-13 2021-06-11 中国人民武装警察部队警官学院 一种基于可信网络的目标识别联邦深度学习方法
CN113379071A (zh) * 2021-06-16 2021-09-10 中国科学院计算技术研究所 一种基于联邦学习的噪声标签修正方法
CN114997423A (zh) * 2022-05-09 2022-09-02 北京航空航天大学 一种面向联邦学习的半中心化对抗训练方法
CN114842267A (zh) * 2022-05-23 2022-08-02 南京邮电大学 基于标签噪声域自适应的图像分类方法及系统
CN115062710A (zh) * 2022-06-22 2022-09-16 西安电子科技大学 基于深度确定性策略梯度的联邦学习分类模型训练方法
CN115099334A (zh) * 2022-06-23 2022-09-23 上海大学 多方协作数据学习系统及学习模型训练方法
CN115081532A (zh) * 2022-07-01 2022-09-20 西安电子科技大学 基于记忆重放和差分隐私的联邦持续学习训练方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SEUNGHAN YANG ET AL: "Robust Federated Learning with Noisy Labels", ARXIV *
余孟池;牟甲鹏;蔡剑;徐建;: "噪声标签重标注方法", 计算机科学, no. 06 *
刘轶等: "互补学习:一种面向图像应用和噪声标注的深度神经网络训练方法", 计算机研究与发展, no. 12 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116541769A (zh) * 2023-07-05 2023-08-04 北京邮电大学 一种基于联邦学习的节点数据分类方法及系统

Also Published As

Publication number Publication date
CN115577797B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
US11494660B2 (en) Latent code for unsupervised domain adaptation
US11544536B2 (en) Hybrid neural architecture search
CN109983480B (zh) 使用聚类损失训练神经网络
CN112181666A (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN114332578A (zh) 图像异常检测模型训练方法、图像异常检测方法和装置
CN110138595A (zh) 动态加权网络的时间链路预测方法、装置、设备及介质
US20240135191A1 (en) Method, apparatus, and system for generating neural network model, device, medium, and program product
CN113988314B (zh) 一种选择客户端的分簇联邦学习方法及系统
CN112231592B (zh) 基于图的网络社团发现方法、装置、设备以及存储介质
CN112967088A (zh) 基于知识蒸馏的营销活动预测模型结构和预测方法
US20220383036A1 (en) Clustering data using neural networks based on normalized cuts
CN112200296A (zh) 网络模型量化方法、装置、存储介质及电子设备
CN113256335B (zh) 数据筛选方法、多媒体数据的投放效果预测方法及装置
CN112966754B (zh) 样本筛选方法、样本筛选装置及终端设备
CN109389424B (zh) 流量分配方法、装置、电子设备及存储介质
CN112817563B (zh) 目标属性配置信息确定方法、计算机设备和存储介质
CN115562940A (zh) 负载能耗监控方法、装置、介质及电子设备
CN115577797B (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN117893807B (zh) 基于知识蒸馏的联邦自监督对比学习图像分类系统及方法
CN117197474B (zh) 一种基于类别均衡及交叉合并策略的噪声标签学习方法
WO2020152267A1 (en) Learning non-differentiable weights of neural networks using evolutionary strategies
CN114528973A (zh) 业务处理模型的生成方法、业务处理方法和装置
CN114443970A (zh) 基于人工智能和大数据的数字化内容推送方法及ai系统
CN113033653A (zh) 一种边-云协同的深度神经网络模型训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant