CN113095407A - 一种降低通信次数的高效异步联邦学习方法 - Google Patents

一种降低通信次数的高效异步联邦学习方法 Download PDF

Info

Publication number
CN113095407A
CN113095407A CN202110398414.4A CN202110398414A CN113095407A CN 113095407 A CN113095407 A CN 113095407A CN 202110398414 A CN202110398414 A CN 202110398414A CN 113095407 A CN113095407 A CN 113095407A
Authority
CN
China
Prior art keywords
model
training
user
local
parameter server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110398414.4A
Other languages
English (en)
Inventor
李子祺
罗智勇
刘光辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin University of Science and Technology
Original Assignee
Harbin University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin University of Science and Technology filed Critical Harbin University of Science and Technology
Priority to CN202110398414.4A priority Critical patent/CN113095407A/zh
Publication of CN113095407A publication Critical patent/CN113095407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种降低通信次数的高效异步联邦学习方法。本发明首先设计了一个随版本陈旧度自适应变化的超参数r，降低了版本陈旧度给异步联邦学习带来的误差并引导模型收敛；并且针对联邦学习通信量大的问题，通过在前期增大学习率和减小本地轮数，然后逐渐减小学习率增大本地轮数，能在有效减少模型训练的总通信回合数的情况下同时保证模型的性能基本不变，使系统更好的进行异步联邦学习。

Description

一种降低通信次数的高效异步联邦学习方法
技术领域：
本发明涉及一种降低通信次数的高效异步联邦学习方法，该方法在联邦学习领域有着很好的应用。
背景技术：
在异步联邦学习领域中，本地模型的版本陈旧度对于全局模型的更新会引起一定的误差甚至错误，控制版本陈旧度可以减轻版本陈旧度带来的误差并且引导模型收敛。同时，在联邦学习过程中，模型参数量大导致远程设备训练时通信量巨大一直是困扰联邦学习的一个问题。一般人们会使用模型蒸馏等方法减少模型参数量，降低每次通信的信息量。
如何控制联邦学习过程中的通信量，并且控制在异步联邦学习时版本陈旧度带来的误差是联邦学习的重要研究方向。在应对版本陈旧度的问题上，根据本地模型不同的版本陈旧度，让本地模型在更新全局模型时占有合适的权重，可以使得联邦学习既有着较快的收敛速度，又有良好的模型性能。同时，在联邦学习训练过程中，前期以较大的学习率，较小的本地回合数训练，并逐渐降低学习率，增加本地回合数，可以使模型训练时的总通信回合数减少，为降低联邦学习过程中的总通信量提供了新的思路。
发明内容：
为了降低异步联邦学习过程中版本陈旧度带来的影响，并且减少训练过程中的总通信次数，本发明公开了一种降低通信次数的高效异步联邦学习方法。
为此，本发明提供如下技术方案：
1.一种降低通信次数的高效异步联邦学习方法，其特征在于，该方法包括以下步骤：
步骤1：参数服务器在所有参与异步联邦学习的用户中随机拉取n个用户参与训练，当有用户训练结束时立即继续随机拉取用户参与训练，并保持训练过程中一直有n个用户参与训练；
步骤2：在训练前期，将使用户以较大的学习率和较小的本地回合数训练，并随训练将学习率逐渐降低，本地回合数逐渐升高；
步骤3：让获得模型和参数的用户使用本地数据集训练此模型；
步骤4：用户训练结束时，将模型参数发送给参数服务器，服务器根据用户训练过程中全局模型被其他用户的更新次数确定版本陈旧度，并利用超参数r和用户的本地模型更新全局模型；
步骤5：当全局模型收敛或达到某些特定条件时，参数服务器停止拉取用户并停止更新全局模型，全局模型训练完成；
2.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤1中，参数服务器拉取用户，具体步骤为：
步骤1-1在参数服务器上创建一个用于联邦学习的机器学习模型，初始化全局模型参数；
步骤1-2从所有参与联邦学习的用户中随机拉取n个用户参与训练，n的大小可自定义，n个用户异步并行的利用各自的本地数据对全局模型进行训练；
步骤1-3当有用户训练结束或者掉线时，继续拉取用户参与训练，使得参与训练的用户数始终保持为n。
3.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤2中，根据训练进程确定学习率和本地回合数，具体步骤为：
步骤2-1根据具体任务给模型设定相对较大的初始学习率和较小的本地回合数；
步骤2-2根据模型的训练进度情况，逐渐降低学习率，逐渐提高本地模型训练的回合数，并将这些参数与模型一同发送给用户。
4.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤3中，用户使用本地数据集训练模型，具体步骤为：
步骤3-1在用户A被参数服务器拉取后，用户A立刻从参数服务器下载全局模型和参数，若用户A曾经参与过训练，则只需要更新模型参数即可；
步骤3-2用户A根据参数服务器要求的学习率和本地回合数，使用本地数据集A对从参数服务器下载的全局模型进行训练；
5.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤4中，用户提交本地模型，具体步骤为：
步骤4-1用户A利用本地数据集A将下载的全局模型训练结束后，将更新后的模型参数提交给参数服务器；
步骤4-2参数服务器根据用户A本次训练过程中，参数服务器中的全局模型被其他用户更新次数v，确定版本陈旧度为v，利用根据版本陈旧度自适应调整的超参数r更新全局模型。其中，全局模型更新公式为：
Wt＝Wt-1+r×ΔW
其中：
ΔW＝Wlocal-Wt-1
r＝(v+2)-a
Wt为参数服务器本次更新后的全局模型，Wt-1为本次更新前，即参数服务器经过t-1次更新后的全局模型，Wlocal为本次用户提交的本地模型，v为提交的本地模型的版本陈旧度，a为自设定参数，a∈(0，1)。
6.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤5中，训练结束，参数服务器停止拉取用户，具体步骤为：
步骤5-1当参数服务器检测到全局模型已经收敛或者达到了提前设定的某些条件后，参数服务器停止更新全局模型；
步骤5-2参数服务器停止拉取用户参与训练，此次联邦学习训练的全局模型成功。
有益效果：
1.本发明是一种降低通信次数的高效异步联邦学习方法。对联邦学习的训练过程降低通信次数，提高训练的模型质量。以MNIST数据集为基础，异步联邦学习能以较少的通信次数，训练出具有较好性能的模型。
2.考虑到节点在模型训练时的训练时间随机特性，对异步联邦学习的版本陈旧度问题进行探索，增加了超参数r，以较好的收敛速度引导模型收敛，降低异步学习时版本陈旧度对模型性能的影响。
3.为了减少总通信次数，加快全局模型的训练，提出前期增大学习率，降低本地轮数，使全局模型更快的收敛，并且能够基本不影响模型的性能。
4.本发明以公开数据集MNIST为实验数据集，采用一个简单的卷积神经网络为实验模型。
附图说明：
图1为本发明实施方式中的高效异步联邦学习流程图。
图2为本发明实施方式中的本地模型版本陈旧度示意图。
图3为本发明实施方式中的使用超参数r的异步学习和同步学习训练过程对比图。
图4为本发明实施方式中的减少通信次数的高效异步联邦学习和未减少通信次数时的训练过程对比图。
具体实施方式：
为了使本发明的实施例中的技术方案能够清楚和完整地描述，以下结合实施例中的附图，对本发明进行进一步的详细说明。
本发明实施例高效异步联邦学习流程图，如图1所示，包括以下步骤：
步骤1部署模型，参数服务器拉取用户参与训练。
步骤1-1训练开始时，在参数服务器上部署需要训练的模型，将模型版本号设置为0。本实验使用了一个用于对MNIST数据集进行10分类的简单卷积神经网络，并将MNIST数据集的6万个训练样本平均分配给参与联邦学习的100位用户。
步骤1-2本实验将参与联邦学习的用户数设置为100，并保持训练过程中始终有10位用户正在参与训练。因此，设置10个线程代表正在参与训练的10位用户，每个线程设置一个随机停顿时间，表示异步学习中各设备所需的训练时间的不同。在开始联邦学习时，每个线程随机抽取一位用户的数据，表示参数服务器在所有参与联邦学习的用户群中随机拉取10位用户。
步骤1-3每个线程训练完成后继续随机抽取一位用户的数据进行训练，表示在训练过程中保持始终有10位用户正在参与联邦学习的训练
步骤2根据训练进程确定学习率和本地回合数，让用户按照要求的学习率和本地回合数训练。
步骤2-1根据训练任务选择合适的初始学习率和本地回合数，并在前期使用较大的学习率，较小的本地回合数进行训练。本任务的初始学习率设置为0.06，初始本地回合数设置为3。
步骤2-2根据训练进度自动调整学习率和本地回合数。学习率在前30轮训练时每轮衰减0.001，直到学习率衰减至0.03。本地回合数在前40个回合均匀的从3增加到5，并在之后的学习中保持为5。
步骤3被选中的用户使用本地数据集训练模型。
步骤3-1用户被参数服务器选中后立刻从参数服务器下载模型和参数，曾经参与过训练的用户由于本地已经有模型，只需要更新模型参数。假设用户A被抽取进行训练，下载的模型版本号为v。
步骤3-2用户A使用版本号为v的模型并利用本地数据集A进行训练，训练使用的学习率为服务器要求的学习率，训练轮数为服务器设置的轮数。训练完成后将模型提交至参数服务器。
步骤4用户提交经过训练的本地模型，由参数服务器根据此模型按一定规则对全局模型进行更新。
步骤4-1假设用户A从参数服务器下载模型到训练完成提交本地模型至服务器的时间段内，参数服务器上的全局模型版本号变为v+8，即训练过程中参数服务器上的全局模型被其他用户更新了8次，用户A提交的本地模型版本陈旧度为8。
步骤4-2参数服务器根据版本陈旧度8，通过公式计算超参数r：
r＝(v+2)-a
本实验a设置为0.5，计算得出超参数r为0.316。通过公式：
Wt＝Wt-1+r×ΔW
ΔW＝Wlocal-Wt-1
计算出全局模型更新后的表示为Wglobal＝Wglobal+0.316(Wlocal-Wglobal)。同时参数服务器的全局模型版本号被置为v+9。
步骤5训练结束，参数服务器停止拉取用户。
步骤5-1参数服务器检测到全局模型已经收敛或者达到了提前设定的某些条件后，参数服务器停止更新全局模型，参数服务器停止拉取用户参与训练，此次联邦学习训练的全局模型成功。
步骤5-2训练结束后，通过图3图4可以看到实验过程，每类实验做10次并取平均值。使用超参数r的高效全局模型的准确率为97.89％，而普通异步模型准确率为96.05％，同步模型的准确率为97.83％。可以看出，普通的异步模型训练后准确率比同步模型低1.78％，明显低于同步模型。而在使用超参数r对于异步模型中不同陈旧度的本地模型进行自适应加权平均后，模型的准确率比普通异步模型高1.84％，比同步模型FedAvg高0.06％，这是因为异步模型对对训练有一定的正则化作用。而使用减少通信方法后，模型准确度为97.74％，准确度降低0.15％，对模型影响很小，但是通信次数从200次降低至133次，减少了67个(33.5％)通信回合。
本发明实施方式所实现的降低通信次数的高效异步联邦学习方法，使用超参数r应对异步联邦学习版本陈旧度问题，通过前期使用较大学习率和较小的本地回合数，逐渐减小学习率和增大本地回合数对异步联邦学习模型训练。该方法可以在异步联邦学习时训练出性能较好的模型，并能有效降低通信回合数。
以上所述是结合附图对本发明的实施例进行的详细介绍，本文的具体实施方式只是用于帮助理解本发明的方法。对于本技术领域的普通技术人员，依据本发明的思想，在具体实施方式及应用范围内均可有所变更和修改，故本发明书不应理解为对本发明的限制。

Claims (6)

1.一种降低通信次数的高效异步联邦学习方法，其特征在于，该方法包括以下步骤：
步骤1：参数服务器在所有参与异步联邦学习的用户中随机拉取n个用户参与训练，当有用户训练结束时立即继续随机拉取用户参与训练，并保持训练过程中一直有n个用户参与训练；
步骤2：在训练前期，将使用户以较大的学习率和较小的本地回合数训练，并随训练将学习率逐渐降低，本地回合数逐渐升高；
步骤3：让获得模型和参数的用户使用本地数据集训练此模型；
步骤4：用户训练结束时，将模型参数发送给参数服务器，服务器根据用户训练过程中全局模型被其他用户的更新次数确定版本陈旧度，并利用超参数r和用户的本地模型更新全局模型；
步骤5：当全局模型收敛或达到某些特定条件时，参数服务器停止拉取用户并停止更新全局模型，全局模型训练完成。
2.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤1中，参数服务器拉取用户，具体步骤为：
步骤1-1在参数服务器上创建一个用于联邦学习的机器学习模型，初始化全局模型参数；
步骤1-2从所有参与联邦学习的用户中随机拉取n个用户参与训练，n的大小可自定义，n个用户异步并行的利用各自的本地数据对全局模型进行训练；
步骤1-3当有用户训练结束或者掉线时，继续拉取用户参与训练，使得参与训练的用户数始终保持为n。
3.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤2中，根据训练进程确定学习率和本地回合数，具体步骤为：
步骤2-1根据具体任务给模型设定相对较大的初始学习率和较小的本地回合数；
步骤2-2根据模型的训练进度情况，逐渐降低学习率，逐渐提高本地模型训练的回合数，并将这些参数与模型一同发送给用户。
4.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤3中，用户使用本地数据集训练模型，具体步骤为：
步骤3-1在用户A被参数服务器拉取后，用户A立刻从参数服务器下载全局模型和参数，若用户A曾经参与过训练，则只需要更新模型参数；
步骤3-2用户A根据参数服务器要求的学习率和本地回合数，使用本地数据集A对从参数服务器下载的全局模型进行训练。
5.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤4中，用户提交本地模型，具体步骤为：
步骤4-1用户A利用本地数据集A将下载的全局模型训练结束后，将更新后的模型参数提交给参数服务器；
步骤4-2参数服务器根据用户A本次训练过程中，参数服务器中的全局模型被其他用户更新次数v，确定版本陈旧度为v，利用根据版本陈旧度自适应调整的超参数r更新全局模型。其中，全局模型更新公式为：
Wt＝Wt-1+r×ΔW
其中：
ΔW＝Wlocal-Wt-1
r＝(v+2)-a
Wt为参数服务器本次更新后的全局模型，Wt-1为本次更新前，即参数服务器经过t-1次更新后的全局模型，Wlocal为本次用户提交的本地模型，v为提交的本地模型的版本陈旧度，a为自设定参数，a∈(0,1)。
6.根据权利要求1所述的降低通信次数的高效异步联邦学习方法，其特征在于，所述步骤5中，训练结束，参数服务器停止拉取用户，具体步骤为：
步骤5-1当参数服务器检测到全局模型已经收敛或者达到了提前设定的某些条件后，参数服务器停止更新全局模型；
步骤5-2参数服务器停止拉取用户参与训练，此次联邦学习训练的全局模型成功。
CN202110398414.4A 2021-04-12 2021-04-12 一种降低通信次数的高效异步联邦学习方法 Pending CN113095407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110398414.4A CN113095407A (zh) 2021-04-12 2021-04-12 一种降低通信次数的高效异步联邦学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110398414.4A CN113095407A (zh) 2021-04-12 2021-04-12 一种降低通信次数的高效异步联邦学习方法

Publications (1)

Publication Number Publication Date
CN113095407A true CN113095407A (zh) 2021-07-09

Family

ID=76677060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110398414.4A Pending CN113095407A (zh) 2021-04-12 2021-04-12 一种降低通信次数的高效异步联邦学习方法

Country Status (1)

Country Link
CN (1) CN113095407A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672684A (zh) * 2021-08-20 2021-11-19 电子科技大学 一种面向非独立同分布数据的分层用户训练管理系统及方法
CN114819196A (zh) * 2022-06-24 2022-07-29 杭州金智塔科技有限公司 基于噪音蒸馏的联邦学习系统及方法
CN115456194A (zh) * 2022-08-25 2022-12-09 北京百度网讯科技有限公司 基于异步联邦学习的模型训练控制方法、装置及系统
CN117151208A (zh) * 2023-08-07 2023-12-01 大连理工大学 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829441A (zh) * 2018-05-14 2018-11-16 中山大学 一种分布式深度学习的参数更新优化系统
CN109978177A (zh) * 2019-03-19 2019-07-05 腾讯科技（深圳）有限公司 模型训练方法、业务处理方法、装置及相关设备
CN111931949A (zh) * 2019-05-13 2020-11-13 国际商业机器公司 联邦学习环境中的通信

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829441A (zh) * 2018-05-14 2018-11-16 中山大学 一种分布式深度学习的参数更新优化系统
CN109978177A (zh) * 2019-03-19 2019-07-05 腾讯科技（深圳）有限公司 模型训练方法、业务处理方法、装置及相关设备
CN111931949A (zh) * 2019-05-13 2020-11-13 国际商业机器公司 联邦学习环境中的通信

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姚泽鹏 等: "基于卷积神经网络的人体动作识别方法", 《空军预警学院学报》 *
芦效峰 等: "一种面向边缘计算的高效异步联邦学习机制", 《计算机研究与发展》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113672684A (zh) * 2021-08-20 2021-11-19 电子科技大学 一种面向非独立同分布数据的分层用户训练管理系统及方法
CN113672684B (zh) * 2021-08-20 2023-04-21 电子科技大学 一种面向非独立同分布数据的分层用户训练管理系统及方法
CN114819196A (zh) * 2022-06-24 2022-07-29 杭州金智塔科技有限公司 基于噪音蒸馏的联邦学习系统及方法
CN114819196B (zh) * 2022-06-24 2022-10-28 杭州金智塔科技有限公司 基于噪音蒸馏的联邦学习系统及方法
CN115456194A (zh) * 2022-08-25 2022-12-09 北京百度网讯科技有限公司 基于异步联邦学习的模型训练控制方法、装置及系统
CN115456194B (zh) * 2022-08-25 2023-09-01 北京百度网讯科技有限公司 基于异步联邦学习的模型训练控制方法、装置及系统
CN117151208A (zh) * 2023-08-07 2023-12-01 大连理工大学 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质
CN117151208B (zh) * 2023-08-07 2024-03-22 大连理工大学 基于自适应学习率的异步联邦学习参数更新方法、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113095407A (zh) 一种降低通信次数的高效异步联邦学习方法
CN110546656B (zh) 前馈生成式神经网络
US10872273B2 (en) System and method for batch-normalized recurrent highway networks
WO2021057245A1 (zh) 带宽预测方法、装置、电子设备及存储介质
CN113011599A (zh) 基于异构数据的联邦学习系统
CN113487039B (zh) 基于深度强化学习的智能体自适应决策生成方法及系统
JP2020506488A (ja) バッチ再正規化層
CN112989017B (zh) 用于生成对话策略学习用高质量模拟经验的方法
WO2023216383A1 (zh) 基于复值神经网络的复值时序信号预测方法
CN111814965A (zh) 超参数调整方法、装置、设备及存储介质
CN112717415A (zh) 一种基于信息瓶颈理论的强化学习对战游戏ai训练方法
CN115374853A (zh) 基于T-Step聚合算法的异步联邦学习方法及系统
CN113077056A (zh) 基于横向联邦学习的数据处理系统
JPH03278166A (ja) 多層パーセプトロン・デバイスのネットワーク・パラメータの調整方法及び同方法の実施手段を備えたパーセプトロン・デバイス
Gulde et al. Deep reinforcement learning using cyclical learning rates
CN112331181A (zh) 一种基于多说话人条件下目标说话人语音提取方法
CN112518742B (zh) 基于动态模型与事后经验回放的多目标机器人控制方法
CN115903901A (zh) 内部状态未知的无人集群系统输出同步优化控制方法
CN115695429A (zh) 面向Non-IID场景的联邦学习客户端选择方法
Vitay Deep reinforcement learning
Li et al. MAFENN: Multi-agent feedback enabled neural network for wireless channel equalization
WO2023284731A1 (zh) 参数设置方法、装置、电子设备和存储介质
KR102658912B1 (ko) 도메인별 최적화를 위한 생성 신경망의 에너지 효율적인 재학습 방법
US12020164B2 (en) Neural networks for scalable continual learning in domains with sequentially learned tasks
Li et al. Federated learning on non-independent and identically distributed data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210709