CN115860116A - 一种基于生成模型和深度迁移学习的联邦学习方法 - Google Patents
一种基于生成模型和深度迁移学习的联邦学习方法 Download PDFInfo
- Publication number
- CN115860116A CN115860116A CN202211547223.0A CN202211547223A CN115860116A CN 115860116 A CN115860116 A CN 115860116A CN 202211547223 A CN202211547223 A CN 202211547223A CN 115860116 A CN115860116 A CN 115860116A
- Authority
- CN
- China
- Prior art keywords
- model
- client
- data
- generative
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000013526 transfer learning Methods 0.000 title claims description 3
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000004088 simulation Methods 0.000 claims abstract description 24
- 238000013508 migration Methods 0.000 claims abstract description 15
- 230000005012 migration Effects 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims description 2
- 230000008014 freezing Effects 0.000 claims 1
- 238000007710 freezing Methods 0.000 claims 1
- 238000004891 communication Methods 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 9
- 238000012360 testing method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000269350 Anura Species 0.000 description 1
- 241000271566 Aves Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于生成模型和深度迁移学习的联邦学习方法，涉及信息安全技术领域，包括如下步骤：客户端训练生成模型和预测模型；客户端利用模拟数据训练全局模型并发送给客户端；客户端利用全局模型进行微调得到最终模型。本发明提出了一种结合生成模型和深度迁移学习的联邦学习方法，该方法只需客户端和服务器进行一轮通信，可极大降低联邦学习的通信成本，同时由于客户端得到了个性化模型，因此统计异质性问题也得到了缓解。
Description
技术领域
本发明涉及信息安全技术领域，具体是一种基于生成模型和深度迁移学习的联邦学习方法。
背景技术
近年来，机器学习在人工智能应用领域得到迅猛发展，这些机器学习技术的成功，尤其是深度学习，都是建立在大量数据的基础上的。随着物联网的发展，我们使用的数据往往来自于移动终端设备，这些数据存在两个特点：小规模、碎片化，出于用户隐私保护和数据安全的要求，简单地将这些数据聚合在一起用于机器学习模型训练是不可行的。
在这样的环境下，联邦学习应运而生。联邦学习是一种能够保护数据隐私的机器学习设置，允许用户共享模型而不是原始数据进行多方模型训练。联邦学习能够有效保护大数据环境下模型学习中涉及的用户数据隐私，但因其高昂的通信成本和客户端的异质性问题阻碍了联邦学习的规模化落地。
因此，在确保用户隐私安全的前提下，如何设计一种联邦学习方法使其能够降低通信成本和缓解统计异质性是当前信息安全技术领域亟需解决的问题。
发明内容
本发明的目的在于提供一种基于生成模型和深度迁移学习的联邦学习方法，以解决联邦学习方法规模化落地被高昂的通信成本和客户端的异质性问题所阻碍的问题。
本发明的创新之处在于：目前现有的技术方案只传输预测模型参数并进行聚合，而本发明所提出的一种联邦学习方法，引入生成模型和模拟数据在服务器构建全局模型，并且仅需一轮通信。
本发明的优势在于：利用生成模型在服务器生成模拟数据来建立全局预测模型，可以在下一轮通信下保证联邦学习到最终性能；使用深度迁移学习中的微调来进一步使用客户端不同分布的数据，从而缓解统计异质性低问题。
为实现上述目的，本发明采用以下技术方案。
首先对本发明涉及到概念内容进行说明。
1.变分自编码器(Variational Autoencoder,VAE)。VAE由编码器和解码器组成，编码器将数据样本x编码为隐层表示z，解码器将隐层表示z解码回数据空间，这两个过程表示为：
z～Enc(x)＝q(2|x)
VAE的训练目标是使重建误差尽可能小，即使得和尽可能接近。VAE损失函数如下所示：
其中z～N(0，1)，并且
Lprior＝DKL(q(z|x)||p(z))
其中DKL指的是KL散度。
2.生成对抗网络(Generating Adversarial Network,GAN)。GAN同样也包含编码器和解码器，通常被称为生成器网络G(z)的解码器将隐层表示z映射到数据空间，通常被称为判别器网络D(x)的编码器将训练一个代表数据真实性的概率y＝D(x)∈[0，1]，其中y越接近1，代表x是真实数据的概率越大，y越接近0，则代表x来自生成器网络G(z)的概率越大。
生成器网络G和判别器网络D被同时训练：更新G的网格参数来最小化ln(1-D(G(z)))，更新D的网格参数来最小化ln(D(x))，二者进行着一种两方最大最小博弈，其值函数为：
一种基于生成模型和深度迁移学习到联邦学习方法，包括以下步骤：
步骤1、客户端训练生成模型和预测模型；
步骤2、服务器端利用模拟数据训练全局模型并发送给客户端；
步骤3、客户端利用全局模型进行微调得到最终模型。
其中，所述的生成模型是一类特殊的模型，其参数估计的目的不是通过提取特征来建立输入输出之间的映射，而是学习训练数据的分布，从而模型在应用阶段能够生成与训练数据极为相似的数据。生成模型由编码器和解码器组成，模型训练的目标为最小化解码器的重建误差。
其中，所述生成模拟数据，是指在客户端的数据生成阶段，将噪声输入到解码器，由解码器生成的模拟数据。
其中，服务器端利用模拟数据训练全局模型的过程为，N个客户端发送内容到服务器端，服务器得到N个子数据集后，将这些数据集合并为
使用该数据集训练出全局预测模型Pglobal并将其发送给客户端。
具体地，服务器端从客户端接收的内容包括：生成模型的解码器Deci(z)，本地预测模型
数据数量numi，生成模型解码器Deci(z)输入噪声后可以得到模拟数据样本，这些模拟数据会被输入到客户端的本地预测模型/>
其中，客户端利用全局模型进行微调的过程为：客户端在接收到全局预测模型后，会利用本地的数据通过微调来得到个性化模型。具体地，客户端会冻结网络模型的浅层网络参数，并利用本地数据对深层网络参数进行调整。
综上所述，本发明提供了一种基于生成模型和深度迁移学习的联邦学习方法，服务器接收来自客户端的生成模型并生成模拟数据，然后服务器利用模拟数据训练全局模型并将其发送给客户端，客户端利用全局模型进行微调后得到最终模型。
附图说明
图1为本发明的系统架构图。
图2为本发明实施例2的残差单元结构图。
图3为本发明方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供了一种基于生成模型和深度迁移学习的联邦学习方法，包括以下步骤：
步骤1、客户端训练生成模型和预测模型；
步骤2、服务器端利用模拟数据训练全局模型并发送给客户端；
步骤3、客户端利用全局模型进行微调得到最终模型。
实施例1
本实施例中，客户端训练生成模型和预测模型的具体过程如下：
向客户端输入数据集，数据集包含7×104张手写数字的灰色图像，所有图像被分为10类，分别为手写数字0-9，并且每张图像已经被标准化为28×28，训练集包6×104张图像，测试集包含1×104张图像，并使用VAE作为生成模型。
使用Simple-CNN作为预测模型，Simple-CNN的结构如表1所示，除了表1中提到的卷积层和池化层，使用relu函数作为网络的激活函数，并增加了随机失活层防止过拟合。
表1Simple-CNN的结构。
| 名称 | 内核大小 | 步长 | 输出通道 |
| Convl | 5×5 | 1 | 10 |
| MaxPooll | 2×2 | 2×2 | - |
| Conv2 | 5×5 | 1 | 20 |
| MaxPool2 | 2×2 | 2×2 | - |
| FC1 | - | - | 50 |
| FC2 | - | - | 10 |
对于数据集在客户端上的划分，采用了IID和non-IID两种方式。首先将训练集合测试集合并得到7×104张图像，然后设置20个客户端，IID的数据划分方式为：每个客户端互不重复地随机选取3.5×103张图像作为本地数据集，其中6/7被作为本地训练集，1/7作为本地数据集。而non-IID的划分方式为：将所有数据切分成40份，其中每份数据只包含10个类别中的1个类别，每个客户端互不重复地随机选取2份数据作为本地数据集，这保证每个客户端上至少有2中类别的数据，同样地，non-IID划分的训练集-测试集比例为6:1。
本实施例中，服务器端利用模拟数据训练全局模型的具体过程如下：
服务器端利用各个客户端的生成模型生成数据样本，然后再用客户端的预测模型给生成的数据样本打标签得到一个模拟数据集，服务器再利用该模拟数据集训练一个全局的预测模型并发送给客户端。
本实施例中，客户端利用全局模型进行微调的过程如下：
客户端接收到全局预测模型，进行微调时，冻结Conv1，Conv2和FC1这三层的参数，至更新FC2这一全连接层的参数。使用Adam作为优化器，使用交叉熵作为损失函数，每批次数据量为64，训练轮数为500，学习率为5×10-4。
实施例2
本实施例中，客户端生成模型和生成模拟数据的具体过程如下：
向客户端输入数据集，数据集由6×104张32×32的彩色图像组成，所有图像被分为10类，分别为：飞机，汽车，火车，鸟，猫，狗，青蛙，马，船，卡车。每类有6×103张图像，包括5×103张训练图像和1×103张测试图像，数据集总共有5×104张训练图像和1×104张测试图像，使用GAN作为生成模型。
本实施例中，服务器端利用模拟数据训练全局模型的具体过程如下：
采用修改后的ResNet-18作为预测模型，其残差单元结构如图2所示，图中conv1，conv2和conv3即为表2中的conv1，conv2和conv3。由于ResNrt-18网络的输入图像的尺寸为3×224×224，而输入数据集的图像尺寸为3×32×32，所以对ResNet-18进行了一定调整，改动为：将第一个卷积核为7×7的卷积层以及一个最大池化层替换为一个卷积核为7×7的卷积层，以此来适应输入的图像尺寸。其具体网络结构参数如表3所示。
| 名称 | 输出尺寸 | 输出通道 | 包含内容 |
| ConvIn | 32×32 | 64 | Conv2d(3,1) |
| Layer1 | 32×32 | 64 | ResUnit(3,64,1,1,1)+ResUnit(3,64,1,1,1) |
| Layer2 | 16×16 | 128 | ResUnit(3,128,2,1,2)+ResUnit(3,128,1,1,1) |
| Layer3 | 8×8 | 256 | ResUnit(3,256,2,1,2)+ResUnit(3,256,1,1,1) |
| Layer4 | 4×4 | 512 | ResUnit(3,512,2,1,2)+ResUnit(3,512,1,1,1) |
| AvgPool | 1×1 | 512 | AvgPool(4,4) |
| Linear | - | 10 | Linear(512,10) |
其中，Conv2d(3,1)代表卷积核为3×3，步长为1的二维卷积层。ResUnit(n,m,k1,k2,k3)代表一个如图2所示的残差单元，其conv1，conv2和conv3的卷积核都为n×n，输出通道都为m，步长分别为k1,k2和k3。AvgPool(4,4)代表核为4×4，步长为4的平均池化层。Linear(512,10)代表输入为512维向量，输出为10维向量的全连接层。对于数据集在客户端上的划分，采用IDD和non-IID两种策略，首先合并训练集和测试集，客户端数量为20个，如果IID划分随机选取，如果non-IID划分则使得每个客户端至少有两个类别的样本，客户端上训练集和测试集的比例保持和原数据一致，都为5：1。
本实施例中，服务器端利用模拟数据训练全局模型的具体过程如下：
服务器端利用各个客户端的生成模型生成数据样本，然后再用客户端的预测模型给生成的数据样本打标签，从而得到一个模拟数据集，服务器再利用该模拟数据集训练一个全局的预测模型并发送给客户端。
本实施例中，客户端利用全局模型进行微调的过程如下：
客户端接收到服务器端发送到全局预测模型后，冻结ConvIn，Layer1，Layer2和Layer3这四层的参数，只更新Layer4和Linear这两层的参数。
以上所述仅为本发明的较佳实施例而已，本发明的保护范围不应该局限于该实施例和附图所公开的内容。任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (8)
1.一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，包括如下步骤：
步骤1、客户端训练生成模型和预测模型；
步骤2、客户端利用模拟数据训练全局模型并发送给客户端；
步骤3、客户端利用全局模型进行微调得到最终模型。
2.根据权利要求1所述的一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，所述步骤1中，客户端训练生成模型和预测模型具体为：各个客户端利用本地数据训练一个用于数据样本的生成模型和一个用于推断标签的局部模型，然后将这两个模型的参数发送给服务器端。
3.根据权利要求2所述的一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，生成模型具体为：生成模型是一类特殊的模型，其参数估计的目的不是通过提取特征来建立输入输出之间的映射，而是学习训练数据的分布，从而模型在应用阶段能够生成与训练数据极为相似的数据。
4.根据权利要求2所述的一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，所述步骤1中，建立生成模型可以得到模拟数据样本，但仅通过没有标签的数据样本无法建立预测模型，因此客户端还需要建立预测模型并发送到服务器端以得到服务器生成的模拟数据的标签。
5.根据权利要求1所述的一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，所述步骤2中，服务器端利用模拟数据训练全局模型的具体为：服务器端利用各个客户端的生成模型生成数据样本，然后再用客户端的预测模型给生成的数据样本打标签，从而得到一个模拟数据集，服务器再利用该模拟数据集训练一个全局的预测模型并发送给客户端。
6.根据权利要求4所述的一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，服务器端从客户端接收的内容包括：生成模型的解码器
，本地预测模型/>
，数据数量/>
，生成模型解码器/>
输入噪声后可以得到模拟数据样本，这些模拟数据会被输入到客户端的本地预测模型/>
。
7.根据权利要求1所述的一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，所述客户端利用全局模型进行微调具体为：客户端在接收到全局预测模型后，利用全局预测模型和本地的数据通过微调来得到个性化模型。
8.根据权利要求7所述的一种基于生成模型和深度迁移学习的联邦学习方法，其特征在于，所述微调为：客户端通过冻结网络模型的浅层网络参数，并利用本地数据对深层网络参数进行调整。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211547223.0A CN115860116A (zh) | 2022-12-02 | 2022-12-02 | 一种基于生成模型和深度迁移学习的联邦学习方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211547223.0A CN115860116A (zh) | 2022-12-02 | 2022-12-02 | 一种基于生成模型和深度迁移学习的联邦学习方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115860116A true CN115860116A (zh) | 2023-03-28 |
Family
ID=85669802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211547223.0A Pending CN115860116A (zh) | 2022-12-02 | 2022-12-02 | 一种基于生成模型和深度迁移学习的联邦学习方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115860116A (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190122411A1 (en) * | 2016-06-23 | 2019-04-25 | LoomAi, Inc. | Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images |
| CN111428881A (zh) * | 2020-03-20 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| WO2021115480A1 (zh) * | 2020-06-30 | 2021-06-17 | 平安科技（深圳）有限公司 | 联邦学习方法、装置、设备和存储介质 |
| CN113297573A (zh) * | 2021-06-11 | 2021-08-24 | 浙江工业大学 | 一种基于gan模拟数据生成的垂直联邦学习防御方法和装置 |
| CN113781397A (zh) * | 2021-08-11 | 2021-12-10 | 中国科学院信息工程研究所 | 基于联邦学习的医疗影像病灶检测建模方法、装置及系统 |
| CN113792856A (zh) * | 2021-09-09 | 2021-12-14 | 电子科技大学 | 基于vae医疗保健联邦学习框架的确定方法 |
| WO2022057694A1 (en) * | 2020-09-16 | 2022-03-24 | International Business Machines Corporation | Semantic learning in federated learning system |
| CN114357067A (zh) * | 2021-12-15 | 2022-04-15 | 华南理工大学 | 一种针对数据异构性的个性化联邦元学习方法 |
| US20220121949A1 (en) * | 2020-10-21 | 2022-04-21 | Qualcomm Incorporated | Personalized neural network pruning |
| CN115098885A (zh) * | 2022-07-28 | 2022-09-23 | 清华大学 | 数据处理方法、系统及电子设备 |
| CN115238908A (zh) * | 2022-03-15 | 2022-10-25 | 华东师范大学 | 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法 |
| KR20230062553A (ko) * | 2020-09-09 | 2023-05-09 | 엘지전자 주식회사 | 압축 연합 학습 수행 방법 및 장치 |
| WO2024072074A1 (en) * | 2022-09-27 | 2024-04-04 | Samsung Electronics Co., Ltd. | Method and system for federated learning |
-
2022
- 2022-12-02 CN CN202211547223.0A patent/CN115860116A/zh active Pending
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190122411A1 (en) * | 2016-06-23 | 2019-04-25 | LoomAi, Inc. | Systems and Methods for Generating Computer Ready Animation Models of a Human Head from Captured Data Images |
| CN111428881A (zh) * | 2020-03-20 | 2020-07-17 | 深圳前海微众银行股份有限公司 | 识别模型的训练方法、装置、设备及可读存储介质 |
| WO2021115480A1 (zh) * | 2020-06-30 | 2021-06-17 | 平安科技（深圳）有限公司 | 联邦学习方法、装置、设备和存储介质 |
| KR20230062553A (ko) * | 2020-09-09 | 2023-05-09 | 엘지전자 주식회사 | 압축 연합 학습 수행 방법 및 장치 |
| WO2022057694A1 (en) * | 2020-09-16 | 2022-03-24 | International Business Machines Corporation | Semantic learning in federated learning system |
| CN116097288A (zh) * | 2020-09-16 | 2023-05-09 | 国际商业机器公司 | 联合学习系统中的语义学习 |
| US20220121949A1 (en) * | 2020-10-21 | 2022-04-21 | Qualcomm Incorporated | Personalized neural network pruning |
| CN116368501A (zh) * | 2020-10-21 | 2023-06-30 | 高通股份有限公司 | 个性化神经网络修剪 |
| AU2020103905A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Unsupervised cross-domain self-adaptive medical image segmentation method based on deep adversarial learning |
| CN113297573A (zh) * | 2021-06-11 | 2021-08-24 | 浙江工业大学 | 一种基于gan模拟数据生成的垂直联邦学习防御方法和装置 |
| CN113781397A (zh) * | 2021-08-11 | 2021-12-10 | 中国科学院信息工程研究所 | 基于联邦学习的医疗影像病灶检测建模方法、装置及系统 |
| CN113792856A (zh) * | 2021-09-09 | 2021-12-14 | 电子科技大学 | 基于vae医疗保健联邦学习框架的确定方法 |
| CN114357067A (zh) * | 2021-12-15 | 2022-04-15 | 华南理工大学 | 一种针对数据异构性的个性化联邦元学习方法 |
| CN115238908A (zh) * | 2022-03-15 | 2022-10-25 | 华东师范大学 | 基于变分自编码器、无监督聚类算法和联邦学习的数据生成方法 |
| CN115098885A (zh) * | 2022-07-28 | 2022-09-23 | 清华大学 | 数据处理方法、系统及电子设备 |
| WO2024072074A1 (en) * | 2022-09-27 | 2024-04-04 | Samsung Electronics Co., Ltd. | Method and system for federated learning |
Non-Patent Citations (2)
| Title |
|---|
| 牛俊登: "机器学习中成员推理攻击和防御研究综述", 《信息安全学报》, 15 November 2022 (2022-11-15), pages 1 - 30 * |
| 王志刚;王海涛;佘琪;史雪松;张益民;: "机器人4.0:边缘计算支撑下的持续学习和时空智能", 计算机研究与发展, no. 09, 1 September 2020 (2020-09-01), pages 78 - 87 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shlezinger et al. | UVeQFed: Universal vector quantization for federated learning | |
| Liang et al. | An iterative BP-CNN architecture for channel decoding | |
| Cai et al. | Simultaneous testing of grouped hypotheses: Finding needles in multiple haystacks | |
| CN114943345B (zh) | 基于主动学习和模型压缩的联邦学习全局模型训练方法 | |
| EP4350572A1 (en) | Method, apparatus and system for generating neural network model, devices, medium and program product | |
| Eldar et al. | Machine learning and wireless communications | |
| CN112163637B (zh) | 基于非平衡数据的图像分类模型训练方法、装置 | |
| CN114091667A (zh) | 一种面向非独立同分布数据的联邦互学习模型训练方法 | |
| CN112115967A (zh) | 一种基于数据保护的图像增量学习方法 | |
| CN108959388A (zh) | 信息生成方法及装置 | |
| CN115829027A (zh) | 一种基于对比学习的联邦学习稀疏训练方法及系统 | |
| CN115471016A (zh) | 一种基于cisso与daed的台风预测方法 | |
| Wang et al. | Deep joint source-channel coding for multi-task network | |
| CN115905978A (zh) | 基于分层联邦学习的故障诊断方法及系统 | |
| Zhou | Deep embedded clustering with adversarial distribution adaptation | |
| CN115170874A (zh) | 一种基于解耦蒸馏损失的自蒸馏实现方法 | |
| Yu et al. | Communication-efficient personalized federated meta-learning in edge networks | |
| Tseng et al. | User selection approach in multiantenna beamforming NOMA video communication systems | |
| CN115860116A (zh) | 一种基于生成模型和深度迁移学习的联邦学习方法 | |
| CN113949880B (zh) | 一种极低码率人机协同图像编码训练方法及编解码方法 | |
| CN114265954B (zh) | 基于位置与结构信息的图表示学习方法 | |
| CN117033997A (zh) | 数据切分方法、装置、电子设备和介质 | |
| KR102393761B1 (ko) | 이미지 처리를 위한 인공 신경망 모델 학습 방법 및 시스템 | |
| CN114004295A (zh) | 一种基于对抗增强的小样本图像数据拓展方法 | |
| CN114997423A (zh) | 一种面向联邦学习的半中心化对抗训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |