CN114648092A - 一种个性化联邦学习加速方法、装置 - Google Patents

一种个性化联邦学习加速方法、装置 Download PDF

Info

Publication number
CN114648092A
CN114648092A CN202011512260.9A CN202011512260A CN114648092A CN 114648092 A CN114648092 A CN 114648092A CN 202011512260 A CN202011512260 A CN 202011512260A CN 114648092 A CN114648092 A CN 114648092A
Authority
CN
China
Prior art keywords
network
model
vector
coding vector
acceleration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011512260.9A
Other languages
English (en)
Inventor
伍泰霖
高希彤
林彦颖
叶可江
须成忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Institute of Advanced Technology of CAS
Original Assignee
Shenzhen Institute of Advanced Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Institute of Advanced Technology of CAS filed Critical Shenzhen Institute of Advanced Technology of CAS
Priority to CN202011512260.9A priority Critical patent/CN114648092A/zh
Priority to PCT/CN2020/139252 priority patent/WO2022126706A1/zh
Publication of CN114648092A publication Critical patent/CN114648092A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明适用人工智能的机器学习技术领域，提供了一种个性化联邦学习加速方法、装置；该方法在联邦学习中使用服务节点服务器模型的信息，训练出元自动剪枝网络，接着将元自动剪枝网络下发到子节点，用子节点的数据进行再训练，生成个性化网络权值，同时对由网络模型每层信道数量构成的编码向量进行迭代优化以加速提高个性化网络权值的准确性；最终在子节点进行压缩加速后的网络满足各种个性化场景下的约束条件；采用该方法的装置也具有同样的技术效果。

Description

一种个性化联邦学习加速方法、装置
技术领域
本发明属于人工智能中的机器学习技术领域，尤其涉及一种个性化联邦学习加速方法、装置。
背景技术
2017年，谷歌利用联邦学习解决移动设备在本地更新模型的问题。之后，联邦学习被推广至医疗、金融等领域。由于这些场景下的数据更加敏感和隐私，联邦学习提出在保障数据交换时安全和隐私的前提下，利用多个计算节点进行模型更新。其具体做法是在一个公共节点上建立一个虚拟的初始模型，其他节点在不违反隐私法规的情况下向该节点更新参数，最终的结果是该虚拟模型将全部的数据聚合在一起形成最优模型。
然而，现有的联邦学习的优化方法只是局限于服务节点和子节点的通信效率上进行探索，以至于联邦学习模型的训练和执行的计算效率偏低。
发明内容
本发明的目的在于提供个性化联邦学习加速方法、装置，旨在通过对模型的剪裁解决联邦学习模型的训练和执行的计算效率偏低的问题。
一方面，本发明提供了一种个性化联邦学习加速方法，所述方法包括下述步骤：
S1.使用服务节点将各子节点更新的初始模型统一为聚合模型，通过所述聚合模型的编码向量，训练出由两个全连接层组成的元自动剪枝网络；
S2.将所述元自动剪枝网络下发到各所述子节点，输入所述聚合模型的编码向量和所述子节点的个性化小样本数据进行矩阵剪裁；
S3.以生成的权值矩阵构造加速网络模型；
S4.在硬约束条件下，对随机选取的编码向量所对应的所述加速网络模型的准确率进行评价和排序；
S5.选择准确率高于阈值的所述加速网络模型所对应的编码向量进行突变和/或交叉繁衍，生成新编码向量；
S6.消除准确率不合格的所述新编码向量后判断剩余的所述新编码向量所达到的准确率是否符合要求，若不符合，重复步骤S4至S6；
S7.若所述新编码向量符合要求，则以所述新编码向量构造新的加速网络模型。
另一方面，本发明还提供了一种个性化联邦学习加速装置，所述装置包括：
元自动剪枝网络单元，用于使用服务节点聚合模型的编码向量，训练出由两个全连接层组成的元自动剪枝网络；将所述元自动剪枝网络下发到子节点，输入所述聚合模型的编码向量和子节点的个性化小样本数据进行矩阵剪裁，生成的权值矩阵构造加速网络模型；
加速网络单元，用于在硬约束条件下，对随机选取的编码向量所对应的所述加速网络模型的准确率进行评价和排序；选择准确率高于阈值的所述加速网络模型所对应的编码向量进行突变和/或交叉繁衍，生成新编码向量；进而消除准确率不合格的所述新编码向量后判断剩余的所述新编码向量所达到的准确率是否符合要求，若不符合，重复上述步骤；若所述新编码向量符合要求，则以所述新编码向量构造新的加速网络模型。
本发明的方法和装置可以通过对模型的自动剪枝和在元自动剪枝网络训练完成后对编码向量的迭代优化来加速准确率高的模型构建，以此实现对神经网络模型进行加速，已达到对整体的个性化联邦学习加速的效率提高和提高子节点在个性化场景任务算法模型的执行效率。
附图说明
图1是本发明实施例一提供的个性化联邦学习加速方法的实现流程图；
图2是本发明实施例二提供的个性化联邦学习加速装置的功能结构框图；
图3是本发明实施例一提供的个性化联邦学习加速方法的流程示意图；
图4是本发明实施例一提供的个性化联邦学习加速方法的总体流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图1-3及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
实施例一：
图1、3、4示出了本发明实施例一提供的个性化联邦学习加速方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
一种个性化联邦学习加速方法，所述方法包括下述步骤：
S1.使用服务节点将各子节点根据自身本地数据库更新的初始模型统一为聚合模型；通过所述聚合模型的编码向量，训练出由两个全连接层组成的元自动剪枝网络；
S2.将所述元自动剪枝网络下发到各所述子节点，输入所述聚合模型的编码向量和所述子节点的个性化小样本数据(即附图4中的个性化数据)进行矩阵剪裁；
S3.以生成的权值矩阵构造加速网络模型(即附图4中的加速模型)；
在前向传递过程中，元自动剪枝网络使用服务节点聚合模型的编码向量(即网络模型每层信道的数量)为输入，还加入了子节点的个性化数据(附图3中未示出，请参见附图4)，输出为生成的子节点的加速后个性化网络模型(加速网络模型)的权值矩阵。子节点的加速网络模型结构由每层的输出通道宽度所构成。该输出通道的宽度等于服务节点聚合网络模型的编码向量中的元素值。
将元自动剪枝网络生成的权值矩阵进行裁剪后，以匹配子节点加速网络模型中输入和输出通道的数量。接着给定的一小批输入图像，我们可以用生成的权值来计算加速后个性化模型的损失函数。
在逆向过程中，本发明采用计算元自动剪枝网络中的梯度和权值，而非现有技术中直接更新元自动剪枝网络中的权值方式。因为在元自动剪枝网络的全连接的输出层和加速网络的前卷积层的输出之间的重塑和卷积操作都是可微的，所以元自动剪枝网络的权重的梯度可以很容易地用链式法则计算。
简单而言，在元自动剪枝网络训练完成后，将聚合网络的编码向量和个性化数据输入元自动剪枝网络中，生成相应的加速网络的权值矩阵，并对验证数据进行评估，即可获得每个潜在加速网络的剪枝精度。
由于网络编码向量的数量很大，我们无法用枚举法进行比较搜寻。因此，我们采用了一种进化算法，这种方法可以很容易地在满足个性化场景数据的软约束和硬约束条件下，找到最终加速网络需要的权值。
S4.在硬约束条件下，对随机选取的编码向量所对应的所述加速网络模型的准确率进行评价和排序；
S5.选择准确率高于阈值的加速网络模型所对应的编码向量进行突变和/或交叉繁衍，生成新编码向量；
S6.消除准确率不合格的新编码向量后判断剩余的新编码向量所达到的准确率是否符合要求，若不符合，重复步骤S4至S6；
S7.若新编码向量符合要求，则以新编码向量构造新的加速网络模型。
其中，编码向量所对应的所述加速网络模型的准确率需要根据实际情况进行具体设定，其符合要求的新编码向量使得其对应的加速网络模型所达到的准确率必须高于准确率的合格线(合格值)，以实现在加速网络运行的基础上对运行准确率的提升。
优选的，在步骤S3中，通过随机结构抽样在每次迭代中随机选择一层的信道数量，生成编码向量；根据不同的编码向量去构造出不同的加速网络，并利用元自动剪枝网络的输出给出其相应的权值矩阵。
优选的，在步骤S1中，所述元自动剪枝网络定义为：
Figure BDA0002846765360000051
表达式的参数中，X是加速前的网络模型；c是网络模型的信道宽度；c1,c2,……,cj是神经网络模型中信道宽度构成的编码向量；j是一个表示数量的字母代号，表示从1到J个；L是Loss function的简写，表达的意思是损失函数，是元自动剪枝网络中一种用来训练网络的目标函数；训练后的模型算得的损失函数越小，则越接近环境中需要的模型；w是权重，即元自动剪枝网络中各个神经元函数的加权；
Figure BDA0002846765360000052
表示保证在子节点个性化再训练后精度损失最小时的所有信道宽度；D是加权，s.t.D<constraint是表示使神经网络中各个神经元函数的加权D满足一定计算量和延迟约束。
优选的，步骤S5中，突变为：随机改变编码向量中各个向量元素的数字比例。
优选的，步骤S5中，交叉为随机重组两个或两个以上的编码向量，以产生一个子代编码向量。
优选的，在所述子节点的加速网络模型结构由元自动剪枝网络中每层所述全连接层输出的编码向量所构成，所述编码向量等于所述服务节点的所述聚合模型的编码向量中的元素值。
如前所述，为了训练元自动剪枝网络，本发明还提出了随机结构抽样。在模型训练阶段(步骤S2)，在每次迭代中随机选择每一层的信道数量，生成权值矩阵。根据不同的权值矩阵去生成构造出不同的加速网络，并利用元自动剪枝网络的输出给出其相应的权值。通过随机训练不同的编码向量，元自动剪枝网络学会了为不同环境下的加速网络去预测合理的权值矩阵。
实施例二：
图2示出了本发明实施例一提供的个性化联邦学习加速装置的功能示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：
一种个性化联邦学习加速装置，所述装置包括：
元自动剪枝网络单元，用于使用服务节点聚合模型的编码向量，训练出由两个全连接层组成的元自动剪枝网络；将所述元自动剪枝网络下发到子节点，输入所述聚合模型的编码向量和子节点的个性化小样本数据进行矩阵剪裁，生成的权值矩阵构造加速网络模型；
加速网络单元，用于在硬约束条件下，对随机选取的编码向量所对应的所述加速网络模型的准确率进行评价和排序；选择准确率高于阈值的加速网络模型所对应的编码向量进行突变和/或交叉繁衍，生成新编码向量；进而消除准确率不合格的新编码向量后判断剩余的新编码向量所达到的准确率是否符合要求，若不符合，重复上述步骤；若新编码向量符合要求，则以新编码向量构造新的加速网络模型。
优选的，元自动剪枝网络单元包括：
迭代模块，用于通过随机结构抽样在每次迭代中随机选择一层的信道数量，生成编码向量；根据不同的编码向量去构造出不同的加速网络，并利用元自动剪枝网络的输出给出其相应的权值矩阵。
优选的，加速网络单元包括：
突变模块，用于随机改变编码向量中各个向量元素的数字比例。
优选的，加速网络单元还包括：
交叉模块，用于随机重组两个或两个以上的编码向量，以产生一个子代编码向量。
加速网络单元在元自动剪枝网络训练完成后对准确性较高的模型权重的搜索进行压缩加速，达到模型执行加速且保持个性化场景下的运行准确程度。
本发明的方法和装置可以通过对模型的自动剪枝和在元自动剪枝网络训练完成后对编码向量的迭代优化来加速准确率高的模型构建，以此实现对神经网络模型进行加速，已达到对整体的个性化联邦学习加速的效率提高和提高子节点在个性化场景任务算法模型的执行效率。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种个性化联邦学习加速方法，其特征在于，所述方法包括下述步骤：
S1.使用服务节点将各子节点更新的初始模型统一为聚合模型，通过所述聚合模型的编码向量，训练出由两个全连接层组成的元自动剪枝网络；
S2.将所述元自动剪枝网络下发到各所述子节点，输入所述聚合模型的编码向量和所述子节点的个性化小样本数据进行矩阵剪裁；
S3.以生成的权值矩阵构造加速网络模型；
S4.在硬约束条件下，对随机选取的编码向量所对应的所述加速网络模型的准确率进行评价和排序；
S5.选择准确率高于阈值的所述加速网络模型所对应的编码向量进行突变和/或交叉繁衍，生成新编码向量；
S6.消除准确率不合格的所述新编码向量后判断剩余的所述新编码向量所达到的准确率是否符合要求，若不符合，重复步骤S4至S6；
S7.若所述新编码向量符合要求，则以所述新编码向量构造新的加速网络模型。
2.如权利要求1所述的方法，其特征在于，在步骤S3中，通过随机结构抽样在每次迭代中随机选择一层的信道数量，生成编码向量；根据不同的编码向量去构造出不同的加速网络，并利用元自动剪枝网络的输出给出其相应的权值矩阵。
3.如权利要求1所述的方法，其特征在于，在步骤S1中，所述元自动剪枝网络定义为：
Figure FDA0002846765350000011
其中，X是加速前的网络模型；c是网络模型的信道宽度；c1,c2,……,cj是神经网络模型中信道宽度构成的编码向量；j是一个表示数量的字母代号，表示从1到J个；L是Lossfunction的简写，表达的意思是损失函数，是元自动剪枝网络中一种用来训练网络的目标函数；训练后的模型算得的损失函数越小，则越接近环境中需要的模型；w是权重，即元自动剪枝网络中各个神经元函数的加权；
Figure FDA0002846765350000021
表示保证在子节点个性化再训练后精度损失最小时的所有信道宽度；D是加权，s.t.D<constraint是表示使神经网络中各个神经元函数的加权D满足一定计算量和延迟约束。
4.如权利要求1所述的方法，其特征在于，所述步骤S5中，所述突变为：随机改变编码向量中各个向量元素的数字比例。
5.如权利要求1所述的方法，其特征在于，所述步骤S5中，所述交叉为随机重组两个编码向量，以产生一个子代编码向量。
6.如权利要求1所述的方法，其特征在于，所述子节点的加速网络模型结构由元自动剪枝网络中每层所述全连接层输出的编码向量所构成，所述编码向量等于所述服务节点的所述聚合模型的编码向量中的元素值。
7.一种个性化联邦学习加速装置，其特征在于，所述装置包括：
元自动剪枝网络单元，用于使用服务节点聚合模型的编码向量，训练出由两个全连接层组成的元自动剪枝网络；将所述元自动剪枝网络下发到子节点，输入所述聚合模型的编码向量和子节点的个性化小样本数据进行矩阵剪裁，生成的权值矩阵构造加速网络模型；
加速网络单元，用于在硬约束条件下，对随机选取的编码向量所对应的所述加速网络模型的准确率进行评价和排序；选择准确率高于阈值的所述加速网络模型所对应的编码向量进行突变和/或交叉繁衍，生成新编码向量；进而消除准确率不合格的所述新编码向量后判断剩余的所述新编码向量所达到的准确率是否符合要求，若不符合，重复上述步骤；若所述新编码向量符合要求，则以所述新编码向量构造新的加速网络模型。
8.如权利要求7所述的装置，其特征在于，所述元自动剪枝网络单元包括：
迭代模块，用于通过随机结构抽样在每次迭代中随机选择一层的信道数量，生成编码向量；根据不同的编码向量去构造出不同的加速网络，并利用元自动剪枝网络的输出给出其相应的权值矩阵。
9.如权利要求7所述的装置，其特征在于，所述加速网络单元包括：
突变模块，用于随机改变编码向量中各个向量元素的数字比例。
10.如权利要求7所述的装置，其特征在于，所述加速网络单元还包括：
交叉模块，用于随机重组两个编码向量，以产生一个子代编码向量。
CN202011512260.9A 2020-12-19 2020-12-19 一种个性化联邦学习加速方法、装置 Pending CN114648092A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011512260.9A CN114648092A (zh) 2020-12-19 2020-12-19 一种个性化联邦学习加速方法、装置
PCT/CN2020/139252 WO2022126706A1 (zh) 2020-12-19 2020-12-25 一种个性化联邦学习加速方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011512260.9A CN114648092A (zh) 2020-12-19 2020-12-19 一种个性化联邦学习加速方法、装置

Publications (1)

Publication Number Publication Date
CN114648092A true CN114648092A (zh) 2022-06-21

Family

ID=81989930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011512260.9A Pending CN114648092A (zh) 2020-12-19 2020-12-19 一种个性化联邦学习加速方法、装置

Country Status (2)

Country Link
CN (1) CN114648092A (zh)
WO (1) WO2022126706A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115271033B (zh) * 2022-07-05 2023-11-21 西南财经大学 基于联邦知识蒸馏医学图像处理模型构建及其处理方法
CN116306884B (zh) * 2023-03-03 2024-02-06 北京泰尔英福科技有限公司 联邦学习模型剪枝方法、装置及非易失性存储介质
CN116166406B (zh) * 2023-04-25 2023-06-30 合肥工业大学智能制造技术研究院 个性化边缘卸载调度方法、模型训练方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180285734A1 (en) * 2017-04-01 2018-10-04 Intel Corporation Neural network calibration mechanism
CN111580970B (zh) * 2020-05-07 2023-02-03 电子科技大学 一种联邦学习的模型分发与聚合的传输调度方法
CN112070207A (zh) * 2020-07-31 2020-12-11 华为技术有限公司 一种模型训练方法及装置
CN111898769A (zh) * 2020-08-17 2020-11-06 中国银行股份有限公司 基于横向联邦学习的建立用户行为周期模型的方法及系统

Also Published As

Publication number Publication date
WO2022126706A1 (zh) 2022-06-23

Similar Documents

Publication Publication Date Title
CN111737476B (zh) 文本处理方法、装置、计算机可读存储介质及电子设备
CN114648092A (zh) 一种个性化联邦学习加速方法、装置
CN113961759B (zh) 基于属性图表示学习的异常检测方法
CN113905391A (zh) 集成学习网络流量预测方法、系统、设备、终端、介质
CN112163715B (zh) 生成式对抗网络的训练方法及装置、电力负荷预测方法
US11423307B2 (en) Taxonomy construction via graph-based cross-domain knowledge transfer
JP7381814B2 (ja) マルチタスク向けの予めトレーニング言語モデルの自動圧縮方法及びプラットフォーム
CN108959388A (zh) 信息生成方法及装置
CN115017178A (zh) 数据到文本生成模型的训练方法和装置
CN114417172A (zh) 一种深度兴趣进化推荐方法、装置、设备和存储介质
CN112396166A (zh) 基于混合粒度聚合器的图卷积神经网络训练方法及装置
Yoon et al. Learning polymorphic Neural ODEs with time-evolving mixture
CN117272195A (zh) 基于图卷积注意力网络的区块链异常节点检测方法及系统
CN111723186A (zh) 用于对话系统的基于人工智能的知识图谱生成方法、电子设备
WO2021115269A1 (zh) 用户集群的预测方法、装置、计算机设备和存储介质
CN111882124B (zh) 一种基于生成对抗模仿学习的同质平台发展效应预测方法
CN115001978A (zh) 一种基于强化学习模型的云租户虚拟网络智能映射方法
CN114707655A (zh) 一种量子线路转换方法、系统、存储介质和电子设备
Vai et al. Representing knowledge by neural networks for qualitative analysis and reasoning
CN116306880A (zh) 一种基于改进的MetaPruning的神经网络通道剪枝方法
CN117010459B (zh) 基于模块化和序列化自动生成神经网络的方法
EP4273758A1 (en) Quantum preprocessing method and apparatus, storage medium, and electronic apparatus
CN116629362A (zh) 一种基于路径搜索的可解释时间图推理方法
Alhihi et al. The Open Electrical & Electronic Engineering Journal
CN117312489A (zh) 网络社区类群与用户的表征模型的建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination