CN114492847A - 一种高效个性化联邦学习系统和方法 - Google Patents

一种高效个性化联邦学习系统和方法 Download PDF

Info

Publication number
CN114492847A
CN114492847A CN202210400890.XA CN202210400890A CN114492847A CN 114492847 A CN114492847 A CN 114492847A CN 202210400890 A CN202210400890 A CN 202210400890A CN 114492847 A CN114492847 A CN 114492847A
Authority
CN
China
Prior art keywords
model
data
module
server
global
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210400890.XA
Other languages
English (en)
Other versions
CN114492847B (zh
Inventor
熊海铮
马博
兰茜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yinuoke Rehabilitation Medical Technology (Qingdao) Co.,Ltd.
Original Assignee
Aoluo Technology Tianjin Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aoluo Technology Tianjin Co ltd filed Critical Aoluo Technology Tianjin Co ltd
Priority to CN202210400890.XA priority Critical patent/CN114492847B/zh
Publication of CN114492847A publication Critical patent/CN114492847A/zh
Application granted granted Critical
Publication of CN114492847B publication Critical patent/CN114492847B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer And Data Communications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种高效个性化联邦学习系统和方法，该系统中的终端设备包括：终端设备数据模块、终端设备模型下载模块、两个终端设备模型训练模块和终端设备模型上传模块，中心服务器包括服务器端数据模块、两个服务器端模型整合模块和服务器端模型派发模块。本发明设计合理，其将剪枝处理及模型训练完全放在终端设备进行，降低了中心服务器的负担，提高了处理效率，并且充分考虑数据分布的差异性，实现了模型的个性化功能，能够有效地对不同终端设备上采集到的数据进行分析，在大幅降低通信成本的同时保证用户的隐私信息和个性化，以及终端设备数据缺失情况下的新模型发送。

Description

一种高效个性化联邦学习系统和方法
技术领域
本发明属于人工智能技术领域，涉及联邦学习系统，尤其是一种高效个性化联邦学习系统和方法。
背景技术
人工智能所取得的成功主要依赖于大量的优质数据。例如对客户行为的分析和评估中，往往依赖大量异质性数据共同综合的分析。此类数据不仅数据量大，其具有极高的个性化及隐私信息。国内外监管环境正在逐步加强数据保护，因此数据在安全合规的前提下自由流动，成了大势所趋。此外在用户和企业角度下，商业公司所拥有的数据往往都有巨大的潜在价值。基于利益的考虑，这些机构不会提供各自数据与他人共享，导致即使在同一个公司内，数据也往往以孤岛形式出现，阻碍了数据的使用效率和应用价值。
联邦学习是一种新兴的人工智能基础技术，用于解决上述数据孤岛问题，并使得多个数据拥有方在不泄露数据隐私的前提下联合训练机器学习模型。在一个典型的联邦学习系统中，由多个终端设备（数据拥有方）和一个服务器共同完成训练。基于这种训练方法，终端设备只需要上传本地模型的参数或更新，并不需要直接分享本地数据，从而有效地缓解了隐私泄露的问题。
然而，目前联邦学习的发展遇到两大瓶颈：第一是通信开销，由于大量的终端设备需要周期性地和服务器进行通信交互，自然带来巨大的通信成本；第二是异质性数据，数据类型不同，数据量也不同，由于每个终端设备所采集的数据存在显著的差异性，比如数量、数据类别、数据特征等，导致设备之间的数据分布不再满足独立同分布的条件。中央服务器无法照顾到每一个终端设备上的数据，从而使得通过传统联邦学习得到的机器学习模型的准确率显著下降。又由于传统联邦学习在所有终端设备端多为全局的泛化模型，当一台设备或中心服务器被破解后，会使其他设备端数据造成隐私安全隐患。
综上所述，现有联邦学习技术普遍存在通信成本高、个性化程度低、隐私保护较差以及由于数据不足或缺失导致预测精度降低等问题。
发明内容
本发明的目的在于克服现有技术的不足，提供一种高效个性化联邦学习系统和方法，能够有效地对不同终端设备上采集到的巨量及多模态的行为数据进行分析，在大幅降低通信成本的同时保证用户的隐私信息和个性化（精度），以及终端设备数据缺失情况下的新模型发送。
本发明解决现有的技术问题是采取以下技术方案实现的：
一种高效个性化联邦学习系统，由中心服务器和多个终端设备连接构成，所述终端设备包括：
终端设备数据模块：用于原始数据的收集、储存及预处理，并将处理结果传送给终端设备模型下载模块和第一终端设备模型训练模块；
终端设备模型下载模块：根据终端设备数据模块的处理结果，从中心服务器下载全局模型
Figure DEST_PATH_IMAGE001
并传送给第一终端设备模型训练模块；
第一终端设备模型训练模块：对全局模型
Figure 42217DEST_PATH_IMAGE002
进行初始化, 得到初始化后的全局模型
Figure 287254DEST_PATH_IMAGE003
，对其剪枝并生成稀疏化子模型
Figure DEST_PATH_IMAGE004
，将该稀疏化子模型
Figure 411199DEST_PATH_IMAGE004
传送给第二终端设备模型训练模块；
第二终端设备模型训练模块：利用本地数据对稀疏化子模型
Figure 71987DEST_PATH_IMAGE005
中的全局参数
Figure DEST_PATH_IMAGE006
进行优化，得到终端个性化参数
Figure 496147DEST_PATH_IMAGE007
，并形成最终的稀疏化子模型
Figure DEST_PATH_IMAGE008
；
终端设备模型上传模块：将稀疏化子模型
Figure 662817DEST_PATH_IMAGE008
上传至服务器端数据模块；
所述中心服务器包括：
服务器端数据模块：用于终端设备所上传模型数据的收集及储存，并分发给第一服务器端模型整合模块、第二服务器端模型整合模块和服务器端模型派发模块；
第一服务器端模型整合模块：利用N个终端设备中的所上传的k个终端设备的稀疏化子模型
Figure 195429DEST_PATH_IMAGE009
中的k个模型掩码:
Figure DEST_PATH_IMAGE010
，整合得到新的全局模型掩码
Figure 4117DEST_PATH_IMAGE011
，并将该全局模型掩码
Figure DEST_PATH_IMAGE012
传递给第二服务器端模型整合模块；
第二服务器端模型整合模块：对k个终端设备的稀疏化子模型
Figure 891DEST_PATH_IMAGE009
中的参数筛选后进行加权平均，结合新的全局模型掩码
Figure 276146DEST_PATH_IMAGE013
形成新的完整全局模型
Figure DEST_PATH_IMAGE014
，并传输给服务器端模型派发模块；
服务器端模型派发模块：用于生成并发送与每个终端设备所对应的个性化全局模型
Figure 623951DEST_PATH_IMAGE015
；
其中，θ为任意模型中所有参数的集合，m为一个代表模型的结构二进制的模型掩码，N和k分别表示第N个终端设备和第k个终端设备，角标g标注某参数/掩码为全局参数：
Figure DEST_PATH_IMAGE016
/全局模型掩码：
Figure 970750DEST_PATH_IMAGE017
，t代表通信轮次，第一次全局模型派发时为第0轮通信，t=0，x为模型中代表本地数据的自变量,
Figure DEST_PATH_IMAGE018
为第N台终端设备经剪枝后产生的稀疏化子模型掩码，N={1,2,3,…}，
Figure 838343DEST_PATH_IMAGE019
为第k台终端设备设备经剪枝后产生的模型掩码， k ={1,2,3,…}，k≦N。
进一步，所述终端设备数据模块包括如下三个终端数据子模块：
第一终端数据子模块：用于识别传感器所采集的有效数据并传输给第二数据终端子模块；
第二终端数据子模块：用于存储数据，该数据用于第一终端设备模型训练模块和第二终端设备模型训练模块的模型训练；
第三终端数据子模块：用于数据的统计及预处理，包括：对所存储数据量的统计，用于中心服务器整合数据时权重的计算，并判断是否足够进行本轮模型训练，若足够则通知终端设备模型下载模块，进行本轮全局模型下载；对数据的预处理，根据数据量及模型训练时的需要分割数据，并将数据分割结果传输给第一终端设备模型训练模块。
进一步，所述第一终端设备模型训练模块包括如下三个模型训练子模块：
第一模型训练子模块：使用模型掩码
Figure DEST_PATH_IMAGE020
来初始化全局模型
Figure 64925DEST_PATH_IMAGE021
，使其成为
Figure 385179DEST_PATH_IMAGE003
形式；
第二模型训练子模块：用于对模型
Figure 925881DEST_PATH_IMAGE022
进行迭代剪枝处理，直到模型剪枝率大于或等于预设的总剪枝率
Figure 647981DEST_PATH_IMAGE023
，并在每轮迭代后与第三模型训练子模块进行交互获得最佳剪枝策略；最终得到剪枝后的稀疏化子模型，并传递给第二终端设备模型训练模块；
第三模型训练子模块：用于剪枝策略的优化，对第二模型训练子模块中模型的剪枝过程进行监督，并根据结果调整剪枝策略；策略包括细粒度剪枝、向量剪枝、核剪枝和滤波器剪枝。
进一步，所述服务器端数据模块包括如下三个服务器数据子模块：
第一服务器数据子模块：对全部终端设备上传数据的核对和标注；
第二服务器数据子模块：对全部终端设备上传数据的存储；
第三服务器数据子模块：将全部终端设备的模型掩码
Figure DEST_PATH_IMAGE024
传递至服务器端模型派发模块；随机选取k个终端设备所上传数据，包括：将k个模型掩码
Figure 576623DEST_PATH_IMAGE025
发送给第一服务器端模型整合模块，将k个终端设备的稀疏化子模型
Figure DEST_PATH_IMAGE026
发送给第二服务器端模型整合模块，将终端设备模型数据量发送给第二服务器端模型整合模块。
进一步，所述第二服务器端模型整合模块包括如下两个模型整合子模块：
第一模型整合子模块：使用新的全局模型掩码
Figure 853014DEST_PATH_IMAGE027
对所选k个终端设备所上传的模型参数
Figure DEST_PATH_IMAGE028
进行筛选，找出新的全局模型掩码
Figure 276037DEST_PATH_IMAGE029
所覆盖的参数；
第二模型整合子模块：使用加权平均的方法对所找出的参数进行整合，并对其他参数保持不变，得到新的全局参数
Figure DEST_PATH_IMAGE030
，利用整合后新全局参数
Figure 633069DEST_PATH_IMAGE030
与全局模型掩码
Figure 421027DEST_PATH_IMAGE029
形成新的完整全局模型
Figure 699562DEST_PATH_IMAGE031
，并传输给服务器端模型派发模块。
进一步，所述服务器端模型派发模块包括以下二个模型派发子模块：
第一模型派发子模块：根据服务器端数据模块所发送的模型掩码
Figure DEST_PATH_IMAGE032
对完整全局模型
Figure 129537DEST_PATH_IMAGE033
进行优化，对N个终端设备分别生成个性化全局模型
Figure DEST_PATH_IMAGE034
；
第二模型派发子模块：向对应终端设备派发与其上传的模型掩码
Figure 75496DEST_PATH_IMAGE032
一致的个性化子模型
Figure 96673DEST_PATH_IMAGE035
，向上一轮因数据缺失或不足而未形成并上传稀疏化子模型的终端设备直接派发完整全局模型
Figure 65766DEST_PATH_IMAGE033
。
一种高效个性化联邦学习方法，包括以下步骤：
步骤1、终端设备下载中心服务器派发的全局模型；
步骤2、终端设备对收到的全局模型，利用剪枝技术生成新的稀疏化子模型掩码；
步骤3、终端设备基于新的稀疏化子模型掩码，通过本地数据对模型进行训练后，更新模型参数；
步骤4、终端设备根据模型参数生成新的稀疏化子模型，并将新的稀疏化子模型上传至中心服务器；
步骤5、中心服务器利用上传的不同模型掩码重叠形成新的全局模型掩码；
步骤6、中心服务器利用泛化模型掩码捕获终端设备所上传新参数对其进行加权平均，得到加权平均后的新参数；
步骤7、中心服务器将加权平均后的新参数与新的全局模型掩码结合，得到一个新的完整全局模型；
步骤8、中心服务器根据上轮终端所上传的模型掩码，将新的完整全局模型个性化后派发给相应终端设备用于数据分析及新一轮模型训练。
进一步，所述步骤2利用剪枝技术生成新的稀疏化子模型掩码的方法包括以下步骤：
⑴随机初始化一个全局模型
Figure DEST_PATH_IMAGE036
，使之成为
Figure 830591DEST_PATH_IMAGE037
形式；
⑵对全局模型
Figure DEST_PATH_IMAGE038
进行j次迭代训练,在保证预设模型精度的前提下从全局模型
Figure 647368DEST_PATH_IMAGE039
中修剪掉
Figure 26397DEST_PATH_IMAGE040
的参数量，生成一个临时子模型
Figure DEST_PATH_IMAGE041
，创建模型掩码
Figure 561415DEST_PATH_IMAGE042
；
⑶将临时子模型的参数
Figure DEST_PATH_IMAGE043
重置为
Figure 379198DEST_PATH_IMAGE016
中的值，创建子模型
Figure 457007DEST_PATH_IMAGE044
；
⑷在子模型
Figure 69254DEST_PATH_IMAGE044
基础上，重复步骤⑵~⑶，经n轮重复后直到积累的
Figure DEST_PATH_IMAGE045
总和到达预设的总剪枝率
Figure 29250DEST_PATH_IMAGE023
，此轮次创建的临时子模型
Figure 385145DEST_PATH_IMAGE046
中的掩码
Figure DEST_PATH_IMAGE047
即为终端设备的稀疏化子模型掩码：
Figure 114198DEST_PATH_IMAGE048
；
其中，n表示完成预设的总剪枝率
Figure 631767DEST_PATH_IMAGE023
所需要的累计剪枝的次数。
进一步，所述步骤5的具体实现方法为：中心服务器根据所选择的k个模型掩码：
Figure DEST_PATH_IMAGE049
的重叠部分生成新的全局模型掩码
Figure 875798DEST_PATH_IMAGE050
，在判断k个模型掩码
Figure 973067DEST_PATH_IMAGE049
是否重叠时，只需在两个掩码间重复即认为重叠；
所述步骤6的具体实现方法为：捕获在k个终端设备中的那些参数集
Figure DEST_PATH_IMAGE051
中位于新的全局模型掩码
Figure 618943DEST_PATH_IMAGE050
之内的参数，对这些参数进行加权平均，并对其他参数保持不变，得到新的全局参数
Figure 245096DEST_PATH_IMAGE052
。
进一步，所述步骤8的具体实现方法为：
步骤8.1、对于上传数据的N个终端设备，根据上述终端设备各自所上传的模型掩码
Figure DEST_PATH_IMAGE053
，对得到的全局模型
Figure 976423DEST_PATH_IMAGE054
进行个性化处理,得到N个个性化的模型
Figure DEST_PATH_IMAGE055
，并将个性化的模型发送给对应的终端设备；
步骤8.2、对于M-N台上一轮数据缺失或不足的终端设备，若本轮该缺失数据被收集，则直接发送新的完整全局模型
Figure 956012DEST_PATH_IMAGE056
，其中M为全部终端设备数量，N为成功上传稀疏化子模型至中心服务器的终端设备数量。
本发明的优点和积极效果是：
1、本发明可大幅降低通信和训练成本：首先，其在每个终端设备的每一轮训练中生成新的稀疏化子模型，由于新的稀疏化子模型复杂度小于原始模型，在终端设备上传和训练这些模型时，使通信成本和本地计算成本同时降低；其次，其在中心服务器派发全局模型前会根据各终端设备所上传的模型掩码，对完整全局模型进行进一步精简，从而再次降低通信成本。
2、本发明可有效提高个性化度：相对于传统联邦学习,本发明可最大限度地维护每个终端设备的子模型的个性化属性，首先，所有模型剪枝操作全部在客户端使用本地数据完成，不需要中心服务器的参与；其次中心服务器聚合操作只对每个子模型之间有重叠的参数进行加权平权，其他未重叠的参数并不进行聚合操作；此外，在中心服务器派发全局模型前会根据各终端设备所上传的模型掩码，对完整全局模型进行进一步个性化优化。
3、本发明可以很好地保护用户隐私：在传统的联邦学习中，通常各终端设备所使用模型具有极高的泛化性，相同的数据在终端设备会产生相同且唯一的模型。本发明通过剪枝方法在终端设备所产生的模型不具备泛化性，而且此专化模型由于在每次剪枝过程中均有很高的随机性，故相同数据所产生的稀疏化子模型并不唯一，因此，几乎不可能通过破解某些终端设备和中心中心服务器，推断出其他终端设备中的原始客户数据，进一步增加隐私安全。
4、本发明可以对数据缺失进行有效处理：行为采集的终端设备上的数据遗失和损坏并不会影响新一轮的中心服务器的模型派发工作，在一个终端设备上即使在上一轮或几轮的模型上传中均缺失，在下一轮训练中依然可以接收最新的中心服务器全局模型，用于最新一轮训练及数据分析，因此，本发明保证了几乎任何时间的终端设备的高效性和准确性。
5、本发明构建的系统体系操作可控性强，相对于传统联邦学习迭代计算时预设迭代次数的方式（预设迭代次数需大量先验实验），可以直接通过调整剪枝率和预设模型精度的手段，对整个体系进行精准操作。
6、本发明设计合理，其将剪枝处理安排在终端设备本地进行，中心服务器不需要任何数据，避免了中心服务器需要额外的数据来进行剪枝，降低了中心服务器的负担；同时，本发明的模型训练在终端设备就已经完成，终端设备和中心服务器通信能够更好地对新一轮数据进行有效分析，提高了处理效率；并且，本发明的处理策略本质上是稀疏化，并且充分考虑数据分布的差异性，实现了模型的个性化功能。
附图说明
图1为本发明的系统连接示意图；
图2为本发明的系统功能示意图（图中默认M=N=k）；
图3为本发明的方法流程图；
图4位本发明应用效果对比示意图。
具体实施方式
以下结合附图对本发明实施例做进一步详述。
本发明的设计思想为：本发明采用神经网络剪枝技术简化联邦学习系统的网络掩码，从而减少大量训练网络的参数量，减少存储需求，提高推理的计算性能而不影响精度。本发明利用机器学习中的彩票理论（一个随机初始化的密集神经网络包含一个稀疏子网络，该子网络初始化后，在隔离训练时，它可以在训练相同次数的迭代后匹配甚至超过原始网络的测试精度），在每个客户端的每个通信轮中产生各自的LTN（稀疏子网络模型）,在整个联邦学习过程中，无论是用户间还是用户与中心服务器之间只交流这些稀疏子网络模型。考虑到在每个客户端上的数据为非独立同分布，则各个其生成的稀疏子网络模型可能不会完全相互显著重叠。因此，在中心服务器上执行聚合之后，会保留每个LTN的个性化属性。在中心服务器整合客户端的这些稀疏子网络模型之后, 会将更新的稀疏子网络模型分发给相应的每个客户端。最后，在每个客户端将会学习形成一个兼顾了个性化和全局性的模型，而非初始的共享的全球模型。此外，由于稀疏子网络的数据量更加精简，需要通信的模型参数的大小也减少了，因此可以显著提高联邦学习的通信效率以及准确程度，同时降低隐私泄露的风险。
本发明的创新之处是：对联邦学习中终端设备计算和服务器模型派发使用如下策略：
首先，在终端设备上，我们利用机器学习中的彩票理论,（1）对模型进行多次无精度损失的迭代剪枝；（2）每次迭代剪枝效果会累积；（3）直到累计剪枝率达到预设目标值（最高可达90%），找到在不损失（或是提高）计算精度的前提下的一个新的代表稀疏化子模型结构的二进制掩码m；（4）完成稀疏化化后，利用新优化的模型掩码再对全局模型参数进行优化，最终在终端设备得到一个全新的稀疏化子模型，该子模型信息量将远小于（根据预设剪枝率）原始模型，相当于大幅降低设备的本地计算成本和与服务器的通信成本，此模型将不再适用于其他设备上数据的计算，保证了用户个性化的需求；（5）在上传此终端设备的稀疏化子模型时，同时上传该模型掩码。
其次，在中心服务器，在每一轮（非第一轮）整合及派发新的全局模型前，会对模型进行进额外两步优化。（1）在整合模型前，找出各个终端设备所上传掩码的重叠部分，利用所有掩码的重叠部分形成一个新的全局模型掩码（只有在新全局模型掩码之内的终端设备参数才会被用于中心服务器的加权平均计算，其他参数不参与计算，得到新的全局参数（目的是保证模型重叠掩码内参数的泛化性，以及保持模型非重叠部分参数的个性化），在新一轮模型派发前，利用新的全局模型掩码和新的全局参数形成一个新的全局模型。（2）利用先前各自终端设备所上传的掩码（对新的全局模型进行过滤，过滤后，各终端设备仅会下载到与上一轮所上传模型掩码一致的新模型，而非全部新的完整全局模型，从而进一步降低了通信成本，并且保证了各个终端设备个性化需求。
在本发明中，为了便于说明，对于集合
Figure DEST_PATH_IMAGE057
的说明，除第一次或需特别强调集合的群体意义时，通常以最大序数的元素代表整个集合，如模型掩码集合：
Figure 643345DEST_PATH_IMAGE058
可以用
Figure DEST_PATH_IMAGE059
表示，
Figure 50187DEST_PATH_IMAGE059
根据上下文含义亦可表示第N个终端设备上的模型掩码。这种表示方式在本发明中亦应用于模型参数q和模型f上。
在本发明中，使用f(x)表示一个模型，其完全等价于f(x;θ) 以及f(x;θ⊙m)形式。为了对模型中各个元素进行分别描述，故用f(x;θ⊙m)等形式进行表示。θ为模型中所有参数的集合，m为一个代表模型结构的二进制的掩码。f(x; θ)强调模型整体，而f(x; θ⊙m)则强调当前语境下二进制掩码m在模型中的作用。
基于上述设计思想，本发明提出一种高效个性化联邦学习系统，如图1及图2所示，由中心服务器（S）和多个终端设备连接构成。在中心服务器上进行的是对于N个终端设备所上传子模型进行加权平均等一系列计算，整合生成新的全局模型
Figure 721339DEST_PATH_IMAGE060
，并将新生成模型根据终端设备需求进行派发。在终端设备上进行本地训练，使用数据D N对原始的全局模型
Figure DEST_PATH_IMAGE061
进行训练，经过对模型剪枝和本地训练的方法生成新的稀疏化子模型
Figure 442302DEST_PATH_IMAGE062
。其中，
中心服务器（S）功能为：
（1）根据各终端需求向其派发完整全局模型
Figure DEST_PATH_IMAGE063
或个性化全局模型
Figure 797191DEST_PATH_IMAGE064
，给所有终端设备
Figure 93043DEST_PATH_IMAGE065
；
（2）接收从N个终端设备所上传的带有参数
Figure DEST_PATH_IMAGE066
的稀疏化子模型
Figure 736645DEST_PATH_IMAGE067
；
（3）整合足够多的（k个）终端设备所上传的带有参数
Figure DEST_PATH_IMAGE068
的稀疏化子模型
Figure 589195DEST_PATH_IMAGE069
，生成带有新参数
Figure 985541DEST_PATH_IMAGE070
的新的完整全局模型
Figure 389977DEST_PATH_IMAGE060
，并根据各个终端设备在本轮所上传的稀疏化子模型掩码
Figure 52034DEST_PATH_IMAGE071
产生新的个性化全局模型
Figure DEST_PATH_IMAGE072
，重新派发给所有终端设备。如果上一轮计算中第N+1个终端设备因数据
Figure 98487DEST_PATH_IMAGE073
缺失造成无任何子模型上传，而本轮数据
Figure DEST_PATH_IMAGE074
未缺失，则直接派发新的完整全局模型
Figure 404531DEST_PATH_IMAGE075
，用于此轮模型训练。
中心服务器实现模型整合功能: 目的在于从大量的终端设备上的数据中，通过所上传的参数找到一般性的规律，主要是在兼顾个性化的基础上，对终端设备所上传的模型中具体参数的数值进行修正，使其泛化性更强，同时对模型进行个性化处理，降低通信成本。
中心服务器生成新的全局模型，具体而言：
（1）依据k个终端设备上传的k个稀疏化子模型掩码：
Figure DEST_PATH_IMAGE076
，利用在这些掩码有重叠的部分形成一个新的全局模型掩码
Figure 324077DEST_PATH_IMAGE077
。该模型可视为对中心服务器对模型的一次简化及泛化处理。
（2）捕获在k个参数集
Figure DEST_PATH_IMAGE078
中在新的全局模型掩码内的参数，进行以数据量为权重的加权平均计算（对未捕获的参数保持不变）：
生成新的全局参数
Figure 988276DEST_PATH_IMAGE079
。
其中权重为：
Figure DEST_PATH_IMAGE080
，代表第k个终端设备上所训练的数据量
Figure 589153DEST_PATH_IMAGE081
与k个终端设备上总数据量n的比例。此过程可视为对模型参数的泛化处理。
（3）根据新的全局参数：
Figure 756829DEST_PATH_IMAGE082
及新的新的全局模型掩码
Figure DEST_PATH_IMAGE083
产生一个新的完整全局模型
Figure 581697DEST_PATH_IMAGE084
。
（4）根据第N个终端设备所上传的掩码
Figure DEST_PATH_IMAGE085
整合出与第N个终端设备相应的新的个性化全局模型
Figure 421608DEST_PATH_IMAGE086
。通过此次操作，终端设备不会得到完整新模型信息，而是得到与该终端设备所上传模型掩码相应的新的新全局模型，过滤掉了与上一轮所上传参数无关的信息，保证了个性化，降低了通信成本。
终端设备
Figure DEST_PATH_IMAGE087
实现如下功能：
（1）收集并储存行为数据，
Figure 872181DEST_PATH_IMAGE088
，数据D可以是单一类型行为数据，也可以是多种行为数据的集合；
（2）根据终端需求，从中心服务器S处下载相应的全局模型
Figure DEST_PATH_IMAGE089
。
（3）使用二进制掩码
Figure 910675DEST_PATH_IMAGE090
来标注初始全局模型
Figure 93395DEST_PATH_IMAGE089
，使其初始化为θ⊙m，也就是
Figure DEST_PATH_IMAGE091
。
（4）用本地数据
Figure 482919DEST_PATH_IMAGE092
对模型进行迭代剪枝，生成稀疏化子模型掩码
Figure DEST_PATH_IMAGE093
，以及新的稀疏化子模型：
Figure 222336DEST_PATH_IMAGE094
。
（5）继续使用数据
Figure 302288DEST_PATH_IMAGE092
对新的稀疏化子模型
Figure DEST_PATH_IMAGE095
进行训练，得到新参数
Figure 734537DEST_PATH_IMAGE096
，其中η为学习率，l为损失函数。
（6）生成由新的参数
Figure DEST_PATH_IMAGE097
及稀疏化子模型掩码
Figure 345778DEST_PATH_IMAGE093
形成稀疏化子模型：
Figure 75837DEST_PATH_IMAGE098
，并上传至中心服务器S。
（7）如果终端设备N在上一轮模型训练中，成功生成并上传了稀疏化子模型：
Figure 807032DEST_PATH_IMAGE098
，则在中心服务器整合模型后，下载其新生成的带有新全局参数
Figure DEST_PATH_IMAGE099
和稀疏化子模型掩码
Figure 410183DEST_PATH_IMAGE093
的个性化全局模型：
Figure 430092DEST_PATH_IMAGE086
。
如果终端设备N+1在 步骤（1）中的第t轮的数据
Figure 245732DEST_PATH_IMAGE100
缺失或不足，而未能成功生成并上传子模型，且此次该数据
Figure DEST_PATH_IMAGE101
未缺失或未不足，则下载新生成的带有新全局参数
Figure 565855DEST_PATH_IMAGE102
和全局模型掩码
Figure DEST_PATH_IMAGE103
的完整全局模型
Figure 339907DEST_PATH_IMAGE104
。
为了实现上述系统功能，下面对终端设备及中心设备的具体结构进行说明：
终端设备包括如下模块：
1、终端设备数据模块：用于原始数据的收集、储存及预处理，并将处理结果传送给终端设备模型下载模块和第一终端设备模型训练模块。包括以下三个子模块：
第一终端数据子模块（图1中的终端数据子模块1）：用于识别传感器所采集的有效数据并传输给数据终端子模块2。
第二终端数据子模块（图1中的终端数据子模块2）：用于存储数据，该数据用于下一阶段模型训练。
第三终端数据子模块（图1中的终端数据子模块3）：用于数据的统计及预处理，其功能包括但不限于：（1）对所存储数据量的统计，未来用于中心服务器整合数据时权重的计算，并判断是否足够进行本轮模型训练，若足够则通知终端设备模型下载模块，进行本轮全局模型下载。（2）对数据的预处理，即：根据数据量及模型训练时的需要分割数据，如将数据分为多个训练集和验证集等，并将相关信息传输给第一终端设备模型训练模块。
终端设备数据模块如图2中的A所示。
2、终端设备模型下载模块：根据终端数据子模块3的处理结果，决定在本轮训练中是否从中心服务器下载全局模型
Figure DEST_PATH_IMAGE105
，若下载，则将该模型传输给第一终端设备模型训练模块。
终端设备模型下载模块如图2中B所示。
3、第一终端设备模型训练模块：对全局模型
Figure 925740DEST_PATH_IMAGE105
进行初始化, 得到初始化后的全局模型
Figure 732022DEST_PATH_IMAGE106
；对其剪枝并生成稀疏化子模型
Figure 454122DEST_PATH_IMAGE004
，将该稀疏化子模型
Figure 54867DEST_PATH_IMAGE004
传送给第二终端设备模型训练模块；该训练模块包括如下三个子模块：
第一模型训练子模块（图1中的模型训练子模块1）：用于模型的初始化：使用掩码
Figure DEST_PATH_IMAGE107
来初始化全局模型
Figure 393576DEST_PATH_IMAGE108
（模型来自于终端设备模型下载模块），使其成为θ⊙m形式：
Figure 737970DEST_PATH_IMAGE003
。
第二模型训练子模块（图1中的模型训练子模块2）：用于对模型进行迭代剪枝处理，直到模型剪枝率大于或等于预设的总剪枝率
Figure 563843DEST_PATH_IMAGE023
，并在每轮迭代后与模型训练子模块3进行交互获得最佳剪枝策略，最终得到剪枝后的模型掩码
Figure 86223DEST_PATH_IMAGE109
，并传递给第二终端设备模型训练模块。
第三模型训练子模块（图1中的模型训练子模块3）：用于剪枝策略的优化，对每一轮模型训练子模块2中模型的剪枝过程进行监督，并根据结果调整剪枝策略，其策略包括但不限于：细粒度剪枝，向量剪枝，核剪枝，滤波器剪枝等。
第一终端设备模型训练模块如图2中的C所示。
4、第二终端设备模型训练模块：利用本地数据对稀疏化子模型
Figure 630336DEST_PATH_IMAGE005
中的全局参数
Figure 44000DEST_PATH_IMAGE006
进行优化，得到终端个性化参数：
Figure DEST_PATH_IMAGE110
得到终端个性化参数
Figure 740692DEST_PATH_IMAGE111
，如图2中的C所示。并形成最终的稀疏化子模型
Figure DEST_PATH_IMAGE112
如图2中的D所示。
5、终端设备模型上传模块：将终端设备稀疏化子模型
Figure 230710DEST_PATH_IMAGE008
上传至服务器端数据模块，其中代表模型掩码的
Figure 996541DEST_PATH_IMAGE113
与训练模型所使用数据量信息将一起上传。
终端设备模型上传模块如图2中的E所示。
中心服务器包括如下模块：
1、服务器端数据模块：实现所有终端设备上传模型数据的收集、储存及分发功能。服务器端数据模块包括如下三个子模块：
第一服务器数据子模块（图1中的服务器数据子模块1）：对全部终端设备上传数据的核对和标注。
第二服务器数据子模块（图1中的服务器数据子模块2）：对全部终端设备上传数据的存储。
第三服务器数据子模块（图1中的服务器数据子模块3）：将全部N个终端设备的模型掩码：
Figure DEST_PATH_IMAGE114
传递至服务器端模型派发模块；随机选取k个终端设备所上传数据：包括（1）k个模型掩码
Figure 761366DEST_PATH_IMAGE115
发送给第一服务器端模型整合模块，（2）将k个终端设备的稀疏化子模型
Figure 499515DEST_PATH_IMAGE116
发送给第二服务器端模型整合模块，（3）终端设备模型数据量发送给第二服务器端模型整合模块。
2、第一服务器端模型整合模块：利用k个终端设备的模型掩码整合新的全局模型掩码。依据k个终端设备中的k个二进制模型掩码：
Figure DEST_PATH_IMAGE117
，利用在这些掩码直接有重叠的部分形成一个新的全局模型掩码
Figure 691593DEST_PATH_IMAGE118
。并将此模型掩码传递给第二服务器端模型整合模块。
第一服务器端模型整合模块的功能如图2中的F所述。
3、第二服务器端模型整合模块型整合模块：对k个终端设备的稀疏化子模型中的参数筛选后进行加权平均，并结合新的全局模型掩码形成新的全局模型，传输给服务器端模型派发模块。第二服务器端模型整合模块包括如下两个子模块：
第一模型整合子模块（图1中的模型整合子模块1）：使用新的全局模型掩码
Figure 944719DEST_PATH_IMAGE027
对所选k个终端设备所上传的模型参数
Figure 450918DEST_PATH_IMAGE028
进行筛选，找出新的全局模型掩码
Figure 840311DEST_PATH_IMAGE029
所覆盖的参数。
第二模型整合子模块（图1中的模型整合子模块2）：使用加权平均的方法对所找出的参数进行整合（其他未重叠的参数并不进行聚合操作），得到新全局参数
Figure 655820DEST_PATH_IMAGE030
，其权重依据为终端设备所上传数据量大小，如图2中的G所示，并利用新全局参数
Figure 84659DEST_PATH_IMAGE030
与新的全局模型掩码
Figure 174975DEST_PATH_IMAGE029
形成新的完整全局模型
Figure 887716DEST_PATH_IMAGE031
，如图2中的H所示，并传输给服务器端模型派发模块。
4、服务器端模型派发模块：用于生成并对发送与每个终端设备所对应的个性化全局模型。服务器端模型派发模块包括以下二个子模块：
第一模型派发子模块（图1中的模型派发子模块1）：根据服务器端数据模块所发送的模型掩码
Figure 359280DEST_PATH_IMAGE032
信息对完整全局模型
Figure DEST_PATH_IMAGE119
进行优化，对N个终端设备分别生成个性化全局模型
Figure 852578DEST_PATH_IMAGE035
，如图2中的I所示。
第二模型派发子模块（图1中的模型派发子模块2）：向对应终端设备派发与其上传的模型掩码
Figure 497317DEST_PATH_IMAGE032
一致的个性化全局模型
Figure 798985DEST_PATH_IMAGE034
，如图2中的J所示。向上一轮因数据缺失或不足而未形成并上传稀疏化子模型
Figure 956297DEST_PATH_IMAGE120
的终端设备直接派发完整全局模型
Figure DEST_PATH_IMAGE121
。
上述高效个性化联邦学习系统的核心是围绕模型中的两个部分：模型参数θ及模型掩码m展开。主旨在于不降低模型精度的前提下大规模降低掩码的复杂程度，增加终端设备的个性化程度，降低通信成本和服务器计算成本。通过迭代剪枝的方式使终端设备形成的模型在牺牲了大量泛化性后成为了一个简约的个性化全局模型。相应的，之后通过在中心服务器对所上传的各个新参数θ和新及模型掩码m进行整合后，又一次形成了相对泛化的全局模型，再次根据上传模型掩码返回给各终端设备，至此完成一轮循环。
需要说明的是：在本系统中，中心服务器只要得到足够多的k个终端设备数据即开始计算，若收集终端设备的数量N大于k，则随机选择k个终端设备进行下一轮计算，并不需要等待全部M个终端设备上传数据。
本系统的工作原理为：一个随机初始化的密集神经网络应包含一个稀疏子网络，该子网络初始化后，在隔离训练时，它可以在训练相同次数的迭代后匹配甚至超过原始网络的测试精度。具体来说就是对于初始神经网络
Figure 953203DEST_PATH_IMAGE122
，初始参数
Figure 323004DEST_PATH_IMAGE123
, 初始模型掩码
Figure DEST_PATH_IMAGE124
。 在利用训练集进行剪枝优化时，f在迭代j处达到最小验证损失l，测试精度为a。 在同一训练集上使用剪枝进行优化时，f在迭代j’时达到最小验证损失l’，测试精度为a’。 此时应存在一个新的网络掩码m’，使得j’≤j(训练时间相称)，a’≥a(精度相称)以及
Figure 823387DEST_PATH_IMAGE125
(结构大幅简化)。
基于上述高效个性化联邦学习系统，本发明还提出一种高效个性化联邦学习方法，如图3所示，包括以下步骤：
步骤1、未缺少数据的终端设备下载中心服务器派发的全局模型。
在本步骤中，M个终端设备收集用户行为数据。由中心服务器向所有N个终端设备(本次成功收集数据的终端设备)发布适用于该数据的全局模型
Figure DEST_PATH_IMAGE126
。
步骤2、终端设备对收到的全局模型，利用剪枝技术生成新的稀疏化子模型
Figure 964650DEST_PATH_IMAGE127
。
在本步骤中，终端设备对收到的全局模型分别使用本地所收集的相应类型的数据对模型进行优化，通过多轮的剪枝（其策略包括但不限于：细粒度剪枝，向量剪枝，核剪枝，滤波器剪枝等），直至将剪枝率积累至预设的总剪枝率。比如说预设的总剪枝率为70%, 则代表我们将进行多次迭代后将模型的参数数量降低至原本的30%。每次迭代将会剪除一定比例的参数，新一轮迭代是建立在上一轮剪枝后的新模型的基础上，经过多次迭代最终使总剪枝率达到70%，此时会得到一个新的稀疏化子模型掩码
Figure DEST_PATH_IMAGE128
。
本发明通过训练网络并裁剪其最小权重来确定稀疏化子网络。也就是计算出模型中哪些参数是重要的，不重要的参数就抹掉，剩余的、未修剪的连接构成子网络的体系结构。剪枝的目的在于找到全局密集网络下的稀疏子网络，这种稀疏子网络结构简单，使终端设备运算成本更低，且大幅降低通信成本，且准确性在特定终端设备上（个性化）更高。
为达到预设的总剪枝率
Figure 183272DEST_PATH_IMAGE023
，我们将使用迭代剪枝的方式，每次迭代将会修剪掉
Figure 622344DEST_PATH_IMAGE129
重量的参数，每次迭代未修剪的连接的值在被训练之前会从原始网络重置到初始化，这些未修剪的连接的值，可能在下一轮迭代中被修剪掉。迭代剪枝（稀疏化）具体步骤：
（1）随机初始化一个神经网络
Figure 164184DEST_PATH_IMAGE036
。
（2）对神经网络模型
Figure 210768DEST_PATH_IMAGE036
进行j次迭代训练,在保证预设模型精度的前提下从
Figure 572480DEST_PATH_IMAGE036
修剪掉
Figure 346400DEST_PATH_IMAGE045
的参数量，生成一个临时子模型
Figure 493479DEST_PATH_IMAGE041
，创建模型掩码
Figure 960233DEST_PATH_IMAGE042
。
（3）将临时子模型的参数
Figure 809240DEST_PATH_IMAGE043
重置为
Figure 137584DEST_PATH_IMAGE016
中的值，创建子模型
Figure 654016DEST_PATH_IMAGE044
；
（4）在子模型
Figure 229354DEST_PATH_IMAGE044
基础上，重复步骤⑵~⑶，经n轮重复后直到积累的
Figure 136565DEST_PATH_IMAGE045
总和到达预设的总剪枝率
Figure 721130DEST_PATH_IMAGE023
，此轮次创建的临时子模型
Figure 639539DEST_PATH_IMAGE046
中的掩码
Figure 385778DEST_PATH_IMAGE047
即为该终端设备的稀疏化子模型掩码：
Figure 6115DEST_PATH_IMAGE059
在迭代剪枝步骤中，完成以预设的总剪枝率为目标的模型稀疏化是多次剪枝的累计过程，n是完成预设的总剪枝率所需要累计剪枝的次数，也就是步骤（2）~（3）重复的次数。
在本步骤中，为了得到基于原始模型
Figure DEST_PATH_IMAGE130
下的新的稀疏化子模型，终端设备需使用本地数据对模型进行优化。也就是对模型
Figure 410683DEST_PATH_IMAGE131
进行逐步剪枝（计算出哪些内部参数是重要的，不重要的内部参数就抹掉）以及准确率测试。在其保证准确率大于预设的准确阈值a（原始模型的准确率）的前提下，对模型
Figure 167286DEST_PATH_IMAGE130
进行足够大比例（大于或等于预设的总剪枝率
Figure 100738DEST_PATH_IMAGE023
）的剪枝操作。这个过程是一个逐步的随机梯度降低过程。而被剪枝后的新模型，其复杂度和内部参数规模小于模型
Figure DEST_PATH_IMAGE132
，且其准确率与原始模型相当甚至更高。而剪枝后的模型结构被记录在一个二进制的掩码，重新将模型参数设置为初始参数
Figure 739530DEST_PATH_IMAGE133
，生成一个新的稀疏化子模型：
Figure DEST_PATH_IMAGE134
。
步骤3、终端设备基于新的稀疏化子模型掩码，更新模型参数
Figure 478947DEST_PATH_IMAGE111
。
在本步骤中，终端设备利用这个新得到的稀疏化后模型
Figure 558898DEST_PATH_IMAGE134
，使用数据
Figure 725569DEST_PATH_IMAGE135
对该稀疏化子模型进行训练：得到新参数
Figure 258181DEST_PATH_IMAGE111
：
Figure 270131DEST_PATH_IMAGE110
，其中η为学习率，l为损失函数。
步骤4、终端设备根据模型参数生成新的稀疏化子模型
Figure 204589DEST_PATH_IMAGE112
，并将该模型上传至中心服务器。上传至中心服务器的稀疏化子模型可用于中心服务器的下一轮计算。
步骤5、中心服务器利用上传的不同模型掩码重叠形成新的全局模型掩码。
在本步骤中，假如M个终端设备中如果有N个终端设备中数据可用并且上传了新的模型至中心服务器，中心服务器无需等待所有终端设备，随机选取其中足够的终端设备（k个终端设备）所上传的新模型进行下一步操作。首先利用各个终端设备中k个不同的模型掩码
Figure DEST_PATH_IMAGE136
，找出两个以上重叠部分生成新的全局模型掩码
Figure 73319DEST_PATH_IMAGE137
，也就是新的全局模型掩码。在判断掩码m是否重叠时只需在两个掩码间重复即认为重叠。
步骤6、中心服务器利用新的全局模型掩码捕获终端设备所上传新参数对其进行加权平均，得到加权平均后的新参数。
在本步骤中，中心服务器对上传的k个稀疏化子模型
Figure DEST_PATH_IMAGE138
整合，具体而言，依据新的全局模型掩码
Figure 155544DEST_PATH_IMAGE139
，捕获在k个终端设备中的那些参数集
Figure DEST_PATH_IMAGE140
中位于新全局模型掩码
Figure 502343DEST_PATH_IMAGE141
之内的参数，对这些参数进行加权平均（未捕获的参数并不进行聚合操作），得到最新的全局参数
Figure DEST_PATH_IMAGE142
。
在本步骤中，权重来自于各自设备收集的数据量。
步骤7、中心服务器将加权平均后的新参数
Figure 573198DEST_PATH_IMAGE070
与新的全局模型掩码
Figure 65359DEST_PATH_IMAGE143
结合，得到一个新的完整全局模型
Figure DEST_PATH_IMAGE144
。
本步骤可以理解为，重新形成了一个模型参数q及模型掩码m双重泛化的完整全局模型，而其规模应小于上一代的全局模型
Figure 854455DEST_PATH_IMAGE145
。
步骤8、中心服务器根据上轮终端所上传的模型掩码，将新的完整全局模型个性化后派发给相应终端设备用于数据分析及新一轮模型训练。本步骤包括两种处理方式：
步骤8.1、对于上传数据的N个终端设备，根据上述终端设备各自所上传的模型掩码
Figure DEST_PATH_IMAGE146
，对得到的完整全局模型
Figure 988633DEST_PATH_IMAGE147
进行个性化处理,得到N个个性化的模型
Figure 445153DEST_PATH_IMAGE055
，并将模型发送给对应的终端设备。
步骤8.2、对于M-N台上一轮数据缺失或不足的终端设备，若本轮该缺失数据被收集，则直接发送新的完整全局模型
Figure DEST_PATH_IMAGE148
。其中M为全部终端设备数量，N为成功上传稀疏化子模型至中心服务器的终端设备数量。
为了对本发明效果进行验证，本发明对三个不同类型的非独立同分布数据进行实际模拟，其中对数据集1进行了400轮通讯模拟，对数据集2和3均进行了2000轮通讯模拟，得到如图4所示的对比结果，从图中可以看出，当剪枝率
Figure 842637DEST_PATH_IMAGE149
为70%时，和传统的联邦学习相比，减少3.86倍通信开销；将准确率作为个性化评价指标，和传统的联邦学习相比，提高47.67%。在有10%终端设备数据缺失的情况下，本专利不仅在通信成本上有所下降，总体精度下降仅为1%~2%，而传统方法则在3%~9%。
需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (10)

1.一种高效个性化联邦学习系统，由中心服务器和多个终端设备连接构成，其特征在于：所述终端设备包括：
终端设备数据模块：用于原始数据的收集、储存及预处理，并将处理结果传送给终端设备模型下载模块和第一终端设备模型训练模块；
终端设备模型下载模块：根据终端设备数据模块的处理结果，从中心服务器下载全局模型
Figure 666239DEST_PATH_IMAGE001
并传送给第一终端设备模型训练模块；
第一终端设备模型训练模块：对全局模型
Figure 338529DEST_PATH_IMAGE002
进行初始化, 得到初始化后的全局模型
Figure 649556DEST_PATH_IMAGE003
，对其剪枝并生成稀疏化子模型
Figure 421203DEST_PATH_IMAGE004
，将该稀疏化子模型
Figure 965316DEST_PATH_IMAGE004
传送给第二终端设备模型训练模块；
第二终端设备模型训练模块：利用本地数据对稀疏化子模型
Figure 660871DEST_PATH_IMAGE005
中的全局参数
Figure 544513DEST_PATH_IMAGE006
进行优化，得到终端个性化参数
Figure 487062DEST_PATH_IMAGE007
，并形成最终的稀疏化子模型
Figure 3625DEST_PATH_IMAGE008
；
终端设备模型上传模块：将稀疏化子模型
Figure 752138DEST_PATH_IMAGE008
上传至服务器端数据模块；
所述中心服务器包括：
服务器端数据模块：用于终端设备所上传模型数据的收集及储存，并分发给第一服务器端模型整合模块、第二服务器端模型整合模块和服务器端模型派发模块；
第一服务器端模型整合模块：利用N个终端设备中的所上传的k个终端设备的稀疏化子模型
Figure 241019DEST_PATH_IMAGE009
中的k个模型掩码:
Figure 620048DEST_PATH_IMAGE010
，整合得到新的全局模型掩码
Figure 873175DEST_PATH_IMAGE011
，并将该全局模型掩码
Figure 379374DEST_PATH_IMAGE012
传递给第二服务器端模型整合模块；
第二服务器端模型整合模块：对k个终端设备的稀疏化子模型
Figure 972029DEST_PATH_IMAGE013
中的参数筛选后进行加权平均，结合新的全局模型掩码
Figure 584276DEST_PATH_IMAGE014
形成新的完整全局模型
Figure 747535DEST_PATH_IMAGE015
，并传输给服务器端模型派发模块；
服务器端模型派发模块：用于生成并发送与每个终端设备所对应的个性化全局模型
Figure 103430DEST_PATH_IMAGE016
；
其中，θ为任意模型中所有参数的集合，m为一个代表模型的结构二进制的模型掩码，N和k分别表示第N个终端设备和第k个终端设备，角标g标注某参数/掩码为全局参数：
Figure 550592DEST_PATH_IMAGE017
/全局模型掩码：
Figure 84473DEST_PATH_IMAGE018
，t代表通信轮次，第一次全局模型派发时为第0轮通信，t=0，x为模型中代表本地数据的自变量,
Figure 249875DEST_PATH_IMAGE019
为第N台终端设备经剪枝后产生的稀疏化子模型掩码，N={1,2,3,…}，
Figure 894614DEST_PATH_IMAGE020
为第k台终端设备设备经剪枝后产生的模型掩码， k ={1,2,3,…}，k≦N。
2.根据权利要求1所述的一种高效个性化联邦学习系统，其特征在于：所述终端设备数据模块包括如下三个终端数据子模块：
第一终端数据子模块：用于识别传感器所采集的有效数据并传输给第二数据终端子模块；
第二终端数据子模块：用于存储数据，该数据用于第一终端设备模型训练模块和第二终端设备模型训练模块的模型训练；
第三终端数据子模块：用于数据的统计及预处理，包括：对所存储数据量的统计，用于中心服务器整合数据时权重的计算，并判断是否足够进行本轮模型训练，若足够则通知终端设备模型下载模块，进行本轮全局模型下载；对数据的预处理，根据数据量及模型训练时的需要分割数据，并将数据分割结果传输给第一终端设备模型训练模块。
3.根据权利要求1所述的一种高效个性化联邦学习系统，其特征在于：所述第一终端设备模型训练模块包括如下三个模型训练子模块：
第一模型训练子模块：使用模型掩码
Figure 461861DEST_PATH_IMAGE021
来初始化全局模型
Figure 150332DEST_PATH_IMAGE022
，使其成为
Figure 288183DEST_PATH_IMAGE003
形式；
第二模型训练子模块：用于对模型
Figure 189143DEST_PATH_IMAGE023
进行迭代剪枝处理，直到模型剪枝率大于或等于预设的总剪枝率
Figure 673214DEST_PATH_IMAGE024
，并在每轮迭代后与第三模型训练子模块进行交互获得最佳剪枝策略；最终得到剪枝后的稀疏化子模型，并传递给第二终端设备模型训练模块；
第三模型训练子模块：用于剪枝策略的优化，对第二模型训练子模块中模型的剪枝过程进行监督，并根据结果调整剪枝策略；策略包括细粒度剪枝、向量剪枝、核剪枝和滤波器剪枝。
4.根据权利要求1所述的一种高效个性化联邦学习系统，其特征在于：所述服务器端数据模块包括如下三个服务器数据子模块：
第一服务器数据子模块：对全部终端设备上传数据的核对和标注；
第二服务器数据子模块：对全部终端设备上传数据的存储；
第三服务器数据子模块：将全部终端设备的模型掩码
Figure 486580DEST_PATH_IMAGE025
传递至服务器端模型派发模块；随机选取k个终端设备所上传数据，包括：将k个模型掩码
Figure 626575DEST_PATH_IMAGE026
发送给第一服务器端模型整合模块，将k个终端设备的稀疏化子模型
Figure 862384DEST_PATH_IMAGE027
发送给第二服务器端模型整合模块，将终端设备模型数据量发送给第二服务器端模型整合模块。
5.根据权利要求1所述的一种高效个性化联邦学习系统，其特征在于：所述第二服务器端模型整合模块包括如下两个模型整合子模块：
第一模型整合子模块：使用新的全局模型掩码
Figure 889377DEST_PATH_IMAGE028
对所选k个终端设备所上传的模型参数
Figure 185229DEST_PATH_IMAGE029
进行筛选，找出新的全局模型掩码
Figure 812519DEST_PATH_IMAGE030
所覆盖的参数；
第二模型整合子模块：使用加权平均的方法对所找出的参数进行整合，并对其他参数保持不变，得到新的全局参数
Figure 540435DEST_PATH_IMAGE031
，利用整合后新全局参数
Figure 999098DEST_PATH_IMAGE031
与全局模型掩码
Figure 403535DEST_PATH_IMAGE030
形成新的完整全局模型
Figure 3275DEST_PATH_IMAGE032
，并传输给服务器端模型派发模块。
6.根据权利要求1所述的一种高效个性化联邦学习系统，其特征在于：所述服务器端模型派发模块包括以下二个模型派发子模块：
第一模型派发子模块：根据服务器端数据模块所发送的模型掩码
Figure 846466DEST_PATH_IMAGE033
对完整全局模型
Figure 97318DEST_PATH_IMAGE034
进行优化，对N个终端设备分别生成个性化全局模型
Figure 485705DEST_PATH_IMAGE035
；
第二模型派发子模块：向对应终端设备派发与其上传的模型掩码
Figure 556430DEST_PATH_IMAGE033
一致的个性化子模型
Figure 688465DEST_PATH_IMAGE036
，向上一轮因数据缺失或不足而未形成并上传稀疏化子模型的终端设备直接派发完整全局模型
Figure 59403DEST_PATH_IMAGE037
。
7.一种高效个性化联邦学习方法，在权利要求1至6任一项所述高效个性化联邦学习系统上实现，其特征在于：包括以下步骤：
步骤1、终端设备下载中心服务器派发的全局模型；
步骤2、终端设备对收到的全局模型，利用剪枝技术生成新的稀疏化子模型掩码；
步骤3、终端设备基于新的稀疏化子模型掩码，通过本地数据对模型进行训练后，更新模型参数；
步骤4、终端设备根据模型参数生成新的稀疏化子模型，并将新的稀疏化子模型上传至中心服务器；
步骤5、中心服务器利用上传的不同模型掩码重叠形成新的全局模型掩码；
步骤6、中心服务器利用泛化模型掩码捕获终端设备所上传新参数对其进行加权平均，得到加权平均后的新参数；
步骤7、中心服务器将加权平均后的新参数与新的全局模型掩码结合，得到一个新的完整全局模型；
步骤8、中心服务器根据上轮终端所上传的模型掩码，将新的完整全局模型个性化后派发给相应终端设备用于数据分析及新一轮模型训练。
8.根据权利要求7所述的一种高效个性化联邦学习方法，其特征在于：所述步骤2利用剪枝技术生成新的稀疏化子模型掩码的方法包括以下步骤：
⑴随机初始化一个全局模型
Figure 805642DEST_PATH_IMAGE038
，使之成为
Figure 442291DEST_PATH_IMAGE039
形式；
⑵对全局模型
Figure 299389DEST_PATH_IMAGE040
进行j次迭代训练,在保证预设模型精度的前提下从全局模型
Figure 587151DEST_PATH_IMAGE041
中修剪掉
Figure 255024DEST_PATH_IMAGE042
的参数量，生成一个临时子模型
Figure 565919DEST_PATH_IMAGE043
，创建模型掩码
Figure 289025DEST_PATH_IMAGE044
；
⑶将临时子模型的参数
Figure 119708DEST_PATH_IMAGE045
重置为
Figure 473329DEST_PATH_IMAGE017
中的值，创建子模型
Figure 68259DEST_PATH_IMAGE046
；
⑷在子模型
Figure 283471DEST_PATH_IMAGE046
基础上，重复步骤⑵~⑶，经n轮重复后直到积累的
Figure 280245DEST_PATH_IMAGE047
总和到达预设的总剪枝率
Figure 539189DEST_PATH_IMAGE048
，此轮次创建的临时子模型
Figure 575409DEST_PATH_IMAGE049
中的掩码
Figure 905896DEST_PATH_IMAGE050
即为终端设备的稀疏化子模型掩码：
Figure 694860DEST_PATH_IMAGE051
；
其中，n表示完成预设的总剪枝率
Figure 141016DEST_PATH_IMAGE024
所需要的累计剪枝的次数。
9.根据权利要求7所述的一种高效个性化联邦学习方法，其特征在于：所述步骤5的具体实现方法为：中心服务器根据所选择的k个模型掩码：
Figure 710538DEST_PATH_IMAGE052
的重叠部分生成新的全局模型掩码
Figure 782399DEST_PATH_IMAGE053
，在判断k个模型掩码
Figure 973340DEST_PATH_IMAGE052
是否重叠时，只需在两个掩码间重复即认为重叠；
所述步骤6的具体实现方法为：捕获在k个终端设备中的那些参数集
Figure 105244DEST_PATH_IMAGE054
中位于新的全局模型掩码
Figure 834166DEST_PATH_IMAGE053
之内的参数，对这些参数进行加权平均，并对其他参数保持不变，得到新的全局参数
Figure 257188DEST_PATH_IMAGE055
。
10.根据权利要求7所述的一种高效个性化联邦学习方法，其特征在于：所述步骤8的具体实现方法为：
步骤8.1、对于上传数据的N个终端设备，根据上述终端设备各自所上传的模型掩码
Figure 755166DEST_PATH_IMAGE056
，对得到的全局模型
Figure 605441DEST_PATH_IMAGE057
进行个性化处理,得到N个个性化的模型
Figure 87238DEST_PATH_IMAGE058
，并将个性化的模型发送给对应的终端设备；
步骤8.2、对于M-N台上一轮数据缺失或不足的终端设备，若本轮该缺失数据被收集，则直接发送新的完整全局模型
Figure 32060DEST_PATH_IMAGE059
，其中M为全部终端设备数量，N为成功上传稀疏化子模型至中心服务器的终端设备数量。
CN202210400890.XA 2022-04-18 2022-04-18 一种高效个性化联邦学习系统和方法 Active CN114492847B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210400890.XA CN114492847B (zh) 2022-04-18 2022-04-18 一种高效个性化联邦学习系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210400890.XA CN114492847B (zh) 2022-04-18 2022-04-18 一种高效个性化联邦学习系统和方法

Publications (2)

Publication Number Publication Date
CN114492847A true CN114492847A (zh) 2022-05-13
CN114492847B CN114492847B (zh) 2022-06-24

Family

ID=81489422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210400890.XA Active CN114492847B (zh) 2022-04-18 2022-04-18 一种高效个性化联邦学习系统和方法

Country Status (1)

Country Link
CN (1) CN114492847B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024013905A1 (ja) * 2022-07-13 2024-01-18 日本電信電話株式会社 ニューラルネットワーク枝刈りシステム、ニューラルネットワーク枝刈り方法及びニューラルネットワーク枝刈りプログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
US20210287114A1 (en) * 2020-03-13 2021-09-16 International Business Machines Corporation Adaptively adjusting influence in federated learning model updates
CN113469340A (zh) * 2021-07-06 2021-10-01 华为技术有限公司 一种模型处理方法、联邦学习方法及相关设备
CN113595993A (zh) * 2021-07-12 2021-11-02 广东工业大学 边缘计算下模型结构优化的车载感知设备联合学习方法
CN114077755A (zh) * 2022-01-19 2022-02-22 南京邮电大学 保护隐私的可控轻量化联邦学习方法、系统和检测方法
CN114154646A (zh) * 2021-12-07 2022-03-08 南京华苏科技有限公司 一种移动边缘网络中联邦学习的效率优化方法
WO2022067355A1 (en) * 2020-09-28 2022-03-31 Qualcomm Incorporated Sparsity-inducing federated machine learning

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190362235A1 (en) * 2018-05-23 2019-11-28 Xiaofan Xu Hybrid neural network pruning
US20210287114A1 (en) * 2020-03-13 2021-09-16 International Business Machines Corporation Adaptively adjusting influence in federated learning model updates
WO2022067355A1 (en) * 2020-09-28 2022-03-31 Qualcomm Incorporated Sparsity-inducing federated machine learning
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN113469340A (zh) * 2021-07-06 2021-10-01 华为技术有限公司 一种模型处理方法、联邦学习方法及相关设备
CN113595993A (zh) * 2021-07-12 2021-11-02 广东工业大学 边缘计算下模型结构优化的车载感知设备联合学习方法
CN114154646A (zh) * 2021-12-07 2022-03-08 南京华苏科技有限公司 一种移动边缘网络中联邦学习的效率优化方法
CN114077755A (zh) * 2022-01-19 2022-02-22 南京邮电大学 保护隐私的可控轻量化联邦学习方法、系统和检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANG LI ET AL.: "LotteryFL: Empower Edge Intelligence with Personalized and Communication-Efficient Federated Learning", 《2021 ACM/IEEE 6TH SYMPOSIUM ON EDGE COMPUTING (SEC)》 *
吴兰 等: "一种基于移动式服务器的联邦学习", 《中国科技论文》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024013905A1 (ja) * 2022-07-13 2024-01-18 日本電信電話株式会社 ニューラルネットワーク枝刈りシステム、ニューラルネットワーク枝刈り方法及びニューラルネットワーク枝刈りプログラム

Also Published As

Publication number Publication date
CN114492847B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
Son et al. Hybrid coevolutionary programming for Nash equilibrium search in games with local optima
CN103853786B (zh) 数据库参数的优化方法与系统
CN113515770A (zh) 基于隐私保护确定目标业务模型的方法及装置
CN110363286A (zh) 神经网络模型的生成方法及装置
CN113595993B (zh) 边缘计算下模型结构优化的车载感知设备联合学习方法
CN112101532A (zh) 一种基于边云协同的自适应多模型驱动设备故障诊断方法
CN114154646A (zh) 一种移动边缘网络中联邦学习的效率优化方法
CN114492847B (zh) 一种高效个性化联邦学习系统和方法
CN108629408A (zh) 一种基于fpga的深度学习动态模型剪裁推理系统及方法
CN101667292B (zh) 基于免疫克隆和投影寻踪的sar图像分割系统及分割方法
CN111831354B (zh) 数据精度配置方法、装置、芯片、芯片阵列、设备及介质
CN111932396A (zh) 一种配电网拓扑网络自动识别方法
CN115019510A (zh) 一种基于动态自适应生成对抗网络的交通数据修复方法
CN116542322A (zh) 一种联邦学习方法
CN115374479A (zh) 一种非独立同分布数据场景下的联邦学习隐私保护方法
CN114169506A (zh) 一种基于工业物联网平台的深度学习边缘计算系统框架
CN110275868A (zh) 一种智能工厂中多模态制造数据预处理的方法
Zhou et al. Big data and knowledge graph based fault diagnosis for electric power systems
CN109977977A (zh) 一种识别潜在用户的方法及对应装置
CN115758643A (zh) 一种基于时空特征融合的网络流量预测方法、装置及存储介质
CN103679267A (zh) 基于无标记样本的rbf神经网络构建方法及其装置
CN115310607A (zh) 一种基于注意力图的视觉Transformer模型剪枝方法
CN113052189B (zh) 一种基于改进的MobileNetV3特征提取网络
CN117033997A (zh) 数据切分方法、装置、电子设备和介质
CN115277789A (zh) 一种梯级水电站安全防护系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231029

Address after: Rehabilitation Industry Incubator 301-31, Block D, No. 100 Torch Road, High tech Zone, Qingdao, Shandong Province, 266000

Patentee after: Yinuoke Rehabilitation Medical Technology (Qingdao) Co.,Ltd.

Address before: 300480 No. 209, floor 2, area C, animation building, No. 126, animation Middle Road, Tianjin eco city, Binhai New Area, Tianjin (No. 1903 entrusted by Tianjin Haobang business secretary Co., Ltd.)

Patentee before: Aoluo Technology (Tianjin) Co.,Ltd.