CN114301889B - 一种基于权重压缩的高效联邦学习方法及系统 - Google Patents

Abstract

本发明公开了一种基于权重压缩的高效联邦学习方法及系统。该方法为：客户端本地训练结束后计算本地模型的更新值，首先将更新值的符号和数值分开，然后计算更新值较大一部分数值的拟合函数，使用拟合函数代替数值传输，进一步使用LZMA2算法压缩对应索引数据，使用进制编码符号，将客户端和服务器之间的通信从权重参数转换为拟合函数、编码符号和压缩索引从而达到降低通信量的目的。系统包括服务器、客户端；服务器、客户端能实现所述基于权重压缩的高效联邦学习方法中服务器、客户端需要实现的步骤。本发明能适用于不平衡数据分布场景，模型准确率和收敛速度接近联邦平均算法，具有很好的适用性。

Description

一种基于权重压缩的高效联邦学习方法及系统

技术领域

本发明属于人工智能技术领域，特别是一种于权重压缩的高效联邦学习方法及系统。

背景技术

为了在保障数据交换时的信息安全、保护客户端数据和个人数据隐私、保证合法合规的前提下，在多参与方或多计算结点之间开展高效率的机器学习。谷歌于2016年率先推出的联邦学习，是一个分布式的机器学习框架，在中心服务器的组织下，多个客户端协同训练模型，同时保持训练数据不离开客户端本地。在联邦学习场景中，中央服务器不再执行数据管理工作，转变为对用户上传数据进行聚合。

随着现目前人工智能任务复杂度的增加，联邦学习任务的模型深度增大，全局模型迭代轮次增加，这也就造成了联邦学习训练过程的通信量异常庞大。比如目前的ResNet50网络，这是一种残差神经网络，该网络的模型参数约为90MB，假设在一个100个客户端参与的联邦学习场景中，每轮客户端与服务器的通信总量高达1.8GB，这样的通信量对于网络受限或网络代价昂贵的客户端而言，往往是难以接受的。

目前的研究中针对通信效率的改进方法主要包括算法优化、压缩和分散训练三类。压缩方案通常分为梯度压缩和全局模型压缩两种，它们通过压缩客户端需要上传的梯度或者模型参数信息，来减少客户端和服务器之间的通信量，以达到提高通信效率的目的。然而目前的方法采用的固定阈值或者稀疏化往往对于模型精度或者收敛速度有一定的影响，而且对于数据分布不均匀的场景表现较差，因此现目前的压缩方法还有改进空间。

发明内容

本发明的目的在于提供一种基于权重压缩的高效联邦学习方法，减少联邦学习训练过程的通信成本，降低客户端与服务器通信量。

实现本发明目的的技术解决方案为：一种基于权重压缩的高效联邦学习方法，应用于客户端与服务器的模型训练，包括：

步骤1、客户端使用当前全局模型参数初始化本地模型；

步骤2、所有客户端根据本地模型权重进行本地训练，并计算模型权重更新值；

步骤3、所有客户端对模型权重更新值进行压缩，生成待上传数据；

步骤4、所有客户端将待上传数据上传到服务器；

步骤5、服务器接收客户端上传数据，并根据接收的数据重构本轮模型更新值；

步骤6、服务器根据本轮模型更新值更新全局模型；

步骤7、服务器对本轮模型更新值进行压缩，生成下传数据；

步骤8、所有客户端下载下传数据，更新本地模型。

一种基于权重压缩的高效联邦学习系统，包括服务器、N个客户端，N＞1；所述服务器、客户端能实现所述基于权重压缩的高效联邦学习方法中服务器、客户端需要实现的步骤。

本发明与现有技术相比，其显著优点为：

(1)本发明针对联邦学习在复杂场景应用时的通信传输庞大的场景，提出了一种基于权值最大更新的低通信成本训练方法；通过压缩全局训练每轮本地模型的权重更新，实现了服务器与客户端通信过程上传与下载双向压缩，复杂深度网络下压缩倍率可达1000倍以上，显著的节省了通信的开销；

(2)本发明利用联邦平均的思想，对于传输的模型更新参数进行压缩；与现有联邦学习压缩方法相比，本发明每次更新仅上传压缩的更新权重，平均后下发至客户端，保证了训练模型在全局的准确率；

(3)本发明不改变模型训练逻辑，基于联邦平均方法，实现简单，压缩耗时为毫秒级，不影响模型正常训练和收敛；

(4)本发明对模型精度影响较低，能同时适用于独立同分布数据和非独立同分布数据。

附图说明

图1是基于权重压缩的高效联邦学习训练方法及系统的系统结构图。

图2是实施例1中模型在不同数据分布下模型训练的训练准确率随训练轮次变化图。

图3是实施例1中模型在不同数据分布下模型训练的损失随训练轮次的变化图。

图4是实施例2中模型在不同数据分布下模型训练的准确率随训练轮次的变化图。

图5是实施例2中模型在不同数据分布下模型训练的损失随训练轮次的变化图。

图6是实施例3中模型训练的准确率随训练轮次的变化图。

图7是实施例3中模型模型训练的损失随训练轮次的变化图。

图8是实施例1、2和3中本发明的效果图。

具体实施方式

本发明为了解决当前联邦学习客户端与服务器之间通信成本高昂的问题，提出了一种基于权重压缩的高效保护联邦学习(模型训练)方法及系统。

本发明一种基于权重压缩的高效联邦学习方法，应用于客户端与服务器的模型训练，包括：

步骤1、客户端使用当前全局模型参数初始化本地模型；

步骤2、所有客户端根据本地模型权重进行本地训练，并计算模型权重更新值；

步骤3、所有客户端对模型权重更新值进行压缩，生成待上传数据；

步骤4、所有客户端将待上传数据上传到服务器；

步骤5、服务器接收客户端上传数据，并根据接收的数据重构本轮模型更新值；

步骤6、服务器根据本轮模型更新值更新全局模型；

步骤7、服务器对本轮模型更新值进行压缩，生成下传数据；

步骤8、所有客户端下载下传数据，更新本地模型。

进一步地，步骤2所述计算模型权重更新值，具体包括：

所有客户端在训练开始时保存本地模型权重W_local；

客户端在完成本地训练后用新的本地模型权重W′_local减去未训练的本地模型权重W_local，得到本地模型权重更新值W_change，如下式所示：

W_change＝W′_local-W_local

进一步地，步骤3所述所有客户端对模型权重更新值进行权重压缩，具体包括：

(1)按原始分布保存权重更新值的正负号W_sign，权重更新值取绝对值W_{c_abs}；

(2)将绝对值化后的权重更新值W_{c_abs}按模型架构层次分解为各层，表示下式

其中layer_i表示模型网络中的第i层；

(3)对当前训练网络架构的每一层执行相同的操作，当前操作层为layer_i，使用Wⁱ替换表示网络第i层的绝对值化后的权重更新值，执行以下操作

Wfⁱ＝Flatten(Wⁱ)

Wsⁱ,indexs＝Sort(Wfⁱ)

其中Flatten(·)运算是张量维度转换操作，该运算将括号内对象转换为一维张量；Wfⁱ是将Wⁱ转换为一维张量的结果；Sort(·)是张量排序操作，该操作返回从大到小排序后输入数据以及排序后数据在原始数据中的索引，Wsⁱ,indexs分别表示排序后的Wfⁱ和排序操作的变化索引，上述参数满足

Wsⁱ[p]＝Wfⁱ[indexs[p]

其中[·]操作是取第·位的值，Wsⁱ[p]指Wsⁱ中的第p位的值；

(4)计算更新阈值，设置最大值的30％作为客户端权重更新的更新阈值T，为消除偶然因素，这里的最大值通过计算Wsⁱ的最大五个数的平均值得到；将所有Wsⁱ中大于T的值作为本轮更新的更新值，记作updates，对应索引为index，对应符号为sign；

(5)对sign进行编码，将-1转换为0，然后将sign按序排列视为二进制数，并转换为十六进制，压缩大小，得到编码后符号H-sign；

(6)计算updates的平均值，对updates进行中心化，归一化，执行以下操作：

updates_nor＝Normalize(updates)

data_min＝Min(updates)

data_max＝Max(updates)

updates_c＝updates_nor-mean

其中Min(·)，Max(·)分别为求最小值最大值操作；data_min，data_max分别为求得的最小值和最大值；Normalize(·)为归一化操作；updates_nor为updates归一化后结果；updatesc为中心化后结果，mean为updates均值；

(7)对中心化后更新值updates_c按下式进行数据拟合，拟合为多项式函数fit

fit＝ax³+bx²+cx¹+d

其中参数a，b，c，d为根据updates_c分布拟合的函数参数；

(8)使用LZMA2算法对需要上传的索引index进行压缩，得到压缩值L-index；

(9)打包mean、H-sign、L-index和fit作为本轮客户端训练更新值client-update，表示为client-update＝[mean、H-sign，L-index，fit]；

(10)压缩步骤结束，客户端完成权重更新值压缩，得到压缩后的更新值client-update。

进一步地，步骤5所述服务器接收客户端上传数据，并根据接收的数据重构本轮模型更新值，具体包括：

(1)服务器解包每个客户端上传的数据，拆分还原为更新值的平均值mean，编码后更新值符号H-sign，压缩后更新值在原始更新张量中的索引L-index，更新值拟合函数fit；

(2)服务器使用LZMA2解压算法解压L-index，得到索引index；

(3)展开H-sign，转换为二进制表示，使用-1替换0值，恢复原始符号数据sign；

(4)根据拟合函数fit、均值mean和索引index数量生成更新值：

y＝fit(x)*mean+mean

其中x表示恢复更新值的位置，x的原始位置索引为index[x]，y为恢复的值；

恢复每一个更新值，组合为更新值序列value；

(5)按下式恢复更新值符号，得到带符号的更新值序列update

update＝value⊙sign

其中⊙表示序列数据对应相乘；

(6)创建一个值为0形状和全局模型参数W_global相同的临时权重W_temp，将W_temp转换为一维数据W1_temp，根据更新值的索引index将update值填入W1_temp，如下式所示

W1_temp.index_put(update，index)

其中index_put(update，index)表示将值update填入index，即使W1_temp[index]＝update；

(7)将W1_temp形状还原为W_temp，W_temp为客户端上传的权重更新；

(8)将所有客户端上传的值按步骤(1)-(7)还原权重更新，计算所有客户端的权重更新值的平均值，得到本轮训练全局模型的更新值服务器聚合客户端更新步骤结束。

进一步地，步骤6所述服务器根据本轮模型更新值更新全局模型，具体包括：

服务器根据本轮训练全局模型更新值更新全局模型参数W_global，执行下式：

进一步地，步骤7所述服务器对本轮模型更新值进行压缩，具体包括：

服务器本轮训练全局模型更新值执行步骤3的压缩方法，生成下传数据server-update。

进一步地，步骤8所述重构更新本地权重，具体包括：

客户端根据步骤5中重构本轮模型更新值的方法，进行权重更新值重构。

本发明一种基于权重压缩的高效联邦学习系统，包括服务器、N个客户端，N＞1；所述服务器、客户端能实现权利要求书中所述的基于权重压缩的高效联邦学习方法中服务器、客户端需要实现的步骤。

下面结合说明书附图和实施例对本发明予以进一步说明，但不限于此。

实施例1

一种基于权重压缩的高效联邦学习训练方法及系统，用于分布式机器学习场景，其系统结构概览如附图1所示。该系统包含N个模型训练参与者和一个中央服务器，每个参与者与中央服务器之间拥有可靠通信信道，用于上传更新和下载聚合后更新。每个参与者拥有各自的本地数据集，本地模型训练使用本地数据集进行模型训练。

在本实施例中，本地模型网络属于卷积神经网络(Convolutional NeuralNetworks，CNN)，本实施例中网络架构为两层卷积层(卷积核尺寸为5)、两层全连接层和三层ReLU激活层，当前网络设置中模型参数大小约为88KB。设置参与模型训练的参与者数量为100(N＝100)，每次参与全局更新聚合数量为10(10％*N)。设置本地模型训练轮次为5，即本地训练五轮后进行全局权重更新。分别设置数据分布为独立同分布(iid)和非独立同分布(non-iid)模型。本发明的训练流程如下：

步骤1客户端下载当前服务器保存的全局模型参数W_global，使用当前全局模型参数初始化本地模型参数W_local。

步骤2本地训练开始前的本地模型权重为W_local，使用该权重在本地数据集上进行训练，得到新的本地模型权重W′_local。

步骤3每个客户端在完成本轮本地模型训练后执行权重压缩方案。本发明的压缩方案针对需要上传的权重进行压缩，压缩技术步骤如下：

a.计算本地模型的权重更新值W_c，计算方式如式(1)所示。

W_c＝W′_local-W_local (1)

b.为了上传的权重更新能够准确的表示模型的更新状态，首先对更新权重值执行式(2)，abs(·)操作对更新权重值执行取绝对值操作。并通过等式(3)计算保存W_c的所有值正负情况W_sign，即将所有大于0的值变为1，所有小于0的值变为-1。

W_{c_abs}＝abs(W_c) (2)

c.将绝对值化后的权重更新值W_{c_abs}按模型架构层次分解为各层，表示为式(4)

d.对当前训练网络架构的每一层执行相同的操作。例如当前操作层为layer_i，为了表达方便，使用Wⁱ替换表示网络第i层的绝对值化后的权重更新值。执行以下操作

Wfⁱ＝Flatten(Wⁱ) (5)

Wsⁱ，indexs＝Sort(Wfⁱ) (6)

其中Flatten(·)运算是张量维度转换操作，该运算将·转换为一维张量，Wfⁱ是将Wⁱ转换为一维张量的结果。在本实施例中，假设当前操作层为网络的第一全连接层，该层为50*320的张量，Flatten(·)将该层转换为16000*1的张量。Sort(·)是张量排序操作，该操作返回排序后输入数据(从大到小)以及排序后数据在原始数据中的索引，Wsⁱ，indexs分别表示排序后的Wfⁱ和排序操作的变化索引。上述参数满足

Wsⁱ[p]＝Wfⁱ[indexs[p]] (7)

其中[·]操作是取第·位的值(例如Wsⁱ[p]指Wsⁱ中的第p位的值)。

e.计算更新阈值，设置最大值的30％作为客户端权重更新的更新阈值T，为消除偶然因素，这里的最大值通过计算Wsⁱ的最大五个数的平均值得到。将所有Wsⁱ中大于T的值作为本轮更新的更新值，记作updates，对应索引为index，对应符号为sign。

f.对sign进行编码，将-1转换为0，然后将sign按序排列视为二进制数，将其转换为十六进制，压缩大小，得到编码后符号H-sign。在本实施例中，第一全连接层的更新值中仅符号大小约为7.97KB，进行编码后大小压缩为约0.68KB，符号的压缩倍率约为12倍。

g.计算updates的平均值，对updates进行中心化，归一化，执行以下操作。

updates_nor＝Normalize(updates)(8)

data_min＝Min(updates) (10)

data_max＝Max(updates) (11)

updates_c＝updates_nor-mean (12)

其中Min(·)，Max(·)分别为求最小值最大值操作，式(10)(11)中data_min，data_max分别为求得的最小值和最大值，Normalize(·)为归一化操作，具体实现如式(9)所示，(8)式中updates_nor为updates归一化后结果，updates_c为中心化后结果，mean为updates均值。

h.对中心化后更新值updates_c按(13)进行数据拟合，拟合为多项式函数fit

fit＝ax³+bx²+cx¹+d (13)

其中参数a，b，c，d为根据updates_c分布拟合的函数参数。

i.使用LZMA2算法对需要上传的索引index进行压缩，得到压缩值L-index。本实施例中，使用LZMA2算法对索引值压缩前大小约为14.8KB，压缩后大小约为3KB，压缩倍率约为5倍

j.打包mean、H-sign、L-index和fit作为本轮客户端训练更新值client-update，表示为client-update＝[mean、H-sign，L-index，fit]。

k.压缩步骤结束，客户端完成权重更新压缩，得到压缩后的更新值client-update。本实施例中，如不采用本发明方法，客户端上传通信量需要约880KB，而采用本方法后上传数据量约为32KB，总体通信量减少约为32.5倍，效果明显。

步骤4所有训练参与客户端完成本轮权重更新压缩后，将更新上传到服务器。

步骤5服务器接收每个客户端上传的更新，执行更新聚合。本发明中对客户端更新聚合具体操作步骤如下：

a.服务器解包每个客户端上传的更新值，将其拆分还原为更新值的平均值mean，编码后更新值符号H-sign，压缩后更新值在原始更新张量中的索引L-index，更新值拟合函数fit。

b.服务器使用LZMA2解压算法解压L-index，得到索引index。

c.展开H-sign，转换为二进制表示，使用-1替换0值，恢复原始符号数据sign。

d.根据拟合函数fit、均值mean和索引index数量生成更新值。

y＝fit(x)*mean+mean(14)

其中x表示恢复更新值的位置，其原始位置索引为index[x]，y为恢复的值。按式(14)恢复每一个更新值，组合为更新值序列value。

e.按式(15)恢复更新值符号，得到带符号的更新值序列update

update＝value⊙sign (15)

其中⊙表示序列数据对应相乘。

f.创建一个值为0形状和全局模型参数W_global相同的临时权重W_temp，将W_temp转换为一维数据W1_temp，根据更新值的索引index将update值填入W1_temp，如式(16)所示W1_temp.index_put(update，index) (16)

其中index_put(a，b)表示将值a填入b，即使W1_temp[index]＝update。

g.将W1_temp形状还原为W_temp，W_temp为客户端上传的权重更新。

h.将所有客户端上传的值按a-g步骤还原权重更新，计算所有客户端的权重更新值的平均值，得到本轮训练全局模型的更新倍服务器聚合客户端更新步骤结束。

步骤6服务器更新全局模型参数W_global。

步骤7服务器对执行步骤3中权重压缩方法，得到压缩聚合更新server-update。

步骤8客户端下载服务器压缩聚合更新server-update，按步骤5中a-g恢复更新值，得到服务器聚合更新

步骤9客户端更新本地模型参数W_local。

步骤10重复步骤2-9直到模型收敛。

以上为本发明在本实施例中的执行流程，本实施例使用的数据集为MNIST手写数据集进行模型训练，MNIST是包含60000张手写数字(0-9)28*28尺寸的单通道图像数据集。设置全局模型训练轮次Epoch为20，参与模型训练的参与者共100，每轮选择10％的参与者参与模型更新，每轮全局模型训练本地训练5轮，本地梯度更新方式为随机梯度下降(SGD)。为对比模型训练效果，设置使用联邦平均算法的模型作为对比实验，联邦平均算法是现在训练精度最高的训练方法。本实施例中分别在独立同分布和非独立同分布数据集在进行模型训练，训练结果如图2和图3所示。图2表示本实施例的模型训练准确率，图3表示模型训练过程的损失值。由图2、3，可以看出本发明在本实施例中效果良好，准确率和收敛速度和联邦平均算法不相上下，同时实现了超过30倍的通信量压缩，本发明在实施例1中的压缩效果如图8中实施例1柱状图所示。

实施例2

本实施例中模型和模型超参数设置和实施例1相同，使用FMNIST(Fashion MNSIT)数据集进行模型训练，Fashion MNIST是一个替代MNIST手写数字集的图像数据集。它克隆了MNIST的所有外在特征，包含60000张人类服装的28*28尺寸的单通道图像，共分为10类，包含T恤、裤子、套头衫等等。本实施例的实施步骤和实施例1相同。为对比模型训练效果，设置使用联邦平均算法的模型作为对比实验。本实施例中分别在独立同分布和非独立同分布数据集在进行模型训练，训练结果如图4和图5所示。图4表示本实施例的模型训练准确率，图5表示模型训练过程的损失值。由图4、5，本发明在不同的数据集上获得了类似的实验结果，准确率和收敛速度均接近于联邦平均方法，本发明在实施例2中的压缩效果如图8中实施例2柱状图所示。

实施例3

本实施例使用ResNet50(网络深度为50的残差网络，总参数量约为2.5千万，大小约为90MB)模型，使用CIFAR数据集进行模型训练，CIFAR数据集共有60000张彩色图像，这些图像是3*32*32，分为10个类，每类6000张图，全局模型训练轮次Epoch为50。本实施例的实施步骤和实施例1相同，为对比模型训练效果，使用联邦平均算法的模型的训练结果作为对比，训练结果如图6和图7所示。图6表示本实施例的模型训练准确率，图7表示模型训练过程的损失值。由图6、7，本发明在大型神经网络下，前期训练模型收敛速度略低于联邦平均算法，但随着训练轮次增加，准确率很快接近于联邦平均，在训练损失上和联邦平均训练过程类似，本发明在实施例3中的压缩效果如图8中实施例3柱状图所示。

Claims (6)

1.一种基于权重压缩的高效联邦学习方法，其特征在于，应用于客户端与服务器的模型训练，包括：

步骤1、客户端使用当前全局模型参数初始化本地模型；

步骤2、所有客户端根据本地模型权重进行本地训练，并计算模型权重更新值；

步骤3、所有客户端对模型权重更新值进行压缩，生成待上传数据；

步骤4、所有客户端将待上传数据上传到服务器；

步骤5、服务器接收客户端上传数据，并根据接收的数据重构本轮模型更新值；

步骤6、服务器根据本轮模型更新值更新全局模型；

步骤7、服务器对本轮模型更新值进行压缩，生成下传数据；

步骤8、所有客户端下载下传数据，更新本地模型；

步骤2所述计算模型权重更新值，具体包括：

所有客户端在训练开始时保存本地模型权重W_local；

客户端在完成本地训练后用新的本地模型权重W′_local减去未训练的本地模型权重W_local，得到本地模型权重更新值W_change，如下式所示：

W_change＝W′_local-W_local

步骤3所述所有客户端对模型权重更新值进行权重压缩，具体包括：

(3.1)按原始分布保存权重更新值的正负号W_sign，权重更新值取绝对值W_{c_abs}；

(3.2)将绝对值化后的权重更新值W_{c_abs}按模型架构层次分解为各层，表示下式

其中layer_i表示模型网络中的第i层；

(3.3)对当前训练网络架构的每一层执行相同的操作，当前操作层为layer_i，使用Wⁱ替换表示网络第i层的绝对值化后的权重更新值，执行以下操作

Wfⁱ＝Flatten(Wⁱ)

Wsⁱ，indexs＝Sort(Wfⁱ)

其中Flatten(·)运算是张量维度转换操作，该运算将括号内对象转换为一维张量；Wfⁱ是将Wⁱ转换为一维张量的结果；Sort(·)是张量排序操作，该操作返回从大到小排序后输入数据以及排序后数据在原始数据中的索引，Wsⁱ，indexs分别表示排序后的Wfⁱ和排序操作的变化索引，上述参数满足

Wsⁱ[p]＝Wfⁱ[indexs[p]

其中[·]操作是取第·位的值，Wsi[p]指Wsⁱ中的第p位的值；

(3.4)计算更新阈值，设置最大值的30％作为客户端权重更新的更新阈值T，为消除偶然因素，这里的最大值通过计算Wsⁱ的最大五个数的平均值得到；将所有Wsⁱ中大于T的值作为本轮更新的更新值，记作updates，对应索引为index，对应符号为sign；

(3.5)对sign进行编码，将-1转换为0，然后将sign按序排列视为二进制数，并转换为十六进制，压缩大小，得到编码后符号H-sign；

(3.6)计算updates的平均值，对updates进行中心化，归一化，执行以下操作：

updates_nor＝Normalize(updates)

data_min＝Min(updates)

data_max＝Max(updates)

updates_c＝updates_nor-mean

其中Min(·)，Max(·)分别为求最小值最大值操作；data_min，data_max分别为求得的最小值和最大值；Normalize(·)为归一化操作；updates_nor为updates归一化后结果；updates_c为中心化后结果，mean为updates均值；

(3.7)对中心化后更新值updates_c按下式进行数据拟合，拟合为多项式函数fit

fit＝ax³+bx²+cx¹+d

其中参数a，b，c，d为根据updates_c分布拟合的函数参数；

(3.8)使用LZMA2算法对需要上传的索引index进行压缩，得到压缩值L-index；

(3.9)打包mean、H-sign、L-index和fit作为本轮客户端训练更新值client-update，表示为client-update＝[mean、H-sign，L-index，fit]；

(3.10)压缩步骤结束，客户端完成权重更新值压缩，得到压缩后的更新值client-update。

2.根据权利要求1所述的基于权重压缩的高效联邦学习方法，其特征在于，步骤5所述服务器接收客户端上传数据，并根据接收的数据重构本轮模型更新值，具体包括：

(5.1)服务器解包每个客户端上传的数据，拆分还原为更新值的平均值mean，编码后更新值符号H-sign，压缩后更新值在原始更新张量中的索引L-index，更新值拟合函数fit；

(5.2)服务器使用LZMA2解压算法解压L-index，得到索引index；

(5.3)展开H-sign，转换为二进制表示，使用-1替换0值，恢复原始符号数据sign；

(5.4)根据拟合函数fit、均值mean和索引index数量生成更新值：

y＝fit(x)*mean+mean

其中x表示恢复更新值的位置，x的原始位置索引为index[x]，y为恢复的值；

恢复每一个更新值，组合为更新值序列value；

(5.5)按下式恢复更新值符号，得到带符号的更新值序列update

update＝value⊙sign

其中⊙表示序列数据对应相乘；

(5.6)创建一个值为0形状和全局模型参数W_global相同的临时权重W_temp，将W_temp转换为一维数据W1_temp，根据更新值的索引index将update值填入W1_temp，如下式所示

W1_temp.index_put(update，index)

其中index_put(update，index)表示将值update填入index，即使W1_temp[index]＝update；

(5.7)将W1_temp形状还原为W_temp，W_temp为客户端上传的权重更新；

(5.8)将所有客户端上传的值按步骤(5.1)-(5.7)还原权重更新，计算所有客户端的权重更新值的平均值，得到本轮训练全局模型的更新值服务器聚合客户端更新步骤结束。

3.根据权利要求2所述的基于权重压缩的高效联邦学习方法，其特征在于，步骤6所述服务器根据本轮模型更新值更新全局模型，具体包括：

服务器根据本轮训练全局模型更新值更新全局模型参数W_global，执行下式：

4.根据权利要求2所述的基于权重压缩的高效联邦学习方法，其特征在于，步骤7所述服务器对本轮模型更新值进行压缩，具体包括：

服务器本轮训练全局模型更新值执行步骤3的压缩方法，生成下传数据server-update。

5.根据权利要求1所述的基于权重压缩的高效联邦学习方法，其特征在于，步骤8所述重构更新本地权重，具体包括：

客户端根据步骤5中重构本轮模型更新值的方法，进行权重更新值重构。

6.一种基于权重压缩的高效联邦学习系统，其特征在于，包括服务器、N个客户端，N＞1；所述服务器、客户端能实现权利要求1～5任一项所述基于权重压缩的高效联邦学习方法中服务器、客户端需要实现的步骤。