CN114827289A - 一种通信压缩方法、系统、电子装置和存储介质 - Google Patents

Abstract

本申请公开了一种通信压缩方法、系统、电子装置和存储介质，通信压缩方法包括：在将预先训练好的客户端梯度进行压缩、编码，并发送至服务器端后，接收服务器端下发的全局梯度；使用预先计算的补偿梯度对全局梯度进行补偿；使用补偿后的全局梯度对训练好的模型进行更新和训练，得到新的客户端梯度；使用压缩算法对新的客户端梯度进行压缩、编码，并发送至服务器端；本申请的通信压缩方法，能够提高数据压缩率，并且通过引入补偿机制，能够降低梯度的损失，从而降低数据压缩对准确率的影响。

Description

一种通信压缩方法、系统、电子装置和存储介质

技术领域

本发明涉及通信技术领域，尤其涉及一种通信压缩方法、系统、电子装置和存储介质。

背景技术

随着互联网的发展，海量的移动设备接入了网络，这些设备在使用的过程中产生了海量的数据，这给人工智能带来了良好的发展前景。但也带了难题。随着数据量的增长，服务器资源愈发紧张。再加上国家法律对于个人隐私数据的保护，企业不能直接获取用户移动的设备的数据。

2016年出现了联邦式学习的概念，联邦学习将模型训练的环节转移到多个用户端，用户端使用自身的数据进行模型训练，再将训练好的模型或者梯度上传至服务器端，服务器端不需要训练模型，只需要将用户端上传的模型或者梯度进行聚合，再下发给用户端。

但用户小型设备的带宽限制，使得通信成为联邦学习推荐系统的瓶颈，虽然已有联邦平均算法、三值量化算法、三值化稀疏算法等来解决联邦算法的瓶颈，但还是具有数据压缩率较低，以及数据压缩对准确率影响较大的问题。

发明内容

本发明的主要目的在于提供一种通信压缩方法、系统、电子装置和存储介质，用于解决基于联邦式算法的现有技术具有数据压缩率较低，以及数据压缩对准确率影响较大的问题。

为实现上述目的，本发明第一方面提供一种通信压缩方法，应用于客户端，包括：在将预先训练好的客户端梯度进行压缩、编码，并发送至服务器端后，接收所述服务器端下发的全局梯度；使用预先计算的补偿梯度对所述全局梯度进行补偿；使用补偿后的所述全局梯度对训练好的模型进行更新和训练，得到新的客户端梯度；使用压缩算法对所述新的客户端梯度进行压缩、编码，并发送至所述服务器端。

进一步地，在所述接收所述服务器端下发的全局梯度后，使用所述全局梯度对所述补偿梯度进行更新。

进一步地，对所述客户端梯度进行压缩的方法包括：对所述客户端梯度进行稀疏化处理；将稀疏化后的所述客户端梯度进行量化处理，分别计算正、负梯度权值平均值，并将所述权值平均值按照符号置为正、负平均值。

进一步地，所述客户端梯度包括权值及对应的位置信息；所述权值的表示方法包括：使用所述正、负平均值表示权值，并使用1比特位表示所述权值为正平均值，使用0比特位表示所述权值为负平均值。

进一步地，所述客户端梯度的编码方法包括：使用所述权值对应的位置和所述位置的前一位置的差值作为位置信息，并使用哥伦布编码对所述位置信息进行编码。

进一步地，所述补偿梯度具有一个补偿系数；所述补偿系数由预先构建的补偿函数生成。

本发明第二方面提供一种通信压缩方法，应用于服务器，包括：随机选择一部分客户端，并接收客户端发送的客户端梯度；将所有的所述客户端梯度解码后进行平均聚合，得到全局梯度；使用压缩算法对所述全局梯度进行压缩；将压缩后的所述全局梯度进行编码，并发送至全部客户端；若需要新一轮的训练，则重复上述步骤。

本发明第三方面提供一种通信压缩系统，应用于客户端，包括：传输模块，用于在将预先训练好的客户端梯度进行压缩、编码，并发送至服务器端后，接收所述服务器端下发的全局梯度；补偿模块，用于使用预先计算的补偿梯度对所述全局梯度进行补偿；训练模块，用于使用补偿后的所述全局梯度对训练好的模型进行更新和训练，得到新的客户端梯度；压缩编码模块，使用压缩算法对所述新的客户端梯度进行压缩、编码，并使用所述传输模块将所述客户端梯度发送至所述服务器端。

本发明第四方面提供一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述中的任意一项所述通信压缩方法。

本发明第五方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，，实现上述中的任意一项所述通信压缩方法。

本发明提供一种通信压缩方法、系统、电子装置和存储介质，能够提高数据压缩率，并且通过引入补偿机制，能够降低梯度的损失，从而降低数据压缩对准确率的影响。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例通信压缩方法的流程图；

图2为本发明另一实施例通信压缩方法的流程图；

图3为本发明实施例通信压缩系统的框架图；

图4为本发明实施电子装置的结构框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

发明人研究发现，受到用户小型设备的带宽限制，使得通信成为联邦学习推荐系统的瓶颈，虽然目前已有联邦平均算法、三值量化算法、三值化稀疏算法等来解决联邦算法的瓶颈，但还是具有数据压缩率较低，以及数据压缩对准确率影响较大的问题。

其中，联邦平均算法采用客户端进行多次训练，再与服务器端通信的方法，通过减少了客户端与服务器端的通信次数，达到减少通信量的目标。联邦平均算法在独立同分布数据中表现良好，但在数据不平衡或者异构时表现一般。联邦学习算法压缩倍率不高，可以和其他算法结合实现更高的压缩率。由于很多算法在基础上都使用了联邦平均算法的思路，即在联邦平均算法的基础上进行改进，因此很多算法在比较性能时，都将联邦平均算法看作基线算法。

三值量化算法是量化压缩算法中性能较为优异的算法。与其他量化算法不同的是，Tengrad算法通过概率稀疏化和2比特量化的方法，将待发送的梯度进行压缩。虽然Tengrad算法采用稀疏化，但并没有增加通信压缩倍率，压缩倍率为16。理论上单独的量化算法只能达到32的压缩倍率。

三值化稀疏化算法将量化和稀疏化方法结合起来，在联邦通信系统压缩算法中表现优秀。将待发送的梯度进行Top-K稀疏化后，在将稀疏化的梯度进行三值量化。STC算法得到了一个很高的压缩倍率，并且在数据不平衡或者异构时也能表现良好。但由于量化和稀疏化都是有损压缩，会导致模型最后的准确率受到影响。

因此，如何提升数据压缩率，以及降低数据压缩对准确率影响是目前联邦通信系统中重点研究的一个方向。

本申请实施例提供一种通信压缩方法、系统、电子装置和存储介质，能够解决基于联邦式算法的现有技术具有数据压缩率较低，以及数据压缩对准确率影响较大的问题。

请参阅图1，为本申请实施例提供的一种通信压缩方法，包括：

S101、在将预先训练好的客户端梯度进行压缩、编码，并发送至服务器端后，接收服务器端下发的全局梯度；

S102、使用预先计算的补偿梯度对全局梯度进行补偿；

S103、使用补偿后的全局梯度对训练好的模型进行更新和训练，得到新的客户端梯度；

S104、使用压缩算法对新的客户端梯度进行压缩、编码，并发送至服务器端。

本实施例提供的通信压缩方法，应用于客户端，通过使用补偿梯度对全局梯度进行补偿，引入了补偿机制，能够降低梯度的损失，从而降低数据压缩对准确率的影响，提高数据压缩率。

其中，在步骤S101中，客户端梯度是客户端使用自身的数据进行模型训练，再将训练好的模型或者梯度上传至服务器端，这样服务器端就不需要训练模型，只需要将用户端上传的模型或者梯度进行聚合，再下发给用户端。

在步骤S102中，在客户端的模型训练过程中，由于对梯度进行了有损压缩，使得最后的模型准确率受到了一定的损失。而在模型训练过程中维持一个补偿梯度，在使用梯度更新模型时，对有损压缩的梯度进行补偿，就能降低梯度的损失，减少压缩对模型准确率的影响。

在步骤S104中，在每一次客户端和服务器的通信时，均对客户端梯度进行压缩量化，从而减少了服务器与客户端之间的通信量，提高数据压缩率。

在一个实施例中，上述实施例提供的通信压缩方法，还包括：S105在接收服务器端下发的全局梯度后，使用全局梯度对补偿梯度进行更新。

在本实施例中，补偿梯度具有一个补偿系数；补偿系数由预先构建的补偿函数生成。

在进行模型训练时，考虑到模型应当是平稳地趋于收敛，所以假设在通信次数相差不大的时候，梯度的方向不会发生太大的改变。因此就能够在每个客户端维持一个补偿梯度。当客户端收服务器端发送的全局梯度，使用补偿梯度对全局梯度进行补偿，再用全局梯度来更新补偿梯度。客户端使用补偿后的全局梯度进行模型更新。由于补偿梯度是由服务器端发送的全局梯度来更新，更新的算法也一致，就保证了每个客户端上的模型是一致的。考虑到模型的收敛问题，引入一个补偿函数来生成补偿系数，随着模型的训练，补偿系数会随之降低。

在上述实施例中，步骤S101中的对客户端梯度进行压缩的方法，与步骤S104中对新的客户端梯度进行压缩的方法相同，这里使用其中一个压缩方法进行说明，在一个实施例中，步骤S101中的对客户端梯度进行压缩的方法包括：

S1011、对客户端梯度进行稀疏化处理；

S1012、将稀疏化后的客户端梯度进行量化处理，分别计算正、负梯度权值平均值，并将权值平均值按照符号置为正、负平均值。

在步骤S1011中，稀疏化处理是topK稀疏化，即选择适当的阈值p，按照梯度权值的绝对值进行查找，将绝对值低于阈值的权值舍弃。通过舍弃一些权值，能够使得需要压缩的数据总量减少，从而提高了数据压缩率。

在一个实施例中，上述实施例中提到的客户端梯度包括权值及对应的位置信息。

权值的表示方法包括：

使用正、负平均值表示权值，并使用1比特位表示权值为正平均值，使用0比特位表示权值为负平均值。

在本实施例中，正、负平均值已经在步骤S1012中得到，因此直接使用即能够代表权值，在比特位中，0和1表示各不相同，因此本方案刻意使用1表示正值，0表示负值。

在上述实施例中，步骤S101中的对客户端梯度进行编码的方法，与步骤S104中对新的客户端梯度进行编码的方法相同，这里使用其中一个编码方法进行说明，在一个实施例中，步骤S101中的客户端梯度的编码方法包括：使用权值对应的位置和位置的前一位置的差值作为位置信息，并使用哥伦布编码对位置信息进行编码。

在本实施例中，位置信息是一个递增的非负整数序列，为了较少通信量，我们传输位置与前一个位置的差值。由于位置与前一个位置差值为正数，所以我们使用哥伦布编码对其进行编码。

请参阅图2，为本申请实施例提供的一种通信压缩方法，包括：

S201、随机选择一部分客户端，并接收客户端发送的客户端梯度；

S202、将所有的客户端梯度解码后进行平均聚合，得到全局梯度；

S203、使用压缩算法对全局梯度进行压缩；

S204、将压缩后的全局梯度进行编码，并发送至全部客户端；

在本实施例中，若需要新一轮的训练，则重复步骤S201-S204即可。

并且本实施例提供的一种通信压缩方法，应用于服务器，由于客户端使用自身的数据进行模型训练，再将训练好的模型或者梯度上传至服务器端，这样服务器端就不需要训练模型，只需要将用户端上传的模型或者梯度进行聚合，再下发给用户端。

其中，步骤S203中的对全局梯度的压缩方法，与步骤S101中对客户端梯度的压缩方法相同，并且步骤S204中的对全局梯度编码的方法，与步骤S101中对客户端梯度编码的方法相同，详情可参阅上述实施例，在本实施例中不再赘述。

在本实施例中，为了验证上述实施例中的通信压缩方法，使用CIFAR10和Fashion-mnist数据集对ALL_CNN模型进行训练，训练过程中使用不同的通信算法，对结果进行比较。BaseLine算法是联邦平均算法，没有对通信量进行压缩。Tengrad算法使用的是量化的方法。STC算法使用的是压缩量化的方法。DGCC是本申请中的通信压缩方法，结果如下：

实验一：

实验二：

实验三：

通过实验结果可以看到，本发明的DGCC算法在准确率和通信压缩率有优于baseLine算法。Tengrad算法在准确率上表现最好，但其压缩率都不高，上行压缩倍率为16，下行压缩倍率更是只有6.83，而DGCC算法在上行和下行压缩倍率上达到了340倍以上。STC算法的压缩倍率与DGCC的相差不大，这是因为STC和DGCC采取了相同的稀疏化算法和相似的量化算法。但STC的准确率比BaseLine算法低，而DGCC却能在达到相似的压缩倍率时，准确率比BaseLine算法要高。因此综合考虑准确率和压缩率，本发明的DGCC算法表现最优。

请参阅图3，本申请实施例还提供一种通信压缩系统，应用于客户端，其包括：传输模块1、补偿模块2、训练模块3和压缩编码模块4；传输模块1用于在将预先训练好的客户端梯度进行压缩、编码，并发送至服务器端后，接收服务器端下发的全局梯度；补偿模块2用于使用预先计算的补偿梯度对全局梯度进行补偿；训练模块3用于使用补偿后的全局梯度对训练好的模型进行更新和训练，得到新的客户端梯度；压缩编码模块4使用压缩算法对新的客户端梯度进行压缩、编码，并使用传输模块1将客户端梯度发送至服务器端。

本实施例提供的通信压缩系统，通过使用补偿梯度对全局梯度进行补偿，引入了补偿机制，能够降低梯度的损失，从而降低数据压缩对准确率的影响，提高数据压缩率。

在一个实施例中，通信压缩系统还包括：补偿梯度更新模块，用于在传输模块1接收服务器端下发的全局梯度后，使用全局梯度对补偿梯度进行更新。

在一个实施例中，压缩编码模块4包括：稀疏化单元和量化单元，稀疏化单元用于对客户端梯度进行稀疏化处理；量化单元用于将稀疏化后的客户端梯度进行量化处理，分别计算正、负梯度权值平均值，并将权值平均值按照符号置为正、负平均值。

在一个实施例中，客户端梯度包括权值及对应的位置信息；压缩编码模块4还包括：权值单元，用于使用量化单元计算的正、负平均值表示权值，并使用1比特位表示权值为正平均值，使用0比特位表示权值为负平均值。

在一个实施例中，压缩编码模块4还包括：编码单元，用于使用权值对应的位置和位置的前一位置的差值作为位置信息，并使用哥伦布编码对位置信息进行编码。

在上述实施例中，补偿梯度具有一个补偿系数；补偿系数由预先构建的补偿函数生成。

本申请实施例还提供一种通信压缩系统，应用于服务器，包括：梯度接收模块、聚合模块、压缩模块、编码模块；梯度接收模块用于随机选择一部分客户端，并接收客户端发送的客户端梯度；聚合模块用于将所有的客户端梯度解码后进行平均聚合，得到全局梯度；压缩模块用于使用压缩算法对全局梯度进行压缩；编码模块用于将压缩后的全局梯度进行编码，并发送至客户端。

在本实施例中，由于客户端使用自身的数据进行模型训练，再将训练好的模型或者梯度上传至服务器端，这样服务器端就不需要训练模型，只需要将用户端上传的模型或者梯度进行聚合，再下发给用户端。

其中，压缩模块中的对全局梯度的压缩方法，与上述实施例中对客户端梯度的压缩方法相同，并且编码模块中的对全局梯度编码的方法，与上述实施例中对客户端梯度编码的方法相同，详情可参阅上述实施例，在本实施例中不再赘述。

本申请实施例提供一种电子装置，请参阅图4，该电子装置包括：存储器601、处理器602及存储在存储器601上并可在处理器602上运行的计算机程序，处理器602执行该计算机程序时，实现前述中描述的通信压缩方法。

进一步的，该电子装置还包括：至少一个输入设备603以及至少一个输出设备604。

上述存储器601、处理器602、输入设备603以及输出设备604，通过总线605连接。

其中，输入设备603具体可为摄像头、触控面板、物理按键或者鼠标等等。输出设备604具体可为显示屏。

存储器601可以是高速随机存取记忆体(RAM，Random Access Memory)存储器，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器601用于存储一组可执行程序代码，处理器602与存储器601耦合。

进一步的，本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质可以是设置于上述各实施例中的电子装置中，该计算机可读存储介质可以是前述中的存储器601。该计算机可读存储介质上存储有计算机程序，该程序被处理器602执行时实现前述实施例中描述的通信压缩方法。

进一步的，该计算机可存储介质还可以是U盘、移动硬盘、只读存储器601(ROM，Read-Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

以上为对本发明所提供的一种通信压缩方法、系统、电子装置和存储介质的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种通信压缩方法，应用于客户端，其特征在于，包括：

在将预先训练好的客户端梯度进行压缩、编码，并发送至服务器端后，接收所述服务器端下发的全局梯度；

使用预先计算的补偿梯度对所述全局梯度进行补偿；

使用补偿后的所述全局梯度对训练好的模型进行更新和训练，得到新的客户端梯度；

使用压缩算法对所述新的客户端梯度进行压缩、编码，并发送至所述服务器端。

2.根据权利要求1所述的通信压缩方法，其特征在于，还包括：

在所述接收所述服务器端下发的全局梯度后，使用所述全局梯度对所述补偿梯度进行更新。

3.根据权利要求1所述的通信压缩方法，其特征在于，

对所述客户端梯度进行压缩的方法包括：

对所述客户端梯度进行稀疏化处理；

将稀疏化后的所述客户端梯度进行量化处理，分别计算正、负梯度权值平均值，并将所述权值平均值按照符号置为正、负平均值。

4.根据权利要求3所述的通信压缩方法，其特征在于，

所述客户端梯度包括权值及对应的位置信息；

所述权值的表示方法包括：

使用所述正、负平均值表示权值，并使用1比特位表示所述权值为正平均值，使用0比特位表示所述权值为负平均值。

5.根据权利要求4所述的通信压缩方法，其特征在于，

所述客户端梯度的编码方法包括：

使用所述权值对应的位置和所述位置的前一位置的差值作为位置信息，并使用哥伦布编码对所述位置信息进行编码。

6.根据权利要求1所述的通信压缩方法，其特征在于，

所述补偿梯度具有一个补偿系数；

所述补偿系数由预先构建的补偿函数生成。

7.一种通信压缩方法，应用于服务器，其特征在于，包括：

随机选择一部分客户端，并接收客户端发送的客户端梯度；

将所有的所述客户端梯度解码后进行平均聚合，得到全局梯度；

使用压缩算法对所述全局梯度进行压缩；

将压缩后的所述全局梯度进行编码，并发送至全部客户端；

若需要新一轮的训练，则重复上述步骤。

8.一种通信压缩系统，应用于客户端，其特征在于，包括：

传输模块，用于在将预先训练好的客户端梯度进行压缩、编码，并发送至服务器端后，接收所述服务器端下发的全局梯度；

补偿模块，用于使用预先计算的补偿梯度对所述全局梯度进行补偿；

训练模块，用于使用补偿后的所述全局梯度对训练好的模型进行更新和训练，得到新的客户端梯度；

压缩编码模块，使用压缩算法对所述新的客户端梯度进行压缩、编码，并使用所述传输模块将所述客户端梯度发送至所述服务器端。

9.一种电子装置，包括：存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现权利要求1至7中的任意一项所述方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至7中的任意一项所述方法。

Images