CN114301573A - 联邦学习模型参数传输方法及系统 - Google Patents

Abstract

本申请公开了一种联邦学习模型参数传输方法及系统，用以解决有噪信道下联邦学习模型参数传输精度低的技术问题。其中，一种联邦学习模型参数传输方法，包括以下步骤：获取模型参数；对所述模型参数中各参数进行量化，生成比特流；对所述比特流进行划分，生成若干比特子流；对所述若干比特子流进行信道编码，生成若干保护子流。通过对联邦学习训练过程中模型的传输环节进行细化，结合了多速率信道编码和分层调制，对不同位置的量化比特进行了不同程度的保护，有效提高了同等信噪比情况下模型收敛的速度和准确率。

Description

联邦学习模型参数传输方法及系统

技术领域

本申请涉及通信技术领域，尤其涉及一种联邦学习模型参数传输方法及系统。

背景技术

目前人工智能技术快速发展，这些人工智能技术以数据作为驱动。联邦学习模型是一种分布式学习框架。在联邦学习过程中，由中心服务器广播一个全局模型。之后用户端的模型在本地数据集上进行训练，并将训练更新过的模型参数回传给服务器。最后由服务器聚合，并反复执行这个过程直到模型收敛。

在实现现有技术的过程中，发明人发现：

现有针对联邦学习模型的研究中，只是将通信环节简单视为一个管道，或者认为通信信道是理想的。但在实际情况中，联邦学习模型的数据传输过程存在噪声干扰，从而导致中心服务器接收的训练模型参数不准确，或本地接收的更新模型参数不准确，使得联邦学习模型收敛较慢或者收敛精度下降。

因此，需要提供一种作用于联邦学习模型的数据传输方案，用以解决有噪信道下联邦学习模型参数传输精度低的技术问题。

发明内容

本申请实施例提供一种作用于联邦学习模型的数据传输方案，用以解决有噪信道下联邦学习模型参数传输精度低的技术问题。

具体的，一种作用于联邦学习模型参数传输方法，包括以下步骤：

获取模型参数；

对所述模型参数中各参数进行量化，生成比特流；

对所述比特流进行划分，生成若干比特子流；

对所述若干比特子流进行信道编码，生成若干保护子流。

进一步的，对所述比特流进行划分，生成若干比特子流，具体包括：

根据预设的重要性划分策略，对所述比特流的量化位宽进行划分，生成若干比特子流。

进一步的，所述联邦学习模型参数传输方法还包括以下步骤：

对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合；

根据预设的调制序列，依次将所述若干待调制集合中的比特填入调制层的预设位置；

根据所述若干待调制集合中的比特填入调制层的预设位置，确定对应调制层的调制符号；

当所述若干待调制集合中的比特均填入调制层时，确定由若干调制符号组成的调制符号序列。

进一步的，所述联邦学习模型参数传输方法还包括以下步骤：

根据所述调制符号序列，确定对应调制符号的分配功率；

根据对应调制符号的分配功率，传输若干调制符号。

进一步的，所述联邦学习模型参数传输方法还包括以下步骤：

传输所述预设的重要性划分策略，以便对所述若干比特子流进行组合，生成所述比特流。

本申请实施例还提供一种联邦学习模型参数传输系统。

具体的，一种联邦学习模型参数传输系统，包括：

获取模块，用于获取模型参数；

量化模块，用于对所述模型参数中各参数进行量化，生成比特流；

分流模块，用于对所述比特流进行划分，生成若干比特子流；

编码模块，用于对所述若干比特子流进行信道编码，生成若干保护子流。

进一步的，所述分流模块用于对所述比特流进行划分，生成若干比特子流，具体包括：

根据预设的重要性划分策略，对所述比特流的量化位宽进行划分，生成若干比特子流。

进一步的，所述联邦学习模型参数传输系统还包括：

调制模块，用于对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合；

还用于根据预设的调制序列，依次将所述若干待调制集合中的比特填入调制层的预设位置；

还用于根据所述若干待调制集合中的比特填入调制层的预设位置，确定对应调制层的调制符号；

还用于当所述若干待调制集合中的比特均填入调制层，确定由若干调制符号组成的调制符号序列。

进一步的，所述联邦学习模型参数传输系统还包括：

传输模块，用于根据所述调制符号序列，确定对应调制符号的分配功率；

还用于根据对应调制符号的分配功率，传输若干调制符号。

进一步的，所述传输模块还用于：

传输所述预设的重要性划分策略，以便对所述若干比特子流进行组合，生成所述比特流。

本申请实施例提供的技术方案，至少具有如下有益效果：

通过对联邦学习训练过程中模型的传输环节进行细化，结合了多速率信道编码和分层调制，对不同位置的量化比特进行了不同程度的保护，有效提高了同等信噪比情况下模型收敛的速度和准确率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种联邦学习模型参数传输方法的流程框图。

图2为本申请实施例提供的一种联邦学习模型参数传输系统的结构示意图。

图3为基于RCPC编码和HM调制的UEP通信系统原理框图。

图4为具有UEP特性的RCPC编码器的原理框图。

图5为具有UEP特性的16-HQAM分层调制的原理框图。

图6为基于RCPC编码的UEP和EEP训练过程的测试准确率和训练误差曲线对比。

图7为基于16-HQAM分层调制的UEP和EEP训练过程的测试准确率和训练误差曲线对比。

100 联邦学习模型参数传输系统

11 获取模块

12 量化模块

13 分流模块

14 编码模块

15 调制模块

16 传输模块

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1和图3，本申请提供一种联邦学习模型参数传输方法，包括以下步骤：

S110：获取模型参数。

应当指出的是，所述模型参数为联邦学习模型参数。所述联邦学习模型本质上是一种分布式学习框架。联邦学习模型的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。而本申请所述联邦学习模型参数可以是在用户端进行训练更新后的模型参数，也可以是在服务器端进行聚合更新后的模型参数。

S120：对所述模型参数中各参数进行量化，生成比特流。

应当指出的是，为了提高网络传输效率，本申请所述联邦学习模型参数传输方法通过将所述模型参数中各参数进行量化，生成比特流。以比特流的形式传输所述模型参数，从而减轻所述模型参数在传输过程中需要占用的计算资源和内存。所述量化就是将以往用32bit或者64bit表达的浮点数用1bit或者2bit等占用较少内存空间的形式进行表达。在对所述模型参数中各参数进行量化后，实际上经由无线信道传输的就是一个比特流序列。

具体的，假定共有N个参数，每个参数被量化为B比特，即每个参数用B个0或1的组合表示。将所述N个参数的量化比特按照顺序进行拼接，将得到长度为N×B的二进制数据流。其中，B表示所述比特流的量化位宽，并且N≥1，B≥1。所述量化位宽即二进制数据流中有效数字的位数。

S130：对所述比特流进行划分，生成若干比特子流。

可以理解的是，在所述模型参数中的各参数的重要程度不同。而在同等的发射功率下，优先传输重要程度更高的参数可以提高传输精度。为此，本申请所述联邦学习模型参数传输方法采用不等差错保护(Unequal Error Protection,UEP)的传输技术，对所述比特流进行划分，生成若干比特子流。所述不等差错保护的传输技术，可以理解为通过将发送数据划分为不同的重要级，以便施加不同程度的保护。所述不同程度的保护可以表现为通过添加不同数量的冗余比特作为保护信息，在完成传输后再根据所述保护信息对原数据进行恢复。或者所述不同程度的保护也可以表现为使用不同的发射功率传输不同重要级的划分数据。

进一步的，在本申请提供的一种具体实施方式中，对所述比特流进行划分，生成若干比特子流，具体包括：

根据预设的重要性划分策略，对所述比特流的量化位宽进行划分，生成若干比特子流。

所述预设的重要性划分策略可以理解为，从所述比特流量化位宽的角度，判断各参数的重要性程度。例如，在B＝6的情况下，即在所述量化位宽为6比特的情况下，可以将符号位及两个高位比特共三个比特划分为一个子流，该子流的重要性程度更高；将三个低位比特划分为另外一个子流，该子流重要性程度较低。在B＝7的情况下，即在所述量化位宽为7比特的情况下，可以将符号位及两个高位比特共三个比特划分为一个子流，该子流的重要性程度更高；将四个低位比特划分为另外一个子流，该子流重要性程度较低。

应当指出的是，所述预设的重要性划分策略在具体应用中可以有多种表现形态，上述举例只是用于提供对本申请的进一步理解，上述预设的重要性划分策略的具体形态显然不能构成对本申请保护范围的限制。

S140：对所述若干比特子流进行信道编码，生成若干保护子流。

可以理解的是，为避免所述联邦学习模型参数在实际传输过程中受到信道的非理想因素干扰，从而出现传输错误的情况，本申请所述联邦学习模型参数传输方法对所述若干比特子流进行信道编码，生成若干保护子流。所谓信道编码，也叫差错控制编码，就是在发送端对原数据添加冗余信息，这些冗余信息是和原数据相关的，再在接收端根据这种相关性来检测和纠正传输过程产生的差错，从而对抗传输过程的干扰。

在本申请提供的一种具体实施方式中，所述信道编码使用的是速率兼容删余卷积(Rate-Compatible Punctured Convolutional，RCPC)码，选用的编码器的约束长度为4，母码码率为1/3，生成多项式为g₀＝[1 1 0 1]，g₁＝[1 1 1 1]，g₂＝[1 0 1 1]打孔周期为8。该编码的基本实现原理如图4所示，在j时刻，输入1个信息比特，则输出X_1j，X_2j和X_3j共三个编码比特。其后可以级联不同的打孔图案，图中给出了所用的三种速率编码的打孔图案，其中1表示保留该位置的比特，0表示删除该位置的比特。打孔图案1在8个编码周期中最终会输出12个比特，因此码率为2/3。打孔图案2的码率为4/7，打孔图案3的码率为1/2。打孔图案1、打孔图案2、打孔图案3的保护能力依次提高。

之后将所述若干保护子流和所述预设的重要性划分策略从发送端传输至接收端。接收端可以对所述若干保护子流进行信道译码，得到若干比特子流。再根据所述预设的重要性划分策略，将所述若干比特子流恢复为所述比特流，将所述比特流转化为模型参数。进而使得接收端具有检测和纠正传输干扰的能力，提高了模型参数传输精度。

进一步的，为支持上述不同重要性程度的参数传输，本申请所述联邦学习模型参数传输方法还可以采用分层调制的方式进行传输。具体的，在本申请提供的一种具体实施方式中，所述联邦学习模型参数传输方法还包括以下步骤：

S150：对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合。

S160：根据预设的调制序列，依次将所述若干待调制集合中的比特填入调制层的预设位置。

S170：根据所述若干待调制集合中的比特填入调制层的预设位置，确定对应调制层的调制符号。

S180：当所述若干待调制集合中的比特均填入调制层时，确定由若干调制符号组成的调制符号序列。

可以理解的是，所述分层调制(Hierarchical modulation)是指在应用层将一个逻辑业务分成两个数据流，一个是高优先级的基本层，另一个是低优先级的增强层。在物理层，这两个数据流分别映射到信号星座图的不同层。由于基本层数据映射后的符号距离比增强层的符号距离大，因此，基本层的数据在信噪比较低的情况下也能被正确接收，而增强层只有在信噪比足够高的情况下才不会出现错误。但增强层传输的是重要性较低的比特，因此分层调制可以确保在低信噪比情况下有更好的整体性能。

进一步的，假定步骤S140中的保护子流个数为M，所述M个保护子流的长度比例为L₁:L₂:L₃:…:L_m，并且其中M≥1，L_m∈￥⁺,m＝1,2,…,M。假定步骤S150中所述预设数量的调制阶数为P阶，即每个调制符号对应P个比特，并且这P个比特按顺序由高到低被划分为G层，其中第g层的比特个数为Q_g，G≥1，g＝1,2,…,G。

则步骤S150：对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合，可以表示为从M个保护子流中按顺序依次拿出L₁,L₂,L₃,…,L_m个比特。将这样

个比特分为一个待调制集合。

再假定C是L和P的最小公倍数，则可以从比特流中取出Z＝C/L个所述待调制集合。

步骤S160、S170、S180可以理解为是进行分层调制。

具体的，假定共有Y＝C/P个调制符号，每个调制符号具有l个调制层。则可以将调制层数l初始化为1，按照m＝1到M的顺序，依次将所述Z个待调制集合中的Z×L_m个保护子流的比特数据，填入到第Y个调制符号的第l个调制层位置上。当所有调制符号的第l个调制层的位置都已填入，则将比特数据填入到第l+1个调制层位置上，以此类推，直到将比特数据填充完毕。之后可以根据填充完毕的调制层，确定由Y个调制符号组成的调制符号序列。

在本申请提供的一种优选实施方式中，所述联邦学习模型参数传输方法还包括以下步骤：

S190：根据所述调制符号序列，确定对应调制符号的分配功率；

S200：根据对应调制符号的分配功率，传输若干调制符号。

下面介绍本申请所述联邦学习模型参数传输方法采用分层调制的方式进行传输的具体实施例。

本申请所述联邦学习模型参数传输方法采用的分层调制基于正交振幅调制(Quadrature Amplitude Modulation,QAM)，可以是16-HQAM的方式或64-HQAM的方式。

在一种采用16-HQAM方案中，其实现原理如图5所示。该方案中，4个比特可以映射为1个符号，这里将其分为两组，第一组为重要性程度更高的比特(即符号位和高位)，称为HP比特；第二组为重要性程度较低的比特(即低位)，称为LP比特。

首先，第一层映射根据2个HP比特完成一个4-QAM调制，得到的星座点间距离为2d₁。第二层映射则在第一层得到星座点之上，再做依次4-QAM映射，从而扩展为一个16QAM星座图。

将这些星座点间的距离记为2d₂，定义距离比向量为

通过增大d₁、减小d₂，可以在保持发射功率不变的情况下，提高对HP比特的保护。

当然，在本申请提供的一种具体实施方式中，当接收端接收由发送端发射的所述若干保护子流后，可以采用软判决解调或者采用硬判决解调。

所述软判决解调可以理解为解调器将解调后的模拟信号直接接入到译码器来实现解码。所述硬判决解调可以理解为对解调器输出信号做比特量化，分量高于门限就认为输出为1，否则输出为0。

具体的，当接收端采用软判决解调，则不需对接收到的调制符号进行处理。当接收端采用硬判决解调，则对接收到的调制符号序列进行解调，得到解调后的若干保护子流。之后对所述若干保护子流进行对应编码速率的信道译码，得到生成若干比特子流。

为将所述若干比特子流恢复为比特流，在本申请提供的一种具体实施方式中，所述联邦学习模型参数传输方法还包括以下步骤：

传输所述预设的重要性划分策略，以便对所述若干比特子流进行组合，生成所述比特流。

具体的，接收端根据所述预设的重要性划分策略，将所述若干比特子流进行组合，恢复成所述比特流。之后接收端可以将所述比特流转化为模型参数。这样使得接收端具有检测和纠正传输干扰的能力，提高了模型参数传输精度。

本申请提供的所述联邦学习模型参数传输方法，通过对联邦学习训练过程中模型的传输环节进行细化，结合了多速率信道编码和分层调制，对不同位置的量化比特进行了不同程度的保护，有效提高了同等信噪比情况下模型收敛的速度和准确率。同时，所述联邦学习模型参数传输方法还对信道编码和调制之间进行速率匹配，使得所提的方案对于任意量化位宽、任意种速率信道编码和任意层调制都可适用，具备更强的通用性和应用价值。

请参照图2，为支持联邦学习模型参数传输方法，本申请还提供一种联邦学习模型参数传输装置100，包括：

获取模块11，用于获取模型参数；

量化模块12，用于对所述模型参数中各参数进行量化，生成比特流；

分流模块13，用于对所述比特流进行划分，生成若干比特子流；

编码模块14，用于对所述若干比特子流进行信道编码，生成若干保护子流。

应当指出的是，所述获取模块11获取的模型参数为联邦学习模型参数。所述联邦学习模型本质上是一种分布式学习框架。联邦学习模型的目标是在保证数据隐私安全及合法合规的基础上，实现共同建模，提升AI模型的效果。而本申请所述获取模块11获取的联邦学习模型参数可以是在用户端进行训练更新后的模型参数，也可以是在服务器端进行聚合更新后的模型参数。

为了提高网络传输效率，所述量化模块12对所述模型参数中各参数进行量化，生成比特流，以便所述联邦学习模型参数传输装置100采用比特流的形式传输所述模型参数，从而减轻所述模型参数在传输过程中需要占用的计算资源和内存。所述量化就是将以往用32bit或者64bit表达的浮点数用1bit或者2bit等占用较少内存空间的形式进行表达。在所述量化模块12对所述模型参数中各参数进行量化后，实际上经由无线信道传输的就是一个比特流序列。

具体的，假定共有N个参数，每个参数被量化为B比特，即每个参数用B个0或1的组合表示。所述量化模块12将所述N个参数的量化比特按照顺序进行拼接，将得到长度为N×B的二进制数据流。其中，B表示所述比特流的量化位宽，并且N≥1，B≥1。所述量化位宽即二进制数据流中有效数字的位数。

需要指出的是，在所述模型参数中的各参数的重要程度不同。而在同等的发射功率下，优先传输重要程度更高的参数可以提高传输精度。为此，本申请所述联邦学习模型参数传输装置100采用不等差错保护(Unequal Error Protection,UEP)的传输技术，通过所述分流模块13对所述比特流进行划分，生成若干比特子流。所述不等差错保护的传输技术，可以理解为通过将发送数据划分为不同的重要级，以便施加不同程度的保护。所述不同程度的保护可以表现为通过添加不同数量的冗余比特作为保护信息，在完成传输后再根据所述保护信息对原数据进行恢复的技术。或者所述不同程度的保护也可以表现为使用不同的发射功率传输不同重要级的划分数据。

进一步的，在本申请提供的一种具体实施方式中，所述分流模块13对所述比特流进行划分，生成若干比特子流，具体包括：

所述分流模块13根据预设的重要性划分策略，对所述比特流的量化位宽进行划分，生成若干比特子流。

所述预设的重要性划分策略可以理解为，所述分流模块13根据所述比特流量化位宽，判断各参数的重要性程度。例如，在B＝6的情况下，即在所述量化位宽为6比特的情况下，所述分流模块13可以将符号位及两个高位比特共三个比特划分为一个子流，该子流的重要性程度更高；所述分流模块13将三个低位比特划分为另外一个子流，该子流重要性程度较低。在B＝7的情况下，即在所述量化位宽为7比特的情况下，所述分流模块13可以将符号位及两个高位比特共三个比特划分为一个子流，该子流的重要性程度更高；所述分流模块13将四个低位比特划分为另外一个子流，该子流重要性程度较低。

应当指出的是，所述预设的重要性划分策略在具体应用中可以有多种表现形态，上述举例只是用于提供对本申请的进一步理解，上述预设的重要性划分策略的具体形态显然不能构成对本申请保护范围的限制。

为避免所述联邦学习模型参数在实际传输过程中受到信道的非理想因素干扰，从而出现传输错误的情况，本申请所述联邦学习模型参数传输装置100通过编码模块14对所述若干比特子流进行信道编码，生成若干保护子流。所谓信道编码，也叫差错控制编码，就是在发送端对原数据添加冗余信息，这些冗余信息是和原数据相关的，再在接收端根据这种相关性来检测和纠正传输过程产生的差错，从而对抗传输过程的干扰。

在本申请提供的一种具体实施方式中，所述编码模块14使用的是速率兼容删余卷积(Rate-Compatible Punctured Convolutional，RCPC)码，选用的编码器的约束长度为4，母码码率为1/3，生成多项式为g₀＝[1 1 0 1]，g₁＝[1 1 1 1]，g₂＝[1 0 1 1]打孔周期为8。所述编码模块14的编码原理如图4所示，在j时刻，输入1个信息比特，则输出X_1j，X_2j和X_3j共三个编码比特。其后可以级联不同的打孔图案，图中给出了所用的三种速率编码的打孔图案，其中1表示保留该位置的比特，0表示删除该位置的比特。打孔图案1在8个编码周期中最终会输出12个比特，因此码率为2/3。打孔图案2的码率为4/7，打孔图案3的码率为1/2。打孔图案1、打孔图案2、打孔图案3的保护能力依次提高。

之后所述编码模块14将所述若干保护子流和所述预设的重要性划分策略从发送端传输至接收端。接收端可以对所述若干保护子流进行信道译码，得到若干比特子流。再根据所述预设的重要性划分策略，将所述若干比特子流恢复为所述比特流，将所述比特流转化为模型参数。进而使得接收端具有检测和纠正传输干扰的能力，提高了模型参数传输精度。

进一步的，为支持上述不同重要性程度的参数传输，本申请所述联邦学习模型参数传输装置100还可以采用分层调制的方式进行传输。具体的，在本申请提供的一种具体实施方式中，所述联邦学习模型参数传输系统100还包括：

调制模块15，用于对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合；还用于根据预设的调制序列，依次将所述若干待调制集合中的比特填入调制层的预设位置；还用于根据所述若干待调制集合中的比特填入调制层的预设位置，确定对应调制层的调制符号；还用于当所述若干待调制集合中的比特均填入调制层，确定由若干调制符号组成的调制符号序列。

可以理解的是，所述分层调制(Hierarchical modulation)是指在应用层将一个逻辑业务分成两个数据流，一个是高优先级的基本层，另一个是低优先级的增强层。在物理层，这两个数据流分别映射到信号星座图的不同层。由于基本层数据映射后的符号距离比增强层的符号距离大，因此，基本层的数据在信噪比较低的情况下也能被正确接收，而增强层只有在信噪比足够高的情况下才不会出现错误，但增强层传输的是重要性较低的比特，因此分层调制可以确保在低信噪比情况下有更好的整体性能。

进一步的，假定保护子流个数为M，所述M个保护子流的长度比例为L₁:L₂:L₃:…:L_m，并且其中M≥1，L_m∈￥⁺,m＝1,2,…,M。假定所述预设数量的调制阶数为P阶，即每个调制符号对应P个比特，并且这P个比特按顺序由高到低被划分为G层，其中第g层的比特个数为Q_g，G≥1，g＝1,2,…,G。

则所述调制模块15对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合，可以表示为所述调制模块15从M个保护子流中按顺序依次抽取L₁,L₂,L₃,…,L_m个比特。所述调制模块15将这样

个比特分为一个待调制集合。

再假定C是L和P的最小公倍数，则所述调制模块15可以从比特流中取出Z＝C/L个所述待调制集合。

假定共有Y＝C/P个调制符号，每个调制符号具有l个调制层。则所述调制模块15可以将调制层数l初始化为1，按照m＝1到M的顺序，依次将所述Z个待调制集合中的Z×L_m个保护子流的比特数据，填入到第Y个调制符号的第l个调制层位置上。当所有调制符号的第l个调制层的位置都已填入，则所述调制模块15将比特数据填入到第l+1个调制层位置上，以此类推，直到将比特数据填充完毕。之后所述调制模块15可以根据填充完毕的调制层，确定由Y个调制符号组成的调制符号序列。

下面介绍本申请所述联邦学习模型参数传输系统100采用分层调制的方式进行传输的具体实施例。

所述调制模块15采用的分层调制基于正交振幅调制(Quadrature AmplitudeModulation,QAM)，可以是16-HQAM的方式或64-HQAM的方式。

在一种所述调制模块15采用16-HQAM方案中，其实现原理如图5所示。该方案中，4个比特可以映射为1个符号，所述调制模块15将其分为两组，第一组为重要性程度更高的比特(即符号位和高位)，称为HP比特；第二组为重要性程度较低的比特(即低位)，称为LP比特。

首先，所述调制模块15根据2个HP比特完成一个4-QAM调制作为第一层映射，得到的星座点间距离为2d₁。之后所述调制模块15在第一层得到星座点之上，再做依次4-QAM映射作为第二层映射，从而扩展为一个16QAM星座图。

所述调制模块15将这些星座点间的距离记为2d₂，定义距离比向量为

通过增大d₁、减小d₂，所述调制模块15可以在保持发射功率不变的情况下，提高对HP比特的保护。

在本申请提供的一种优选实施方式中，所述联邦学习模型参数传输系统100还包括：

传输模块16，用于根据所述调制符号序列，确定对应调制符号的分配功率；还用于根据对应调制符号的分配功率，传输若干调制符号；

解调模块，用于对所述若干调制符号进行解调，生成若干保护子流；

译码模块，用于对所述若干保护子流进行信道译码，生成若干比特子流；

合流模块，用于根据所述预设的重要性划分策略，对所述若干比特子流进行组合，生成比特流。

当然，在本申请提供的一种具体实施方式中，所述传输模块16即表现为上述发送端和接收端。

当所述若干保护子流通过所述传输模块16进行传输后，所述联邦学习模型参数传输系统100可以采用解调模块进行软判决解调或者进行硬判决解调。

所述软判决解调可以理解为所述解调模块使用解调器将解调后的模拟信号直接接入到译码器来实现解码。所述硬判决解调可以理解为所述解调模块对解调器输出信号做比特量化，分量高于门限就认为输出为1，否则输出为0。

具体的，当所述解调模块采用软判决解调，则不需对接收到的调制符号进行处理。当所述解调模块采用硬判决解调，则对接收到的调制符号序列进行解调，得到解调后的若干保护子流。之后所述译码模块对所述若干保护子流进行对应编码速率的信道译码，得到生成若干比特子流。

为将所述若干比特子流恢复为比特流，在本申请提供的一种具体实施方式中，所述传输模块16还用于：

传输所述预设的重要性划分策略，以便对所述若干比特子流进行组合，生成所述比特流。

具体的，所述合流模块根据所述预设的重要性划分策略，将所述若干比特子流进行组合，恢复成所述比特流。之后所述联邦学习模型参数传输系统100可以将所述比特流转化为模型参数。这样使得所述联邦学习模型参数传输系统100具有检测和纠正传输干扰的能力，提高了模型参数传输精度。

本申请还对所述联邦学习模型参数传输装置100进行了仿真实验。具体的，仿真实验采用的数据集是CIFAR-10数据集，该数据集是一个用于物体识别的图像数据集，其训练集共有50000个样本。在具体的仿真实施例中，这些样本被随机划分为100个不重叠的子数据集，用于模拟100个用户的本地数据集。训练过程中，每个回合随机选择10个用户，本地批大小设置为50，迭代Epoch设置为5，学习率初始化为0.15，衰减率设置为0.99每10个回合。使用的神经网络模型为一个卷积神经网络，该模型有两个卷积层，第一层大小为64×3×5×5，第二层为64×64×5×5，每一层后的连接有ReLU激活函数3×3的最大池化层以及局部响应归一化层；以及两个全连接层，各层神经元数目分别为2304、384和10，每一层连接有一个ReLU函数，最后一层还连接了对数Softmax函数。

图6是基于RCPC编码的EEP和UEP方案结果对比。对于EEP，所有的量化比特采用4/7效率的编码；对于UEP，符号位和高两位采用2/3效率的编码，低三位采用1/2效率的编码，平均码率也为4/7。可以看到无论是测试准确率还是训练过程误差的收敛速度上，本发明所提的UEP方法都优于一般的EEP方法。

图7是基于16-HQAM分层调制的EEP和UEP方案对比，对于EEP，使用的是普通的16-QAM调制；对于UEP，符号位和高两位作为HP比特，低三位作为LP比特，距离比向量设置为p＝[0.4,1]。可以看到无论是在收敛的准确率还是训练过程误差的收敛速度上，本发明所提的UEP方法都优于一般的EEP方法。

本申请提供的所述联邦学习模型参数传输系统100，通过对联邦学习训练过程中模型的传输环节进行细化，结合了多速率信道编码和分层调制，对不同位置的量化比特进行了不同程度的保护，有效提高了同等信噪比情况下模型收敛的速度和准确率。同时，所述联邦学习模型参数传输系统100还对信道编码和调制之间进行速率匹配，使得所提的方案对于任意量化位宽、任意种速率信道编码和任意层调制都可适用，具备更强的通用性和应用价值。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种联邦学习模型参数传输方法，其特征在于，包括以下步骤：

获取模型参数；

对所述模型参数中各参数进行量化，生成比特流；

对所述比特流进行划分，生成若干比特子流；

对所述若干比特子流进行信道编码，生成若干保护子流。

2.如权利要求1所述的联邦学习模型参数传输方法，其特征在于，对所述比特流进行划分，生成若干比特子流，具体包括：

根据预设的重要性划分策略，对所述比特流的量化位宽进行划分，生成若干比特子流。

3.如权利要求1所述的联邦学习模型参数传输方法，其特征在于，所述联邦学习模型参数传输方法还包括以下步骤：

对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合；

根据预设的调制序列，依次将所述若干待调制集合中的比特填入调制层的预设位置；

根据所述若干待调制集合中的比特填入调制层的预设位置，确定对应调制层的调制符号；

当所述若干待调制集合中的比特均填入调制层时，确定由若干调制符号组成的调制符号序列。

4.如权利要求1所述的联邦学习模型参数传输方法，其特征在于，所述联邦学习模型参数传输方法还包括以下步骤：

根据所述调制符号序列，确定对应调制符号的分配功率；

根据对应调制符号的分配功率，传输若干调制符号。

5.如权利要求1所述的联邦学习模型参数传输方法，其特征在于，所述联邦学习模型参数传输方法还包括以下步骤：

传输所述预设的重要性划分策略，以便对所述若干比特子流进行组合，生成所述比特流。

6.一种联邦学习模型参数传输系统，其特征在于，包括：

获取模块，用于获取模型参数；

量化模块，用于对所述模型参数中各参数进行量化，生成比特流；

分流模块，用于对所述比特流进行划分，生成若干比特子流；

编码模块，用于对所述若干比特子流进行信道编码，生成若干保护子流。

7.如权利要求6所述的联邦学习模型参数传输系统，其特征在于，所述分流模块用于对所述比特流进行划分，生成若干比特子流，具体包括：

根据预设的重要性划分策略，对所述比特流的量化位宽进行划分，生成若干比特子流。

8.如权利要求6所述的联邦学习模型参数传输系统，其特征在于，所述联邦学习模型参数传输系统还包括：

调制模块，用于对所述若干保护子流按照预设数量的调制阶数重新分组，生成若干待调制集合；

还用于根据预设的调制序列，依次将所述若干待调制集合中的比特填入调制层的预设位置；

还用于根据所述若干待调制集合中的比特填入调制层的预设位置，确定对应调制层的调制符号；

还用于当所述若干待调制集合中的比特均填入调制层，确定由若干调制符号组成的调制符号序列。

9.如权利要求6所述的联邦学习模型参数传输系统，其特征在于，所述联邦学习模型参数传输系统还包括：

传输模块，用于根据所述调制符号序列，确定对应调制符号的分配功率；

还用于根据对应调制符号的分配功率，传输若干调制符号。

10.如权利要求6所述的联邦学习模型参数传输系统，其特征在于，所述传输模块还用于：

传输所述预设的重要性划分策略，以便对所述若干比特子流进行组合，生成所述比特流。

Images