CN110601814B - 联邦学习数据加密方法、装置、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种联邦学习数据加密方法、装置、设备及可读存储介质，所述方法包括：在联邦学习过程中，获取本次模型更新的加密参数；根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；将所述模型参数更新的密文部分和明文部分发送给协调设备。本发明实现了在联邦学习过程中，在保证参与设备的隐私数据不泄露给协调设备，保证参与设备数据安全性的同时，降低加密的计算复杂度和参与设备的电量消耗，降低对参与设备通信带宽的要求。

Description

联邦学习数据加密方法、装置、设备及可读存储介质

技术领域

本发明涉及数据处理技术领域，尤其涉及一种联邦学习数据加密方法、装置、设备及可读存储介质。

背景技术

随着人工智能的发展，人们为解决数据孤岛的问题，提出了“联邦学习”的概念，使得联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，并且可以避免数据隐私泄露的问题。

在实际应用横向联邦学习的场景中，参与者向协调设备发送的本地模型参数更新(例如，神经网络模型权值，或者梯度信息)会被协调者获得，在不能保证协调者可靠性的场景，可能会泄露参与者的隐私、数据信息、所训练的机器学习模型给协调者。目前，为了保证不向协调者泄露参与者的隐私信息，参与者可通过加密的方式，例如，使用同态加密(homomorphic encryption)技术、秘密分享(secret sharing)技术或者差分隐私(differential privacy)技术，向协调者发送模型参数更新，协调者不能解密的情况下不能获得模型权值或者梯度信息，进而保证了不会向协调者泄露任何信息。

但是，使用加密技术会显著增加需要传输的信息的长度，例如，使用同态加密技术，使用最常用的Paillier算法，获得的密文(用比特数衡量)的长度至少是明文长度的2倍，即加密比不加密至少增加了一倍的通信带宽要求。在一些实际应用中，例如，IoT、移动互联网、遥感和商业卫星通信链路中，通信带宽严重受限，参与者加密操作带来的额外的通信带宽要求很可能不能被满足，或者至少会显著增加通信的延迟。

发明内容

本发明的主要目的在于提供一种联邦学习数据加密方法、装置、设备及可读存储介质，旨在实现一种安全机制，使得参与者的信息不会泄露给协调者，并不会造成显著增加通信带宽要求。

为实现上述目的，本发明提供一种联邦学习数据加密方法，所述联邦学习数据加密方法应用于参与设备，所述参与设备与协调设备通信连接，所述联邦学习数据加密方法包括以下步骤：

在联邦学习过程中，获取本次模型更新的加密参数；

根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；

采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；

将所述模型参数更新的密文部分和明文部分发送给协调设备。

可选地，所述将所述模型参数更新的密文部分和明文部分发送给协调设备的步骤之后，还包括：

接收协调设备发送的加密全局模型参数更新，其中，所述协调设备对各所述参与设备模型参数更新的密文部分进行密文融合处理，得到所述加密全局模型参数更新的密文部分，对各所述参与设备模型参数更新的明文部分进行明文融合处理，得到所述加密全局模型参数更新的明文部分；

对所述加密全局模型参数更新的密文部分进行解密，并将解密结果与所述加密全局模型参数更新的明文部分进行组合，得到本次模型更新的全局模型参数更新。

可选地，所述加密参数至少包括加密比例，所述根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分的步骤包括：

根据所述加密比例，以及本地训练得到的模型参数更新的参数个数或比特数，对应确定待加密参数个数或待加密比特数；

根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分。

可选地，所述加密参数还包括加密部分选择方法，所述根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分的步骤包括：

根据所述加密部分选择方法从所述模型参数更新中选择待加密部分和明文部分，其中，所述待加密部分的参数个数是所述待加密参数个数，或所述待加密部分的比特数是所述待加密比特数。

可选地，所述获取本次模型更新的加密参数的步骤包括：

获取本地的设备信息，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

根据所述设备信息确定本地加密参数；

将所述本地加密参数发送给所述协调设备，以供协调设备根据各个所述参与设备的本地加密参数确定本次模型更新的加密参数；

接收所述协调设备发送的本次模型更新的加密参数。

可选地，所述获取本次模型更新的加密参数的步骤包括的步骤包括：

获取本地的设备信息和训练数据的数据量，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

将所述设备信息和数据量发送给所述协调设备，以供所述协调设备根据各个所述参与设备的设备信息和数据量确定本次模型更新的加密参数；

接收所述协调设备发送的本次模型更新的加密参数。

可选地，所述预设加密算法为预设的同态加密算法。

为实现上述目的，本发明还提供一种联邦学习数据加密装置，所述联邦学习数据加密装置部署于参与设备，所述参与设备与协调设备通信连接，所述联邦学习数据加密装置包括：

获取模块，用于在联邦学习过程中，获取本次模型更新的加密参数；

确定模块，用于根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；

加密模块，用于采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；

发送模块，用于将所述模型参数更新的密文部分和明文部分发送给协调设备。

为实现上述目的，本发明还提供一种联邦学习数据加密设备，所述联邦学习数据加密设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习数据加密程序，所述联邦学习数据加密程序被所述处理器执行时实现如上所述的联邦学习数据加密方法的步骤。

此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有联邦学习数据加密程序，所述联邦学习数据加密程序被处理器执行时实现如上所述的联邦学习数据加密方法的步骤。

本发明中，通过在联邦学习过程中，获取本次模型更新的加密参数；根据加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；采用预设加密算法对待加密部分进行加密得到模型参数更新的密文部分；将模型参数更新的密文部分和明文部分发送给协调设备。本发明实现了在联邦学习过程中，在保证参与设备的隐私数据不泄露给协调设备，保证参与设备数据安全性的同时，降低加密的计算复杂度和参与设备的电量消耗，降低对参与设备通信带宽的要求，从而能适应IoT设备、商业卫星或者遥感卫星等电量和计算资源有限、通信带宽严重受限的应用场景。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的结构示意图；

图2为本发明联邦学习数据加密方法第一实施例的流程示意图；

图3为本发明实施例涉及的一种联邦学习数据加密处理流程示意图；

图4为本发明联邦学习数据加密装置较佳实施例的功能示意图模块图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

需要说明的是，本发明实施例联邦学习数据加密设备可以是智能手机、个人计算机和服务器等设备，在此不做具体限制。

如图1所示，该联邦学习数据加密设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的设备结构并不构成对联邦学习数据加密设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及联邦学习数据加密程序。其中，操作系统是管理和控制设备硬件和软件资源的程序，支持联邦学习数据加密程序以及其它软件或程序的运行。

在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与联邦学习的协调设备和其他参与设备建立通信连接；而处理器1001可以用于调用存储器1005中存储的联邦学习数据加密程序，并执行以下操作：

在联邦学习过程中，获取本次模型更新的加密参数；

根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；

采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；

将所述模型参数更新的密文部分和明文部分发送给协调设备。

进一步地，所述将所述模型参数更新的密文部分和明文部分发送给协调设备的步骤之后，处理器1001可以用于调用存储器1005中存储的联邦学习数据加密程序，还执行以下操作：

接收协调设备发送的加密全局模型参数更新，其中，所述协调设备对各所述参与设备模型参数更新的密文部分进行密文融合处理，得到所述加密全局模型参数更新的密文部分，对各所述参与设备模型参数更新的明文部分进行明文融合处理，得到所述加密全局模型参数更新的明文部分；

对所述加密全局模型参数更新的密文部分进行解密，并将解密结果与所述加密全局模型参数更新的明文部分进行组合，得到本次模型更新的全局模型参数更新。

进一步地，所述加密参数至少包括加密比例，所述根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分的步骤包括：

根据所述加密比例，以及本地训练得到的模型参数更新的参数个数或比特数，对应确定待加密参数个数或待加密比特数；

根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分。

进一步地，所述加密参数还包括加密部分选择方法，所述根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分的步骤包括：

根据所述加密部分选择方法从所述模型参数更新中选择待加密部分和明文部分，其中，所述待加密部分的参数个数是所述待加密参数个数，或所述待加密部分的比特数是所述待加密比特数。

进一步地，所述获取本次模型更新的加密参数的步骤包括：

获取本地的设备信息，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

根据所述设备信息确定本地加密参数；

将所述本地加密参数发送给所述协调设备，以供协调设备根据各个所述参与设备的本地加密参数确定本次模型更新的加密参数；

接收所述协调设备发送的本次模型更新的加密参数。

进一步地，所述获取本次模型更新的加密参数的步骤包括的步骤包括：

获取本地的设备信息和训练数据的数据量，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

将所述设备信息和数据量发送给所述协调设备，以供所述协调设备根据各个所述参与设备的设备信息和数据量确定本次模型更新的加密参数；

接收所述协调设备发送的本次模型更新的加密参数。

进一步地，所述预设加密算法为预设的同态加密算法。

基于上述的结构，提出联邦学习数据加密方法的各个实施例。

参照图2，图2为本发明联邦学习数据加密方法第一实施例的流程示意图。

本发明实施例提供了联邦学习数据加密方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。本发明联邦学习数据加密方法应用于联邦学习中的参与设备，联邦学习中的协调设备与至少一个参与设备通信连接。在本实施例中，联邦学习数据加密方法包括：

步骤S10，在联邦学习过程中，获取本次模型更新的加密参数；

在本实施例中，协调设备与各参与设备可通过握手、身份认证预先建立通信连接，并确定本次联邦学习的待训练模型，待训练模型可以是机器学习模型，如神经网络模型。在联邦学习过程中，协调设备与参与设备通过相互配合，对待训练模型进行多次迭代更新，得到最终收敛的待训练模型，即可结束对待训练模型的训练过程。在一次模型更新中，各参与设备对各自本地拥有的本地训练数据，对待训练模型分别进行本地训练，得到各自本地的模型参数更新，模型参数更新可以是对待训练模型中参数的更新，如对神经网络模型中权重的更新，也可以是梯度信息。

参与设备获取本次模型更新的加密参数。具体地，加密参数可以是加密比例，也可以是待加密参数个数或待加密比特数，其中，模型参数更新可能包括多个参数，如Q个，待加密参数个数是指需要加密的参数的个数，如P个；模型参数更新可转化为比特，计算模型参数更新的比特数，如N个，待加密比特数是指需要加密的比特数，如M个；加密比例可以是待加密参数个数占模型参数更新参数个数的比例P/Q，也可以是待加密比特数占模型参数更新比特数的比例M/N。加密参数可以是预先在协调设备和各参与设备中进行统一设置，以适应各参与设备的通信带宽、计算资源和电量等；当模型参数更新是浮点数时，加密参数可设置为待加密参数个数，或加密参数个数比例，当加密算法是对模型参数更新按照比特位进行加密时，加密参数可设置为待加密比特数，或加密比特数比例。需要说明的是，各参与设备和协调设备在一次模型更新中的加密参数是统一的。

步骤S20，根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；

参与设备根据获取到的加密参数，确定本地训练得到的模型参数更新的待加密部分和明文部分。如当加密参数是待加密参数个数或待加密比特数时，参与设备可从模型参数更新的各参数中，选择前一部分参数作为待加密部分，前一部分参数的个数是待加密参数个数，则剩余部分的参数是明文部分；或者参与设备从模型参数更新的各比特位中，选择前一部分比特位作为待加密部分，前一部分比特位的个数是待加密比特数，则剩余部分的比特位是明文部分。

步骤S30，采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；

参与设备采用预设加密算法对待加密部分进行加密，得到模型参数更新的密文部分。其中，预设加密算法可以是预设的同态加密(HomomorphicEncryption)算法，如Paillier算法。同态加密算法的原理是：对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的。基于这一原理，联邦学习的协调设备可直接对采用同态加密算法进行加密的模型参数更新进行融合，无需进行解密，参与设备将融合得到的全局模型参数更新进行解密得到的结果，与协调设备直接对未加密的模型参数更新进行融合得到的结果是相同的。预设加密算法也可以是采用掩码(mask)的算法，掩码也称为摄动(perturbation)，如通过随机生成一个掩码，并在原始数据上加上或减去该掩码得到带掩码的数据，对于该带掩码的数据减去或加上该掩码，还原得到原始数据。基于采用掩码的算法的原理，参与设备通过采用掩码的算法对模型参数更新进行添加掩码处理，协调设备可直接对带掩码的模型参数更新进行融合，参与设备采用掩码对融合得到的全局模型参数更新去除掩码得到的结果，与协调设备直接对未添加掩码的模型参数更新进行融合处理得到的结果相同。

步骤S40，将所述模型参数更新的密文部分和明文部分发送给协调设备。

参与设备将模型参数更新的密文部分和明文部分发送给协调设备。如参与设备的模型参数更新包括N个参数，参与设备对其中M个参数采用同态加密算法进行加密得到密文部分，其余M-N个未加密的参数作为明文部分，参与设备将密文部分和明文部分发送给协调设备。参与设备可以是将密文部分和明文部分组合在一起发送给协调设备，也可以是分开发送给协调设备，具体不作限制。由于协调设备获取到的模型参数更新一部分已被加密，因此，协调设备无法获得全部的模型参数更新的明文，这样协调设备就无法获得全部的待训练模型的参数信息或者梯度信息，从而保证了参与设备的隐私数据不会泄露给协调设备，从而保证了参与设备数据的安全性。并且，参与设备根据加密参数对模型参数更新进行部分加密，不是对全部的模型参数更新进行加密，降低了加密的计算复杂度和参与设备的电量消耗，也减少了加密后模型参数更新的长度，从而降低了对通信带宽的要求，能适应IoT设备、商业卫星或者遥感卫星等电量和计算资源有限、通信带宽严重受限的应用场景。

由于参与设备通过预设的同态加密算法或采用掩码的算法对模型参数更新进行加密，协调设备可直接对各参与设备发送的包括密文部分和明文部分的模型参数更新进行融合处理，如加权平均，得到全局模型参数更新，此时的全局模型参数更新是加密的。协调设备将加密全局模型参数更新发送给各个参与设备，参与设备在接收到加密全局模型参数更新后，先对加密全局模型参数更新进行解密，得到全局模型参数更新，根据全局模型参数更新进行下一次的模型更新，直到协调设备检测到待训练模型收敛或迭代训练的次数达到最大次数，即可停止对待训练模型的训练。

在本实施例中，通过在联邦学习过程中，获取本次模型更新的加密参数；根据加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；采用预设加密算法对待加密部分进行加密得到模型参数更新的密文部分；将模型参数更新的密文部分和明文部分发送给协调设备，实现了在联邦学习过程中，在保证参与设备的隐私数据不泄露给协调设备，保证参与设备数据安全性的同时，降低加密的计算复杂度和参与设备的电量消耗，降低对参与设备通信带宽的要求，从而能适应IoT设备、商业卫星或者遥感卫星等电量和计算资源有限、通信带宽严重受限的应用场景。

进一步地，所述步骤S40之后，还包括：

步骤S50，接收协调设备发送的加密全局模型参数更新，其中，所述协调设备对各所述参与设备模型参数更新的密文部分进行密文融合处理，得到所述加密全局模型参数更新的密文部分，对各所述参与设备模型参数更新的明文部分进行明文融合处理，得到所述加密全局模型参数更新的明文部分；

协调设备接收各个参与设备发送的包括密文部分和明文部分的模型参数更新，对各模型参数更新的密文部分进行密文融合处理，得到加密全局模型参数的密文部分，对各模型参数更新的明文部分进行明文融合处理，得到加密全局模型参数更新的明文部分。其中，密文融合处理和明文融合处理的过程，可以相同也可以不相同，具体地，当参与设备采用的加密算法，对明文上的算术运算与对密文上的算术运算的效果不相同时，密文融合处理和明文融合处理的过程不相同。如采用Paillier算法时，明文上的加法运算等价于密文上的乘法运算，明文上的标量乘法运算等价于密文上的变量乘方运算，此时，若协调设备的融合处理过程是加权平均，则协调设备对各模型参数更新的明文部分进行的明文融合处理是采用普通的加权平均，而对密文部分进行的密文融合处理是在普通的加权平均操作的基础上，将加法转化为乘法，将乘法转化为乘方。

协调设备将加密全局模型参数更新发送给各个参与设备，也即将加密全局模型参数更新的密文部分和明文部分发送给各个参与设备。协调设备可以是将密文部分和明文部分组合在一起发送给参与设备，也可以是分开发送给参与设备，具体不作限制。各个参与设备接收协调设备发送的加密全局模型参数更新。

步骤S60，对所述加密全局模型参数更新的密文部分进行解密，并将解密结果与所述加密全局模型参数更新的明文部分进行组合，得到本次模型更新的全局模型参数更新。

参与设备对加密全局模型参数更新的密文部分进行解密，将解密结果与加密全局模型参数更新的明文部分进行组合，得到本次模型更新的全局模型参数更新。具体地，当参与设备采用的加密算法是对称加密时，参与设备采用密钥对模型参数更新的待加密部分进行加密，并采用同一密钥对加密全局模型参数更新的密文部分进行解密。当参与设备采用的加密算法是非对称加密时，参与设备采用公钥对模型参数更新的待加密部分进行加密，采用私钥对加密全局模型参数更新的密文部分进行解密。各个参与设备可从第三方秘钥服务器获得加密算法需要的密钥，协调设备无法获取该密钥，从而无法对模型参数更新的密文部分进行解密。参与设备将解密结果与加密全局模型参数更新的明文部分进行组合的方式，与参与设备选择模型参数更新的待加密部分和明文部分的方式对应。如，当参与设备从模型参数更新的各参数中，选择前一部分参数作为待加密部分，前一部分参数的个数是待加密参数个数，剩余部分的参数作为明文部分时，参与设备将解密结果中的各个参数放在前面，将明文部分的各个参数放在后面，得到全局模型参数更新的各个参数。

在本实施例中，通过接收协调设备发送的加密全局模型参数更新，其中，协调设备对各参与设备模型参数更新的密文部分进行密文融合处理，得到加密全局模型参数更新的密文部分，对各参与设备模型参数更新的明文部分进行明文融合处理，得到加密全局模型参数更新的明文部分；对加密全局模型参数更新的密文部分进行解密，并将解密结果与加密全局模型参数更新的明文部分进行组合，得到本次模型更新的全局模型参数更新，使得参与设备能够解密得到准确的全局模型参数更新，从而保证联邦学习的正常进行，并且协调设备无法获得各个参与设备的全部模型参数更新，从而保证参与设备的隐私数据不会泄露给协调设备。

进一步地，基于上述第一实施例，提出本发明联邦学习数据加密方法第二实施例，在本发明联邦学习数据加密方法第二实施例中，所述加密参数至少包括加密比例，所述步骤S20包括：

步骤S201，根据所述加密比例，以及本地训练得到的模型参数更新的参数个数或比特数，对应确定待加密参数个数或待加密比特数；

参与设备根据加密比例和本地训练得到的模型参数更新的参数个数，确定待加密参数个数，或者，根据加密比例和本地训练得到的模型参数更新的比特数，确定待加密比特数。具体地，参与设备将加密比例与模型参数更新的参数个数相乘，得到待加密参数个数，或将加密比例与模型参数更新的比特数相乘，得到待加密比特数。如参与设备的模型参数更新包括100个参数，加密比例是50％，则参与设备确定待加密参数个数是50个。

步骤S202，根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分。

参与设备根据待加密参数个数或待加密比特数，确定模型参数更新的待加密部分和明文部分。具体地，参与设备可从模型参数更新的各参数中，选择前一部分参数作为待加密部分，前一部分参数的个数是待加密参数个数，则剩余部分的参数是明文部分；或者参与设备从模型参数更新的各比特位中，选择前一部分比特位作为待加密部分，前一部分比特位的个数是待加密比特数，则剩余部分的比特位是明文部分。

在本实施例中，通过根据加密比例，以及本地训练得到的模型参数更新的参数个数或比特数，对应确定待加密参数个数或待加密比特数，根据待加密参数个数或待加密比特数，确定模型参数更新的待加密部分和明文部分，实现了参与设备对模型参数更新的一部分进行加密，从而既保证了参与设备数据的安全性，又降低了参与设备加密的计算复杂度和电量消耗，并且减少了加密后模型参数更新的长度，从而降低了对通信带宽的要求。

进一步地，所述加密参数还包括加密部分选择方法，所述步骤S202包括：

步骤S2021，根据所述加密部分选择方法从所述模型参数更新中选择待加密部分和明文部分，其中，所述待加密部分的参数个数是所述待加密参数个数，或所述待加密部分的比特数是所述待加密比特数。

参与设备在获取到待加密参数个数或待加密比特数后，可根据加密参数中的加密部分选择方法，以及待加密参数个数或待加密比特数，从模型参数更新中选择待加密部分和明文部分，选择的待加密部分的参数个数是待加密参数个数，或待加密部分的比特数是待加密比特数。其中，加密部分选择方法规定如何从模型参数更新的各个参数中选择待加密个数的参数，或如何从模型参数更新的各个比特位中选择待加密比特数的比特位。如，当模型参数更新的比特数是N，待加密比特数是M时，加密部分选择方法可以是从N比特的模型参数更新中的M个固定位置上选择M比特，M个固定位置是均匀分布的；或者可以是从N比特的模型参数更新中选择M个连续的比特，例如，前M个比特，或者后M个比特，或者任意位置的M个连续比特；还可以是当待训练模型是神经网络模型，网络包括多层时，选择其中重要的一层或多层的参数作为待加密部分，其他部分作为明文部分。

需要说明的是，各个参与设备和协调设备在一次模型更新中的加密参数是统一的。如在一次模型更新中，参与设备A和B，各自按照相同的加密比例和加密部分选择方法，对各自包括100个参数的模型参数更新中的前50个参数进行加密；协调设备对A和B的模型参数更新前50个密文的参数分别进行密文融合处理，对后50个明文的参数分别进行明文融合处理，得到包括前50个密文的融合参数和后50个明文的融合参数的加密全局模型参数更新；A和B各自对加密全局模型参数更新的前50个密文的融合参数进行解密，得到前50个明文的融合参数，与加密全局模型参数更新的后50个密文的融合参数进行组合，得到本次模型更新的全局模型参数更新。每一次的模型更新的加密参数可以相同，也可以不相同，具体地，当在联邦学习过程中，参与设备的电量、通信带宽、计算资源等信息发生变化时，可动态调整加密参数。

在本实施例中，通过根据加密部分选择方法，以及待加密参数个数或待加密比特数，从模型参数更新中选择待加密部分和明文部分，实现了参与设备可通过对待加密部分进行选择，提高破解加密后的模型参数更新的难度，从而进一步地提高了参与设备数据的安全性。

进一步地，基于上述第二实施例，提出本发明联邦学习数据加密方法第三实施例，在本发明联邦学习数据加密方法第三实施例中，所述步骤S10包括：

步骤A10，获取本地的设备信息，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

在联邦学习过程中，参与设备可以是每一次模型更新都获取当前本地的设备信息，也可以是参与设备在加入联邦学习后，对待训练模型进行训练之前，获取一次当前本地的设备信息，在后续的训练过程中，不再获取本地的设备信息。其中，本地的设备信息至少包括参与设备本地的通信带宽信息、计算资源信息和电量信息中的一项或多项，根据联邦学习的应用场景不同，获取的设备信息可不同，如当参与联邦学习的各个参与设备的通信带宽受限和计算资源受限，但是电量不受限时，各参与设备可只获取本地的通信带宽信息和计算资源信息。

步骤A20，根据所述设备信息确定本地加密参数；

参与设备根据本地的设备信息确定本地加密参数。具体地，加密参数为加密比例，或者是待加密参数个数或待加密比特数时，参与设备中可预先设置根据设备信息计算加密参数的计算公式，如预先根据加密比例与通信带宽呈正相关的关系设置计算公式，将通信带宽的代入该计算公式，计算得到加密比例。还可以是参与设备中设置不同的设备信息对应不同的加密参数，如可设置当电量为0％～20％时，对应的加密比例是0.1，电量是21％～40％时，对应的加密比例是0.3，电量是41％～60％时，对应的加密比例是0.5，依次类推。

步骤A30，将所述本地加密参数发送给所述协调设备，以供协调设备根据各个所述参与设备的本地加密参数确定本次模型更新的加密参数；

参与设备将本地加密参数发送给协调设备。若参与设备是在训练前发送本地加密参数，则协调设备可根据各个参与设备发送的本地加密参数确定联邦学习的整个过程中的加密参数，在后续每一次的模型更新中，均采用该加密参数。若参与设备是每一次模型更新时都向协调设备发送加密参数，则协调设备根据各参与设备发送的本地加密参数确定本次模型更新的加密参数，仅用于本次模型更新。当然，参与设备也可以是间隔预设次数，发送一次本地加密参数，即间隔预设次数调整一次加密参数。

协调设备根据各个参与设备的本地加密参数确定加密参数的方式有多种，如当加密参数是加密比例，或者是待加密参数个数或待加密比特数时，协调设备可根据具体情况，选择各个参与设备中最小的、或者中位数、或者平均数作为加密参数。如当各个参与设备的数据量都比较大，联邦学习的过程不可缺少任何一个参与设备的贡献时，协调设备可以是选择各个本地加密参数中最小的作为加密参数；当联邦学习的参与设备数量较多，各个参与设备的数据量分布均匀，且缺少其中的部分参与设备对训练影响不大时，协调设备可以选择各个本地加密参数中的中位数作为加密参数，或者计算各个本地加密参数的平均值作为加密参数；当各个参与设备的本地加密参数之间相差不大时，协调设备可以从各个本地加密参数中随机选择一个作为加密参数。

步骤A40，接收所述协调设备发送的本次模型更新的加密参数。

各个参与设备接收协调设备发送的本次模型更新的加密参数，根据加密参数确定本次模型更新中，模型参数更新的待加密部分和明文部分。当各个参与设备在训练开始前接收到协调设备发送的联邦学习的整个过程中的加密参数时，各参与设备采用该加密参数对每次模型更新中得到的模型参数更新，确定待加密部分和明文部分。

在本实施例中，通过参与设备根据本地的设备信息确定本地加密参数，并将本地加密参数发送给协调设备，供协调设备根据各个参与设备的本地加密参数确定加密参数，并发送给各个参与设备，实现了在联邦学习过程中，根据各个参与设备的通信带宽、电量和计算资源等信息，动态地调整加密参数，以在保证参与设备的数据安全的同时，能够适应参与设备的通信带宽、电量和计算资源等受限的场景。如各个参与设备控制加密比例的取值在0和1之间，例如，取值0.3，就可以方便地控制“保密性--通信带宽&计算复杂度&电量消耗”的折中，适用不同的应用场景。

进一步地，在一实施例中，提出与上述步骤A10～A40中加密参数获取方式并列的另一种获取方式，所述步骤S10包括：

步骤B10，获取本地的设备信息和训练数据的数据量，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

参与设备获取本地的设备信息和训练数据的数据量，其中，本地的设备信息至少包括参与设备本地的通信带宽信息、计算资源信息和电量信息中的一项或多项，训练数据是指用于训练待训练模型的数据。参与设备可以是每一次模型更新都获取当前本地的设备信息和数据量，也可以是参与设备在加入联邦学习后，对待训练模型进行训练之前，获取一次当前本地的设备信息和数据量，在后续的训练过程中，不再获取本地的设备信息和数据量。

步骤B20，将所述设备信息和数据量发送给所述协调设备，以供所述协调设备根据各个所述参与设备的设备信息和数据量确定本次模型更新的加密参数；

参与设备将本地的设备信息和数据量发送给协调设备，协调设备根据各个参与设备的设备信息和数据量确定本次模型更新的加密参数。具体地，协调设备根据设备信息和数据量确定加密参数的方式，可以有多种。如协调设备比较各个参与设备的数据量，根据数据量多的参与设备的设备信息，确定加密参数，具体确定方式可与上述步骤A20中参与设备确定本地加密参数的过程类似；当协调设备比较各个参与设备的数据量相当时，看对各个参与设备的设备信息求取平均值，如平均电量，根据平均值确定加密参数。若参与设备是在训练前发送设备参数和数据量，则协调设备可根据各个参与设备发送的设备参数和数据量确定联邦学习的整个过程中的加密参数，在后续每一次的模型更新中，均采用该加密参数。

步骤B30，接收所述协调设备发送的本次模型更新的加密参数。

各个参与设备接收协调设备发送的本次模型更新的加密参数，根据加密参数确定本次模型更新中，模型参数更新的待加密部分和明文部分。当各个参与设备在训练开始前接收到协调设备发送的联邦学习的整个过程中的加密参数时，各参与设备采用该加密参数对每次模型更新中得到的模型参数更新，确定待加密部分和明文部分。

在本实施例中，通过参与设备将本地的设备信息和训练数据的数据量发送给协调设备，供协调设备根据各个参与设备的设备信息和数据量确定加密参数，并发送给各个参与设备，实现了在联邦学习过程中，根据各个参与设备的通信带宽、电量和计算资源等信息，动态地调整加密参数，以在保证参与设备的数据安全的同时，能够适应参与设备的通信带宽、电量和计算资源等受限的场景。如协调设备控制加密比例的取值在0和1之间，例如，取值0.3，就可以方便地控制“保密性--通信带宽&计算复杂度&电量消耗”的折中，适用不同的应用场景。

进一步地，还可以是协调设备确定整个联邦学习过程的加密参数，或者是确定每一次模型更新的加密参数，将加密参数发送给各个参与设备，各个参与设备根据协调设备发送的加密参数，结合各自本地的设备信息，确定是否能够参与联邦学习，并将结果反馈给协调设备，协调设备根据各个参与设备的反馈确定是否对加密参数进行调整。

进一步地，基于上述各实施例，在一实施例中，参与设备按照如图3所示的流程步骤对联邦学习过程中的隐私数据进行加密处理。首先，参与设备可通过密钥分发的方式获取对模型参数更新进行加密的密钥，如从第三方服务器获取密钥；其次，参与设备或者协调设备确定加密参数，如加密比例P，进而根据加密比例确定待加密比特数M；参与设备或协调设备确定加密部分选择方法，如从N比特的模型参数更新中的M个固定位置选择M比特；参与设备根据加密参数和加密部分选择方法确定待加密部分(M比特)，采用密钥对M比特进行加密，得到L比特的密文，并将L比特的密文和(N-M)比特的明文发送给协调设备；协调设备对所有接收到的参与设备发送的明文和密文进行融合，将融合后的结果(加密全局模型参数更新)发送给各参与设备；参与设备采用解密密钥对协调设备发送的密文进行解密，与明文组合得到完整的全局模型参数更新。

此外，此外本发明实施例还提出一种联邦学习数据加密装置，参照图4，所述联邦学习数据加密装置包括：

获取模块10，用于在联邦学习过程中，获取本次模型更新的加密参数；

确定模块20，用于根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分；

加密模块30，用于采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；

发送模块40，用于将所述模型参数更新的密文部分和明文部分发送给协调设备。

进一步地，所述联邦学习数据加密装置还包括：

接收模块，用于接收协调设备发送的加密全局模型参数更新，其中，所述协调设备对各所述参与设备模型参数更新的密文部分进行密文融合处理，得到所述加密全局模型参数更新的密文部分，对各所述参与设备模型参数更新的明文部分进行明文融合处理，得到所述加密全局模型参数更新的明文部分；

解密模块，用于对所述加密全局模型参数更新的密文部分进行解密，并将解密结果与所述加密全局模型参数更新的明文部分进行组合，得到本次模型更新的全局模型参数更新。

进一步地，所述加密参数至少包括加密比例，所述确定模块20还用于：

根据所述加密比例，以及本地训练得到的模型参数更新的参数个数或比特数，对应确定待加密参数个数或待加密比特数；

根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分。

进一步地，所述加密参数还包括加密部分选择方法，所述确定模块20还用于：

根据所述加密部分选择方法从所述模型参数更新中选择待加密部分和明文部分，其中，所述待加密部分的参数个数是所述待加密参数个数，或所述待加密部分的比特数是所述待加密比特数。

进一步地，所述获取模块10包括：

第一获取单元，用于获取本地的设备信息，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

确定单元，用于根据所述设备信息确定本地加密参数；

第一发送单元，用于将所述本地加密参数发送给所述协调设备，以供协调设备根据各个所述参与设备的本地加密参数确定本次模型更新的加密参数；

第一接收单元，用于接收所述协调设备发送的本次模型更新的加密参数。

进一步地，所述获取模块10包括：

第二获取单元，用于获取本地的设备信息和训练数据的数据量，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

第二发送单元，用于将所述设备信息和数据量发送给所述协调设备，以供所述协调设备根据各个所述参与设备的设备信息和数据量确定本次模型更新的加密参数；

第二接收单元，用于接收所述协调设备发送的本次模型更新的加密参数。

进一步地，所述预设加密算法为预设的同态加密算法。

本发明联邦学习数据加密装置的具体实施方式的拓展内容与上述联邦学习数据加密方法各实施例基本相同，在此不做赘述。

此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有联邦学习数据加密程序，所述联邦学习数据加密程序被处理器执行时实现如下所述的联邦学习数据加密方法的步骤。

本发明联邦学习数据加密设备和计算机可读存储介质的各实施例，均可参照本发明联邦学习数据加密方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种联邦学习数据加密方法，其特征在于，所述联邦学习数据加密方法应用于参与设备，所述参与设备与协调设备通信连接，所述联邦学习数据加密方法包括以下步骤：

在联邦学习过程中，获取本次模型更新的加密参数，其中，所述加密参数在联邦学习过程中是由所述协调设备根据所述参与设备的设备信息调整得到的，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分，其中，所述明文部分为所述模型参数更新的各参数或各比特位中除了所述待加密部分的各参数或各比特位之外的剩余部分的参数或比特位；

采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；

将所述模型参数更新的密文部分和明文部分发送给协调设备。

2.如权利要求1所述的联邦学习数据加密方法，其特征在于，所述将所述模型参数更新的密文部分和明文部分发送给协调设备的步骤之后，还包括：

接收协调设备发送的加密全局模型参数更新，其中，所述协调设备对各所述参与设备模型参数更新的密文部分进行密文融合处理，得到所述加密全局模型参数更新的密文部分，对各所述参与设备模型参数更新的明文部分进行明文融合处理，得到所述加密全局模型参数更新的明文部分；

对所述加密全局模型参数更新的密文部分进行解密，并将解密结果与所述加密全局模型参数更新的明文部分进行组合，得到本次模型更新的全局模型参数更新。

3.如权利要求1所述的联邦学习数据加密方法，其特征在于，所述加密参数至少包括加密比例，所述根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分的步骤包括：

根据所述加密比例，以及本地训练得到的模型参数更新的参数个数或比特数，对应确定待加密参数个数或待加密比特数；

根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分。

4.如权利要求3所述的联邦学习数据加密方法，其特征在于，所述加密参数还包括加密部分选择方法，所述根据所述待加密参数个数或所述待加密比特数，确定所述模型参数更新的待加密部分和明文部分的步骤包括：

根据所述加密部分选择方法从所述模型参数更新中选择待加密部分和明文部分，其中，所述待加密部分的参数个数是所述待加密参数个数，或所述待加密部分的比特数是所述待加密比特数。

5.如权利要求1所述的联邦学习数据加密方法，其特征在于，所述获取本次模型更新的加密参数的步骤包括：

获取本地的设备信息，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

根据所述设备信息确定本地加密参数；

将所述本地加密参数发送给所述协调设备，以供协调设备根据各个所述参与设备的本地加密参数确定本次模型更新的加密参数；

接收所述协调设备发送的本次模型更新的加密参数。

6.如权利要求1所述的联邦学习数据加密方法，其特征在于，所述获取本次模型更新的加密参数的步骤包括的步骤包括：

获取本地的设备信息和训练数据的数据量，其中，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

将所述设备信息和数据量发送给所述协调设备，以供所述协调设备根据各个所述参与设备的设备信息和数据量确定本次模型更新的加密参数；

接收所述协调设备发送的本次模型更新的加密参数。

7.如权利要求1至6任一项所述的联邦学习数据加密方法，其特征在于，所述预设加密算法为预设的同态加密算法。

8.一种联邦学习数据加密装置，其特征在于，所述联邦学习数据加密装置部署于参与设备，所述参与设备与协调设备通信连接，所述联邦学习数据加密装置包括：

获取模块，用于在联邦学习过程中，获取本次模型更新的加密参数，其中，所述加密参数在联邦学习过程中是由所述协调设备根据所述参与设备的设备信息调整得到的，所述设备信息至少包括通信带宽信息、计算资源信息和电量信息中的一项或多项；

确定模块，用于根据所述加密参数确定本地训练得到的模型参数更新的待加密部分和明文部分，其中，所述明文部分为所述模型参数更新的各参数或各比特位中除了所述待加密部分的各参数或各比特位之外的剩余部分的参数或比特位；

加密模块，用于采用预设加密算法对所述待加密部分进行加密得到所述模型参数更新的密文部分；

发送模块，用于将所述模型参数更新的密文部分和明文部分发送给协调设备。

9.一种联邦学习数据加密设备，其特征在于，所述联邦学习数据加密设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦学习数据加密程序，所述联邦学习数据加密程序被所述处理器执行时实现如权利要求1至7中任一项所述的联邦学习数据加密方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有联邦学习数据加密程序，所述联邦学习数据加密程序被处理器执行时实现如权利要求1至7中任一项所述的联邦学习数据加密方法的步骤。

Images