CN112906052B - 联邦学习中多用户梯度置换的聚合方法 - Google Patents

Abstract

本发明公开的一种联邦学习中多用户梯度置换的聚合方法，旨在保护用户敏感数据的场景下，解决现有隐私保护技术中存在的用户计算开销大导致整个聚合过程的效率低以及利用差分隐私的方法会降低全局模型的准确率的问题，本发明实现步骤为：生成服务器的公钥和私钥，生成聚合比例，加密聚合比例，每个用户对其每个梯度加权，置换加权梯度，聚合所有用户的混淆梯度集，更新模型参数集合。本发明的方法保证聚合后的模型准确率不下降的同时大大提高了整个聚合过程的效率，实现对用户敏感数据的有效保护。

Description

联邦学习中多用户梯度置换的聚合方法

技术领域

本发明属于数据处理技术领域，更进一步涉及数据加解密技术领域中的一种联邦学习中多用户梯度置换的聚合方法。本发明可用来对多个用户训练的梯度数据进行置换，并支持服务器对所有用户发来的置换梯度数据进行聚合以隐藏单个用户的梯度数据，使服务器通过解密只能得到所有用户聚合后的梯度数据，而不能得到单个用户的详细梯度数据，最终达到保护用户梯度数据隐私的目的。

背景技术

联邦学习致力于解决多个用户在不公开各自数据集的情况下，协同完成模型训练的问题。但是，服务器并非可信第三方，当其在对用户的本地梯度数据进行收集和处理的同时，用户隐私泄露问题也随之而来。例如，通过在未加密的联邦学习框架中，恶意的服务器可以轻易地利用用户的本地梯度数据恢复其输入数据。考虑到对所有用户的本地梯度数据进行密态的聚合可以隐藏单个用户的详细梯度数据，因此，为了防止单个用户的本地梯度数据在聚合前被窃听，要求用户采用合适的加密方法对自己训练的本地梯度数据进行加密，然后再发送给服务器以便进行聚合。

Le Trieu Phong等人在其发表的论文“Privacy-preserving deep learning viaadditively homomorphic encryption”(IEEE Transactions on Information Forensicsand Security,2018,13(5):1333–1345.)中提出了一种分布式训练中对多用户梯度进行密态聚合的数据聚合方法。该方法的主要步骤是：(1)用户共同设置加法同态加密方案的公钥和私钥，然后再基于本地数据集训练出本地梯度数据；(2)用户分别采用加密公钥对梯度数据进行加密，然后将加密结果发送给服务器；(3)服务器对密态梯度数据进行聚合，然后将聚合结果发送给用户；(4)用户采用解密私钥对聚合的结果进行解密，得到所有用户协同训练的全局梯度数据。该方法存在的不足之处是：由于在服务器进行聚合操作之前，用户需要使用同态加密算法对本地梯度数据进行加密，并且在服务器结束聚合操作之后，用户需要再使用同态解密算法对聚合结果进行解密，由于同态算法的加密和解密操作都十分的耗时，由此加重了用户的计算负担，进而降低了整个聚合过程的效率。

腾讯科技(深圳)有限公司在其申请的专利文献“分布式数据处理方法、装置、计算机设备及存储介质”(申请号CN202110005822.9，申请公布号CN112329073A，公布日期2021.02.05)中提出了一种支持多用户梯度聚合的数据安全聚合方法。该方法的主要步骤是：(1)用户通过差分隐私的方式对本地模型进行训练，计算出本地梯度数据；(2)用户以明文的形式向服务器传输本地梯度数据；(3)服务器对接受到的本地梯度数据进行聚合，然后将聚合结果发送给用户；(4)用户接收由服务器发送的全局梯度数据。该方法存在的不足之处是：由于用户使用差分隐私的方式对本地模型进行训练，由此计算出的本地梯度数据包含噪声，导致后续服务器进行聚合操作得到的结果包含所有用户添加的噪声之和，因此，该数据聚合方法在用户数量少的情形下带来了极大的误差，降低了聚合后的全局模型的准确率。

发明内容

本发明的目的在于针对上述已有技术的不足，提出一种联邦学习中多用户梯度置换的聚合方法，用于解决现有技术为了保护梯度数据的隐私性，用户本地需要使用计算开销极大的同态加密算法进行加密和解密操作，由此加重了用户的计算负担，进而降低了整个数据聚合过程的效率；用户使用差分隐私为梯度添加噪声，从而降低了最终聚合的全局模型的准确率的问题。

实现本发明目的的技术思路是：通过置换加权梯度来对梯度数据进行混淆，实现对用户梯度的隐私保护的同时大大降低了用户本地的计算开销；混淆后梯度具有同态性质，因此，服务器聚合所有用户的混淆梯度后的结果准确率不变。

为实现上述目的，发明采用的技术方案包括如下步骤：

(1)利用同态加密算法中的密钥生成操作，生成服务器的公钥和私钥；

(2)服务器用每个用户的样本数量除以所有用户的样本总数，得到该用户的聚合比例；

(3)加密聚合比例：

服务器使用同态加密算法中的加密操作，使用公钥对每个用户的聚合比例进行加密，将加密后的密文发送给该用户；

(4)每个用户对每个梯度加权：

(4a)服务器将模型参数集合下发给每个用户，每个用户根据各自的本地训练样本进行梯度计算，得到该用户的每个梯度；

(4b)按照下式，每个用户对其每个梯度进行加权操作：

其中，▽w_g_ij表示第i个用户的第j个加权梯度，

表示第i个用户的聚合比例的密文，p_i表示第i个用户的聚合比例，*表示数乘操作，▽g_ij表示第i个用户的第j个梯度，1≤i≤n，1≤j≤m，n表示用户的总数，m表示每个用户梯度的总数；

(5)置换加权梯度：

(5a)第i个用户从其未选的加权梯度中选取一个加权梯度▽w_g_ik，其中，▽w_g_ik表示第i个用户的第k个加权梯度；

(5b)第i个用户从其余用户中随机选择一个用户，将▽w_g_ik与▽w_g_jk置换，其中，▽w_g_jk表示第j个用户的第k个加权梯度；

(5c)判断每个用户置换加权梯度的总数是否均达到其所有加权梯度总数的一半，若是，则执行步骤(5d)，否则，在未置换完成的用户中随机选取一个用户继续执行步骤(5a)；

(5d)每个用户将其置换后以及未置换的所有梯度组成一个混淆梯度集，并上传给服务器；

(6)利用聚合公式，服务器将所有用户的混淆梯度集进行聚合，得到聚合后的全局梯度集；

(7)更新模型参数集合：

服务器使用同态加密算法中的解密操作，使用私钥对每个全局梯度进行解密，并用解密后的结果更新步骤(4a)的模型参数集合，将其发送给每个用户。

本发明与现有技术相比具有如下优点：

第一，本发明通过使用梯度加权以及置换加权后的梯度操作保护用户的敏感数据，由于加权和置换操作的计算开销较小，有效克服了现有技术存在的用户计算开销大导致整个聚合过程的效率低的问题，通过降低用户计算开销，使得本发明极大地提高了聚合过程的效率。

第二，由于本发明聚合所有用户的混淆梯度集，每个用户的混淆梯度集均具有同态性质，有效克服了现有技术利用差分隐私的方法对梯度添加噪声导致全局模型的准确率降低的问题，使得本发明在保证聚合后的模型准确率不下降的同时有效地保护用户敏感数据。

附图说明

图1为本发明的流程图；

具体实施方式

通常，联邦学习采用迭代调参优化的方式来训练模型，服务器将模型参数集合下发给所有用户，用户基于模型参数集合和本地训练样本计算梯度，服务器聚合所有用户的梯度并更新模型参数集合，当模型参数被更新到满足训练停止条件时，就会停止循环。具体地，可以将训练停止条件设定为：循环执行上述过程达到指定次数，或者，损失函数值小于指定值，即模型收敛。

下面结合附图1对本发明的实现步骤做进一步的详细描述。

步骤1，利用同态加密算法中的密钥生成操作，生成服务器的公钥和私钥。

同态加密算法是一种可以将数据所有权和数据处理权分离的加密算法，包括密钥生成算法、加密算法和解密算法，同态加密包括两种基本的同态类型，即乘法同态和加法同态。它允许第三方在不解密数据的情况下，对加密的密文数据进行特定的代数运算，将密态计算的结果进行解密，最终得到的结果跟直接使用明文进行同样的运算结果一样。

本发明中提到的同态加密算法指的是加法同态(主要包括加法操作和数乘操作)。

步骤2，服务器用每个用户的样本数量除以所有用户的样本总数，得到该用户的聚合比例。

每个用户的样本包括图形、文本和语音，也即，模型训练过程中使用的训练样本类型可以是图像，可以是文本，也可以是语音。模型训练完成后，可以相应地用于对图像、文本或语音进行分析。

步骤3，加密聚合比例。

服务器使用同态加密算法中的加密操作，使用公钥对每个用户的聚合比例进行加密，将加密后的密文发送给该用户。

步骤4，每个用户对每个梯度加权。

第一步，服务器将模型参数集合下发给每个用户，每个用户根据各自的训练样本进行梯度计算，得到该用户的每个梯度。

本步骤所述的模型可以是处理图像的模型或处理文本的模型或处理语音的模型。例如，用于处理图像的模型可以是图像分类模型或图像分割模型。用于处理文本的模型可以是机器人客服模型或推荐模型。用于处理语音的模型可以是语音助手模型或语音识别模型。

对模型进行训练时可以采用机器学习算法或深度学习算法中的任意一种，可以采用线性回归的机器学习算法训练线性回归模型，也可以采用神经网络算法(激活函数经过线性转换)训练神经网络模型。

下面结合本发明的实施例对本步骤的第一步中计算梯度过程进行详细描述。

假设使用线性回归算法对模型进行训练，线性回归模型的模型参数集合为θ＝(θ₁,θ₂,…,θ_t)，t表示模型参数的总数，样本可以记为

其中，

表示样本的特征向量，

y表示真实值，线性映射函数为：

梯度为：

h表示预测值。

第二步，按照下式，每个用户对其每个梯度进行加权操作：

其中，▽w_g_ij表示第i个用户的第j个加权梯度，

表示第i个用户的聚合比例的密文，p_i表示第i个用户的聚合比例，*表示数乘操作，▽g_ij表示第i个用户的第j个梯度，1≤i≤n，1≤j≤m，n表示用户的总数，m表示每个用户梯度的总数。

在发明中，为了描述的方便，将同态加密算法记为E，经过同态加密算法加密过的数据记为E(x)，x代表被加密的数据。由于

在同态加密机制中：

即第i个用户的第j个加权梯度是符合同态性质的密文，也就是说，每个用户经过加权操作之后的所有梯度均满足同态性质。

步骤5，置换加权梯度。

第一步，第i个用户从其未选的加权梯度中选取一个加权梯度▽w_g_ik，其中，▽w_g_ik表示第i个用户的第k个加权梯度。

第二步，第i个用户从其余用户中随机选择一个用户，将▽w_g_ik与▽w_g_jk置换，其中，▽w_g_jk表示第j个用户的第k个加权梯度。

第三步，判断每个用户置换加权梯度的总数是否均达到其所有加权梯度总数的一半，若是，则执行本步骤的第四步，否则，在未置换完成的用户中随机选取一个用户继续执行步骤本步骤的第一步。

第四步，每个用户将其置换后以及未置换的所有梯度组成一个混淆梯度集，并上传给服务器。

下面结合本发明的实施例对本步骤的第二步和第三步做进一步详细描述。

假设有两个用户A、B进行置换操作，每个用户拥有四个加权梯度数据，两个用户之间进行置换操作的具体表现为：A的加权梯度集表示为(a₁,a₂,a₃,a₄)，B的加权梯度集表示为(b₁,b₂,b₃,b₄)，A随机选择了a₁并选择与B进行置换，置换后的结果为：A的加权梯度集表示为(b₁,a₂,a₃,a₄)，B的加权梯度集表示为(a₁,b₂,b₃,b₄)。

本步骤的第三步中所述的判断每个用户置换加权梯度的总数是否均达到其所有加权梯度总数的一半，即A计算其加权梯度集(b₁,a₂,a₃,a₄)中已置换的加权梯度数量只有一个，不到其所有加权梯度总数的一半，所以需要继续执行本步骤第一步操作。

步骤6，利用聚合公式，服务器将所有用户的混淆梯度集进行聚合，得到聚合后的全局梯度集。

所述的聚合公式如下：

其中，g'_j表示聚合后的第j个全局梯度，▽s_g_ij表示第i个用户的第j个混淆梯度，1≤i≤n，1≤j≤h，h表示每个用户混淆梯度的总数。

全局梯度集指的是服务器聚合所有用户的梯度之后的集合。

本步骤中的聚合公式详细推导过程如下。

每个用户混淆梯度集中的每个混淆梯度无论是否属于该用户(未置换的加权梯度属于自己，已置换的加权梯度不属于自己)，本质上均是步骤4计算出的加权梯度，即

由步骤3可知

在同态加密机制中，

将

和

代入到聚合公式中，得到g'_j的详细表达式如下：

步骤7，更新模型参数集合。

服务器使用同态加密算法中的解密操作，使用私钥对每个全局梯度进行解密，并用解密后的结果更新步骤4中第一步的模型参数集合，将其发送给每个用户。

下面结合本发明的实施例对本步骤中更新模型参数的过程进行详细描述。

采用如下公式，更新模型参数：

其中，θ'＝(θ'₁,θ'₂,…,θ'_t)表示更新后的模型参数集，θ＝(θ₁,θ₂,…,θ_t)表示更新前的模型参数集，α表示梯度下降算法指定的学习率，d表示所有用户的样本总数，g_global＝(g₁,g₂,…,g_t)表示解密后的结果(所有全局梯度的明文)。

Claims (4)

1.一种联邦学习中多用户梯度置换的聚合方法，其特征在于，加密聚合比例，用户对梯度进行加权，置换加权梯度，该方法的步骤包括如下：

(1)利用同态加密算法中的密钥生成操作，生成服务器的公钥和私钥；

(2)服务器用每个用户的样本数量除以所有用户的样本总数，得到该用户的聚合比例；

(3)加密聚合比例：

服务器使用同态加密算法中的加密操作，使用公钥对每个用户的聚合比例进行加密，将加密后的密文发送给该用户；

(4)每个用户对每个梯度加权：

(4a)服务器将模型参数集合下发给每个用户，每个用户根据各自的训练样本进行梯度计算，得到该用户的每个梯度；

(4b)按照下式，每个用户对其每个梯度进行加权操作：

其中，

表示第i个用户的第j个加权梯度，

表示第i个用户的聚合比例的密文，p_i表示第i个用户的聚合比例，*表示数乘操作，

表示第i个用户的第j个梯度，1≤i≤n，1≤j≤m，n表示用户的总数，m表示每个用户梯度的总数；

(5)置换加权梯度：

(5a)第i个用户从其未选的加权梯度中选取一个加权梯度

其中，

表示第i个用户的第k个加权梯度；

(5b)第i个用户从其余用户中随机选择一个用户，将

与

置换，其中，

表示第j个用户的第k个加权梯度；

(5c)判断每个用户置换加权梯度的总数是否均达到其所有加权梯度总数的一半，若是，则执行步骤(5d)，否则，在未置换完成的用户中随机选取一个用户继续执行步骤(5a)；

(5d)每个用户将其置换后以及未置换的所有梯度组成一个混淆梯度集，并上传给服务器；

(6)利用聚合公式，服务器将所有用户的混淆梯度集进行聚合，得到聚合后的全局梯度集；

(7)更新模型参数集合：

服务器使用同态加密算法中的解密操作，使用私钥对每个全局梯度进行解密，并用解密后的结果更新步骤(4a)的模型参数集合，将其发送给每个用户。

2.根据权利要求1所述的联邦学习中多用户梯度置换的聚合方法，其特征在于：步骤(1)和步骤(4a)中所述的样本包括图形、文本和语音。

3.根据权利要求1所述的联邦学习中多用户梯度置换的聚合方法，其特征在于：步骤(6)和步骤(7)中所述的全局梯度指的是服务器聚合所有用户的梯度之后的结果。

4.根据权利要求1所述的联邦学习中多用户梯度置换的聚合方法，其特征在于：步骤(6)中所述的聚合公式如下：

其中，g'_j表示聚合后的第j个全局梯度，

表示第i个用户的第j个混淆梯度，1≤i≤n，1≤j≤h，h表示每个用户混淆梯度的总数。

Images