CN114547643A - 一种基于同态加密的线性回归纵向联邦学习方法 - Google Patents

Abstract

本发明公开了一种基于同态加密的线性回归纵向联邦学习方法，包括步骤：a)建模训练；b)两种预测。建模训练：采用minist数据集，步骤如下：owner即数据应用方，利用Paillier生成公私钥对，consumer即数据持有，计算特征值与特征矩阵的乘积发送给owner，owner计算预测标签

通过与实际Y对比得到

然后计算梯度，利用梯度来更新特征值的权重，直到模型达收敛范围，训练结束。预测方法1：无第三方，consumer计算特征值与特征矩阵的乘积发给owner，计算预测值

返回给consumer。预测方法2：基于差分隐私，Carol整合双方特征参数后发给consumer，consumer计算预测标签

将结果发给Carol。本发明创新点：训练阶段，梯度始终加密，无第三方，未暴露过多特征参数；预测阶段可防止合谋攻击。

Description

一种基于同态加密的线性回归纵向联邦学习方法

技术领域

本发明属于纵向联邦学习领域，特别涉及去除第三方的基于同态加密的线性回归纵向联邦学习建模训练，以及基于差分隐私的模型预测方法。

背景技术

随着互联网技术的发展，机器学习越来越多的参与到社会建设的方方面面，然而当前机器学习始终面临两大挑战：一是数据安全难以得到保障，数据泄露问题频发；二是由于网络安全隔离和行业隐私，不同行业、不同部门之间存在数据壁垒。导致数据形成―孤岛无法安全共享，而仅凭各部门独立数据训练的机器学习模型性能无法达到全局最优化。为了解决以上问题，谷歌率先提出联邦学习技术，其通过将机器学习的数据存储和模型训练阶段转移至本地用户，而仅与中心服务器交互模型更新的方式有效保障了用户的隐私安全。

联邦学习应用场景不同，客户端之间持有的数据集特征各不相同。假设D_m代表客户端m持有的数据，I表示样本ID，Y表示数据集的标签信息，X表示数据集的特征信息，因此一个完整的训练数据集D应由(I,Y,X)构成。根据参与训练客户端的数据集特征信息X的不同，联邦学习被分为横向联邦学习、纵向联邦学习和联邦迁移学习。

由于安全多方计算(Secure multiparty computation，即MPC)相关技术热度持续高升，有许多研究中使用MPC技术直接加密数据集进行机器学习训练，虽然保护了数据隐私安全，但是计算开销和通信开销呈指数级增加，在大数据环境下，这显然更加是一种挑战。联邦学习也应运而生，谷歌率先公开了联邦学习框架FATE，其中纵向联邦学习支持多个参与方联合数据集，在数据中心形成一个完整的数据池进行模型训练，在此过程中每个参与方数据都得到了保护，共同建模提高了模型的拟合度，自身模型无损耗。还有学者将联邦学习引入到更加丰富的应用场景中，根据参与方之间数据分布的差异，形成了完整的联邦学习框架包括横向联邦学习框架、纵向联邦学习框架和联邦迁移学习框架。

线性回归是目前流行病学和医学的疾病诊断、金融行业经济预测等最常用的分析方法，从一组样本数据出发，确定变量之间的数学关系式，对这些关系式的可信程度进行各种统计检验，并从影响某一特定变量的诸多变量中找出显著变量。目前联邦学习框架中大多使用泰勒展开来进行预测，这样会大大损失模型的精确度，同时大多数都有第三方存在，这个第三方在最开始为数据各方分配公钥，第三方持有对应私钥。各个参与方利用该公钥对训练数据的中间结果进行加密后通信，第三方用私钥解密来自各方的中间结果，计算得出此次迭代的中间结果更新。这个过程中，第三方获得了其他参与方的隐私数据，参与方的隐私信息仍然存在暴露的危险。而且应用公钥系统会导致复杂性过高。

发明内容

本发明的目的是提供一种基于同态加密的线性回归纵向联邦学习方法。在训练阶段，利用梯度构建乘法对，相比于Fate的训练方法，本发明直接去除第三方，数据隐私得到更好的保护，同时训练过程中始终利用梯度来更新参数，在保证系统安全性的同时，大大降低了系统的复杂性和提高系统的效率。训练结束后，提供两种模型预测方法，去除第三方的预测方法，简单高效，能迅速得到结果，基于差分隐私的预测方法，在借助第三方的算力同时，加入拉普拉斯噪音能有效防止数据被反推出来，避免了全集的设定，高效且安全。

实现本发明目的的具体技术方案是：

一种基于同态加密的线性回归纵向联邦学习方法，该方法包括下述步骤：

步骤1：构建基于同态加密的线性回归训练模型：

数据应用者即owner：同时持有数据矩阵和类标签的数据提供者；

数据持有者即consumer：将只有一个数据矩阵的数据提供者定义为数据持有者；数据持有者在联邦学习中扮演客户的角色；

步骤A1：初始化模型参数W_A∈R^1*a,W_B∈R^1*b，特征值X_A∈R^n*a,X_B∈R^n*b，owner利用Paillier算法生成公私钥对；所述W_A∈R^1*a为owner的模型参数，n表示有n个样本，a表示owner有a个特征值，X_A表示owner的特征值；W_B∈R^1*b，b表示consumer有b个特征值，R表示矩阵，Paillier为一种同态加密算法，初始化模型阈值Limites；

步骤A2：consumer和owner分别计算特征值与特征矩阵的乘积，consumer计算加密后的特征值与特征矩阵乘积：

发给owner，owner将其解密，然后带入线性回归方程计算预测值

并计算加密后的实际值与预测值的误差即：

发给consumer，Encrypt()表示加密，y′表示线性回归方程的预测值，T表示矩阵转置；

步骤A3：利用偏导值更新参数，owner计算偏导值

owner更新模型参数W_A＝W_A-nL_A∈R^1*a，owner将加密的偏导值发送给consumer，同理利用加法同态性consumer更新模型参数Encrypt(W_B)＝Encrypt(W_B)-nEncrypt(L_B)∈R^1*b，L_A表示owner偏导值，L_B表示consumer偏导值，η表示学习率；

步骤A4：一直重复步骤A2和步骤A3，直到满足

其中：sum是指求和，

是一个向量，表示实际类标签与预测类标签的差值，整体即：本轮向量

内所有元素之和与上轮向量

元素之和的差与阈值Limites的比较；

步骤A5：步骤4执行完毕之后owner直接获得更新后的模型参数W_A∈R^1*a，consumer在本地得到Encrypt(W_B)，利用加法同态性，consumer选择随机向量R_B∈R^1*b并计算；Encrypt(W_B+R_B)＝Encrypt(R_BW_B)发送给owner，owner解密之后consumer再减去随机矩阵即可获得自己更新后的参数Decrypt(W_B)＝Decrypt(Encrypt(W_B+R_B))-R_B；

consumer和owner得到了纵向联邦学习的模型参数W_B，W_A；其中，Decrypt()表示解密；

步骤2：去除第三方对模型进行预测或基于差分隐私的借助第三方对模型进行预测：

步骤B1：owner利用得到的模型参数W_A，计算

步骤B2：consumer计算

发给owner；

步骤B3：owner计算

并将结果返回给consumer；

consumer得到了预测值：类标签y；

基于差分隐私的借助第三方模型预测：

步骤C1：owner计算Encrypt(W_A)∈R^1*n并发送给Carol，Carol表示可信第三方，同时拥有consumer和owner的特征值X_B，X_A；

步骤C2：Carol计算

和

发送给consumer；

步骤C3：consumer计算

发送给Carol，Lap(0,1)表示拉普拉斯噪音：

步骤C4：Carol计算Encrypt(y)+Random发送给owner，Random是随机向量；

步骤C5：Owner计算y+Random＝D(Encrypt(y+Random))发送给Carol；

Carol得到最终的预测结果：类标签y。

步骤1中所述纵向联邦学习具体为：在两个数据集合中，用户相同而特征不同，将数据集进行纵向切割，取出双方用户相同而用户特征不完全相同的那部分数据进行训练，具体包括下述步骤：

步骤D1：无标签数据的参与方提供加密特征数据协助有标签数据的参与方进行梯度更新和模型参数更新；

步骤D2：有标签数据的参与方提供加密标签数据协助无标签数据的参与方进行梯度更新和模型参数更新；

步骤D3：D1-D2步骤进行迭代，直至纵向联邦学习模型收敛至某一阈值或者达到最大迭代次数。

步骤A1中，所述的同态加密算法Paillier具体为：

步骤E1：生成公私钥对，设p、q是两个满足要求的大素数，且N＝pq，

设

公钥pk＝(N,g)，其中N为公开模，而g为公开基；私钥sk＝λ(N)＝lcm(p-1,q-1)；

步骤E2：加密过程，对于任意密文c∈Z_n随机选择

得到密文c＝Encrypt_pk(m)＝g^mr^NmodN²，符号解释：N表示两质数pq的乘积，g为随机数，Z^*表示整数；

步骤E3：解密过程，对于任意密文c∈Z_n解密得明文：m＝D_sk(c)＝L(C^λ(N))modN²)/L(g)^λ(N)modN²)modN。

步骤C3中，所述的Lap(0,1)拉普拉斯噪音具体为：

步骤F1：若给定的某随机函数K在某相邻数据集D₁和D₂上的两个概率输出结果满足如下不等式，则随机函数K满足(∈,δ)-差分隐私；

P_r[K(D₁∈S)]≤exp(∈)P_r[K(D₂)∈S]+δ (1)

其中P_r表示概率，S表示数据范围，exp即自然质数函数，相邻数据集指的是至多相差一条记录的两个数据集，即一个数据集有另一个数据集增加或删除一条记录产生；式(1)中P_r[K(D₁∈S)]表示函数K在D₁上的输出在值域S(S∈Range(K))的概率，两个概率值的比小于等于e^∈，∈称为隐私预算或隐私参数，用来平衡隐私保护程度和数据的可用性；从式(1))可以看出，∈越小，两个概率值越趋向于一致，即单条记录的存在与否不影响输出结果，则隐私保护程度越高，相应地，数据可用性越低；同理∈越大，则隐私保护程度越低，而数据可用性越高；当∈＝0时，相邻数据集能够以一样的概率分布输出，当然就完全丧失了数据的可用性；

步骤F2：去掉δ并将式(1)变形可得，

Laplace机制：对于任意给定的查询函数f:D→R^d，若M(d)满足如下等式的输出结果，则以下Laplace机制满足∈-差分隐私；

在式(3)中，(Laplace(·)^d为d维的拉普拉斯分布；显示出，添加的噪声水平与Δf成正比，与隐私预算∈成反比，这符合预期。

本发明的有益效果在于：

第一，本发明提出了一种基于同态加密的线性回归纵向联邦学习方法，在建模训练阶段不需要第三方的参与，避免了过多暴露数据参数，在保证系统安全性的同时，大大降低了系统的复杂性，减少了数据泄露的风险。

第二，本发明采用一种基于同态加密的训练方法，在训练阶段不用直接传递特征参数，而是采用梯度下降的方法来训练，这样既可以保护数据的隐私，同时也提高了训练的效率，避免了泰勒展开式和公钥系统加密，大大提高了模型精确度。

第三，设计了基于差分隐私的模型预测方法，该方法不仅实现简单，极大的保护数据持有者数据的隐私，并且避免了全集的设定，阻挡合谋攻击。

附图说明

图1为本发明流程示意图；

图2为本发明实施例纵向联邦学习示意图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

实施例

假设有一家保险公司和一家银行，需要通过纵向联邦学习来共享数据，判断用户是否为潜在的优质客户。银行owner是数据应用者，保险公司consumer是数据持有者，对基于线性回归的纵向联邦学习方法步骤具体如下：

第一阶段，银行拥有客户的多个特征值X_A∈R^n*a、特征参数W_A∈R^1*a，类标签Y表客户示是否优质，保险公司拥有特征值X_B∈R^n*b和相应的特征参数W_B∈R^1*b，保险公司需要在不暴露自己特征参数的前提下联合银行来判断自己的客户里面是否有潜在的优质客户。初始模型参数W_k，k∈[1,n]，其中n为样本数量，学习率为α，阈值limites＝0.01。

第二阶段，获取样本信息并对样本进行对齐，对齐样本是进行联邦学习的第一步，纵向联邦学习流程图如图2所示。样本对齐即对数据进行隐私求交，本发明中使用不经意传输来实现。假设参与双方A、B，都只有一个元素，这时隐私集合求交，就退化成了隐私比较，即A、B比较持有的元素是否相等，同时不泄露自己持有的元素。发送方A持有一组二进制串，可以将这些二进制串整体当作一个随机种子，由A持有。从B的角度来看，隐私比较的过程，就是B输入数据X，得到一个随机二进制串，这个二进制串由A持有的随机种子与输入X来决定，同时A无法得知B的输入X。这一过程，就可以看作是不经意伪随机函数。

第三阶段，银行owner调用Paillier生成公私钥对，并将公钥发给保险公司consumer，然后保险公司计算自己的特征值与特征参数的矩阵乘积并用公钥进行加密，

将计算结果发给银行owner，owner接受到数据之后，首先利用私钥解密得到银行的特征值与特征参数的乘积，再结合自己的特征值与特征矩阵，带入线性回归方程就可以计算预测标签值即

通过预测值与对应特征所对的实际Y标签做对比即可计算出

然后owner和consumer就可以计算各自的梯度即

通过梯度来更新模型参数W＝W-nL∈R^1*a。重复上述步骤，每一次迭代都通过梯度来收敛模型更新特征值的对应权重，直达预测值和实际标签值之间的误差达到预期即可停止训练，最终银行和保险公司都会得到每个特征值所对应的特征参数。

第四阶段，对模型进行预测，由于银行和保险公司的数据比较敏感，这里直接选择去除第三方进行预测，保险公司加密计算特征值与特征矩阵乘积

发给银行解密之后直接带入回归方程，计算

并将结果返回给保险公司，最后双方都可以得到用户标签Y。整个训练和预测过程银行和保险公司的敏感数据都不会直接暴露出去，且最终可以完成用户画像。

Claims (4)

1.一种基于同态加密的线性回归纵向联邦学习方法，其特征在于，该方法包括下述步骤：

步骤1：构建基于同态加密的线性回归训练模型：

数据应用者即owner：同时持有数据矩阵和类标签的数据提供者；

数据持有者即consumer：将只有一个数据矩阵的数据提供者定义为数据持有者；数据持有者在联邦学习中扮演客户的角色；

步骤A1：初始化模型参数W_A∈R^1*a，W_B∈R^1*b，特征值X_A∈R^n*a，X_B∈R^n*b，owner利用Paillier算法生成公私钥对；所述W_A∈R^1*a为owner的模型参数，n表示有n个样本，a表示owner有a个特征值，X_A表示owner的特征值；W_B∈R^1*b，b表示consumer有b个特征值，R表示矩阵，Paillier为一种同态加密算法，初始化模型阈值Limites；

步骤A2：consumer和owner分别计算特征值与特征矩阵的乘积，consumer计算加密后的特征值与特征矩阵乘积：

发给owner，owner将其解密，然后带入线性回归方程计算预测值

并计算加密后的实际值与预测值的误差即：

发给consumer，Encrypt()表示加密，y′表示线性回归方程的预测值，T表示矩阵转置；

步骤A3：利用偏导值更新参数，owner计算偏导值

owner更新模型参数W_A＝W_A-nL_A∈R^1*a，owner将加密的偏导值发送给consumer，同理利用加法同态性consumer更新模型参数Encrypt(W_B)＝Encrypt(W_B)-nEncrypt(L_B)∈R^1*b，L_A表示owner偏导值，L_B表示consumer偏导值，η表示学习率；

步骤A4：一直重复步骤A2和步骤A3，直到满足

其中：sum是指求和，

是一个向量，表示实际类标签与预测类标签的差值，整体即：本轮向量

内所有元素之和与上轮向量

元素之和的差与阈值Limites的比较；

步骤A5：步骤4执行完毕之后owner直接获得更新后的模型参数W_A∈R^1*a，consumer在本地得到Encrypt(W_B)，利用加法同态性，consumer选择随机向量R_B∈R^1*b并计算；Encrypt(W_B+R_B)＝Encrypt(R_BW_B)发送给owner，owner解密之后consumer再减去随机矩阵即可获得自己更新后的参数Decrypt(W_B)＝Decrypt(Encrypt(W_B+R_B))-R_B；

consumer和owner得到了纵向联邦学习的模型参数W_B，W_A；其中，Decrypt()表示解密；

步骤2：去除第三方对模型进行预测或基于差分隐私的借助第三方对模型进行预测：

步骤B1：owner利用得到的模型参数W_A，计算

步骤B2：consumer计算

发给owner；

步骤B3：owner计算

并将结果返回给consumer；

consumer得到了预测值：类标签y；

基于差分隐私的借助第三方模型预测：

步骤C1：owner计算Encrypt(W_A)∈R^1*n并发送给Carol，Carol表示可信第三方，同时拥有consumer和owner的特征值X_B，X_A；

步骤C2：Carol计算

和

发送给consumer；

步骤C3：consumer计算

发送给Carol，Lap(0，1)表示拉普拉斯噪音：

步骤C4：Carol计算Encrypt(y)+Random发送给owner，Random是随机向量；

步骤C5：Owner计算y+Random＝D(Encrypt(y+Random))发送给Carol；

Carol得到最终的预测结果：类标签y。

2.根据权利要求1所述的一种基于同态加密的线性回归纵向联邦学习方法，其特征在于，步骤1中所述纵向联邦学习具体为：在两个数据集合中，用户相同而特征不同，将数据集进行纵向切割，取出双方用户相同而用户特征不完全相同的那部分数据进行训练，具体包括下述步骤：

步骤D1：无标签数据的参与方提供加密特征数据协助有标签数据的参与方进行梯度更新和模型参数更新；

步骤D2：有标签数据的参与方提供加密标签数据协助无标签数据的参与方进行梯度更新和模型参数更新；

步骤D3：D1-D2步骤进行迭代，直至纵向联邦学习模型收敛至某一阈值或者达到最大迭代次数。

3.根据权利要求1所述的一种基于同态加密的线性回归纵向联邦学习方法，其特征在于，步骤A1中，所述的同态加密算法Paillier具体为：

步骤E1：生成公私钥对，设p、q是两个满足要求的大素数，且N＝pq，

设

公钥pk＝(N，g)，其中N为公开模，而g为公开基；私钥sk＝λ(N)＝lcm(p-1，q-1)；

步骤E2：加密过程，对于任意密文c∈Z_n随机选择

得到密文c＝Encrypt_pk(m)＝g^mr^NmodN²，符号解释：N表示两质数pq的乘积，g为随机数，Z^*表示整数；

步骤E3：解密过程，对于任意密文c∈Z_n解密得明文：m＝D_sk(c)＝L(C^λ(N))modN²)/L(g)^λ(N)modN²)modN。

4.根据权利要求1所述的一种基于同态加密的线性回归纵向联邦学习方法，其特征在于，步骤C3中，所述的Lap(0，1)拉普拉斯噪音具体为：

步骤F1：若给定的某随机函数K在某相邻数据集D₁和D₂上的两个概率输出结果满足如下不等式，则随机函数K满足(∈，δ)-差分隐私；

P_r[K(D₁∈S)]≤exp(∈)P_r[K(D₂)∈S]+δ (1)

其中P_r表示概率，S表示数据范围，exp即自然质数函数，相邻数据集指的是至多相差一条记录的两个数据集，即一个数据集有另一个数据集增加或删除一条记录产生；式(1)中P_r[K(D₁∈S)]表示函数K在D₁上的输出在值域S(S∈Range(K))的概率，两个概率值的比小于等于e^∈，∈称为隐私预算或隐私参数，用来平衡隐私保护程度和数据的可用性；从式(1))可以看出，∈越小，两个概率值越趋向于一致，即单条记录的存在与否不影响输出结果，则隐私保护程度越高，相应地，数据可用性越低；同理∈越大，则隐私保护程度越低，而数据可用性越高；当∈＝0时，相邻数据集能够以一样的概率分布输出，当然就完全丧失了数据的可用性；

步骤F2：去掉δ并将式(1)变形可得，

Laplace机制：对于任意给定的查询函数f:D→R^d，若M(d)满足如下等式的输出结果，则以下Laplace机制满足∈-差分隐私；

在式(3)中，(Laplace(·)^d为d维的拉普拉斯分布；显示出，添加的噪声水平与Δf成正比，与隐私预算∈成反比，这符合预期。

Images