CN114726496A - 一种安全的应用于纵向联邦学习的特征选择方法 - Google Patents

Abstract

本发明提供一种安全的应用于纵向联邦学习的特征选择方法，本发明设计了一个通用的基于基尼系数的特征选择框架，并为该框架设计了两个定制的密码协议。其中一个协议建立在轻量级加法秘密共享技术之上，以保护隐私特征，但同时也引入了少量额外计算开销。另一个同时使用秘密共享和线性同态加密技术。本发明方案与纵向联邦学习中现有的大多数机器学习模型兼容，并可作为即插即用模块集成到现有的隐私保护的纵向联邦学习系统中，以进一步提高训练效率和模型准确率。

Description

一种安全的应用于纵向联邦学习的特征选择方法

技术领域

本发明涉及信息安全技术，特别涉及应用于纵向联邦学习的特征选择技术。

背景技术

随着电子病历的快速扩展，深度学习已经被应用于电子健康的各个领域，如预测疾病风险因素和辅助诊断医学影像。然而，医疗数据通常存在数据孤岛，这限制了其进一步应用的潜力。为了解决这个问题，作为一种隐私感知的分布式学习方法，联邦学习应运而生。它使多个医学机构能够在不需要集中所有医疗数据的情况下联合训练一个全局模型。一般来说，根据数据来划分，联邦学习可以分为横向联邦学习和纵向联邦学习。在电子健康应用中，数据通常是纵向分布的。换句话说，对于同一批患者，其标签(例如，诊断结果)和特征(例如，身体状况) 数据由不同的医疗机构持有。因此，我们将重点关注基于纵向联邦学习的电子健康应用。

尽管纵向联邦学习有许多优势，但各种研究表明，纵向联邦学习仍存在隐私泄露的风险。为了进一步保护参与方的隐私，最近有几项工作利用密码技术，例如安全多方计算和同态加密，设计了针对纵向联邦学习的隐私保护模型训练和预测方法。然而，这些工作很少考虑到数据预处理步骤；他们的假设是数据集已经过预处理，尤其是特征已经过评估和预选。在电子健康系统中，数据收集过程中数据空缺和有偏特征是很常见的，如果不正确处理将导致训练过程中收敛速度慢，甚至破坏模型的可用性。

据我们所知，以前的工作没有充分探索纵向联邦学习的隐私保护特征选择，只在在传统的分布式机器学习相关工作中存在少数解决方案。特别地，有一种方案提出了一种基于安全多方计算的协议，该协议用于外包多服务器环境中选择隐私保护特征。在该协议中，所有操作都是基于秘密共享进行的，这导致了大量的交互操作和极大的通信开销。另一种方案设计了一种基于中间表征的分布式特征选择方案，该方案中的方法不依赖于任何密码技术，并且需要向所有参与方广播所选择的特征，这一操作存在潜在的隐私安全风险。一般来说，由于效率和安全性的不足，以前的工作不能直接推广到纵向联邦学习。因此，有必要为纵向联邦学习设计一个高效的隐私保护特征选择协议。

据我们所知，以前的工作没有充分探索纵向联邦学习的隐私保护特征选择，只在在传统的分布式机器学习相关工作中存在少数解决方案。特别地，有一种方案提出了一种基于安全多方计算的协议，该协议用于外包多服务器环境中选择隐私保护特征。在该协议中，所有操作都是基于秘密共享进行的，这导致了大量的交互操作和极大的通信开销。另一种方案设计了一种基于中间表征的分布式特征选择方案，该方案中的方法不依赖于任何密码技术，并且需要向所有参与方广播所选择的特征，这一操作存在潜在的隐私安全风险。由于效率和安全性的不足，以前的工作不能直接推广到纵向联邦学习。

发明内容

本发明所要解决的技术问题是，提供一种高效的隐私保护的特征选择方法，它可以兼容现有的大多数纵向联邦学习模型体系结构。

本发明为解决上述技术问题所采用的技术方案是，一种安全的应用于纵向联邦学习的特征选择方法，

一种安全的应用于纵向联邦学习的特征选择方法，其特征在于，纵向联邦学习系统中包括拥有特征矩阵的机构A与拥有标签矩阵的机构B，其中，特征矩阵D＝(d_ij)_n×m，d_ij表示D中第i行第j列的元素，标签矩阵L_m×p，m、n、p分别表示样本数、特征数和标签数；机构A与机构B通过以下步骤实现特征选择：初始化步骤：

1)A计算每个特征i的平均值作为特征阈值θ_i，i＝1，2，...，n，

j＝1，2，...，m；

2)A通过比较每个d_ij和θ_i特征矩阵转换为二元的矩阵X_≤θ＝(x_ij)_n×m，当满足d_ij≤θ_i，则X_≤θ中的对应元素x_ij＝1；否则x_ij＝0。

3)A根据二元矩阵X_≤θ得到二元矩阵X_＞θ，X_＞θ＝1-X_≤θ；

4)A计算X_≤θ每一行中的元素1的个数

和X_＞θ中每一行中的元素1的个数

安全计算步骤：

1)A和B共同计算矩阵Z_≤θ＝X_≤θ×L与矩阵Z_＞θ＝X_＞θ×L；

2)A和B计算Z_≤θ和Z_＞θ每一行的点积得到n维向量z_≤θ和z_＞θ，并将z_≤θ和z_＞θ返回给A；

结果重构步骤：

1)A得到z_≤θ和z_＞θ后，计算利用x_≤θ、x_＞θ、z_≤θ和z_＞θ来计算特征得分 s＝[(x_≤θ-z_≤θ/x_≤θ)+(x_＞θ-z_＞θ/x_＞θ)]；

2)按单个特征的特征得分进行排序从而实现特征选择。

本发明设计了一个通用的基于基尼系数的特征选择框架，并为该框架设计了两个定制的密码协议。其中一个协议π_SS-FS建立在轻量级加法秘密共享技术之上，以保护隐私特征，但同时也引入了少量额外计算开销。

协议π_SS-FS中，A和B在进行安全计算时具体步骤如下：

1)A生成X_≤θ，X_＞θ的秘密分享[X_≤θ]，[X_＞θ]；B生成L的秘密分享[L]；A与 B分享将各自生成的秘密分享发送给对方；

2)A与B各自在本地计算矩阵[Z_≤θ]＝[X_≤θ]×[L]与矩阵[Z_＞θ]＝[X_＞θ]× [L]；

3)A与B各自在本地再计算向量

向量

B向A分享生成的[z_≤θ]和[z_＞θ]。

基于秘密共享技术的协议π_SS-FS需要O(nd)级别的通信开销(其中n表示样本的数量，d表示特征的数量)，这将导致带宽受限的参与方的所需成本很高。

为了缓解这个问题，我们进一步设计了一个同时使用秘密共享和线性同态加密技术的混合协议π_H-FS。该协议以适量的计算开销为代价，将通信开销减少了到O(d)级别。

协议π_H-FS中，A和B在进行安全计算时具体步骤如下：

1)B用其同态加密密钥对的公钥pk_b加密L得到

并发送给A；

2)A在本地计算矩阵

和矩阵

3)A随机生成两个矩阵[Z_≤θ]₁和[Z_＞θ]₁；

4)A在本地计算

和

并将

和

发送给B；

6)B对

和

用其同态加密密钥对的私钥sk_b进行解密得到 [Z_≤θ]₂和[Z_＞θ]₂；

7)A与B各自在本地计算向量

和向量

t＝{1，2}；B向A分享生成的[z_≤θ]₂和[z_＞θ]₂。

本发明的有益效果是：

针对纵向联邦学习提出了一个高效的保护隐私的特征选择方案，其中包括两种适用于不同场景的加密协议变体——π_SS-FS和π_H-FS。

本发明方案与纵向联邦学习中现有的大多数机器学习模型兼容，并可作为即插即用模块集成到现有的隐私保护的纵向联邦学习系统中，以进一步提高训练效率和模型准确率。

本发明方案在真实数据集上实现了高达27％的准确率提升。效率方面，协议π_SS-FS的计算量相对协议π_H-FS更少，而协议π_H-FS的优势在于通信开销更低。

具体实施方式

实施例为电子健康系统中的纵向联邦学习提出的一个基于基尼系数的通用的多方特征选择方法是基于一种分类和回归树算法。各个参与方首先联合计算每个特征的得分，以评估其预测能力，然后仅保留得分排名前K的特征。这里的特征是指每个电子健康系统中客户的各项病历数据。标签是指客户的诊断结果。

假设A是拥有一组客户的特征的医疗机构，B是拥有同一组客户的标签的另一个医疗机构。粗体大写字母D表示矩阵。粗体小写字母d表示向量。我们用D^j表示D的第j行，×是矩阵乘法运算。·，-，/是矩阵或向量的元素操作。设[X]₁和 [X]₂是X的两个分享值，我们用[X]来表示这两个份额，因为它们的计算是相同的。设(pk_b，sk_b)为B的用于同态加密的密钥对，用

表示用公钥pk_b加密的X的密文。|.|表示集合中元素个数。

1)定义特征的基尼系数得分Mean Split Gini(MS-GINI)：

假设集合S中有m个样本，每个样本包含n个特征和一个标签 (x1，...，xn，y)。假设F_j是具有连续值的第j个特征。基于最佳阈值θ将数据集分成两个子集。子集S_≤θ包含所有的第j个特征值小于等于θ的样本，S_＞θ则相反。为了方便起见，我们用F_j的平均值作为阈值θ来划分集合。此外，对于k∈[p]，集合L_k由标签值y＝k的样本组成，其中p是标签值的种类的数量。我们将特征F_j的Mean Split Gini(MS-GINI)得分定义为：

其中，S_≤θ的基尼系数G(S_≤θ)与S_＞θ的基尼系数G(S_＞θ)的计算方式如下：

其中，

表示第K个特征满足特征值x_k≤θ、标签值y＝k这两个条件的概率，

则与之相反。它们的定义如下：

原则上，Gini(F_j)根据第j个特征的值来估计随机选择的样本匹配不正确标签的可能性。Gini(F_j)越小，特征F_j越有用。

2)基于MS-GINI的特征选择框架：

框架包括三个步骤：初始化、安全计算和结果重构。首先，A有特征矩阵 D＝(d_ij)_n×m，d_ij表示D中第i行第j列的元素，B有标签矩阵L_m×p，其中m、 n、p分别表示样本数、特征数和标签数。L的每一行都以独热编码(one-hot)的形式表示一个样本的标签。输出是n维的特征得分向量。以下详细介绍了三个步骤：

·初始化：A在本地通过Init(D)计算得到X_≤θ，X_＞θ，x_≤θ，x_＞θ并输出。

具体步骤如下所示：

1)A首先计算每个特征i的平均值作为特征阈值θ_i，i＝1，2，...，n，

2)计算二元矩阵X_≤θ＝(x_ij)_n×m，j＝1，2，...，m，其中，

即A通过比较每个d_ij和θ_i，A将特征矩阵转换为二元的0-1矩阵X_≤θ，这意味着如果d_ij≤θ_i，则x_ij＝1；否则x_ij＝0。

3)根据二元矩阵X_≤θ得到二元矩阵X_＞θ，X_＞θ＝1-X_≤θ；即A通过对矩阵X_≤θ逐位取反，得到矩阵X_＞θ，这意味着当d_ij＞θ_i时二元矩阵X_＞θ中的元素x_ij＝1；

4)计算

即A统计X_≤θ和X_＞θ中每一行中的元素1的个数，得到向量x_≤θ和x_＞θ，其中x_≤θ中的第i个元素表示满足d_ij≤θ， j∈[m]的样本个数。x_＞θ中的元素取值为1的含义类似。

·安全计算：

1)A和B共同计算矩阵Z_≤0＝X_≤θ×L与矩阵Z_＞θ＝X_＞θ×L，其中，L为标签矩阵，Z_≤θ中的每个元素e_ij代表第i个特征值≤θ_i且标签值为j的样本数， Z_＞θ中元素每个元素e_ij代表第i个特征值＞θ_i且标签值为j的样本数。这一步是计算等式(3)中的分子。

2)A和B计算Z_≤0和Z_＞θ每一行的点积，并将n维向量z_≤θ和z_＞θ返回给A。

·结果重构：

1)A得到z_≤θ和z_＞θ。为了将数值计算转换成矩阵形式并计算最终特征分数，等式(1)可以表示如下：

上式中包含了与1/m的乘法。实施例在之后的计算中忽略它，因为它不会影响单个特征的得分的排序。

在具体进行安全计算时，实施例提出两种不同的n维向量z_≤θ和z_＞θ安全计算方式：

可选的，基于秘密分享π_SS-FS的特征选择步骤：

π_SS-FS使用了加法秘密共享技术，并获得了很高的计算效率。所有联合计算的乘法都是基于Beaver三元组完成的。π_SS-FS的输入包括特征矩阵D和标签矩阵 L；π_SS-FS的输出为征得分向量s，具体步骤如下：

1)A在本地执行初始化操作，即A在本地通过Init(D)计算得到X_≤θ，X_＞θ， x_≤θ，x_＞θ；

2)A生成X_≤θ，X_＞θ的秘密分享[X_≤θ]，[X_＞0]；B生成L的秘密分享[L]；A与 B分享将各自生成的秘密分享发送给对方；

3)A与B各自在本地计算[Z_≤θ]＝[X_≤θ]×[L]与矩阵[Z_＞θ]＝[X_＞θ]×[L]；

4)A与B各自在本地再计算

B向A分享生成的[z_≤θ]和[z_＞θ]；

4)A收到B发送的[z_≤θ]和[z_＞θ]并重构z_≤θ和z_≤θ；

5)A在本地计算特征得分向量s＝[(x_≤θ-z_≤θ/x_≤θ)+(x_＞θ-z_＞θ/x_＞θ)]。

因为安全计算步骤中基于加法秘密共享的计算与使用明文的计算处理方式是相同的，所以π_SS-FS仅增加少量的计算开销。

可选的，基于混合协议π_H-FS的特征选择步骤：

在协议π_SS-FS中，所有乘法运算都需要由Beaver三元组实现，这导致了大数据集的通信开销很高。为了解决这个问题，进一步提出了一个基于同态加密和秘密共享的混合安全特征选择协议π_H-FS。两个协议的区别在于安全计算步骤，π_H-FS的输入包括：B的同态加密密钥对{pk_b，sk_b}、特征矩阵D和标签矩阵L；π_SS-FS的输出为征得分向量s，具体步骤如下：

1)A在本地执行初始化操作，即A在本地通过Init(D)计算得到X_≤θ，X_＞θ， x_≤θ，x_＞θ；

2)B用公钥pk_b加密L得到

并发送给A；

3)A在本地计算

4)A随机生成两个矩阵[Z_≤θ]₁和[Z_＞θ]₁；

5)A在本地计算

和

并将

和

发送给B；

6)B对

和

使用私钥sk_b进行解密得到[Z_≤θ]₂和[Z_＞θ]₂；

7)A与B各自在本地计算

t＝{1，2}；B向A分享生成的[z_≤θ]₂和[z_＞θ]₂；

4)A收到B发送的[z_≤θ]₂和[z_＞θ]₂并重构z_≤θ和z_≤θ；

5)A在本地计算特征得分向量s＝[(x_≤θ-z_≤θ/x_≤θ)+(x_＞θ-z_＞θ/x_＞θ)]。

具体来说，B拥有一对同态加密密钥{pk_b，sk_b}，并用来加密L得到

然后B向A发送

在计算

使用基于同态BFV的乘法运算，可以由A本地执行，从而著降低通信开销。同时，因为矩阵X_≤θ和X_＞θ是二元的 0-1矩阵，所以此处的矩阵乘法本质上是矩阵元素的加法。矩阵Z_≤θ和Z_＞θ的大小为n×p，比大小为n×m的X_≤θ和X_＞θ小得多，需要秘密分享时的

和

以及遵循基于秘密共享的矩阵乘法[z_≤θ]₂和[z_＞θ]₂的通信开销是可接受的。

Claims (3)

1.一种安全的应用于纵向联邦学习的特征选择方法，其特征在于，纵向联邦学习系统中包括拥有特征矩阵的机构A与拥有标签矩阵的机构B，其中，特征矩阵D＝(d_ij)_n×m，d_ij表示D中第i行第j列的元素，标签矩阵L_m×p，m、n、p分别表示样本数、特征数和标签数；机构A与机构B通过以下步骤实现特征选择：初始化步骤：

1)A计算每个特征i的平均值作为特征阈值θ_i，i＝1,2,…,n，

2)A通过比较每个d_ij和θ_i特征矩阵转换为二元的矩阵X_≤θ＝(x_ij)_n×m，当满足d_ij≤θ_i，则X_≤θ中的对应元素x_ij＝1；否则x_ij＝0。

3)A根据二元矩阵X_≤θ得到二元矩阵X_>θ，X_>θ＝1-X_≤θ；

4)A计算X_≤θ每一行中的元素1的个数

和X_>θ中每一行中的元素1的个数

安全计算步骤：

1)A和B共同计算矩阵Z_≤θ＝X_≤θ×L与矩阵Z_>θ＝X_>θ×L；

2)A和B计算Z_≤θ和Z_>θ每一行的点积得到n维向量z_≤θ和z_>θ，并将z_≤θ和z_>θ返回给A；

结果重构步骤：

1)A得到z_≤θ和z_>θ后，计算利用x_≤θ、x_>θ、z_≤θ和z_>θ来计算特征得分s＝[(x_≤θ-z_≤θ/x_≤θ)+(x_>θ-z_>θ/x_>θ)]；

2)按单个特征的特征得分进行排序从而实现特征选择。

2.如权利要求1所述方法，其特征在于，A和B在进行安全计算时具体步骤如下：

1)A生成X_≤θ，X_>θ的秘密分享[X_≤θ]，[X_>θ]；B生成L的秘密分享[L]；A与B分享将各自生成的秘密分享发送给对方；

2)A与B各自在本地计算矩阵[Z_≤θ]＝[X_≤θ]×[L]与矩阵[Z_>θ]＝[X_>θ]×[L]；

3)A与B各自在本地再计算向量

向量

B向A分享生成的[z_≤θ]和[z_>θ]。

3.如权利要求1所述方法，其特征在于，A和B在进行安全计算时具体步骤如下：

1)B用其同态加密密钥对的公钥pk_b加密L得到

并发送给A；

2)A在本地计算矩阵

和矩阵

3)A随机生成两个矩阵[Z_≤θ]₁和[Z_>θ]₁；

4)A在本地计算

和

并将

和

发送给B；

6)B对

和

用其同态加密密钥对的私钥sk_b进行解密得到[Z_≤θ]₂和[Z_>θ]₂；

7)A与B各自在本地计算向量

和向量

B向A分享生成的[z_≤θ]₂和[z_>θ]₂。