CN113688408B - 一种基于安全多方计算的最大信息系数方法 - Google Patents

Abstract

本发明公开了一种基于安全多方计算的最大信息系数方法，数据提供方将特征数据离散在二维坐标系中，将当前二维坐标系划分为网格区域，将特征数据在网格区域中的位置分布形成编码矩阵并且加密发送给数据应用方。数据应用方根据编码矩阵的密文和标签矩阵在网格区域中的位置分布得出网格区域内数据点分布个数的密文，发送给数据提供方解密计算出数据点在每个区域的分布频率，从而得出最大信息系数。该方法由编码矩阵的密文矩阵代替实际数据的密文矩阵发送给数据应用方，保证了数据不离开本地，增强了数据隐私保护。

Description

一种基于安全多方计算的最大信息系数方法

技术领域

本发明属于联邦学习特征提取领域，特别涉及一种基于安全多方计算的最大信息系数方法。

背景技术

安全多方计算最早由姚期智教授提出，是指两个或多个参与者联合进行的保密计算，计算结束后，各个参与者除了得到既定的输出结果外，其输入信息没有任何泄露。因此，该技术被广泛应用于联邦学习研究中。目前，联邦学习的整体过程包括收集数据，对数据进行预处理，特征工程，联邦训练模型以及发布联邦模型进行联邦预测，其中特征工程是联邦学习中最为重要的一部分。联邦学习(Faderated Learning,即FL)由于能够在无需多方数据源聚合的场景下协同训练全局最优模型，近年来迅速成为安全机器学习领域的研究热点。纵向联邦学习在两个数据集的用户重叠较多而用户特征重叠较少的情况下，把数据集按照纵向切分(即特征维度)，并取出双方用户相同而用户特征不完全相同的部分进行训练。在大量数据训练过程中，数据的预处理称为必不可少的环节，由此，特征工程是联邦学习中最重要的环节之一。

在进行特征选择时，利用最大信息系数MIC值(Maximal informationcoefficient,MIC)来衡量两个变量之间的关联程度，线性或非线性强度，相较于互信息(Mutual Information,MI)而言有更高的准确度，是一种优秀的数据关联性计算方式。在计算MIC值的时候将两个变量离散在二维空间中，并且使用散点图来表示，将当前二维空间在x,y方向分别划分为一定的区间数，然后查看当前的散点在各个方格中落入的情况，计算联合概率。然后利用联合概率计算MIC值。

发明内容

为了提高建模效果，联邦学习在特征工程阶段，需要评估变量的相关性进行特征处理。最大信息系数用于衡量变量之间的相关性，最大信息系数由特征数据分布频率计算得出。但是在联邦学习中，数据提供方大多数只拥有一个变量X,缺少变量Y,其他的数据提供方或者数据应用方拥有变量Y,因此需要数据提供方提供足够的信息给数据应用方，用于联合计算。发明的目的是提供一种基于安全多方计算的最大信息系数方法，能够提升联邦学习特征工程阶段对数据隐私的保护。该方法由编码矩阵的密文矩阵代替实际数据的密文矩阵发送给数据应用方，保证了数据不离开本地，提高了数据隐私安全性。

实现本发明目的的具体技术方案是：

一种基于安全多方计算的最大信息系数方法，其具体步骤：

步骤1：数据提供方将特征数据X＝{x₁,...,x_n}离散化到二维坐标系中，对该二维坐标系进行i行j列的网格划分，得到i×j个网格区域，特征数据离散分布在划分好的网格区域中；

步骤2：数据提供方以特征数据为行标签，以网格区域个数为列标签，初始化一个编码矩阵C，按列遍历编码矩阵，将分布在第s个区域的特征数据x_r,r∈[1,n]对应编码矩阵的元素记为C_rs＝1，若不在该网格区域中则对应编码矩阵的元素记为C_rs＝0；

步骤3：数据提供方通过同态加密系统生成一对公钥、私钥，将特征数据的编码矩阵C通过公钥加密，得到特征数据编码矩阵的密文矩阵E(C)，并将密文矩阵E(C)发送给数据应用方；

步骤4：数据应用方将标签矩阵Y＝{y₁,...,y_n}离散到步骤1划分好的网格区域中，得出标签数据Y的分布位置，结合密文矩阵E(C)，得出网格区域中特征数据(X,Y)对应的数据点(x_n,y_n)的位置分布矩阵E(P)，对位置分布矩阵E(P)的每列数据求和，得出每个网格区域内分布的特征数据个数的密文，将所有网格区域的特征数据个数的密文发送给数据提供方；其中，所述特征数据个数的密文形式：若分布在第s,s∈(i×j)个网格区域的特征数据个数的密文为sum(E(C_s))；

步骤5：数据提供方使用步骤3同态加密系统生成的私钥解密每个网格区域的特征数据个数的密文，根据解密后得到的每个网格区域内特征数据个数，计算特征数据在网格区域的分布频率，利用分布频率计算互信息值；

步骤6：i,j从小到大取区间[2,n^0.3]的值，重复步骤1-5，多次划分二维坐标系，得出每种划分方案的互信息值，排序得出最大互信息值，代入最大信息系数的计算公式得出最大信息系数，从而根据计算出的最大信息系数进行联邦学习特征工程的特征预处理。

步骤1所述网格区域，是对二维坐标系进行横向划分和纵向划分，横向相邻的两条线和纵向相邻的两条线之间形成的区域就是网格区域。

步骤2所述的编码矩阵阵C，不包含特征数据的实际数值，只包含特征数据是否分布于该网格区域0、1编码。

步骤3所述的同态加密系统，利用该同态加密系统公钥加密后的数据，具有加法同态性，即数据通过该同态加密系统生成的公钥加密得出的密文相乘后解密的结果与明文下数据相加的结果相同，利用公式表示如下：

E(m₁)·E(m₂)＝E(m₁+m₂)

其中，m₁,m₂表示明文数据，E(m₁),E(m₂)表示m₁,m₂的密文，E(m₁+m₂)表示数据m₁+m₂的密文。

步骤4所述位置分布矩阵E(P)，是由标签数据Y在网格区域中的位置分布与特征数据X编码矩阵的密文矩阵E(C)中对应区域的编码求交集得出。

步骤4所述每个网格区域内分布的特征数据个数的密文，依据所述加法同态性，对位置分布矩阵E(P)每列数据求和而得，所得每个网格区域特征个数的密文发送给数据提供方，避免数据提供方的数据泄露。

步骤5所述分布频率由每个网格区域内分布的数据个数和数据总数得出，所述最大互信息值根据每个区域特征数据分布频率计算得出。

步骤6所述i,j从小到大取区间[2,n^0.3]的值，其中，区间中2表示二维坐标系横(纵)向划分区域最少为2个区域，横(纵)向划分区域最多为数据点总数n的0.3次方。

数据提供方将特征数据的分布利用编码思想进行编码，得到特征数据的编码矩阵，使用加密系统对编码矩阵进行加密，将编码密文矩阵发送给数据应用方。不会泄露数据的具体数值和数据在不同区域的分布情况，数据提供方避免了向其他参与该协议的数据提供方和参与该协议的数据应用方泄露特征数据。相比于其他直接加密特征数据，由数据应用方解密的隐私保护方法，本发明的方法保证数据不离开本地，由编码矩阵的密文矩阵代替实际数据的密文矩阵发送给数据应用方，数据安全性更高。

附图说明

图1为本发明实施例流程图；

图2为本发明最大信息系数计算流程图。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。

参阅图2，本发明包括以下具体步骤：

在进行特征选择的过程中，会通过计算最大信息系数值来选取特征。将特征数据离散到二维坐标系中，对特征构成的散点图进行划分网格区域，分别计算每个网格化方案对应的互信息值，从而求出最大信息系数值，找出使互信息值最大的网络化方案。例如i＝2,j＝2划分二维坐标系分为四个区域：第Ⅰ象限(左上区域)、第Ⅱ象限(右上区域)、第Ⅲ象限(左下区域)、第Ⅳ象限(右下区域)。数据点总数为n，将特征数据离散化到二维坐标系中，每个区域对应的数据点数量为sum_I,sum_II,sum_III,sum_IV，根据统计得出每个区域数据点个数，结合数据点总数，得出不同区域的数据点频率p_I,p_II,p_III,p_IV，左右区域数据点频率为p_I,III,p_II,IV，上下区域数据点频率为p_I,II,p_III,IV。

根据每个区域的数据点分布频率得出互信息值，通过互信息值带入最大信息系数计算公式，得出最大信息系数；最大信息系数MIC(D)计算公式如下：

其中，D表示数据点集，I^*(D,X,Y)表示数据集的互信息值，最大互信息值为：max(I^*(D,X,Y))，特征数据X，标签数据Y，最小联合概率log(min(X,Y))。

假设特征值矩阵X＝{x₁,x₂,x₃,...,x_n}和特征标签矩阵Y＝{y₁,y₂,y₃,...,y_n}，只需要得到对应的(x_i,y_i)在对应的哪个象限下就可以进行计算。数据应用方拥有特征矩阵X和标签矩阵Y，很容易计算自己的最大信息系数值，但是数据提供方只有特征矩阵X，所以需要借助数据应用方的标签矩阵Y进行计算。详细的算法描述如下：

数据提供方特征矩阵为X＝{x₁,x₂,x₃,x₄}Y＝{y₁,y₂,y₃,y₄}，取i＝2,j＝2将二维坐标系划分为四个区域I、II、III、IV，使用(E_xi,E_yi)表示数据点位置分布，y轴方向上得界线为h，x轴方向上界线为v，则划分为四个区域后，x，y轴方向分别有一条界线。约定x_i<h则数据点分布在区域I,III，则数据点位置编码为E_xi＝E(1)，若x_i>h则数据点分布在区域II,IV，则数据点位置编码为E_xi＝E(0)；约定y_i<v则数据点分布在区域I,II，则数据点位置编码E_yi＝E(1)，那么，y_i>v则数据点分布在区域III,IV，则数据点位置编码E_yi＝E(0)。

数据拥有方根据不同区域的数据点编码结果连接成编码矩阵，并且将编码矩阵加密得到编码密文矩阵，将该密文矩阵发送给数据应用方；

例如X＝{x₁,x₂,x₃,x₄}＝{3,6,9,2}，h＝5，则得出的编码矩阵E(C)为下表：

	区域I	区域II	区域III	区域IV
					<![CDATA[x<sub>1</sub>]]>	E(1)	E(0)	E(1)	E(0)
<![CDATA[x<sub>2</sub>]]>	E(0)	E(1)	E(0)	E(1)
					<![CDATA[x<sub>3</sub>]]>	E(0)	E(1)	E(0)	E(1)
<![CDATA[x<sub>4</sub>]]>	E(1)	E(0)	E(1)	E(0)

然后数据应用方根据得到的编码矩阵，和数据应用方的标签矩阵Y，计算每个区域内数据点的个数，以区域I为例，区域I内数据点总数计算公式如下：

其他区域II、III、IV的数据点个数同理计算可得，分别为sum_II,sum_III,sum_IV。例如Y＝{y₁,y₂,y₃,y₄}＝{0.5，9，0.3,1}，v＝5，则根据特征数据X的编码矩阵E(C)，可以得出数据点对应的区域位置的矩阵，从而计算出每个区域的数据点个数，得出的数据点分布区域矩阵E(P)如下：

	区域I	区域II	区域III	区域IV
					<![CDATA[(x<sub>1</sub>,y<sub>1</sub>)]]>	E(1)	E(0)	E(0)	E(0)
<![CDATA[(x<sub>2</sub>,y<sub>2</sub>)]]>	E(0)	E(0)	E(0)	E(1)
					<![CDATA[(x<sub>3</sub>,y<sub>3</sub>)]]>	E(0)	E(1)	E(0)	E(0)
<![CDATA[(x<sub>4</sub>,y<sub>4</sub>)]]>	E(1)	E(0)	E(0)	E(0)
					SUM	E(2)	E(1)	E(0)	E(1)

特征数据X联合特征标签Y得出数据点分布位置矩阵，其中X,Y的映射关系为，如果y_i>r则数据点分布在划分线r的上方，将特征数据X的编码矩阵中，位于划分线R上方区域对应的编码写入数据点编码矩阵中，其他位置填充E(0)，得到数据点的区域编码矩阵后，依据同态加密系统的加法同态性，计算每列的和记为该区域的数据点个数的密文。将每个区域的数据点个数密文E(sum_I),E(sum_II),E(sum_III),E(sum_IV)发送给数据提供方。

数据提供方解密每个区域的数据点个数，得到每个区域数据点个数sum_I,sum_II,sum_III,sum_IV根据频率公式得出数据点分布频率矩阵，网格区域内分布得数据点频率计算公式如下：

其他区域数据点频率同理计算得出，分别为p_II,p_III,p_IV。根据数据点分布频率计算互信息值I^*(D,X,Y)，取不同的i,j值，其中i,j∈[2,n^0.3]，多次划分二维坐标系，得到每种划分方案的互信息值I^*(D,X,Y)，排序得出最大互信息值max(I^*(D,X,Y))和最小联合概率log(min(X,Y))，计算公式如下：

log(min(X,Y))＝log(min(p_I,III,p_II,IV))                    (5)

将公式(3)、(4)、(5)所得数据带入最大信息系数计算公式(1)中，得到最大信息系数MIC(D)。

实施例

以联邦学习特征处理筛选过程为例，对基于安全多方计算的最大信息系数方法步骤进行具体说明：

基于安全多方计算的最大信息系数的发明方法中，计算流程图如图1所示。

定义特征工程求最大信息系数的隐私计算系统属性，只需要知道给定i,j，对两列特征X,Y构成的散点图进行i列j行的网格化，从而求出最大信息系数值。取i＝2,j＝2将二维坐标系划分为的四个象限，以划分界线h＝5,v＝5为例，x<5分布在1、3象限，记作E(1)，反之在2、4象限，记作E(0)；y<5分布在1、2象限，记作E(1)，反之分布在3、4象限，记作E(0)；

例如X＝{x₁,x₂,x₃,x₄}＝{3,6,9,2}，Y＝{y₁,y₂,y₃,y₄}＝{0.5，9，0.3,1}，以网格线x＝5,y＝5为网格线划分，数据提供方数据点为x_i＝3,y_i＝0.5，对于x_i＝3<5,所以x_i属于1、3象限，并且对应第1、3象限记作E(1)，第2、4象限记作E(0)。数据提供方将位置编码矩阵发送给数据应用方，数据应用方根据特征数据X编码矩阵E(C)和标签矩阵Y在划分区域中的位置分布得出数据点分布位置编码矩阵，根据加法同态性，求每列的和，得出每个区域数据点个数的密文，发送给数据提供方。

数据提供方进行解密后，第1象限数据点数量为2，第2象限数据点数量为1，第3象限数据点数量为0，第4象限数据点数量为1，数据点总数为4，,根据不同象限的数据点分布频率代入计算公式可以得出最大信息系数值。

Claims (8)

1.一种基于安全多方计算的最大信息系数方法，其特征在于，其具体步骤：

步骤1：数据提供方将特征数据X＝{x₁,...,x_n}离散化到二维坐标系中，对该二维坐标系进行i行j列的网格划分，得到i×j个网格区域，特征数据离散分布在划分好的网格区域中；

步骤2：数据提供方以特征数据为行标签，以网格区域个数为列标签，初始化一个编码矩阵C，按列遍历编码矩阵，将分布在第s个区域的特征数据x_r,r∈[1,n]对应编码矩阵的元素记为C_rs＝1，若不在该网格区域中则对应编码矩阵的元素记为C_rs＝0；

步骤3：数据提供方通过同态加密系统生成一对公钥、私钥，将特征数据的编码矩阵C通过公钥加密，得到特征数据编码矩阵的密文矩阵E(C)，并将密文矩阵E(C)发送给数据应用方；

步骤4：数据应用方将标签矩阵Y＝{y₁,...,y_n}离散到步骤1划分好的网格区域中，得出标签数据Y的分布位置，结合密文矩阵E(C)，得出网格区域中特征数据(X,Y)对应的数据点(x_n,y_n)的位置分布矩阵E(P)，对位置分布矩阵E(P)的每列数据求和，得出每个网格区域内分布的特征数据个数的密文，将所有网格区域的特征数据个数的密文发送给数据提供方；其中，所述特征数据个数的密文形式：若分布在第s,s∈(i×j)个网格区域的特征数据个数的密文为sum(E(C_s))；

步骤5：数据提供方使用步骤3同态加密系统生成的私钥解密每个网格区域的特征数据个数的密文，根据解密后得到的每个网格区域内特征数据个数，计算特征数据在网格区域的分布频率，利用分布频率计算互信息值；

步骤6：i,j从小到大取区间[2,n^0.3]的值，重复步骤1-5，多次划分二维坐标系，得出每种划分方案的互信息值，排序得出最大互信息值，代入最大信息系数的计算公式得出最大信息系数。

2.根据权利要求1所述的一种基于安全多方计算的最大信息系数方法，其特征在于，步骤1所述网格区域，是对二维坐标系进行横向划分和纵向划分，横向相邻的两条线和纵向相邻的两条线之间形成的区域就是网格区域。

3.根据权利要求1所述的一种基于安全多方计算的最大信息系数方法，其特征在于，步骤2所述的编码矩阵C，不包含特征数据的实际数值，只包含特征数据是否分布于该网格区域0、1编码。

4.根据权利要求1所述的一种基于安全多方计算的最大信息系数方法，其特征在于，步骤3所述的同态加密系统，利用该同态加密系统公钥加密后的数据，具有加法同态性，即数据通过该同态加密系统生成的公钥加密得出的密文相乘后解密的结果与明文下数据相加的结果相同，利用公式表示如下：

E(m₁)·E(m₂)＝E(m₁+m₂)

其中，m₁,m₂表示明文数据，E(m₁),E(m₂)表示m₁,m₂的密文，E(m₁+m₂)表示数据m₁+m₂的密文。

5.根据权利要求1所述的一种基于安全多方计算的最大信息系数方法，其特征在于，步骤4所述位置分布矩阵E(P)，是由标签数据Y在网格区域中的位置分布与特征数据X编码矩阵的密文矩阵E(C)中对应区域的编码求交集得出。

6.根据权利要求1所述的一种基于安全多方计算的最大信息系数方法，其特征在于，步骤4所述每个网格区域内分布的特征数据个数的密文，依据加法同态性，对位置分布矩阵E(P)每列数据求和而得，所得每个网格区域特征个数的密文发送给数据提供方，避免数据提供方的数据泄露。

7.根据权利要求1所述的一种基于安全多方计算的最大信息系数方法，其特征在于，步骤5所述分布频率由每个网格区域内分布的数据个数和数据总数得出，所述最大互信息值根据每个区域特征数据分布频率计算得出。

8.根据权利要求1所述的一种基于安全多方计算的最大信息系数方法，其特征在于，步骤6所述i,j从小到大取区间[2,n^0.3]的值，其中，区间中2表示二维坐标系横(纵)向划分区域最少为2个区域，横(纵)向划分区域最多为数据点总数n的0.3次方。

Images