CN115329369B - 基于多方纵向隐私保护和逻辑回归的模型联合构建方法 - Google Patents

基于多方纵向隐私保护和逻辑回归的模型联合构建方法 Download PDF

Info

Publication number
CN115329369B
CN115329369B CN202210900706.8A CN202210900706A CN115329369B CN 115329369 B CN115329369 B CN 115329369B CN 202210900706 A CN202210900706 A CN 202210900706A CN 115329369 B CN115329369 B CN 115329369B
Authority
CN
China
Prior art keywords
client
model
logistic regression
mask
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210900706.8A
Other languages
English (en)
Other versions
CN115329369A (zh
Inventor
夏家骏
谭博予
张珣
夏长达
张子扬
张佳辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Light Tree Technology Co ltd
Original Assignee
Shanghai Light Tree Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Light Tree Technology Co ltd filed Critical Shanghai Light Tree Technology Co ltd
Priority to CN202210900706.8A priority Critical patent/CN115329369B/zh
Publication of CN115329369A publication Critical patent/CN115329369A/zh
Application granted granted Critical
Publication of CN115329369B publication Critical patent/CN115329369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多方纵向隐私保护和逻辑回归的模型联合构建方法，属于数据隐私保护技术领域。本发明本发明只在服务端生成一次公私钥，相比较现有的基于Paillier同态加密的多方纵向隐私保护逻辑回归算法在每个客户端生成公私钥，并利用所有客户端的公私钥进行加密运算，在Pailier密钥长度均为512时，每轮联合逻辑回归建模的速度快了接近一倍，使得多方联合建模不再局限于两方。对联邦模型的梯度作了保护，每个客户端仅发送本地计算的部分模型梯度给服务端，使得服务端不仅不知晓每个客户端的所有数据，同时也不能准确判断模型每次更新时的梯度，保护了各客户端的原始数据不泄露。

Description

基于多方纵向隐私保护和逻辑回归的模型联合构建方法
技术领域
本发明涉及数据秘密保护技术领域，具体涉及一种基于纵向隐私保护和逻辑回归的模型联合构建方法。
背景技术
现有的多方纵向隐私保护的逻辑回归算法主要基于同态加密或基于秘密共享实现，其中基于Paillier同态加密的多方纵向隐私保护逻辑回归算法更受欢迎。基于Paillier同态加密的多方纵向隐私保护逻辑回归算法的原理为：
每一方需要各自拥有一套Paillier公私钥，各种计算操作会在每套公钥加密后的密文上执行一次。举例而言，两方情形下，数据需要用己方的公钥和对方的公钥各加密一次，由于计算分别由两个计算方执行，因此额外增加的运算时间可忽略不计。但当拓展到N方时，各方的私有数据需要用其他N-1方的公钥进行加密运算，运算量将增加N-1倍，当N数值较大时，运算时间将大幅增加，会严重影响联邦学习的效率。因此，基于Paillier同态加密的多方纵向隐私保护逻辑回归算法通常只对两方有效，难以拓展到多方。
发明内容
本发明以支持多方联合建模而不再局限于两方，并提高联邦学习效率为目的，提供了一种基于多方纵向隐私保护和逻辑回归的模型联合构建方法。
为达此目的，本发明采用以下技术方案：
提供一种基于多方纵向隐私保护和逻辑回归的模型联合构建方法，步骤包括：
S1，联邦学习框架下的服务端生成公钥pk和私钥sk并存储，并将所述公钥pk发送给参与联邦学习的各客户端；
S2，所述服务端对每个所述客户端发送的在本地计算的部分模型梯度beta_i进行聚合，得到聚合梯度beta_agg，然后利用所述公钥pk对beta_agg进行加密，并将加密后的[[beta_agg]]pk发送给每个所述客户端；
S3,每个所述客户端计算[[beta_agg]]pk下的梯度[[grad_i]]pk，并加上随机掩码mask_i后将加密结果[[gradi+mask_i]]pk发送给所述服务端，并在本地存储所述随机掩码mask_i；
S4，所述服务端使用所述私钥sk解密[[gradi+mask_i]]pk，并将解密结果[gradi+mask_i]发送给对应的所述客户端；
S5，每个所述客户端使用本地存储的所述随机掩码mask_i对所述解密结果[gradi+ mask_i]作mask_i匹配，过滤掉mask_i后得到明文梯度gradi以更新本地模型。
作为优选，所述服务端基于Paillier同态加密算法生成所述公钥pk和所述私钥sk。
作为优选，作为联邦学习任务发起方的所述客户端发送给所述服务端作梯度聚合的所述部分模型梯度beta_i通过以下表达式(1)表达：
表达式(1)中，yi表示作为所述任务发起方的客户端A在本地训练逻辑回归模型的样本XAi的真实值；
uAi表示所述客户端A训练的所述逻辑回归模型作线性回归的假设函数，uAi的计算通过以下表达式(2)表达：
表达式(2)中，表示θA的转置，θA为所述客户端A本地训练的所述逻辑回归模型的参数；
XAi表示所述客户端A进行本地模型训练的第i个样本。
作为优选，作为联邦学习任务接受方的所述客户端发送给所述服务端作梯度聚合的所述部分模型梯度beta_i通过以下表达式(3)表达：
表达式(3)中，uMi表示作为所述任务接收方的客户端M本地训练的逻辑回归模型作线性回归的假设函数，uMi通过以下表达式(4)表达：
表达式(4)中，表示θM的转置，θM为所述客户端M本地训练的所述逻辑回归模型的参数；
XMi表示所述客户端A进行本地模型训练的第i个样本。
本发明具有以下有益效果：
1、本发明只在服务端生成一次公私钥，相比较现有的基于Paillier同态加密的多方纵向隐私保护逻辑回归算法在每个客户端生成公私钥，并利用所有客户端的公私钥进行加密运算，在Pailier密钥长度均为512时，每轮联合逻辑回归建模的速度快了接近一倍，使得多方联合建模不再局限于两方。
2、对联邦模型的梯度作了保护，每个客户端仅发送本地计算的部分模型梯度给服务端，使得服务端不仅不知晓每个客户端的所有数据，同时也不能准确判断模型每次更新时的梯度，保护了各客户端的原始数据不泄露。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的基于多方纵向隐私保护和逻辑回归的模型联合构建方法的流程示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本发明的技术方案。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本专利的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若出现术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
在本发明的描述中，除非另有明确的规定和限定，若出现术语“连接”等指示部件之间的连接关系，该术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个部件内部的连通或两个部件的相互作用关系。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
假设多方为三方，带有样本标签的任务发起方为A，无标签的任务接受方为B、C，A、B、C在联邦学习框架下实现本实施例提供的基于多方纵向隐私保护和逻辑回归的模型联合构建方法的算法原理和具体流程如下：
【算法原理】
假设任务发起方A携带的样本数据为XA和y，y∈{-1,+1}，1、-1为数据XA的样本标签， 1表示正样本，-1表示负样本；B的数据为XB；C的数据为XC，B、C不带样本标签，假设样本已经对齐。若逻辑回归模型的参数为θ，令θT为θ的转置，则逻辑回归模型的输出值为利用统计学中极大似然估计的想法，将优化目标确定为最小化“负对数似然函数”，即： 将目标函数(也是损失函数)在原点处进行Taylor二阶展开，有 记 则损失函数和客户本地模型的梯度计算公式分别为：
可以看出，其中的共同因子
【具体流程】
如图1所示，本实施例提供的基于多方纵向隐私保护和逻辑回归的模型联合构建方法，包括步骤：
S1，联邦学习框架下的服务端(Server)基于Paillier同态加密算法生成公钥pk和私钥 sk并存储，并将公钥pk发送给参与联邦学习的各客户端(包括任务发起方和任务接受方)进行存储；
S2，服务端对每个客户端发送的在本地计算的部分模型梯度beta_i进行聚合，得到聚合梯度beta_agg，然后利用公钥pk对beta_agg进行加密，并将加密后的[[beta_agg]]pk发送给每个客户端；
为了确保服务端不知晓客户端的所有数据，本实施例对联邦模型的梯度进行了保护，即客户端只发送本地计算的部分模型梯度给服务端，服务端便无法知晓各客户的本地模型每次更新时的梯度。
作为优选，作为联邦学习任务发起方的客户端发送给服务端作梯度聚合的部分模型梯度 beta_i通过以下表达式(1)表达：
表达式(1)中，yi表示作为任务发起方的客户端A利用本地训练的逻辑回归模型对输入样本XAi的预测输出值；
uAi表示客户端A训练的逻辑回归模型作线性回归的假设函数，uAi的计算通过以下表达式 (2)表达：
表达式(2)中，表示θA的转置，θA为客户端A本地训练的逻辑回归模型的参数；
XAi表示客户端A进行本地模型训练的第i个样本。
作为优选，作为联邦学习任务接受方的客户端发送给服务端作梯度聚合的部分模型梯度 beta_i通过以下表达式(3)表达：
表达式(3)中，uMi表示作为任务接收方的客户端M(本实施例中M为客户端A和B)本地训练的逻辑回归模型作线性回归的假设函数，uMi通过以下表达式(4)表达：
表达式(4)中，表示θM的转置，θM为客户端M本地训练的逻辑回归模型的参数；
XMi表示客户端A进行本地模型训练的第i个样本。
S3，每个客户端计算[[beta_agg]]pk下的梯度[[grad_i]]pk(客户端使用公钥pk计算梯度 [[grad_i]]pk，由于[[grad_i]]pk的具体计算方法并非本发明请求权利保护的范围，因此具体过程不做说明)，并加上随机掩码mask_i后将加密结果[[gradi+mask_i]]pk发送给服务端，并在本地存储随机掩码mask_i；
加入随机掩码提高了其他客户端破解gradi的难度，提高了数据传输的安全性。
S4，服务端使用私钥sk解密[[gradi+mask_i]]pk，并将解密结果[gradi+mask_i]发送给对应的客户端；
这里需要强调的是，客户端是无法对密文进行解密的，这样做的目的是减少客户端加解密计算量，使得本发明实施例提供的基于多方纵向隐私保护和逻辑回归的模型联合构建方法更容易拓展到多方。
S5，每个客户端使用本地存储的随机掩码mask_i对所述解密结果[gradi+mask_i]作 mask_i匹配，过滤掉mask_i后得到明文梯度gradi以更新本地模型。
这里需要说明的是，客户端无法直接利用密文[[grad_i]]pk更新本地模型，需要对[[grad_i]]pk进行解密后得到明文梯度gradi后才能更新模型，但解密过程若放在客户端，会增加客户端的加解密时，当参与联邦学习的客户端数量庞大时，模型整体的训练效率由于众多数量的客户端在本地解密需要消耗较长时间而受到影响，因此本实施例将梯度解密统一放在服务端，但不可避免的增加了客户端和服务端间的信息交互，为了提高信息交互时的数据传输安全性，在步骤S3中，直接在密文[[beta_agg]]pk下计算梯度[[grad_i]]pk，并在 [[grad_i]]pk中加入了随机掩码mask_i，通过对[[beta_agg]]pk不解密+加入随机掩码的方式，给数据传输添加了双重隐私保护。
需要强调的是，本实施例提供的基于多方纵向隐私保护和逻辑回归的模型联合构建方法只在服务端生成一次公私钥，各客户端除在步骤S3中加入随机掩码外，不参与其他的加解密过程，相比较现有的基于Paillier同态加密的逻辑回归算法中各方分别持有一套公私钥进行数据加解密的方法，运算量大幅降低，提高了联合模型训练的效率，使得本发明针对多方同样有效，破除了现有的基于Paillier同态加密的逻辑回归算法通常只对两方有效的局限。下表a示出了在Paillier密钥长度均为512且模型训练参数相同时，本发明提供的模型联合构建方法与传统的各客户端各自拥有一套公私钥的基于Paillier同态加密的逻辑回归算法的模型训练速度对比数据：
表a
由上表a可知，使用本实施例提供的通过服务端加解密的模型联合构建方法的效率相比传统的客户端参与加解密的模型联合构建方法训练模型的效率提升了近一倍，验证了本发明对提升联合模型训练速度的有效性。
需要声明的是，上述具体实施方式仅仅为本发明的较佳实施例及所运用技术原理。本领域技术人员应该明白，还可以对本发明做各种修改、等同替换、变化等等。但是，这些变换只要未背离本发明的精神，都应在本发明的保护范围之内。另外，本申请说明书和权利要求书所使用的一些术语并不是限制，仅仅是为了便于描述。

Claims (4)

1.一种基于多方纵向隐私保护和逻辑回归的模型联合构建方法，其特征在于，步骤包括：
S1，联邦学习框架下的服务端生成公钥pk和私钥sk并存储，并将所述公钥pk发送给参与联邦学习的各客户端；
S2，所述服务端对每个所述客户端发送的在本地计算的部分模型梯度beta_i进行聚合，得到聚合梯度beta_agg，然后利用所述公钥pk对beta_agg进行加密，并将加密后的[[beta_agg]]pk发送给每个所述客户端；
S3，每个所述客户端计算[[beta_agg]]pk下的梯度[[grad_i]]pk，并加上随机掩码mask_i后将加密结果[[gradi+mask_i]]pk发送给所述服务端，并在本地存储所述随机掩码mask_i；
S4，所述服务端使用所述私钥sk解密[[gradi+mask_i]]pk，并将解密结果[gradi+mask_i]发送给对应的所述客户端；
S5，每个所述客户端使用本地存储的所述随机掩码mask_i对所述解密结果[gradi+mask_i]作mask_i匹配，过滤掉mask_i后得到明文梯度gradi以更新本地模型。
2.根据权利要求1所述的基于多方纵向隐私保护和逻辑回归的模型联合构建方法，其特征在于，所述服务端基于Paillier同态加密算法生成所述公钥pk和所述私钥sk。
3.根据权利要求1所述的基于多方纵向隐私保护和逻辑回归的模型联合构建方法，其特征在于，作为联邦学习任务发起方的所述客户端发送给所述服务端作梯度聚合的所述部分模型梯度beta_i通过以下表达式(1)表达：
Figure FDA0003770841670000011
表达式(1)中，yi表示作为所述任务发起方的客户端A在本地训练逻辑回归模型的样本XAi的真实值；
uAi表示所述客户端A训练的所述逻辑回归模型作线性回归的假设函数，uAi的计算通过以下表达式(2)表达：
Figure FDA0003770841670000012
表达式(2)中，
Figure FDA0003770841670000013
表示θA的转置，θA为所述客户端A本地训练的所述逻辑回归模型的参数；
XAi表示所述客户端A进行本地模型训练的第i个样本。
4.根据权利要求1所述的基于多方纵向隐私保护和逻辑回归的模型联合构建方法，其特征在于，作为联邦学习任务接受方的所述客户端发送给所述服务端作梯度聚合的所述部分模型梯度beta_i通过以下表达式(3)表达：
Figure FDA0003770841670000021
表达式(3)中，uMi表示作为所述任务接收方的客户端M本地训练的逻辑回归模型作线性回归的假设函数，uMi通过以下表达式(4)表达：
Figure FDA0003770841670000022
表达式(4)中，
Figure FDA0003770841670000023
表示θM的转置，θM为所述客户端M本地训练的所述逻辑回归模型的参数；
XMi表示所述客户端A进行本地模型训练的第i个样本。
CN202210900706.8A 2022-07-28 2022-07-28 基于多方纵向隐私保护和逻辑回归的模型联合构建方法 Active CN115329369B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210900706.8A CN115329369B (zh) 2022-07-28 2022-07-28 基于多方纵向隐私保护和逻辑回归的模型联合构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210900706.8A CN115329369B (zh) 2022-07-28 2022-07-28 基于多方纵向隐私保护和逻辑回归的模型联合构建方法

Publications (2)

Publication Number Publication Date
CN115329369A CN115329369A (zh) 2022-11-11
CN115329369B true CN115329369B (zh) 2023-04-14

Family

ID=83919118

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210900706.8A Active CN115329369B (zh) 2022-07-28 2022-07-28 基于多方纵向隐私保护和逻辑回归的模型联合构建方法

Country Status (1)

Country Link
CN (1) CN115329369B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434873A (zh) * 2021-06-01 2021-09-24 内蒙古大学 一种基于同态加密的联邦学习隐私保护方法
CN114186263A (zh) * 2021-12-17 2022-03-15 大连理工大学 一种基于纵向联邦学习的数据回归方法及电子装置
CN114650134A (zh) * 2022-03-31 2022-06-21 深圳前海环融联易信息科技服务有限公司 一种基于秘密共享的纵向隐私保护逻辑回归方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8630422B2 (en) * 2009-11-10 2014-01-14 International Business Machines Corporation Fully homomorphic encryption method based on a bootstrappable encryption scheme, computer program and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434873A (zh) * 2021-06-01 2021-09-24 内蒙古大学 一种基于同态加密的联邦学习隐私保护方法
CN114186263A (zh) * 2021-12-17 2022-03-15 大连理工大学 一种基于纵向联邦学习的数据回归方法及电子装置
CN114650134A (zh) * 2022-03-31 2022-06-21 深圳前海环融联易信息科技服务有限公司 一种基于秘密共享的纵向隐私保护逻辑回归方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
唐春明 ; 魏伟明 ; .基于安全两方计算的具有隐私性的回归算法.信息网络安全.2018,(10),全文. *
李娟 ; 马飞 ; .基于同态加密的分布式隐私保护线性回归分析模型.微电子学与计算机.2016,(01),全文. *
马飞 ; 蒋建国 ; .具有隐私保护的分布式协作统计计算方案.计算机工程与设计.2015,(09),全文. *

Also Published As

Publication number Publication date
CN115329369A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
Qin et al. Attribute-based encryption with efficient verifiable outsourced decryption
Emura et al. Generic constructions of secure‐channel free searchable encryption with adaptive security
Liu et al. Privacy-preserving data sharing scheme with fl via mpc in financial permissioned blockchain
Sekar et al. Comparative study of encryption algorithm over big data in cloud systems
Bay et al. Multi-party private set intersection protocols for practical applications
Zhu Research of hybrid cipher algorithm application to hydraulic information transmission
Luykx et al. Optimal forgeries against polynomial-based MACs and GCM
Xu et al. Secure multi-party quantum summation based on quantum homomorphic encryption
CN115329369B (zh) 基于多方纵向隐私保护和逻辑回归的模型联合构建方法
Zhu et al. Outsourcing set intersection computation based on bloom filter for privacy preservation in multimedia processing
Li et al. An efficient privacy-preserving bidirectional friends matching scheme in mobile social networks
Muhammed et al. Enhanced MORE algorithm for fully homomorphic encryption based on secret information moduli set
Li et al. Privacy-preserving data aggregation for big data in financial institutions
CN115001651A (zh) 适用于半诚实模型下基于全同态加密的多方计算方法
CN108768923A (zh) 一种基于量子可逆逻辑线路的加密算法的聊天实时加密方法
Qian et al. Cryptofe: Practical and privacy-preserving federated learning via functional encryption
Du et al. A Blockchain Covert Communication Method Based on Voting Contract
Kester A public-key exchange cryptographic technique using matrix
Sun et al. Efficient secure multiparty computation protocol for sequencing problem over insecure channel
Gong et al. Nearly optimal protocols for computing multi-party private set union
Hong et al. Secure Privacy-Preserving Association Rule Mining With Single Cloud Server
Dayong et al. Research on Blockchain: Privacy Protection of Cryptography Blockchain-Based Applications
Chang et al. Research on forgery attack on authentication encryption algorithm ACE
Blaise et al. An Understanding and Perspectives of End-To-End Encryption
Yin et al. A symmetric key exchange protocol bsaed on virtual S-box

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant