CN116192358A - 基于全同态加密的逻辑回归方法、装置及系统 - Google Patents

基于全同态加密的逻辑回归方法、装置及系统 Download PDF

Info

Publication number
CN116192358A
CN116192358A CN202211572710.2A CN202211572710A CN116192358A CN 116192358 A CN116192358 A CN 116192358A CN 202211572710 A CN202211572710 A CN 202211572710A CN 116192358 A CN116192358 A CN 116192358A
Authority
CN
China
Prior art keywords
ciphertext
vector
logistic regression
encryption
cloud server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211572710.2A
Other languages
English (en)
Inventor
王柯润
王保仓
赵臻
徐温菊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202211572710.2A priority Critical patent/CN116192358A/zh
Publication of CN116192358A publication Critical patent/CN116192358A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/56—Financial cryptography, e.g. electronic payment or e-cash
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/50—Reducing energy consumption in communication networks in wire-line communication networks, e.g. low power modes or reduced link rate

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于全同态加密的逻辑回归方法、装置及系统，主要应用于研究机构和云服务器端，具体包括以下步骤：步骤1、研究机构生成公私钥对；步骤2、云服务器获取金融公司上传的密文数据集；步骤3、云服务器对密文数据集进行预处理；步骤4、研究机构计算协方差矩阵的特征值和特征向量；步骤5、云服务器计算得到降维后的数据集密文；步骤6、云服务器进行逻辑回归模型运算，并与研究机构协同计算一轮迭代后的新模型参数；步骤7、重复步骤6进行循环迭代，直至达到最大迭代次数，得到最终的模型参数。本发明基于全同态密码技术加密金融数据，对大维数密文数据进行了降维，提高了逻辑回归算法中模型训练的效率，提高了算法的实用性。

Description

基于全同态加密的逻辑回归方法、装置及系统
技术领域
本发明属于计算机技术领域，具体涉及一种基于全同态加密的逻辑回归方法、装置及系统。
背景技术
随着云计算的飞速发展，其强大的计算能力和巨大的存储空间为大数据的计算和处理提供了强有力的支持，因此大数据通常与云计算相结合。云计算对大数据的分析有重要影响，云计算提供了一个可配置的计算环境，可以有效地管理和快速部署。通过将数据的计算卸载到云端，云客户可以轻松、方便地使用计算资源，而不受资源设备的限制。
尽管云计算具有各种优势，但在隐私保护方面仍存在许多挑战，在云端保存与大数据相关的数据受到越来越多的关注。在收集大数据的过程中，可能会包含一些敏感或专有信息，一旦泄露，将导致灾难性的后果。因此，对参与云计算的数据进行加密是必要的。然而，机器学习算法不能直接访问加密数据。如果解密密钥被提供给云服务器，数据隐私就无法保证。因此，利用运行在云上的机器学习算法处理加密数据是一个具有挑战性的问题。
作者Kim在其发表论文“Ensemble Method for Privacy-Preserving LogisticRegression Based on Homomorphic Encryption”(IEEE Access，2018)中用全同态加密技术可以对密文执行任意计算这一特性，构造了一种隐私保护的逻辑回归算法。该方法存在的不足之处是：随着迭代次数的增加，密文的计算深度也随之增加，为了避免噪声影响解密必须设置很大的加密参数。而加密参数越大，加解密和密文运算的所需时间越长，导致整体方案的效率低下；并且该方案仅适用于小型数据集，对大型数据集训练结果较差。
作者Fan在其发表论文“Privacy preserving based logistic regression onbig data”(Journal of Network and Computer Applications，2020)中提出在云服务器每轮迭代后将密文发送给数据拥有者，后者解密后进行梯度下降，之后再将新的模型参数加密后发送给云服务器进行新一轮迭代。通过数据拥有者解密后重加密的操作，可以减少密文的计算深度，从而无需设置kim和Song方案中的极大加密参数，以此提高了方案的效率。该方法存在的不足之处是：数据拥有者在整个模型训练过程中都需要在线。并且该方案对于大型数据集来说计算量大，效率较低，通信复杂度较高。
发明内容
为了解决现有技术中存在的效率不高，训练大维数数据集效果较差的问题，本发明提供了一种基于全同态加密的逻辑回归方法、装置及系统。本发明要解决的技术问题通过以下技术方案实现：
第一方面，本发明提供了一种基于全同态加密的逻辑回归方法，应用于研究机构，包括：
S11：基于全同态CKKS密码算，法生成公私钥对；
S12：响应于接收到协方差矩阵密文CX，对其进行解密，并基于解密得到的协方差矩阵X计算降维矩阵P；
S13：对所述降维矩阵P进行加密得到密文向量CP，并将其传送至云服务器；
S14：响应于接收到第j次迭代的梯度密文向量
Figure BDA0003988748460000021
对其进行解密，并根据解密得到的明文梯度向量gj修正模型参数；对修正后的模型参数进行加密得到第j+1次迭代的参数密文/>
Figure BDA0003988748460000022
并传送至云服务器；
S15：持续接收梯度密文向量，并重复步骤S14，直至达到最大迭代次数，得到最终的模型参数。
第二方面，本发明提供了一种基于全同态加密的逻辑回归方法，应用于云服务器，包括：
S21：获取用户上传的密文向量C和标签密文CL；其中，所述密文向量C为特征数据对应的密文向量，所述密文CL为标签数据对应的密文，且所述密文向量C和标签密文CL均是基于全同态CKKS密码算法加密得到的；
S22：对所述密文向量C进行预处理，得到新的密文向量Cz和协方差矩阵密文CX，并将所述协方差矩阵密文CX发送给研究机构；
S23：响应于接收到密文向量CP，基于所述密文向量Cz和所述密文向量CP计算经过标准化和降维后的密文向量CY；
S24：基于密文向量CY和当前第j次迭代的参数密文
Figure BDA0003988748460000031
求解损失函数的梯度密文向量/>
Figure BDA0003988748460000032
并将其发送给研究机构；
S25：响应于接收到参数密文
Figure BDA0003988748460000033
重复步骤S24，直至达到最大迭代次数。
第三方面，本发明提供了一种基于全同态加密的逻辑回归装置，应用于研究机构，包括：
密钥生成模块，用于基于全同态CKKS密码算法生成公私钥对；
第一降维模块，用于响应于接收到协方差矩阵密文CX，对其进行解密，并基于解密得到的协方差矩阵X计算降维矩阵P；
加密模块(13)，用于对所述降维矩阵P进行加密得到密文向量CP，并将其传送至云服务器；
第一计算模块，用于响应于接收到第j次迭代的梯度密文向量
Figure BDA0003988748460000034
对其进行解密，并根据解密得到的明文梯度向量gj修正模型参数；对修正后的模型参数进行加密得到第j+1次迭代的参数密文/>
Figure BDA0003988748460000041
并传送至云服务器。
第四方面，本发明提供了一种基于全同态加密的逻辑回归装置，应用于云服务器，包括：
数据获取模块，用于获取用户上传的密文向量C和标签密文CL；其中，所述密文向量C为特征数据对应的密文向量，所述密文CL为标签数据对应的密文，且所述密文向量C和标签密文CL均是基于全同态CKKS密码算法加密得到的；
预处理模块，用于对所述密文向量C进行预处理，得到新的密文向量Cz和协方差矩阵密文CX，并将所述协方差矩阵密文CX发送给研究机构；
第二降维模块，用于响应于接收到密文向量CP，基于所述密文向量Cz和所述密文向量CP计算经过标准化和降维后的密文向量CY；
第二计算模块，用于基于密文向量CY和当前第j次迭代的参数密文
Figure BDA0003988748460000042
求解损失函数的梯度密文向量/>
Figure BDA0003988748460000043
并将其发送给研究机构。
第五方面，本发明提供了一种基于全同态加密的逻辑回归系统，包括上述实施例提供的应用于研究机构端的基于全同态加密的逻辑回归装置和应用于云服务器端的基于全同态加密的逻辑回归装置。
本发明的有益效果：
1、本发明采用的隐私保护逻辑回归方案在进行迭代前对加密后的金融数据集进行了降维处理，减少了数据维数，降低了无关特征项的干扰，从而减少了计算量，同时提高了效率和准确率，对大型数据集具有很好的训练效果；且该方法采用了金融领域的双云模型，使得数据拥有者上传自身数据后便可离线，既保证了客户数据的安全性，又无需实时在线，提高了便捷性，而做到了真正的云计算；
2、本发明在进行迭代前对加密后的金融数据集进行了预处理，由于加密时使用批处理技术来按列加密数据集，在计算均值、方差和协方差时可以做到同时对n条数据计算，从而提升了效率；
3、本发明在进行迭代前对加密后的金融数据集进行了预处理，对数据集进行标准化处理，将原值减去均值后除以标准差，使得得到的特征满足均值为0，标准差为1的正态分布；从而让不同维度之间的特征在数值上有一定比较性，得出的参数大小可以反应出不同特征对样本的贡献度，可以大大提高准确性。
附图说明
图1是本发明实施例提供的一种应用于研究机构端的基于全同态加密的逻辑回归方法的流程示意图；
图2是本发明实施例提供的一种应用于云服务器端的基于全同态加密的逻辑回归方法的流程示意图；
图3是本发明实施例提供的一种应用于研究机构端的基于全同态加密的逻辑回归装置的结构示意图；
图4是本发明实施例提供的一种应用于云服务器端的基于全同态加密的逻辑回归装置的结构示意图；
图5是本发明实施例提供的一种基于全同态加密的逻辑回归系统的结构示意图；
图6是本发明实施例提供的一种基于全同态加密的逻辑回归系统的工作流程示意图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
本实施例提供了一种应用于研究机构端的基于全同态加密的逻辑回归方法。请参见图1，图1是本发明实施例提供的一种应用于研究机构端的基于全同态加密的逻辑回归方法的流程示意图，其包括：
S11：基于全同态CKKS密码算法生成公私钥对。
具体的，在研究机构端，利用全同态CKKS密码算法中的加密算法中的密钥生成算法生成所需公私钥对{pk,sk}。
其中，CKKS加密算法中的密钥生成算法的步骤如下：
第1步，初始化安全参数λ，深度上限L。设置N为2的幂，模数Q＝pL，中，p>0。且所设置参数必须满足安全参数要求，即满足下式：
Figure BDA0003988748460000061
第2步，构建多项式商环
Figure BDA0003988748460000062
第3步，从多项式商环R上的一个离散高斯分布χ中随机均匀采样得到私钥相关的分布χs、随机分布χr、错误分布χe。
第4步，从χs中随机选取多项式s用于组成私钥，从中χe随机选取多项式e作为错误分布多项式，从R中随机均匀选取多项式a用于组成公钥。
第5步，设置私钥sk＝(1,s)，公钥pk＝(b,a)，其中b＝-a·s+e mod Q。
S12：响应于接收到协方差矩阵密文CX，对其进行解密，并基于解密得到的协方差矩阵X计算降维矩阵P。
具体的，当接收到云服务器发送的协方差矩阵密文CX后，首先使用CKKS密码算法对协方差矩阵密文进行解密，得到明文形式的协方差矩阵X；
然后计算协方差矩阵X的特征值和特征向量；
按照特征值大小将特征向量从上到下按行排成矩阵，并取前k行组成新的矩阵，得到降维矩阵P。
至此，将矩阵由原来的m维降至k维。
S13：对降维矩阵P进行加密得到密文向量CP，并将其传送至云服务器。
具体的，继续采用CKKS密码算法降维矩阵P加密得到密文向量CP，并传送至云服务器。
S14：响应于接收到第j次迭代的梯度密文向量
Figure BDA0003988748460000071
对其进行解密，并根据解密得到的明文梯度向量gj修正模型参数；对修正后的模型参数进行加密得到第j+1次迭代的参数密文/>
Figure BDA0003988748460000072
并传送至云服务器。
具体的，当接收到云服务器发送过来的第j次迭代的梯度密文向量
Figure BDA0003988748460000073
后，首先使用CKKS密码算法对其进行解密，得到明文梯度向量gj。
其中，CKKS解密算法的步骤如下：
第1步，按照下式计算密文解密结果：
m'＝<c,sk>modQ
＝((-a·s+e)·r+m+e0)+(a·r·s+e1·s)modQ
＝e·r+m+e0+e1·s modQ
≈m
其中，m'为解密结果，是明文m的近似值。
然后，根据明文梯度向量gj修正新的模型参数，也即计算下一次迭代的模型参数
Figure BDA0003988748460000074
其中，
Figure BDA0003988748460000075
Figure BDA0003988748460000076
为预设的学习率，i表示梯度向量的维度，且1≤i≤k，j表示当前迭代次数。
需要说明的是，当j为1时，
Figure BDA0003988748460000077
为初始的模型参数，其可由用户自定义设置。
最后，对修正后的模型参数wj+1进行加密得到参数密文
Figure BDA0003988748460000078
并传送至云服务器，以便于云服务器开始新一轮的迭代。
S15：持续接收梯度密文向量，并重复步骤S14，直至达到最大迭代次数，得到最终的模型参数。
本实施例在进行迭代前对加密后的数据集进行了降维处理，减少了数据维数，降低了无关特征项的干扰，从而减少了计算量，同时提高了效率和准确率。
实施例二
本实施例提供了一种应用于云服务器端的基于全同态加密的逻辑回归方法。请参见图2，图2是本发明实施例提供的一种应用于云服务器端的基于全同态加密的逻辑回归方法的流程示意图，其包括：
S21：获取用户上传的密文向量C和标签密文CL；其中，密文向量C为特征数据对应的密文向量，密文CL为标签数据对应的密文，且密文向量C和标签密文CL均是基于全同态CKKS密码算法加密得到的。
首先，金融公司对数据使用CKKS加密算法加密。
具体的，金融公司利用公钥pk使用CKKS加密算法列加密客户数据集矩阵D得到密文向量C＝{C1,...,Cm}和密文CL。矩阵D为n×(m+1)维矩阵，具体如下：
Figure BDA0003988748460000081
其中，每行代表一个客户的全部数据，共包含n个客户数据，每行客户数据有m个特征数据di,j和1个标签数据li。对于矩阵D的每一个列向量zi＝{d1,i,d1,i,...,dn,i}，使用CKKS加密算法加密得到密文Ci，对于最后一列代表客户分类标签的数据，使用CKKS加密算法加密得到密文CL。
具体的，CKKS加密算法的步骤如下：
第1步，从中χe随机选取多项式e0,e1作为错误分布多项式，从中χr随机选取多项式r作为随机分布多项式。
第2步，对于明文多项式m∈R，按照下式计算对应的密文：
C＝r·pk+(m+e0,e1)modQ
其中，密文向量C对应的明文是一个向量。由于CKKS加密算法支持对一组实数向量加密成一个密文，对该密文的操作相当于并行对向量中每个元素的操作，该功能称为密文批处理。
然后，金融公司上传密文向量C和密文CL给云服务器。
S22：对所述密文向量C进行预处理，得到新的密文向量Cz和协方差矩阵密文CX，并将所述协方差矩阵密文CX发送给研究机构。
22a)对密文向量C中的每一个密文Ci求均值μi和标准差σi。
首先，计算均值μi。
本实施例使用批处理技术对每个特征的数据求均值。每个特征数据向量加密到了对应的密文Ci中，对密文Ci进行循环移位求和后除以数据条数m，从而得到数据集每列也就是每个特征的均值μi。
具体的，批处理技术的步骤如下：
第1步，对密文CT1进行使用rotate函数使CT1中的每一个向量密文向左移1位得到密文CT2。具体如下：
CT2＝rotate(CT1)
其中，密文CT1＝Enc(v1,v2,...,vm)，CT2＝Enc(v2,v3,...vm,v1)，Enc(·)为CKKS加密算法。
第2步，将密文CT1和密文CT2相加得到新的密文CT。其中，密文CT如下：
CT＝Enc(v1+v2,v2+v3,...,vm-1+vm,vm+v1)
第3步，重复上述两步m次，m为明文向量的维数。在循环移位求和n次后，得到总和密文如下：
Figure BDA0003988748460000091
其中，总和密文对应的明文向量为向量每个维数的总和。
然后，计算标准差σi。
具体的，此处依然使用批处理技术对每个特征的数据求标准差。对密文向量C中的每一个密文Ci都减去对应的均值μi后再乘密文Ci，之后循环移位求和后除以数据条数n，得到数据集每列也就是每个特征的方差
Figure BDA0003988748460000101
对方差/>
Figure BDA0003988748460000102
进行近似开方操作即可得到标准差σi。
其中，近似开方操作的步骤如下：
第1步，设置a0＝x,b0＝x-1。
第2步，迭代3次，其中
Figure BDA0003988748460000103
第3步，迭代结束后得到x的开方近似值
Figure BDA0003988748460000104
本实施例在进行迭代前对加密后的金融数据集进行了预处理，由于加密时使用批处理技术来按列加密数据集，在计算均值、方差和协方差时可以做到同时对n条数据计算，从而提升了效率。
22b)对密文向量C中的每一个密文Ci进行标准化处理，得到新的密文向量Cz＝{Cz1,Cz2,...,Czm}，用公式表示为：
Figure BDA0003988748460000105
/>
本实施例在进行迭代前对加密后的金融数据集进行了预处理，对数据集进行标准化处理，将原值减去均值后除以标准差，使得得到的特征满足均值为0，标准差为1的正态分布；从而让不同维度之间的特征在数值上有一定比较性，得出的参数大小可以反应出不同特征对样本的贡献度，可以大大提高准确性。
22c)根据密文向量Cz计算协方差矩阵密文CX，计算公式为：
Figure BDA0003988748460000106
其中，T表示转置，n表示数据集中数据的条数。
S23：响应于接收到密文向量CP，基于密文向量Cz和密文向量CP计算经过标准化和降维后的密文向量CY。
具体的，将接收到的密文向量CP和步骤22b)得到的密文向量Cz相乘，得到经过标准化和降维后的密文向量CY，其表达式为：
CY＝CPCz T；
其中，T表示转置。
此时，密文CY对应的明文数据集已经从原来的m维降至k维，特征数从m个降至k个。
S24：基于密文向量CY和当前第j次迭代的参数密文
Figure BDA0003988748460000111
求解损失函数的梯度密文向量/>
Figure BDA0003988748460000112
并将其发送给研究机构。
在本实施例中，密文梯度向量
Figure BDA0003988748460000113
共k维，表示为/>
Figure BDA0003988748460000114
首先，依次计算当前第j次迭代中损失函数的梯度密文向量
Figure BDA0003988748460000115
的第i维密文/>
Figure BDA0003988748460000116
计算公式为：
Figure BDA0003988748460000117
其中，j表示当前迭代次数，CY,i表示密文向量CY中的第i维向量，n表示数据集中数据的条数，函数f(x)是逻辑回归运算中sigmoid函数的多项式近似函数，具体如下：
Figure BDA0003988748460000118
然后，将密文梯度向量
Figure BDA0003988748460000119
发送给研究机构，以便于研究机构进行模型参数的更新。
S25：响应于接收到参数密文
Figure BDA00039887484600001110
重复步骤S24，直至达到最大迭代次数。
具体的，当接收到研究机构发送的第j+1次迭代的参数密文
Figure BDA00039887484600001111
后，按照步骤S25的操作继续执行，直至达到最大迭代次数。
本发明采用的隐私保护逻辑回归方案在进行迭代前对加密后的金融数据集进行了降维处理，减少了数据维数，降低了无关特征项的干扰，从而减少了计算量，同时提高了效率和准确率，对大型数据集具有很好的训练效果；且该方法采用了金融领域的双云模型，使得数据拥有者上传自身数据后便可离线，既保证了客户数据的安全性，又无需实时在线，提高了便捷性，而做到了真正的云计算。
实施例三
在上述实施例一的基础上，本实施例提供了一种应用于研究机构端的基于全同态加密的逻辑回归装置。请参见图3，图3是本发明实施例提供的一种应用于研究机构端的基于全同态加密的逻辑回归装置的结构示意图，其包括：
密钥生成模块11，用于基于全同态CKKS密码算法生成公私钥对；
第一降维模块12，用于响应于接收到协方差矩阵密文CX，对其进行解密，并基于解密得到的协方差矩阵X计算降维矩阵P；
加密模块13，用于对降维矩阵P进行加密得到密文向量CP，并将其传送至云服务器；
第一计算模块14，用于响应于接收到第j次迭代的梯度密文向量
Figure BDA0003988748460000121
对其进行解密，并根据解密得到的明文梯度向量gj修正模型参数；对修正后的模型参数进行加密得到第j+1次迭代的参数密文/>
Figure BDA0003988748460000122
并传送至云服务器。
本实施例提供的装置可以实现上述实施例一提供的方法，详细过程在此不再介绍。
由此，本实施例提供的装置也可以减少计算量，同时提高效率和准确率。
实施例四
在上述实施例二的基础上，本实施例提供了一种应用于云服务器端的基于全同态加密的逻辑回归装置。请参见图4，图4是本发明实施例提供的一种应用于云服务器端的基于全同态加密的逻辑回归装置的结构示意图，其包括：
数据获取模块21，用于获取用户上传的密文向量C和标签密文CL；其中，密文向量C为特征数据对应的密文向量，密文CL为标签数据对应的密文，且密文向量C和标签密文CL均是基于全同态CKKS密码算法加密得到的；
预处理模块22，用于对密文向量C进行预处理，得到新的密文向量Cz和协方差矩阵密文CX，并将协方差矩阵密文CX发送给研究机构；
第二降维模块23，用于响应于接收到密文向量CP，基于密文向量Cz和密文向量CP计算经过标准化和降维后的密文向量CY；
第二计算模块24，用于基于密文向量CY和当前第j次迭代的参数密文
Figure BDA0003988748460000131
求解损失函数的梯度密文向量/>
Figure BDA0003988748460000132
并将其发送给研究机构。
本实施例提供的装置可以实现上述实施例二提供的方法，详细过程在此不再介绍。
由此，本实施例提供的装置也可以减少了计算量，同时提高效率和准确率。
实施例五
本实施例提供了一种基于全同态加密的逻辑回归系统，其主要包括研究机构端装置和云服务器端装置。请参见图5，图5是本发明实施例提供的一种基于全同态加密的逻辑回归系统的结构示意图。其中，研究机构端装置为上述实施例三提供的装置，云服务器端装置为上述实施例四提供的装置。
本实施例提供的基于全同态加密的逻辑回归系统的工作过程如图6所示：
1、研究机构通过密钥生成模块11生成加密系统公私钥对；
2、云服务器通过数据获取模块21获取金融公司上传的加密数据集；
3、云服务器通过预处理模块22对加密数据集进行预处理操作，包括求均值、标准差和协方差矩阵，并将协方差矩阵密文传给研究机构；
4、研究机构利用第一降维模块12计算协方差矩阵的特征值和特征向量，以进行降维操作，然后通过加密模块13进行加密后传给云服务器；
5、云服务器通过第二降维模块23计算得到降维后的数据集密文；
6、云服务器利用第二计算模块24进行逻辑回归模型运算，并将得到的梯度密文向量发送给研究机构；
7、研究机构利用第一计算模块14更新模型参数，并将新的模型参数加密后发送给云服务器；
8、云服务器开始新一轮迭代计算，直到迭代次数达到研究机构的预设值则停止迭代，得到最终训练好的模型参数。
关于本实施例提供的基于全同态加密的逻辑回归系统的详细工作过程可参考上述实施例一和实施例二，在此不再进行介绍。
本发明采用的隐私保护逻辑回归方案在进行迭代前对加密后的金融数据集进行了降维处理，减少了数据维数，降低了无关特征项的干扰，从而减少了计算量，同时提高了效率和准确率，对大型数据集具有很好的训练效果；且该方法采用了金融领域的双云模型，使得数据拥有者上传自身数据后便可离线，既保证了客户数据的安全性，又无需实时在线，提高了便捷性，而做到了真正的云计算。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于全同态加密的逻辑回归方法，应用于研究机构，其特征在于，包括：
S11：基于全同态CKKS密码算法生成公私钥对；
S12：响应于接收到协方差矩阵密文CX，对其进行解密，并基于解密得到的协方差矩阵X计算降维矩阵P；
S13：对所述降维矩阵P进行加密得到密文向量CP，并将其传送至云服务器；
S14：响应于接收到第j次迭代的梯度密文向量
Figure FDA0003988748450000011
对其进行解密，并根据解密得到的明文梯度向量gj修正模型参数；对修正后的模型参数进行加密得到第j+1次迭代的参数密文
Figure FDA0003988748450000012
并传送至云服务器；
S15：持续接收梯度密文向量，并重复步骤S14，直至达到最大迭代次数，得到最终的模型参数。
2.根据权利要求1所述的基于全同态加密的逻辑回归方法，其特征在于，步骤S12包括：
使用CKKS密码算法对所述协方差矩阵密文CX进行解密，得到明文形式的协方差矩阵X；
计算所述协方差矩阵X的特征值和特征向量；
按照特征值大小将所述特征向量从上到下按行排成矩阵，并取前k行组成新的矩阵，得到降维矩阵P。
3.根据权利要求1所述的基于全同态加密的逻辑回归方法，其特征在于，步骤S14包括：
使用CKKS密码算法对当前接收到的第j次迭代梯度密文向量
Figure FDA0003988748450000013
进行解密，得到明文梯度向量gj；
根据所述明文梯度向量gj修正新的模型参数
Figure FDA0003988748450000021
其中，
Figure FDA0003988748450000022
Figure FDA0003988748450000023
为预设的学习率，i表示梯度向量的维度，且1≤i≤k，j表示当前迭代次数；
对修正后的模型参数wj+1进行加密得到参数密文
Figure FDA0003988748450000024
并传送至云服务器。
4.一种基于全同态加密的逻辑回归方法，应用于云服务器，其特征在于，包括：
S21：获取用户上传的密文向量C和标签密文CL；其中，所述密文向量C为特征数据对应的密文向量，所述密文CL为标签数据对应的密文，且所述密文向量C和标签密文CL均是基于全同态CKKS密码算法加密得到的；
S22：对所述密文向量C进行预处理，得到新的密文向量Cz和协方差矩阵密文CX，并将所述协方差矩阵密文CX发送给研究机构；
S23：响应于接收到密文向量CP，基于所述密文向量Cz和所述密文向量CP计算经过标准化和降维后的密文向量CY；
S24：基于密文向量CY和当前第j次迭代的参数密文
Figure FDA0003988748450000025
求解损失函数的梯度密文向量
Figure FDA0003988748450000026
并将其发送给研究机构；
S25：响应于接收到参数密文
Figure FDA0003988748450000027
重复步骤S24，直至达到最大迭代次数。
5.根据权利要求4所述的基于全同态加密的逻辑回归方法，其特征在于，步骤S22包括：
对所述密文向量C中的每一个密文Ci求均值μi和标准差σi；
对所述密文向量C中的每一个密文Ci进行标准化处理，得到新的密文向量Cz＝{Cz1,Cz2,...,Czm}，用公式表示为：
Figure FDA0003988748450000031
根据所述密文向量Cz计算协方差矩阵密文CX，计算公式为：
Figure FDA0003988748450000032
其中，T表示转置，n表示数据集中数据的条数。
6.根据权利要求4所述的基于全同态加密的逻辑回归方法，其特征在于，步骤S23包括：
将接收到的密文向量CP和密文向量Cz相乘，得到经过标准化和降维后的密文向量CY，其表达式为：
CY＝CPCz T；
其中，T表示转置。
7.根据权利要求4所述的基于全同态加密的逻辑回归方法，其特征在于，在步骤S24包括：
依次计算当前第j次迭代中损失函数的梯度密文向量
Figure FDA0003988748450000033
的第i维密文/>
Figure FDA0003988748450000034
计算公式为：
Figure FDA0003988748450000035
其中，n表示数据集中数据的条数，f(x)是逻辑回归运算中sigmoid函数的多项式近似函数；CL表示标签密文，CY,i表示密文向量CY中的第i维向量。
8.一种基于全同态加密的逻辑回归装置，应用于研究机构，其特征在于，包括：
密钥生成模块(11)，用于基于全同态CKKS密码算法生成公私钥对；
第一降维模块(12)，用于响应于接收到协方差矩阵密文CX，对其进行解密，并基于解密得到的协方差矩阵X计算降维矩阵P；
加密模块(13)，用于对所述降维矩阵P进行加密得到密文向量CP，并将其传送至云服务器；
第一计算模块(14)，用于响应于接收到第j次迭代的梯度密文向量
Figure FDA0003988748450000041
对其进行解密，并根据解密得到的明文梯度向量gj修正模型参数；对修正后的模型参数进行加密得到第j+1次迭代的参数密文/>
Figure FDA0003988748450000042
并传送至云服务器。
9.一种基于全同态加密的逻辑回归装置，应用于云服务器，其特征在于，包括：
数据获取模块(21)，用于获取用户上传的密文向量C和标签密文CL；其中，所述密文向量C为特征数据对应的密文向量，所述密文CL为标签数据对应的密文，且所述密文向量C和标签密文CL均是基于全同态CKKS密码算法加密得到的；
预处理模块(22)，用于对所述密文向量C进行预处理，得到新的密文向量Cz和协方差矩阵密文CX，并将所述协方差矩阵密文CX发送给研究机构；
第二降维模块(23)，用于响应于接收到密文向量CP，基于所述密文向量Cz和所述密文向量CP计算经过标准化和降维后的密文向量CY；
第二计算模块(24)，用于基于密文向量CY和当前第j次迭代的参数密文
Figure FDA0003988748450000043
求解损失函数的梯度密文向量/>
Figure FDA0003988748450000044
并将其发送给研究机构。
10.一种基于全同态加密的逻辑回归系统，其特征在于，包括权利要求8和权利要求9所述的基于全同态加密的逻辑回归装置。
CN202211572710.2A 2022-12-08 2022-12-08 基于全同态加密的逻辑回归方法、装置及系统 Pending CN116192358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211572710.2A CN116192358A (zh) 2022-12-08 2022-12-08 基于全同态加密的逻辑回归方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211572710.2A CN116192358A (zh) 2022-12-08 2022-12-08 基于全同态加密的逻辑回归方法、装置及系统

Publications (1)

Publication Number Publication Date
CN116192358A true CN116192358A (zh) 2023-05-30

Family

ID=86446983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211572710.2A Pending CN116192358A (zh) 2022-12-08 2022-12-08 基于全同态加密的逻辑回归方法、装置及系统

Country Status (1)

Country Link
CN (1) CN116192358A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117439731A (zh) * 2023-12-21 2024-01-23 山东大学 基于同态加密的隐私保护大数据主成分分析方法及系统
CN118381598A (zh) * 2024-06-22 2024-07-23 北京隐算科技有限公司 基于全同态加密和复合多项式的密文特征匹配方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117439731A (zh) * 2023-12-21 2024-01-23 山东大学 基于同态加密的隐私保护大数据主成分分析方法及系统
CN117439731B (zh) * 2023-12-21 2024-03-12 山东大学 基于同态加密的隐私保护大数据主成分分析方法及系统
CN118381598A (zh) * 2024-06-22 2024-07-23 北京隐算科技有限公司 基于全同态加密和复合多项式的密文特征匹配方法及系统

Similar Documents

Publication Publication Date Title
US11606203B2 (en) Method for faster secure multiparty inner product with SPDZ
US20220092216A1 (en) Privacy-preserving machine learning in the three-server model
Li et al. Privacy-preserving machine learning with multiple data providers
CN112989368B (zh) 多方联合进行隐私数据处理的方法及装置
CN108521326B (zh) 一种基于向量同态加密的隐私保护的线性svm模型训练方法
CN112822005B (zh) 基于同态加密的安全迁移学习系统
CN116192358A (zh) 基于全同态加密的逻辑回归方法、装置及系统
US20200366459A1 (en) Searching Over Encrypted Model and Encrypted Data Using Secure Single-and Multi-Party Learning Based on Encrypted Data
Salinas et al. Efficient secure outsourcing of large-scale linear systems of equations
CN108712260A (zh) 云环境下保护隐私的多方深度学习计算代理方法
Gonçalves et al. A critical overview of privacy-preserving approaches for collaborative forecasting
CN113434878B (zh) 基于联邦学习的建模及应用方法、装置、设备及存储介质
JP6988918B2 (ja) 秘密計算システム及び方法
CN112118099B (zh) 抗推理攻击的分布式多任务学习隐私保护方法及系统
Baryalai et al. Towards privacy-preserving classification in neural networks
Ma et al. Pmkt: Privacy-preserving multi-party knowledge transfer for financial market forecasting
CN116684062B (zh) 基于代理重加密的云计算外包和数据动态分享方法及系统
Rovida Fast but approximate homomorphic k-means based on masking technique
Jain et al. Adaptive key length based encryption algorithm using DNA approach
US20230081162A1 (en) Method and apparatus for privacy preserving using homomorphic encryption with private variables
Liu et al. Efficient and Privacy-Preserving Logistic Regression Scheme based on Leveled Fully Homomorphic Encryption
Zheng et al. Bit-oriented quantum public key probabilistic encryption schemes
CN115062331A (zh) 一种基于加性同态加密的隐私保护深度学习方法
Zhao et al. ePMLF: Efficient and Privacy‐Preserving Machine Learning Framework Based on Fog Computing
Huang et al. Secure word-level sorting based on fully homomorphic encryption

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination