CN111245610A - 基于ntru同态加密的数据隐私保护深度学习方法 - Google Patents

基于ntru同态加密的数据隐私保护深度学习方法 Download PDF

Info

Publication number
CN111245610A
CN111245610A CN202010057521.6A CN202010057521A CN111245610A CN 111245610 A CN111245610 A CN 111245610A CN 202010057521 A CN202010057521 A CN 202010057521A CN 111245610 A CN111245610 A CN 111245610A
Authority
CN
China
Prior art keywords
data
deep learning
homomorphic encryption
privacy protection
encrypted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010057521.6A
Other languages
English (en)
Other versions
CN111245610B (zh
Inventor
韩嵩
任思琪
孔梦娇
陈晓莉
徐云华
林建洪
徐菁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Ponshine Information Technology Co ltd
Zhejiang Gongshang University
Original Assignee
Zhejiang Ponshine Information Technology Co ltd
Zhejiang Gongshang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Ponshine Information Technology Co ltd, Zhejiang Gongshang University filed Critical Zhejiang Ponshine Information Technology Co ltd
Priority to CN202010057521.6A priority Critical patent/CN111245610B/zh
Publication of CN111245610A publication Critical patent/CN111245610A/zh
Application granted granted Critical
Publication of CN111245610B publication Critical patent/CN111245610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/32—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols including means for verifying the identity or authority of a user of the system or for message authentication, e.g. authorization, entity authentication, data integrity or data verification, non-repudiation, key authentication or verification of credentials

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了基于NTRU同态加密的数据隐私保护深度学习方法。本发明采用一种NTRU同态加密的方法来加密深度学习中感知器学习过程中的训练数据、测试数据、标签值以及权重向量，并在这些数据加密的情况下来训练预测模型，确保用户数据的隐私性和安全性。这种同态加密技术相比于一般同态加密技术因其所用多项式次数较低而具有较好的实用性，基于这种隐私保护下的感知器学习可以推广到多层的神经网络，实现深度学习过程中的数据隐私保护。

Description

基于NTRU同态加密的数据隐私保护深度学习方法
技术领域
本发明涉及数据隐私保护深度学习领域，尤其涉及一种基于NTRU同态加密的数据隐私保护深度学习方法。
背景技术
机器学习中的多层神经网络的层与层之间的感知器有连接，而层内之间的感知器没有连接。如图2所示，最左边的层叫做输入层，这层负责接收输入数据；最右边的层叫输出层，我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐藏层。隐藏层比较多(大于2)的神经网络叫做深度神经网络。而深度学习，就是使用多层神经网络架构的机器学习方法。
深度学习是为了让层数较多的多层神经网络可以训练、能够进行模式发现进而理解世界演化出来的一系列的新的结构和新的方法。为使得深度学习更好的工作，必须训练大量数据；但大量数据例如交通数据、医疗保健数据等等包含大量的敏感隐私信息，如不妥善保护，则那些敏感信息有可能被非法利用，进而引起大的经济损失或负面的社会影响。所以，如何保护数据隐私是深度学习必须解决的重要问题。
同态加密被用来解决上述问题。然而，目前较多的同态加密方案的在深度学习中最大问题是实用性问题，例如基于大整数或理想格的同态加密。而基于NTRU的同态加密方案是一种较高效的公钥加密方案，且因为其多项式次数较低而具有较好的实用性。
发明内容
本发明针对现有深度学习过程中的数据隐私保护需求，提供了一种基于NTRU同态加密的数据隐私保护深度学习方法。
本发明采用的技术方案为：
基于NTRU同态加密的数据隐私保护深度学习方法包括以下步骤：
步骤1、数据存储中心运行密钥生成算法Keygen(1κ)产生公私钥对
Figure BDA0002373314500000021
Figure BDA0002373314500000022
其中h为生成的公钥，f为生成的私钥，q为素数,q＝q(κ),κ为安全参数；f＝2f＇+1，且在Rq上存在逆元f-1，f＇是简单多项式，g←χ；χ＝χ(κ)是基于环
Figure BDA0002373314500000026
上的误差分布，φ(x)∈Z[x]是次数为n＝n(κ)的多项式，g为自于χ的取样。
步骤2、数据存储中心利用公钥pkx、pky、pkw分别加密收集到的用户数据x、对应数据的标签y以及初始化的权重向量w，并将这些加密数据上传到数据计算中心；
Figure BDA0002373314500000023
Figure BDA0002373314500000024
Figure BDA0002373314500000025
其中i表示第i个用户，j表示第j个属性，s、e都是自于χ的取样。
步骤3、数据计算中心在接收到上述加密数据之后根据错误程度进行权重向量的调整，直到权重向量不再发生变化为止
Figure BDA0002373314500000031
Figure BDA0002373314500000032
其中η∈(0,1]表示学习率。
步骤4、数据计算中心把最后一次更新的权重向量结果返回给数据存储中心。数据存储中心利用私钥fx、fy、fw分别对加密的权重向量解密，作为深度学习感知器的预测模型。
Figure BDA0002373314500000033
当有新的测试数据输入时，用预测模型预测加密测试数据的结果，从而保证了测试数据的隐私性。
本发明的有益效果：本发明采用的NTRU同态加密技术具有高效性和较好的实用性，可以降低计算开销。本发明利用基于NTRU的同态加密技术加密用户数据x、对应数据的标签y以及权重向量w，并且利用加密数据训练预测模型找到最优的权重向量，在保证训练数据和权重向量隐私性的同时，也提高了训练过程的效率，降低了计算的开销。
附图说明
图1为本发明技术方案模型。
图2为多层神经网络结构图。
具体实施方式
为了清楚的描述本发明，首先对于本发明所涉及的一些变量符号做出如下定义，见下表。
Figure BDA0002373314500000041
基于上述变量定义，结合图1，对本发明的方法进行描述：
本发明采用一种NTRU同态加密的方法来加密深度学习中感知器学习过程中的训练数据、测试数据、标签值以及权重向量，并在这些数据加密的情况下来训练预测模型，确保用户数据的隐私性和安全性，具体步骤如下：
步骤1、数据存储中心利用上述定义的参数，运行密钥生成算法Keygen(1κ)产生公私钥对
Figure BDA0002373314500000051
Figure BDA0002373314500000052
其中f＝2f＇+1，且在Rq上存在逆元f-1，f＇是简单多项式，g←χ；κ为安全参数，q＝q(κ)是素数，φ(x)∈Z[x]是次数为n＝n(κ)的多项式，χ＝χ(κ)是基于环
Figure BDA0002373314500000059
上的误差分布；
步骤2、数据存储中心利用公钥pkx、pky、pkw分别加密收集到的用户数据x、对应数据的标签y以及初始化的权重向量w，并将这些加密数据上传到数据计算中心；
Figure BDA0002373314500000053
Figure BDA0002373314500000054
Figure BDA0002373314500000055
步骤3、数据计算中心在接收到上述加密数据之后根据错误程度进行权重向量的调整，以下迭代过程进行直到权重向量不再发生变化为止
Figure BDA0002373314500000056
Figure BDA0002373314500000057
步骤4、数据计算中心把最后一次更新的权重向量结果返回给数据存储中心。数据存储中心利用私钥fx、fy、fw分别对加密的权重向量解密，作为深度学习感知器的预测模型；
Figure BDA0002373314500000058
当有新的测试数据输入时，可以用预测模型预测加密测试数据的结果，从而保证了测试数据的隐私性。
针对多层神经网络，如图2所示，用同一个公钥pkw分别加密输入层到隐藏层1,、隐藏层1到隐藏层2以及隐藏层2到输出层之间的各个权重值，再在加密条件下利用反向传播算法进行权重值的更新。
步骤1)中，利用基于环上的误差分布比传统公钥密码体制在安全性上更有优势；利用基于环本身的性质产生公私钥对，在对数据进行加解密的时候会比很多同态加密技术高效。
步骤2)中，对用户数据x、对应数据的标签y以及初始化的权重向量w采用不同的公钥进行加密，即使数据计算中心不诚实，但没有对应私钥就无法访问明文信息，保证了数据的安全性。
步骤3)中，对加密的数据进行预测模型的训练，权重向量的调整也是在密文的状态下，即使数据计算中心是诚实但好奇的计算模型，也能够保证训练数据、对应标签和预测模型的隐私性；
步骤4)中，用组合使用私钥来解密最后一次更新的权重向量，只要保证三个私钥中的一个不泄露就无法正确解密出预测模型的明文权重向量，保证了预测模型的安全性；对新输入的测试数据加密，通过预测模型计算得到对应结果，在此过程中不会泄露测试数据的任何敏感信息，保护了测试数据的隐私性。
本发明还对单层感知器进行扩展到多层神经网络，可以用与单层感知器类似的加密进行多层神经网络的模型训练和数据预测，有利于深度学习中的数据隐私保护。
实施例：
首先，定义κ为安全参数，q＝q(κ)是素数，φ(x)∈Z[x]是次数为n＝n(κ)的多项式，χ＝χ(κ)是基于环
Figure BDA0002373314500000071
上的误差分布。接着利用上述定义的参数，运行密钥生成算法Keygen(1κ)产生用于加密数据x、对应数据的标签y以及权重向量w的公私钥对分别为(pkx＝hx,skx＝fx)、(pky＝hy,sky＝fy)、(pkw＝hw,skw＝fw)。用公钥pkx、pky、pkw分别加密数据，并将这些数据上传到数据计算中心，数据计算中心接收到上述加密数据之后根据错误程度进行权重向量的调整，以下过程迭代进行直到权重向量不再发生变化为止。将最后一次更新的权重向量结果返回给数据存储中心，用私钥fx、fy、fw对加密的权重向量解密，作为感知器的预测模型。当有新的测试数据输入时，可以用预测模型预测加密测试数据的结果，从而保证了测试数据的隐私性。
本发明能在不泄露训练数据和测试数据隐私的情况下，用训练数据密文进行预测模型的训练，并且能对加密测试数据进行结果预测。即使数据计算中心是诚实但好奇的计算模型也能保证训练数据、权重向量和预测模型的隐私安全性。本发明基于NTRU的同态加密技术，保证了加密解密过程的高效性且计算开销较小，另外，这种同态加密技术相比于一般同态加密技术因其所用多项式次数较低而具有较好的实用性。基于这种隐私保护下的感知器学习可以推广到多层的神经网络，实现深度学习过程中的数据隐私保护。

Claims (2)

1.基于NTRU同态加密的数据隐私保护深度学习方法，其特征在于该方法包括以下步骤：
步骤1、数据存储中心运行密钥生成算法Keygen(1κ)产生公私钥对
Figure FDA0002373314490000011
Figure FDA0002373314490000012
其中h为生成的公钥，f为生成的私钥，q为素数,q＝q(κ),κ为安全参数；f＝2f＇+1，且在Rq上存在逆元f-1，f＇是简单多项式，g←χ；χ＝χ(κ)是基于环
Figure FDA0002373314490000013
上的误差分布，φ(x)∈Z[x]是次数为n＝n(κ)的多项式，g为自于χ的取样；
步骤2、数据存储中心利用公钥pkx、pky、pkw分别加密收集到的用户数据x、对应数据的标签y以及初始化的权重向量w，并将这些加密数据上传到数据计算中心；
Figure FDA0002373314490000014
Figure FDA0002373314490000015
Figure FDA0002373314490000016
其中i表示第i个用户，j表示第j个属性，s、e都是自于χ的取样；
步骤3、数据计算中心在接收到上述加密数据之后根据错误程度进行权重向量的调整，直到权重向量不再发生变化为止
Figure FDA0002373314490000021
Figure FDA0002373314490000022
其中η∈(0,1]表示学习率；
步骤4、数据计算中心把最后一次更新的权重向量结果返回给数据存储中心，数据存储中心利用私钥fx、fy、fw分别对加密的权重向量解密，作为深度学习感知器的预测模型；
Figure FDA0002373314490000023
当有新的测试数据输入时，用预测模型预测加密测试数据的结果，从而保证了测试数据的隐私性。
2.根据权利要求1所述的基于NTRU同态加密的数据隐私保护深度学习方法，其特征在于：对于多层神经网络，用同一个公钥pkw分别加密输入层到第一隐藏层、第一隐藏层到第二隐藏层以及第二隐藏层到输出层之间的各个权重值，再在加密条件下利用反向传播算法进行权重值的更新。
CN202010057521.6A 2020-01-19 2020-01-19 基于ntru同态加密的数据隐私保护深度学习方法 Active CN111245610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010057521.6A CN111245610B (zh) 2020-01-19 2020-01-19 基于ntru同态加密的数据隐私保护深度学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010057521.6A CN111245610B (zh) 2020-01-19 2020-01-19 基于ntru同态加密的数据隐私保护深度学习方法

Publications (2)

Publication Number Publication Date
CN111245610A true CN111245610A (zh) 2020-06-05
CN111245610B CN111245610B (zh) 2022-04-19

Family

ID=70864668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010057521.6A Active CN111245610B (zh) 2020-01-19 2020-01-19 基于ntru同态加密的数据隐私保护深度学习方法

Country Status (1)

Country Link
CN (1) CN111245610B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984960A (zh) * 2020-07-13 2020-11-24 深圳市捷讯云联科技有限公司 一种基于同态加密的隐私保护设备识别模型设计及使用方法
CN112104446A (zh) * 2020-09-03 2020-12-18 哈尔滨工业大学 一种基于同态加密的多方联合机器学习方法和系统
CN115276950A (zh) * 2022-07-25 2022-11-01 支付宝(杭州)信息技术有限公司 隐私数据的处理方法和装置
CN115952529A (zh) * 2023-03-09 2023-04-11 北京云安腾宇科技有限公司 一种用户数据处理方法、计算设备及存储介质
CN117094032A (zh) * 2023-10-17 2023-11-21 成都乐超人科技有限公司 一种基于隐私保护的用户信息加密方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108259158A (zh) * 2018-01-11 2018-07-06 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
US20190182216A1 (en) * 2016-04-12 2019-06-13 The Governing Council Of The University Of Toronto System and methods for validating and performing operations on homomorphically encrypted data
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110490128A (zh) * 2019-08-16 2019-11-22 南京邮电大学 一种基于加密神经网络的手写识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190182216A1 (en) * 2016-04-12 2019-06-13 The Governing Council Of The University Of Toronto System and methods for validating and performing operations on homomorphically encrypted data
CN108259158A (zh) * 2018-01-11 2018-07-06 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110490128A (zh) * 2019-08-16 2019-11-22 南京邮电大学 一种基于加密神经网络的手写识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HAO CHEN等: "Logistic regression over encrypted data from fully homomorphic encryption", 《BMC MEDICAL GENOMICS》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111984960A (zh) * 2020-07-13 2020-11-24 深圳市捷讯云联科技有限公司 一种基于同态加密的隐私保护设备识别模型设计及使用方法
CN111984960B (zh) * 2020-07-13 2024-05-17 深圳市捷讯云联科技有限公司 一种基于同态加密的隐私保护设备识别模型设计及使用方法
CN112104446A (zh) * 2020-09-03 2020-12-18 哈尔滨工业大学 一种基于同态加密的多方联合机器学习方法和系统
CN115276950A (zh) * 2022-07-25 2022-11-01 支付宝(杭州)信息技术有限公司 隐私数据的处理方法和装置
CN115952529A (zh) * 2023-03-09 2023-04-11 北京云安腾宇科技有限公司 一种用户数据处理方法、计算设备及存储介质
CN117094032A (zh) * 2023-10-17 2023-11-21 成都乐超人科技有限公司 一种基于隐私保护的用户信息加密方法及系统
CN117094032B (zh) * 2023-10-17 2024-02-09 成都乐超人科技有限公司 一种基于隐私保护的用户信息加密方法及系统

Also Published As

Publication number Publication date
CN111245610B (zh) 2022-04-19

Similar Documents

Publication Publication Date Title
CN111245610B (zh) 基于ntru同态加密的数据隐私保护深度学习方法
CN108259158A (zh) 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN103259643B (zh) 一种矩阵全同态加密方法
CN101977112B (zh) 一种基于神经网络混沌吸引子的公钥密码加密和解密方法
CN107491497A (zh) 支持任意语言查询的多用户多关键词排序可搜索加密系统
CN109660555A (zh) 基于代理重加密的内容安全分享方法和系统
CN109726567B (zh) 一种基于全同态加密的移动目标加密方法
CN104320393B (zh) 重加密可控的高效属性基代理重加密方法
CN109981265B (zh) 一种基于身份的不使用双线性对的密文等值判定方法
CN103501224A (zh) 基于量子细胞神经网络系统的非对称图像加密解密方法
CN110190945A (zh) 基于多加密的线性回归隐私保护方法及系统
CN113141247B (zh) 一种同态加密方法、装置、系统及可读存储介质
CN103746805B (zh) 外部认证密钥的生成方法和系统
CN106790259A (zh) 一种非对称跨密码系统重加密、解密方法及系统
Wang et al. A method for designing S-box based on chaotic neural network
Li et al. PAMA: A proactive approach to mitigate false data injection attacks in smart grids
Zhao et al. SGBoost: An efficient and privacy-preserving vertical federated tree boosting framework
Chen et al. Application of homomorphic encryption in blockchain data security
CN117093869A (zh) 一种安全的模型复用方法及系统
CN109981254B (zh) 一种基于有限李型群分解问题的微型公钥加解密方法
Sethia et al. Constant size CP-abe with scalable revocation for resource-constrained IoT devices
CN113343258B (zh) 一种适用于体测成绩云共享的格基密文策略的属性基代理重加密方法
CN106712929A (zh) 一种大数据的加密方法
CN115329369B (zh) 基于多方纵向隐私保护和逻辑回归的模型联合构建方法
CN112787820B (zh) 一种适用于硬件实现的轻量级认证加密解密实现方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant