CN111800265B - 一种基于隐私保护的材料逆向设计方法及系统 - Google Patents

一种基于隐私保护的材料逆向设计方法及系统 Download PDF

Info

Publication number
CN111800265B
CN111800265B CN202010644373.8A CN202010644373A CN111800265B CN 111800265 B CN111800265 B CN 111800265B CN 202010644373 A CN202010644373 A CN 202010644373A CN 111800265 B CN111800265 B CN 111800265B
Authority
CN
China
Prior art keywords
learning
reverse
key
gradient value
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010644373.8A
Other languages
English (en)
Other versions
CN111800265A (zh
Inventor
钱权
方昊堃
孙文月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010644373.8A priority Critical patent/CN111800265B/zh
Publication of CN111800265A publication Critical patent/CN111800265A/zh
Application granted granted Critical
Publication of CN111800265B publication Critical patent/CN111800265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0819—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s)
    • H04L9/083—Key transport or distribution, i.e. key establishment techniques where one party creates or otherwise obtains a secret value, and securely transfers it to the other(s) involving central third party, e.g. key distribution center [KDC] or trusted third party [TTP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16C—COMPUTATIONAL CHEMISTRY; CHEMOINFORMATICS; COMPUTATIONAL MATERIALS SCIENCE
    • G16C60/00—Computational materials science, i.e. ICT specially adapted for investigating the physical or chemical properties of materials or phenomena associated with their design, synthesis, processing, characterisation or utilisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/06—Network architectures or network communication protocols for network security for supporting key management in a packet data network
    • H04L63/062—Network architectures or network communication protocols for network security for supporting key management in a packet data network for key distribution, e.g. centrally by trusted party
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption

Abstract

本发明公开了一种基于隐私保护的材料逆向设计方法及系统，所述材料逆向设计方法利用梯度下降法训练模型，采用共享梯度值的方式实现每个学习端的数据共享，避免直接传输材料数据导致材料数据泄漏的缺陷，并且在传输过程中采用的同态加密算法对传输的梯度值进行加密，进一步的保证了传输数据的隐私性，本发明在保证材料数据的隐私性的基础上，实现了利用各个单位的数据实现机器学习训练，克服了小数据导致的模型无法收敛与模型泛化性差的技术问题。

Description

一种基于隐私保护的材料逆向设计方法及系统
技术领域
本发明涉及新材料设计技术领域，特别涉及一种基于隐私保护的材料逆向设计方法及系统。
背景技术
目前的深度学习领域常常面临数据不够而无法完成训练的技术难题，由于小数据导致的收敛问题与模型泛化性差等问题，常常导致最终的学习效果不理想。而解决这些问题的最优方法往往是扩充数据集，在有足够样本的情况下帮助模型收敛并提高模型的泛化性。例如在材料领域，由于做实验的材料成本与时间成本都很高，每个研究单位自己拥有的数据数量不会很大且都具有隐私性。某一家单位希望通过自己的小样本做机器学习是不现实的，这种情况下，如果能够将各研究单位的数据集成起来做机器学习，可以解决小数据导致的收敛问题与模型泛化性差等问题。
但正是由于材料数据的高成本导致了他具有极高的隐私性，直接进行明文信息交换往往会导致各种版权问题。
如何在保证材料数据的隐私性的基础上，实现利用各个单位的数据实现机器学习训练，以克服小数据导致的模型无法收敛与模型泛化性差的技术问题，成为一个亟待解决的技术问题。
发明内容
本发明的目的是提供一种基于隐私保护的材料逆向设计方法及系统，以在保证材料数据的隐私性的基础上，实现利用各个单位的数据实现机器学习训练，以克服小数据导致的模型无法收敛与模型泛化性差的技术问题。
为实现上述目的，本发明提供了如下方案：
一种基于隐私保护的材料逆向设计方法，所述材料逆向设计方法基于材料逆向设计云平台，所述材料逆向设计云平台包括：N个学习端、密钥管理端和运算服务器；N个所述学习端分别与所述密钥管理端和运算服务器连接，所述密钥管理端与所述运算服务器连接；所述材料逆向设计方法包括如下步骤：
通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器；
通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，将融合梯度值分发给每个所述学习端；并向所述密钥管理端发送下一轮训练的同态加密密钥对获取请求；
通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，并利用解密后的融合梯度值对所述材料逆向设计模型的参数进行更新，通过密钥管理端当接收到运算服务器发送的同态加密密钥对获取请求时，生成下一轮的用于同态加密算法的密钥对，并将下一轮的用于同态加密算法的密钥对分发给N个所述学习端；返回步骤“通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器”，进行下一轮训练，直到所述材料逆向设计模型的损失函数值小于损失函数阈值，获得训练后的材料逆向设计模型；
通过所述学习端利用所述训练后的材料逆向设计模型进行材料的逆向设计。
可选的，通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器，之前还包括：
通过所述学习端生成用于与密钥管理端通信信道加密的密钥对，并向所述运算服务器端发送包含用于与密钥管理端通信信道加密的密钥对中的公钥信息的注册请求；
通过所述运算服务器获取发送注册请求的学习端的学习端地址，将发送注册请求的学习端的公钥信息和学习端地址发送给所述密钥管理端进行注册；
通过所述密钥管理端根据发送注册请求的学习端的公钥信息和学习端地址生成用于同态加密算法的密钥对分发的密钥对分发信道。
可选的，通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器，之前还包括：
通过所述运算服务器初始化材料逆向设计模型，并将初始化后的材料逆向设计模型分发给每个所述学习端。
可选的，通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器，之前还包括：
通过所述学习端获取本地已成型材料的小样本数据；所述小样本数据包括性能参数和设计参数。
可选的，所述利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，具体包括：
利用公式Enc(gradi)＝HEenc(gradi，PublicKey)，对梯度值进行加密；
其中，gradi表示第i个学习端计算得到的梯度值，Enc(gradi)表示第i个学习端的加密后的梯度值，PublicKey表示用于同态加密算法的密钥对的公钥，HEenc表示同态加密。
可选的，所述通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，具体包括：
利用公式
Figure BDA0002572600630000031
对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值；
其中，Enc(gradfinal)表示融合梯度值，N表示学习端的数量。
可选的，所述通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，具体包括：
利用公式gradfinal＝HEdec(Enc(gradfinal)，PrivateKey)，对所述融合梯度值进行解密；
其中，PrivateKey表示用于同态加密算法的密钥对的私钥；HEdec表示同态解密。
一种基于隐私保护的材料逆向设计系统，所述材料逆向设计系统包括：
同态加密模块，用于通过所述学习端利用小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器；
梯度值融合模块，用于通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，将融合梯度值分发给每个所述学习端；并向所述密钥管理端发送下一轮训练的同态加密密钥对获取请求；
参数更新模块，用于通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，并利用解密后的融合梯度值对所述材料逆向设计模型的参数进行更新，通过密钥管理端当接收到运算服务器发送的同态加密密钥对获取请求时，生成下一轮训练的用于同态加密算法的密钥对，并将下一轮训练的用于同态加密算法的密钥对分发给N个所述学习端；执行同态加密模块，进行下一轮训练，直到所述材料逆向设计模型的损失函数值小于损失函数阈值，获得训练后的材料逆向设计模型；
逆向设计模块，用于通过所述学习端利用所述训练后的材料逆向设计模型进行材料的逆向设计。
可选的，所述材料逆向设计系统还包括：
学习端注册模块，用于通过所述学习端生成用于与密钥管理端通信信道加密的密钥对，并向所述运算服务器端发送包含用于与密钥管理端通信信道加密的密钥对中的公钥信息的注册请求；
学习端地址获取模块，用于通过所述运算服务器获取发送注册请求的学习端的学习端地址，将发送注册请求的学习端的公钥信息和学习端地址发送给所述密钥管理端进行注册；
密钥对分发信道生成模块，用于通过所述密钥管理端根据发送注册请求的学习端的公钥信息和学习端地址生成用于同态加密算法的密钥对分发的密钥对分发信道。
可选的，所述材料逆向设计系统还包括：
材料逆向设计模型初始化模块，用于通过所述运算服务器初始化材料逆向设计模型，并将初始化后的材料逆向设计模型分发给每个所述学习端。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明公开了一种基于隐私保护的材料逆向设计方法，所述材料逆向设计方法包括如下步骤：通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器；通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，将融合梯度值分发给每个所述学习端；并向所述密钥管理端发送下一轮训练的同态加密密钥对获取请求；通过密钥管理端生成下一轮训练的用于同态加密算法的密钥对，通过密钥管理端当接收到运算服务器发送的同态加密密钥对获取请求时，生成用于同态加密算法的密钥对，并将用于同态加密算法的密钥对分发给N个所述学习端；通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，并利用解密后的融合梯度值对所述材料逆向设计模型的参数进行更新。本发明利用梯度下降法训练模型，采用共享梯度值的方式实现每个学习端的数据共享，避免直接传输材料数据导致材料数据泄漏的缺陷，并且在传输过程中采用的同态加密算法对传输的梯度值进行加密，进一步的保证了传输数据的隐私性，本发明在保证材料数据的隐私性的基础上，实现了利用各个单位的数据实现机器学习训练，克服了小数据导致的模型无法收敛与模型泛化性差的技术问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于隐私保护的材料逆向设计方法的流程图；
图2为本发明提供的对原始的已成型材料的小样本数据进行数据清理对齐与模型选择的原理图；
图3为本发明提供的数据共享训练的原理图。
具体实施方式
本发明的目的是提供一种基于隐私保护的材料逆向设计方法及系统，以在保证材料数据的隐私性的基础上，实现利用各个单位的数据实现机器学习训练，以克服小数据导致的模型无法收敛与模型泛化性差的技术问题。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对发明作进一步详细的说明。
本发明的目的为了解决在材料领域中如何多方共同学习的问题，以及当数据存在隐私性如何保证学习过程中数据的隐私性，提供了一种基于隐私保护的材料逆向设计方法及系统。该方法是一种基于同态加密的材料领域隐私数据共享智能方法，它能够保证参与学习的各方在不泄露自己数据的前提下，利用梯度传递的方式完成机器学习，且由于引入了同态加密的加密方式，在整个训练的过程中，梯度数据一直处于密文空间中，进而通过保护梯度数据达到了保护模型的效果。通过这种方法训练出的模型，相比各方用户使用自己的数据训练出更加贴近实际的模型，且有更好的效果。
具体的，如图1所示，本发明的基于隐私保护的材料逆向设计方法基于材料逆向设计云平台，所述材料逆向设计云平台包括：N个学习端、密钥管理端和运算服务器；N个所述学习端分别与所述密钥管理端和运算服务器连接，所述密钥管理端与所述运算服务器连接；所述材料逆向设计方法包括如下步骤：通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器；通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，将融合梯度值分发给每个所述学习端；并向所述密钥管理端发送下一轮训练的同态加密密钥对获取请求；通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，并利用解密后的融合梯度值对所述材料逆向设计模型的参数进行更新，通过密钥管理端当接收到运算服务器发送的同态加密密钥对获取请求时，生成下一轮的用于同态加密算法的密钥对，并将下一轮的用于同态加密算法的密钥对分发给N个所述学习端；返回步骤“通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器”，进行下一轮训练，直到所述材料逆向设计模型的损失函数值小于损失函数阈值，获得训练后的材料逆向设计模型；通过所述学习端利用所述训练后的材料逆向设计模型进行材料的逆向设计。
具体的，本发明的基于隐私保护的材料逆向设计方法，包括如下步骤：
步骤一：如图2所述各个学习端分别对原始的已成型材料的小样本数据进行数据清理对齐与模型选择包括以下步骤：
1、数据清理：清除疑似错误异常的数据样本，清除偏离样本整体分布的离群样本；
2、数据清理：各学习参与方通过多渠道协商的方式，商定学习中需要用到的特征与目标，包括数据的格式与单位等；各学习参与方通过多渠道协商的方式，商定学习中需要用到的特征与目标为十六个特征与一个目标，包括NT(Normalizing Temperature)：归一化温度；THT(Through Hardening Temperature)：穿透硬化温度；THt(Through HardeningTime)：穿透硬化时间；THQCr(Cooling Rate for Through Hardening)：穿透硬化冷却速度；CT(Carburization Temperature)：渗碳温度；Ct(Carburization Time)：渗碳时间；DT(Diffusion Temperature)：扩散温度；Dt(Diffusion Time)：扩散时间；QmT(QuenchingMedia Temperature)：淬火介质温度；TT(Tempering Temperature)：回火温度；Tt(Tempering Time)：回火时间；TCr(Cooling Rate for Tempering)：回火冷却速度、C：碳含量；Ni：镍含量；Cr：铬含量；Mo：钼含量。其中温度的单位均用摄氏度表示，时间的单位为分钟，含量均被表示为百分比。选取目标为金属疲劳强度，其单位为N/mm2。
3、模型选择：根据数据的特征或经验选择一种基于梯度传递的神经网络，对材料数据进行建模，用准确率、召回率等指标选择表现最好的机器学习模型作为基础模型。根据金属疲劳强度数据的特征选择基于梯度下降进行学习的多层感知机网络，随机初始化模型，用准确率作为模型性能指标。
4、建模调参：选取基础模型，进行反复交叉验证，对基础模型中的超参数进行调参，选出相对满意的超参数。选择步骤3中的多层感知机基础模型，先确定包括感知机层数、每层隐藏单元等超参数的大致范围，然后根据小规模数据与训练结果逐步缩小参数范围，直到选出满意的超参数。
步骤二，如图3所示各个学习端进行数据共享训练的过程包括以下步骤：
1、学习端在运算服务器端及密钥管理端进行注册：整个系统有N个学习端(即表示有N个参与方)、一个运算服务器与一个密钥管理端。学习端在本地生成一对用于与密钥管理端通信信道加密的密钥对(包含公钥与私钥)，并将包含公钥信息的注册请求发给计算服务端进行注册。服务端接收到来自注册方的注册请求时，根据学习段端地址信息进行地址登记，并将其中的公钥信息与学习端地址发给密钥管理端进行注册。密钥管理端根据公钥与学习端地址生成信道，用于训练过程中每轮同态加密算法的密钥对分发。
2、模型及密钥初始化：运算服务器接收到来自学习端的注册请求后，初始化模型Φ，并将该初始化模型Φ发送给N个学习端。其中模型Φ的超参数选择：将步骤一所建立的超参数用于构建共同学习的初始化模型。密钥管理端在完成与各学习端之间的通信信道构建之后，初始化机器学习第一轮用于同态加密的密钥对keypair(PublicKey，PrivateKey)并分发给各学习端。具体的，学习参与方向密钥管理中心发送请求，密钥管理中心确认学习端数量N，并确认学习端在线情况。运算服务器根据用户选定的模型超参数随机初始化模型Φ，并将模型Φ返回各学习端。密钥管理中心在初始化的时候将一个用于同态加密的密钥对发送给每一个学习端，其中包括公钥(n，g)与私钥(λ，μ)。同时，密钥管理中心将学习端数量N告知运算服务器，运算服务器根据收到的学习端数量进行初始化。
3、学习端本地学习过程：由于选定的模型的学习方式是基于梯度下降，所以每一轮训练可以分为前向传播，反向传播与模型更新的过程，学习端主要的工作就是根据运算服务器生成的初始化模型与各学习参与者拥有的、需要用于参与学习的小样本数据进行前向传播与反向传播的反复迭代训练，此时可以得到梯度数据gradi(第i个学习端反向传播产生的梯度数据)，通过同态加密算法与密钥管理端分发的密钥对中的公钥对该梯度数据进行加密可以得到加密后的梯度数据Enc(gradi)；同态加密算法Paillier算法的具体加密过程为：data为待加密的明文，且满足(0≤data＜n)。选择一个随机数r满足(0＜r＜n)且
Figure BDA0002572600630000091
使用公钥对明文data加密得到密文c的算法为：
c＝gdata*rnmod n2
4、梯度数据融合计算：当各学习端经过一轮训练得到了梯度数据后，将梯度数据发送给运算服务器，运算服务器对这些梯度数据进行梯度融合操作，并向密钥管理端申请下一轮同态加密密钥，密钥管理端生成密钥对后分发给各学习端。其中，融合运算为利用Paillier算法的加同态特性。可以保证这些密文数据可以在不解密的情况下完成运算。其中，基于Paillier算法的融合运算的公式可以表示为
Figure BDA0002572600630000092
运算服务器算出结果后，将Enc(gradfinal)回传给各学习端。
5、模型更新与反复迭代：当学习端收到运算服务器回传的梯度数据Enc(gradfinal)后，对该加密数据进行解密可以得到解密后的梯度数据gradfinal，解密公式为：data＝L(cλmodn2)*μmodn，公式中的c为需要解密的密文，即Enc(gradfinal)。
并进行模型更新，具体的更新公式为
Figure BDA0002572600630000093
(
Figure BDA0002572600630000094
表示第i个学习端第t轮迭代的模型参数)。然后再使用新生成的模型重复步骤2、步骤3步骤4，前向传播之后可以计算出一个损失函数的损失值，当该损失值小于各学习端预先设定的损失值ε时，训练迭代停止，表示模型已经收敛且训练完成。
步骤3进行梯度数据加密的过程为：
(1)、密钥管理中心在初始化的时候将一个密钥对发送给学习参与者(学习端)，其中包括公钥(PublicKey)与私钥(PrivateKey)；
(2)、学习端计算出梯度数据后根据公式，使用同态加密(HEenc)对数据(data)进行加密处理并得到结果Enc(data)，加密公式如下：
Enc(data)＝HEenc(data，PublicKey)
步骤4进行加密梯度数据解密的过程为：
(1)、密钥管理中心在初始化的时候将一个密钥对发送给学习参与者(学习端)，其中包括公钥(PublicKey)与私钥(PrivateKey)；
(2)、当学习端收到来自运算服务器的融合梯度值时，可用私钥解密，解密公式如下：
data＝HEdec(Enc(data)，PrivateKey)
(3)、学习参与者使用学习端最终训练到收敛的模型对自己的实验进行指导。
本发明还提供一种基于隐私保护的材料逆向设计系统，所述材料逆向设计系统包括：同态加密模块，用于通过所述学习端利用小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器；梯度值融合模块，用于通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，将融合梯度值分发给每个所述学习端；并向所述密钥管理端发送下一轮训练的同态加密密钥对获取请求；参数更新模块，用于通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，并利用解密后的融合梯度值对所述材料逆向设计模型的参数进行更新，通过密钥管理端当接收到运算服务器发送的同态加密密钥对获取请求时，生成下一轮训练的用于同态加密算法的密钥对，并将下一轮训练的用于同态加密算法的密钥对分发给N个所述学习端；执行同态加密模块，进行下一轮训练，直到所述材料逆向设计模型的损失函数值小于损失函数阈值，获得训练后的材料逆向设计模型；逆向设计模块，用于通过所述学习端利用所述训练后的材料逆向设计模型进行材料的逆向设计。
作为一种优选的实施方式但是不限于该实施方式。所述材料逆向设计系统还包括：学习端注册模块，用于通过所述学习端生成用于与密钥管理端通信信道加密的密钥对，并向所述运算服务器端发送包含用于与密钥管理端通信信道加密的密钥对中的公钥信息的注册请求；学习端地址获取模块，用于通过所述运算服务器获取发送注册请求的学习端的学习端地址，将发送注册请求的学习端的公钥信息和学习端地址发送给所述密钥管理端进行注册；密钥对分发信道生成模块，用于通过所述密钥管理端根据发送注册请求的学习端的公钥信息和学习端地址生成用于同态加密算法的密钥对分发的密钥对分发信道。材料逆向设计模型初始化模块，用于通过所述运算服务器初始化材料逆向设计模型，并将初始化后的材料逆向设计模型分发给每个所述学习端。
本发明的基础模型可以是任何一个基于梯度下降方法训练的神经网络，学习出的模型可以用于对材料的性能，结构与特性等方面做预测，并利用共享智能的思想帮助解决了数据样本小无法进行机器学习的问题。其次由于学习过程依托半置信网络与不可信第三方服务器，所以引入同态加密算法，保护训练过程中数据与模型安全。该方法可以打破数据孤岛，在隐私数据不出域的情况下完成神经网络的训练，提高了小样本数据的应用场景，解决了隐私数据在合作学习过程中的数据安全问题。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

Claims (8)

1.一种基于隐私保护的材料逆向设计方法，其特征在于，所述材料逆向设计方法基于材料逆向设计云平台，所述材料逆向设计云平台包括：N个学习端、密钥管理端和运算服务器；N个所述学习端分别与所述密钥管理端和所述运算服务器连接，所述密钥管理端与所述运算服务器连接；所述材料逆向设计方法包括如下步骤：
通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器；
通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，将融合梯度值分发给每个所述学习端；并向所述密钥管理端发送下一轮训练的同态加密密钥对获取请求；
通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，并利用解密后的融合梯度值对所述材料逆向设计模型的参数进行更新，当密钥管理端接收到运算服务器发送的同态加密密钥对获取请求时，生成下一轮的用于同态加密算法的密钥对，并将下一轮的用于同态加密算法的密钥对分发给N个所述学习端；重新通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器，进行下一轮训练，直到所述材料逆向设计模型的损失函数值小于损失函数阈值，获得训练后的材料逆向设计模型；
通过所述学习端利用所述训练后的材料逆向设计模型进行材料的逆向设计；
通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器，之前还包括：
通过所述学习端生成用于与密钥管理端通信信道加密的密钥对，并向所述运算服务器端发送包含用于与密钥管理端通信信道加密的密钥对中的公钥信息的注册请求；
通过所述运算服务器获取发送注册请求的学习端的学习端地址，将发送注册请求的学习端的公钥信息和学习端地址发送给所述密钥管理端进行注册；
通过所述密钥管理端根据发送注册请求的学习端的公钥信息和学习端地址生成用于同态加密算法的密钥对分发的密钥对分发信道。
2.根据权利要求1所述的基于隐私保护的材料逆向设计方法，其特征在于，通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器，之前还包括：
通过所述运算服务器初始化材料逆向设计模型，并将初始化后的材料逆向设计模型分发给每个所述学习端。
3.根据权利要求1所述的基于隐私保护的材料逆向设计方法，其特征在于，通过所述学习端利用学习端的小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器，之前还包括：
通过所述学习端获取本地已成型材料的小样本数据；所述小样本数据包括性能参数和设计参数。
4.根据权利要求1所述的基于隐私保护的材料逆向设计方法，其特征在于，所述利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，具体包括：
利用公式Enc(gradi)＝HEenc(gradi，PublicKey)，对梯度值进行加密；
其中，gradi表示第i个学习端计算得到的梯度值，Enc(gradi)表示第i个学习端的加密后的梯度值，PublicKey表示用于同态加密算法的密钥对的公钥，HEenc表示同态加密。
5.根据权利要求4所述的基于隐私保护的材料逆向设计方法，其特征在于，所述通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，具体包括：
利用公式
Figure FDA0003045658330000031
对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值；
其中，Enc(gradfinal)表示融合梯度值，N表示学习端的数量。
6.根据权利要求5所述的基于隐私保护的材料逆向设计方法，其特征在于，所述通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，具体包括：
利用公式gradfinal＝HEdec(Enc(gradfinal)，PrivateKey)，对所述融合梯度值进行解密；
其中，PrivateKey表示用于同态加密算法的密钥对的私钥；HEdec表示同态解密。
7.一种基于隐私保护的材料逆向设计系统，其特征在于，所述材料逆向设计系统基于材料逆向设计云平台，所述材料逆向设计云平台包括：N个学习端、密钥管理端和运算服务器；N个所述学习端分别与所述密钥管理端和所述运算服务器连接，所述密钥管理端与所述运算服务器连接，所述材料逆向设计系统包括：
同态加密模块，用于通过所述学习端利用小样本数据对材料逆向设计模型进行反向传播，计算材料逆向设计模型的梯度值；并利用密钥管理端发送的用于同态加密算法的密钥对对所述梯度值进行加密，将加密后的梯度值发送给所述运算服务器；
梯度值融合模块，用于通过运算服务器对每个所述学习端发送的加密后的梯度值进行融合，获得融合梯度值，将融合梯度值分发给每个所述学习端；并向所述密钥管理端发送下一轮训练的同态加密密钥对获取请求；
参数更新模块，用于通过学习端根据同态加密算法的密钥对对所述融合梯度值进行解密，并利用解密后的融合梯度值对所述材料逆向设计模型的参数进行更新，当密钥管理端接收到运算服务器发送的同态加密密钥对获取请求时，生成下一轮训练的用于同态加密算法的密钥对，并将下一轮训练的用于同态加密算法的密钥对分发给N个所述学习端；执行同态加密模块，进行下一轮训练，直到所述材料逆向设计模型的损失函数值小于损失函数阈值，获得训练后的材料逆向设计模型；
逆向设计模块，用于通过所述学习端利用所述训练后的材料逆向设计模型进行材料的逆向设计；
所述材料逆向设计系统还包括：
学习端注册模块，用于通过所述学习端生成用于与密钥管理端通信信道加密的密钥对，并向所述运算服务器端发送包含用于与密钥管理端通信信道加密的密钥对中的公钥信息的注册请求；
学习端地址获取模块，用于通过所述运算服务器获取发送注册请求的学习端的学习端地址，将发送注册请求的学习端的公钥信息和学习端地址发送给所述密钥管理端进行注册；
密钥对分发信道生成模块，用于通过所述密钥管理端根据发送注册请求的学习端的公钥信息和学习端地址生成用于同态加密算法的密钥对分发的密钥对分发信道。
8.根据权利要求7所述的基于隐私保护的材料逆向设计系统，其特征在于，所述材料逆向设计系统还包括：
材料逆向设计模型初始化模块，用于通过所述运算服务器初始化材料逆向设计模型，并将初始化后的材料逆向设计模型分发给每个所述学习端。
CN202010644373.8A 2020-07-07 2020-07-07 一种基于隐私保护的材料逆向设计方法及系统 Active CN111800265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010644373.8A CN111800265B (zh) 2020-07-07 2020-07-07 一种基于隐私保护的材料逆向设计方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010644373.8A CN111800265B (zh) 2020-07-07 2020-07-07 一种基于隐私保护的材料逆向设计方法及系统

Publications (2)

Publication Number Publication Date
CN111800265A CN111800265A (zh) 2020-10-20
CN111800265B true CN111800265B (zh) 2021-06-25

Family

ID=72811166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010644373.8A Active CN111800265B (zh) 2020-07-07 2020-07-07 一种基于隐私保护的材料逆向设计方法及系统

Country Status (1)

Country Link
CN (1) CN111800265B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11837333B1 (en) 2022-12-20 2023-12-05 Dow Global Technologies Llc Simulation guided inverse design for material formulations

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446680A (zh) * 2018-05-07 2018-08-24 西安电子科技大学 一种基于边缘计算的人脸认证系统中的隐私保护方法
CN110490128A (zh) * 2019-08-16 2019-11-22 南京邮电大学 一种基于加密神经网络的手写识别方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10755172B2 (en) * 2016-06-22 2020-08-25 Massachusetts Institute Of Technology Secure training of multi-party deep neural network
JP6727340B2 (ja) * 2017-01-12 2020-07-22 Kddi株式会社 情報処理装置、方法及びコンピュータ可読記憶媒体
CN108712260B (zh) * 2018-05-09 2021-06-25 曲阜师范大学 云环境下保护隐私的多方深度学习计算代理方法
US11575500B2 (en) * 2018-07-25 2023-02-07 Sap Se Encrypted protection system for a trained neural network
CN109325584B (zh) * 2018-08-10 2021-06-25 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN110276210B (zh) * 2019-06-12 2021-04-23 深圳前海微众银行股份有限公司 基于联邦学习的模型参数的确定方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108446680A (zh) * 2018-05-07 2018-08-24 西安电子科技大学 一种基于边缘计算的人脸认证系统中的隐私保护方法
CN110490128A (zh) * 2019-08-16 2019-11-22 南京邮电大学 一种基于加密神经网络的手写识别方法

Also Published As

Publication number Publication date
CN111800265A (zh) 2020-10-20

Similar Documents

Publication Publication Date Title
Xu et al. Privacy-preserving federated deep learning with irregular users
Ion et al. Private intersection-sum protocol with applications to attributing aggregate ad conversions
US20210143987A1 (en) Privacy-preserving federated learning
US7873169B2 (en) Methods, devices and systems for generating anonymous public keys in a secure communication system
US20170359321A1 (en) Secure Data Exchange
CN112906030B (zh) 基于多方全同态加密的数据共享方法和系统
CN109831297A (zh) 一种支持门限解密的多身份全同态加密方法
CN103493427A (zh) 安全关联的发现
Kara et al. A fully homomorphic encryption based on magic number fragmentation and El‐Gamal encryption: Smart healthcare use case
EP3703304A1 (en) Cloud-based secure computation of the median
CN115037477A (zh) 一种基于区块链的联邦学习隐私保护方法
CN112383550A (zh) 一种基于隐私保护的动态权限访问控制方法
CN116933899A (zh) 基于多同态属性的数据安全聚合方法及系统
CN110380845A (zh) 基于群组对称密钥池的量子保密通信联盟链交易方法、系统、设备
CN111800265B (zh) 一种基于隐私保护的材料逆向设计方法及系统
CN116957064A (zh) 基于知识蒸馏的联邦学习隐私保护模型训练方法及系统
CN110809000B (zh) 基于区块链网络的业务交互方法、装置、设备及存储介质
Jeckmans et al. Poster: privacy-preserving profile similarity computation in online social networks
CN113472524B (zh) 一种抗恶意传输数据攻击的数据聚合签名系统及方法
CN114978622A (zh) 一种基于区块链和零知识证明的匿名凭证验证方法及系统
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
CN115834067A (zh) 一种边云协同场景中密文数据共享方法
CN109218016B (zh) 数据传输方法及装置、服务器、计算机设备和存储介质
CN117272389B (zh) 一种非交互可验证的联合安全建模方法
CN115604030B (zh) 数据共享方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant