CN112383396A - 一种联邦学习模型训练方法及系统 - Google Patents

一种联邦学习模型训练方法及系统 Download PDF

Info

Publication number
CN112383396A
CN112383396A CN202110020651.7A CN202110020651A CN112383396A CN 112383396 A CN112383396 A CN 112383396A CN 202110020651 A CN202110020651 A CN 202110020651A CN 112383396 A CN112383396 A CN 112383396A
Authority
CN
China
Prior art keywords
gradient
node device
node
encryption
sends
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110020651.7A
Other languages
English (en)
Other versions
CN112383396B (zh
Inventor
邵俊
向爱平
洪城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Suoxinda Data Technology Co ltd
Soxinda Beijing Data Technology Co ltd
Original Assignee
Shenzhen Suoxinda Data Technology Co ltd
Soxinda Beijing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Suoxinda Data Technology Co ltd, Soxinda Beijing Data Technology Co ltd filed Critical Shenzhen Suoxinda Data Technology Co ltd
Priority to CN202110020651.7A priority Critical patent/CN112383396B/zh
Publication of CN112383396A publication Critical patent/CN112383396A/zh
Application granted granted Critical
Publication of CN112383396B publication Critical patent/CN112383396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0863—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving passwords or one-time passwords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种联邦学习模型训练方法及系统，其中方法包括：中央服务器将初始参数发送至各个节点设备；各个节点设备基于初始参数和本地数据集进行模型训练，并获得梯度值；中央服务器生成密钥对，并将公钥发送给各个节点设备；各节点设备采用所述公钥对梯度值进行加密，获得加密梯度；各节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；中央服务器通过私钥对所述加密梯度和进行解密，获得梯度和，并发送至各个节点设备；节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件，该方法能够保证所有参与方的隐私数据以及保证了模型训练的精度。

Description

一种联邦学习模型训练方法及系统
技术领域
本申请涉及信息技术领域，尤其涉及一种联邦学习模型训练方法及系统。
背景技术
联邦学习致力于解决多用户在不公开各自数据集的情形下，协同完成模型训练的问题。例如在医疗大数据建模场景中，各家医院拥有不同的病人样本数据。由于各家医院拥有的数据量有限，如果仅仅基于自身的数据来训练模型，受样本规模的限制，模型效果难以达到预期。如果能将各家数据聚合来训练，则可以大幅提升模型精度。然而出于医院之间的竞争以及对病人数据隐私保护的要求，医院不可能将自身的客户数据向任何第三方发布，直接将各家数据聚合到一起建模是行不通的。因此，联邦学习技术应运而生，给医疗机构在不泄露自身原始数据的情形下，共同训练机器学习模型提供了可能。
共同训练的模型可以是机器学习模型或神经网络模型，通过协同训练来找到模型合适的参数，使得总损失函数最小。通常会使用梯度下降方法来更新模型参数，即在给定了模型初始参数后，通过梯度信息一步步更新参数，直到损失函数的值达到最小。通过联邦学习，参与方之间不需要共享原始数据，而只需要基于自身数据建模，并将梯度信息传送出去，通过各家梯度信息更新参数即可完成模型训练。
然而虽然各成员之间不会共享数据，而仅仅通过将梯度值传给中央服务器，并由中央服务器计算出梯度和并传送给各节点，以完成模型训练。然而该中央服务器存在通过这些梯度值反推出节点原始信息的可能性。
传统的差分隐私办法会让每个参与方在自身的梯度值上叠加一个噪声再传递给中央服务器，然而如果该噪声过大，则模型精度会急剧下降，而如果噪声过小，又起不到保护隐私的作用。该方法始终存在着精度与隐私性难以权衡的问题。
发明内容
为解决现有的联邦学习方法存在的精度与隐私性难以权衡的问题，本发明提供了一种联邦学习模型训练方法及系统。
一种联邦学习模型训练方法，包括：
中央服务器将初始参数发送至各个节点设备；
各个节点设备基于所述初始参数和本地数据集进行模型训练，并获得梯度值；
中央服务器生成密钥对，并将公钥发送给各个节点设备；
各节点设备采用所述公钥对梯度值进行加密，获得加密梯度；
各节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；
中央服务器通过私钥对所述加密梯度和进行解密，获得梯度和，并发送至各个节点设备；
节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件。
进一步地，节点设备基于初始参数或者更新的参数以及本地数据集进行模型训练，获得梯度值，包括：
节点设备基于所述初始参数或者更新的参数，以及本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。
进一步地，所述中央服务器基于同态加密算法生成密钥对。
进一步地，各节点设备通过点对点方式计算加密梯度和，包括：
首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；
各节点设备接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；
最后一个节点设备将叠加加密梯度发送至所述首节点设备，首节点设备将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和。
进一步地，所述首节点设备将所述加密梯度和发送至中央服务器。
进一步地，所述训练停止条件为：
超过预设数量的节点设备的模型收敛。
进一步地，所述节点设备的模型收敛的条件为损失函数值的变化值小于预设值。
一种联邦学习模型训练系统，包括中央服务器和N个节点设备，其中，N为大于1的整数；
所述中央服务器将初始参数发送至各个节点设备；
各个所述节点设备基于所述初始参数和本地数据集进行模型训练，并获得梯度值；
所述中央服务器生成密钥对，并将公钥发送给各个节点设备；
各所述节点设备采用所述公钥对梯度值进行加密，获得加密梯度；
各所述节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；
所述中央服务器通过私钥对所述加密梯度和进行解密，获得各节点设备的梯度和，并发送至各个节点设备；
所述节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件。
进一步地，所述N个节点设备依次通信连接，首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；各节点设备接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；最后一个节点设备将叠加加密梯度发送至所述首节点设备，首节点设备将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和。
进一步地，所述训练停止条件为：超过预设数量的节点设备的模型收敛；所述节点设备的模型收敛的条件为损失函数值的变化值小于预设值。
本发明提供的联邦学习模型训练方法及系统，至少包括如下有益效果：
上述实施例提供的联邦学习模型训练方法，至少包括如下有益效果：
（1）在协同训练的过程中，中央服务器无法获知任意节点设备的梯度值，任意节点设备也无法获知其他节点设备的梯度值，保证了所有参与方的隐私数据，同时，各节点设备基于梯度值和更新参数，保证了模型训练的精度；
（2）节点设备之间通过点对点的方式计算加密梯度和，首节点设备加入了噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的加密梯度，以防止节点设备和中央服务器串谋获取其他节点设备的数据，进一步保证所有参与方的数据隐私。
附图说明
图1为本发明提供的联邦学习模型训练方法一种实施例的结构示意图。
图2为本发明提供的联邦学习模型训练方法中加密梯度和计算一种实施例的流程图。
图3为本发明提供的联邦学习模型训练方法中加密梯度和计算一种实施例的示意图。
图4为本发明提供的联邦学习模型训练系统一种实施例的结构示意图。
图5为本发明提供的联邦学习模型训练系统另一种实施例的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
参考图1，在一些实施例中，提供一种联邦学习模型训练方法，包括：
S1、中央服务器将初始参数发送至各个节点设备；
S2、各个节点设备基于所述初始参数和本地数据集进行模型训练，并获得梯度值；
S3、中央服务器生成密钥对，并将公钥发送给各个节点设备；
S4、各节点设备采用所述公钥对梯度值进行加密，获得加密梯度；
S5、各节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；
S6、中央服务器通过私钥对所述加密梯度和进行解密，获得梯度和，并发送至各个节点设备；
S7、节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件。
具体地，系统包括中央服务器和N个节点设备，其中N为大于1的整数。
本实施例中所述的模型包括神经网络模型。
步骤S1中，中央服务器与各个节点设备建立通信连接，在训练开始时，中央服务器生成初始参数发送给各个节点设备。
步骤S2中，节点设备接收到初始参数后，基于初始参数以及本地数据集进行模型训练，获得梯度值，包括：
节点设备基于所述初始参数以及本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。
具体地，第i个节点设备生成的梯度值，记为
Figure 111950DEST_PATH_IMAGE001
。
步骤S3中，中央服务器基于同态加密算法生成密钥对。
同态加密算法是一种对称加密算法，包括密钥生成算法、加密算法和解密算法，同态加密包括两种基本的同态类型，即乘法同态和加法同态。同态加密保证了数据处理方无法知道所处理的数据的明文信
息，可以直接对数据的密文进行相应的处理，这样一来，数据可以得到相应的安全保障。
步骤S4中，各节点设备采用所述公钥对梯度值进行加密，获得加密梯度，第i个节点设备的加密梯度记为
Figure 668571DEST_PATH_IMAGE002
。
参考图2，步骤S5中，各节点设备通过点对点方式计算加密梯度和，包括：
S51、首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；
S52、各节点设备接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；
S53、最后一个节点设备将叠加加密梯度发送至所述首节点设备，首节点设备将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和。
参考图3，以下以具体的应用场景对步骤S5的方法步骤做进一步说明。
系统包括中央服务器和n个节点设备，n个节点设备编号分别为1、2、3、……n，n个节点设备依次通信连接，编号为1的节点设备作为首节点设备，首节点设备1生成噪声值e，将噪声值e与自身生成的加密梯度进行叠加，记为
Figure 120412DEST_PATH_IMAGE003
，发送至节点设备2，节点设备2接收到首节点设备1发送的叠加加密梯度
Figure 453305DEST_PATH_IMAGE004
之后，将自身生成的加密梯度
Figure 703895DEST_PATH_IMAGE005
进行叠加，记为
Figure 136145DEST_PATH_IMAGE006
，发送至下一节点设备，以此类推，最后一个节点设备n接收到的叠加加密梯度
Figure 75282DEST_PATH_IMAGE007
，再叠加自身的加密梯度
Figure 512997DEST_PATH_IMAGE008
，记为
Figure 119559DEST_PATH_IMAGE009
，发送至首节点设备1，首节点设备1再减去噪声值e，获得加密梯度和，记为
Figure 50606DEST_PATH_IMAGE010
。
首节点设备1将加密梯度和发送至中央服务器。
节点设备之间通过点对点的方式计算加密梯度，首节点设备加入了噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的加密梯度，以防止节点设备和中央服务器串谋获取其他节点设备的数据。
步骤S6中，中央服务器接收到加密梯度和，采用私钥进行解密，获得梯度和并发送至各个节点设备，中央服务器无法获知任意一个节点设备的梯度值，因此可以有效保护节点设备的隐私。
步骤S7中，各个节点设备基于接收到的梯度和更新模型的参数，根据更新的模型参数和本地数据集，计算损失函数值，计算过程中获得梯度下降产生的梯度值。
当损失函数值的变化值小于预设值，则该节点设备的模型收敛。
训练过程中，模型收敛的节点设备，接收到中央服务器发送的梯度和之后不再更新模型，但与其他节点设备以及中央服务器的通信依然继续，加密梯度设为0。
超过预设数量的节点设备的模型收敛，则满足训练停止条件。
预设数量可以根据需要设定，例如可以是总的节点数量的70%至80%。
上述实施例提供的联邦学习模型训练方法，至少包括如下有益效果：
（1）在协同训练的过程中，中央服务器无法获知任意节点设备的梯度值，任意节点设备也无法获知其他节点设备的梯度值，保证了所有参与方的隐私数据，同时，各节点设备基于梯度值和更新参数，保证了模型训练的精度；
（2）节点设备之间通过点对点的方式计算加密梯度和，首节点设备加入了噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的加密梯度，以防止节点设备和中央服务器串谋获取其他节点设备的数据，进一步保证所有参与方的数据隐私。
在一些实施例中，参考图4，还提供一种联邦学习模型训练系统，包括中央服务器100和N个节点设备200，其中N为大于1的整数；
中央服务器100将初始参数发送至各个节点设备200；
各个节点设备200基于初始参数和本地数据集进行模型训练，并获得梯度值；
中央服务器100生成密钥对，并将公钥发送给各个节点设备；
各节点设备200采用所述公钥对梯度值进行加密，获得加密梯度；
各节点设备200通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器100；
中央服务器100通过私钥对所述加密梯度和进行解密，获得各节点设备的梯度和，并发送至各个节点设备200；
各个节点设备200基于梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件。
具体地，参考图5，中央服务器100包括初始参数生成模块101、密钥生成模块102、发送模块103以及解密模块104。
节点设备200包括接收模块201、训练模块202、加密模块203以及和计算模块204。
中央服务器100的初始参数生成模块101在模型开始训练时，生成初始参数，并通过发送模块103发送至各个节点设备200，节点设备200中的接收模块201接收该初始参数，训练模块202基于初始参数和本地数据集进行模型训练，并获得梯度值。中央服务器100的密钥生成模块102基于同态加密算法生成密钥对，并将公钥通过发送模块103发送至各个节点设备200，各个节点设备200的接收模块201接收该公钥，加密模块203采用所述公钥对梯度值进行加密，获得加密梯度；和计算模块204通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器100，中央服务器100的解密模块105接收该加密梯度和，并通过私钥对其进行解密，获得梯度和，通过发送模块103将梯度和发送至节点设备100，节点设备100的接收模块接收该梯度和，训练模块202基于梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件。
进一步地，N个节点设备100依次通信连接，首节点设备的和计算模块204还用于生成噪声值，首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；各节点设备的和计算模块204接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；最后一个节点设备的和计算模块204将叠加加密梯度发送至所述首节点设备，首节点设备的和计算模块204将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和。首节点设备的和计算模块204将加密梯度和发送至中央服务器100。
进一步地，所述训练停止条件为：超过预设数量的节点设备的模型收敛；所述节点设备的模型收敛的条件为损失函数值的变化值小于预设值。
上述实施例提供的联邦学习模型训练系统，至少包括如下有益效果：
（1）在协同训练的过程中，中央服务器无法获知任意节点设备的梯度值，任意节点设备也无法获知其他节点设备的梯度值，保证了所有参与方的隐私数据，同时，各节点设备基于梯度值和更新参数，保证了模型训练的精度；
（2）节点设备之间通过点对点的方式计算加密梯度和，首节点设备加入了噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的加密梯度，以防止节点设备和中央服务器串谋获取其他节点设备的数据，进一步保证所有参与方的数据隐私。
以下通过具体的应用场景对上述实施例提供的联邦学习模型训练方法做进一步说明。
系统包括中央服务器和5个节点设备，第一轮训练开始时，中央服务器将初始参数发送至各个节点设备；各个节点设备基于所述初始参数和本地数据集进行模型训练，计算损失函数值，计算过程中获得梯度下降产生的梯度值。
记神经网络模型原始自变量为
Figure 477039DEST_PATH_IMAGE011
标签为y，y的取值为0或1，1表示正类，0表示负类。神经网络参数为
Figure 650269DEST_PATH_IMAGE012
其中M为隐层数量，
Figure 376917DEST_PATH_IMAGE013
表示第i个隐层的变量个数，记神经网络模型的输出为
Figure 478865DEST_PATH_IMAGE014
，表示该样本为正例的概率
那么损失函数如下表示：
Figure 658174DEST_PATH_IMAGE015
，其中
Figure 369515DEST_PATH_IMAGE016
每个参数的梯度值即为上述损失函数对每个参数的偏导数。
中央服务器生成密钥对，并将公钥发送给各个节点设备；各节点设备采用所述公钥对梯度值
Figure 950669DEST_PATH_IMAGE017
进行加密，得到加密梯度
Figure 489098DEST_PATH_IMAGE018
。
各节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器，加密梯度和为
Figure 890124DEST_PATH_IMAGE019
。
中央服务器通过私钥对所述加密梯度和进行解密，获得梯度和，并发送至各个节点设备；
节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，计算损失函数值，计算过程中获得梯度下降产生的梯度值，当损失函数值与上一轮的变化值小于预设值，则该节点设备的模型收敛，当5个节点设备的模型都收敛，则训练停止。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种联邦学习模型训练方法，其特征在于，包括：
中央服务器将初始参数发送至各个节点设备；
各个节点设备基于所述初始参数和本地数据集进行模型训练，并获得梯度值；
中央服务器生成密钥对，并将公钥发送给各个节点设备；
各节点设备采用所述公钥对梯度值进行加密，获得加密梯度；
各节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；
中央服务器通过私钥对所述加密梯度和进行解密，获得梯度和，并发送至各个节点设备；
节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件。
2.根据权利要求1所述的方法，其特征在于，节点设备基于初始参数或者更新的参数以及本地数据集进行模型训练，获得梯度值，包括：
节点设备基于所述初始参数或者更新的参数，以及本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。
3.根据权利要求1所述的方法，其特征在于，所述中央服务器基于同态加密算法生成密钥对。
4.根据权利要求1所述的方法，其特征在于，各节点设备通过点对点方式计算加密梯度和，包括：
首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；
各节点设备接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；
最后一个节点设备将叠加加密梯度发送至所述首节点设备，首节点设备将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和。
5.根据权利要求4所述的方法，其特征在于，所述首节点设备将所述加密梯度和发送至中央服务器。
6.根据权利要求2所述的方法，其特征在于，所述训练停止条件为：
超过预设数量的节点设备的模型收敛。
7.根据权利要求6所述的方法，其特征在于，所述节点设备的模型收敛的条件为损失函数值的变化值小于预设值。
8.一种联邦学习模型训练系统，其特征在于，包括中央服务器和N个节点设备，其中，N为大于1的整数；
所述中央服务器将初始参数发送至各个节点设备；
各个所述节点设备基于所述初始参数和本地数据集进行模型训练，并获得梯度值；
所述中央服务器生成密钥对，并将公钥发送给各个节点设备；
各所述节点设备采用所述公钥对梯度值进行加密，获得加密梯度；
各所述节点设备通过点对点方式计算加密梯度和，并将加密梯度和发送至中央服务器；
所述中央服务器通过私钥对所述加密梯度和进行解密，获得各节点设备的梯度和，并发送至各个节点设备；
所述节点设备基于所述梯度和更新模型的参数，根据更新的参数以及本地数据集进行下一轮模型训练，直到满足训练停止条件。
9.根据权利要求8所述的联邦学习模型训练系统，其特征在于，所述N个节点设备依次通信连接，首节点设备生成噪声值，将所述噪声值与生成的加密梯度进行叠加，并发送至下一节点设备；各节点设备接收到上一节点设备发送的叠加加密梯度之后，将自身生成的加密梯度叠加到所述叠加加密梯度上，并发送至下一节点设备；最后一个节点设备将叠加加密梯度发送至所述首节点设备，首节点设备将接收到的叠加加密梯度减去噪声值，获得所述加密梯度和。
10.根据权利要求8所述的联邦学习模型训练系统，其特征在于，所述训练停止条件为：超过预设数量的节点设备的模型收敛；所述节点设备的模型收敛的条件为损失函数值的变化值小于预设值。
CN202110020651.7A 2021-01-08 2021-01-08 一种联邦学习模型训练方法及系统 Active CN112383396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110020651.7A CN112383396B (zh) 2021-01-08 2021-01-08 一种联邦学习模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110020651.7A CN112383396B (zh) 2021-01-08 2021-01-08 一种联邦学习模型训练方法及系统

Publications (2)

Publication Number Publication Date
CN112383396A true CN112383396A (zh) 2021-02-19
CN112383396B CN112383396B (zh) 2021-05-04

Family

ID=74590044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110020651.7A Active CN112383396B (zh) 2021-01-08 2021-01-08 一种联邦学习模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN112383396B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597240A (zh) * 2021-03-01 2021-04-02 索信达(北京)数据技术有限公司 一种基于联盟链的联邦学习的数据处理方法与系统
CN112801307A (zh) * 2021-04-13 2021-05-14 深圳索信达数据技术有限公司 基于区块链的联邦学习方法、装置和计算机设备
CN112966298A (zh) * 2021-03-01 2021-06-15 广州大学 一种复合隐私保护方法、系统、计算机设备及存储介质
CN113033828A (zh) * 2021-04-29 2021-06-25 江苏超流信息技术有限公司 模型训练方法、使用方法、系统、可信节点及设备
CN113345597A (zh) * 2021-07-15 2021-09-03 中国平安人寿保险股份有限公司 传染病概率预测模型的联邦学习方法、装置及相关设备
CN113344221A (zh) * 2021-05-10 2021-09-03 上海大学 一种基于神经网络架构搜索的联邦学习方法及系统
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113657616A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113704779A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 加密的分布式机器学习训练方法
CN113704778A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 基于同态加密的机器学习线性模型预测方法
CN113792856A (zh) * 2021-09-09 2021-12-14 电子科技大学 基于vae医疗保健联邦学习框架的确定方法
CN114091690A (zh) * 2021-11-25 2022-02-25 支付宝(杭州)信息技术有限公司 联邦学习模型的训练方法和调用方法以及联邦学习系统
CN114268422A (zh) * 2021-11-12 2022-04-01 国网浙江省电力有限公司宁波供电公司 一种面向电力系统的多源异构数据共享方法、系统及设备
CN114330759A (zh) * 2022-03-08 2022-04-12 富算科技(上海)有限公司 一种纵向联邦学习模型的训练方法及系统
CN114595835A (zh) * 2022-05-07 2022-06-07 腾讯科技（深圳）有限公司 基于联邦学习的模型训练方法及装置、设备、存储介质
CN115021985A (zh) * 2022-05-23 2022-09-06 北京融数联智科技有限公司 一种无需第三方参与的逻辑回归模型训练方法及系统
CN115643105A (zh) * 2022-11-17 2023-01-24 杭州量安科技有限公司 一种基于同态加密和深度梯度压缩的联邦学习方法及装置
CN116595574A (zh) * 2023-04-14 2023-08-15 京信数据科技有限公司 一种对隐私计算模型安全发布及引用的装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109492420A (zh) * 2018-12-28 2019-03-19 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
CN109598385A (zh) * 2018-12-07 2019-04-09 深圳前海微众银行股份有限公司 反洗钱联合学习方法、装置、设备、系统及存储介质
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法
WO2020225772A1 (en) * 2019-05-07 2020-11-12 Imagia Cybernetics Inc. Method and system for initializing a neural network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN109598385A (zh) * 2018-12-07 2019-04-09 深圳前海微众银行股份有限公司 反洗钱联合学习方法、装置、设备、系统及存储介质
CN109492420A (zh) * 2018-12-28 2019-03-19 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
WO2020225772A1 (en) * 2019-05-07 2020-11-12 Imagia Cybernetics Inc. Method and system for initializing a neural network
CN110719158A (zh) * 2019-09-11 2020-01-21 南京航空航天大学 基于联合学习的边缘计算隐私保护系统及保护方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112597240A (zh) * 2021-03-01 2021-04-02 索信达(北京)数据技术有限公司 一种基于联盟链的联邦学习的数据处理方法与系统
CN112597240B (zh) * 2021-03-01 2021-06-04 索信达(北京)数据技术有限公司 一种基于联盟链的联邦学习的数据处理方法与系统
CN112966298A (zh) * 2021-03-01 2021-06-15 广州大学 一种复合隐私保护方法、系统、计算机设备及存储介质
CN112801307A (zh) * 2021-04-13 2021-05-14 深圳索信达数据技术有限公司 基于区块链的联邦学习方法、装置和计算机设备
CN112801307B (zh) * 2021-04-13 2021-07-06 深圳索信达数据技术有限公司 基于区块链的联邦学习方法、装置和计算机设备
CN113033828A (zh) * 2021-04-29 2021-06-25 江苏超流信息技术有限公司 模型训练方法、使用方法、系统、可信节点及设备
CN113033828B (zh) * 2021-04-29 2022-03-22 江苏超流信息技术有限公司 模型训练方法、使用方法、系统、可信节点及设备
CN113344221A (zh) * 2021-05-10 2021-09-03 上海大学 一种基于神经网络架构搜索的联邦学习方法及系统
CN113345597A (zh) * 2021-07-15 2021-09-03 中国平安人寿保险股份有限公司 传染病概率预测模型的联邦学习方法、装置及相关设备
CN113704779A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 加密的分布式机器学习训练方法
CN113704778A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 基于同态加密的机器学习线性模型预测方法
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113469373B (zh) * 2021-08-17 2023-06-30 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113657616A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113657616B (zh) * 2021-09-02 2023-11-03 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113792856B (zh) * 2021-09-09 2022-06-10 电子科技大学 基于vae医疗保健联邦学习框架的确定方法
CN113792856A (zh) * 2021-09-09 2021-12-14 电子科技大学 基于vae医疗保健联邦学习框架的确定方法
CN114268422A (zh) * 2021-11-12 2022-04-01 国网浙江省电力有限公司宁波供电公司 一种面向电力系统的多源异构数据共享方法、系统及设备
CN114091690A (zh) * 2021-11-25 2022-02-25 支付宝(杭州)信息技术有限公司 联邦学习模型的训练方法和调用方法以及联邦学习系统
CN114330759B (zh) * 2022-03-08 2022-08-02 富算科技(上海)有限公司 一种纵向联邦学习模型的训练方法及系统
CN114330759A (zh) * 2022-03-08 2022-04-12 富算科技(上海)有限公司 一种纵向联邦学习模型的训练方法及系统
CN114595835B (zh) * 2022-05-07 2022-07-22 腾讯科技（深圳）有限公司 基于联邦学习的模型训练方法及装置、设备、存储介质
CN114595835A (zh) * 2022-05-07 2022-06-07 腾讯科技（深圳）有限公司 基于联邦学习的模型训练方法及装置、设备、存储介质
CN115021985A (zh) * 2022-05-23 2022-09-06 北京融数联智科技有限公司 一种无需第三方参与的逻辑回归模型训练方法及系统
CN115021985B (zh) * 2022-05-23 2023-06-16 北京融数联智科技有限公司 一种无需第三方参与的逻辑回归模型训练方法及系统
CN115643105A (zh) * 2022-11-17 2023-01-24 杭州量安科技有限公司 一种基于同态加密和深度梯度压缩的联邦学习方法及装置
CN115643105B (zh) * 2022-11-17 2023-03-10 杭州量安科技有限公司 一种基于同态加密和深度梯度压缩的联邦学习方法及装置
CN116595574A (zh) * 2023-04-14 2023-08-15 京信数据科技有限公司 一种对隐私计算模型安全发布及引用的装置及方法
CN116595574B (zh) * 2023-04-14 2024-02-20 京信数据科技有限公司 一种对隐私计算模型安全发布及引用的装置及方法

Also Published As

Publication number Publication date
CN112383396B (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN112383396B (zh) 一种联邦学习模型训练方法及系统
CN108712260B (zh) 云环境下保护隐私的多方深度学习计算代理方法
EP4113345A1 (en) Data processing method and system based on node group, and device and medium
CN110572253A (zh) 一种联邦学习训练数据隐私性增强方法及系统
CN112333216A (zh) 一种基于联邦学习的模型训练方法及系统
CN112906044A (zh) 多方安全计算方法、装置、设备及存储介质
JP2018007168A (ja) 監査装置、監査機能付匿名送金方法及びプログラム
CN111460478B (zh) 一种面向协同深度学习模型训练的隐私保护方法
CN112818369B (zh) 一种联合建模方法及装置
CN115065463B (zh) 一种隐私保护的神经网络预测系统
CN115688185B (zh) 多方隐私求和方法、装置、电子设备和存储介质
CN116168789B (zh) 一种多中心医疗数据生成系统和方法
CN112434026A (zh) 一种基于哈希链的安全知识产权质押融资方法
CN115883053A (zh) 基于联邦机器学习的模型训练方法和装置
CN115630713A (zh) 样本标识符不相同下的纵向联邦学习方法、设备和介质
CN117708887B (zh) 一种基于纵向逻辑回归的联邦学习模型获取方法及系统
CN116011014A (zh) 一种隐私计算方法和隐私计算系统
CN109684603B (zh) 一种高效求解大尺度矩阵行列式的可验证外包计算方法、客户端及云计算系统
JP7297131B2 (ja) 分散型機械学習モデルのトレーニング方法、装置、機器および媒体
Yang et al. Federated Medical Learning Framework Based on Blockchain and Homomorphic Encryption
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
Sun et al. Feature engineering framework based on secure multi-party computation in federated learning
CN112769766B (zh) 基于联邦学习的电力边缘物联网数据安全聚合方法和系统
CN115473745B (zh) 基于区块链的数据加密处理系统、方法及存储介质
CN117749527B (zh) 基于大数据分析和云计算的安全防护方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant