CN112333216A - 一种基于联邦学习的模型训练方法及系统 - Google Patents

一种基于联邦学习的模型训练方法及系统 Download PDF

Info

Publication number
CN112333216A
CN112333216A CN202110015272.9A CN202110015272A CN112333216A CN 112333216 A CN112333216 A CN 112333216A CN 202110015272 A CN202110015272 A CN 202110015272A CN 112333216 A CN112333216 A CN 112333216A
Authority
CN
China
Prior art keywords
noise
value
node device
sum
gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110015272.9A
Other languages
English (en)
Other versions
CN112333216B (zh
Inventor
邵俊
何悦
路林林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen suoxinda Data Technology Co.,Ltd.
Original Assignee
Shenzhen Suoxinda Data Technology Co ltd
Soxinda Beijing Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Suoxinda Data Technology Co ltd, Soxinda Beijing Data Technology Co ltd filed Critical Shenzhen Suoxinda Data Technology Co ltd
Priority to CN202110015272.9A priority Critical patent/CN112333216B/zh
Publication of CN112333216A publication Critical patent/CN112333216A/zh
Application granted granted Critical
Publication of CN112333216B publication Critical patent/CN112333216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0407—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the identity of one or more communicating identities is hidden
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明公开了一种基于联邦学习的模型训练方法及系统，方法包括：中央服务器将参数发送至各个节点设备；各个节点设备基于参数和本地数据集进行神经网络模型训练，并获得梯度值；每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备；该方法能够保证模型训练精度，同时保护参与方的隐私数据。

Description

一种基于联邦学习的模型训练方法及系统
技术领域
本申请涉及信息技术领域，尤其涉及一种基于联邦学习的模型训练方法及系统。
背景技术
联邦学习致力于解决多用户在不公开各自数据集的情形下，协同完成模型训练的问题。例如在医疗大数据建模场景中，各家医院拥有不同的病人样本数据。由于各家医院拥有的数据量有限，如果仅仅基于自身的数据来训练模型，受样本规模的限制，模型效果难以达到预期。如果能将各家数据聚合来训练，则可以大幅提升模型精度。然而出于医院之间的竞争以及对病人数据隐私保护的要求，医院不可能将自身的客户数据向任何第三方发布，直接将各家数据聚合到一起建模是行不通的。因此，联邦学习技术应运而生，给医疗机构在不泄露自身原始数据的情形下，共同训练机器学习模型提供了可能。
共同训练的模型可以是机器学习模型或神经网络模型，通过协同训练来找到模型合适的参数，使得总损失函数最小。通常会使用梯度下降方法来更新模型参数，即在给定了模型初始参数后，通过梯度信息一步步更新参数，直到损失函数的值达到最小。通过联邦学习，参与方之间不需要共享原始数据，而只需要基于自身数据建模，并将梯度信息传送出去，通过各家梯度信息更新参数即可完成模型训练。
然而虽然各成员之间不会共享数据，而仅仅通过将梯度值传给中央服务器，并由中央服务器计算出梯度和并传送给各节点，以完成模型训练。然而该中央服务器存在通过这些梯度值反推出节点原始信息的可能性。
传统的差分隐私办法会让每个参与方在自身的梯度值上叠加一个噪声再传递给中央服务器，然而如果该噪声过大，则模型精度会急剧下降，而如果噪声过小，又起不到保护隐私的作用。该方法始终存在着精度与隐私性难以权衡的问题。
发明内容
为解决现有的联邦学习方法存在的精度与隐私性难以权衡的问题，本发明提供了一种基于联邦学习的模型训练方法及系统。
一种基于联邦学习的模型训练方法，节点设备和中央服务器分别部署有神经网络模型，所述方法包括：
迭代执行以下步骤，直到满足训练停止条件：
中央服务器将参数发送至各个节点设备；
各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；
每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；
各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；
中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。
进一步地，节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值，包括；
节点设备基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。
进一步地，节点设备将自身获得的梯度值进行加噪，获得加噪梯度值，包括：
节点设备生成噪声值，将所述噪声值与自身获得的梯度值进行叠加，获得所述加噪梯度值。
进一步地，中央服务器计算加噪梯度值和，包括：
中央服务器将接收到的各个节点设备的加噪梯度值进行相加，获得加噪梯度值和。
进一步地，各个节点设备通过点对点方式计算噪声值和，包括：
首节点设备生成额外噪声值，将所述额外噪声值与所述首节点设备的噪声值叠加，获得叠加噪声值之后发送至下一节点设备；
各节点设备接收到上一节点设备发送的叠加噪声值之后，将各自的噪声值叠加到所述叠加噪声值上，并发送至下一节点设备；
最后一个节点设备将叠加噪声值发送至所述首节点设备，所述首节点设备将接收到的叠加噪声值减去额外噪声值，获得所述噪声值和。
进一步地，所述首节点设备将所述噪声值和发送至中央服务器。
进一步地，中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，包括：
中央服务器将所述加噪梯度值和减去所述噪声值和，获得所述梯度值和。
进一步地，所述训练停止条件为：
超过预设数量的节点设备的神经网络模型收敛。
进一步地，所述节点设备的神经网络模型收敛的条件为损失函数值的变化值小于预设值。
一种基于联邦学习的模型训练系统，包括中央服务器和N个节点设备，其中，N为大于1的整数；
迭代执行以下步骤，直到满足训练停止条件：
中央服务器将参数发送至各个节点设备；
各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；
每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；
各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；
中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。
本发明提供的基于联邦学习的模型训练方法及系统，至少包括如下有益效果：
（1）在协同训练的过程中，中央服务器无法获知任意节点设备的噪声值和梯度值，任意节点设备也无法获知其他节点设备的噪声值和梯度值，保证了所有参与方的隐私数据，同时，中央服务器最终基于梯度值和更新参数，排除了噪声值的影响，保证了模型训练的精度；
（2）节点设备之间通过点对点的方式计算噪声值和，首节点设备加入了额外噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的噪声值，以防止节点设备和中央服务器串谋获取其他节点设备的数据，进一步保证所有参与方的数据隐私。
附图说明
图1为本发明提供的基于联邦学习的模型训练方法一种实施例的流程图。
图2为本发明提供的基于联邦学习的模型训练方法中中央服务器获取加噪梯度值的示意图。
图3为本发明提供的基于联邦学习的模型训练方法中计算噪声值和一种实施例的流程图。
图4为本发明提供的基于联邦学习的模型训练方法中各个节点设备通过点对点方式计算噪声值和的示意图。
图5为本发明提供的基于联邦学习的模型训练系统一种实施例的结构示意图。
图6为本发明提供的基于联邦学习的模型训练系统中中央服务器和节点设备另一种实施例的结构示意图。
具体实施方式
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
参考图1，在一些实施例中，提供一种基于联邦学习的模型训练方法，节点设备和中央服务器分别部署有神经网络模型，所述方法包括：
迭代执行以下步骤，直到满足训练停止条件：
S1、中央服务器将参数发送至各个节点设备；
S2、各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；
S3、每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；
S4、各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；
S5、中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。
具体地，系统包括一台中央服务器和至少两个节点设备。
步骤S1中，中央服务器分发给各个节点设备的参数，为初始参数或者每一轮迭代更新的参数，在训练开始时，中央服务器将初始参数发送给各个节点设备，中央服务器每一次机遇梯度值和更新申请网络模型获得更新的参数，发送给各个节点设备。
步骤S2中，节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值，包括；
节点设备基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。
步骤S3中，节点设备将自身获得的梯度值进行加噪，获得加噪梯度值，包括：
节点设备生成噪声值，将所述噪声值与自身获得的梯度值进行叠加，获得所述加噪梯度值。
具体地，各个节点设备的加噪梯度值通过以下公式表示：
Figure 442166DEST_PATH_IMAGE001
；（1）
其中，
Figure 296989DEST_PATH_IMAGE002
表示第i个节点设备的加噪梯度值，
Figure 545568DEST_PATH_IMAGE003
表示第i个节点设备获得的梯度值，
Figure 658886DEST_PATH_IMAGE004
表示第i个节点设备生成的噪声值。
进一步地，各个节点设备将加噪梯度值发送至中央服务器，中央服务器计算加噪梯度值和，包括：
中央服务器将接收到的各个节点设备的加噪梯度值进行相加，获得加噪梯度值和。
所述加噪梯度值和通过以下公式计算：
Figure 676521DEST_PATH_IMAGE005
其中，
Figure 967825DEST_PATH_IMAGE006
表示第i个节点设备的加噪梯度值，
Figure 969279DEST_PATH_IMAGE007
表示第i个节点设备获得的梯度值，
Figure 886288DEST_PATH_IMAGE008
表示第i个节点设备生成的噪声值，
Figure 24008DEST_PATH_IMAGE009
表示加噪梯度值和。
参考图2，在一个应用场景下，系统包括n个节点设备和一台中央服务器100，n个节点设备编号分别为1、2、3、……n，n个节点设备与中央服务器建立通信连接，各个节点设备将加噪梯度值发送至中央服务器，由于中央服务器接收到的每一个加噪梯度值都包含噪声值，因此中央服务器无法获得任意一个节点的数据集。
进一步地，参考图3，步骤S4中，各个节点设备通过点对点方式计算噪声值和，包括：
S41、首节点设备生成额外噪声值，将所述额外噪声值与自身的噪声值叠加，获得叠加噪声值之后发送至下一节点设备；
S42、各节点设备接收到上一节点设备发送的叠加噪声值之后，将各自的噪声值叠加到所述叠加噪声值上，并发送至下一节点设备；
S43、最后一个节点设备将叠加噪声值发送至所述首节点设备，所述首节点设备将接收到的叠加噪声值减去额外噪声值，获得所述噪声值和。
具体地，参考图4，编号为1的节点设备作为首节点设备，首节点设备1生成额外噪声值e，将额外噪声值e与先前生成的噪声值
Figure 486214DEST_PATH_IMAGE010
叠加，获得叠加噪声值
Figure 709385DEST_PATH_IMAGE011
之后发送至节点设备2，这样节点设备2无法获知首节点设备1的噪声值，节点设备2再将自身的噪声值
Figure 164506DEST_PATH_IMAGE012
叠加到收到的叠加噪声值
Figure 422312DEST_PATH_IMAGE011
里，发送至下一个节点设备，直到最后一个节点设备n，最后一个节点设备n叠加自身的噪声值之后发送至首节点设备1，首节点设备1接收到的叠加噪声值为
Figure 320998DEST_PATH_IMAGE013
，减去额外噪声值e，获得噪声值和
Figure 31465DEST_PATH_IMAGE014
，可以表示为
Figure 775430DEST_PATH_IMAGE015
。
节点设备之间通过点对点的方式计算噪声值和，首节点设备加入了额外噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的噪声值，以防止节点设备和中央服务器串谋获取其他节点设备的数据。
首节点设备获得噪声值和后，将所述噪声值和发送至中央服务器。
进一步地，步骤S5中，中央服务器根据加噪梯度值和以及噪声值和，计算获得梯度值和，包括：
中央服务器将加噪梯度值和减去所述噪声值和，获得梯度值和。
具体地，梯度值和通过以下公式计算：
Figure 137010DEST_PATH_IMAGE016
；（3）
其中，
Figure 206597DEST_PATH_IMAGE017
为梯度值和，
Figure 404360DEST_PATH_IMAGE018
表示加噪梯度值和，
Figure 686437DEST_PATH_IMAGE015
表示噪声值和。
中央服务器接收到噪声值和，无法通过噪声值和推算节点设备的噪声值，也无法通过梯度值和推算节点设备的梯度值，因此能够有效保护节点设备的数据。
进一步地，中央服务器基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。各节点设备进行下一轮的迭代，直到满足训练停止条件。
节点设备在训练过程中，基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值，当损失函数值的变化值小于预设值时，神经网络模型收敛。
当超过预设数量的节点设备的神经网络模型收敛，则满足训练停止条件。
预设数量可以根据需要设定，例如可以是总的节点数量的70%至80%。
训练过程中，神经网络模型收敛的节点设备，接收到中央服务器发送的参数后不再更新模型，但与其他节点设备以及中央服务器的通信依然继续，噪声值设置为0，发送给中央服务器的加噪梯度值和为0。
上述实施例提供的基于联邦学习的模型训练方法，至少包括如下有益效果：
（1）在协同训练的过程中，中央服务器无法获知任意节点设备的噪声值和梯度值，任意节点设备也无法获知其他节点设备的噪声值和梯度值，保证了所有参与方的隐私数据，同时，中央服务器最终基于梯度值和更新参数，排除了噪声值的影响，保证了模型训练的精度；
（2）节点设备之间通过点对点的方式计算噪声值和，首节点设备加入了额外噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的噪声值，以防止节点设备和中央服务器串谋获取其他节点设备的数据，进一步保证所有参与方的数据隐私。
参考图5，在一些实施例中，还提供一种基于联邦学习的模型训练系统，包括中央服务器100和N个节点设备200，其中，N为大于1的整数；
迭代执行以下步骤，直到满足训练停止条件：
中央服务器100将参数发送至各个节点设备200；
各个节点设备200基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；
每个节点设备200将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器100计算加噪梯度值和；
各个节点设备200通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器100；
中央服务器100根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。
具体地，参考图6，中央服务器包括参数分发模块101、参数更新模块102、数据接收模块103以及计算模块104。节点设备包括参数接收模块201、训练模块202、加噪模块203、第一发送模块204、第二发送模块205以及噪声值和计算模块206。
中央服务器的参数分发模块101用于将参数发送至各个节点设备；对于第一轮训练，参数更新模块102还用于生成初始参数，通过参数分发模块101发送至各个节点设备。
节点设备的参数接收模块201接收中央服务器发送的参数，训练模块202基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值，具体是基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。加噪模块203生成噪声值，将所述噪声值与自身获得的梯度值进行叠加，获得所述加噪梯度值。加噪梯度值通过公式（1）进行计算。第一发送模块204将加噪梯度值发送至中央服务器。
中央服务器的数据接收模块103接收各个节点设备的加噪梯度值，计算模块103将接收到的各个节点设备的加噪梯度值进行相加，获得加噪梯度值和。
首节点设备的噪声值和计算模块206生成额外噪声值，将所述额外噪声值与先前生成的噪声值叠加，获得叠加噪声值之后通过第二发送模块205发送至下一节点设备；各节点设备的噪声值和计算模块206接收到上一节点设备发送的叠加噪声值之后，将自身先前生成的噪声值叠加到所述叠加噪声值上，并通过第二发送模块205发送至下一节点设备；最后一个节点设备的噪声值和计算模块206将叠加噪声值发送至所述首节点设备，所述首节点设备的噪声值和计算模块206将接收到的叠加噪声值减去额外噪声值，获得所述噪声值和，再通过第一发送模块204发送至中央服务器。
中央服务器的数据接收模块103接收该噪声值和，计算模块104将加噪梯度值和减去所述噪声值和，获得梯度值和，参数更新模块102基于所述梯度值和更新自身的神经网络模型，获得更新的参数，参数分发模块101将更新的参数分发给各节点设备。
上述实施例提供的基于联邦学习的模型训练系统，至少包括如下有益效果：
（1）在协同训练的过程中，中央服务器无法获知任意节点设备的噪声值和梯度值，任意节点设备也无法获知其他节点设备的噪声值和梯度值，保证了所有参与方的隐私数据，同时，中央服务器最终基于梯度值和更新参数，排除了噪声值的影响，保证了模型训练的精度；
（2）节点设备之间通过点对点的方式计算噪声值和，首节点设备加入了额外噪声值进行计算，使得任意一个节点设备都无法获知其他节点设备的噪声值，以防止节点设备和中央服务器串谋获取其他节点设备的数据，进一步保证所有参与方的数据隐私。
以下通过具体应用场景对本发明实施例提供的基于联邦学习的模型训练方法做进一步说明。
系统包括中央服务器和5个节点设备，分别部署有神经网络模型，训练开始时，中央服务器生成初始参数，发送给各个节点设备，各个节点设备基于初始参数和本地数据集进行神经网络模型训练，训练过程中基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。
记神经网络模型原始自变量为
Figure 902523DEST_PATH_IMAGE019
标签为y，y的取值为0或1，1表示正类，0表示负类。神经网络模型的参数为
Figure 143012DEST_PATH_IMAGE020
。
其中M为隐层数量，
Figure 828071DEST_PATH_IMAGE021
表示第i个隐层的变量个数，记神经网络模型的输出为
Figure 179418DEST_PATH_IMAGE022
，表示该样本为正例的概率，那么损失函数如下表示：
Figure 250011DEST_PATH_IMAGE023
，其中
Figure 661401DEST_PATH_IMAGE024
每个参数的梯度值即为上述损失函数对每个参数的偏导数。
每个节点设备将各自的梯度值G进行加噪，加噪选取的噪声e为服从以0为均值以梯度值的绝对值的2倍作为标准差的正态分布：
即
Figure DEST_PATH_IMAGE025
中央服务器将接收到的各个节点设备的加噪梯度值进行相加，获得加噪梯度值和。
首节点设备生成的额外噪声值为服从以0为均值以梯度值的绝对值的2倍作为标准差的正态分布：
即
Figure 37019DEST_PATH_IMAGE026
；
首节点设备将生成额外噪声值的与自身的噪声值叠加，获得叠加噪声值之后发送至下一节点设备，各节点设备接收到上一节点设备发送的叠加噪声值之后，将各自的噪声值叠加到所述叠加噪声值上，并发送至下一节点设备，第五个节点设备将叠加噪声值发送至首节点设备，首节点设备将接收到的叠加噪声值减去额外噪声值，获得所述噪声值和。并将该噪声值和发送至中央服务器。
中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和。
基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。
各个节点设备基于更新的参数和本地数据集进行下一轮训练，计算损失函数值，并计算与上一轮训练的变化值，如果变化值小于预设值，则该节点停止训练，将噪声值设为0，梯度值为0。
当4个节点设备的模型都收敛，则训练停止。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于联邦学习的模型训练方法，其特征在于，节点设备和中央服务器分别部署有神经网络模型，所述方法包括：
迭代执行以下步骤，直到满足训练停止条件：
中央服务器将参数发送至各个节点设备；
各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；
每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；
各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；
中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。
2.根据权利要求1所述的方法，其特征在于，节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值，包括；
节点设备基于所述参数和本地数据集计算损失函数值，计算过程中获得梯度下降产生的梯度值。
3.根据权利要求1所述的方法，其特征在于，节点设备将自身获得的梯度值进行加噪，获得加噪梯度值，包括：
节点设备生成噪声值，将所述噪声值与自身获得的梯度值进行叠加，获得所述加噪梯度值。
4.根据权利要求1或3所述的方法，其特征在于，中央服务器计算加噪梯度值和，包括：
中央服务器将接收到的各个节点设备的加噪梯度值进行相加，获得加噪梯度值和。
5.根据权利要求3所述的方法，其特征在于，各个节点设备通过点对点方式计算噪声值和，包括：
首节点设备生成额外噪声值，将所述额外噪声值与所述首节点设备的噪声值叠加，获得叠加噪声值之后发送至下一节点设备；
各节点设备接收到上一节点设备发送的叠加噪声值之后，将各自的噪声值叠加到所述叠加噪声值上，并发送至下一节点设备；
最后一个节点设备将叠加噪声值发送至所述首节点设备，所述首节点设备将接收到的叠加噪声值减去额外噪声值，获得所述噪声值和。
6.根据权利要求5所述的方法，其特征在于，所述首节点设备将所述噪声值和发送至中央服务器。
7.根据权利要求1所述的方法，其特征在于，中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，包括：
中央服务器将所述加噪梯度值和减去所述噪声值和，获得所述梯度值和。
8.根据权利要求2所述的方法，其特征在于，所述训练停止条件为：
超过预设数量的节点设备的神经网络模型收敛。
9.根据权利要求8所述的方法，其特征在于，所述节点设备的神经网络模型收敛的条件为损失函数值的变化值小于预设值。
10.一种基于联邦学习的模型训练系统，其特征在于，包括中央处服务器和N个节点设备，其中，N为大于1的整数；
迭代执行以下步骤，直到满足训练停止条件：
中央服务器将参数发送至各个节点设备；
各个节点设备基于所述参数和本地数据集进行神经网络模型训练，并获得梯度值；
每个节点设备将各自的梯度值进行加噪，获得加噪梯度值并发送至中央服务器，中央服务器计算加噪梯度值和；
各个节点设备通过点对点方式计算噪声值和，并将所述噪声值和发送至中央服务器；
中央服务器根据所述加噪梯度值和以及所述噪声值和，计算获得梯度值和，并基于所述梯度值和更新自身的神经网络模型，获得更新的参数，将更新的参数分发给各节点设备。
CN202110015272.9A 2021-01-07 2021-01-07 一种基于联邦学习的模型训练方法及系统 Active CN112333216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110015272.9A CN112333216B (zh) 2021-01-07 2021-01-07 一种基于联邦学习的模型训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110015272.9A CN112333216B (zh) 2021-01-07 2021-01-07 一种基于联邦学习的模型训练方法及系统

Publications (2)

Publication Number Publication Date
CN112333216A true CN112333216A (zh) 2021-02-05
CN112333216B CN112333216B (zh) 2021-04-06

Family

ID=74301699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110015272.9A Active CN112333216B (zh) 2021-01-07 2021-01-07 一种基于联邦学习的模型训练方法及系统

Country Status (1)

Country Link
CN (1) CN112333216B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178191A (zh) * 2021-04-25 2021-07-27 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113935469A (zh) * 2021-10-26 2022-01-14 城云科技（中国）有限公司 基于去中心化联邦学习的模型训练方法
CN114331540A (zh) * 2021-12-29 2022-04-12 北京百度网讯科技有限公司 训练模型的方法、确定资产估值的方法和装置
WO2023096569A3 (zh) * 2021-11-23 2023-07-20 脸萌有限公司 用于保护敏感数据的方法、设备、装置和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109165515A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的模型参数获取方法、系统及可读存储介质
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN111046433A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
CN111866869A (zh) * 2020-07-07 2020-10-30 兰州交通大学 面向边缘计算的联邦学习室内定位隐私保护方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190227980A1 (en) * 2018-01-22 2019-07-25 Google Llc Training User-Level Differentially Private Machine-Learned Models
CN109165515A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的模型参数获取方法、系统及可读存储介质
CN111046433A (zh) * 2019-12-13 2020-04-21 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN111091199A (zh) * 2019-12-20 2020-05-01 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦学习方法、装置及存储介质
CN111866869A (zh) * 2020-07-07 2020-10-30 兰州交通大学 面向边缘计算的联邦学习室内定位隐私保护方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STACEY TRUEX等: "A Hybrid Approach to Privacy-Preserving Federated Learning", 《SESSION: MACHINE LEARNING FOR SECURITY》 *
杨庚，王周生: "联邦学习中的隐私保护研究进展", 《南京邮电大学学报(自然科学版)》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113178191A (zh) * 2021-04-25 2021-07-27 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113469373B (zh) * 2021-08-17 2023-06-30 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113935469A (zh) * 2021-10-26 2022-01-14 城云科技（中国）有限公司 基于去中心化联邦学习的模型训练方法
WO2023096569A3 (zh) * 2021-11-23 2023-07-20 脸萌有限公司 用于保护敏感数据的方法、设备、装置和介质
US12019771B2 (en) 2021-11-23 2024-06-25 Lemon Inc. Method, apparatus, device and medium for protecting sensitive data
CN114331540A (zh) * 2021-12-29 2022-04-12 北京百度网讯科技有限公司 训练模型的方法、确定资产估值的方法和装置
CN114331540B (zh) * 2021-12-29 2023-09-15 北京百度网讯科技有限公司 训练模型的方法、确定资产估值的方法和装置

Also Published As

Publication number Publication date
CN112333216B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN112383396B (zh) 一种联邦学习模型训练方法及系统
CN112333216B (zh) 一种基于联邦学习的模型训练方法及系统
US20230109352A1 (en) Node group-based data processing method and system, device, and medium
CN110797124A (zh) 一种模型多端协同训练方法、医疗风险预测方法和装置
CN112416986B (zh) 基于分层个性化联邦学习的用户画像实现方法及系统
CN114595835B (zh) 基于联邦学习的模型训练方法及装置、设备、存储介质
CN114169010A (zh) 一种基于联邦学习的边缘隐私保护方法
CN111738361A (zh) 业务模型的联合训练方法及装置
CN112329947A (zh) 一种基于差分进化的联邦学习激励方法和系统
WO2021228110A1 (zh) 联邦建模方法、装置、设备及计算机可读存储介质
CN116168789B (zh) 一种多中心医疗数据生成系统和方法
CN114691167A (zh) 机器学习模型更新的方法和装置
WO2019022052A1 (ja) 情報処理装置、システムおよび情報処理方法
Li et al. Exponential stabilization of inertial quaternion‐valued Cohen‐Grossberg neural networks: Lexicographical order method
CN116580824A (zh) 基于联邦图机器学习的跨地域医疗合作预测方法
CN104915941B (zh) 计算视差的方法和装置
CN111833395B (zh) 一种基于神经网络模型的测向体制单目标定位方法和装置
CN112188394A (zh) 具有锚点位置隐私信息保护能力的通信可调节点定位协议
TW202025012A (zh) 隱私資料整合方法與伺服器
CN110033010A (zh) 用于在非信任环境中学习的方法和系统
da Silva Sendin et al. Towards reliable and transparent vaccine phase III trials with smart contracts
Garg et al. AR/VR telehealth platforms for remote procedural training
John White et al. Becoming a Certified Telemedicine Professional: Taking Telemedicine to the Next Level
Wessels et al. The so-called" evidence-policy gap": The case of the De Lange report
JP2013058021A (ja) メッセージ管理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210311

Address after: 518063 room 1301a, 13 / F, maikelong building, 6 Gaoxin South 6th Road, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen suoxinda Data Technology Co.,Ltd.

Address before: 100045 1-14-2107, 2nd floor, 136 Xiwai street, Xicheng District, Beijing

Applicant before: Soxinda (Beijing) data Technology Co.,Ltd.

Applicant before: Shenzhen suoxinda Data Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant