CN111582504A - 联邦建模方法、装置、设备及计算机可读存储介质 - Google Patents

联邦建模方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN111582504A
CN111582504A CN202010409900.7A CN202010409900A CN111582504A CN 111582504 A CN111582504 A CN 111582504A CN 202010409900 A CN202010409900 A CN 202010409900A CN 111582504 A CN111582504 A CN 111582504A
Authority
CN
China
Prior art keywords
model
trained
public
private
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010409900.7A
Other languages
English (en)
Other versions
CN111582504B (zh
Inventor
张天豫
范力欣
吴锦和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202010409900.7A priority Critical patent/CN111582504B/zh
Publication of CN111582504A publication Critical patent/CN111582504A/zh
Priority to PCT/CN2021/093153 priority patent/WO2021228110A1/zh
Application granted granted Critical
Publication of CN111582504B publication Critical patent/CN111582504B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种联邦建模方法，包括：第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得私有模型参数；将第一公有模型参数发送至协调者，以供协调者基于第一公有模型参数，确定并反馈全局模型参数；基于私有模型参数、全局模型参数以及待训练模型，确定目标模型。本发明还公开了一种联邦建模装置、设备及计算机可读存储介质。本发明通过根据待训练模型中的公有模型以及私有模型进行建模，无需对传输中的梯度等模型参数进行修改，实现了梯度等模型参数的隐私保护与模型收敛或模型精度之间的均衡；提高联邦学习中数据的安全性。

Description

联邦建模方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及联邦学习领域，尤其涉及一种联邦建模方法、装置、设备及计算机可读存储介质。
背景技术
目前，联邦学习的训练方式主要是以梯度共享的形式进行。各个具有相同构造的模型通过分享其本地梯度，共同训练一个全局模型。若某个模型在梯度传播过程中梯度被泄漏或窃听，则可以使用链式法则以及被泄漏的梯度还原输入数据。
目前，为避免梯度被泄露或窃听，往往通过差分隐私保护、梯度量化以及梯度裁剪等方式对梯度进行保护，其中，差分隐私保护是通过对需要传播的梯度附加一定量的随机噪声来保护梯度；梯度量化是将梯度近似成为整型数值，例如(0，1)或(-1，0，1)等；梯度裁剪是通过将某些位置的梯度数值裁剪为0。
但是，差分隐私保护、梯度量化以及梯度裁剪等方式，均需要通过对梯度添加扰动，如果扰动过大则会影响全局模型的收敛效果，导致模型无法收敛或最终全局模型的精度较低，如果扰动不足则无法有效保护梯度。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种联邦建模方法、装置、设备及计算机可读存储介质，旨在解决现有联邦学习中难以实现保护梯度，与模型收敛或模型精度之间的均衡的技术问题。
为实现上述目的，本发明提供一种联邦建模方法，所述联邦建模方法包括以下步骤：
第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；
将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；
基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。
进一步地，所述将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数的步骤包括：
将所述第一公有模型参数发送至协调者，其中，所述协调者获取多个第二参与者发送的第二公有模型参数，基于各个第二公有模型参数以及所述第一公有模型参数确定全局模型参数，并反馈所述全局模型参数至所述第一参与者。
进一步地，所述第一公有模型参数包括公有梯度，所述私有模型参数包括私有梯度，所述第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤包括：
第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述待训练数据对应的公有损失函数值，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述待训练数据对应的私有损失函数值；
基于所述公有损失函数值确定所述公有梯度，并基于所述私有损失函数值确定所述私有梯度。
进一步地，所述基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型的步骤包括：
基于所述私有模型参数更新所述待训练模型中的私有模型，并基于所述全局模型参数更新所述待训练模型中的公有模型，以获得更新后的待训练模型；
基于更新后的待训练模型确定所述目标模型。
进一步地，所述基于所述全局模型参数更新所述待训练模型中的公有模型的步骤包括：
获取所述第一公有模型参数对应的第一权重以及所述全局模型参数对应的第二权重；
基于所述第一权重、所述第二权重、所述第一公有模型参数以及所述全局模型参数，确定目标模型参数；
基于所述目标模型参数，更新所述待训练模型中的公有模型。
进一步地，所述基于更新后的待训练模型确定所述目标模型的步骤包括：
确定更新后的待训练模型是否收敛；
若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型；
若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
进一步地，所述基于更新后的待训练模型确定所述目标模型的步骤包括：
更新所述待训练模型对应的更新次数；
若所述更新次数达到预设次数，则将更新后的待训练模型作为所述目标模型；
若所述更新次数未达到预设次数，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
此外，为实现上述目的，本发明还提供一种联邦建模装置，所述联邦建模装置包括：
训练模块，用于将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；
发送模块，用于将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；
确定模块，用于基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。
此外，为实现上述目的，本发明还提供一种联邦建模设备，所述联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦建模程序，所述联邦建模程序被所述处理器执行时实现前述的联邦建模方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有联邦建模程序，所述联邦建模程序被处理器执行时实现前述的联邦建模方法的步骤。
本发明通过第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；接着将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；而后基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型；通过根据待训练模型中的公有模型以及私有模型进行建模，无需对传输中的梯度等模型参数进行修改，避免了噪声不足导致的隐私泄露以及噪声过高造成的模型训练精度较低，实现了梯度等模型参数的隐私保护与模型收敛或模型精度之间的均衡；由于私有模型参数不参与共享联邦模型的训练，攻击者只能获取第一公有模型参数，进而无法根据窃取完整的模型参数进行链式法则恢复输入数据；且不存在梯度裁剪比例或噪声比例过低时被还原部分信息的情况，进而能够完全阻止信息泄漏，提高联邦学习中数据的安全性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境中联邦建模设备结构示意图；
图2为本发明联邦建模方法第一实施例的流程示意图；
图3为本发明联邦建模方法一实施例中的模型结构示意图；
图4为本发明联邦建模装置一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境中联邦建模设备结构示意图。
本发明实施例联邦建模设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该联邦建模设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
可选地，联邦建模设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。当然，联邦建模设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
本领域技术人员可以理解，图1中示出的联邦建模设备结构并不构成对联邦建模设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及联邦建模程序。
在图1所示的联邦建模设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的联邦建模程序。
在本实施例中，联邦建模设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的联邦建模程序，其中，处理器1001调用存储器1005中存储的联邦建模程序时，并执行以下各个实施例中联邦建模方法的步骤。
本发明还提供一种联邦建模方法，参照图2，图2为本发明联邦建模方法第一实施例的流程示意图。
本实施例中，该联邦建模方法包括以下步骤：
步骤S100，第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；
其中，第一参与者为联邦学习系统中的任一参与方(参与者)，协调者为联邦学习系统中的协调方，第二参与者为联邦学习系统的各个参与方中除第一参与者之外的其他参与方。待训练数据为第一参与者中的私有训练数据或者本地训练数据，当然，第二参与者均存储有私有训练数据或者本地训练数据。待训练模型包括公有模型以及私有模型。
本实施例中，第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，通过训练后的公有模型获得第一公有模型参数，第一公有模型参数包括梯度或训练前后公有模型的模型参数变化量，具体地，若第一公有模型参数为梯度，则第一参与者根据训练结果确定该第一公有模型参数即公有梯度，若第一公有模型参数为模型参数变化量，则第一参与者根据训练前的公有模型以及通过待训练数据训练后的公有模型，确定第一公有模型参数即公有模型中发生变化的模型参数的变化量。
同时，将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数，私有模型参数包括梯度或训练前后私有模型的模型参数变化量，具体地，若私有模型参数为梯度，则第一参与者根据训练结果确定该私有模型参数即私有梯度，若私有模型参数为模型参数变化量，则第一参与者根据训练前的私有模型以及通过待训练数据训练后的私有模型，确定私有模型参数即私有模型中发生变化的模型参数的变化量。
步骤S200，将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；
需要说明的是，协调者为联邦学习中的协调方，该协调者可接收包括第一参与者在内的各个参与方发送的模型参数。
本实施例中，在获取到第一公有模型参数以及私有模型参数后，第一参与者将第一公有模型参数发送至协调者，以供协调者基于第一公有模型参数确定并反馈全局模型参数，其中，协调者在得到第一公有模型参数时，该协调者接收或获取联邦学习中除第一参与者之外的其他各个参与方的模型参数，并基于其他各个参与方的模型参数以及第一公有模型参数，确定全局模型参数，并反馈该全局模型参数值给第一参与者。当然，协调者同时反馈该全局模型参数至其他各个参与方。
步骤S300，基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。
本实施例中，在获取到协调者反馈的全局模型参数时，基于第一公有模型参数、私有模型参数、全局模型参数以及待训练模型确定目标模型，具体地，基于第一公有模型参数以及全局模型参数更新待训练模型中的公有模型，并基于私有模型参数更新待训练模型中的私有模型，得到更新后的待训练模型，并根据该更新后的待训练模型确定目标模型。
进一步地，一实施例中，步骤S200包括：
将所述第一公有模型参数发送至协调者，其中，所述协调者获取多个第二参与者发送的第二公有模型参数，基于各个第二公有模型参数以及所述第一公有模型参数确定全局模型参数，并反馈所述全局模型参数至所述第一参与者。
本实施例中，该协调者接收第一参与者发送的第一公有模型参数，同时，协调者获取或者接收多个第二参与者发送的第二公有模型参数，其中，该第二参与者为联邦学习系统中除第一参与者之外的其他各个参与方，第二公有模型参数为第二参与者分别将各自的待训练数据输入待训练模型中的公有模型进行训练得到的模型参数，联邦学习系统中各个参与方的待训练模型相同，各个参与方的待训练数据为其自身的私有数据或者本地数据。
在获取到第二公有模型参数后，协调者基于各个第二公有模型参数以及所述第一公有模型参数确定全局模型参数，并反馈全局模型参数至第一参与者，同时，协调者反馈该全局模型参数至各个第二参与者，或者基于全局模型参数更新所述协调者的全局模型。具体地，若第二公有模型参数以及所述第一公有模型参数均为梯度，则将第二公有模型参数以及所述第一公有模型参数相加(向量加法)得到全局模型参数，若第二公有模型参数以及所述第一公有模型参数均为模型参数的变化量，则计算各个第二公有模型参数以及第一公有模型参数之间的参数均值，并将该参数均值作为该全局模型参数。
参照图3，图3中的私有训练数据为待训练数据，参与方本地模型为第一参与者的待训练模型，收集器为协调者；该参与方本地模型包括公有模型以及私有模型，第一参与者将私有训练数据输入参与方本地模型后，通过公有模型进行模型训练，得到第一公有模型参数，通过私有模型进行模型训练，得到私有模型参数，即参与方本地模型的输出包括私有模型参数以及第一公有模型参数；而后，通过私有模型参数计算私有梯度，并根据私有梯度更新私有模型，同时，通过第一公有模型参数计算公有梯度，将公有梯度上传至收集器，收集器根据公有梯度以及其他参与方上传的梯度计算全局梯度，并反馈该全局梯度至第一参与者，第一参与者根据该全局梯度更新参与方本地模型中的公有模型，得到更新后的参与方本地模型，并根据更新后的参与方本地模型确定目标模型。
本实施例提出的联邦建模方法，通过第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；接着将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；而后基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型；通过根据待训练模型中的公有模型以及私有模型进行建模，无需对传输中的梯度等模型参数进行修改，避免了噪声不足导致的隐私泄露以及噪声过高造成的模型训练精度较低，实现了梯度等模型参数的隐私保护与模型收敛或模型精度之间的均衡；由于私有模型参数不参与共享联邦模型的训练，攻击者只能获取第一公有模型参数，进而无法根据窃取完整的模型参数进行链式法则恢复输入数据；且不存在梯度裁剪比例或噪声比例过低时被还原部分信息的情况，进而能够完全阻止信息泄漏，提高联邦学习中数据的安全性。
基于第一实施例，提出本发明联邦建模方法的第二实施例，在本实施例中，所述第一公有模型参数包括公有梯度，所述私有模型参数包括私有梯度，步骤S100包括：
步骤S110，第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述待训练数据对应的公有损失函数值，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述待训练数据对应的私有损失函数值；
步骤S120，基于所述公有损失函数值确定所述公有梯度，并基于所述私有损失函数值确定所述私有梯度。
本实施例中，第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，得到公有损失函数值，同时，第一参与者将待训练数据输入待训练模型中的私有模型进行模型训练，以获得私有损失函数值；其中，公有损失函数值可以为平均平方估计损失函数、交叉熵损失函数或者极化损失函数，私有损失函数值可以为平均平方估计损失函数、交叉熵损失函数或者极化损失函数。而后，基于所述公有损失函数值确定所述公有梯度，并基于所述私有损失函数值确定所述私有梯度。
本实施例提出的联邦建模方法，通过第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述待训练数据对应的公有损失函数值，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述待训练数据对应的私有损失函数值；接着基于所述公有损失函数值确定所述公有梯度，并基于所述私有损失函数值确定所述私有梯度，能够通过模型训练准确得到公有梯度与私有梯度；通过分开获取公有梯度与私有梯度，由于私有梯度不参与共享联邦模型的训练，攻击者只能获取公有梯度，进而无法根据窃取完整的模型参数进行链式法则恢复输入数据，进一步提高模型训练的效率以及安全性。
基于上述各个实施例，提出本发明联邦建模方法的第三实施例，在本实施例中，步骤S300包括：
步骤S310，基于所述私有模型参数更新所述待训练模型中的私有模型，并基于所述全局模型参数更新所述待训练模型中的公有模型，以获得更新后的待训练模型；
步骤S320，基于更新后的待训练模型确定所述目标模型。
本实施例中，在获取到协调者反馈的全局模型参数时，基于私有模型参数更新待训练模型中的私有模型，并基于全局模型参数更新待训练模型中的公有模型，以获得更新后的待训练模型，而后基于更新后的待训练模型确定所述目标模型。
具体地，若全局模型参数以及私有模型参数均为梯度，则先根据私有模型参数以及全局模型参数计算一目标模型参数，根据目标模型参数更新公有模型；若全局模型参数以及私有模型参数均为模型参数的变化量，则直接基于全局模型参数更新公有模型，例如，先确定全局模型参数对应的待训练模型中公有模型(未经过待训练数据进行训练时的公有模型)的待更新模型参数，基于待更新模型参数与全局模型参数确定新的模型参数，并将待更新模型参数设置为新的模型参数设置，以获得更新后的公有模型，其中，新的模型参数＝待更新模型参数+全局模型参数，或者，根据待更新模型参数对应的权重、全局模型参数对应的权重、以及待更新模型参数、全局模型参数计算得到新的模型参数。
进一步地，在一实施例中，第一公有模型参数包括公有梯度，全局模型参数包括第三梯度，步骤S310包括：
步骤S311，获取所述第一公有模型参数对应的第一权重以及所述全局模型参数对应的第二权重；
步骤S312，基于所述第一权重、所述第二权重、所述第一公有模型参数以及所述全局模型参数，确定目标模型参数；
步骤S313，基于所述目标模型参数，更新所述待训练模型中的公有模型。
本实施例中，模型参数均为梯度，在获取到全局模型参数时，获取第一公有模型参数对应的第一权重以及全局模型参数对应的第二权重，并基于第一权重、第二权重、第一公有模型参数以及全局模型参数，确定目标模型参数，具体地，目标模型参数＝第一权重*第一公有模型参数+第二权重*全局模型参数。而后，基于目标模型参数，更新所述待训练模型中的公有模型。
需要说明的是，在其他实施例中，第一参与者还可以采用其他方式将第一公有模型参数与全局模型参数进行融合，以获得模型参数，例如，将第一公有模型参数与全局模型参数得到模型参数。
进一步地，在一实施例中，步骤S320包括：
步骤S321，确定更新后的待训练模型是否收敛；
步骤S322，若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型；
步骤S323，若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
本实施例中，在得到更新后的待训练模型，确定更新后的待训练模型是否收敛，具体地，确定更新后的待训练模型中公有模型的损失函数是否小于第一预设值，以及更新后的待训练模型中私有模型的损失函数是否小于第二预设值，若更新后的待训练模型中公有模型的损失函数小于第一预设值，且更新后的待训练模型中私有模型的损失函数小于第二预设值，则确定更新后的待训练模型收敛，进而将更新后的待训练模型作为所述目标模型，否则，将更新后的待训练模型作为所述待训练模型，并返回执行步骤S100，以获得收敛的目标模型。
进一步地，又一实施例中，步骤S320包括：
步骤S324，更新所述待训练模型对应的更新次数；
步骤S325，若所述更新次数达到预设次数，则将更新后的待训练模型作为所述目标模型；
步骤S326，若所述更新次数未达到预设次数，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
本实施例中，在更新待训练模型之后，更新待训练模型对应的更新次数，而后，判断更新次数是否达到预设次数，若所述更新次数达到预设次数，则将更新后的待训练模型作为所述目标模型，并重置更新次数；否则，则将更新后的待训练模型作为所述待训练模型，并返回执行步骤S100，以实现对待训练模型进行预设次数的更新。
其中，预设次数可进行合理设置，更新次数的初始值可设置为0，更新该更新次数时，将当前的更新次数加1得到新的更新次数。
本实施例提出的联邦建模方法，通过基于所述私有模型参数更新所述待训练模型中的私有模型，并基于第一公有模型参数以及所述全局模型参数更新所述待训练模型中的公有模型，以获得更新后的待训练模型；基于更新后的待训练模型确定所述目标模型，通过分别更新待训练模型中的公有模型以及私有模型，实现根据待训练模型进行建模，由于私有模型参数不参与共享联邦模型的训练，攻击者只能获取第一公有模型参数，进而无法根据窃取完整的模型参数进行链式法则恢复输入数据，进一步提高联邦学习中数据的安全性。
本发明实施例还提供一种联邦建模装置，参照图4，所述联邦建模装置包括：
训练模块100，用于将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；
发送模块200，用于将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；
确定模块300，用于基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。
进一步地，发送模块200还用于：
将所述第一公有模型参数发送至协调者，其中，所述协调者获取多个第二参与者发送的第二公有模型参数，基于各个第二公有模型参数以及所述第一公有模型参数确定全局模型参数，并反馈所述全局模型参数至所述第一参与者。
进一步地，训练模块100还用于：
第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述待训练数据对应的公有损失函数值，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述待训练数据对应的私有损失函数值；
基于所述公有损失函数值确定所述公有梯度，并基于所述私有损失函数值确定所述私有梯度。
进一步地，确定模块300还用于：
基于所述私有模型参数更新所述待训练模型中的私有模型，并基于所述全局模型参数更新所述待训练模型中的公有模型，以获得更新后的待训练模型；
基于更新后的待训练模型确定所述目标模型。
进一步地，确定模块300还用于：
获取所述第一公有模型参数对应的第一权重以及所述全局模型参数对应的第二权重；
基于所述第一权重、所述第二权重、所述第一公有模型参数以及所述全局模型参数，确定目标模型参数；
基于所述目标模型参数，更新所述待训练模型中的公有模型。
进一步地，确定模块300还用于：
确定更新后的待训练模型是否收敛；
若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型；
若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
进一步地，确定模块300还用于：
更新所述待训练模型对应的更新次数；
若所述更新次数达到预设次数，则将更新后的待训练模型作为所述目标模型；
若所述更新次数未达到预设次数，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有联邦建模程序，所述联邦建模程序被处理器执行时实现如上所述的联邦建模方法的步骤。
其中，在所述处理器上运行的联邦建模程序被执行时所实现的方法可参照本发明联邦建模方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种联邦建模方法，其特征在于，所述联邦建模方法包括以下步骤：
第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；
将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；
基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。
2.如权利要求1所述的联邦建模方法，其特征在于，所述将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数的步骤包括：
将所述第一公有模型参数发送至协调者，其中，所述协调者获取多个第二参与者发送的第二公有模型参数，基于各个第二公有模型参数以及所述第一公有模型参数确定全局模型参数，并反馈所述全局模型参数至所述第一参与者。
3.如权利要求1所述的联邦建模方法，其特征在于，所述第一公有模型参数包括公有梯度，所述私有模型参数包括私有梯度，所述第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤包括：
第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述待训练数据对应的公有损失函数值，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述待训练数据对应的私有损失函数值；
基于所述公有损失函数值确定所述公有梯度，并基于所述私有损失函数值确定所述私有梯度。
4.如权利要求1至3任一项所述的联邦建模方法，其特征在于，所述基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型的步骤包括：
基于所述私有模型参数更新所述待训练模型中的私有模型，并基于所述全局模型参数更新所述待训练模型中的公有模型，以获得更新后的待训练模型；
基于更新后的待训练模型确定所述目标模型。
5.如权利要求4所述的联邦建模方法，其特征在于，所述基于所述全局模型参数更新所述待训练模型中的公有模型的步骤包括：
获取所述第一公有模型参数对应的第一权重以及所述全局模型参数对应的第二权重；
基于所述第一权重、所述第二权重、所述第一公有模型参数以及所述全局模型参数，确定目标模型参数；
基于所述目标模型参数，更新所述待训练模型中的公有模型。
6.如权利要求4所述的联邦建模方法，其特征在于，所述基于更新后的待训练模型确定所述目标模型的步骤包括：
确定更新后的待训练模型是否收敛；
若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型；
若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
7.如权利要求4所述的联邦建模方法，其特征在于，所述基于更新后的待训练模型确定所述目标模型的步骤包括：
更新所述待训练模型对应的更新次数；
若所述更新次数达到预设次数，则将更新后的待训练模型作为所述目标模型；
若所述更新次数未达到预设次数，则将更新后的待训练模型作为所述待训练模型，并返回执行第一参与者将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数的步骤。
8.一种联邦建模装置，其特征在于，所述联邦建模装置包括：
训练模块，用于将待训练数据输入待训练模型中的公有模型进行模型训练，以获得所述公有模型对应的第一公有模型参数，并将待训练数据输入待训练模型中的私有模型进行模型训练，以获得所述私有模型对应的私有模型参数；
发送模块，用于将所述第一公有模型参数发送至协调者，以供所述协调者基于所述第一公有模型参数，确定并反馈全局模型参数；
确定模块，用于基于所述私有模型参数、所述全局模型参数以及所述待训练模型，确定目标模型。
9.一种联邦建模设备，其特征在于，所述联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦建模程序，所述联邦建模程序被所述处理器执行时实现如权利要求1至7中任一项所述的联邦建模方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有联邦建模程序，所述联邦建模程序被处理器执行时实现如权利要求1至7中任一项所述的联邦建模方法的步骤。
CN202010409900.7A 2020-05-14 2020-05-14 基于联邦建模的数据防泄漏方法、装置、设备及计算机可读存储介质 Active CN111582504B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010409900.7A CN111582504B (zh) 2020-05-14 2020-05-14 基于联邦建模的数据防泄漏方法、装置、设备及计算机可读存储介质
PCT/CN2021/093153 WO2021228110A1 (zh) 2020-05-14 2021-05-11 联邦建模方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010409900.7A CN111582504B (zh) 2020-05-14 2020-05-14 基于联邦建模的数据防泄漏方法、装置、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111582504A true CN111582504A (zh) 2020-08-25
CN111582504B CN111582504B (zh) 2024-07-23

Family

ID=72121064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010409900.7A Active CN111582504B (zh) 2020-05-14 2020-05-14 基于联邦建模的数据防泄漏方法、装置、设备及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111582504B (zh)
WO (1) WO2021228110A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112235062A (zh) * 2020-10-10 2021-01-15 中国科学技术大学 一种对抗通信噪声的联邦学习方法和系统
CN112288097A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、计算机设备及存储介质
CN112651511A (zh) * 2020-12-04 2021-04-13 华为技术有限公司 一种训练模型的方法、数据处理的方法以及装置
WO2021228110A1 (zh) * 2020-05-14 2021-11-18 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
CN113850396A (zh) * 2021-09-28 2021-12-28 北京邮电大学 隐私增强型联邦决策方法、装置、系统和存储介质
CN115081640A (zh) * 2020-12-06 2022-09-20 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114707606B (zh) * 2022-04-11 2023-12-22 中国电信股份有限公司 基于联邦学习的数据处理方法及装置、设备、存储介质
CN116029367A (zh) * 2022-12-26 2023-04-28 东北林业大学 一种基于个性化联邦学习的故障诊断模型优化方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263936A (zh) * 2019-06-14 2019-09-20 深圳前海微众银行股份有限公司 横向联邦学习方法、装置、设备及计算机存储介质
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
US20190370490A1 (en) * 2018-06-05 2019-12-05 Medical Informatics Corporation Rapid research using distributed machine learning
CN110572253A (zh) * 2019-09-16 2019-12-13 济南大学 一种联邦学习训练数据隐私性增强方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111582504B (zh) * 2020-05-14 2024-07-23 深圳前海微众银行股份有限公司 基于联邦建模的数据防泄漏方法、装置、设备及计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190370490A1 (en) * 2018-06-05 2019-12-05 Medical Informatics Corporation Rapid research using distributed machine learning
CN110263936A (zh) * 2019-06-14 2019-09-20 深圳前海微众银行股份有限公司 横向联邦学习方法、装置、设备及计算机存储介质
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110572253A (zh) * 2019-09-16 2019-12-13 济南大学 一种联邦学习训练数据隐私性增强方法及系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021228110A1 (zh) * 2020-05-14 2021-11-18 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
CN112235062A (zh) * 2020-10-10 2021-01-15 中国科学技术大学 一种对抗通信噪声的联邦学习方法和系统
CN112288097A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、计算机设备及存储介质
CN112288097B (zh) * 2020-10-29 2024-04-02 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、计算机设备及存储介质
CN112651511A (zh) * 2020-12-04 2021-04-13 华为技术有限公司 一种训练模型的方法、数据处理的方法以及装置
WO2022116933A1 (zh) * 2020-12-04 2022-06-09 华为技术有限公司 一种训练模型的方法、数据处理的方法以及装置
CN112651511B (zh) * 2020-12-04 2023-10-03 华为技术有限公司 一种训练模型的方法、数据处理的方法以及装置
CN115081640A (zh) * 2020-12-06 2022-09-20 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备
CN113850396A (zh) * 2021-09-28 2021-12-28 北京邮电大学 隐私增强型联邦决策方法、装置、系统和存储介质
CN113850396B (zh) * 2021-09-28 2022-04-19 北京邮电大学 隐私增强型联邦决策方法、装置、系统和存储介质

Also Published As

Publication number Publication date
CN111582504B (zh) 2024-07-23
WO2021228110A1 (zh) 2021-11-18

Similar Documents

Publication Publication Date Title
CN111582504B (zh) 基于联邦建模的数据防泄漏方法、装置、设备及计算机可读存储介质
CN110431585B (zh) 一种用户画像的生成方法及装置
CN111582505A (zh) 联邦建模方法、装置、设备及计算机可读存储介质
CN111355739B (zh) 横向联邦学习的数据传输方法、装置、终端设备及介质
KR20220025663A (ko) 연합 학습을 하는 방법 및 디바이스
US20140115140A1 (en) Method, Apparatus, and System For Presenting Augmented Reality Technology Content
CN112001741A (zh) 多任务处理模型的构建方法、装置、电子设备及存储介质
CN111026063A (zh) 数字孪生体构建方法、装置、计算机设备及存储介质
CN112215238A (zh) 一种通用特征提取模型构建方法、系统及装置
CN111324813A (zh) 推荐方法、装置、设备及计算机可读存储介质
CN112861165A (zh) 模型参数更新方法、装置、设备、存储介质及程序产品
CN111586295B (zh) 图像生成方法、装置和电子设备
CN104735121A (zh) 媒合装置与网络服务的方法与系统
CN111652382B (zh) 基于区块链的数据处理方法、装置、设备及存储介质
CN109618278B (zh) 一种定位方法及移动终端
CN109451011B (zh) 一种基于区块链的信息存储方法及移动终端
CN111160738A (zh) 事件处理方法、装置、存储介质及电子装置
CN113961911A (zh) 模型数据发送方法、模型数据整合方法及装置
CN111949808B (zh) 一种多媒体内容相似度确定方法、装置、电子设备及存储介质
US20190020616A1 (en) Information processing method and apparatus
CN109743289B (zh) 一种基于神经网络的数据验证方法、装置及电子设备
CN107818247B (zh) 一种移动终端解锁方法和移动终端
CN112416927A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN112747733A (zh) 导航方法、装置、存储介质和电子装置
EP3663934B1 (en) Data generation apparatus, data generation method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant