CN109886417A - 基于联邦学习的模型参数训练方法、装置、设备及介质 - Google Patents

基于联邦学习的模型参数训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN109886417A
CN109886417A CN201910158538.8A CN201910158538A CN109886417A CN 109886417 A CN109886417 A CN 109886417A CN 201910158538 A CN201910158538 A CN 201910158538A CN 109886417 A CN109886417 A CN 109886417A
Authority
CN
China
Prior art keywords
terminal
value
gradient
data
gradient value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910158538.8A
Other languages
English (en)
Other versions
CN109886417B (zh
Inventor
刘洋
陈天健
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201910158538.8A priority Critical patent/CN109886417B/zh
Priority claimed from CN201910158538.8A external-priority patent/CN109886417B/zh
Publication of CN109886417A publication Critical patent/CN109886417A/zh
Priority to EP19917861.7A priority patent/EP3893170B1/en
Priority to SG11202108137PA priority patent/SG11202108137PA/en
Priority to PCT/CN2019/119227 priority patent/WO2020177392A1/zh
Priority to US17/349,175 priority patent/US20210312334A1/en
Application granted granted Critical
Publication of CN109886417B publication Critical patent/CN109886417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G06F21/6254—Protecting personal data, e.g. for financial or medical purposes by anonymising data, e.g. decorrelating personal data from the owner's identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0891—Revocation or update of secret information, e.g. encryption key update or rekeying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/30—Public key, i.e. encryption algorithm being computationally infeasible to invert or user's encryption keys not requiring secrecy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/606—Protecting data by securing the transmission between two devices or processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Complex Calculations (AREA)
  • Storage Device Security (AREA)

Abstract

本发明公开了一种基于联邦学习的模型参数训练方法、装置、设备及介质。该方法包括：当第一终端接收到第二终端发送的加密后的第二数据时，获取对应的损失加密值和第一梯度加密值；随机生成与第一梯度加密值同维度的随机向量，基于随机向量对第一梯度加密值进行模糊，并将模糊后的第一梯度加密值和损失加密值发送至第二终端；在接收到第二终端返回的解密后的第一梯度值和损失值时，根据解密后的损失值检测待训练模型是否处于收敛状态；若是，则根据随机向量和解密后的第一梯度值得到第二梯度值，并将与第二梯度值对应的样本参数确定为模型参数。本发明能实现无需可信第三方而仅用联邦双方数据就可以进行模型训练，以避免应用受限。

Description

基于联邦学习的模型参数训练方法、装置、设备及介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于联邦学习的模型参数训练方法、装置、设备及介质。
背景技术
“机器学习”是人工智能的核心研究领域之一，而如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，是机器学习领域现在关注的一个趋势，在此背景下，人们研究提出了“联邦学习”的概念。
联邦学习利用技术算法加密建造的模型，联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，联邦学习通过加密机制下的参数交换方式保护用户数据隐私，数据和模型本身不会进行传输，也不能反猜对方数据，因此在数据层面不存在泄露的可能，也不违反更严格的数据保护法案如GDPR(General Data ProtectionRegulation，《通用数据保护条例》)等，能够在较高程度保持数据完整性的同时，保障数据隐私。然而，目前的联邦学习技术都必须依靠可信第三方，以通过第三方来对联邦双方的数据进行聚合后建模，从而使得联邦学习在一些场景下应用有限。
发明内容
本发明的主要目的在于提供一种基于联邦学习的模型参数训练方法、装置、设备及存储介质，旨在实现无需可信第三方而仅用联邦双方数据就可以进行模型训练，以避免应用受限。
为实现上述目的，本发明提供一种基于联邦学习的模型参数训练方法，所述基于联邦学习的模型参数训练方法包括：
当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值；
随机生成与所述第一梯度加密值同维度的随机向量，基于所述随机向量对所述第一梯度加密值进行模糊，并将模糊后的第一梯度加密值和所述损失加密值发送至所述第二终端；
在接收到所述第二终端基于所述模糊后的第一梯度加密值和所述损失加密值返回的解密后的第一梯度值和损失值时，根据所述解密后的损失值检测待训练模型是否处于收敛状态；
若检测到所述待训练模型处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数。
可选地，所述当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值的步骤包括：
当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端获取对应的第一数据，及与所述第一数据对应的样本标签；
基于所述第一数据、所述加密后的第二数据、所述样本标签和预设损失函数计算损失值，并采用同态加密算法加密所述损失值，得到加密的损失值，记作损失加密值；
根据所述预设损失函数得到梯度函数，并根据所述梯度函数计算得到第一梯度值，并采用同态加密算法加密所述第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。
可选地，所述基于联邦学习的模型参数训练方法还包括：
根据所述加密后的第二数据和所述第一数据计算得到加密中间结果，通过预设公钥对所述加密中间结果进行加密，得到双重加密中间结果；
将所述双重加密中间结果发送至所述第二终端，以使得所述第二终端基于所述双重加密中间结果计算得到双重加密梯度值；
在接收到所述第二终端返回的所述双重加密梯度值时，通过与所述预设公钥对应的私钥对所述双重加密梯度值进行解密，并将解密后的双重加密梯度值发送至所述第二终端，以使得所述第二终端对所述解密后的双重加密梯度值进行解密，得到所述第二终端的梯度值。
可选地，所述基于联邦学习的模型参数训练方法还包括：
接收所述第二终端发送的加密样本数据，根据所述加密样本数据和所述第一数据得到所述第二终端的第一部分梯度值，并采用同态加密算法加密所述第一部分梯度值，得到加密的第一部分梯度值，记作第二梯度加密值；
将所述第二梯度加密值发送至所述第二终端，以使得所述第二终端基于所述第二梯度加密值和根据所述第二数据计算得到的第二部分梯度值，得到所述第二终端的梯度值。
可选地，所述根据所述解密后的损失值检测待训练模型是否处于收敛状态的步骤之后，还包括：
若检测到所述待训练模型未处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，更新所述第二梯度值，并根据更新后的第二梯度值，对应更新样本参数；
生成对应的梯度值更新指令，并发送至所述第二终端，以使得所述第二终端根据所述梯度值更新指令更新所述第二终端的梯度值，并根据更新后的第二终端的梯度值更新对应的样本参数。
可选地，所述根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数的步骤之后，还包括：
当所述第一终端确定模型参数，且接收到执行请求后，所述第一终端将所述执行请求发送给所述第二终端，以使得所述第二终端在接收到所述执行请求后，根据对应的模型参数和与所述执行请求对应特征变量的变量值返回第一预测分数给所述第一终端；
当接收到所述第一预测分数后，根据确定的所述模型参数和与所述执行请求对应特征变量的变量值，计算第二预测分数；
将所述第一预测分数和所述第二预测分数相加，得到预测分数总和，并根据所述预测分数总和输入所述待训练模型中，得到模型分数，并根据所述模型分数确定是否执行所述执行请求。
可选地，所述根据所述解密后的损失值检测待训练模型是否处于收敛状态的步骤包括：
获取所述第一终端前一次获取到的第一损失值，并将所述解密后的损失值记作第二损失值；
计算所述第一损失值与所述第二损失值之间的差值，并判断所述差值是否小于或者等于预设阈值；
当所述差值小于或者等于预设阈值时，则判定所述待训练模型处于收敛状态；
当所述差值大于预设阈值时，则判定所述待训练模型未处于收敛状态。
此外，为实现上述目的，本发明还提供一种基于联邦学习的模型参数训练装置，所述基于联邦学习的模型参数训练装置包括：
数据获取模块，用于当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值；
第一发送模块，用于随机生成与所述第一梯度加密值同维度的随机向量，基于所述随机向量对所述第一梯度加密值进行模糊，并将模糊后的第一梯度加密值和所述损失加密值发送至所述第二终端；
模型检测模块，用于在接收到所述第二终端基于所述模糊后的第一梯度加密值和所述损失加密值返回的解密后的第一梯度值和损失值时，根据所述解密后的损失值检测待训练模型是否处于收敛状态；
参数确定模块，用于若检测到所述待训练模型处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数。
可选地，所述数据获取模块包括：
第一获取单元，用于当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端获取对应的第一数据，及与所述第一数据对应的样本标签；
第一加密单元，用于基于所述第一数据、所述加密后的第二数据、所述样本标签和预设损失函数计算损失值，并采用同态加密算法加密所述损失值，得到加密的损失值，记作损失加密值；
第二加密单元，用于根据所述预设损失函数得到梯度函数，并根据所述梯度函数计算得到第一梯度值，并采用同态加密算法加密所述第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。
可选地，所述基于联邦学习的模型参数训练装置还包括：
第一加密模块，用于根据所述加密后的第二数据和所述第一数据计算得到加密中间结果，通过预设公钥对所述加密中间结果进行加密，得到双重加密中间结果；
第一计算模块，用于将所述双重加密中间结果发送至所述第二终端，以使得所述第二终端基于所述双重加密中间结果计算得到双重加密梯度值；
第二解密模块，用于在接收到所述第二终端返回的所述双重加密梯度值时，通过与所述预设公钥对应的私钥对所述双重加密梯度值进行解密，并将解密后的双重加密梯度值发送至所述第二终端，以使得所述第二终端对所述解密后的双重加密梯度值进行解密，得到所述第二终端的梯度值。
可选地，所述基于联邦学习的模型参数训练装置还包括：
第二加密模块，用于接收所述第二终端发送的加密样本数据，根据所述加密样本数据和所述第一数据得到所述第二终端的第一部分梯度值，并采用同态加密算法加密所述第一部分梯度值，得到加密的第一部分梯度值，记作第二梯度加密值；
第二发送模块，用于将所述第二梯度加密值发送至所述第二终端，以使得所述第二终端基于所述第二梯度加密值和根据所述第二数据计算得到的第二部分梯度值，得到所述第二终端的梯度值。
可选地，所述基于联邦学习的模型参数训练装置还包括：
参数更新模块，用于若检测到所述待训练模型未处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，更新所述第二梯度值，并根据更新后的第二梯度值，对应更新样本参数；
指令发送模块，用于生成对应的梯度值更新指令，并发送至所述第二终端，以使得所述第二终端根据所述梯度值更新指令更新所述第二终端的梯度值，并根据更新后的第二终端的梯度值更新对应的样本参数。
可选地，所述基于联邦学习的模型参数训练装置还包括：
第三发送模块，用于当所述第一终端确定模型参数，且接收到执行请求后，所述第一终端将所述执行请求发送给所述第二终端，以使得所述第二终端在接收到所述执行请求后，根据对应的模型参数和与所述执行请求对应特征变量的变量值返回第一预测分数给所述第一终端；
第二计算模块，用于当接收到所述第一预测分数后，根据确定的所述模型参数和与所述执行请求对应特征变量的变量值，计算第二预测分数；
分数获取模块，用于将所述第一预测分数和所述第二预测分数相加，得到预测分数总和，并根据所述预测分数总和输入所述待训练模型中，得到模型分数，并根据所述模型分数确定是否执行所述执行请求。
可选地，所述模型检测模块包括：
第二获取单元，用于获取所述第一终端前一次获取到的第一损失值，并将所述解密后的损失值记作第二损失值；
差值判断单元，用于计算所述第一损失值与所述第二损失值之间的差值，并判断所述差值是否小于或者等于预设阈值；
第一判定单元，用于当所述差值小于或者等于预设阈值时，则判定所述待训练模型处于收敛状态；
第二判定单元，用于当所述差值大于预设阈值时，则判定所述待训练模型未处于收敛状态。
此外，为实现上述目的，本发明还提供一种基于联邦学习的模型参数训练设备，所述基于联邦学习的模型参数训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被所述处理器执行时实现如上所述的基于联邦学习的模型参数训练方法的步骤。
此外，为实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被处理器执行时实现如上所述的基于联邦学习的模型参数训练方法的步骤。
本发明提供一种基于联邦学习的模型参数训练方法、装置、设备及介质，当第一终端接收到第二终端发送的加密后的第二数据时，第一终端根据该加密后的第二数据得到损失加密值和第一梯度加密值；随机生成与该第一梯度加密值同维度的随机向量，基于该随机向量对该第一梯度加密值进行模糊，将模糊后的第一梯度加密值和该损失加密值发送至第二终端；在接收到第二终端基于该模糊后的第一梯度加密值和该损失加密值返回的解密后的第一梯度值和损失值时，根据该解密后的损失值检测待训练模型是否处于收敛状态；若检测到待训练模型处于收敛状态，第一终端则根据该随机向量和解密后的第一梯度值得到第二梯度值，即去掉该解密后的第一梯度值中的随机向量，以还原真实梯度值，得到第二梯度值，然后将与该第二梯度值对应的样本参数确定为待训练模型的模型参数。本发明仅通过第一终端和第二终端之间的数据传输与计算，最终得到损失值，进而确定待训练模型中的模型参数，可无需可靠第三方而仅用两方数据就可以进行模型训练，以避免应用受限，同时，本发明中第一终端接收到的第二数据是模型中间结果的加密数据，第一终端和第二终端通信过程中的数据通过加密和模糊处理，因此本发明不会泄露原始特征数据，可达到同样级别的安全保证，保障终端样本数据的隐私性和安全性。
附图说明
图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明基于联邦学习的模型参数训练方法第一实施例的流程示意图；
图3为本发明第一实施例中步骤S10的细化流程示意图；
图4为本发明基于联邦学习的模型参数训练方法第二实施例的流程示意图；
图5为本发明基于联邦学习的模型参数训练方法第三实施例的流程示意图；
图6为本发明基于联邦学习的模型参数训练装置第一实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例基于联邦学习的模型参数训练设备可以是智能手机、PC(PersonalComputer，个人计算机)、平板电脑、便携计算机和服务器等终端设备。
如图1所示，该基于联邦学习的模型参数训练设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如Wi-Fi接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的基于联邦学习的模型参数训练设备结构并不构成对基于联邦学习的模型参数训练设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于联邦学习的模型参数训练程序。
在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下基于联邦学习的模型参数训练方法的各个步骤。
基于上述硬件结构，提出本发明基于联邦学习的模型参数训练方法的各实施例。
本发明提供一种基于联邦学习的模型参数训练方法。
参照图2，图2为本发明基于联邦学习的模型参数训练方法第一实施例的流程示意图。
在本实施例中，该基于联邦学习的模型参数训练方法包括：
步骤S10，当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值；
在本实施例中，当第一终端接收到第二终端发送的加密后的第二数据时，第一终端根据该加密后的第二数据得到损失加密值和第一梯度加密值。其中，第一终端和第二终端可以为智能手机、个人计算机、平板电脑、便携计算机和和服务器等终端设备，第二数据为第二终端根据其样本数据和对应的样本参数计算得到的，为模型中间结果，然后第二终端对第二数据进行加密，可通过密钥对生成软件生成公钥和私钥，然后采用该生成的公钥，通过同态加密算法对第二数据进行加密，得到加密后的第二数据，以保障传输数据的隐私性和安全性。此外，损失加密值和第一梯度加密值的获取方法为：当第一终端接收到第二终端发送的第二数据后，第一终端获取与该第二数据对应的第一数据，及与该第一数据对应的标本标签；然后基于第一数据、加密后的第二数据、样本标签和预设损失函数计算损失值，采用第二终端的公钥(第二终端会将其公钥发送至第一终端)，通过同态加密算法加密各个计算损失值的计算因子，以得到加密后的损失值，记作损失加密值；然后根据预设损失函数得到梯度函数，并根据该梯度函数计算得到第一梯度值，并采用第二终端的公钥，通过同态加密算法加密该第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。具体的获取过程可参照下述实施例，此处不作赘述。
步骤S20，随机生成与所述第一梯度加密值同维度的随机向量，基于所述随机向量对所述第一梯度加密值进行模糊，并将模糊后的第一梯度加密值和所述损失加密值发送至所述第二终端；
第一终端在得到损失加密值和第一梯度加密值后，随机生成与该第一梯度加密值同维度的随机向量，基于该随机向量对该第一梯度加密值进行模糊，即若第一梯度加密值为[[g]]，随机向量为R，则模糊后的第一梯度加密值为[[g+R]]，然后将模糊后的第一梯度加密值和该损失加密值发送至第二终端。对应的，第二终端在接收到该第一梯度加密值和损失加密值时，通过第二终端的私钥对该第一梯度加密值和损失加密值进行解密，得到解密后的第一梯度值和损失值。
步骤S30，在接收到所述第二终端基于所述模糊后的第一梯度加密值和所述损失加密值返回的解密后的第一梯度值和损失值时，根据所述解密后的损失值检测待训练模型是否处于收敛状态；
第一终端在接收到第二终端基于该模糊后的第一梯度加密值和该损失加密值返回的解密后的第一梯度值和损失值时，根据该解密后的损失值检测待训练模型是否处于收敛状态。具体的，步骤“根据所述解密后的损失值检测待训练模型是否处于收敛状态”包括：
步骤a1，获取所述第一终端前一次获取到的第一损失值，并将所述解密后的损失值记作第二损失值；
当第一终端得到解密后的损失值后，第一终端获取第一终端前一次获取到的第一损失值，并将解密后的损失值记为第二损失值。需要说明的是，当待训练模型未处于收敛状态时，第一终端会持续根据第二终端发送的加密后的第二数据得到损失加密值，然后将损失加密值发送给第二终端进行解密，进而接收第二终端返回的解密后的损失值，直到待训练模型处于收敛状态。第一损失值也是第二终端解密后的损失值。可以理解的是，第一损失值是第二终端前一次发送的解密后的损失值，第二损失值是第二终端当前发送的解密后的损失值。
步骤a2，计算所述第一损失值与所述第二损失值之间的差值，并判断所述差值是否小于或者等于预设阈值；
当第一终端获取到第一损失值和第二损失值后，第一终端计算第一损失值与第二损失值之间的差值，并判断该差值是否小于或者等于预设阈值。其中，该预设阈值的具体数值可预先根据具体需要进行设置，在本实施例中对预设阈值对应的数值不做具体限制。
步骤a3，当所述差值小于或者等于预设阈值时，则判定所述待训练模型处于收敛状态；
步骤a4，当所述差值大于预设阈值时，则判定所述待训练模型未处于收敛状态。
当该差值小于或者等于预设阈值时，第一终端则判定待训练模型处于收敛状态；当确定该差值大于预设阈值时，第一终端则判定待训练模型未处于收敛状态。
步骤S40，若检测到所述待训练模型处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数。
若检测到待训练模型处于收敛状态，第一终端则根据该随机向量和解密后的第一梯度值得到第二梯度值，即去掉该解密后的第一梯度值中的随机向量，以还原真实梯度值，得到第二梯度值，然后将与该第二梯度值对应的样本参数确定为该待训练模型的模型参数。
本发明实施例提供一种基于联邦学习的模型参数训练方法，当第一终端接收到第二终端发送的加密后的第二数据时，第一终端根据该加密后的第二数据得到损失加密值和第一梯度加密值；随机生成与该第一梯度加密值同维度的随机向量，基于该随机向量对该第一梯度加密值进行模糊，将模糊后的第一梯度加密值和该损失加密值发送至第二终端；在接收到第二终端基于该模糊后的第一梯度加密值和该损失加密值返回的解密后的第一梯度值和损失值时，根据该解密后的损失值检测待训练模型是否处于收敛状态；若检测到待训练模型处于收敛状态，第一终端则根据该随机向量和解密后的第一梯度值得到第二梯度值，即去掉该解密后的第一梯度值中的随机向量，以还原真实梯度值，得到第二梯度值，然后将与该第二梯度值对应的样本参数确定为待训练模型的模型参数。本发明仅通过第一终端和第二终端之间的数据传输与计算，最终得到损失值，进而确定待训练模型中的模型参数，可无需可靠第三方而仅用两方数据就可以进行模型训练，以避免应用受限，同时，本发明中第一终端接收到的第二数据是模型中间结果的加密数据，第一终端和第二终端通信过程中的数据通过加密和模糊处理，因此本发明不会泄露原始特征数据，可达到同样级别的安全保证，保障终端样本数据的隐私性和安全性。
进一步的，参照图3，图3为本发明第一实施例中步骤S10的细化流程示例图。
具体的，步骤S10包括：
步骤S11，当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端获取对应的第一数据，及与所述第一数据对应的样本标签；
在本实施例中，当第一终端接收到第二终端发送的第二数据后，第一终端获取对应的第一数据，及与该第一数据对应的标本标签。其中，第一数据和第二数据均为模型中间结果，第一数据是第一终端根据其样本数据和对应的样本参数计算得到的，第二数据是第二终端根据其样本数据和对应的样本参数计算得到的。具体的，第二数据可以为第二终端中样本参数与第二终端交集样本数据中特征变量对应变量值乘积之和，以及该乘积之和的平方。原始第二数据对应的计算公式可以为：乘积之和的平方表示为：其中，w1,w2…wn表示第二终端对应的样本参数，第二终端中特征变量对应变量值的个数与第二终端对应样本参数的个数相等，即一个变量值对应一个样本参数，x表示特征变量的特征值，1,2…n表示对应变量值和样本参数的个数。如当第二终端交集样本数据中的每个特征变量存在三个变量值，则需要说明的是，第二终端发送给第一终端的第二数据是加密后的第二数据，当第二终端计算得到第二数据后，采用第二终端的公钥，通过同态加密算法加密第二数据，得到加密后的第二数据，并将加密后的第一数据发送给第二终端。其中，发送给第一终端的第二数据，即加密后的第二数据可表示为[[uA]]和
第一终端计算第一数据的过程与第二终端计算第二数据的过程类似，如计算第一终端中样本参数与第一终端交集样本数据中特征变量对应变量值乘积之和的公式为：其中，w1,w2…wn表示第一终端中各个样本数据特征变量对应特征值的样本参数。
步骤S12，基于所述第一数据、所述加密后的第二数据、所述样本标签和预设损失函数计算损失值，并采用同态加密算法加密所述损失值，得到加密的损失值，记作损失加密值；
第一终端在接收到加密后的第二数据，并获取到对应的第一数据及其对应的样本标签后，基于第一数据、加密后的第二数据、样本标签和预设损失函数计算损失值，并采用同态加密算法加密所述损失值，得到加密的损失值，记作损失加密值。
具体的，将损失值表示为loss，其中，y表示第一数据对应样本标签的标签值，样本标签对应的标签值的数值可根据具体需要而设置，如在本实施例中，如可用“0”和“1”表示不同样本标签对应的标签值。当第一终端计算得到损失值后，第一终端采用第二终端的公钥(第二终端会将其公钥发送至第一终端)，通过同态加密算法加密各个计算损失值的计算因子，以得到加密后的损失值。将加密后的损失值(即损失加密值)表示为[[loss]]，log2、ywTx和(wTx)2为计算损失值的计算因子，其中，[[u]]＝[[uA+uB]]＝[[uA]]+[[uB]]，
步骤S13，根据所述预设损失函数得到梯度函数，并根据所述梯度函数计算得到第一梯度值，并采用同态加密算法加密所述第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。
然后根据预设损失函数得到梯度函数，并根据该梯度函数计算得到第一梯度值，并采用第二终端的公钥，通过同态加密算法加密该第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。
具体的，第一终端计算其对应梯度值(即第一梯度值)的公式为：在计算得到第一梯度值后，第一终端采用其第二终端的公钥，通过同态加密算法对该第一梯度值进行加密，以得到加密后的损失值(即第一梯度加密值)，对应的，第一梯度加密值的公式为：[[g]]＝∑[[d]]x，其中，
需要说明的是，在本实施例中，采用参数服务器的方式，第一终端和第二终端都拥有独立的参数服务器，用于各自样本数据的聚合更新同步，同时避免各自样本数据的泄露，且第一终端和第二终端对应的样本参数，即模型参数都是各自存储的，提高了第一终端和第二终端数据的安全性。
本实施例通过根据接收到的来源于第二终端的加密后的第二数据、第一终端的第一数据以及第一数据对应的样本标签计算损失值，并采用同态加密算法加密对损失值进行加密，得到损失加密值，使第一终端在计算损失值过程中，并不能获取第二终端的具体样本数据，实现了第一终端在联合第二终端样本数据计算模型参数过程中，可在不暴露第二终端样本数据的基础上计算出计算模型参数所需的损失值，提高了计算模型参数过程中第二终端样本数据的隐私性。
基于上述各实施方式，提出本发明基于联邦学习的模型参数训练方法的第二实施例。
参照图4，在本实施例中，所述基于联邦学习的模型参数训练方法还包括：
步骤S50，根据所述加密后的第二数据和所述第一数据计算得到加密中间结果，通过预设公钥对所述加密中间结果进行加密，得到双重加密中间结果；
作为第二终端的梯度值的其中一种获取方式，在本实施例中，第一终端可根据加密后的第二数据和上述获取到的第一数据计算得到加密中间结果，然后通过预设公钥对该加密中间结果进行加密，得到双重加密中间结果。其中，该预设公钥是第一终端根据密钥对生成软件生成的公钥，是第一终端的公钥。
步骤S60，将所述双重加密中间结果发送至所述第二终端，以使得所述第二终端基于所述双重加密中间结果计算得到双重加密梯度值；
然后，将该双重加密中间结果发送至第二终端，以使得第二终端基于该双重加密中间结果计算得到双重加密梯度值，进而第二终端将该双重加密梯度值发送至第一终端。
步骤S70，在接收到所述第二终端返回的所述双重加密梯度值时，通过与所述预设公钥对应的私钥对所述双重加密梯度值进行解密，并将解密后的双重加密梯度值发送至所述第二终端，以使得所述第二终端对所述解密后的双重加密梯度值进行解密，得到所述第二终端的梯度值。
第一终端在接收到第二终端返回的双重加密梯度值时，通过与该预设公钥对应的私钥(即第一终端的私钥)对双重加密梯度值进行一次解密，并将解密后的双重加密梯度值发送至第二终端，以使得第二终端采用其私钥(即第二终端的私钥)对该解密后的双重加密梯度值进行二次解密，得到第二终端的梯度值，进而第二终端可根据该第二终端的梯度值来更新模型参数。
在本实施例中，第一终端和第二终端两方进行通信的第一数据和第二数据都是模型中间结果的加密数据，不存在泄露原始特征数据，且其他数据传输过程中也进行了加密，可在保障终端数据隐私性和安全性的同时，对第二终端的模型参数进行训练，确定第二终端的模型参数。
基于上述各实施方式，提出本发明基于联邦学习的模型参数训练方法的第三实施例。
参照图5，在本实施例中，所述基于联邦学习的模型参数训练方法还包括：
步骤S80，接收所述第二终端发送的加密样本数据，根据所述加密样本数据和所述第一数据得到所述第二终端的第一部分梯度值，并采用同态加密算法加密所述第一部分梯度值，得到加密的第一部分梯度值，记作第二梯度加密值；
作为第二终端的梯度值的又一种获取方式，在本实施例中，第二终端可以发送加密样本数据至第一终端，使得第一终端根据该加密样本数据计算第二终端的部分梯度值。具体的，第一终端接收第二终端发送的加密样本数据，然后根据加密样本数据和上述根据加密后的第二数据获取到的第一数据，得到第二终端的第一部分梯度值，并采用第二终端的公钥通过同态加密算法加密该第一部分梯度值，得到加密的第一部分梯度值，将其记作第二梯度加密值。
步骤S90，将所述第二梯度加密值发送至所述第二终端，以使得所述第二终端基于所述第二梯度加密值和根据所述第二数据计算得到的第二部分梯度值，得到所述第二终端的梯度值。
然后，将该第二梯度加密值发送至第二终端，以使得第二终端基于该第二梯度加密值和根据第二数据计算得到的第二部分梯度值，得到第二终端的梯度值。具体的，第二终端根据第二数据计算得到的第二部分梯度值，同时对接收到的第二梯度加密值进行解密，得到第一部分梯度值，然后，将第一部分梯度值和第二部分梯度值这两部分梯度值结合可得到该第二终端的梯度值，进而第二终端可根据该第二终端的梯度值来更新模型参数。
在本实施例中，第一终端通过接收到的第二终端发送的加密样本数据，得到第二终端梯度的一部分(即第一部分梯度值)，然后将加密后的第一部分梯度值(即第二梯度加密值)发送至第二终端，使得第二终端解密后，得到第一部分梯度值，进而结合该第一部分梯度值和第二部分梯度值(第二终端本地计算得到的)这两部分梯度值，得到该第二终端的梯度值，进而根据该第二终端的梯度值来更新模型参数。通过上述方式，本实施例对第二终端的模型参数进行训练，确定出第二终端的模型参数，同时，由于第一终端和第二终端两方进行通信的数据均进行了加密，可保障终端数据的隐私性和安全性。
此外，需要说明的是，作为第二终端的梯度值的另一种获取方式，可采用与第一实施例中相同的方法来计算第二终端的梯度值。具体的，第一终端将加密后的第一数据发送到第二终端，第二终端在接收到第一终端发送的加密后的第一数据时，第二终端根据该加密后的第一数据得到第二终端的损失加密值和梯度加密值；随机生成与该第二终端的梯度加密值同维度的随机向量，基于该随机向量对该第二终端的梯度加密值进行模糊，将模糊后的第二终端的梯度加密值和该第二终端的损失加密值发送至第一终端；在接收到第一终端基于该模糊后的第二终端的梯度加密值和该第二终端的损失加密值返回的解密后的第二终端的梯度值和损失值时，根据该解密后的第二终端的损失值检测待训练模型是否处于收敛状态；若检测到待训练模型处于收敛状态，第二终端则根据该随机向量和解密后的第二终端的梯度值得到第二终端的梯度值，即去掉该解密后的第二终端的梯度值中的随机向量，以还原真实梯度值，得到第二终端的梯度值，然后将与该第二终端的梯度值对应的样本参数确定为待训练模型的模型参数。此过程与上述第一实施例中基本相似，可参照上述第一实施例，此处不作赘述。
进一步的，基于上述各实施方式，提出本发明基于联邦学习的模型参数训练方法的第四实施例。在本实施例中，在步骤S30之后，所述基于联邦学习的模型参数训练方法还包括：
若检测到所述待训练模型未处于收敛状态，则执行步骤A：根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，更新所述第二梯度值，并根据更新后的第二梯度值，对应更新样本参数；
在本实施例中，若检测到待训练模型未处于收敛状态，即差值大于预设阈值时，第一终端则根据该随机向量和解密后的第一梯度值得到第二梯度值，即去掉该解密后的第一梯度值中的随机向量，以还原真实梯度值，得到第二梯度值，进而更新第二梯度值，并根据更新后的第二梯度值，对应更新样本参数。
其中，样本参数的更新方法为：计算更新后的第二梯度值与预设系数之间的乘积，将样本参数减去该乘积，以得到更新后的样本参数。具体的，第一终端根据更新后的梯度值更新其对应样本参数所用公式为：w＝w0-ηg，其中，w表示更新后的样本参数，w0表示更新前的样本参数；η为一个系数，是预先设置好的，即预设系数，其对应的数值可根据具体需要而设置；g为更新后的梯度值。
步骤B，生成对应的梯度值更新指令，并发送至所述第二终端，以使得所述第二终端根据所述梯度值更新指令更新所述第二终端的梯度值，并根据更新后的第二终端的梯度值更新对应的样本参数。
第一终端生成对应的梯度值更新指令，并发送至第二终端，以使得第二终端根据该梯度值更新指令更新第二终端的梯度值，并根据更新后的第二终端的梯度值更新对应的样本参数。其中，第二终端的样本参数的更新方法与第一终端梯度值的更新方法基本相同，此处不作赘述。
需要说明的是，步骤B与步骤A的执行顺序不分先后。
进一步的，基于上述各实施方式，提出本发明基于联邦学习的模型参数训练方法的第五实施例。在本实施例中，在步骤S30之后，所述基于联邦学习的模型参数训练方法还包括：
步骤C，当所述第一终端确定模型参数，且接收到执行请求后，所述第一终端将所述执行请求发送给所述第二终端，以使得所述第二终端在接收到所述执行请求后，根据对应的模型参数和与所述执行请求对应特征变量的变量值返回第一预测分数给所述第一终端；
在本实施例中，当第一终端确定模型参数后，第一终端检测是否接收到执行请求。当第一终端接收到执行请求后，第一终端将该执行请求发送给第二终端。当第二终端接收到执行请求后，第二终端获取其对应的模型参数，以及获取与该执行请求对应特征变量的变量值，并根据该模型参数和变量值计算得到第一预测分数，并将该第一预测分数发送给第一终端。可以理解的是，第一终端计算第一预测分数的公式为：
步骤D，当接收到所述第一预测分数后，根据确定的所述模型参数和与所述执行请求对应特征变量的变量值，计算第二预测分数；
当第一终端接收到第二终端发送的第一预测分数后，第一终端根据其所确定的模型参数和与该执行请求对应特征变量的变量值计算第二预测分数。其中，第一终端计算第二预测分数的公式为：
步骤E，将所述第一预测分数和所述第二预测分数相加，得到预测分数总和，并根据所述预测分数总和输入所述待训练模型中，得到模型分数，并根据所述模型分数确定是否执行所述执行请求。
当第一终端得到第一预测分数和第二预测分数后，第一终端将第一预测分数和第二预测分数相加，得到预测分数总和，并将该预测分数总和输入待训练模型中，得到模型分数。其中，预测分数总和的表达式为：待训练模型的表达式为：
当得到模型分数后，第一终端可根据该模型分数判断是否执行该执行请求。如当该待训练模型为欺诈模型，该执行请求为贷款请求时，若计算所得的模型分数大于或者等于预设分数，第一终端则确定该贷款请求为欺诈请求，拒绝执行该贷款请求；若计算所得的模型分数小于预设分数，第一终端则确定该贷款请求为真实的贷款请求，执行该贷款请求。
本实施例通过第一终端接收到执行请求后，通过待训练模型分析该执行请求，以确定是否执行该执行请求，提高了第一终端执行请求过程中的安全性。
本发明还提供一种基于联邦学习的模型参数训练装置。
参照图6，图6为本发明基于联邦学习的模型参数训练装置第一实施例的功能模块示意图。
所述基于联邦学习的模型参数训练装置包括：
数据获取模块10，用于当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值；
第一发送模块20，用于随机生成与所述第一梯度加密值同维度的随机向量，基于所述随机向量对所述第一梯度加密值进行模糊，并将模糊后的第一梯度加密值和所述损失加密值发送至所述第二终端；
模型检测模块30，用于在接收到所述第二终端基于所述模糊后的第一梯度加密值和所述损失加密值返回的解密后的第一梯度值和损失值时，根据所述解密后的损失值检测待训练模型是否处于收敛状态；
参数确定模块40，用于若检测到所述待训练模型处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数。
进一步的，所述数据获取模块10包括：
第一获取单元，用于当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端获取对应的第一数据，及与所述第一数据对应的样本标签；
第一加密单元，用于基于所述第一数据、所述加密后的第二数据、所述样本标签和预设损失函数计算损失值，并采用同态加密算法加密所述损失值，得到加密的损失值，记作损失加密值；
第二加密单元，用于根据所述预设损失函数得到梯度函数，并根据所述梯度函数计算得到第一梯度值，并采用同态加密算法加密所述第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。
进一步的，所述基于联邦学习的模型参数训练装置还包括：
第一加密模块，用于根据所述加密后的第二数据和所述第一数据计算得到加密中间结果，通过预设公钥对所述加密中间结果进行加密，得到双重加密中间结果；
第一计算模块，用于将所述双重加密中间结果发送至所述第二终端，以使得所述第二终端基于所述双重加密中间结果计算得到双重加密梯度值；
第二解密模块，用于在接收到所述第二终端返回的所述双重加密梯度值时，通过与所述预设公钥对应的私钥对所述双重加密梯度值进行解密，并将解密后的双重加密梯度值发送至所述第二终端，以使得所述第二终端对所述解密后的双重加密梯度值进行解密，得到所述第二终端的梯度值。
进一步的，所述基于联邦学习的模型参数训练装置还包括：
第二加密模块，用于接收所述第二终端发送的加密样本数据，根据所述加密样本数据和所述第一数据得到所述第二终端的第一部分梯度值，并采用同态加密算法加密所述第一部分梯度值，得到加密的第一部分梯度值，记作第二梯度加密值；
第二发送模块，用于将所述第二梯度加密值发送至所述第二终端，以使得所述第二终端基于所述第二梯度加密值和根据所述第二数据计算得到的第二部分梯度值，得到所述第二终端的梯度值。
进一步的，所述基于联邦学习的模型参数训练装置还包括：
参数更新模块，用于若检测到所述待训练模型未处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，更新所述第二梯度值，并根据更新后的第二梯度值，对应更新样本参数；
指令发送模块，用于生成对应的梯度值更新指令，并发送至所述第二终端，以使得所述第二终端根据所述梯度值更新指令更新所述第二终端的梯度值，并根据更新后的第二终端的梯度值更新对应的样本参数。
进一步的，所述基于联邦学习的模型参数训练装置还包括：
第三发送模块，用于当所述第一终端确定模型参数，且接收到执行请求后，所述第一终端将所述执行请求发送给所述第二终端，以使得所述第二终端在接收到所述执行请求后，根据对应的模型参数和与所述执行请求对应特征变量的变量值返回第一预测分数给所述第一终端；
第二计算模块，用于当接收到所述第一预测分数后，根据确定的所述模型参数和与所述执行请求对应特征变量的变量值，计算第二预测分数；
分数获取模块，用于将所述第一预测分数和所述第二预测分数相加，得到预测分数总和，并根据所述预测分数总和输入所述待训练模型中，得到模型分数，并根据所述模型分数确定是否执行所述执行请求。
进一步的，所述模型检测模块30包括：
第二获取单元，用于获取所述第一终端前一次获取到的第一损失值，并将所述解密后的损失值记作第二损失值；
差值判断单元，用于计算所述第一损失值与所述第二损失值之间的差值，并判断所述差值是否小于或者等于预设阈值；
第一判定单元，用于当所述差值小于或者等于预设阈值时，则判定所述待训练模型处于收敛状态；
第二判定单元，用于当所述差值大于预设阈值时，则判定所述待训练模型未处于收敛状态。
其中，上述基于联邦学习的模型参数训练装置中各个模块的功能实现与上述基于联邦学习的模型参数训练方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
本发明还提供一种存储介质，该存储介质上存储有基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被处理器执行时实现如以上任一项实施例所述的基于联邦学习的模型参数训练方法的步骤。
本发明存储介质的具体实施例与上述基于联邦学习的模型参数训练方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (16)

1.一种基于联邦学习的模型参数训练方法，其特征在于，所述基于联邦学习的模型参数训练方法包括：
当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值；
随机生成与所述第一梯度加密值同维度的随机向量，基于所述随机向量对所述第一梯度加密值进行模糊，并将模糊后的第一梯度加密值和所述损失加密值发送至所述第二终端；
在接收到所述第二终端基于所述模糊后的第一梯度加密值和所述损失加密值返回的解密后的第一梯度值和损失值时，根据所述解密后的损失值检测待训练模型是否处于收敛状态；
若检测到所述待训练模型处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数。
2.如权利要求1所述的基于联邦学习的模型参数训练方法，其特征在于，所述当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值的步骤包括：
当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端获取对应的第一数据，及与所述第一数据对应的样本标签；
基于所述第一数据、所述加密后的第二数据、所述样本标签和预设损失函数计算损失值，并采用同态加密算法加密所述损失值，得到加密的损失值，记作损失加密值；
根据所述预设损失函数得到梯度函数，并根据所述梯度函数计算得到第一梯度值，并采用同态加密算法加密所述第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。
3.如权利要求2所述的基于联邦学习的模型参数训练方法，其特征在于，所述基于联邦学习的模型参数训练方法还包括：
根据所述加密后的第二数据和所述第一数据计算得到加密中间结果，通过预设公钥对所述加密中间结果进行加密，得到双重加密中间结果；
将所述双重加密中间结果发送至所述第二终端，以使得所述第二终端基于所述双重加密中间结果计算得到双重加密梯度值；
在接收到所述第二终端返回的所述双重加密梯度值时，通过与所述预设公钥对应的私钥对所述双重加密梯度值进行解密，并将解密后的双重加密梯度值发送至所述第二终端，以使得所述第二终端对所述解密后的双重加密梯度值进行解密，得到所述第二终端的梯度值。
4.如权利要求2所述的基于联邦学习的模型参数训练方法，其特征在于，所述基于联邦学习的模型参数训练方法还包括：
接收所述第二终端发送的加密样本数据，根据所述加密样本数据和所述第一数据得到所述第二终端的第一部分梯度值，并采用同态加密算法加密所述第一部分梯度值，得到加密的第一部分梯度值，记作第二梯度加密值；
将所述第二梯度加密值发送至所述第二终端，以使得所述第二终端基于所述第二梯度加密值和根据所述第二数据计算得到的第二部分梯度值，得到所述第二终端的梯度值。
5.如权利要求3或4所述的基于联邦学习的模型参数训练方法，其特征在于，所述根据所述解密后的损失值检测待训练模型是否处于收敛状态的步骤之后，还包括：
若检测到所述待训练模型未处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，更新所述第二梯度值，并根据更新后的第二梯度值，对应更新样本参数；
生成对应的梯度值更新指令，并发送至所述第二终端，以使得所述第二终端根据所述梯度值更新指令更新所述第二终端的梯度值，并根据更新后的第二终端的梯度值更新对应的样本参数。
6.如权利要求1所述的基于联邦学习的模型参数训练方法，其特征在于，所述根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数的步骤之后，还包括：
当所述第一终端确定模型参数，且接收到执行请求后，所述第一终端将所述执行请求发送给所述第二终端，以使得所述第二终端在接收到所述执行请求后，根据对应的模型参数和与所述执行请求对应特征变量的变量值返回第一预测分数给所述第一终端；
当接收到所述第一预测分数后，根据确定的所述模型参数和与所述执行请求对应特征变量的变量值，计算第二预测分数；
将所述第一预测分数和所述第二预测分数相加，得到预测分数总和，并根据所述预测分数总和输入所述待训练模型中，得到模型分数，并根据所述模型分数确定是否执行所述执行请求。
7.如权利要求1所述的基于联邦学习的模型参数训练方法，其特征在于，所述根据所述解密后的损失值检测待训练模型是否处于收敛状态的步骤包括：
获取所述第一终端前一次获取到的第一损失值，并将所述解密后的损失值记作第二损失值；
计算所述第一损失值与所述第二损失值之间的差值，并判断所述差值是否小于或者等于预设阈值；
当所述差值小于或者等于预设阈值时，则判定所述待训练模型处于收敛状态；
当所述差值大于预设阈值时，则判定所述待训练模型未处于收敛状态。
8.一种基于联邦学习的模型参数训练装置，其特征在于，所述基于联邦学习的模型参数训练装置包括：
数据获取模块，用于当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端根据所述加密后的第二数据得到损失加密值和第一梯度加密值；
第一发送模块，用于随机生成与所述第一梯度加密值同维度的随机向量，基于所述随机向量对所述第一梯度加密值进行模糊，并将模糊后的第一梯度加密值和所述损失加密值发送至所述第二终端；
模型检测模块，用于在接收到所述第二终端基于所述模糊后的第一梯度加密值和所述损失加密值返回的解密后的第一梯度值和损失值时，根据所述解密后的损失值检测待训练模型是否处于收敛状态；
参数确定模块，用于若检测到所述待训练模型处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，并将与所述第二梯度值对应的样本参数确定为所述待训练模型的模型参数。
9.如权利要求8所述的基于联邦学习的模型参数训练装置，其特征在于，所述数据获取模块包括：
第一获取单元，用于当第一终端接收到第二终端发送的加密后的第二数据时，所述第一终端获取对应的第一数据，及与所述第一数据对应的样本标签；
第一加密单元，用于基于所述第一数据、所述加密后的第二数据、所述样本标签和预设损失函数计算损失值，并采用同态加密算法加密所述损失值，得到加密的损失值，记作损失加密值；
第二加密单元，用于根据所述预设损失函数得到梯度函数，并根据所述梯度函数计算得到第一梯度值，并采用同态加密算法加密所述第一梯度值，得到加密的第一梯度值，记作第一梯度加密值。
10.如权利要求9所述的基于联邦学习的模型参数训练装置，其特征在于，所述基于联邦学习的模型参数训练装置还包括：
第一加密模块，用于根据所述加密后的第二数据和所述第一数据计算得到加密中间结果，通过预设公钥对所述加密中间结果进行加密，得到双重加密中间结果；
第一计算模块，用于将所述双重加密中间结果发送至所述第二终端，以使得所述第二终端基于所述双重加密中间结果计算得到双重加密梯度值；
第二解密模块，用于在接收到所述第二终端返回的所述双重加密梯度值时，通过与所述预设公钥对应的私钥对所述双重加密梯度值进行解密，并将解密后的双重加密梯度值发送至所述第二终端，以使得所述第二终端对所述解密后的双重加密梯度值进行解密，得到所述第二终端的梯度值。
11.如权利要求9所述的基于联邦学习的模型参数训练装置，其特征在于，所述基于联邦学习的模型参数训练装置还包括：
第二加密模块，用于接收所述第二终端发送的加密样本数据，根据所述加密样本数据和所述第一数据得到所述第二终端的第一部分梯度值，并采用同态加密算法加密所述第一部分梯度值，得到加密的第一部分梯度值，记作第二梯度加密值；
第二发送模块，用于将所述第二梯度加密值发送至所述第二终端，以使得所述第二终端基于所述第二梯度加密值和根据所述第二数据计算得到的第二部分梯度值，得到所述第二终端的梯度值。
12.如权利要求10或11所述的基于联邦学习的模型参数训练装置，其特征在于，所述基于联邦学习的模型参数训练装置还包括：
参数更新模块，用于若检测到所述待训练模型未处于收敛状态，则根据所述随机向量和所述解密后的第一梯度值得到第二梯度值，更新所述第二梯度值，并根据更新后的第二梯度值，对应更新样本参数；
指令发送模块，用于生成对应的梯度值更新指令，并发送至所述第二终端，以使得所述第二终端根据所述梯度值更新指令更新所述第二终端的梯度值，并根据更新后的第二终端的梯度值更新对应的样本参数。
13.如权利要求8所述的基于联邦学习的模型参数训练装置，其特征在于，所述基于联邦学习的模型参数训练装置还包括：
第三发送模块，用于当所述第一终端确定模型参数，且接收到执行请求后，所述第一终端将所述执行请求发送给所述第二终端，以使得所述第二终端在接收到所述执行请求后，根据对应的模型参数和与所述执行请求对应特征变量的变量值返回第一预测分数给所述第一终端；
第二计算模块，用于当接收到所述第一预测分数后，根据确定的所述模型参数和与所述执行请求对应特征变量的变量值，计算第二预测分数；
分数获取模块，用于将所述第一预测分数和所述第二预测分数相加，得到预测分数总和，并根据所述预测分数总和输入所述待训练模型中，得到模型分数，并根据所述模型分数确定是否执行所述执行请求。
14.如权利要求8所述的基于联邦学习的模型参数训练装置，其特征在于，所述模型检测模块包括：
第二获取单元，用于获取所述第一终端前一次获取到的第一损失值，并将所述解密后的损失值记作第二损失值；
差值判断单元，用于计算所述第一损失值与所述第二损失值之间的差值，并判断所述差值是否小于或者等于预设阈值；
第一判定单元，用于当所述差值小于或者等于预设阈值时，则判定所述待训练模型处于收敛状态；
第二判定单元，用于当所述差值大于预设阈值时，则判定所述待训练模型未处于收敛状态。
15.一种基于联邦学习的模型参数训练设备，其特征在于，所述基于联邦学习的模型参数训练设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的模型参数训练方法的步骤。
16.一种存储介质，其特征在于，所述存储介质上存储有基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的模型参数训练方法的步骤。
CN201910158538.8A 2019-03-01 2019-03-01 基于联邦学习的模型参数训练方法、装置、设备及介质 Active CN109886417B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201910158538.8A CN109886417B (zh) 2019-03-01 基于联邦学习的模型参数训练方法、装置、设备及介质
EP19917861.7A EP3893170B1 (en) 2019-03-01 2019-11-18 Federated learning-based model parameter training method, apparatus and device, and medium
SG11202108137PA SG11202108137PA (en) 2019-03-01 2019-11-18 Model parameter training method, apparatus, and device based on federation learning, and medium
PCT/CN2019/119227 WO2020177392A1 (zh) 2019-03-01 2019-11-18 基于联邦学习的模型参数训练方法、装置、设备及介质
US17/349,175 US20210312334A1 (en) 2019-03-01 2021-06-16 Model parameter training method, apparatus, and device based on federation learning, and medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910158538.8A CN109886417B (zh) 2019-03-01 基于联邦学习的模型参数训练方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN109886417A true CN109886417A (zh) 2019-06-14
CN109886417B CN109886417B (zh) 2024-05-03

Family

ID=

Cited By (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110263908A (zh) * 2019-06-20 2019-09-20 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN110263921A (zh) * 2019-06-28 2019-09-20 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110414688A (zh) * 2019-07-29 2019-11-05 卓尔智联(武汉)研究院有限公司 信息分析方法、装置、服务器及存储介质
CN110472745A (zh) * 2019-08-06 2019-11-19 深圳前海微众银行股份有限公司 一种联邦学习中的信息传输方法及装置
CN110955907A (zh) * 2019-12-13 2020-04-03 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN110995737A (zh) * 2019-12-13 2020-04-10 支付宝(杭州)信息技术有限公司 联邦学习的梯度融合方法及装置和电子设备
CN110991512A (zh) * 2019-11-26 2020-04-10 广东美的白色家电技术创新中心有限公司 物体识别模型的联合训练方法、服务器及电器设备
CN111125735A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111143878A (zh) * 2019-12-20 2020-05-12 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111144576A (zh) * 2019-12-13 2020-05-12 支付宝(杭州)信息技术有限公司 模型训练方法、装置和电子设备
CN111177768A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111190487A (zh) * 2019-12-30 2020-05-22 中国科学院计算技术研究所 一种建立数据分析模型的方法
CN111241567A (zh) * 2020-01-16 2020-06-05 深圳前海微众银行股份有限公司 基于秘密共享的纵向联邦学习方法、系统及存储介质
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
CN111401621A (zh) * 2020-03-10 2020-07-10 深圳前海微众银行股份有限公司 基于联邦学习的预测方法、装置、设备及存储介质
CN111415015A (zh) * 2020-03-27 2020-07-14 支付宝(杭州)信息技术有限公司 业务模型训练方法、装置、系统及电子设备
CN111428887A (zh) * 2020-03-19 2020-07-17 腾讯云计算（北京）有限责任公司 一种基于多个计算节点的模型训练控制方法、装置及系统
WO2020177392A1 (zh) * 2019-03-01 2020-09-10 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN111722043A (zh) * 2020-06-29 2020-09-29 南方电网科学研究院有限责任公司 一种电力设备故障检测方法、装置及系统
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN111783139A (zh) * 2020-06-29 2020-10-16 京东数字科技控股有限公司 联邦学习分类树构建方法、模型构建方法，及终端设备
CN111856934A (zh) * 2020-07-16 2020-10-30 南京大量数控科技有限公司 一种同构智能车间之间的联邦学习数据处理算法
CN111915019A (zh) * 2020-08-07 2020-11-10 平安科技（深圳）有限公司 联邦学习方法、系统、计算机设备和存储介质
CN111986804A (zh) * 2020-08-31 2020-11-24 平安医疗健康管理股份有限公司 基于体温数据进行模型训练的方法、装置和计算机设备
CN112016632A (zh) * 2020-09-25 2020-12-01 北京百度网讯科技有限公司 模型联合训练方法、装置、设备和存储介质
CN112102939A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 心脑血管疾病参考信息预测系统、方法、装置及电子设备
CN112149141A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112149706A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112149174A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112182595A (zh) * 2019-07-03 2021-01-05 北京百度网讯科技有限公司 基于联邦学习的模型训练方法及装置
CN112182594A (zh) * 2019-07-02 2021-01-05 北京百度网讯科技有限公司 一种数据加密方法及装置
CN112231309A (zh) * 2020-10-14 2021-01-15 深圳前海微众银行股份有限公司 纵向联邦数据统计的去重方法、装置、终端设备及介质
CN112241537A (zh) * 2020-09-23 2021-01-19 易联众信息技术股份有限公司 纵向联邦学习建模方法、系统、介质及设备
CN112347500A (zh) * 2021-01-11 2021-02-09 腾讯科技（深圳）有限公司 分布式系统的机器学习方法、装置、系统、设备及存储介质
WO2021073234A1 (zh) * 2019-10-16 2021-04-22 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN112765898A (zh) * 2021-01-29 2021-05-07 上海明略人工智能(集团)有限公司 多任务联合训练模型方法、系统、电子设备和存储介质
CN112906912A (zh) * 2021-04-01 2021-06-04 深圳市洞见智慧科技有限公司 纵向联邦学习中无可信第三方的回归模型训练方法及系统
CN112949760A (zh) * 2021-03-30 2021-06-11 平安科技（深圳）有限公司 基于联邦学习的模型精度控制方法、装置及存储介质
WO2021114927A1 (zh) * 2019-12-11 2021-06-17 支付宝(杭州)信息技术有限公司 保护隐私安全的多方联合进行特征评估的方法及装置
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习系统
CN113033828A (zh) * 2021-04-29 2021-06-25 江苏超流信息技术有限公司 模型训练方法、使用方法、系统、可信节点及设备
WO2021142703A1 (zh) * 2020-01-16 2021-07-22 深圳前海微众银行股份有限公司 基于联邦迁移学习的参数处理方法、设备及存储介质
CN113239023A (zh) * 2021-04-20 2021-08-10 浙江大学德清先进技术与产业研究院 一种面向遥感数据的联邦学习模型训练方法
CN113239391A (zh) * 2021-07-13 2021-08-10 深圳市洞见智慧科技有限公司 一种无第三方的逻辑回归联邦学习模型训练系统及方法
CN113268758A (zh) * 2021-06-17 2021-08-17 上海万向区块链股份公司 基于联邦学习的数据共享系统、方法、介质及设备
CN113378198A (zh) * 2021-06-24 2021-09-10 深圳市洞见智慧科技有限公司 一种保护用户标识的模型的联邦训练系统、方法及装置
WO2021204268A1 (zh) * 2020-04-10 2021-10-14 支付宝(杭州)信息技术有限公司 基于隐私数据进行模型训练
CN113543120A (zh) * 2021-09-17 2021-10-22 百融云创科技股份有限公司 一种基于联邦学习的移动终端信用反欺诈预估方法及系统
CN113537516A (zh) * 2021-09-15 2021-10-22 北京百度网讯科技有限公司 分布式机器学习模型的训练方法、装置、设备和介质
CN113536667A (zh) * 2021-06-22 2021-10-22 同盾科技有限公司 联邦模型训练方法、装置、可读存储介质及设备
CN113537493A (zh) * 2021-07-23 2021-10-22 深圳宏芯宇电子股份有限公司 人工智能模型训练方法、装置、远端平台和可读存储介质
CN113642740A (zh) * 2021-08-12 2021-11-12 百度在线网络技术（北京）有限公司 模型训练方法及装置、电子设备和介质
CN113657616A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113704779A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 加密的分布式机器学习训练方法
CN113806759A (zh) * 2020-12-28 2021-12-17 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
WO2022007321A1 (zh) * 2020-07-10 2022-01-13 深圳前海微众银行股份有限公司 纵向联邦建模优化方法、装置、设备及可读存储介质
CN114006769A (zh) * 2021-11-25 2022-02-01 中国银行股份有限公司 基于横向联邦学习的模型训练方法及其设备
US20220166607A1 (en) * 2020-11-20 2022-05-26 International Business Machines Corporation Secure re-encryption of homomorphically encrypted data
CN114611720A (zh) * 2022-03-14 2022-06-10 北京字节跳动网络技术有限公司 联邦学习模型训练方法、电子设备及存储介质
WO2022142366A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 机器学习模型更新的方法和装置
CN114996733A (zh) * 2022-06-07 2022-09-02 光大科技有限公司 一种聚合模型更新处理方法及装置
CN115021985A (zh) * 2022-05-23 2022-09-06 北京融数联智科技有限公司 一种无需第三方参与的逻辑回归模型训练方法及系统
CN115169589A (zh) * 2022-09-06 2022-10-11 北京瑞莱智慧科技有限公司 一种参数更新方法、数据处理方法及相关设备
US11645582B2 (en) 2020-03-27 2023-05-09 International Business Machines Corporation Parameter sharing in federated learning
CN112016632B (zh) * 2020-09-25 2024-04-26 北京百度网讯科技有限公司 模型联合训练方法、装置、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3203679A1 (en) * 2016-02-04 2017-08-09 ABB Schweiz AG Machine learning based on homomorphic encryption
US20170310643A1 (en) * 2014-10-24 2017-10-26 National Ict Australia Limited Gradients over distributed datasets
CN109167695A (zh) * 2018-10-26 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的联盟网络构建方法、设备及可读存储介质
CN109165515A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的模型参数获取方法、系统及可读存储介质
CN109189825A (zh) * 2018-08-10 2019-01-11 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
CN109325584A (zh) * 2018-08-10 2019-02-12 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170310643A1 (en) * 2014-10-24 2017-10-26 National Ict Australia Limited Gradients over distributed datasets
EP3203679A1 (en) * 2016-02-04 2017-08-09 ABB Schweiz AG Machine learning based on homomorphic encryption
CN109165515A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的模型参数获取方法、系统及可读存储介质
CN109189825A (zh) * 2018-08-10 2019-01-11 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
CN109325584A (zh) * 2018-08-10 2019-02-12 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN109167695A (zh) * 2018-10-26 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的联盟网络构建方法、设备及可读存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
崔建京;龙军;闵尔学;于洋;殷建平;: "同态加密在加密机器学习中的应用研究综述", 计算机科学, no. 04, 15 April 2018 (2018-04-15) *

Cited By (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020177392A1 (zh) * 2019-03-01 2020-09-10 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110263908A (zh) * 2019-06-20 2019-09-20 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN110263908B (zh) * 2019-06-20 2024-04-02 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN112149706A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112149141A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112149174A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112149141B (zh) * 2019-06-28 2023-08-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN110263921B (zh) * 2019-06-28 2021-06-04 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN110263921A (zh) * 2019-06-28 2019-09-20 深圳前海微众银行股份有限公司 一种联邦学习模型的训练方法及装置
CN112149174B (zh) * 2019-06-28 2024-03-12 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112149706B (zh) * 2019-06-28 2024-03-15 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112182594B (zh) * 2019-07-02 2023-08-04 北京百度网讯科技有限公司 一种数据加密方法及装置
CN112182594A (zh) * 2019-07-02 2021-01-05 北京百度网讯科技有限公司 一种数据加密方法及装置
CN112182595A (zh) * 2019-07-03 2021-01-05 北京百度网讯科技有限公司 基于联邦学习的模型训练方法及装置
CN112182595B (zh) * 2019-07-03 2024-03-26 北京百度网讯科技有限公司 基于联邦学习的模型训练方法及装置
CN110414688A (zh) * 2019-07-29 2019-11-05 卓尔智联(武汉)研究院有限公司 信息分析方法、装置、服务器及存储介质
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110472745A (zh) * 2019-08-06 2019-11-19 深圳前海微众银行股份有限公司 一种联邦学习中的信息传输方法及装置
WO2021073234A1 (zh) * 2019-10-16 2021-04-22 支付宝(杭州)信息技术有限公司 多个计算单元联合训练逻辑回归模型的方法和装置
CN110991512A (zh) * 2019-11-26 2020-04-10 广东美的白色家电技术创新中心有限公司 物体识别模型的联合训练方法、服务器及电器设备
CN110991512B (zh) * 2019-11-26 2023-08-04 广东美的白色家电技术创新中心有限公司 物体识别模型的联合训练方法、服务器及电器设备
WO2021114927A1 (zh) * 2019-12-11 2021-06-17 支付宝(杭州)信息技术有限公司 保护隐私安全的多方联合进行特征评估的方法及装置
CN110995737B (zh) * 2019-12-13 2022-08-02 支付宝(杭州)信息技术有限公司 联邦学习的梯度融合方法及装置和电子设备
CN111144576A (zh) * 2019-12-13 2020-05-12 支付宝(杭州)信息技术有限公司 模型训练方法、装置和电子设备
CN110955907A (zh) * 2019-12-13 2020-04-03 支付宝(杭州)信息技术有限公司 一种基于联邦学习的模型训练方法
CN110995737A (zh) * 2019-12-13 2020-04-10 支付宝(杭州)信息技术有限公司 联邦学习的梯度融合方法及装置和电子设备
CN111143878A (zh) * 2019-12-20 2020-05-12 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111125735B (zh) * 2019-12-20 2021-11-02 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111125735A (zh) * 2019-12-20 2020-05-08 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111190487A (zh) * 2019-12-30 2020-05-22 中国科学院计算技术研究所 一种建立数据分析模型的方法
WO2021142703A1 (zh) * 2020-01-16 2021-07-22 深圳前海微众银行股份有限公司 基于联邦迁移学习的参数处理方法、设备及存储介质
CN111241567A (zh) * 2020-01-16 2020-06-05 深圳前海微众银行股份有限公司 基于秘密共享的纵向联邦学习方法、系统及存储介质
CN111241567B (zh) * 2020-01-16 2023-09-01 深圳前海微众银行股份有限公司 纵向联邦学习中的数据共享方法、系统及存储介质
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
CN111260061B (zh) * 2020-03-09 2022-07-19 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
CN111401621A (zh) * 2020-03-10 2020-07-10 深圳前海微众银行股份有限公司 基于联邦学习的预测方法、装置、设备及存储介质
CN111428887B (zh) * 2020-03-19 2023-05-12 腾讯云计算（北京）有限责任公司 一种基于多个计算节点的模型训练控制方法、装置及系统
CN111428887A (zh) * 2020-03-19 2020-07-17 腾讯云计算（北京）有限责任公司 一种基于多个计算节点的模型训练控制方法、装置及系统
CN111415015A (zh) * 2020-03-27 2020-07-14 支付宝(杭州)信息技术有限公司 业务模型训练方法、装置、系统及电子设备
WO2021189926A1 (zh) * 2020-03-27 2021-09-30 支付宝(杭州)信息技术有限公司 业务模型训练方法、装置、系统及电子设备
US11645582B2 (en) 2020-03-27 2023-05-09 International Business Machines Corporation Parameter sharing in federated learning
WO2021204268A1 (zh) * 2020-04-10 2021-10-14 支付宝(杭州)信息技术有限公司 基于隐私数据进行模型训练
CN111177768A (zh) * 2020-04-10 2020-05-19 支付宝(杭州)信息技术有限公司 保护数据隐私的双方联合训练业务预测模型的方法和装置
CN111722043B (zh) * 2020-06-29 2021-09-14 南方电网科学研究院有限责任公司 一种电力设备故障检测方法、装置及系统
CN111722043A (zh) * 2020-06-29 2020-09-29 南方电网科学研究院有限责任公司 一种电力设备故障检测方法、装置及系统
CN111783139A (zh) * 2020-06-29 2020-10-16 京东数字科技控股有限公司 联邦学习分类树构建方法、模型构建方法，及终端设备
CN111768008B (zh) * 2020-06-30 2023-06-16 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN111768008A (zh) * 2020-06-30 2020-10-13 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
WO2022007321A1 (zh) * 2020-07-10 2022-01-13 深圳前海微众银行股份有限公司 纵向联邦建模优化方法、装置、设备及可读存储介质
CN111856934A (zh) * 2020-07-16 2020-10-30 南京大量数控科技有限公司 一种同构智能车间之间的联邦学习数据处理算法
CN111856934B (zh) * 2020-07-16 2022-11-15 南京大量数控科技有限公司 一种同构智能车间之间的联邦学习数据处理算法
CN112102939A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 心脑血管疾病参考信息预测系统、方法、装置及电子设备
CN112102939B (zh) * 2020-07-24 2023-08-04 西安电子科技大学 心脑血管疾病参考信息预测系统、方法、装置及电子设备
CN111915019B (zh) * 2020-08-07 2023-06-20 平安科技（深圳）有限公司 联邦学习方法、系统、计算机设备和存储介质
CN111915019A (zh) * 2020-08-07 2020-11-10 平安科技（深圳）有限公司 联邦学习方法、系统、计算机设备和存储介质
CN111986804A (zh) * 2020-08-31 2020-11-24 平安医疗健康管理股份有限公司 基于体温数据进行模型训练的方法、装置和计算机设备
CN112241537A (zh) * 2020-09-23 2021-01-19 易联众信息技术股份有限公司 纵向联邦学习建模方法、系统、介质及设备
CN112241537B (zh) * 2020-09-23 2023-02-10 易联众信息技术股份有限公司 纵向联邦学习建模方法、系统、介质及设备
CN112016632B (zh) * 2020-09-25 2024-04-26 北京百度网讯科技有限公司 模型联合训练方法、装置、设备和存储介质
CN112016632A (zh) * 2020-09-25 2020-12-01 北京百度网讯科技有限公司 模型联合训练方法、装置、设备和存储介质
CN112231309A (zh) * 2020-10-14 2021-01-15 深圳前海微众银行股份有限公司 纵向联邦数据统计的去重方法、装置、终端设备及介质
WO2022105627A1 (en) * 2020-11-20 2022-05-27 International Business Machines Corporation Secure re-encryption of homomorphically encrypted data
GB2615983A (en) * 2020-11-20 2023-08-23 Ibm Secure re-encryption of homomorphically encrypted data
GB2615983B (en) * 2020-11-20 2024-01-10 Ibm Secure re-encryption of homomorphically encrypted data
US11902424B2 (en) * 2020-11-20 2024-02-13 International Business Machines Corporation Secure re-encryption of homomorphically encrypted data
US20220166607A1 (en) * 2020-11-20 2022-05-26 International Business Machines Corporation Secure re-encryption of homomorphically encrypted data
CN113806759A (zh) * 2020-12-28 2021-12-17 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
WO2022142366A1 (zh) * 2020-12-31 2022-07-07 华为技术有限公司 机器学习模型更新的方法和装置
CN112347500A (zh) * 2021-01-11 2021-02-09 腾讯科技（深圳）有限公司 分布式系统的机器学习方法、装置、系统、设备及存储介质
CN112765898A (zh) * 2021-01-29 2021-05-07 上海明略人工智能(集团)有限公司 多任务联合训练模型方法、系统、电子设备和存储介质
CN113011599A (zh) * 2021-03-23 2021-06-22 上海嗨普智能信息科技股份有限公司 基于异构数据的联邦学习系统
CN112949760A (zh) * 2021-03-30 2021-06-11 平安科技（深圳）有限公司 基于联邦学习的模型精度控制方法、装置及存储介质
CN112906912A (zh) * 2021-04-01 2021-06-04 深圳市洞见智慧科技有限公司 纵向联邦学习中无可信第三方的回归模型训练方法及系统
CN113239023A (zh) * 2021-04-20 2021-08-10 浙江大学德清先进技术与产业研究院 一种面向遥感数据的联邦学习模型训练方法
CN113033828B (zh) * 2021-04-29 2022-03-22 江苏超流信息技术有限公司 模型训练方法、使用方法、系统、可信节点及设备
CN113033828A (zh) * 2021-04-29 2021-06-25 江苏超流信息技术有限公司 模型训练方法、使用方法、系统、可信节点及设备
CN113268758A (zh) * 2021-06-17 2021-08-17 上海万向区块链股份公司 基于联邦学习的数据共享系统、方法、介质及设备
CN113536667A (zh) * 2021-06-22 2021-10-22 同盾科技有限公司 联邦模型训练方法、装置、可读存储介质及设备
CN113536667B (zh) * 2021-06-22 2024-03-01 同盾科技有限公司 联邦模型训练方法、装置、可读存储介质及设备
CN113378198A (zh) * 2021-06-24 2021-09-10 深圳市洞见智慧科技有限公司 一种保护用户标识的模型的联邦训练系统、方法及装置
CN113239391A (zh) * 2021-07-13 2021-08-10 深圳市洞见智慧科技有限公司 一种无第三方的逻辑回归联邦学习模型训练系统及方法
CN113704779A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 加密的分布式机器学习训练方法
CN113537493A (zh) * 2021-07-23 2021-10-22 深圳宏芯宇电子股份有限公司 人工智能模型训练方法、装置、远端平台和可读存储介质
CN113537493B (zh) * 2021-07-23 2023-12-08 深圳宏芯宇电子股份有限公司 人工智能模型训练方法、装置、远端平台和可读存储介质
CN113642740A (zh) * 2021-08-12 2021-11-12 百度在线网络技术（北京）有限公司 模型训练方法及装置、电子设备和介质
CN113657616B (zh) * 2021-09-02 2023-11-03 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113657616A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
KR102515682B1 (ko) 2021-09-15 2023-03-29 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 분산형 기계 학습 모델의 트레이닝 방법, 장치, 설비 및 매체
KR20230040278A (ko) * 2021-09-15 2023-03-22 베이징 바이두 넷컴 사이언스 테크놀로지 컴퍼니 리미티드 분산형 기계 학습 모델의 트레이닝 방법, 장치, 설비 및 매체
CN113537516B (zh) * 2021-09-15 2021-12-14 北京百度网讯科技有限公司 分布式机器学习模型的训练方法、装置、设备和介质
CN113537516A (zh) * 2021-09-15 2021-10-22 北京百度网讯科技有限公司 分布式机器学习模型的训练方法、装置、设备和介质
US11748661B2 (en) 2021-09-15 2023-09-05 Beijing Baidu Netcom Science Technology Co., Ltd. Training method and apparatus for a distributed machine learning model and medium
CN113543120A (zh) * 2021-09-17 2021-10-22 百融云创科技股份有限公司 一种基于联邦学习的移动终端信用反欺诈预估方法及系统
CN113543120B (zh) * 2021-09-17 2021-11-23 百融云创科技股份有限公司 一种基于联邦学习的移动终端信用反欺诈预估方法及系统
CN114006769B (zh) * 2021-11-25 2024-02-06 中国银行股份有限公司 基于横向联邦学习的模型训练方法及其设备
CN114006769A (zh) * 2021-11-25 2022-02-01 中国银行股份有限公司 基于横向联邦学习的模型训练方法及其设备
CN114611720A (zh) * 2022-03-14 2022-06-10 北京字节跳动网络技术有限公司 联邦学习模型训练方法、电子设备及存储介质
CN114611720B (zh) * 2022-03-14 2023-08-08 抖音视界有限公司 联邦学习模型训练方法、电子设备及存储介质
CN115021985A (zh) * 2022-05-23 2022-09-06 北京融数联智科技有限公司 一种无需第三方参与的逻辑回归模型训练方法及系统
CN115021985B (zh) * 2022-05-23 2023-06-16 北京融数联智科技有限公司 一种无需第三方参与的逻辑回归模型训练方法及系统
CN114996733B (zh) * 2022-06-07 2023-10-20 光大科技有限公司 一种聚合模型更新处理方法及装置
CN114996733A (zh) * 2022-06-07 2022-09-02 光大科技有限公司 一种聚合模型更新处理方法及装置
CN115169589A (zh) * 2022-09-06 2022-10-11 北京瑞莱智慧科技有限公司 一种参数更新方法、数据处理方法及相关设备

Also Published As

Publication number Publication date
US20210312334A1 (en) 2021-10-07
EP3893170A1 (en) 2021-10-13
EP3893170C0 (en) 2024-02-28
EP3893170A4 (en) 2022-08-31
EP3893170B1 (en) 2024-02-28
WO2020177392A1 (zh) 2020-09-10
SG11202108137PA (en) 2021-08-30

Similar Documents

Publication Publication Date Title
EP3893170B1 (en) Federated learning-based model parameter training method, apparatus and device, and medium
US11947680B2 (en) Model parameter training method, terminal, and system based on federation learning, and medium
CN109635462A (zh) 基于联邦学习的模型参数训练方法、装置、设备及介质
CN110288094B (zh) 基于联邦学习的模型参数训练方法及装置
CN110276210A (zh) 基于联邦学习的模型参数的确定方法及装置
CN109165515A (zh) 基于联邦学习的模型参数获取方法、系统及可读存储介质
WO2021051629A1 (zh) 联邦学习隐私数据处理方法、设备、系统及存储介质
CN105359153B (zh) 在没有保留认证手势的情况下基于手势的验证
CN107370730A (zh) 一种登录信息处理方法及设备
CN113537633B (zh) 基于纵向联邦学习的预测方法、装置、设备、介质和系统
CN111027981B (zh) 多方联合训练针对IoT机具的风险评估模型的方法及装置
CN109922027A (zh) 一种可信身份认证方法、终端及存储介质
CN107395589A (zh) 指纹信息获取方法及终端
CN110201400A (zh) 基于区块链的游戏道具交易方法、交易终端及存储介质
CN109325357A (zh) 基于rsa的信息值计算方法、设备及可读存储介质
CN113569263A (zh) 跨私域数据的安全处理方法、装置及电子设备
CN111767411A (zh) 知识图谱表示学习优化方法、设备及可读存储介质
CN116502732B (zh) 基于可信执行环境的联邦学习方法以及系统
CN109190395A (zh) 一种基于数据变换的全同态加密方法及系统
CN108696530B (zh) 一种在线加密数据安全评估方法和装置
CN109886417B (zh) 基于联邦学习的模型参数训练方法、装置、设备及介质
CN113810558A (zh) 一种基于大数据的图像加密方法及系统
CN113051587A (zh) 一种隐私保护智能交易推荐方法、系统和可读介质
CN110378110A (zh) 软件加密处理方法、软件验证方法及装置
CN108809961A (zh) 一种在众包系统中保护用户隐私的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant