CN112926073A - 联邦学习建模优化方法、设备、介质及计算机程序产品 - Google Patents

联邦学习建模优化方法、设备、介质及计算机程序产品 Download PDF

Info

Publication number
CN112926073A
CN112926073A CN202110287309.3A CN202110287309A CN112926073A CN 112926073 A CN112926073 A CN 112926073A CN 202110287309 A CN202110287309 A CN 202110287309A CN 112926073 A CN112926073 A CN 112926073A
Authority
CN
China
Prior art keywords
random number
model
encryption
local
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110287309.3A
Other languages
English (en)
Inventor
谭明超
马国强
范涛
陈天健
杨强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202110287309.3A priority Critical patent/CN112926073A/zh
Publication of CN112926073A publication Critical patent/CN112926073A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Bioethics (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请公开了一种联邦学习建模优化方法、设备、介质及计算机程序产品，所述联邦学习建模优化方法包括：获取本地模型预测值，并基于预设第一随机数和预设第二随机数，对本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值；将第一随机数加密值和第二随机数加密值发送至第二设备，以供第二设备基于第一随机数加密值、第二随机数加密值和本地样本标签，生成各随机数加密中间参数；接收第二设备发送的各随机数加密中间参数，并基于各随机数加密中间参数，生成加密模型梯度和加密模型损失；基于加密模型损失和加密模型损失，优化待训练本地模型，获得目标联邦模型。本申请解决了基于联邦学习构建逻辑回归模型时安全性低的技术问题。

Description

联邦学习建模优化方法、设备、介质及计算机程序产品
技术领域
本申请涉及金融科技(Fintech)的人工智能技术领域，尤其涉及一种联邦学习建模优化方法、设备、介质及计算机程序产品。
背景技术
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。
随着计算机技术的不断发展，联邦学习的应用也越来越广泛，目前，在通过联邦学习构建逻辑回归模型时，参与联邦学习的标签拥有方通常需要将同态加密的标签发送至无标签的特征拥有方，进而特征拥有方基于同态加密的标签计算同态加密的梯度和同态加密的损失，并将同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方对同态加密的梯度和同态加密的损失进行解密后，将明文状态的模型梯度和模型损失发送至特征拥有方后，特征拥有方即可更新本地模型，但是，若特征拥有方在接收同态加密的标签后，将己方想要知道的密文内容(同态加密的标签)代替同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方进行解密后，将解密结果反馈至特征拥有方，特征拥有方即可套取标签拥有方的样本标签，进而将导致作为标签拥有方的隐私数据的样本标签发生泄露，所以，当前基于联邦学习构建联邦逻辑回归模型的方法仍存在安全隐患。
发明内容
本申请的主要目的在于提供一种联邦学习建模优化方法、设备、介质及计算机程序产品，旨在解决现有技术中基于联邦学习构建逻辑回归模型时安全性低的技术问题。
为实现上述目的，本申请提供一种联邦学习建模优化方法，所述联邦学习建模优化方法应用于第一设备，所述联邦学习建模优化方法包括：
获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值；
将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型。
为实现上述目的，本申请提供一种联邦学习建模优化方法，所述联邦学习建模优化方法应用于第二设备，所述联邦学习建模优化方法包括：
接收第一设备发送的第一随机数加密值和第二随机数加密值，其中，所述第一随机数加密值和所述第二随机数加密值由第一设备基于预设第一随机数和预设第二随机数，分别对待训练本地模型对应的本地模型预测值进行加密生成；
基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
将各所述随机数加密中间参数发送至第一设备，以供所述第一设备基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型。
本申请还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置为虚拟装置，且所述联邦学习建模优化装置应用于第一设备，所述联邦学习建模优化装置包括：
随机数加密模块，用于获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值；
发送模块，用于将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
生成模块，用于接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
优化模块，用于基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型。
本申请还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置为虚拟装置，且所述联邦学习建模优化装置应用于第二设备，所述联邦学习建模优化装置包括：
接收模块，用于接收第一设备发送的第一随机数加密值和第二随机数加密值，其中，所述第一随机数加密值和所述第二随机数加密值由第一设备基于预设第一随机数和预设第二随机数，分别对待训练本地模型对应的本地模型预测值进行加密生成；
生成模块，用于基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
发送模块，用于将各所述随机数加密中间参数发送至第一设备，以供所述第一设备基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
交互模块，用于与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型。
本申请还提供一种联邦学习建模优化设备，所述联邦学习建模优化设备为实体设备，所述联邦学习建模优化设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述联邦学习建模优化方法的程序，所述联邦学习建模优化方法的程序被处理器执行时可实现如上述的联邦学习建模优化方法的步骤。
本申请还提供一种介质，所述介质为可读存储介质，所述可读存储介质上存储有实现联邦学习建模优化方法的程序，所述联邦学习建模优化方法的程序被处理器执行时实现如上述的联邦学习建模优化方法的步骤。
本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的联邦学习建模优化方法的步骤。
本申请提供了一种联邦学习建模优化方法、设备、介质及计算机程序产品，相比于现有技术采用的参与联邦学习的标签拥有方通常需要将同态加密的标签发送至无标签的特征拥有方，进而特征拥有方基于同态加密的标签计算同态加密的梯度和同态加密的损失，并将同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方对同态加密的梯度和同态加密的损失进行解密后，将明文状态的模型梯度和模型损失反馈至特征拥有方以进行模型更新的技术手段，本申请首先获取待训练本地模型对应的本地模型预测值，进而基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值，进而将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及预设样本标签，生成各随机数加密中间参数，进而接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失，其中，在进行联邦学习时，第一设备与第二设备进行交互过程中，第二设备向第一设备发送的仅仅为加密中间参数，无需发送同态加密的标签，且第一设备也无需在迭代过程中将密文内容发送第二设备，并由第二设备进行解密后反馈明文内容，所以，第一设备无法通过替换密文内容套取第二设备的隐私数据，进而基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型，其中，在迭代结束之前，模型参数和模型梯度均处于密文状态，所以，克服了若特征拥有方在接收同态加密的标签后，将己方想要知道的密文内容(同态加密的标签)代替同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方进行解密后，将解密结果反馈至特征拥有方，特征拥有方即可套取标签拥有方的样本标签的技术缺陷，提升了基于联邦学习构建逻辑回归模型时的安全性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请联邦学习建模优化方法第一实施例的流程示意图；
图2为本申请联邦学习建模优化方法中第一设备与第二设备联合训练时的交互过程的示意图；
图3为本申请联邦学习建模优化方法第二实施例的流程示意图；
图4为本申请实施例中联邦学习建模优化方法涉及的硬件运行环境的设备结构示意图；
图5为本申请实施例方案涉及的联邦学习的硬件架构示意图。
本申请目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种联邦学习建模优化方法，在本申请联邦学习建模优化方法的第一实施例中，参照图1，所述联邦学习建模优化方法应用于第一设备，所述联邦学习建模优化方法包括：
步骤S10，获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值；
在本实施例中，需要说明的是，所述待训练本地模型为未训练好的逻辑回归模型，所述本地模型预测值为待训练本地模型输出的逻辑回归值，表示为待训练本地模型的模型参数与特征的乘积，例如，假设特征A为X，特征A对应的待训练本地模型的模型参数为W，则所述本地模型预测值为WX。
另外地，需要说明的是，所述联邦学习建模优化方法应用于纵向联邦学习，且在迭代训练所述待训练本地模型的第一轮迭代过程中，所述待训练本地模型参数处于明文状态，由迭代训练所述待训练本地模型的第二轮迭代过程开始，所述待训练本地模型参数的模型参数均处于同态加密的密文状态。
获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值，具体地，获取待训练本地模型对应的本地模型预测值，当处于迭代训练待训练本地模型的第一轮迭代过程中时，所述本地模型预测值处于明文状态，进而基于预设第一随机数混合方式，将预设第一随机数与所述本地模型预测值进行混合，获得第一随机数加密值，并基于预设第二随机数混合方式，将预设第二随机数与所述本地模型预测值进行混合，获得第二随机数加密值，而当不处于迭代训练待训练本地模型的第一轮迭代过程中时，所述本地模型预测值处于同态加密的密文状态，进而基于预设第一随机数混合方式，将同态加密的预设第一随机数与所述本地模型预测值在同态加密状态下进行混合，获得第一随机数加密值，并基于预设第二随机数混合方式，将预设第二随机数与所述本地模型预测值进行混合，获得第二随机数加密值，其中，所述预设第一随机数混合方式为预先设置好的基于预设第一随机数，对本地模型预测值进行加密的数据计算方式，所述预设第二随机数混合方式为预先设置好的基于预设第二随机数，对本地模型预测值进行加密的数据计算方式，其中，所述预设第一随机数混合方式和所述预设第二随机数混合方式包括求和以及求积等。
在另一种实施方式中，当处于迭代训练待训练本地模型的第一轮迭代过程中时，所述本地模型预测值处于明文状态时，所述获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值的步骤包括：
获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数混合方式，将预设第一随机数与所述本地模型预测值进行混合，获得第一随机数混合值，进而基于第二设备分享的同态加密公钥，对所述第一随机数混合值进行同态加密，获得第一随机数加密值，并基于预设第二随机数混合方式，将预设第二随机数与所述本地模型预测值进行混合，获得第二随机数混合值，进而基于所述同态加密公钥，对所述第二随机数混合值进行同态加密，获得第二随机数加密值。
其中，所述基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值的步骤包括：
步骤S11，基于所述预设第一随机数和所述本地模型预测值，生成所述第一随机数加密值；
在本实施例中，需要说明的是，在执行步骤S10之前，第二设备生成同态加密的公钥与同态加密的私钥，并将同态加密的公钥分享至第一设备。
基于所述预设第一随机数和所述本地模型预测值，生成所述第一随机数加密值，具体地，对所述预设第一随机数和所述本地模型预测值进行求和，获得第一随机数加密值，例如，假设所述本地模型预测值为[[WX]]，所述预设第一随机数为r1，则所述第一随机数加密值为[[WX]]+r1，其中，[[]]为同态加密符号，表示同态加密符号中的数据处于同态加密状态。
步骤S12，计算所述本地模型预测值和所述预设第二随机数之间的同态加密的乘积，获得所述第二随机数加密值。
在本实施例中，计算所述本地模型预测值和所述预设第二随机数之间的同态加密的乘积，获得所述第二随机数加密值，具体地，对所述预设第二随机数进行同态加密，获得同态加密的预设第二随机数，进而计算所述本地模型预测值与同态加密的预设第二随机数在同态加密下的乘积，获得第二随机数加密值，例如，假设所述本地模型预测值为[[WX]]，所述预设第一随机数为r2，则所述第二随机数加密值为[[WX*r2]]，其中，[[]]为同态加密符号，表示同态加密符号中的数据处于同态加密状态。
步骤S20，将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
在本实施例中，需要说明的是，各所述随机数加密中间参数包括第一随机数同态加密参数、第二随机数同态加密参数和第三随机数同态加密参数，其中，所述第一随机数同态加密参数用于计算待训练本地模型对应的同态加密的模型梯度，所述第二随机数同态加密参数和所述第三随机数同态加密参数用于计算待训练本地模型对应的同态加密的模型损失。
另外地，需要说明的是，所述第一设备为联邦学习中的特征拥有方，用于在联邦学习建模过程中提供无标签的特征数据，所述第二设备为联邦学习中的标签提供方，用于在联邦学习建模过程中提供本地样本标签。
将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数，具体地，将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，进而第二设备接收第一随机数加密值和第二随机数加密值，并基于同态加密的私钥，对第一随机数加密值和所述第二随机数加密值进行解密，获得第一随机数加密值对应的第一随机数混合值和第二随机数加密值对应的第二随机数混合值，进而将第一随机数混合值和获取的本地样本标签代入预设中间参数计算公式，计算混合随机数中间参数，进而基于同态加密的公钥，对所述混合随机数中间参数进行同态加密，获得第一随机数同态加密参数，并基于同态加密的公钥，对所述第一随机数混合值的平方值进行同态加密，获得所述第二随机数同态加密参数，并基于同态加密的公钥，对所述第二随机数混合值与所述本地样本标签的乘积进行同态加密，获得所述第三随机数同态加密参数，其中，所述预设中间参数计算公式如下所示：
Figure BDA0002981015820000081
其中，dB为所述混合随机数中间参数，WX+r1为所述第一随机数混合值，r1为预设第一随机数，WX为处于明文状态的本地模型预测值，y为所述本地样本标签，进而所述第一随机数同态加密参数为[[dB]]，所述第二随机数同态加密参数为[[(WX+r1)2]]，所述第三随机数同态加密参数为[[yWX*r2]]或者[[yWX]]*r2，其中，所述第二随机数混合值为WX*r2，r2为预设第一随机数。
步骤S30，接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
在本实施例中，需要说明的是，各所述随机数加密中间参数包括第一随机数同态加密参数、第二随机数同态加密参数和第三随机数同态加密参数。
接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失，具体地，接收所述第二设备发送的第一随机数同态加密参数、第二随机数同态加密参数和第三随机数同态加密参数，进而分别对所述第一随机数同态加密参数、所述第二随机数同态加密参数和所述第三随机数同态加密参数进行随机数影响消除，获得第一同态加密中间参数、第二同态加密中间参数和第三同态加密中间参数，进而将所述第一同态加密中间参数代入预设模型梯度计算公式，生成加密模型梯度，并将所述第二同态加密中间参数和所述第三同态加密中间参数代入预设模型损失计算公式，生成加密模型损失，其中，所述分别对所述第一随机数同态加密参数、所述第二随机数同态加密参数和所述第三随机数同态加密参数进行随机数影响消除的过程如下：
Figure BDA0002981015820000091
[[(WX)2]]＝[[(WX+r1)2]]-2r1[[WX]]-r1 2
Figure BDA0002981015820000092
其中，r1为所述预设第一随机数，r2为所述预设第二随机数，[[dB]]为所述第一随机数同态加密参数，[[d]]为所述第一同态加密中间参数，[[(WX+r1)2]]为所述第二随机数同态加密参数，[[(WX)2]]为所述第二同态加密中间参数，[[yWX]]*r2为所述第三随机数同态加密参数，[[yWX]]为所述第三同态加密中间参数。
其中，所述基于各所述加密中间参数，生成加密模型梯度和加密模型损失的步骤包括：
步骤S31,分别对各所述随机数加密中间参数进行随机数影响消除，获得各同态加密参数；
在本实施例中，分别对各所述随机数加密中间参数进行随机数影响消除，获得各同态加密参数，具体地，对所述第一随机数同态加密参数与第一预设倍数的预设第一随机数求差，获得第一同态加密中间参数，并对所述第二随机数同态加密参数、第二预设倍数的预设第一随机数与本地模型预测值之间的乘积以及预设第一随机数的平方值进行求差，获得第二同态加密中间参数，并对所述第三随机数同态加密参数与预设第二随机数进行求商，获得第三同态加密中间参数，其中，生成第一同态加密中间参数、第二同态加密中间参数与第三同态加密中间参数的计算公式具体可参考步骤S30中的内容，在此不再赘述。
步骤S32，基于各所述同态加密值和所述本地模型预测值对应的本地特征值，生成所述加密模型梯度和所述加密模型损失。
在本实施例中，基于各所述同态加密值和所述本地模型预测值对应的本地特征值，生成所述加密模型梯度和所述加密模型损失，具体地，将所述第一同态加密中间参数代入预设模型梯度计算公式，生成加密模型梯度，并将所述第二同态加密中间参数和所述第三同态加密中间参数代入预设模型损失计算公式，生成加密模型损失，其中，所述预设模型梯度计算公式如下所示：
[[g]]＝[[d]]*X
其中，[[g]]为所述加密模型梯度，[[d]]为所述第一同态加密中间参数，X为所述本地模型预测值对应的特征向量，其中，X可以为由特征值组成的特征向量，另外地，所述预设模型损失计算公式如下：
Figure BDA0002981015820000101
其中，[[l(W)]]为所述加密模型损失，[[(WX)2]]为所述第二同态加密中间参数，[[yWX]]为所述第三同态加密中间参数。
其中，所述同态加密参数包括第一同态加密中间参数、第二同态加密中间参数和第三同态加密中间参数，
所述基于各所述同态加密参数和所述本地模型预测值对应的本地特征值，生成所述加密模型梯度和所述加密模型损失的步骤包括：
步骤S321，通过计算所述第一同态加密中间参数与所述本地特征值的乘积，生成所述加密模型梯度；
在本实施例中，通过计算所述第一同态加密中间参数与所述本地特征值的乘积，生成所述加密模型梯度，具体地，计算所述第一同态加密中间参数与所述本地特征值之间的乘积，获得加密模型梯度。
步骤S322，通过计算所述第二同态加密中间参数和所述第三同态加密中间参数之间的差值，生成所述加密模型损失。
在本实施例中，通过计算所述第二同态加密中间参数和所述第三同态加密中间参数之间的差值，生成所述加密模型损失，具体地，将所述第二同态加密中间参数和所述第三同态加密中间参数输入预设模型损失计算公式，以通过计算所述第二同态加密中间参数和所述第三同态加密中间参数之间的差值，生成所述加密模型损失，其中，所述预设模型损失计算公式如步骤S32中所示，在此不再赘述。
步骤S40，基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型。
在本实施例中，基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型，具体地，基于所述加密模型损失和所述加密模型损失，通过与第二设备进行模型迭代训练状态判断交互和解密交互，优化所述待训练本地模型，获得目标联邦模型。
在一种实施方式中，所述基于所述加密模型损失和所述加密模型损失，通过与第二设备进行模型迭代训练状态判断交互和解密交互，优化所述待训练本地模型，获得目标联邦模型的步骤包括：
基于所述加密模型损失，通过与第二设备进行模型迭代训练状态判断交互，判断所述待训练本地模型是否迭代训练完毕，若是，通过与第二设备进行解密交互，对所述待训练本地模型的加密模型参数进行解密，获得处于明文状态的目标模型参数，进而将具备所述目标模型参数的待训练本地模型作为所述目标联邦模型，若否，则基于所述加密模型梯度，更新所述待训练本地模型的加密模型参数，并返回至所述获取待训练本地模型对应的本地模型预测值的步骤。
其中，所述基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型的步骤包括：
步骤S41，将所述加密模型损失发送至第二设备，以供所述第二设备基于解密后的加密模型损失，生成判断所述待训练本地模型是否迭代训练完毕的目标判断结果；
在本实施例中，将所述加密模型损失发送至第二设备，以供所述第二设备基于解密后的加密模型损失，生成判断所述待训练本地模型是否迭代训练完毕的目标判断结果，具体地，将所述加密模型损失发送至第二设备，进而第二设备基于同态加密的私钥，对所述加密模型损失进行解密，获得目标模型损失，进而基于所述目标模型损失，判断所述待训练本地模型是否迭代训练完毕，获得目标判断结果。
步骤S42，接收所述目标判断结果，若所述目标判断结果为所述待训练本地模型收敛，则通过与第二设备进行解密交互，对所述待训练本地模型的模型参数进行解密，获得所述目标联邦模型；
在本实施例中，接收所述目标判断结果，若所述目标判断结果为所述待训练本地模型收敛，则通过与第二设备进行解密交互，对所述待训练本地模型的模型参数进行解密，获得所述目标联邦模型，具体地，接收所述目标判断结果，若所述目标判断结果为所述待训练本地模型收敛，则将混合随机数的待训练本地模型的加密模型参数发送至第二设备，以供第二设备基于同态加密的私钥，对混合随机数的加密模型参数进行解密，获得混合随机数的明文模型参数，进而第一设备接收所述混合随机数的明文模型参数，并对所述混合随机数的明文模型参数进行随机数影响消除，获得目标模型参数，并将具备所述目标模型参数的待训练本地模型作为目标联邦模型。
步骤S43，若所述目标判断结果为所述待训练本地模型未收敛，则基于所述加密模型梯度，优化所述待训练本地模型，并返回所述获取待训练本地模型对应的本地模型预测值的步骤。
在本实施例中，具体地，若所述目标判断结果为所述待训练本地模型未收敛，则基于所述加密模型梯度，优化所述待训练本地模型，并返回所述获取待训练本地模型对应的本地模型预测值的步骤进行下一轮迭代，直至所述目标判断结果为所述待训练本地模型收敛，其中，所述基于所述加密模型梯度，优化所述待训练本地模型具体可如下：
[[Wt+1]]＝[[Wt]]-η*[[g]]
其中，[[Wt+1]]为迭代训练待训练本地模型时第t+1轮迭代中同态加密的模型参数，[[Wt]]为迭代训练待训练本地模型时第t轮迭代中同态加密的模型参数，[[g]]为所述加密模型参数，η为学习步长，如图2所示为本申请实施例第一设备与第二设备联合训练时的交互过程的示意图，其中，A为所述第一设备，B为所述第二设备，x1，x2，x3均为特征，y为所述本地样本标签，第二设备中的泰勒展开d为dB，第二设备中的[[d]]为所述第一随机数同态加密参数[[dB]]，第一设备中的[[d]]为所述第一同态加密中间参数。
另外地，需要说明的是，现有技术中通过联邦学习构建逻辑回归模型时，参与联邦学习的标签拥有方通常需要将同态加密的标签发送至参与联邦学习的特征拥有方，进而特征拥有方基于同态加密的标签计算同态加密的损失和梯度，并将所述同态加密的损失和梯度反馈至标签拥有方进行解密，进而在联邦学习过程存在一联邦学习参与方将持有另一联邦学习参与方的同态加密的隐私数据，且该联邦学习参与需要将同态加密的待解密数据(损失和梯度)发送至另一联邦学习参与方进行解密后得到解密结果的交互过程，而在该交互过程中若联邦学习参与方为恶意参与方，则恶意参与方通过直接将另一联邦参与方的同态加密的隐私数据替换同态加密的待解密数据反馈至另一联邦参与方进行解密，则可实现套取另一联邦学习参与方的隐私数据的目的，所以，现有技术中构建逻辑回归模型的联邦学习过程存在无法抵御恶意参与方的恶意攻击的技术缺陷。
而本申请实施例中首先获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得混合预设第一随机数的第一随机数加密值和混合预设第二随机数的第二随机数加密值，并将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，进而第二设备将不会直接持有第一设备的同态加密的隐私数据，进而即使第二设备对第一随机数加密值和第二随机数加密值进行解密，得到的也是混合随机数的本地模型预测值，保证了本地模型预测值的隐私性，使得第一设备的隐私数据不会发生泄漏，进而第二设备基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数，以避免将同态加密的样本标签直接发送至第一设备，进而第一设备接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失，进而第一设备基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，即可获得目标联邦模型，所以在本申请整个联邦学习过程中，不存在一联邦学习参与方将持有另一联邦学习参与方的同态加密的隐私数据，且该联邦学习参与需要将同态加密的待解密数据(损失和梯度)发送至另一联邦学习参与方进行解密后得到解密结果的交互过程，所以在本申请中联邦学习过程，恶意参与方无法套取其他联邦学习参与方的映射数据，进而本申请联邦学习过程可抵御恶意参与方的恶意攻击，进一步地，虽然第一设备需要将加密模型损失发送至第二设备进行解密，但第二设备基于解密后的模型损失可直接判定模型是否收敛，并向第一设备反馈模型收敛结果，而无需反馈解密结果，以防止第一设备基于直接反馈解密结果的交互流程套取所述第二设备中的样本标签，保证了第二设备中的样本标签的隐私性，进而避免了第一设备将其他同态加密的数据发送第二设备进行解密而套取第二设备的隐私数据的情况发生，所以本申请联邦学习过程具备了抵御恶意参与方的恶意攻击的能力。
本申请实施例提供了一种联邦学习建模优化方法，相比于现有技术采用的参与联邦学习的标签拥有方通常需要将同态加密的标签发送至无标签的特征拥有方，进而特征拥有方基于同态加密的标签计算同态加密的梯度和同态加密的损失，并将同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方对同态加密的梯度和同态加密的损失进行解密后，将明文状态的模型梯度和模型损失反馈至特征拥有方以进行模型更新的技术手段，本申请实施例首先获取待训练本地模型对应的本地模型预测值，进而基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值，进而将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及预设样本标签，生成各随机数加密中间参数，进而接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失，其中，在进行联邦学习时，第一设备与第二设备进行交互过程中，第二设备向第一设备发送的仅仅为加密中间参数，无需发送同态加密的标签，且第一设备也无需在迭代过程中将密文内容发送第二设备，并由第二设备进行解密后反馈明文内容，所以，第一设备无法通过替换密文内容套取第二设备的隐私数据，进而基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型，其中，在迭代结束之前，模型参数和模型梯度均处于密文状态，所以，克服了若特征拥有方在接收同态加密的标签后，将己方想要知道的密文内容(同态加密的标签)代替同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方进行解密后，将解密结果反馈至特征拥有方，特征拥有方即可套取标签拥有方的样本标签的技术缺陷，提升了基于联邦学习构建逻辑回归模型时的安全性。
进一步地，参照图3，基于本申请中第一实施例，在本申请的另一实施例中，所述联邦学习建模优化方法应用于第二设备，所述联邦学习建模优化方法包括：
步骤A10，接收第一设备发送的第一随机数加密值和第二随机数加密值，其中，所述第一随机数加密值和所述第二随机数加密值由第一设备基于预设第一随机数和预设第二随机数，分别对待训练本地模型对应的本地模型预测值进行加密生成；
在本实施例中，需要说明的是，所述第一随机数加密值和所述第二随机数加密值由第一设备基于预设第一随机数和预设第二随机数，分别对待训练本地模型对应的本地模型预测值进行加密生成步骤A20，基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数的具体过程可参照步骤S10及其细化步骤中的具体内容，在此不再赘述。
其中，各所述随机数加密中间参数包括第一随机数同态加密参数、第二随机数同态加密参数和第三随机数同态加密参数，
所述基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数的步骤包括：
步骤A21，对所述第一随机数加密值和所述第二随机数加密值进行解密，获得第一随机数混合值和第二随机数混合值；
在本实施例中，对所述第一随机数加密值和所述第二随机数加密值进行解密，获得第一随机数混合值和第二随机数混合值，具体地，基于同态加密的私钥，分别对所述第一随机数加密值和所述第二随机数加密值进行解密，获得所述第一随机数加密值对应的第一随机数混合值和所述第二随机数加密值对应的第二随机数混合值。
步骤A22，基于所述第一随机数混合值与所述本地样本标签，生成混合随机数中间参数；
在本实施例中，基于所述第一随机数混合值与所述本地样本标签，生成混合随机数中间参数，具体地，将所述第一随机数混合值与所述本地样本标签输入预设中间参数计算公式，计算所述混合随机数中间参数，其中，所述预设中间参数计算公式如下所示：
Figure BDA0002981015820000161
其中，dB为所述混合随机数中间参数，WX+r1为所述第一随机数混合值，r1为预设第一随机数，WX为处于明文状态的本地模型预测值，y为所述本地样本标签。
步骤A23，对所述混合随机数中间参数进行同态加密，获得所述第一随机数同态加密参数；
在本实施例中，对所述混合随机数中间参数进行同态加密，获得所述第一随机数同态加密参数，具体地，基于同态加密的公钥，将所述混合随机数中间参数加密为第一随机数同态加密参数。
步骤A24，对所述第一随机数混合值的平方值进行同态加密，获得所述第二随机数同态加密参数；
在本实施例中，对所述第一随机数混合值的平方值进行同态加密，获得所述第二随机数同态加密参数，具体地，计算所述第一随机数混合值的平方值，并基于同态加密的公钥，对所述第一随机数混合值的平方值进行同态加密，获得所述第二随机数同态加密参数。
步骤A25，对所述第二随机数混合值与所述本地样本标签的乘积进行同态加密，获得所述第三随机数同态加密参数。
在本实施例中，对所述第二随机数混合值与所述本地样本标签的乘积进行同态加密，获得所述第三随机数同态加密参数，具体地，计算所述第二随机数混合值与所述本地样本标签的乘积，并基于同态加密的公钥，所述第二随机数混合值与所述本地样本标签的乘积进行同态加密，获得所述第三随机数同态加密参数，例如，假设所述第二随机数混合值为WX*r2，所述本地样本标签为y，则所述第三随机数同态加密参数为[[yWX*r2]]。
另外地，在另一种实施方式中，生成所述第三随机数同态加密参数的方式还包括：
基于同态加密的公钥，对所述本地样本标签进行同态加密，获得同态加密的本地样本标签，进而基于所述同态加密本地样本标签和所述第二随机数加密值，通过同态加密乘法，计算同态加密状态下的本地样本标签与所述第二随机数加密值的乘积，获得所述第三随机数同态加密参数，例如，假设所述第二随机数混合值为[[WX]]*r2，所述本地样本标签为y，则所述第三随机数同态加密参数为[[yWX]]*r2。
步骤A30，将各所述随机数加密中间参数发送至第一设备，以供所述第一设备基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
在本实施例中，需要说明的是，各所述随机数加密中间参数包括第一随机数同态加密参数、第二随机数同态加密参数和第三随机数同态加密参数，其中，所述第一随机数同态加密参数用于计算加密模型梯度，所述第二随机数同态加密参数和所述第三随机数同态加密参数用于计算加密模型损失。
步骤A40，与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型。
在本实施例中，与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型，具体地，接收所述第一设备发送的加密模型损失，并基于解密后的加密模型损失，生成判断所述待训练本地模型是否迭代训练完毕的目标判断结果，并将所述目标判断结果反馈至第一设备，以供所述第一设备基于加密模型梯度和所述目标判断结果，优化待训练本地模型，获得目标联邦模型。
其中，所述与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型的步骤包括：
步骤A41，接收所述第一设备发送的加密模型损失，并对所述加密模型损失进行解密，获得本地模型损失；
在本实施例中，接收所述第一设备发送的加密模型损失，并对所述加密模型损失进行解密，获得本地模型损失，具体地，接收所述第一设备发送的加密模型损失，并基于同态加密的私钥，对所述加密模型损失进行解密，获得处于明文状态的本地模型损失。
步骤A42，依据所述本地模型损失，判断所述待训练本地模型是否迭代训练完毕，获得模型迭代训练状态判断结果；
在本实施例中，依据所述本地模型损失，判断所述待训练本地模型是否迭代训练完毕，获得模型迭代训练状态判断结果，具体地，判断所述本地模型损失是否收敛，若是，则判定所述待训练本地模型处于迭代训练完毕状态，若否，则判定所述待训练本地模型处于未迭代训练完毕状态，进而获得模型迭代训练状态判断结果。
步骤A43，将所述模型迭代训练状态判断结果发送至所述第一设备，以供所述第一设备基于所述模型迭代训练状态判断结果和所述加密模型损失，优化所述待训练本地模型，获得所述目标联邦模型。
在本实施例中，将所述模型迭代训练状态判断结果发送至所述第一设备，以供所述第一设备基于所述模型迭代训练状态判断结果和所述加密模型损失，优化所述待训练本地模型，获得所述目标联邦模型，具体地，将所述模型迭代训练状态判断结果发送至所述第一设备，进而第一设备接收所述模型迭代训练状态判断结果，若第一设备基于所述模型迭代训练状态判断结果判定待训练本地模型迭代训练完毕，则通过与第二设备进行解密交互，对所述待训练本地模型的加密模型参数进行解密，获得目标联邦模型，若第一设备基于所述模型迭代训练状态判断结果判定待训练本地模型未迭代训练完毕，则基于所述加密模型梯度，更新所述待训练本地模型的加密模型参数，并返回所述获取待训练本地模型对应的本地模型预测值的步骤，其中，所述第一设备基于所述模型迭代训练状态判断结果和所述加密模型损失，优化所述待训练本地模型，获得所述目标联邦模型的具体步骤可参照步骤S40及其细化步骤中的具体内容，在此不再赘述。
本申请实施例提供了一种联邦学习建模优化方法，相比于现有技术采用的参与联邦学习的标签拥有方通常需要将同态加密的标签发送至无标签的特征拥有方，进而特征拥有方基于同态加密的标签计算同态加密的梯度和同态加密的损失，并将同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方对同态加密的梯度和同态加密的损失进行解密后，将明文状态的模型梯度和模型损失反馈至特征拥有方以进行模型更新的技术手段，本申请实施例接收第一设备发送的第一随机数加密值和第二随机数加密值，其中，所述第一随机数加密值和所述第二随机数加密值由第一设备基于预设第一随机数和预设第二随机数，分别对待训练本地模型对应的本地模型预测值进行加密生成，进而基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数，进而将各所述随机数加密中间参数发送至第一设备，以供所述第一设备基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失，进而与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型，其中，需要说明的是，在进行联邦学习时，第一设备与第二设备进行交互过程中，第二设备向第一设备发送的仅仅为加密中间参数，无需发送同态加密的标签，且第一设备也无需在迭代过程中将密文内容发送第二设备，并由第二设备进行解密后反馈明文内容，所以，第一设备无法通过替换密文内容套取第二设备的隐私数据，所以，克服了若特征拥有方在接收同态加密的标签后，将己方想要知道的密文内容(同态加密的标签)代替同态加密的梯度和同态加密的损失发送至标签拥有方，进而标签拥有方进行解密后，将解密结果反馈至特征拥有方，特征拥有方即可套取标签拥有方的样本标签的技术缺陷，提升了基于联邦学习构建逻辑回归模型时的安全性。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的设备结构示意图。
如图4所示，该联邦学习建模优化设备可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该联邦学习建模优化设备还可以包括矩形用户接口、网络接口、摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
本领域技术人员可以理解，图4中示出的联邦学习建模优化设备结构并不构成对联邦学习建模优化设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及联邦学习建模优化程序。操作系统是管理和控制联邦学习建模优化设备硬件和软件资源的程序，支持联邦学习建模优化程序以及其它软件和/或，程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与联邦学习建模优化系统中其它硬件和软件之间通信。
在图4所示的联邦学习建模优化设备中，处理器1001用于执行存储器1005中存储的联邦学习建模优化程序，实现上述任一项所述的联邦学习建模优化方法的步骤。
本申请联邦学习建模优化设备具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置应用于第一设备，所述联邦学习建模优化装置包括：
随机数加密模块，用于获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值；
发送模块，用于将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
生成模块，用于接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
优化模块，用于基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型。
可选地，所述生成模块还用于：
分别对各所述随机数加密中间参数进行随机数影响消除，获得各同态加密参数；
基于各所述同态加密值和所述本地模型预测值对应的本地特征值，生成所述加密模型梯度和所述加密模型损失。
可选地，所述生成模块还用于:
通过计算所述第一同态加密中间参数与所述本地特征值的乘积，生成所述加密模型梯度；
通过计算所述第二同态加密中间参数和所述第三同态加密中间参数之间的差值，生成所述加密模型损失。
可选地，所述随机数加密模块还用于：
基于所述预设第一随机数和所述本地模型预测值，生成所述第一随机数加密值；
计算所述本地模型预测值和所述预设第二随机数之间的同态加密的乘积，获得所述第二随机数加密值。
可选地，所述优化模块还用于：
将所述加密模型损失发送至第二设备，以供所述第二设备基于解密后的加密模型损失，生成判断所述待训练本地模型是否迭代训练完毕的目标判断结果；
接收所述目标判断结果，若所述目标判断结果为所述待训练本地模型收敛，则通过与第二设备进行解密交互，对所述待训练本地模型的模型参数进行解密，获得所述目标联邦模型；
若所述目标判断结果为所述待训练本地模型未收敛，则基于所述加密模型梯度，优化所述待训练本地模型，并返回所述获取待训练本地模型对应的本地模型预测值的步骤。
本申请联邦学习建模优化装置的具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例还提供一种联邦学习建模优化装置，所述联邦学习建模优化装置应用于第二设备，所述联邦学习建模优化装置包括：
接收模块，用于接收第一设备发送的第一随机数加密值和第二随机数加密值，其中，所述第一随机数加密值和所述第二随机数加密值由第一设备基于预设第一随机数和预设第二随机数，分别对待训练本地模型对应的本地模型预测值进行加密生成；
生成模块，用于基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
发送模块，用于将各所述随机数加密中间参数发送至第一设备，以供所述第一设备基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
交互模块，用于与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型。
可选地，所述交互模块还用于：
接收所述第一设备发送的加密模型损失，并对所述加密模型损失进行解密，获得本地模型损失；
依据所述本地模型损失，判断所述待训练本地模型是否迭代训练完毕，获得模型迭代训练状态判断结果；
将所述模型迭代训练状态判断结果发送至所述第一设备，以供所述第一设备基于所述模型迭代训练状态判断结果和所述加密模型损失，优化所述待训练本地模型，获得所述目标联邦模型。
可选地，所述生成模块还用于：
对所述第一随机数加密值和所述第二随机数加密值进行解密，获得第一随机数混合值和第二随机数混合值；
基于所述第一随机数混合值与所述本地样本标签，生成混合随机数中间参数；
对所述混合随机数中间参数进行同态加密，获得所述第一随机数同态加密参数；
对所述第一随机数混合值的平方值进行同态加密，获得所述第二随机数同态加密参数；
对所述第二随机数混合值与所述本地样本标签的乘积进行同态加密，获得所述第三随机数同态加密参数。
本申请联邦学习建模优化装置的具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种介质，所述介质为可读存储介质，且所述可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的联邦学习建模优化方法的步骤。
本申请可读存储介质具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。
本申请实施例提供了一种计算机程序产品，且所述计算机程序产品包括有一个或者一个以上计算机程序，所述一个或者一个以上计算机程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的联邦学习建模优化方法的步骤。
本申请计算机程序产品具体实施方式与上述联邦学习建模优化方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (11)

1.一种联邦学习建模优化方法，其特征在于，所述联邦学习建模优化方法应用于第一设备，所述联邦学习建模优化方法包括：
获取待训练本地模型对应的本地模型预测值，并基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值；
将所述第一随机数加密值和所述第二随机数加密值发送至第二设备，以供所述第二设备基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
接收所述第二设备发送的各随机数加密中间参数，并基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型。
2.如权利要求1所述联邦学习建模优化方法，其特征在于，所述基于各所述加密中间参数，生成加密模型梯度和加密模型损失的步骤包括：
分别对各所述随机数加密中间参数进行随机数影响消除，获得各同态加密参数；
基于各所述同态加密值和所述本地模型预测值对应的本地特征值，生成所述加密模型梯度和所述加密模型损失。
3.如权利要求2所述联邦学习建模优化方法，其特征在于，所述同态加密参数包括第一同态加密中间参数、第二同态加密中间参数和第三同态加密中间参数，
所述基于各所述同态加密参数和所述本地模型预测值对应的本地特征值，生成所述加密模型梯度和所述加密模型损失的步骤包括：
通过计算所述第一同态加密中间参数与所述本地特征值的乘积，生成所述加密模型梯度；
通过计算所述第二同态加密中间参数和所述第三同态加密中间参数之间的差值，生成所述加密模型损失。
4.如权利要求1所述联邦学习建模优化方法，其特征在于，所述基于预设第一随机数和预设第二随机数，分别对所述本地模型预测值进行加密，获得第一随机数加密值和第二随机数加密值的步骤包括：
基于所述预设第一随机数和所述本地模型预测值，生成所述第一随机数加密值；
计算所述本地模型预测值和所述预设第二随机数之间的同态加密的乘积，获得所述第二随机数加密值。
5.如权利要求1所述联邦学习建模优化方法，其特征在于，所述基于所述加密模型损失和所述加密模型梯度，优化所述待训练本地模型，获得目标联邦模型的步骤包括：
将所述加密模型损失发送至第二设备，以供所述第二设备基于解密后的加密模型损失，生成判断所述待训练本地模型是否迭代训练完毕的目标判断结果；
接收所述目标判断结果，若所述目标判断结果为所述待训练本地模型收敛，则通过与第二设备进行解密交互，对所述待训练本地模型的模型参数进行解密，获得所述目标联邦模型；
若所述目标判断结果为所述待训练本地模型未收敛，则基于所述加密模型梯度，优化所述待训练本地模型，并返回所述获取待训练本地模型对应的本地模型预测值的步骤。
6.一种联邦学习建模优化方法，其特征在于，所述联邦学习建模优化方法应用于第二设备，所述联邦学习建模优化方法包括：
接收第一设备发送的第一随机数加密值和第二随机数加密值，其中，所述第一随机数加密值和所述第二随机数加密值由第一设备基于预设第一随机数和预设第二随机数，分别对待训练本地模型对应的本地模型预测值进行加密生成；
基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数；
将各所述随机数加密中间参数发送至第一设备，以供所述第一设备基于各所述随机数加密中间参数，生成加密模型梯度和加密模型损失；
与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型。
7.如权利要求6所述联邦学习建模优化方法，其特征在于，所述与所述第一设备进行模型迭代训练状态判断交互，以供所述第一设备基于所述加密模型梯度和所述加密模型损失，优化待训练本地模型，获得目标联邦模型的步骤包括：
接收所述第一设备发送的加密模型损失，并对所述加密模型损失进行解密，获得本地模型损失；
依据所述本地模型损失，判断所述待训练本地模型是否迭代训练完毕，获得模型迭代训练状态判断结果；
将所述模型迭代训练状态判断结果发送至所述第一设备，以供所述第一设备基于所述模型迭代训练状态判断结果和所述加密模型损失，优化所述待训练本地模型，获得所述目标联邦模型。
8.如权利要求6所述联邦学习建模优化方法，其特征在于，各所述随机数加密中间参数包括第一随机数同态加密参数、第二随机数同态加密参数和第三随机数同态加密参数，
所述基于所述第一随机数加密值和所述第二随机数加密值以及本地样本标签，生成各随机数加密中间参数的步骤包括：
对所述第一随机数加密值和所述第二随机数加密值进行解密，获得第一随机数混合值和第二随机数混合值；
基于所述第一随机数混合值与所述本地样本标签，生成混合随机数中间参数；
对所述混合随机数中间参数进行同态加密，获得所述第一随机数同态加密参数；
对所述第一随机数混合值的平方值进行同态加密，获得所述第二随机数同态加密参数；
对所述第二随机数混合值与所述本地样本标签的乘积进行同态加密，获得所述第三随机数同态加密参数。
9.一种联邦学习建模优化设备，其特征在于，所述联邦学习建模优化设备包括：存储器、处理器以及存储在存储器上的用于实现所述联邦学习建模优化方法的程序，
所述存储器用于存储实现联邦学习建模优化方法的程序；
所述处理器用于执行实现所述联邦学习建模优化方法的程序，以实现如权利要求1至5或6至8中任一项所述联邦学习建模优化方法的步骤。
10.一种介质，所述介质为可读存储介质，其特征在于，所述可读存储介质上存储有实现联邦学习建模优化方法的程序，所述实现联邦学习建模优化方法的程序被处理器执行以实现如权利要求1至5或6至8中任一项所述联邦学习建模优化方法的步骤。
11.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5或6至8中任一项所述联邦学习建模优化方法的步骤。
CN202110287309.3A 2021-03-17 2021-03-17 联邦学习建模优化方法、设备、介质及计算机程序产品 Pending CN112926073A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110287309.3A CN112926073A (zh) 2021-03-17 2021-03-17 联邦学习建模优化方法、设备、介质及计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110287309.3A CN112926073A (zh) 2021-03-17 2021-03-17 联邦学习建模优化方法、设备、介质及计算机程序产品

Publications (1)

Publication Number Publication Date
CN112926073A true CN112926073A (zh) 2021-06-08

Family

ID=76174905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110287309.3A Pending CN112926073A (zh) 2021-03-17 2021-03-17 联邦学习建模优化方法、设备、介质及计算机程序产品

Country Status (1)

Country Link
CN (1) CN112926073A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378198A (zh) * 2021-06-24 2021-09-10 深圳市洞见智慧科技有限公司 一种保护用户标识的模型的联邦训练系统、方法及装置
CN113434878A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 基于联邦学习的建模及应用方法、装置、设备及存储介质
CN113627085A (zh) * 2021-08-20 2021-11-09 深圳前海微众银行股份有限公司 横向联邦学习建模优化方法、设备、介质及程序产品
CN113726979A (zh) * 2021-07-31 2021-11-30 浪潮电子信息产业股份有限公司 一种图片加密方法、解密方法、加密系统及相关装置
CN113935050A (zh) * 2021-09-26 2022-01-14 平安科技（深圳）有限公司 基于联邦学习的特征提取方法和装置、电子设备、介质
CN114282692A (zh) * 2022-03-08 2022-04-05 富算科技(上海)有限公司 一种纵向联邦学习的模型训练方法及系统
WO2023124219A1 (zh) * 2021-12-30 2023-07-06 新智我来网络科技有限公司 一种联合学习模型迭代更新方法、装置、系统及存储介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378198A (zh) * 2021-06-24 2021-09-10 深圳市洞见智慧科技有限公司 一种保护用户标识的模型的联邦训练系统、方法及装置
CN113434878A (zh) * 2021-06-25 2021-09-24 平安科技（深圳）有限公司 基于联邦学习的建模及应用方法、装置、设备及存储介质
CN113434878B (zh) * 2021-06-25 2023-07-07 平安科技（深圳）有限公司 基于联邦学习的建模及应用方法、装置、设备及存储介质
CN113726979A (zh) * 2021-07-31 2021-11-30 浪潮电子信息产业股份有限公司 一种图片加密方法、解密方法、加密系统及相关装置
CN113726979B (zh) * 2021-07-31 2024-04-26 浪潮电子信息产业股份有限公司 一种图片加密方法、解密方法、加密系统及相关装置
CN113627085A (zh) * 2021-08-20 2021-11-09 深圳前海微众银行股份有限公司 横向联邦学习建模优化方法、设备、介质及程序产品
CN113627085B (zh) * 2021-08-20 2024-01-09 深圳前海微众银行股份有限公司 横向联邦学习建模优化方法、设备、介质
CN113935050A (zh) * 2021-09-26 2022-01-14 平安科技（深圳）有限公司 基于联邦学习的特征提取方法和装置、电子设备、介质
WO2023124219A1 (zh) * 2021-12-30 2023-07-06 新智我来网络科技有限公司 一种联合学习模型迭代更新方法、装置、系统及存储介质
CN114282692A (zh) * 2022-03-08 2022-04-05 富算科技(上海)有限公司 一种纵向联邦学习的模型训练方法及系统

Similar Documents

Publication Publication Date Title
CN112926073A (zh) 联邦学习建模优化方法、设备、介质及计算机程序产品
CN111598254B (zh) 联邦学习建模方法、设备及可读存储介质
CN111723404B (zh) 联合训练业务模型的方法及装置
CN111512589B (zh) 用于利用spdz的快速安全多方内积的方法
CN110704860A (zh) 提升安全性的纵向联邦学习方法、设备、系统及存储介质
CN113505894B (zh) 纵向联邦学习线性回归和逻辑回归模型训练方法及装置
CN110851869A (zh) 敏感信息处理方法、设备及可读存储介质
CN113627085B (zh) 横向联邦学习建模优化方法、设备、介质
CN113222180A (zh) 联邦学习建模优化方法、设备、介质及计算机程序产品
CN110851786A (zh) 纵向联邦学习优化方法、装置、设备及存储介质
CN114691167A (zh) 机器学习模型更新的方法和装置
US20240163084A1 (en) Method of data transmission, and electronic devic
WO2021135793A1 (zh) 多方秘密分享方法、设备及可读存储介质
CN113051586B (zh) 联邦建模系统及方法、联邦模型预测方法、介质、设备
CN111027981A (zh) 多方联合训练针对IoT机具的风险评估模型的方法及装置
US20210044419A1 (en) System and method for generating scalable group key based on homomorphic encryption with trust server
CN112016698A (zh) 因子分解机模型构建方法、设备及可读存储介质
Zhang et al. PPNNP: A privacy-preserving neural network prediction with separated data providers using multi-client inner-product encryption
CN112000988A (zh) 因子分解机回归模型构建方法、设备及可读存储介质
CN112000987A (zh) 因子分解机分类模型构建方法、设备及可读存储介质
CN114168293A (zh) 混合架构系统及基于数据传输耗时的任务调度方法
CN110851472A (zh) 样本匹配方法、设备及可读存储介质
CN114492850A (zh) 基于联邦学习的模型训练方法、设备、介质及程序产品
CN113807537B (zh) 多源数据的数据处理方法、装置及电子设备、存储介质
US20170200020A1 (en) Data management system, program recording medium, communication terminal, and data management server

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination