CN111582505A - 联邦建模方法、装置、设备及计算机可读存储介质 - Google Patents

Abstract

本发明公开了一种联邦建模方法，包括以下步骤：第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；通过待训练模型确定公共标签向量对应的第一梯度以及本地标签向量对应的第二梯度；将第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。本发明还公开了一种联邦建模装置、设备及计算机可读存储介质。本发明实现了通过公共标签向量以及本地标签向量进行建模，无需对梯度进行修改，实现了梯度的隐私保护与模型收敛或模型精度之间的均衡，能够完全阻止信息泄漏，提高联邦学习中数据的安全性。

Description

联邦建模方法、装置、设备及计算机可读存储介质

技术领域

本发明涉及联邦学习领域，尤其涉及一种联邦建模方法、装置、设备及计算机可读存储介质。

背景技术

目前，联邦学习的训练方式主要是以梯度共享的形式进行。各个具有相同构造的模型通过分享其本地梯度，共同训练一个全局模型。若某个模型在梯度传播过程中梯度被泄漏或窃听，则可以使用链式法则以及被泄漏的梯度还原输入数据。

目前，为避免梯度被泄露或窃听，往往通过差分隐私保护、梯度量化以及梯度裁剪等方式对梯度进行保护，其中，差分隐私保护是通过对需要传播的梯度附加一定量的随机噪声来保护梯度；梯度量化是将梯度近似成为整型数值，例如(0，1)或(-1，0，1)等；梯度裁剪是通过将某些位置的梯度数值裁剪为0。

但是，差分隐私保护、梯度量化以及梯度裁剪等方式，均需要通过对梯度添加扰动，如果扰动过大则会影响全局模型的收敛效果，导致模型无法收敛或最终全局模型的精度较低，如果扰动不足则无法有效保护梯度。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种联邦建模方法、装置、设备及计算机可读存储介质，旨在解决现有联邦学习中难以实现保护梯度，与模型收敛或模型精度之间的均衡的技术问题。

为实现上述目的，本发明提供一种联邦建模方法，所述联邦建模方法包括以下步骤：

第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；

通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；

将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；

基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。

进一步地，所述将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度的步骤包括：

将所述第一梯度发送至第二终端，其中，所述第二终端获取多个第三终端发送的第四梯度，基于各个第四梯度以及所述第一梯度确定第三梯度，基于所述第三梯度更新所述第二终端的全局模型，并反馈所述第三梯度至所述第一终端。

进一步地，所述第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤包括：

基于独热编码对所述训练数据集进行标注，以获得公共标签向量；

基于随机编码对所述训练数据集进行标注，以获得本地标签向量。

进一步地，所述通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度的步骤包括：

分别将所述公共标签向量以及所述本地标签向量输入待训练模型进行模型训练，以获得所述公共标签向量对应的第一损失函数值，以及所述本地标签向量对应的第二损失函数值；

基于所述第一损失函数值确定所述第一梯度，并基于所述第二损失函数值确定所述第二梯度。

进一步地，所述基于所述第二梯度以及第三梯度确定目标梯度的步骤包括：

获取所述第二梯度对应的第一权重以及所述第三梯度对应的第二权重，并基于所述第一权重、所述第二权重、所述第二梯度与所述第三梯度确定所述目标梯度。

进一步地，所述基于所述目标梯度更新所述待训练模型，以获得目标模型的步骤包括：

基于所述目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型；

若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型。

进一步地，所述基于所述目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型的步骤之后，所述联邦建模方法还包括：

若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤。

此外，为实现上述目的，本发明还提供一种联邦建模装置，所述联邦建模装置包括：

标注模块，用于对训练数据集进行标注，以获得公共标签向量以及本地标签向量；

确定模块，用于通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；

发送模块，用于将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；

模型更新模块，用于基于所述第一梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。

此外，为实现上述目的，本发明还提供一种联邦建模设备，所述联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦建模程序，所述联邦建模程序被所述处理器执行时实现前述的联邦建模方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有联邦建模程序，所述联邦建模程序被处理器执行时实现前述的联邦建模方法的步骤。

本发明通过第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；接着通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；而后将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；最后基于所述二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型，实现了通过公共标签向量以及本地标签向量进行建模，无需对梯度进行修改，避免了噪声不足导致的隐私泄露以及噪声过高造成的模型训练精度较低，实现了梯度的隐私保护与模型收敛或模型精度之间的均衡，第二梯度不参与梯度共享联邦模型的训练，攻击者只能获取第一梯度，进而无法根据窃取的梯度进行链式法则恢复输入数据；且不存在梯度裁剪比例或噪声比例过低时被还原部分信息的情况，进而能够完全阻止信息泄漏，提高联邦学习中数据的安全性。

附图说明

图1是本发明实施例方案涉及的硬件运行环境中联邦建模设备结构示意图；

图2为本发明联邦建模方法第一实施例的流程示意图；

图3为本发明联邦建模方法一实施例中的场景示意图；

图4为本发明联邦建模装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境中联邦建模设备结构示意图。

本发明实施例联邦建模设备可以是PC，也可以是智能手机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该联邦建模设备可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，联邦建模设备还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。当然，联邦建模设备还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的联邦建模设备结构并不构成对联邦建模设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及联邦建模程序。

在图1所示的联邦建模设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的联邦建模程序。

在本实施例中，联邦建模设备包括：存储器1005、处理器1001及存储在所述存储器1005上并可在所述处理器1001上运行的联邦建模程序，其中，处理器1001调用存储器1005中存储的联邦建模程序时，并执行以下各个实施例中联邦建模方法的步骤。

本发明还提供一种联邦建模方法，参照图2，图2为本发明联邦建模方法第一实施例的流程示意图。

本实施例中，该联邦建模方法包括以下步骤：

步骤S100，第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；

本实施例中，第一终端为联邦学习中的参与方，即该第一终端为联邦学习所有的参与方中的任意一个，训练数据集预先设置的进行模型训练的训练样本。

本实施例中，第一终端先获取训练数据集，并对获取到的训练数据集进行标注，以获得公共标签向量以及本地标签向量，其中，公共标签向量用于联邦模型(全局模型)训练，本地标签向量用于第一终端的本地模型训练。

步骤S200，通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；

本实施例中，在获取到公共标签向量以及本地标签向量时，基于所述公共标签向量确定第一梯度，并基于所述本地标签向量确定第二梯度，具体的，将公共标签向量输入待训练模型，以通过待训练模型中的编码分类器进行模型训练，得到第一训练结果，根据第一训练结果以及公共标签向量计算第一损失函数值，根据该第一损失函数值得到第一梯度，并将本地标签向量输入待训练模型，以通过待训练模型中的哈希编码分类器进行模型训练，得到第二训练结果，根据第二训练结果以及本地标签向量计算第二损失函数值，根据该第二损失函数值得到第二梯度。

步骤S300，将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；

需要说明的是，第二终端为联邦学习中的协调方，该第二终端接收包括第一终端在内的各个参与方的梯度，并根据各个参与方的梯度确定第三梯度。

本实施例中，在得到第一梯度以及第二梯度时，第一终端将第一梯度发送至第二终端，以供第二终端基于第一梯度确定并反馈第三梯度，其中，第二终端在得到第一梯度时，该第二终端接收或获取联邦学习中除第一终端之外的其他各个参与方的第四梯度，并基于其他各个参与方的第四梯度以及第一梯度，确定第三梯度，并反馈该第三梯度值给第一终端。当然，第二终端同时反馈该第三梯度至其他各个参与方。需要说明的是，联邦学习中除第一终端之外的其他各个参与方通过将各自的公共标签向量输入待训练模型进行模型训练，以得到第四梯度。

参照图3，图3中，公有梯度为第一梯度，本地私有梯度为第二梯度，收集器为第二终端(协调方)，第一终端将第一梯度上传至收集器，收集器根据第一梯度以及其他各个参与方的梯度确定第三梯度，并将第三梯度反馈至第一终端。

步骤S400，基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。

在本实施例中，在获取到第三梯度时，第一终端基于第二梯度以及第三梯度确定目标梯度，具体的，第一终端将第二梯度与第三梯度进行融合，以获得目标梯度，例如，将第二梯度与第三梯度相加(向量加法)得到目标梯度，或者，第一终端分别赋予第二梯度与第三梯度不同的权重，将第二梯度与第三梯度分别乘以各自的权重后再相加(向量加法)得到目标梯度。而后，基于所述目标梯度更新所述待训练模型，以获得目标模型。

参照图3，第一终端接收收集器反馈的第三梯度，并将本地私有梯度(第二梯度)与第三梯度进行合并(融合)得到目标梯度，根据该目标梯度更新待训练模型。

进一步地，一实施例中，步骤S300包括：

将所述第一梯度发送至第二终端，其中，所述第二终端获取多个第三终端发送的第四梯度，基于各个第四梯度以及所述第一梯度确定第三梯度，基于所述第三梯度更新所述第二终端的全局模型，并反馈所述第三梯度至所述第一终端。

本实施例中，该第二终端接收第一终端发送的第一梯度，同时，第二终端获取或者接收多个第三终端发送的第四梯度，该第三终端为联邦学习中除第一终端之外的其他各个参与方，第二终端基于各个第四梯度以及所述第一梯度确定第三梯度，具体的，将各个第四梯度以及第一梯度相加(向量加法)得到第三梯度，反馈所述第三梯度至所述第一终端，同时第二终端反馈该第三梯度至各个第三终端，并基于所述第三梯度更新所述第二终端的全局模型。其中，第四梯度为第三终端分别将各自的公共标签向量输入待训练模型进行训练得到的梯度，第三终端的公共标签向量与本实施例中第一终端的公共标签向量的获取方式类似，在此不再赘述。

进一步地，又一实施例中，步骤S400包括：

获取所述第二梯度对应的第一权重以及所述第三梯度对应的第二权重，并基于所述第一权重、所述第二权重、所述第二梯度与所述第三梯度确定所述目标梯度。

本实施例中，在获取到第三梯度时，先获取所述第二梯度对应的第一权重以及所述第三梯度对应的第二权重，而后，根据第一权重、第二权重、第二梯度与第三梯度计算目标梯度，即将第二梯度乘以第二梯度的权重得到第一结果，第三梯度乘以第三梯度的权重得到第二结果，将第一结果与第二结果相加(向量加法)得到目标梯度，具体地，目标梯度＝第一权重*第二梯度+第二权重*第三梯度。

需要说明的是，在其他实施例中，第一终端还可以采用其他方式将第二梯度与第三梯度进行融合，以获得目标梯度，例如，将第二梯度与第三梯度相加(向量加法)得到目标梯度。

需要说明的是，本实施例中数据隐私(安全)的强度可以由本地标签向量的维度自由调节，本地标签向量的维度越高数据隐私保护程度越高，并且本实施例中的联邦建模方法可以后接各种主流模型(Alex，VGG及ResNet等)，使用方便，同时可支持联邦分布式的模型训练。

本实施例提出的联邦建模方法，通过第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；接着通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；而后将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；最后基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型，实现了通过公共标签向量以及本地标签向量进行建模，无需对梯度进行修改，避免了噪声不足导致的隐私泄露以及噪声过高造成的模型训练精度较低，实现了梯度的隐私保护与模型收敛或模型精度之间的均衡，第二梯度不参与梯度共享联邦模型的训练，攻击者只能获取第一梯度，进而无法根据窃取的梯度进行链式法则恢复输入数据；且不存在梯度裁剪比例或噪声比例过低时被还原部分信息的情况，进而能够完全阻止信息泄漏，提高联邦学习中数据的安全性。

基于第一实施例，提出本发明联邦建模方法的第二实施例，在本实施例中，步骤S100包括：

步骤S110，基于独热编码对所述训练数据集进行标注，以获得公共标签向量；

步骤S120，基于随机编码对所述训练数据集进行标注，以获得本地标签向量。

本实施例中，对获取到的训练数据集进行标注时，基于独热编码(one-hot编码)对所述训练数据集进行标注，以获得公共标签向量，具体的，参照图3，第一终端以及联邦学习中的其他参与方均使用统一的one-hot编码对自身的训练数据集进行标注，即第一终端使用one-hot标签对自身的训练数据集进行标注，得到公共标签向量。例如，一个5分类数据集，并且其中一个类别的标签是一个5维向量(1，0，0，0，0)，其他四类标签不能重复，其中，公共标签向量的维度视分类问题类别而定。

同时，基于随机编码对所述训练数据集进行标注，以获得本地标签向量，参照图3，第一终端以及联邦学习中的其他参与方均使用随机编码为训练数据集进行标注，图3中的私有标签生成为第一终端使用随机编码为训练数据集进行标注，得到本地标签向量。例如，一个5分类数据集，其中一个类别的标签是一个6维向量(1，0，1，1，0，0)，并且其他四类标签不能重复。需要说明的是，随机标签的维度不受类别总数的限制，标签维度可以大于或等于类别总数。其中，随机编码为本地随机编码，因此，各个参与方所使用的哈希编码均为随机的，使得各个参与方的随机编码基本不同，进而各个参与方所产生的第二梯度均不相同。需要说明的是，本地随机编码确定后可不在改变，该随机编码可以为随机哈希编码。

通过基于随机编码对所述训练数据集进行标注，可以将每一类数据统一映射成一个哈希编码。例如，将苹果这一类图像映射成为(0，1，0，1，1，0)的哈希值。

本实施例提出的联邦建模方法，通过基于独热编码对所述训练数据集进行标注，以获得公共标签向量；截止基于随机编码对所述训练数据集进行标注，以获得本地标签向量，能够准确得到公共标签向量以及本地标签向量，提高了模型的训练效率。

基于第一实施例，提出本发明联邦建模方法的第三实施例，在本实施例中，步骤S200包括：

步骤S210，分别将所述公共标签向量以及所述本地标签向量输入待训练模型进行模型训练，以获得所述公共标签向量对应的第一损失函数值，以及所述本地标签向量对应的第二损失函数值；

步骤S220，基于所述第一损失函数值确定所述第一梯度，并基于所述第二损失函数值确定所述第二梯度。

本实施例中，在获取到公共标签向量以及本地标签向量时，分别将所述公共标签向量以及所述本地标签向量输入待训练模型进行模型训练，以获得所述公共标签向量对应的第一损失函数值，以及所述本地标签向量对应的第二损失函数值，具体的，将公共标签向量输入待训练模型，以通过待训练模型中的one-hot编码分类器进行模型训练，得到公共标签向量对应的第一训练结果，根据第一训练结果以及公共标签向量计算第一损失函数值，并将本地标签向量输入待训练模型，以通过待训练模型中的哈希编码分类器进行模型训练，得到本地标签向量对应的第二训练结果，根据第二训练结果以及本地标签向量计算第二损失函数值。其中，第一损失函数值可以为平均平方估计损失函数或者交叉熵损失函数，第二损失函数值可以为平均平方估计损失函数、交叉熵损失函数或者极化损失函数。

而后，基于所述第一损失函数值确定所述第一梯度，并基于所述第二损失函数值确定所述第二梯度，具体地，可采用现有的梯度计算算法，根据第一损失函数值计算第一梯度。

本实施例提出的联邦建模方法，通过分别将所述公共标签向量以及所述本地标签向量输入待训练模型进行模型训练，以获得所述公共标签向量对应的第一损失函数值，以及所述本地标签向量对应的第二损失函数值；接着基于所述第一损失函数值确定所述第一梯度，并基于所述第二损失函数值确定所述第二梯度，能够通过模型训练准确得到第一梯度与第二梯度，进一步提高模型训练的效率。

基于第一实施例，提出本发明联邦建模方法的第四二实施例，在本实施例中，步骤S400包括：

步骤S410，基于所述目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型；

步骤S420，若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型。

本实施例中，在获取到目标梯度时，第一终端根据该目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型，而后，判断更新后的待训练模型是否收敛，若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型。

具体的，可通过将测试样本输入更新后的待训练模型，得到测试损失函数值，若测试损失函数值小于预设值，则判定更新后的待训练模型收敛，将更新后的待训练模型作为所述目标模型。

进一步地，在一实施例中，步骤S410之后，还包括：

若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤。

本实施例中，若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤，具体的，若测试损失函数值大于或等于预设值，则判定更新后的待训练模型未收敛，则可将更新后的待训练模型作为待训练模型，并继续执行步骤S100，直至新的测试损失函数值小于预设值，即更新后的待训练模型收敛，以完成对目标模型的训练，并确保训练好的模板模型收敛。其中，可通过将测试样本输入目更新后的待训练模型，得到测试损失函数值，若测试损失函数值小于预设值，则判定更新后的待训练模型收敛；若测试损失函数值大于或等于预设值，则判定更新后的待训练模型未收敛。

需要说明的是，在其他实施例中，在更新后的待训练模型持续未收敛时，为避免第一终端持续不断的进行模型训练，可设置预设训练次数，在待训练模型的训练次数达到该预设训练次数时，终止模型训练。具体地，步骤S420包括：

更新待训练模型的训练次数，并判断更新后的训练次数是否达到预设次数；若更新后的训练次数达到预设次数，则将更新后的待训练模型作为所述目标模型，若更新后的训练次数未达到预设次数，则将更新后的待训练模型作为所述待训练模型，并返回执行对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤。

本实施例提出的联邦建模方法，通过基于所述目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型；接着若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型，通过确保目标模型收敛，进一步提高抗样本检测模型训练的效率。

本发明实施例还提供一种联邦建模装置，参照图4，所述联邦建模装置包括：

标注模块100，用于对训练数据集进行标注，以获得公共标签向量以及本地标签向量；

确定模块200，用于通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；

发送模块300，用于将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；

模型更新模块400，用于基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。

进一步地，发送模块300还用于：

将所述第一梯度发送至第二终端，其中，所述第二终端获取多个第三终端发送的第四梯度，基于各个第四梯度以及所述第一梯度确定第三梯度，基于所述第三梯度更新所述第二终端的全局模型，并反馈所述第三梯度至所述第一终端。

进一步地，标注模块100还用于：

基于独热编码对所述训练数据集进行标注，以获得公共标签向量；

基于随机编码对所述训练数据集进行标注，以获得本地标签向量。

进一步地，确定模块200还用于：

分别将所述公共标签向量以及所述本地标签向量输入待训练模型进行模型训练，以获得所述公共标签向量对应的第一损失函数值，以及所述本地标签向量对应的第二损失函数值；

基于所述第一损失函数值确定所述第一梯度，并基于所述第二损失函数值确定所述第二梯度。

进一步地，模型更新模块400还用于：

获取所述第二梯度对应的第一权重以及所述第三梯度对应的第二权重，并基于所述第一权重、所述第二权重、所述第二梯度与所述第三梯度确定所述目标梯度。

进一步地，模型更新模块400还用于：

基于所述目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型；

若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型。

进一步地，模型更新模块400还用于：

若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有联邦建模程序，所述联邦建模程序被处理器执行时实现如上所述的联邦建模方法的步骤。

其中，在所述处理器上运行的联邦建模程序被执行时所实现的方法可参照本发明联邦建模方法各个实施例，此处不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种联邦建模方法，其特征在于，所述联邦建模方法包括以下步骤：

第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量；

通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；

将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；

基于所述第二梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。

2.如权利要求1所述的联邦建模方法，其特征在于，所述将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度的步骤包括：

将所述第一梯度发送至第二终端，其中，所述第二终端获取多个第三终端发送的第四梯度，基于各个第四梯度以及所述第一梯度确定第三梯度，基于所述第三梯度更新所述第二终端的全局模型，并反馈所述第三梯度至所述第一终端。

3.如权利要求1所述的联邦建模方法，其特征在于，所述第一终端对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤包括：

基于独热编码对所述训练数据集进行标注，以获得公共标签向量；

基于随机编码对所述训练数据集进行标注，以获得本地标签向量。

4.如权利要求1所述的联邦建模方法，其特征在于，所述通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度的步骤包括：

分别将所述公共标签向量以及所述本地标签向量输入待训练模型进行模型训练，以获得所述公共标签向量对应的第一损失函数值，以及所述本地标签向量对应的第二损失函数值；

基于所述第一损失函数值确定所述第一梯度，并基于所述第二损失函数值确定所述第二梯度。

5.如权利要求1所述的联邦建模方法，其特征在于，所述基于所述第二梯度以及第三梯度确定目标梯度的步骤包括：

获取所述第二梯度对应的第一权重以及所述第三梯度对应的第二权重，并基于所述第一权重、所述第二权重、所述第二梯度与所述第三梯度确定所述目标梯度。

6.如权利要求1至5任一项所述的联邦建模方法，其特征在于，所述基于所述目标梯度更新所述待训练模型，以获得目标模型的步骤包括：

基于所述目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型；

若更新后的待训练模型收敛，则将更新后的待训练模型作为所述目标模型。

7.如权利要求6所述的联邦建模方法，其特征在于，所述基于所述目标梯度更新所述待训练模型的模型参数，以获得更新后的待训练模型的步骤之后，所述联邦建模方法还包括：

若更新后的待训练模型未收敛，则将更新后的待训练模型作为所述待训练模型，并返回执行对训练数据集进行标注，以获得公共标签向量以及本地标签向量的步骤。

8.一种联邦建模装置，其特征在于，所述联邦建模装置包括：

标注模块，用于对训练数据集进行标注，以获得公共标签向量以及本地标签向量；

确定模块，用于通过待训练模型确定所述公共标签向量对应的第一梯度以及所述本地标签向量对应的第二梯度；

发送模块，用于将所述第一梯度发送至第二终端，以供所述第二终端基于所述第一梯度，确定并反馈第三梯度；

模型更新模块，用于基于所述第一梯度以及第三梯度确定目标梯度，并基于所述目标梯度更新所述待训练模型，以获得目标模型。

9.一种联邦建模设备，其特征在于，所述联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的联邦建模程序，所述联邦建模程序被所述处理器执行时实现如权利要求1至7中任一项所述的联邦建模方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有联邦建模程序，所述联邦建模程序被处理器执行时实现如权利要求1至7中任一项所述的联邦建模方法的步骤。

Images