CN109635462A - 基于联邦学习的模型参数训练方法、装置、设备及介质 - Google Patents
基于联邦学习的模型参数训练方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN109635462A CN109635462A CN201811547471.9A CN201811547471A CN109635462A CN 109635462 A CN109635462 A CN 109635462A CN 201811547471 A CN201811547471 A CN 201811547471A CN 109635462 A CN109635462 A CN 109635462A
- Authority
- CN
- China
- Prior art keywords
- encryption
- terminal
- model parameter
- training
- penalty values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
Abstract
本发明公开了一种基于联邦学习的模型参数训练方法、装置、设备及介质，该方法包括：发送第一加密模型参数至第二终端；接收第二终端发送的第一加密损失值，其中，第二终端以第一加密模型参数作为待训练模型的初始参数，根据第二终端的第二样本训练待训练模型，并计算得到第一加密损失值；第一样本与第二样本具有相同的特征维度；解密损失值，并根据解密后的损失值检测待训练模型是否处于收敛状态；若检测到待训练模型处于收敛状态，则将基于损失值确定的第二加密模型参数作为待训练模型的最终参数。本发明实现了联合联邦双方中有标注方的样本数据得到标注缺失方模型中的参数，提高了标注缺失方模型的准确度。
Description
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于联邦学习的模型参数训练方法、装置、设备及介质。
背景技术
“机器学习”是人工智能的核心研究领域之一，而如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，是机器学习领域现在关注的一个趋势，在此背景下，人们研究提出了“联邦学习”的概念。
联邦学习利用技术算法加密建造的模型，联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，联邦学习通过加密机制下的参数交换方式保护用户数据隐私，数据和模型本身不会进行传输，也不能反猜对方数据，因此在数据层面不存在泄露的可能，也不违反更严格的数据保护法案如GDPR(General Data ProtectionRegulation，《通用数据保护条例》)等，能够在较高程度保持数据完整性的同时，保障数据隐私。
目前，在联邦双方A、B样本的特征空间相同的情况下，现有的基于联邦建模的方法只能基于A、B样本均有标注的情况下交换双方参数联合建模，而对于A方有标注，B方标注缺失的情况并不适用，因此，如何联合A方的样本数据得到B方模型中的参数，提高B方模型的准确度，是亟待解决的问题。
发明内容
本发明的主要目的在于提供一种基于联邦学习的模型参数训练方法、装置、设备及介质，旨在基于联邦双方样本的特征空间相同，对于一方有标注，另一方标注缺失的情况下，实现联合有标注方的样本数据得到标注缺失方模型中的参数，提高标注缺失方模型的准确度。
为实现上述目的，本发明提供一种基于联邦学习的模型参数训练方法，应用于第一终端，所述基于联邦学习的模型参数训练方法包括以下步骤：
发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；
接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；
若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。
可选地，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数的步骤包括：
若检测到所述待训练模型处于收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第二加密模型参数；
将所述第二加密模型参数作为所述待训练模型的最终参数发送至所述第二终端。
可选地，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数的步骤包括：
若检测到所述待训练模型处于收敛状态，则发送停止训练指令至所述第二终端，以使所述第二终端在接收到所述停止训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数。
可选地，所述解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后还包括：
若检测到所述待训练模型处于未收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第三加密模型参数；
发送所述第三加密模型参数至所述第二终端，以使所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
获取所述第二终端发送的所述第二加密损失值，并进入步骤：
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
可选地，所述解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后还包括：
若检测到所述待训练模型处于未收敛状态，则发送继续训练指令至所述第二终端，以使所述第二终端在接收到所述继续训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第三加密模型参数，所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
获取所述第二终端发送的所述第二加密损失值，并进入步骤：
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
可选地，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后还包括：
接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求；
响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端。
可选地，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后还包括：
接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求；
响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端。
此外，为实现上述目的，本发明还提出一种基于联邦学习的模型参数训练装置，所述装置设于第一终端，所述装置包括：
第一发送模块，用于发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；
第一接收模块，用于接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；
解密检测模块，用于解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；
确定模块，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。
可选地，所述确定模块包括：
获取解密单元，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
更新单元，用于根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第二加密模型参数；
第一确定单元，用于将所述第二加密模型参数作为所述待训练模型的最终参数发送至所述第二终端。
可选地，所述确定模块包括：
第二确定单元，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，发送停止训练指令至所述第二终端，以使所述第二终端在接收到所述停止训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数。
可选地，所述装置还包括：
获取解密模块，用于在所述解密检测模块检测到所述待训练模型处于未收敛状态后，获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
更新模块，用于根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第三加密模型参数；
第二发送模块，用于发送所述第三加密模型参数至所述第二终端，以使所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
第一获取模块，用于获取所述第二终端发送的所述第二加密损失值，并发送所述第二加密损失值至所述解密检测模块。
可选地，所述装置还包括：
第三发送模块，用于在所述解密检测模块检测到所述待训练模型处于未收敛状态后，发送继续训练指令至所述第二终端，以使所述第二终端在接收到所述继续训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第三加密模型参数，所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
第二获取模块，用于获取所述第二终端发送的所述第二加密损失值，并发送所述第二加密损失值至所述解密检测模块。
可选地，所述装置还包括：
第二接收模块，用于接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求；
第一解密模块，用于响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端。
可选地，所述装置还包括：
第三接收模块，用于接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求；
第二解密模块，用于响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端。
此外，为实现上述目的，本发明还提出一种基于联邦学习的模型参数训练设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被所述处理器执行时实现如上所述的基于联邦学习的模型参数训练方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，应用于计算机，所述存储介质上存储有基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被处理器执行时实现如上所述的基于联邦学习的模型参数训练方法的步骤。
本发明通过发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数；由此，在联邦双方样本的特征空间相同的情况，第一终端的样本有标注，第二终端的样本标注缺失的情况下，实现了联合第一终端的样本数据得到第二终端的模型参数，提高了第二终端模型的准确度。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的结构示意图；
图2为本发明基于联邦学习的模型参数训练方法第一实施例的流程示意图；
图3为本发明基于联邦学习的模型参数训练方法第一实施例中步骤S400的细化步骤示意图；
图4为本发明基于联邦学习的模型参数训练方法第二实施例的流程示意图；
图5为本发明基于联邦学习的模型参数训练方法第三实施例的流程示意图；
图6为本发明基于联邦学习的模型参数训练方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的结构示意图。
需要说明的是，图1即可为模型参数训练装置的硬件运行环境的结构示意图。本发明实施例模型参数训练装置可以是PC，便携计算机等终端设备。
如图1所示，该模型参数训练装置可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的模型参数训练装置结构并不构成对模型参数训练装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于联邦学习的模型参数训练程序。其中，操作系统是管理和控制模型参数训练装置硬件和软件资源的程序，支持基于联邦学习的模型参数训练程序以及其它软件或程序的运行。
在图1所示的模型参数训练装置中，用户接口1003主要用于与各个终端进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下操作：
发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；
接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；
若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下步骤：
若检测到所述待训练模型处于收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第二加密模型参数；
将所述第二加密模型参数作为所述待训练模型的最终参数发送至所述第二终端。
进一步地，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下步骤：
若检测到所述待训练模型处于收敛状态，则发送停止训练指令至所述第二终端，以使所述第二终端在接收到所述停止训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数。
进一步地，所述解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下步骤：
若检测到所述待训练模型处于未收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第三加密模型参数；
发送所述第三加密模型参数至所述第二终端，以使所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
获取所述第二终端发送的所述第二加密损失值，并进入步骤：
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
进一步地，所述解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下步骤：
若检测到所述待训练模型处于未收敛状态，则发送继续训练指令至所述第二终端，以使所述第二终端在接收到所述继续训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第三加密模型参数，所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
获取所述第二终端发送的所述第二加密损失值，并进入步骤：
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
进一步地，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下步骤：
接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求；
响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端。
进一步地，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后，处理器1001还可以用于调用存储器1005中存储的基于联邦学习的模型参数训练程序，并执行以下步骤：
接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求；
响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端。
基于上述的结构，提出基于联邦学习的模型参数训练方法的各个实施例。
参照图2，图2为本发明基于联邦学习的模型参数训练方法第一实施例的流程示意图。
本发明实施例提供了基于联邦学习的模型参数训练方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本发明实施例基于联邦学习的模型参数训练方法应用于第一终端，本发明实施例第一终端与第二终端可以分别是PC，便携计算机等终端设备，在此不做具体限制。
本实施例基于联邦学习的模型参数训练方法包括：
步骤S100，发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；
“机器学习”是人工智能的核心研究领域之一，而如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，是机器学习领域现在关注的一个趋势，在此背景下，人们研究提出了“联邦学习”的概念。
联邦学习利用技术算法加密建造的模型，联邦双方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，联邦学习通过加密机制下的参数交换方式保护用户数据隐私，数据和模型本身不会进行传输，也不能反猜对方数据，因此在数据层面不存在泄露的可能，也不违反更严格的数据保护法案如GDPR(General Data ProtectionRegulation，《通用数据保护条例》)等，能够在较高程度保持数据完整性的同时，保障数据隐私。
目前，在联邦双方A、B样本的特征空间相同的情况下，现有的基于联邦建模的方法只能基于A、B样本均有标注的情况下交换双方参数联合建模，而对于A方有标注，B方标注缺失的情况并不适用，为了解决这一问题，提出本发明基于联邦学习的模型参数训练方法的各个实施例。
本发明基于横向联邦学习，横向联邦学习是指在两个数据集(即可以是本发明实施例中所述的第一样本和第二样本)的用户特征重叠较多，而用户重叠较少的情况下，把数据集按照横向(即用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。这种方法叫做横向联邦学习。比如有两家不同地区的银行，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是，它们的业务很相似，因此，记录的用户特征是相同的。
本实施例中，首先第一终端根据第一终端的第一样本训练得到初始模型参数，第一终端采用联邦学习中的加密算法对初始模型参数进行加密得到第一加密模型参数，并将第一加密模型参数发送至第二终端。
步骤S200，接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；
在本实施例中，第二终端接收到所述第一终端发送的第一加密模型参数后，第二终端将第一加密模型参数作为其待训练模型的初始参数，并根据第二终端中仅有少量标注的第二样本数据进行模型训练，计算得到加密损失值，可以理解的是，所述第二样本标注相较于第一样本标注是部分缺失的，即第二样本的标注比第一样本的标注要少。
第二终端以所述第一加密模型参数作为其待训练模型的初始参数，根据所述第二终端的标注缺失的第二样本训练所述待训练模型，并计算得到所述第一加密损失值，然后发送所述第一加密损失值至第一终端，第一终端接收所述第二终端发送的第一加密损失值。
步骤S300，解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；
第一终端接收到第二终端发送的加密损失值后，基于对应的的解密算法，第一终端解密第二终端发来的加密损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
进一步地，作为一种实施方式，根据解密后的所述损失值检测所述待训练模型是否处于收敛状态，具体可以是第一终端将第二终端连续两次发送的加密损失值分别解密后，计算这两个损失值的差值，并判断所述差值是否小于或者等于预设阈值，当判断出所述差值小于或者等于所述预设阈值时，确定所述待训练模型处于收敛状态；当判断出所述差值大于所述预设阈值时，确定所述待训练模型未处于收敛状态。
步骤S400，若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。
第二终端在根据第一加密模型参数训练所述待训练模型的过程中，计算得到对应的加密梯度值和加密损失值，由于第一加密模型参数加密，第二终端无法根据加密损失值判断待训练模型是否收敛，第二终端将加密损失值发送给第一终端由第一终端对所述损失值解密后判断待训练模型是否收敛。
本实施例中，第一终端根据解密后的损失值检测到所述待训练模型处于收敛状态，并将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数，待训练模型训练完成。
具体地，参照图3，图3为本实施例中步骤S400的细化步骤示意图；作为一种实施方式，本实施例中，步骤S400可以包括如下细化步骤：
步骤S401，若检测到所述待训练模型处于收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
步骤S402，根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第二加密模型参数；
步骤S403，将所述第二加密模型参数作为所述待训练模型的最终参数发送至所述第二终端。
作为一种实施方式，第一终端检测到所述待训练模型处于收敛状态，第一终端获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值，本实施例中，第二终端根据第一加密模型参数训练待训练模型的过程中，计算得到对应的加密梯度值和加密损失值，并将计算得到的加密梯度值和加密损失值同时发送至第一终端，第一终端首先解密加密损失值，然后根据解密后的当前损失值检测到所述待训练模型处于收敛状态，然后第一终端解密与所述当前损失值对应的加密梯度值，并根据解密后的梯度值对第一加密模型参数进行更新得到第二加密模型参数。
第一终端发送第二加密模型参数至第二终端并将第二加密模型参数确定为第二终端的待训练模型的最终参数，待训练模型训练完成。由此，实现了在联邦双方样本的特征空间相同的情况，第一终端的样本有标注，第二终端的样本标注缺失的情况下，联合第一终端的样本数据得到第二终端的模型参数，提高第二终端模型的准确度。
进一步地，在本发明其它实施例中，区别于本实施例，步骤S400，若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数的步骤包括如下细化步骤：
若检测到所述待训练模型处于收敛状态，则发送停止训练指令至所述第二终端，以使所述第二终端在接收到所述停止训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数。
区别于所述的基于联邦学习的模型参数训练方法第一实施例，本实施方式中，第二终端根据第一加密模型参数训练待训练模型的过程中，计算得到加密梯度值和加密损失值，第二终端仅将计算得到的加密损失值发送至第一终端，第一终端解密所述加密损失值，并且根据解密后的当前损失值检测到所述待训练模型处于收敛状态，第一终端发送停止训练指令至所述第二终端，第二终端在接收到所述停止训练指令后，根据计算得到的与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新得到第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数，待训练模型训练完成，由此，实现了在联邦双方样本的特征空间相同的情况，第一终端的样本有标注，第二终端的样本标注缺失的情况下，联合第一终端的样本数据得到第二终端的模型参数，提高第二终端模型的准确度。
本实施例通过发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。实现了在联邦双方样本的特征空间相同的情况，第一终端的样本有标注，第二终端的样本标注缺失的情况下，联合第一终端的样本数据得到第二终端的模型参数，提高第二终端模型的准确度。
进一步地，提出本发明基于联邦学习的模型参数训练方法第二实施例。
参照图4，图4为本发明基于联邦学习的模型参数训练方法第二实施例的流程示意图，基于上述基于联邦学习的模型参数训练方法第一实施例，本实施例中，步骤S300，解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后还包括：
步骤S501，若检测到所述待训练模型处于未收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
第一终端检测到所述待训练模型处于未收敛状态，第一终端获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值，本实施例中，第二终端根据第一加密模型参数训练待训练模型的过程中，计算得到加密梯度值和加密损失值，并将计算得到的加密梯度值和加密损失值同时发送至第一终端，第一终端首先解密加密损失值，然后根据解密后的当前损失值检测到所述待训练模型处于未收敛状态。
步骤S502，根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第三加密模型参数；
在检测到所述待训练模型处于未收敛状态后，第一终端解密与所述当前损失值对应的加密梯度值，并根据解密后的梯度值对第一加密模型参数进行更新得到第三加密模型参数。
步骤S503，发送所述第三加密模型参数至所述第二终端，以使所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
第一终端发送所述第三加密模型参数至第二终端，第二终端根据第三加密模型参数继续训练待训练模型，并计算得到第二加密损失值和与第二加密损失值对应的加密梯度值，第一终端发送第二加密损失值至第一终端用于第一终端检测待训练模型是否收敛。
步骤S504，获取所述第二终端发送的所述第二加密损失值，并进入步骤S300，解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；第一终端在获取到第二加密损失值后，进入上述第一终端解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤，第一终端检测到所述待训练模型处于收敛状态，则进入步骤S400，确定与当前模型收敛状态下损失值对应的第二加密模型参数为待训练模型的最终参数，模型训练完成，若第一终端检测到所述待训练模型处于未收敛状态，则再次进入步骤S501，第二终端继续根据更新后加密模型参数迭代训练所述待训练模型并将训练过程中计算得到的加密损失值发送至第一终端，直至第一终端根据其发送的加密损失值检测所述待训练模型处于收敛状态后，第二终端获取第一终端确定的待训练模型的最终加密参数，第二终端的模型训练完成。
进一步地，作为一种实施方式，在本发明其它实施例中，区别于所述的基于联邦学习的模型参数训练方法第二实施例，步骤S300，解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后还包括：
若检测到所述待训练模型处于未收敛状态，则发送继续训练指令至所述第二终端，以使所述第二终端在接收到所述继续训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第三加密模型参数，所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
获取所述第二终端发送的所述第二加密损失值，并进入步骤S300，解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
可以理解的是，区别于所述的基于联邦学习的模型参数训练方法第二实施例，本实施方式中，第一终端检测到所述待训练模型处于未收敛状态，则发送继续训练指令至所述第二终端，而基于加密梯度值更新加密模型参数的过程是在第二终端进行，第二终端在接收到第一终端发送的所述继续训练指令后，第二终端根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新得到第三加密模型参数，然后第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值，再将第二加密损失值发送至第一终端，第一终端获取到第二终端发送的第二加密损失值后，进入步骤S300，即进入上述第一终端解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤，第一终端检测到所述待训练模型处于收敛状态，则进入步骤S400，确定与当前收敛状态下损失值对应的第二加密模型参数为待训练模型的最终参数，模型训练完成；若第一终端检测到所述待训练模型处于未收敛状态，则再次发送继续训练指令至所述第二终端继续训练并接收第二终端继续训练过程中发送的加密损失值，直至第一终端基于第二终端发送的加密损失值检测出待训练模型处于收敛状态后，第二终端根据加密梯度值更新得到待训练模型的最终加密参数，第二终端的待训练模型训练完成。
本实施例通过上述方式，实现了在联邦双方样本的特征空间相同的情况，第一终端的样本有标注，第二终端的样本标注缺失的情况下，联合第一终端的样本数据得到第二终端的模型参数，提高第二终端模型的准确度。
进一步地，提出本发明基于联邦学习的模型参数训练方法第三实施例。
参照图5，图5为本发明基于联邦学习的模型参数训练方法第三实施例的流程示意图，基于上述基于联邦学习的模型参数训练方法第一实施例，本实施例中，步骤S400，若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后还包括：
步骤S601，接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求；
步骤S602，响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端。
在联邦双方样本的特征空间相同、第一终端的样本有标注以及第二终端样本标注缺失的情况下，联合第一终端的样本数据，使第二终端得到了训练完成的加密模型参数，本实施例中，第一终端接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求，响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端，由此，第二终端可以根据解密后的模型参数进行结果预测，实现了将第一终端训练的模型应用在特征和标注缺失的第二终端，从而极大程度的拓展了联邦学习的应用范围，有效提高第二终端模型的预测能力。
进一步地，提出本发明基于联邦学习的模型参数训练方法第四实施例。
参照图6，图6为本发明基于联邦学习的模型参数训练方法第四实施例的流程示意图，基于上述基于联邦学习的模型参数训练方法第一实施例，本实施例中，步骤S400，若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后还包括：
步骤S603，接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求；
步骤S604，响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端。
本实施例中，在联邦双方样本的特征空间相同、第一终端的样本有标注以及第二终端样本标注缺失的情况下，联合第一终端的样本数据，第二终端得到了训练完成的加密模型参数，进一步地，第一终端接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求，响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端，由此，第二终端可以根据最终确定的加密模型参数进行结果预测，得到加密预测结果，由第一终端将加密预测结果解密后返回至第二终端，实现了将第一终端训练的模型应用在特征和标注缺失的第二终端，从而极大程度的拓展了联邦学习的应用范围，有效提高第二终端模型的预测能力。
此外，本发明实施例还提出一种基于联邦学习的模型参数训练装置，所述装置设于第一终端，所述装置包括：
第一发送模块，用于发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；
第一接收模块，用于接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；
解密检测模块，用于解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；
确定模块，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。
优选地，所述确定模块包括：
获取解密单元，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
更新单元，用于根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第二加密模型参数；
第一确定单元，用于将所述第二加密模型参数作为所述待训练模型的最终参数发送至所述第二终端。
优选地，所述确定模块包括：
第二确定单元，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，发送停止训练指令至所述第二终端，以使所述第二终端在接收到所述停止训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数。
优选地，所述装置还包括：
获取解密模块，用于在所述解密检测模块检测到所述待训练模型处于未收敛状态后，获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
更新模块，用于根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第三加密模型参数；
第二发送模块，用于发送所述第三加密模型参数至所述第二终端，以使所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
第一获取模块，用于获取所述第二终端发送的所述第二加密损失值，并发送所述第二加密损失值至所述解密检测模块。
优选地，所述装置还包括：
第三发送模块，用于在所述解密检测模块检测到所述待训练模型处于未收敛状态后，发送继续训练指令至所述第二终端，以使所述第二终端在接收到所述继续训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第三加密模型参数，所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
第二获取模块，用于获取所述第二终端发送的所述第二加密损失值，并发送所述第二加密损失值至所述解密检测模块。
优选地，所述装置还包括：
第二接收模块，用于接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求；
第一解密模块，用于响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端。
优选地，所述装置还包括：
第三接收模块，用于接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求；
第二解密模块，用于响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端。
本实施例提出的基于联邦学习的模型参数训练装置各个模块运行时实现如上所述的基于联邦学习的模型参数训练方法的步骤，在此不再赘述。
此外，本发明实施例还提出一种基于联邦学习的模型参数训练设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被所述处理器执行时实现如上所述的基于联邦学习的模型参数训练方法的步骤。
其中，在所述处理器上运行的基于联邦学习的模型参数训练程序被执行时所实现的方法可参照本发明基于联邦学习的模型参数训练方法各个实施例，此处不再赘述。
此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被处理器执行时实现如上所述的基于联邦学习的模型参数训练方法的步骤。
其中，在所述处理器上运行的基于联邦学习的模型参数训练程序被执行时所实现的方法可参照本发明基于联邦学习的模型参数训练方法各个实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (16)
1.一种基于联邦学习的模型参数训练方法，其特征在于，应用于第一终端，所述基于联邦学习的模型参数训练方法包括以下步骤：
发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；
接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；
若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。
2.如权利要求1所述的基于联邦学习的模型参数训练方法，其特征在于，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数的步骤包括：
若检测到所述待训练模型处于收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第二加密模型参数；
将所述第二加密模型参数作为所述待训练模型的最终参数发送至所述第二终端。
3.如权利要求1所述的基于联邦学习的模型参数训练方法，其特征在于，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数的步骤包括：
若检测到所述待训练模型处于收敛状态，则发送停止训练指令至所述第二终端，以使所述第二终端在接收到所述停止训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数。
4.如权利要求1所述的基于联邦学习的模型参数训练方法，其特征在于，所述解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后还包括：
若检测到所述待训练模型处于未收敛状态，则获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第三加密模型参数；
发送所述第三加密模型参数至所述第二终端，以使所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
获取所述第二终端发送的所述第二加密损失值，并进入步骤：
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
5.如权利要求1所述的基于联邦学习的模型参数训练方法，其特征在于，所述解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态的步骤之后还包括：
若检测到所述待训练模型处于未收敛状态，则发送继续训练指令至所述第二终端，以使所述第二终端在接收到所述继续训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第三加密模型参数，所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
获取所述第二终端发送的所述第二加密损失值，并进入步骤：
解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态。
6.如权利要求1-3中任一项所述的基于联邦学习的模型参数训练方法，其特征在于，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后还包括：
接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求；
响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端。
7.如权利要求1-3中任一项所述的基于联邦学习的模型参数训练方法，其特征在于，所述若检测到所述待训练模型处于收敛状态，则将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数步骤之后还包括：
接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求；
响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端。
8.一种基于联邦学习的模型参数训练装置，其特征在于，所述装置设于第一终端，所述装置包括：
第一发送模块，用于发送第一加密模型参数至第二终端，所述第一加密模型参数为所述第一终端根据所述第一终端的第一样本训练得到；
第一接收模块，用于接收所述第二终端发送的第一加密损失值，其中，所述第二终端以所述第一加密模型参数作为待训练模型的初始参数，根据所述第二终端的第二样本训练所述待训练模型，并计算得到所述第一加密损失值；所述第一样本与所述第二样本具有相同的特征维度；
解密检测模块，用于解密所述损失值，并根据解密后的所述损失值检测所述待训练模型是否处于收敛状态；
确定模块，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，将基于所述损失值确定的第二加密模型参数作为所述待训练模型的最终参数。
9.如权利要求8所述的基于联邦学习的模型参数训练装置，其特征在于，所述确定模块包括：
获取解密单元，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
更新单元，用于根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第二加密模型参数；
第一确定单元，用于将所述第二加密模型参数作为所述待训练模型的最终参数发送至所述第二终端。
10.如权利要求8所述的基于联邦学习的模型参数训练装置，其特征在于，所述确定模块包括：
第二确定单元，用于在所述解密检测模块检测到所述待训练模型处于收敛状态后，发送停止训练指令至所述第二终端，以使所述第二终端在接收到所述停止训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第二加密模型参数，并将所述第二加密模型参数作为所述待训练模型的最终参数。
11.如权利要求8所述的基于联邦学习的模型参数训练装置，其特征在于，所述装置还包括：
获取解密模块，用于在所述解密检测模块检测到所述待训练模型处于未收敛状态后，获取所述第二终端发送的与所述损失值对应的加密梯度值，解密所述梯度值；
更新模块，用于根据解密后的所述梯度值对所述第一加密模型参数进行更新，得到第三加密模型参数；
第二发送模块，用于发送所述第三加密模型参数至所述第二终端，以使所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
第一获取模块，用于获取所述第二终端发送的所述第二加密损失值，并发送所述第二加密损失值至所述解密检测模块。
12.如权利要求8所述的基于联邦学习的模型参数训练装置，其特征在于，所述装置还包括：
第三发送模块，用于在所述解密检测模块检测到所述待训练模型处于未收敛状态后，发送继续训练指令至所述第二终端，以使所述第二终端在接收到所述继续训练指令后，根据与所述损失值对应的加密梯度值对所述第一加密模型参数进行更新以获取第三加密模型参数，所述第二终端根据所述第三加密模型参数继续训练所述待训练模型并计算第二加密损失值；
第二获取模块，用于获取所述第二终端发送的所述第二加密损失值，并发送所述第二加密损失值至所述解密检测模块。
13.如权利要求8-10中任一项所述的基于联邦学习的模型参数训练装置，其特征在于，所述装置还包括：
第二接收模块，用于接收所述第二终端发送的所述第二加密模型参数以及针对于所述第二加密模型参数的解密请求；
第一解密模块，用于响应于所述解密请求，解密所述第二加密模型参数，并将解密后的所述第二加密模型参数发送至所述第二终端。
14.如权利要求8-10中任一项所述的基于联邦学习的模型参数训练装置，其特征在于，所述装置还包括：
第三接收模块，用于接收所述第二终端基于所述第二加密模型参数获得的加密预测结果以及针对于所述加密预测结果的解密请求；
第二解密模块，用于响应于所述解密请求，解密所述预测结果，并将解密后的所述预测结果发送至所述第二终端。
15.一种基于联邦学习的模型参数训练设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的模型参数训练方法的步骤。
16.一种存储介质，其特征在于，应用于计算机，所述存储介质上存储有基于联邦学习的模型参数训练程序，所述基于联邦学习的模型参数训练程序被处理器执行时实现如权利要求1至7中任一项所述的基于联邦学习的模型参数训练方法的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811547471.9A CN109635462A (zh) | 2018-12-17 | 2018-12-17 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| PCT/CN2019/116082 WO2020125251A1 (zh) | 2018-12-17 | 2019-11-06 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811547471.9A CN109635462A (zh) | 2018-12-17 | 2018-12-17 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109635462A true CN109635462A (zh) | 2019-04-16 |
Family
ID=66074956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811547471.9A Pending CN109635462A (zh) | 2018-12-17 | 2018-12-17 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109635462A (zh) |
| WO (1) | WO2020125251A1 (zh) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263921A (zh) * | 2019-06-28 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种联邦学习模型的训练方法及装置 |
| CN110263908A (zh) * | 2019-06-20 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 联邦学习模型训练方法、设备、系统及存储介质 |
| CN110276210A (zh) * | 2019-06-12 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数的确定方法及装置 |
| CN110288094A (zh) * | 2019-06-10 | 2019-09-27 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法及装置 |
| CN110298185A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山安全软件有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
| CN110378749A (zh) * | 2019-07-25 | 2019-10-25 | 深圳前海微众银行股份有限公司 | 用户数据相似性的评估方法、装置、终端设备及存储介质 |
| CN110379407A (zh) * | 2019-07-22 | 2019-10-25 | 出门问问(苏州)信息科技有限公司 | 自适应语音合成方法、装置、可读存储介质及计算设备 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN110442457A (zh) * | 2019-08-12 | 2019-11-12 | 北京大学深圳研究生院 | 基于联邦学习的模型训练方法、装置及服务器 |
| CN110797124A (zh) * | 2019-10-30 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种模型多端协同训练方法、医疗风险预测方法和装置 |
| CN110851869A (zh) * | 2019-11-14 | 2020-02-28 | 深圳前海微众银行股份有限公司 | 敏感信息处理方法、设备及可读存储介质 |
| CN110955907A (zh) * | 2019-12-13 | 2020-04-03 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习的模型训练方法 |
| CN111062056A (zh) * | 2019-12-13 | 2020-04-24 | 支付宝(杭州)信息技术有限公司 | 基于迁移学习实现的私有数据保护建模方法、系统及装置 |
| CN111160961A (zh) * | 2019-12-20 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种信息推荐方法及装置 |
| WO2020125251A1 (zh) * | 2018-12-17 | 2020-06-25 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN111598254A (zh) * | 2020-05-22 | 2020-08-28 | 深圳前海微众银行股份有限公司 | 联邦学习建模方法、设备及可读存储介质 |
| WO2020211240A1 (zh) * | 2019-04-19 | 2020-10-22 | 平安科技（深圳）有限公司 | 预测模型的联合构建方法、装置及计算机设备 |
| CN112132277A (zh) * | 2020-09-21 | 2020-12-25 | 平安科技（深圳）有限公司 | 联邦学习模型训练方法、装置、终端设备及存储介质 |
| CN112149174A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112183757A (zh) * | 2019-07-04 | 2021-01-05 | 创新先进技术有限公司 | 模型训练方法、装置及系统 |
| CN112182635A (zh) * | 2019-07-03 | 2021-01-05 | 北京百度网讯科技有限公司 | 一种联合建模的实现方法、装置、设备和介质 |
| CN112241550A (zh) * | 2019-07-19 | 2021-01-19 | 西门子医疗有限公司 | 安全地执行参数数据更新 |
| WO2021022707A1 (zh) * | 2019-08-06 | 2021-02-11 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
| CN112417478A (zh) * | 2020-11-24 | 2021-02-26 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN112668016A (zh) * | 2020-01-02 | 2021-04-16 | 华控清交信息科技(北京)有限公司 | 一种模型训练方法、装置和电子设备 |
| CN112699990A (zh) * | 2019-10-22 | 2021-04-23 | 杭州海康威视数字技术股份有限公司 | 神经网络模型训练方法、装置及电子设备 |
| CN113239023A (zh) * | 2021-04-20 | 2021-08-10 | 浙江大学德清先进技术与产业研究院 | 一种面向遥感数据的联邦学习模型训练方法 |
| CN113239391A (zh) * | 2021-07-13 | 2021-08-10 | 深圳市洞见智慧科技有限公司 | 一种无第三方的逻辑回归联邦学习模型训练系统及方法 |
| CN113378198A (zh) * | 2021-06-24 | 2021-09-10 | 深圳市洞见智慧科技有限公司 | 一种保护用户标识的模型的联邦训练系统、方法及装置 |
| US11588621B2 (en) | 2019-12-06 | 2023-02-21 | International Business Machines Corporation | Efficient private vertical federated learning |
| US11645582B2 (en) | 2020-03-27 | 2023-05-09 | International Business Machines Corporation | Parameter sharing in federated learning |
| US11948096B2 (en) | 2020-03-13 | 2024-04-02 | International Business Machines Corporation | Adaptively adjusting influence in federated learning model updates |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160098633A1 (en) * | 2014-10-02 | 2016-04-07 | Nec Laboratories America, Inc. | Deep learning model for structured outputs with high-order interaction |
| CN107633242A (zh) * | 2017-10-23 | 2018-01-26 | 广州视源电子科技股份有限公司 | 网络模型的训练方法、装置、设备和存储介质 |
| CN108364018A (zh) * | 2018-01-25 | 2018-08-03 | 北京墨丘科技有限公司 | 一种标注数据的保护方法、终端设备和系统 |
| CN108491928B (zh) * | 2018-03-29 | 2019-10-25 | 腾讯科技（深圳）有限公司 | 模型参数发送方法、装置、服务器及存储介质 |
| CN108805185B (zh) * | 2018-05-29 | 2023-06-30 | 腾讯科技（深圳）有限公司 | 人脸识别方法、装置、存储介质及计算机设备 |
| CN109635462A (zh) * | 2018-12-17 | 2019-04-16 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
-
2018
- 2018-12-17 CN CN201811547471.9A patent/CN109635462A/zh active Pending
-
2019
- 2019-11-06 WO PCT/CN2019/116082 patent/WO2020125251A1/zh active Application Filing
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020125251A1 (zh) * | 2018-12-17 | 2020-06-25 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| WO2020211240A1 (zh) * | 2019-04-19 | 2020-10-22 | 平安科技（深圳）有限公司 | 预测模型的联合构建方法、装置及计算机设备 |
| CN110288094A (zh) * | 2019-06-10 | 2019-09-27 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法及装置 |
| WO2020248537A1 (zh) * | 2019-06-12 | 2020-12-17 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数的确定方法及装置 |
| CN110276210A (zh) * | 2019-06-12 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数的确定方法及装置 |
| CN110263908A (zh) * | 2019-06-20 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 联邦学习模型训练方法、设备、系统及存储介质 |
| CN110263908B (zh) * | 2019-06-20 | 2024-04-02 | 深圳前海微众银行股份有限公司 | 联邦学习模型训练方法、设备、系统及存储介质 |
| CN110298185A (zh) * | 2019-06-28 | 2019-10-01 | 北京金山安全软件有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
| CN110263921B (zh) * | 2019-06-28 | 2021-06-04 | 深圳前海微众银行股份有限公司 | 一种联邦学习模型的训练方法及装置 |
| CN110263921A (zh) * | 2019-06-28 | 2019-09-20 | 深圳前海微众银行股份有限公司 | 一种联邦学习模型的训练方法及装置 |
| CN112149174A (zh) * | 2019-06-28 | 2020-12-29 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112149174B (zh) * | 2019-06-28 | 2024-03-12 | 北京百度网讯科技有限公司 | 模型训练方法、装置、设备和介质 |
| CN112182635A (zh) * | 2019-07-03 | 2021-01-05 | 北京百度网讯科技有限公司 | 一种联合建模的实现方法、装置、设备和介质 |
| CN112182635B (zh) * | 2019-07-03 | 2024-02-23 | 北京百度网讯科技有限公司 | 一种联合建模的实现方法、装置、设备和介质 |
| CN112183757A (zh) * | 2019-07-04 | 2021-01-05 | 创新先进技术有限公司 | 模型训练方法、装置及系统 |
| CN112183757B (zh) * | 2019-07-04 | 2023-10-27 | 创新先进技术有限公司 | 模型训练方法、装置及系统 |
| CN112241550A (zh) * | 2019-07-19 | 2021-01-19 | 西门子医疗有限公司 | 安全地执行参数数据更新 |
| CN110379407A (zh) * | 2019-07-22 | 2019-10-25 | 出门问问(苏州)信息科技有限公司 | 自适应语音合成方法、装置、可读存储介质及计算设备 |
| CN110378749A (zh) * | 2019-07-25 | 2019-10-25 | 深圳前海微众银行股份有限公司 | 用户数据相似性的评估方法、装置、终端设备及存储介质 |
| CN110378749B (zh) * | 2019-07-25 | 2023-09-26 | 深圳前海微众银行股份有限公司 | 客户端相似性的评估方法、装置、终端设备及存储介质 |
| CN110399742A (zh) * | 2019-07-29 | 2019-11-01 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| CN110399742B (zh) * | 2019-07-29 | 2020-12-18 | 深圳前海微众银行股份有限公司 | 一种联邦迁移学习模型的训练、预测方法及装置 |
| WO2021022707A1 (zh) * | 2019-08-06 | 2021-02-11 | 深圳前海微众银行股份有限公司 | 一种混合联邦学习方法及架构 |
| CN110442457A (zh) * | 2019-08-12 | 2019-11-12 | 北京大学深圳研究生院 | 基于联邦学习的模型训练方法、装置及服务器 |
| CN112699990A (zh) * | 2019-10-22 | 2021-04-23 | 杭州海康威视数字技术股份有限公司 | 神经网络模型训练方法、装置及电子设备 |
| CN110797124B (zh) * | 2019-10-30 | 2024-04-12 | 腾讯科技（深圳）有限公司 | 一种模型多端协同训练方法、医疗风险预测方法和装置 |
| CN110797124A (zh) * | 2019-10-30 | 2020-02-14 | 腾讯科技（深圳）有限公司 | 一种模型多端协同训练方法、医疗风险预测方法和装置 |
| CN110851869B (zh) * | 2019-11-14 | 2023-09-19 | 深圳前海微众银行股份有限公司 | 敏感信息处理方法、设备及可读存储介质 |
| CN110851869A (zh) * | 2019-11-14 | 2020-02-28 | 深圳前海微众银行股份有限公司 | 敏感信息处理方法、设备及可读存储介质 |
| US11588621B2 (en) | 2019-12-06 | 2023-02-21 | International Business Machines Corporation | Efficient private vertical federated learning |
| CN110955907A (zh) * | 2019-12-13 | 2020-04-03 | 支付宝(杭州)信息技术有限公司 | 一种基于联邦学习的模型训练方法 |
| CN111062056B (zh) * | 2019-12-13 | 2022-03-15 | 支付宝(杭州)信息技术有限公司 | 基于迁移学习实现的私有数据保护建模方法、系统及装置 |
| CN111062056A (zh) * | 2019-12-13 | 2020-04-24 | 支付宝(杭州)信息技术有限公司 | 基于迁移学习实现的私有数据保护建模方法、系统及装置 |
| CN111160961A (zh) * | 2019-12-20 | 2020-05-15 | 深圳前海微众银行股份有限公司 | 一种信息推荐方法及装置 |
| CN111160961B (zh) * | 2019-12-20 | 2023-10-17 | 深圳前海微众银行股份有限公司 | 一种信息推荐方法及装置 |
| CN112668016A (zh) * | 2020-01-02 | 2021-04-16 | 华控清交信息科技(北京)有限公司 | 一种模型训练方法、装置和电子设备 |
| CN112668016B (zh) * | 2020-01-02 | 2023-12-08 | 华控清交信息科技(北京)有限公司 | 一种模型训练方法、装置和电子设备 |
| US11948096B2 (en) | 2020-03-13 | 2024-04-02 | International Business Machines Corporation | Adaptively adjusting influence in federated learning model updates |
| US11645582B2 (en) | 2020-03-27 | 2023-05-09 | International Business Machines Corporation | Parameter sharing in federated learning |
| CN111598254A (zh) * | 2020-05-22 | 2020-08-28 | 深圳前海微众银行股份有限公司 | 联邦学习建模方法、设备及可读存储介质 |
| CN112132277A (zh) * | 2020-09-21 | 2020-12-25 | 平安科技（深圳）有限公司 | 联邦学习模型训练方法、装置、终端设备及存储介质 |
| CN112417478A (zh) * | 2020-11-24 | 2021-02-26 | 深圳前海微众银行股份有限公司 | 数据处理方法、装置、设备及存储介质 |
| CN113239023A (zh) * | 2021-04-20 | 2021-08-10 | 浙江大学德清先进技术与产业研究院 | 一种面向遥感数据的联邦学习模型训练方法 |
| CN113378198A (zh) * | 2021-06-24 | 2021-09-10 | 深圳市洞见智慧科技有限公司 | 一种保护用户标识的模型的联邦训练系统、方法及装置 |
| CN113239391A (zh) * | 2021-07-13 | 2021-08-10 | 深圳市洞见智慧科技有限公司 | 一种无第三方的逻辑回归联邦学习模型训练系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020125251A1 (zh) | 2020-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109635462A (zh) | 基于联邦学习的模型参数训练方法、装置、设备及介质 | |
| US11947680B2 (en) | Model parameter training method, terminal, and system based on federation learning, and medium | |
| CN109886417A (zh) | 基于联邦学习的模型参数训练方法、装置、设备及介质 | |
| WO2021004551A1 (zh) | 纵向联邦学习系统优化方法、装置、设备及可读存储介质 | |
| CN110189192B (zh) | 一种信息推荐模型的生成方法及装置 | |
| EP3848838A1 (en) | Model parameter acquisition method and system based on federated learning, and readable storage medium | |
| CN109255444A (zh) | 基于迁移学习的联邦建模方法、设备及可读存储介质 | |
| CN109189825A (zh) | 横向数据切分联邦学习建模方法、服务器及介质 | |
| CN110276210A (zh) | 基于联邦学习的模型参数的确定方法及装置 | |
| CN113159327B (zh) | 基于联邦学习系统的模型训练方法、装置、电子设备 | |
| CN110288094A (zh) | 基于联邦学习的模型参数训练方法及装置 | |
| CN110263936A (zh) | 横向联邦学习方法、装置、设备及计算机存储介质 | |
| CN109325584A (zh) | 基于神经网络的联邦建模方法、设备及可读存储介质 | |
| CN111784001B (zh) | 一种模型训练方法、设备及计算机可读存储介质 | |
| CN110443378A (zh) | 联邦学习中特征相关性分析方法、装置及可读存储介质 | |
| CN110751294A (zh) | 联合多方特征数据的模型预测方法、装置、设备及介质 | |
| CN112818374A (zh) | 一种模型的联合训练方法、设备、存储介质及程序产品 | |
| CN106650495A (zh) | 一种文件验证方法及装置 | |
| CN108228444A (zh) | 一种测试方法和装置 | |
| CN104268039B (zh) | 维修数据获取方法、装置及系统 | |
| CN109325357A (zh) | 基于rsa的信息值计算方法、设备及可读存储介质 | |
| CN108306891A (zh) | 使用待交换数据来执行机器学习的方法、设备和系统 | |
| CN117171779B (zh) | 基于交集保护的数据处理装置 | |
| CN116502732B (zh) | 基于可信执行环境的联邦学习方法以及系统 | |
| CN109902742A (zh) | 基于加密迁移学习的样本补全方法、终端、系统及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |