CN109255444A - 基于迁移学习的联邦建模方法、设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种基于迁移学习的联邦建模方法、设备及可读存储介质，该方法包括：第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据第一共同特征向量确定第一梯度值和第一损失值，且对第一梯度值和所述第一损失值加密；将加密的第一梯度值和第一损失值，与接收到的第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；将加密的第三损失值和第三梯度值发送至第三终端，并依据第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。本发明能够提高各方样本数据的私密性和利用率。

Description

基于迁移学习的联邦建模方法、设备及可读存储介质

技术领域

本发明涉及机器学习的技术领域，尤其涉及一种基于迁移学习的联邦建模方法、设备及可读存储介质。

背景技术

随着机器学习的快速发展，机器学习可应用于各个领域，如数据挖掘、计算机视觉、自然语言处理、生物特征识别、医学诊断、检测信用卡欺诈、证券市场分析和DNA序列测序等。机器学习包括学习部分和执行部分，学习部分利用样本数据修改系统的知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。

目前，由于各方的样本数据具有密切联系，如果机器学习仅使用一方的样本数据，则学习得到的模型不准确，为解决上述问题，通过联合各方的样本数据，应用逻辑回归或决策树等单层简单模型进行机器学习。然而，由于需要联合各方的样本数据，存在一方的样本数据被另一方知晓的情况，此外，目前的联合学习主要依托于共同样本数据，而各方的共同样本数据是有限的，使得各方独有的样本数据无法被有效利用。

因此，如何提高各方样本数据的私密性和利用率是目前亟待解决的问题。

发明内容

本发明的主要目的在于提供一种基于迁移学习的联邦建模方法、设备及可读存储介质，旨在提高各方样本数据的私密性和利用率。

为实现上述目的，本发明提供一种基于迁移学习的联邦建模方法，所述基于迁移学习的联邦建模方法包括以下步骤：

第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；

将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；

将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。

进一步地，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。

进一步地，依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤包括：

接收所述第三终端解密返回的第三损失值和历史损失值；

计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；

若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。

进一步地，所述将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值的步骤之后，还包括：

所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；

依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：

若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；

所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一终端的本地梯度，且在更新完成后，返回执行步骤：第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密；

所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二终端的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。

进一步地，所述基于迁移学习的联邦建模方法还包括：

所述第三终端接收所述第一终端发送的加密的第三损失值和第三梯度值，并接收所述第二终端发送的加密的第四梯度值；

依据预存的私有密钥对加密的第三损失值、第三梯度值和第四梯度值进行解密，并依据解密后的第三损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型，否则将解密后的第三梯度值返回至所述第一终端，并将解密后的第四梯度值返回至所述第二终端。

进一步地，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。

进一步地，对所述第一梯度值和所述第一损失值加密的步骤包括：

所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。

进一步地，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。

此外，为实现上述目的，本发明还提供一种基于迁移学习的联邦建模设备，所述基于迁移学习的联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于迁移学习的联邦建模程序，所述基于迁移学习的联邦建模程序被所述处理器执行时实现如上所述的基于迁移学习的联邦建模方法的步骤。

本发明还提供一种可读存储介质，所述可读存储介质上存储有基于迁移学习的联邦建模程序，所述基于迁移学习的联邦建模程序被处理器执行时实现如上所述的基于迁移学习的联邦建模方法的步骤。

本发明提供一种基于迁移学习的联邦建模方法、设备及可读存储介质，本发明将双方样本数据映射到共同最优空间，双方得到在共同最优空间中的共同特征向量，并依据各自的共同特征向量确定各自的梯度值和损失值，且拥有标注的样本数据的一方将梯度值和损失值进行加密，然后结合接收到的另一方发送的加密的梯度值和损失值，得到加密的总损失值和总梯度值，并将加密的总损失值传输给第三方，最后依据第三方返回的解密后的总损失值和历史损失值，确定待训练模型是否收敛，如果待训练模型收敛，则以收敛时的模型参数，建立待训练模型，由于对双方需要传输的数据进行加密，且可在加密的形式下进行联合训练，有效的提高各方样本数据的私密性，同时，将各方样本数据映射到同一个共同最优空间，在利用共同样本数据的同时，也可以利用各方独有的样本数据，有效的提高各方样本数据的利用率。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；

图2为本发明基于迁移学习的联邦建模方法第一实施例的流程示意图；

图3为本发明基于迁移学习的联邦建模方法第二实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。

本发明实施例基于迁移学习的联邦建模设备可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该基于迁移学习的联邦建模设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的基于迁移学习的联邦建模设备结构并不构成对基于迁移学习的联邦建模设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于迁移学习的联邦建模程序。

在图1所示的基于迁移学习的联邦建模设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于迁移学习的联邦建模程序，并执行以下步骤：

第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；

将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；

将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。

进一步地，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。

进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的联邦建模程序，还执行以下步骤：

接收所述第三终端解密返回的第三损失值和历史损失值；

计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；

若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。。

进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的联邦建模程序，还执行以下步骤：

所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；

依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：

若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；

所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一终端的本地梯度，且在更新完成后，返回执行步骤：第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密；

所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二终端的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。

进一步地，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。

进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的联邦建模程序，还执行以下步骤：

所述第三终端接收所述第一终端发送的加密的第三损失值和第三梯度值，并接收所述第二终端发送的加密的第四梯度值；

依据预存的私有密钥对加密的第三损失值、第三梯度值和第四梯度值进行解密，并依据解密后的第三损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型，否则将解密后的第三梯度值返回至所述第一终端，并将解密后的第四梯度值返回至所述第二终端。

进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的联邦建模程序，还执行以下步骤：

所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。

进一步地，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。

本发明基于迁移学习的联邦建模设备的具体实施例与下述基于迁移学习的联邦建模方法的各具体实施例基本相同，在此不作赘述。

参照图2，图2为本发明基于迁移学习的联邦建模方法第一实施例的流程示意图。

步骤S101，第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据第一共同特征向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密；

本实施例中，本方法可联合多方样本数据进行待训练模型的训练，以下以联合两方样本数据为例进行解释说明，其中，一方样本数据为第一样本数据，存储于第一终端中，另一方样本数据为第二样本数据，存储于第二终端中，第一终端与第二终端连接，可传输数据，此外，为保证双方样本数据的私密性，引入第三终端，第三终端中存储有加密所需要的一组公有密钥和私有密钥，且第一终端与第三终端连接，可传输数据，第二终端与第三终端连接，可传输数据。双方样本数据的标注情况包括标注第一样本数据，而不标注第二样本数据、不标注第一样本数据，而标注第二样本数据、第一样本数据和第二样本数据均标注或者第一样本数据和第二样本数据均不标注。

本实施例中，双方样本数据的标注情况为：标注第一样本数据，而不标注第二样本数据时，在对待训练模型进行训练的过程中，第一终端和第二终端分别初始化一个相同维度的特征向量，然后第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据第一共同特征向量确定第一梯度值和第一损失值，即第一梯度值为待训练模型的梯度函数对于第一共同特征向量的梯度，第一损失值为待训练模型的损失函数对于第一共同特征向量的损失，并对第一梯度值和第一损失值进行加密。

具体地，第三终端产生一组公有密钥和私有密钥，并将公有密钥传输至第一终端和第二终端，由第一终端和第二终端分别将公有密钥存储各自的预设存储区域中，第一终端在得到第一梯度值和第一损失值之后，从预设存储区域中获取公有密钥，对依据该公有密钥对第一梯度值和第一损失值进行同态加密，并将加密后的第一梯度值和第一损失值发送至第二终端。其中，加密的方式为同态加密(对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的)，可以在密文的形式下计算，不影响计算得到的结果。需要说明的是，上述共同最优空间可依据第一样本数据与第二样本数据之间的关系得到，第一样本数据与第二样本数据之间的关系包括线性关系和非线性关系。

步骤S102，将加密的第一梯度值和第一损失值，与接收到的第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；

本实施例中，第二终端将第二样本数据的特征向量映射至共同最优空间，得到第二共同特征向量，并依据该第二共同特征向量确定第二梯度值和第二损失值，即第二梯度值为待训练模型的梯度函数对于第二共同特征向量的梯度，第二损失值为待训练模型的损失函数对于第二共同特征向量的损失，且将第二梯度值和第二损失值加密之后发送至第一终端，即获取预存存储区域中的公有密钥，对第二梯度值和第二损失值进行同态加密，并将加密后的第二梯度值和第二损失值发送至第一终端。

第一终端将加密的第一梯度值和第一损失值，与接收到的第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值，即第一终端接收第二终端发送的加密的第二梯度值和第二损失值，并结合加密的第一梯度值和第二梯度值，得到加密的第三梯度值，以及结合加密的第一损失值和第二损失值，得到加密的第三损失值。

进一步地，为进一步地的提高双方数据的安全性，在训练模型的过程中，第一终端和第二终端以间隔预设时间从第三终端中获取一公有密钥，以更新本地存储在预设存储区域中的公有密钥，具体为在第三终端中设置一定时器，在开始训练模型时，定时器开始计时，当定时器的计时达到预设时间时，第三终端生成一组公有密钥和私有密钥，并将公有密钥下发给第一终端和第二终端，且定时器重新开始计时，由第一终端和第二终端更新存储在预设存储区域中的公有密钥。需要说明的是，上述预设时间可由本领域技术人员基于实际情况进行设置，本实施例对此不作具体限定。

步骤S103，将加密的第三损失值和第三梯度值发送至第三终端，并依据第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；

本实施例中，第一终端将加密的第三损失值和第三梯度值发送至第三终端，由第三终端接收第一终端发送的加密的第三损失值和第三梯度值，并获取第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给第一终端，第一终端依据第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛。

具体地，第一终端接收第三终端解密返回的第三损失值和历史损失值，然后计算解密返回的第三损失值和历史损失值之间的差值，并判断该差值是否小于或等于预设阈值，如果该差值小于等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。需要说明的是，上述预设阈值可由本领域技术人员基于实际情况进行设置，本实施例对此不作具体限定。

步骤S104、若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。

本实施例中，如果待训练模型收敛，则以收敛时的模型参数，建立待训练模型。具体实施中，确定待训练模型是否收敛的操作也可以由第三终端执行，具体为第三终端接收第一终端发送的加密的第三损失值，并获取第一终端前一次发送的加密的历史损失值，然后依据预存的私有密钥对加密的第三损失值和历史损失值进行解密，并依据解密后的第三损失值和历史损失值确定待训练模型是否收敛。

进一步地，步骤S102之后，还包括：

步骤a，第二终端将加密的第二梯度值，与接收到的第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的第三终端。

本实施例中，在第一终端执行梯度值和损失值的确定操作时，第二终端将加密的第二梯度值，与接收到的第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的第三终端，即第二终端接收第一终端发送的加密的第一梯度值，并结合加密的第二梯度值，得到加密的第四梯度值。

步骤S103之后，还包括：

步骤b，若待训练模型未收敛，则向第三终端发送梯度更新指令，由第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至第一终端，且将解密后的第四梯度值返回至第二终端；

如果待训练模型未处于收敛，则需要更新第一终端和第二终端的本地梯度，即第一终端向第三终端发送梯度更新指令，由第三终端依据该梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至第一终端，且将解密后的第四梯度值返回至第二终端。

第一终端依据第三终端解密返回的第三梯度值更新第一终端的本地梯度，且在更新完成后，返回执行步骤S101，即第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据第一共同特征向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密，第二终端依据第三终端解密返回的第四梯度值更新第二终端的本地梯度，且在更新完成后，返回执行步骤a，即第二终端将加密的第二梯度值，与接收到的第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。

本实施例中，本发明将双方样本数据映射到共同最优空间，双方得到在共同最优空间中的共同特征向量，并依据各自的共同特征向量确定各自的梯度值和损失值，且拥有标注的样本数据的一方将梯度值和损失值进行加密，然后结合接收到的另一方发送的加密的梯度值和损失值，得到加密的总损失值和总梯度值，并将加密的总损失值传输给第三方，最后依据第三方返回的解密后的总损失值和历史损失值，确定待训练模型是否收敛，如果待训练模型收敛，则以收敛时的模型参数，建立待训练模型，由于对双方需要传输的数据进行加密，且可在加密的形式下进行联合训练，有效的提高各方样本数据的私密性，同时，将各方样本数据映射到同一个共同最优空间，在利用共同样本数据的同时，也可以利用各方独有的样本数据，有效的提高各方样本数据的利用率。

进一步地，参照图3，基于上述第一实施，提出了本发明基于迁移学习的联邦建模方法的第二实施例，与前述实施例的区别在于，基于迁移学习的联邦建模方法还包括：

步骤105，第三终端接收第一终端发送的加密的第三损失值和第三梯度值，并接收第二终端发送的加密的第四梯度值；

本实施例中，第三终端接收第一终端发送的加密的第三损失值和第三梯度值，并接收第二终端发送的加密的第四梯度值，其中，第一终端依据预设存储区域中的公有密钥对第三损失值和第三梯度值进行同态加密之后，传输至第三终端，第二终端依据预设存储区域中的公有密钥对第四梯度值进行同态加密之后，传输至第三终端。

步骤106，依据预存的私有密钥对加密的第三损失值、第三梯度值和第四梯度值进行解密，并依据解密后的第三损失值，确定待训练模型是否收敛；

本实施例中，第三终端在接收到加密的第三损失值、第三梯度值和第四梯度值时，依据预存的私有密钥对加密的第三损失值、第三梯度值和第四梯度值进行解密，并依据解密后的第三损失值，确定待训练模型是否收敛，即获取前一次第一终端发送的加密的历史损失值，并依据预存的私有密钥对加密的历史损失值进行解密，然后依据解密的历史损失值和第三损失值，确定待训练模型是否收敛，具体为计算解密的历史损失值和第三损失值的差值，并判断该差值是否小于或等于预设阈值，如果该差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型未收敛。

步骤S107，若待训练模型收敛，则以收敛时的模型参数，建立待训练模型，否则将解密后的第三梯度值返回至第一终端，并将解密后的第四梯度值返回至第二终端。

本实施例中，如果待训练模型处于收敛，则第三终端以收敛时的模型参数，建立待训练模型，否则将解密后的第三梯度值返回至第一终端，并将解密后的第四梯度值返回至第二终端，由第一终端依据第三终端解密返回的第三梯度值更新本地梯度，并按照更新后的本地梯度继续执行训练，由第二终端依据第三终端解密返回的第四梯度值更新本地梯度，并按照更新后的本地梯度继续执行训练。

本实施例中，本发明例将模型收敛的判断操作部署于第三终端，可以减少第二终端或第三终端的资源占用，同时提高第三终端的资源利用率。

此外，本发明实施例还提出一种可读存储介质，所述可读存储介质上存储有基于迁移学习的联邦建模程序，所述基于迁移学习的联邦建模程序被处理器执行时，执行以下步骤：

第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；

将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；

将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。

进一步地，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。

进一步地，所述基于迁移学习的联邦建模程序被处理器执行时，还执行以下步骤：

接收所述第三终端解密返回的第三损失值和历史损失值；

计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；

若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。

进一步地，所述基于迁移学习的联邦建模程序被处理器执行时，还执行以下步骤：

所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；

依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：

若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；

所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一终端的本地梯度，且在更新完成后，返回执行步骤：第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密；

所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二终端的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。

进一步地，所述基于迁移学习的联邦建模程序被处理器执行时，还执行以下步骤：

所述第三终端接收所述第一终端发送的加密的第三损失值和第三梯度值，并接收所述第二终端发送的加密的第四梯度值；

依据预存的私有密钥对加密的第三损失值、第三梯度值和第四梯度值进行解密，并依据解密后的第三损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型，否则将解密后的第三梯度值返回至所述第一终端，并将解密后的第四梯度值返回至所述第二终端。

进一步地，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。

进一步地，所述基于迁移学习的联邦建模程序被处理器执行时，还执行以下步骤：

所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。

进一步地，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。

本发明可读存储介质的具体实施例与上述基于迁移学习的联邦建模方法各实施例基本相同，在此不作赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于迁移学习的联邦建模方法，其特征在于，所述基于迁移学习的联邦建模方法包括以下步骤：

第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；

将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；

将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。

2.如权利要求1所述的基于迁移学习的联邦建模方法，其特征在于，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。

3.如权利要求2所述的基于迁移学习的联邦建模方法，其特征在于，依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤包括：

接收所述第三终端解密返回的第三损失值和历史损失值；

计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；

若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。

4.如权利要求1所述的基于迁移学习的联邦建模方法，其特征在于，所述将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值的步骤之后，还包括：

所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；

依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：

若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；

所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一终端的本地梯度，且在更新完成后，返回执行步骤：第一终端将标注的第一样本数据的特征向量映射至共同最优空间，得到第一共同特征向量，并依据所述第一共同特征向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密；

所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二终端的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。

5.如权利要求4所述的基于迁移学习的联邦建模方法，其特征在于，所述基于迁移学习的联邦建模方法还包括：

所述第三终端接收所述第一终端发送的加密的第三损失值和第三梯度值，并接收所述第二终端发送的加密的第四梯度值；

依据预存的私有密钥对加密的第三损失值、第三梯度值和第四梯度值进行解密，并依据解密后的第三损失值，确定待训练模型是否收敛；

若待训练模型收敛，则以收敛时的模型参数，建立待训练模型，否则将解密后的第三梯度值返回至所述第一终端，并将解密后的第四梯度值返回至所述第二终端。

6.如权利要求1-5中任一项所述的基于迁移学习的联邦建模方法，其特征在于，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。

7.如权利要求6所述的基于迁移学习的联邦建模方法，其特征在于，对所述第一梯度值和所述第一损失值加密的步骤包括：

所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。

8.如权利要求6所述的基于迁移学习的联邦建模方法，其特征在于，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。

9.一种基于迁移学习的联邦建模设备，其特征在于，所述基于迁移学习的联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于迁移学习的联邦建模程序，所述基于迁移学习的联邦建模程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于迁移学习的联邦建模方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有基于迁移学习的联邦建模程序，所述基于迁移学习的联邦建模程序被处理器执行时实现如权利要求1至8中任一项所述的基于迁移学习的联邦建模方法的步骤。