CN109165725A - 基于迁移学习的神经网络联邦建模方法、设备及存储介质 - Google Patents

基于迁移学习的神经网络联邦建模方法、设备及存储介质 Download PDF

Info

Publication number
CN109165725A
CN109165725A CN201810913188.7A CN201810913188A CN109165725A CN 109165725 A CN109165725 A CN 109165725A CN 201810913188 A CN201810913188 A CN 201810913188A CN 109165725 A CN109165725 A CN 109165725A
Authority
CN
China
Prior art keywords
terminal
gradient value
penalty values
encryption
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810913188.7A
Other languages
English (en)
Other versions
CN109165725B (zh
Inventor
刘洋
杨强
成柯葳
范涛
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201810913188.7A priority Critical patent/CN109165725B/zh
Publication of CN109165725A publication Critical patent/CN109165725A/zh
Priority to PCT/CN2019/078522 priority patent/WO2020029585A1/zh
Application granted granted Critical
Publication of CN109165725B publication Critical patent/CN109165725B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于迁移学习的神经网络联邦建模方法、设备及存储介质，该方法包括：第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据第一神经网络向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密；将加密的第一梯度值和第一损失值，与接收到的第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；将加密的第三损失值和第三梯度值发送至第三终端，并依据第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。本发明能够提高各方样本数据的私密性和利用率。

Description

基于迁移学习的神经网络联邦建模方法、设备及存储介质
技术领域
本发明涉及机器学习的技术领域，尤其涉及一种基于迁移学习的神经网络联邦建模方法、设备及存储介质。
背景技术
随着机器学习的快速发展，机器学习可应用于各个领域，如数据挖掘、计算机视觉、自然语言处理、生物特征识别、医学诊断、检测信用卡欺诈、证券市场分析和DNA序列测序等。机器学习包括学习部分和执行部分，学习部分利用样本数据修改系统的知识库，以增进系统执行部分完成任务的效能，执行部分根据知识库完成任务，同时把获得的信息反馈给学习部分。
目前，由于各方的样本数据具有密切联系，如果机器学习仅使用一方的样本数据，则学习得到的模型不准确，为解决上述问题，通过联合各方的样本数据，应用逻辑回归或决策树等单层简单模型进行机器学习。然而，由于需要联合各方的样本数据，存在一方的样本数据被另一方知晓的情况，此外，目前的联合学习主要依托于共同样本数据，而各方的共同样本数据是有限的，使得各方独有的样本数据无法被有效利用。
因此，如何提高各方样本数据的私密性和利用率是目前亟待解决的问题。
发明内容
本发明的主要目的在于提供一种基于迁移学习的神经网络联邦建模方法、设备及存储介质，旨在提高各方样本数据的私密性和利用率。
为实现上述目的，本发明提供一种基于迁移学习的神经网络联邦建模方法，所述基于迁移学习的神经网络联邦建模方法包括以下步骤：
第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值，其中，第二终端将第二样本数据输入至所述第二神经网络，得到第二神经网络向量，并依据所述第一神经网络向量确定第二梯度值和第二损失值，且将所述第二梯度值和所述第二损失值加密之后，传输至所述第一终端，所述第一神经网络向量与所述第二神经网络向量的特征维度相同；
将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；
若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。
进一步地，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。
进一步地，依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤包括：
接收所述第三终端解密返回的第三损失值和历史损失值；
计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；
若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。
进一步地，所述将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值的步骤之后，还包括：
所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；
依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：
若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；
所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一神经网络的本地梯度，且在更新完成后，返回执行步骤：第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二神经网络的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。
进一步地，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。
进一步地，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。
进一步地，对所述第一梯度值和所述第一损失值加密的步骤包括：
所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。
进一步地，所述基于迁移学习的神经网络联邦建模方法还包括：
当检测到初始权值的配置指令时，统计所述第一神经网络中的突触个数，并调用预设随机数生成器，生成与所述突触个数对应的一组随机数；
依据生成的一组随机数，配置所述第一神经网络中各突触的初始权值。
此外，为实现上述目的，本发明还提供一种基于迁移学习的神经网络联邦建模设备，所述基于迁移学习的神经网络联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于迁移学习的神经网络联邦建模程序，所述基于迁移学习的神经网络联邦建模程序被所述处理器执行时实现如上所述的基于迁移学习的神经网络联邦建模方法的步骤。
本发明还提供一种存储介质，所述存储介质上存储有基于迁移学习的神经网络联邦建模程序，所述基于迁移学习的神经网络联邦建模程序被处理器执行时实现如上所述的基于迁移学习的神经网络联邦建模方法的步骤。
本发明提供一种基于迁移学习的神经网络联邦建模方法、设备及存储介质，本发明将两方样本数据的特征向量分别输入两个神经网络，两方对应得到两个特征维度相同的神经网络向量，并依据各自的特征维度相同的神经网络向量得到各自的梯度值和损失值，且其中一方将梯度值和损失值进行加密，然后结合接收到的另一方发送的加密的梯度值和损失值，得到加密的总损失值和总梯度值，并将加密的总损失值传输给第三方，最后依据第三方返回的解密后的总损失值和历史损失值，确定待训练模型是否收敛，如果待训练模型收敛，则以收敛时的模型参数，建立待训练模型，由于对双方需要传输的数据进行加密，且可在加密的形式下进行联合训练，有效的提高各方样本数据的私密性，同时，联合各方的多层神经网络进行机器学习，可有效的利用各方的样本数据，提高各方样本数据的利用率。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
图2为本发明基于迁移学习的神经网络联邦建模方法第一实施例的流程示意图；
图3为本发明基于迁移学习的神经网络联邦建模方法第二实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
本发明实施例基于迁移学习的神经网络联邦建模设备可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。
如图1所示，该基于迁移学习的神经网络联邦建模设备可以包括：处理器1001，例如CPU，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选的用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的基于迁移学习的神经网络联邦建模设备结构并不构成对基于迁移学习的神经网络联邦建模设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于迁移学习的神经网络联邦建模程序。
在图1所示的基于迁移学习的神经网络联邦建模设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的基于迁移学习的神经网络联邦建模程序，并执行以下步骤：
第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值，其中，第二终端将第二样本数据输入至所述第二神经网络，得到第二神经网络向量，并依据所述第一神经网络向量确定第二梯度值和第二损失值，且将所述第二梯度值和所述第二损失值加密之后，传输至所述第一终端，所述第一神经网络向量与所述第二神经网络向量的特征维度相同；
将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；
若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。
进一步地，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。
进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的神经网络联邦建模程序，还执行以下步骤：
接收所述第三终端解密返回的第三损失值和历史损失值；
计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；
若所述差值小于或等于预设阈值，则确定待训练模型处于收敛状态，否则确定待训练模型不处于收敛状态。
进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的神经网络联邦建模程序，还执行以下步骤：
所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；
依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：
若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；
所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一神经网络的本地梯度，且在更新完成后，返回执行步骤：第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二神经网络的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。
进一步地，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。
进一步地，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。
进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的神经网络联邦建模程序，还执行以下步骤：
所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。
进一步地，处理器1001可以用于调用存储器1005中存储的基于迁移学习的神经网络联邦建模程序，还执行以下步骤：
当检测到初始权值的配置指令时，统计所述第一神经网络中的突触个数，并调用预设随机数生成器，生成与所述突触个数对应的一组随机数；
依据生成的一组随机数，配置所述第一神经网络中各突触的初始权值。
本发明基于迁移学习的神经网络联邦建模设备的具体实施例与下述基于迁移学习的神经网络联邦建模方法的各具体实施例基本相同，在此不作赘述。
参照图2，图2为本发明基于迁移学习的神经网络联邦建模方法第一实施例的流程示意图。
步骤S101，第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据第一神经网络向量确定第一梯度值和第一损失值，且对第一梯度值和第一损失值加密；
本实施例中，本发明可联合多方样本数据进行待训练模型的训练，以下以联合两方样本数据为例进行解释说明，其中，一方样本数据为第一样本数据，存储于第一终端中，且第一神经网络部署于第一终端，另一方样本数据为第二样本数据，存储于第二终端中，且第二神经网络部署于第二终端，第一终端与第二终端连接，可传输数据，此外，为保证双方样本数据的私密性，引入第三终端，第三终端中存储有加密所需要的一组公有密钥和私有密钥，且第一终端与第三终端连接，可传输数据，第二终端与第三终端连接，可传输数据。双方样本数据的标注情况包括标注第一样本数据，而不标注第二样本数据、不标注第一样本数据，而标注第二样本数据、第一样本数据和第二样本数据均标注或者第一样本数据和第二样本数据均不标注。需要说明的是，本实施例中对双方样本数据的标注情况不做具体限定。需要说明的是，第一神经网络和第二神经网络的网络参数可由本领域技术人员基于实际情况基于实际情况进行设置，本实施例对此不作具体限定。其中，网络参数包括但不限于各层网络节点个数、隐含层数、各突触的初始权值、学习率、动态参数、允许误差、迭代次数和激活函数。
本实施例中，在对待训练模型进行训练的过程中，第一终端将第一样本数据输入至第一神经网络，到达第一神经网络的最后一层时，得到第一样本数据的特征表达，即第一神经网络向量，并依据该第一神经网络向量确定第一梯度值和第一损失值，即第一梯度值为待训练模型的梯度函数对于第一共同特征向量的梯度，第一损失值为待训练模型的损失函数对于第一共同特征向量的损失，并对第一梯度值和第一损失值进行加密。
具体地，第三终端产生一组公有密钥和私有密钥，并将公有密钥传输至第一终端和第二终端，由第一终端和第二终端分别将公有密钥存储各自的预设存储区域中，第一终端在得到第一梯度值和第一损失值之后，从预设存储区域中获取公有密钥，对依据该公有密钥对第一梯度值和第一损失值进行同态加密，并将加密后的第一梯度值和第一损失值发送至第二终端。其中，加密的方式为同态加密(对经过同态加密的数据进行处理得到一个输出，将这一输出进行解密，其结果与用同一方法处理未加密的原始数据得到的输出结果是一样的)，可以在密文的形式下计算，不影响计算得到的结果。
步骤S102，将加密的第一梯度值和第一损失值，与接收到的第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值；
本实施例中，第二终端将第二样本数据输入至第二神经网络进行迭代，到达第二神经网络的最后一层时，得到第二样本数据的特征表达，即第二神经网络向量，并依据第一神经网络向量确定第二梯度值和第二损失值，即第二梯度值为待训练模型的梯度函数对于第二共同特征向量的梯度，第二损失值为待训练模型的损失函数对于第二共同特征向量的损失，且将第二梯度值和第二损失值加密之后发送至第一终端，即获取预存存储区域中的公有密钥，对第二梯度值和第二损失值进行同态加密，并将加密后的第二梯度值和第二损失值发送至第一终端。其中，第一神经网络向量与第二神经网络向量的特征维度相同。
第一终端将加密的第一梯度值和第一损失值，与接收到的第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值，即第一终端接收第二终端发送的加密的第二梯度值和第二损失值，并结合加密的第一梯度值和第二梯度值，得到加密的第三梯度值，以及结合加密的第一损失值和第二损失值，得到加密的第三损失值。
进一步地，为进一步地的提高双方数据的安全性，在训练模型的过程中，第一终端和第二终端以间隔预设时间从第三终端中获取一公有密钥，以更新本地存储在预设存储区域中的公有密钥，具体为在第三终端中设置一定时器，在开始训练模型时，定时器开始计时，当定时器的计时达到预设时间时，第三终端生成一组公有密钥和私有密钥，并将公有密钥下发给第一终端和第二终端，且定时器重新开始计时，由第一终端和第二终端更新存储在预设存储区域中的公有密钥。需要说明的是，上述预设时间可由本领域技术人员基于实际情况进行设置，本实施例对此不作具体限定。
步骤S103，将加密的第三损失值和第三梯度值发送至第三终端，并依据第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；
本实施例中，第一终端将加密的第三损失值和第三梯度值发送至第三终端，由第三终端接收第一终端发送的加密的第三损失值和第三梯度值，并获取第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给第一终端，第一终端依据第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；
具体地，第一终端接收第三终端解密返回的第三损失值和历史损失值，然后计算解密返回的第三损失值和历史损失值之间的差值，并判断该差值是否小于或等于预设阈值，如果该差值小于等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。需要说明的是，上述预设阈值可由本领域技术人员基于实际情况进行设置，本实施例对此不作具体限定。
步骤S104、若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。
本实施例中，如果待训练模型收敛，则以收敛时的模型参数，建立待训练模型。具体实施中，确定待训练模型是否收敛的操作也可以由第三终端执行，具体为第三终端接收第一终端发送的加密的第三损失值，并获取第一终端前一次发送的加密的历史损失值，然后依据预存的私有密钥对加密的第三损失值和历史损失值进行解密，并依据解密后的第三损失值和历史损失值确定待训练模型是否收敛，将模型收敛的判断操作部署于第三终端，可以减少第二终端或第三终端的资源占用，同时提高第三终端的资源利用率。
进一步地，步骤S102之后，还包括：
步骤a，第二终端将加密的第二梯度值，与接收到的第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的第三终端；
本实施例中，在第一终端执行梯度值和损失值的确定操作时，第二终端将加密的第二梯度值，与接收到的第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的第三终端，即第二终端接收第一终端发送的加密的第一梯度值，并结合加密的第二梯度值，得到加密的第四梯度值。
步骤S103之后，还包括：
步骤b，若待训练模型未收敛，则向第三终端发送梯度更新指令，由第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至第二终端；
如果待训练模型未处于收敛，则需要更新第一神经网络和第二神经网络的本地梯度，即第一终端向第三终端发送梯度更新指令，由第三终端依据该梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至第一终端，且将解密后的第四梯度值返回至第二终端。
第一终端依据第三终端解密返回的第三梯度值更新第一神经网络的本地梯度，且在更新完成后，返回执行步骤S101，即第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密。
第二终端依据第三终端解密返回的第四梯度值更新第二神经网络的本地梯度，且在更新完成后，返回执行步骤a，即第二终端将加密的第二梯度值，与接收到的第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的第三终端。
具体实施中，如果第一神经网络和第二神经网络中标记的神经网络层以后的神经网络层结构完全相同，则第一终端将第一神经网络的权重参数值WA经加密之后传输给第二终端，而第二终端将第二神经网络的权重参数值WB传输给第一终端，由第一终端依据加密的权重参数值WA和WB对第一神经网络进行训练，直至收敛，由第二终端依据加密的权重参数值WA和WB对第二神经网络进行训练，直至收敛，在第一神经网络和第二神经网络均收敛时，依据收敛状态下的权重参数值WA和WB建立待训练模型。
本实施例中，本发明将两方样本数据的特征向量分别输入两个神经网络，两方对应得到两个特征维度相同的神经网络向量，并依据各自的特征维度相同的神经网络向量得到各自的梯度值和损失值，且其中一方将梯度值和损失值进行加密，然后结合接收到的另一方发送的加密的梯度值和损失值，得到加密的总损失值和总梯度值，并将加密的总损失值传输给第三方，最后依据第三方返回的解密后的总损失值和历史损失值，确定待训练模型是否收敛，如果待训练模型收敛，则以收敛时的模型参数，建立待训练模型，由于对双方需要传输的数据进行加密，且可在加密的形式下进行联合训练，有效的提高各方样本数据的私密性，同时，联合各方的多层神经网络进行机器学习，可有效的利用各方的样本数据，提高各方样本数据的利用率。
进一步地，参照图3，基于上述第一,实施例，提出了本发明基于迁移学习的神经网络联邦建模方法的第二实施例，与前述实施例的区别在于，基于迁移学习的神经网络联邦建模方法还包括：
步骤105，当检测到初始权值的配置指令时，统计第一神经网络中的突触个数，并调用预设随机数生成器，生成与突触个数对应的一组随机数；
本实施例中，在对待训练模型进行训练之前，需要配置待训练模型中各突触的初始权值，则当检测到初始权值的配置指令时，第一终端统计第一神经网络中的突触个数，并调用预设随机数生成器，生成与突触个数对应的一组随机数，同时第二终端统计第二神经网络中的突触个数，并调用预设随机数生成器，生成与突触个数对应的另一组随机数。需要说明的是，上述随机数的取值范围可由本领域技术人员基于实际情况进行设置，本实施例对此不作具体限定，优选地，随机数的取值范围为-0.5～+0.5。
步骤106，依据生成的一组随机数，配置第一神经网络中各突触的初始权值。
本实施例中，第一终端依据生成的一组随机数，配置第一神经网络中各突触的初始权值，即依据生成的一组随机数的大小顺序，从生成的一组随机数中依次选择一随机数作为初始权值，配置给第一神经网络中的一突触；第二终端依据生成的另一组随机数，配置第二神经网络中各突触的初始权值，即依据生成的另一组随机数的大小顺序，从生成的另一组随机数中依次选择一随机数作为初始权值，配置给第二神经网络中的一突触，其中，每个突触配置一次初始权值。
本实施例中，本发明利用随机数生成器，给待训练模型中第一神经网络和第二神经网络的各突触配置随机的初始权值，防止各突触的初始权值相同，导致训练过程中各突触的权值始终保持相等，有效的提高训练得到模型的准确性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于迁移学习的神经网络联邦建模程序，所述基于迁移学习的神经网络联邦建模程序被处理器执行时，执行以下步骤：
第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值，其中，第二终端将第二样本数据输入至所述第二神经网络，得到第二神经网络向量，并依据所述第一神经网络向量确定第二梯度值和第二损失值，且将所述第二梯度值和所述第二损失值加密之后，传输至所述第一终端，所述第一神经网络向量与所述第二神经网络向量的特征维度相同；
将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；
若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。
进一步地，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。
进一步地，所述基于迁移学习的神经网络联邦建模程序被处理器执行时，还执行以下步骤：
接收所述第三终端解密返回的第三损失值和历史损失值；
计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；
若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。
进一步地，所述基于迁移学习的神经网络联邦建模程序被处理器执行时，还执行以下步骤：
所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；
依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：
若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；
所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一神经网络的本地梯度，且在更新完成后，返回执行步骤：第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二神经网络的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。
进一步地，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。
进一步地，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。
进一步地，所述基于迁移学习的神经网络联邦建模程序被处理器执行时，还执行以下步骤：
所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。
进一步地，所述基于迁移学习的神经网络联邦建模程序被处理器执行时，还执行以下步骤：
当检测到初始权值的配置指令时，统计所述第一神经网络中的突触个数，并调用预设随机数生成器，生成与所述突触个数对应的一组随机数；
依据生成的一组随机数，配置所述第一神经网络中各突触的初始权值。
本发明存储介质的具体实施例与上述基于迁移学习的神经网络联邦建模方法各实施例基本相同，在此不作赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于迁移学习的神经网络联邦建模方法，其特征在于，所述基于迁移学习的神经网络联邦建模方法包括以下步骤：
第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值，其中，第二终端将第二样本数据输入至所述第二神经网络，得到第二神经网络向量，并依据所述第一神经网络向量确定第二梯度值和第二损失值，且将所述第二梯度值和所述第二损失值加密之后，传输至所述第一终端，所述第一神经网络向量与所述第二神经网络向量的特征维度相同；
将加密的第三损失值和第三梯度值发送至第三终端，并依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛；
若待训练模型收敛，则以收敛时的模型参数，建立待训练模型。
2.如权利要求1所述的基于迁移学习的神经网络联邦建模方法，其特征在于，当所述第三终端接收到所述第一终端发送的加密的第三损失值时，获取所述第一终端前一次发送的加密的历史损失值，并依据预存的私有密钥对加密的第三损失值、历史损失值和第三梯度值进行解密，且将解密后的第三损失值、历史损失值和第三梯度值返回给所述第一终端。
3.如权利要求2所述的基于迁移学习的神经网络联邦建模方法，其特征在于，依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤包括：
接收所述第三终端解密返回的第三损失值和历史损失值；
计算解密返回的第三损失值和历史损失值之间的差值，并判断所述差值是否小于或等于预设阈值；
若所述差值小于或等于预设阈值，则确定待训练模型收敛，否则确定待训练模型不收敛。
4.如权利要求1-3中任一项所述的基于迁移学习的神经网络联邦建模方法，其特征在于，所述将加密的第一梯度值和第一损失值，与接收到的所述第二终端发送的加密的第二梯度值和第二损失值结合，得到加密的第三损失值和第三梯度值的步骤之后，还包括：
所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端；
依据所述第三终端解密返回的第三损失值和历史损失值，确定待训练模型是否收敛的步骤之后，还包括：
若待训练模型未收敛，则向所述第三终端发送梯度更新指令，由所述第三终端依据梯度更新指令对加密的第三梯度值和第四梯度值进行解密，并将解密后的第三梯度值返回至所述第一终端，且将解密后的第四梯度值返回至所述第二终端；
所述第一终端依据所述第三终端解密返回的第三梯度值更新所述第一神经网络的本地梯度，且在更新完成后，返回执行步骤：第一终端将第一样本数据的特征向量输入至第一神经网络，得到第一神经网络向量，并依据所述第一神经网络向量确定第一梯度值和第一损失值，且对所述第一梯度值和所述第一损失值加密；
所述第二终端依据所述第三终端解密返回的第四梯度值更新所述第二神经网络的本地梯度，且在更新完成后，返回执行步骤：所述第二终端将加密的第二梯度值，与接收到的所述第一终端发送的加密的第一梯度值结合，得到加密的第四梯度值，并将加密的第四梯度值发送的所述第三终端。
5.如权利要求1-3中任一项所述的基于迁移学习的神经网络联邦建模方法，其特征在于，所述第三终端产生一组公有密钥和私有密钥，并将所述公有密钥传输至所述第一终端和所述第二终端，由所述第一终端和所述第二终端分别将所述公有密钥存储各自的预设存储区域中。
6.如权利要求5所述的基于迁移学习的神经网络联邦建模方法，其特征在于，所述第三终端以间隔预设时间生成一组公有密钥和私有密钥，并将生成的公有密钥传输至所述第一终端和第二终端，由所述第一终端和第二终端分别依据接收到的公有密钥更新存储在各自预设存储区域中的公有密钥。
7.如权利要求5所述的基于迁移学习的神经网络联邦建模方法，其特征在于，对所述第一梯度值和所述第一损失值加密的步骤包括：
所述第一终端从预设存储区域中获取公有密钥，并依据所述公有密钥对所述第一梯度值和所述第一损失值进行同态加密。
8.如权利要求1-3中任一项所述的基于迁移学习的神经网络联邦建模方法，其特征在于，所述基于迁移学习的神经网络联邦建模方法还包括：
当检测到初始权值的配置指令时，统计所述第一神经网络中的突触个数，并调用预设随机数生成器，生成与所述突触个数对应的一组随机数；
依据生成的一组随机数，配置所述第一神经网络中各突触的初始权值。
9.一种基于迁移学习的神经网络联邦建模设备，其特征在于，所述基于迁移学习的神经网络联邦建模设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于迁移学习的神经网络联邦建模程序，所述基于迁移学习的神经网络联邦建模程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于迁移学习的神经网络联邦建模方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于迁移学习的神经网络联邦建模程序，所述基于迁移学习的神经网络联邦建模程序被处理器执行时实现如权利要求1至8中任一项所述的基于迁移学习的神经网络联邦建模方法的步骤。
CN201810913188.7A 2018-08-10 2018-08-10 基于迁移学习的神经网络联邦建模方法、设备及存储介质 Active CN109165725B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810913188.7A CN109165725B (zh) 2018-08-10 2018-08-10 基于迁移学习的神经网络联邦建模方法、设备及存储介质
PCT/CN2019/078522 WO2020029585A1 (zh) 2018-08-10 2019-03-18 基于迁移学习的神经网络联邦建模方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810913188.7A CN109165725B (zh) 2018-08-10 2018-08-10 基于迁移学习的神经网络联邦建模方法、设备及存储介质

Publications (2)

Publication Number Publication Date
CN109165725A true CN109165725A (zh) 2019-01-08
CN109165725B CN109165725B (zh) 2022-03-29

Family

ID=64895593

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810913188.7A Active CN109165725B (zh) 2018-08-10 2018-08-10 基于迁移学习的神经网络联邦建模方法、设备及存储介质

Country Status (2)

Country Link
CN (1) CN109165725B (zh)
WO (1) WO2020029585A1 (zh)

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、系统、设备及计算机可读存储介质
CN109902742A (zh) * 2019-02-28 2019-06-18 深圳前海微众银行股份有限公司 基于加密迁移学习的样本补全方法、终端、系统及介质
CN110175283A (zh) * 2019-05-10 2019-08-27 深圳前海微众银行股份有限公司 一种推荐模型的生成方法及装置
CN110263908A (zh) * 2019-06-20 2019-09-20 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110414631A (zh) * 2019-01-29 2019-11-05 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110443416A (zh) * 2019-07-30 2019-11-12 卓尔智联(武汉)研究院有限公司 基于共享数据的联邦建模装置、方法及可读存储介质
CN110610140A (zh) * 2019-08-23 2019-12-24 平安科技（深圳）有限公司 人脸识别模型的训练方法、装置、设备及可读存储介质
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN111126609A (zh) * 2019-12-20 2020-05-08 深圳前海微众银行股份有限公司 基于联邦学习的知识迁移方法、装置、设备及介质
CN111144576A (zh) * 2019-12-13 2020-05-12 支付宝(杭州)信息技术有限公司 模型训练方法、装置和电子设备
CN111178524A (zh) * 2019-12-24 2020-05-19 中国平安人寿保险股份有限公司 基于联邦学习的数据处理方法、装置、设备及介质
CN111210003A (zh) * 2019-12-30 2020-05-29 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN111222646A (zh) * 2019-12-11 2020-06-02 深圳逻辑汇科技有限公司 联邦学习机制的设计方法、装置和存储介质
CN111401277A (zh) * 2020-03-20 2020-07-10 深圳前海微众银行股份有限公司 人脸识别模型更新方法、装置、设备和介质
CN111428265A (zh) * 2020-03-20 2020-07-17 深圳前海微众银行股份有限公司 基于联邦学习的语句质检方法、装置、设备及存储介质
CN111428881A (zh) * 2020-03-20 2020-07-17 深圳前海微众银行股份有限公司 识别模型的训练方法、装置、设备及可读存储介质
CN111582505A (zh) * 2020-05-14 2020-08-25 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
WO2020177392A1 (zh) * 2019-03-01 2020-09-10 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN111737921A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 基于循环神经网络的数据处理方法、设备及介质
CN111800538A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及终端
CN112001502A (zh) * 2020-08-24 2020-11-27 平安科技（深圳）有限公司 高延时网络环境鲁棒的联邦学习训练方法及装置
CN112016632A (zh) * 2020-09-25 2020-12-01 北京百度网讯科技有限公司 模型联合训练方法、装置、设备和存储介质
CN112149706A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112308233A (zh) * 2019-08-02 2021-02-02 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和计算机程序产品
CN112348199A (zh) * 2020-10-30 2021-02-09 河海大学 一种基于联邦学习与多任务学习的模型训练方法
CN112733967A (zh) * 2021-03-30 2021-04-30 腾讯科技（深圳）有限公司 联邦学习的模型训练方法、装置、设备及存储介质
CN113011598A (zh) * 2021-03-17 2021-06-22 深圳技术大学 一种基于区块链的金融数据信息联邦迁移学习方法及装置
WO2021120888A1 (zh) * 2019-12-20 2021-06-24 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN113554476A (zh) * 2020-04-23 2021-10-26 京东数字科技控股有限公司 信用度预测模型的训练方法、系统、电子设备及存储介质
CN113902137A (zh) * 2021-12-06 2022-01-07 腾讯科技（深圳）有限公司 流式模型训练方法、装置、计算机设备及存储介质
CN114257386A (zh) * 2020-09-10 2022-03-29 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质
CN114429223A (zh) * 2022-01-26 2022-05-03 上海富数科技有限公司 异构模型建立方法及装置
WO2022089256A1 (zh) * 2020-10-27 2022-05-05 腾讯科技（深圳）有限公司 联邦神经网络模型的训练方法、装置、设备、计算机程序产品及计算机可读存储介质

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111368314B (zh) * 2020-02-28 2024-08-06 深圳前海微众银行股份有限公司 基于交叉特征的建模、预测方法、装置、设备及存储介质
CN111428887B (zh) * 2020-03-19 2023-05-12 腾讯云计算（北京）有限责任公司 一种基于多个计算节点的模型训练控制方法、装置及系统
CN113449872B (zh) * 2020-03-25 2023-08-08 百度在线网络技术（北京）有限公司 基于联邦学习的参数处理方法、装置和系统
CN111553745A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 基于联邦的模型更新方法、装置、设备及计算机存储介质
CN111882054B (zh) * 2020-05-27 2024-04-12 杭州中奥科技有限公司 对双方加密关系网络数据交叉训练的方法及相关设备
CN111915004B (zh) * 2020-06-17 2024-08-02 北京迈格威科技有限公司 神经网络的训练方法、装置、存储介质及电子设备
CN111724000B (zh) * 2020-06-29 2024-02-09 南方电网科学研究院有限责任公司 一种用户电费回收风险预测方法、装置及系统
CN111783038B (zh) * 2020-06-30 2024-04-12 北京百度网讯科技有限公司 基于智能学习的风险评估方法、装置、设备、系统和介质
CN112085159B (zh) * 2020-07-24 2023-08-15 西安电子科技大学 一种用户标签数据预测系统、方法、装置及电子设备
CN111898769A (zh) * 2020-08-17 2020-11-06 中国银行股份有限公司 基于横向联邦学习的建立用户行为周期模型的方法及系统
CN112231308B (zh) * 2020-10-14 2024-05-03 深圳前海微众银行股份有限公司 横向联邦建模样本数据的去重方法、装置、设备及介质
CN112232518B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种轻量级分布式联邦学习系统及方法
CN112232519B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种基于联邦学习的联合建模方法
CN112257873A (zh) * 2020-11-11 2021-01-22 深圳前海微众银行股份有限公司 机器学习模型的训练方法、装置、系统、设备及存储介质
CN113923225A (zh) * 2020-11-16 2022-01-11 京东科技控股股份有限公司 基于分布式架构的联邦学习平台、方法、设备和存储介质
CN112417478B (zh) * 2020-11-24 2024-06-14 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN112396189B (zh) * 2020-11-27 2023-09-01 中国银联股份有限公司 一种多方构建联邦学习模型的方法及装置
CN112508907B (zh) * 2020-12-02 2024-05-14 平安科技（深圳）有限公司 一种基于联邦学习的ct图像检测方法及相关装置
CN112633146B (zh) * 2020-12-21 2024-03-26 杭州趣链科技有限公司 多姿态人脸性别检测训练优化方法、装置及相关设备
CN113806759B (zh) * 2020-12-28 2024-07-16 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN112860800A (zh) * 2021-02-22 2021-05-28 深圳市星网储区块链有限公司 基于区块链和联邦学习的可信网络应用方法和装置
CN113051586B (zh) * 2021-03-10 2024-05-24 北京沃东天骏信息技术有限公司 联邦建模系统及方法、联邦模型预测方法、介质、设备
CN112862507B (zh) * 2021-03-15 2024-08-02 深圳前海微众银行股份有限公司 网约车司乘纠纷的制止方法、装置、设备、介质以及产品
CN113011603A (zh) * 2021-03-17 2021-06-22 深圳前海微众银行股份有限公司 模型参数更新方法、装置、设备、存储介质及程序产品
CN113269232B (zh) * 2021-04-25 2023-12-08 北京沃东天骏信息技术有限公司 模型训练方法、向量化召回方法、相关设备及存储介质
CN113362160B (zh) * 2021-06-08 2023-08-22 南京信息工程大学 一种用于信用卡反欺诈的联邦学习方法和装置
CN113409134A (zh) * 2021-06-30 2021-09-17 中国工商银行股份有限公司 基于联邦学习的企业融资授信方法及装置
CN113537512B (zh) * 2021-07-15 2024-03-15 卡奥斯工业智能研究院(青岛)有限公司 基于联邦学习的模型训练方法、装置、系统、设备和介质
CN113536770B (zh) * 2021-09-09 2021-11-30 平安科技（深圳）有限公司 基于人工智能的文本解析方法、装置、设备及存储介质
CN116415267A (zh) * 2021-12-30 2023-07-11 新智我来网络科技有限公司 一种联合学习模型迭代更新方法、装置、系统及存储介质
CN114595835B (zh) * 2022-05-07 2022-07-22 腾讯科技（深圳）有限公司 基于联邦学习的模型训练方法及装置、设备、存储介质
WO2024007189A1 (en) * 2022-07-06 2024-01-11 Nokia Shanghai Bell Co., Ltd. Scalable and quick waveform learning in multi-user communication system
CN116633704B (zh) * 2023-07-25 2023-10-31 北京数牍科技有限公司 图计算方法和装置
CN117278540B (zh) * 2023-11-23 2024-02-13 中国人民解放军国防科技大学 自适应边缘联邦学习客户端调度方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110317689A1 (en) * 2010-06-25 2011-12-29 Acme Packet, Inc. Service Path Routing Between Session Border Controllers
CN103081432A (zh) * 2010-03-02 2013-05-01 交互数字专利控股公司 可信硬件订阅模块间证书和/或域的迁移
CN107610709A (zh) * 2017-08-01 2018-01-19 百度在线网络技术（北京）有限公司 一种训练声纹识别模型的方法及系统
CN107871160A (zh) * 2016-09-26 2018-04-03 谷歌公司 通信高效联合学习
CN108182427A (zh) * 2018-01-30 2018-06-19 电子科技大学 一种基于深度学习模型和迁移学习的人脸识别方法
CN108197670A (zh) * 2018-01-31 2018-06-22 国信优易数据有限公司 伪标签生成模型训练方法、装置及伪标签生成方法及装置
CN108229646A (zh) * 2017-08-08 2018-06-29 北京市商汤科技开发有限公司 神经网络模型压缩方法、装置、存储介质和电子设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105760932B (zh) * 2016-02-17 2018-04-06 第四范式（北京）技术有限公司 数据交换方法、数据交换装置及计算装置
FR3057090B1 (fr) * 2016-09-30 2018-10-19 Safran Identity & Security Procedes d'apprentissage securise de parametres d'un reseau de neurones a convolution, et de classification securisee d'une donnee d'entree
CN107704930B (zh) * 2017-09-25 2021-02-26 创新先进技术有限公司 基于共享数据的建模方法、装置、系统及电子设备
CN108259158B (zh) * 2018-01-11 2021-03-23 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN109255444B (zh) * 2018-08-10 2022-03-29 深圳前海微众银行股份有限公司 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109165725B (zh) * 2018-08-10 2022-03-29 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109325584B (zh) * 2018-08-10 2021-06-25 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103081432A (zh) * 2010-03-02 2013-05-01 交互数字专利控股公司 可信硬件订阅模块间证书和/或域的迁移
US20110317689A1 (en) * 2010-06-25 2011-12-29 Acme Packet, Inc. Service Path Routing Between Session Border Controllers
CN107871160A (zh) * 2016-09-26 2018-04-03 谷歌公司 通信高效联合学习
CN107610709A (zh) * 2017-08-01 2018-01-19 百度在线网络技术（北京）有限公司 一种训练声纹识别模型的方法及系统
CN108229646A (zh) * 2017-08-08 2018-06-29 北京市商汤科技开发有限公司 神经网络模型压缩方法、装置、存储介质和电子设备
CN108182427A (zh) * 2018-01-30 2018-06-19 电子科技大学 一种基于深度学习模型和迁移学习的人脸识别方法
CN108197670A (zh) * 2018-01-31 2018-06-22 国信优易数据有限公司 伪标签生成模型训练方法、装置及伪标签生成方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
STEPHEN HARDY等: "Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption", 《ARXIV:1711.10766V1》 *
吴冬茵等: "基于深度表示学习和高斯过程迁移学习的情感分析方法", 《中文信息学报》 *
王红梅等: "分布的缺失数据中保护隐私的贝叶斯网络学习", 《计算机工程》 *

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020029585A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN110414631B (zh) * 2019-01-29 2022-02-01 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN110414631A (zh) * 2019-01-29 2019-11-05 腾讯科技（深圳）有限公司 基于医学图像的病灶检测方法、模型训练的方法及装置
CN109871702A (zh) * 2019-02-18 2019-06-11 深圳前海微众银行股份有限公司 联邦模型训练方法、系统、设备及计算机可读存储介质
CN109902742A (zh) * 2019-02-28 2019-06-18 深圳前海微众银行股份有限公司 基于加密迁移学习的样本补全方法、终端、系统及介质
CN109902742B (zh) * 2019-02-28 2021-07-16 深圳前海微众银行股份有限公司 基于加密迁移学习的样本补全方法、终端、系统及介质
WO2020177392A1 (zh) * 2019-03-01 2020-09-10 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN111800538B (zh) * 2019-04-09 2022-01-25 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及终端
CN111800538A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 信息处理方法、装置、存储介质及终端
CN110175283B (zh) * 2019-05-10 2021-04-13 深圳前海微众银行股份有限公司 一种推荐模型的生成方法及装置
CN110175283A (zh) * 2019-05-10 2019-08-27 深圳前海微众银行股份有限公司 一种推荐模型的生成方法及装置
CN110263908B (zh) * 2019-06-20 2024-04-02 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN110263908A (zh) * 2019-06-20 2019-09-20 深圳前海微众银行股份有限公司 联邦学习模型训练方法、设备、系统及存储介质
CN112149706A (zh) * 2019-06-28 2020-12-29 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN112149706B (zh) * 2019-06-28 2024-03-15 北京百度网讯科技有限公司 模型训练方法、装置、设备和介质
CN110399742A (zh) * 2019-07-29 2019-11-01 深圳前海微众银行股份有限公司 一种联邦迁移学习模型的训练、预测方法及装置
CN110443416A (zh) * 2019-07-30 2019-11-12 卓尔智联(武汉)研究院有限公司 基于共享数据的联邦建模装置、方法及可读存储介质
CN112308233A (zh) * 2019-08-02 2021-02-02 伊姆西Ip控股有限责任公司 用于处理数据的方法、设备和计算机程序产品
CN110610140B (zh) * 2019-08-23 2024-01-19 平安科技（深圳）有限公司 人脸识别模型的训练方法、装置、设备及可读存储介质
CN110610140A (zh) * 2019-08-23 2019-12-24 平安科技（深圳）有限公司 人脸识别模型的训练方法、装置、设备及可读存储介质
CN111222646A (zh) * 2019-12-11 2020-06-02 深圳逻辑汇科技有限公司 联邦学习机制的设计方法、装置和存储介质
CN111144576A (zh) * 2019-12-13 2020-05-12 支付宝(杭州)信息技术有限公司 模型训练方法、装置和电子设备
CN111126609B (zh) * 2019-12-20 2021-04-23 深圳前海微众银行股份有限公司 基于联邦学习的知识迁移方法、装置、设备及介质
CN111126609A (zh) * 2019-12-20 2020-05-08 深圳前海微众银行股份有限公司 基于联邦学习的知识迁移方法、装置、设备及介质
WO2021120888A1 (zh) * 2019-12-20 2021-06-24 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111178524B (zh) * 2019-12-24 2024-06-14 中国平安人寿保险股份有限公司 基于联邦学习的数据处理方法、装置、设备及介质
CN111178524A (zh) * 2019-12-24 2020-05-19 中国平安人寿保险股份有限公司 基于联邦学习的数据处理方法、装置、设备及介质
CN111210003A (zh) * 2019-12-30 2020-05-29 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
WO2021184836A1 (zh) * 2020-03-20 2021-09-23 深圳前海微众银行股份有限公司 识别模型的训练方法、装置、设备及可读存储介质
CN111401277A (zh) * 2020-03-20 2020-07-10 深圳前海微众银行股份有限公司 人脸识别模型更新方法、装置、设备和介质
CN111428265A (zh) * 2020-03-20 2020-07-17 深圳前海微众银行股份有限公司 基于联邦学习的语句质检方法、装置、设备及存储介质
CN111428881A (zh) * 2020-03-20 2020-07-17 深圳前海微众银行股份有限公司 识别模型的训练方法、装置、设备及可读存储介质
CN113554476A (zh) * 2020-04-23 2021-10-26 京东数字科技控股有限公司 信用度预测模型的训练方法、系统、电子设备及存储介质
CN113554476B (zh) * 2020-04-23 2024-04-19 京东科技控股股份有限公司 信用度预测模型的训练方法、系统、电子设备及存储介质
CN111582505A (zh) * 2020-05-14 2020-08-25 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
CN111737921A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 基于循环神经网络的数据处理方法、设备及介质
CN111737921B (zh) * 2020-06-24 2024-04-26 深圳前海微众银行股份有限公司 基于循环神经网络的数据处理方法、设备及介质
CN112001502B (zh) * 2020-08-24 2022-06-21 平安科技（深圳）有限公司 高延时网络环境鲁棒的联邦学习训练方法及装置
CN112001502A (zh) * 2020-08-24 2020-11-27 平安科技（深圳）有限公司 高延时网络环境鲁棒的联邦学习训练方法及装置
CN114257386A (zh) * 2020-09-10 2022-03-29 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质
CN114257386B (zh) * 2020-09-10 2023-03-21 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质
CN112016632A (zh) * 2020-09-25 2020-12-01 北京百度网讯科技有限公司 模型联合训练方法、装置、设备和存储介质
CN112016632B (zh) * 2020-09-25 2024-04-26 北京百度网讯科技有限公司 模型联合训练方法、装置、设备和存储介质
WO2022089256A1 (zh) * 2020-10-27 2022-05-05 腾讯科技（深圳）有限公司 联邦神经网络模型的训练方法、装置、设备、计算机程序产品及计算机可读存储介质
CN112348199A (zh) * 2020-10-30 2021-02-09 河海大学 一种基于联邦学习与多任务学习的模型训练方法
CN112348199B (zh) * 2020-10-30 2022-08-30 河海大学 一种基于联邦学习与多任务学习的模型训练方法
CN113011598A (zh) * 2021-03-17 2021-06-22 深圳技术大学 一种基于区块链的金融数据信息联邦迁移学习方法及装置
CN112733967A (zh) * 2021-03-30 2021-04-30 腾讯科技（深圳）有限公司 联邦学习的模型训练方法、装置、设备及存储介质
CN112733967B (zh) * 2021-03-30 2021-06-29 腾讯科技（深圳）有限公司 联邦学习的模型训练方法、装置、设备及存储介质
CN113902137A (zh) * 2021-12-06 2022-01-07 腾讯科技（深圳）有限公司 流式模型训练方法、装置、计算机设备及存储介质
CN114429223B (zh) * 2022-01-26 2023-11-07 上海富数科技有限公司 异构模型建立方法及装置
CN114429223A (zh) * 2022-01-26 2022-05-03 上海富数科技有限公司 异构模型建立方法及装置

Also Published As

Publication number Publication date
CN109165725B (zh) 2022-03-29
WO2020029585A1 (zh) 2020-02-13

Similar Documents

Publication Publication Date Title
CN109165725A (zh) 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109255444A (zh) 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109325584A (zh) 基于神经网络的联邦建模方法、设备及可读存储介质
US20210248244A1 (en) Model parameter training method, terminal, and system based on federation learning, and medium
CN110519115A (zh) 网关接口测试方法、终端设备、存储介质及装置
CN104767613B (zh) 签名验证方法、装置及系统
CN109189825A (zh) 横向数据切分联邦学习建模方法、服务器及介质
CN109460966A (zh) 基于请求方类别的合同签订方法、装置及终端设备
CN107851167A (zh) 在计算环境中保护计算数据的技术
CN106487747B (zh) 用户识别方法、系统、装置及处理方法、装置
CN113011632B (zh) 企业风险评估方法、装置、设备及计算机可读存储介质
CN106503589A (zh) 区块链交易信息正确性的校验方法、装置及系统
CN106875518A (zh) 智能锁的控制方法、装置及智能锁
CN109660356A (zh) 数据上链方法、装置、设备及计算机可读存储介质
CN109493204A (zh) 基于区块链的业务记账方法及终端设备
CN104331329B (zh) 支持域管理的移动办公安全系统及方法
CN103828291B (zh) 提供应用服务的方法
CN106211048A (zh) 智能锁的密码开锁方法、装置及系统
CN106779716A (zh) 基于区块链账户地址的认证方法、装置及系统
CN109274672A (zh) 一种用于信息通信设备的移动运维管理及数据交互系统
CN104378388B (zh) 可执行文件运行控制方法及装置
CN110337076A (zh) 短信平台接口测试方法、装置、计算机设备及存储介质
CN109754322A (zh) 一种数据服务系统
CN109902742A (zh) 基于加密迁移学习的样本补全方法、终端、系统及介质
CN107484152A (zh) 终端应用的管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant