CN111046433A - 一种基于联邦学习的模型训练方法 - Google Patents

一种基于联邦学习的模型训练方法 Download PDF

Info

Publication number
CN111046433A
CN111046433A CN201911292212.0A CN201911292212A CN111046433A CN 111046433 A CN111046433 A CN 111046433A CN 201911292212 A CN201911292212 A CN 201911292212A CN 111046433 A CN111046433 A CN 111046433A
Authority
CN
China
Prior art keywords
target type
node
differential privacy
nodes
type node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911292212.0A
Other languages
English (en)
Other versions
CN111046433B (zh
Inventor
王力
陈超超
周俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN201911292212.0A priority Critical patent/CN111046433B/zh
Publication of CN111046433A publication Critical patent/CN111046433A/zh
Application granted granted Critical
Publication of CN111046433B publication Critical patent/CN111046433B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

公开了一种基于联邦学习的模型训练方法。在一次训练迭代中，节点可以通过差分隐私保护操作，实现对梯度的加噪混淆，服务端可以获得加噪混淆后的梯度之和，进行模型参数的更新。

Description

一种基于联邦学习的模型训练方法
技术领域
本说明书实施例涉及信息技术领域，尤其涉及一种基于联邦学习的模型训练方法。
背景技术
联邦学习(Federated machine learning/Federated Learning)，是指一种机器学习框架，能有效帮助多个节点(可以代表个人或机构)在满足数据隐私保护的要求下，联合训练模型。
在联邦学习框架下，服务端下发模型参数给多个节点，每个节点将本地的训练样本输入模型进行一次训练，本次训练结束后，每个节点会基于本次训练结果计算得到的梯度。随后，服务端基于安全聚合(SA，Secure Aggregation)协议，可以计算得到各节点的梯度之和。值得强调的是，服务端收到SA协议的限制，并不能获得单个节点上传的梯度。
如此，既可以使得服务端根据各节点上传的梯度之和调整模型参数，又可以一定程度上实现节点的数据隐私保护。
然而实践中，服务端理论上可以根据各节点上传的梯度之和推断出各节点的数据隐私。
发明内容
为了解决服务端根据各节点上传的梯度之和推断出各节点的数据隐私的技术问题，本说明书实施例提供一种基于联邦学习的模型训练方法，技术方案如下：
根据本说明书实施例的第1方面，提供一种基于联邦学习的模型训练方法，应用于包括服务端与N个节点的联邦学习系统，N＞1，所述方法包括：
在模型训练的第i次迭代中，执行：
所述服务端将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；
第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure BDA0002319567270000021
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
所述服务端获取
Figure BDA0002319567270000022
并基于
Figure BDA0002319567270000023
更新模型参数集合。
根据本说明书实施例的第2方面，提供一种联邦学习系统，包括服务端与N个节点，N＞1；
所述服务端，在模型训练的第i次迭代中，将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；
第j个目标类型节点，根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure BDA0002319567270000024
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
所述服务端，还获取
Figure BDA0002319567270000025
并基于
Figure BDA0002319567270000026
更新模型参数集合。
本说明书实施例所提供的技术方案，在一次训练迭代中，节点可以通过差分隐私保护操作，实现对梯度的加噪混淆，服务端可以获得加噪混淆后的梯度之和，进行模型参数的更新。
由于加噪混淆后的梯度之和中的数据干扰项满足差分隐私保护的敏感度要求，即既可以保护各节点的本地训练样本的差分隐私，又不会破坏加噪混淆后的梯度之和的可用性，因此，这使得服务端既无法通过差分攻击的方式，由加噪混淆后的梯度之和推断出各节点的本地训练数据，又可以根据加噪混淆后的梯度之和更新模型参数。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书实施例。
此外，本说明书实施例中的任一实施例并不需要达到上述的全部效果。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本说明书实施例提供的一种基于联邦学习的模型训练方法的流程示意图；
图2是本说明书实施例提供的一种基于联邦学习的模型训练方法的原理示意图；
图3是本说明书实施例提供的一种联邦学习系统中的服务端的结构示意图；
图4是本说明书实施例提供的一种联邦学习系统中的节点的结构示意图；
图5是用于配置本说明书实施例方法的一种设备的结构示意图。
具体实施方式
在联邦学习框架下，通常由服务端负责根据节点上传的梯度更新模型参数，并将模型参数下发给节点，由节点基于模型参数与本地训练样本计算梯度。为了防止服务端根据节点上传的梯度推断出节点的本地训练样本，一般基于SA协议来实现节点将梯度上传给服务端，使得服务端仅会获取到各节点上传的梯度之和，却无法获取到单个节点上传的梯度。
然而，服务端依然有可能由各节点上传的梯度之和推断出各节点的数据隐私。
申请人发现，实践中通常采用差分攻击的方式来各节点上传的梯度之和推断出各节点的数据隐私。例如，服务端可以比对连续两次训练迭代中的梯度之和，进行差分攻击，推断出各节点的数据隐私。
申请人在构思解决上述技术问题的方案时，想到可以利用差分隐私保护的方式避免差分攻击。具体地，在一次训练迭代中，节点在使用本地训练数据与服务端下发的模型参数计算梯度时，可以通过差分隐私保护操作，实现对梯度的加噪混淆。如此，各节点的加噪混淆后的梯度之和可以防止差分攻击，也可用于对模型参数进行更新。
单个节点在对自己产生的梯度进行加噪混淆时，要考虑到各节点的加噪混淆后的梯度汇总之后，应满足对各节点的本地训练样本整体上的差分隐私保护的敏感度要求，即，各节点的加噪混淆后的梯度之和既能够实现对各节点的本地训练样本的差分隐私保护，又能够不丧失针对模型参数更新的可用性。这意味着，从单个节点的角度看，单个节点对梯度的加噪混淆力度应该较小，如此，各节点的加噪混淆后的梯度汇总起来以后，才能恰好实现对各节点的本地训练样本整体上的差分隐私保护，却不会丧失可用性，实现隐私保护与可用性之间的平衡。
由于单个节点对梯度的加噪混淆力度较小，不足以对单个节点的梯度提供差分隐私保护，需要避免服务端从单个节点上传的加噪混淆后的梯度推断出梯度。因此，在本说明书的一个或多个实施例中，服务单可以基于SA协议获取各节点的加噪混淆后的梯度之和，又不会获取到单个节点的加噪混淆后的梯度。
此外，在本说明书实施例中，也可以采用门限同态加密的方式避免服务端从单个节点上传的加噪混淆后的梯度推断出梯度，详见后文。
为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。
以下结合附图，详细说明本说明书各实施例提供的技术方案。
图1是本说明书实施例提供的一种基于联邦学习的模型训练方法的流程示意图，包括以下步骤：
S100：服务端将模型参数集合下发给Mi个节点。
众所周知，在机器学习领域，一般采用迭代调参的方式来训练模型。步骤S100～S106是训练模型过程中的一次迭代，可以理解，训练模型的过程，实际上是循环执行步骤S100～S106的过程，当模型参数被更新到满足训练停止条件时，就会停止循环。
具体地，可以将训练停止条件设定为：循环执行步骤S100～S114的次数达到指定次数k，或者，一次迭代的损失函数值小于指定值。
为了描述的方便，本文将S100～S106视为第i次迭代执行的步骤。可以理解，如果训练停止条件为循环次数达到指定次数k，则i＝(1,2，…，k)。
图1所示的方法应用于联邦学习系统，联邦学习系统包括服务端与N个节点(即节点设备)，其中，N大于1。
S102：第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij。
本说明书实施例的应用场景主要有两类，一类是服务端to B场景(服务端与至少两个机构进行联合学习)，另一类是服务端to C场景(服务端与至少两个个人用户进行联合学习)。
在服务端to B场景下，节点的数量并不多，在每次迭代中，服务端可以将模型参数集合下发给每个节点进行计算。
在服务端to C场景下，一般会有海量的个人用户参与训练，节点的数量很大，因此，在每次迭代中，服务端为了避免数据处理压力过大，可以选择部分节点下发模型参数结合，仅根据这部分节点反馈的训练效果来更新模型参数集合。
需要说明的是，服务端在每次迭代中选择的节点可以不同，选择的节点数量也可以不同。为了描述的方便，将第i次迭代中选择的节点数量记为Mi。
还需要说明的是，Mi可以小于N，也可以等于N。
此外，由于在后续的步骤S104中，服务端可以基于SA协议获取节点上传的数据，而SA协议中使用了秘密共享技术。对于秘密共享技术，其用于实现在L个节点中秘密共享数据，其需要满足L个节点中T个节点在线。因此，一般需要满足Mi大于等于Ti，Ti为：以在所述Mi个节点中实现秘密共享为目的，所述Mi个节点中处于在线状态的节点的数量的下限值。当秘密共享技术应用于SA协议中时，Ti可以理解为：第i次迭代中，SA协议指定的Mi个节点中处于在线状态的节点的数量的下限值。
在本说明书实施例中，在应用于服务端to C的场景的情况下，服务端向Mi个节点下发模型参数集合之后，由于个人用户的节点设备并不一定总是在线(即不一定总是可以连接到网络，与服务端或其他节点进行数据交互)，而如果某个节点不在线，则服务端并不能获取到该节点反馈的训练效果，因此，针对所述Mi个节点中的任一节点，如果该节点在接收到模型参数集合之后，继续处于在线状态直至第i次迭代结束，则该节点的训练效果才能反馈给服务端。本文为了描述的方便，将所述Mi个节点中能够向服务端反馈训练效果的节点称为目标类型节点。
图1所示的方法流程中，只描述了一次迭代中每个目标类型节点执行的操作，并没有描述非目标类型节点执行的操作。然而，可以理解，对于所述Mi个节点中的非目标类型节点，其在接收到模型参数集合之后，也可以执行类似于S104的操作，只不过无法将执行结果上传给服务端。
此外，在本说明书实施例中，在应用于服务端to B的场景的情况下，由于每个机构的节点设备通常是稳定在线的，因此，所述Mi个节点可以都属于目标类型节点。
在本说明书实施例中，为了描述的方便，假设所述Mi个节点中存在Qi个目标类型节点，Qi≤Mi，并且，针对所述Qi个目标类型节点中第j个目标类型节点进行描述。其中，j＝(1,2，…，Qi)，可以理解，wij是第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作得到的结果。
需要说明的是，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure BDA0002319567270000071
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私。
实际应用中，为了使得加入数据干扰项
Figure BDA0002319567270000072
之后的
Figure BDA0002319567270000073
满足差分隐私的敏感度要求(即既要从整体上保护各节点的本地训练样本的差分隐私，又不能丧失对于模型参数更新计算的可用性)，第j个目标类型节点需要根据敏感度要求来确定kij。
在步骤S102中，可以有以下3种具体实施方式：
1、第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算，得到梯度wij *，并通过差分隐私保护操作，向wij *中加入数据干扰项kij，得到得到wij。
2、第j个目标类型节点通过差分隐私保护操作，向所述模型参数集合加入干扰，并根据干扰后的所述模型参数集合与本地训练样本执行梯度计算，得到wij。
3、第j个目标类型节点通过差分隐私保护操作，向本地训练样本加入干扰，并根据干扰后的本地训练样本与所述模型参数集合执行梯度计算，得到wij。
S104：服务端获取
Figure BDA0002319567270000074
在本说明书实施例中，服务端可以基于SA协议来获取
Figure BDA0002319567270000075
并且，由于受到SA协议的限制，服务端不会获取到第j个目标类型节点的wij。
此外，服务端也可以不基于SA协议，而是基于如下的门限同态加密方式获取
Figure BDA0002319567270000081
步骤1、第j个目标类型节点使用公钥pki对wij进行加密，得到E(wij)并上传给所述服务端。其中，所述Mi个节点基于门限同态加密协议，约定pki以及所述Mi个节点中每个节点的子私钥集合。
门限同态加密协议是指既支持门限加密，又支持同态加密的密码学协议。在门限加密机制中，多个节点约定公钥与私钥，并且，每个节点持有公钥以及私钥拆分出的一部分。本文将私钥拆分出的部分称为子私钥，而节点往往持有不止一个子私钥(即子私钥集合)。
步骤2、所述服务端计算
Figure BDA0002319567270000082
并获取
Figure BDA0002319567270000083
其中，
Figure BDA0002319567270000084
是使用至少Ti个目标类型节点的子私钥集合对
Figure BDA0002319567270000085
进行解密得到的，Ti是第i次迭代中，门限同态加密协议指定的门限值。
在同态加密机制中，
Figure BDA0002319567270000086
等价于
Figure BDA0002319567270000087
对
Figure BDA0002319567270000088
解密之后，可以得到
Figure BDA0002319567270000089
对于上述的步骤2，有以下两种实施方式：
2.1、服务端从所述Qi个目标类型节点中搜集至少Ti个目标类型节点的子私钥集合，将搜集到的子私钥集合拼装成私钥，解密
Figure BDA00023195672700000810
2.2、所述服务端将
Figure BDA00023195672700000811
下发给至少Ti个目标类型节点；针对所述至少Ti个目标类型节点中的每个目标类型节点，该目标类型节点使用自身的子私钥集合解密
Figure BDA00023195672700000812
得到解密结果并上传给所述服务端；所述服务端对所述至少Ti个目标类型节点分别上传的解密结果进行汇总，得到
Figure BDA0002319567270000091
S106：服务端基于
Figure BDA0002319567270000092
更新模型参数集合。
假设本说明书实施例中，为梯度下降法指定的学习率为α，第i次迭代中使用的样本总数为d，将模型参数集合记为θ，则可以采用如下公式更新θ，得到更新后的θ(记为θ’)：
Figure BDA0002319567270000093
此外，在服务端to C的场景下，还需要判断目标类型节点的数量Qi是否达到Ti，如果Qi小于Ti，则各目标类型节点之间将无法基于SA协议向服务端反馈数据，或者，也无法基于门限同态加密协议，解密
Figure BDA0002319567270000094
具体而言，所述服务端若确定Qi≥Ti，则获取
Figure BDA0002319567270000095
所述服务端若确定Qi＜Ti，则停止本次迭代，并进入下一次迭代。
图2是本说明书实施例提供的一种基于联邦学习的模型训练方法的原理示意图。在图2中，示出了包括服务端与3个节点的联邦学习系统。服务端首先将模型参数集合下发给各节点。节点基于模型参数集合和本地训练样本进行模型计算，并基于差分隐私保护技术，对计算得到的梯度进行加噪混淆。服务端可以基于SA协议(或者门限同态加密协议)，获取各节点的加噪混淆后的梯度之和，以便更新模型参数集合。
此外，本说明书实施例中的模型对应的输入数据可以包括以下一种：图像、文本、语音。也即，模型训练过程中使用的训练样本可以是图像，可以是文本，也可以语音。模型训练完成后，可以相应地用于对图像、文本或语音进行分析。
进一步地，所述文本可以包含实体对象信息。其中，实体对象可以是用户、商户等对象。
还需要说明的是，本文所述的用于处理图像的模型例如可以是图像分类模型、图像分割模型等，本文所述的用于处理文本的模型例如可以是机器人客服模型、实体对象风险识别模型、推荐模型等，本文所述的用于处理语音的模型可以是语音助手模型、语音识别模型等。
一种联邦学习系统，包括服务端与N个节点，N＞1；
所述服务端，在模型训练的第i次迭代中，将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；
第j个目标类型节点，根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure BDA0002319567270000101
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
所述服务端，还获取
Figure BDA0002319567270000102
并基于
Figure BDA0002319567270000103
更新模型参数集合。
图3是本说明书实施例提供的一种联邦学习系统中的服务端的结构示意图，应用于模型训练的第i次迭代中，所述联邦学习系统还包括N个节点，N＞1；
所述服务端包括：
模型参数下发模块301，将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；以使第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure BDA0002319567270000104
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
模型参数更新模块302，获取
Figure BDA0002319567270000111
并基于
Figure BDA0002319567270000112
更新模型参数集合。
图4是本说明书实施例提供的一种联邦学习系统中的节点的结构示意图，所述联邦学习系统包括N个节点与服务端，N＞1；
在模型训练的第i次迭代中，第j个目标类型节点包括：
计算模块401，根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure BDA0002319567270000113
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
其中：
所述服务端将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；获取
Figure BDA0002319567270000114
并基于
Figure BDA0002319567270000115
更新模型参数集合。
本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现本说明书中的服务端或目标类型节点的方法。
图5示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本说明书中的服务端或目标类型节点的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务设备，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、方法、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (14)

1.一种基于联邦学习的模型训练方法，应用于包括服务端与N个节点的联邦学习系统，N＞1，所述方法包括：
在模型训练的第i次迭代中，执行：
所述服务端将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；
第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure FDA0002319567260000011
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
所述服务端获取
Figure FDA0002319567260000012
并基于
Figure FDA0002319567260000013
更新模型参数集合。
2.如权利要求1所述的方法，针对所述Mi个节点中的任一节点，若该节点在接收到模型参数集合之后，继续处于在线状态直至第i次迭代结束，则该节点属于目标类型节点。
3.如权利要求1所述的方法，第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij，具体包括：
第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算，得到梯度wij *，并通过差分隐私保护操作，向wij *中加入数据干扰项kij，得到得到wij；
或者，第j个目标类型节点通过差分隐私保护操作，向所述模型参数集合加入干扰，并根据干扰后的所述模型参数集合与本地训练样本执行梯度计算，得到wij；
或者，第j个目标类型节点通过差分隐私保护操作，向本地训练样本加入干扰，并根据干扰后的本地训练样本与所述模型参数集合执行梯度计算，得到wij。
4.如权利要求1所述的方法，所述服务端获取
Figure FDA0002319567260000021
具体包括：
第j个目标类型节点使用公钥pki对wij进行加密，得到E(wij)并上传给所述服务端；其中，所述Mi个节点基于门限同态加密协议，约定pki以及所述Mi个节点中每个节点的子私钥集合；
所述服务端计算
Figure FDA0002319567260000022
并获取
Figure FDA0002319567260000023
其中，
Figure FDA0002319567260000024
是使用至少Ti个目标类型节点的子私钥集合对
Figure FDA0002319567260000025
进行解密得到的，Ti是第i次迭代中，门限同态加密协议指定的门限值。
5.如权利要求4所述的方法，所述服务端获取
Figure FDA0002319567260000026
具体包括：
所述服务端将
Figure FDA0002319567260000027
下发给至少Ti个目标类型节点；
针对所述至少Ti个目标类型节点中的每个目标类型节点，该目标类型节点使用自身的子私钥集合解密
Figure FDA0002319567260000028
得到解密结果并上传给所述服务端；
所述服务端对所述至少Ti个目标类型节点分别上传的解密结果进行汇总，得到
Figure FDA0002319567260000029
6.如权利要求4所述的方法，所述服务端获取
Figure FDA00023195672600000210
具体包括：
所述服务端若确定Qi≥Ti，则获取
Figure FDA00023195672600000211
所述方法还包括：
所述服务端若确定Qi＜Ti，则停止本次迭代，并进入下一次迭代。
7.如权利要求1～6任一项所述的方法，所述模型对应的输入数据包括：图像或文本或语音。
8.如权利要求7所述的方法，所述文本包含实体对象信息。
9.一种联邦学习系统，包括服务端与N个节点，N＞1；
所述服务端，在模型训练的第i次迭代中，将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；
第j个目标类型节点，根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure FDA0002319567260000031
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
所述服务端，还获取
Figure FDA0002319567260000032
并基于
Figure FDA0002319567260000033
更新模型参数集合。
10.一种基于联邦学习的模型训练方法，应用于联邦学习系统中的服务端，所述联邦学习系统还包括N个节点，N＞1，所述方法包括：
在模型训练的第i次迭代中，执行：
将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；以使第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure FDA0002319567260000034
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
获取
Figure FDA0002319567260000035
并基于
Figure FDA0002319567260000036
更新模型参数集合。
11.一种基于联邦学习的模型训练方法，应用于联邦学习系统中的节点，所述联邦学习系统包括N个节点与服务端，N＞1；
所述方法包括：
在模型训练的第i次迭代中，第j个目标类型节点执行：
根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure FDA0002319567260000041
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
其中：
所述服务端将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；获取
Figure FDA0002319567260000042
并基于
Figure FDA0002319567260000043
更新模型参数集合。
12.一种联邦学习系统中的服务端，应用于模型训练的第i次迭代中，所述联邦学习系统还包括N个节点，N＞1；
所述服务端包括：
模型参数下发模块，将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；以使第j个目标类型节点根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure FDA0002319567260000044
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
模型参数更新模块，获取
Figure FDA0002319567260000045
并基于
Figure FDA0002319567260000046
更新模型参数集合。
13.一种联邦学习系统中的节点，所述联邦学习系统包括N个节点与服务端，N＞1；
在模型训练的第i次迭代中，第j个目标类型节点包括：
计算模块，根据所述模型参数集合与本地训练样本执行梯度计算以及差分隐私保护操作，得到wij；其中，j＝(1,2，…，Qi)，wij＝wij *+kij，wij *表征第j个目标类型节点在未执行差分隐私操作的情况下得到的梯度，kij是第j个目标类型节点通过差分隐私保护操作确定的数据干扰项，
Figure FDA0002319567260000051
用于保护所述Qi个目标类型节点的本地训练样本的差分隐私；
其中：
所述服务端将模型参数集合下发给Mi个节点；其中，Mi≤N，所述Mi个节点中存在Qi个目标类型节点；获取
Figure FDA0002319567260000052
并基于
Figure FDA0002319567260000053
更新模型参数集合。
14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求10或11所述的方法。
CN201911292212.0A 2019-12-13 2019-12-13 一种基于联邦学习的模型训练方法 Active CN111046433B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911292212.0A CN111046433B (zh) 2019-12-13 2019-12-13 一种基于联邦学习的模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911292212.0A CN111046433B (zh) 2019-12-13 2019-12-13 一种基于联邦学习的模型训练方法

Publications (2)

Publication Number Publication Date
CN111046433A true CN111046433A (zh) 2020-04-21
CN111046433B CN111046433B (zh) 2021-03-05

Family

ID=70236626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911292212.0A Active CN111046433B (zh) 2019-12-13 2019-12-13 一种基于联邦学习的模型训练方法

Country Status (1)

Country Link
CN (1) CN111046433B (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783139A (zh) * 2020-06-29 2020-10-16 京东数字科技控股有限公司 联邦学习分类树构建方法、模型构建方法，及终端设备
CN112039702A (zh) * 2020-08-31 2020-12-04 中诚信征信有限公司 基于联邦学习和相互学习的模型参数训练方法及装置
CN112101403A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 基于联邦少样本网络模型的分类方法、系统及电子设备
CN112185395A (zh) * 2020-09-04 2021-01-05 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦声纹识别方法
CN112232519A (zh) * 2020-10-15 2021-01-15 成都数融科技有限公司 一种基于联邦学习的联合建模方法
CN112333216A (zh) * 2021-01-07 2021-02-05 索信达(北京)数据技术有限公司 一种基于联邦学习的模型训练方法及系统
CN112541592A (zh) * 2020-12-06 2021-03-23 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备
CN112632620A (zh) * 2020-12-30 2021-04-09 支付宝(杭州)信息技术有限公司 一种增强隐私保护的联邦学习方法和系统
CN112653752A (zh) * 2020-12-18 2021-04-13 重庆大学 基于联邦学习的区块链工业物联网数据共享方法
CN112668037A (zh) * 2020-06-02 2021-04-16 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
CN112799708A (zh) * 2021-04-07 2021-05-14 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及系统
CN113239404A (zh) * 2021-06-04 2021-08-10 南开大学 一种基于差分隐私和混沌加密的联邦学习方法
CN113378198A (zh) * 2021-06-24 2021-09-10 深圳市洞见智慧科技有限公司 一种保护用户标识的模型的联邦训练系统、方法及装置
CN113434269A (zh) * 2021-06-10 2021-09-24 湖南天河国云科技有限公司 基于区块链的分布式隐私计算方法及装置
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
WO2021204040A1 (zh) * 2020-10-29 2021-10-14 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、设备及存储介质
CN113688999A (zh) * 2021-08-23 2021-11-23 神州融安科技（北京）有限公司 一种横向联邦xgboost决策树的训练方法
CN113762525A (zh) * 2021-09-07 2021-12-07 桂林理工大学 一种具有差分隐私保护的联邦学习模型训练方法
US20220004932A1 (en) * 2020-06-24 2022-01-06 Jingdong Digits Technology Holding Co., Ltd. Federated doubly stochastic kernel learning on vertical partitioned data
WO2022022024A1 (zh) * 2020-07-27 2022-02-03 深圳前海微众银行股份有限公司 训练样本构建方法、装置、设备及计算机可读存储介质
CN114021168A (zh) * 2021-11-09 2022-02-08 深圳大学 基于联邦学习的地铁基坑开挖风险识别方法及装置
TWI764640B (zh) * 2020-04-27 2022-05-11 大陸商支付寶（杭州）信息技術有限公司 基於差分隱私的異常檢測模型的訓練方法及裝置
CN115017548A (zh) * 2022-08-04 2022-09-06 湖南工商大学 数据定价方法、装置及相关设备
WO2022227212A1 (zh) * 2021-04-25 2022-11-03 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质
CN115965093A (zh) * 2021-10-09 2023-04-14 北京字节跳动网络技术有限公司 模型训练方法、装置、存储介质及电子设备
US11748661B2 (en) * 2021-09-15 2023-09-05 Beijing Baidu Netcom Science Technology Co., Ltd. Training method and apparatus for a distributed machine learning model and medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109189825A (zh) * 2018-08-10 2019-01-11 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
US10261947B2 (en) * 2015-01-29 2019-04-16 Affectomatics Ltd. Determining a cause of inaccuracy in predicted affective response
CN109635948A (zh) * 2018-12-19 2019-04-16 北京达佳互联信息技术有限公司 在线训练方法、装置、系统及计算机可读存储介质
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器
CN110443067A (zh) * 2019-07-30 2019-11-12 卓尔智联(武汉)研究院有限公司 基于隐私保护的联邦建模装置、方法及可读存储介质
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10261947B2 (en) * 2015-01-29 2019-04-16 Affectomatics Ltd. Determining a cause of inaccuracy in predicted affective response
CN109189825A (zh) * 2018-08-10 2019-01-11 深圳前海微众银行股份有限公司 横向数据切分联邦学习建模方法、服务器及介质
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN109635948A (zh) * 2018-12-19 2019-04-16 北京达佳互联信息技术有限公司 在线训练方法、装置、系统及计算机可读存储介质
CN110443063A (zh) * 2019-06-26 2019-11-12 电子科技大学 自适性保护隐私的联邦深度学习的方法
CN110443067A (zh) * 2019-07-30 2019-11-12 卓尔智联(武汉)研究院有限公司 基于隐私保护的联邦建模装置、方法及可读存储介质
CN110442457A (zh) * 2019-08-12 2019-11-12 北京大学深圳研究生院 基于联邦学习的模型训练方法、装置及服务器

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI764640B (zh) * 2020-04-27 2022-05-11 大陸商支付寶（杭州）信息技術有限公司 基於差分隱私的異常檢測模型的訓練方法及裝置
CN112668037A (zh) * 2020-06-02 2021-04-16 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
CN112668037B (zh) * 2020-06-02 2024-04-05 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
US11636400B2 (en) * 2020-06-24 2023-04-25 Jingdong Digits Technology Holding Co., Ltd. Federated doubly stochastic kernel learning on vertical partitioned data
US20220004932A1 (en) * 2020-06-24 2022-01-06 Jingdong Digits Technology Holding Co., Ltd. Federated doubly stochastic kernel learning on vertical partitioned data
CN111783139A (zh) * 2020-06-29 2020-10-16 京东数字科技控股有限公司 联邦学习分类树构建方法、模型构建方法，及终端设备
CN112101403A (zh) * 2020-07-24 2020-12-18 西安电子科技大学 基于联邦少样本网络模型的分类方法、系统及电子设备
CN112101403B (zh) * 2020-07-24 2023-12-15 西安电子科技大学 基于联邦少样本网络模型的分类方法、系统及电子设备
WO2022022024A1 (zh) * 2020-07-27 2022-02-03 深圳前海微众银行股份有限公司 训练样本构建方法、装置、设备及计算机可读存储介质
CN112039702A (zh) * 2020-08-31 2020-12-04 中诚信征信有限公司 基于联邦学习和相互学习的模型参数训练方法及装置
CN112039702B (zh) * 2020-08-31 2022-04-12 中诚信征信有限公司 基于联邦学习和相互学习的模型参数训练方法及装置
US11170786B1 (en) 2020-09-04 2021-11-09 Harbin Institute Of Technology (Shenzhen) (Shenzhen Institute Of Science And Technology Innovation, Harbin Institute Of Technology) Federated speaker verification method based on differential privacy
CN112185395A (zh) * 2020-09-04 2021-01-05 哈尔滨工业大学（深圳） 一种基于差分隐私的联邦声纹识别方法
CN112185395B (zh) * 2020-09-04 2021-04-27 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于差分隐私的联邦声纹识别方法
WO2022048143A1 (zh) * 2020-09-04 2022-03-10 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种基于差分隐私的联邦声纹识别方法
CN112232519B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种基于联邦学习的联合建模方法
CN112232519A (zh) * 2020-10-15 2021-01-15 成都数融科技有限公司 一种基于联邦学习的联合建模方法
WO2021204040A1 (zh) * 2020-10-29 2021-10-14 平安科技（深圳）有限公司 联邦学习数据处理方法、装置、设备及存储介质
CN112541592A (zh) * 2020-12-06 2021-03-23 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备
CN115081640A (zh) * 2020-12-06 2022-09-20 支付宝(杭州)信息技术有限公司 基于差分隐私的联邦学习方法、装置及电子设备
CN112653752A (zh) * 2020-12-18 2021-04-13 重庆大学 基于联邦学习的区块链工业物联网数据共享方法
CN112632620A (zh) * 2020-12-30 2021-04-09 支付宝(杭州)信息技术有限公司 一种增强隐私保护的联邦学习方法和系统
CN112632620B (zh) * 2020-12-30 2022-08-26 支付宝(杭州)信息技术有限公司 一种增强隐私保护的联邦学习方法和系统
CN112333216B (zh) * 2021-01-07 2021-04-06 深圳索信达数据技术有限公司 一种基于联邦学习的模型训练方法及系统
CN112333216A (zh) * 2021-01-07 2021-02-05 索信达(北京)数据技术有限公司 一种基于联邦学习的模型训练方法及系统
CN112799708B (zh) * 2021-04-07 2021-07-13 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及系统
CN112799708A (zh) * 2021-04-07 2021-05-14 支付宝(杭州)信息技术有限公司 联合更新业务模型的方法及系统
WO2022227212A1 (zh) * 2021-04-25 2022-11-03 平安科技（深圳）有限公司 基于联邦学习的语音表征模型训练方法、装置、设备及介质
CN113239404A (zh) * 2021-06-04 2021-08-10 南开大学 一种基于差分隐私和混沌加密的联邦学习方法
CN113434269A (zh) * 2021-06-10 2021-09-24 湖南天河国云科技有限公司 基于区块链的分布式隐私计算方法及装置
CN113378198A (zh) * 2021-06-24 2021-09-10 深圳市洞见智慧科技有限公司 一种保护用户标识的模型的联邦训练系统、方法及装置
CN113469373A (zh) * 2021-08-17 2021-10-01 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113469373B (zh) * 2021-08-17 2023-06-30 北京神州新桥科技有限公司 基于联邦学习的模型训练方法、系统、设备及存储介质
CN113688999A (zh) * 2021-08-23 2021-11-23 神州融安科技（北京）有限公司 一种横向联邦xgboost决策树的训练方法
CN113762525A (zh) * 2021-09-07 2021-12-07 桂林理工大学 一种具有差分隐私保护的联邦学习模型训练方法
CN113762525B (zh) * 2021-09-07 2024-04-05 桂林理工大学 一种具有差分隐私保护的联邦学习模型训练方法
US11748661B2 (en) * 2021-09-15 2023-09-05 Beijing Baidu Netcom Science Technology Co., Ltd. Training method and apparatus for a distributed machine learning model and medium
CN115965093A (zh) * 2021-10-09 2023-04-14 北京字节跳动网络技术有限公司 模型训练方法、装置、存储介质及电子设备
CN114021168B (zh) * 2021-11-09 2022-05-24 深圳大学 基于联邦学习的地铁基坑开挖风险识别方法及装置
CN114021168A (zh) * 2021-11-09 2022-02-08 深圳大学 基于联邦学习的地铁基坑开挖风险识别方法及装置
CN115017548B (zh) * 2022-08-04 2022-11-08 湖南工商大学 数据定价方法、装置及相关设备
CN115017548A (zh) * 2022-08-04 2022-09-06 湖南工商大学 数据定价方法、装置及相关设备

Also Published As

Publication number Publication date
CN111046433B (zh) 2021-03-05

Similar Documents

Publication Publication Date Title
CN111046433B (zh) 一种基于联邦学习的模型训练方法
CN110955907B (zh) 一种基于联邦学习的模型训练方法
US11269962B2 (en) Inductive matrix completion and graph proximity for content item recommendation
CN113239404B (zh) 一种基于差分隐私和混沌加密的联邦学习方法
US11157818B2 (en) Model training method and apparatus based on gradient boosting decision tree
TWI745861B (zh) 資料處理方法、裝置和電子設備
WO2018170454A2 (en) Using different data sources for a predictive model
CN110011954B (zh) 基于同态加密的生物识别方法、装置、终端及业务服务器
WO2021092977A1 (zh) 纵向联邦学习优化方法、装置、设备及存储介质
CN110427969B (zh) 数据处理方法、装置和电子设备
US11379836B2 (en) Methods and systems for recording data based on plurality of blockchain networks
CN109981787B (zh) 用于展示信息的方法和装置
CN109388662B (zh) 一种基于共享数据的模型训练方法及装置
CN111144576A (zh) 模型训练方法、装置和电子设备
CN109800730B (zh) 用于生成头像生成模型的方法和装置
CN110929799A (zh) 用于检测异常用户的方法、电子设备和计算机可读介质
CN112580085A (zh) 一种模型训练方法及装置
CN111353554B (zh) 预测缺失的用户业务属性的方法及装置
CN116167868A (zh) 基于隐私计算的风险识别方法、装置、设备以及存储介质
CN113033717B (zh) 一种模型生成方法、装置以及用于模型生成的装置
CN110347645A (zh) 一种电子文件存证方法及装置
CN117349671A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN110705635B (zh) 用于生成隔离森林的方法和装置
CN112507323A (zh) 基于单向网络的模型训练方法、装置和计算设备
CN111027495A (zh) 用于检测人体关键点的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028434

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant