CN112948885B - 实现隐私保护的多方协同更新模型的方法、装置及系统 - Google Patents
实现隐私保护的多方协同更新模型的方法、装置及系统 Download PDFInfo
- Publication number
- CN112948885B CN112948885B CN202110320900.4A CN202110320900A CN112948885B CN 112948885 B CN112948885 B CN 112948885B CN 202110320900 A CN202110320900 A CN 202110320900A CN 112948885 B CN112948885 B CN 112948885B
- Authority
- CN
- China
- Prior art keywords
- model
- round
- server
- participant
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 230000002776 aggregation Effects 0.000 claims abstract description 42
- 238000004220 aggregation Methods 0.000 claims abstract description 42
- 230000004931 aggregating effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006116 polymerization reaction Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000379 polymerizing effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Telephonic Communication Services (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本说明书实施例提供一种实现隐私保护的多方协同更新模型的方法、装置及系统，服务器可以向每个参与方i下发第t轮公共样本的聚合结果。每个参与方i根据第t轮公共样本和聚合结果，对本地的第i模型进行第一更新。每个参与方i基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新。每个参与方i将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给服务器，以供服务器聚合对应于n个参与方的n份第二预测结果，并在下一轮迭代开始之后使用。在多轮迭代结束之后，每个参与方i可以将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
Description
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种实现隐私保护的多方协同更新模型的方法、装置及系统。
背景技术
联邦学习(也称联合学习)的出现革新了传统的集中式机器学习，使得参与方在不需要上传本地数据的情况下，就可以协同构建更精确的模型。
目前，联邦学习往往是通过在各参与方之间共享模型参数或梯度来实现，然而由于模型参数或梯度通常为高维度的隐私数据，因此传统的联邦学习一定程度的伴随着通信开销大、隐私泄露等问题。
发明内容
本说明书一个或多个实施例描述了一种实现隐私保护的多方协同更新模型的方法、装置及系统，可有效降低多方协同建模引起的通信资源消耗，同时起到隐私保护作用。
第一方面，提供了一种实现隐私保护的多方协同更新模型的方法，包括：
所述服务器向每个参与方i下发第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
每个参与方i根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
每个参与方i基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
每个参与方i将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器；
所述服务器聚合所述n个参与方发送的n份第二预测结果，以用于下一轮迭代；
在所述多轮迭代后，每个参与方i将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
第二方面，提供了一种实现隐私保护的多方协同更新模型的方法，包括：
接收所述服务器下发的第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器，以供所述服务器聚合所述第二预测结果以及其它参与方发送的其它预测结果，以用于下一轮迭代；
在所述多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
第三方面，提供了一种实现隐私保护的多方协同更新模型的系统，包括：
所述服务器，用于向每个参与方i下发第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
每个参与方i，用于根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
每个参与方i，还用于基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
每个参与方i，还用于将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器；
所述服务器，用于聚合所述n个参与方发送的n份第二预测结果，以用于下一轮迭代；
每个参与方i，还用于在所述多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
第四方面，提供了一种实现隐私保护的多方协同更新模型的装置，包括：
接收单元，用于接收所述服务器下发的第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
更新单元，用于根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
所述更新单元，还用于基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
输入单元，用于将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器，以供所述服务器聚合所述第二预测结果以及其它参与方发送的其它预测结果，以用于下一轮迭代；
确定单元，用于在所述多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
第五方面，提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
第六方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
本说明书一个或多个实施例提供的实现隐私保护的多方协同更新模型的方法、装置及系统，各参与方与服务器之间只传输预测结果，由于预测结果的维度通常远远低于模型参数或梯度，从而本方案可以降低通信资源消耗。再者，各参与方与服务器之间只传输预测结果，使得各参与方可以协同构建不同网络结构的模型，由此大大提升了联邦学习的普遍适应性。最后，各参与方对各自本地的模型进行第二更新时，只使用各自本地样本集中固定的私有样本，可以降低隐私保护成本。
附图说明
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为基于集中式差分隐私的联邦学习示意图；
图2为基于本地差分隐私的联邦学习示意图；
图3为基于共享预测结果的联邦学习示意图；
图4为本说明书提供的一个实施例的实施场景示意图；
图5为本说明书一个实施例提供的实现隐私保护的多方协同更新模型的方法交互图；
图6为本说明书一个实施例提供的实现隐私保护的多方协同更新模型的系统示意图；
图7为本说明书一个实施例提供的实现隐私保护的多方协同更新模型的装置示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
如前所述，传统的联邦学习通过在各参与方之间共享模型参数或梯度来实现。其中，主流的方案主要分为两种：第一种，基于集中式差分隐私(Central DifferentialPrivacy，CDP)的联邦学习；第二种，基于本地差分隐私(Local Differential Privacy，LDP)的联邦学习。以下结合附图对该两种方法进行说明。
图1为基于集中式差分隐私的联邦学习示意图。图1中，首先，各参与方向可信的第三方服务器(以下简称服务器)上传各自的模型梯度：Δw1、Δw2、…、Δwn。之后，服务器聚合各参与方上传的模型梯度：aggregate(Δw1+Δw2+…+Δwn)，并在聚合的模型梯度中通过差分隐私机制M添加噪声：M(aggregate(…))，最后，服务器将添加噪声后的模型梯度w’下发给各参与方，以供各参与方基于其更新各自本地的模型。然而，由于目前受信任的第三方在实际场景中很少见，而且容易遭受窃听者的攻击，因此，该方法的适用性较差。此外，该种联邦学习只适应于参与方数目较多的场景，在只有少数参与方的情况下，所构建的模型性能较差。
图2为基于本地差分隐私的联邦学习示意图。图2中，各参与方在上传之前，先在各自的模型梯度上通过差分隐私机制M执行本地差分隐私，之后将经过本地差分隐私的模型梯度(M(Δw1)、M(Δw2)、…、M(Δwn))上传至服务器。最后，服务器聚合各参与方的经过本地差分隐私的模型梯度：aggregate(M(Δw1)+M(Δw2)+…+M(Δwn))，并将聚合的模型梯度w’下发至各参与方，以供各参与方基于其更新各自本地的模型。然而，由于本地差分隐私会导致较大的性能损失，因此，采用该方法构建的模型性能较差。
可见，上述两种联邦学习均存在各自的缺陷。此外，由于该两种联邦学习均通过共享模型参数或梯度来实现，因此该两种方法只适用于多方协同构建相同网络结构模型(简称同结构模型)的场景。
为了克服传统的联邦学习的种种缺陷，部分改进方法提出通过在各参与方之间共享模型预测结果(以下简称预测结果)来实现联邦学习，具体可以参见图3所示。
图3中，各参与方首先基于各自的本地样本集预训练各自本地的模型，之后利用该预训练模型针对公共样本xp进行预测，并向服务器上传各自针对公共样本xp的预测结果，分别表示为：Yp 1、Yp 2、…、Yp n。服务器聚合各参与方上传的预测结果：Yp＝aggregate(Yp 1+Yp 2+…+Yp n)，并将聚合结果Yp下发给各参与方，以供各参与方基于其更新各自的预训练模型。需要说明，采用该方法虽然能够解决传统的联邦学习只能协同构建同结构模型的问题，且能够降低通信资源消耗(预测结果的维度远远小于模型参数或梯度)。但是，由于各参与方的预测结果本身也是由模型输出的结果，一定程度上也会泄露本地样本集的敏感信息，比如，攻击者可以基于预测结果进行成员推理攻击。
以下对预测结果也会泄露本地样本集的敏感信息进行说明：假设有两个参与方，其中的一个参与方(以下称攻击者)在获取到聚合结果Yp之后，根据该聚合结果以及自身的预测结果，可以计算出另一个参与方的预测结果。之后，攻击者基于计算出的预测结果以及公共样本，可以进一步推测出另一个参与方的预训练模型的参数信息。由于各参与方的预训练模型基于其本地样本集训练得到，也就是说各参与方的预训练模型融入了其私有化信息，从而当攻击者推测出预训练模型的参数信息时，一定程度上也泄露了参与方的本地样本集的敏感信息。
为解决上述敏感信息泄露的问题，一种方法是将满足差分隐私的随机噪声添加到各参与方的预测结果中。尽管这样可以缓解隐私问题，但是同时带来了另一个新的问题：模型性能的保障通常需要非常大的隐私预算才能进行权衡。
基于此，本申请提出了一种实现隐私保护的多方协同构建模型的方法，各参与方执行两次本地模型更新，其中一次是基于公共样本以及各参与方针对其的预测结果的聚合结果执行，由此可以实现各参与方对公共样本的共识。另一次是基于本地样本集中固定的采样私有样本(即第一私有样本)及其样本标签执行，由此可以实现对各参与方各自本地的模型进行个性化训练。
总而言之，本说明书实施例提供的方案可以解决各参与方在协同构建不同结构模型的过程中的隐私保护问题，同时可以权衡通信效率和和模型性能。
图4为本说明书提供的一个实施例的实施场景示意图。图4中，多方协同更新模型的场景涉及服务器和n个参与方，其中，n为正整数。其中，各参与方可以实现为任何具有计算、处理能力的设备、平台、服务器或设备集群。在一个具体例子中，各参与方可以为具有不同规模样本集的机构。需要说明，服务器和各参与方要在保护数据隐私的情况下，协同更新各参与方各自本地的模型。这里的模型可以是用于执行针对业务对象的预测任务的业务预测模型。其中的业务对象例如可以为图片、音频或文本等。
图4中，任意的参与方i在本地维护有第i模型wi，并拥有第i本地样本集Di，该本地样本集Di中的私有样本Xi具有样本标签Yi。服务器可以维护有公共样本集Dp，或者也可以只维护有公共样本集Dp中各公共样本Xp的描述信息(包括样本的索引等信息)，而真正的公共样本集Dp由第三方提供。
具体地，在第t轮迭代中，服务器可以向每个参与方i下发第t轮公共样本Xp[t]的聚合结果YP[t]。其中，该聚合结果YP[t]，是服务器对n个参与方基于各自本地的模型针对第t轮公共样本Xp[t]输出的n份第一预测结果进行聚合得到。这里的n份第一预测结果可以分别表示为Yp 1[t]、Yp 2[t]、…、Yp n[t]。每个参与方i根据第t轮公共样本Xp[t]和聚合结果YP[t]，对本地的第i模型进行第一更新。之后，每个参与方i基于本地样本集中固定的第一私有样本X1及其样本标签Y1，对第一更新后的第i模型进行第二更新。最后，每个参与方i将用于下一轮迭代的第t+1轮公共样本Xp[t+1]，输入第二更新后的第i模型，并将输出的第二预测结果发送给服务器，以供服务器聚合对应于n个参与方的n份第二预测结果(即Yp 1[t+1]、Yp 2[t+1]、…、Yp n[t+1])，并在下一轮迭代开始之后，将聚合得到的聚合结果YP[t+1]下发至各参与方。应理解，在多轮迭代结束之后，每个参与方i可以将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
以下以图4示出的实施场景为例，对本说明书提供的实现隐私保护的多方协同更新模型的方法进行说明。
图5为本说明书一个实施例提供的实现隐私保护的多方协同更新模型的方法交互图。需要说明，该方法涉及多轮迭代，图5中示出其中第t(t为正整数)轮迭代包括的交互步骤，并且，因参与第t轮迭代的各个参与方与服务器的交互过程相近，所以图5中主要示出参与该第t轮迭代的任意一个参与方(为便于描述，称作第一参与方)与服务器的交互步骤，参与该轮迭代的其它参与方与服务器的交互步骤，可以参见该第一参与方与服务器的交互步骤。可以理解，通过重复执行其中示出的交互步骤，可以实现对各参与方各自维护的模型的多轮迭代更新，进而将最后一轮迭代更新得到的模型，作为各自最终使用的模型。如图5所示，该方法可以包括如下步骤：
步骤502，服务器向每个参与方i下发第t轮公共样本的聚合结果。
这里的聚合结果可以是服务器对n个参与方基于各自本地的模型针对第t轮公共样本输出的n份第一预测结果进行聚合得到。上述i为不超过n的正整数。
这里的第t轮公共样本可以为以下中的一种：图片、文本以及音频等。以第t轮公共样本为图片为例来说，上述n份第一预测结果中任一份第一预测结果可以为图片的识别结果，比如，图片对应于各预定分类的打分。
需要说明，当第t轮迭代为首轮迭代时，上述第t轮公共样本可以是由服务器在多轮迭代开始之前预先选取得到。当第t轮迭代为非首轮迭代时，上述第t轮公共样本可以是由服务器提前在t-1轮迭代选取得到。以下分两种情况，对服务器选取第t轮公共样本的方法进行说明。
第一种，服务器中维护有公共样本集。在该种情况下，在多轮迭代开始之前或者在第t-1轮迭代，服务器可以从其维护的公共样本集中，随机选取若干公共样本作为第t轮公共样本，并将其发送给每个参与方i；或者，服务器可以从其维护的公共样本集中，随机选取若干公共样本作为第t轮公共样本，并将第t轮公共样本的指示发送给每个参与方i。之后，每个参与方i根据接收的指示，从服务器获取第t轮公共样本。
第二种，第三方中维护有公共样本集，服务器中维护有公共样本集中各公共样本的描述信息。这里的描述信息包括但不限于各公共样本的索引等信息。在该种情况下，服务器可以从其维护的各公共样本的描述信息中，随机选取若干公共样本的描述信息作为第t轮公共样本的描述信息，并将其下发至每个参与方i。之后，每个参与方i根据接收的描述信息，从第三方获取第t轮公共样本。
需要说明，在服务器选取出第t轮公共样本，且每个参与方i在获取到第t轮公共样本之后，其可以基于本地的第i模型针对第t轮公共样本输出对应的第一预测结果。
在本说明书中，各参与方本地的模型的网络结构可以相同，也可以不同。其中，这里的不同可以分为如下两种情况：第一种，模型的类型不同。比如，在有两个参与方的情况下，其中的一个参与方维护的模型可以是人工神经网络(Artificial Neural Network，ANN)，另一个参与方维护的模型可以是极端梯度提升(eXtreme Gradient Boosting，XGBoost)。第二种，模型的类型相同，但具体表现形式不一致，比如，各参与方维护的模型均为卷积神经网络(Convolutional Neural Networks，CNN)，但其网络层数不一致。
具体地，当第t轮迭代为首轮迭代时，每个参与方i本地的第i模型经过以下的预训练步骤得到：每个参与方i可以获取对应网络结构的初始模型(针对不同网络结构的情况)；或者，可以接收服务器统一下发的初始模型(针对相同网络结构的情况)。然后基于本地样本集中随机选取的样本子集(以下称第一私有样本)及其样本标签，更新对应的初始模型，得到其本地的第i模型。
而当第t轮迭代为非首轮迭代时，每个参与方i本地的第i模型可以是指第t-1轮迭代中第二更新后的第i模型。其中，关于第二更新后的第i模型的两次更新过程后续说明。
需要说明，本说明书实施例中，每个参与方i基于本地样本集中随机选取的第一私有样本及其样本标签，更新对应的初始模型可以避免各参与方的敏感信息泄露问题。原因在于：每个参与方i使用从其本地样本集中随机选取的第一私有样本，更新对应的初始模型时，相当于在个性化训练模型的同时添加了随机噪声，从而所得到的第i模型具有了差分隐私功能。而根据差分隐私的后处理特性，后续基于该第i模型输出的数据均满足差分隐私的要求。由此，可以确保各参与方隐私数据的差分隐私保护。
步骤504，每个参与方i根据第t轮公共样本和聚合结果，对其本地的第i模型进行第一更新。
具体地，每个参与方i可以将第t轮公共样本输入其本地的第i模型，得到第一本地预测结果。之后，将聚合结果作为第t轮公共样本的样本标签，并基于该样本标签以及第一本地预测结果，确定第一预测损失。比如，可以基于该样本标签与本地预测结果的差值，确定第一预测损失。最后，根据第一预测损失，对其本地的第i模型进行第一更新。
比如，可以利用反向传播法，基于第一预测损失，先计算出第i模型的模型参数对应的更新梯度，再基于该更新梯度对第i模型进行第一更新。更具体地，将第i模型的模型参数减去其所对应的更新梯度与学习步长(为超参)之间的乘积，得到第i模型更新后的模型参数，并将其确定为第一更新后的第i模型。
应理解，该步骤中，各参与方基于公共样本，对各自本地的模型进行的第一更新，可以实现各参与方对公共样本的共识。
步骤506，每个参与方i基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新。
其中，每个参与方i本地样本集中的私有样本可以为以下中的一种：图片、文本以及音频等。应理解，在上述第i轮公共样本、第一私有样本均为图片时，这里第二更新后的第i模型可以为图片识别模型。在上述第i轮公共样本、第一私有样本均为文本时，这里第二更新后的第i模型可以为文本识别模型。以及，在上述第i轮公共样本、第一私有样本均为音频时，这里第二更新后的第i模型可以为音频识别模型。
上述步骤506中的第二更新具体可以包括：每个参与方i可以将本地样本集中固定的第一私有样本输入第一更新后的第i模型，得到第二本地预测结果。之后，基于第一私有样本的样本标签以及第二本地预测结果，确定第二预测损失。比如，可以基于第一私有样本的样本标签与第二本地预测结果的差值，确定第二预测损失。最后，根据第二预测损失，对第一更新后的第i模型进行第二更新。这里的基于第二预测损失进行第二更新的步骤可参见上述第一更新，本申请在此不复赘述。
需要说明，步骤506中使用的第一私有样本即为每个参与方i在更新对应的初始模型时所使用的从本地随机选取的第一私有样本。也就是说，在多轮迭代开始之后，任意的参与方i在每轮迭代中都基于固定的第一私有样本进行第二更新。
在此说明，本说明书实施例中，任意的参与方i在每轮迭代中都基于固定的第一私有样本进行第二更新，可以降低隐私保护成本。原因如下：试想如果该步骤使用的是随机选取的私有样本，那么相当于在多轮迭代开始之后，在每轮迭代中都会添加新的随机噪声，这使得随着迭代轮次的增加，所添加的随机噪声越来越大。而根据差分隐私的特性，添加的随机噪声通常需要通过隐私预算来平衡。具体而言，添加的随机噪声越大，那么为了保证数据的可用性，所需要的隐私预算就越大，这将会极大地耗费隐私保护成本。为此，在本说明书实施例中，任意的参与方i在每轮迭代中都使用固定的第一私有样本，这样就可以确保在多轮迭代开始之后不会再添加新的随机噪声，从而隐私预算就可以固定下来。应理解，由于差分隐私具有后处理特征，因此即便在后续的每轮迭代中，不会再添加新的随机噪声，通过每个参与方i本地的具有差分隐私功能的第i模型输出的数据，也满足差分隐私的要求。
总而言之，本说明书实施例提供的方案可以保证在比较小的隐私预算下，对各参与方的数据进行差分隐私保护，且该差分隐私保护，不会影响到各参与方的模型性能。
此外，该步骤中，各参与方基于各自的固定的第一私有样本，对各自本地的模型进行第二更新，可以实现对各参与方各自本地的模型的个性化训练。
步骤508，每个参与方i将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给服务器。
这里的第t+1轮公共样本可以是在t轮迭代中，在执行步骤508之前，由服务器选取得到。具体的选取方法同上述第t轮公共样本的选取方法相类似，在此不复赘述。此外，这里的第二预测结果与上述第一预测结果相类似，比如，其可以为图像的识别结果、文本的识别结果或者音频的识别结果等。
需要说明，如前所述，每个参与方i本地的第i模型具有差分隐私功能，从而该步骤在基于其输出第二预测结果时，所输出的第二预测结果满足差分隐私的要求。也就是说，每个参与方i在向服务器发送对应的第二预测结果时，不会造成各参与方敏感信息的泄露。
步骤510，服务器聚合n个参与方发送的n份第二预测结果，以用于下一轮迭代。
比如，服务器可以对n份第二预测结果进行求和、加权求和或者求加权平均等，以获得第t+1轮公共样本的聚合结果。之后，在进入第t+1轮迭代之后，服务器可以将该聚合结果下发给各参与方，然后各参与方再次针对各自本地的模型进行第一和第二更新等等。
换句话说，在本说明书实施例中，上述步骤502-步骤510是重复多次执行的，由此可以实现对各参与方各自本地的模型多轮迭代更新。且每次迭代所使用的模型参数是上一轮更新后的参数。该迭代的终止条件可以为迭代次数达到预定轮次或者模型参数收敛。
在多轮迭代后，每个参与方i将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
以任意的参与方i为例来说，在前述的公共样本以及其本地样本集中的样本为图片的情况下，那么其与其它参与方协同更新的模型可以为图片识别模型。在前述的公共样本以及其本地样本集中的样本为音频的情况下，那么其与其它参与方协同更新的模型可以为音频识别模型。在前述的公共样本以及其本地样本集中的样本为文本的情况下，那么其与其它参与方协同更新的模型可以为文本识别模型等等。
应理解，在各参与方本地的模型网络结构不相同的情况下，拥有大规模本地样本集的参与方可以更新得到一个复杂的模型，而拥有少量本地样本集的参与方可以更新得到一个比较简单的模型，从而本方案可以实现拥有不同规模样本集参与方的无障碍合作。
综合以上，本说明书实施例中，由于各参与方与服务器之间只传输预测结果，而预测结果的维度通常远远低于模型参数或梯度，从而本方案可以降低通信资源消耗。此外，各参与方与服务器之间只传输预测结果，使得各参与方可以协同构建不同网络结构的模型，由此大大提升了联邦学习的普遍适应性。此外，各参与方基于本地样本集中随机选取的私有样本，更新各自的初始模型，以获取各自本地的模型，可以确保各参与方数据的差分隐私保护。最后，各参与方对各自本地的模型进行第二更新时，只使用各自本地样本集中固定的私有样本，由此可以降低隐私保护成本。
与上述实现隐私保护的多方协同更新模型的方法对应地，本说明书一个实施例还提供的一种实现隐私保护的多方协同更新模型的系统，如图6所示，该系统可以包括服务器602和n个参与方604。
服务器602，用于向每个参与方i下发第t轮公共样本的聚合结果。其中，该聚合结果，是服务器对n个参与方基于各自本地的模型针对第t轮公共样本输出的n份第一预测结果进行聚合得到。
每个参与方604，用于根据第t轮公共样本和聚合结果，对其本地的第i模型进行第一更新。
其中，n个参与方各自本地的模型的网络结构不同。
每个参与方604，还用于基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新。
每个参与方604，还用于将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给服务器602。
服务器602，用于聚合n个参与方发送的n份第二预测结果，以用于下一轮迭代。
服务器602具体用于：对n份第二预测结果进行求和、加权求和或者求加权平均。
每个参与方604，还用于在多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
其中，任意的参与方i本地样本集中的样本为图片，其与其它参与方协同更新的模型为图片识别模型；或者，
任意的参与方i本地样本集中的样本为音频，其与其它参与方协同更新的模型为音频识别模型；或者，
任意的参与方i本地样本集中的样本为文本，其与其它参与方协同更新的模型为文本识别模型。
可选地，服务器602中维护有公共样本集；
服务器602，还用于从其维护的公共样本集中随机选取若干公共样本作为第t+1轮公共样本，并将其发送给每个参与方604，或者；
服务器602，还用于从其维护的公共样本集中随机选取若干公共样本作为第t+1轮公共样本，并将第t+1轮公共样本的指示发送给每个参与方604；
每个参与方604，还用于根据接收的指示，从服务器602获取第t+1轮公共样本。
可选地，第三方中维护有公共样本集，服务器602中维护有公共样本集中各公共样本的描述信息；
服务器602，还用于随机选取若干公共样本的描述信息作为第t+1轮公共样本的描述信息，并将其下发至每个参与方604；
每个参与方604，还用于根据接收的描述信息，从第三方获取第t+1轮公共样本。
说明书上述实施例系统的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的系统的具体工作过程，在此不复赘述。
本说明书一个实施例提供的实现隐私保护的多方协同更新模型的系统，可以解决各参与方在协同构建不同结构模型的过程中的隐私保护问题，同时可以权衡通信效率和和模型性能。
与上述实现隐私保护的多方协同更新模型的方法对应地，本说明书一个实施例还提供的一种实现隐私保护的多方协同更新模型的装置。这里的多方包括服务器和n个参与方。该装置设置于n个参与方中任意的参与方i，用于执行多轮迭代。如图7所示，该装置通过其包括的以下单元执行其中任意的第t轮迭代：
接收单元702，用于接收服务器下发的第t轮公共样本的聚合结果。其中，该聚合结果，是服务器对n个参与方基于各自本地的模型针对第t轮公共样本输出的n份第一预测结果进行聚合得到。
更新单元704，用于根据第t轮公共样本和聚合结果，对其本地的第i模型进行第一更新。
更新单元704具体用于：
将第t轮公共样本输入其本地的第i模型，得到本地预测结果；
将聚合结果作为第t轮公共样本的样本标签，并基于其以及本地预测结果，确定预测损失；
根据预测损失，对其本地的第i模型进行第一更新。
更新单元704，还用于基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新。
输入单元706，用于将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给服务器，以供服务器聚合第二预测结果以及其它参与方发送的其它预测结果，以用于下一轮迭代。
确定单元708，用于在多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
可选地，接收单元702，还用于接收服务器下发的初始模型；
更新单元704，还用于基于本地样本集中固定的第一私有样本及其样本标签，更新初始模型，得到第i模型。
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
本说明书一个实施例提供的实现隐私保护的多方协同更新模型的装置，可以解决各参与方在协同构建不同结构模型的过程中的隐私保护问题，同时可以权衡通信效率和和模型性能。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图5所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图5所述的方法。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。
Claims (20)
1.一种实现隐私保护的多方协同更新模型的方法，所述多方包括服务器和n个参与方；所述方法包括多轮迭代，其中任意的第t轮迭代包括：
所述服务器向每个参与方i下发第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
每个参与方i根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
每个参与方i基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
每个参与方i将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器；
所述服务器聚合所述n个参与方发送的n份第二预测结果，以用于下一轮迭代；
在所述多轮迭代后，每个参与方i将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
2.根据权利要求1所述的方法，所述服务器中维护有公共样本集；
在所述每个参与方i将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型之前，所述方法还包括：
所述服务器从其维护的公共样本集中随机选取若干公共样本作为第t+1轮公共样本，并将其发送给每个参与方i，或者；
所述服务器从其维护的公共样本集中随机选取若干公共样本作为第t+1轮公共样本，并将所述第t+1轮公共样本的指示发送给每个参与方i；
每个参与方i根据所述指示，从所述服务器获取所述第t+1轮公共样本。
3.根据权利要求1所述的方法，第三方中维护有公共样本集，所述服务器中维护有所述公共样本集中各公共样本的描述信息；
在所述每个参与方i将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型之前，所述方法还包括：
所述服务器随机选取若干公共样本的描述信息作为所述第t+1轮公共样本的描述信息，并将其下发至每个参与方i；
每个参与方i根据所述描述信息，从第三方获取所述第t+1轮公共样本。
4.根据权利要求1所述的方法，
任意的参与方i本地样本集中的样本为图片，其与其它参与方协同更新的模型为图片识别模型；或者，
任意的参与方i本地样本集中的样本为音频，其与其它参与方协同更新的模型为音频识别模型；或者，
任意的参与方i本地样本集中的样本为文本，其与其它参与方协同更新的模型为文本识别模型。
5.根据权利要求1所述的方法，所述n个参与方各自本地的模型的网络结构不同。
6.根据权利要求1所述的方法，所述服务器聚合所述n个参与方发送的n份第二预测结果，包括：
所述服务器对所述n份第二预测结果进行求和、加权求和或者求加权平均。
7.一种实现隐私保护的多方协同更新模型的方法，所述多方包括服务器和n个参与方；所述方法通过所述n个参与方中任意的参与方i执行；所述方法包括多轮迭代，其中任意的第t轮迭代包括：
接收所述服务器下发的第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器，以供所述服务器聚合所述第二预测结果以及其它参与方发送的其它预测结果，以用于下一轮迭代；
在所述多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
8.根据权利要求7所述的方法，所述第i模型通过以下步骤获得：
接收所述服务器下发的初始模型；
基于本地样本集中固定的第一私有样本及其样本标签，更新所述初始模型，得到所述第i模型。
9.根据权利要求7所述的方法，所述根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新，包括：
将所述第t轮公共样本输入其本地的第i模型，得到本地预测结果；
将所述聚合结果作为所述第t轮公共样本的样本标签，并基于其以及所述本地预测结果，确定预测损失；
根据所述预测损失，对其本地的第i模型进行第一更新。
10.一种实现隐私保护的多方协同更新模型的系统，包括服务器和n个参与方；
所述服务器，用于向每个参与方i下发第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
每个参与方i，用于根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
每个参与方i，还用于基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
每个参与方i，还用于将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器；
所述服务器，用于聚合所述n个参与方发送的n份第二预测结果，以用于下一轮迭代；
每个参与方i，还用于在所述多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
11.根据权利要求10所述的系统，所述服务器中维护有公共样本集；
所述服务器，还用于从其维护的公共样本集中随机选取若干公共样本作为第t+1轮公共样本，并将其发送给每个参与方i，或者；
所述服务器，还用于从其维护的公共样本集中随机选取若干公共样本作为第t+1轮公共样本，并将所述第t+1轮公共样本的指示发送给每个参与方i；
每个参与方i，还用于根据所述指示，从所述服务器获取所述第t+1轮公共样本。
12.根据权利要求10所述的系统，第三方中维护有公共样本集，所述服务器中维护有所述公共样本集中各公共样本的描述信息；
所述服务器，还用于随机选取若干公共样本的描述信息作为所述第t+1轮公共样本的描述信息，并将其下发至每个参与方i；
每个参与方i，还用于根据所述描述信息，从第三方获取所述第t+1轮公共样本。
13.根据权利要求10所述的系统，
任意的参与方i本地样本集中的样本为图片，其与其它参与方协同更新的模型为图片识别模型；或者，
任意的参与方i本地样本集中的样本为音频，其与其它参与方协同更新的模型为音频识别模型；或者，
任意的参与方i本地样本集中的样本为文本，其与其它参与方协同更新的模型为文本识别模型。
14.根据权利要求10所述的系统，所述n个参与方各自本地的模型的网络结构不同。
15.根据权利要求10所述的系统，所述服务器具体用于：对所述n份第二预测结果进行求和、加权求和或者求加权平均。
16.一种实现隐私保护的多方协同更新模型的装置，所述多方包括服务器和n个参与方；所述装置设置于所述n个参与方中任意的参与方i，用于执行多轮迭代，所述装置通过其包括的以下单元执行其中任意的第t轮迭代：
接收单元，用于接收所述服务器下发的第t轮公共样本的聚合结果；其中，所述聚合结果，是所述服务器对所述n个参与方基于各自本地的模型针对所述第t轮公共样本输出的n份第一预测结果进行聚合得到；
更新单元，用于根据所述第t轮公共样本和所述聚合结果，对其本地的第i模型进行第一更新；
所述更新单元，还用于基于本地样本集中固定的第一私有样本及其样本标签，对第一更新后的第i模型进行第二更新；
输入单元，用于将用于下一轮迭代的第t+1轮公共样本，输入第二更新后的第i模型，并将输出的第二预测结果发送给所述服务器，以供所述服务器聚合所述第二预测结果以及其它参与方发送的其它预测结果，以用于下一轮迭代；
确定单元，用于在所述多轮迭代后，将其第二更新后的第i模型，作为其与其它参与方协同更新的模型。
17.根据权利要求16所述的装置，
所述接收单元，还用于接收所述服务器下发的初始模型；
所述更新单元，还用于基于本地样本集中固定的第一私有样本及其样本标签，更新所述初始模型，得到所述第i模型。
18.根据权利要求16所述的装置，所述更新单元具体用于：
将所述第t轮公共样本输入其本地的第i模型，得到本地预测结果；
将所述聚合结果作为所述第t轮公共样本的样本标签，并基于其以及所述本地预测结果，确定预测损失；
根据所述预测损失，对其本地的第i模型进行第一更新。
19.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项所述的方法。
20.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110320900.4A CN112948885B (zh) | 2021-03-25 | 2021-03-25 | 实现隐私保护的多方协同更新模型的方法、装置及系统 |
| PCT/CN2022/081672 WO2022199480A1 (zh) | 2021-03-25 | 2022-03-18 | 实现隐私保护的多方协同更新模型的方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110320900.4A CN112948885B (zh) | 2021-03-25 | 2021-03-25 | 实现隐私保护的多方协同更新模型的方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112948885A CN112948885A (zh) | 2021-06-11 |
| CN112948885B true CN112948885B (zh) | 2023-10-27 |
Family
ID=76227771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110320900.4A Active CN112948885B (zh) | 2021-03-25 | 2021-03-25 | 实现隐私保护的多方协同更新模型的方法、装置及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112948885B (zh) |
| WO (1) | WO2022199480A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112948885B (zh) * | 2021-03-25 | 2023-10-27 | 支付宝(杭州)信息技术有限公司 | 实现隐私保护的多方协同更新模型的方法、装置及系统 |
| CN116415676A (zh) * | 2021-12-29 | 2023-07-11 | 新智我来网络科技有限公司 | 联合学习中的预测方法及装置 |
| CN115081642B (zh) * | 2022-07-19 | 2022-11-15 | 浙江大学 | 一种多方协同更新业务预测模型的方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647765A (zh) * | 2019-09-19 | 2020-01-03 | 济南大学 | 协同学习框架下基于知识迁移的隐私保护方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200272945A1 (en) * | 2019-02-21 | 2020-08-27 | Hewlett Packard Enterprise Development Lp | System and method of decentralized model building for machine learning and data privacy preserving using blockchain |
| CN111062487B (zh) * | 2019-11-28 | 2021-04-20 | 支付宝(杭州)信息技术有限公司 | 基于数据隐私保护的机器学习模型特征筛选方法及装置 |
| CN112329940A (zh) * | 2020-11-02 | 2021-02-05 | 北京邮电大学 | 一种结合联邦学习与用户画像的个性化模型训练方法及系统 |
| CN112948885B (zh) * | 2021-03-25 | 2023-10-27 | 支付宝(杭州)信息技术有限公司 | 实现隐私保护的多方协同更新模型的方法、装置及系统 |
-
2021
- 2021-03-25 CN CN202110320900.4A patent/CN112948885B/zh active Active
-
2022
- 2022-03-18 WO PCT/CN2022/081672 patent/WO2022199480A1/zh active Application Filing
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110647765A (zh) * | 2019-09-19 | 2020-01-03 | 济南大学 | 协同学习框架下基于知识迁移的隐私保护方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 芈小龙 ; 隋景鹏 ; .面向深度学习的差分隐私保护方法.舰船电子工程.2020,(09),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112948885A (zh) | 2021-06-11 |
| WO2022199480A1 (zh) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112948885B (zh) | 实现隐私保护的多方协同更新模型的方法、装置及系统 | |
| US11017322B1 (en) | Method and system for federated learning | |
| US20210256403A1 (en) | Recommendation method and apparatus | |
| CN111030861B (zh) | 一种边缘计算分布式模型训练方法、终端和网络侧设备 | |
| JP7383803B2 (ja) | 不均一モデルタイプおよびアーキテクチャを使用した連合学習 | |
| CN113221183B (zh) | 实现隐私保护的多方协同更新模型的方法、装置及系统 | |
| CN113408209A (zh) | 跨样本联邦分类建模方法及装置、存储介质、电子设备 | |
| WO2022007321A1 (zh) | 纵向联邦建模优化方法、装置、设备及可读存储介质 | |
| CN113377797B (zh) | 联合更新模型的方法、装置及系统 | |
| Miao et al. | Federated deep reinforcement learning based secure data sharing for Internet of Things | |
| US11843587B2 (en) | Systems and methods for tree-based model inference using multi-party computation | |
| CN110442758B (zh) | 一种图对齐方法、装置和存储介质 | |
| CN114595396A (zh) | 一种基于联邦学习的序列推荐方法和系统 | |
| CN115270001B (zh) | 基于云端协同学习的隐私保护推荐方法及系统 | |
| CN116032663A (zh) | 基于边缘设备的隐私数据处理系统、方法、设备及介质 | |
| CN114676838A (zh) | 联合更新模型的方法及装置 | |
| CN114330673A (zh) | 一种对业务预测模型进行多方联合训练的方法及装置 | |
| WO2022162677A1 (en) | Distributed machine learning with new labels using heterogeneous label distribution | |
| CN110489955B (zh) | 应用于电子设备的图像处理、装置、计算设备、介质 | |
| CN112765481A (zh) | 一种数据处理方法、装置、计算机及可读存储介质 | |
| EP4349055A2 (en) | Dimensioning of telecommunication infrastructure | |
| CN107707383B (zh) | 放通处理方法、装置、第一网元及第二网元 | |
| US20240176906A1 (en) | Methods, apparatuses, and systems for collaboratively updating model by multiple parties for implementing privacy protection | |
| CN111242431A (zh) | 信息处理方法和装置、构建客服对话工作流的方法和装置 | |
| CN113762532B (zh) | 联邦学习模型的训练方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |