CN113657616B - 联邦学习模型的更新方法和装置 - Google Patents
联邦学习模型的更新方法和装置 Download PDFInfo
- Publication number
- CN113657616B CN113657616B CN202111024654.4A CN202111024654A CN113657616B CN 113657616 B CN113657616 B CN 113657616B CN 202111024654 A CN202111024654 A CN 202111024654A CN 113657616 B CN113657616 B CN 113657616B
- Authority
- CN
- China
- Prior art keywords
- gradient
- terminal
- public key
- active
- terminals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000012549 training Methods 0.000 claims abstract description 38
- 238000003860 storage Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003616 anti-epidemic effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Abstract
本发明提供一种联邦学习模型的更新方法和装置，包括：将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密第一梯度得到的第二加密梯度发送至当前终端所在的第二组的其他终端；接收每个第一组的主动终端、被动终端以及其他终端分别发送的第三加密梯度；根据相同公钥加密得到的第三加密梯度确定每个第二公钥对应的第一密文梯度；将第一密文梯度发送至含有解密第一密文梯度的私钥的主动终端；接收各个主动终端反馈的第一解密梯度，并根据各个第一解密梯度以及第一噪声值更新模型的参数。本发明提供的联邦学习模型的更新方法是在保证数据隐秘性的前提下，提高了模型训练的稳定性。
Description
技术领域
本发明涉及联邦学习技术，尤其涉及一种联邦学习模型的更新方法和装置。
背景技术
为了解决数据孤岛及数据隐私安全的问题，目前主流方法是运用联邦学习将不同的数据联合训练，得到更好的模型以解决实际问题。联邦学习根据数据的分布情况分为横向联邦学习、纵向联邦学习、以及迁移学习。其中，纵向联邦学习应用较广。例如在金融场景中，银行等金融机构中含有信贷标签，而电商平台有用户的消费数据，双方用户存在交集，银行可以利用电商的数据进行信贷风险预测，但双方不能进行数据共享，这时可以采用纵向联邦学习解决这类问题。
目前，在通过纵向联邦学习构建逻辑回归模型时，通常需要可信第三方(协调者)生成同态加密的公私钥，并将公钥分发给各个参与方，参与联邦学习的各方将同态加密的梯度发送至可信第三方，可信第三方将各方同态加密的梯度相加后解密，然后将明文状态的模型梯度发送至特征拥有方后，特征拥有方即可更新本地模型。
在训练模型的每一轮迭代中，可信第三方都需要同时接收各个参与方的消息，且可信第三方在计算得到梯度后再同时将梯度发送给所有参与方，这会导致协调者产生瞬时计算负载和通信流量过大的问题，进而影响训练过程的稳定性。可见，模型的训练稳定性较差。
发明内容
本发明提供一种联邦学习模型的更新方法和装置，用以解决模型的训练稳定性较差的问题。
一方面，本发明提供一种联邦学习模型的更新方法，包括：
一种联邦学习模型的更新方法，包括：
当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密所述第一梯度得到的第二加密梯度发送至所述当前终端所在的第二组的其他终端，其中，所述第一组以及所述第二组均由一个主动终端和一个被动终端组成，所述第一公钥是所述第二组的主动终端生成的，所述第二公钥是所述第一组的主动终端生成的，所述其他终端是所述第二组中除所述当前终端之外的主动终端或被动终端；
所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端分别发送的第三加密梯度，所述第三加密梯度均不是采用所述第一公钥加密梯度得到的；
所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度，其中，所述第一密文梯度包括所述当前终端的第一噪声值；
所述当前终端将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端；
所述当前终端接收各个所述主动终端反馈的第一解密梯度，并根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
在一实施例中，所述当前终端是所述第二组的主动终端，所述将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端的步骤之后，还包括：
所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端发送的第二密文梯度，所述第二密文梯度是采用第一公钥加密各个加密梯度得到的，且所述第二密文梯度包括生成所述第二密文梯度的终端的第二噪声值；
所述当前终端根据所述第一公钥对应的私钥对各个所述第二密文梯度解密得到各个第二解密梯度；
所述当前终端将所述第二解密梯度发送至所述第二解密梯度对应的终端，其中，所述第二解密梯度对应的终端是发送所述第二解密梯度对应的第二密文梯度的终端。
在一实施例中，所述当前终端包括截距，所述根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数的步骤包括：
所述当前终端根据相同公钥加密得到的所述第三加密梯度，确定每个所述第二公钥对应的密文截距，其中，所述密文截距包括所述当前终端的第一噪声值；
所述当前终端将每个所述密文截距发送至含有解密所述密文截距的私钥的主动终端；
所述当前终端接收各个所述主动终端反馈的解密截距，并根据各个所述解密截距、各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
在一实施例中，所述根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度的步骤包括：
所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的平均梯度；
所述当前终端获取第一噪声值，并将每个所述平均梯度与所述第一噪声值分别进行运算得到多个第一密文梯度。
在一实施例中，所述根据各个所述第一解密梯度、所述第一梯度以及所述噪声值更新所述当前终端内模型的参数的步骤之后，还包括：
所述当前终端根据各个训练样本对参数更新后的模型进行训练；
所述当前终端在训练完毕的模型未满足收敛条件时，根据训练完毕的模型重新获取第一梯度，并返回执行所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤。
在一实施例中，所述当前终端是所述第二组中的被动终端，所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤之前，还包括：
所述当前终端获取所述第二组的主动终端生成的第一公钥，且接收每个所述第一组的主动终端生成的第二公钥。
在一实施例中，所述当前终端是所述第二组的主动终端，所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤之前，还包括：
所述当前终端生成第一公钥以及所述第一公钥对应的私钥；
所述当前终端保存所述私钥，并将所述第一公钥发送至每个所述第一组的主动终端、被动终端以及所述其他终端；
所述当前终端接收每个所述第一组的主动终端生成的第二公钥。
在一实施例中，每个所述主动终端的计算资源均大于每个所述被动终端的计算资源，且所述主动终端的带宽均大于每个所述被动终端的带宽。
另一方面，本发明还提供一种终端，包括：
发送模块，用于将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密所述第一梯度得到的第二加密梯度发送至所述当前终端所在的第二组的其他终端，其中，所述第一组以及所述第二组均由一个主动终端和一个被动终端组成，所述第一公钥是所述第二组的主动终端生成的，所述第二公钥是所述第一组的主动终端生成的，所述其他终端是所述第二组中除所述当前终端之外的主动终端或被动终端；
接收模块，用于接收每个所述第一组的主动终端、被动终端以及所述其他终端分别发送的第三加密梯度，所述第三加密梯度均不是采用所述第一公钥加密梯度得到的；
确定模块，用于根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度，其中，所述第一密文梯度包括所述当前终端的第一噪声值；
所述发送模块，还用于将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的第二主动终端；
所述接收模块，还用于接收各个所述第二主动终端反馈的第一解密梯度，并根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
另一方面，本发明还提供一种终端，包括：存储器和处理器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上所述的联邦学习模型的更新方法。
另一方面，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上所述的联邦学习模型的更新方法。
另一方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时，实现如上所述的联邦学习模型的更新方法。
本发明提供的联邦学习模型的更新方法和装置，当前终端将自身所在组的主动终端生成的第一公钥加密梯度得到的第一加密梯度发送至每个第一组中的主动终端以及被动终端，再将每个第一组的主动终端生成的第二公钥加密梯度得到的第二加密梯度发送至当前终端所在第二组的其他终端，且同时接收第一组的主动终端、被动终端以及其他终端采用第二公钥加密的第三加密梯度，使得当前终端基于相同公钥加密的各个第三加密梯度确定含有当前终端噪声值的第一密文梯度，并将第一密文梯度发送至能够解密第一密文梯度的主动终端，进而接收每个主动终端反馈的解密梯度，最后基于各个解密梯度以及噪声值更新模型的参数。本发明中，参与纵向联邦学习的终端分为多组终端，每组包括主动终端以及被动终端，使得每组终端计算其他组终端的梯度并对加密的梯度进行解密，从而将纵向联邦学习中的梯度计算分摊到每个参与方，避免某个参与方的终端采用过多的资源计算梯度，提高了模型训练的稳定性；进一步的，当前终端接收的是其他终端公钥加密的梯度，保证当前终端无法采用自身的秘钥对加密的梯度进行解密直接得到其他终端模型的梯度，且由多个加密梯度得到的密文梯度含有自身的噪声值，保证其他终端解密密文梯度后无法得到当前终端的真实梯度，也即本发明提供的联邦学习模型的更新方法是在保证数据隐秘性的前提下，提高了模型训练的稳定性。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1为本发明实现联邦学习模型的更新方法的系统构架图；
图2为本发明联邦学习模型的更新方法第一实施例的流程示意图；
图3为本发明联邦学习模型的更新方法第二实施例的流程示意图；
图4为本发明联邦学习模型的更新方法第三实施例中步骤S50的细化流程示意图；
图5为本发明联邦学习模型的更新方法的简要流程示意图；
图6为本发明终端的功能模块示意图；
图7为本发明终端的硬件结构示意图。
通过上述附图，已示出本公开明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
本发明提供一种联邦学习模型的更新方法，可以通过图1所示的系统构架图实现。如图1所示，假设参与联邦学习的假设有终端100、终端200、终端300以及终端400，则将终端100以及终端200分为a组，终端300以及终端400分为b组。对a组中的终端100赋予主动终端的角色，终端100可定义为active_a，对a组中的终端200赋予被动终端的角色，终端200可定义为passive_a；对b组中的终端300赋予主动终端的角色，终端300可定义为active_b，对b组中的终端400赋予被动终端的角色，终端400可定义为passive_b。角色的赋予可以通过终端的性能确定，例如，终端100以及终端300的目标参数均大于终端200以及终端400的目标参数，目标参数为终端的计算资源以及带宽，可以理解的是，每个主动终端的计算资源均大于每个被动终端的计算资源，且主动终端的带宽均大于每个被动终端的带宽。主动终端以及被动终端具有对应的职责，主动终端生成秘钥对，并将公钥分享至其他终端；被动终端则负责将接收的加密梯度按照相同的公钥进行叠加，并将叠加的加密梯度发送至对应的主动终端进行解密。终端100、终端200、终端300以及终端400通过网络相互通信连接。需要说的是，参与联邦学习的终端包括但不限于4个终端，可以是更多的终端，且各个终端会被分为两两一组的终端，且每组终端由一个主动终端以及一个被动终端构成。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
参照图2，图2为本发明联邦学习模型的更新方法的第一实施例，联邦学习模型的更新方法包括以下步骤：
步骤S10，当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密第一梯度得到的第二加密梯度发送至当前终端所在的第二组的其他终端，其中，第一组以及第二组均由一个主动终端和一个被动终端组成，第一公钥是第二组的主动终端生成的，第二公钥是第一组的主动终端生成的，其他终端是第二组中除当前终端之外的主动终端或被动终端。
在本实施例中，将参与联邦纵向学习的终端分为多组，每一组均有一个主动终端以及一个被动终端构成。当前终端所在的组定义为第二组，其他组则定义为第二组。当前终端是第二组中的主动终端或者被动终端。每组中的主动终端会生成秘钥对，并将生成的公钥共享至所有终端。将当前终端所在第二组中主动终端生成的公钥定义为第一公钥，并将每个第一组的主动终端生成的公钥定义为第二公钥。
每个终端拥有的数据不同，例如，某终端拥有样本标签y(1或-1)、样本xg、权重ωg、截距b；而其他终端分别拥有样本x1～x3、权重ω1～ω3。每个终端根据自身所拥有的数据计算自身模型的梯度。当前终端所确定的梯度定义为第一梯度。除当前终端之外的其他终端的梯度定义为第二梯度。每个终端(参与联邦学习的终端)会采用所拥有的所有公钥分别对自身的梯度进行加密得到加密梯度，再将a公钥(a公钥是a组的主动终端生成的)加密的加密梯度发送至除a组之外的其他组的被动终端，将b公钥(b公钥是a组的主动终端生成的)加密的加密梯度发送至除b组之外的其他组的被动终端和被动终端。例如，四个终端，分为ab两组，每个终端将a公钥加密的加密梯度发送至b组的被动终端和主动终端，且将b公钥加密的加密梯度发送至a组的被动终端和主动终端，从而使得每个终端能够得到采用其他组的公钥生成的各个加密梯度，例如，a组的主动终端可以得到b公钥的加密的三个加密梯度、a组的被动终端可以得到b公钥的加密的三个加密梯度、b组的主动终端可以得到a公钥的加密的三个加密梯度、b组的被动终端可以得到a公钥的加密的三个加密梯度。
可以理解的是，当前终端将使用第一公钥加密的第一梯度得到的第一加密梯度发送至每个第一组的主动终端以及被动终端，并将使用第二公钥加密的第一梯度得到的第二加密梯度发送至第二组的其他终端(当前终端不需要将第二加密梯度发送给自身)，其他终端是第二组中除当前终端之外的主动终端以及被动终端。
以下仍以四个终端进行举例说明。当前终端是a组的主动终端a，其他终端是a组的被动终端，b组包括主动终端b以及被动终端b，四个终端都拥有b公钥(主动终端b生成的)以及a公钥(主动终端a生成的)，主动终端a采用ab公钥加密梯度1得到加密梯度a1以及加密梯度b1、被动终端a采用ab公钥加密梯度2得到加密梯度a2以及加密梯度b2、主动终端b采用ab公钥加密梯度3得到加密梯度a3以及加密梯度b3、被动终端b采用ab公钥加密梯度4得到加密梯度a4以及加密梯度b4。
主动终端a将a1发送至被动终端b以及被动终端b，且将b1发送至被动终端a；
被动终端a将a2发送至被动终端b以及被动终端b，且将b2发送至主动终端a；
主动终端b将b3发送至被动终端a以及被动终端a，且将a3发送至被动终端b；
被动终端b将b4发送至被动终端a以及被动终端a，且将a4发送至主动终端b；
主动终端a接收了b公钥加密的b2、b3以及b4；
被动终端a接收了b公钥加密的b1、b3以及b4；
主动终端b接收了a公钥加密的a1、a2以及a4；
被动终端b接收了a公钥加密的a1、a2以及b3。
若是分为三组，第三组为c组根据上述举例，可以确定：
主动终端a接收了b公钥加密的b2、b3、b4、b5以及b6，接收了c公钥加密的c2、c3、c4、c5以及c6；
被动终端a接收了b公钥加密的b1、b3、b5以及b6，接收了c公钥加密的c1、c3、c4、c5以及c6；
主动终端b接收了a公钥加密的a1、a2、a4、a5以及a6，接收了c公钥加密的c1、c2、c4、c5以及c6；
被动终端b接收了a公钥加密的a1、a2、a3、a5以及a6，接收了c公钥加密的c1、c2、c3、c5以及c6；
主动终端c接收了a公钥加密的a1、a2、a3、a4以及a6，接收了b公钥加密的b1、b2、b3、b4以及b6；
被动终端c接收了a公钥加密的a1、a2、a3、a4以及a5，接收了b公钥加密的b1、b2、b3、b4以及b5。
如果是四组以及四组以使的终端，即可按照如上逻辑进行加密梯度的发送。
需要说明的是，每个主动终端的计算资源均大于每个被动终端的计算资源，且主动终端的带宽均大于每个被动终端的带宽。当然，每组中的主动终端以及被动终端也可以随机选取。
步骤S20，当前终端接收每个第一组的主动终端、被动终端以及其他终端分别发送的第三加密梯度，第三加密梯度均不是采用第一公钥加密梯度得到的。
当前终端接收到每个第一组的主动终端、被动终端以及其他终端分别发送的第三加密梯度，且每个第三加密梯度均不是采用第一公钥加密梯度得到的。具体参照上述例子，当前终端为主动终端a，则接收b公钥加密的b2、b3以及b4。
步骤S30，当前终端根据相同公钥加密得到的第三加密梯度，确定每个第二公钥对应的第一密文梯度，其中，第一密文梯度包括当前终端的第一噪声值。
主动终端会对相同公钥加密的得到的第三加密梯度确定每个第二公钥对应的第一密文梯度，第一密文梯度包括当前终端的第一噪声值。
仍以上述例子进行举例，当前终端为主动终端a，则接收了b公钥加密的b2、b3、b4、b5以及b6，接收了c公钥加密的c2、c3、c4、c5以及c6；b、c公钥都是第二公钥，则对各个b公钥加密的b2、b3、b4、b5以及b6进行求和，并基于求得的和得到b公钥对应的平均梯度，同理，得到c公钥对应的平均梯度。也即当前终端根据相同公钥加密得到的第三加密梯度确定每个第二公钥对应的平均梯度。当前终端获取自身的第一噪声值，再将b、c公钥对应的平均梯度分别与第一噪声值进行运算即可得到多个第一密文梯度，也即得到b公钥对应的第一密文梯度以及c公钥对应的第一密文梯度。运算方式可以是加减乘除中的任意一种，例如b公钥对应的第一密文梯度＝b公钥对应的平均梯度+第一噪声值。
平均梯度具体是通过相同第二公钥对应的加密梯度之和乘以训练样本的总数量再除以条数即可得到平均梯度。训练样本是需要进行队列排序的，因此可以得到有行和列构成的训练样本集，条数指的是训练样本集中训练样本构成的行数。例如，各个训练样本构成10行的训练样本集，则条数为10。
步骤S40，当前终端将第一密文梯度发送至含有解密第一密文梯度的私钥的主动终端。
当前终端在得到各个第一密文梯度后，将第一密文梯度发送至含有解密第一密文梯度私钥的主动终端。例如，b公钥对应的第一密文梯度发送至主动终端b，c公钥对应的第一密文梯度则发送至主动终端c。
步骤S50，当前终端接收各个主动终端反馈的第一解密梯度，并根据各个第一解密梯度以及第一噪声值更新当前终端内模型的参数。
主动终端解密第一密文梯度得到第一解密梯度，并将第一解密梯度返回给当前终端，当前终端即可基于各个第一解密梯度以及第一噪声值对当前终端的模型进行参数的更新。具体的，将各个第一解密梯度减去第一噪声值得到多个平均梯度，各个平均梯度再次求取平均值，平均值即为真实模型参数所需更新的真实梯度。模型即为联邦学习模型，联邦学习模型指的是采用联邦学习的方式训练得到的模型。
训练的模型可以用于金融行业、医疗行业以及政务行业。以下对三个行业进行应用场景的说明。
1、金融行业的应用场景
金融机构之间、金融机构同运营商、互联网、电商平台之间等可以在不泄露原始信息的前提下对客户进行联合的精准画像，在信贷评估、产品推荐等场景下有效控制违约风险，提高业务效率。
以银行个人信贷业务为例，首先需要对客户进行三要素(姓名、身份证号和手机号)核验查询等以确认用户身份。为避免在面向外部机构进行查询调用过程中客户的敏感信息被缓存，银行可以利用模型实现匿踪查询以保护数据安全。其次，银行还需要引入客户的行为数据和场景数据进行联合建模以准确判断其偿付能力和违约风险。利用纵向联邦学习参与建模的金融机构和外部数据合作方可以在不直接交互原始数据的前提下，实现多方数据的虚拟融合和样本对齐，各自在本地进行算法训练，训练过程中仅对任务的中间因子进行安全交互，使得训练出的模型在敏感数据不出门的同时即可完成对用户的画像。
2、医疗行业的应用场景
医学研究、临床诊断、医疗服务等对基于大数据的统计分析与应用挖掘有着强烈的需求，但其依赖的是众多病患的个人健康数据，这些数据规模大、价值含量高，但共享流通却十分困难。
一方面是跨机构的数据采集与整合难。相似疾病的不同病例、同一病患的不同病案等大量的诊疗数据往往分布在不同的医疗机构，各机构数据开放共享的意愿本就有限，再加上各医疗机构间的数据标准、编码方式各不相同，跨机构间的联合研究与诊断就更加困难。另一方面是跨机构的数据联合应用难。病患的个人医疗数据十分敏感，且复杂的诊疗数据在其使用过程中难以管控，面对个人隐私保护和数据安全要求，很多机构难免望而却步。
利用联邦纵向学习，在建立分散存储的标准化数据库的基础上，可以实现分布式的联合统计分析，从而获得临床科研的研究成果。在抗击新冠肺炎疫情的过程中，联邦纵向学习的隐私计算助力实现了全球范围内的疫情数据共享，基于多方安全计算等技术实现了允许用户在不公布己方数据的前提下，联合其他科研人员协同进行病例样本基因组的联合分析并共享结果，使得训练的模型实现了对病毒流行病学情况的实时追踪和对未来毒株演化的预测，成为助力抗疫情的一把利剑。
3、政务行业的应用场景
作为跨机构间数据流通的重要参与主体，政务行业有望成为隐私计算技术落地的下一个重要场景。政务数据的规模大、种类多、蕴含价值高，涉及公安、交通、税务、环境等各类人民生产生活和社会运行的数据，政务数据的流通与应用将释放巨大能量。
各地政府积极推进政务数据的开放共享，但不同部门之间的数据孤岛难以快速消除，且政务数据涉及社会民生，数据合规和安全管控要求更加严格。因此，政务部门之间、政府与企业之间的数据共享应用十分困难。联邦纵向学习的隐私计算为此提供了解决方案，训练的模型可以在跨机构之间的进行个人身份确认、企业经营监管、智慧城市建设。
在本实施例提供的技术方案中，终端生成的第一公钥加密梯度得到的第一加密梯度发送至每个第一组中的主动终端以及被动终端，再将每个第一组的主动终端生成的第二公钥加密梯度得到的第二加密梯度发送至当前终端所在第二组的其他终端，且同时接收第一组的主动终端、被动终端以及其他终端采用第二公钥加密的第三加密梯度，使得当前终端基于相同公钥加密的各个第三加密梯度确定含有当前终端噪声值的第一密文梯度，并将第一密文梯度发送至能够解密第一密文梯度的主动终端，进而接收每个主动终端反馈的解密梯度，最后基于各个解密梯度以及噪声值更新模型的参数。本发明中，参与纵向联邦学习的终端分为多组终端，每组包括主动终端以及被动终端，使得每组终端计算其他组终端的梯度并对加密的梯度进行解密，从而将纵向联邦学习中的梯度计算分摊到每个参与方，避免某个参与方的终端采用过多的资源计算梯度，提高了模型训练的稳定性；进一步的，当前终端接收的是其他终端公钥加密的梯度，保证当前终端无法采用自身的秘钥对加密的梯度进行解密直接得到其他终端模型的梯度，且由多个加密梯度得到的密文梯度含有自身的噪声值，保证其他终端解密密文梯度后无法得到当前终端的真实梯度，也即本发明提供的联邦学习模型的更新方法是在保证数据隐秘性的前提下，提高了模型训练的稳定性。
参照图3，图3为本发明联邦学习模型的更新方法第二实施例，基于第一实施例，步骤S40之后，还包括：
步骤S60，当前终端接收每个第一组的主动终端、被动终端以及其他终端发送的第二密文梯度，第二密文梯度是采用第一公钥加密各个加密梯度得到的，且第二密文梯度包括生成第二密文梯度的终端的第二噪声值。
步骤S70，当前终端根据第一公钥对应的私钥对各个第二密文梯度解密得到各个第二解密梯度。
步骤S80，当前终端将第二解密梯度发送至第二解密梯度对应的终端，其中，第二解密梯度对应的终端是发送第二解密梯度对应的第二密文梯度的终端。
在本实施例中，当前终端是第二组中的主动终端，也即当前终端对被动终端发送的密文梯度进行解密。
当前终端生成的密文梯度定义为第一密文梯度，而其他终端生成的密文梯度则定义为第二密文梯度。第二密文梯度的生成方式与第一密文梯度的生成方式相同，在此不再进行赘述，也即第二密文梯度包括生成第二密文梯度的终端的第二噪声值。生成第二密文梯度的终端所拥有的噪声值定义为第二噪声值。
当前终端接收每个第一组的主动终端、被动终端以及其他终端发送的第二密文梯度，且各个第二密文梯度均是当前终端生成的第一公钥加密的。当前终端含有第一公钥对应的私钥，当前终端可以对各个第二密文梯度进行解密得到每个第二密文梯度对应的第二解密梯度。由于第二密文梯度中包括有噪声值，当前终端无法得到其他终端的真实梯度，避免数据的泄密。当前终端再将每个第二解密梯度反馈至第二解密梯度对应的终端，第二解密梯度对应的终端是发生第二解密梯度对应的第二密文梯度的终端。
在本实施例提供的技术方案中，当前终端为主动终端，则当前终端会接收第一组的主动终端、被动终端以及其他终端发送的第二密文梯度进行解密，再将解密得到的第二解密梯度发送至第二解密梯度对应的终端，使得各个终端得以基于解密的且未泄密的梯度进行模型参数的更新。
参照图4，图4为本发明联邦学习模型的更新方法第三实施例，基于第一实施例，步骤S50包括：
步骤S51，当前终端根据相同公钥加密得到的第三加密梯度，确定每个第二公钥对应的密文截距，其中，密文截距包括当前终端的第一噪声值。
步骤S52，当前终端将每个密文截距发送至含有解密密文截距的私钥的主动终端。
步骤S53，当前终端接收各个主动终端反馈的解密截距，并根据各个解密截距、各个第一解密梯度以及第一噪声值更新当前终端内模型的参数。
在本实施例中，当前终端含有截距b，则在更新模型的参数时，需要平均梯度以及平均截距更新模型的参数。
具体的，当前终端根据相同公钥加密得到的第三加密梯度即可确定每个第二公钥对应的密文截距，密文截距包括当前终端的第一噪声值。当前终端将每个密文截距发送至含有解密密文截距的私钥的主动终端。主动终端解密密文截距得到解密截距，再将解密截距反馈至当前终端，当前终端根据各个解密截距、各个第一解密梯度以及第一噪声值更新模型的参数。具体的，当前终端将每个解密截距减去第一噪声值得到各个平均截距，再对各个平均截距求取平均值，且将每个第一解密梯度减去第一噪声值得到各个平均梯度，各个平均梯度求取平均值，即可基于两个平均值更新模型的参数。
平均截距具体是通过相同第二公钥对应的加密梯度之和除以条数即可得到平均截距。训练样本是需要进行队列排序的，因此可以得到有行和列构成的训练样本集，条数指的是训练样本集中训练样本构成的行数。例如，各个训练样本构成10行的训练样本集，则条数为10。
在本实施例提供的技术方案中，当前终端包括截距，则当前终端需要获取平均截距以及平均梯度对模型进行参数的更新。
在一实施例中，步骤S50之后，还包括：
当前终端根据各个训练样本对参数更新后的模型进行训练；
当前终端在训练完毕的模型未满足收敛条件时，根据训练完毕的模型重新获取第一梯度，并返回执行当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤。
在本实施例中，当前终端在完成对模型的参数更新后，需要采用训练样本对参数更新后的模型进行训练，在训练完毕后，当前终端需要判断训练完毕的模型是否满足收敛条件，例如，当前终端可以通过训练集梯度变化量或测试集accuracy、precision、recall、ks、auc、f1等指标来判断模型是否收敛。若是没有满足收敛条件，则根据训练完毕的模型重新获取第一梯度，进而返回执行步骤S10-步骤S50，也即再次发起联邦学习获取平均梯度进行模型参数的更新。
在一实施例中，若是当前终端为第二组中的被动终端，则在步骤S10之前，当前终端获取第一组中的主动终端生成的第一公钥以及每个第一组的主动终端生成的第二公钥。
若是当前终端为第二组中的主动终端，则在步骤S10之前，当前终端生成第一公钥以及第一公钥对应的私钥，当前终端保存私钥，并将第一公钥发送至每个第一组的主动终端以及被动终端，且发送至其他终端，且当前终端会接收到每个第一组的主动终端生成的第二公钥。
基于上述实施例，参照图5，以四个终端参与纵向联邦学习的为例，对本发明方案进行简要的说明。
1、若四个终端的计算资源和通信带宽均相同，则各方根据同一个随机化方法确定每轮的角色。若计算资源和网络带宽不同，则选择资源和带宽最多的两方作为active方(主动方)。如图5所示，本轮选择H1作为active_a(主动终端a)，H2作为active_b(主动终端b)，其余方随机作为passive_a(被动终端a)以及passive_b(被动终端b)参与梯度计算。
2、active_a和active_b生成各自的加法同态加密公私钥，并将active_a和active_b的公钥发给所有参与方终端。
3、各方都用active_a(H1)和active_b(H2)的公钥加密自身部分的梯度，并将用active_a公钥加密的梯度发送给所有b方成员(主动终端b以及被动终端b)，active_b公钥加密的梯度发送给所有a方成员(被动终端a以及主动终端a)。
4、b方成员在收到全部用active_a的公钥加密的梯度后，将各个加密的梯度进行求和得到[[gres]]a，a方成员在收到全部用active_b的公钥加密的梯度后求和得到[[gres]]b。
5、各方将[[gres]]乘以训练样本的总数量x再除以本轮的条数len(x)得到平均梯度，并将生成的噪声加到平均梯度上。具体来说，H1计算的是/>得到[[G1]]b，H2计算的是/>得到[[G2]]a，H3计算的是/>得到[[G3]]b，G计算的是/>得到[[Gg]]a。此外，由于截距b是在G方计算的，它的梯度也要在G方计算，公式为/>得到[[Gb]]a。/>
6、在完成上述步骤后，所有参与方将自己计算后的加了噪声的密文梯度发给对应的私钥拥有者进行解密，解密后发回各方分别去掉噪声，更新自己的权重(G方还要更新截距)。具体来说，H1发送[[G1]]b给active_b(H2)进行解密，active_b(H2)将解密后的G1发送给H1，H1计算得到自己更新模型参数所需的真实梯度。H2、H3、G均进行类似的操作，即如果自己所拥有的密文是由active_a的公钥加密的就加上噪声发给active_a，由active_b的公钥加密的就加上噪声发给active_b，接收解密信息后减去噪声获得更新模型参数所需梯度。
本发明还提供一种终端600，参照图6，终端600包括：
加密模块601，用于将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密第一梯度得到的第二加密梯度发送至当前终端所在的第二组的其他终端，其中，第一组以及第二组均由一个主动终端和一个被动终端组成，第一公钥是第二组的主动终端生成的，第二公钥是第一组的主动终端生成的，其他终端是第二组中除当前终端之外的主动终端或被动终端；
接收模块602，用于接收每个第一组的主动终端、被动终端以及其他终端分别发送的第三加密梯度，第三加密梯度均不是采用第一公钥加密梯度得到的；
确定模块603，用于根据相同公钥加密得到的第三加密梯度，确定每个第二公钥对应的第一密文梯度，其中，第一密文梯度包括当前终端的第一噪声值；
发送模块604，用于将第一密文梯度发送至含有解密第一密文梯度的私钥的主动终端；
接收模块602，用于接收各个主动终端反馈的第一解密梯度，并根据各个第一解密梯度以及第一噪声值更新当前终端内模型的参数。
在一实施例中，终端600包括：
接收模块602，用于接收每个第一组的主动终端、被动终端以及其他终端发送的第二密文梯度，第二密文梯度是采用第一公钥加密各个加密梯度得到的，且第二密文梯度包括生成第二密文梯度的终端的第二噪声值；
解密模块，用于根据第一公钥对应的私钥对各个第二密文梯度解密得到各个第二解密梯度；
发送模块604，用于将第二解密梯度发送至第二解密梯度对应的终端，其中，第二解密梯度对应的终端是发送第二解密梯度对应的第二密文梯度的终端。
在一实施例中，终端600包括：
加密模块601，用于根据相同公钥加密得到的第三加密梯度，确定每个第二公钥对应的密文截距，其中，密文截距包括当前终端的第一噪声值；
发送模块604，用于将每个密文截距发送至含有解密密文截距的私钥的主动终端；
接收模块602，用于接收各个主动终端反馈的解密截距，并根据各个解密截距、各个第一解密梯度以及第一噪声值更新当前终端内模型的参数。
在一实施例中，终端600包括：
加密模块601，用于根据相同公钥加密得到的第三加密梯度，确定每个第二公钥对应的平均梯度；
获取模块，用于获取第一噪声值，并将每个平均梯度与第一噪声值分别进行运算得到多个第一密文梯度。
在一实施例中，终端600包括：
训练模块，用于根据各个训练样本对参数更新后的模型进行训练；
获取模块，用于在训练完毕的模型未满足收敛条件时，根据训练完毕的模型重新获取第一梯度，并返回执行当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤。
在一实施例中，终端600包括：
获取模块，用于获取第二组的主动终端生成的第一公钥，且接收每个第一组的主动终端生成的第二公钥。
在一实施例中，终端600包括：
生成模块，用于生成第一公钥以及第一公钥对应的私钥；
保存模块，用于保存私钥，并将第一公钥发送至每个第一组的主动终端、被动终端以及其他终端；
接收模块602，用于接收每个第一组的主动终端生成的第二公钥。
图7是根据一示例性实施例示出的一种终端的硬件结构示意图。
终端700可以包括：处理器701，例如CPU，存储器702以及收发器703。本领域技术人员可以理解，图7中示出的结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
处理器701可以调用存储器702内存储的计算机程序，以完成上述的联邦学习模型的更新方法的全部或部分步骤。
收发器703用于接收外部设备发送的信息以及向外部设备发送信息。
一种非临时性计算机可读存储介质，当该存储介质中的指令由终端的处理器执行时，使得终端能够执行上述联邦学习模型的更新方法。
一种计算机程序产品，包括计算机程序，当该计算机程序由终端的处理器执行时，使得终端能够执行上述联邦学习模型的更新方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本发明旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求书指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。
Claims (11)
1.一种联邦学习模型的更新方法，其特征在于，包括：
当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密所述第一梯度得到的第二加密梯度发送至所述当前终端所在的第二组的其他终端，其中，所述第一组以及所述第二组均由一个主动终端和一个被动终端组成，所述第一公钥是所述第二组的主动终端生成的，所述第二公钥是所述第一组的主动终端生成的，所述其他终端是所述第二组中除所述当前终端之外的主动终端或被动终端；
所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端分别发送的第三加密梯度，所述第三加密梯度均不是采用所述第一公钥加密梯度得到的；
所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度，其中，所述第一密文梯度包括所述当前终端的第一噪声值；
所述当前终端将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端；
所述当前终端接收各个所述主动终端反馈的第一解密梯度，并根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
2.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述当前终端是所述第二组的主动终端，所述将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的主动终端的步骤之后，还包括：
所述当前终端接收每个所述第一组的主动终端、被动终端以及所述其他终端发送的第二密文梯度，所述第二密文梯度是采用第一公钥加密各个加密梯度得到的，且所述第二密文梯度包括生成所述第二密文梯度的终端的第二噪声值；
所述当前终端根据所述第一公钥对应的私钥对各个所述第二密文梯度解密得到各个第二解密梯度；
所述当前终端将所述第二解密梯度发送至所述第二解密梯度对应的终端，其中，所述第二解密梯度对应的终端是发送所述第二解密梯度对应的第二密文梯度的终端。
3.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述当前终端包括截距，所述根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数的步骤包括：
所述当前终端根据相同公钥加密得到的所述第三加密梯度，确定每个所述第二公钥对应的密文截距，其中，所述密文截距包括所述当前终端的第一噪声值；
所述当前终端将每个所述密文截距发送至含有解密所述密文截距的私钥的主动终端；
所述当前终端接收各个所述主动终端反馈的解密截距，并根据各个所述解密截距、各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
4.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度的步骤包括：
所述当前终端根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的平均梯度；
所述当前终端获取第一噪声值，并将每个所述平均梯度与所述第一噪声值分别进行运算得到多个第一密文梯度。
5.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述根据各个所述第一解密梯度、所述第一梯度以及所述噪声值更新所述当前终端内模型的参数的步骤之后，还包括：
所述当前终端根据各个训练样本对参数更新后的模型进行训练；
所述当前终端在训练完毕的模型未满足收敛条件时，根据训练完毕的模型重新获取第一梯度，并返回执行所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤。
6.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述当前终端是所述第二组中的被动终端，所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤之前，还包括：
所述当前终端获取所述第二组的主动终端生成的第一公钥，且接收每个所述第一组的主动终端生成的第二公钥。
7.根据权利要求1所述的联邦学习模型的更新方法，其特征在于，所述当前终端是所述第二组的主动终端，所述当前终端将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端的步骤之前，还包括：
所述当前终端生成第一公钥以及所述第一公钥对应的私钥；
所述当前终端保存所述私钥，并将所述第一公钥发送至每个所述第一组的主动终端、被动终端以及所述其他终端；
所述当前终端接收每个所述第一组的主动终端生成的第二公钥。
8.根据权利要求1-7任一项所述的联邦学习模型的更新方法，其特征在于，每个所述主动终端的计算资源均大于每个所述被动终端的计算资源，且所述主动终端的带宽均大于每个所述被动终端的带宽。
9.一种终端，其特征在于，包括：
发送模块，用于将使用第一公钥加密第一梯度得到的第一加密梯度发送至每个第一组的主动终端和被动终端，并将使用第二公钥加密所述第一梯度得到的第二加密梯度发送至当前终端所在的第二组的其他终端，其中，所述第一组以及所述第二组均由一个主动终端和一个被动终端组成，所述第一公钥是所述第二组的主动终端生成的，所述第二公钥是所述第一组的主动终端生成的，所述其他终端是所述第二组中除所述当前终端之外的主动终端或被动终端；
接收模块，用于接收每个所述第一组的主动终端、被动终端以及所述其他终端分别发送的第三加密梯度，所述第三加密梯度均不是采用所述第一公钥加密梯度得到的；
确定模块，用于根据相同公钥加密得到的第三加密梯度，确定每个所述第二公钥对应的第一密文梯度，其中，所述第一密文梯度包括所述当前终端的第一噪声值；
所述发送模块，还用于将所述第一密文梯度发送至含有解密所述第一密文梯度的私钥的第二主动终端；
所述接收模块，还用于接收各个所述第二主动终端反馈的第一解密梯度，并根据各个所述第一解密梯度以及所述第一噪声值更新所述当前终端内模型的参数。
10.一种终端，其特征在于，包括：存储器和处理器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如权利要求1至8任一项所述的联邦学习模型的更新方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的联邦学习模型的更新方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111024654.4A CN113657616B (zh) | 2021-09-02 | 2021-09-02 | 联邦学习模型的更新方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111024654.4A CN113657616B (zh) | 2021-09-02 | 2021-09-02 | 联邦学习模型的更新方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113657616A CN113657616A (zh) | 2021-11-16 |
| CN113657616B true CN113657616B (zh) | 2023-11-03 |
Family
ID=78482713
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111024654.4A Active CN113657616B (zh) | 2021-09-02 | 2021-09-02 | 联邦学习模型的更新方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113657616B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114722049B (zh) * | 2022-05-18 | 2022-08-12 | 华控清交信息科技(北京)有限公司 | 一种多方数据交集计算方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN112383396A (zh) * | 2021-01-08 | 2021-02-19 | 索信达(北京)数据技术有限公司 | 一种联邦学习模型训练方法及系统 |
| CN112818374A (zh) * | 2021-03-02 | 2021-05-18 | 深圳前海微众银行股份有限公司 | 一种模型的联合训练方法、设备、存储介质及程序产品 |
| WO2021094879A1 (en) * | 2019-11-15 | 2021-05-20 | International Business Machines Corporation | Secure federation of distributed stochastic gradient descent |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210143987A1 (en) * | 2019-11-13 | 2021-05-13 | International Business Machines Corporation | Privacy-preserving federated learning |
-
2021
- 2021-09-02 CN CN202111024654.4A patent/CN113657616B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| WO2020177392A1 (zh) * | 2019-03-01 | 2020-09-10 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| WO2021094879A1 (en) * | 2019-11-15 | 2021-05-20 | International Business Machines Corporation | Secure federation of distributed stochastic gradient descent |
| CN112383396A (zh) * | 2021-01-08 | 2021-02-19 | 索信达(北京)数据技术有限公司 | 一种联邦学习模型训练方法及系统 |
| CN112818374A (zh) * | 2021-03-02 | 2021-05-18 | 深圳前海微众银行股份有限公司 | 一种模型的联合训练方法、设备、存储介质及程序产品 |
Non-Patent Citations (2)
| Title |
|---|
| 机器学习隐私保护研究综述;谭作文;张连福;;软件学报(07);全文 * |
| 联邦学习安全与隐私保护研究综述;周俊;方国英;吴楠;;西华大学学报(自然科学版)(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113657616A (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Almulhim et al. | A lightweight and secure authentication scheme for IoT based e-health applications | |
| CN111986755A (zh) | 一种基于区块链和属性基加密的数据共享系统 | |
| CN113127916B (zh) | 数据集合处理方法、数据处理方法、装置及存储介质 | |
| EP4120150A1 (en) | Calculation method for vertical federated learning, apparatus, device, and medium | |
| CN110419055A (zh) | 基于利用零知识证明的账户票据模型的区块链数据保护 | |
| CN112199702A (zh) | 一种基于联邦学习的隐私保护方法、存储介质及系统 | |
| JP2020515087A5 (zh) | ||
| CN108235805A (zh) | 账户统一方法、装置及存储介质 | |
| CN106161415B (zh) | 一种信息处理方法及移动群智感知应用平台 | |
| CN110086626A (zh) | 基于非对称密钥池对的量子保密通信联盟链交易方法和系统 | |
| US20220374544A1 (en) | Secure aggregation of information using federated learning | |
| An et al. | PPQC: A blockchain-based privacy-preserving quality control mechanism in crowdsensing applications | |
| CN113836556A (zh) | 面向联邦学习的去中心化函数加密隐私保护方法及系统 | |
| CN113420335B (zh) | 一种基于区块链的联邦学习系统 | |
| Xu et al. | When quantum information technologies meet blockchain in web 3.0 | |
| Zhao et al. | When crowdsensing meets federated learning: Privacy-preserving mobile crowdsensing system | |
| CN113591097A (zh) | 业务数据处理方法、装置、电子设备及存储介质 | |
| CN113657616B (zh) | 联邦学习模型的更新方法和装置 | |
| Khasim et al. | An improved fast and secure CAMEL based authenticated key in smart health care system | |
| Liang et al. | Private decentralized crowdsensing with asynchronous blockchain access | |
| JP2014206696A (ja) | データ秘匿型内積計算システム、方法、及びプログラム | |
| CN113656829A (zh) | 一种基于格密码与联盟链的医疗数据安全共享方法 | |
| CN114547684A (zh) | 一种保护隐私数据的多方联合训练树模型的方法及装置 | |
| CN113657614B (zh) | 联邦学习模型的更新方法和装置 | |
| Badri et al. | A comprehensive review of blockchain integration in remote patient monitoring for E‐health |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |