CN110572253A - 一种联邦学习训练数据隐私性增强方法及系统 - Google Patents

一种联邦学习训练数据隐私性增强方法及系统 Download PDF

Info

Publication number
CN110572253A
CN110572253A CN201910872625.XA CN201910872625A CN110572253A CN 110572253 A CN110572253 A CN 110572253A CN 201910872625 A CN201910872625 A CN 201910872625A CN 110572253 A CN110572253 A CN 110572253A
Authority
CN
China
Prior art keywords
server
parameters
model parameters
public
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910872625.XA
Other languages
English (en)
Other versions
CN110572253B (zh
Inventor
赵川
张谦
荆山
陈贞翔
张波
王吉伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Jinan
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN201910872625.XA priority Critical patent/CN110572253B/zh
Publication of CN110572253A publication Critical patent/CN110572253A/zh
Application granted granted Critical
Publication of CN110572253B publication Critical patent/CN110572253B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/008—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols involving homomorphic encryption

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)

Abstract

一种联邦学习训练数据隐私性增强方法及系统，所述方法包括：第一服务器生成公共参数和主密钥，将所述公共参数发送给第二服务器；参与联邦学习的多个客户端均基于所述公共参数生成各自的公钥和私钥对；联邦学习过程如下：各客户端将本地训练得到的模型参数采用各自的公钥进行加密，与相应公钥一并经由第二服务器发送给第一服务器；第一服务器基于主密钥解密，通过加权平均得到全局模型参数，分别采用各个客户端的公钥加密，并经由第二服务器发送至各个客户端；客户端基于各自的私钥解密得到全局模型参数，改进本地模型，重复上述过程，直至各客户端本地模型收敛。本发明通过采用双服务器模式结合多密钥同态加密，保证了数据和模型参数的安全。

Description

一种联邦学习训练数据隐私性增强方法及系统
技术领域
本发明属于数据安全保护技术领域，尤其涉及一种联邦学习训练数 据隐私性增强方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然 构成在先技术。
近年来，随着机器学习技术以及科技的快速发展，移动设备的良好 体验使得人们生活水平不断提高。但是传统的机器学习应用要求客户端 将用户的数据上传到服务器，在服务器训练模型，这样可能会导致严重 的用户隐私泄露。例如，2016年美国Uber公司数据泄露事件、2017年 趣店学生信息泄露事件与2018年Facebook用户信息泄露事件，这三家公司的服务器均受到攻击，导致存储在服务器中的隐私信息被盗取。类 似隐私泄露的事件频繁发生，用户数据隐私保护所受到的关注与日增加， 如何提升信息的安全性已成为全球性问题。而且，机器学习的快速发展 一直依赖于大量可用性的标记数据来训练模型，从而使模型达到预期的 效果。例如，2016年AlphaGo使用了总计30万场已经被标记好的游戏 数据进行训练。然而在更多的行业与领域中，经常会出现训练数据集不 足的问题，导致数据拥有方训练的模型达不到预期的效果。出现这种问 题，一方面是因为标记数据需要专业人员进行标注，代价昂贵；另一方 面是由于数据拥有方出于隐私性考虑不愿共享自己的隐私数据。如何在 提高隐私数据的安全性的同时，让那些数据量不足的相关企业训练得到 一个高效、准确的模型，是一个重大的挑战。为了克服这些挑战，谷歌 提出了一种新的分布式机器学习技术--联邦学习(Federated Learning,FL)， 允许客户端(比如移动设备)在本地训练数据，完成后只需要将代表模 型的优化参数上传到服务器，并通过聚合上传的模型参数，使客户端以 协作的形式，学习共享模型。2017年，谷歌在输入法Gboard成功应用 联邦学习，Gboard基于用户的历史搜索数据，为用户的下一次搜索结果 提供迭代与持续的改进。
联邦学习允许客户端基于本地数据训练模型，在不需要共享本地数 据到服务器的情况下，完成模型训练，达到传统集中学习训练的效果。 但是，服务器并非可信第三方，无法保证各客户端传输到服务器的模型 优化参数是否安全。如果模型的优化参数在服务器被攻击者窃取，攻击 者可以通过模型参数还原客户端本地训练数据或者根据模型优化参数重 建本地模型。于是，Geyer等人提出了采用差分隐私对敏感信息添加噪 声的方式提高模型参数安全性。但是，Hitaj等人提出了一种基于生成对 抗网络(GAN)的分布式深度学习攻击方法，该方法即使采用差分隐私的 方式对模型参数添加噪声，攻击者仍然可以通过腐化服务器获取添加噪 声的模型参数来还原其他客户端的训练数据。所以，单纯的添加噪声是 有缺陷的。
发明内容
为克服上述现有技术的不足，本发明提供了一种联邦学习训练数据 隐私性增强方法及系统，皆在保证服务器聚合模型参数过程在内的所有 操作安全性得以提高。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
一种联邦学习训练数据隐私性增强方法，第一服务器生成公共参数 和主密钥，将所述公共参数发送给第二服务器；参与联邦学习的多个客 户端均从第二服务器获取所述公共参数，并基于所述公共参数生成各自 的公钥和私钥对；所述多个客户端进行联邦学习的过程如下：
(1)各客户端基于本地数据集训练本地模型，将得到的模型参数采 用各自的公钥进行加密，并将加密模型参数与相应公钥发送到第二服务 器；
(2)第二服务器对各加密模型参数进行盲化处理，将盲化的加密模 型参数与相应公钥发送给第一服务器；
(3)第一服务器基于主密钥对各盲化的加密模型参数进行解密，通 过加权平均得到盲化的全局模型参数，分别采用各个客户端的公钥加密 所述盲化的全局模型参数，并发送给第二服务器；
(4)第二服务器移除全局模型参数的盲化信息，将加密的全局模型 参数发送至各个客户端；
(5)客户端基于各自的私钥解密得到全局模型参数，根据全局模型 参数改进本地模型，将得到的新的模型参数采用各自的公钥进行加密， 并将加密模型参数与相应公钥发送到第二服务器，转入步骤(2)，直至 各客户端本地模型收敛。
进一步地，进行联邦学习之前，各客户端从第二服务器获取待训练 通用模型。
进一步地，所述步骤(1)中，各客户端采用随机梯度下降法训练本 地模型。
进一步地，所述步骤(2)中，第二服务器对各加密模型参数进行盲 化处理后，将盲化的加密模型参数与相应公钥发送给第一服务器。
进一步地，所述步骤(2)中，第二服务器进行盲化处理包括：
依次为每个客户端相应的模型参数生成随机数，各随机数服从Zn下的均匀分布；
将各随机数依次使用相应客户端的公钥加密；
将加密后的随机数与对应的模型参数依次进行加法同态运算，得到 盲化的加密模型参数。
进一步地，所述步骤(3)中通过第一服务器通过联邦平均算法进行 加权平均。
进一步地，所述步骤(4)中第二服务器移除全局模型参数的盲化信 息后，将加密的全局模型参数发送至各个客户端。
进一步地，所述步骤(4)中第二服务器通过加法同态方法移除全局 模型参数的盲化信息。
一个或多个实施例提供了一种联邦学习训练数据隐私性增强系统， 包括第一服务器、第二服务器和参与联邦学习的多个客户端，其中，
第一服务器，生成公共参数和主密钥，将所述公共参数发送给第二 服务器；若接收到加密模型参数与相应公钥，基于主密钥对各盲化的加 密模型参数进行解密，通过加权平均得到全局模型参数，分别采用各个 客户端的公钥加密所述全局模型参数，并发送给第二服务器；
第二服务器，接收并存储公共参数；接收加密模型参数与相应公钥， 发送给第一服务器；接收到经加密的全局模型参数，发送至各个客户端；
多个客户端，从第二服务器获取所述公共参数，并基于所述公共参 数生成各自的公钥和私钥对；进行联邦学习时，各客户端基于本地数据 集训练本地模型，将得到的模型参数采用各自的公钥进行加密，并将加 密模型参数与相应公钥发送到第二服务器；接收到加密的全局模型参数 后，基于各自的私钥解密得到全局模型参数，根据全局模型参数改进本 地模型，将得到的新的模型参数采用各自的公钥进行加密，并将加密模 型参数与相应公钥发送到第二服务器，进入下一次迭代，直至各客户端 本地模型收敛。
一个或多个实施例提供了一种服务器，应用于联邦学习，经由另一 服务器与参与联邦学习的多个客户端通信，被配置为：
生成公共参数和主密钥，并将所述公共参数发送给另一服务器，供 多个客户端下载；其中，所述公共参数用于各客户端生成各自的公钥；
自另一服务器接收加密模型参数与相应公钥，其中，所述加密模型 参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得 到的；
基于主密钥对加密模型参数进行解密，通过加权平均得到全局模型 参数，分别采用各个客户端的公钥加密所述全局模型参数，并经另一服 务器发送至各客户端。
一个或多个实施例提供了一种服务器，应用于联邦学习，用于另一 服务器与参与联邦学习的多个客户端之间的通信，被配置为：
接收并存储公共参数供所述多个客户端下载，所述公共参数用于各 客户端生成各自的公钥；
接收各客户端发送的加密模型参数与相应公钥，其中，所述加密模 型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密 得到的
对各加密模型参数进行盲化处理，将盲化的加密模型参数与相应公 钥发送给另一服务器；
自另一服务器接收经各客户端相应公钥加密的盲化全局模型参数， 移除盲化信息，将加密的全局模型参数发送至各个客户端。
一个或多个实施例提供了一种客户端，应用于联邦学习，被配置为：
自服务器获取公共参数，并生成各自的公钥；
基于本地数据集训练本地模型，将得到的模型参数采用各自的公钥 进行加密，并将加密模型参数与相应公钥发送到服务器；
接收加密的全局模型参数后，基于各自的私钥解密得到全局模型参 数，根据全局模型参数改进本地模型，其中，所述全局模型参数为服务 器基于多个客户端发送的模型参数经加权平均得到的。
以上一个或多个技术方案存在以下有益效果：
(1)本发明采用双服务器模式进行联邦学习，在客户端和执行模型 参数聚合的服务器(第一服务器)之间增加另一服务器(第二服务器)， 使得客户端和第一服务器不直接通信，并且，第二服务器对接收到的模 型参数进行盲化处理，保证了即便第一服务器可以利用主密钥解密客户 端的密文，所得到的明文仍然是被随机数盲化过的，保障了数据的安全。
(2)本发明针对联邦学习多用户的场景，提出使用多密钥同态加密 针对联邦学习多用户的场景，提出使用多密钥同态加密，打破多用户需 要预先共享相同的公私钥对的限制，方便新的客户端随时加入模型更新， 并允许任意客户端随时离线，增加了系统的灵活性与可扩展性。
(3)本发明通过联邦平均算法对多个客户端的模型参数进行聚合， 保证了模型参数安全性的同时，可以达到与传统联邦学习相同的通信轮 数与模型训练效果，模型准确率不变。
(4)本发明可以成功抵抗服务器借助基于生成对抗网络(GAN)的分 布式深度学习攻击方法通过模型参数还原客户端训练数据，保证服务器 端在聚合模型参数过程中各客户端所共享的模型参数的安全性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解， 本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的 不当限定。
图1为本发明一个或多个实施例中联邦学习训练数据隐私性增强方 法流程图；
图2为本发明一个或多个实施例中联邦学习训练数据隐私性增强方 法数据传输示意图；
图3为本发明一个或多个实施例中两个服务器之间的通信过程示意 图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步 的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明 所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而 非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上 下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当 理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在 特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互 组合。
同态加密(Homomorphic Encryption,HE)是由Rivest等人于1978年 提出的一种特殊加密方案，可以在数据不解密的情况下对密文数据进行 加法和乘法计算，得到与在明文状态下计算相同的结果。一般而言，同 态加密方案包括4个算法，分别是密钥生成算法Gen、加密算法Enc、 解密算法Dec和求值算法Eval。因全同态加密可支持无限次加法和乘法运算的特性，一直被认为是密码学圣杯。但自1978年Rivest提出后， 直到2009年IBM研究员Gentry才提出第一个真正意义上的全同态加密 方案。但就目前而言使用全同态加密算法效率仍然较低，并不能广泛应 用。
双陷门解密方案(BCP方案，参见“A simple public-key cryptosystem with adouble trapdoor decryption mechanism and its applications”,E. Bresson,D.Catalano,D.Pointcheval,in:Advances in Cryptology-ASIACRYPT 2003,Springer,2003,pp.37–54.)属于一种特殊 的同态加密算法，其存在两种独立的解密算法，分别为用户解密算法(客 户端通过私钥解密)和主密钥解密算法(服务器通过主密钥解密)，即指BCP方案除了通过公私钥对数据正常加解密以外，拥有主密钥(master secret key，记为mk)的一方可以在没有对应客户端私钥的情况下解密密 文。
本发明基于由Bresson等人提出的双陷门解密的加法同态方案，采 用BCP结合双服务器的方案，与多密钥联邦学习场景相结合。此方案共 有5种算法，分别为设置算法Setup、公私钥对生成算法KeyGen、加密 算法Enc、解密算法Dec与用主密钥解密算法mDec。
实施例一
一种联邦学习训练数据隐私性增强方法，应用于：n个互不信任的 客户端，记为Fi(i＝1…n)，和两个半诚实的第三方服务器，分别记为第 一服务器S和第二服务器S'。其中，服务器S'被配置为：负责客户端与服 务器S两方的通信以及S'内部的计算；负责存储客户端上传的数据与计算 过程中的各种数据；以及存储服务器S发送的公共参数PP。服务器S被配 置为：只能与服务器S'交互；负责存储服务器S'发送的数据与计算过程的 各种数据；负责存储BCP算法产生的公共参数和主密钥。
如图1-2所示，所述方法具体包括以下步骤：
步骤1：服务器S运用BCP算法生成公共参数PP和mk；服务器S 将公共参数PP发送给服务器S'；
首先服务器S初始化，通过设置算法Setup生成公共参数PP＝ (N，k，g)与主密钥mk＝(p′，q′)，并将PP发送给S′。具体地，服务器S初 始化生成公共参数(Public Parameter，，PP)和主密钥(Master Secret Key， mk)：(pp，mk)←Setup(1n)：给定一个符合RSA标准的安全参数n，使 n＝pq，生成公式为：p＝2p′+1，q＝2q′+1，其中p，q，p′，q′皆为素 数。选择一个随机数g使gp′q′mod N2＝1+kN，k∈[1，N-1]，g是群 的素数生成公共参数PP(Public parameters)＝(N，k，g) 和主密钥mk(mastersecret key)＝(p′，q′)。
步骤2：客户端从服务器S'下载公共参数PP并利用公共参数PP生 成每个客户端自身的公钥和私钥对。
具体地，客户端从服务器S'下载公共参数PP＝(N,k,g)，并通过 KeyGen算法生成客户端各自的公钥和私钥对对(pki,ski)：(pk,sk)← KeyGen(pp):输入PP，选择随机数a,计算h＝ga mod N2,得 到公钥pk＝h和私钥sk＝a。
步骤3：开始学习(即迭代次数t＝0时)，客户端从服务器S'下载待 训练通用模型，客户端基于本地数据集训练模型，计算出代表本地模型 的模型参数；每个客户端利用自身的公钥对模型参数进行加密处理并将 加密后的模型参数与客户端自己的公钥发送到服务器S'。
每个客户端拥有自己的本地数据集，k是参与客户端的索引值，用pk表示客户端数据的索引集合，长度为nk，nk＝|pk|。每个客户端基于本 地数据集训练模型，获得模型参数具体地，客户端采用随机梯度 下降(SGD)方法，根据上一轮的模型参数ωt计算平均梯度gk，然后本地 客户端通过学习效率η、平局梯度gk与ωt生成需要上传到服务器的模型参数
各客户端训练得到的模型参数后，均利用自己的公钥pki加密， 获得密文状态下的模型参数ωi，客户端将模型参数ωi与公钥pki发送给服务器S'。
客户端通过公钥pk与公共参数PP对明文m加密，得到密文c： Encpk,pp(m):给定公共参数PP，公钥pk和明文数据m，输出密文c，密文c 含有两个值(A,B),其中A＝gr modN2,B＝hr(1+mN)mod N2(r为随 机数且
在多密钥的场景下，客户端通过自己的公钥加密模型数据，既提高 了模型参数的安全性保障了客户端的隐私，又增加了系统的灵活性与可 扩展性。
步骤4：服务器S'对密文状态下的模型参数盲化，然后将盲化的密 文与相对应的公钥发送给服务器S。
在本步骤中，服务器S'对模型参数ωi盲化的主要原因是服务器S'无 法计算不同公钥下的加密数据，需要S用主密钥mk解密数据，并通过 FedAvg算法对数据加权平均，而且我们的两个服务器是半诚实且互不勾 结的。为了保证S不能知道模型参数的数据，所以需要在服务器S'中对 密文状态下的模型参数盲化，将每个模型参数ωi加入随机数τi。
具体地，S'依次为每个ωi生成随机数τi(i＝1…n),随机数τi服从Zn下的均匀分布。S'将τi依次使用每个客户端的公钥加密，得到 S'将加密后的随机数与对应的ωi依次进行加法同态的运算，得 到盲化的加密信息并将和 pki发送给服务器S。
S’的这种盲化保证了即便另一个服务器可以利用主密钥解密客户端 的密文，所得到的明文仍然是被随机数盲化过的。
步骤5：服务器S通过主密钥对盲化的密文解密，然后对其加权平 均，获得一个盲化的全局模型参数；
S通过主密钥解密算法mDec解密S’发送的加密数据：m← mDecpp,pk,mk(c):给定密文c，通过主密钥mk，用户通过公钥pk和公共 参数PP将密文c解密得到明文m。
S首先用主密钥解密算法mDec解密获得 盲化的明文；S通过联邦平均算法 (FederatedAveraging,FedAvg)加权平均αi，计算得到βi。
联邦平均算法FedAvg:Google在2017年提出了联邦平均算法(FederatedAveraging,FedAvg)，FedAvg可以通过较少次数高质量迭代， 得到期望的模型。我们在服务器用FedAvg算法对各客户端上传的模型 参数进行加权平均，得到新的全局模型参数。具体地，服务器通过聚合 客户端的模型优化参数获得一个新的全局模型参数ωt+1，
步骤6：服务器S通过各个客户端的公钥分别重新加密全局模型参 数，并发送给服务器S'。
具体地，S通过S'发送的公钥pki加密βi，将得到发 送到S'。
图3为服务器S和服务器S'之间的交互过程。
步骤7：服务器S'移除密文状态下全局模型参数的盲化信息，将加 密的模型参数发送到各个客户端。
服务器S'通过FedAvg算法将τi(将步骤5中的αi替换为τi)加权平 均得到参数τfed；服务器S'利用各个客户端的公钥pki加密加权平均后的 盲化参数然后S'通过加法同态方式，移除密文γi的盲化信 息，计算出新的全局模型权重并发送给各 个客户端。
步骤8：客户端用自己的公钥解密全局模型参数，根据全局模型参 数改进本地模型，本轮迭代结束，各客户端得到新的模型参数并基于各 自的公钥加密后发送至服务器S'，转入步骤4，进入下一轮迭代。
当客户端接收到服务器S'发送的密文时，通过私钥sk与PP解密：m← Decpp,sk(c)：给定密文c←(A,B)和私钥sk＝a，解密得到明文m，
客户端收到服务器S'发送的密文状态下的全局模型参数ωfed，并解 密ωfed,Decpp,sk(ωfed)，客户端根据解密后的ωfed改进本地模型。
在第t轮通信中，服务器通过聚合客户端的模型权重生成一个新的 全局模型参数ωt+1，客户端基于服务器发送的ωt+1优化本地模型，第t 轮迭代结束。
步骤9：继续执行步骤3-步骤8,直到训练过程收敛，客户端本地模 型得到完善，达到了传统集中学习的效果，迭代结束。
通过这种方式，两个服务器都无法获得有关模型参数的任何信息， 从而保障了模型参数及客户端本地训练数据的安全性。
实施例二
本实施例的目的是提供一种联邦学习训练数据隐私性增强系统。
为了实现上述目的，本实施例提供了一种联邦学习训练数据隐私性 增强系统，包括第一服务器、第二服务器和参与联邦学习的多个客户端。
第一服务器，生成公共参数和主密钥，将所述公共参数发送给第二 服务器；若接收到加密模型参数与相应公钥，基于主密钥对各盲化的加 密模型参数进行解密，通过加权平均得到全局模型参数，分别采用各个 客户端的公钥加密所述全局模型参数，并发送给第二服务器；
第二服务器，接收并存储公共参数；接收加密模型参数与相应公钥， 发送给第一服务器；接收到经加密的全局模型参数，发送至各个客户端；
多个客户端，从第二服务器获取所述公共参数，并基于所述公共参 数生成各自的公钥和私钥对；进行联邦学习时，各客户端基于本地数据 集训练本地模型，将得到的模型参数采用各自的公钥进行加密，并将加 密模型参数与相应公钥发送到第二服务器；接收到加密的全局模型参数 后，基于各自的私钥解密得到全局模型参数，根据全局模型参数改进本 地模型，将得到的新的模型参数采用各自的公钥进行加密，并将加密模 型参数与相应公钥发送到第二服务器，进入下一次迭代，直至各客户端 本地模型收敛。
实施例三
本实施例的目的是提供一种服务器。
所述服务器应用于联邦学习，经由另一服务器与参与联邦学习的多 个客户端通信，被配置为：
生成公共参数和主密钥，并将所述公共参数发送给另一服务器，供 多个客户端下载；其中，所述公共参数用于各客户端生成各自的公钥；
自另一服务器接收加密模型参数与相应公钥，其中，所述加密模型 参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得 到的；
基于主密钥对加密模型参数进行解密，通过加权平均得到全局模型 参数，分别采用各个客户端的公钥加密所述全局模型参数，并经另一服 务器发送至各客户端。
实施例四
本实施例的目的是提供一种服务器。
所述服务器应用于联邦学习，用于另一服务器与参与联邦学习的多 个客户端之间的通信，被配置为：
接收并存储公共参数供所述多个客户端下载，所述公共参数用于各 客户端生成各自的公钥；
接收各客户端发送的加密模型参数与相应公钥，其中，所述加密模 型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密 得到的
对各加密模型参数进行盲化处理，将盲化的加密模型参数与相应公 钥发送给另一服务器；
自另一服务器接收经各客户端相应公钥加密的盲化全局模型参数， 移除盲化信息，将加密的全局模型参数发送至各个客户端。
实施例五
本实施例的目的是提供一种客户端，应用于联邦学习，被配置为：
自服务器获取公共参数，并生成各自的公钥；
基于本地数据集训练本地模型，将得到的模型参数采用各自的公钥 进行加密，并将加密模型参数与相应公钥发送到服务器；
接收加密的全局模型参数后，基于各自的私钥解密得到全局模型参 数，根据全局模型参数改进本地模型，其中，所述全局模型参数为服务 器基于多个客户端发送的模型参数经加权平均得到的。
以上一个或多个实施例具有以下有益效果：
(1)本发明采用双服务器模式进行联邦学习，在客户端和执行模型 参数聚合的服务器(第一服务器)之间增加另一服务器(第二服务器)， 使得客户端和第一服务器不直接通信，并且，第二服务器对接收到的模 型参数进行盲化处理，保证了即便第一服务器可以利用主密钥解密客户 端的密文，所得到的明文仍然是被随机数盲化过的，保障了数据的安全。
(2)本发明针对联邦学习多用户的场景，提出使用多密钥同态加密 针对联邦学习多用户的场景，提出使用多密钥同态加密，打破多用户需 要预先共享相同的公私钥对的限制，方便新的客户端随时加入模型更新， 并允许任意客户端随时离线，增加了系统的灵活性与可扩展性。
(3)本发明通过联邦平均算法对多个客户端的模型参数进行聚合， 保证了模型参数安全性的同时，可以达到与传统联邦学习相同的通信轮 数与模型训练效果，模型准确率不变。
(4)本发明可以成功抵抗服务器借助基于生成对抗网络(GAN)的分 布式深度学习攻击方法通过模型参数还原客户端训练数据，保证服务器 端在聚合模型参数过程中各客户端所共享的模型参数的安全性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对 于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在 本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对 本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术 方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种 修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种联邦学习训练数据隐私性增强方法，其特征在于，
第一服务器生成公共参数和主密钥，将所述公共参数发送给第二服务器；参与联邦学习的多个客户端均从第二服务器获取所述公共参数，并基于所述公共参数生成各自的公钥和私钥对；所述多个客户端进行联邦学习的过程如下：
(1)各客户端基于本地数据集训练本地模型，将得到的模型参数采用各自的公钥进行加密，并将加密模型参数与相应公钥发送到第二服务器；
(2)第二服务器将加密模型参数与相应公钥发送给第一服务器；
(3)第一服务器基于主密钥对各加密模型参数进行解密，通过加权平均得到全局模型参数，分别采用各个客户端的公钥加密所述全局模型参数，并发送给第二服务器；
(4)第二服务器将加密的全局模型参数发送至各个客户端；
(5)客户端基于各自的私钥解密得到全局模型参数，根据全局模型参数改进本地模型，将得到的新的模型参数采用各自的公钥进行加密，并将加密模型参数与相应公钥发送到第二服务器，转入步骤(2)，直至各客户端本地模型收敛。
2.如权利要求1所述的一种联邦学习训练数据隐私性增强方法，其特征在于，所述步骤(2)中，第二服务器对各加密模型参数进行盲化处理后，将盲化的加密模型参数与相应公钥发送给第一服务器。
3.如权利要求2所述的一种联邦学习训练数据隐私性增强方法，其特征在于，第二服务器进行盲化处理包括：
依次为每个客户端相应的模型参数生成随机数，各随机数服从Zn下的均匀分布；
将各随机数依次使用相应客户端的公钥加密；
将加密后的随机数与对应的模型参数依次进行加法同态运算，得到盲化的加密模型参数。
4.如权利要求1所述的一种联邦学习训练数据隐私性增强方法，其特征在于，所述步骤(3)中通过第一服务器通过联邦平均算法进行加权平均。
5.如权利要求3所述的一种联邦学习训练数据隐私性增强方法，其特征在于，所述步骤(4)中第二服务器移除全局模型参数的盲化信息后，将加密的全局模型参数发送至各个客户端。
6.如权利要求5所述的一种联邦学习训练数据隐私性增强方法，其特征在于，第二服务器通过加法同态方法移除全局模型参数的盲化信息。
7.一种联邦学习训练数据隐私性增强系统，其特征在于，包括第一服务器、第二服务器和参与联邦学习的多个客户端，其中，
第一服务器，生成公共参数和主密钥，将所述公共参数发送给第二服务器；若接收到加密模型参数与相应公钥，基于主密钥对各盲化的加密模型参数进行解密，通过加权平均得到全局模型参数，分别采用各个客户端的公钥加密所述全局模型参数，并发送给第二服务器；
第二服务器，接收并存储公共参数；接收加密模型参数与相应公钥，发送给第一服务器；接收到经加密的全局模型参数，发送至各个客户端；
多个客户端，从第二服务器获取所述公共参数，并基于所述公共参数生成各自的公钥和私钥对；进行联邦学习时，各客户端基于本地数据集训练本地模型，将得到的模型参数采用各自的公钥进行加密，并将加密模型参数与相应公钥发送到第二服务器；接收到加密的全局模型参数后，基于各自的私钥解密得到全局模型参数，根据全局模型参数改进本地模型，将得到的新的模型参数采用各自的公钥进行加密，并将加密模型参数与相应公钥发送到第二服务器，进入下一次迭代，直至各客户端本地模型收敛。
8.一种服务器，应用于联邦学习，其特征在于，经由另一服务器与参与联邦学习的多个客户端通信，被配置为：
生成公共参数和主密钥，并将所述公共参数发送给另一服务器，供多个客户端下载；其中，所述公共参数用于各客户端生成各自的公钥；
自另一服务器接收加密模型参数与相应公钥，其中，所述加密模型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得到的；
基于主密钥对加密模型参数进行解密，通过加权平均得到全局模型参数，分别采用各个客户端的公钥加密所述全局模型参数，并经另一服务器发送至各客户端。
9.一种服务器，应用于联邦学习，其特征在于，用于另一服务器与参与联邦学习的多个客户端之间的通信，被配置为：
接收并存储公共参数供所述多个客户端下载，所述公共参数用于各客户端生成各自的公钥；
接收各客户端发送的加密模型参数与相应公钥，其中，所述加密模型参数是各客户端基于各自的公钥对训练得到的本地模型参数进行加密得到的
对各加密模型参数进行盲化处理，将盲化的加密模型参数与相应公钥发送给另一服务器；
自另一服务器接收经各客户端相应公钥加密的盲化全局模型参数，移除盲化信息，将加密的全局模型参数发送至各个客户端。
10.一种客户端，应用于联邦学习，其特征在于，被配置为：
自服务器获取公共参数，并生成各自的公钥；
基于本地数据集训练本地模型，将得到的模型参数采用各自的公钥进行加密，并将加密模型参数与相应公钥发送到服务器；
接收加密的全局模型参数后，基于各自的私钥解密得到全局模型参数，根据全局模型参数改进本地模型，其中，所述全局模型参数为服务器基于多个客户端发送的模型参数经加权平均得到的。
CN201910872625.XA 2019-09-16 2019-09-16 一种联邦学习训练数据隐私性增强方法及系统 Active CN110572253B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910872625.XA CN110572253B (zh) 2019-09-16 2019-09-16 一种联邦学习训练数据隐私性增强方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910872625.XA CN110572253B (zh) 2019-09-16 2019-09-16 一种联邦学习训练数据隐私性增强方法及系统

Publications (2)

Publication Number Publication Date
CN110572253A true CN110572253A (zh) 2019-12-13
CN110572253B CN110572253B (zh) 2023-03-24

Family

ID=68780193

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910872625.XA Active CN110572253B (zh) 2019-09-16 2019-09-16 一种联邦学习训练数据隐私性增强方法及系统

Country Status (1)

Country Link
CN (1) CN110572253B (zh)

Cited By (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131227A (zh) * 2019-12-20 2020-05-08 深圳前海微众银行股份有限公司 一种数据处理方法及装置
CN111143878A (zh) * 2019-12-20 2020-05-12 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
CN111259443A (zh) * 2020-01-16 2020-06-09 百融云创科技股份有限公司 一种基于psi技术保护联邦学习预测阶段隐私的方法
CN111275202A (zh) * 2020-02-20 2020-06-12 济南大学 一种面向数据隐私保护的机器学习预测方法及系统
CN111340453A (zh) * 2020-02-28 2020-06-26 深圳前海微众银行股份有限公司 联邦学习开发方法、装置、设备及存储介质
CN111343265A (zh) * 2020-02-20 2020-06-26 深圳前海微众银行股份有限公司 信息推送方法、装置、设备及可读存储介质
CN111369042A (zh) * 2020-02-27 2020-07-03 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111461442A (zh) * 2020-04-07 2020-07-28 中国科学技术大学 基于联邦学习的知识追踪的方法及系统
CN111477336A (zh) * 2020-04-07 2020-07-31 中南大学 传染病诊断数据的融合方法、系统及存储介质
CN111582504A (zh) * 2020-05-14 2020-08-25 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端
CN111625820A (zh) * 2020-05-29 2020-09-04 华东师范大学 一种基于面向AIoT安全的联邦防御方法
CN111666987A (zh) * 2020-05-22 2020-09-15 中国电子科技集团公司电子科学研究院 基于联邦学习的跨域数据安全互联方法及系统
CN111858955A (zh) * 2020-07-01 2020-10-30 石家庄铁路职业技术学院 基于加密联邦学习的知识图谱表示学习增强方法和装置
CN111930698A (zh) * 2020-07-01 2020-11-13 南京晓庄学院 基于哈希图和联邦学习的数据安全共享的方法
CN111985562A (zh) * 2020-08-20 2020-11-24 复旦大学 一种保护端侧隐私的端云协同训练系统
CN112016932A (zh) * 2020-09-04 2020-12-01 中国银联股份有限公司 测试方法、装置、服务器及介质
CN112116008A (zh) * 2020-09-18 2020-12-22 平安科技（深圳）有限公司 基于智能决策的目标检测模型的处理方法、及其相关设备
CN112149160A (zh) * 2020-08-28 2020-12-29 山东大学 基于同态伪随机数的联邦学习隐私保护方法及系统
CN112203282A (zh) * 2020-08-28 2021-01-08 中国科学院信息工程研究所 一种基于联邦迁移学习的5g物联网入侵检测方法及系统
CN112199702A (zh) * 2020-10-16 2021-01-08 鹏城实验室 一种基于联邦学习的隐私保护方法、存储介质及系统
CN112217626A (zh) * 2020-08-24 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于情报共享的网络威胁协同防御系统及方法
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法
CN112288094A (zh) * 2020-10-09 2021-01-29 武汉大学 联邦网络表示学习方法及系统
CN112348200A (zh) * 2020-11-02 2021-02-09 中国科学院信息工程研究所 一种基于联邦学习的受控共享学习方法及系统
CN112347473A (zh) * 2020-11-06 2021-02-09 济南大学 支持双向隐私保护的机器学习安全聚合预测方法及系统
CN112348063A (zh) * 2020-10-27 2021-02-09 广东电网有限责任公司电力调度控制中心 一种物联网中基于联邦迁移学习的模型训练方法及装置
CN112560088A (zh) * 2020-12-11 2021-03-26 同盾控股有限公司 基于知识联邦的数据安全交换方法、装置及存储介质
CN112668044A (zh) * 2020-12-21 2021-04-16 中国科学院信息工程研究所 面向联邦学习的隐私保护方法及装置
CN112668037A (zh) * 2020-06-02 2021-04-16 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN112685783A (zh) * 2021-01-05 2021-04-20 西安电子科技大学 金融许可区块链中支持隐私保护的数据共享方法
CN112738061A (zh) * 2020-12-24 2021-04-30 四川虹微技术有限公司 信息处理方法、装置、管理平台、电子设备及存储介质
CN112769766A (zh) * 2020-12-23 2021-05-07 广东电网有限责任公司梅州供电局 基于联邦学习的电力边缘物联网数据安全聚合方法和系统
CN112885337A (zh) * 2021-01-29 2021-06-01 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN112949741A (zh) * 2021-03-18 2021-06-11 西安电子科技大学 基于同态加密的卷积神经网络图像分类方法
CN112966298A (zh) * 2021-03-01 2021-06-15 广州大学 一种复合隐私保护方法、系统、计算机设备及存储介质
WO2021120676A1 (zh) * 2020-06-30 2021-06-24 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN113037460A (zh) * 2021-03-03 2021-06-25 北京工业大学 基于同态加密和秘密共享的联邦学习隐私保护方法
CN113094675A (zh) * 2021-04-29 2021-07-09 香港中文大学（深圳） 基于分布式模型训练的用户认证方法及装置
CN113094735A (zh) * 2021-04-29 2021-07-09 香港中文大学（深圳） 隐私模型训练的方法
CN113095513A (zh) * 2021-04-25 2021-07-09 中山大学 双层公平联邦学习方法、装置和存储介质
CN113159918A (zh) * 2021-04-09 2021-07-23 福州大学 一种基于联邦团渗透的银行客户群体挖掘方法
CN113163366A (zh) * 2021-04-25 2021-07-23 武汉理工大学 车联网中基于联邦学习的隐私保护模型聚合系统及方法
CN113204787A (zh) * 2021-05-06 2021-08-03 广州大学 基于区块链的联邦学习隐私保护方法、系统、设备和介质
CN113259363A (zh) * 2021-05-26 2021-08-13 中国人民解放军战略支援部队信息工程大学 一种隐蔽通信方法及装置
CN113298229A (zh) * 2021-04-12 2021-08-24 云从科技集团股份有限公司 联邦学习模型训练方法、客户端、服务器及存储介质
CN113326947A (zh) * 2021-05-28 2021-08-31 山东师范大学 一种联合学习模型训练方法及系统
CN113361618A (zh) * 2021-06-17 2021-09-07 武汉卓尔信息科技有限公司 一种基于联邦学习的工业数据联合建模方法及系统
CN113434873A (zh) * 2021-06-01 2021-09-24 内蒙古大学 一种基于同态加密的联邦学习隐私保护方法
CN113435592A (zh) * 2021-05-22 2021-09-24 西安电子科技大学 一种隐私保护的神经网络多方协作无损训练方法及系统
CN113449329A (zh) * 2021-08-31 2021-09-28 国网浙江省电力有限公司信息通信分公司 基于安全分享的联邦学习场景下的能源数据融合计算方法
CN113449318A (zh) * 2021-06-18 2021-09-28 北京明朝万达科技股份有限公司 一种数据分级模型训练方法、装置、数据分级方法、装置
CN113468521A (zh) * 2021-07-01 2021-10-01 哈尔滨工程大学 一种基于gan的联邦学习入侵检测的数据保护方法
WO2021197388A1 (zh) * 2020-03-31 2021-10-07 深圳前海微众银行股份有限公司 一种联邦学习中用户的索引方法及联邦学习装置
CN113518007A (zh) * 2021-07-06 2021-10-19 华东师范大学 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN113569301A (zh) * 2020-04-29 2021-10-29 杭州锘崴信息科技有限公司 基于联邦学习的安全计算系统和方法
CN113642664A (zh) * 2021-08-24 2021-11-12 安徽大学 一种基于联邦学习的隐私保护图像分类方法
CN113673696A (zh) * 2021-08-20 2021-11-19 山东鲁软数字科技有限公司 一种基于强化联邦学习的电力行业起重作业违章检测方法
CN113688855A (zh) * 2020-05-19 2021-11-23 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
WO2021232754A1 (zh) * 2020-05-22 2021-11-25 深圳前海微众银行股份有限公司 联邦学习建模方法、设备及计算机可读存储介质
CN113704778A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 基于同态加密的机器学习线性模型预测方法
CN113810168A (zh) * 2020-12-30 2021-12-17 京东科技控股股份有限公司 机器学习模型的训练方法、服务器及计算机设备
CN113806759A (zh) * 2020-12-28 2021-12-17 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113824677A (zh) * 2020-12-28 2021-12-21 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113836556A (zh) * 2021-09-26 2021-12-24 广州大学 面向联邦学习的去中心化函数加密隐私保护方法及系统
CN113887741A (zh) * 2021-11-05 2022-01-04 深圳市电子商务安全证书管理有限公司 基于联邦学习的数据生成方法、装置、设备及存储介质
CN113902122A (zh) * 2021-08-26 2022-01-07 杭州城市大脑有限公司 联邦模型协同训练方法、装置、计算机设备及存储介质
CN113992393A (zh) * 2021-10-26 2022-01-28 中国电信股份有限公司 用于纵向联邦学习的模型更新的方法、设备、系统和介质
CN113988254A (zh) * 2020-07-27 2022-01-28 腾讯科技（深圳）有限公司 用于多个环境的神经网络模型的确定方法及装置
CN114021734A (zh) * 2021-10-14 2022-02-08 深圳致星科技有限公司 用于联邦学习和隐私计算的参数计算装置、系统及方法
CN114168988A (zh) * 2021-12-16 2022-03-11 大连理工大学 一种联邦学习模型聚合方法及电子装置
CN114186263A (zh) * 2021-12-17 2022-03-15 大连理工大学 一种基于纵向联邦学习的数据回归方法及电子装置
CN114257386A (zh) * 2020-09-10 2022-03-29 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质
CN114362940A (zh) * 2021-12-29 2022-04-15 华东师范大学 一种数据隐私保护的无服务器异步联邦学习方法
CN114462626A (zh) * 2022-04-08 2022-05-10 北京大学 联邦模型训练方法、装置、终端设备以及存储介质
CN114817958A (zh) * 2022-04-24 2022-07-29 山东云海国创云计算装备产业创新中心有限公司 一种基于联邦学习的模型训练方法、装置、设备及介质
CN115174033A (zh) * 2022-06-13 2022-10-11 湖北工业大学 移动群智感知中抗感知平台和用户共谋攻击的方法及系统
WO2022213957A1 (zh) * 2021-04-06 2022-10-13 京东科技控股股份有限公司 多源数据的数据处理方法、装置及电子设备、存储介质
WO2022228204A1 (zh) * 2021-04-25 2022-11-03 华为技术有限公司 一种联邦学习方法以及装置
CN115310137A (zh) * 2022-10-11 2022-11-08 深圳市深信信息技术有限公司 一种智能结算系统的保密方法及相关装置
CN115878995A (zh) * 2022-11-17 2023-03-31 营口巨成教学科技开发有限公司 一种胸外按压动作规范性判别系统及方法
WO2023098294A1 (zh) * 2021-12-02 2023-06-08 深圳前海微众银行股份有限公司 异构数据处理方法、装置及电子设备
WO2023130705A1 (zh) * 2022-01-10 2023-07-13 华为技术有限公司 用户数据处理的系统、方法以及装置
US11842260B2 (en) 2020-09-25 2023-12-12 International Business Machines Corporation Incremental and decentralized model pruning in federated machine learning
CN112560088B (zh) * 2020-12-11 2024-05-28 同盾控股有限公司 基于知识联邦的数据安全交换方法、装置及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135061A (zh) * 2017-04-17 2017-09-05 北京科技大学 一种5g通信标准下的分布式隐私保护机器学习方法
CN108259158A (zh) * 2018-01-11 2018-07-06 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN108600263A (zh) * 2018-05-09 2018-09-28 电子科技大学 一种基于拥有性证明的安全有效的客户端去重协议
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN109992979A (zh) * 2019-03-15 2019-07-09 暨南大学 一种岭回归训练方法、计算设备、介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107135061A (zh) * 2017-04-17 2017-09-05 北京科技大学 一种5g通信标准下的分布式隐私保护机器学习方法
CN108259158A (zh) * 2018-01-11 2018-07-06 西安电子科技大学 一种云计算环境下高效和隐私保护的单层感知机学习方法
CN108600263A (zh) * 2018-05-09 2018-09-28 电子科技大学 一种基于拥有性证明的安全有效的客户端去重协议
CN109684855A (zh) * 2018-12-17 2019-04-26 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN109992979A (zh) * 2019-03-15 2019-07-09 暨南大学 一种岭回归训练方法、计算设备、介质

Cited By (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111131227A (zh) * 2019-12-20 2020-05-08 深圳前海微众银行股份有限公司 一种数据处理方法及装置
CN111143878A (zh) * 2019-12-20 2020-05-12 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111143878B (zh) * 2019-12-20 2021-08-03 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111259443A (zh) * 2020-01-16 2020-06-09 百融云创科技股份有限公司 一种基于psi技术保护联邦学习预测阶段隐私的方法
CN111343265A (zh) * 2020-02-20 2020-06-26 深圳前海微众银行股份有限公司 信息推送方法、装置、设备及可读存储介质
CN111275202A (zh) * 2020-02-20 2020-06-12 济南大学 一种面向数据隐私保护的机器学习预测方法及系统
CN111275202B (zh) * 2020-02-20 2023-08-11 济南大学 一种面向数据隐私保护的机器学习预测方法及系统
CN111369042A (zh) * 2020-02-27 2020-07-03 山东大学 一种基于加权联邦学习的无线业务流量预测方法
CN111340453A (zh) * 2020-02-28 2020-06-26 深圳前海微众银行股份有限公司 联邦学习开发方法、装置、设备及存储介质
CN111260061A (zh) * 2020-03-09 2020-06-09 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
CN111260061B (zh) * 2020-03-09 2022-07-19 厦门大学 联邦学习梯度交换中的差异化加噪方法及系统
WO2021197388A1 (zh) * 2020-03-31 2021-10-07 深圳前海微众银行股份有限公司 一种联邦学习中用户的索引方法及联邦学习装置
CN111461442A (zh) * 2020-04-07 2020-07-28 中国科学技术大学 基于联邦学习的知识追踪的方法及系统
CN111477336A (zh) * 2020-04-07 2020-07-31 中南大学 传染病诊断数据的融合方法、系统及存储介质
CN111461442B (zh) * 2020-04-07 2023-08-29 中国科学技术大学 基于联邦学习的知识追踪的方法及系统
CN111611610B (zh) * 2020-04-12 2023-05-30 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端
CN111611610A (zh) * 2020-04-12 2020-09-01 西安电子科技大学 联邦学习信息处理方法、系统、存储介质、程序、终端
CN113569301A (zh) * 2020-04-29 2021-10-29 杭州锘崴信息科技有限公司 基于联邦学习的安全计算系统和方法
WO2021228110A1 (zh) * 2020-05-14 2021-11-18 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
CN111582504A (zh) * 2020-05-14 2020-08-25 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
CN113688855B (zh) * 2020-05-19 2023-07-28 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
WO2021232832A1 (zh) * 2020-05-19 2021-11-25 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
CN113688855A (zh) * 2020-05-19 2021-11-23 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
WO2021232754A1 (zh) * 2020-05-22 2021-11-25 深圳前海微众银行股份有限公司 联邦学习建模方法、设备及计算机可读存储介质
CN111666987A (zh) * 2020-05-22 2020-09-15 中国电子科技集团公司电子科学研究院 基于联邦学习的跨域数据安全互联方法及系统
CN111625820A (zh) * 2020-05-29 2020-09-04 华东师范大学 一种基于面向AIoT安全的联邦防御方法
CN112668037B (zh) * 2020-06-02 2024-04-05 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
CN112668037A (zh) * 2020-06-02 2021-04-16 华控清交信息科技(北京)有限公司 一种模型训练方法、装置和电子设备
WO2021120676A1 (zh) * 2020-06-30 2021-06-24 平安科技（深圳）有限公司 联邦学习网络下的模型训练方法及其相关设备
CN111930698A (zh) * 2020-07-01 2020-11-13 南京晓庄学院 基于哈希图和联邦学习的数据安全共享的方法
CN111930698B (zh) * 2020-07-01 2024-03-15 南京晓庄学院 基于哈希图和联邦学习的数据安全共享的方法
CN111858955A (zh) * 2020-07-01 2020-10-30 石家庄铁路职业技术学院 基于加密联邦学习的知识图谱表示学习增强方法和装置
CN111858955B (zh) * 2020-07-01 2023-08-18 石家庄铁路职业技术学院 基于加密联邦学习的知识图谱表示学习增强方法和装置
CN113988254B (zh) * 2020-07-27 2023-07-14 腾讯科技（深圳）有限公司 用于多个环境的神经网络模型的确定方法及装置
CN113988254A (zh) * 2020-07-27 2022-01-28 腾讯科技（深圳）有限公司 用于多个环境的神经网络模型的确定方法及装置
CN111985562A (zh) * 2020-08-20 2020-11-24 复旦大学 一种保护端侧隐私的端云协同训练系统
CN111985562B (zh) * 2020-08-20 2022-07-26 复旦大学 一种保护端侧隐私的端云协同训练系统
CN112217626A (zh) * 2020-08-24 2021-01-12 中国人民解放军战略支援部队信息工程大学 基于情报共享的网络威胁协同防御系统及方法
CN112217626B (zh) * 2020-08-24 2022-11-18 中国人民解放军战略支援部队信息工程大学 基于情报共享的网络威胁协同防御系统及方法
CN112149160A (zh) * 2020-08-28 2020-12-29 山东大学 基于同态伪随机数的联邦学习隐私保护方法及系统
CN112203282B (zh) * 2020-08-28 2022-02-18 中国科学院信息工程研究所 一种基于联邦迁移学习的5g物联网入侵检测方法及系统
CN112203282A (zh) * 2020-08-28 2021-01-08 中国科学院信息工程研究所 一种基于联邦迁移学习的5g物联网入侵检测方法及系统
CN112016932A (zh) * 2020-09-04 2020-12-01 中国银联股份有限公司 测试方法、装置、服务器及介质
CN112016932B (zh) * 2020-09-04 2024-05-17 中国银联股份有限公司 测试方法、装置、服务器及介质
CN114257386A (zh) * 2020-09-10 2022-03-29 华为技术有限公司 检测模型的训练方法、系统、设备及存储介质
WO2021174877A1 (zh) * 2020-09-18 2021-09-10 平安科技（深圳）有限公司 基于智能决策的目标检测模型的处理方法、及其相关设备
CN112116008A (zh) * 2020-09-18 2020-12-22 平安科技（深圳）有限公司 基于智能决策的目标检测模型的处理方法、及其相关设备
CN112232527A (zh) * 2020-09-21 2021-01-15 北京邮电大学 安全的分布式联邦深度学习方法
CN112232527B (zh) * 2020-09-21 2024-01-23 北京邮电大学 安全的分布式联邦深度学习方法
US11842260B2 (en) 2020-09-25 2023-12-12 International Business Machines Corporation Incremental and decentralized model pruning in federated machine learning
CN112288094A (zh) * 2020-10-09 2021-01-29 武汉大学 联邦网络表示学习方法及系统
CN112199702A (zh) * 2020-10-16 2021-01-08 鹏城实验室 一种基于联邦学习的隐私保护方法、存储介质及系统
CN112348063A (zh) * 2020-10-27 2021-02-09 广东电网有限责任公司电力调度控制中心 一种物联网中基于联邦迁移学习的模型训练方法及装置
CN112348200B (zh) * 2020-11-02 2022-11-15 中国科学院信息工程研究所 一种基于联邦学习的受控共享学习方法及系统
CN112348200A (zh) * 2020-11-02 2021-02-09 中国科学院信息工程研究所 一种基于联邦学习的受控共享学习方法及系统
CN112347473A (zh) * 2020-11-06 2021-02-09 济南大学 支持双向隐私保护的机器学习安全聚合预测方法及系统
CN112560088A (zh) * 2020-12-11 2021-03-26 同盾控股有限公司 基于知识联邦的数据安全交换方法、装置及存储介质
CN112560088B (zh) * 2020-12-11 2024-05-28 同盾控股有限公司 基于知识联邦的数据安全交换方法、装置及存储介质
CN112668044A (zh) * 2020-12-21 2021-04-16 中国科学院信息工程研究所 面向联邦学习的隐私保护方法及装置
CN112769766B (zh) * 2020-12-23 2023-03-24 广东电网有限责任公司梅州供电局 基于联邦学习的电力边缘物联网数据安全聚合方法和系统
CN112769766A (zh) * 2020-12-23 2021-05-07 广东电网有限责任公司梅州供电局 基于联邦学习的电力边缘物联网数据安全聚合方法和系统
CN112738061A (zh) * 2020-12-24 2021-04-30 四川虹微技术有限公司 信息处理方法、装置、管理平台、电子设备及存储介质
CN112738061B (zh) * 2020-12-24 2022-06-21 四川虹微技术有限公司 信息处理方法、装置、管理平台、电子设备及存储介质
CN112668726B (zh) * 2020-12-25 2023-07-11 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN112668726A (zh) * 2020-12-25 2021-04-16 中山大学 一种高效通信且保护隐私的个性化联邦学习方法
CN113806759A (zh) * 2020-12-28 2021-12-17 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113824677A (zh) * 2020-12-28 2021-12-21 京东科技控股股份有限公司 联邦学习模型的训练方法、装置、电子设备和存储介质
CN113810168A (zh) * 2020-12-30 2021-12-17 京东科技控股股份有限公司 机器学习模型的训练方法、服务器及计算机设备
CN112685783A (zh) * 2021-01-05 2021-04-20 西安电子科技大学 金融许可区块链中支持隐私保护的数据共享方法
CN112685783B (zh) * 2021-01-05 2024-02-27 西安电子科技大学 金融许可区块链中支持隐私保护的数据共享方法
CN112885337A (zh) * 2021-01-29 2021-06-01 深圳前海微众银行股份有限公司 数据处理方法、装置、设备及存储介质
CN112966298A (zh) * 2021-03-01 2021-06-15 广州大学 一种复合隐私保护方法、系统、计算机设备及存储介质
CN113037460B (zh) * 2021-03-03 2023-02-28 北京工业大学 基于同态加密和秘密共享的联邦学习隐私保护方法
CN113037460A (zh) * 2021-03-03 2021-06-25 北京工业大学 基于同态加密和秘密共享的联邦学习隐私保护方法
CN112949741B (zh) * 2021-03-18 2023-04-07 西安电子科技大学 基于同态加密的卷积神经网络图像分类方法
CN112949741A (zh) * 2021-03-18 2021-06-11 西安电子科技大学 基于同态加密的卷积神经网络图像分类方法
WO2022213957A1 (zh) * 2021-04-06 2022-10-13 京东科技控股股份有限公司 多源数据的数据处理方法、装置及电子设备、存储介质
CN113159918A (zh) * 2021-04-09 2021-07-23 福州大学 一种基于联邦团渗透的银行客户群体挖掘方法
CN113159918B (zh) * 2021-04-09 2022-06-07 福州大学 一种基于联邦团渗透的银行客户群体挖掘方法
CN113298229A (zh) * 2021-04-12 2021-08-24 云从科技集团股份有限公司 联邦学习模型训练方法、客户端、服务器及存储介质
CN113095513A (zh) * 2021-04-25 2021-07-09 中山大学 双层公平联邦学习方法、装置和存储介质
CN113163366A (zh) * 2021-04-25 2021-07-23 武汉理工大学 车联网中基于联邦学习的隐私保护模型聚合系统及方法
WO2022228204A1 (zh) * 2021-04-25 2022-11-03 华为技术有限公司 一种联邦学习方法以及装置
CN113163366B (zh) * 2021-04-25 2022-04-15 武汉理工大学 车联网中基于联邦学习的隐私保护模型聚合系统及方法
CN113094675B (zh) * 2021-04-29 2023-03-28 香港中文大学（深圳） 基于分布式模型训练的用户认证方法及装置
CN113094675A (zh) * 2021-04-29 2021-07-09 香港中文大学（深圳） 基于分布式模型训练的用户认证方法及装置
CN113094735A (zh) * 2021-04-29 2021-07-09 香港中文大学（深圳） 隐私模型训练的方法
CN113204787B (zh) * 2021-05-06 2022-05-31 广州大学 基于区块链的联邦学习隐私保护方法、系统、设备和介质
CN113204787A (zh) * 2021-05-06 2021-08-03 广州大学 基于区块链的联邦学习隐私保护方法、系统、设备和介质
CN113435592A (zh) * 2021-05-22 2021-09-24 西安电子科技大学 一种隐私保护的神经网络多方协作无损训练方法及系统
CN113435592B (zh) * 2021-05-22 2023-09-22 西安电子科技大学 一种隐私保护的神经网络多方协作无损训练方法及系统
CN113259363A (zh) * 2021-05-26 2021-08-13 中国人民解放军战略支援部队信息工程大学 一种隐蔽通信方法及装置
CN113259363B (zh) * 2021-05-26 2022-09-02 中国人民解放军战略支援部队信息工程大学 一种隐蔽通信方法及装置
CN113326947A (zh) * 2021-05-28 2021-08-31 山东师范大学 一种联合学习模型训练方法及系统
CN113326947B (zh) * 2021-05-28 2023-06-16 山东师范大学 一种联合学习模型训练方法及系统
CN113434873A (zh) * 2021-06-01 2021-09-24 内蒙古大学 一种基于同态加密的联邦学习隐私保护方法
CN113361618A (zh) * 2021-06-17 2021-09-07 武汉卓尔信息科技有限公司 一种基于联邦学习的工业数据联合建模方法及系统
CN113449318A (zh) * 2021-06-18 2021-09-28 北京明朝万达科技股份有限公司 一种数据分级模型训练方法、装置、数据分级方法、装置
CN113449318B (zh) * 2021-06-18 2024-03-19 北京明朝万达科技股份有限公司 一种数据分级模型训练方法、装置、数据分级方法、装置
CN113468521A (zh) * 2021-07-01 2021-10-01 哈尔滨工程大学 一种基于gan的联邦学习入侵检测的数据保护方法
CN113468521B (zh) * 2021-07-01 2022-04-05 哈尔滨工程大学 一种基于gan的联邦学习入侵检测的数据保护方法
CN113518007A (zh) * 2021-07-06 2021-10-19 华东师范大学 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN113518007B (zh) * 2021-07-06 2022-09-20 华东师范大学 一种基于联邦学习的多物联网设备异构模型高效互学习方法
CN113704778A (zh) * 2021-07-16 2021-11-26 杭州医康慧联科技股份有限公司 基于同态加密的机器学习线性模型预测方法
CN113673696A (zh) * 2021-08-20 2021-11-19 山东鲁软数字科技有限公司 一种基于强化联邦学习的电力行业起重作业违章检测方法
CN113673696B (zh) * 2021-08-20 2024-03-22 山东鲁软数字科技有限公司 一种基于强化联邦学习的电力行业起重作业违章检测方法
CN113642664B (zh) * 2021-08-24 2024-02-20 安徽大学 一种基于联邦学习的隐私保护图像分类方法
CN113642664A (zh) * 2021-08-24 2021-11-12 安徽大学 一种基于联邦学习的隐私保护图像分类方法
CN113902122A (zh) * 2021-08-26 2022-01-07 杭州城市大脑有限公司 联邦模型协同训练方法、装置、计算机设备及存储介质
CN113449329A (zh) * 2021-08-31 2021-09-28 国网浙江省电力有限公司信息通信分公司 基于安全分享的联邦学习场景下的能源数据融合计算方法
CN113836556A (zh) * 2021-09-26 2021-12-24 广州大学 面向联邦学习的去中心化函数加密隐私保护方法及系统
CN114021734A (zh) * 2021-10-14 2022-02-08 深圳致星科技有限公司 用于联邦学习和隐私计算的参数计算装置、系统及方法
CN114021734B (zh) * 2021-10-14 2022-04-12 深圳致星科技有限公司 用于联邦学习和隐私计算的参数计算装置、系统及方法
CN113992393A (zh) * 2021-10-26 2022-01-28 中国电信股份有限公司 用于纵向联邦学习的模型更新的方法、设备、系统和介质
CN113992393B (zh) * 2021-10-26 2023-10-03 中国电信股份有限公司 用于纵向联邦学习的模型更新的方法、设备、系统和介质
CN113887741B (zh) * 2021-11-05 2022-09-30 深圳市电子商务安全证书管理有限公司 基于联邦学习的数据生成方法、装置、设备及存储介质
CN113887741A (zh) * 2021-11-05 2022-01-04 深圳市电子商务安全证书管理有限公司 基于联邦学习的数据生成方法、装置、设备及存储介质
WO2023098294A1 (zh) * 2021-12-02 2023-06-08 深圳前海微众银行股份有限公司 异构数据处理方法、装置及电子设备
CN114168988A (zh) * 2021-12-16 2022-03-11 大连理工大学 一种联邦学习模型聚合方法及电子装置
CN114168988B (zh) * 2021-12-16 2024-05-03 大连理工大学 一种联邦学习模型聚合方法及电子装置
CN114186263A (zh) * 2021-12-17 2022-03-15 大连理工大学 一种基于纵向联邦学习的数据回归方法及电子装置
CN114186263B (zh) * 2021-12-17 2024-05-03 大连理工大学 一种基于纵向联邦学习的数据回归方法及电子装置
CN114362940A (zh) * 2021-12-29 2022-04-15 华东师范大学 一种数据隐私保护的无服务器异步联邦学习方法
CN114362940B (zh) * 2021-12-29 2023-09-29 华东师范大学 一种数据隐私保护的无服务器异步联邦学习方法
WO2023130705A1 (zh) * 2022-01-10 2023-07-13 华为技术有限公司 用户数据处理的系统、方法以及装置
CN114462626A (zh) * 2022-04-08 2022-05-10 北京大学 联邦模型训练方法、装置、终端设备以及存储介质
CN114462626B (zh) * 2022-04-08 2022-07-19 北京大学 联邦模型训练方法、装置、终端设备以及存储介质
CN114817958B (zh) * 2022-04-24 2024-03-29 山东云海国创云计算装备产业创新中心有限公司 一种基于联邦学习的模型训练方法、装置、设备及介质
CN114817958A (zh) * 2022-04-24 2022-07-29 山东云海国创云计算装备产业创新中心有限公司 一种基于联邦学习的模型训练方法、装置、设备及介质
CN115174033B (zh) * 2022-06-13 2024-04-12 湖北工业大学 移动群智感知中抗感知平台和用户共谋攻击的方法及系统
CN115174033A (zh) * 2022-06-13 2022-10-11 湖北工业大学 移动群智感知中抗感知平台和用户共谋攻击的方法及系统
CN115310137A (zh) * 2022-10-11 2022-11-08 深圳市深信信息技术有限公司 一种智能结算系统的保密方法及相关装置
CN115878995A (zh) * 2022-11-17 2023-03-31 营口巨成教学科技开发有限公司 一种胸外按压动作规范性判别系统及方法
CN115878995B (zh) * 2022-11-17 2024-04-19 营口巨成教学科技开发有限公司 一种胸外按压动作规范性判别系统及方法

Also Published As

Publication number Publication date
CN110572253B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN110572253B (zh) 一种联邦学习训练数据隐私性增强方法及系统
US11449753B2 (en) Method for collaborative learning of an artificial neural network without disclosing training data
CN109684855B (zh) 一种基于隐私保护技术的联合深度学习训练方法
CN113037460A (zh) 基于同态加密和秘密共享的联邦学习隐私保护方法
CN109951443B (zh) 一种云环境下隐私保护的集合交集计算方法及系统
CN110190945B (zh) 基于多加密的线性回归隐私保护方法及系统
CN112383388B (zh) 一种基于云计算大数据的双秘钥加密系统及方法
CN112906030B (zh) 基于多方全同态加密的数据共享方法和系统
CN112183767A (zh) 一种多密钥下模型聚合的联邦学习方法及相关设备
CN104158880B (zh) 一种用户端云数据共享解决方法
CN113259329A (zh) 一种数据不经意传输方法、装置、电子设备及存储介质
CN108462575B (zh) 基于无可信中心门限混合加密的上传数据加密方法
CN105027492B (zh) 用于确定共享密钥的设备、方法和系统
CN110750796B (zh) 一种支持公开审计的加密数据去重方法
WO2021106077A1 (ja) ニューラルネットワークの更新方法、端末装置、計算装置及びプログラム
CN115392487A (zh) 基于同态加密的隐私保护非线性联邦支持向量机训练方法及系统
CN111600661B (zh) 基于实时更新的混沌密钥分发的三维加密ofdm光系统
CN115630713A (zh) 样本标识符不相同下的纵向联邦学习方法、设备和介质
CN104917611A (zh) 用于云计算的数据加解密处理方法和装置
CN111581648A (zh) 在不规则用户中保留隐私的联邦学习的方法
CN113630250B (zh) 基于数据加密的模型训练方法及系统
Meshram et al. Chebyshev chaotic map‐based ID‐based cryptographic model using subtree and fuzzy‐entity data sharing for public key cryptography
CN114239862A (zh) 一种保护用户数据隐私的抗拜占庭攻击的联邦学习方法
JP5689826B2 (ja) 秘密計算システム、暗号化装置、秘密計算装置及びその方法、プログラム
CN107070900B (zh) 基于混淆的可搜索重加密方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant