CN110995737A - 联邦学习的梯度融合方法及装置和电子设备 - Google Patents
联邦学习的梯度融合方法及装置和电子设备 Download PDFInfo
- Publication number
- CN110995737A CN110995737A CN201911286358.4A CN201911286358A CN110995737A CN 110995737 A CN110995737 A CN 110995737A CN 201911286358 A CN201911286358 A CN 201911286358A CN 110995737 A CN110995737 A CN 110995737A
- Authority
- CN
- China
- Prior art keywords
- gradient
- public
- cloud server
- gradient data
- execution environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
- H04L63/0442—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload wherein the sending and receiving network entities apply asymmetric encryption, i.e. different keys for encryption and decryption
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Abstract
本说明书实施例提供一种联邦学习的梯度融合方法及装置和电子设备。所述方法包括：向各个设备下发新一轮联邦学习的训练指令；接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
Description
技术领域
本说明书实施例涉及互联网技术领域，尤其涉及一种联邦学习的梯度融合方法及装置和电子设备。
背景技术
联邦学习是一种分布式的机器学习算法，成千上万的设备利用本地的数据协同训练一个共享的模型。
发明内容
本说明书实施例提供的一种联邦学习的梯度融合方法及装置和电子设备。
根据本说明书实施例的第一方面，提供一种联邦学习的梯度融合方法，应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；其中所述云端服务器具有所述设备认可的可信执行环境；所述方法包括：
云端服务器向各个设备下发新一轮联邦学习的训练指令；
所述设备在接收到训练指令后，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
所述设备使用公钥对训练的梯度数据进行加密，并将加密的梯度数据上传至所述云端服务器；其中，所述公钥为所述云端服务器的可信执行环境生成的公私钥对中的公钥；
所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
所述云端服务器对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
可选的，所述方法还包括：
在联邦学习之前，所述云端服务器的可信执行环境进行第三方认证；
在接收所述第三方通过认证后返回的认证报告后，在所述可信执行环境生成一对公私钥，并将公钥下发至每个设备。
可选的，下发至每个设备的还包括认证报告；所述方法还包括：
所述设备在接收到认证报告后，通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的。
根据本说明书实施例的第二方面，提供一种联邦学习的梯度融合方法，应用于具备可信环境的云端服务器，所述方法包括：
向各个设备下发新一轮联邦学习的训练指令；
接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第三方面，提供一种联邦学习的梯度融合方法，应用于具备可信环境的云端服务器，所述方法包括：
向各个设备下发新一轮联邦学习的训练指令；
接收设备上传的使用第一公钥加密第二密钥，以及使用第二密钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的第一公私钥对中的第一公钥；所述第二密钥由所述设备本地生成；
利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，并利用解密的第二密钥对加密的梯度数据进行解密，得到明文的梯度数据；
对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第四方面，提供一种联邦学习的梯度融合方法，应用于参与联邦学习的设备，所述方法包括：
接收云端服务器下发新一轮联邦学习的训练指令；
利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第五方面，提供一种联邦学习的梯度融合方法，应用于参与联邦学习的设备，所述方法包括：
接收云端服务器下发新一轮联邦学习的训练指令；
利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
使用本地的第二密钥对对训练的梯度数据进行加密，使用所述云端服务器的可信执行环境生成的第一公私钥对中的第一公钥对所述第二密钥进行加密；以及将加密的第二密钥和加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，利用解密的第二密钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第六方面，提供一种联邦学习的梯度融合装置，应用于具备可信环境的云端服务器，所述装置包括：
指令单元，向各个设备下发新一轮联邦学习的训练指令；
接收单元，接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
解密单元，利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
融合单元，对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第七方面，提供一种联邦学习的梯度融合装置，应用于具备可信环境的云端服务器，所述装置包括：
指令单元，向各个设备下发新一轮联邦学习的训练指令；
接收单元，接收设备上传的使用第一公钥加密第二密钥，以及使用第二密钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的第一公私钥对中的第一公钥；所述第二密钥由所述设备本地生成；
解密单元，利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，并利用解密的第二密钥对加密的梯度数据进行解密，得到明文的梯度数据；
融合单元，对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第八方面，提供一种联邦学习的梯度融合装置，应用于参与联邦学习的设备，所述装置包括：
接收单元，接收云端服务器下发新一轮联邦学习的训练指令；
训练单元，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
加密单元，使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第九方面，提供一种联邦学习的梯度融合装置，应用于参与联邦学习的设备，所述装置包括：
接收单元，接收云端服务器下发新一轮联邦学习的训练指令；
训练单元，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
加密单元，使用本地的第二密钥对对训练的梯度数据进行加密，使用所述云端服务器的可信执行环境生成的第一公私钥对中的第一公钥对所述第二密钥进行加密；以及将加密的第二密钥和加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，利用解密的第二密钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
根据本说明书实施例的第十方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为上述任一项联邦学习方法。
本说明书实施例，提供了一种联邦学习的梯度融合方案，通过在云端服务器上设置每个设备都认可的一个可信执行环境，由该可信执行环境生成公私钥对，并将公钥下发给各个设备；然后由各个设备利用公钥将待上传的梯度数据进行加密；云端服务器利用私钥对加密的梯度数据进行解密，并在该可信执行环境下对设备的梯度进行融合；由于所述私钥始终处于可信执行环境下，因此即使传输过程中梯度数据被泄露，由于没有私钥也无法解密得到明文的梯度数据。
附图说明
图1是本说明书一实施例提供的基于多方安全计算(MPC)技术的安全聚合协议下的联邦学习示意图；
图2是本说明书一实施例提供的基于可信执行环境的联邦学习的示意图；
图3是本说明书一实施例提供的基于Intel SGX的可信执行环境的联邦学习的示意图；
图4是本说明书一实施例提供的联邦学习的梯度融合方法的流程图；
图5是本说明书一实施例提供的联邦学习的梯度融合方法的流程图；
图6是本说明书一实施例提供的联邦学习的梯度融合装置的硬件结构图；
图7是本说明书一实施例提供的联邦学习的梯度融合装置的模块示意图；
图8是本说明书一实施例提供的联邦学习的梯度融合装置的模块示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
随着移动互联的发展，智能手机等移动设备取代传统PC占据用户越来越多的使用时间。因此，用户在移动设备端会积累大量的个人信息。这些个人信息的内容涵盖照片、语音、浏览记录、操作记录等多模态、多维度的数据。利用这些数据，服务方可以为用户提供更加丰富的服务；例如根据用户偏好推荐个性化内容、根据用户操作记录识别手机是否被盗等。
通常这些服务的实现，需要预先基于海量的个人信息进行机器学习集中式训练以训练得到一个机器学习模型，然后通过这个机器学习模型计算提供给用户最合适的服务方式。然而，这些个人信息中很多会涉及到用户的个人隐私，这些涉及到个人隐私的数据可以称之为隐私数据。如何确保这些隐私数据不会在机器学习集中式训练中被泄露称为亟待解决的问题。
为此，业内相关公司提出了一种称为“联邦学习(Federated Learning)”的概念。联邦学习是一种分布式的机器学习算法，成千上万的设备利用本地的数据协同训练一个共享的模型。在训练过程中，用户的隐私数据始终保留在本地而无需出域，设备只上传模型训练的梯度至云端进行融合以更新共享的模型。为了最大程度的保护用户隐私，梯度也不是以明文形式上传的，而是以某种加密的方式在云端完成融合。云端完成模型更新后，将模型下发至设备完成一轮训练。通过以上方式，联邦学习在保护用户隐私的前提下，利用设备本地数据和计算能力，分布式地训练了机器学习模型。所述设备可以是指移动设备，也可以是指非移动设备，或者移动设备和非移动设备的组合。
但是，现有的联邦学习依然存在一些问题。例如，由于现有的联邦学习关键在于如何进行模型的梯度融合，因此梯度融合过程中必然涉及到数据的传输；进而这个过程中是有可能泄露隐私数据的。为此业内相关公司还提出了一种基于多方安全计算(MPC)技术的安全聚合协议。具体地，该协议采用的是密钥分享(Secret Sharing)技术进行梯度的融合，如图1所示基于多方安全计算技术的安全聚合协议下的联邦学习的大致流程如下：
第一阶段、假设有N台设备，各设备在本地进行联邦学习得到梯度数据后，将自己的梯度数据随机拆分成N份，并分发至其他设备(每个设备随机发送其中1份)。
第二阶段、各台设备收到其他设备的梯度数据后，在本地完成加和后上传到云端服务器。
第三阶段、云端服务器在收到N台设备加和后的梯度数据后，做最终的梯度融合，更新模型。
第四阶段、云端服务器将更新后的模型下发至设备，完成本轮训练。
从以上流程可以看出，由于梯度数据是随机拆分的，其他设备无法推导出任何一台设备的梯度。同时，由于梯度经过多台设备加和，云端服务器同样也无法推导出任何一台设备的梯度。因此，该协议很好的保护了用户的隐私数据。然而，该安全聚合协议依然还存在以下问题：
一方面，由于每个设备都需要分发N份的梯度数据，共分发N*N次；因而该协议的通信复杂度由原本的O(n)变成O(n^2)，导致当设备数量增多时，设备的通信量急剧增大。可见，该协议下的梯度融合方案存在通信复杂度高的问题。
另一方面，梯度数据随机拆分并下发后，每个设备的梯度数据中均包含了其它设备的部分梯度数据。对于云端服务器来说，只有当所有参与的设备都完成梯度数据上传后，才能进行最终的梯度融合。一旦有一个设备上传失败，那么云端服务器就无法获取全部的梯度数据和，因此本轮训练作废。可见，该协议下的梯度融合方案还存在容错低的问题。
为了解决上述问题，本说明书提供了一种联邦学习的梯度融合方案，通过在云端服务器上设置每个设备都承认的一个可信执行环境，由该可信执行环境生成公私钥对，并将公钥下发给各个设备；然后由各个设备利用公钥将待上传的梯度数据进行加密；云端服务器利用私钥对加密的梯度数据进行解密，并在该可信执行环境下对设备的梯度进行融合；由于所述私钥始终处于可信执行环境下，因此即使传输过程中梯度数据被泄露，由于没有私钥也无法解密得到明文的梯度数据。
其中，本说明书中的可信执行环境可以是指一种被使用者认可的具备安全性的执行程序，由这个执行程序完成的操作或者在这个执行程序中进行的数据处理可以认为是安全可信的。
以下可以参考图2所示基于可信执行环境的联邦学习的例子介绍，该方案可以应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；所述方案包括以下几个阶段：
第一阶段：可信执行环境认证阶段；包括以下步骤：
A11、云端服务器的可信执行环境进行第三方认证，在所述第三方完成该可信执行环境认证通过后返回认证报告；该认证报告表明云端服务器的程序运行于第三方认证通过的可信执行环境中。
A12、所述可信执行环境生成一对公私钥，并将公钥和认证报告下发至每个设备。
A13、设备在接收到认证报告后，通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的；进而可以证明云端服务器的可信执行环境也是可信的。设备只有在SDK内置的验证程序对该认证报告进行校验通过后，才会在第二阶段中执行B13。
其中，所述第三方和可信执行环境通常是配合实现的，例如可信执行环境可以是由第三方提供的程序，云端服务器可以在本地安装并运行该第三方提供的可信执行环境。
在进行联邦学习的模型训练之前，云端服务器需要向第三方进行可信执行环境的认证，以向各个设备证明上传梯度数据是安全的。这里认证可以是一次模型训练之前进行，也可以是一次模型训练中每轮训练之前进行的。
第二阶段：模型训练阶段；包括以下步骤；
B11：云端服务器的联邦学习平台向各个设备下发新一轮联邦学习的训练指令。
B12：设备在接收到训练指令后，利用本地的训练数据进行训练得到模型参数的梯度数据。
B13：设备使用所述云端服务器下发的公钥对所述梯度数据进行加密并将加密后的梯度数据上传给所述云端服务器。
B14：云端服务器利用可信执行环境中私钥对加密的梯度数据进行解密，得到明文的梯度数据。
B15：云端服务器在可信执行环境中对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
B16：云端服务器的可信执行环境将融合后的梯度数据传递给联邦学习平台，由联邦学习平台完成模型参数更新，并将更新后的模型下发给各个设备；至此本轮联邦学习的训练结束。如果需要进行下一轮训练，则重新执行B11。
如前第一阶段所示，云端服务器的可信执行环境会生成一对公私钥，其中私钥保存在该可信执行环境内，公钥会下发给各个设备。
由于设备上传的梯度数据是经过加密的，而解密的私钥又是终处于可信执行环境中；因此即使传输过程中梯度数据被泄露，在没有私钥的情况下也无法解密得到明文的梯度数据，实现了隐私数据的安全。
一方面，由于可信执行环境的存在，各个设备之间无需进行数据传输，各个设备只需要将加密的梯度数据上传至云端服务器即可；因此通信复杂度为O(n)。由于通信复杂度的降低，使得可以在更大规模的设备之间进行联邦学习。
另一方面，由于各个设备之间无需进行数据传输，各个设备只需要将加密的梯度数据；因此，设备上传的梯度数据都是完整的。对于云端服务器来说，即使有某些设备没有上传梯度数据，也不影响其他设备上传的梯度数据的完整性；依然可以依据已上传的梯度数据进行梯度融合。可见，该方案下联邦学习的梯度融合的容错性较高。
在一实施例中，云端服务器在进行梯度融合时，可以主动丢弃部分设备梯度，以防止多方设备联合反推其它设备的梯度数据。
具体地，云端服务器可以利用Dropout随机丢弃某些设备梯度，从而对梯度之和做混淆，进一步保证了用户隐私。
另一个基于可信执行环境的联邦学习的方案，可以应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；所述方案包括以下几个阶段：
第一阶段：可信执行环境认证阶段；包括以下步骤：
A11、云端服务器的可信执行环境进行第三方认证，在所述第三方完成该可信执行环境认证通过后返回认证报告；该认证报告表明云端服务器的程序运行于第三方认证通过的可信执行环境中。
A22、所述可信执行环境生成一对第一公私钥，并将第一公钥和认证报告下发至每个设备。
A23、设备在接收到认证报告后，通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的；进而可以证明云端服务器的可信执行环境也是可信的。设备只有在SDK内置的验证程序对该认证报告进行校验通过后，才会在第二阶段中执行B23。并且，利用SDK随机生成一个第二密钥。
第二阶段：模型训练阶段；包括以下步骤；
B11：云端服务器的联邦学习平台向各个设备下发新一轮联邦学习的训练指令。
B12：设备在接收到训练指令后，利用本地的训练数据进行训练得到模型参数的梯度数据。
B23：设备使用第二密钥加密梯度数据，使用第一公钥加密所述第二密钥；并上传加密的梯度数据和加密的第二密钥至云端服务器。
B24：云端服务器利用可信执行环境中第一私钥对加密的第二密钥进行解密，并利用解密的第二密钥对加密的梯度数据进行解密，得到明文的梯度数据。
B15：云端服务器在可信执行环境中对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
B16：云端服务器的可信执行环境将融合后的梯度数据传递给联邦学习平台，由联邦学习平台完成模型参数更新，并将更新后的模型下发给各个设备；至此本轮联邦学习的训练结束。如果需要进行下一轮训练，则重新执行B11。
该实施例与前述实施例不同之处在于，设备自身可以生成第二密钥，并利用第二密钥加密梯度数据，然后用云端服务器可信执行程序提供的第一公钥加密第二密钥；实现了两层加密。由于第一公钥和第一私钥是成对的输入RAS密钥而第二密钥属于AES密钥，因而第一公钥加密的数据长度相对第二密钥的更长；采用这种方案可以适用于某些性能不高的设备使用，或者某些对加密数据的长度存在限制的场景。
在一示例性的实施例中，以Intel SGX(Software Guard Extensions)的可信执行环境举例说明。Intel SGX是一种旨在以硬件安全为强制性保障，不依赖于固件和软件的安全状态的安全机制。Intel SGX可以提供用户空间的可信执行环境，并通过一组新的指令集扩展与访问控制机制实现不同程序间的隔离运行，从而可以保障用户关键代码和数据的机密性与完整性不受恶意软件的破坏。不同于其他安全技术，SGX的可信计算基(TrustedComputing Base，TCB)仅包括硬件，这样就避免了基于软件的TCB自身存在软件安全漏洞与威胁的缺陷，从而极大地提升了系统安全保障。此外，SGX可保障运行时的可信执行环境，恶意代码无法访问与篡改其他程序运行时的保护内容；进一步增强了系统的安全性。基于指令集的扩展与独立的认证方式，使得应用程序可以灵活调用这一安全功能并进行验证。可见，Intel SGX这种基于CPU的新一代硬件安全机制,具备健壮、可信、灵活的安全功能，还可以通过硬件扩展来保证系统性能。
该Intel SFX提供的可信执行环境一般称为enclave，但为了统一称呼本说明书中都称为可信执行环境，因而在以Intel SGX的实施例中可信执行环境可以理解为enclave。
以下可以参考图3所示基于Intel SGX的可信执行环境的联邦学习的例子介绍，该方案可以应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；所述方案包括以下几个阶段：
A31：云端服务器的可信执行环境首先由Intel进行远程认证，并获取Intel返回的IAS report(Intel提供的一种认证报告)。所述IAS report表明该云端服务器的可信执行环境是经Intel官方认证通过的，可以安全使用。
B32：所述可信执行环境生成一对RSA公私钥，并将RSA公钥和IAS report下发至每个设备。
A33、设备在接收到IAS report后，通过所述Intel提供的SDK内置的Intel根证书(具有验证程序)对该IAS report进行校验，以证明该IAS report是可信的；进而可以证明云端服务器的可信执行环境也是可信的。设备只有在该IAS report校验通过后，才会在第二阶段中执行B13。并且，利用SDK随机生成一个AES密钥。
第二阶段：模型训练阶段；包括以下步骤；
B31：云端服务器的TensorFlow(一种联邦学习平台)向各个设备下发新一轮联邦学习的训练指令。
B32：设备在接收到训练指令后，利用本地的TensorFlow-Lite(设备端的联邦学习算法)和训练数据进行训练得到模型参数的梯度数据。
B33：设备使用AES密钥加密梯度数据，使用RSA公钥加密所述AES密钥；并上传加密的梯度数据和加密的AES密钥至云端服务器。
B34：云端服务器利用可信执行环境中RSA私钥对加密的AES进行解密，并利用解密的AES密钥对加密的梯度数据进行解密，得到明文的梯度数据。
B35：云端服务器在可信执行环境中对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。可选的，在梯度融合过程中使用Dropout技术随机丢弃部分设备梯度。
B36：云端服务器的可信执行环境将融合后的梯度数据传递给TensorFlow，由TensorFlow完成模型参数更新，并将更新后的模型下发给各个设备；至此本轮联邦学习的训练结束。如果需要进行下一轮训练，则重新执行B31。
该实施例中，云端服务器引入了一个基于Intel SGX的可信执行环境对设备上传的梯度数据进行梯度融合。由于梯度数据的解密与融合都是在可信执行环境中，只要RSA私钥不泄漏，就没有任何一方可以解密某个设备的梯度数据。同时，为了防止部分设备联合起来，通过融合后的梯度数据以及自身的梯度数据和，反推其他设备的梯度数据，在梯度融合过程中引入了Dropout随机梯度丢弃方案，对梯度之和做了混淆，进一步保证了用户隐私。
一方面，由于可信执行环境的存在，各个设备之间无需进行数据传输，各个设备只需要将加密的梯度数据上传至云端服务器即可；因此通信复杂度为O(n)。由于通信复杂度的降低，使得可以在更大规模的设备之间进行联邦学习。
另一方面，由于各个设备之间无需进行数据传输，各个设备只需要将加密的梯度数据；因此，设备上传的梯度数据都是完整的。对于云端服务器来说，即使有某些设备没有上传梯度数据，也不影响其他设备上传的梯度数据的完整性；依然可以依据已上传的梯度数据进行梯度融合。可见，该方案下联邦学习的梯度融合的容错性较高。
如图4所示的云端服务器侧进行介绍的联邦学习的梯度学习方法的实施例，该实施例是在前述图2的实施例基础上描述的，重复的步骤可以参考前述实施例。如图4所示，应用于具备可信环境的云端服务器，该方法可以包括：
步骤410：向各个设备下发新一轮联邦学习的训练指令；
步骤420：接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
步骤430：利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
步骤440：对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
可选的，所述方法还包括：
在联邦学习之前，向第三方发起针对所述可信执行环境的认证请求；
在接收所述第三方通过认证后返回的认证报告后，在所述可信执行环境生成一对公私钥，并将公钥下发至每个设备。
如图5所示的设备侧进行介绍的联邦学习的梯度学习方法的实施例，该实施例是在前述图2的实施例基础上描述的，重复的步骤可以参考前述实施例。如图4所示，应用于设备，该方法可以包括：
步骤510：接收云端服务器下发新一轮联邦学习的训练指令；
步骤520：利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
步骤530：使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
可选的，所述方法还包括：
在联邦学习之前，接收所述云端服务器下发的由第三方对所述云端服务器的可信执行环境认证通过后返回的认证报告，以及所述可信执行环境生成一对公私钥中的公钥；
通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的。
与前述联邦学习的梯度融合方法实施例相对应，本说明书还提供了联邦学习的梯度融合装置的实施例。所述装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在设备的处理器将非易失性存储器中对应的计算机业务程序指令读取到内存中运行形成的。从硬件层面而言，如图6所示，为本说明书联邦学习的梯度融合装置所在设备的一种硬件结构图，除了图6所示的处理器、网络接口、内存以及非易失性存储器之外，实施例中装置所在的设备通常根据联邦学习实际功能，还可以包括其他硬件，对此不再赘述。
请参见图7，为本说明书一实施例提供的联邦学习的梯度融合装置的模块图，所述装置对应了图4所示实施例，应用于具备可信环境的云端服务器，所述装置包括：
指令单元610，向各个设备下发新一轮联邦学习的训练指令；
接收单元620，接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
解密单元630，利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
融合单元640，对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
可选的，所述装置还包括：
认证子单元，在联邦学习之前，向第三方发起针对所述可信执行环境的认证请求；
下发子单元，在接收所述第三方通过认证后返回的认证报告后，在所述可信执行环境生成一对公私钥，并将公钥下发至每个设备。
在另一应用于具备可信环境的云端服务器的，联邦学习的梯度融合装置的实施例中，包括：
指令单元，向各个设备下发新一轮联邦学习的训练指令；
接收单元，接收设备上传的使用第一公钥加密第二密钥，以及使用第二密钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的第一公私钥对中的第一公钥；所述第二密钥由所述设备本地生成；
解密单元，利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，并利用解密的第二密钥对加密的梯度数据进行解密，得到明文的梯度数据；
融合单元，对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
请参见图8，为本说明书一实施例提供的联邦学习的梯度融合装置的模块图，所述装置对应了图5所示实施例，应用于参与联邦学习的设备，所述装置包括：
接收单元710，接收云端服务器下发新一轮联邦学习的训练指令；
训练单元720，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
加密单元730，使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
可选的，所述装置还包括：
接收子单元，在联邦学习之前，接收所述云端服务器下发的由第三方对所述云端服务器的可信执行环境认证通过后返回的认证报告，以及所述可信执行环境生成一对公私钥中的公钥；
校验子单元，通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的。
在另一应用于参与联邦学习的设备的，联邦学习的梯度融合装置的实施例中，包括：
接收单元，接收云端服务器下发新一轮联邦学习的训练指令；
训练单元，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
加密单元，使用本地的第二密钥对对训练的梯度数据进行加密，使用所述云端服务器的可信执行环境生成的第一公私钥对中的第一公钥对所述第二密钥进行加密；以及将加密的第二密钥和加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，利用解密的第二密钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上图7描述了联邦学习的梯度融合装置的内部功能模块和结构示意，其实质上的执行主体可以为一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
向各个设备下发新一轮联邦学习的训练指令；
接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
以上图8描述了联邦学习的梯度融合装置的内部功能模块和结构示意，其实质上的执行主体可以为一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
接收云端服务器下发新一轮联邦学习的训练指令；
利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
在上述电子设备的实施例中，应理解，该处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，而前述的存储器可以是只读存储器(英文：read-only memory，缩写：ROM)、随机存取存储器(英文：random access memory，简称：RAM)、快闪存储器、硬盘或者固态硬盘。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于电子设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员在考虑说明书及实践这里公开的实施例后，将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是，本说明书并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。
Claims (14)
1.一种联邦学习的梯度融合方法，应用于联邦学习系统，所述系统包括云端服务器和至少2个设备；其中所述云端服务器具有所述设备认可的可信执行环境；所述方法包括：
云端服务器向各个设备下发新一轮联邦学习的训练指令；
所述设备在接收到训练指令后，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
所述设备使用公钥对训练的梯度数据进行加密，并将加密的梯度数据上传至所述云端服务器；其中，所述公钥为所述云端服务器的可信执行环境生成的公私钥对中的公钥；
所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
所述云端服务器对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
2.根据权利要求1所述的方法，所述方法还包括：
在联邦学习之前，所述云端服务器的可信执行环境进行第三方认证；
在接收所述第三方通过认证后返回的认证报告后，在所述可信执行环境生成一对公私钥，并将公钥下发至每个设备。
3.根据权利要求2所述的方法，下发至每个设备的还包括认证报告；所述方法还包括：
所述设备在接收到认证报告后，通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的。
4.一种联邦学习的梯度融合方法，应用于具备可信环境的云端服务器，所述方法包括：
向各个设备下发新一轮联邦学习的训练指令；
接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
5.根据权利要求4所述的方法，所述方法还包括：
在联邦学习之前，向第三方发起针对所述可信执行环境的认证请求；
在接收所述第三方通过认证后返回的认证报告后，在所述可信执行环境生成一对公私钥，并将公钥下发至每个设备。
6.一种联邦学习的梯度融合方法，应用于具备可信环境的云端服务器，所述方法包括：
向各个设备下发新一轮联邦学习的训练指令；
接收设备上传的使用第一公钥加密第二密钥，以及使用第二密钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的第一公私钥对中的第一公钥；所述第二密钥由所述设备本地生成；
利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，并利用解密的第二密钥对加密的梯度数据进行解密，得到明文的梯度数据；
对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
7.一种联邦学习的梯度融合方法，应用于参与联邦学习的设备，所述方法包括：
接收云端服务器下发新一轮联邦学习的训练指令；
利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
8.根据权利要求7所述的方法，所述方法还包括：
在联邦学习之前，接收所述云端服务器下发的由第三方对所述云端服务器的可信执行环境认证通过后返回的认证报告，以及所述可信执行环境生成一对公私钥中的公钥；
通过所述第三方提供的SDK内置的验证程序对该认证报告进行校验，以证明该认证报告是可信的。
9.一种联邦学习的梯度融合方法，应用于参与联邦学习的设备，所述方法包括：
接收云端服务器下发新一轮联邦学习的训练指令；
利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
使用本地的第二密钥对对训练的梯度数据进行加密，使用所述云端服务器的可信执行环境生成的第一公私钥对中的第一公钥对所述第二密钥进行加密；以及将加密的第二密钥和加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，利用解密的第二密钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
10.一种联邦学习的梯度融合装置，应用于具备可信环境的云端服务器，所述装置包括：
指令单元，向各个设备下发新一轮联邦学习的训练指令；
接收单元，接收设备上传的使用公钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的公私钥对中的公钥；
解密单元，利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，得到明文的梯度数据；
融合单元，对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
11.一种联邦学习的梯度融合装置，应用于具备可信环境的云端服务器，所述装置包括：
指令单元，向各个设备下发新一轮联邦学习的训练指令；
接收单元，接收设备上传的使用第一公钥加密第二密钥，以及使用第二密钥加密的梯度数据；其中，所述公钥为所述可信执行环境生成的第一公私钥对中的第一公钥；所述第二密钥由所述设备本地生成；
解密单元，利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，并利用解密的第二密钥对加密的梯度数据进行解密，得到明文的梯度数据；
融合单元，对参与本轮联邦学习的设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
12.一种联邦学习的梯度融合装置，应用于参与联邦学习的设备，所述装置包括：
接收单元，接收云端服务器下发新一轮联邦学习的训练指令；
训练单元，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
加密单元，使用所述云端服务器的可信执行环境生成的公私钥对中的公钥对训练的梯度数据进行加密，以及将加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述公私钥对中私钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
13.一种联邦学习的梯度融合装置，应用于参与联邦学习的设备，所述装置包括：
接收单元，接收云端服务器下发新一轮联邦学习的训练指令；
训练单元，利用设备端的联邦学习算法和训练数据进行训练得到模型参数的梯度数据；
加密单元，使用本地的第二密钥对对训练的梯度数据进行加密，使用所述云端服务器的可信执行环境生成的第一公私钥对中的第一公钥对所述第二密钥进行加密；以及将加密的第二密钥和加密的梯度数据上传至所述云端服务器；以使所述云端服务器利用所述可信执行环境中存储的所述第一公私钥对中第一私钥对加密的第二密钥进行解密，利用解密的第二密钥对加密的梯度数据进行解密，以及将各个设备上传的明文梯度数据进行梯度融合，在所述梯度融合过程中随机丢弃部分设备梯度。
14.一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为上述权利要求1-9中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911286358.4A CN110995737B (zh) | 2019-12-13 | 2019-12-13 | 联邦学习的梯度融合方法及装置和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911286358.4A CN110995737B (zh) | 2019-12-13 | 2019-12-13 | 联邦学习的梯度融合方法及装置和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110995737A true CN110995737A (zh) | 2020-04-10 |
| CN110995737B CN110995737B (zh) | 2022-08-02 |
Family
ID=70093552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911286358.4A Active CN110995737B (zh) | 2019-12-13 | 2019-12-13 | 联邦学习的梯度融合方法及装置和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110995737B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111241570A (zh) * | 2020-04-24 | 2020-06-05 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的双方联合训练业务预测模型的方法和装置 |
| CN111490995A (zh) * | 2020-06-12 | 2020-08-04 | 支付宝(杭州)信息技术有限公司 | 保护隐私的模型训练方法和装置、数据处理方法、服务器 |
| CN111614679A (zh) * | 2020-05-22 | 2020-09-01 | 深圳前海微众银行股份有限公司 | 联邦学习资格恢复方法、设备及可读存储介质 |
| CN111625820A (zh) * | 2020-05-29 | 2020-09-04 | 华东师范大学 | 一种基于面向AIoT安全的联邦防御方法 |
| CN111628966A (zh) * | 2020-04-17 | 2020-09-04 | 支付宝(杭州)信息技术有限公司 | 数据传输、处理、授权方法及其系统 |
| CN112001455A (zh) * | 2020-09-29 | 2020-11-27 | 北京百度网讯科技有限公司 | 模型训练方法、装置以及电子设备 |
| CN112199702A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 一种基于联邦学习的隐私保护方法、存储介质及系统 |
| CN112232528A (zh) * | 2020-12-15 | 2021-01-15 | 之江实验室 | 一种联邦学习模型训练方法、装置及联邦学习系统 |
| CN112686385A (zh) * | 2021-01-07 | 2021-04-20 | 中国人民解放军国防科技大学 | 面向多站点三维影像的联邦深度学习方法及系统 |
| CN112990483A (zh) * | 2021-03-17 | 2021-06-18 | 北京理工大学 | 一种基于概率性抽样的大规模边缘机器学习训练方法 |
| CN113157399A (zh) * | 2021-05-17 | 2021-07-23 | 北京冲量在线科技有限公司 | 基于arm架构芯片的非监督联合建模方法 |
| CN113518007A (zh) * | 2021-07-06 | 2021-10-19 | 华东师范大学 | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 |
| CN113762328A (zh) * | 2021-06-16 | 2021-12-07 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
| WO2021244035A1 (en) * | 2020-06-03 | 2021-12-09 | Huawei Technologies Co., Ltd. | Methods and apparatuses for defense against adversarial attacks on federated learning systems |
| CN113824546A (zh) * | 2020-06-19 | 2021-12-21 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN114764601A (zh) * | 2022-05-05 | 2022-07-19 | 北京瑞莱智慧科技有限公司 | 一种梯度数据融合方法、装置及存储介质 |
| CN115563564A (zh) * | 2022-12-02 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 决策树模型的处理方法、装置、计算机设备和存储介质 |
| CN116436699A (zh) * | 2023-06-09 | 2023-07-14 | 北京原语科技有限公司 | 基于加密方式的联邦学习数据安全训练方法及系统 |
| CN116776970A (zh) * | 2023-06-26 | 2023-09-19 | 北京熠智科技有限公司 | 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 |
| WO2023197467A1 (zh) * | 2022-04-13 | 2023-10-19 | 上海阵方科技有限公司 | 一种使安全多方计算与联邦学习数据互联的系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
| US20190042937A1 (en) * | 2018-02-08 | 2019-02-07 | Intel Corporation | Methods and apparatus for federated training of a neural network using trusted edge devices |
| CN109416721A (zh) * | 2016-06-22 | 2019-03-01 | 微软技术许可有限责任公司 | 隐私保护机器学习 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN110245510A (zh) * | 2019-06-19 | 2019-09-17 | 北京百度网讯科技有限公司 | 用于预测信息的方法和装置 |
| CN110276210A (zh) * | 2019-06-12 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数的确定方法及装置 |
-
2019
- 2019-12-13 CN CN201911286358.4A patent/CN110995737B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109416721A (zh) * | 2016-06-22 | 2019-03-01 | 微软技术许可有限责任公司 | 隐私保护机器学习 |
| US20190042937A1 (en) * | 2018-02-08 | 2019-02-07 | Intel Corporation | Methods and apparatus for federated training of a neural network using trusted edge devices |
| CN109165515A (zh) * | 2018-08-10 | 2019-01-08 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数获取方法、系统及可读存储介质 |
| CN109886417A (zh) * | 2019-03-01 | 2019-06-14 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数训练方法、装置、设备及介质 |
| CN110276210A (zh) * | 2019-06-12 | 2019-09-24 | 深圳前海微众银行股份有限公司 | 基于联邦学习的模型参数的确定方法及装置 |
| CN110245510A (zh) * | 2019-06-19 | 2019-09-17 | 北京百度网讯科技有限公司 | 用于预测信息的方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| KEITH BONAWITZ,ET.AL: "《Practical secure Aggregation for Privacy-Preserving Machine Learning》", 《ACM SIGSAC CONFERENCE ON COMPUTER AND COMMUNICATIONS SECURITY》 * |
| YANG QIANG,ET.AL: "《Federated Machine Learning Concept and Applications》", 《ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY (TIST)》 * |
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111628966A (zh) * | 2020-04-17 | 2020-09-04 | 支付宝(杭州)信息技术有限公司 | 数据传输、处理、授权方法及其系统 |
| CN111241570A (zh) * | 2020-04-24 | 2020-06-05 | 支付宝(杭州)信息技术有限公司 | 保护数据隐私的双方联合训练业务预测模型的方法和装置 |
| CN111614679A (zh) * | 2020-05-22 | 2020-09-01 | 深圳前海微众银行股份有限公司 | 联邦学习资格恢复方法、设备及可读存储介质 |
| CN111625820A (zh) * | 2020-05-29 | 2020-09-04 | 华东师范大学 | 一种基于面向AIoT安全的联邦防御方法 |
| WO2021244035A1 (en) * | 2020-06-03 | 2021-12-09 | Huawei Technologies Co., Ltd. | Methods and apparatuses for defense against adversarial attacks on federated learning systems |
| US11651292B2 (en) | 2020-06-03 | 2023-05-16 | Huawei Technologies Co., Ltd. | Methods and apparatuses for defense against adversarial attacks on federated learning systems |
| CN111490995A (zh) * | 2020-06-12 | 2020-08-04 | 支付宝(杭州)信息技术有限公司 | 保护隐私的模型训练方法和装置、数据处理方法、服务器 |
| CN113824546B (zh) * | 2020-06-19 | 2024-04-02 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN113824546A (zh) * | 2020-06-19 | 2021-12-21 | 百度在线网络技术（北京）有限公司 | 用于生成信息的方法和装置 |
| CN112001455A (zh) * | 2020-09-29 | 2020-11-27 | 北京百度网讯科技有限公司 | 模型训练方法、装置以及电子设备 |
| CN112001455B (zh) * | 2020-09-29 | 2024-02-20 | 北京百度网讯科技有限公司 | 模型训练方法、装置以及电子设备 |
| CN112199702A (zh) * | 2020-10-16 | 2021-01-08 | 鹏城实验室 | 一种基于联邦学习的隐私保护方法、存储介质及系统 |
| CN112232528A (zh) * | 2020-12-15 | 2021-01-15 | 之江实验室 | 一种联邦学习模型训练方法、装置及联邦学习系统 |
| CN112232528B (zh) * | 2020-12-15 | 2021-03-09 | 之江实验室 | 一种联邦学习模型训练方法、装置及联邦学习系统 |
| CN112686385B (zh) * | 2021-01-07 | 2023-03-07 | 中国人民解放军国防科技大学 | 面向多站点三维影像的联邦深度学习方法及系统 |
| CN112686385A (zh) * | 2021-01-07 | 2021-04-20 | 中国人民解放军国防科技大学 | 面向多站点三维影像的联邦深度学习方法及系统 |
| CN112990483A (zh) * | 2021-03-17 | 2021-06-18 | 北京理工大学 | 一种基于概率性抽样的大规模边缘机器学习训练方法 |
| CN113157399A (zh) * | 2021-05-17 | 2021-07-23 | 北京冲量在线科技有限公司 | 基于arm架构芯片的非监督联合建模方法 |
| CN113762328A (zh) * | 2021-06-16 | 2021-12-07 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
| CN113762328B (zh) * | 2021-06-16 | 2023-09-26 | 京东科技控股股份有限公司 | 基于联邦学习的模型训练方法、装置、设备以及存储介质 |
| CN113518007A (zh) * | 2021-07-06 | 2021-10-19 | 华东师范大学 | 一种基于联邦学习的多物联网设备异构模型高效互学习方法 |
| WO2023197467A1 (zh) * | 2022-04-13 | 2023-10-19 | 上海阵方科技有限公司 | 一种使安全多方计算与联邦学习数据互联的系统 |
| CN114764601A (zh) * | 2022-05-05 | 2022-07-19 | 北京瑞莱智慧科技有限公司 | 一种梯度数据融合方法、装置及存储介质 |
| CN114764601B (zh) * | 2022-05-05 | 2024-01-30 | 北京瑞莱智慧科技有限公司 | 一种梯度数据融合方法、装置及存储介质 |
| CN115563564A (zh) * | 2022-12-02 | 2023-01-03 | 腾讯科技（深圳）有限公司 | 决策树模型的处理方法、装置、计算机设备和存储介质 |
| CN116436699B (zh) * | 2023-06-09 | 2023-08-22 | 北京原语科技有限公司 | 基于加密方式的联邦学习数据安全训练方法及系统 |
| CN116436699A (zh) * | 2023-06-09 | 2023-07-14 | 北京原语科技有限公司 | 基于加密方式的联邦学习数据安全训练方法及系统 |
| CN116776970A (zh) * | 2023-06-26 | 2023-09-19 | 北京熠智科技有限公司 | 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 |
| CN116776970B (zh) * | 2023-06-26 | 2024-04-19 | 北京熠智科技有限公司 | 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110995737B (zh) | 2022-08-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110995737B (zh) | 联邦学习的梯度融合方法及装置和电子设备 | |
| TWI733125B (zh) | 多方安全計算方法及裝置、電子設備 | |
| TWI706279B (zh) | 多方安全計算方法及裝置、電子設備 | |
| EP3583740B1 (en) | Data owner restricted secure key distribution | |
| CN107743133B (zh) | 移动终端及其基于可信安全环境的访问控制方法和系统 | |
| KR101985179B1 (ko) | 블록체인 기반의 ID as a Service | |
| CN106716914A (zh) | 用于漫游的受保护内容的安全密钥管理 | |
| CN102694794B (zh) | 一种用于安卓应用程序的场景信息保护方法 | |
| CN109067528A (zh) | 密码运算、创建工作密钥的方法、密码服务平台及设备 | |
| GB2527189A (en) | Method, apparatus, and system for generating transaction-signing one-time password | |
| CN110855426B (zh) | 一种用于软件使用授权的方法 | |
| CN107248980B (zh) | 云服务下具有隐私保护功能的移动应用推荐系统及方法 | |
| CN108199847B (zh) | 数字安全处理方法、计算机设备及存储介质 | |
| US11575501B2 (en) | Preserving aggregation using homomorphic encryption and trusted execution environment, secure against malicious aggregator | |
| CN110401538A (zh) | 数据加密方法、系统以及终端 | |
| CN110366183A (zh) | 短信安全防护方法及装置 | |
| CN113691502A (zh) | 通信方法、装置、网关服务器、客户端及存储介质 | |
| CN112788001B (zh) | 一种基于数据加密的数据处理业务处理方法、装置及设备 | |
| CN115242553B (zh) | 一种支持安全多方计算的数据交换方法及系统 | |
| KR20210046357A (ko) | 블록체인 기반 시스템을 위한 키의 저장 및 복구 방법과 그 장치 | |
| CN106685644A (zh) | 通信加密方法和装置、网关、服务器、智能终端和系统 | |
| CN108449322B (zh) | 身份注册、认证方法、系统及相关设备 | |
| CN109361512A (zh) | 数据传输方法 | |
| KR20200123029A (ko) | Pki 기반의 일회성 아이디를 사용하여 서비스를 사용하는 방법, 및 이를 사용한 사용자 단말 | |
| CN111241492A (zh) | 一种产品多租户安全授信方法、系统及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40026940 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |