CN112580821A - 一种联邦学习方法、装置、设备及存储介质 - Google Patents
一种联邦学习方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112580821A CN112580821A CN202011457002.5A CN202011457002A CN112580821A CN 112580821 A CN112580821 A CN 112580821A CN 202011457002 A CN202011457002 A CN 202011457002A CN 112580821 A CN112580821 A CN 112580821A
- Authority
- CN
- China
- Prior art keywords
- model parameters
- client
- round
- clients
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000012549 training Methods 0.000 claims abstract description 112
- 238000012545 processing Methods 0.000 claims abstract description 52
- 230000002776 aggregation Effects 0.000 claims abstract description 21
- 238000004220 aggregation Methods 0.000 claims abstract description 21
- 238000009826 distribution Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 230000004931 aggregating effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000010801 machine learning Methods 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 3
- 238000013475 authorization Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000005610 quantum mechanics Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Storage Device Security (AREA)
Abstract
本发明提供了一种联邦学习方法、装置、设备及存储介质，该方法包括客户端接收服务端发送的第i轮模型参数，将本地训练数据和第i轮模型参数加载到可信执行环境TEE，在TEE中基于本地训练数据对第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数，将训练后的模型参数发送给服务端，服务端用于对n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型。由于是在与外界隔绝的TEE中训练全局模型，因此可以确保客户端训练全局模型得到的模型参数是可信的，并可以确保客户端输出的模型参数的正确性。
Description
技术领域
本发明涉及金融科技(Fintech)领域，尤其涉及一种联邦学习方法、装置、设备及存储介质。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向金融科技转变，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。
现有的联邦学习方法一般是多个客户端利用本地的数据训练初始模型，并将训练得到的模型参数进行加密上传给服务端进行聚合处理，得到聚合后的模型参数。之后服务端将聚合后的模型参数发送给该多个客户端，以使该多个客户端基于聚合后的模型参数继续利用本地的数据进行训练模型，直至模型收敛，得到训练好的模型。然而，这种处理方式虽然确保了数据不出本地，但是对客户端输出的结果难以验证其准确性。
综上，目前亟需一种联邦学习方法，用以确保客户端输出的结果是可信的。
发明内容
本发明提供了一种联邦学习方法、装置、设备及存储介质，用以确保客户端输出的结果是可信的。
第一方面，本发明提供了一种联邦学习方法，包括：
客户端接收服务端发送的第i轮模型参数；所述客户端是所述服务端基于选取规则从m个参与联邦学习的客户端中确定出的用于参与第i+1轮联邦学习的n个客户端中一个；其中，m>n≥1；i≥1；m∈N*；n∈N*；
所述客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数；
所述客户端将所述训练后的模型参数发送给所述服务端；所述服务端用于对所述n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型。
上述技术方案中，客户端在接收到服务端发送的第i轮模型参数后，将本地训练数据和第i轮模型参数加载到可信执行环境TEE，在TEE中基于本地训练数据对第i轮模型参数对应的全局模型进行训练，可以确保训练后的模型参数是可信的。并将训练后的模型参数发送给服务端，以使服务端对n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型，如此可以使得训练好的联邦学习模型具有高性能稳定性，并可以提高训练好的联邦学习模型输出结果的准确性。基于此，由于是在与外界隔绝的TEE中训练全局模型，因此可以确保客户端训练全局模型得到的模型参数是可信的，并可以确保客户端输出的模型参数的正确性，从而可以解决现有技术中针对客户端本地输出的结果难以验证其准确性的问题。
可选地，所述客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，包括：
所述客户端将所述全局模型拆分为第一子模型和第二子模型；
所述客户端将所述本地训练数据和所述第一子模型加载到富执行环境REE，在所述REE中将所述本地训练数据输入到所述第一子模型，得到所述本地训练数据的特征向量；
所述客户端将所述本地训练数据的特征向量、所述本地训练数据的标签值以及所述第二子模型加载到所述TEE。
上述技术方案中，将全局模型拆分为第一子模型和第二子模型，并将本地训练数据输入到第一子模型进行处理，将处理后的结果输入到第二子模型进行处理。如此，可以减轻一个模型对本地训练数据进行处理的压力，并可以提高对本地训练数据进行处理的效率，从而可以提高训练全局模型的效率。
可选地，所述客户端将所述训练后的模型参数发送给所述服务端，包括：
所述客户端使用公钥对所述训练后的模型参数进行加密，得到加密后的模型参数；所述公钥是卫星系统基于量子密钥分发规则发送的；
所述客户端将所述加密后的模型参数发送给所述服务端。
上述技术方案中，通过使用公钥对训练后的模型参数进行加密，并将加密后的模型参数发送给服务端。如此，可以确保训练后的模型参数的隐私安全性。此外，由于公钥是卫星系统基于量子密钥分发规则发送的，因此不但可以确保公钥发送的隐私安全性，还可以避免公钥在传输过程中不被挟持，从而可以确保公钥在传输过程中的隐私安全性。
可选地，在所述客户端接收服务端发送的第i轮模型参数之前，还包括：
所述客户端将使用所述客户端的用户的身份标识ID发送给卫星系统；所述卫星系统用于基于所述用户的ID确定所述客户端是否具有参与联邦学习的权限；
所述客户端接收所述卫星系统基于量子密钥分发规则发送的公钥。
上述技术方案中，基于使用客户端的用户ID确定客户端是否具有参与联邦学习的权限，如此可以避免不具有联邦学习权限的客户端进行作恶，以及可以避免不具有联邦学习的客户端训练出的错误结果影响联邦模型的性能，从而可以确保联邦学习的安全性、准确性。
可选地，在所述客户端接收所述卫星系统基于量子密钥分发规则发送的公钥之后，所述客户端接收服务端发送的第i轮模型参数之前，还包括：
所述客户端若确定所述公钥发生更改，则向所述卫星系统发送公钥更改消息；所述公钥更改消息用于指示所述卫星系统发送新的公钥给所述客户端。
上述技术方案中，客户端在接收到卫星系统发送的公钥后，基于量子密钥技术若确定公钥发生更改，则会及时的通知卫星系统，以便卫星系统发送新的公钥给客户端。如此，可以确保客户端能够及时准确地确定公钥是否发生更改，并可以确保联邦学习中公钥的安全性。
第二方面，本发明提供了一种联邦学习方法，包括：
服务端根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端；所述n个客户端用于参与第i+1轮联邦学习；其中，m>n≥1；i≥1；m∈N*；n∈N*；
所述服务端将第i轮模型参数发送给所述n个客户端；
所述服务端对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数；所述训练后的模型参数是客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练得到的；
所述服务端将所述第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端，直至得到符合设定条件的联邦模型。
上述技术方案中，通过根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端，如此，可以确保对参与第i+1轮联邦学习的客户端进行选取的随机性。并只将第i轮模型参数发送给参与第i+1轮联邦学习的客户端，如此可以减轻网络数据传输压力。之后对n个客户端发送的训练后的模型参数进行聚合处理，并将聚合处理后的第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端，直至得到符合设定条件的联邦模型。由于是在与外界隔绝的TEE中训练全局模型，因此可以确保客户端训练全局模型得到的模型参数是可信的，并可以确保客户端输出的模型参数的正确性，从而可以解决现有技术中针对客户端本地输出的结果难以验证其准确性的问题。
可选地，所述服务端对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数，包括：
所述服务端使用私钥对所述n个客户端发送的训练后的模型参数进行解密处理，得到所述n个客户端的解密后的模型参数；所述训练后的模型参数是经过所述n个客户端使用公钥进行加密的；所述私钥、所述公钥是卫星系统基于量子密钥分发规则发送的；
所述服务端对所述n个客户端的解密后的模型参数进行处理，得到所述第i+1轮模型参数。
上述技术方案中，通过使用私钥对n个客户端发送的训练后的模型参数进行解密处理，并对n个客户端的解密后的模型参数进行处理，得到第i+1轮模型参数。如此，通过对训练后的模型参数进行加解密处理可以确保训练后的模型参数的隐私安全性。此外，由于公钥、私钥是卫星系统基于量子密钥分发规则发送的，因此不但可以确保公钥、私钥发送的隐私安全性，还可以避免公钥、私钥在传输过程中不被挟持，从而可以确保公钥、私钥在传输过程中的隐私安全性。
可选地，在所述服务端将第i轮模型参数发送给所述n个客户端之后，还包括：
所述服务端接收配置有TEE的客户端发送的验证信息，并基于所述验证信息确定所述客户端是否可信；
所述服务端在确定所述客户端可信后，接收所述客户端发送的训练后的模型参数。
上述技术方案中，由于服务端只接收配置有TEE的客户端发送的验证信息，因此可以及时准确地判断客户端是否可信，并确定客户端可信后，接收客户端发送的训练后的模型参数。如此，可以确保接收到的训练后的模型参数是可信的。
第三方面，本发明提供了一种联邦学习方法，包括：
接收单元，用于接收服务端发送的第i轮模型参数；所述客户端是所述服务端基于选取规则从m个参与联邦学习的客户端中确定出的用于参与第i+1轮联邦学习的n个客户端中一个；其中，m>n≥1；i≥1；m∈N*；n∈N*；
第一处理单元，用于将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数；将所述训练后的模型参数发送给所述服务端；所述服务端用于对所述n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型。
可选地，所述第一处理单元具体用于：
将所述全局模型拆分为第一子模型和第二子模型；
将所述本地训练数据和所述第一子模型加载到富执行环境REE，在所述REE中将所述本地训练数据输入到所述第一子模型，得到所述本地训练数据的特征向量；
将所述本地训练数据的特征向量、所述本地训练数据的标签值以及所述第二子模型加载到所述TEE。
可选地，所述第一处理单元具体用于：
使用公钥对所述训练后的模型参数进行加密，得到加密后的模型参数；所述公钥是卫星系统基于量子密钥分发规则发送的；
将所述加密后的模型参数发送给所述服务端。
可选地，所述第一处理单元还用于：
在接收服务端发送的第i轮模型参数之前，将使用所述客户端的用户的身份标识ID发送给卫星系统；所述卫星系统用于基于所述用户的ID确定所述客户端是否具有参与联邦学习的权限；
接收所述卫星系统基于量子密钥分发规则发送的公钥。
可选地，所述第一处理单元还用于：
在接收所述卫星系统基于量子密钥分发规则发送的公钥之后，接收服务端发送的第i轮模型参数之前，若确定所述公钥发生更改，则向所述卫星系统发送公钥更改消息；所述公钥更改消息用于指示所述卫星系统发送新的公钥给所述客户端。
第四方面，本发明提供了一种联邦学习方法，包括：
确定单元，用于根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端；所述n个客户端用于参与第i+1轮联邦学习；其中，m>n≥1；i≥1；m∈N*；n∈N*；
第二处理单元，用于将第i轮模型参数发送给所述n个客户端；对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数；所述训练后的模型参数是客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练得到的；将所述第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端，直至得到符合设定条件的联邦模型。
可选地，所述第二处理单元具体用于：
使用私钥对所述n个客户端发送的训练后的模型参数进行解密处理，得到所述n个客户端的解密后的模型参数；所述训练后的模型参数是经过所述n个客户端使用公钥进行加密的；所述私钥、所述公钥是卫星系统基于量子密钥分发规则发送的；
对所述n个客户端的解密后的模型参数进行处理，得到所述第i+1轮模型参数。
可选地，所述第二处理单元还用于：
在将第i轮模型参数发送给所述n个客户端之后，接收配置有TEE的客户端发送的验证信息，并基于所述验证信息确定所述客户端是否可信；
在确定所述客户端可信后，接收所述客户端发送的训练后的模型参数。
第五方面，本发明提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述第一方面和第二方面中任意一种联邦学习方法的步骤。
第六方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述第一方面和第二方面中任意一种联邦学习方法的步骤。
第七方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面和第二方面中任意一种联邦学习方法的步骤。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种联邦学习的系统架构的示意图；
图2为本发明实施例提供的一种联邦学习方法的流程示意图；
图3为本发明实施例提供的一种客户端在TEE中训练全局模型的结构示意图；
图4为本发明实施例提供的一种全局模型中两个子模型的结构示意图；
图5为本发明实施例提供的一种联邦学习装置的结构示意图；
图6为本发明实施例提供的另一种联邦学习装置的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
下面首先对本发明实施例中涉及的部分用语进行解释说明，以便于本领域技术人员进行理解。
(1)TEE：Trusted Execution Environment，可信执行环境，是一种利用硬件实现的可信计算方案，则将数据加密之后，交给特定的环境进行处理。这个环境就是可信执行环境，在该环境中，数据在加密状态下进行计算得到想要的结果，相比于普通的同态加密，TEE不但提供了加密的计算功能，还提供了一种与外界隔绝的执行环境，保证计算过程的保密和准确。目前支持TEE的硬件包括Intel SGX CPU、Arm TrustZone、Sanctum on RISC-V等。
(2)联邦机器学习：Federated machine learning，又名联邦学习、联合学习或联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，实现人工智能(Artificial Intelligence，AI)协作。
(3)REE：Rich Execution Environment，富执行环境，即，是一种安全级别相对TEE较低的环境，基于操作系统Android、iOS、Linux等支持终端设备运行。
(4)量子密钥分发：(Quantum Key Distribution，QKD)，可以为分隔两地的用户提供无条件安全的共享密钥。其中，量子密钥是在双方建立通信之后，通过双方的一系列操作产生出来的。量子密钥的产生过程，同时就是分发过程。即，利用量子力学的特性，可以使双方同时在各自手里产生一串随机数，而且不用看对方的数据，就能保证双方的随机数序列是完全相同的。该串随机数序列就是密钥。
如上介绍了本发明实施例中涉及的部分用语，下面对本发明实施例涉及的技术特征进行介绍。
为了便于理解本发明实施例，首先以图1中示出的系统架构为例说明适用于本发明实施例联邦学习的系统架构。如图1所示，该系统架构可以包括联邦服务器110、联邦客户端120和卫星系统130。
其中，联邦服务器110，用于参与联邦学习，即接收参与联邦学习的客户端输出的结果，并对输出的结果进行处理，将处理后的结果发送给联邦客户端120。该联邦服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、网络服务、云通信、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器。
联邦客户端120，用于参与联邦学习，即，基于本地的训练数据对初始模型进行训练，并将训练的结果传输给联邦服务器110，以使联邦服务器110对输出的结果进行处理，并接收联邦服务器110发送的处理后的结果。再基于处理后的结果继续训练模型，直至模型收敛。该客户端所在的终端设备可以包括具有数据处理能力等功能的便携式电子设备，比如手机、平板电脑、具备无线通讯功能的可穿戴设备(如智能手表)、或车载设备等。
卫星系统130，基于量子分发技术QKD产生量子密钥，即公钥和私钥，并将公钥下发给联邦客户端120所在的各终端设备，将私钥下发给联邦服务器110中各服务器。当然，应当理解，量子密钥也可以是在地面由专属可信的设备产生量子密钥(即公钥和私钥)，并将量子密钥上传给卫星系统130。然后由卫星系统130将公钥下发给联邦客户端120所在的各终端设备，将私钥下发给联邦服务器110中各服务器。在实际应用场景中，可以根据具体场景进行处理，本发明实施例对此并不作限定。
需要说明的是，上述图1所示的结构仅是一种示例，本发明实施例对此不做限定。当然，应当理解，图1所示的联邦客户端所在的终端设备类型以及终端设备的数量仅是一种示例，本发明实施例对此并不作限定；联邦服务器以及卫星系统的数量也仅是一种示例，本发明实施例对此并不作限定。
基于上述描述，图2示例性的示出了本发明实施例提供的一种联邦学习方法的流程，该流程可以由联邦学习装置执行。
如图2所示，该流程具体包括：
步骤201，服务端根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端。
步骤202，所述服务端发送第i轮模型参数给所述n个客户端。
步骤203，客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数。
步骤204，所述客户端发送所述训练后的模型参数给所述服务端。
步骤205，所述服务端对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数。
步骤206，所述服务端发送所述第i+1轮模型参数给参与第i+2轮联邦学习的客户端。
步骤207，所述客户端基于所述第i+1轮模型参数，进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型。
上述步骤201和步骤202中，服务端根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端，如此可以减轻网络数据传输压力。即，服务端可以随机地从m个参与联邦学习的客户端中选取出n个客户端，比如，共有6个可参与联邦学习的客户端，即，客户端A、客户端B、客户端C、客户端D、客户端E和客户端F，服务端随机选取出3个客户端，即，客户端A、客户端B和客户端C参与第1轮联邦学习，或者可以随机选取出2个客户端、4个客户端等，本发明实施例对此并不作限定。在确定第1轮联邦学习结束后，服务端可以随机选取出3个客户端，即，客户端C、客户端D和客户端E参与第2轮联邦学习，以此类推，直至模型收敛，得到符合设定条件的联邦模型，或者可以随机选取出2个客户端、4个客户端等，本发明实施例对此并不作限定。在实际应用场景中，可以根据具体场景采用不同的选取规则进行客户端的选取，本发明实施例对此并不作限定。或者服务端可以基于指定规则从m个参与联邦学习的客户端中选取出n个客户端，比如，共有6个可参与联邦学习的客户端，可以基于指定规则选取出3个客户端，或者选取出4个客户端，本发明实施例对此并不作限定。在选取出n个客户端后，服务端可以将第i轮模型参数发送给n个客户端，比如选取出3个客户端参与第2轮联邦学习，则可以将第1轮模型参数发送给该3个客户端。其中，m>n≥1；i≥1；m∈N*；n∈N*。需要说明的是，在每次选取参与第i轮联邦学习的客户端中，同一客户端可以被多次选中。
上述步骤203和步骤204中，在客户端接收到服务端发送的第i轮模型参数之前，需要确定客户端是否具有参与联邦学习的权限。即，客户端将使用客户端的用户的身份标识ID发送给卫星系统，以便卫星系统基于用户的ID确定客户端是否具有参与联邦学习的权限。其中，卫星系统可以基于预先设置的用户权限表来判断客户端是否具有参与联邦学习的权限，或者客户端预先打上参与联邦学习的标识，在向卫星系统请求获取公钥时，卫星系统基于该标识来判断客户端是否具有参与联邦学习的权限。在实际应用场景中，可以基于具体场景设置不同的方式判断客户端是否具有参与联邦学习的权限，本发明实施例对此并不作限定。之后，如果确定客户端具有参与联邦学习的权限，则卫星系统基于量子密钥分发规则将公钥发送给客户端，如此可以避免不具有联邦学习权限的客户端进行作恶，以及可以避免不具有联邦学习的客户端训练出的错误结果影响联邦模型的性能，从而可以确保联邦学习的安全性、准确性。
进一步地，在接收到服务端发送的第i轮模型参数后，客户端将本地训练数据和第i轮模型参数加载到可信执行环境TEE，在TEE中基于本地训练数据对第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数，并将训练后的模型参数发送给服务端。由于是在与外界隔绝的TEE中训练全局模型，因此可以确保客户端训练全局模型得到的模型参数是可信的，并可以确保客户端输出的模型参数的正确性。即，客户端将全局模型拆分为第一子模型和第二子模型。再将本地训练数据和第一子模型加载到富执行环境REE，在REE中将本地训练数据输入到第一子模型，得到本地训练数据的特征向量，并将本地训练数据的特征向量、本地训练数据的标签值以及第二子模型加载到TEE，在TEE中将本地训练数据的特征向量、本地训练数据的标签值输入到第二子模型，得到训练后的模型参数，并使用公钥对训练后的模型参数进行加密，得到加密后的模型参数，将加密后的模型参数发送给服务端。如此，可以减轻一个模型对本地训练数据进行处理的压力，并可以提高对本地训练数据进行处理的效率，从而可以提高训练全局模型的效率。此外，由于公钥是卫星系统基于量子密钥分发规则发送的，因此不但可以确保公钥发送的隐私安全性，还可以避免公钥在传输过程中不被挟持，从而可以确保公钥在传输过程中的隐私安全性。其中，卫星系统可以为北斗卫星定位系统、GPS(Global Positioning System)全球定位系统、格洛纳斯卫星定位系统或伽利略卫星定位系统等。
需要说明的是，在客户端接收卫星系统基于量子密钥分发规则发送的公钥之后，接收服务端发送的第i轮模型参数之前，如果客户端确定公钥发生更改(基于量子密钥技术确定公钥是否发生更改)，则向卫星系统发送公钥更改消息，该公钥更改消息用于指示卫星系统发送新的公钥给客户端，如此可以确保客户端能够及时准确地确定公钥是否发生更改，并可以确保联邦学习中公钥的安全性。
此外，如果客户端没有配置可信执行环境TEE，则将本地训练数据和第i轮模型参数加载到REE，在REE中基于本地训练数据对第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数。
上述步骤205和步骤206中，服务端对n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数，并将第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端。即，服务端使用私钥对n个客户端发送的训练后的模型参数进行解密处理，得到n个客户端的解密后的模型参数，并对n个客户端的解密后的模型参数进行处理，得到第i+1轮模型参数，之后将第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端。如此，通过对训练后的模型参数进行加解密处理可以确保训练后的模型参数的隐私安全性。此外，由于公钥、私钥是卫星系统基于量子密钥分发规则发送的，因此不但可以确保公钥、私钥发送的隐私安全性，还可以避免公钥、私钥在传输过程中不被挟持，从而可以确保公钥、私钥在传输过程中的隐私安全性。其中，训练后的模型参数是经过n个客户端使用公钥进行加密的，私钥、公钥是卫星系统基于量子密钥分发规则发送的。
需要说明的是，在得到训练后的模型参数之后，配置有TEE的客户端会向服务端发送验证信息，以便服务端基于验证信息确定客户端是否可信，并在确定客户端可信后，接收客户端发送的训练后的模型参数，如此，可以确保接收到的训练后的模型参数是可信的。其中，验证信息可以包括客户端基于本地训练数据在TEE中训练全局模型的运行时长和训练全局模型输出的结果(即训练后的模型参数)等；若客户端未配置有TEE，则不会向服务端发送验证信息。
上述步骤207中，客户端在接收服务端发送的第i+1轮模型参数后，基于第i+1轮模型参数，并利用本地训练数据进行第i+2轮联邦学习(即基于本地训练数据对第i+1轮模型参数对应的全局模型进行训练)，直至模型收敛或达到预设迭代训练轮次为止，得到符合设定条件的联邦模型。
由于现有联邦学习方法中，客户端训练模型输出的结果难以验证其准确性。即使依据服务器自身对客户端上传的结果进行异常检测，也无法确保微小的异常能被检测到，导致异常检测不全面，而且检测的效果也不好，如此，导致服务器自身无法准确全面地检测出异常的结果。此外，现有联邦学习方法也难以确保将公钥安全地下发给参与联邦学习的各客户端。应理解，在实际场景中，要想找到一个可信的第三方服务器通常是很困难的，并且即使找到这种第三方服务器，也不能保证密钥在分发过程中不会被攻击者挟持。基于此，本发明提供一种联邦学习方法，用以确保客户端输出的结果是可信的，并可以确保密钥在分发过程中的安全性。
本发明实施例设计的联邦学习方法中，每一个联邦客户端本地可以根据实际需要来自行决定是否配置可信执行环境TEE。配置有TEE的联邦客户端在本地训练时，可以将训练过程放置在TEE中执行，而不是本地环境中执行。由于TEE是一个可信的执行环境，因此，可以确保联邦客户端训练全局模型输出的结果是可信的。此外，本发明实施例借助卫星系统来分发密钥，在分发密钥的过程中，即使密钥被挟持，由于量子信息发生了改变，因此，发生改变的密钥可以被客户端检查出来(比如基于量子密钥原理判断量子密钥的量子位是否发生变化)，并将发生改变的密钥丢弃。其中，卫星系统的量子密钥分发技术已经被证明是安全的。
鉴于此，下面对本发明实施例中联邦学习的实施过程进行具体描述。
Step1：联邦学习授权认证。
所有的参与方(即客户端)在开始联邦学习前，需要向卫星系统(比如北斗卫星群)发送参与方的身份信息。卫星系统基于预先设置的用户权限表或者客户端预先打上参与联邦学习的标识来判断参与方是否具有参与联邦学习的权限。在对参与方的身份信息验证通过后允许参与方参与联邦学习。需要说明的是，只有验证通过的参与方才能加入到联邦学习训练中。当然，如果某一客户端想参与联邦学习训练中，需要进行授权认证，在经过授权后，才可以加入到联邦学习训练中。
Step2：卫星系统(比如北斗卫星群)利用量子密钥分发技术向各参与方分发密钥。
卫星系统基于量子力学的原理，生成量子密钥，并利用量子密钥分发技术将生成的量子密钥(即公钥)发送给各参与方。
Step3：服务端选择部分客户端作为下一轮参与联邦学习的客户端，并将当前的全局模型的模型参数下发给这些被选中的客户端。
服务端随机选取或基于指定规则选取部分客户端来参与下一轮的联邦学习，并在选取出部分客户端后，将当前的全局模型的模型参数发送给这些被选中的客户端。
Step4：被选中的客户端接收最新的全局模型的模型参数，并基于最新的全局模型的模型参数进行联邦学习训练。需要说明的是，当客户端没有配置TEE时，按照常规的联邦机器学习来进行；当客户端配置有TEE时，则将基于最新的全局模型的模型参数进行联邦学习训练的训练过程放在TEE和正常环境中进行。其中，如图3所示，图3为本发明实施例提供的一种客户端在TEE中训练全局模型的结构示意图。基于图3，客户端根据最新的全局模型的模型参数在TEE中的训练过程具体为：
a、客户端将全局模型G拆分为两个子模型，即G1和G2。其中，可以参考图4，图4为本发明实施例提供的一种全局模型中两个子模型的结构示意图。基于图4，G1是全局模型的前一部分，G2是全局模型最后的预测部分。
b、客户端将本地训练数据输入到子模型G1中，执行前向计算，得到本地训练数据的特征向量。
c、客户端将本地训练数据的特征向量记为O1。然后将O1、本地训练数据的标签值以及子模型G2加载到TEE中，在TEE中执行剩余的前向工作，即，将O1输入到子模型G2中，得到本地训练数据的预测值y。再通过预设的损失函数(比如损失函数L(y,y′))对本地训练数据的预测值y与本地训练数据的标签值进行损失计算，确定出损失函数值，并基于损失函数值，利用反向传播算法，计算出每一模型参数的梯度值。
d、客户端使用梯度下降算法更新全局模型G的模型参数。
客户端基于每一模型参数的梯度值更新全局模型G中的对应模型参数。
Step5：当客户端配置有TEE时，会向服务端发送验证信息。
在得到训练后的模型参数之后，配置有TEE的客户端会向服务端发送验证信息，以便服务端基于验证信息确定客户端是否可信，并在确定客户端可信后，接收客户端发送的训练后的模型参数。
Step6：客户端将模型参数上传给服务端进行聚合处理，并将聚合处理后的模型参数发送给下一轮参与联邦学习的客户端。
配置有TEE的客户端将可信的模型参数上传给服务端，未配置TEE的客户端将模型参数上传给服务端。服务端对各参与联邦学习的客户端上传的模型参数进行聚合处理，如此可以提高聚合后模型参数的正确性。
Step7：重复Step3至Step6，直至模型收敛或达到预设迭代训练轮次为止，得到符合设定条件的联邦模型。
上述实施例表明，客户端在接收到服务端发送的第i轮模型参数后，将本地训练数据和第i轮模型参数加载到可信执行环境TEE，在TEE中基于本地训练数据对第i轮模型参数对应的全局模型进行训练，可以确保训练后的模型参数是可信的。并将训练后的模型参数发送给服务端，以使服务端对n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型，如此可以使得训练好的联邦学习模型具有高性能稳定性，并可以提高训练好的联邦学习模型输出结果的准确性。基于此，由于是在与外界隔绝的TEE中训练全局模型，因此可以确保客户端训练全局模型得到的模型参数是可信的，并可以确保客户端输出的模型参数的正确性，从而可以解决现有技术中针对客户端本地输出的结果难以验证其准确性的问题。
基于相同的技术构思，图5示例性的示出了本发明实施例提供的一种联邦学习装置，该装置可以执行联邦学习方法的流程。
如图5所示，该装置包括：
接收单元501，用于接收服务端发送的第i轮模型参数；所述客户端是所述服务端基于选取规则从m个参与联邦学习的客户端中确定出的用于参与第i+1轮联邦学习的n个客户端中一个；其中，m>n≥1；i≥1；m∈N*；n∈N*；
第一处理单元502，用于将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数；将所述训练后的模型参数发送给所述服务端；所述服务端用于对所述n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型。
可选地，所述第一处理单元502具体用于：
将所述全局模型拆分为第一子模型和第二子模型；
将所述本地训练数据和所述第一子模型加载到富执行环境REE，在所述REE中将所述本地训练数据输入到所述第一子模型，得到所述本地训练数据的特征向量；
将所述本地训练数据的特征向量、所述本地训练数据的标签值以及所述第二子模型加载到所述TEE。
可选地，所述第一处理单元502具体用于：
使用公钥对所述训练后的模型参数进行加密，得到加密后的模型参数；所述公钥是卫星系统基于量子密钥分发规则发送的；
将所述加密后的模型参数发送给所述服务端。
可选地，所述第一处理单元502还用于：
在接收服务端发送的第i轮模型参数之前，将使用所述客户端的用户的身份标识ID发送给卫星系统；所述卫星系统用于基于所述用户的ID确定所述客户端是否具有参与联邦学习的权限；
接收所述卫星系统基于量子密钥分发规则发送的公钥。
可选地，所述第一处理单元502还用于：
在接收所述卫星系统基于量子密钥分发规则发送的公钥之后，接收服务端发送的第i轮模型参数之前，若确定所述公钥发生更改，则向所述卫星系统发送公钥更改消息；所述公钥更改消息用于指示所述卫星系统发送新的公钥给所述客户端。
基于相同的技术构思，图6示例性的示出了本发明实施例提供的一种联邦学习装置，该装置可以执行联邦学习方法的流程。
如图6所示，该装置包括：
确定单元601，用于根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端；所述n个客户端用于参与第i+1轮联邦学习；其中，m>n≥1；i≥1；m∈N*；n∈N*；
第二处理单元602，用于将第i轮模型参数发送给所述n个客户端；对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数；所述训练后的模型参数是客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练得到的；将所述第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端，直至得到符合设定条件的联邦模型。
可选地，所述第二处理单元602具体用于：
使用私钥对所述n个客户端发送的训练后的模型参数进行解密处理，得到所述n个客户端的解密后的模型参数；所述训练后的模型参数是经过所述n个客户端使用公钥进行加密的；所述私钥、所述公钥是卫星系统基于量子密钥分发规则发送的；
对所述n个客户端的解密后的模型参数进行处理，得到所述第i+1轮模型参数。
可选地，所述第二处理单元602还用于：
在将第i轮模型参数发送给所述n个客户端之后，接收配置有TEE的客户端发送的验证信息，并基于所述验证信息确定所述客户端是否可信；
在确定所述客户端可信后，接收所述客户端发送的训练后的模型参数。
基于相同的技术构思，本发明实施例提供一种计算设备，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行上述任意一种联邦学习方法的步骤。
基于相同的技术构思，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行上述任意一种联邦学习方法的步骤。
基于相同的技术构思，本发明实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述任意一种联邦学习方法的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (13)
1.一种联邦学习方法，其特征在于，包括：
客户端接收服务端发送的第i轮模型参数；所述客户端是所述服务端基于选取规则从m个参与联邦学习的客户端中确定出的用于参与第i+1轮联邦学习的n个客户端中一个；其中，m>n≥1；i≥1；m∈N*；n∈N*；
所述客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数；
所述客户端将所述训练后的模型参数发送给所述服务端；所述服务端用于对所述n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型。
2.如权利要求1所述的方法，其特征在于，所述客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，包括：
所述客户端将所述全局模型拆分为第一子模型和第二子模型；
所述客户端将所述本地训练数据和所述第一子模型加载到富执行环境REE，在所述REE中将所述本地训练数据输入到所述第一子模型，得到所述本地训练数据的特征向量；
所述客户端将所述本地训练数据的特征向量、所述本地训练数据的标签值以及所述第二子模型加载到所述TEE。
3.如权利要求1至2任一项所述的方法，其特征在于，所述客户端将所述训练后的模型参数发送给所述服务端，包括：
所述客户端使用公钥对所述训练后的模型参数进行加密，得到加密后的模型参数；所述公钥是卫星系统基于量子密钥分发规则发送的；
所述客户端将所述加密后的模型参数发送给所述服务端。
4.如权利要求1或2任一项所述的方法，其特征在于，在所述客户端接收服务端发送的第i轮模型参数之前，还包括：
所述客户端将使用所述客户端的用户的身份标识ID发送给卫星系统；所述卫星系统用于基于所述用户的ID确定所述客户端是否具有参与联邦学习的权限；
所述客户端接收所述卫星系统基于量子密钥分发规则发送的公钥。
5.如权利要求4所述的方法，其特征在于，在所述客户端接收所述卫星系统基于量子密钥分发规则发送的公钥之后，所述客户端接收服务端发送的第i轮模型参数之前，还包括：
所述客户端若确定所述公钥发生更改，则向所述卫星系统发送公钥更改消息；所述公钥更改消息用于指示所述卫星系统发送新的公钥给所述客户端。
6.一种联邦学习方法，其特征在于，包括：
服务端根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端；所述n个客户端用于参与第i+1轮联邦学习；其中，m>n≥1；i≥1；m∈N*；n∈N*；
所述服务端将第i轮模型参数发送给所述n个客户端；
所述服务端对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数；所述训练后的模型参数是客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练得到的；
所述服务端将所述第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端，直至得到符合设定条件的联邦模型。
7.如权利要求6所述的方法，其特征在于，所述服务端对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数，包括：
所述服务端使用私钥对所述n个客户端发送的训练后的模型参数进行解密处理，得到所述n个客户端的解密后的模型参数；所述训练后的模型参数是经过所述n个客户端使用公钥进行加密的；所述私钥、所述公钥是卫星系统基于量子密钥分发规则发送的；
所述服务端对所述n个客户端的解密后的模型参数进行处理，得到所述第i+1轮模型参数。
8.如权利要求6所述的方法，其特征在于，在所述服务端将第i轮模型参数发送给所述n个客户端之后，还包括：
所述服务端接收配置有TEE的客户端发送的验证信息，并基于所述验证信息确定所述客户端是否可信；
所述服务端在确定所述客户端可信后，接收所述客户端发送的训练后的模型参数。
9.一种联邦学习装置，其特征在于，包括：
接收单元，用于接收服务端发送的第i轮模型参数；所述客户端是所述服务端基于选取规则从m个参与联邦学习的客户端中确定出的用于参与第i+1轮联邦学习的n个客户端中一个；其中，m>n≥1；i≥1；m∈N*；n∈N*；
第一处理单元，用于将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练，得到训练后的模型参数；将所述训练后的模型参数发送给所述服务端；所述服务端用于对所述n个客户端发送的训练后的模型参数进行聚合处理，得到第i+1轮模型参数，从而进行第i+2轮联邦学习，直至得到符合设定条件的联邦模型。
10.一种联邦学习装置，其特征在于，包括：
确定单元，用于根据选取规则，从m个参与联邦学习的客户端中确定出n个客户端；所述n个客户端用于参与第i+1轮联邦学习；其中，m>n≥1；i≥1；m∈N*；n∈N*；
第二处理单元，用于将第i轮模型参数发送给所述n个客户端；对所述n个客户端发送的训练后的模型参数进行聚合处理，确定出第i+1轮模型参数；所述训练后的模型参数是客户端将本地训练数据和所述第i轮模型参数加载到可信执行环境TEE，在所述TEE中基于所述本地训练数据对所述第i轮模型参数对应的全局模型进行训练得到的；将所述第i+1轮模型参数发送给参与第i+2轮联邦学习的客户端，直至得到符合设定条件的联邦模型。
11.一种计算设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于调用所述存储器中存储的计算机程序，按照获得的程序执行权利要求1至8任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行程序，所述计算机可执行程序用于使计算机执行权利要求1至8任一项所述的方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011457002.5A CN112580821A (zh) | 2020-12-10 | 2020-12-10 | 一种联邦学习方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011457002.5A CN112580821A (zh) | 2020-12-10 | 2020-12-10 | 一种联邦学习方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112580821A true CN112580821A (zh) | 2021-03-30 |
Family
ID=75132129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011457002.5A Pending CN112580821A (zh) | 2020-12-10 | 2020-12-10 | 一种联邦学习方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112580821A (zh) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033828A (zh) * | 2021-04-29 | 2021-06-25 | 江苏超流信息技术有限公司 | 模型训练方法、使用方法、系统、可信节点及设备 |
| CN113094735A (zh) * | 2021-04-29 | 2021-07-09 | 香港中文大学（深圳） | 隐私模型训练的方法 |
| CN113239395A (zh) * | 2021-05-10 | 2021-08-10 | 深圳前海微众银行股份有限公司 | 数据查询方法、装置、设备、存储介质及程序产品 |
| CN113298229A (zh) * | 2021-04-12 | 2021-08-24 | 云从科技集团股份有限公司 | 联邦学习模型训练方法、客户端、服务器及存储介质 |
| CN113361618A (zh) * | 2021-06-17 | 2021-09-07 | 武汉卓尔信息科技有限公司 | 一种基于联邦学习的工业数据联合建模方法及系统 |
| CN113487042A (zh) * | 2021-06-28 | 2021-10-08 | 海光信息技术股份有限公司 | 一种联邦学习方法、装置及联邦学习系统 |
| CN114140213A (zh) * | 2021-12-07 | 2022-03-04 | 航天信息股份有限公司 | 一种税电指标计算方法及装置 |
| CN114465722A (zh) * | 2022-01-29 | 2022-05-10 | 深圳前海微众银行股份有限公司 | 信息处理方法、装置、设备、存储介质及程序产品 |
| CN114492846A (zh) * | 2022-04-06 | 2022-05-13 | 天聚地合(苏州)科技股份有限公司 | 基于可信执行环境的跨域联邦学习方法及系统 |
| CN114492849A (zh) * | 2022-01-24 | 2022-05-13 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
| CN114499866A (zh) * | 2022-04-08 | 2022-05-13 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的密钥分级管理方法及装置 |
| CN114548255A (zh) * | 2022-02-17 | 2022-05-27 | 支付宝(杭州)信息技术有限公司 | 一种模型的训练方法、装置及设备 |
| CN114844653A (zh) * | 2022-07-04 | 2022-08-02 | 湖南密码工程研究中心有限公司 | 基于联盟链的可信联邦学习方法 |
| CN115292738A (zh) * | 2022-10-08 | 2022-11-04 | 豪符密码检测技术(成都)有限责任公司 | 一种联邦学习模型和数据安全性及正确性的检测方法 |
| WO2022236469A1 (en) * | 2021-05-08 | 2022-11-17 | Asiainfo Technologies (China), Inc. | Customer experience perception based on federated learning |
| WO2022243871A1 (en) * | 2021-05-18 | 2022-11-24 | International Business Machines Corporation | Trusted and decentralized aggregation for federated learning |
| CN115878995A (zh) * | 2022-11-17 | 2023-03-31 | 营口巨成教学科技开发有限公司 | 一种胸外按压动作规范性判别系统及方法 |
| CN116384514A (zh) * | 2023-06-01 | 2023-07-04 | 南方科技大学 | 可信分布式服务器集群的联邦学习方法、系统及存储介质 |
| CN116502732A (zh) * | 2023-06-29 | 2023-07-28 | 杭州金智塔科技有限公司 | 基于可信执行环境的联邦学习方法以及系统 |
| CN116776970A (zh) * | 2023-06-26 | 2023-09-19 | 北京熠智科技有限公司 | 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 |
| WO2024093426A1 (zh) * | 2022-11-03 | 2024-05-10 | 支付宝(杭州)信息技术有限公司 | 基于联邦机器学习的模型训练方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190042878A1 (en) * | 2018-03-30 | 2019-02-07 | Intel Corporation | Methods and apparatus for distributed use of a machine learning model |
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
| CN110995737A (zh) * | 2019-12-13 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 联邦学习的梯度融合方法及装置和电子设备 |
| CN111241580A (zh) * | 2020-01-09 | 2020-06-05 | 广州大学 | 一种基于可信执行环境的联邦学习方法 |
| CN111786955A (zh) * | 2020-06-05 | 2020-10-16 | 三星电子（中国）研发中心 | 用于保护模型的方法和装置 |
-
2020
- 2020-12-10 CN CN202011457002.5A patent/CN112580821A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190042878A1 (en) * | 2018-03-30 | 2019-02-07 | Intel Corporation | Methods and apparatus for distributed use of a machine learning model |
| CN110929880A (zh) * | 2019-11-12 | 2020-03-27 | 深圳前海微众银行股份有限公司 | 一种联邦学习方法、装置及计算机可读存储介质 |
| CN110995737A (zh) * | 2019-12-13 | 2020-04-10 | 支付宝(杭州)信息技术有限公司 | 联邦学习的梯度融合方法及装置和电子设备 |
| CN111241580A (zh) * | 2020-01-09 | 2020-06-05 | 广州大学 | 一种基于可信执行环境的联邦学习方法 |
| CN111786955A (zh) * | 2020-06-05 | 2020-10-16 | 三星电子（中国）研发中心 | 用于保护模型的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 马丽华 等: "光纤通信系统", 31 August 2015, 北京：北京邮电大学出版社, pages: 234 - 235 * |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113298229A (zh) * | 2021-04-12 | 2021-08-24 | 云从科技集团股份有限公司 | 联邦学习模型训练方法、客户端、服务器及存储介质 |
| CN113298229B (zh) * | 2021-04-12 | 2024-08-02 | 云从科技集团股份有限公司 | 联邦学习模型训练方法、客户端、服务器及存储介质 |
| CN113033828B (zh) * | 2021-04-29 | 2022-03-22 | 江苏超流信息技术有限公司 | 模型训练方法、使用方法、系统、可信节点及设备 |
| CN113094735A (zh) * | 2021-04-29 | 2021-07-09 | 香港中文大学（深圳） | 隐私模型训练的方法 |
| CN113033828A (zh) * | 2021-04-29 | 2021-06-25 | 江苏超流信息技术有限公司 | 模型训练方法、使用方法、系统、可信节点及设备 |
| WO2022236469A1 (en) * | 2021-05-08 | 2022-11-17 | Asiainfo Technologies (China), Inc. | Customer experience perception based on federated learning |
| CN113239395A (zh) * | 2021-05-10 | 2021-08-10 | 深圳前海微众银行股份有限公司 | 数据查询方法、装置、设备、存储介质及程序产品 |
| GB2621732A (en) * | 2021-05-18 | 2024-02-21 | Ibm | Trusted and decentralized aggregation for federated learning |
| WO2022243871A1 (en) * | 2021-05-18 | 2022-11-24 | International Business Machines Corporation | Trusted and decentralized aggregation for federated learning |
| CN113361618A (zh) * | 2021-06-17 | 2021-09-07 | 武汉卓尔信息科技有限公司 | 一种基于联邦学习的工业数据联合建模方法及系统 |
| CN113487042B (zh) * | 2021-06-28 | 2023-10-10 | 海光信息技术股份有限公司 | 一种联邦学习方法、装置及联邦学习系统 |
| CN113487042A (zh) * | 2021-06-28 | 2021-10-08 | 海光信息技术股份有限公司 | 一种联邦学习方法、装置及联邦学习系统 |
| CN114140213A (zh) * | 2021-12-07 | 2022-03-04 | 航天信息股份有限公司 | 一种税电指标计算方法及装置 |
| CN114492849A (zh) * | 2022-01-24 | 2022-05-13 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
| CN114492849B (zh) * | 2022-01-24 | 2023-09-08 | 光大科技有限公司 | 一种基于联邦学习的模型更新方法及装置 |
| CN114465722B (zh) * | 2022-01-29 | 2024-04-02 | 深圳前海微众银行股份有限公司 | 信息处理方法、装置、设备、存储介质及程序产品 |
| CN114465722A (zh) * | 2022-01-29 | 2022-05-10 | 深圳前海微众银行股份有限公司 | 信息处理方法、装置、设备、存储介质及程序产品 |
| CN114548255A (zh) * | 2022-02-17 | 2022-05-27 | 支付宝(杭州)信息技术有限公司 | 一种模型的训练方法、装置及设备 |
| CN114492846A (zh) * | 2022-04-06 | 2022-05-13 | 天聚地合(苏州)科技股份有限公司 | 基于可信执行环境的跨域联邦学习方法及系统 |
| CN114499866B (zh) * | 2022-04-08 | 2022-07-26 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的密钥分级管理方法及装置 |
| CN114499866A (zh) * | 2022-04-08 | 2022-05-13 | 深圳致星科技有限公司 | 用于联邦学习和隐私计算的密钥分级管理方法及装置 |
| CN114844653A (zh) * | 2022-07-04 | 2022-08-02 | 湖南密码工程研究中心有限公司 | 基于联盟链的可信联邦学习方法 |
| CN114844653B (zh) * | 2022-07-04 | 2022-09-30 | 湖南密码工程研究中心有限公司 | 基于联盟链的可信联邦学习方法 |
| CN115292738A (zh) * | 2022-10-08 | 2022-11-04 | 豪符密码检测技术(成都)有限责任公司 | 一种联邦学习模型和数据安全性及正确性的检测方法 |
| CN115292738B (zh) * | 2022-10-08 | 2023-01-17 | 豪符密码检测技术(成都)有限责任公司 | 一种联邦学习模型和数据安全性及正确性的检测方法 |
| WO2024093426A1 (zh) * | 2022-11-03 | 2024-05-10 | 支付宝(杭州)信息技术有限公司 | 基于联邦机器学习的模型训练方法和装置 |
| CN115878995A (zh) * | 2022-11-17 | 2023-03-31 | 营口巨成教学科技开发有限公司 | 一种胸外按压动作规范性判别系统及方法 |
| CN115878995B (zh) * | 2022-11-17 | 2024-04-19 | 营口巨成教学科技开发有限公司 | 一种胸外按压动作规范性判别系统及方法 |
| CN116384514B (zh) * | 2023-06-01 | 2023-09-29 | 南方科技大学 | 可信分布式服务器集群的联邦学习方法、系统及存储介质 |
| CN116384514A (zh) * | 2023-06-01 | 2023-07-04 | 南方科技大学 | 可信分布式服务器集群的联邦学习方法、系统及存储介质 |
| CN116776970A (zh) * | 2023-06-26 | 2023-09-19 | 北京熠智科技有限公司 | 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 |
| CN116776970B (zh) * | 2023-06-26 | 2024-04-19 | 北京熠智科技有限公司 | 一种联邦学习参数传输方法、聚合服务器及联邦学习系统 |
| CN116502732A (zh) * | 2023-06-29 | 2023-07-28 | 杭州金智塔科技有限公司 | 基于可信执行环境的联邦学习方法以及系统 |
| CN116502732B (zh) * | 2023-06-29 | 2023-10-20 | 杭州金智塔科技有限公司 | 基于可信执行环境的联邦学习方法以及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112580821A (zh) | 一种联邦学习方法、装置、设备及存储介质 | |
| Xu et al. | VerifyNet: Secure and verifiable federated learning | |
| EP3779717B1 (en) | Multiparty secure computing method, device, and electronic device | |
| CN106603233B (zh) | 远程开标型招投标系统用的加解密方法 | |
| CN112182644B (zh) | 一种数据处理方法、装置和电子设备 | |
| CN110414567B (zh) | 数据处理方法、装置和电子设备 | |
| CN111988147B (zh) | 组合签名及验证签名方法、系统及存储介质 | |
| CN110197082A (zh) | 数据处理方法、数据处理装置和计算机系统 | |
| CN110969264A (zh) | 模型训练方法、分布式预测方法及其系统 | |
| CN109347625B (zh) | 密码运算、创建工作密钥的方法、密码服务平台及设备 | |
| CN111767411B (zh) | 知识图谱表示学习优化方法、设备及可读存储介质 | |
| CN112291062B (zh) | 一种基于区块链的投票方法及装置 | |
| CN110138754B (zh) | 一种多云端信息处理系统及其资源共享方法 | |
| CN110868290B (zh) | 一种无中心管控的密钥服务方法与装置 | |
| CN116502732B (zh) | 基于可信执行环境的联邦学习方法以及系统 | |
| CN112818369A (zh) | 一种联合建模方法及装置 | |
| CN114143311A (zh) | 一种基于区块链的隐私保护方案聚合方法及装置 | |
| Al‐Balasmeh et al. | Framework of data privacy preservation and location obfuscation in vehicular cloud networks | |
| CN104160651A (zh) | 拜占庭式容错和阈值硬币投掷 | |
| CN114398661A (zh) | 一种面向安全发布的聚合模型训练方法、训练设备及系统 | |
| CN116506227B (zh) | 数据处理方法、装置、计算机设备和存储介质 | |
| JPWO2018100740A1 (ja) | 暗号文照合システム及び暗号文照合方法 | |
| CN116432241A (zh) | 一种文本加密系统及方法 | |
| CN111221903A (zh) | 数据追责方法、系统和计算机存储介质 | |
| CN111245594A (zh) | 一种基于同态运算的协同签名方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |