CN113033828B - 模型训练方法、使用方法、系统、可信节点及设备 - Google Patents

模型训练方法、使用方法、系统、可信节点及设备 Download PDF

Info

Publication number
CN113033828B
CN113033828B CN202110476948.4A CN202110476948A CN113033828B CN 113033828 B CN113033828 B CN 113033828B CN 202110476948 A CN202110476948 A CN 202110476948A CN 113033828 B CN113033828 B CN 113033828B
Authority
CN
China
Prior art keywords
quantum key
model
node
trusted node
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110476948.4A
Other languages
English (en)
Other versions
CN113033828A (zh
Inventor
吕川
张晓星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Super Flow Technology Co ltd
Original Assignee
Jiangsu Super Flow Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Super Flow Technology Co ltd filed Critical Jiangsu Super Flow Technology Co ltd
Priority to CN202110476948.4A priority Critical patent/CN113033828B/zh
Publication of CN113033828A publication Critical patent/CN113033828A/zh
Priority to US17/669,922 priority patent/US12001569B2/en
Application granted granted Critical
Publication of CN113033828B publication Critical patent/CN113033828B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G06N10/60—Quantum algorithms, e.g. based on quantum optimisation, quantum Fourier or Hadamard transforms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/0852—Quantum cryptography
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0861—Generation of secret information including derivation or calculation of cryptographic keys or passwords
    • H04L9/0866—Generation of secret information including derivation or calculation of cryptographic keys or passwords involving user or device identifiers, e.g. serial number, physical or biometrical information, DNA, hand-signature or measurable physical characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0894—Escrow, recovery or storing of secret information, e.g. secret key escrow or cryptographic key storage
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/14—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms
    • H04L9/16—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols using a plurality of keys or algorithms the keys or algorithms being changed during operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Mathematics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Storage Device Security (AREA)

Abstract

本申请公开了基于联邦学习的模型训练方法、使用方法、系统、可信节点及设备，涉及机器学习领域。具体实现方案为：第一可信节点接收第一参与方发送的第一目标数据集，第一目标数据集是第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；对第一目标数据集进行解密处理，并确定出第一训练数据，基于第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；获取至少一个第二可信节点所发送的加密处理后的第二中间训练结果；至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，如此，更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。

Description

模型训练方法、使用方法、系统、可信节点及设备
技术领域
本申请涉及大数据处理领域，尤其涉及基于联邦学习的模型训练方法、使用方法、系统、可信节点及设备。
背景技术
联邦机器学习又名联邦学习，联合学习，联盟学习。联邦机器学习指一个机器学习框架，能有效帮助多个机构(也即多个用户)在满足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
联邦学习自2016年提出以来，获得了学术界和产业界的广泛关注，但由于联邦机器学习技术与数据加密技术密不可分，不论是横向联邦学习的数据特征和标签，还是纵向联邦学习的中间变量和梯度信息，都必须经过加密后进行传输，以及在加密状态下进行计算。而机器学习过程中，加密状态下进行计算必然会带来数据体积在数量级上的剧增，譬如现有在模型训练过程中所使用的同态加密算法，会导致数据体积增大30倍以上，这样，必然带来了额外的存储、计算和网络资源的消耗。
发明内容
本申请提供了一种基于联邦学习的模型训练方法、使用方法、系统、可信节点、设备及存储介质。
根据本申请的一方面，提供了一种基于联邦学习的模型训练方法，包括：
第一可信节点接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；
对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
获取至少一个第二可信节点所发送的加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
根据本申请的另一方面，提供了一种基于联邦学习的模型使用方法，包括：
第一可信节点获取到待预测数据；
将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果，其中，所述目标模型为以上所述训练方法得到的模型。
根据本申请的另一方面，提供了一种第一可信节点，包括：
第一接收单元，用于接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；
中间训练结果确定单元，用于对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
中间训练结果获取单元，用于获取至少一个第二可信节点所发送的加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
联邦学习单元，用于至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
根据本申请的另一方面，提供了一种第一可信节点，包括：
获取单元，用于获取到待预测数据；
模型预测单元，用于将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果，其中，所述目标模型为以上所述模型训练方法所得到的模型。
根据本申请的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上所述的模型训练方法，或者以上所述的模型使用方法。
根据本申请的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行以上所述的模型训练方法，或者以上所述的模型使用方法。
根据本申请的另一方面，提供了一种基于联邦学习的模型训练系统，包括：第一可信节点和至少一个第二可信节点；
所述第一可信节点，用于接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
所述第二可信节点，用于发送加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
所述第一可信节点，还用于获取所述至少一个第二可信节点所发送的加密处理后的第二中间训练结果；至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
根据本申请的另一方面，提供了一种基于联邦学习的模型使用系统，包括：第一可信节点和至少一个第二可信节点；
所述第一可信节点，用于获取到待预测数据；将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果；其中，所述目标模型为以上模型训练方法所得到的模型；
第二可信节点，用于接收所述第一可信节点发送的所述待预测数据，并将所述待预测数据输入至自身存储的目标模型后，得到第二输出结果；发送所述第二输出结果；
所述第一可信节点，还用于至少基于所述第一输出结果和所述第二输出结果，得到所述待预测数据的预测结果。
据本申请的技术能够实现联邦学习的同时，解决现有额外的存储、计算和网络资源的消耗问题。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请实施例基于联邦学习的模型训练方法的实现流程示意图；
图2是根据本申请实施例基于联邦学习的模型使用方法的实现流程示意图；
图3是根据本申请实施例基于联邦学习的模型训练系统的结构示意图；
图4是根据本申请实施例基于联邦学习的模型训练方法在一具体示例中可信节点集群的示意图；
图5是根据本申请实施例基于联邦学习的模型训练方法在一具体示例中可信节点之间的通信示意图；
图6是根据本申请实施例第一可信节点的结构示意图一；
图7是根据本申请实施例第一可信节点的结构示意图二；
图8是用来实现本申请实施例的基于联邦学习的模型训练方法或模型使用方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
众所周知，算法、算力和数据是人工智能的三大支柱，三者互相支撑，缺一不可。机器学习作为人工智能的算法核心，需要大量的数据支撑，才能训练出高性能和高精确度的模型，解决类似无人驾驶、人脸识别等问题。但现实是多数企业和机构都存在数据量少、数据质量差等问题，不足以支撑机器学习模型的训练需求。在这样的大背景下，联邦学习应运而生。联邦学习本质上是一种分布式机器学习技术，其目的是在保证数据隐私安全和合法合规的基础之上，实现不同数据所有方的共同建模，提升机器学习模型，比如AI模型的效果。
基于此，本申请方案提供了一种结合量子加密的联邦机器学习方案，旨在将量子加密技术和机器学习技术结合运用，改进现有机器学习领域中的联邦学习技术。
具体地，图1是根据本申请实施例基于联邦学习的模型训练方法的实现流程示意图，该方法应用于第一可信节点，如图1所示，所述方法包括：
步骤S101：第一可信节点接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的。
本申请方案中，所述第一参与方可以表征第一参与用户所使用的设备，比如，台式计算机、服务器等电子设备。所述第一参与方所提供的数据集为用于联邦学习的数据集，比如用户浏览数据等，本申请方案对此不作限制。
本申请方案中，所述第一可信节点接收到的所述第一目标数据集是加密处理后的数据，如此，提升了数据在传输过程中的安全性。实际应用中，所述第一预设加密方式为第一可信节点与第一参数与所约定的加密方式，比如，使用量子密钥进行加密处理的量子加密方式，或者经典加密方式，如RSA加密算法、MD5信息摘要算法、数据加密标准(DES)算法等。
步骤S102：第一可信节点对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果。
本申请方案中，所述第一预设加密方式为第一可信节点与第一参数与所约定的加密方式，相应地，所述第一可信节点基于所约定的解密方式对所述第一目标数据集进行解密处理，并得到第一训练数据，换言之，该第一训练数据是解密后得到的，为非加密数据，如此，使得第一可信节点能够基于非加密的数据对预设机器学习模型进行模型训练，提升了模型训练的效率，同时，也为降低联邦学习过程的计算资源、存储资源等奠定了基础。
这里，需要说明的是，该第一中间训练结果为模型训练过程所产出的任意结果，实际应用中，不同的预设机器学习模型得到的中间训练结果可能不同，本申请方案对此不作限制。
步骤S103：获取至少一个第二可信节点所发送的加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习。
也就是说，第二参与方对用于与所述第一目标数据集进行联邦学习的第二目标数据集进行加密处理，并发送至第二可信节点，相应地，所述第二可信节点对该第二目标数据集进行解密处理，并得到第二训练数据，进而至少基于所述第二训练数据对所述预设机器学习模型进行模型训练，得到第二中间训练结果，再对该第二中间训练结果进行加密处理后发送至第一可信节点。
需要说明的是，类似于所述第一参与方，所述第二参与方可以表征第二参与用户所使用的设备，比如，台式计算机、服务器等电子设备。所述第二参与方所提供的数据集为用于联邦学习的数据集，比如用户浏览数据等，本申请方案对此不作限制。该第二中间训练结果为模型训练过程所产出的任意结果，实际应用中，不同的预设机器学习模型得到的中间训练结果可能不同，本申请方案对此不作限制。
另外，需要说明的是，实际应用中，参与方与可信节点之间，比如，第一参与方与第一可信节点之间，第二参与方与第二可信节点之间，以及可信节点之间，如第一可信节点与第二可信节点之间所传输的数据，均是加密处理后的数据，如此，来提升数据在传输过程中的安全性。举例来说，参与方与可信节点之间所传输的数据，可以使用量子加密方式或者经典加密方式等进行加密处理；而所述可信节点之间传输的数据则使用量子加密方式进行加密，如此，提升了联邦学习过程中数据传输的安全性，为参与用户的数据隐私安全提供了保障。
步骤S104：至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
举例来说，假设A公司(也即第一参与用户)和B公司(也即第二参与用户)想要联合训练一个机器学习模型，并且各自的电子设备中都有自己的数据集。此外，B公司还拥有模型训练所需的标签数据，也即针对B公司的数据集的标签数据。由于数据隐私和安全原因，A公司和B公司不能直接交换数据。因此，为了确保训练过程中数据的保密性，引入第三方，也即可信节点。这里，预设通信网络中可信节点之间的数据传输是基于量子密钥加密处理后才进行传输的，而且，该第三方是可信的，该可信节点不会将A公司或B公司所发送的数据集泄露至该预设通信网络之外的其他设备，这样，为解决数据隐私、安全隐患等问题奠定了基础。
进一步地，由于可信节点的上述特征，所以，使得可信节点中进行模型训练所使用的数据为非加密数据，所以，为解决现有在加密状态下进行模型训练而导致额外的存储、计算和网络资源的消耗较大等问题奠定了基础。
这样，由于本申请方案用于进行联邦学习的第三方为可信节点，所以，无需在加密状态下进行模型训练，解决了现有在加密状态下进行模型训练而导致额外的存储、计算和网络资源的消耗较大的问题，在实现联邦学习的基础上，降低了机器学习的成本，比如降低了网络带宽成本、计算资源的成本，以及降低了人力维护成本等。而且，由于本申请方案所提供的模型训练方法能够在解密的状态下进行，所以，能够使用的机器学习模型的种类更多，换言之，本申请方案对待训练的机器学习模型的种类不作限制，所以，应用范围、适应性均更广，而且，成本更低。
在本申请方案的一具体示例中，为了实现联邦学习，还可以采用如下方式对第一可信节点训练得到的第一中间训练结果进行加密处理，并发送至参与联邦学习的其他节点；具体地，第一可信节点基于第二预设加密方式对所述第一中间训练结果进行加密处理，并将加密处理后的所述第一中间训练结果发送至所述第二可信节点；其中，所述第二可信节点能够对加密处理后的所述第一中间训练结果进行解密处理后，以对所述预设机器学习模型进行模型训练，如此，更新所述预设机器学习模型的模型参数。
在一具体示例中，所述第二可信节点更新模型参数后能够再次得到中间训练结果，此时，再次将得到的中间训练结果发送至第一可信节点，依此循环，直至得到学习完成的目标模型为止，举例来说，依此循环，直至模型训练过程中所选用的目标损失函数收敛为止，得到学习完成的目标模型。
这里，需要注意的是，所述第二预设加密方式表征可信节点与可信节点之间的加密方式，即第一可信节点与第二可信节点之间所传输的数据，均可以通过该第二预设加密方式来实现；如此，来提升数据在传输过程中的安全性，为解决数据隐私、安全隐患等问题奠定了基础。
在本申请方案的一具体示例中，第一可信节点与第二可信节点之间的数据传输使用量子加密方式进行加密，如此，提升了联邦学习过程中数据传输的安全性，为参与用户的数据隐私安全提供了保障。具体地，以上所述的基于第二预设加密方式对所述第一中间训练结果进行加密处理，具体包括：基于所述第一可信节点包含的第一量子密钥生成设备所生成的第一量子密钥，对所述第一中间训练结果进行加密处理。也就是说，该示例中，所述第一可信节点中包含有量子密钥生成设备，也即第一量子密钥生成设备能够生成量子密钥，也即第一量子密钥，如此，基于该第一量子密钥对第一中间训练结果进行加密处理，进而将加密处理后的第一中间训练结果待传输至参与联邦学习的其他可信节点，比如第二可信节点的，来提升数据传输过程中的安全性。这里，由于使用了量子加密技术，所以，相比于其他加密方式而言，安全性更高，进一步提升了数据传输的安全性。
在一具体示例中，第一可信节点所生成的第一量子密钥为量子密钥对中的一个，另外一个为第一中间训练结果的接收端，也即第二可信节点所包含的第二量子密钥生成设备所生成的，该量子密钥对为对称的密钥，如此，便于接收端，也即第二可信节点对接收到的基于第一量子密钥加密后的第一中间训练结果进行解密处理。
在本申请方案的一具体示例中，第一量子密钥生成设备存储有密钥池，所述密钥池中包含至少一个量子密钥；也就是说，所述第一量子密钥生成设备将生成的量子密钥存储于密钥池中。进一步地，以上所述的基于所述第一可信节点包含的第一量子密钥生成设备所生成的第一量子密钥，对所述第一中间训练结果进行加密处理，具体包括：基于所述第一可信节点所包含的第一路由器从所述密钥池中获取第一量子密钥，并基于所述第一量子密钥对所述第一中间训练结果进行加密处理。这里，该示例中，所述第一可信节点中包含有量子密钥生成设备，也即第一量子密钥生成设备，该所述第一量子密钥生成设备能够生成量子密钥，也即第一量子密钥，同时，该第一可信节点中还包含有第一路由器，该第一路由器用于从密钥池中获取第一量子密钥，进而基于该第一量子密钥对待发送的第一中间训练结果进行加密后传输，也就是说，所述第一路由器管理进出数据的权限，如此，来提升数据传输过程中的安全性。这里，由于使用了量子加密技术，所以，相比于其他加密方式而言，安全性更高，进一步提升了数据传输的安全性。而且，该方式简单，可行性高，成本低，为联邦学习的广泛应用奠定了基础。
需要说明的是，在一示例中，第一可信节点所包含的第一路由器对待发送的数据进行量子加密后再发送，相当于利用该第一路由器实现安全锁功能，使得该第一可信节点得以作为物理安全装置，如此，一方面提升了第一可信节点的整体安全性，另一方面为在解密状态下完成联邦学习奠定了基础。在另一些示例中，所述第一路由器还统一接收发送至所述第一可信节点的数据并进行管理，比如，解密处理等。
在另一具体示例中，所述第二可信节点还包括第二路由器，所述第二路由器对待发送的数据进行量子加密后再发送，相当于利用该第二路由器实现安全锁功能，使得该第二可信节点得以作为物理安全装置，如此，一方面提升了第二可信节点的整体安全性，另一方面为在解密状态下完成联邦学习奠定了基础。在另一些示例中，所述第二路由器还统一接收发送至所述第二可信节点的数据并进行管理，比如，解密处理等。
在本申请方案的一具体示例中，所述第一可信节点可以采用如下方式对接收到的第二中间训练结果进行解密处理。这里，由于所述第一可信节点在进行联邦学习的过程中所使用的训练数据是解密状态的，所以，降低了用于联邦学习的第一可信节点的硬件门槛，降低了设备成本，进而降低了机器学习的成本。而且，由于能够在解密的状态下进行联邦学习，降低了第一可信节点的硬件门槛，所以，本申请方案所能训练的机器学习模型的种类更多，换言之，本申请方案对待训练的机器学习模型的种类不作限制，所以，应用范围、适应性均更广，而且，成本更低。
解密流程具体包括：基于所述第一可信节点包含的第一量子密钥生成设备所生成的第二量子密钥，对所述第二中间训练结果进行解密处理，这里，所述第二量子密钥与所述第二可信节点包含的第二量子密钥生成设备所生成的量子密钥构成量子密钥对，所述第二可信节点是基于与所述第二量子密钥构成量子密钥对的量子密钥对所述第二中间训练结果进行加密处理的。也就是说，该示例中，所述第一可信节点中包含有量子密钥生成设备，也即第一量子密钥生成设备能够生成量子密钥，也即第二量子密钥；而且，该第二量子密钥为量子密钥对(该量子密钥对为对称的密钥)中的一个，另外一个为第二中间训练结果的发送端，也即第二可信节点所包含的第二量子密钥生成设备所生成的，且该第二中间训练结果基于与所述第二量子密钥构成量子密钥对的量子密钥进行加密处理的，如此，使得所述第二中间训练结果的接收端，也即第一可信节点能够基于该第二量子密钥对处于加密状态的第二中间训练结果进行解密处理，进而得到解密状态的第二中间训练结果，使得第一可信节点在联邦学习过程中所使用的数据均处于解密状态，如此，来降低联邦学习的成本，丰富应用场景。
这里，需要说明的是，以上所述的接收端或发送端为相对概念，比如，对于第二中间训练结果来说，发送端为第二可信节点，接收端为第一可信节点；而相对于第一中间训练结果而言，在将第一中间训练结果发送至第二可信节点的步骤中，接收端即为第二可信节点，发送端即为第一可信节点。
在一具体示例中，所述第一可信节点所包含的第一量子密钥生成设备不仅能够生成用于加密处理的所述第一量子密钥，还可以生成用于解密处理的所述第二量子密钥；进一步地，在一示例中，所述第一量子密钥生成设备所生成的量子密钥，比如包括第一量子密钥和第二量子密钥均存储于自身对应的密钥池中，进而通过密钥池来存储量子密钥。同理，所述第二可信节点所包含的第二量子密钥生成设备不仅能够生成用于加密处理的量子密钥，还可以生成用于解密处理的量子密钥。进一步地，在另一示例中，所述第二量子密钥生成设备所生成的量子密钥也可以均存储于自身对应的密钥池中。需要说明的是，在加密、解密流程中所使用的量子密钥，是对称的，换言之，加密、解密流程中所使用的量子密钥构成量子密钥对，举例来说，以第二中间训练结果为例，所述第二可信节点对第二中间训练结果进行加密处理使用的量子密钥，与所述第一可信节点对处于加密状态的第二中间训练结果进行解密处理所使用的量子密钥，构成量子密钥对。如此，才能实现加密解密流程，进而为确保数据在传输过程中的数据安全，以及在解密状态下进行模型训练奠定了基础。
在本申请方案的一具体示例中，所述第一可信节点得到学习完成的所述目标模型中模型参数的目标参数值，以得到所述目标模型，即所述第一可信节点得到完整的目标模型；或者，所述第一可信节点得到学习完成的所述目标模型中部分模型参数的目标参数值，即所述第一可信节点得到部分所述目标模型。也就是说，实际应用中，所述第一可信节点所得到的目标模型可以是完整的，也可以是仅包含部分训练完成的目标模型，如此，提升了本申请方案的灵活性，同时，也丰富了本申请方案的使用场景，为满足不同场景的不同需求奠定了基础。
在本申请方案的一具体示例中，在得到第一目标数据集后，还可以采用如下方式来确定出第一训练数据，具体地，以上所述的确定出第一训练数据，具体包括：将所述第一目标数据集，以及与所述第一目标数据集进行联邦学习的第二目标数据集进行数据标识匹配，得到匹配结果满足预设规则的数据集；进而将所述第一目标数据集中匹配结果满足预设规则的数据集作为所述第一训练数据。相应地，在一实施方式中，所述第二训练数据也是所述第二目标数据集中匹配结果满足预设规则的数据集。举例来说，纵向联邦学习过程中，参与方A(也即第一参与方)和参与方B(也即第二参与方)要联合训练一个预设机器学习模型，而且，参与方A和参与方B所提供的数据集的用户ID交叉很大，但各自提供的数据集的特征空间(也即数据特征)并不重合，此时，可以仅将用户ID重叠的数据作为训练数据，如此，来提升模型训练效率，同时，提升模型训练结果的精确度。
在本申请方案的一具体示例中，所述第一目标数据集是基于第三量子密钥对所述第一参与方所提供的数据集进行加密处理后所得到的。也就是说，第一参与方向第一可信节点传输的数据也是基于量子密钥进行加密处理的，如此，来进一步提升数据在参与方与可信节点之间传输过程中的安全性。
在本申请方案的一具体示例中，所述第三量子密钥可以采用如下两种方式生成，具体地：
方式一，所述第三量子密钥是所述第一参与方所关联的第三量子密钥生成设备所生成，所述第三量子密钥与所述第一可信节点包含的第一量子密钥生成设备所生成的量子密钥构成量子密钥对；这里，类似于第一量子密钥和第二量子密钥，该第三量子密钥也是量子密钥对中的一个，另外一个是所述第一可信节点包含的第一量子密钥生成设备所生成的，如此，便于所述第一可信节点对基于该第三量子密钥加密处理后的第一目标数据集进行解密处理。实际应用中，第一参与方可以包含有或关联有量子密钥生成设备，如此，利用该第一参与方所包含货关联的量子密钥生成设备生成第三量子密钥。
方式二，所述第三量子密钥是所述第一可信节点包含的第一量子密钥生成设备所生成并冲注至所述移动量子密钥存储介质中，以使所述第一参与方从所述移动量子密钥存储介质中获取所述第三量子密钥。举例来说，第一量子密钥生成设备生成第三量子密钥，并存储在自身的密钥池中；量子密钥充注设备从第一量子密钥生成设备的密钥池中调取第三量子密钥并将其充注到移动量子密钥存储介质中；该移动量子密钥存储介质接入到第一参与方，以便于第一参与方获取到该第三量子密钥，并基于该第三量子密钥对该第一目标数据集进行加密处理。实际应用中，该移动量子密钥存储介质还可以存储有其他量子密钥，如此，便于第一参与方实现加密、解密处理。
实际应用中，在一次加密流程中，上述方式可以择一而执行，本申请方案对此不作限制。
在本申请方案的一具体示例中，所述第一可信节点是预设通信网络中的节点，所述第二可信节点是经过量子密钥认证通过后加入所述预设通信网络的，如此，使得所述第二可信节点能够与所述预设通信网络中的可信节点进行联邦学习。也就是说，实际应用中，形成有预设通信网络，该预设通信网络是安全及可信的，且该第一可信节点和第二可信节点属于该预设通信网络中的节点，如此，基于该预设通信网络中的任意的至少两个可信节点即可实现本申请方案所述的联邦学习，而且，在实现联邦学习的基础上，降低了机器学习的成本。进一步地，使用的机器学习模型的种类也更多，换言之，本申请方案对待训练的机器学习模型的种类不作限制，所以，本申请方案应用范围、适应性均更广，而且，成本更低。
这样，由于本申请方案用于进行联邦学习的第三方为可信节点，所以，无需在加密状态下进行模型训练，解决了现有在加密状态下进行模型训练而导致额外的存储、计算和网络资源的消耗较大的问题，在实现联邦学习的基础上，降低了机器学习的成本，比如降低了网络带宽成本、计算资源的成本，以及降低了人力维护成本等。而且，由于本申请方案所提供的模型训练方法能够在解密的状态下进行，所以，能够使用的机器学习模型的种类更多，换言之，本申请方案对待训练的机器学习模型的种类不作限制，所以，应用范围、适应性均更广，而且，成本更低。
本申请方案还提供了一种基于联邦学习的模型使用方法，如图2所示，该方法包括：
步骤S201：第一可信节点获取到待预测数据。这里，所述待预测数据为待进行预测的用户设备所发送的，本申请方案对用户不作限制。当然，该用户可以参与模型训练的用户，也可以未参与模型训练的用户。
实际应用中，为了避免传输过程中的数据泄露，该待预测数据还可以是加密的数据，比如，采用量子加密方式进行加密的数据，或者采用经典加密方式，如RSA加密算法、MD5信息摘要算法、数据加密标准(DES)算法等加密后的数据，本申请方案对此不作限制，只是，在进行步骤S202输入目标模型之前，对加密的待预测数据进行解密处理即可。
步骤S202：第一可信节点将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果，其中，所述目标模型为以上所述的模型训练方法所得到的模型。
在本申请方案的一具体示例中，第一可信节点将所述第一输出结果作为所述待预测数据的预测结果；比如，当所述第一可信节点存储的目标模型为完成模型，此时，可以直接将第一可信节点得到的第一输出结果作为预测结果，进而将该预测结果直接发送至用户设备，完整预测流程。
或者，将所述待预测数据发送至参与所述目标模型的联邦学习的第二可信节点，并接收所述第二可信节点发送的第二输出结果，其中，所述第二输出结果是所述第二可信节点将所述待预测数据输入至自身存储的目标模型后所得到的；至少基于所述第一输出结果和所述第二输出结果，得到所述待预测数据的预测结果。比如，当所述第一可信节点存储的目标模型不是完整的，即仅包含部分目标模型，此时，为提升模型预测的准确性，完成预测流程，还需要存储有另外部分目标模型的参与节点来参与预测流程，如此，来基于完整的目标模型进行预测，进而提升了模型预测的准确度。这里，需要说明的是，实际应用中，当模型训练的参与节点包含有两个以上，且每个参与节点均仅包含有部分目标模型，此时，需要参与模型训练的所有参与节点来参与模型预测过程，如此，才能完整预测流程，得到基于完整的目标模型预测的针对所述待预测数据的预测结果。当然，在一种示例中，可以有些参与节点存储有部分目标模型，有些参与节点存储有完整的目标模型，本申请方案对此不作限制，只要能够基于完整的目标模型完成预测流程得到针对所述待预测数据的预测结果即可。
这样，由于本申请方案用于进行联邦学习的第三方为可信节点，所以，无需在加密状态下进行模型预测，因此，降低了模型预测成本，比如降低了网络带宽成本、计算资源的成本，以及降低了人力维护成本等，所以，应用范围、适应性均更广，而且，成本更低。
本申请方案还提供了一种基于联邦学习的模型训练系统，如图3所示，包括：第一可信节点301和至少一个第二可信节点302；
所述第一可信节点301，用于接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
所述第二可信节点302，用于发送加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
进一步地，所述第一可信节点，还用于获取所述至少一个第二可信节点所发送的加密处理后的第二中间训练结果；至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
举例来说，在一示例中，所述第一可信节点包含有第一路由器和第一量子密钥生成设备，所述第二可信节点包含有第二路由器和第二量子密钥生成设备。所述第一量子密钥生成设备和所述第二量子密钥生成设备通过量子信号或光纤通信，以生成量子密钥对，并基于生成的量子密钥对对传输的数据(比如第一中间训练数据等)进行加密或解密处理。所述第一路由器和所述第二路由器基于经典通信网络进行通信，比如，传输量子密钥加密处理后的数据。这里，所述第一路由器对待发送的数据进行量子加密后再发送，相当于利用该第一路由器实现安全锁功能，使得该第一可信节点得以作为物理安全装置，这样，一方面提升了第一可信节点的整体安全性，另一方面为在解密状态下完成联邦学习奠定了基础。同理，所述第二路由器对待发送的数据进行量子加密后再发送，相当于利用该第二路由器实现安全锁功能，使得该第二可信节点得以作为物理安全装置，如此，一方面提升了第二可信节点的整体安全性，另一方面为在解密状态下完成联邦学习奠定了基础。
在另一些示例中，所述第一路由器还统一接收发送至所述第一可信节点的数据并进行管理，比如，解密处理等。所述第二路由器还统一接收发送至所述第二可信节点的数据并进行管理，比如，解密处理等。
这样，使得第一可信节点和第二可信节点形成的预设通信网络为可信的、安全的。
在一具体示例中，所述第一可信节点和所述第二可信节点均是经过量子密钥认证，并认证通过后加入至所述预设通信网络的，如此，来进一步提升预设通信网络的安全性。
这里，所述第一可信节点和所述第二可信节点的功能可以参见上述方法中的对应描述，在此不再赘述。
这样，由于本申请方案用于进行联邦学习的第三方为可信节点，所以，无需在加密状态下进行模型训练，解决了现有在加密状态下进行模型训练而导致额外的存储、计算和网络资源的消耗较大的问题，在实现联邦学习的基础上，降低了机器学习的成本，比如降低了网络带宽成本、计算资源的成本，以及降低了人力维护成本等。而且，由于本申请方案所提供的模型训练方法能够在解密的状态下进行，所以，能够使用的机器学习模型的种类更多，换言之，本申请方案对待训练的机器学习模型的种类不作限制，所以，应用范围、适应性均更广，而且，成本更低。
本申请方案还提供了一种基于联邦学习的模型使用系统，包括：第一可信节点和至少一个第二可信节点；这里，所述第一可信节点和所述第二可信节点为参与模型训练的可信节点，且该第一可信节点中存储有部分目标模型，该第二可信节点中也存储有部分目标模型。进一步地，
所述第一可信节点，用于获取到待预测数据；将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果；其中，所述目标模型为以上模型训练方法所得到的模型；
所述第二可信节点，用于接收所述第一可信节点发送的所述待预测数据，并将所述待预测数据输入至自身存储的目标模型后，得到第二输出结果；发送所述第二输出结果；
所述第一可信节点，还用于至少基于所述第一输出结果和所述第二输出结果，得到所述待预测数据的预测结果。
举例来说，当所述第一可信节点存储的目标模型不是完整的，即仅包含部分目标模型，此时，为提升模型预测的准确性，完成预测流程，还需要存储有另外部分目标模型的参与节点来参与预测流程，如此，来基于完整的目标模型进行预测，进而提升了模型预测的准确度。这里，需要说明的是，实际应用中，当模型训练的参与节点包含有两个以上，且每个参与节点均仅包含有部分目标模型，此时，需要参与模型训练的所有参与节点来参与模型预测过程，如此，才能完整预测流程，得到基于完整的目标模型预测的针对所述待预测数据的预测结果。当然，在一种示例中，可以有些参与节点存储有部分目标模型，有些参与节点存储有完整的目标模型，本申请方案对此不作限制，只要能够基于完整的目标模型完成预测流程得到针对所述待预测数据的预测结果即可。
这里，所述第一可信节点和所述第二可信节点的功能可以参见上述方法中的对应描述，在此不再赘述。
这样，由于本申请方案用于进行联邦学习的第三方为可信节点，所以，无需在加密状态下进行模型预测，因此，降低了模型预测成本，比如降低了网络带宽成本、计算资源的成本，以及降低了人力维护成本等，所以，应用范围、适应性均更广，而且，成本更低。
以下结合具体示例对本申请方案做进一步详细说明，本申请方案结合量子信息领域中数据加密和安全传输的技术手段，设计了特定的网络拓扑架构和算法；而且，由于本申请方案将量子信息领域的数据加密和安全传输技术与联邦学习进行结合，所以，本申请方案能够在保障隐私数据安全性的同时，大幅提升计算性能，为人工智能应用在金融、医疗、政务等高安全要求领域的落地提供了技术支撑。
如图4所示，本申请方案的网络拓扑结构，也即预设通信网络，指一个受到量子加密技术保护的可信节点集群所形成的网络。每一个联邦学习的参与方均可以与如图4所示的可信节点相连接，并进行通信；当然，需要说明的是，图4给出的网络拓扑结构仅为示例性地，实际应用中，该网络拓扑结构中还可以包含有其他可信节点，换言之，本申请方案对可信节点集群中可信节点的数量不作限制。进一步地，各参与方只要能够与该可信节点集群连接并通信即可，并不限制与可信节点集群中的具体某个可信节点进行连接。
这里，本申请方案将量子信息领域的数据加密和安全传输技术与联邦学习相结合，且该拓扑结构更加灵活，能够在保障隐私数据安全性的同时大幅提升计算性能，为人工智能应用在金融、医疗、政务等高安全要求领域的落地提供了技术支撑。
进一步地，基于如图4所示的网络拓扑结构，对本申请方案做具体说明：
第一部分：首先对在本申请方案所涉及到的四类加密方式做一个简要介绍如下：
方式一，量子密钥分发(Quantum Key Distribution，QKD)方式，是利用量子力学特性来保证通信安全性，使通信的双方能够产生并分享一个随机的、安全的量子密钥，来加密或解密数据。即在端与端之间分享对称的量子密钥(也即量子密钥对)，并通过光纤通道传输。这种量子密钥是在线实时生成的密钥，其安全性由量子(主要采用的是光子)的物理特性保证，即量子的不可分割性和测不准原理能够保证量子密钥的安全性；实际应用中，可以以一次一密的应用方式，比如加密过程中，一次使用一个量子密钥，如此，达到信息论安全的通信安全效果。
具体地，在一示例中，如图5所示，各可信节点，比如可信节点A(也即第一可信节点)、可信节点B(也即第二可信节点)，均包含有用于进行数据处理的服务器、用于网络连接的路由器，以及用于生成量子密钥的量子网关或量子密钥设备(也即以上所述的量子密钥生成设备)，不同可信节点所包含的量子密钥生成设备之间，比如可信节点A的量子密钥生成设备(也即第一量子密钥生成设备)，与可信节点B的量子密钥生成设备(也即第二量子密钥生成设备)之间形成量子密钥分发网络，以生成用于加密、解密处理的量子密钥对。实际应用中，不同可信节点所包含的量子密钥生成设备之间须由光纤连接，也即量子密钥生成设备之间通过量子信道或光纤进行数据传输，进而生成量子密钥对；而不同可信节点的路由器之间通过经典通信信道传输加密处理后的数据。具体加密流程如下：量子密钥生成设备生成量子密钥并存储在自身对应的密钥池中；路由器从密钥池中调取量子密钥，并对进出路由器的数据根据权限进行解密或加密处理。
在一具体示例中，所述量子加密方式指量子密钥分发方式，是一种以量子为信息载体进行的远程密钥分发方式。实际应用中，量子加密方式的核心器件为量子密钥生成设备，以可信节点A和可信节点B为可信的预设通信网络中节点为例，其产生并分发量子密钥对的工作流程如下：
步骤1：可信节点A包含的量子密钥生成设备(也即第一量子密钥生成设备)中的光学器件产生经过编码的量子(比如主要为光子)序列，并通过量子信道或光纤网络传输给可信节点B点所包含的量子密钥生成设备；
步骤B：可信节点B所包含的量子密钥生成设备(也即第二量子密钥生成设备)基于约定的量子密钥分发协议(如BB84协议等)选取所述量子序列中的至少部分序列作为量子密钥载体；同理，可信节点A所包含的量子密钥生成设备(也即第一量子密钥生成设备)也基于约定的量子密钥分发协议(如BB84协议等)选取所述量子序列中的所述至少部分序列作为量子密钥载体，以得到量子密钥对。这里，可信节点A所包含的量子密钥生成设备与所述可信节点B所包含的量子密钥生成设备所选取的序列相同，如此，得到对称的量子密钥对。
步骤C：可信节点A所包含的量子密钥生成设备中的编码转换器件读取所选取的序列并存储于密钥池中；同理，可信节点B所包含的量子密钥生成设备中的编码转换器件读取所选取的序列并存储于密钥池中。
步骤D：与量子密钥生成设备配对的路由器收发数据时，从各自对应的密钥池中调取量子密钥并进行加解密操作。比如，可信节点A所包含的路由器从第一量子密钥生成设备的密钥池中读取量子密钥，并对需要进行发送的数据进行加密处理；可信节点B所包含的路由器从第二量子密钥生成设备的密钥池中读取量子密钥，并对接收到的数据进行解密处理。
上述过程中，由于承载密钥编码的载体为量子，即量子密钥的载体为量子，所以，基于量子本身的物理特性，导致量子密钥在传输时从原理上就无法被窃取、复制或测量，因此保证了信息安全性。进一步地，由于将量子密钥分发作为数据安全的保障，且各可信节点能够为物理安全装置，所以，使得本申请方案能够使用与传统加密方式完全不同的联邦学习策略。
这里，需要说明的是，当存现新节点预加入该预设通信网络，此时，需要对该新节点进行初始认证，待认证通过后将所述新节点作为本申请方案的可信节点。
方式二，QKD与后量子密码(Post Quantum Cryptography，PQC)的结合，即QKD与PQC的结合加密方式。这里，PQC可以抵御已知量子计算攻击的密码算法，其安全性依赖于计算复杂度，常见PQC包括格的密码(比如基于格上的最短向量、最近向量等困难问题设计的密码)、基于随机编码理论的密码等。所述QKD与PQC的结合加密方式指的是将PQC用于QKD中需要交互的端的初始认证，也即基于PQC对预加入预设通信网络的新节点进行初始认证，然后通过QKD生成所需要的成对临时密钥或者工作密钥(也即以上所述的量子密钥对)。在一示例中，还可以基于QKD不断更新量子密钥，比如基于QKD方式，并通过量子密钥生成设备不断更新量子密钥。实际应用中，该结合加密方式能够使得整个量子加密方案有很强的前向安全性，让整个系统整体可以应对量子攻击，并且更加经济可行。
这里，需要说的是，该方式二与方式一整体类似，只是对新节点的初始认证过程有所差异，比如，方式一中，初始认证由体系管理系统，比如认证系统(可以是独立于可信节点外的第三方认证系统)等来对新节点进行认证，以确保设备认证安全。而方式二中，使用基于PQC的加密算法生成的设备，来对新节点生成的认证密钥进行初始认证，以此规避由于认证密钥被破解而带来的系统安全性风险。
方式三，量子安全移动引擎服务(QSS-ME)，指由量子随机数发生器(QRNG)产生本地的量子密钥。QRNG是根据量子测不准原理等特性构建的随机数发生器，其产生的随机数具有真随机特性，在无法接入QKD网络的情况下，可以使用这种方式产生量子密钥，还可以与QKD网络相互配合，将QKD网络形成的量子密钥用于跨区跨行业跨单位的加密传输。
举例来说，本方式中，所使用的设备包括：量子密钥生成设备，量子密钥充注设备，移动量子密钥存储介质。具体流程如下：量子密钥生成设备生成量子密钥并存储在自身的密钥池中；量子密钥充注设备从密钥池中调取量子密钥并将其充注到移动量子密钥存储介质中；移动量子密钥存储介质接入客户端设备，比如参与方的设备中，并对参与方的相应数据根据权限进行加密或解密处理。这里，需要说明的是，在一示例中，该方式中的量子密钥生成设备可以为第一可信节点所包含的量子密钥生成设备。当然，实际应用中，该方式中的量子密钥生成设备还可以为独立于第一可信节点之外的，或者为独立于所有可信节点之外的其他的量子密钥生成设备，只要能够确保接收端，比如第一可信节点对基于该方式三加密处理后的数据进行解密处理即可。
方式四：经典加密方式，如目前主流的RSA、MD5、DES等算法。
这里，需要说明的是，本申请方案，方式一和方式二，适应于可信节点之间的数据传输，即可信节点基于方式一或方式二的加密方式对所需传输的数据进行加密处理后，发送至其他的可信节点；以及适应于参与方与可信节点之间的数据加密传输，即参与方基于方式一或方式二的加密方式对所需传输的数据进行加密处理后，发送至可信节点。而方式三和方式四，只适用于参与方与可信节点之间的数据加密传输，即参与方基于方式三或方式四的加密方式对所需传输的数据进行加密处理后，发送至可信节点。
基于此，本申请方案所提供的基于联邦学习的模型训练方法可以具体包括：对于参与方而言，运用以上所述的方式一、方式二、方式三或方式四将待进行模型训练的数据集加密后，上传到该参与方指定的可信节点上，其中，该可信节点是使用量子密钥设备进行加密处理后的节点，并且由多个这样的可信节点组成可信节点集群网络(也即预设通信网络)，该可信节点集群网络的每一个可信节点上部署待进行训练的预设机器学习模型。
第二步骤，联邦机器学习训练及推理流程；
以纵向联邦学习流程为例对本申请方案做进一步解释说明，这里，假设参与方A(也即第一参与方)和参与方B(也即第二参与方)要联合训练一个预设机器学习模型，而且，参与方A和参与方B所提供的数据集的用户ID交叉很大，但各自提供的数据集的特征空间(也即数据特征)并不重合。
步骤1：参与方A将所提供的数据集用以上所述的四种加密方式中的任意一种方式进行加密处理后，上传至可信节点集群网络中的可信节点A；同理，参与方B将所提供的数据集用以上所述的四种加密方式中的任意一种方式进行加密处理后，上传至可信节点集群网络中的可信节点B。
步骤2：参与方A，参与方B进行实体(也即参与方所提供的数据集所包含的用户)对齐，由于参与方，比如公司A和公司B的用户组不同，基于此，可以使用基于加密的用户ID对齐技术，来确认双方的共同用户，得到公共实体，而此时公司A和公司B不会暴露各自的数据。在实体对齐过程中，不会公开彼此不重叠的用户。
步骤3：可信节点A和可信节点B基于公共实体对预设机器学习模型进行训练。以线性回归模型为例，具体流程如下：
可信节点A初始化模型参数，得到模型参数ΘA，所述可信节点B初始化模型参数，得到模型参数ΘB；进一步地，所述可信节点A基于自身提供的数据集，确定出与所述公共实体所匹配的数据，并基于所述公共实体所匹配的数据计算得到中间变量
Figure BDA0003047742590000171
发送至可信节点B；同理，所述可信节点B基于自身提供的数据集，确定出与所述公共实体所匹配的数据，并基于所述公共实体所匹配的数据计算得到中间变量
Figure BDA0003047742590000172
并发送至可信节点A。可信节点A计算出梯度
Figure BDA0003047742590000173
并基于计算出的梯度值更新模型参数ΘA，同理，可信节点B计算出梯度
Figure BDA0003047742590000174
并基于计算出的梯度值更新模型参数ΘB，如此，循环迭代，最小化目标损失函数L，以得到最优模型参数
Figure BDA0003047742590000175
以及最优模型参数
Figure BDA0003047742590000176
如此，完成训练，在学习完成后，可信节点A、可信节点B双方各自拥有相应数据特征维度的训练参数，换言之，两者拥有学习完成的部分模型。当然，实际应用中，可信节点A或可信节点B，或者参与联邦学习的任意可信节点均可以拥有完整的学习完成的模型，本申请方案对此不作限制。
此时，若要对某一具体数据做推理，此时，假设推理需求由参与方A发起，则推理流程如下：
参与方A将加密处理后的待预测数据发送至可信节点A，可信节点A接收到待预测数据，并将待预测数据发送至可信节点B，并接收可信节点B发送的中间变量
Figure BDA0003047742590000181
此时，可信节点A基于得到中间变量
Figure BDA0003047742590000182
以及接收到的中间变量
Figure BDA0003047742590000183
计算得到预测结果，以完成预测推理流程。
需要说明的是，推理需求发起方可以是参与模型训练的任意一方，也可以未参与模型训练的其他方，此时，只需其他方将待预测数据发送至参与模型训练的任意可信节点，即可完成预测推理流程。
当然，实际应用中，由于本申请方案所采用的节点为可信节点，所以，可信节点A和可信节点B还可以共享学习完成的最优模型参数，如此，使得参与模型训练的所有可信节点，比如可信节点A和可信节点B均拥有学习完成的、且完整的模型。
以上即为纵向联邦学习的流程，在一示例中，上述过程中的参与方A的数据集只存在本地以及可信节点A中，同理，参与方B的数据集只存在参与方B本地以及可信节点B中，如此，在保护数据隐私性的前提下，实现了多方联合机器学习，得到基于公司A、公司B双方数据特征及标签做联合训练的机器学习模型。
进一步地，以横向联邦学习流程为例对本申请方案做进一步解释说明，这里，横向联邦学习中参与方所提供的数据集有着相同的数据特征空间，但用户ID并不重合，模型训练与推理的流程具体包括：
第一步：参与方A将所需训练的数据集发送至可信节点A，可信节点A计算该参与方A所提供的数据集的梯度信息，并将计算得到的针对该参与方A所提供的数据集的梯度信息同步至参与联邦学习的所有参与方，比如参与方B。同理，参与方B将所需训练的数据集发送至可信节点B，可信节点B计算该参与方B所提供的数据集的梯度信息，并将计算得到的针对该参与方B所提供的数据集的梯度信息同步至参与联邦学习的所有参与方，比如参与方A。这里，需要说明的是，可信节点之间所传输的梯度信息，即为中间训练结果，该梯度信息需要加密处理后再发送至参与联邦学习的其他可信节点，而该示例中，可信节点之间传输的数据同样可以采用上述方式一或方式二所述的方式进行加密处理，这里不再赘述。
第二步：参与联邦学习的各可信节点，比如，可信节点A或可信节点B使用解密的梯度信息更新各自的预设机器学习模型，循环迭代，以最小化目标损失函数。在一种示例中，所有参与模型训练的可信节点均同步更新梯度信息，并最小化目标损失函数，如此，完成模型训练，此时，所有参与联邦学习的可信节点均具有相同且完整的模型；而且，该示例下，在推理预测流程中，各参与模型训练的可信节点均能够独立完成。当然，在另一种示例中，还可以将所有梯度信息汇聚到一个中心的可信节点，由该中心的可信节点来更新梯度信息，此时，学习完成的模型即存在于该中心的可信节点中。
总体而言，本申请方案使用量子密钥的数据加密和安全传输手段替代现有联邦机器学习中的同态加密、多方安全计算等手段，在保障整体数据隐私的安全性的同时，大幅降低了联邦学习技术方案中的计算量。如此，使得联邦学习技术的适用范围大幅拓展，并能够扩展到神经网络等大部分当前已经被广泛应用的机器学习模型中，为联邦学习广泛应用于金融、医疗、政务、工业等多个行业奠定了基础。
同时，本申请方案还降低了联邦学习技术的应用成本。这里，由于本申请方案不再需要在密态下进行训练和推理，因此，本申请方案无需增加额外的算力和网络等资源部署，在可信节点中也只需部署适配普通机器学习的算力资源即可实现联邦学习。实际应用中，各参与方为了实施本申请方案，只需投入相应的量子加密相关设备(比如量子密钥生成设备等)的费用即可，而这部分费用远低于现有联邦学习方案中所需要增加的服务器、一体机等费用，因此，相对于现有技术而言，本申请方案还能够降低联邦学习的实施成本。
本申请方案还提供了一种第一可信节点，如图6所示，包括：
第一接收单元601，用于接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；
中间训练结果确定单元602，用于对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
中间训练结果获取单元603，用于获取至少一个第二可信节点所发送的加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
联邦学习单元604，用于至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
在本申请方案的一具体示例中，还包括：
加密处理单元，用于基于第二预设加密方式对所述第一中间训练结果进行加密处理；
第一发送单元，用于将加密处理后的所述第一中间训练结果发送至所述第二可信节点；其中，所述第二可信节点能够对加密处理后的所述第一中间训练结果进行解密处理后，以对所述预设机器学习模型进行模型训练，更新所述预设机器学习模型的模型参数。
在本申请方案的一具体示例中，所述加密处理单元，还用于基于所述第一可信节点包含的第一量子密钥生成设备所生成的第一量子密钥，对所述第一中间训练结果进行加密处理。
在本申请方案的一具体示例中，所述第一量子密钥生成设备存储有密钥池，所述密钥池中包含至少一个量子密钥；
所述加密处理单元，还用于基于所述第一可信节点所包含的第一路由器从所述密钥池中获取第一量子密钥，并基于所述第一量子密钥对所述第一中间训练结果进行加密处理。
在本申请方案的一具体示例中，还包括：
解密处理单元，用于基于所述第一可信节点包含的第一量子密钥生成设备所生成的第二量子密钥，对所述第二中间训练结果进行解密处理，其中，所述第二量子密钥与所述第二可信节点包含的第二量子密钥生成设备所生成的量子密钥构成量子密钥对，所述第二可信节点是基于与所述第二量子密钥构成量子密钥对的量子密钥对所述第二中间训练结果进行加密处理的。
在本申请方案的一具体示例中，所述第一可信节点得到学习完成的所述目标模型中模型参数的目标参数值，以得到所述目标模型；或者，
所述第一可信节点得到学习完成的所述目标模型中部分模型参数的目标参数值，以得到部分所述目标模型。
在本申请方案的一具体示例中，所述中间训练结果确定单元，还用于将所述第一目标数据集，以及与所述第一目标数据集进行联邦学习的第二目标数据集进行数据标识匹配，得到匹配结果满足预设规则的数据集；将所述第一目标数据集中匹配结果满足预设规则的数据集作为所述第一训练数据。
在本申请方案的一具体示例中，所述第一目标数据集是基于第三量子密钥对所述第一参与方所提供的数据集进行加密处理后所得到的。
在本申请方案的一具体示例中，所述第三量子密钥是所述第一参与方所关联的第三量子密钥生成设备所生成，所述第三量子密钥与所述第一可信节点包含的第一量子密钥生成设备所生成的量子密钥构成量子密钥对；或者，
所述第三量子密钥是所述第一可信节点包含的第一量子密钥生成设备所生成并冲注至所述移动量子密钥存储介质中，以使所述第一参与方从所述移动量子密钥存储介质中获取所述第三量子密钥。
在本申请方案的一具体示例中，所述第一可信节点是预设通信网络中的节点，所述第二可信节点是经过量子密钥认证通过后加入所述预设通信网络的，以使所述第二可信节点能够与所述预设通信网络中的可信节点进行联邦学习。
本发明实施例第一可信节点中各单元的功能可以参见上述方法中的对应描述，在此不再赘述。
本申请方案还提供了一种第一可信节点，如图7所示，包括：
获取单元701，用于获取到待预测数据；
模型预测单元702，用于将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果，其中，所述目标模型为以上模型训练方法所得到的模型。
在本申请方案的一具体示例中，还包括：
预测结果确定单元，用于将所述第一输出结果作为所述待预测数据的预测结果。
在本申请方案的一具体示例中，还包括：
第二发送单元，用于将所述待预测数据发送至参与所述目标模型的联邦学习的第二可信节点；
第二接收单元，用于接收所述第二可信节点发送的第二输出结果，其中，所述第二输出结果是所述第二可信节点将所述待预测数据输入至自身存储的目标模型后所得到的；
预测结果确定单元，用于至少基于所述第一输出结果和所述第二输出结果，得到所述待预测数据的预测结果。
本发明实施例第一可信节点中各单元的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
如图8所示，电子设备800包括计算单元801，其可以根据存储在只读存储器(ROM)802中的计算机程序或者从存储单元808加载到随机访问存储器(RAM)803中的计算机程序来执行各种适当的动作和处理。在RAM 803中，还可存储电子设备800操作所需的各种程序和数据。计算单元801、ROM 802以及RAM 803通过总线804彼此相连。输入输出(I/O)接口805也连接至总线804。
电子设备800中的多个部件连接至I/O接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许电子设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如基于联邦学习的模型训练方法或模型使用方法。例如，在一些实施例中，基于联邦学习的模型训练方法或模型使用方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由ROM 802和/或通信单元809而被载入和/或安装到电子设备800上。当计算机程序加载到RAM803并由计算单元801执行时，可以执行上文描述的基于联邦学习的模型训练方法或模型使用方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于联邦学习的模型训练方法或模型使用方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (29)

1.一种基于联邦学习的模型训练方法，包括：
第一可信节点接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；
所述第一可信节点对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
所述第一可信节点获取至少一个第二可信节点所发送的加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
2.根据权利要求1所述的方法，还包括：
基于第二预设加密方式对所述第一中间训练结果进行加密处理，并将加密处理后的所述第一中间训练结果发送至所述第二可信节点；其中，所述第二可信节点能够对加密处理后的所述第一中间训练结果进行解密处理后，以对所述预设机器学习模型进行模型训练，更新所述预设机器学习模型的模型参数。
3.根据权利要求2所述的方法，其中，所述基于第二预设加密方式对所述第一中间训练结果进行加密处理，包括：
基于所述第一可信节点包含的第一量子密钥生成设备所生成的第一量子密钥，对所述第一中间训练结果进行加密处理。
4.根据权利要求3所述的方法，其中，所述第一量子密钥生成设备存储有密钥池，所述密钥池中包含至少一个量子密钥；
所述基于所述第一可信节点包含的第一量子密钥生成设备所生成的第一量子密钥，对所述第一中间训练结果进行加密处理，包括：
基于所述第一可信节点所包含的第一路由器从所述密钥池中获取第一量子密钥，并基于所述第一量子密钥对所述第一中间训练结果进行加密处理。
5.根据权利要求1所述的方法，还包括：
基于所述第一可信节点包含的第一量子密钥生成设备所生成的第二量子密钥，对所述第二中间训练结果进行解密处理，其中，所述第二量子密钥与所述第二可信节点包含的第二量子密钥生成设备所生成的量子密钥构成量子密钥对，所述第二可信节点是基于与所述第二量子密钥构成量子密钥对的量子密钥对所述第二中间训练结果进行加密处理的。
6.根据权利要求1所述的方法，其中，所述第一可信节点得到学习完成的所述目标模型中模型参数的目标参数值，以得到所述目标模型；或者，
所述第一可信节点得到学习完成的所述目标模型中部分模型参数的目标参数值，以得到部分所述目标模型。
7.根据权利要求1所述的方法，其中，所述确定出第一训练数据，包括：
将所述第一目标数据集，以及与所述第一目标数据集进行联邦学习的第二目标数据集进行数据标识匹配，得到匹配结果满足预设规则的数据集；
将所述第一目标数据集中匹配结果满足预设规则的数据集作为所述第一训练数据。
8.根据权利要求1所述的方法，其中，所述第一目标数据集是基于第三量子密钥对所述第一参与方所提供的数据集进行加密处理后所得到的。
9.根据权利要求8所述的方法，其中，所述第三量子密钥是所述第一参与方所关联的第三量子密钥生成设备所生成，所述第三量子密钥与所述第一可信节点包含的第一量子密钥生成设备所生成的量子密钥构成量子密钥对；或者，
所述第三量子密钥是所述第一可信节点包含的第一量子密钥生成设备所生成并冲注至移动量子密钥存储介质中，以使所述第一参与方从所述移动量子密钥存储介质中获取所述第三量子密钥。
10.根据权利要求1所述的方法，其中，所述第一可信节点是预设通信网络中的节点，所述第二可信节点是经过量子密钥认证通过后加入所述预设通信网络的，以使所述第二可信节点能够与所述预设通信网络中的可信节点进行联邦学习。
11.一种基于联邦学习的模型使用方法，包括：
第一可信节点获取到待预测数据；
将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果，其中，所述目标模型为权利要求1至10中任一项训练方法所得到的模型。
12.根据权利要求11所述的方法，还包括：
将所述第一输出结果作为所述待预测数据的预测结果；
或者，
将所述待预测数据发送至参与所述目标模型的联邦学习的第二可信节点，并接收所述第二可信节点发送的第二输出结果，其中，所述第二输出结果是所述第二可信节点将所述待预测数据输入至自身存储的目标模型后所得到的；
至少基于所述第一输出结果和所述第二输出结果，得到所述待预测数据的预测结果。
13.一种第一可信节点，包括：
第一接收单元，用于接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；
中间训练结果确定单元，用于对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
中间训练结果获取单元，用于获取至少一个第二可信节点所发送的加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
联邦学习单元，用于至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
14.根据权利要求13所述的节点，还包括：
加密处理单元，用于基于第二预设加密方式对所述第一中间训练结果进行加密处理；
第一发送单元，用于将加密处理后的所述第一中间训练结果发送至所述第二可信节点；其中，所述第二可信节点能够对加密处理后的所述第一中间训练结果进行解密处理后，以对所述预设机器学习模型进行模型训练，更新所述预设机器学习模型的模型参数。
15.根据权利要求14所述的节点，其中，所述加密处理单元，还用于基于所述第一可信节点包含的第一量子密钥生成设备所生成的第一量子密钥，对所述第一中间训练结果进行加密处理。
16.根据权利要求15所述的节点，其中，所述第一量子密钥生成设备存储有密钥池，所述密钥池中包含至少一个量子密钥；
所述加密处理单元，还用于基于所述第一可信节点所包含的第一路由器从所述密钥池中获取第一量子密钥，并基于所述第一量子密钥对所述第一中间训练结果进行加密处理。
17.根据权利要求13所述的节点，还包括：
解密处理单元，用于基于所述第一可信节点包含的第一量子密钥生成设备所生成的第二量子密钥，对所述第二中间训练结果进行解密处理，其中，所述第二量子密钥与所述第二可信节点包含的第二量子密钥生成设备所生成的量子密钥构成量子密钥对，所述第二可信节点是基于与所述第二量子密钥构成量子密钥对的量子密钥对所述第二中间训练结果进行加密处理的。
18.根据权利要求13所述的节点，其中，所述第一可信节点得到学习完成的所述目标模型中模型参数的目标参数值，以得到所述目标模型；或者，
所述第一可信节点得到学习完成的所述目标模型中部分模型参数的目标参数值，以得到部分所述目标模型。
19.根据权利要求13所述的节点，其中，所述中间训练结果确定单元，还用于将所述第一目标数据集，以及与所述第一目标数据集进行联邦学习的第二目标数据集进行数据标识匹配，得到匹配结果满足预设规则的数据集；将所述第一目标数据集中匹配结果满足预设规则的数据集作为所述第一训练数据。
20.根据权利要求13所述的节点，其中，所述第一目标数据集是基于第三量子密钥对所述第一参与方所提供的数据集进行加密处理后所得到的。
21.根据权利要求20所述的节点，其中，所述第三量子密钥是所述第一参与方所关联的第三量子密钥生成设备所生成，所述第三量子密钥与所述第一可信节点包含的第一量子密钥生成设备所生成的量子密钥构成量子密钥对；或者，
所述第三量子密钥是所述第一可信节点包含的第一量子密钥生成设备所生成并冲注至移动量子密钥存储介质中，以使所述第一参与方从所述移动量子密钥存储介质中获取所述第三量子密钥。
22.根据权利要求13所述的节点，其中，所述第一可信节点是预设通信网络中的节点，所述第二可信节点是经过量子密钥认证通过后加入所述预设通信网络的，以使所述第二可信节点能够与所述预设通信网络中的可信节点进行联邦学习。
23.一种第一可信节点，其特征在于，包括：
获取单元，用于获取到待预测数据；
模型预测单元，用于将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果，其中，所述目标模型为权利要求1至10中任一项训练方法所得到的模型。
24.根据权利要求23所述的节点，还包括：
预测结果确定单元，用于将所述第一输出结果作为所述待预测数据的预测结果。
25.根据权利要求23所述的节点，还包括：
第二发送单元，用于将所述待预测数据发送至参与所述目标模型的联邦学习的第二可信节点；
第二接收单元，用于接收所述第二可信节点发送的第二输出结果，其中，所述第二输出结果是所述第二可信节点将所述待预测数据输入至自身存储的目标模型后所得到的；
预测结果确定单元，用于至少基于所述第一输出结果和所述第二输出结果，得到所述待预测数据的预测结果。
26.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10中任一项所述的模型训练方法，或者，执行权利要求11或12所述的模型使用方法。
27.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-10中任一项所述的模型训练方法，或者，执行权利要求11或12所述的模型使用方法。
28.一种基于联邦学习的模型训练系统，包括：第一可信节点和至少一个第二可信节点；
所述第一可信节点，用于接收第一参与方发送的第一目标数据集，其中，所述第一目标数据集是所述第一参与方基于第一预设加密方式对自身所提供的数据集进行加密处理后所得到的；对所述第一目标数据集进行解密处理，并确定出第一训练数据，基于所述第一训练数据对预设机器学习模型进行模型训练，得到第一中间训练结果；
所述第二可信节点，用于发送加密处理后的第二中间训练结果，其中，所述第二中间训练结果是所述第二可信节点至少基于第二训练数据对所述预设机器学习模型进行模型训练后所得到；所述第二训练数据是所述第二可信节点对加密处理后的第二目标数据集进行解密处理后所确定出的；所述第二目标数据集是第二参与方所提供的用于与所述第一目标数据集进行联邦学习；
所述第一可信节点，还用于获取所述至少一个第二可信节点所发送的加密处理后的第二中间训练结果；至少基于所述第一中间训练结果以及解密处理后的所述第二中间训练结果对所述预设机器学习模型进行联邦学习，以更新所述预设机器学习模型的模型参数，得到学习完成的目标模型。
29.一种基于联邦学习的模型使用系统，包括：第一可信节点和至少一个第二可信节点；
所述第一可信节点，用于获取到待预测数据；将所述待预测数据输入至所述第一可信节点所存储的目标模型中，得到第一输出结果；其中，所述目标模型为权利要求1至10中任一项训练方法所得到的模型；
所述第二可信节点，用于接收所述第一可信节点发送的所述待预测数据，并将所述待预测数据输入至自身存储的目标模型后，得到第二输出结果；发送所述第二输出结果；
所述第一可信节点，还用于至少基于所述第一输出结果和所述第二输出结果，得到所述待预测数据的预测结果。
CN202110476948.4A 2021-04-29 2021-04-29 模型训练方法、使用方法、系统、可信节点及设备 Active CN113033828B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110476948.4A CN113033828B (zh) 2021-04-29 2021-04-29 模型训练方法、使用方法、系统、可信节点及设备
US17/669,922 US12001569B2 (en) 2021-04-29 2022-02-11 Model training method, model using method, system, trusted node and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110476948.4A CN113033828B (zh) 2021-04-29 2021-04-29 模型训练方法、使用方法、系统、可信节点及设备

Publications (2)

Publication Number Publication Date
CN113033828A CN113033828A (zh) 2021-06-25
CN113033828B true CN113033828B (zh) 2022-03-22

Family

ID=76455270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110476948.4A Active CN113033828B (zh) 2021-04-29 2021-04-29 模型训练方法、使用方法、系统、可信节点及设备

Country Status (2)

Country Link
US (1) US12001569B2 (zh)
CN (1) CN113033828B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537516B (zh) 2021-09-15 2021-12-14 北京百度网讯科技有限公司 分布式机器学习模型的训练方法、装置、设备和介质
CN113872756A (zh) * 2021-09-16 2021-12-31 国科量子通信网络有限公司 基于联邦学习的量子保密通信服务画像实现方法
CN116049084A (zh) * 2021-10-28 2023-05-02 华为技术有限公司 一种模型训练系统和方法
CN114006769B (zh) * 2021-11-25 2024-02-06 中国银行股份有限公司 基于横向联邦学习的模型训练方法及其设备
CN114492846B (zh) * 2022-04-06 2022-08-26 天聚地合(苏州)科技股份有限公司 基于可信执行环境的跨域联邦学习方法及系统
WO2024036594A1 (en) * 2022-08-19 2024-02-22 Qualcomm Incorporated Methods for discovery and signaling procedure for clustered and peer-to-peer federated learning
WO2024072065A1 (ko) * 2022-09-29 2024-04-04 엘지전자 주식회사 무선 통신 시스템에서 신호 송수신 방법 및 장치
WO2024197846A1 (zh) * 2023-03-31 2024-10-03 Oppo广东移动通信有限公司 一种通信的方法、装置、设备、芯片和存储介质
CN116886276B (zh) * 2023-05-29 2023-11-14 北京中超伟业信息安全技术股份有限公司 一种基于动态密钥的数据传输方法及系统
CN116366250B (zh) * 2023-06-02 2023-08-15 江苏微知量子科技有限公司 一种量子联邦学习方法及系统
CN116882571B (zh) * 2023-07-12 2023-12-12 南京邮电大学 一种基于安全纵向联邦回归模型的烟草销售违规信息预测方法
CN117278339B (zh) * 2023-11-23 2024-04-09 广东广宇科技发展有限公司 一种基于双向同步密钥池的数据独立传输验证方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN111027086A (zh) * 2019-12-16 2020-04-17 支付宝(杭州)信息技术有限公司 一种私有数据保护方法和系统
CN111539731A (zh) * 2020-06-19 2020-08-14 支付宝(杭州)信息技术有限公司 基于区块链的联邦学习方法及装置和电子设备
CN111860829A (zh) * 2020-06-19 2020-10-30 光之树(北京)科技有限公司 联邦学习模型的训练方法及装置
CN112084257A (zh) * 2019-06-12 2020-12-15 国际商业机器公司 有效的数据库机器学习验证
CN112383396A (zh) * 2021-01-08 2021-02-19 索信达(北京)数据技术有限公司 一种联邦学习模型训练方法及系统
CN112580821A (zh) * 2020-12-10 2021-03-30 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN112651510A (zh) * 2019-10-12 2021-04-13 华为技术有限公司 模型更新方法、工作节点及模型更新系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265159A (ja) * 2008-04-22 2009-11-12 Nec Corp 秘匿通信ネットワークにおける共有乱数管理方法および管理システム
CN106301769B (zh) * 2015-06-08 2020-04-10 阿里巴巴集团控股有限公司 量子密钥输出方法、存储一致性验证方法、装置及系统
CN107086908B (zh) * 2016-02-15 2021-07-06 阿里巴巴集团控股有限公司 一种量子密钥分发方法及装置
CN108023725B (zh) * 2016-11-04 2020-10-09 华为技术有限公司 一种基于集中管理与控制网络的量子密钥中继方法和装置
CN109561047B (zh) * 2017-09-26 2021-04-13 安徽问天量子科技股份有限公司 基于密钥异地存储的加密数据存储系统及方法
CN113726734A (zh) * 2018-03-09 2021-11-30 山东量子科学技术研究院有限公司 一种量子密钥分配网络、可穿戴设备和目标服务器
CN112865964B (zh) * 2018-04-13 2024-04-12 华为技术有限公司 一种量子密钥分发方法、设备及存储介质
CN108920156A (zh) * 2018-05-29 2018-11-30 Oppo广东移动通信有限公司 应用程序预测模型建立方法、装置、存储介质及终端
CN111460453B (zh) * 2019-01-22 2023-12-12 百度在线网络技术（北京）有限公司 机器学习训练方法、控制器、装置、服务器、终端和介质
CN109961106B (zh) * 2019-04-18 2022-03-18 北京百度网讯科技有限公司 轨迹分类模型的训练方法和装置、电子设备
CN110414187B (zh) * 2019-07-03 2021-09-17 北京百度网讯科技有限公司 模型安全交付自动化的系统及其方法
CN112632567A (zh) * 2019-10-08 2021-04-09 杭州锘崴信息科技有限公司 一种多数据源全流程加密大数据分析方法和系统
CN114691167A (zh) * 2020-12-31 2022-07-01 华为技术有限公司 机器学习模型更新的方法和装置
US11652619B2 (en) * 2021-03-15 2023-05-16 Evolutionq Inc. System and method for optimizing the routing of quantum key distribution (QKD) key material in a network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN112084257A (zh) * 2019-06-12 2020-12-15 国际商业机器公司 有效的数据库机器学习验证
CN112651510A (zh) * 2019-10-12 2021-04-13 华为技术有限公司 模型更新方法、工作节点及模型更新系统
CN111027086A (zh) * 2019-12-16 2020-04-17 支付宝(杭州)信息技术有限公司 一种私有数据保护方法和系统
CN111539731A (zh) * 2020-06-19 2020-08-14 支付宝(杭州)信息技术有限公司 基于区块链的联邦学习方法及装置和电子设备
CN111860829A (zh) * 2020-06-19 2020-10-30 光之树(北京)科技有限公司 联邦学习模型的训练方法及装置
CN112580821A (zh) * 2020-12-10 2021-03-30 深圳前海微众银行股份有限公司 一种联邦学习方法、装置、设备及存储介质
CN112383396A (zh) * 2021-01-08 2021-02-19 索信达(北京)数据技术有限公司 一种联邦学习模型训练方法及系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Communication-Efficient Learning of Deep Networks from Decentralized Data;H. Brendan McMahan et al.;《arXiv》;20170228;第1-11页 *
Federated Machine Learning: Survey, Multi-Level Classification, Desirable Criteria and Future Directions in Communication and Networking Systems;Omar Abdel Wahab et al.;《IEEE COMMUNICATIONS SURVEYS & TUTORIALS》;20210210;第23卷(第2期);第1342-1397页 *
FPGA-Based Hardware Accelerator of Homomorphic Encryption for Efficient Federated Learning;Zhaoxiong Yang et al.;《arXiv》;20200721;第1-7页 *
面向隐私保护的多方联合学习方法研究;李启飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20210215;第2021年卷(第2期);第I137-1页 *

Also Published As

Publication number Publication date
US12001569B2 (en) 2024-06-04
US20220350898A1 (en) 2022-11-03
CN113033828A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN113033828B (zh) 模型训练方法、使用方法、系统、可信节点及设备
KR102476902B1 (ko) 프라이버시 집합의 교집합 획득 방법, 장치, 기기 및 저장 매체
US11595196B2 (en) Quantum key distribution method and device, and storage medium
CN110008717B (zh) 支持隐私保护的决策树分类服务系统及方法
CN111512589B (zh) 用于利用spdz的快速安全多方内积的方法
WO2022237450A1 (zh) 多方安全计算方法、装置、设备及存储介质
CN113162752B (zh) 基于混合同态加密的数据处理方法和装置
CN111783129A (zh) 一种保护隐私的数据处理方法及系统
CN116502732B (zh) 基于可信执行环境的联邦学习方法以及系统
Sun et al. Efficient Multiparty Quantum Key Agreement With a Single $ d $-Level Quantum System Secure Against Collusive Attack
WO2022153039A1 (en) System and method for group key formation
CN114301677B (zh) 秘钥协商方法、装置、电子设备及存储介质
Wang et al. Secure multi-party convex hull protocol based on quantum homomorphic encryption
Wu et al. Privacy-Preserving Serverless Federated Learning Scheme for Internet of Things
CN117540426A (zh) 基于同态加密和联邦学习的能源电力数据共享方法及装置
Yang et al. Research on quantum dialogue protocol based on the HHL algorithm
KR101836947B1 (ko) 양자 통신에서의 다자간 키 분배 방법, 이를 이용하는 양자 통신 방법 및 이를 수행하는 양자 통신 시스템
Araki et al. High-throughput secure three-party computation of kerberos ticket generation
CN104601323B (zh) 基于bdd解决社会主义百万富翁问题的方法
CN113904779B (zh) 基于超密编码的身份认证方法、系统、设备和存储介质
TWI782701B (zh) 區塊鏈錢包的非互動式批核系統及其方法
CN114398658A (zh) 数据处理方法及设备
CN114462626A (zh) 联邦模型训练方法、装置、终端设备以及存储介质
Liu et al. Efficient and Privacy-Preserving Neural Network Prediction Scheme with TEE
Prajapat et al. A practical convertible quantum signature scheme with public verifiability into universal quantum designated verifier signature using self-certified public keys

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant