CN110399742B - 一种联邦迁移学习模型的训练、预测方法及装置 - Google Patents

一种联邦迁移学习模型的训练、预测方法及装置 Download PDF

Info

Publication number
CN110399742B
CN110399742B CN201910691510.0A CN201910691510A CN110399742B CN 110399742 B CN110399742 B CN 110399742B CN 201910691510 A CN201910691510 A CN 201910691510A CN 110399742 B CN110399742 B CN 110399742B
Authority
CN
China
Prior art keywords
model
encryption
terminal
neural network
parameter server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910691510.0A
Other languages
English (en)
Other versions
CN110399742A (zh
Inventor
康焱
刘洋
陈天健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN201910691510.0A priority Critical patent/CN110399742B/zh
Publication of CN110399742A publication Critical patent/CN110399742A/zh
Application granted granted Critical
Publication of CN110399742B publication Critical patent/CN110399742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/08—Key distribution or management, e.g. generation, sharing or updating, of cryptographic keys or passwords
    • H04L9/0816—Key establishment, i.e. cryptographic processes or cryptographic protocols whereby a shared secret becomes available to two or more parties, for subsequent use
    • H04L9/085—Secret sharing or secret splitting, e.g. threshold schemes

Abstract

本发明涉及人工智能技术领域，具体为一种联邦迁移学习模型的训练、预测方法及装置；所述方法包括：第一终端获取参数服务器在第i个训练周期下发的加密迁移模型；加密迁移模型为参数服务器根据K个参与方的K个终端在第i‑1个训练周期上传的K个加密共享模型生成的；第一终端在第i个训练周期根据下发的加密迁移模型更新第一终端的第一本地神经网络模型中的加密共享模型，并根据第一数据训练更新第一本地神经网络模型。这样在联邦迁移学习训练过程中，保证了各参与方数据的隐私性，有效提高了模型的训练效率,并且在保障模型的泛化能力的同时，提高了各终端模型的独特性。

Description

一种联邦迁移学习模型的训练、预测方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种联邦迁移学习模型的训练、预测方法及装置。
背景技术
随着计算机技术的发展，越来越多的技术应用在金融领域，传统金融业正在逐步向科技金融(Fintech)转变，人工智能技术也不例外，但由于金融行业的安全性、实时性要求，也对技术提出的更高的要求。
随着互联网技术的发展，网络平台上信息大量而多样，如何实现为用户推荐个性化和感兴趣的信息服务，是非常重要的。
然而，现有的本地神经网络模型在数据学习过程中仍存在数据泄露和用户隐私泄露的风险，且无法保证各参与方训练的模型预测的特异性。因此，如何保护用户数据隐私的同时，提高用户覆盖率和推荐信息的多样性，是一个亟待解决的问题。
发明内容
本发明实施例提供一种联邦迁移学习模型的训练、预测及装置，以解决现有技术中模型的数据安全性较低的问题。
本发明实施例提供的具体技术方案如下：
本发明一个实施例提供了一种联邦迁移学习模型的训练方法，包括：
第一终端获取参数服务器在第i个训练周期下发的加密迁移模型；所述加密迁移模型为所述参数服务器根据K个参与方的K个终端在第i-1个训练周期上传的K个加密共享模型生成的；所述第一终端为所述K个终端中的任一终端；第1个训练周期训练的所述加密共享模型为第一终端根据参数服务器下发的初始加密迁移模型及第一数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；所述第一数据为所述第一终端的训练数据；i，K为正整数；i大于1；
所述第一终端根据所述参数服务器在第i个训练周期下发的加密迁移模型更新所述第一终端的第一本地神经网络模型中的加密共享模型，并根据所述第一数据训练更新所述第一本地神经网络模型，从而得到所述第一本地神经网络模型在第i个训练周期的加密共享模型；
所述第一终端将所述加密共享模型上传到所述参数服务器。
本发明实施例中，通过参数服务器在第一训练周期下发初始加密迁移模型，以使各终端通过各自的数据训练本地神经网络模型中的加密共享模型，并通过参数服务器，将各训练周期的各终端训练的加密共享模型生成加密迁移模型，以进行下一训练周期的训练，最终训练出的各自的加密共享模型满足本地神经网络模型的特征。并且，由于加密共享模型针对各参与方是密文，实现各参与方，在无法获知共享模型的具体参数的情况下，保证了各参与方数据的隐私性和安全性的同时，有效提高了模型的训练效率，通过加密共享模型更好的实现本地神经网络模型的预测。
一种可能的实现方式，所述第一终端根据所述加密迁移模型，更新所述第一终端的第一本地神经网络模型的加密共享模型，包括：
所述第一终端根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的加密共享模型。
上述技术方案中，第一终端可以根据第一本地神经网络模型的特点，设置加密迁移模型在第一本地神经网络模型的权重，以使加密迁移模型中的参数可以更好的融合至第一本地神经网络模型中，在保证第一联邦学习的自身特点的同时，有效的学习到其他参与方中的本地神经网络模型中的参数，以提高第一本地神经网络模型的预测的准确率和命中率。
一种可能的实现方式，所述加密共享模型包括N层特征提取层；N为正整数；所述第一终端根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的加密共享模型，包括：
针对所述加密模块中的N层特征提取层的第l层，执行：
所述第一终端根据所述加密迁移模型在第l层的参数，及所述加密迁移模型在第l层的第一权重，更新所述加密共享模型在第l层的参数；所述第l层的第一权重为所述第一终端根据所述第一本地神经网络模型的预测类型确定的；l小于或等于N；l为正整数。
上述技术方案中，第一终端可以根据第一本地神经网络模型的特点，分别设置加密迁移模型中每一层在第一本地神经网络模型中的加密共享模型中的每一层的权重，以使加密迁移模型中的参数可以更好的融合至第一本地神经网络模型中，在保证第一联邦学习的自身特点的同时，有效的学习到其他参与方中的本地神经网络模型中的参数，以提高第一本地神经网络模型的预测的准确率和命中率。
一种可能的实现方式，所述第一本地神经网络模型还包括第一私有模型；所述第一私有模型为根据所述第一本地神经网络模型的预测类型确定的。
一种可能的实现方式，所述加密共享模型的特征提取层靠近所述第一本地神经网络模型的输入层；所述第一私有模型的特征提取层靠近所述第一本地神经网络模型的输出层。
上述技术方案中，第一终端可以根据第一本地神经网络模型的预测类型，在第一本地神经网络模型中，单独训练第一私有模型，第一私有模型可以通过第一数据单独训练；通过增加第一私有模型，提高了第一本地神经网络模型的特异性，避免了本地神经网络模型将各参与方对应的模型训练后参数的相似度接近，无法实现各参与方针对不同的业务需要设置的第一本地神经网络模型的预测类型的问题。通过增加第一私有模型，保留了第一联邦学习的自身特点，提高了第一本地神经网络模型的预测的准确率和命中率。
本发明实施例提供一种联邦迁移学习模型的训练方法，所述方法包括：
参数服务器获取K个终端在第i-1个训练周期上传的K个加密共享模型；第1个训练周期训练的所述K个加密共享模型为所述K个终端根据初始加密迁移模型及各终端各自的训练数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；
所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型；
所述参数服务器将所述第i个训练周期的加密迁移模型下发至各终端，以使各终端根据所述加密迁移模型，更新各终端的本地神经网络模型中的加密共享模型，并根据各终端各自的训练数据训练更新后的所述本地神经网络模型，从而得到在第i个训练周期训练的所述本地神经网络模型中的加密共享模型。本发明实施例中，通过参数服务器下发初始加密迁移模型，以使训练模型通过各自的数据训练加密共享模型，并通过参数服务器，将各训练周期的各终端训练的加密共享模型生成加密迁移模型，以进行下一训练周期的训练，最终训练出的各自的加密共享模型满足本地神经网络模型的特征。并且，由于加密共享模型针对各参与方是密文，实现各参与方，在无法获知共享模型的具体参数的情况下，保证了各参与方数据的隐私性和安全性的同时，通过加密共享模型更好的实现本地神经网络模型的预测。
一种可能的实现方式，所述方法还包括：
所述参数服务器获取所述K个终端在第i-1个训练周期上传的加密损失值；
所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型之前，还包括：
所述参数服务器根据所述K个终端在第i-1个训练周期上传的K个加密损失值确定是否结束训练。
上述技术方案中，通过参数服务器根据各终端上传的加密损失值，判断各终端的加密共享模型是否训练完成，以确定是否需要下发下一训练周期的加密迁移参数，有效保证了训练的安全性和一致性，并且无需各参与方确定加密共享模型的训练是否完成，节省了终端的开销，提高了训练效率。
一种可能的实现方式，所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密损失值确定是否结束训练，包括：
所述参数服务器通过所述参数服务器的私钥对所述K个加密损失值进行解密，得到K个损失值；
所述参数服务器对所述K个损失值通过加权平均，得到所述第i-1个训练周期的总损失值；
所述参数服务器根据所述总损失值确定训练是否结束。
上述技术方案中，通过参数服务器根据加密损失值的加权平均确定总损失值，判断各终端的加密共享模型是否训练完成，以确定是否需要下发下一训练周期的加密迁移参数，有效保证了训练的安全性和一致性，并且无需各参与方确定加密共享模型的训练是否完成，节省了终端的开销，提高了训练效率。
一种可能的实现方式，所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型，包括：
所述参数服务器将所述K个终端上传的K个加密共享模型通过加权平均，确定第i个训练周期的加密迁移模型。
上述技术方案中，通过参数服务器将各终端上传的加密共享模型通过加权平均的方式，融合各终端对应的加密共享模型，生成加密迁移模型，以实现第i个训练周期下发至各终端进行训练的加密迁移模型。通过参数服务器进行融合，使得各参与方无法获得各参与方的共享模型中的参数，有效的保证了各参与方的数据安全性和隐私性。
本发明实施例提供一种联邦迁移学习模型的预测方法，应用于上述实施例中任一方法得到的本地神经网络模型，包括：
第一终端根据第一本地神经网络模型，确定第一预测数据的第一加密预测值；
所述第一终端对所述第一加密预测值加扰，生成第二加密预测值；
所述第一终端将所述第二加密预测值发送至参数服务器；
所述第一终端接收所述参数服务器返回的第二预测值；所述第二预测值为所述参数服务器根据所述参数服务器的私钥解密后确定的；
所述第一终端将所述第二预测值解扰，确定第一预测值。
上述实施例中，第一终端可以通过参数服务器解密第一本地神经网络模型输出的加密预测结果。为提高数据的安全性，第一终端可以将第一本地神经网络模型输出的加密预测结果，进行加扰；使得参数服务器解密加扰的预测结果，第一终端根据解密后的加扰的预测结果解扰，进而确定第一本地神经网络模型的预测结果。通过上述方案，有效保障了第一终端的第一预测数据及第一预测值的私密性及安全性。
本发明实施例提供一种本地神经网络模型的生成装置，包括：
收发单元，用于获取参数服务器在第i个训练周期下发的加密迁移模型；所述加密迁移模型为所述参数服务器根据K个参与方的K个终端在第i-1个训练周期上传的K个加密共享模型生成的；所述第一终端为所述K个终端中的任一终端；第1个训练周期训练的所述加密共享模型为第一终端根据参数服务器下发的初始加密迁移模型及第一数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；所述第一数据为所述第一终端的训练数据；i，K为正整数；i大于1；
处理单元，用于根据所述参数服务器在第i个训练周期下发的加密迁移模型更新所述第一终端的第一本地神经网络模型中的加密共享模型，并根据所述第一数据训练更新所述第一本地神经网络模型，从而得到在第i个训练周期训练的所述第一本地神经网络模型中的加密共享模型；
所述收发单元，还用于将所述加密共享模型上传到所述参数服务器。
一种可能的实现方式，所述处理单元，具体用于：根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的加密共享模型。
一种可能的实现方式，所述加密共享模型包括N层特征提取层；N为正整数；所述处理单元，具体用于：
针对所述加密模块中的N层特征提取层的第l层，执行：
根据所述加密迁移模型在第l层的参数，及所述加密迁移模型在第l层的第一权重，更新所述加密共享模型在第l层的参数；所述第l层的第一权重为所述第一终端根据所述第一本地神经网络模型的预测类型确定的；i小于或等于N；i为正整数。
一种可能的实现方式，所述第一本地神经网络模型还包括第一私有模型；所述第一私有模型为根据所述第一本地神经网络模型的预测类型确定的。
一种可能的实现方式，所述加密共享模型的特征提取层靠近所述第一本地神经网络模型的输入层；所述第一私有模型的特征提取层靠近所述第一本地神经网络模型的输出层。
本发明实施例提供一种联邦迁移学习模型的训练装置，所述装置包括：
收发单元，用于获取K个终端在第i-1个训练周期上传的K个加密共享模型；第1个训练周期训练的所述K个加密共享模型为所述K个终端根据初始加密迁移模型及各终端各自的训练数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；
处理单元，用于根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型；
所述收发单元，还用于：将所述第i个训练周期的加密迁移模型下发至各终端，以使各终端根据所述加密迁移模型，更新各终端的本地神经网络模型中的加密共享模型，并根据各终端各自的训练数据训练更新后的所述本地神经网络模型，从而得到在第i个训练周期训练的所述本地神经网络模型中的加密共享模型。
一种可能的实现方式，所述收发单元，还用于获取所述K个终端在第i-1个训练周期上传的加密损失值；
所述处理单元，还用于：根据所述K个终端在第i-1个训练周期上传的K个加密损失值确定是否结束训练。
一种可能的实现方式，所述处理单元，具体用于：通过所述参数服务器的私钥对所述K个加密损失值进行解密，得到K个损失值；对所述K个损失值通过加权平均，得到所述第i-1个训练周期的总损失值；根据所述总损失值确定训练是否结束。
一种可能的实现方式，所述处理单元，具体用于：
本发明实施例提供一种联邦迁移学习模型的预测装置，包括：
处理单元，用于根据第一本地神经网络模型，确定第一预测数据的第一加密预测值；对所述第一加密预测值加扰，生成第二加密预测值；
收发单元，用于将所述第二加密预测值发送至参数服务器；接收所述参数服务器返回的第二预测值；所述第二预测值为所述参数服务器根据所述参数服务器的私钥解密后确定的；
所述处理单元，还用于：将所述第二预测值解扰，确定第一预测值。
本发明实施例提供了一种服务器，包括：
至少一个存储器，用于存储程序指令；
至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述任一种本地神经网络模型的训练、预测。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种本地神经网络模型的训练、预测的步骤。
附图说明
图1为本发明实施例中一种联邦迁移学习模型的训练、预测的应用架构示意图；
图2为本发明实施例中一种联邦迁移学习模型的训练方法的流程图；
图3为本发明实施例中一种联邦迁移学习模型的训练方法的流程图；
图4为本发明实施例中一种联邦迁移学习模型的训练装置结构示意图；
图5为本发明实施例中一种联邦迁移学习模型的训练装置结构示意图；
图6为本发明实施例中一种联邦迁移学习模型的训练装置结构示意图；
图7为本发明实施例中一种联邦迁移学习模型的训练装置结构示意图；
图8为本发明实施例中一种服务器的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为便于对本发明实施例的理解，下面先对几个概念进行简单介绍：
目前，随着深度学习在很多实际应用中取得的效果，例如，深度神经网络模型为现代人工智能的一种方式。支持深度神经网络模型，需要大量高质量的标注数据。但是，对数据的筛选和标注需要大量的人力和物力成本。为解决高质量标注数据难以获得的问题，可以通过迁移学习(transfer learning)，利用预训练好的模型来降低对海量数据的需求，或者通过迁移学习为未标注的数据打上标注从而降低人工成本。
由于迁移学习的方案，主要集中在数据公开或数据较不敏感的领域(比如利用公开数据集ImageNet预训练CNN模型，数据集Wikipedia预训练词嵌入模型)，限制了迁移学习技术应用的领域和范围。另外，在对数据安全和用户隐私保护日趋严格，并且针对专业度较高的金融、银行、医疗及其他相关领域中，高质量的数据获得成本高昂并且通常分散于不同的企业而无法数据连通。数据难以获取、且企业之间数据壁垒抑制了包括迁移学习在内的人工智能技术有效的应用于其他机构，例如微小企业。如何在保护数据隐私、满足合法合规要求的前提下继续进行机器学习，是机器学习领域现在关注的一个趋势，目前，已研究提出了“联邦学习”的概念。
联邦学习为利用技术算法加密建造的模型，联邦学习中的参与方在不用给出己方数据的情况下，也可进行模型训练得到模型参数，联邦学习通过加密机制下的模型参数交换方式保护用户的数据隐私。因此在数据层面不存在泄露的可能，也不违反更严格的数据保护法案如GDPR(General Data Protection Regulation，《通用数据保护条例》)等，能够在较高程度保持数据完整性的同时，保障数据隐私。
目前，在联邦双方A、B样本的特征空间相同的情况下，现有的基于联邦建模的方法可以基于A、B样本均有标注的情况下交换双方参数联合建模，而对于A方有标注，B方标注缺失的情况，例如，横向联邦学习，横向联邦学习是指在两个数据集(即可以是本发明实施例中所述的第一样本和第二样本)的用户特征重叠较多，而用户重叠较少的情况下，把数据集按照横向(即用户维度)切分，并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。这种方法叫做横向联邦学习。比如有两家不同地区的银行，它们的用户群体分别来自各自所在的地区，相互的交集很小。但是，它们的业务很相似，因此，记录的用户特征是相同的。
在两个数据集的用户重叠较多而用户特征重叠较少的情况下，可以把数据集按照纵向(即特征维度)切分，并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。比如有两个不同的机构，一家是某地的银行，另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民，因此用户的交集较大。但是，由于银行记录的都是用户的收支行为与信用评级，而电商则保有用户的浏览与购买历史，因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合，以增强模型能力。
在两个数据集的用户与用户特征重叠都较少的情况下，可以利用迁移学习来克服数据或标签不足的情况。这种方法叫做联邦迁移学习。比如有两个不同机构，一家是位于中国的银行，另一家是位于美国的电商。由于受地域限制，这两家机构的用户群体交集很小。同时，由于机构类型的不同，二者的数据特征也只有小部分重合。在这种情况下，要想进行有效的联邦学习，就必须引入迁移学习，来解决单边数据规模小和标签样本少的问题，从而提升模型的效果。
本发明实施例中涉及的联邦学习可以根据实际的应用场景确定，在此不做限定。
值得说明的是，本发明实施例中的应用架构图是为了更加清楚地说明本发明实施例中的技术方案，并不构成对本发明实施例提供的技术方案的限制，并且，本发明实施例中可以应用多语言语音识别和文字翻译，个性化推荐，物体识别等应用场景，以下以应用于信息推荐场景为例，但是对于其它的应用架构和业务场景应用，本发明实施例提供的技术方案对于类似的问题同样适用。
参阅图1所示，为本发明实施例中联邦迁移学习模型的训练、预测的应用架构示意图，至少包括第一参与方的第一终端，第二参与方的第二终端，及第三方服务器。
其中，终端可以是用户的终端，也可以是单独的服务器，在此不做限定。终端可以为智能手机、平板电脑、便携式个人计算机、智能电视等任何智能设备，可以包括多个终端，终端上可以安装各种应用程序(Application，APP)，用户可以通过终端上安装的APP来使用所需的服务，例如，用户可以基于信息APP来浏览信息。
终端在本地神经网络模型训练完毕后，可以根据业务需要，根据终端获取的数据，进行有针对性的预测，进而为终端提供各种网络服务，对于不同的终端或终端上的应用程序，终端可以是提供相应网络服务的后台服务器。例如，在信息推荐系统中，终端可以为某信息APP的后台服务器。
终端与参数服务器之间通过互联网相连，实现相互之间的通信。可选地，上述的互联网使用标准通信技术和/或协议。互联网通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(Extensible Markup Language，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(Internet Protocol Security，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
其中，参数服务器可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。
本发明实施例中在终端与参数服务器间，可以采用分布式计算平台来收集和计算各用户的历史行为数据，进而形成终端各种的训练数据，从而可以建立本地神经网络模型。
值得说明的是，本发明实施例中的应用架构图是为了更加清楚地说明本发明实施例中的技术方案，并不构成对本发明实施例提供的技术方案的限制，并且，本发明实施例中主要以应用于信息推荐场景为例，但是对于其它的应用架构和业务场景应用，本发明实施例提供的技术方案对于类似的问题同样适用。
本发明各个实施例中，以本地神经网络模型的训练、预测用于图1所示的应用架构图为例进行示意性说明。
基于上述实施例，本发明实施例中的本地神经网络模型的训练过程，可以包括：
对采样后的行为矩阵，通过本地神经网络模型，获得各用户的用户参数。
参与联邦学习的各参与方通过联邦学习训练各自的本地神经网络模型。
如图1所示，以包含2个参与方(第一终端A标识第一参与方，第二终端B表示第二参与方)的场景为例介绍联邦学习的系统构架。该构架可扩展至包含多个参与方的场景。
本发明实施例提供一种联邦学习的系统构架，假设参与方A和B联合训练一个机器学习模型，举例来说，参与方A拥有第一数据,参与方B拥有第二数据。例如，第一数据A包含参与方A的用户对参与方A方的商品的历史行为数据，例如评分、点击、喜欢等。同理，第二数据包含参与方B获得的用户的历史行为数据。A方(对应第一终端)和B方(对应第二终端)都可以在其各自的行为数据上进行各种运算。A和B两方希望在不暴露第一数据和第二数据及其中用户隐私的前提下，更准确地训练模型，以实现更准确的预测。
在具体实施过程中，可以通过第三方的第三方服务器建立本地神经网络模型。具体的本地神经网络模型的训练方法，可以包括：
步骤一、第一终端根据第一终端的第一样本训练得到第一本地神经网络模型的初始参数，第一终端采用联邦学习中的加密算法对初始参数进行加密得到第一加密参数，并将第一加密参数发送至参数服务器。
步骤二、第二终端接收到所述第一终端发送的第一加密参数后，第二终端将第一加密参数作为其第二本地神经网络模型的初始参数，并根据第二终端中的第二数据进行模型训练，计算得到第一梯度参数，及第一加密损失值。
步骤三、第三方对应的服务器解密所述第一加密损失值，并根据解密后的第一损失值检测所述第一本地神经网络模型是否处于收敛状态；若未收敛，则根据第二终端返回的第一梯度参数发送至第一终端；
步骤四、第一终端可以根据所述第一梯度参数更新所述第一本地神经网络模型，直至确定模型处于收敛状态，停止更新所述第一本地神经网络模型。
进一步地，所述根据解密后的第一损失值检测模型是否处于收敛状态的步骤包括：
获取所述第二终端前一次发送的第一损失值记为历史第一损失值；
计算所述第一损失值和所述历史第一损失值之间的差值，并判断所述差值是否小于或者等于预设阈值；
当确定所述差值小于或者等于所述预设阈值时，确定所述待训练模型处于收敛状态；
当确定所述差值大于所述预设阈值时，确定所述待训练模型未处于收敛状态。
当第三方服务器获取到第一损失值和历史第一损失值后，第三方服务器计算第一损失值和历史第一损失值之间的差值，并判断该差值是否小于或者等于预设阈值。当确定该差值小于或者等于预设阈值时，第三方服务器确定待训练模型处于收敛状态；当确定该差值大于预设阈值时，第三方服务器确定待训练模型未处于收敛状态。其中，预设阈值的具体数值可根据具体需要而设置，在本实施例中对预设阈值对应的数值不做具体限制。
当然，第一终端还可以根据第一梯度参数和第二梯度参数对第一本地神经网络模型进行更新。一种可能的实现方式，可以通过将第一梯度参数和第二梯度参数的加权平均，也可以根据第一梯度参数作为更新第一本地神经网络模型的梯度参数；根据第二梯度参数作为更新第二本地神经网络模型的梯度参数。
其中，第二梯度参数为对应的第二终端根据第二样本训练得到第二本地神经网络模型的初始参数，第二终端采用联邦学习中的加密算法对初始参数进行加密得到第二加密参数，并将第二加密参数发送至第一终端；第一终端将第二加密参数作为其第一本地神经网络模型的初始参数，并根据第一终端中的第一数据进行模型训练，计算得到第二梯度参数，及第二加密损失值。
对应的第二终端训练第二本地神经网络模型的方式可以参考第一终端，在此不再赘述。
迭代上述步骤直至损失函数收敛，这样就完成了整个训练过程。在样本对齐及模型训练过程中，第一终端和第二终端各自的数据均保留在本地，且训练中的数据交互也不会导致数据隐私泄露。因此，双方在联邦学习的帮助下得以实现模型的训练。
在该联邦学习的机制下，多个参与方在不向外传输数据的条件下能够协作训练一个本地神经网络模型。因此，可以利用多个参与方的数据训练同一个模型，同时数据的安全得到一定程度的保护。然而该方法导致联邦学习所有参与方共享一个本地神经网络模型，从而导致各参与方失去了预测的独特性，并且该方法被证明有泄漏数据的风险。
基于上述问题，为提高用户数据的安全性和第一本地神经网络模型的特异性，本发明实施例提供一种联邦迁移学习模型的训练方法，如图2所示，包括：
步骤201：参数服务器获取K个参与方的K个终端在第i-1个训练周期上传的加密共享模型；其中，i大于1；
其中，所述加密共享模型为根据所述参数服务器下发的初始加密迁移模型及各终端各自的训练数据训练的；所述初始加密迁移模型为所述参数服务器根据所述参数服务器生成的公钥加密初始迁移模型后发送至各终端的；加密方式可以通过同态加密的方式，以保证加密不影响各终端的训练。
在第一训练周期中，可以包括：
步骤1：参数服务器生成一对同态加密公钥和私钥。
步骤2：参数服务器将迁移模型初始化，获得初始迁移模型，并通过公钥对其进行加密得到初始加密迁移模型
Figure BDA0002148011760000151
然后将初始加密迁移模型分发给各个参与方的各终端。其中，符号[[.]]表示同态加密。
例如，所述初始加密迁移模型为所述参数服务器根据所述参数服务器生成的公钥加密初始迁移模型后发送至所述第一终端的；k，M为正整数；其中，所述第一终端为所述K个终端中的任一终端；
步骤3：K个终端获取初始加密迁移模型；
步骤4：K个终端将各自的本地神经网络模型的初始化模型与初始加密迁移模型进行融合，形成第1个训练周期的初始化本地神经网络模型；其中，初始化本地神经网络模型包括初始化的加密共享模型。具体的融合方式可以参见下面在第i个训练周期中的融合方式。
步骤5：K个终端根据各自的训练数据，对第1个训练周期的初始化模型进行训练，在第一个训练周期结束，K个终端可以分别确定第一个训练周期训练的K个加密共享模型；
例如，第1个训练周期训练的第一终端的加密共享模型为第一终端根据参数服务器下发的初始加密迁移模型及第一数据训练的。
步骤202：参数服务器根据K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型；
步骤203：参数服务器将所述第i个训练周期的加密迁移模型下发至各终端，以使各终端根据所述加密迁移模型，更新各终端的本地神经网络模型中的加密共享模型，并根据各终端各自的训练数据训练更新后的所述本地神经网络模型，从而得到在第i个训练周期训练的所述本地神经网络模型中的加密共享模型。
步骤204：第一终端获取参数服务器在第i个训练周期下发的加密迁移模型；
步骤205：第一终端根据所述加密迁移模型更新所述第一终端的第一本地神经网络模型中的加密共享模型，并根据所述第一数据训练更新所述第一本地神经网络模型，从而得到所述第一本地神经网络模型在第i个训练周期的加密共享模型。
本发明实施例中，通过参数服务器下发初始加密迁移模型，以使训练模型通过各自的数据训练加密共享模型，并通过参数服务器，将各训练周期的各终端训练的加密共享模型生成加密迁移模型，以进行下一训练周期的训练，最终训练出的各自的加密共享模型满足本地神经网络模型的特征。并且，由于加密迁移模型针对各参与方是密文，实现各参与方在无法获知迁移模型的具体参数的情况下，保证了各参与方数据的隐私性和安全性的同时，通过加密迁移模型更好的实现本地神经网络模型的预测。
为针对第一本地神经网络模型的预测需求，提高预测的准确性，一种可能的实现方式，所述第一本地神经网络模型还包括第一私有模型；所述第一私有模型为根据所述第一本地神经网络模型的预测类型确定的。
进一步的，为提高模型特征的提取效果，一种可能的实现方式，所述加密共享模型的特征提取层靠近所述第一本地神经网络模型的输入层；所述第一私有模型的特征提取层靠近所述第一本地神经网络模型的输出层。
通过联邦学习利用所有参与方的数据对所有参与方的加密共享模型进行训练形成加密迁移模型。加密共享模型的特征提取层靠近所述第一本地神经网络模型的输入层，以深度神经模型为例，加密共享模型的特征提取层可以为底层隐藏层。因此，可以通过训练各个参与方的加密共享模型而形成的加密迁移模型可以学习到更抽象和更具不变性的特征，也即更通用的特征，提高了本地神经网络模型的训练速度和模型泛化能力。
具体的，以本地神经网络模型为深度神经网络模型为例。第k个参与方的深度神经网络模型可以表示为：
Figure BDA0002148011760000171
举例来说，可以如图3所示，加密共享模型
Figure BDA0002148011760000172
为神经网络模型前N层，第一私有模型
Figure BDA0002148011760000173
为模型后(Mk-N)层。
k表示第k个参与方；Mk表示第k个参与方神经网络模型的层数；l表示神经网络模型的第l层。所有参与方的加密共享模型具有相同的结构。各参与方的第一私有模型可以由各参与方根据自己的特定任务自行设定，以提高各参与方的本地神经网络模型的预测的准确性。
上述技术方案中，第一终端可以根据第一本地神经网络模型的预测类型，在第一本地神经网络模型中，单独训练第一私有模型，第一私有模型可以通过第一数据单独训练；通过增加第一私有模型，由各参与方所特有的数据训练而成，提高了第一本地神经网络模型的特异性，避免了本地神经网络模型将各参与方对应的模型训练后参数的相似度接近，无法实现各参与方针对不同的业务需要设置的第一本地神经网络模型的预测类型的问题。各参与方既能利用加密迁移模型提高本地神经网络模型的训练速度和模型泛化能力，又能通过第一私有模型学习到各自独特的特征，提高了第一本地神经网络模型的预测的准确率和命中率，提高了本地神经网络模型的训练速度和模型泛化能力。
图4给出的参与方1，参与方2，至参与方k分别的本地的加密共享模型1，加密共享模型2，加密共享模型k。一种可能的实现方式，所述第一终端根据所述加密迁移模型，更新所述第一终端的第一本地神经网络模型的加密共享模型，包括：
所述第一终端根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的加密共享模型。
在具体实施过程中，可以对每一个参与方k＝1,2,…,K，加密迁移模型与加密共享模型的参数进行融合。一种可能的方式，可以将对应的卷积核进行直接合并的方式，实现加密迁移模型与加密共享模型的参数的融合。
上述技术方案中，第一终端可以根据第一本地神经网络模型的特点，设置加密迁移模型在第一本地神经网络模型的权重，以使加密迁移模型中的参数可以更好的融合至第一本地神经网络模型中，在保证各终端的模型的自身特点的同时，有效的学习到其他参与方中的本地神经网络模型中的参数，以提高第一本地神经网络模型的预测的准确率和命中率。
为提高融合的准确性，可以将参与方k本地加密深度神经网络模型的加密共享模型与加密迁移模型的分层融合。参与方k本地加密深度神经网络模型的第一私有模型保持不变。
进一步的，为提高各参与方的本地神经网络模型的特异性及数据的私密性，一种可能的实现方式，所述加密共享模型包括N层特征提取层；N为正整数；所述第一终端根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的加密共享模型，包括：
针对所述加密模块中的N层特征提取层的第l层，执行：
所述第一终端根据所述加密迁移模型在第l层的参数，及所述加密迁移模型在第l层的第一权重，更新所述加密共享模型在第l层的参数；所述第l层的第一权重为所述第一终端根据所述第一本地神经网络模型的预测类型确定的；l小于或等于N；l为正整数。
具体的，可以包括：参与方k将其本地深度神经网络模型中的加密共享模型
Figure BDA0002148011760000191
与接收来自参数服务器的加密迁移模型
Figure BDA0002148011760000192
进行分层融合：
Figure BDA0002148011760000193
其中，l＝1，2，…，N；第一权重可以包括α(l)与β(l)；α(l)与β(l)分别为参与方共享子模型与迁移模型的融合系数函数。α(l)与β(l)是基于层数l的函数，可以根据具体的参与方k对应的第一本地神经网络模型的预测任务的需要，定义其具体形式。当然，第一权重也可以为单个函数的形式，在此不做限定。
上述技术方案中，第一终端可以根据第一本地神经网络模型的特点，分别设置加密迁移模型中每一层在第一本地神经网络模型中的加密共享模型中的每一层的权重，以使加密迁移模型中的参数可以更好的融合至第一本地神经网络模型中，在保证第一联邦学习的自身特点的同时，有效的学习到其他参与方中的本地神经网络模型中的参数，以提高第一本地神经网络模型的预测的准确率和命中率。
具体的更新过程可以以第一本地神经网络模型为深度神经网络模型为例，参与方k拥有训练样本Sk。第一终端为参与方k对应的终端，则参与方k根据所述加密迁移模型更新所述第一终端的第一本地神经网络模型中的加密共享模型可以包括：
步骤一、参与方k运用梯度下降算法通过本地数据Sk和本地深度神经网络模型
Figure BDA0002148011760000201
计算出损失[[Lk，t]]和模型梯度
Figure BDA0002148011760000202
然后根据梯度
Figure BDA0002148011760000203
更新本地深度神经网络模型得到
Figure BDA0002148011760000204
步骤二、参与方k将损失[[Lk，t]]和更新后的加密共享模型
Figure BDA0002148011760000205
发往参数服务器。
一种可能的实现方式，所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型，包括：
参数服务器将所述K个终端上传的K个加密共享模型通过加权平均，确定第i个训练周期的加密迁移模型。
上述技术方案中，通过参数服务器将各终端上传的加密共享模型通过加权平均的方式，融合各终端对应的加密共享模型，生成加密迁移模型，以实现第i个训练周期下发至各终端进行训练的加密迁移模型。通过参数服务器进行融合，使得各参与方无法获得各参与方的共享模型中的参数，有效的保证了各参与方的数据安全性和隐私性。
一种可能的实现方式，所述方法还包括：
所述参数服务器获取所述K个终端在第i-1个训练周期上传的加密损失值；
所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型之前，还包括：
所述参数服务器根据所述K个终端在第i-1个训练周期上传的K个加密损失值确定是否结束训练。
一种可能的实现方式，所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密损失值确定是否结束训练，包括：
所述参数服务器通过所述参数服务器的私钥对所述K个加密损失值进行解密，得到K个损失值；
所述参数服务器对所述K个损失值通过加权平均，得到所述第i-1个训练周期的总损失值；
所述参数服务器根据所述总损失值确定训练是否结束。
具体的，参数服务器在接收到所有参与方的加密损失{[[Lk，t]]}k＝1…K和加密共享模型
Figure BDA0002148011760000211
后，用参数服务器的私钥对所有参与方的加密损失进行解密得到明文损失{Lk，t}k＝1…K。然后通过加权平均聚合所有参与方的明文损失，得到
Figure BDA0002148011760000212
其中πk表示参与方k的权重。
参数服务器根据损失值
Figure BDA0002148011760000213
判断训练是否收敛，包括：
若确定收敛,则结束训练。参数服务器最终得到加密的迁移模型
Figure BDA0002148011760000214
各参与方最终得到加密的本地深度神经网络模型
Figure BDA0002148011760000215
若确定没有收敛，参数服务器通过加权平均聚合所有参与方的加密共享模型得到加密迁移模型
Figure BDA0002148011760000216
其中πk表示参与方k的权重。然后将加密迁移模型
Figure BDA0002148011760000217
分发给所有参与方，并继续执行步骤201。
上述技术方案中，通过参数服务器根据迁移模型的损失函数，判断各终端的加密共享模型是否训练完成，以确定是否需要下发下一训练周期的加密迁移参数，有效保证了训练的安全性和一致性，并且无需各参与方确定加密共享模型的训练是否完成，节省了终端的开销，提高了训练效率。
联邦迁移学习训练结束后，各参与方得到加密的本地神经网络模型。参与方可以利用训练好的本地神经网络模型对新样本的标注进行预测。如图6所示，本发明实施例提供一种联邦迁移学习模型的预测方法，应用于上述实施例中任一方法得到的第一本地神经网络模型，包括：
第一终端根据第一本地神经网络模型，确定第一预测数据的第一加密预测值；
所述第一终端对所述第一加密预测值加扰，生成第二加密预测值；
所述第一终端将所述第二加密预测值发送至参数服务器；
所述第一终端接收所述参数服务器返回的第二预测值；所述第二预测值为所述参数服务器根据所述参数服务器的私钥解密后确定的；
所述第一终端将所述第二预测值解扰，确定第一预测值。
上述实施例中，第一终端可以通过参数服务器解密第一本地神经网络模型输出的加密预测结果。为提高数据的安全性，第一终端可以将第一本地神经网络模型输出的加密预测结果，进行加扰；使得参数服务器解密加扰的预测结果，第一终端根据解密后的加扰的预测结果解扰，进而确定第一本地神经网络模型的预测结果。通过上述方案，有效保障了第一终端的第一预测数据及第一预测值的私密性及安全性。
以图5为例，具体包括：参与方k对新样本集
Figure BDA0002148011760000221
进行预测,其中Q为新样本个数。具体步骤如下：
步骤1:参与方k通过加密的本地深度神经网络模型对新样本
Figure BDA0002148011760000222
进行预测得到标注
Figure BDA0002148011760000223
然后在预测结果上加上随机掩码Mk得到
Figure BDA0002148011760000224
并将其发送给参数服务器。
步骤2:参数服务器对
Figure BDA0002148011760000225
进行解密得到
Figure BDA0002148011760000226
并将其发送回参与方k。
步骤3:参与方k从
Figure BDA0002148011760000227
上减去Mk的到最终预测标签
Figure BDA0002148011760000228
基于上述实施例，参阅图6所示，本发明实施例中，本地神经网络模型的训练装置具体包括：
收发单元601，用于获取参数服务器在第i个训练周期下发的加密迁移模型；所述加密迁移模型为所述参数服务器根据K个参与方的K个终端在第i-1个训练周期上传的K个加密共享模型生成的；所述第一终端为所述K个终端中的任一终端；第1个训练周期训练的所述加密共享模型为第一终端根据参数服务器下发的初始加密迁移模型及第一数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；所述第一数据为所述第一终端的训练数据；i，K为正整数；i大于1；
处理单元602，用于根据所述参数服务器在第i个训练周期下发的加密迁移模型更新所述第一终端的第一本地神经网络模型中的加密共享模型，并根据所述第一数据训练更新所述第一本地神经网络模型，从而得到所述第一本地神经网络模型在第i个训练周期的加密共享模型。
收发单元601，用于将所述加密共享模型上传到所述参数服务器。
一种可能的实现方式，处理单元602，具体用于：根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的加密共享模型。
一种可能的实现方式，所述加密共享模型包括N层特征提取层；N为正整数；处理单元602，具体用于：
针对所述加密模块中的N层特征提取层的第l层，执行：
根据所述加密迁移模型在第l层的参数，及所述加密迁移模型在第l层的第一权重，更新所述加密共享模型在第l层的参数；所述第l层的第一权重为所述第一终端根据所述第一本地神经网络模型的预测类型确定的；i小于或等于N；i为正整数。
一种可能的实现方式，所述第一本地神经网络模型还包括第一私有模型；所述第一私有模型为根据所述第一本地神经网络模型的预测类型确定的。
一种可能的实现方式，所述加密共享模型的特征提取层靠近所述第一本地神经网络模型的输入层；所述第一私有模型的特征提取层靠近所述第一本地神经网络模型的输出层。
如图7所示，本发明实施例提供一种联邦迁移学习模型的训练装置，所述装置包括：
收发单元701，用于获取K个终端在第i-1个训练周期上传的K个加密共享模型；第1个训练周期训练的所述K个加密共享模型为所述K个终端根据初始加密迁移模型及各终端各自的训练数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥通加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；
处理单元702，用于根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型；
所述收发单元701，还用于将所述第i个训练周期的加密迁移模型下发至各终端，以使各终端根据所述加密迁移模型，更新各终端的本地神经网络模型中的加密共享模型，并根据各终端各自的训练数据训练更新后的所述本地神经网络模型，从而得到在第i个训练周期训练的所述本地神经网络模型中的加密共享模型。
一种可能的实现方式，收发单元701，还用于获取所述K个终端在第i-1个训练周期上传的加密损失值；
处理单元702，还用于：根据所述K个终端在第i-1个训练周期上传的K个加密损失值确定是否结束训练。
一种可能的实现方式，处理单元702，还用于：通过所述参数服务器的私钥对所述K个加密损失值进行解密，得到K个损失值；对所述K个损失值通过加权平均，得到所述第i-1个训练周期的总损失值；根据所述总损失值确定训练是否结束。
一种可能的实现方式，处理单元702，具体用于：将所述K个终端上传的K个加密共享模型通过加权平均，确定第i个训练周期的加密迁移模型。
本发明实施例提供一种联邦迁移学习模型的预测装置，应用于本发明实施例中的任一方法获得的第一本地神经网络模型，包括：
处理单元，用于根据所述第一本地神经网络模型，确定第一预测数据的第一加密预测值；对所述第一加密预测值加扰，生成第二加密预测值；
收发单元，用于将所述第二加密预测值发送至参数服务器；接收所述参数服务器返回的第二预测值；所述第二预测值为所述参数服务器根据所述参数服务器的私钥解密后确定的；
所述处理单元，还用于：将所述第二预测值解扰，确定第一预测值。
基于上述实施例，参阅图8所示，本发明实施例中，一种服务器的结构示意图。本领域技术人员可以理解，图8中示出的结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及本地神经网络模型的训练、预测程序。其中，操作系统是管理和控制模型参数获取系统硬件和软件资源的程序，支持本地神经网络模型的训练、预测程序以及其它软件或程序的运行。
用户接口1003主要用于连接终端、参数服务器等，与各个服务器进行数据通信；网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；而处理器1001可以用于调用存储器1005中存储的本地神经网络模型的训练、预测程序，并执行上述实施例中的操作。
基于上述实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的本地神经网络模型的训练、预测。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (13)

1.一种联邦迁移学习模型的训练方法，其特征在于，包括：
第一终端获取参数服务器在第i个训练周期下发的加密迁移模型；所述加密迁移模型为所述参数服务器根据K个参与方的K个终端在第i-1个训练周期上传的K个加密共享模型生成的；所述第一终端为所述K个终端中的任一终端；第1个训练周期训练的所述加密共享模型为所述第一终端根据参数服务器下发的初始加密迁移模型及第一数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；所述第一数据为所述第一终端的训练数据；i，K为正整数；i大于1；
所述第一终端根据所述参数服务器在第i个训练周期下发的加密迁移模型更新所述第一终端的第一本地神经网络模型中的加密共享模型，并根据所述第一数据训练更新所述第一本地神经网络模型，从而得到在第i个训练周期训练的所述第一本地神经网络模型中的加密共享模型；
所述第一终端将所述加密共享模型上传到所述参数服务器。
2.如权利要求1所述的方法，其特征在于，所述第一终端根据所述加密迁移模型，更新所述第一终端的第一本地神经网络模型的第一加密共享模型，包括：
所述第一终端根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的第一加密共享模型。
3.如权利要求2所述的方法，其特征在于，所述第一加密共享模型包括N层特征提取层；N为正整数；所述第一终端根据所述加密迁移模型，及所述加密迁移模型在所述第一本地神经网络模型中的权重，更新所述第一终端的第一本地神经网络模型的第一加密共享模型，包括：
针对所述第一加密共享模型中的N层特征提取层的第l层，执行：
所述第一终端根据所述加密迁移模型的第l层的模型参数，及所述加密迁移模型在第一加密共享模型的第l层的第一权重，更新所述第一加密共享模型的第l层的模型参数；所述第l层的第一权重为所述第一终端根据所述第一本地神经网络模型的预测类型确定的；l小于或等于N；l为正整数。
4.如权利要求1所述的方法，其特征在于，所述第一本地神经网络模型还包括第一私有模型；所述第一私有模型为根据所述第一本地神经网络模型的预测类型确定的。
5.如权利要求4所述的方法，其特征在于，所述加密共享模型的特征提取层靠近所述第一本地神经网络模型的输入层；所述第一私有模型的特征提取层靠近所述第一本地神经网络模型的输出层。
6.一种联邦迁移学习模型的训练方法，其特征在于，所述方法包括：
参数服务器获取K个终端在第i-1个训练周期上传的K个加密共享模型；第1个训练周期训练的所述K个加密共享模型为所述K个终端根据初始加密迁移模型及各终端各自的训练数据训练的；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；
所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型；
所述参数服务器将所述第i个训练周期的加密迁移模型下发至各终端，以使各终端根据所述加密迁移模型，更新各终端的本地神经网络模型中的加密共享模型，并根据各终端各自的训练数据训练更新后的所述本地神经网络模型，从而得到在第i个训练周期训练的所述本地神经网络模型中的加密共享模型。
7.如权利要求6所述的方法，其特征在于，所述方法还包括：
所述参数服务器获取所述K个终端在第i-1个训练周期上传的加密损失值；
所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型之前，还包括：
所述参数服务器根据所述K个终端在第i-1个训练周期上传的K个加密损失值确定是否结束训练。
8.如权利要求7所述的方法，其特征在于，所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密损失值确定是否结束训练，包括：
所述参数服务器通过所述参数服务器的私钥对所述K个加密损失值进行解密，得到K个损失值；
所述参数服务器对所述K个损失值通过加权平均，得到所述第i-1个训练周期的总损失值；
所述参数服务器根据所述总损失值确定训练是否结束。
9.如权利要求6所述的方法，其特征在于，所述参数服务器根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型，包括：
所述参数服务器将所述K个终端上传的K个加密共享模型通过加权平均，确定第i个训练周期的加密迁移模型。
10.一种联邦迁移学习模型的预测方法，其特征在于，应用于权利要求1-9的任一方法得到的第一本地神经网络模型，包括：
第一终端根据所述第一本地神经网络模型，确定第一预测数据的第一加密预测值；
所述第一终端对所述第一加密预测值加扰，生成第二加密预测值；
所述第一终端将所述第二加密预测值发送至参数服务器；
所述第一终端接收所述参数服务器返回的第二预测值；所述第二预测值为所述参数服务器根据所述参数服务器的私钥解密后确定的；
所述第一终端将所述第二预测值解扰，确定第一预测值。
11.一种联邦迁移学习模型的训练装置，其特征在于，包括：
收发单元，用于获取参数服务器在第i个训练周期下发的加密迁移模型；所述加密迁移模型为所述参数服务器根据K个参与方的K个终端在第i-1个训练周期上传的K个加密共享模型生成的；第1个训练周期训练的所述加密共享模型为第一终端根据参数服务器下发的初始加密迁移模型及第一数据训练的；所述第一终端为所述K个终端中的任一终端；所述初始加密迁移模型为所述参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成并发送至各终端的；所述第一数据为所述第一终端的训练数据；i，K为正整数；i大于1；
处理单元，用于根据所述参数服务器在第i个训练周期下发的加密迁移模型更新所述第一终端的第一本地神经网络模型中的加密共享模型，并根据所述第一数据训练更新所述第一本地神经网络模型，从而得到在第i个训练周期训练的所述第一本地神经网络模型中的加密共享模型；
所述收发单元，还用于将所述加密共享模型上传到所述参数服务器。
12.一种联邦迁移学习模型的训练装置，其特征在于，包括：
收发单元，用于获取K个终端在第i-1个训练周期上传的K个加密共享模型；第1个训练周期训练的所述K个加密共享模型为所述K个终端根据初始加密迁移模型及各终端各自的训练数据训练的；所述初始加密迁移模型为参数服务器在第1个训练周期，根据所述参数服务器的公钥加密所述参数服务器生成的初始迁移模型获得的，并发送至各终端的；
处理单元，用于根据所述K个终端在第i-1个训练周期上传的加密共享模型生成第i个训练周期的加密迁移模型；
所述收发单元，还用于：将所述第i个训练周期的加密迁移模型下发至各终端，以使各终端根据所述加密迁移模型，更新各终端的本地神经网络模型中的加密共享模型，并根据各终端各自的训练数据训练更新后的所述本地神经网络模型，从而得到在第i个训练周期训练的所述本地神经网络模型中的加密共享模型。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-10任一项方法的步骤。
CN201910691510.0A 2019-07-29 2019-07-29 一种联邦迁移学习模型的训练、预测方法及装置 Active CN110399742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910691510.0A CN110399742B (zh) 2019-07-29 2019-07-29 一种联邦迁移学习模型的训练、预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910691510.0A CN110399742B (zh) 2019-07-29 2019-07-29 一种联邦迁移学习模型的训练、预测方法及装置

Publications (2)

Publication Number Publication Date
CN110399742A CN110399742A (zh) 2019-11-01
CN110399742B true CN110399742B (zh) 2020-12-18

Family

ID=68326519

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910691510.0A Active CN110399742B (zh) 2019-07-29 2019-07-29 一种联邦迁移学习模型的训练、预测方法及装置

Country Status (1)

Country Link
CN (1) CN110399742B (zh)

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110851482B (zh) * 2019-11-07 2022-02-18 支付宝(杭州)信息技术有限公司 为多个数据方提供数据模型的方法及装置
CN111104731B (zh) * 2019-11-19 2023-09-15 北京集奥聚合科技有限公司 一种用于联邦学习的图形化模型全生命周期建模方法
KR102512684B1 (ko) * 2019-11-26 2023-03-23 한국전자기술연구원 엣지-클라우드 시스템에서 딥러닝 네트워크 상호 학습 및 업데이트 방법
CN110956275B (zh) * 2019-11-27 2021-04-02 支付宝(杭州)信息技术有限公司 风险预测和风险预测模型的训练方法、装置及电子设备
CN111061963B (zh) * 2019-11-28 2021-05-11 支付宝(杭州)信息技术有限公司 基于多方安全计算的机器学习模型训练及预测方法、装置
CN110990871B (zh) * 2019-11-29 2023-04-07 腾讯云计算（北京）有限责任公司 基于人工智能的机器学习模型训练方法、预测方法及装置
CN110991905B (zh) * 2019-12-05 2022-05-13 支付宝(杭州)信息技术有限公司 风险模型训练方法以及装置
CN111222646B (zh) * 2019-12-11 2021-07-30 深圳逻辑汇科技有限公司 联邦学习机制的设计方法、装置和存储介质
CN111062056B (zh) * 2019-12-13 2022-03-15 支付宝(杭州)信息技术有限公司 基于迁移学习实现的私有数据保护建模方法、系统及装置
CN111125735B (zh) * 2019-12-20 2021-11-02 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111143878B (zh) * 2019-12-20 2021-08-03 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111091200B (zh) * 2019-12-20 2021-03-19 深圳前海微众银行股份有限公司 训练模型的更新方法、系统、智能设备、服务器及存储介质
WO2021120229A1 (zh) * 2019-12-20 2021-06-24 深圳前海微众银行股份有限公司 一种数据处理方法、装置及系统
CN111190487A (zh) * 2019-12-30 2020-05-22 中国科学院计算技术研究所 一种建立数据分析模型的方法
WO2021142703A1 (zh) * 2020-01-16 2021-07-22 深圳前海微众银行股份有限公司 基于联邦迁移学习的参数处理方法、设备及存储介质
CN110874637B (zh) * 2020-01-16 2020-04-28 支付宝(杭州)信息技术有限公司 基于隐私数据保护的多目标融合学习方法、装置和系统
CN111339553A (zh) * 2020-02-14 2020-06-26 云从科技集团股份有限公司 一种任务处理方法、系统、设备及介质
CN111340614B (zh) * 2020-02-28 2021-05-18 深圳前海微众银行股份有限公司 基于联邦学习的样本采样方法、设备及可读存储介质
CN111291886B (zh) * 2020-02-28 2022-02-18 支付宝(杭州)信息技术有限公司 神经网络模型的融合训练方法及装置
CN111081337B (zh) * 2020-03-23 2020-06-26 腾讯科技（深圳）有限公司 一种协同任务预测方法及计算机可读存储介质
CN113449872B (zh) * 2020-03-25 2023-08-08 百度在线网络技术（北京）有限公司 基于联邦学习的参数处理方法、装置和系统
CN111477336A (zh) * 2020-04-07 2020-07-31 中南大学 传染病诊断数据的融合方法、系统及存储介质
CN111488995B (zh) * 2020-04-08 2021-12-24 北京字节跳动网络技术有限公司 用于评估联合训练模型的方法、装置和系统
CN111178547B (zh) * 2020-04-10 2020-07-17 支付宝(杭州)信息技术有限公司 一种基于隐私数据进行模型训练的方法及系统
CN111461874A (zh) * 2020-04-13 2020-07-28 浙江大学 一种基于联邦模式的信贷风险控制系统及方法
CN111507481B (zh) * 2020-04-17 2023-03-03 腾讯科技（深圳）有限公司 一种联邦学习系统
CN111582477B (zh) * 2020-05-09 2023-08-29 北京百度网讯科技有限公司 神经网络模型的训练方法和装置
CN111582504A (zh) * 2020-05-14 2020-08-25 深圳前海微众银行股份有限公司 联邦建模方法、装置、设备及计算机可读存储介质
CN113688855B (zh) * 2020-05-19 2023-07-28 华为技术有限公司 数据处理方法、联邦学习的训练方法及相关装置、设备
CN111614679B (zh) * 2020-05-22 2021-07-27 深圳前海微众银行股份有限公司 联邦学习资格恢复方法、设备及可读存储介质
CN111666987A (zh) * 2020-05-22 2020-09-15 中国电子科技集团公司电子科学研究院 基于联邦学习的跨域数据安全互联方法及系统
CN111368336B (zh) * 2020-05-27 2020-09-04 支付宝(杭州)信息技术有限公司 基于秘密共享的训练方法、装置、电子设备及存储介质
CN111460443B (zh) * 2020-05-28 2022-09-23 南京大学 一种联邦学习中数据操纵攻击的安全防御方法
CN111768008B (zh) * 2020-06-30 2023-06-16 平安科技（深圳）有限公司 联邦学习方法、装置、设备和存储介质
CN111831675A (zh) * 2020-07-07 2020-10-27 平安科技（深圳）有限公司 一种仓储模型训练方法、装置、计算机设备及存储介质
CN113282933B (zh) * 2020-07-17 2022-03-01 中兴通讯股份有限公司 联邦学习方法、装置和系统、电子设备、存储介质
CN113988254B (zh) * 2020-07-27 2023-07-14 腾讯科技（深圳）有限公司 用于多个环境的神经网络模型的确定方法及装置
CN112052938A (zh) * 2020-08-14 2020-12-08 同盾控股有限公司 基于知识联邦的多端模型压缩方法、任务预测方法、装置及电子设备
CN112149157A (zh) * 2020-08-19 2020-12-29 成都飞机工业（集团）有限责任公司 一种基于公私密钥进行数据保密的3d打印数据库共享方法
CN112131581A (zh) * 2020-08-19 2020-12-25 成都飞机工业（集团）有限责任公司 一种单密钥加密解密的3d打印多数据库共享优化算法
CN112203282B (zh) * 2020-08-28 2022-02-18 中国科学院信息工程研究所 一种基于联邦迁移学习的5g物联网入侵检测方法及系统
CN112039702B (zh) * 2020-08-31 2022-04-12 中诚信征信有限公司 基于联邦学习和相互学习的模型参数训练方法及装置
CN112100145B (zh) * 2020-09-02 2023-07-04 南京三眼精灵信息技术有限公司 数字化模型共享学习系统及方法
CN114172638A (zh) * 2020-09-11 2022-03-11 军事科学院系统工程研究院网络信息研究所 基于多模型数据融合的量子加密通信方法
CN112257105B (zh) * 2020-10-19 2022-01-11 中山大学 一种基于参数替换算法的联邦学习方法及系统
CN112348063A (zh) * 2020-10-27 2021-02-09 广东电网有限责任公司电力调度控制中心 一种物联网中基于联邦迁移学习的模型训练方法及装置
CN112447298A (zh) * 2020-11-24 2021-03-05 平安科技（深圳）有限公司 基于联邦迁移学习的神经退行性疾病建模装置及相关设备
CN112287377A (zh) * 2020-11-25 2021-01-29 南京星环智能科技有限公司 基于联邦学习的模型训练方法、计算机设备及存储介质
CN112651511B (zh) * 2020-12-04 2023-10-03 华为技术有限公司 一种训练模型的方法、数据处理的方法以及装置
CN112508101A (zh) * 2020-12-07 2021-03-16 杭州海康威视数字技术股份有限公司 一种神经网络模型的调整系统、方法及设备
CN112364943B (zh) * 2020-12-10 2022-04-22 广西师范大学 一种基于联邦学习的联邦预测方法
CN112632620B (zh) * 2020-12-30 2022-08-26 支付宝(杭州)信息技术有限公司 一种增强隐私保护的联邦学习方法和系统
CN113051608A (zh) * 2021-03-11 2021-06-29 佳讯飞鸿（北京）智能科技研究院有限公司 一种联邦学习的虚拟化共享模型传输方法
CN113077060A (zh) * 2021-03-30 2021-07-06 中国科学院计算技术研究所 针对边云协同的联邦学习系统及方法
CN113032835B (zh) * 2021-04-21 2024-02-23 支付宝(杭州)信息技术有限公司 一种隐私保护的模型训练方法、系统及装置
CN113033825A (zh) * 2021-04-21 2021-06-25 支付宝(杭州)信息技术有限公司 一种隐私保护的模型训练方法、系统及装置
CN113342963B (zh) * 2021-04-29 2022-03-04 山东大学 一种基于迁移学习的服务推荐方法及系统
CN113326947B (zh) * 2021-05-28 2023-06-16 山东师范大学 一种联合学习模型训练方法及系统
CN113268758B (zh) * 2021-06-17 2022-11-04 上海万向区块链股份公司 基于联邦学习的数据共享系统、方法、介质及设备
CN113837108B (zh) * 2021-09-26 2023-05-23 重庆中科云从科技有限公司 人脸识别方法、装置及计算机可读存储介质
JP2023105909A (ja) * 2022-01-20 2023-08-01 株式会社日立製作所 機械学習システム及び機械学習方法
CN114462626B (zh) * 2022-04-08 2022-07-19 北京大学 联邦模型训练方法、装置、终端设备以及存储介质
CN114782176B (zh) * 2022-06-23 2022-10-25 浙江数秦科技有限公司 一种基于联邦学习的信贷业务推荐方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635462A (zh) * 2018-12-17 2019-04-16 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN109711529A (zh) * 2018-11-13 2019-05-03 中山大学 一种基于值迭代网络的跨领域联邦学习模型及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10270599B2 (en) * 2017-04-27 2019-04-23 Factom, Inc. Data reproducibility using blockchains
CN109165725B (zh) * 2018-08-10 2022-03-29 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109711529A (zh) * 2018-11-13 2019-05-03 中山大学 一种基于值迭代网络的跨领域联邦学习模型及方法
CN109635462A (zh) * 2018-12-17 2019-04-16 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质

Also Published As

Publication number Publication date
CN110399742A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
CN110399742B (zh) 一种联邦迁移学习模型的训练、预测方法及装置
CN110189192B (zh) 一种信息推荐模型的生成方法及装置
CN110110229B (zh) 一种信息推荐方法及装置
CN111814985B (zh) 联邦学习网络下的模型训练方法及其相关设备
US20230078061A1 (en) Model training method and apparatus for federated learning, device, and storage medium
EP3876125A1 (en) Model parameter training method based on federated learning, terminal, system and medium
US20230108682A1 (en) Data processing method and apparatus, device, and computer-readable storage medium
CN113127916B (zh) 数据集合处理方法、数据处理方法、装置及存储介质
CN111898145B (zh) 一种神经网络模型训练方法、装置、设备及介质
TW201911108A (zh) 資料加密、機器學習模型訓練方法、裝置及電子設備
CN112347500B (zh) 分布式系统的机器学习方法、装置、系统、设备及存储介质
CN113542228B (zh) 基于联邦学习的数据传输方法、装置以及可读存储介质
CN112989399B (zh) 数据处理系统及方法
WO2021082647A1 (zh) 一种联合学习系统、训练结果聚合的方法及设备
WO2022156594A1 (zh) 联邦模型训练方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN112487103A (zh) 一种基于区块链智能合约的深度学习数据集可信共享系统
CN111104968A (zh) 一种基于区块链的安全svm训练方法
CN110209994A (zh) 基于同态加密的矩阵分解推荐方法
CN114696990A (zh) 基于全同态加密的多方计算方法、系统及相关设备
CN111581648B (zh) 在不规则用户中保留隐私的联邦学习的方法
CN116502732B (zh) 基于可信执行环境的联邦学习方法以及系统
CN116882524A (zh) 一种满足参与方的个性化隐私保护需求的联邦学习方法和系统
CN111581663B (zh) 面向非规则用户的保护隐私的联邦深度学习方法
CN114463063A (zh) 数据处理方法及相关装置
CN106933676A (zh) 一种数学运算系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant