CN113297396A - 基于联邦学习的模型参数更新方法、装置及设备 - Google Patents

基于联邦学习的模型参数更新方法、装置及设备 Download PDF

Info

Publication number
CN113297396A
CN113297396A CN202110824981.1A CN202110824981A CN113297396A CN 113297396 A CN113297396 A CN 113297396A CN 202110824981 A CN202110824981 A CN 202110824981A CN 113297396 A CN113297396 A CN 113297396A
Authority
CN
China
Prior art keywords
model
parameter
neural network
network model
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110824981.1A
Other languages
English (en)
Other versions
CN113297396B (zh
Inventor
吕乐
吕灵娟
周璟
刘佳
傅幸
杨阳
王维强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202110824981.1A priority Critical patent/CN113297396B/zh
Publication of CN113297396A publication Critical patent/CN113297396A/zh
Application granted granted Critical
Publication of CN113297396B publication Critical patent/CN113297396B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供了一种基于联邦学习的模型参数更新方法、装置及设备，其中，该方法包括：接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数；将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。

Description

基于联邦学习的模型参数更新方法、装置及设备
技术领域
本文件涉及数据处理技术领域，尤其涉及一种基于联邦学习的模型参数更新方法、装置及设备。
背景技术
随着计算机技术的快速发展，企业为用户提供的应用服务的种类和数量也越来越多，随之而来的用户数据的数据量日益增加，数据结构也日趋复杂，为此，企业多采用基于知识图谱构建的图神经网络模型，以处理错综复杂的用户数据。
企业在构建了图神经网络模型后，可以基于本地用户数据对图神经网络模型的模型参数进行更新，但是企业本地存储的用户私有数据的数据量少，数据质量差，且为保障用户数据的隐私安全，不同企业之间，甚至同一企业内的不同业务单元之间无法实现数据协作，所以，基于本地用户数据对图神经网络模型的模型参数进行更新，就使得模型参数更新准确性差，因此，需要一种能够提高模型参数的更新准确性的解决方案。
发明内容
本说明书实施例的目的是提供一种基于联邦学习的模型参数更新方法、装置及设备，以提供一种能够提高模型参数的更新准确性的解决方案。
为了实现上述技术方案，本说明书实施例是这样实现的：
第一方面，一种基于联邦学习的模型参数更新方法，应用于联邦学习客户端，包括：接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
第二方面，本说明书实施例提供的一种基于联邦学习的模型参数更新方法，应用于联邦学习服务端，包括：将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
第三方面，本说明书实施例提供的一种基于联邦学习的模型参数更新方法，应用于区块链系统，包括：基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
第四方面，本说明书实施例提供了一种基于联邦学习的模型参数更新系统，包括联邦学习服务端和多个联邦学习客户端，其中：所述联邦学习服务端，用于将针对目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；所述联邦学习客户端，用于基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中的实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；将所述第二共享参数发送给所述联邦学习服务端；所述联邦学习服务端，用于基于所述多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
第五方面，本说明书实施例提供了一种基于联邦学习的模型参数更新装置，所述装置包括：接收模块，用于接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；训练模块，用于基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；发送模块，用于将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
第六方面，本说明书实施例提供了一种基于联邦学习的模型参数更新装置，所述装置包括：发送模块，用于将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；更新模块，用于接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
第七方面，本说明书实施例提供了一种基于联邦学习的模型参数更新装置，所述装置为区块链系统中的装置，所述装置包括：获取模块，用于基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；发送模块，用于将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；更新模块，用于基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
第八方面，本说明书实施例提供了一种基于联邦学习的模型参数更新设备，所述基于联邦学习的模型参数更新设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述基于联邦学习的模型参数更新设备的共有模型；基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习的模型参数更新设备发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
第九方面，本说明书实施例提供了一种基于联邦学习的模型参数更新设备，所述基于联邦学习的模型参数更新设备包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
第十方面，本说明书实施例提供了一种基于联邦学习的模型参数更新设备，所述基于联邦学习的模型参数更新设备为区块链系统中的设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
图1A为本说明书一种基于联邦学习的模型参数更新方法实施例的流程图；
图1B为本说明书一种基于联邦学习的模型参数更新方法的处理过程示意图；
图2为本说明书一种联邦学习场景的示意图；
图3为本说明书一种目标图神经网络模型的示意图；
图4为本说明书又一种基于联邦学习的模型参数更新方法的处理过程示意图；
图5为本说明书一种基于联邦学习的模型参数更新方法的处理过程示意图；
图6A为本说明书又一种基于联邦学习的模型参数更新方法实施例的流程图；
图6B为本说明书又一种基于联邦学习的模型参数更新方法的处理过程示意图；
图7A为本说明书又一种基于联邦学习的模型参数更新方法实施例的流程图；
图7B为本说明书又一种基于联邦学习的模型参数更新方法的处理过程示意图；
图8为本说明书一种基于联邦学习的模型参数更新装置实施例的结构示意图；
图9为本说明书另一种基于联邦学习的模型参数更新装置实施例的结构示意图；
图10为本说明书另一种基于联邦学习的模型参数更新装置实施例的结构示意图；
图11为本说明书一种基于联邦学习的模型参数更新设备的结构示意图。
具体实施方式
本说明书实施例提供一种基于联邦学习的模型参数更新方法、装置及设备。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
实施例一
如图1A和1B所示，本说明书实施例提供一种基于联邦学习的模型参数更新方法，该方法的执行主体可以为联邦学习客户端，联邦学习客户端可以是服务器或终端设备，其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，终端设备可以如个人计算机等设备，也可以如手机、平板电脑等移动终端设备。该方法具体可以包括以下步骤：
在S102中，接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令。
其中，模型参数更新指令可以携带有第一共享参数，第一共享参数可以是联邦学习服务端存储的上一模型参数更新周期得到的模型参数，也可以是针对目标图神经网络模型预先设置的模型参数，目标图神经网络模型可以为多个联邦学习客户端的共有模型，如图2所示，在联邦学习场景下，可以有1个联邦学习服务端和C个联邦学习客户端（C>=2），C个联邦学习客户端所使用的目标图神经网络模型相同。
在实施中，随着计算机技术的快速发展，企业为用户提供的应用服务的种类和数量也越来越多，随之而来的用户数据的数据量日益增加，数据结构也日趋复杂，为此，企业多采用基于知识图谱构建的图神经网络模型，以处理错综复杂的用户数据。企业在构建了图神经网络模型后，可以基于本地用户数据对图神经网络模型的模型参数进行更新，但是企业本地存储的用户私有数据的数据量少，数据质量差，且为保障用户数据的隐私安全，不同企业之间，甚至同一企业内的不同业务单元之间无法实现数据协作，所以，基于本地用户数据对图神经网络模型的模型参数进行更新，就使得模型参数更新准确性差，因此，需要一种能够提高模型参数的更新准确性的解决方案。为此，本说明书实施例提供一种可以解决上述问题的技术方案，具体可以参见下述内容。
以联邦学习客户端为能够为用户提供资源转移业务的机构所使用的客户端为例，由于不同的机构所拥有的用户私有数据不同，且每个机构所拥有的用户私有数据可能存在数据量较小，数据质量较差的问题，因此，为使本地使用的目标图神经网络模型达到较好的使用效果，多个机构可以通过联邦学习对本地使用的目标图神经网络模型的模型参数进行更新操作。如同一用户可以与多个不同的银行存在数据往来关系，每个银行存储的用户私有数据不同，为更准确的对用户进行描述，以便后续为用户提供更优质的服务，多个银行可以通过联邦学习对目标图神经网络模型的模型参数进行更新，以通过更新后的目标图神经网络模型对用户私有数据进行处理。
参与联邦学习的每个机构的联邦学习客户端可以接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，并基于模型参数更新指令，获取针对目标图神经网络模型的第一共享参数。
在S104中，基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练，得到训练后的目标图神经网络模型的模型参数。
其中，训练后的目标图神经网络模型的模型参数可以包括第二共享参数，第一独立参数可以为目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
在实施中，如图3所示，目标图神经网络模型可以包括嵌入运算层，嵌入层的模型参数可以为独立参数（如第一独立参数），除嵌入层之外的其他层的模型参数可以为共享参数（如第一共享参数）。嵌入运算层可以用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算，由于不同的联邦学习客户端存储的图谱数据不同，而通过嵌入运算层可以将不同的联邦学习客户端的图谱数据中的异构信息变换至相同的低维空间，以便于对目标图神经网络模型的其他层进行训练。
通过嵌入运算层可以将图谱数据中实体的属性信息，以及关系的属性信息变换为低维稠密向量，在通过目标图神经网络模型中的其他层对低维稠密向量进行计算，以得到与本地的图谱数据对应的表征信息，该表征信息即可以用于表征图谱数据中实体的属性信息以及关系的属性信息。
另外，目标图神经网络模型可以是任意图神经网络模型，例如，目标图神经网络模型可以是由图神经网络（Graph Neural Networks，GNN）构成的图神经网络模型，也可以是由GNN和多层感知器（Multi-Layer Perception，MLP）构成的图神经网络模型，在实际应用场景中，目标图神经网络模型的构建方法可以有多种，可以根据实际应用场景的不同而有所不同，本说明书实施例对此不做具体限定。
在S106中，将第二共享参数发送给联邦学习服务端，以使联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。
在实施中，在对目标图神经网络模型进行训练后，可以得到第二共享参数，可以在本地存储除第二共享参数外的其他模型参数（如嵌入运算层的独立参数），仅将第二共享参数发送给联邦学习服务端，联邦学习服务端对联邦学习客户端存储的用户私有数据完全未知，即可以保障本地用户私有数据的隐私安全。
此外，为保证数据传输过程中的安全性，联邦学习服务端可以为参与联邦学习的每个联邦学习客户端生成一个客户端标识，并基于预设验证信息生成算法（如预设哈希算法）、第一共享参数和客户端标识，生成与每个联邦学习客户端对应的第一验证信息。
这样，联邦学习客户端接收到的模型参数更新指令中就可以携带有第一共享参数和第一验证信息，联邦学习客户端可以基于本地存储的客户端标识、预设验证信息生成算法和第一共享参数，生成第二验证信息，在基于第二验证信息和模型参数更新指令中携带的第一验证信息进行验证处理，以确定模型参数更新指令在传输过程中是否被篡改。
验证通过后，在基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练，得到训练后的目标图神经网络模型的模型参数。
联邦学习客户端在确定第二共享参数后，也可以基于预设验证信息生成算法、第二共享参数和本地存储的客户端标识，生成第三验证信息，并将第三验证信息和第二共享参数发送给联邦学习服务端，以使联邦学习服务端在基于第三验证信息对第二共享参数进行验证通过后，基于第二共享参数，对第一共享参数进行更新处理。
本说明书实施例提供一种基于联邦学习的模型参数更新方法，接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，模型参数更新指令携带有第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型，基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练，得到训练后的目标图神经网络模型的模型参数，训练后的目标图神经网络模型的模型参数包括第二共享参数，第一独立参数为目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数，将第二共享参数发送给联邦学习服务端，以使联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。这样，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了本地用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
实施例二
如图4所示，本说明书实施例提供一种基于联邦学习的模型参数更新方法，该方法的执行主体可以为联邦学习客户端，联邦学习客户端可以是服务器或终端设备，其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，终端设备可以如个人计算机等设备，也可以如手机、平板电脑等移动终端设备。该方法具体可以包括以下步骤：
在S402中，接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令。
上述S402的具体处理过程可以参见上述实施例一中S102的相关内容，在此不再赘述。
在S404中，基于预设邻域半径和图谱数据，确定与三元组数据集合中的每个三元组数据对应的邻域子图。
其中，邻域子图可以包括三元组数据中的实体的属性信息和实体间的结构信息。
在实施中，图谱数据可以为基于用户私有数据构建的数据集合，数据集合可以包括实体集合、关系集合以及基于实体集合和关系集合构建的三元组数据集合。可以用
Figure 352107DEST_PATH_IMAGE001
表示图谱数据，其中，是
Figure 241435DEST_PATH_IMAGE002
可以用于表示实体集合（n为实体的个数，
Figure 806408DEST_PATH_IMAGE003
为第i个实体），
Figure 252433DEST_PATH_IMAGE004
可以用于表示关系集合（m为关系的个数，
Figure 586462DEST_PATH_IMAGE005
为第i个关系）。
Figure 637902DEST_PATH_IMAGE006
可以用于表示三元组数据集合，其中，p、j可以为实体，q为关系。
在S406中，基于三元组数据的邻域子图、三元组数据中关系的属性信息、第一共享参数，以及第一独立参数，对目标图神经网络模型进行训练，得到与三元组数据对应的训练后的目标图神经网络模型的第一子模型参数。
在实施中，以三元组数据集合中的第a个三元组数据为例，第a个三元组数据可以为（实体1，关系1，实体2），可以基于预设邻域半径和图谱数据，确定与实体1对应的邻域子图1，以及与实体2对应的邻域子图2，邻域子图1和邻域子图2即为与第a个三元组数据对应的邻域子图。
如图5所示，可以通过嵌入运算层对分别对邻域子图1、关系1以及邻域子图2进行嵌入运算，得到与邻域子图1对应的向量e1~e6，与关系1对应的向量（即r1），与邻域子图2对应的向量e7~e12，在通过GNN对e1~e6进行处理，得到表征信息1（即ha），通过MLP对r1进行处理，得到表征信息2（ra），以及通过GNN对e7~e12进行处理，得到表征信息3（即ta），并得到训练后的与第a个三元组数据对应的训练后的目标图神经网络模型的第一子模型参数。其中，邻域子图1/邻域子图2中的实体之间的结构信息、实体的属性信息以及关系的属性信息都将输入至GNN中进行处理，关系1的属性信息也将输入至MLP中进行处理。
可以基于上述方法，获取与每个三元组数据对应的第一子模型参数。
在S408中，基于与每个三元组数据对应的第一子模型参数，确定第二共享参数。
在实施中，在实际应用中，上述S408的处理方式可以多种多样，以下提供一种可选的实现方式，具体可以参见下述步骤一~步骤二处理：
步骤一，获取与每个三元组数据对应的训练后的目标图神经网络模型的输出数据。
其中，输出数据可以为与三元组数据中的实体的属性信息和关系的属性信息对应的表征信息。
在实施中，以上述S406中的第a个三元组数据为例，与该三元组数据对应的训练后的目标图神经网络模型的输出数据可以为与实体的属性信息对应的ha和ta，以及与关系的属性信息对应的ra。
步骤二，基于预设模型参数更新算法、预设模型学习率、与每个三元组数据对应的输出数据、与每个三元组数据对应的第一子模型参数和第一向量，确定第二共享参数。
其中，第一向量可以为基于每个三元组数据的邻域子图和关系的属性信息确定的向量。
在实施中，可以基于预设梯度下降模型、预设模型学习率、与每个三元组数据对应的输出数据、与每个三元组数据对应的第一子模型参数、第一向量、预设打分模型和预设损失函数，确定第二共享参数。
其中，预设模型学习率可以是联邦学习服务端下发的模型参数更新指令中携带的学习率，也可以是多个联邦学习客户端预先约定好的学习率。
可以将三元组数据对应的输出数据代入公式
Figure 690172DEST_PATH_IMAGE007
，
得到与三元组数据对应的预测打分，其中，
Figure 674308DEST_PATH_IMAGE008
为与第a个三元组数据对应的预测打分，
Figure 580953DEST_PATH_IMAGE009
分别为与三元组数据中的两个实体的属性信息对应的表征信息（即输出数据），
Figure 625133DEST_PATH_IMAGE010
为与三元组数据中的关系的属性信息对应的表征信息（即输出数据）。
在将每个三元组数据对应的预测打分以及第一向量代入预设损失函数
Figure 164698DEST_PATH_IMAGE011
得到与每个三元组数据对应的损失值，其中，
Figure 139477DEST_PATH_IMAGE012
为与第a个三元组数据对应的第一向量，
Figure 448098DEST_PATH_IMAGE013
为与第a个三元组数据对应的第一模子模型参数构成的集合，
Figure 663179DEST_PATH_IMAGE014
为与第a个三元组数据对应的预测打分，
Figure 673729DEST_PATH_IMAGE015
为与第a个三元组数据对应的损失值，
Figure 999668DEST_PATH_IMAGE016
（用于将预测打分转换为0-1之间的概率），
Figure 366059DEST_PATH_IMAGE017
为与第a个三元组数据对应的预测打分，
Figure 4238DEST_PATH_IMAGE018
为超参数（用于控制三元组数据打分的边界区分度），
Figure 721658DEST_PATH_IMAGE019
为随机均匀采样条件下，构建的与第a个三元组数据的负采样样本的预测打分，n为负采样样本的个数。
其中，负采样样本可以基于三元组数据以及图谱数据构建，例如，对于三元组数据（实体1、关系1、实体2），可以在图谱数据的实体集合中随机选取n个实体，并分别与实体1和关系1构建三元组数据，构建的三元组数据即为负采样样本，如随机选取了2个实体，分别为实体3和实体4，则三元组数据（实体1、关系1、实体3）以及三元组数据（实体1、关系1、实体4），即为与三元组数据（实体1、关系1、实体2）对应的负采样样本。
在将每个三元组数据对应的损失值、预设模型学习率和第一子模型参数代入预设梯度下降模型
Figure 585709DEST_PATH_IMAGE020
以得到第二共享参数，其中，
Figure 321453DEST_PATH_IMAGE021
为与第a个三元组数据对应的包含第二共享参数的参数集合，
Figure 878336DEST_PATH_IMAGE022
为与第a个三元组数据对应的包含第一子模型参数的参数集合，
Figure 614211DEST_PATH_IMAGE023
为第a个三元组数据对应的损失值，m个三元组数据的个数，
Figure 796799DEST_PATH_IMAGE024
为预设模型学习率。
在基于每个三元组数据对应的第二共享参数，确定联邦学习客户端的第二共享参数。
此外，在联邦学习客户端本地存储的用户私有数据的数据量较大的情况下，还可以将本地存储的用户私有数据进行分组，在分别计算每组私有数据对应的第二共享参数，在基于每组私有数据对应的第二共享参数，确定联邦学习客户端的第二共享参数。
例如，可以将本地存储的用户私有数据划分为B组，在基于上述步骤分别计算每组用户私有数据对应的第二共享参数，在基于预设模型学习率和预设梯度下降模型，确定联邦学习客户端的第二共享参数。
另外，如果接收到的联邦学习服务端下发的模型参数更新指令中携带有训练周期，则可以基于训练周期，对目标图神经网络模型进行多轮训练，以使目标图神经网络模型达到较好的模型性能。同时，由于仅需在邻域子图和关系上进行归纳推理计算，扩展性强，模型规模不会随数据规模增大而增大。同时，GNN可直接根据新增节点的结构与属性归纳提取表征信息，不需重新训练模型。
在S410中，基于第一共享参数、训练后的目标图神经网络模型的模型参数中的第二独立参数，以及图谱数据，对训练后的目标图神经网络模型进行训练，得到第一图神经网络模型。
其中，第一图神经网络模型可以包括预选共享参数，第二独立参数可以是训练后的目标图神经网络模型的模型参数中的嵌入运算层的模型参数。
在S412中，将预选共享参数确定为第二共享参数，并将第二共享参数发送给联邦学习服务端。
上述S412的具体处理过程可以参见上述实施例一中S106的相关内容，在此不再赘述。
本说明书实施例提供一种基于联邦学习的模型参数更新方法，接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，模型参数更新指令携带有第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型，基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练，得到训练后的目标图神经网络模型的模型参数，训练后的目标图神经网络模型的模型参数包括第二共享参数，第一独立参数为目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数，将第二共享参数发送给联邦学习服务端，以使联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。这样，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了本地用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
实施例三
如图6A和图6B所示，本说明书实施例提供一种基于联邦学习的模型参数更新方法，该方法的执行主体可以为联邦学习服务端，联邦学习服务端可以是服务器或终端设备，其中，服务器可以是独立的服务器，也可以是由多个服务器组成的服务器集群，终端设备可以如个人计算机等设备，也可以如手机、平板电脑等移动终端设备。该方法具体可以包括以下步骤：
在S602中，将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端。
其中，模型参数更新指令可以携带有第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型。
在S604中，接收多个联邦学习客户端发送的第二共享参数，并基于第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。
其中，第二共享参数可以为每个联邦学习客户端基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练后得到的模型参数，第一独立参数为联邦学习客户端的目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
在实施中，联邦学习服务端可以将多个联邦学习客户端发送的第二共享参数的均值，作为更新后的第一共享参数。
此外，联邦学习服务端还可以基于与每个联邦学习客户端对应的预设权重以及第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。
由于不同的联邦学习客户端拥有的用户私有数据的数据量不同，所以，可以为不同的联邦学习客户端分配预设权重，以对目标图神经网络模型的第一共享参数进行更新处理。
上述对第一共享参数的更新方法是一种可选地、可实现的更新方法，在实际应用场景中还可以有多种不同的更新方法，可以根据实际应用场景的不同而有所不同，可以根据实际应用场景的不同而有所不同，本说明书实施例对此不作具体限定。
另外，联邦学习服务端还可以基于预设的多个更新周期，在参与联邦学习的联邦学习客户端中选取多个联邦学习客户端进行模型参数的更新处理。例如，参与联邦学习的联邦学习客户端可以有C个，假设共有E个预设更新周期，在第一个更新周期内，可以在C个联邦学习客户端中随机选取F个联邦学习客户端（F<=C），联邦学习服务端可以将预设第一共享参数发送给这F个联邦学习客户端，并接收这F个联邦学习客户端返回的第二共享参数。在基于接收到的第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理，然后将更新处理后的第一共享参数确定为第一共享参数。
在第2个更新周期（E>=2），可以从C个联邦学习客户端中再随机选取A个联邦学习客户端（A<=C），联邦学习服务端可以将第一共享参数发送给这A个联邦学习客户端，并接收这A个联邦学习客户端返回的第二共享参数，并基于接收到的第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理，将更新处理后的第一共享参数确定为第一共享参数。以此类推，直到第E个更新周期结束。
本说明书实施例提供一种基于联邦学习的模型参数更新方法，将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，模型参数更新指令携带有第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型，接收多个联邦学习客户端发送的第二共享参数，并基于第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理，第二共享参数为每个联邦学习客户端基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练后得到的模型参数，第一独立参数为联邦学习客户端的目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。这样，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了联邦学习客户端的用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
实施例四
本说明书实施例提供一种基于联邦学习的模型参数更新系统，该基于联邦学习的模型参数更新系统包括：联邦学习服务端和多个联邦学习客户端，其中：
联邦学习服务端，用于将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，模型参数更新指令携带有第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型。
联邦学习客户端，用于基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练，得到训练后的目标图神经网络模型的模型参数，训练后的目标图神经网络模型的模型参数包括第二共享参数，第一独立参数为目标图神经网络模型中用于对图谱数据中的实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；将第二共享参数发送给联邦学习服务端。
联邦学习服务端，用于基于多个联邦学习客户端发送的第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。
本说明书实施例提供一种基于联邦学习的模型参数更新系统，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了联邦学习客户端的用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
实施例五
如图7A和图7B所示，本说明书实施例提供一种基于联邦学习的模型参数更新方法，该方法的执行主体可以为区块链系统。该方法具体可以包括以下步骤：
在S702中，基于预先部署在区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数。
其中，目标图神经网络模型可以为多个联邦学习客户端的共有模型，智能合约可以基于预先设定的规则生成，其中的预先设定的规则可以包括如判断模型参数更新指令的接收时间是否处于有效更新时间内、联邦学习服务端是否具有模型参数更新权限等。
在实施中，可以根据区块链所具有的功能，开发相应的可信应用程序，该可信应用程序可以被封装成一个独立的应用程序，由参与联邦学习的各个参与方（如联邦学习客户端）安装在本地的终端设备或服务器中。或者，联邦学习的参与方也可以共同约定某一应用程序作为可信应用程序，并通过该可信应用程序向区块链系统发送相关信息（如模型参数更新指令等）。
区块链系统可以基于预先部署的智能合约，获取目标图神经网络模型的第一共享参数。例如，区块链系统可以基于预先部署的智能合约，确定当前时间是否达到预设的针对目标图神经网络模型的模型参数更新时间，在到达预设的模型参数更新时间的情况下，可以获取与目标图神经网络模型对应的第一共享参数。或者，区块链系统还可以根据预先部署的智能合约，确定与当前时间对应的目标神经网络模型的第一共享参数等。
第一共享参数的获取方法可以有多种，可以根据实际阴影场景的不同而有所不同，本说明书实施例对此不作具体限定。
在S704中，将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端。
其中，模型参数更新指令可以携带有第一共享参数。
在实施中，区块链系统在获取了第一共享参数后，还可以基于智能合约，确定与目标图神经网络模型对应的多个联邦学习客户端，并生成携带有第一共享参数的模型参数更新指令。然后将模型参数更新指令发送给多个联邦学习客户端。
在S706中，基于智能合约从多个联邦学习客户端获取第二共享参数。
其中，第二共享参数可以为每个联邦学习客户端基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练，得到训练后的目标图神经网络模型的模型参数，第一独立参数可以为目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数，第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
在实施中，可以对联邦学习客户端进行身份查询认证，在身份查询认证成功后，基于智能合约，获取联邦学习客户端的第二共享参数。或者，联邦学习客户端可以在上述可信应用程序中，上传针对目标图神经网络模型的第二共享参数，可信应用程序也可以对联邦学习客户端进行身份查询认证，在身份查询认证成功后，可信应用程序可以再基于预先部署在区块链上的智能合约，获取目标图神经网络模型的第二共享参数。
在S708中，基于智能合约和第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。
在实施中，例如，基于智能合约，可以将多个第二共享参数的均值，确定为更新后的第一共享参数，或者，还可以基于与每个联邦学习客户端对应的预设权重以及第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。对第一共享参数的更新处理方法有多种，可以根据实际应用场景的不同而有所不同，可以根据实际应用场景的不同而有多不同，本说明书实施例对此不做具体限定。
本说明书实施例提供一种基于联邦学习的模型参数更新方法，基于预先部署在区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型，将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，模型参数更新指令携带有第一共享参数，基于智能合约从多个联邦学习客户端获取第二共享参数，并基于智能合约和第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理，第二共享参数为每个联邦学习客户端基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练后得到的模型参数，第一独立参数为联邦学习客户端的目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。这样，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于仅从联邦学习客户端获取第二共享参数进行参数更新处理，可以保证联邦学习客户端的用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能，并且，通过区块链系统存储第一共享参数和第二共享参数，可以保证数据的安全性，提高数据的可回溯性。
实施例六
以上为本说明书实施例提供的基于联邦学习的模型参数更新方法，基于同样的思路，本说明书实施例还提供一种基于联邦学习的模型参数更新装置，如图8所示。
该基于联邦学习的模型参数更新装置包括：接收模块801、训练模块802和发送模块803，其中：
接收模块801，用于接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
训练模块802，用于基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；
发送模块803，用于将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
本说明书实施例中，所述图谱数据为基于所述用户私有数据构建的数据集合，所述数据集合包括实体集合、关系集合以及基于所述实体集合和所述关系集合构建的三元组数据集合。
本说明书实施例中，所述训练模块802，用于：
基于预设邻域半径和所述图谱数据，确定与所述三元组数据集合中的每个三元组数据对应的邻域子图，所述邻域子图包括所述三元组数据中的实体的属性信息和实体间的结构信息；
基于所述三元组数据的邻域子图、所述三元组数据中关系的属性信息、所述第一共享参数，以及所述第一独立参数，对所述目标图神经网络模型进行训练，得到与所述三元组数据对应的训练后的所述目标图神经网络模型的第一子模型参数；
基于与每个所述三元组数据对应的第一子模型参数，确定所述所述第二共享参数。
本说明书实施例中，所述训练模块802，用于：
获取与每个所述三元组数据对应的训练后的所述目标图神经网络模型的输出数据，所述输出数据为与所述三元组数据中的实体的属性信息和关系的属性信息对应的表征信息；
基于预设模型参数更新算法、预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数和第一向量，确定所述所述第二共享参数，所述第一向量为基于每个所述三元组数据的邻域子图和关系的属性信息确定的向量。
本说明书实施例中，所述训练模块802，用于：
基于预设梯度下降模型、所述预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数、所述第一向量、预设打分模型和预设损失函数，确定所述所述第二共享参数。
本说明书实施例中，所述发送模块803，用于：
基于所述第一共享参数、所述训练后的目标图神经网络模型的模型参数中的第二独立参数，以及所述图谱数据，对所述训练后的目标图神经网络模型进行训练，得到第一图神经网络模型，所述第一图神经网络模型包括预选共享参数；
将所述预选共享参数确定为所述第二共享参数，并将所述第二共享参数发送给所述联邦学习服务端。
本说明书实施例提供一种基于联邦学习的模型参数更新装置，接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，模型参数更新指令携带有第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型，基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练，得到训练后的目标图神经网络模型的模型参数，训练后的目标图神经网络模型的模型参数包括第二共享参数，第一独立参数为目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数，将第二共享参数发送给联邦学习服务端，以使联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理。这样，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了本地用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
实施例七
基于同样的思路，本说明书实施例还提供一种基于联邦学习的模型参数更新装置，如图9所示。
该基于联邦学习的模型参数更新装置包括：发送模块901和接收模块902，其中：
发送模块901，用于将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
更新模块902，用于接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
本说明书实施例中，所述更新模块902，用于：
基于与每个所述联邦学习客户端对应的预设权重以及所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
本说明书实施例提供一种基于联邦学习的模型参数更新装置，将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，模型参数更新指令携带有第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型，接收多个联邦学习客户端发送的第二共享参数，并基于第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理，第二共享参数为每个联邦学习客户端基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练后得到的模型参数，第一独立参数为联邦学习客户端的目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。这样，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了联邦学习客户端的用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
实施例八
基于同样的思路，本说明书实施例还提供一种基于联邦学习的模型参数更新装置，如图10所示。
该基于联邦学习的模型参数更新装置为区块链系统中的装置，包括：获取模块1001、发送模块1002和更新模块1003，其中：
获取模块1001，用于基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；
发送模块1002，用于将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；
更新模块1003，用于基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
本说明书实施例提供一种基于联邦学习的模型参数更新装置，基于预先部署在区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，目标图神经网络模型为多个联邦学习客户端的共有模型，将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，模型参数更新指令携带有第一共享参数，基于智能合约从多个联邦学习客户端获取第二共享参数，并基于智能合约和第二共享参数，对目标图神经网络模型的第一共享参数进行更新处理，第二共享参数为每个联邦学习客户端基于第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对目标图神经网络模型进行训练后得到的模型参数，第一独立参数为联邦学习客户端的目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。这样，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于仅从联邦学习客户端获取第二共享参数进行参数更新处理，可以保证联邦学习客户端的用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能，并且，通过区块链系统存储第一共享参数和第二共享参数，可以保证数据的安全性，提高数据的可回溯性。
实施例九
基于同样的思路，本说明书实施例还提供一种基于联邦学习的模型参数更新设备，如图11所示。
基于联邦学习的模型参数更新设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器1101和存储器1102，存储器1102中可以存储有一个或一个以上存储应用程序或数据。其中，存储器1102可以是短暂存储或持久存储。存储在存储器1102的应用程序可以包括一个或一个以上模块（图示未示出），每个模块可以包括对基于联邦学习的模型参数更新设备中的一系列计算机可执行指令。更进一步地，处理器1101可以设置为与存储器1102通信，在基于联邦学习的模型参数更新设备上执行存储器1102中的一系列计算机可执行指令。基于联邦学习的模型参数更新设备还可以包括一个或一个以上电源1103，一个或一个以上有线或无线网络接口1104，一个或一个以上输入输出接口1105，一个或一个以上键盘1106。
具体在本实施例中，基于联邦学习的模型参数更新设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于联邦学习的模型参数更新设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；
将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
可选地，所述图谱数据为基于所述用户私有数据构建的数据集合，所述数据集合包括实体集合、关系集合以及基于所述实体集合和所述关系集合构建的三元组数据集合。
可选地，所述基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，包括：
基于预设邻域半径和所述图谱数据，确定与所述三元组数据集合中的每个三元组数据对应的邻域子图，所述邻域子图包括所述三元组数据中的实体的属性信息和实体间的结构信息；
基于所述三元组数据的邻域子图、所述三元组数据中关系的属性信息、所述第一共享参数，以及所述第一独立参数，对所述目标图神经网络模型进行训练，得到与所述三元组数据对应的训练后的所述目标图神经网络模型的第一子模型参数；
基于与每个所述三元组数据对应的第一子模型参数，确定所述所述第二共享参数。
可选地，所述基于与每个所述三元组数据对应的第一子模型参数，确定所述所述第二共享参数，包括：
获取与每个所述三元组数据对应的训练后的所述目标图神经网络模型的输出数据，所述输出数据为与所述三元组数据中的实体的属性信息和关系的属性信息对应的表征信息；
基于预设模型参数更新算法、预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数和第一向量，确定所述所述第二共享参数，所述第一向量为基于每个所述三元组数据的邻域子图和关系的属性信息确定的向量。
可选地，所述基于预设模型参数更新算法、预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数和第一向量，确定所述所述第二共享参数，包括：
基于预设梯度下降模型、所述预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数、所述第一向量、预设打分模型和预设损失函数，确定所述所述第二共享参数。
可选地，所述将所述第二共享参数发送给所述联邦学习服务端，包括：
基于所述第一共享参数、所述训练后的目标图神经网络模型的模型参数中的第二独立参数，以及所述图谱数据，对所述训练后的目标图神经网络模型进行训练，得到第一图神经网络模型，所述第一图神经网络模型包括预选共享参数；
将所述预选共享参数确定为所述第二共享参数，并将所述第二共享参数发送给所述联邦学习服务端。
另外，基于联邦学习的模型参数更新设备包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于联邦学习的模型参数更新设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
可选地，所述基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，包括：
基于与每个所述联邦学习客户端对应的预设权重以及所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
另外，基于联邦学习的模型参数更新设备可以为区块链系统中的设备，包括有存储器，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对基于联邦学习的模型参数更新设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：
基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；
将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；
基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
本说明书实施例提供一种基于联邦学习的模型参数更新设备，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了联邦学习客户端的用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
实施例十
本说明书实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述基于联邦学习的模型参数更新方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器（Read-Only Memory，简称ROM）、随机存取存储器（RandomAccess Memory，简称RAM）、磁碟或者光盘等。
本说明书实施例提供一种计算机可读存储介质，可以通过多个联邦学习客户端的参与，提高对目标图神经网络模型的模型参数更新的准确性，同时，由于联邦学习客户端仅将第二共享参数发送给联邦学习服务端，保证了联邦学习客户端的用户私有数据的隐私安全，另外，还可以通过目标图神经网络模型中的嵌入运算层对实体的属性信息和关系的属性信息的嵌入运算，使目标图神经网络模型可以对实体的属性信息和关系的关系信息进行准确的描述，提高目标图神经网络模型的性能。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进（例如，对二极管、晶体管、开关等电路结构的改进）还是软件上的改进（对于方法流程的改进）。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件（Programmable Logic Device，PLD）（例如现场可编程门阵列（Field Programmable GateArray，FPGA））就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片PLD上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器（logic compiler）”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言（Hardware Description Language，HDL），而HDL也并非仅有一种，而是有许多种，如ABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware DescriptionLanguage）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（RubyHardware Description Language）等，目前最普遍使用的是VHDL（Very-High-SpeedIntegrated Circuit Hardware Description Language）与Verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该（微）处理器执行的计算机可读程序代码（例如软件或固件）的计算机可读介质、逻辑门、开关、专用集成电路（Application Specific Integrated Circuit，ASIC）、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书一个或多个实施例时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本说明书的实施例可提供为方法、系统、或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书的实施例是参照根据本说明书实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器（CPU）、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器（RAM）和/或非易失性内存等形式，如只读存储器（ROM）或闪存（flash RAM）。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体（transitory media），如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书一个或多个实施例可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书一个或多个实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本说明书一个或多个实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书一个或多个实施例，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (18)

1.一种基于联邦学习的模型参数更新方法，应用于联邦学习客户端，包括：
接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；
将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
2.根据权利要求1所述的方法，所述图谱数据为基于所述用户私有数据构建的数据集合，所述数据集合包括实体集合、关系集合以及基于所述实体集合和所述关系集合构建的三元组数据集合。
3.根据权利要求2所述的方法，所述基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，包括：
基于预设邻域半径和所述图谱数据，确定与所述三元组数据集合中的每个三元组数据对应的邻域子图，所述邻域子图包括所述三元组数据中的实体的属性信息和实体间的结构信息；
基于所述三元组数据的邻域子图、所述三元组数据中关系的属性信息、所述第一共享参数，以及所述第一独立参数，对所述目标图神经网络模型进行训练，得到与所述三元组数据对应的训练后的所述目标图神经网络模型的第一子模型参数；
基于与每个所述三元组数据对应的第一子模型参数，确定所述第二共享参数。
4.根据权利要求3所述的方法，所述基于与每个所述三元组数据对应的第一子模型参数，确定所述第二共享参数，包括：
获取与每个所述三元组数据对应的训练后的所述目标图神经网络模型的输出数据，所述输出数据为与所述三元组数据中的实体的属性信息和关系的属性信息对应的表征信息；
基于预设模型参数更新算法、预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数和第一向量，确定所述第二共享参数，所述第一向量为基于每个所述三元组数据的邻域子图和关系的属性信息确定的向量。
5.根据权利要求4所述的方法，所述基于预设模型参数更新算法、预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数和第一向量，确定所述第二共享参数，包括：
基于预设梯度下降模型、所述预设模型学习率、与每个所述三元组数据对应的输出数据、与每个所述三元组数据对应的第一子模型参数、所述第一向量、预设打分模型和预设损失函数，确定所述第二共享参数。
6.根据权利要求5所述的方法，所述将所述第二共享参数发送给所述联邦学习服务端，包括：
基于所述第一共享参数、所述训练后的目标图神经网络模型的模型参数中的第二独立参数，以及所述图谱数据，对所述训练后的目标图神经网络模型进行训练，得到第一图神经网络模型，所述第一图神经网络模型包括预选共享参数；
将所述预选共享参数确定为所述第二共享参数，并将所述第二共享参数发送给所述联邦学习服务端。
7.一种基于联邦学习的模型参数更新方法，应用于联邦学习服务端，包括：
将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
8.根据权利要求7所述的方法，所述基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，包括：
基于与每个所述联邦学习客户端对应的预设权重以及所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
9.一种基于联邦学习的模型参数更新方法，应用于区块链系统，包括：
基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；
将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；
基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
10.一种基于联邦学习的模型参数更新装置，包括：
接收模块，用于接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
训练模块，用于基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；
发送模块，用于将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
11.一种基于联邦学习的模型参数更新装置，包括：
发送模块，用于将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
更新模块，用于接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
12.一种基于联邦学习的模型参数更新装置，所述装置为区块链系统中的装置，包括：
获取模块，用于基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；
发送模块，用于将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；
更新模块，用于基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
13.一种基于联邦学习的模型参数更新设备，所述基于联邦学习的模型参数更新设备包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述基于联邦学习的模型参数更新设备的共有模型；
基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；
将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习的模型参数更新设备发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
14.一种基于联邦学习的模型参数更新设备，所述基于联邦学习的模型参数更新设备包括：
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
15.一种基于联邦学习的模型参数更新设备，所述基于联邦学习的模型参数更新设备为区块链系统中的设备，包括：
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：
基于预先部署在所述区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；
将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；
基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
16.一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
接收联邦学习服务端下发的针对目标图神经网络模型的模型参数更新指令，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练，得到训练后的所述目标图神经网络模型的模型参数，所述训练后的目标图神经网络模型的模型参数包括第二共享参数，所述第一独立参数为所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数；
将所述第二共享参数发送给所述联邦学习服务端，以使所述联邦学习服务端基于多个联邦学习客户端发送的第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理。
17.一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
将针对目标图神经网络模型的模型参数更新指令发送给多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数，所述目标图神经网络模型为多个所述联邦学习客户端的共有模型；
接收所述多个联邦学习客户端发送的第二共享参数，并基于所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
18.一种存储介质，所述存储介质用于存储计算机可执行指令，所述可执行指令在被执行时实现以下流程：
基于预先部署在区块链系统中的智能合约，获取目标图神经网络模型的第一共享参数，所述目标图神经网络模型为多个联邦学习客户端的共有模型；
将针对所述目标图神经网络模型的模型参数更新指令发送给所述多个联邦学习客户端，所述模型参数更新指令携带有第一共享参数；
基于所述智能合约从所述多个联邦学习客户端获取第二共享参数，并基于所述智能合约和所述第二共享参数，对所述目标图神经网络模型的第一共享参数进行更新处理，所述第二共享参数为每个所述联邦学习客户端基于所述第一共享参数、本地存储的第一独立参数，以及由本地用户私有数据构建的图谱数据，对所述目标图神经网络模型进行训练后得到的模型参数，所述第一独立参数为所述联邦学习客户端的所述目标图神经网络模型中用于对图谱数据中实体的属性信息，以及关系的属性信息进行嵌入运算的嵌入运算层的模型参数。
CN202110824981.1A 2021-07-21 2021-07-21 基于联邦学习的模型参数更新方法、装置及设备 Active CN113297396B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110824981.1A CN113297396B (zh) 2021-07-21 2021-07-21 基于联邦学习的模型参数更新方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110824981.1A CN113297396B (zh) 2021-07-21 2021-07-21 基于联邦学习的模型参数更新方法、装置及设备

Publications (2)

Publication Number Publication Date
CN113297396A true CN113297396A (zh) 2021-08-24
CN113297396B CN113297396B (zh) 2022-05-20

Family

ID=77330854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110824981.1A Active CN113297396B (zh) 2021-07-21 2021-07-21 基于联邦学习的模型参数更新方法、装置及设备

Country Status (1)

Country Link
CN (1) CN113297396B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113660080A (zh) * 2021-10-20 2021-11-16 北京金鸿睿信息科技有限公司 一种安全多方计算与联邦分析技术
CN113657614A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113988260A (zh) * 2021-10-27 2022-01-28 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置、设备及系统
CN114429222A (zh) * 2022-01-19 2022-05-03 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备
CN114528992A (zh) * 2022-01-17 2022-05-24 盐城矩阵运营管理有限公司 一种基于区块链的电子商务业务分析模型的训练方法
CN114638998A (zh) * 2022-03-07 2022-06-17 支付宝(杭州)信息技术有限公司 模型更新方法、装置、系统及设备
CN114783425A (zh) * 2022-03-30 2022-07-22 中国科学院声学研究所 一种基于私有参数的语音识别联邦学习方法和系统
CN116614273A (zh) * 2023-05-23 2023-08-18 国网江苏省电力有限公司信息通信分公司 基于cp-abe的对等网络中联邦学习数据共享模型及其构建方法
CN116703553A (zh) * 2023-08-07 2023-09-05 浙江鹏信信息科技股份有限公司 金融反欺诈风险监控方法、系统及可读存储介质
CN117010484A (zh) * 2023-10-07 2023-11-07 之江实验室 基于注意力机制的个性化联邦学习泛化方法、设备、应用

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553470A (zh) * 2020-07-10 2020-08-18 成都数联铭品科技有限公司 适用于联邦学习的信息交互系统及方法
CN111738438A (zh) * 2020-07-17 2020-10-02 支付宝(杭州)信息技术有限公司 图神经网络模型训练方法、装置及系统
CN112015749A (zh) * 2020-10-27 2020-12-01 支付宝(杭州)信息技术有限公司 基于隐私保护更新业务模型的方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111553470A (zh) * 2020-07-10 2020-08-18 成都数联铭品科技有限公司 适用于联邦学习的信息交互系统及方法
CN111738438A (zh) * 2020-07-17 2020-10-02 支付宝(杭州)信息技术有限公司 图神经网络模型训练方法、装置及系统
CN112015749A (zh) * 2020-10-27 2020-12-01 支付宝(杭州)信息技术有限公司 基于隐私保护更新业务模型的方法、装置及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHIYONG CUI等: "Traffic Graph Convolutional Recurrent Neural Network: A Deep Learning Framework for Network-Scale Traffic Learning and Forecasting", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS》 *
王蓉等: "基于联邦学习和卷积神经网络的入侵检测方法", 《信息网络安全》 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657614A (zh) * 2021-09-02 2021-11-16 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113657614B (zh) * 2021-09-02 2024-03-01 京东科技信息技术有限公司 联邦学习模型的更新方法和装置
CN113660080B (zh) * 2021-10-20 2021-12-14 北京金鸿睿信息科技有限公司 一种安全多方计算与联邦分析技术
CN113660080A (zh) * 2021-10-20 2021-11-16 北京金鸿睿信息科技有限公司 一种安全多方计算与联邦分析技术
CN113988260B (zh) * 2021-10-27 2022-11-25 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置、设备及系统
CN113988260A (zh) * 2021-10-27 2022-01-28 杭州海康威视数字技术股份有限公司 一种数据处理方法、装置、设备及系统
CN114528992A (zh) * 2022-01-17 2022-05-24 盐城矩阵运营管理有限公司 一种基于区块链的电子商务业务分析模型的训练方法
CN114429222A (zh) * 2022-01-19 2022-05-03 支付宝(杭州)信息技术有限公司 一种模型的训练方法、装置及设备
CN114638998A (zh) * 2022-03-07 2022-06-17 支付宝(杭州)信息技术有限公司 模型更新方法、装置、系统及设备
CN114783425A (zh) * 2022-03-30 2022-07-22 中国科学院声学研究所 一种基于私有参数的语音识别联邦学习方法和系统
CN116614273A (zh) * 2023-05-23 2023-08-18 国网江苏省电力有限公司信息通信分公司 基于cp-abe的对等网络中联邦学习数据共享模型及其构建方法
CN116614273B (zh) * 2023-05-23 2024-03-19 国网江苏省电力有限公司信息通信分公司 基于cp-abe的对等网络中联邦学习数据共享系统及模型构建方法
CN116703553A (zh) * 2023-08-07 2023-09-05 浙江鹏信信息科技股份有限公司 金融反欺诈风险监控方法、系统及可读存储介质
CN116703553B (zh) * 2023-08-07 2023-12-05 浙江鹏信信息科技股份有限公司 金融反欺诈风险监控方法、系统及可读存储介质
CN117010484A (zh) * 2023-10-07 2023-11-07 之江实验室 基于注意力机制的个性化联邦学习泛化方法、设备、应用
CN117010484B (zh) * 2023-10-07 2024-01-26 之江实验室 基于注意力机制的个性化联邦学习泛化方法、设备、应用

Also Published As

Publication number Publication date
CN113297396B (zh) 2022-05-20

Similar Documents

Publication Publication Date Title
CN113297396B (zh) 基于联邦学习的模型参数更新方法、装置及设备
TWI682304B (zh) 基於圖結構模型的異常帳號防控方法、裝置以及設備
CN109614823B (zh) 一种数据的处理方法、装置及设备
CN107957989B (zh) 基于集群的词向量处理方法、装置以及设备
US20240095538A1 (en) Privacy-preserving graphical model training methods, apparatuses, and devices
CN109214193B (zh) 数据加密、机器学习模型训练方法、装置以及电子设备
CN111080304A (zh) 一种可信关系识别方法、装置及设备
CN111401766B (zh) 模型、业务处理方法、装置及设备
CN114819614A (zh) 数据处理方法、装置、系统及设备
CN114745133B (zh) 一种识别设备唯一性的方法及装置
CN115712866B (zh) 数据处理方法、装置及设备
CN116402108A (zh) 一种模型训练及图数据的处理方法、装置、介质及设备
CN116049761A (zh) 数据处理方法、装置及设备
CN112836829B (zh) 一种个性化的隐私保护学习方法、装置以及设备
US9886652B2 (en) Computerized correspondence estimation using distinctively matched patches
CN114638998A (zh) 模型更新方法、装置、系统及设备
CN112967044B (zh) 一种支付业务的处理方法及装置
CN116308738A (zh) 一种模型训练的方法、业务风控的方法及装置
CN113033819B (zh) 基于异构模型的联邦学习方法、装置及介质
US20240184807A1 (en) Information system for generation of new molecule by using graph representing molecule
CN114662706A (zh) 一种模型训练方法、装置及设备
CN114528931A (zh) 一种模型训练的方法及装置
CN116384511A (zh) 测试处理方法及装置
CN117312597A (zh) 一种数据资产管理方法及装置
CN117252656A (zh) 一种产品推荐方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40056988

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant