CN117273086A - 多方联合训练图神经网络的方法及装置 - Google Patents

多方联合训练图神经网络的方法及装置 Download PDF

Info

Publication number
CN117273086A
CN117273086A CN202311550408.1A CN202311550408A CN117273086A CN 117273086 A CN117273086 A CN 117273086A CN 202311550408 A CN202311550408 A CN 202311550408A CN 117273086 A CN117273086 A CN 117273086A
Authority
CN
China
Prior art keywords
party
nodes
current batch
graph
characterization vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311550408.1A
Other languages
English (en)
Other versions
CN117273086B (zh
Inventor
邱鹏宇
刘永超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202311550408.1A priority Critical patent/CN117273086B/zh
Publication of CN117273086A publication Critical patent/CN117273086A/zh
Application granted granted Critical
Publication of CN117273086B publication Critical patent/CN117273086B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种多方联合训练图神经网络的方法及装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络。该方法涉及针对多个节点的多轮遍历训练，其中任一轮遍历训练包括：供图方和样本方各自根据当前批次的节点标识对应的本地数据与中立方进行交互，其中当前批次是针对本轮遍历训练将多个节点进行随机划分得到的多个批次之一，该交互使得中立方利用图神经网络得到对应当前批次节点的本轮表征向量；之后，中立方在本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，进而结合当前批次对应的标签数据完成图神经网络针对当前批次的迭代更新。

Description

多方联合训练图神经网络的方法及装置
技术领域
本说明书一个或多个实施例涉及机器学习技术领域，尤其涉及一种保护数据隐私的多方联合训练图神经网络的方法及装置、一种计算机可读存储介质，以及一种计算设备。
背景技术
关系网络图是对现实世界中实体之间的关系的描述，一般包含一个节点集合和一个边集合，节点表示现实世界中的实体，边表示现实世界中实体之间的联系。例如，在社交网络中，人就是实体，人和人之间的关系或联系就是边。
关系网络图的拓扑结构能反映现实世界中的复杂关系，因而在社交平台、推荐系统应用中有着举足轻重的作用。如图1所示，在推荐、欺诈检测和疾病传播等业务场景中，不同服务方各自持有相应场景的样本特征和标签数据，如果能够进一步引入丰富的社交网络数据训练机器学习模型，将极大提高对应业务场景下的预测准确率和业务质量。
联邦学习（Federated Learning，简称FL）提供了一种可行的数据合作方案，FL是一种保护数据隐私的机器学习框架，可以让多个数据方在不暴露各自原始数据隐私的情况下，共同训练一个机器学习模型。示例性的，在引入图数据的FL场景下，图数据方持有实体节点的连接关系特征，例如用户节点与哪些用户节点具有社交关系等，其他数据方持有实体节点的其他特征或标签数据，例如用户节点的兴趣爱好或在电商平台中的点击数据等。
但是，目前缺乏针对大型图谱进行FL学习的研究。由此，本说明书实施例提出了一种多方联合训练图神经网络（Graph Neural Network，简称GNN）的方案，其中GNN可以用于直接处理图结构数据，该方案在图结构数据量级较大的情况下优势尤为突出。
发明内容
本说明书实施例描述一种多方联合训练图神经网络的方法及装置，可以满足实际应用中的更高要求。
根据第一方面，提供一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练。其中任一轮遍历训练包括：
所述供图方和样本方各自根据当前批次的节点标识对应的本地数据，与所述中立方进行交互；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一，该交互使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量。所述中立方在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。所述中立方基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
在一个实施例中，所述样本方为多个样本方，所述多个节点对应的特征和至少部分节点的标签数据垂直分布于所述多个样本方。
根据第二方面，提供一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练。在任一轮遍历训练中所述中立方执行以下步骤：
通过与所述供图方和样本方进行针对当前批次的节点标识的交互，利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；其中供图方和样本方各自根据所述当前批次的节点标识对应的本地数据参与交互。在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
在一个实施例中，其中在任一轮遍历训练中所述中立方还执行以下步骤：在本轮遍历训练中，将所述多个节点进行随机划分得到多批次节点标识；将所述多批次节点标识逐批次作为当前批次的节点标识，发送至所述供图方和样本方。
在一个实施例中，所述中立方还执行以下步骤：将首个训练轮次的上一训练轮次对应的各个历史表征向量分别初始化为零向量。
根据第三方面，提供一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练。在任一轮遍历训练中所述供图方执行以下步骤：
根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。基于所述子图与所述样本方和中立方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中样本方根据所述当前批次的节点标识对应的本地特征数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
在一个实施例中，在根据当前批次的节点标识，从所述关系网络图中提取对应的子图之前，所述方法还包括：获取所述关系网络图的原始版本。基于所述原始版本，在其中各个节点与对应的k阶邻居节点之间添加连接边，得到所述关系网络图的更新版本，用于提取所述子图；其中k为大于1的整数。
在一个实施例中，基于所述子图与所述样本方和中立方进行交互，包括：在所述子图中随机地添加和/或删除连接边，作为更新后的子图；利用所述更新后的子图参与所述交互。
在一个实施例中基于所述子图与所述样本方和中立方进行交互，包括：将所述子图的结构数据从稀疏数据形式转换为非稀疏的预定数据形式；采用所述预定数据形式支持的同态加密算法，对转换后的子图结构数据进行同态加密；利用所述同态加密得到的密文参与所述交互。
根据第四方面，提供一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练。在任一轮遍历训练中所述样本方执行以下步骤：
根据当前批次的节点标识，从所述多个节点对应的特征中提取当前批次特征；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。基于所述当前批次特征与所述中立方和供图方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中供图方根据所述当前批次的节点标识对应的本地子图数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
在一个实施例中，基于所述当前批次特征与所述中立方和供图方进行交互，包括：利用本地部署的嵌入模型处理所述当前批次特征，得到当前批次的节点嵌入向量；利用所述节点嵌入向量参与所述交互。
在一个具体的实施例中，还包括：利用基于所述目标特征向量和所述当前批次对应的标签而确定的回传梯度，完成所述嵌入模型针对所述当前批次的迭代更新。
在一个实施例中，所述样本方为多个样本方，所述多个节点对应的特征和至少部分节点的标签数据垂直分布于所述多个样本方。
根据第五方面，提供一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练。其中任一轮遍历训练包括：
所述供图方和若干样本方各自根据当前批次的节点标识对应的本地数据进行交互；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一，该交互使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量。所述指定方在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。所述指定方基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
根据第六方面，提供一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练。在任一轮遍历训练中所述指定方执行以下步骤：
根据所述当前批次的节点标识对应的本地数据，与其他方进行交互，从而利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；所述其他方各自根据所述当前批次的节点标识对应的本地数据参与交互。在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
根据第七方面，提供一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练。在任一轮遍历训练中所述供图方执行以下步骤：
根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。基于所述子图与所述若干样本方进行交互，使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中若干样本方各自根据所述当前批次的节点标识对应的本地特征数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
根据第八方面，提供一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。所述装置集成于所述中立方，通过以下单元参与其中任一轮遍历训练：
交互单元，配置为通过与所述供图方和样本方进行针对当前批次的节点标识的交互，利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；其中供图方和样本方各自根据所述当前批次的节点标识对应的本地数据参与交互。向量处理单元，配置为在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。模型更新单元，配置为基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
根据第九方面，提供一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。所述装置集成于所述供图方，通过以下单元参与其中任一轮遍历训练：
子图提取单元，配置为根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。交互单元，配置为基于所述子图与所述样本方和中立方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中样本方根据所述当前批次的节点标识对应的本地特征数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
根据第十方面，提供一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。所述装置集成于所述样本方，通过以下单元参与其中任一轮遍历训练：
特征提取单元，配置为根据当前批次的节点标识，从所述多个节点对应的特征中提取当前批次特征；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。交互单元，配置为基于所述当前批次特征与所述中立方和供图方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中供图方根据所述当前批次的节点标识对应的本地子图数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
根据第十一方面，提供一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。所述装置集成于所述指定方，通过以下单元参与其中任一轮遍历训练：
交互单元，配置为根据所述当前批次的节点标识对应的本地数据，与其他方进行交互，从而利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；所述其他方各自根据所述当前批次的节点标识对应的本地数据参与交互。向量处理单元，配置为在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。模型更新单元，配置为基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
根据第十二方面，提供一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。所述装置集成于供图方，通过以下单元参与其中在任一轮遍历训练：
子图提取单元，配置为根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。交互单元，配置为基于所述子图与所述若干样本方进行交互，使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中若干样本方各自根据所述当前批次的节点标识对应的本地特征数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
根据第十三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当上述计算机程序在计算机中执行时，令计算机执行第一方面至第七方面中任一方面提供的方法。
根据第十四方面，提供了一种计算设备，包括存储器和处理器，上述存储器中存储有可执行代码，该处理器执行上述可执行代码时，实现第一方面至第七方面中任一方面提供的方法。
在本说明书实施例提供的上述方法和装置中，提出了基于随机子图的图联邦学习框架，在兼容现有的FL学习框架下，以随机采样不同批次节点的方式进行图神经网络GNN的训练，通过小批多次的方式降低数据传输瓶颈，同时，随机子图放松了对子图的采样要求，不会在子图结构中暴露节点的邻居结构，有效降低了隐私泄露风险。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为针对图结构数据的应用场景示意图；
图2为本说明书实施例披露的多方联合训练图神经网络的实施架构示意图；
图3为本说明书实施例披露的本方案和GAS方案在前向传播过程中的数据流动对比示意图；
图4为本说明书实施例披露的多方联合训练图神经网络的交互流程示意图；
图5为本说明书实施例披露的集成于参与多方联合训练图神经网络的中立方的装置结构示意图；
图6为本说明书实施例披露的集成于参与多方联合训练图神经网络的供图方的装置结构示意图；
图7为本说明书实施例披露的集成于参与多方联合训练图神经网络的样本方的装置结构示意图；
图8为本说明书实施例披露的集成于参与多方联合训练图神经网络的指定方的装置结构示意图；
图9为本说明书实施例披露的集成于参与多方联合训练图神经网络的供图方的另一装置结构示意图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
承前所述，目前缺乏针对大型图谱进行FL学习的研究。其中的主要困难包括：
1）数据传输瓶颈。大规模图拓扑的量级（亿级）使得整图传输并不现实。
2）隐私保护冲突。现有的大规模图学习方案采用子图采样的方式进行图模型的训练，但是这些子图通常是以个位数的节点为核心，采样其邻居节点形成的，这对于特定节点而言，存在极大的身份泄漏风险。举例来说，假定持有图结构数据的A方与持有节点特征和标签数据的B方联合训练GNN模型，在其中的第t次迭代训练，B方要求A方提供以节点01和节点02为核心，采样其邻居节点而形成的子图信息，其中01和02指代节点标识；于是，A方在采样出对应的目标子图后，将该目标子图的密文以及核心节点的邻居节点标识提供给B方，从而B方根据目标子图包含的节点标识（包括核心节点和其邻居节点的标识）提取对应的特征和标签数据，用于完成第t次迭代训练。之后，在第t+1次迭代训练中，B方要求A方提供以节点01和节点03为核心的子图信息，同理，B方会得到节点01和节点03的邻居节点标识，进一步，B方通过比对第t次和第t+1次迭代训练中得到的邻居节点标识，可以推断出节点02或节点03的至少一部分邻居节点，这就导致A方的图结构数据发生了泄露。
本说明书实施例针对以上问题提出了基于随机子图的纵向图联邦学习框架，在兼容现有的FL学习框架下，以随机采样不同批次节点的方式进行图神经网络GNN的训练，通过小批多次的方式降低数据传输瓶颈，同时，随机子图放松了对子图的采样要求，不会在子图结构中暴露节点的邻居结构，有效降低了隐私泄露风险。
图2为本说明书实施例披露的多方联合训练图神经网络的实施架构示意图，其中示意多个参与方（或简称多方）包括供图方、样本方和中立方。为便于理解，先对训练数据和模型在多个参与方中的分布和部署情况进行简要介绍。
联合训练涉及的完整训练数据包括关系网络图、关系网络图中的多个节点对应的特征数据，以及至少一部分节点对应的标签数据。需理解，可能存在一些节点缺少标签数据。训练数据的具体内容与具体的业务场景相适应。比如说，在推荐场景下，关系网络图可以是用户关系网络图，具有社交关系、转账关系等预定关系的用户节点之间具有连接边，用户节点的特征数据可以包括静态属性特征，如出生年月、兴趣爱好、常驻地等，还可以包括动态行为特征或者说网络行为特征，如消费类目、消费金额、消费频次、网页浏览记录等，用户节点的标签数据可以用户是否做出预定行为，如购买某件商品、点击某个广告、关注某个公众号等。
上述关系网络图的图结构数据，主要包括反映节点之间连接关系的邻接数据（或称邻接信息），由供图方提供。至于节点的特征数据和标签数据，图1示意由样本方提供，但实际上，特征数据和标签数据也可以在样本方和供图方中灵活分布，比如，样本方维护节点特征数据，供图方维护节点标签数据；又比如，样本方维护多数节点的标签和特征数据，供图方维护少数节点的标签和特征数据，再比如，样本方维护多个节点的标签和一部分特征，供图方维护多个节点的另一部分特征。中立方不负责训练数据的提供，但其中部署有图神经网络，中立方为可信第三方，一般是权威机构。
多方基于上述数据分布和模型部署，共同参与GNN模型的联合训练。联合训练包括多轮遍历训练，每轮遍历训练会对上述完整训练数据进行一次遍历，或者说对上述多个节点进行一次遍历，一次遍历可以称为1个epoch。
每轮遍历训练中采用基于上述多个节点进行随机划分而得到的多批次节点，对GNN模型对应进行多次迭代更新。需说明，在本申请中，针对不同轮的遍历训练会对多个节点重新进行随机划分，并且，在每轮遍历训练中会用到上一轮遍历训练中针对各个节点输出的历史表征向量，从而减少因为随机划分而造成的图结构信息的损失，保证方案的可用性。
具体而言，每次迭代更新中用到的一批次节点是随机采样得到的，相应，与一批次节点对应的子图是随机的，区别于传统的子图采样中以数个节点为核心，采样其邻居节点而形成子图的方式，可以避免特定节点因其邻居结构而暴露身份隐私。
进一步，考虑到每批次节点都是随机采样的，这样会造成邻接信息的损失，对此可参见图3，对于图3的（a）中示意的关系网络结构，假定在首轮遍历训练中，节点V1和节点V2被随机划分到同一批次，节点V3和节点V4被随机划分到另一批次，如此的划分将导致节点V1和V3，节点V2和V4，以及节点V3和V4之间的邻接信息被丢弃、损失，如图3中的（b）所示，在利用节点V1和V2进行前向传播的过程中，将缺失虚线箭头示意的节点V3和节点V4的信息传播。
由此，为了在加强隐私保护的同时保证方案的可用性，提出在每轮遍历训练中都对多个节点重新进行随机划分，使得互为邻居的节点尽可能至少一次被分到同一批次，例如，节点V1和节点V3在第2轮遍历训练中可能被分到同一批次，从而实现信息传播，另外，因为在多轮遍历训练中，同一节点的邻接信息可能存在不同，其节点表征向量的产生所基于的输入存在变化，由此还提出在每轮遍历训练中，对上一轮遍历训练中的历史表征向量进行融合，对此可以参见图3中的（c）用圆弧形箭头示意出的自循环，从而提高节点表征向量的信息丰富性、准确度和可用性，进而提高训练效果。
以上介绍本说明书实施例披露的针对联合训练提出的主要训练策略，包括随机子图采样策略和节点的历史表征融合策略。
回到图2，其中示意m*n个节点批次（batch），m指代遍历训练的轮次，n指代每轮遍历训练中的节点批次数，或者说对GNN进行迭代更新的次数。需理解，图2中仅示意每轮遍历训练中的节点批次数相同，均为n的情况，实际上不同轮遍历训练中的节点批次数也可以不同。
如图2所示，在任意的第i轮遍历训练的第j次迭代更新中，首先，在步骤S210，供图 方和样本方各自根据当前批次的节点标识对应的本地数据，与中立方进行交互，使得中立 方利用GNN模型得到对应当前批次节点的本轮表征向量。接着，在步骤S220，中立方在 本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量， 作为目标表征向量，以及，利用所述目标表征向量更新历史表征向量。然后，在 步骤S230，中立方基于目标表征向量和当前批次对应的标签数据，完成GNN模型针对 当前批次的迭代更新。
需理解，图2中的交互步骤不只适用于其中示出的典型数据分布场景，即，供图方维护图数据且样本方维护节点标签和特征数据，还可以是文中提及的其他数据分布情况。为便于理解，接下来，主要以该典型数据分布场景为例，对图2中的各个交互步骤进行更详细的介绍。需理解，参与交互的多方均可以实现为任何具有计算、处理能力的装置、服务器或设备集群等。
首先，对于上述步骤S210，可以将其拆分为以下子步骤S212、S214和S216：
步骤S212，供图方根据当前批次的节点标识，从其持有的关系网络图中提取包 含该批次节点的子图。步骤S214，样本方根据当前批次的节点标识，从其持有的特征数 据中提取该批次节点的特征。步骤S216，供图方基于当前批次对应的子图，样本方 基于当前批次对应的特征，与中立方进行交互，使得中立方利用GNN模型得到当前批次 节点的本轮表征向量。
从上述步骤S212和S214可以观察到，供图方和样本方需要预先获取到当前批次的 节点标识。对此，在一个实施例中，步骤S210中还可以包括子步骤S211，中立方将当前批 次的节点标识发送给供图方和样本方。可以理解，当前批次的节点标识集合是针对本轮 遍历训练将关系网络图中包含的多个节点进行随机划分而得到的多个批次之一。
需说明，关于随机划分的执行方、划分方式和划分时机，有许多变种。在一种典型情况下，在每轮遍历训练中，中立方先对关系网络图中的所有节点标识进行随机划分，得到多批次节点标识，然后在该轮遍历训练中，将多批次节点标识逐批次作为当前批次的节点标识，用于当前次迭代更新。可以理解，当随机划分的执行方为中立方时，可以借助其可信、权威的特性进一步强化数据安全，但实际上，执行方也可以是样本方。
随机划分的时机除了在每轮遍历训练中执行多次迭代更新之前，还可以是在多轮遍历训练之前，将各轮遍历训练中需要用到的节点批次都预先划分好，又或者，在每次迭代更新中实时进行随机采样，得到当前批次的节点标识。
随机划分的方式可以采用逐批次的无放回随机采样。或者，可以先将待分批的多个节点标识进行随机打乱，再根据打乱后的顺序，按照预定的节点数量取出各个批次的节点标识，对此可以借助Python中自带的list、range和shuffle函数实现，相关的伪代码可记作：
indices=list(range(n))
shuffle(indices)
for i in range(n/bs) do
batch_ indices = indices[i*bs:(i+1)*bs]
... ...
其中，n表示所有节点的数量，bs表示每批次节点的数量。
以上对节点批次的随机划分进行介绍。若随机划分由中立方执行，则中立方可以 当前批次的节点标识发送给供图方和样本方，若随机划分由样本方执行，则样本方可以 将当前批次的节点标识发送给供图方。另外，对于节点标识集的发送时机，可以在每次 迭代更新中分别发送对应批次的节点标识集，又或者，也可以在每轮遍历训练中一次性发 送该轮次需要用到的所有批次的节点标识，供图方和样本方再对接收到的多批次节点标识 进行按序读取，作为各次迭代更新时的当前批次节点标识。
由上，供图方和样本方可以预先获取到当前批次的节点标识集合。
于是，供图方可以基于当前批次的节点标识集执行步骤S212，从其持有的关系 网络图中提取包含该批次节点的子图。可以理解，子图中的节点包括且只包括当前 批次的节点，相应地，边数据也只包括当前批次节点之间的连接边数据或者说邻接信息。
对于本步骤中子图的提取，在一个实施例中，供图方对关系网络图中的边以 稀疏向量的方式保存，比如说，将节点0和节点1之间存在的连接边以坐标的方式表示为（0， 1），此时，可以从保存的对应图的稀疏向量中，提取向量元素均属于当前批次节点标识集的稀疏向量，作为子图的图数据。
在另一个实施例中，关系网络图中对连接边以邻接矩阵的方式保存，示例性的， 邻接矩阵中第i行第j列元素表示第i个节点和第j个节点之间是否存在连接边，元素值为1 表示存在，元素值为0表示不存在，由此，可以从关系网络图对应的原始邻接矩阵中提取 对应当前批次节点的子矩阵，作为子图的图数据。示例性的，可以采用开源软件PyG中 的bipartite函数实现子图提取。
另一方面，考虑到本方案中保护关系网络数据安全的关键在于保护子图的数 据安全，且真实世界中的大多数关系网络图都是稀疏的，因此每条真实连接边都至关重要。 由此，提出借鉴图数据处理领域中智能游走（Smart-Walk）机制的思想，通过在关系网络图的各个节点与其（第）k阶邻居节点之间添加连接边，在保留有效信息的同时实现对节点 邻域的混淆，从而增强对采样出的子图的隐私保护。另外，由于GNN旨在逐隐藏层地聚合 节点的多跳邻居信息，因此，通过在k阶邻居节点之间加边还可以补偿随机子图采样策略造 成的信息损失。
需理解，上述k阶邻居节点中的k为大于1的整数，例如，设定k=2。另外，k阶邻居节 点间加边的操作只需执行一次，之后各次迭代更新中的子图提取操作都基于加边后的同一 关系网络图进行。
根据又一方面的实施例，对于上述任一实施例中提取出的子图，可以对其随机 地添加和/或删除预定数量的连接边，从而基于更新后的子图进行后续计算，进而简单、 有效地实现隐私保护。可以理解，其中预定数量可以根据实际需要设定。
由上，供图方通过执行步骤S212，可以采样得到对应当前批次节点的随机子图。
类似地，样本方也需要提取与当前批次节点对应的本地数据。在步骤S214，样本 方根据当前批次的节点标识，从其持有的特征数据中提取该批次节点的特征。
可以理解，样本方中存储节点标识与特征之间的映射关系，根据此映射关系，可以 从全量的特征数据中快速、准确地读取到当前批次节点标识对应的特征。
在一个实施例中，本步骤中还可以包括：样本方从其持有的标签数据中提取当 前批次的标签。
由上，通过步骤S212、S214的执行，供图方和样本方各自准备好了参与本次迭代更 新的训练数据。进一步地，在步骤S216，供图方利用当前批次对应的子图，样本方利用当 前批次对应的特征，与中立方进行交互，使得中立方利用GNN模型得到当前批次节点的 本轮表征向量。
需理解，图2示意的典型数据分布场景属于纵向分布，即，不同数据方拥有相同的 样本空间和不同的特征空间，相应地，本步骤可以兼容已有的纵向联邦学习（Vertical Federated Learning，简称VFL）框架实现。具体而言，在已有的VFL框架下，各方参与训练的 私有数据明确后，即可在保护各方私有数据不出域的情况下，实现对多方共同约定的模型 的训练，训练中涉及中间结果的计算或传输。相应地，本方案中的中间结果包括上述本轮表 征向量等。
一般地，现有的VFL框架通常采用同态加密（Homomorphic Encryption，简称HE）技术进行中间结果的加密传输和运算。简单来说，HE技术支持密文间或明密文间的特定类型计算，计算结果解密得到的内容与直接进行明文间计算是一致的。
在采用HE技术实现的VFL框架下，给出本步骤的一个执行示例：中立方从供图方和 样本方对应接收子图的密文和特征的密文，并利用GNN模型对接收到的密文 进行处理，从而得到本轮表征向量的密文；中立方将密文和本方生成的随机数的 密文之和，即发送给供图方，并从供图方接收解密出的结果，即，进而 得到本轮表征向量。
另一方面，在一个实施例中，考虑到对稀疏向量进行HE计算将耗费大量的计算资 源，由此提出在本步骤中，供图方还可以先将子图的结构数据从稀疏数据形式转换为非 稀疏的预定数据形式，例如，NumPy等科学计算库支持的数据形式，从而，供图方在本步骤的 交互中采用该预定数据形式支持的同态加密算法，实现对中间结果的高效加密传输和运 算。
又一方面，在一个实施例中，样本方中还部署有嵌入模型，相应，样本方先利用本 方部署的嵌入模型处理当前批次的特征，再利用对应得到的节点嵌入向量参与本步 骤中的后续交互。示例性的，可以将的密文发送给中立方，以使中立方利用GNN模型 对其进行处理。如此，样本方可以加强对本方特征数据的隐私保护，同时，还可以降低数据 的总体计算量和通信量。
以上介绍步骤S210的各个子步骤，通过执行步骤S210，供图方基于当前批次节点 对应的子图，样本方基于当前批次节点对应的特征，与部署有GNN模型的中立方进行 交互，于是，中立方可以得到当前批次节点对应的本轮表征向量。
继续看图2中示出的下一步骤S220，中立方在本轮表征向量中融合上一轮遍历 训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将历史 表征向量更新为目标表征向量。
对本轮表征向量和历史表征向量进行融合的方式有多种，如对位相乘或 加权求和等。示例性地，可以采用下式（1）进行加权求和：
（1）
在上式（1）中，是取值区间为(0,1)的超参，例如，人工设定。
需说明，历史表征向量由中立方维护，中立方可以在首个训练轮次中将各个节点 标识对应的历史表征向量都初始化为零向量，由此，若本轮训练为首轮训练，则其上一轮遍 历训练得到的对应当前批次节点的历史表征向量为零向量。
由此，在步骤S220，中立方可以得到融合历史表征向量后的目标表征向量 ，以及完成对历史表征向量的更新。
之后，在步骤S230，中立方基于目标表征向量和当前批次对应的标签数据， 完成GNN模型针对当前批次的迭代更新。可以理解，其中标签数据是样本方提供的。
具体地，中立方基于目标表征向量可以得到预测结果，例如，利用softmax函 数处理目标表征向量，可以得到各个类别对应的预测概率，作为预测结果。又例如，标 签数据指示当前批次节点中某个用户节点对某个商品节点做出过购买行为，此时，可以 计算该用户节点和商品节点的目标表征向量之间的相似度，归入预测结果。
进一步，中立方可以基于当前批次对应的预测结果和标签数据确定训练损 失，从而根据训练损失更新GNN模型的模型参数。需理解，当前批次节点中的可能有些节点 没有标签，此时，可以只根据有标签的节点进行模型参数的更新，也就是说，利用有标签节 点的预测结果和标签确定训练损失，进而更新模型参数。
另一方面，在一个实施例中，若样本方中部署有嵌入模型，本步骤中还包括：基于 目标表征向量和当前批次对应的标签数据确定回传至嵌入模型的回传梯度，并将回 传梯度发送给样本方，以使样本方基于该回传梯度完成嵌入模型针对当前批次的迭代更 新。
由上，通过执行图2中示意的交互步骤，可以实现联合训练中对GNN模型的任一次迭代更新，依次类推，通过执行针对关系网络图中多个节点的多轮次遍历，在每轮次遍历中分别执行多次迭代更新，最终可以得到训练好的GNN模型。
接下来结合下表1，对利用一批次节点进行GNN模型的单次迭代更新的流程进行更加直观地示例性描述。
表1 利用一批次节点更新GNN模型的流程
如表1所示，对GNN模型进行单次迭代更新包括以下环节：
第0个环节：供图方创建密钥对，并将密钥对中的公钥分别发送给样本方和中立方。示例性的，供图方可以基于同态加密HE技术生成密钥对。
样本方对其中部署的嵌入模型的模型参数进行初始化。
中立方对其中部署的GNN模型的模型参数进行初始化。
需说明，第0个环节可以换称为预备环节，其并非在每次迭代更新中都执行，而是在首轮训练遍历中的首次迭代更新中执行即可。
第1个环节：中立方将当前批次的节点标识发送给供图方和样本方。
第2个环节：供图方从关系网络中提取对应当前批次节点标识的子图，利用 公钥对子图的邻接矩阵进行加密，并将加密得到的密文发送给中立方。需理解，文 中用表示数据密文。
样本方利用本地部署的嵌入模型处理对应当前批次节点标识的特征数据， 得到当前批次的节点嵌入向量，计算过程可记作：。然后，利用从供图方接 收的公钥加密，并将加密得到的密文，以及当前批次对应的标签数据的明文发送 给供图方。
第3个环节：中立方先利用GNN模型处理邻接矩阵密文和节点嵌入向量密文，得到当前批次节点的本轮表征向量的密文。示例性的，假定GNN模型实现为图卷 积网络（Graph Convolution Networks，简称GCN），此时，可以将的计算式记作：
（2）
接着，中立方采用下式（3），在本轮表征向量的密文的基础上，融合对应当前 批次节点的历史表征向量的密文，得到目标表征向量的密文。
（3）
显然，将公式（2）代入公式（3），可以得到表1中计算的公式。
中立方还计算，用于后续的梯度计算。中立方将两个密文，即和发送给供图方，其中和是中立方生的两个随机数。
第4个环节：供图方利用私钥解密和，然后将和发送给中立方。
中立方利用和计算得到，以及利用和计算得到。
样本方生成随机数，并将其密文发送给中立方。
第5个环节：中立方利用下式计算GNN模型的参数的梯度：
（4）
在式（4）中，表示当前批次的节点个数，表示softmax函数。
中立方利用式（4）的计算结果更新GNN的参数。以及，利用更新。
中立方还采用下式（5）计算回传至嵌入模型的梯度的密文：
（5）
之后，中立方将+发送给供图方。
第6个环节：供图方利用私钥解密+，将发送给样本方。
第7个环节：样本方利用和计算得到，并采用下式（6）计算嵌入模型 的参数的梯度：
（6）
然后，利用公式（6）的计算结果更新本地嵌入模型的参数。
以上结合表1，对联合训练过程中利用一批次节点更新GNN模型的流程进行示例性介绍。需理解，表1中仅示意GNN模型包含一个隐藏层的情况，若有多个隐藏层，则需要多次重复第3和第4个环节中供图方和中立方之间的交互步骤。
需要说明的是，以上对联合训练方案的介绍中主要以1个样本方为例，实际上，样本方可以有多个，多个样本方共同维护关系网络图对应的至少部分节点特征或至少一部分节点的标签，其中至少部分节点特征可以指代至少一部分节点的特征，也可以指代多个节点的至少一部分特征，总之可以指代拥有节点相关的全部特征或其中任意一部分的所有场景。比如说，关系网络图中多个节点对应的特征和标签数据垂直分布或者说纵向分布于多个样本方，具体例如，多个参与方中包括2个样本方，其中之一持有节点特征，另一个持有节点标签。由此，包含多个样本方、供图方和中立方在内的多个参与方，仍然可以利用已有的FL框架实现对GNN模型的联合训练。
另外，以上对联合训练方案的介绍中多个参与方包括中立方，实际上，也可以不包括中立方，此时，上述实施例中提及的由中立方执行的步骤可以由样本方执行，GNN模型也可以部署在样本方中。当样本方的数量为多个时，可以指定其中的一个样本方（文中或将此样本方称为指定方），额外地执行上述提及的由中立方执行的步骤。
对于多个参与方中没有中立方，而是只有供图方和若干（文中若干指代一个或多个）样本方的情况，图4示出相应的多方交互流程示意图，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络。所述方法涉及针对所述多个节点的多轮遍历训练，如图4所示，其中任一轮遍历训练包括以下步骤：
步骤S410，所述供图方和若干样本方各自根据当前批次的节点标识对应的本地数据进行交互；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一，该交互使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量。
步骤S420，所述指定方在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。
步骤S430，所述指定方基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
需说明，对以上步骤的描述，可以参见前述实施例中的相关描述，不作赘述。
与上述联合训练的方法相对应的，本说明书实施例还披露集成在各个参与方中的装置。
图5为本说明书实施例披露的集成于参与多方联合训练图神经网络的中立方的装置结构示意图。其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。如图5所示，集成于中立方的装置500通过以下单元参与其中任一轮遍历训练：
交互单元510，配置为通过与所述供图方和样本方进行针对当前批次的节点标识的交互，利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；其中供图方和样本方各自根据所述当前批次的节点标识对应的本地数据参与交互。向量处理单元520，配置为在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。模型更新单元530，配置为基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
在一个实施例中，所述装置500还包括随机划分单元540，配置为在本轮遍历训练中，将所述多个节点进行随机划分得到多批次节点标识；发送单元550，配置为将所述多批次节点标识逐批次作为当前批次的节点标识，发送至所述供图方和样本方。
在一个实施例中，所述装置500还包括向量初始化单元560，配置为将首个训练轮次的上一训练轮次对应的各个历史表征向量分别初始化为零向量。
图6为本说明书实施例披露的集成于参与多方联合训练图神经网络的供图方的装置结构示意图。其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。如图6所示，集成于供图方的装置600通过以下单元参与其中任一轮遍历训练：
子图提取单元610，配置为根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。交互单元620，配置为基于所述子图与所述样本方和中立方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中样本方根据所述当前批次的节点标识对应的本地特征数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
在一个实施例中，所示装置600还包括加边单元630，配置为获取所述关系网络图的原始版本；基于所述原始版本，在其中各个节点与对应的k阶邻居节点之间添加连接边，得到所述关系网络图的更新版本，用于提取所述子图；其中k为大于1的整数。
在一个实施例中，所述交互单元620具体配置为：在所述子图中随机地添加和/或删除连接边，作为更新后的子图；利用所述更新后的子图参与所述交互。
在一个实施例中，所述交互单元620具体配置为：将所述子图的结构数据从稀疏数据形式转换为非稀疏的预定数据形式；采用所述预定数据形式支持的同态加密算法，对转换后的子图结构数据进行同态加密；利用所述同态加密得到的密文参与所述交互。
图7为本说明书实施例披露的集成于参与多方联合训练图神经网络的样本方的装置结构示意图。其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。如图7所示，集成于样本方的装置700通过以下单元参与其中任一轮遍历训练：
特征提取单元710，配置为根据当前批次的节点标识，从所述多个节点对应的特征中提取当前批次特征；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。交互单元720，配置为基于所述当前批次特征与所述中立方和供图方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中供图方根据所述当前批次的节点标识对应的本地子图数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
在一个实施例中，交互单元720具体配置为利用本地部署的嵌入模型处理所述当前批次特征，得到当前批次的节点嵌入向量；利用所述节点嵌入向量参与所述交互。
在一个实施例中，所述装置700还包括嵌入模型更新单元730，配置为利用基于所述目标特征向量和所述当前批次对应的标签而确定的回传梯度，完成所述嵌入模型针对所述当前批次的迭代更新。
在一个实施例中，所述样本方为多个样本方，所述多个节点对应的特征和至少部分节点的标签数据垂直分布于所述多个样本方。
图8为本说明书实施例披露的集成于参与多方联合训练图神经网络的指定方的装置结构示意图。其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。如图8所示，集成于指定方的装置800通过以下单元参与其中任一轮遍历训练：
交互单元810，配置为根据所述当前批次的节点标识对应的本地数据，与其他方进行交互，从而利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；所述其他方各自根据所述当前批次的节点标识对应的本地数据参与交互。向量处理单元820，配置为在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量。模型更新单元830，配置为基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
图9为本说明书实施例披露的集成于参与多方联合训练图神经网络的供图方的另一装置结构示意图。其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练。如图9所示，集成于供图方的装置900通过以下单元参与其中在任一轮遍历训练：
子图提取单元910，配置为根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一。交互单元920，配置为基于所述子图与所述若干样本方进行交互，使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中若干样本方各自根据所述当前批次的节点标识对应的本地特征数据参与交互。其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2或图4所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2或图4所描述的方法。本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (23)

1.一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练；其中任一轮遍历训练包括：
所述供图方和样本方各自根据当前批次的节点标识对应的本地数据，与所述中立方进行交互；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一，该交互使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；
所述中立方在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量；
所述中立方基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
2.根据权利要求1所述的方法，其中，所述样本方为多个样本方，所述多个节点对应的特征和至少部分节点的标签数据垂直分布于所述多个样本方。
3.一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练；在任一轮遍历训练中所述中立方执行以下步骤：
通过与所述供图方和样本方进行针对当前批次的节点标识的交互，利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；其中供图方和样本方各自根据所述当前批次的节点标识对应的本地数据参与交互；
在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量；
基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
4.根据权利要求3所述的方法，其中在任一轮遍历训练中所述中立方还执行以下步骤：
在本轮遍历训练中，将所述多个节点进行随机划分得到多批次节点标识；
将所述多批次节点标识逐批次作为当前批次的节点标识，发送至所述供图方和样本方。
5.根据权利要求3所述的方法，其中，所述中立方还执行以下步骤：
将首个训练轮次的上一训练轮次对应的各个历史表征向量分别初始化为零向量。
6.一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练；在任一轮遍历训练中所述供图方执行以下步骤：
根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；
基于所述子图与所述样本方和中立方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中样本方根据所述当前批次的节点标识对应的本地特征数据参与交互；
其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
7.根据权利要求6所述的方法，其中，在根据当前批次的节点标识，从所述关系网络图中提取对应的子图之前，所述方法还包括：
获取所述关系网络图的原始版本；
基于所述原始版本，在其中各个节点与对应的k阶邻居节点之间添加连接边，得到所述关系网络图的更新版本，用于提取所述子图；其中k为大于1的整数。
8.根据权利要求6或7所述的方法，其中，基于所述子图与所述样本方和中立方进行交互，包括：
在所述子图中随机地添加和/或删除连接边，作为更新后的子图；
利用所述更新后的子图参与所述交互。
9.根据权利要求6或7所述的方法，其中，基于所述子图与所述样本方和中立方进行交互，包括：
将所述子图的结构数据从稀疏数据形式转换为非稀疏的预定数据形式；
采用所述预定数据形式支持的同态加密算法，对转换后的子图结构数据进行同态加密；
利用所述同态加密得到的密文参与所述交互。
10.一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练；在任一轮遍历训练中所述样本方执行以下步骤：
根据当前批次的节点标识，从所述多个节点对应的特征中提取当前批次特征；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；
基于所述当前批次特征与所述中立方和供图方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中供图方根据所述当前批次的节点标识对应的本地子图数据参与交互；
其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
11.根据权利要求10所述的方法，其中，基于所述当前批次特征与所述中立方和供图方进行交互，包括：
利用本地部署的嵌入模型处理所述当前批次特征，得到当前批次的节点嵌入向量；
利用所述节点嵌入向量参与所述交互。
12.根据权利要求11所述的方法，还包括：
利用基于所述目标特征向量和所述当前批次对应的标签而确定的回传梯度，完成所述嵌入模型针对所述当前批次的迭代更新。
13.根据权利要求10所述的方法，其中，所述样本方为多个样本方，所述多个节点对应的特征和至少部分节点的标签数据垂直分布于所述多个样本方。
14.一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练；其中任一轮遍历训练包括：
所述供图方和若干样本方各自根据当前批次的节点标识对应的本地数据进行交互；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一，该交互使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量；
所述指定方在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量；
所述指定方基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
15.一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练；在任一轮遍历训练中所述指定方执行以下步骤：
根据所述当前批次的节点标识对应的本地数据，与其他方进行交互，从而利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；所述其他方各自根据所述当前批次的节点标识对应的本地数据参与交互；
在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量；
基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
16.一种多方联合训练图神经网络的方法，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述方法涉及针对所述多个节点的多轮遍历训练；在任一轮遍历训练中所述供图方执行以下步骤：
根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；
基于所述子图与所述若干样本方进行交互，使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中若干样本方各自根据所述当前批次的节点标识对应的本地特征数据参与交互；
其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
17.一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练；所述装置集成于所述中立方，通过以下单元参与其中任一轮遍历训练：
交互单元，配置为通过与所述供图方和样本方进行针对当前批次的节点标识的交互，利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；其中供图方和样本方各自根据所述当前批次的节点标识对应的本地数据参与交互；
向量处理单元，配置为在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量；
模型更新单元，配置为基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
18.一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练；所述装置集成于所述供图方，通过以下单元参与其中任一轮遍历训练：
子图提取单元，配置为根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；
交互单元，配置为基于所述子图与所述样本方和中立方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中样本方根据所述当前批次的节点标识对应的本地特征数据参与交互；
其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
19.一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，样本方持有至少部分节点特征或至少部分节点标签，中立方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练；所述装置集成于所述样本方，通过以下单元参与其中任一轮遍历训练：
特征提取单元，配置为根据当前批次的节点标识，从所述多个节点对应的特征中提取当前批次特征；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；
交互单元，配置为基于所述当前批次特征与所述中立方和供图方进行交互，使得所述中立方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中供图方根据所述当前批次的节点标识对应的本地子图数据参与交互；
其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
20.一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练；所述装置集成于所述指定方，通过以下单元参与其中任一轮遍历训练：
交互单元，配置为根据所述当前批次的节点标识对应的本地数据，与其他方进行交互，从而利用所述图神经网络得到对应当前批次节点的本轮表征向量；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；所述其他方各自根据所述当前批次的节点标识对应的本地数据参与交互；
向量处理单元，配置为在所述本轮表征向量中融合上一轮遍历训练得到的对应当前批次节点的历史表征向量，作为目标表征向量，以及，将所述历史表征向量更新为所述目标表征向量；
模型更新单元，配置为基于所述目标表征向量和所述当前批次对应的标签数据，完成所述图神经网络针对所述当前批次的迭代更新。
21.一种多方联合训练图神经网络的装置，其中供图方持有包含多个节点的关系网络图，若干样本方持有至少部分节点特征或至少部分节点标签，所述若干样本方中的指定方部署有图神经网络；所述联合训练涉及针对所述多个节点的多轮遍历训练；所述装置集成于供图方，通过以下单元参与其中在任一轮遍历训练：
子图提取单元，配置为根据当前批次的节点标识，从所述关系网络图中提取包含该批次节点的子图；所述当前批次是针对本轮遍历训练将所述多个节点进行随机划分得到的多个批次之一；
交互单元，配置为基于所述子图与所述若干样本方进行交互，使得所述指定方利用所述图神经网络得到对应当前批次节点的本轮表征向量；其中若干样本方各自根据所述当前批次的节点标识对应的本地特征数据参与交互；
其中，所述本轮表征向量用于融合上一训练轮次得到的对应当前批次节点的历史表征向量，作为目标表征向量；所述目标表征向量用于更新所述历史表征向量，还用于结合所述当前批次对应的标签数据完成所述图神经网络针对所述当前批次的迭代更新。
22.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-16中任一项所述的方法。
23.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-16中任一项所述的方法。
CN202311550408.1A 2023-11-17 2023-11-17 多方联合训练图神经网络的方法及装置 Active CN117273086B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311550408.1A CN117273086B (zh) 2023-11-17 2023-11-17 多方联合训练图神经网络的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311550408.1A CN117273086B (zh) 2023-11-17 2023-11-17 多方联合训练图神经网络的方法及装置

Publications (2)

Publication Number Publication Date
CN117273086A true CN117273086A (zh) 2023-12-22
CN117273086B CN117273086B (zh) 2024-03-08

Family

ID=89221922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311550408.1A Active CN117273086B (zh) 2023-11-17 2023-11-17 多方联合训练图神经网络的方法及装置

Country Status (1)

Country Link
CN (1) CN117273086B (zh)

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782044A (zh) * 2019-10-29 2020-02-11 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
CN110909868A (zh) * 2019-12-04 2020-03-24 支付宝(杭州)信息技术有限公司 基于图神经网络模型的节点表示方法和装置
CN111915004A (zh) * 2020-06-17 2020-11-10 北京迈格威科技有限公司 神经网络的训练方法、装置、存储介质及电子设备
CN112766500A (zh) * 2021-02-07 2021-05-07 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN113222143A (zh) * 2021-05-31 2021-08-06 平安科技（深圳）有限公司 图神经网络训练方法、系统、计算机设备及存储介质
CN113240505A (zh) * 2021-05-10 2021-08-10 深圳前海微众银行股份有限公司 图数据的处理方法、装置、设备、存储介质及程序产品
CN113408706A (zh) * 2021-07-01 2021-09-17 支付宝(杭州)信息技术有限公司 训练用户兴趣挖掘模型、用户兴趣挖掘的方法和装置
US11227190B1 (en) * 2021-06-29 2022-01-18 Alipay (Hangzhou) Information Technology Co., Ltd. Graph neural network training methods and systems
US11238849B1 (en) * 2021-05-31 2022-02-01 Rockspoon, Inc. System and method for federated, context-sensitive, adaptive language models
CN114510966A (zh) * 2022-01-14 2022-05-17 电子科技大学 一种基于图神经网络的端到端大脑因果网络构建方法
CN114861217A (zh) * 2022-03-25 2022-08-05 支付宝(杭州)信息技术有限公司 一种多方联合训练中的数据同步方法及装置
CN115293919A (zh) * 2022-07-22 2022-11-04 浙江大学 面向社交网络分布外泛化的图神经网络预测方法及系统
CN115293332A (zh) * 2022-08-09 2022-11-04 中国平安人寿保险股份有限公司 一种图神经网络的训练方法、装置、设备及存储介质
CN115311205A (zh) * 2022-07-07 2022-11-08 上海工程技术大学 一种基于图神经网络联邦学习的工业设备故障检测方法
CN116090504A (zh) * 2021-11-04 2023-05-09 腾讯科技（深圳）有限公司 图神经网络模型训练方法及装置、分类方法、计算设备
CN116757262A (zh) * 2023-08-16 2023-09-15 苏州浪潮智能科技有限公司 图神经网络的训练方法、分类方法、装置、设备及介质
CN116957106A (zh) * 2023-07-18 2023-10-27 北京交通大学 一种基于动态注意力机制的联邦学习模型训练方法

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782044A (zh) * 2019-10-29 2020-02-11 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
WO2021082681A1 (zh) * 2019-10-29 2021-05-06 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
CN110909868A (zh) * 2019-12-04 2020-03-24 支付宝(杭州)信息技术有限公司 基于图神经网络模型的节点表示方法和装置
CN111915004A (zh) * 2020-06-17 2020-11-10 北京迈格威科技有限公司 神经网络的训练方法、装置、存储介质及电子设备
CN112766500A (zh) * 2021-02-07 2021-05-07 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN113240505A (zh) * 2021-05-10 2021-08-10 深圳前海微众银行股份有限公司 图数据的处理方法、装置、设备、存储介质及程序产品
CN113222143A (zh) * 2021-05-31 2021-08-06 平安科技（深圳）有限公司 图神经网络训练方法、系统、计算机设备及存储介质
US11238849B1 (en) * 2021-05-31 2022-02-01 Rockspoon, Inc. System and method for federated, context-sensitive, adaptive language models
US11227190B1 (en) * 2021-06-29 2022-01-18 Alipay (Hangzhou) Information Technology Co., Ltd. Graph neural network training methods and systems
CN113408706A (zh) * 2021-07-01 2021-09-17 支付宝(杭州)信息技术有限公司 训练用户兴趣挖掘模型、用户兴趣挖掘的方法和装置
CN116090504A (zh) * 2021-11-04 2023-05-09 腾讯科技（深圳）有限公司 图神经网络模型训练方法及装置、分类方法、计算设备
CN114510966A (zh) * 2022-01-14 2022-05-17 电子科技大学 一种基于图神经网络的端到端大脑因果网络构建方法
CN114861217A (zh) * 2022-03-25 2022-08-05 支付宝(杭州)信息技术有限公司 一种多方联合训练中的数据同步方法及装置
CN115311205A (zh) * 2022-07-07 2022-11-08 上海工程技术大学 一种基于图神经网络联邦学习的工业设备故障检测方法
CN115293919A (zh) * 2022-07-22 2022-11-04 浙江大学 面向社交网络分布外泛化的图神经网络预测方法及系统
CN115293332A (zh) * 2022-08-09 2022-11-04 中国平安人寿保险股份有限公司 一种图神经网络的训练方法、装置、设备及存储介质
CN116957106A (zh) * 2023-07-18 2023-10-27 北京交通大学 一种基于动态注意力机制的联邦学习模型训练方法
CN116757262A (zh) * 2023-08-16 2023-09-15 苏州浪潮智能科技有限公司 图神经网络的训练方法、分类方法、装置、设备及介质

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
CHUNNAN WANG等: "Automated Graph Neural Network Search Under Federated Learning Framework", 《IEEE TRANSACTIONS ON KNOWLEDGE AND DATA ENGINEERING》, vol. 35, no. 10, 31 October 2023 (2023-10-31), pages 9959 - 9972, XP011949285, DOI: 10.1109/TKDE.2023.3250264 *
JINYIN CHEN等: "Graph-Fraudster: Adversarial Attacks on Graph Neural Network-Based Vertical Federated Learning", 《IEEE TRANSACTIONS ON COMPUTATIONAL SOCIAL SYSTEMS》, vol. 10, no. 2, 30 April 2023 (2023-04-30), pages 492 - 506 *
RUI LIU等: "Federated Graph Neural Networks: Overview, Techniques and Challenges", 《ARXIV》, 21 December 2022 (2022-12-21), pages 1 - 16 *
先兴平等: "图学习隐私与安全问题研究综述", 《计算机学报》, vol. 46, no. 6, 30 June 2023 (2023-06-30), pages 1184 - 1212 *
潘倩倩: "基于图神经网络的分层联邦推荐算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, vol. 2023, no. 2, 15 February 2023 (2023-02-15), pages 138 - 3804 *
陈晋音等: "纵向联邦学习方法及其隐私和安全综述", 《网络与信息安全学报》, vol. 9, no. 2, 30 April 2023 (2023-04-30), pages 1 - 20 *

Also Published As

Publication number Publication date
CN117273086B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
Wang et al. Improved division property based cube attacks exploiting algebraic properties of superpoly
Doerner et al. Scaling ORAM for secure computation
CN110210233B (zh) 预测模型的联合构建方法、装置、存储介质及计算机设备
Chen et al. Secure social recommendation based on secret sharing
CN111858955B (zh) 基于加密联邦学习的知识图谱表示学习增强方法和装置
CN112989399B (zh) 数据处理系统及方法
Jiang et al. Privacy-preserving and efficient data sharing for blockchain-based intelligent transportation systems
Yang et al. Privacy-preserving k nearest neighbor query with authentication on road networks
Duarte et al. Improved heuristics for the regenerator location problem
CN116186782B (zh) 联邦图计算方法、装置及电子设备
WO2021227959A1 (zh) 保护数据隐私的多方联合训练对象推荐模型
Trieu et al. Multiparty Private Set Intersection Cardinality and Its Applications.
CN115422574A (zh) 一种数据处理方法、装置、电子设备及存储介质
CN112507372B (zh) 实现隐私保护的多方协同更新模型的方法及装置
CN117273086B (zh) 多方联合训练图神经网络的方法及装置
CN117521102A (zh) 一种基于联邦学习的模型训练方法及装置
Xu et al. An efficient and privacy-preserving route matching scheme for carpooling services
Falzon et al. An efficient query recovery attack against a graph encryption scheme
Li et al. Privacy threats analysis to secure federated learning
CN114547684A (zh) 一种保护隐私数据的多方联合训练树模型的方法及装置
Gao et al. Multiparty private set intersection cardinality and its applications
CN113657685A (zh) 联邦模型的训练方法、装置、设备、存储介质及程序
Qiu et al. Efficient Vertical Federated Learning with Secure Aggregation
Shen et al. Privacy-preserving graph encryption for approximate constrained shortest distance queries
Shen et al. Secure Decentralized Aggregation to Prevent Membership Privacy Leakage in Edge-based Federated Learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant