CN113254996A - 图神经网络训练方法、装置、计算设备及存储介质 - Google Patents
图神经网络训练方法、装置、计算设备及存储介质 Download PDFInfo
- Publication number
- CN113254996A CN113254996A CN202110605272.4A CN202110605272A CN113254996A CN 113254996 A CN113254996 A CN 113254996A CN 202110605272 A CN202110605272 A CN 202110605272A CN 113254996 A CN113254996 A CN 113254996A
- Authority
- CN
- China
- Prior art keywords
- terminal
- local
- matrix
- training
- secret
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 163
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000002776 aggregation Effects 0.000 claims abstract description 19
- 238000004220 aggregation Methods 0.000 claims abstract description 19
- 230000009467 reduction Effects 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 149
- 238000004590 computer program Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000012935 Averaging Methods 0.000 claims description 5
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 20
- 239000013598 vector Substances 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000004931 aggregating effect Effects 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000006116 polymerization reaction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/606—Protecting data by securing the transmission between two devices or processes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Storage Device Security (AREA)
Abstract
本发明涉及人工智能技术领域，尤其涉及一种图神经网络训练方法、装置、设备及存储介质。应用在一种图神经网络训练系统中，图神经网络训练系统包括多个第一终端以及一个第二终端；图神经网络训练方法包括通过训练终端计算本地特征；基于本地特征，通过第一终端与第二终端进行秘密分享，得到混淆局部特征；通过可信终端对混淆局部特征进行还原聚合，并基于全局特征训练全局图神经网络，第二终端根据网络输出结果计算网络梯度并返回给可信终端；通过可信终端根据网络梯度更新全局图神经网络，以得到更新后的网络参数发送至对应的训练终端以更新本地图神经网络。该图神经网络模型训练方法可有效解决用户个人隐私的安全性问题。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种图神经网络训练方法、装置、计算设备 及存储介质。
背景技术
近年来，将图结构和深度神经网络相结合的图神经网络技术在节点分类，预测等图 模型问题上的表现逐渐超越了传统的图算法，因而也越来越多地应用于实际生产当中。但 是在实际应用中数据往往蕴含着不同用户个体的隐私信息，传统的图神经网络模型构建方 法中建模者必须掌握所有数据，在数据来自多个不同数据源的情况下数据隐私会泄露至模 型的训练方，导致传统的图神经网络模型构建方法无法保证用户个人隐私的安全性问题。
发明内容
本发明实施例提供一种图神经网络训练方法、装置、计算设备及存储介质，以解决传 统的图神经网络模型训练方法无法保证用户个人隐私的安全性问题。
一种图神经网络训练方法，应用在一种图神经网络训练系统中，所述图神经网络训练 系统包括训练终端以及可信终端；所述训练终端包括多个第一终端以及一个第二终端；不 同的训练终端包括不同的本地图数据以及本地图神经网络；所述图神经网络训练方法包 括：
通过所述训练终端根据所述本地图数据计算对应的本地特征；
基于所述本地特征，通过所述第一终端与所述第二终端进行秘密分享，得到所述本地 特征对应的混淆局部特征，并将所述混淆局部特征发送给所述可信终端；
通过所述可信终端基于各训练终端发送的混淆局部特征进行还原聚合，以获取全局特 征，并基于所述全局特征训练全局图神经网络，以将得到的网络输出结果发送至所述第二 终端，以使所述第二终端根据所述网络输出结果计算网络梯度并返回给所述可信终端；
通过所述可信终端根据所述网络梯度更新所述全局图神经网络，以得到更新后的网络 参数，并将所述更新后的网络参数发送至对应的所述训练终端以更新所述本地图神经网 络。
一种图神经网络训练系统，包括：
本地特征计算模块，用于通过所述训练终端根据所述本地图数据计算对应的本地特 征；
秘密分享模块，用于基于所述本地特征，通过所述第一终端与所述第二终端进行秘密 分享，得到所述本地特征对应的混淆局部特征，并将所述混淆局部特征发送给所述可信终 端；
特征还原聚合模块，用于通过所述可信终端基于各训练终端发送的混淆局部特征进行 还原聚合，以获取全局特征，并基于所述全局特征训练全局图神经网络，以将得到的网络 输出结果发送至所述第二终端，以使所述第二终端根据所述网络输出结果计算网络梯度并 返回给所述可信终端；
网络更新模块，用于通过所述可信终端根据所述网络梯度更新所述全局图神经网络， 以得到更新后的网络参数，并将所述更新后的网络参数发送至对应的所述训练终端以更新 所述本地图神经网络。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上 运行的计算机程序，所述处理器执行所述计算机程序时实现上述图神经网络训练方法的步 骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处 理器执行时实现上述图神经网络训练方法的步骤。
上述图神经网络训练方法、装置、计算设备及存储介质中，通过训练终端根据本地图 数据计算对应的本地特征，以便基于本地特征，通过第一终端与第二终端进行秘密分享， 以对第一终端与第二终端进行秘密分享后的真实局部特征进行混淆，得到本地特征对应的 混淆局部特征，保障双方数据隐私。然后通过可信终端基于各训练终端发送的混淆局部特 征进行聚合，获取全局特征，并基于全局特征训练全局图神经网络，以将得到的网络输出 结果发送至第二终端，实现在多方数据秘密分享的情况下，综合多方特征数据训练全局图 神经网络的目的。由于第二终端对应有真实标签数据，故可将网络输出结果发送至第二终 端，以根据网络输出结果计算网络梯度并返回给可信终端，保障第二终端的标签数据的隐 私性。最后，通过可信终端根据网络梯度更新全局图神经网络，以得到更新后的网络参数， 并将更新后的网络参数发送至对应的训练终端以更新本地图神经网络，使得训练过程中各 个训练终端的数据不会脱离本地，在保护数据隐私的条件下实现了图神经网络的训练。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例， 对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获 得其他的附图。
图1是本发明一实施例中图神经网络训练方法的一流程图；
图2是图1中步骤S11的一具体流程图；
图3是图1中步骤S12的一具体流程图；
图4是图1中步骤S12的一具体流程图；
图5是图3中步骤S31的一具体流程图；
图6是图3中步骤S32的一具体流程图；
图7是图1中步骤S13的一具体流程图；
图8是本发明一实施例中图神经网络训练系统的一示意图；
图9是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地 描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
该图神经网络训练方法可应用一种图神经网络训练系统中，图神经网络训练系统包括 训练终端以及可信终端；每一训练终端训练对应的本地图神经网络；训练终端包括多个第 一终端以及一个第二终端。不同的训练终端包括不同的本地图数据以及本地图神经网络， 通过将图神经网络拆分为不同的本地图神经网络部署在不同的训练终端本地，使得训练过 程中各个联邦学习参与方的数据不会离开本地，在保护数据隐私的条件下实现了图神经网 络的训练。其中，第一终端即指本地仅有训练样本的特征数据，而该训练样本未有对应的 真实标签，即该训练样本未被标注。第二终端即指本地既有训练样本的特征数据，同时该 训练样本就有对应的真实标签。可信终端即为用于进行全局网络训练的受信任的第三方。
在一实施例中，如图1所示，提供一种图神经网络训练方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S11：通过训练终端根据本地图数据计算对应的本地特征。
其中，不同的训练终端对应不同的本地图数据以及本地图神经网络，该本地图数据包 括多个图节点、每一图节点对应的节点特征以及多节点之间的连接关系。需要说明的是， 于本实施例中，不同训练终端对应的本地图数据中的图节点相同，但其对应节点特征以及 节点间的连接关系不同。
例如，训练终端A为微信，其包括本地图数据为三个图节点M、N、P(如用户节点)，每一用户节点均包括a,b,c这三种节点特征，这三种节点特征可分别为微信步数、零钱通余额以及发布朋友圈的数量，其节点间的连接关系可通过微信好友关系建立；训练终端B为网易云音乐，其包括与训练中A相同的图节点M、N、P(如用户节点)，每一用户节点 均包括d，e这两种节点特征，这两种节点特征分别为最常听的音乐类型，最喜欢的歌手， 其节点间的连接关系可通过微信好友关系建立。
具体地，不同的本地图数据种同一图节点对应的节点特征不同，而这些特征分散在不 同的训练终端，故为聚合多方特征数据训练全局图神经网络，则需要在同一体系下构建特 征矩阵，以通过该特征矩阵聚合多方数据。其中，不同的训练终端可在本地预先构建对应 的特征矩阵W，即第一终端根据其所持有的节点特征数量、第二终端所持有的节点特征数 量以及多方协商确定的提取特征数n(n值的选取可由多方协商确定，此处不做限定)，构建对应的特征矩阵W；例如，某第一终端所持有的节点特征数量为p,第二终端所持有的节点特征数量为q，则第一终端构建的特征矩阵W的大小为n*(p+q)，并初始化该特征矩阵W。
对于第二终端来说需要和多个(假设为K个)第一终端进行秘密分享，故需要构建K个特征矩阵W’，并初始化该特征矩阵W’。其中，每一特征矩阵的大小即为n*(m0+mi)， 其中，mi为第i个第一终端所持有的节点特征数量，m0为第二终端所持有的节点特征数量。
具体地，在计算本地特征时，可通过训练终端在本地直接将本地图数据与训练参与方 所初始化的特征矩阵W或W’相乘即可得到训练终端对应的本地特征，该本地特征可用于 表征本地图数据的图结构信息。其中，本地特征包括第一终端计算得到的第一本地特征以 及第二终端计算得到的第二本地特征。
S12：基于本地特征，通过第一终端与第二终端进行秘密分享，得到本地特征对应的 混淆局部特征，并将混淆局部特征发送给可信终端。
具体地，由于不同训练终端所持有的本地图数据包含用户的个人信息，而这些信息属 于敏感信息，故为保证聚合多方本地特征时，避免泄露用户敏感信息的问题，本实施例中 在通过第一终端与第二终端进行数据分享时，通过秘密分享的方式得到每一本地特征对应 的混淆局部特征，以使分享双方均无法得知对应的本地特征的具体内容，以使多方数据在 分享过程中不易泄露，保障隐私数据的安全性。
其中，秘密分享主要为通过不同的训练终端随机生成对应的秘密参数对，该秘密参数 对可为一组绝对值相同的正负数(例如+2、-2)，并根据该秘密参数对本地数据(即真实 局部特征)进行数据混淆。可以理解地是，在将该混淆局部特征发送至可信第三方时，还需将对应的秘密参数对发送给可信第三方，以使可信第三方根据该秘密参数对该混淆局部特征进行还原，并根据还原后的真实局部特征进行整合，实现在多方数据秘密分享的情况下，综合多方特征数据训练全局图神经网络的目的。
可以理解地，每个训练终端包括多个图节点，其中第i个第一终端的每个图节点对应 的节点特征为X,即mi*1的向量，即一个长度为mi的向量，真实局部特征的计算公式就是Wi乘以X，Wi即为n*(m0+mi)的特征矩阵，Wi乘以X即为n*mi的矩阵与形状为mi*1的矩阵 进行矩阵相乘，即得到n*1的矩阵，或者长度为n的向量即为真实局部特征，根据上述计 算过程可计算出每一节点的真实局部特征。而由于直接将Wi乘以X，容易泄露第一终端与 第二终端的本地隐私数据，故需要通过秘密分享的方式，即通过秘密分享参数对真实局部 特征进行混淆，以得到混淆局部特征。
S13：通过可信终端基于各训练终端发送的混淆局部特征进行聚合，获取全局特征， 并基于全局特征训练全局图神经网络，以将得到的网络输出结果发送至第二终端，以使第 二终端根据网络输出结果计算网络梯度并返回给可信终端。
其中，通过可信终端根据接收到的各训练终端对应的混淆局部特征进行还原聚合，即 先通过对混淆局部特征还原为真实局部特征，再对该真实局部特征进行聚合，以获取聚合 后的全局特征，以综合多方数据特征。该全局图神经网络即为集成了多个本地图神经网络 的异构图神经网络。可以理解地是，由于训练全局图神经网络需要集合多方数据，而这些 数据中可能包括敏感信息，为避免在训练过程中易被泄露的问题，本实施例中通过在不同 的训练终端根据本地图数据构建对应的本地图神经网络，以通过不同训练终端训练对应的 本地图神经网络，使训练终端的本地数据不会在训练过程中出现隐私泄露的问题。
本实施例中，该聚合处理包括但不限于累加、取平均值或者通过对不同的训练终端预 设权重以进行加权处理等方式进行处理，此处不做限定。该全局特征可表征为多个本地特 征的聚合。具体地，将全局特征输入至全局图神经网络进行训练，即可得到网络输出值， 该训练过程与传统的图神经网络训练过程一致，由于全局特征可表征为多个本地特征的聚 合，即每一节点的节点特征聚合了多方特征数据，故将每一节点聚合的多方特征数据作为 训练样本输入至预先构建的全局图神经网络进行计算，即可得到对应的该节点对应的网络 输出结果，例如感兴趣0或不感兴趣1。
具体地，由于第二终端包括训练样本所需的标签数据，例如当前训练任务为预测某用 户对某个广告是否感兴趣，则第二终端则持有该用户节点的标签数据，即感兴趣或不感兴 趣。故需要将网络输出结果发送至第二终端，以使第二终端根据网络输出结果计算网络梯 度并返回给可信终端。其中，第二终端可调用预设的损失函数(如交叉熵损失函数)，以 根据该网络输出结果以及该用户节点对应标注的真实标签，计算网络损失，并根据该网络 损失对网络中的网络参数(如不同本地图数据中各节点间的连接权值)求偏导，即可获取 该网络参数对应的网络梯度。
S14：通过可信终端根据网络梯度更新全局图神经网络，以得到更新后的网络参数， 并将更新后的网络参数发送至对应的训练终端以更新本地图神经网络。
具体地，通过计算网络参数对应的网络梯度，以根据该网络梯度反向更新全局图神经 网络，例如通过BP(Backpropagation,反向传播)算法根据该网络梯度反向更新全局图神 经网络，该网络更新的实现过程与传统神经网络的误差反传更新过程一致，此处不再赘述。
具体地，通过可信终端根据网络梯度更新全局图神经网络，以得到更新后的网络参数， 并将更新后的网络参数(即更新后的不同本地图数据中各节点间的连接权值)发送至对应 的训练终端以更新本地图神经网络。
本实施例中，通过训练终端根据本地图数据计算对应的本地特征，以便基于本地特征， 通过第一终端与第二终端进行秘密分享，以对第一终端与第二终端进行秘密分享后的真实 局部特征进行混淆，得到本地特征对应的混淆局部特征，保障双方数据隐私。然后通过可 信终端基于各训练终端发送的混淆局部特征进行聚合，获取全局特征，并基于全局特征训 练全局图神经网络，以将得到的网络输出结果发送至第二终端，实现在多方数据秘密分享 的情况下，综合多方特征数据训练全局图神经网络的目的。由于第二终端对应有真实标签 数据，故可将网络输出结果发送至第二终端，以根据网络输出结果计算网络梯度并返回给 可信终端，保障第二终端的标签数据的隐私性。可信终端根据网络梯度更新全局图神经网 络，以得到更新后的网络参数，并将更新后的网络参数发送至对应的训练终端以更新本地 图神经网络，以更新每一第一终端对应的本地图神经网络，使得训练过程中各个训练终端 的数据不会脱离本地，在保护数据隐私的条件下实现了图神经网络的训练。
在一实施例中，如图2所示，步骤S11中，本地特征包括第一终端计算得到的第一本地特征以及第二终端计算得到的第二本地特征；即通过训练终端根据训练终端对应的本地图数据计算本地特征，具体包括如下步骤：
S21：通过第一终端构建对应的第一秘密分享矩阵；以及通过第二终端构建对应的第 二秘密分享矩阵。
其中，第一秘密分享矩阵为N行M列的矩阵；N为预先设定的提取特征数；M表示第二终端对应的节点特征数量以及第一终端对应的节点特征数量的和；第一秘密分享矩阵与第二秘密分享的矩阵大小一致；
具体地，通过第一终端构建对应的第一秘密分享矩阵；以及通过第二终端构建K个对 应的第二秘密分享矩阵，其中，K表示第一终端的数量。
S22：通过第一终端将第一秘密分享矩阵与第一终端对应的本地图数据相乘，得到第 一本地特征；以及，通过第二终端将第二秘密分享矩阵与第二终端对应的本地图数据相乘， 得到第二本地特征。
其中，不同的训练终端可在本地预先构建对应的第一秘密分享矩阵W，即第一终端根 据其所持有的节点特征数量、第二终端所持有的节点特征数量以及多方协商确定的提取特 征数n，构建对应的第一秘密分享矩阵W；例如，某第一终端所持有的节点特征数量为p, 第二终端所持有的节点特征数量为q，则第一终端构建的特征矩阵W的大小为n*(p+q)，并 初始化该特征矩阵W。
对于第二终端来说需要和多个(假设为K个)第一终端进行K轮的秘密分享，故需要构建K个第二秘密分享矩阵W’，并初始化该第二秘密分享矩阵W’。其中，每一特征矩 阵的大小即为n*(m0+mi)，其中，mi为第i个第一终端所持有的节点特征数量，m0为第二 终端所持有的节点特征数量。
具体地，通过在计算本地特征时，由于多方统一构建有大小一致的秘密分享矩阵W或 W’，其中，第一秘密分享矩阵中包括第一终端本地的特征列以及第二终端对应的特征列。 第二秘密分享矩阵中包括第二终端本地的特征列以及第一终端的特征列，例如第一终端对 应的节点特征a,b,c，第二终端对应的节点特征为d，e，故在第一终端建立的第一秘密分 享矩阵W中的前两列为第二终端对应的外部特征列，后三列为第一终端对应的本地特征列， 或者后两列为第二终端对应的外部特征列，前三列为第一终端对应的本地特征列；对于第 二秘密分享矩阵中的前两列为第二终端对应的本地特征列，后三列为第一终端对应的外部 特征列，或者后两列为第二终端对应的本地特征列，前三列为第一终端对应的外部特征列。
具体地，通过第一终端将第一秘密分享矩阵中的本地特征列与第一终端对应的本地图 数据相乘，即与本地图数据中每一图节点对应的节点特征相乘，得到每一图节点的样本特 征，这多个图节点的样本特征的集合即为第一本地特征；以及，通过第二终端将第二秘密 分享矩阵中的本地特征列与第二终端对应的本地图数据相乘，即与本地图数据中每一图节 点对应的节点特征相乘，得到每一图节点的样本特征，这多个节点的样本特征的集合即为 第二本地特征。
在一实施例中，如图3所示，第一终端计算得到的第一本地特征以及第二终端计算得 到的第二本地特征；步骤S12中，即基于本地特征，通过第一终端与第二终端进行秘密分享，得到本地特征对应的混淆局部特征，并将混淆局部特征发送给可信终端，具体包括如下步骤：
S31：通过第一终端随机生成第一秘密参数对，以基于第一秘密参数对以及第一本地 特征，与第二终端进行秘密分享，以得到第二终端对应的混淆局部特征。
S32：通过第二终端随机生成第二秘密参数对，以基于第二秘密参数对以及第二本地 特征，与第一终端进行秘密分享，以得到第一终端对应的混淆局部特征；其中，第一秘密参数对以及第二秘密参数对均为一组绝对值相同的正负数。
其中，第一秘密参数对以及第二秘密参数对均为一组绝对值相同的正负数。具体地， 通过第一终端随机生成第一秘密参数对，以基于第一秘密参数对，对第一终端的本地数据 进行数据混淆，在进行数据分享时，将该第一终端对应的本地数据与第二终端对应的本地 数据相乘，即可得到第二终端混淆后的混淆局部特征，实现与第一终端的秘密分享。
由于发送给可信终端的为混淆后的混淆局部特征，故需要通过第一终端将第一秘密参 数对发送给可信终端，以便可信终端对第二终端发送的混淆后的混淆局部特征还原，得到 该第二终端与第一终端进行分享后的真实局部特征。
进一步地，通过第二终端随机生成第二秘密参数对，以基于第二秘密参数对，对第二 终端的本地数据进行数据混淆，在进行数据分享时，将该第二终端对应的本地数据与第一 终端对应的本地数据相乘，即可得到第一终端混淆后的混淆局部特征，实现与第一终端的 秘密分享。相应地，还需要通过第二终端将第二秘密参数对发送给可信终端，以便可信终 端对第一终端发送的混淆后的混淆局部特征还原，得到真实局部特征。
在一实施例中，如图4所示，步骤S12中，即将混淆局部特征发送给可信终端，具体包括如下步骤：
S41：通过第一终端将第一秘密参数对发送给可信终端；以及，通过第二终端将第二 终端对应的混淆局部特征发送给可信终端。
S42：通过第二终端将第二秘密参数对发送给可信终端；以及，通过第一终端将第一 终端对应的混淆局部特征发送给可信终端。
具体地，在进行秘密分享时，若由第一终端随机生成第一秘密参数对，则通过该第一 终端将第一秘密参数对发送给可信终端，并通过第二终端将秘密分享后的混淆局部特征发 送给可信终端，以使可信终端根据该第一秘密参数对还原第二终端发送的混淆局部特征。 若由第二终端随机生成秘密参数对，则通过该第二终端将第一秘密参数对发送给可信终 端，同时通过第一终端将秘密分享后的混淆局部特征发送给可信终端，以使可信终端根据 该第一秘密参数对还原第一终端发送的混淆局部特征。
在一实施例中，如图5所示，第一本地特征包括与第二终端对应的第一目标矩阵；步 骤S31中，即基于第一秘密参数对以及第一本地特征，与第二终端进行秘密分享，以得到第二终端对应的混淆局部特征，具体包括如下步骤：
S51：对第一目标矩阵进行分解，得到两个矩阵加和为第一目标矩阵的第一子矩阵和 第二子矩阵。
其中，对于步骤S51以及步骤S61中的矩阵分解可随机进行分解，只要保证分解得到 的两个子矩阵的矩阵加和为原矩阵即可，此处不做进一步限定。
S52：基于第一秘密参数对第一子矩阵和第二子矩阵进行数据混淆，得到第一秘密矩 阵和第二秘密矩阵。
S53：将第一秘密矩阵和第二秘密矩阵发送给第二终端，以使第二终端将对应的本地 图数据，分别与第一秘密矩阵和第二秘密矩相乘，以得到第二终端对应的混淆局部特征。
针对步骤S51-S61的具体实现过程与步骤S61-S63保持一致。
在一实施例中，如图6所示，第二本地特征包括与第一终端对应的第二目标矩阵；步 骤S32中，即基于第二秘密参数对以及第二本地特征，与第一终端进行秘密分享，以得到第一终端对应的混淆局部特征，具体包括如下步骤：
S61：对第二目标矩阵进行分解，得到两个矩阵加和为第二目标矩阵的第三子矩阵和 第四子矩阵。
S62：基于第二秘密参数对第三子矩阵和第四子矩阵进行数据混淆，得到第三秘密矩 阵和第四秘密矩阵。
S63：将第三秘密矩阵和第四秘密矩阵发送给第一终端，以使第一终端将对应的本地 图数据，分别与第三秘密矩阵和第四秘密矩阵相乘，以得到第一终端对应的混淆局部特征。
针对步骤S51-S53以及步骤S61-S63，为便于理解，此处以一完整的第一终端与第二 终端进行秘密分享的示例进行说明，例如第二终端对应的节点特征为a,b，节点特征数量 为m0,第i个第一终端对应的节点特征为c，d，e，节点特征数量mi，第一终端对应的第 一本地特征为W(矩阵大小为n*(m0+mi)＝2*(2+3＝5))，第二终端对应第二本地特征为 W’(矩阵大小为n*(m0+mi)＝2*(2+3＝5))，其中，W’中前两列对应本地特征列，该本 地特征列可与本地图数据相乘，作为第二终端对应的本地特征，后三列则对应外部特征列， 即第二目标矩阵，用于与第一终端进行秘密分享。W中前两列对应外部特征列，即第一目 标矩阵，用于与第二终端进行秘密分享，后三列对应本地特征列，该本地特征列可与本地 图数据相乘，作为第一终端对应的本地特征。在进行该轮的秘密分享时，需要将W’中的 后三列与第一终端的本地图数据相乘，即可得到第一终端对应的混淆局部特征。同时，将 W中的前两列与第二终端的本地图数据相乘，即可得到第二终端对应的混淆局部特征。
由于直接将秘密分享矩阵与第一终端或第二终端对应的本地图数据相乘，容易泄露用 户隐私，故本实施例中，通过随机生成的第一秘密参数对以及第二秘密参数对，以对该轮 秘密分享进行数据混淆。
此处以对该轮秘密分享的得到第一终端对应的混淆局部特征的计算过程进行举例说 明，假设第二终端生成的第二秘密参数对为+2和-2，W’中的后三列第二目标矩阵假设为 
则可将该第一目标矩阵分解为第三子矩阵即为
和第四子矩阵即为
第三子矩阵与第四子矩阵的矩阵加和即为第二目标矩阵，将第三子矩阵乘以-2(也可乘2，此处以乘-2为例)，第四子矩矩阵乘以2(也可乘-2，此处以乘2为例)， 得到第三秘密矩阵为
和第四秘密矩阵为
并分别发送给第一终端， 此时第一终端无法知道第一秘密分享矩阵中W的后三列具体内容，假设第一终端的本地图 数据中某图节点的节点特征为[4，2，5]，将该节点特征分别与第一秘密分享矩阵以及第 二秘密分享矩阵相乘，即得到[-2*4-6*2-8*5＝-60,-4*4-6*2-8*5＝-68]和[6,-4]这两个 向量，即为混淆局部特征。
可以理解地是，上述第一个向量[-60，68]除以-2加上第二个向量[6,-4]除以2，即得到长度为n(即2)的向量[33,32]，即还原真实局部特征，而直接用W’中的后三列
与第一终端的本地图数据[4，2，5]相乘结果是一致的，故由第二终端将第二秘密参数对 即2，-2发送给可信终端，第一终端将得到到的这两个向量发送给可信终端，可信终端即 可根据第二秘密参数对还原混淆局部特征，此时可信终端也无法得知训练终端双方的数据 隐私，仅执行聚合混淆局部特征的操作。
对于第一终端的W’的前两列和第二终端的本地数据相乘，即步骤S51-S53的具体实 现步骤与上述实现步骤一致，此处不再赘述。
在一实施例中，如图7所示，步骤S13中，即通过可信终端基于各训练终端发送的混淆局部特征进行聚合，获取全局特征，具体包括如下步骤：
S71：通过可信终端将第一秘密参数对第二终端对应的混淆局部特征还原为真实局部 特征；以及，通过可信终端将第二秘密参数对第一终端对应的混淆局部特征还原为真实局 部特征；或者，
具体地，该还原步骤即将第二终端混淆局部特征除以第一秘密参数对，即可还原为第 二终端的真实局部特征。将第一终端对应的混淆局部特征除以第二秘密参数对，即可还原 为第二终端的真实局部特征。
以上述示例进行描述，该混淆局部特征中的第一个向量为第三子矩阵乘-2得到，第二 个向量为第四子矩阵乘2得到，故将该第一个向量[-60，68]除以-2，然后加上第二个向 量[6,-4]除以2，即得到[33,32]，即还原真实局部特征。
S72：对各训练终端对应的真实局部特征进行累加处理，以将得到的累加结果作为全 局特征。
S73：对各训练终端对应的真实局部特征进行取平均处理，以将得到的平均值作为全 局特征。
S74：对各训练终端对应的真实局部特征进行加权处理，以将得到的加权结果作为全 局特征。
本实施例中，训练端对接收到的真实局部特征进行聚合，可包括但不限计算各真实局 部特征的累加和或者对各真实局部特征取平均值处理，或者根据不同训练终端的预设权 重，对各真实局部特征进行加权处理，以得到全局特征。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执 行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种图神经网络训练系统，该图神经网络训练系统与上述实施例 中图神经网络训练方法一一对应。如图8所示，该图神经网络训练系统包括本地特征计算 模块10、秘密分享模块20、特征还原聚合模块30以及网络更新模块40。各功能模块详细 说明如下：
本地特征计算模块10，用于通过训练终端根据本地图数据计算对应的本地特征。
秘密分享模块20，用于基于本地特征，通过第一终端与第二终端进行秘密分享，得到本地特征对应的混淆局部特征，并将混淆局部特征发送给可信终端。
特征还原聚合模块30，用于通过可信终端基于各训练终端发送的混淆局部特征进行 还原聚合，以获取全局特征，并基于全局特征训练全局图神经网络，以将得到的网络输出 结果发送至第二终端，以使第二终端根据网络输出结果计算网络梯度并返回给可信终端。
网络更新模块40，用于通过可信终端根据网络梯度更新全局图神经网络，以得到更 新后的网络参数，并将更新后的网络参数发送至对应的训练终端以更新本地图神经网络。
具体地，本地特征包括第一终端计算得到的第一本地特征以及第二终端计算得到的第 二本地特征；本地特征计算模块包括秘密分享矩阵构建单元以及本地特征计算单元。
秘密分享矩阵构建单元，用于通过第一终端构建对应的第一秘密分享矩阵；以及通过 第二终端构建对应的第二秘密分享矩阵。
本地特征计算单元，用于通过第一终端将第一秘密分享矩阵与第一终端对应的本地图 数据相乘，得到第一本地特征；以及，通过第二终端将第二秘密分享矩阵与第二终端对应 的本地图数据相乘，得到第二本地特征。
具体地，秘密分享模块包括第一秘密分享单元以及第二秘密分享单元。
第一秘密分享单元，用于通过第一终端随机生成第一秘密参数对，以基于第一秘密参 数对以及第一本地特征，与第二终端进行秘密分享，得到第二终端对应的混淆局部特征。
第二秘密分享单元，用于通过第二终端随机生成第二秘密参数对，以基于第二秘密参 数对以及第二本地特征，与第一终端进行秘密分享，得到第一终端对应的混淆局部特征。
其中，第一秘密参数对以及第二秘密参数对均为一组绝对值相同的正负数。
具体地，秘密分享模块包括第一发送单元和第二发送单元。
第一发送单元，用于通过第二终端将第二终端对应的混淆局部特征发送给可信终端； 以及，通过第一终端将第一秘密参数对发送给可信终端，以使可信终端根据第一秘密参数 对还原第一终端对应的混淆局部特征。
第二发送单元，用于通过第一终端将第一终端对应的混淆局部特征发送给可信终端； 以及，通过第二终端将第二秘密参数对发送给可信终端，以使可信终端根据第二秘密参数 对还原第二终端对应的混淆局部特征。
具体地，第一本地特征包括与第二终端对应的第一目标矩阵；第一秘密分享单元第一 分解子单元、第一数据混淆单元和第一混淆局部特征计算子单元。
第一分解子单元，用于对第一目标矩阵进行分解，得到第一子矩阵和第二子矩阵；其 中，第一子矩阵和第二子矩阵的矩阵加和为第一目标矩阵。
第一数据混淆单元，用于基于第一秘密参数对第一子矩阵和第二子矩阵进行数据混 淆，得到第一秘密矩阵和第二秘密矩阵。
第一混淆局部特征计算子单元，用于将第一秘密矩阵和第二秘密矩阵发送给第二终 端，以使第二终端将对应的本地图数据，分别与第一秘密矩阵和第二秘密矩相乘，得到第 二终端对应的混淆局部特征。
具体地，第二本地特征包括与第一终端对应的第二目标矩阵；第二秘密分享单元第二 分解子单元、第二数据混淆单元和混淆局部特征计算子单元。
第二分解子单元，用于对第二目标矩阵进行分解，得到第三子矩阵和第四子矩阵；其 中，第三子矩阵和第四子矩阵的矩阵加和为第二目标矩阵。
第二数据混淆单元，用于基于第二秘密参数对第三子矩阵和第四子矩阵进行数据混 淆，得到第三秘密矩阵和第四秘密矩阵。
第二混淆局部特征计算子单元，用于将第三秘密矩阵和第四秘密矩阵发送给第一终 端，以使第一终端将对应的本地图数据，分别与第三秘密矩阵和第四秘密矩阵相乘，以得 到第一终端对应的混淆局部特征。
具体地，特征还原聚合模块包括还原单元、第一聚合单元、第二聚合单元以及第三聚 合单元。
还原单元，用于通过可信终端将第一秘密参数对第二终端对应的混淆局部特征还原为 真实局部特征；以及，通过可信终端将第二秘密参数对第一终端对应的混淆局部特征还原 为真实局部特征；
第一聚合单元，用于对各训练终端对应的真实局部特征进行累加处理，以将得到的累 加结果作为全局特征；或者
第二聚合单元，用于对各训练终端对应的真实局部特征进行取平均处理，以将得到的 平均值作为全局特征；或者，
第三聚合单元，用于对各训练终端对应的真实局部特征进行加权处理，以将得到的加 权结果作为全局特征。
关于图神经网络训练系统的具体限定可以参见上文中对于图神经网络训练方法的限 定，在此不再赘述。上述图神经网络训练系统中的各个模块可全部或部分通过软件、硬件 及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也 可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对 应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构 图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行图神经网络训练方法过程中生成或获取的数据，如本地图数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图神经网络训练方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并 可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的图神经网 络训练方法的步骤，例如图2所示的步骤S11-S14，或者图3至图7中所示的步骤。或者，处理器执行计算机程序时实现图神经网络训练系统这一实施例中的各模块/单元的功能，例如图8所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该 计算机程序被处理器执行时实现上述实施例中图神经网络训练方法的步骤，例如图2所示 的步骤S11-S14，或者图3至图7中所示的步骤，为避免重复，这里不再赘述。或者，该 计算机程序被处理器执行时实现上述图神经网络训练系统这一实施例中的各模块/单元的功能，例如图8所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过 计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存 储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请 所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括 非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储 器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多 种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率 SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、 存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存 储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单 元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功 能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述 的全部或者部分功能。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本 发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所 记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换， 并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发 明的保护范围之内。
Claims (10)
1.一种图神经网络训练方法，其特征在于，应用在一种图神经网络训练系统中，所述图神经网络训练系统包括训练终端以及可信终端；所述训练终端包括多个第一终端以及一个第二终端；不同的训练终端包括不同的本地图数据以及本地图神经网络；所述图神经网络训练方法包括：
通过所述训练终端根据所述本地图数据计算对应的本地特征；
基于所述本地特征，通过所述第一终端与所述第二终端进行秘密分享，得到所述本地特征对应的混淆局部特征，并将所述混淆局部特征发送给所述可信终端；
通过所述可信终端基于各训练终端发送的混淆局部特征进行还原聚合，以获取全局特征，并基于所述全局特征训练全局图神经网络，以将得到的网络输出结果发送至所述第二终端，以使所述第二终端根据所述网络输出结果计算网络梯度并返回给所述可信终端；
通过所述可信终端根据所述网络梯度更新所述全局图神经网络，以得到更新后的网络参数，并将所述更新后的网络参数发送至对应的所述训练终端以更新所述本地图神经网络。
2.如权利要求1所述图神经网络训练方法，其特征在于，所述本地特征包括所述第一终端计算得到的第一本地特征以及所述第二终端计算得到的第二本地特征；
所述通过所述训练终端根据所述训练终端对应的本地图数据计算本地特征，包括：
通过所述第一终端构建对应的第一秘密分享矩阵；以及通过所述第二终端构建对应的第二秘密分享矩阵；
通过所述第一终端将所述第一秘密分享矩阵与所述第一终端对应的本地图数据相乘，得到所述第一本地特征；以及，通过所述第二终端将所述第二秘密分享矩阵与所述第二终端对应的本地图数据相乘，得到所述第二本地特征。
3.如权利要求2所述图神经网络训练方法，其特征在于，所述基于所述本地特征，通过所述第一终端与所述第二终端进行秘密分享，得到所述本地特征对应的混淆局部特征，包括：
通过所述第一终端随机生成第一秘密参数对，以基于所述第一秘密参数对以及所述第一本地特征，与所述第二终端进行秘密分享，得到所述第二终端对应的混淆局部特征；
通过所述第二终端随机生成第二秘密参数对，以基于所述第二秘密参数对以及所述第二本地特征，与所述第一终端进行秘密分享，得到所述第一终端对应的混淆局部特征；
其中，所述第一秘密参数对以及所述第二秘密参数对均为一组绝对值相同的正负数。
4.如权利要求3所述图神经网络训练方法，其特征在于，所述将所述混淆局部特征发送给所述可信终端，包括：
通过所述第二终端将所述第二终端对应的混淆局部特征发送给所述可信终端；以及，通过所述第一终端将所述第一秘密参数对发送给所述可信终端，以使所述可信终端根据所述第一秘密参数对还原所述第一终端对应的混淆局部特征；
通过所述第一终端将所述第一终端对应的混淆局部特征发送给所述可信终端；以及，通过所述第二终端将所述第二秘密参数对发送给所述可信终端，以使所述可信终端根据所述第二秘密参数对还原所述第二终端对应的混淆局部特征。
5.如权利要求3所述图神经网络训练方法，其特征在于，所述第一本地特征包括与所述第二终端对应的第一目标矩阵；所述基于第一秘密参数对以及所述第一本地特征，与所述第二终端进行秘密分享，以得到所述第二终端对应的混淆局部特征，包括：
对所述第一目标矩阵进行分解，得到第一子矩阵和第二子矩阵；其中，所述第一子矩阵和所述第二子矩阵的矩阵加和为所述第一目标矩阵；
基于所述第一秘密参数对所述第一子矩阵和所述第二子矩阵进行数据混淆，得到第一秘密矩阵和第二秘密矩阵；
将所述第一秘密矩阵和所述第二秘密矩阵发送给所述第二终端，以使所述第二终端将对应的本地图数据，分别与所述第一秘密矩阵和所述第二秘密矩相乘，得到所述第二终端对应的混淆局部特征。
6.如权利要求3所述图神经网络训练方法，其特征在于，所述第二本地特征包括与所述第一终端对应的第二目标矩阵；所述基于所述第二秘密参数对以及所述第二本地特征，与所述第一终端进行秘密分享，以得到所述第一终端对应的混淆局部特征，包括：
对所述第二目标矩阵进行分解，得到第三子矩阵和第四子矩阵；其中，所述第三子矩阵和所述第四子矩阵的矩阵加和为所述第二目标矩阵；
基于所述第二秘密参数对所述第三子矩阵和所述第四子矩阵进行数据混淆，得到第三秘密矩阵和第四秘密矩阵；
将所述第三秘密矩阵和所述第四秘密矩阵发送给所述第一终端，以使所述第一终端将对应的本地图数据，分别与所述第三秘密矩阵和所述第四秘密矩阵相乘，以得到所述第一终端对应的混淆局部特征。
7.如权利要求3所述图神经网络训练方法，其特征在于，所述通过所述可信终端根据接收到的所述训练终端对应的混淆局部特征进行还原聚合，获取聚合后的全局特征，包括：
通过所述可信终端将所述第一秘密参数对第二终端对应的混淆局部特征还原为真实局部特征；以及，通过所述可信终端将所述第二秘密参数对第一终端对应的混淆局部特征还原为真实局部特征；
对所述各训练终端对应的真实局部特征进行累加处理，以将得到的累加结果作为所述全局特征；或者
对所述各训练终端对应的真实局部特征进行取平均处理，以将得到的平均值作为所述全局特征；或者，
对所述各训练终端对应的真实局部特征进行加权处理，以将得到的加权结果作为所述全局特征。
8.一种图神经网络训练系统，其特征在于，包括：
本地特征计算模块，用于通过训练终端根据所述本地图数据计算对应的本地特征；
秘密分享模块，用于基于所述本地特征，通过第一终端与第二终端进行秘密分享，得到所述本地特征对应的混淆局部特征，并将所述混淆局部特征发送给可信终端；
特征还原聚合模块，用于通过所述可信终端基于各训练终端发送的混淆局部特征进行还原聚合，以获取全局特征，并基于所述全局特征训练全局图神经网络，以将得到的网络输出结果发送至所述第二终端，以使所述第二终端根据所述网络输出结果计算网络梯度并返回给所述可信终端；
网络更新模块，用于通过所述可信终端根据所述网络梯度更新所述全局图神经网络，以得到更新后的网络参数，并将所述更新后的网络参数发送至对应的所述训练终端以更新所述本地图神经网络。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述图神经网络训练方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述图神经网络训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605272.4A CN113254996B (zh) | 2021-05-31 | 2021-05-31 | 图神经网络训练方法、装置、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110605272.4A CN113254996B (zh) | 2021-05-31 | 2021-05-31 | 图神经网络训练方法、装置、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113254996A true CN113254996A (zh) | 2021-08-13 |
| CN113254996B CN113254996B (zh) | 2022-12-27 |
Family
ID=77185554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110605272.4A Active CN113254996B (zh) | 2021-05-31 | 2021-05-31 | 图神经网络训练方法、装置、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113254996B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115203487A (zh) * | 2022-09-15 | 2022-10-18 | 深圳市洞见智慧科技有限公司 | 基于多方安全图的数据处理方法及相关装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782044A (zh) * | 2019-10-29 | 2020-02-11 | 支付宝(杭州)信息技术有限公司 | 多方联合训练图神经网络的方法及装置 |
| CN110929870A (zh) * | 2020-02-17 | 2020-03-27 | 支付宝(杭州)信息技术有限公司 | 图神经网络模型训练方法、装置及系统 |
| CN111428188A (zh) * | 2020-03-30 | 2020-07-17 | 南京大学 | 一种卷积运算的方法和装置 |
| CN112149808A (zh) * | 2020-09-28 | 2020-12-29 | 上海交通大学 | 拓展单机图神经网络训练至分布式训练方法、系统及介质 |
| CN112183730A (zh) * | 2020-10-14 | 2021-01-05 | 浙江大学 | 一种基于共享学习的神经网络模型的训练方法 |
| CN112700002A (zh) * | 2020-12-23 | 2021-04-23 | 北京三快在线科技有限公司 | 图神经网络的训练方法、装置、电子设备及可读存储介质 |
-
2021
- 2021-05-31 CN CN202110605272.4A patent/CN113254996B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110782044A (zh) * | 2019-10-29 | 2020-02-11 | 支付宝(杭州)信息技术有限公司 | 多方联合训练图神经网络的方法及装置 |
| CN110929870A (zh) * | 2020-02-17 | 2020-03-27 | 支付宝(杭州)信息技术有限公司 | 图神经网络模型训练方法、装置及系统 |
| CN111428188A (zh) * | 2020-03-30 | 2020-07-17 | 南京大学 | 一种卷积运算的方法和装置 |
| CN112149808A (zh) * | 2020-09-28 | 2020-12-29 | 上海交通大学 | 拓展单机图神经网络训练至分布式训练方法、系统及介质 |
| CN112183730A (zh) * | 2020-10-14 | 2021-01-05 | 浙江大学 | 一种基于共享学习的神经网络模型的训练方法 |
| CN112700002A (zh) * | 2020-12-23 | 2021-04-23 | 北京三快在线科技有限公司 | 图神经网络的训练方法、装置、电子设备及可读存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115203487A (zh) * | 2022-09-15 | 2022-10-18 | 深圳市洞见智慧科技有限公司 | 基于多方安全图的数据处理方法及相关装置 |
| CN115203487B (zh) * | 2022-09-15 | 2022-12-20 | 深圳市洞见智慧科技有限公司 | 基于多方安全图的数据处理方法及相关装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113254996B (zh) | 2022-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11902413B2 (en) | Secure machine learning analytics using homomorphic encryption | |
| CN113221183B (zh) | 实现隐私保护的多方协同更新模型的方法、装置及系统 | |
| CN112347500B (zh) | 分布式系统的机器学习方法、装置、系统、设备及存储介质 | |
| CN113505882B (zh) | 基于联邦神经网络模型的数据处理方法、相关设备及介质 | |
| CN113221153B (zh) | 图神经网络训练方法、装置、计算设备及存储介质 | |
| CN112800466B (zh) | 基于隐私保护的数据处理方法、装置和服务器 | |
| CN114696990B (zh) | 基于全同态加密的多方计算方法、系统及相关设备 | |
| CN111771199B (zh) | 将第一函数应用于数据集中的数据元素的计算机实施的方法以及实施该方法的工作者节点 | |
| CN113222143B (zh) | 图神经网络训练方法、系统、计算机设备及存储介质 | |
| CN114817958A (zh) | 一种基于联邦学习的模型训练方法、装置、设备及介质 | |
| CN114760054A (zh) | 基于数字钱包的密钥管理方法、装置及存储介质 | |
| CN111241568B (zh) | 加密方法、解密方法、装置、计算机设备和存储介质 | |
| CN113254996B (zh) | 图神经网络训练方法、装置、计算设备及存储介质 | |
| CN110874481B (zh) | 一种基于gbdt模型的预测方法和装置 | |
| Hidayat et al. | Privacy-Preserving Federated Learning With Resource Adaptive Compression for Edge Devices | |
| Li et al. | Efficiently Achieving Privacy Preservation and Poisoning Attack Resistance in Federated Learning | |
| CN113487423A (zh) | 个人信贷风险预测模型训练方法及装置 | |
| CN117057445A (zh) | 基于联邦学习框架的模型优化方法、系统和装置 | |
| EP3096308B1 (en) | Element replication device, element replication method, and program | |
| CN114969783B (zh) | 一种隐私保护的群智感知数据恢复方法及系统 | |
| Zhang et al. | Secure Outsourcing Evaluation for Sparse Decision Trees | |
| CN114239811B (zh) | 基于隐私保护的多方联合卷积处理方法、装置和系统 | |
| CN116910800A (zh) | 舆情监测方法、装置、计算机设备和存储介质 | |
| CN115222489A (zh) | 商品推荐方法、装置、计算机设备及存储介质 | |
| CN113743121A (zh) | 长文本实体关系抽取方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |