CN112541575B - 图神经网络的训练方法及装置 - Google Patents

图神经网络的训练方法及装置 Download PDF

Info

Publication number
CN112541575B
CN112541575B CN202011409587.3A CN202011409587A CN112541575B CN 112541575 B CN112541575 B CN 112541575B CN 202011409587 A CN202011409587 A CN 202011409587A CN 112541575 B CN112541575 B CN 112541575B
Authority
CN
China
Prior art keywords
node
hidden
vector
user
memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011409587.3A
Other languages
English (en)
Other versions
CN112541575A (zh
Inventor
熊涛
朱亮
吴若凡
漆远
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011409587.3A priority Critical patent/CN112541575B/zh
Publication of CN112541575A publication Critical patent/CN112541575A/zh
Application granted granted Critical
Publication of CN112541575B publication Critical patent/CN112541575B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书实施例提供一种图神经网络的训练方法，包括：获取原始关系网络图，其中包括对应多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的原始连接边；在该原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个对象节点之间建立新增连接边，得到扩张关系网络图，用于对图神经网络进行多轮迭代更新，其中任一轮包括：利用图神经网络对扩张关系网络图进行图嵌入处理，在多个图神经网络隐层中的任一隐层，对上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量进行聚合，得到本隐层输出的第一对象隐向量；根据最后一个隐层输出的第一对象隐向量以及第一对象节点的业务标签，对图神经网络进行本轮更新。

Description

图神经网络的训练方法及装置
技术领域
本说明书实施例涉及计算机技术领域，尤其涉及一种图神经网络的训练方法及装置。
背景技术
关系网络图是对现实世界中实体之间的关系的描述，目前广泛地应用于各种计算机信息处理中。一般地，关系网络图包含节点集合和边集合，节点表示现实世界中的实体，边表示现实世界中实体之间的联系。例如，在社交网络中，人就是实体，人和人之间的关系或联系就是边。
在很多情况下，希望对关系网络图中的节点、边等的拓扑特性进行分析，从中提取出有效信息，实现这类过程的计算方法称为图计算。典型地，希望将关系网络图中的每个节点(实体)用相同维度的向量来表示，也就是生成针对每个节点的节点向量。如此，生成的节点向量可以应用于计算节点和节点之间的相似度，发现图中的社团结构，预测未来可能形成的边联系，以及对图进行可视化等。
节点向量的生成方法已成为图计算的基础算法。根据一种方案，可以利用图神经网络(GraphNeural Networks，简称GNN)，生成关系网络图中节点的节点向量。通常，图神经网络在确定某个节点的嵌入表达时需要使用它多阶邻居的信息，但是，在阶数较少时，能够聚合的邻居信息有限，可能会导致邻近节点的节点向量类似，不具有区分度，而随着阶数的增加，邻居数量又会指数级上升，这对于计算资源和内存使用都会带来很大的负担。
因此，需要一种改进的方案，可以使得在利用图神经网络确定节点嵌入表达的过程中，通过聚合数量更多的其他节点的信息，提高节点嵌入表达的准确度，同时，尽可能压低内存和计算资源的消耗。
发明内容
采用本说明书描述的图神经网络的训练方法及装置，在原始关系网络图中增加与各个原始节点连接的记忆节点，使得在多阶聚合中，原始节点能够从所有节点中抽取有效信息，从而提高节点嵌入表达的准确度，同时，多阶聚合的阶数只需大于1即可，不会给内存和计算带来负担。
根据第一方面，提供一种图神经网络的训练方法，包括：
获取原始关系网络图，其中包括对应多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的原始连接边；在所述原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个对象节点之间建立新增连接边，得到扩张关系网络图；基于所述扩张关系网络图，对图神经网络进行多轮迭代更新，其中任一轮迭代更新包括：利用所述图神经网络对所述扩张关系网络图进行图嵌入处理，在所述图神经网络所包含L个隐层中的任一隐层，获取上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量，对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，将第L个隐层输出的第一对象隐向量作为所述第一对象节点的对象节点嵌入向量；其中，L为大于1的整数；根据所述对象节点嵌入向量以及所述第一对象节点对应的业务标签，对所述图神经网络进行本轮更新。
在一个实施例中，在前L-1个隐层中的任一隐层，还获取上一隐层针对其他对象节点输出的隐向量，并对任一的第一记忆节点和所述多个对象节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量。
在一个实施例中，对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，包括：针对所述第一对象节点、若干邻居对象节点和若干记忆节点中的各个节点，基于该各个节点和第一对象节点的隐向量，确定该各个节点对应的初始注意力分数；利用第一平衡系数，对于第一对象节点和若干邻居对象节点的初始注意力分数进行第一乘积处理，得到对应节点数的第一注意力分数；利用第二平衡系数，对若干记忆力节点的初始注意力分数进行第二乘积处理，得到对应节点数的第二注意力分数；基于所述第一注意力分数和第二注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一对象隐向量。
在一个实施例中，所述原始连接边具有原始权重；其中，得到扩张关系网络图，还包括：将所述新增连接边的权重设定为预定数值；其中，所述第一乘积处理还涉及利用所述原始权重，所述第二乘积处理还涉及利用所述预定数值。
在一个实施例中，对任一的第一记忆节点和所述多个对象节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，包括：针对所述第一记忆节点和多个对象节点中的各个节点，基于该各个节点和第一记忆节点的隐向量，确定该各个节点对应的注意力分数；基于所述注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一记忆隐向量。
在一个实施例中，对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，包括：针对所述第一对象节点和若干邻居对象节点中的各个对象节点，对其所对应的隐向量进行第一变换，得到对应对象节点数的对象变换向量；针对所述若干记忆节点中的各个记忆节点，对其所对应的隐向量进行第二变换，得到对应记忆节点数的记忆变换向量；利用第一平衡系数对所述对象变换向量进行第三乘积处理，并且，利用第二平衡系数对所述记忆变换向量进行第四乘积处理；基于第三乘积结果和第四乘积结果，确定所述第一对象隐向量。
在一个具体的实施例中，所述原始连接边具有原始权重；其中，得到扩张关系网络图，还包括：将所述新增连接边的权重设定为预定数值；其中，所述第三乘积处理还涉及利用所述原始权重，所述第四乘积处理还涉及利用所述预定数值。
在一个实施例中，对任一的第一记忆节点和所述多个对象节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，包括：针对所述多个对象节点中的各个对象节点，对其所对应的隐向量进行第一变换，得到对应对象节点数的对象变换向量；针对所述第一记忆节点，对其所对应的隐向量进行第二变换，得到记忆变换向量；利用第一平衡系数对所述记忆变换向量进行第五乘积处理，并且，利用第二平衡系数对所述对象变换向量进行第六乘积处理；基于第五乘积结果和第六乘积结果，确定所述第一记忆隐向量。
在一个实施例中，所述多个业务对象涉及以下中的至少一种：用户、商户、商品、终端设备；所述业务预测网络用于输出针对业务对象的分类或回归值。
根据第二方面，提供一种图神经网络的训练装置，包括：
原始图获取单元，配置为获取原始关系网络图，其中包括对应多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的原始连接边；图改造单元，配置为在所述原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个对象节点之间建立新增连接边，得到扩张关系网络图；迭代更新单元，配置为基于所述扩张关系网络图，对图神经网络进行多轮迭代更新；其中任一轮迭代更新基于以下模块实现：图嵌入模块，配置为利用所述图神经网络对所述扩张关系网络图进行图嵌入处理，在所述图神经网络所包含L个隐层中的任一隐层，获取上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量，对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，将第L个隐层输出的第一对象隐向量作为所述第一对象节点的对象节点嵌入向量；其中，L为大于1的整数；更新模块，配置为根据所述对象节点嵌入向量以及所述第一对象节点对应的业务标签，对所述图神经网络进行本轮更新。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所描述的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所描述的方法。
综上，采用本说明书实施例披露的图神经网络的训练方法及装置，在原始关系网络图中增加与各个原始节点连接的记忆节点，使得在多阶(L阶)聚合中，原始节点能够间接实现从所有节点中抽取有效信息，从而提高节点嵌入表达的准确度，同时，多阶聚合的阶数只需大于1即可，不会给内存和计算带来负担。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1A示出根据一个实施例的关系网络图中节点的展开子树示意图；
图1B示出根据一个实施例的扩张关系网络图中节点的展开子树示意图；
图2示出根据一个实施例的图神经网络的训练方法流程图；
图3示出根据一个实施例的图神经网络的训练装置结构图。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
如前所述，需要一种改进的方案，可以使得在利用图神经网络确定节点嵌入表达的过程中，通过聚合数量更多的其他节点的信息，提高节点嵌入表达的准确度，同时，尽可能减少内存和计算资源的消耗。
对此，申请人提出，在原始关系网络图中增加记忆节点，在每个记忆节点和原始图节点之间建立新增连接边，并对图神经网络进行改进设计，以使其适于对新增记忆节点后的扩张关系网络图进行嵌入处理，从而得到准确度、区分度明显提高的节点嵌入向量，进而可以利用该节点嵌入向量提高相关业务预测任务的预测结果准确度。
为辅助理解，图1A和图1B示出原始关系网络图和扩张关系网络图的对比示意图，其中还分别包括以节点b1为根节点的二阶展开子树，图1B中相较图1A新增记忆节点wb，相应建立的新增连接边用虚线示出。结合此两幅图可知，对于记忆节点而言，所有的原始图节点均为其邻居节点(需说明，下文中的邻居节点指一阶邻居节点)，相应地，在图嵌入处理的多阶聚合(或称多级聚合、多层聚合)中，记忆节点可以聚合所有原始图节点的节点特征，相当于实现了原始关系网络图中所有节点的全局信息聚合，而记忆节点作为各个原始图节点的邻居节点，反过来又可以使得原始图节点可以基于记忆节点抽取全局节点的特征信息，并且，这种相互作用，在聚合的级数(或称阶数，或者说图神经网络的层数)大于等于2时，即可实现。如此，通过设计增加记忆节点的扩张关系网络图，进而用改进的图神经网络对其进行处理，可以有效增强节点嵌入向量的记忆能力、表达能力。
具体，本说明书实施例披露一种图神经网络的训练方法，下面结合具体的实施例、示例，对该训练方法进行详细说明。图2示出根据一个实施例的图神经网络的训练方法流程图，所述方法的执行主体可以为任何具有计算、处理能力的平台、装置、服务器或设备集群。如图2所示，所述方法包括以下步骤：
步骤S210，获取原始关系网络图，其中包括对应多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的原始连接边；步骤S220，在上述原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个对象节点之间建立新增连接边，得到扩张关系网络图；步骤S230，基于上述扩张关系网络图，对图神经网络进行多轮迭代更新，其中任一轮迭代更新包括：步骤S231，利用上述图神经网络对上述扩张关系网络图进行图嵌入处理，在上述图神经网络所包含L个隐层中的任一隐层，获取上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量，对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，将第L个隐层输出的第一对象隐向量作为上述第一对象节点的对象节点嵌入向量；其中，L为大于1的整数；步骤S232，根据上述对象节点嵌入向量以及上述第一对象节点带有的业务标签，对上述图神经网络进行本轮更新。
针对以上步骤，首先需要说明，上述“第一对象节点”、“第一记忆节点”等中的“第一”，以及他处的“第二”、“第三”等类似用语，均为了描述的清楚简洁，仅用于区分同类事物，不具有排序等其他限定作用。
对以上步骤的展开说明如下：
首先，在步骤S210，获取原始关系网络图，其中包括对应多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的原始连接边。其中，多个业务对象可以涉及以下中的至少一种：用户、商户、商品、终端设备。在一个实施例中，上述多个业务对象中包括多个用户，上述关联关系可以包括以下中的至少一种：社交关系、设备关系、交易关系和内容交互关系。在一个具体的实施例中，若两个用户在社交平台中互相关注，或者互为好友，则认为对应的两个用户节点之间存在社交关系。在一个具体的实施例中，若两个用户使用过同一个终端设备，则认为对应的节点之间存在设备关系。在一个具体的实施例中，若一个用户曾向另一个用户转账或发起收款，则认为二者间存在交易关系。在一个具体的实施例中，若一个用户向另外一个用户发送过内容，或者，二者互相发送过内容，则认为二者间存在内容交互关系。在一个例子中，其中内容可以是文本、链接、图片(如动态表情)、或视频等。在另一个实施例中，上述多个业务对象中可以包括多个商户，上述关联关系可以包括合作关系或上下游供应关系。
根据一个具体的实施例，上述原始关系网络图可以是用户-商品二部图，相应地，上述多个业务对象中可以包括多个用户和多个商品，并且，连接边只存在于用户节点和商品节点之间，用户节点之间和商品节点之间不存在连接边，进一步，上述关联关系可以包括点击关系、或购买关系或评价关系。比如说，若某个用户曾今购买过某件商品，则认为二者之间存在购买关系，又比如说，若某个用户曾点击过针对某件商品的广告信息，则认为二者之间存在点击关系。
接着，在步骤S220，在上述原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个对象节点之间建立新增连接边，得到扩张关系网络图。需说明，其中若干记忆节点对应的记忆节点数量M，可以是工作人员根据计算环境、实际效果进行调试而确定的，或者，可以是根据经验设定的。通常，记忆节点的数量M要远小于原始关系网络图中原始图节点的数量N，即M＜＜N。此外，记忆节点互相之间可以不建立连接边，或者，建立连接边并将其权重设置为0。
在一个实施例中，各个记忆节点的节点特征可以为空，或者，其被初始化为全部原始图节点的初始特征向量的平均向量。
在一个实施例中，上述原始连接边的边特征中包括连接边权重，例如，两个用户节点之间在最近一个月内发生过5次转账交易，其交易连接边的边权重被换算为0.5。相应地，在本步骤中，可以将新增连接边的边权重设定为预定数值，例如，1或0.8等。
以上，通过在原始关系网络图中，添加各个原始图节点分别连接的记忆节点，可以辅助实现原始关系网络图中全局信息的流通，进而增强后续节点表征的记忆力，提高节点嵌入表达的准确性、有效性和可用性。
基于上述得到的扩张关系网络图，执行步骤S230，对图神经网络进行多轮迭代更新。需理解，其中迭代更新的轮次数量可以由工作人员预先设定，也可以是迭代至参数收敛时所对应的轮次数量。
上述多轮迭代更新中的任意一轮包括以下步骤S231和步骤S232。
在步骤S231，利用图神经网络对上述扩张关系网络图进行图嵌入处理。该图神经网络包括L个隐层(即隐藏层，hidden layer)，其中L为大于1的整数，例如，L＝2或3。上述图嵌入处理包括：在L个隐层中的任一隐层，获取上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量，对获取的这些隐向量进行聚合，得到本隐层输出的第一对象隐向量。需说明，其中第一对象节点可以是上述多个对象节点中的任意某个节点，其可以是在本轮迭代更新中被选中的，且带有业务标签的某个节点。此外，若上述任一隐层为第1个隐层，则获取的上一隐层输出的隐向量，实际为第一对象节点和若干记忆节点的节点特征，或者说，根据节点自身特征确定的初始节点特征向量。
在一个实施例中，上述图嵌入处理还可以包括：在前L-1个隐层中的任一隐层，还获取上一隐层针对其他对象节点输出的隐向量，并对任一的第一记忆节点和上述多个对象节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量。需说明，上述其他对象节点包括上述多个对象节点中除所述第一对象节点和若干邻居对象节点以外的对象节点。
在一种实施方式中，本说明书实施例中设计的图神经网络，可以是对GAT(GraphAttention Network，图注意力网络)进行改进而得到。具体，上述图嵌入处理中对第一对象隐向量的确定可以包括：
首先，针对第一对象节点、若干邻居对象节点和若干记忆节点中的各个节点，基于该各个节点和第一对象节点的隐向量，确定该各个节点对应的初始注意力分数。对于上述第一对象节点、若干邻居对象节点和若干记忆节点中任一的第二节点，在一个实施例中，可以将该第二节点的隐向量与第一对象节点的隐向量之间的点积，确定为第二节点的初始注意力分数。在另一个实施例中，可以分别对上述各个节点和第一对象节点的隐向量进行线性变换和/或非线性变换，得到对应的本层变换向量，并对第二节点和第一对象节点对应的两个本层变换向量进行拼接，得到拼接向量，再计算该拼接向量与学习向量(其中的元素是学习参数)之间的点积，作为第二节点的初始注意力分数。
接着，基于上述各个节点的初始注意力分数，确定对应的注意力权重。在一个实施例中，可以直接利用上述各个节点的初始注意力分数的和值，对各个初始注意力分数进行归一化处理，得到对应的注意力权重。
在另一个实施例中，申请人考虑到，对于第一对象节点的嵌入表达，其原始邻居节点和记忆节点的实际贡献度不同，因此，提出利用平衡系数，对注意力分数进行平衡处理。具体，可以利用第一平衡系数，对于第一对象节点和其若干邻居对象节点的初始注意力分数分别进行第一乘积处理，得到对应对象节点数的第一注意力分数，并且，利用第二平衡系数，对若干记忆力节点的初始注意力分数分别进行第二乘积处理，得到对应记忆节点数的第二注意力分数；接着，对第一注意力分数和第二注意力分数进行归一化处理，得到所述各个节点对应的注意力权重。需理解，其中第一平衡系数和第二平衡系数可以由工作人员设定。在一例子中，第一平衡系数可以是位于区间(0,1)中的某个数值λ，第二平衡系数可以是(1-λ)/M，其中M是若干记忆节点对应的记忆节点总数。
另一方面，在利用初始注意力分数确定注意力权重时，还可以考虑连接边权重。具体，上述获取的原始关系网络图中的原始连接边具有原始权重，扩张关系网络图中的新增连接边具有与上述预定数值对应的设定权重，此时，可以先将各个节点的注意力分数从初始注意力分数更新为对应边权重与初始注意力分数的乘积，再基于更新后的注意力分数，进行注意力权重的确定。
然后，在确定出上述各个节点对应的注意力权重后，利用注意力权重对各个节点的隐向量进行加权处理，得到上述第一对象隐向量。在一个示例中，可以利用下述公式，计算第一对象隐向量：
Figure GDA0003920970930000111
其中，l表示本隐层的层数；i表示上述第一对象节点的节点编号；
Figure GDA0003920970930000112
表示本隐层输出的第一对象隐向量；
Figure GDA0003920970930000113
表示第一对象节点的若干邻居对象节点组成的集合；
Figure GDA0003920970930000114
表示节点集合
Figure GDA0003920970930000115
中第k个节点在第l层的注意力权重；σ(l)(·)表示第l层中的激活函数，例如，可以是Relu或tanh函数；
Figure GDA0003920970930000116
表示第l-1个隐层针对第k个节点输出的隐向量；
Figure GDA00039209709300001115
表示M个记忆节点组成的集合；
Figure GDA0003920970930000117
表示节点集合
Figure GDA00039209709300001116
中第v个节点在第l层的注意力权重；
Figure GDA0003920970930000118
表示第l-1个隐层针对第v个节点输出的隐向量。
以上，对基于改进的GAT确定第一对象隐向量进行介绍。另外，基于改进的GAT，实现上述图嵌入处理中对第一记忆节点隐向量的确定可以包括：针对上述第一记忆节点和多个对象节点中的各个节点，基于该各个节点和第一记忆节点的隐向量，确定该各个节点对应的注意力分数；接着基于注意力分数进行归一化处理，得到各个节点对应的注意力权重；再利用注意力权重，对该各个节点的隐向量进行加权处理，得到第一记忆隐向量。需说明，对于注意分数的确定可以参见前述实施例中的相关描述，不作赘述。此外，上述归一化处理可以利用注意力分数的和值实现，也可以利用softmax函数实现。
在一个示例中，可以利用下述公式，计算第一记忆隐向量：
Figure GDA0003920970930000119
其中，l表示本隐层的层数；v表示上述第一记忆节点的节点编号；
Figure GDA00039209709300001110
表示本隐层输出的第一记忆隐向量；
Figure GDA00039209709300001111
表示第一记忆节点在第l层对自身的注意力权重；σ(l)(·)表示第l层中的激活函数；
Figure GDA00039209709300001112
表示第l-1个隐层针对第一记忆节点输出的隐向量；v表示上述多个对象节点组成的节点集合；
Figure GDA00039209709300001113
表示节点集合V中第j个节点在第l层的注意力权重；
Figure GDA00039209709300001114
表示第l-1个隐层针对第j个节点输出的隐向量。
由上，可以基于改进的GAT实现上述图嵌入处理。在另一种实施方式中，本说明书实施例中设计的图神经网络，可以是对GCN(Graph Convolutional Network，图卷积神经网络)进行改进而得到。具体，上述第一对象隐向量的确定可以包括：
首先，针对第一对象节点和若干邻居对象节点中的各个对象节点，对其所对应的隐向量进行第一变换，得到对应对象节点数的对象变换向量；并且，针对若干记忆节点中的各个记忆节点，对其所对应的隐向量进行第二变换，得到对应记忆节点数的记忆变换向量。需说明，上述第一变换和第二变换的对应的具体变换方式可以相同，也可以不同。在一个实施例中，上述第一变换可以是依次进行非线性变换和线性变换的组合变换。在一个实施例中，上述第二变换可以是线性变换。
然后，基于对象变换向量和记忆变换向量，确定上述第一对象隐向量。在一个实施例中，可以直接求取对象变换向量和记忆变换向量的和向量或平均向量，作为上述第一对象隐向量。在另一个实施例中，考虑到对于第一对象节点的嵌入表达，其原始邻居节点和记忆节点的实际贡献度不同，因此，提出利用平衡系数，对变换向量进行平衡处理。具体，利用第一平衡系数对所述对象变换向量进行第三乘积处理，并且，利用第二平衡系数对所述记忆变换向量进行第四乘积处理；再基于第三乘积结果和第四乘积结果，确定第一对象隐向量。需说明，对第一平衡系数和第二平衡系数的描述，可以参见前述实施例中的相关描述，不作赘述。在一个具体的实施例中，可以求取第三乘积结果和第四乘积结果的和向量或平均向量，作为上述第一对象隐向量。
另一方面，在确定上述第一对象隐向量时，还可以考虑连接边权重。具体，在上述第三乘积处理中还使用对应连接边的原始权重作为相乘元素，得到第三乘积结果，在上述第四乘积处理中还使用对应连接边的预定权重作为相乘元素，得到第四乘积结果。在一个示例中，假定预定权重为1，可以通过以下公式计算出上述第一对象隐向量：
Figure GDA0003920970930000131
其中，l表示本隐层的层数；i表示上述第一对象节点的节点编号；
Figure GDA0003920970930000132
表示本隐层输出的第一对象隐向量；λ表示第一平衡系数；ψii表示第一对象节点与其自身之间连接边的原始权重；W(l)表示第l层的线性变换矩阵；σ(l)(·)表示第l层中的激活函数，例如，可以是Relu或tanh函数；
Figure GDA0003920970930000133
表示第l-1个隐层针对第一对象节点输出的隐向量；
Figure GDA0003920970930000134
表示第一对象节点的若干邻居对象节点组成的集合；ψij表示第一对象节点与其第j个邻居对象节点之间连接边的原始权重；
Figure GDA0003920970930000135
表示第l-1个隐层针对第j个邻居对象节点输出的隐向量；
Figure GDA0003920970930000138
表示M个记忆节点组成的集合；
Figure GDA0003920970930000136
表示第二平衡系数；
Figure GDA0003920970930000137
表示第l-1个隐层针对第v个记忆节点输出的隐向量。
以上，对基于改进的GCN确定第一对象隐向量进行介绍。另外，基于改进的GAN，实现上述图嵌入处理中对第一记忆节点隐向量的确定可以包括：针对上述多个对象节点中的各个对象节点，对其所对应的隐向量进行上述第一变换，得到对应对象节点数的对象变换向量，并且，针对第一记忆节点，对其所对应的隐向量进行上述第二变换，得到记忆变换向量；接着，利用第一平衡系数对该忆变换向量进行第五乘积处理，并且，利用第二平衡系数对该对象变换向量进行第六乘积处理；基于第五乘积结果和第六乘积结果，确定上述第一记忆隐向量。需说明，对第一变换、第二变换、第一平衡系数和第二平衡系数的描述，可以参见前述实施例中的相关描述，不作赘述。此外，在一个实施例中，可以求取第五乘积结果和第六乘积结果的和向量或均值向量，作为上述第一记忆隐向量。
在一个示例中，可以通过以下公式计算出上述第一记忆隐向量：
Figure GDA0003920970930000141
其中，l表示本隐层的层数；v表示上述第一记忆节点的节点编号；
Figure GDA0003920970930000142
表示本隐层输出的第一记忆隐向量；λ表示第一平衡系数；W(l)表示第l层的线性变换矩阵；
Figure GDA0003920970930000143
表示第l-1个隐层针对第一记忆节点输出的隐向量；
Figure GDA0003920970930000144
表示第二平衡系数；v表示多个对象节点组成的节点集合；σ(l)(·)表示第l层中的激活函数；
Figure GDA0003920970930000145
表示第l-1个隐层针对第j个对象节点输出的隐向量。
由上，可以基于改进的GCN实现上述图嵌入处理。
以上，在步骤S231，利用图神经网络包含的L个隐层对上述扩张关系网络图进行处理，并将第L个隐层输出的第一对象隐向量作为上述第一对象节点的对象节点嵌入向量。
然后，在步骤S232，根据上述对象节点嵌入向量以及上述第一对象节点对应的业务标签，对上述图神经网络进行本轮更新。在一个实施例中，可以将该对象节点嵌入向量输入业务预测网络中，得到业务预测结果，再根据该业务预测结果和业务标签，训练上述图神经网络。
在一个实施例中，上述业务预测网络可以用于执行节点分类任务或链路预测任务等。在一个具体的实施例中，在节点分类场景下，上述业务标签为第一对象节点的类别标签，此时，可以将第一对象节点对应的对象节点嵌入向量输入分类网络中，得到分类预测结果。在一个例子中，第一对象节点属于用户节点，类别标签可以是用户风险标签(如高风险、中风险和低风险)，业务预测网络可以实现为多层感知机或逻辑回归网络。在另一个具体的实施例中，在链路预测场景下，上述业务标签为第一对象节点和第二对象节点共有，此时，可以将第一对象节点和第二对象节点对应的两个对象节点嵌入向量输入链路预测网络，得到链路预测结果。需理解，第二对象节点的对象节点嵌入向量的确定，可以参照确定第一对象节点的对象节点嵌入向量的方式实现，不作赘述。在一个例子中，第一对象节点和第二对象节点分别属于用户节点和商品节点，业务标签指示第一对象节点对应的用户是否对第二对象节点对应的商品进行点击或购买，上述链路预测结果可以是点击概率。
另一方面，在一个实施例中，在链路预测场景下，上述业务标签为第一对象节点和第二对象节点共有，此时，可以求取第一对象节点和第二对象节点对应的两个对象节点嵌入向量之间的相似度，作为业务预测结果，再基于该预测结果和业务标签，更新图神经网络中的网络参数。在一个具体的实施例中，可以计算该两个对象节点嵌入向量之间的点积，再利用sigmoid函数对该点积的结果进行归一化，得到上述相似度，作为业务预测结果。
进一步，在得到业务预测结果后，结合业务标签训练上述图神经网络可以包括：利用业务预测结果和业务标签，确定业务预测损失；基于该业务预测损失，利用反向传播法训练上述图神经网络，并且，在用到业务预测网络时，也对该业务预测网络进行训练。
通过执行步骤S231和步骤S232，可以实现多轮迭代训练中的任一轮训练，进而将最后一轮训练得到的图神经网络作为最终使用的图神经网络，用于执行多种多样的业务预测任务。因利用图神经网络得到的节点嵌入向量的表征能力增强，相应的业务预测任务的执行效果也会得到优化。
综上，采用本说明书描述的图神经网络的训练方法，在原始关系网络图中增加与各个原始节点连接的记忆节点，使得在多阶(L阶)聚合中，原始节点能够间接实现从所有节点中抽取有效信息，从而提高节点嵌入表达的准确度，同时，多阶聚合的阶数只需大于1即可，不会给内存和计算带来负担。
与上述训练方法相对应地，本说明书实施例还披露训练装置。图3示出根据一个实施例的图神经网络的训练装置结构图，如图3所示，所述装置300包括：
原始图获取单元310，配置为获取原始关系网络图，其中包括对应多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的原始连接边。图改造单元320，配置为在所述原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个对象节点之间建立新增连接边，得到扩张关系网络图。迭代更新单元330，配置为基于所述扩张关系网络图，对图神经网络进行多轮迭代更新；其中任一轮迭代更新基于以下模块实现：图嵌入模块331，配置为利用所述图神经网络对所述扩张关系网络图进行图嵌入处理，在所述图神经网络所包含L个隐层中的任一隐层，获取上一隐层针对第一对象节点、其若干邻居对象节点和若干记忆节点输出的隐向量，对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，将第L个隐层输出的第一对象隐向量作为所述第一对象节点的对象节点嵌入向量；其中，L为大于1的整数；更新模块332，配置为根据所述对象节点嵌入向量以及所述第一对象节点对应的业务标签，对所述图神经网络进行本轮更新。
在一个实施例中，所述图嵌入模块331还配置为，在前L-1个隐层中的任一隐层，还获取上一隐层针对其他对象节点输出的隐向量，并对任一的第一记忆节点和所述多个对象节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量。
在一个实施例中，所述图嵌入模块331配置为对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，具体包括：针对所述第一对象节点、若干邻居对象节点和若干记忆节点中的各个节点，基于该各个节点和第一对象节点的隐向量，确定该各个节点对应的初始注意力分数；利用第一平衡系数，对于第一对象节点和若干邻居对象节点的初始注意力分数进行第一乘积处理，得到对应节点数的第一注意力分数；利用第二平衡系数，对若干记忆力节点的初始注意力分数进行第二乘积处理，得到对应节点数的第二注意力分数；基于所述第一注意力分数和第二注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一对象隐向量。
在一个具体的实施例中，所述原始连接边具有原始权重；所述图改造单元320还配置为：将所述新增连接边的权重设定为预定数值；其中，所述第一乘积处理还涉及利用所述原始权重，所述第二乘积处理还涉及利用所述预定数值。
在一个实施例中，所述所述图嵌入模块331配置为对任一的第一记忆节点和所述多个对象节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，具体包括：针对所述第一记忆节点和多个对象节点中的各个节点，基于该各个节点和第一记忆节点的隐向量，确定该各个节点对应的注意力分数；基于所述注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一记忆隐向量。
在一个实施例中，所述图嵌入模块331配置为对获取的隐向量进行聚合，得到本隐层输出的第一对象隐向量，具体包括：针对所述第一对象节点和若干邻居对象节点中的各个对象节点，对其所对应的隐向量进行第一变换，得到对应对象节点数的对象变换向量；针对所述若干记忆节点中的各个记忆节点，对其所对应的隐向量进行第二变换，得到对应记忆节点数的记忆变换向量；利用第一平衡系数对所述对象变换向量进行第三乘积处理，并且，利用第二平衡系数对所述记忆变换向量进行第四乘积处理；基于第三乘积结果和第四乘积结果，确定所述第一对象隐向量。
在一个具体的实施例中，所述原始连接边具有原始权重；其中，所述图改造单元320还配置为：将所述新增连接边的权重设定为预定数值；其中，所述第三乘积处理还涉及利用所述原始权重，所述第四乘积处理还涉及利用所述预定数值。
在一个实施例中，所述图嵌入模块331配置为对任一的第一记忆节点和所述多个对象节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，具体包括：针对所述多个对象节点中的各个对象节点，对其所对应的隐向量进行第一变换，得到对应对象节点数的对象变换向量；针对所述第一记忆节点，对其所对应的隐向量进行第二变换，得到记忆变换向量；利用第一平衡系数对所述记忆变换向量进行第五乘积处理，并且，利用第二平衡系数对所述对象变换向量进行第六乘积处理；基于第五乘积结果和第六乘积结果，确定所述第一记忆隐向量。
在一个实施例中，所述更新模块332具体配置为：将对象节点嵌入向量输入业务预测网络，得到业务预测结果；利用所述业务预测结果和所述业务标签，对所述图神经网络和业务预测网络进行训练。
在一个实施例中，所述多个业务对象涉及以下中的至少一种：用户、商户、商品、终端设备；所述业务预测网络用于输出针对业务对象的分类或回归值。
综上，采用本说明书描述的图神经网络的训练装置，在原始关系网络图中增加与各个原始节点连接的记忆节点，使得在多阶(L阶)聚合中，原始节点能够间接实现从所有节点中抽取有效信息，从而提高节点嵌入表达的准确度，同时，多阶聚合的阶数只需大于1即可，不会给内存和计算带来负担。
如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2所描述的方法。
根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (20)

1.一种图神经网络的训练方法，包括：
获取原始关系网络图，其中包括多个用户节点，以及用户节点之间存在关联关系而形成的原始连接边，所述关联关系包括社交关系和/或交易关系；
在所述原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个用户节点之间建立新增连接边，得到扩张关系网络图；
基于所述扩张关系网络图，对图神经网络进行多轮迭代更新，其中任一轮迭代更新包括：
利用所述图神经网络对所述扩张关系网络图进行图嵌入处理，在所述图神经网络所包含L个隐层中的任一隐层，获取上一隐层针对第一用户节点、其若干邻居用户节点和若干记忆节点输出的隐向量，对获取的隐向量进行聚合，得到本隐层输出的第一用户隐向量，将第L个隐层输出的第一用户隐向量作为所述第一用户节点的用户节点嵌入向量；其中，L为大于1的整数；其中，在所述任一隐层为第1个隐层的情况下，所述获取的隐向量为对应节点根据其自身特征确定的初始节点特征向量，所述若干记忆节点中各个记忆节点的节点特征为空或者为所述多个用户节点的初始特征向量的平均向量；
将所述用户节点嵌入向量输入业务预测网络，得到业务预测结果；利用所述业务预测结果以及所述第一用户节点对应的业务标签，对所述图神经网络和业务预测网络进行本轮更新，所述业务标签为用户风险类别标签，所述业务预测网络为用户风险分类网络。
2.根据权利要求1所述的方法，其中，在前L-1个隐层中的任一隐层，还获取上一隐层针对其他用户节点输出的隐向量，并对任一的第一记忆节点和所述多个用户节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量。
3.根据权利要求1所述的方法，其中，对获取的隐向量进行聚合，得到本隐层输出的第一用户隐向量，包括：
针对所述第一用户节点、若干邻居用户节点和若干记忆节点中的各个节点，基于该各个节点和第一用户节点的隐向量，确定该各个节点对应的初始注意力分数；
利用第一平衡系数，对于第一用户节点和若干邻居用户节点的初始注意力分数进行第一乘积处理，得到对应节点数的第一注意力分数；
利用第二平衡系数，对若干记忆力节点的初始注意力分数进行第二乘积处理，得到对应节点数的第二注意力分数；
基于所述第一注意力分数和第二注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；
利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一用户隐向量。
4.根据权利要求3所述的方法，其中，所述原始连接边具有原始权重；
其中，得到扩张关系网络图，还包括：将所述新增连接边的权重设定为预定数值；
其中，所述第一乘积处理还涉及利用所述原始权重，所述第二乘积处理还涉及利用所述预定数值。
5.根据权利要求2所述的方法，其中，对任一的第一记忆节点和所述多个用户节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，包括：
针对所述第一记忆节点和多个用户节点中的各个节点，基于该各个节点和第一记忆节点的隐向量，确定该各个节点对应的注意力分数；
基于所述注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；
利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一记忆隐向量。
6.根据权利要求1所述的方法，其中，对获取的隐向量进行聚合，得到本隐层输出的第一用户隐向量，包括：
针对所述第一用户节点和若干邻居用户节点中的各个用户节点，对其所对应的隐向量进行第一变换，得到对应用户节点数的用户变换向量；
针对所述若干记忆节点中的各个记忆节点，对其所对应的隐向量进行第二变换，得到对应记忆节点数的记忆变换向量；
利用第一平衡系数对所述用户变换向量进行第三乘积处理，并且，利用第二平衡系数对所述记忆变换向量进行第四乘积处理；
基于第三乘积结果和第四乘积结果，确定所述第一用户隐向量。
7.根据权利要求6所述的方法，其中，所述原始连接边具有原始权重；
其中，得到扩张关系网络图，还包括：将所述新增连接边的权重设定为预定数值；
其中，所述第三乘积处理还涉及利用所述原始权重，所述第四乘积处理还涉及利用所述预定数值。
8.根据权利要求2所述的方法，其中，对任一的第一记忆节点和所述多个用户节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，包括：
针对所述多个用户节点中的各个用户节点，对其所对应的隐向量进行第一变换，得到对应用户节点数的用户变换向量；
针对所述第一记忆节点，对其所对应的隐向量进行第二变换，得到记忆变换向量；
利用第一平衡系数对所述记忆变换向量进行第五乘积处理，并且，利用第二平衡系数对所述用户变换向量进行第六乘积处理；
基于第五乘积结果和第六乘积结果，确定所述第一记忆隐向量。
9.根据权利要求1所述的方法，其中，所述业务预测网络用于输出针对用户的分类或回归值。
10.一种图神经网络的训练装置，包括：
原始图获取单元，配置为获取原始关系网络图，其中包括多个用户节点，以及用户节点之间存在关联关系而形成的原始连接边，所述关联关系包括社交关系和/或交易关系；
图改造单元，配置为在所述原始关系网络图中添加若干记忆节点，并在每个记忆节点和每个用户节点之间建立新增连接边，得到扩张关系网络图；
迭代更新单元，配置为基于所述扩张关系网络图，对图神经网络进行多轮迭代更新；其中任一轮迭代更新基于以下模块实现：
图嵌入模块，配置为利用所述图神经网络对所述扩张关系网络图进行图嵌入处理，在所述图神经网络所包含L个隐层中的任一隐层，获取上一隐层针对第一用户节点、其若干邻居用户节点和若干记忆节点输出的隐向量，对获取的隐向量进行聚合，得到本隐层输出的第一用户隐向量，将第L个隐层输出的第一用户隐向量作为所述第一用户节点的用户节点嵌入向量；其中，L为大于1的整数；其中，在所述任一隐层为第1个隐层的情况下，所述获取的隐向量为对应节点根据其自身特征确定的初始节点特征向量，所述若干记忆节点中各个记忆节点的节点特征为空或者为所述多个用户节点的初始特征向量的平均向量；
更新模块，配置为将所述用户节点嵌入向量输入业务预测网络，得到业务预测结果；利用所述业务预测结果以及所述第一用户节点对应的业务标签，对所述图神经网络和业务预测网络进行本轮更新，所述业务标签为用户风险类别标签，所述业务预测网络为用户风险分类网络。
11.根据权利要求10所述的装置，其中，所述图嵌入模块还配置为，在前L-1个隐层中的任一隐层，还获取上一隐层针对其他用户节点输出的隐向量，并对任一的第一记忆节点和所述多个用户节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量。
12.根据权利要求10所述的装置，其中，所述图嵌入模块配置为对获取的隐向量进行聚合，得到本隐层输出的第一用户隐向量，具体包括：
针对所述第一用户节点、若干邻居用户节点和若干记忆节点中的各个节点，基于该各个节点和第一用户节点的隐向量，确定该各个节点对应的初始注意力分数；
利用第一平衡系数，对于第一用户节点和若干邻居用户节点的初始注意力分数进行第一乘积处理，得到对应节点数的第一注意力分数；
利用第二平衡系数，对若干记忆力节点的初始注意力分数进行第二乘积处理，得到对应节点数的第二注意力分数；
基于所述第一注意力分数和第二注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；
利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一用户隐向量。
13.根据权利要求12所述的装置，其中，所述原始连接边具有原始权重；
其中，所述图改造单元还配置为：将所述新增连接边的权重设定为预定数值；
其中，所述第一乘积处理还涉及利用所述原始权重，所述第二乘积处理还涉及利用所述预定数值。
14.根据权利要求11所述的装置，其中，所述图嵌入模块配置为对任一的第一记忆节点和所述多个用户节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，具体包括：
针对所述第一记忆节点和多个用户节点中的各个节点，基于该各个节点和第一记忆节点的隐向量，确定该各个节点对应的注意力分数；
基于所述注意力分数进行归一化处理，得到所述各个节点对应的注意力权重；
利用所述注意力权重，对该各个节点的隐向量进行加权处理，得到所述第一记忆隐向量。
15.根据权利要求10所述的装置，其中，所述图嵌入模块配置为对获取的隐向量进行聚合，得到本隐层输出的第一用户隐向量，具体包括：
针对所述第一用户节点和若干邻居用户节点中的各个用户节点，对其所对应的隐向量进行第一变换，得到对应用户节点数的用户变换向量；
针对所述若干记忆节点中的各个记忆节点，对其所对应的隐向量进行第二变换，得到对应记忆节点数的记忆变换向量；
利用第一平衡系数对所述用户变换向量进行第三乘积处理，并且，利用第二平衡系数对所述记忆变换向量进行第四乘积处理；
基于第三乘积结果和第四乘积结果，确定所述第一用户隐向量。
16.根据权利要求15所述的装置，其中，所述原始连接边具有原始权重；
其中，所述图改造单元还配置为：将所述新增连接边的权重设定为预定数值；
其中，所述第三乘积处理还涉及利用所述原始权重，所述第四乘积处理还涉及利用所述预定数值。
17.根据权利要求11所述的装置，其中，所述图嵌入模块配置为对任一的第一记忆节点和所述多个用户节点的隐向量进行聚合，得到本隐层输出的第一记忆隐向量，具体包括：
针对所述多个用户节点中的各个用户节点，对其所对应的隐向量进行第一变换，得到对应用户节点数的用户变换向量；
针对所述第一记忆节点，对其所对应的隐向量进行第二变换，得到记忆变换向量；
利用第一平衡系数对所述记忆变换向量进行第五乘积处理，并且，利用第二平衡系数对所述用户变换向量进行第六乘积处理；
基于第五乘积结果和第六乘积结果，确定所述第一记忆隐向量。
18.根据权利要求10所述的装置，其中，所述业务预测网络用于输出针对用户的分类或回归值。
19.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-9中任一项的所述的方法。
20.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-9中任一项所述的方法。
CN202011409587.3A 2020-12-06 2020-12-06 图神经网络的训练方法及装置 Active CN112541575B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011409587.3A CN112541575B (zh) 2020-12-06 2020-12-06 图神经网络的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011409587.3A CN112541575B (zh) 2020-12-06 2020-12-06 图神经网络的训练方法及装置

Publications (2)

Publication Number Publication Date
CN112541575A CN112541575A (zh) 2021-03-23
CN112541575B true CN112541575B (zh) 2023-03-10

Family

ID=75016016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011409587.3A Active CN112541575B (zh) 2020-12-06 2020-12-06 图神经网络的训练方法及装置

Country Status (1)

Country Link
CN (1) CN112541575B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113361658B (zh) * 2021-07-15 2022-06-14 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备
CN113538126A (zh) * 2021-07-16 2021-10-22 中国工商银行股份有限公司 基于gcn的欺诈风险预测方法及装置
CN115909419A (zh) * 2021-09-29 2023-04-04 腾讯科技（深圳）有限公司 图数据处理方法、装置、计算机设备及存储介质
CN114399027A (zh) * 2022-01-04 2022-04-26 支付宝(杭州)信息技术有限公司 利用神经网络进行序列处理的方法及序列处理的装置
CN116664292B (zh) * 2023-04-13 2024-05-28 连连银通电子支付有限公司 一种交易异常预测模型的训练方法和交易异常预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110889493A (zh) * 2019-11-26 2020-03-17 支付宝(杭州)信息技术有限公司 针对关系网络添加扰动的方法及装置
CN111309983A (zh) * 2020-03-10 2020-06-19 支付宝(杭州)信息技术有限公司 基于异构图进行业务处理的方法及装置
CN111681059A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 行为预测模型的训练方法及装置
CN111783748A (zh) * 2020-08-12 2020-10-16 汉王科技股份有限公司 人脸识别方法、装置、电子设备及存储介质
CN111954889A (zh) * 2018-01-29 2020-11-17 埃美杰斯有限责任公司 用于促成基于情感状态的人工智能的系统和方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3938963A1 (en) * 2019-03-13 2022-01-19 DeepMind Technologies Limited Scheduling computation graphs using neural networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111954889A (zh) * 2018-01-29 2020-11-17 埃美杰斯有限责任公司 用于促成基于情感状态的人工智能的系统和方法
CN110889493A (zh) * 2019-11-26 2020-03-17 支付宝(杭州)信息技术有限公司 针对关系网络添加扰动的方法及装置
CN111309983A (zh) * 2020-03-10 2020-06-19 支付宝(杭州)信息技术有限公司 基于异构图进行业务处理的方法及装置
CN111783748A (zh) * 2020-08-12 2020-10-16 汉王科技股份有限公司 人脸识别方法、装置、电子设备及存储介质
CN111681059A (zh) * 2020-08-14 2020-09-18 支付宝(杭州)信息技术有限公司 行为预测模型的训练方法及装置

Also Published As

Publication number Publication date
CN112541575A (zh) 2021-03-23

Similar Documents

Publication Publication Date Title
CN112541575B (zh) 图神经网络的训练方法及装置
CN112766500B (zh) 图神经网络的训练方法及装置
CN112085172B (zh) 图神经网络的训练方法及装置
TWI709086B (zh) 用於分析關係網路圖的神經網路系統和方法
Darban et al. GHRS: Graph-based hybrid recommendation system with application to movie recommendation
CN110263227B (zh) 基于图神经网络的团伙发现方法和系统
WO2022063151A1 (en) Method and system for relation learning by multi-hop attention graph neural network
CN110032606B (zh) 一种样本聚类方法及装置
CN112364976B (zh) 基于会话推荐系统的用户偏好预测方法
Zhang et al. Pasca: A graph neural architecture search system under the scalable paradigm
US20140122506A1 (en) Machine optimization devices, methods, and systems
US20100169328A1 (en) Systems and methods for making recommendations using model-based collaborative filtering with user communities and items collections
US11227217B1 (en) Entity transaction attribute determination method and apparatus
CN112085615A (zh) 图神经网络的训练方法及装置
WO2022152161A1 (zh) 混合图神经网络模型的训练、预测
CN112989059A (zh) 潜在客户识别方法及装置、设备及可读计算机存储介质
US20230342606A1 (en) Training method and apparatus for graph neural network
CN113592593A (zh) 序列推荐模型的训练及应用方法、装置、设备及存储介质
CN113610610B (zh) 基于图神经网络和评论相似度的会话推荐方法和系统
CN110889493A (zh) 针对关系网络添加扰动的方法及装置
WO2023000165A1 (en) Method and apparatus for classifying nodes of a graph
Cao et al. Implicit user relationships across sessions enhanced graph for session-based recommendation
CN112950321A (zh) 一种物品推荐方法和装置
CN115618235A (zh) 一种推荐模型的训练方法及装置
CN114971742A (zh) 一种用户分类模型的训练、用户分类处理的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant