CN112085172A - 图神经网络的训练方法及装置 - Google Patents

图神经网络的训练方法及装置 Download PDF

Info

Publication number
CN112085172A
CN112085172A CN202010975525.2A CN202010975525A CN112085172A CN 112085172 A CN112085172 A CN 112085172A CN 202010975525 A CN202010975525 A CN 202010975525A CN 112085172 A CN112085172 A CN 112085172A
Authority
CN
China
Prior art keywords
node
sampling
nodes
neighbor nodes
neighbor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010975525.2A
Other languages
English (en)
Other versions
CN112085172B (zh
Inventor
吴郑伟
刘子奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202010975525.2A priority Critical patent/CN112085172B/zh
Publication of CN112085172A publication Critical patent/CN112085172A/zh
Application granted granted Critical
Publication of CN112085172B publication Critical patent/CN112085172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本说明书实施例提供一种图神经网络的训练方法，包括：获取关系网络图，其中各个对象节点对应采样概率集，包括针对其每个一阶邻居节点的采样概率；基于该关系网络图，对该图神经网络进行多轮迭代更新，其中任一轮包括：以本轮选取的第一标签节点为中心，进行M阶邻居节点采样，其中任意的第i阶邻居节点采样包括，针对已采样的第i‑1阶邻居节点中任意的第一节点，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点；基于采样到的M阶以内的邻居节点和该第一标签节点带有的第一业务标签，对该图神经网络进行本轮更新；利用更新后图神经网络确定若干邻居节点对应的若干训练反馈，进而更新第一节点的当前采样概率集。

Description

图神经网络的训练方法及装置
技术领域
本说明书实施例涉及计算机技术领域，尤其涉及一种图神经网络的训练方法及装置。
背景技术
关系网络图是对现实世界中实体之间的关系的描述，目前广泛地应用于各种计算机信息处理中。一般地，关系网络图包含节点集合和边集合，节点表示现实世界中的实体，边表示现实世界中实体之间的联系。例如，在社交网络中，人就是实体，人和人之间的关系或联系就是边。
在很多情况下，希望对关系网络图中的节点、边等的拓扑特性进行分析，从中提取出有效信息，实现这类过程的计算方法称为图计算。典型地，希望将关系网络图中的每个节点(实体)用相同维度的向量来表示，也就是生成针对每个节点的节点向量。如此，生成的节点向量可以应用于计算节点和节点之间的相似度，发现图中的社团结构，预测未来可能形成的边联系，以及对图进行可视化等。
节点向量的生成方法已成为图计算的基础算法。根据一种方案，可以利用图神经网络(GraphNeural Networks，简称GNN)，生成关系网络图中节点的节点向量。通常，图神经网络在确定某个节点的嵌入表达时需要使用它多阶邻居的信息，但是，随着阶数的增加，邻居数量会指数级上升，这对于计算资源和内存使用都会带来很大的负担。比如推荐中常见的用户-商品二部图，如果一个用户看过一些热门商品，其二阶邻居就会几乎覆盖整个用户群体。
因此，需要一种改进的方案，可以使得在利用图神经网络确定节点嵌入表达的过程中，可以有效降低内存和计算资源的消耗，同时，保证节点嵌入表达具有较高的准确度。
发明内容
在本说明书描述的图神经网络的训练方法及装置中，基于动态更新的采样概率对邻居节点进行采样，进而基于采样邻居节点构造训练样本，训练图神经网络，实现在保证节点嵌入表达准确性的同时，有效降低内存占用量和计算消耗。
根据第一方面，提供一种图神经网络的训练方法，包括:
获取关系网络图，其中包括对应于多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的连接边；该多个对象节点中包括带有业务标签的多个标签节点；该多个对象节点各自对应采样概率集，其中包括对应对象节点针对其每个一阶邻居节点的采样概率；基于所述关系网络图，对所述图神经网络进行多轮迭代更新，其中任一轮迭代更新包括：以本轮选取的第一标签节点为中心，进行M阶邻居节点采样，其中任意的第i阶邻居节点采样包括，针对已采样的第i-1阶邻居节点中任意的第一节点，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点；基于采样到的M阶以内的邻居节点，确定所述第一标签节点的嵌入向量；根据所述嵌入向量以及所述第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新；针对所述任意的第一节点，利用本轮更新后的图神经网络，得到其采样的若干邻居节点所对应的若干节点嵌入向量；确定所述若干邻居节点所对应的若干训练反馈，其中各个训练反馈与对应节点的节点嵌入向量的范数正相关，且与对应节点的当前采样概率负相关；基于所述若干训练反馈，更新所述第一节点对应的当前采样概率集。
在一个实施例中，其中，所述多个业务对象归属以下中的至少一类：用户、商户、商品、服务、事件。
在一个实施例中，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点，包括：基于其当前采样概率集合，对其一阶邻居节点全集进行无放回采样，得到所述若干邻居节点，归入第i阶邻居节点。
在一个实施例中，根据所述嵌入向量以及所述第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新，包括：将所述嵌入向量输入针对业务对象的业务预测模型中，得到对应的业务预测结果；基于所述业务预测结果和所述第一业务标签，训练所述图神经网络和业务预测模型。
在一个具体的实施例中，所述业务预测模型用于预测业务对象的分类值或回归值。
在一个实施例中，所述多个对象节点还各自对应采样权重集，其中包括对应对象节点针对其每个一阶邻居节点的采样权重；其中，基于所述若干节点嵌入向量，更新所述第一节点对应的当前采样概率集，包括：针对所述第一节点的当前采样权重集，对其中对应若干邻居节点的采样权重进行更新，其中各个更新后的采样权重与对应节点的更新前采样权重和训练反馈正相关；基于更新后的当前采样权重集，更新所述当前采样概率集，其中各个更新后的采样概率正相关于对应节点的采样权重。
在一个具体的实施例中，所述各个更新后的采样权重还与所述一阶邻居节点全集中节点的总数负相关。
在一个具体的实施例中，基于更新后的当前采样权重集，更新所述当前采样概率集，包括：针对所述一阶邻居节点全集中的各个节点，确定其当前采样权重与所述当前采样权重集中权重的和值之间的比值，并确定与该比值正相关的更新后采样权重。
根据第二方面，提供一种图神经网络的训练装置，包括:
关系图获取单元，配置为获取关系网络图，其中包括对应于多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的连接边；该多个对象节点中包括带有业务标签的多个标签节点；该多个对象节点各自对应采样概率集，其中包括对应对象节点针对其每个一阶邻居节点的采样概率；迭代更新单元，配置为基于所述关系网络图，对所述图神经网络进行多轮迭代更新，其中任一轮迭代更新通过以下模块实现：邻居采样模块，配置为以本轮选取的第一标签节点为中心，进行M阶邻居节点采样，其中任意的第i阶邻居节点采样包括，针对已采样的第i-1阶邻居节点中任意的第一节点，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点；标签节点嵌入模块，配置为基于采样到的M阶以内的邻居节点，确定所述第一标签节点的嵌入向量；图神经网络更新模块，配置为根据所述嵌入向量以及所述第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新；邻居节点嵌入模块，配置为针对所述任意的第一节点，利用本轮更新后的图神经网络，得到其采样的若干邻居节点所对应的若干节点嵌入向量；训练反馈确定模块，配置为确定所述若干邻居节点所对应的若干训练反馈，其中各个训练反馈与对应节点的节点嵌入向量的范数正相关，且与对应节点的当前采样概率负相关；概率更新模块，配置为基于所述若干训练反馈，更新所述第一节点对应的当前采样概率集。
在一个实施例中，所述多个业务对象归属以下中的至少一类：用户、商户、商品、服务、事件。
在一个实施例中，所述邻居采样模块具体配置为：基于其当前采样概率集合，对其一阶邻居节点全集进行无放回采样，得到所述若干邻居节点，归入第i阶邻居节点。
在一个实施例中，所述图神经网络更新模块具体配置为：将所述嵌入向量输入针对业务对象的业务预测模型中，得到对应的业务预测结果；基于所述业务预测结果和所述第一业务标签，训练所述图神经网络和业务预测模型。
在一个具体的实施例中，所述业务预测模型用于预测业务对象的分类值或回归值。
在一个实施例中，所述多个对象节点还各自对应采样权重集，其中包括对应对象节点针对其每个一阶邻居节点的采样权重；其中概率更新模块具体配置为：针对所述第一节点的当前采样权重集，对其中对应若干邻居节点的采样权重进行更新，其中各个更新后的采样权重与对应节点的更新前采样权重和训练反馈正相关；基于更新后的当前采样权重集，更新所述当前采样概率集，其中各个更新后的采样概率正相关于对应节点的采样权重。
在一个具体的实施例中，所述各个更新后的采样权重还与所述一阶邻居节点全集中节点的总数负相关。
在另一个具体的实施例中，概率更新模块还具体配置为：针对所述一阶邻居节点全集中的各个节点，确定其当前采样权重与所述当前采样权重集中权重的和值之间的比值，并确定与该比值正相关的更新后采样权重。
根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所描述的方法。
根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所描述的方法。
在本说明书实施例披露的图神经网络的训练方法及装置中，基于动态更新的采样概率对邻居节点进行采样，进而基于采样邻居节点构造训练样本，训练图神经网络，可以实现在保证节点嵌入表达准确性的同时，有效降低内存占用量和计算消耗。
附图说明
为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出根据一个实施例的关系网络图的示意图；
图2示出根据一个实施例的图神经网络的训练算法框架图；
图3示出根据一个实施例的图神经网络的训练方法流程图；
图4示出根据一个实施例的无放回采样用到的区间划分示意图；
图5示出根据一个实施例的样本生成过程中的邻居节点采样示意图；
图6示出根据一个实施例的图神经网络的训练装置架构图。
具体实施方式
下面结合附图，对本说明书披露的多个实施例进行描述。
如前所述，关系网络图可以抽象为包括节点集合和边集合，其中节点表示现实世界中的实体，边表示实体之间的关联关系。图1示出关系网络图的示意图，其中以用户为节点进行示例。如图所示，具有关联关系的用户之间通过边进行连接。
在利用图神经网络模型(或称图神经网络、GNN网络、GNN模型)计算关系网络图中某个节点的嵌入表达(或称嵌入向量)时，该某个节点的邻居节点数量，会随着阶数(或称层数、跳数)的增加指数级上升。
为了解决节点数量膨胀的问题，在一种实施方式中，可以从上述某个节点出发，或者说以上述某个节点为中心，随机采样一部分邻居节点，这样每个节点的子图大小就会控制在一个可以接受的水平。但是，由于是随机采样，节点的邻居信息一直在变化，这会导致模型收敛速度变慢。另一方面，由于每次计算不能使用全量邻居信息，也会导致节点表达的准确度和可用性有限，例如，不够稳定或准确度不够高。
基于以上考量，发明人提出一种图神经网络训练方法，可以加速模型收敛速度，同时保证经由训练后的模型生成的节点嵌入向量具有足够高的准确度和可用性。根据一个实施例，图2中示出图神经网络的训练算法框架，在任一轮迭代更新中，首先根据当前采样概率生成本轮训练样本，之后在生成的训练样本上训练图神经网络，再根据本轮训练后的图神经网络更新当前采样概率。如此循环往复，直到模型收敛或者达到指定的训练迭代次数。
以下结合具体的实施例，描述上述训练方法的具体实施步骤。图3示出根据一个实施例的图神经网络的训练方法流程图，所述方法的执行主体可以为任何具有计算、处理能力的平台或服务器或设备集群等。
如图3所示，所述方法包括以下步骤：
步骤S310，获取关系网络图，其中包括对应于多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的连接边；并且，该多个对象节点中包括带有业务标签的多个标签节点。
在一个实施例中，上述关系网络图可以为同质图，即上述多个业务对象可以归属同一类别，如用户、商户、商品、服务或事件(如登录事件、页面访问事件、交易事件等)。在另一个实施例中，上述关系网络图可以为异质图，即上述多个业务对象中包括归属不同类别的业务对象。另一方面，在一个实施例中，对于标签对象或者说标签节点所携带的标签，可以是各个标签节点对应各自的业务标签，也可以是若干标签节点共同对应一个业务标签。
根据一个具体的实施例，获取的关系网络图可以为同质的用户关系网络，其中用户节点之间存在的关联关系可以包括以下中的一种或多种：社交关系、亲属关系、交易关系等；其中，在一个示例中，若两个用户有共同关注对象(例如微博账号共同关注了同一人)，或他们之间有来往联系，或加入了共同群组(例如QQ群，微信群等)，或在红包、彩票等活动中有互动，则可以认为这两个用户之间存在社交关系；在一个示例中，若两个用户在支付平台开通了亲密付功能，或者手机号归属于同一个亲情号组合，则可以认为这两个用户之间存在亲属关系；在一个示例中，若两个用户之间发生过转账或拼购等交易事件，则可以认为这两个用户之间存在交易关系；其中多个用户节点中的标签节点所带有的业务标签可以是风险类别标签，如高风险、中风险和低风险，或者，如欺诈用户和非欺诈用户。
根据另一个具体的实施例，获取的关系网络图可以是用户-商品二部图；需理解，其中的商品可以是广义上的商品，包括电子商品(如电子书、应用APP等)和实体商品(如服装、食物等)；二部图中用户节点和商品节点之间存在的关联关系可以是交互关系，例如，用户被推送某商品，用户点击某商品的推广链接，用户购买某商品等；关于业务标签，在一个示例中，其中的部分或全部用户节点携带用户类别标签，如高消费人群、低消人群等；在另一个示例中，其中某用户节点和某商品节点共同对应一个行为类别标签，该标签指示对应用户是否会对商品做出预设行为(或称特定行为)，如，购买行为、使用行为、点击行为、下载行为等。
以上对获取的关系网络图和其中标签节点带有的业务标签进行介绍。
此外，上述多个对象节点还各自对应采样概率集，换言之，对象节点和采样概率集之间存在一一对应的映射关系，并且，采样概率集中包括对应对象节点针对其每个一阶邻居节点的采样概率。在一个例子中，用下表1示意某个对象节点与其全量(或称所有、全部)的一阶邻居节点之间采样概率映射关系，其中全量的一阶邻居节点组成一阶邻居节点全集。
表1
邻居节点A<sub>1</sub> 邻居节点A<sub>2</sub> ... 邻居节点A<sub>k</sub>
采样概率 p<sub>1</sub> p<sub>2</sub> ... p<sub>k</sub>
表1中示出节点A在对其一阶邻居节点全集(含K个元素)进行采样时的采样概率。
需要说明，各个对象节点对应的采样概率集在后续步骤中会动态更新，其初始值可以通过多种方式确定。比如，将采样概率集中各个采样概率初始化为1/K(其在K为采样概率集中的概率总个数)；又比如，以使得采样概率集对应的概率和值为1的前提，对其在各个采样概率进行随机初始化。
以上对获取的关系网络图、标签节点对应的业务标签、各个对象节点对应的采样概率集进行介绍。
接着，在步骤S320，基于上述关系网络图，对上述图神经网络和采样概率集进行多轮迭代更新。需要说明，其中图神经网络可以是图卷积神经网络。其中任一轮迭代更新包括以下步骤S321至步骤S326，需说明，最后一轮迭代更新可以只包括步骤S321和步骤S322。
在步骤S321，以本轮选取的第一标签节点为中心，进行M(M∈N+)阶邻居节点采样，其中任意的第i(i≤M，i∈N+)阶邻居节点采样包括，针对已采样的第i-1阶邻居节点中任意的第一节点，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点。
需说明，在每轮迭代中，可以从上述多个标签节点中选取批次数量(batch size)的标签节点，作为根节点，进行M阶邻居节点采样，进而构建批次数量的训练样本，作为本轮训练样本，用于本轮更新。为便于描述，将本轮选取的批次标签节点中任意的一个标签节点，称为第一标签节点。需理解，M为正整数，其数值可以根据实际需要设定，例如，设定为2或3等。
对于M阶邻居节点采样，在一个实施例中，第一标签节点具有自环边，其中自环边是指从节点自身出发，再指向节点自身的连接边，如此，在进行第1阶邻居节点采样时，可能会采到第一标签节点自身，在进行第2阶邻居节点采样时，若已采样的第1阶邻居节点中包括第一标签节点，可以将其进行剔除，再进行采样，以增加节点采样的感受野，或者，也可以不进行剔出。在另一个实施例中，第一标签节点不具有自环边。
另一方面，在一个实施例中，针对上述第一节点，从其一阶邻居节点全集中采样的邻居节点数量可以是预设的，如q个，在采样时，若判断出可采的邻居节点数，也就是一阶邻居节点全集中元素数量，小于或等于q，则可以直接采样一阶邻居节点全集中的全部邻居节点。
在一个实施例中，针对上述第一节点，从其一阶邻居节点全集中采样若干邻居节点所采用的方式，可以是无放回采样。在一个具体的实施例中，可以根据采样概率集中的K个数值，对应生成K个取值区间(无交叠)，需理解，采样概率越大，对应生成的取值区间的区间长度越大，基于此，在进行无放回采样的过程中，先生成一个可能落入K个取值区间的随机数，再将对应落入的第一取值区间所对应的邻居节点，归入上述若干邻居节点，接着，将已落入的取值区间从K个取值区间中刨除，生成一个可能落入剩余K-1个取值区间的随机数，再将对应落入的第二取值区间所对应的邻居节点，归入上述若干邻居节点，依次类推，直至采样到预定数量的q个邻居节点(是指若干邻居节点为q个)。在另一个具体的实施例中，在采样第1个邻居节点后，也可以将其对应的采样概率从采样概率集中暂时剔除，并根据剩余的采样概率重新生成取值区间，具体为K-1个，再采样第2个邻居节点，直至采样到预定数量的q个邻居节点。
在一个更具体的实施例中，可以根据总的区间长度1，生成K个取值区间，其中，邻居节点Au对应的取值区间可以是
Figure BDA0002685642720000101
其中ps是一阶邻居节点全集中的第u个邻居节点Au对应的采样概率。在一个例子中，可参见图4示出的坐标轴，其中包括取值区间(0，p1]、(p1，p1+p2]等。
在另一个实施例中，针对上述第一节点，从其一阶邻居节点全集中采样若干邻居节点所采用的方式，可以借鉴强化学习中常用的贪心-探索的平衡策略，具体地，先基于当前采样概率集对全量一阶邻居节点进行排序，对其中排在前t(＜q)位的邻居节点进行采样，再对排在t位以后的邻居节点进行随机采样，采样q-t个邻居节点，由此采到预定数量的q个邻居节点。
较直观地，图5示出根据一个实施例的样本生成过程中的邻居节点采样示意图，其中以M＝2为示例，从根节点出发，从其全量一阶邻居节点中采样部分节点，作为第1阶采样邻居点(或称已采样的第1阶节点)，接着，基于第1阶采样邻居点中的各个节点，分别进行邻居节点采样，得到第2阶采样邻居点。进一步，在一个具体的实施例中，还可以对节点之间的连接边进行采样，具体地，可以直接将第i阶节点与其采样的邻居节点之间的连接边作为采样到的边。
由上，可以实现针对第一标签节点的邻居节点采样，采到M阶以内的邻居节点。接着，在步骤S322，基于采样到的M阶以内的邻居节点，确定所述第一标签节点的嵌入向量。在一个实施例中，可以将M阶以内的邻居节点中各节点的节点特征输入图神经网络，得到第一标签节点的嵌入向量。根据一个具体的实施例，图神经网络可以利用其中各节点的节点特征，进行多级特征聚合，得到该嵌入向量。在一个示例中，其中多级特征聚合可以通过下式(1)的迭代计算而实现：
Figure BDA0002685642720000111
其中，
Figure BDA0002685642720000112
为第一标签节点(或称节点c)在第l层的嵌入向量，一共L层，其中L可以取2或其他整数值；W(l)和b(l)是第l层中的模型参数；σ是激活函数，可以选择sigmoid，tanh等函数；Nc表示节点c的一阶邻居节点全集，v∈Nc表示节点v是节点c的一阶采样邻居。需要理解，
Figure BDA0002685642720000113
表示节点v的初始特征向量，对应节点v自身的原始特征，随着L层网络的逐层迭代，针对节点c采样到的M层以内的邻居节点的特征会被逐层引入。
在另一个实施例中，可以将M阶以内的邻居节点中各节点的节点特征，以及采样到的连接边的边特征(如边权重等)，输入图神经网络，从而得到第一标签节点的嵌入向量。
以上，可以得到第一标签节点的嵌入向量，然后，在步骤S323，根据该嵌入向量以及第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新。
在一个实施例中，可以将第一标签节点的嵌入向量输入针对业务对象的业务预测模型中，得到对应的业务预测结果；然后，基于该业务预测结果和第一业务标签，训练图神经网络和业务预测模型。
对于其中的业务预测模型，需理解，业务预测模型所执行的预测任务是与业务对象、业务标签相对应的，例如，若业务标签为风险类别标签，则可以将对应的业务预测模型称为风险分类模型或风险评估模型，或者，若针对的业务对象是用户，则可以将对应的业务预测模型称为用户分类模型。在一个具体的实施例中，其中业务预测模型用于预测业务对象的分类值或回归值。在一个具体的实施例中，其中业务预测模型可以实现为支持向量机、逻辑回归模型、深度神经网络模型等。
对于图神经网络和业务预测模型的训练，在一个具体的实施例中，可以基于业务预测结果和第一业务标签，确定业务预测损失，再基于业务预测损失，采用反向传播法，对图神经网络和业务预测模型进行调参。在一个更具体的实施例中，其中业务预测损失可以采用交叉熵损失函数，或者铰链损失函数等进行计算而得到。
需说明，上述第一业务标签，可以仅对应第一标签节点，还可以对应其他节点，也就是说，同一业务标签可以对应一个或一个以上的标签节点。在一个实施例中，在商品推荐场景下，关系网络图可以是用户-商品二部图，业务标签是二分类标签，包括1(指示推荐、或用户对商品感兴趣等)和0(指示不推荐、或用户对商品不感兴趣等)，假定第一业务标签同时对应第一用户节点和第一商品节点(此时，第一标签节点可以是其中的第一用户节点或第一商品节点)，则可以将针对第一用户节点采样的M阶以内的邻居节点中各节点的特征输入图神经网络，得到第一用户嵌入向量，并且，将针对第一商品节点采样的M阶以内的邻居节点中各节点的特征输入图神经网络，得到第一商品嵌入向量。在一个示例中，用户节点对应的用户特征可以包括用户画像特征，如性别、年龄、职业、兴趣爱好等；还可以包括用户行为特征，如APP等登录频次、交易频次、交易金额等。在另一个示例中，商品节点对应的商品特征可以包括商品类别(如水果、零食等)、商品金额、商品产地等。
进一步地，在得到第一用户嵌入向量和第一商品嵌入向量后，在一个具体的实施例中，计算第一用户嵌入向量和第一商品嵌入向量的相似度，并基于该相似度和第一业务标签，训练图神经网络。对于其中相似度的计算，在一个示例中，可以计算第一用户嵌入向量和第一商品嵌入向量的点乘结果，再将其输入sigmoid函数，并将得到的数值作为相似度；在另一个示例中，可以计算第一用户嵌入向量和第一商品嵌入向量的余弦相似度。
在另一个具体的实施例中，可以对第一用户嵌入向量和第一商品嵌入向量进行拼接，并将拼接后得到的向量输入分类网络，得到分类预测结果，再基于该分类预测结果和第一业务标签，训练图神经网络和分类网络。
由上，可以实现对图神经网络的本轮更新。
然后，利用本轮更新后的图神经网络，确定本轮更新的训练反馈，进而根据训练反馈更新上述第一节点的当前采样概率集，具体通过步骤S324至步骤S325实现。
在步骤S324，针对上述任意的第一节点，利用本轮更新后的图神经网络，得到其采样的若干邻居节点所对应的若干节点嵌入向量。需说明，确定邻居节点的节点嵌入向量的方式，可以参见确定第一标签节点的嵌入向量的方式，不作赘述。
接着在步骤S325，确定所述若干邻居节点所对应的若干训练反馈。需说明，引入训练反馈的目的在于，加快模型训练收敛速度。在一种实施方式中，可以通过预先模拟计算：在不同更新轮次中采样到的邻居节点的嵌入向量的方差，并以使得该方差尽可能的小为求解目标，确定训练反馈的计算式，由此，发明人发现，训练反馈与对应节点的嵌入向量的范数正相关，与对应节点的当前采样概率(本轮更新前的采样概率)负相关。在一个实施例中，其中范数可以是任意阶数的范数，如一阶范数、二阶范数等。
根据一个具体的实施例，以t表示本轮迭代的轮次，节点j(用于指代任意的第一节点)采样它的一阶邻居节点v得到的训练反馈可以通过下式计算：
Figure BDA0002685642720000131
其中，hv是节点v的节点嵌入向量，||hv||2是向量hv的2-范数的平方，qjv(t)是节点j采样邻居节点v的当前采样概率。
如此，可以确定出若干训练反馈，然后，在步骤S326，基于所述若干训练反馈，更新所述第一节点对应的当前采样概率集。
在一个实施例中，可以基于若干训练反馈，先对第一节点对应的当前采样权重集进行本轮更新，再更新第一节点对应的当前采样概率集。
具体地，上述关系网络图中的多个对象节点还各自对应采样权重集，其中包括对应对象节点针对其每个一阶邻居节点的采样权重。在一个例子中，用下表2示意某个对象节点与其全量一阶邻居节点之间的采样概率映射关系和采样权重映射关系。
表2
邻居节点A<sub>1</sub> 邻居节点A<sub>2</sub> ... 邻居节点A<sub>k</sub>
采样概率 p<sub>1</sub> p<sub>2</sub> ... p<sub>k</sub>
采样权重 w<sub>1</sub> w<sub>2</sub> ... w<sub>k</sub>
表2中示出节点A在对其一阶邻居节点全集(含K个元素)进行采样时的采样概率和采样权重。
在一个具体的实施例中，采样权重的初始值可以通过多种方式确定。在一个例子中，可以将采样权重集中各个采样权重初始化为1。在另一个例子中，可以将采样权重集中各个采样权重随机初始化为区间(0，1]内的数值。
在本步骤中，针对第一节点对应的当前采样权重集，对其中对应上述若干邻居节点(第一节点的一阶采样邻居节点)的采样权重进行更新，其中各个更新后的采样权重与对应节点的更新前采样权重和训练反馈正相关。在一个具体的实施例中，其中各个更新后的采样权重还与第一节点的一阶邻居节点全集中节点的总数负相关。在一个例子中，若干邻居节点中任意邻居节点的本轮更新后采样权重可以通过下式计算：
wjv(t)＝wjv(t-1)exp(δrjv(t)/|Nj|) (3)
其中，wjv(t-1)是本轮更新前，节点j采样节点v的当前采样权重；wjv(t)是节点j采样节点v的本轮更新后的当前采样权重；|Nj|表示节点j的一阶邻居节点全集的节点个数；δ为超参，例如，可以设定为0.001。需要理解，wjv(0)表示采样权重的初始化数值。
由上可知，采样权重集中，只有本轮采样节点的权重会被更新，其余未采样节点的权重不会被更新。
进一步地，在得到更新后的采样权重集后，可以对采样概率集中的全部采样概率进行更新。具体地，基于更新后的当前采样权重集，更新第一节点的当前采样概率集，其中各个更新后的采样概率正相关于对应邻居节点的采样权重。
在一个具体的实施例中，可以基于各个采样权重和采样权重集对应的权重和值之间的比值，确定更新后的当前采样概率。在一个例子中，可以直接将各个当前采样概率更新为，对应邻居节点的当前采样权重和当前采样权重集中各权重的和值之间的比值。在另一个例子中，可以通过下式确定更新后的当前采样概率：
Figure BDA0002685642720000151
其中，Fj表示节点j的一阶邻居节点全集，wju(t)节点j采样节点u的本轮更新后权重(被采则有更新，未被采则无更新)；η为超参，可被设定为区间[0,1)中的某一数值，如0.4。
在另一个实施例中，本步骤还可以实施为，基于采样的若干邻居节点对应的若干训练反馈，对该若干邻居节点的采样概率进行更新，一阶邻居节点全集中其余节点的采样概率不更新。在一个具体的实施例中，确定若干邻居节点对应的若干当前采样概率的概率和值，基于若干训练反馈确定各个邻居节点对应的反馈占比，再基于该反馈占比和概率和值得乘积，得到若干邻居节点对应的若干更新后的当前采样概率。
由上，可以实现对当前采样概率集的更新。
综上，采用本说明书实施例披露的图神经网络的训练方法，基于动态更新的采样概率对邻居节点进行采样，进而基于采样邻居节点构造训练样本，训练图神经网络，可以实现在保证节点嵌入表达准确性的同时，有效降低内存占用量和计算消耗。
与上述训练方法相对应地，本说明书实施例还披露一种训练装置。具体地，图6示出根据一个实施例的图神经网络的训练装置架构图，该装置可以实现为任何具有计算、处理能力的服务器、设备集群等。如图6所示，所述装置600包括：
关系图获取单元610，配置为获取关系网络图，其中包括对应于多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的连接边；该多个对象节点中包括带有业务标签的多个标签节点；该多个对象节点各自对应采样概率集，其中包括对应对象节点针对其每个一阶邻居节点的采样概率。
迭代更新单元620，配置为基于所述关系网络图，对所述图神经网络进行多轮迭代更新，其中任一轮迭代更新通过以下模块实现：
邻居采样模块621，配置为以本轮选取的第一标签节点为中心，进行M阶邻居节点采样，其中任意的第i阶邻居节点采样包括，针对已采样的第i-1阶邻居节点中任意的第一节点，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点；标签节点嵌入模块622，配置为基于采样到的M阶以内的邻居节点，确定所述第一标签节点的嵌入向量；图神经网络更新模块623，配置为根据所述嵌入向量以及所述第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新；邻居节点嵌入模块624，配置为针对所述任意的第一节点，利用本轮更新后的图神经网络，得到其采样的若干邻居节点所对应的若干节点嵌入向量；训练反馈确定模块625，配置为确定所述若干邻居节点所对应的若干训练反馈，其中各个训练反馈与对应节点的节点嵌入向量的范数正相关，且与对应节点的当前采样概率负相关；概率更新模块626，配置为基于所述若干训练反馈，更新所述第一节点对应的当前采样概率集。
在一个实施例中，所述多个业务对象归属以下中的至少一类：用户、商户、商品、服务、事件。
在一个实施例中，所述邻居采样模块621具体配置为：基于其当前采样概率集合，对其一阶邻居节点全集进行无放回采样，得到所述若干邻居节点，归入第i阶邻居节点。
在一个实施例中，所述图神经网络更新模块623具体配置为：将所述嵌入向量输入针对业务对象的业务预测模型中，得到对应的业务预测结果；基于所述业务预测结果和所述第一业务标签，训练所述图神经网络和业务预测模型。
在一个具体的实施例中，所述业务预测模型用于预测业务对象的分类值或回归值。
在一个具体的实施例中，所述多个对象节点还各自对应采样权重集，其中包括对应对象节点针对其每个一阶邻居节点的采样权重；其中概率更新模块626具体配置为：针对所述第一节点的当前采样权重集，对其中对应若干邻居节点的采样权重进行更新，其中各个更新后的采样权重与对应节点的更新前采样权重和训练反馈正相关；基于更新后的当前采样权重集，更新所述当前采样概率集，其中各个更新后的采样概率正相关于对应节点的采样权重。
在一个更具体的实施例中，所述各个更新后的采样权重还与所述一阶邻居节点全集中节点的总数负相关。
在另一个更具体的实施例中，概率更新模块626还具体配置为：针对所述一阶邻居节点全集中的各个节点，确定其当前采样权重与所述当前采样权重集中权重的和值之间的比值，并确定与该比值正相关的更新后采样权重。
综上，采用本说明书实施例披露的图神经网络的训练装置，基于动态更新的采样概率对邻居节点进行采样，进而基于采样邻居节点构造训练样本，训练图神经网络，可以实现在保证节点嵌入表达准确性的同时，有效降低内存占用量和计算消耗。
如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3所描述的方法。
根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3所描述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (18)

1.一种图神经网络的训练方法，包括:
获取关系网络图，其中包括对应于多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的连接边；该多个对象节点中包括带有业务标签的多个标签节点；该多个对象节点各自对应采样概率集，其中包括对应对象节点针对其每个一阶邻居节点的采样概率；
基于所述关系网络图，对所述图神经网络进行多轮迭代更新，其中任一轮迭代更新包括：
以本轮选取的第一标签节点为中心，进行M阶邻居节点采样，其中任意的第i阶邻居节点采样包括，针对已采样的第i-1阶邻居节点中任意的第一节点，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点；
基于采样到的M阶以内的邻居节点，确定所述第一标签节点的嵌入向量；
根据所述嵌入向量以及所述第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新；
针对所述任意的第一节点，利用本轮更新后的图神经网络，得到其采样的若干邻居节点所对应的若干节点嵌入向量；
确定所述若干邻居节点所对应的若干训练反馈，其中各个训练反馈与对应节点的节点嵌入向量的范数正相关，且与对应节点的当前采样概率负相关；
基于所述若干训练反馈，更新所述第一节点对应的当前采样概率集。
2.根据权利要求1所述的方法，其中，所述多个业务对象归属以下中的至少一类：用户、商户、商品、服务、事件。
3.根据权利要求1所述的方法，其中，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点，包括：
基于其当前采样概率集合，对其一阶邻居节点全集进行无放回采样，得到所述若干邻居节点，归入第i阶邻居节点。
4.根据权利要求1所述的方法，其中，根据所述嵌入向量以及所述第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新，包括：
将所述嵌入向量输入针对业务对象的业务预测模型中，得到对应的业务预测结果；
基于所述业务预测结果和所述第一业务标签，训练所述图神经网络和业务预测模型。
5.根据权利要求4所述的方法，所述业务预测模型用于预测业务对象的分类值或回归值。
6.根据权利要求1所述的方法，其中，所述多个对象节点还各自对应采样权重集，其中包括对应对象节点针对其每个一阶邻居节点的采样权重；其中，基于所述若干训练反馈，更新所述第一节点对应的当前采样概率集，包括：
针对所述第一节点的当前采样权重集，对其中对应若干邻居节点的采样权重进行更新，其中各个更新后的采样权重与对应节点的更新前采样权重和训练反馈正相关；
基于更新后的当前采样权重集，更新所述当前采样概率集，其中各个更新后的采样概率正相关于对应节点的采样权重。
7.根据权利要求6所述的方法，其中，所述各个更新后的采样权重还与所述一阶邻居节点全集中节点的总数负相关。
8.根据权利要求6所述的方法，其中，基于更新后的当前采样权重集，更新所述当前采样概率集，包括：
针对所述一阶邻居节点全集中的各个节点，确定其当前采样权重与所述当前采样权重集中权重的和值之间的比值，并确定与该比值正相关的更新后采样权重。
9.一种图神经网络的训练装置，包括:
关系图获取单元，配置为获取关系网络图，其中包括对应于多个业务对象的多个对象节点，以及对象节点之间存在关联关系而形成的连接边；该多个对象节点中包括带有业务标签的多个标签节点；该多个对象节点各自对应采样概率集，其中包括对应对象节点针对其每个一阶邻居节点的采样概率；
迭代更新单元，配置为基于所述关系网络图，对所述图神经网络进行多轮迭代更新，其中任一轮迭代更新通过以下模块实现：
邻居采样模块，配置为以本轮选取的第一标签节点为中心，进行M阶邻居节点采样，其中任意的第i阶邻居节点采样包括，针对已采样的第i-1阶邻居节点中任意的第一节点，基于其当前采样概率集，从其一阶邻居节点全集中采样若干邻居节点归入第i阶邻居节点；
标签节点嵌入模块，配置为基于采样到的M阶以内的邻居节点，确定所述第一标签节点的嵌入向量；
图神经网络更新模块，配置为根据所述嵌入向量以及所述第一标签节点带有的第一业务标签，对所述图神经网络进行本轮更新；
邻居节点嵌入模块，配置为针对所述任意的第一节点，利用本轮更新后的图神经网络，得到其采样的若干邻居节点所对应的若干节点嵌入向量；
训练反馈确定模块，配置为确定所述若干邻居节点所对应的若干训练反馈，其中各个训练反馈与对应节点的节点嵌入向量的范数正相关，且与对应节点的当前采样概率负相关；
概率更新模块，配置为基于所述若干训练反馈，更新所述第一节点对应的当前采样概率集。
10.根据权利要求9所述的装置，其中，所述多个业务对象归属以下中的至少一类：用户、商户、商品、服务、事件。
11.根据权利要求9所述的装置，其中，所述邻居采样模块具体配置为：
基于其当前采样概率集合，对其一阶邻居节点全集进行无放回采样，得到所述若干邻居节点，归入第i阶邻居节点。
12.根据权利要求9所述的装置，其中，所述图神经网络更新模块具体配置为：
将所述嵌入向量输入针对业务对象的业务预测模型中，得到对应的业务预测结果；
基于所述业务预测结果和所述第一业务标签，训练所述图神经网络和业务预测模型。
13.根据权利要求12所述的装置，所述业务预测模型用于预测业务对象的分类值或回归值。
14.根据权利要求9所述的装置，其中，所述多个对象节点还各自对应采样权重集，其中包括对应对象节点针对其每个一阶邻居节点的采样权重；其中概率更新模块具体配置为：
针对所述第一节点的当前采样权重集，对其中对应若干邻居节点的采样权重进行更新，其中各个更新后的采样权重与对应节点的更新前采样权重和训练反馈正相关；
基于更新后的当前采样权重集，更新所述当前采样概率集，其中各个更新后的采样概率正相关于对应节点的采样权重。
15.根据权利要求14所述的装置，其中，所述各个更新后的采样权重还与所述一阶邻居节点全集中节点的总数负相关。
16.根据权利要求14所述的装置，其中，概率更新模块还具体配置为：
针对所述一阶邻居节点全集中的各个节点，确定其当前采样权重与所述当前采样权重集中权重的和值之间的比值，并确定与该比值正相关的更新后采样权重。
17.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8中任一项的所述的方法。
18.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-8中任一项所述的方法。
CN202010975525.2A 2020-09-16 2020-09-16 图神经网络的训练方法及装置 Active CN112085172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010975525.2A CN112085172B (zh) 2020-09-16 2020-09-16 图神经网络的训练方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010975525.2A CN112085172B (zh) 2020-09-16 2020-09-16 图神经网络的训练方法及装置

Publications (2)

Publication Number Publication Date
CN112085172A true CN112085172A (zh) 2020-12-15
CN112085172B CN112085172B (zh) 2022-09-16

Family

ID=73736486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010975525.2A Active CN112085172B (zh) 2020-09-16 2020-09-16 图神经网络的训练方法及装置

Country Status (1)

Country Link
CN (1) CN112085172B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112396477A (zh) * 2020-12-29 2021-02-23 支付宝(杭州)信息技术有限公司 业务预测模型的构建方法及装置
CN112464292A (zh) * 2021-01-27 2021-03-09 支付宝(杭州)信息技术有限公司 基于隐私保护训练图神经网络的方法及装置
CN112766500A (zh) * 2021-02-07 2021-05-07 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN112765373A (zh) * 2021-01-29 2021-05-07 北京达佳互联信息技术有限公司 资源推荐方法、装置、电子设备和存储介质
CN113240089A (zh) * 2021-05-20 2021-08-10 北京百度网讯科技有限公司 基于图检索引擎的图神经网络模型训练方法和装置
WO2022133725A1 (en) * 2020-12-22 2022-06-30 Orange Improved distributed training of graph-embedding neural networks
CN115081024A (zh) * 2022-08-16 2022-09-20 杭州金智塔科技有限公司 基于隐私保护的去中心化业务模型训练方法及装置
CN115801549A (zh) * 2023-01-28 2023-03-14 中国人民解放军国防科技大学 基于关键节点识别的自适应网络恢复方法、装置及设备
CN115809699A (zh) * 2023-02-03 2023-03-17 之江实验室 神经网络模型推理所需最小内存占用量的估计方法和装置
WO2023051080A1 (zh) * 2021-09-29 2023-04-06 腾讯科技（深圳）有限公司 图数据处理方法、装置、计算机设备、存储介质及计算机程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109614975A (zh) * 2018-10-26 2019-04-12 桂林电子科技大学 一种图嵌入方法、装置及存储介质
CN109918454A (zh) * 2019-02-22 2019-06-21 阿里巴巴集团控股有限公司 对关系网络图进行节点嵌入的方法及装置
CN110782044A (zh) * 2019-10-29 2020-02-11 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
US20200137083A1 (en) * 2018-10-24 2020-04-30 Nec Laboratories America, Inc. Unknown malicious program behavior detection using a graph neural network
CN111291138A (zh) * 2020-02-21 2020-06-16 支付宝(杭州)信息技术有限公司 更新关系网络的方法及装置
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200137083A1 (en) * 2018-10-24 2020-04-30 Nec Laboratories America, Inc. Unknown malicious program behavior detection using a graph neural network
CN109614975A (zh) * 2018-10-26 2019-04-12 桂林电子科技大学 一种图嵌入方法、装置及存储介质
CN109918454A (zh) * 2019-02-22 2019-06-21 阿里巴巴集团控股有限公司 对关系网络图进行节点嵌入的方法及装置
CN110782044A (zh) * 2019-10-29 2020-02-11 支付宝(杭州)信息技术有限公司 多方联合训练图神经网络的方法及装置
CN111291138A (zh) * 2020-02-21 2020-06-16 支付宝(杭州)信息技术有限公司 更新关系网络的方法及装置
CN111400560A (zh) * 2020-03-10 2020-07-10 支付宝(杭州)信息技术有限公司 一种基于异构图神经网络模型进行预测的方法和系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022133725A1 (en) * 2020-12-22 2022-06-30 Orange Improved distributed training of graph-embedding neural networks
CN112396477A (zh) * 2020-12-29 2021-02-23 支付宝(杭州)信息技术有限公司 业务预测模型的构建方法及装置
CN113536383A (zh) * 2021-01-27 2021-10-22 支付宝(杭州)信息技术有限公司 基于隐私保护训练图神经网络的方法及装置
CN112464292A (zh) * 2021-01-27 2021-03-09 支付宝(杭州)信息技术有限公司 基于隐私保护训练图神经网络的方法及装置
CN113536383B (zh) * 2021-01-27 2023-10-27 支付宝(杭州)信息技术有限公司 基于隐私保护训练图神经网络的方法及装置
CN112464292B (zh) * 2021-01-27 2021-08-20 支付宝(杭州)信息技术有限公司 基于隐私保护训练图神经网络的方法及装置
CN112765373A (zh) * 2021-01-29 2021-05-07 北京达佳互联信息技术有限公司 资源推荐方法、装置、电子设备和存储介质
CN112766500B (zh) * 2021-02-07 2022-05-17 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN112766500A (zh) * 2021-02-07 2021-05-07 支付宝(杭州)信息技术有限公司 图神经网络的训练方法及装置
CN113240089A (zh) * 2021-05-20 2021-08-10 北京百度网讯科技有限公司 基于图检索引擎的图神经网络模型训练方法和装置
WO2023051080A1 (zh) * 2021-09-29 2023-04-06 腾讯科技（深圳）有限公司 图数据处理方法、装置、计算机设备、存储介质及计算机程序产品
CN115081024A (zh) * 2022-08-16 2022-09-20 杭州金智塔科技有限公司 基于隐私保护的去中心化业务模型训练方法及装置
CN115801549A (zh) * 2023-01-28 2023-03-14 中国人民解放军国防科技大学 基于关键节点识别的自适应网络恢复方法、装置及设备
CN115801549B (zh) * 2023-01-28 2023-06-16 中国人民解放军国防科技大学 基于关键节点识别的自适应网络恢复方法、装置及设备
CN115809699A (zh) * 2023-02-03 2023-03-17 之江实验室 神经网络模型推理所需最小内存占用量的估计方法和装置

Also Published As

Publication number Publication date
CN112085172B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN112085172B (zh) 图神经网络的训练方法及装置
US11531867B2 (en) User behavior prediction method and apparatus, and behavior prediction model training method and apparatus
CN112085615A (zh) 图神经网络的训练方法及装置
US11315032B2 (en) Method and system for recommending content items to a user based on tensor factorization
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
US9536201B2 (en) Identifying associations in data and performing data analysis using a normalized highest mutual information score
US20230102337A1 (en) Method and apparatus for training recommendation model, computer device, and storage medium
US11227217B1 (en) Entity transaction attribute determination method and apparatus
CN112541575B (zh) 图神经网络的训练方法及装置
CN110008973B (zh) 一种模型训练方法、基于模型确定目标用户的方法及装置
WO2023065859A1 (zh) 物品推荐方法、装置及存储介质
US10909145B2 (en) Techniques for determining whether to associate new user information with an existing user
CN113763095B (zh) 信息推荐方法、装置和模型训练方法、装置
CN113609345B (zh) 目标对象关联方法和装置、计算设备以及存储介质
CN112070542A (zh) 信息转化率预测方法、装置、设备及可读存储介质
CN110929172A (zh) 信息选择方法、装置、电子设备及可读存储介质
US20230230081A1 (en) Account identification method, apparatus, electronic device and computer readable medium
CN111159481A (zh) 图数据的边预测方法、装置及终端设备
CN118043802A (zh) 一种推荐模型训练方法及装置
US20220027722A1 (en) Deep Relational Factorization Machine Techniques for Content Usage Prediction via Multiple Interaction Types
CN114119123A (zh) 信息推送的方法和装置
CN113837843B (zh) 产品推荐方法、装置、介质及电子设备
CN115456708A (zh) 推荐模型的训练方法、装置、电子设备和存储介质
CN112036418A (zh) 用于提取用户特征的方法和装置
CN117035873B (zh) 少样本广告多任务联合预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant