CN115409180A - 一种分布式图推理计算方法、装置、终端及存储介质 - Google Patents

一种分布式图推理计算方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN115409180A
CN115409180A CN202210921276.8A CN202210921276A CN115409180A CN 115409180 A CN115409180 A CN 115409180A CN 202210921276 A CN202210921276 A CN 202210921276A CN 115409180 A CN115409180 A CN 115409180A
Authority
CN
China
Prior art keywords
graph
degree
points
model
distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210921276.8A
Other languages
English (en)
Inventor
余跃
徐春香
潘泽婷
刘敏
闫超
邹安平
李革
杨建坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peng Cheng Laboratory
Original Assignee
Peng Cheng Laboratory
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peng Cheng Laboratory filed Critical Peng Cheng Laboratory
Priority to CN202210921276.8A priority Critical patent/CN115409180A/zh
Publication of CN115409180A publication Critical patent/CN115409180A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种分布式图推理计算方法、装置、终端及存储介质，方法包括：对图数据进行预处理，得到图数据所构造的全图，并更新全图上的基础信息；对全图中所有点的hop值进行初始化处理，分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征；将所获取的二度子图特征输入至已训练的GNN编码器模型中，并输出得到对应的嵌入向量；根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将邮件信息发送至对应边的目的点；通过已训练的GNN解码器模型对全图特征进行解码，根据各边目的点上的邮件信息输出全图特征的逻辑推理结果。本发明解决了现有的图神经网络模型无法适应实时性要求高的场景的技术问题。

Description

一种分布式图推理计算方法、装置、终端及存储介质
技术领域
本发明涉及图推理计算技术领域，尤其涉及的是一种分布式图推理计算方法、装置、终端及存储介质。
背景技术
图可以有效地表达对象和对象之间的关系，图神经网络的出现使得深度学习技术可以应用于图领域。
现有的图神经网络模型的获取周期长，需要经过数据清洗、模型训练、参数调优等步骤。对于实时性要求非常高的场景，长周期会带来很多潜在风险。此外，图数据的庞大导致单机往往无法承载过大的数据量和计算量，分布式图计算成为一种主流趋势。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种分布式图推理计算方法、装置、终端及存储介质，以解决现有的图神经网络模型无法适应实时性要求高的场景的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种分布式图推理计算方法，包括：
获取图数据，对所述图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息；
对所述全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征；
将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量；
根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点；
通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
在一种实现方式中，所述基础信息包括边、点以及时间戳；
所述对图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息，包括：
从所述图数据中获得新产生的图事件e；
将所述图事件e关联的点和边分别加入对应的分布式弹性数据集中；
采用预设分区策略对所述图事件e关联的边进行分区；
根据所述分布式弹性数据集构建得到所述全图；
确定所述全图中的重复边，对所述重复边进行合并，并更新合并后边所对应的端点的时间戳。
在一种实现方式中，所述采用预设分区策略对所述图事件e关联的边进行分区，包括：
判断所述图事件e关联的边中两条边的起始点和目的点是否均相同；
若所述两条边的起始点和目的点均相同，则将所述两条边放入同一分区中。
在一种实现方式中，所述确定全图中的重复边，对所述重复边进行合并，并更新合并后边所对应的端点的时间戳，包括：
确定所述全图中重复边；其中，所述重复边为起始点与目的点均相同的边；
根据时间戳的大小对所述重复边进行合并，保留时间戳最大的边；
更新合并边涉及的两个端点的时间戳，以将所述两个端点的时间戳更新为时间戳最大边所对应的时间戳。
在一种实现方式中，所述对全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征，包括：
将所述全图中所有点的hop值初始化为2；
分别将起始点和目的点的hop值减1后发送至对应的一度邻居，并更新对应一度邻居的hop值；其中，所述一度邻居更新后的hop值为1；
将各一度邻居的hop值减1后发送至对应的二度邻居，并更新对应二度邻居的hop值；其中，所述二度邻居更新后的hop值为0；
将二度邻居、一度邻居以及目标点对应的特征进行合并，发送至起始点；
通过所述起始点将所有收到的特征进行整合，作为图事件e的二度子图特征。
在一种实现方式中，所述将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量，包括：
获取所述已训练的GNN编码器模型；
将所述已训练的GNN编码器模型的模型文件分布式存储在集群环境中；
在各起始点上调用对应的机器上的编码器模型，并将各起始点上存储的二度子图特征作为对应编码器模型的输入；
获得各起始点对应编码器模型输出的嵌入向量。
在一种实现方式中，所述获得各起始点对应编码器模型输出的嵌入向量，之后包括：
将所述嵌入向量以消息的形式发送给所述二度子图中的其余所有点；
根据所述消息中的特征数值更新所述二度子图中其余所有点的属性信息。
在一种实现方式中，所述根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点，包括：
沿着所述二度子图中的每一条边生成对应的邮件信息；
将所有生成的邮件信息沿着所属边发送至其目的点；
在收到邮件信息的点上，对所有的邮件信息进行求均值的操作；
将得到的均值加入至收到邮件信息的点的自身邮箱中。
在一种实现方式中，所述通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果，包括：
获取已训练的GNN解码器模型；
将所述已训练的GNN解码器模型的模型文件分布式存储在集群环境中；
通过所述已训练的GNN解码器模型对所述全图特征进行解码，动态调用对应机器上的模型副本；
将所述全图特征作为所述训练的GNN解码器模型的输入；
根据输入的解码任务，执行对应的解码过程；
根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
在一种实现方式中，所述根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果，之后包括：
将所述逻辑推理结果与图数据已有的标签进行对比，得到多任务下推理计算的准确率结果。
第二方面，本发明提供一种分布式图推理计算装置，包括：
构造模块，用于获取图数据，对所述图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息；
二度子图特征模块，用于对所述全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征；
GNN编码器模块，用于将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量；
邮箱模块，用于根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点；
GNN解码器模块，用于通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
第三方面，本发明提供一种终端，包括：处理器以及存储器，所述存储器存储有分布式图推理计算程序，所述分布式图推理计算程序被所述处理器执行时用于实现如第一方面所述的分布式图推理计算方法。
第四方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有分布式图推理计算程序，所述分布式图推理计算程序被处理器执行时用于实现如第一方面所述的分布式图推理计算方法。
本发明采用上述技术方案具有以下效果：
本发明在新的事件从数据源产生时，将事件影响范围控制在其二度子图中；并通过邮件传递机制使得全图中的每个点将维护一个指定容量的邮箱，使得收到邮件的点会将邮件发送者的点边特征信息存入邮箱中，下次推理时不需要重新收集历史特征数据，直接将已存储的信息数据输入到模型进行推理即可；本发明通过沿边传递消息的方式来减少模型的频繁调用次数，以及在执行计算的过程中将拆解成许多小任务，分配到若干工作节点上进行并行计算，优化执行顺序以最大化利用算力，提高了图神经网络模型的适应性及实时性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中分布式图推理计算方法的流程图。
图2是本发明的一种实现方式中分布式图推理计算框架的示意图。
图3是本发明的一种实现方式中终端的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
目前，图神经网络模型的获取周期长，需要经过数据清洗、模型训练、参数调优等步骤。对于实时性要求非常高的场景，长周期会带来很多潜在风险。
针对上述技术问题，本实施例中提供了一种分布式图推理计算方法，该方法提出的面向图神经网络模型的分布式图推理框架使得图神经网络模型可以运用到分布式环境中进行实时推理。该方法提出的二度子图模块和邮件传递机制额外引入图事件的邻域信息，从而可以提供更丰富的图特征，使得推理计算任务达到更好的效果并依然维持可观的时效性。
如图1所示，本发明实施例提供一种分布式图推理计算方法，包括以下步骤：
步骤S100，获取图数据，对所述图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息。
在本实施例中，所述分布式图推理计算方法通过分布式图推理框架实现，所述分布式图推理框架为面向图神经网络模型的分布式框架，且所述分布式图推理框架设置于终端上，所述终端包括但不限于：计算机以及移动终端等设备。
如图2所示，在本实施例中，所述分布式图推理框架主要包含五个模块，分别是增量构图模块、二度子图模块(2D-Subgraph)、GNN编码器模块、邮箱(mailbox)模块、GNN解码器模块。这些模块功能的功能概述如下：
(1)增量构图模块，对应图2中(a)～(b)。在图推理计算的过程中，当数据源有新事件e产生时，与该事件e相关的点和边将被加入历史图事件的弹性分布式数据集(RDD)中。并对于这些弹性分布式数据集(RDD)采取特定策略进行分区后，再使用它们进行增量构图，从而得到全图。
(2)二度子图(2D-Subgraph)模块，对应图2中的“Full Graph and2D-Subgraph”。得到全图后，将根据e更新部分点、边的基本属性，并计算出它的二度子图。
(3)GNN编码器模块，对应图2中(c)～(e)。加载训练好的GNN编码器(GNN Encoder)模型后，将二度子图模块收集的二度子图特征矩阵作为编码器模型的输入。
(4)邮箱(mailbox)模块，对应图2中(f)～(g)。结束GNN编码器模型的阶段后，该邮箱模块将沿二度子图中的每条边发送一封邮件，邮件的主要内容为点、边的当前特征和部分历史交互信息。收到邮件的点会将对其进行处理并加入到自身的邮箱中。
(5)GNN解码器模块，对应图2中(h)～(i)。该GNN解码器模块将对全图上的点、边特征进行解码，根据具体执行的任务(例如，LP/NC/EC任务)给出逻辑的推理结果并更新在全图上，最终可以计算出任务的准确率。
在本实施例中，在图神经网络模型的图推理计算的过程中，当新的事件从数据源产生时，其影响范围往往不止该边的起始点和目的点。本实施例中综合考虑推理性能和效果后，将事件影响范围控制在其二度子图中；通过对图数据进行预处理，得到图数据所构造的全图，并更新全图上的基础信息；其中，所述基础信息包括边、点以及时间戳。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，从所述图数据中获得新产生的图事件e；
步骤S102，将所述图事件e关联的点和边分别加入对应的分布式弹性数据集中；
步骤S103，采用预设分区策略对所述图事件e关联的边进行分区。
在本实施例中，首先，通过获取图数据，可以从所述图数据中获得新产生的图事件e；其中，新产生的图事件e包括：图事件e的起始点src、目的点dst、时间戳timestamp以及特征feat。
然后，将所述图事件e关联的点和边分别加入对应的分布式弹性数据集中，以将所述图事件e转换成点和边的分布式弹性数据集(RDD)；其中，对于所述图事件e关联的点，则加入分布式弹性数据集vRDD中；对于所述图事件e关联的边，则加入分布式弹性数据集eRDD中。
之后，可以采用EdgePartition2D策略(边分区策略)对边进行分区，得到不同分区的边。
进一步地，在本实施例的一种实现方式中，步骤S103包括以下步骤：
步骤S103a，判断所述图事件e关联的边中两条边的起始点和目的点是否均相同；
步骤S103b，若所述两条边的起始点和目的点均相同，则将所述两条边放入同一分区中。
在本实施例中，在分区的过程当中，在EdgePartition2D策略下，会判断所述图事件e关联的边中两条边的起始点和目的点是否均相同；只有两条边的src和dst均相同时，这两条边才会被放入同一个分区，否则放入不同的分区。
在得到不同分区的边后，即可根据点、边的分布式弹性数据集构建得到所述全图。
具体地，在本实施例的一种实现方式中，步骤S100还包括以下步骤：
步骤S104，根据所述分布式弹性数据集构建得到所述全图；
步骤S105，确定所述全图中的重复边，对所述重复边进行合并，并更新合并后边所对应的端点的时间戳。
在本实施例中，可以使用分布式弹性数据集vRDD和分布式弹性数据集eRDD构出全图，在构建全图的过程中，当全图中有重复的边时，对所重复边进行合并，并更新合并后边所对应的端点的时间戳，即可去掉全图中冗余的边。
进一步地，在本实施例的一种实现方式中，步骤S105包括以下步骤：
步骤S105a，确定所述全图中重复边；其中，所述重复边为起始点与目的点均相同的边；
步骤S105b，根据时间戳的大小对所述重复边进行合并，保留时间戳最大的边；
步骤S105c，更新合并边涉及的两个端点的时间戳，以将所述两个端点的时间戳更新为时间戳最大边所对应的时间戳。
在去重及更新的过程中，当全图中有重复的边时，即某些边的起始点src和目的点dst均相同，对这些边进行合并，合并时只保留时间戳最大的边；合并后，更新合并边涉及的两端点的时间戳，将这些点的最近更新时间更新为最大的边时间戳。
如图1所示，在本发明实施例的一种实现方式中，分布式图推理计算方法还包括以下步骤：
步骤S200，对所述全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征。
在本实施例中，提出了基于单点推理、消息传递、分布计算的方法，即只在单点调用模型，通过沿边传递消息的方式来减少模型的频繁调用次数，该方法下的若干计算在执行过程中将拆解成许多小任务，分配到若干工作节点上进行并行计算，并且还会优化执行顺序以最大化利用算力。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，将所述全图中所有点的hop值初始化为2；
步骤S202，分别将起始点和目的点的hop值减1后发送至对应的一度邻居，并更新对应一度邻居的hop值；其中，所述一度邻居更新后的hop值为1；
步骤S203，将各一度邻居的hop值减1后发送至对应的二度邻居，并更新对应二度邻居的hop值；其中，所述二度邻居更新后的hop值为0；
步骤S204，将二度邻居、一度邻居以及目标点对应的特征进行合并，发送至起始点；
步骤S205，通过所述起始点将所有收到的特征进行整合，作为图事件e的二度子图特征。
在本实施例中，将全图中所有点的hop值初始化为2后，图事件e的起始点src和目的点dst将自身的hop值减一发送给与它们直接相连的邻居，即一度邻居；一度邻居收到起始点src和目的点dst发送的hop消息后，使用其中的hop数值来更新自身的hop值。此时，一度邻居们的hop值均为1。
然后，一度邻居将自身的hop值减一发送给与它们直接相连的邻居(不包括起始点srd和目的点dst)，即二度邻居；二度邻居收到一度邻居发送的hop消息后，使用其中的hop数值来更新自身的hop值。此时，二度邻居们的hop值均为0。
最后，hop值为0的点将自身的点特征发送给hop值为1的点，hop值为1的点收到hop值为0的点发送的特征后，与自己的特征一起合并发送给hop值为2的点；目的点dst收到hop值为1的点发送的特征后，与自己的特征一起合并发送给起始点src，起始点src将所有收到的特征进行整合作为事件e的二度子图特征。
如图1所示，在本发明实施例的一种实现方式中，分布式图推理计算方法还包括以下步骤：
步骤S300，将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量。
在本实施例中，通过分布式的集群环境对二度子图特征进行编码，通过每台机器均保留模型的副本文件，输入点src上存储的二度子图特征，获得模型输出的嵌入向量embedding。
具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：
步骤S301，获取所述已训练的GNN编码器模型；
步骤S302，将所述已训练的GNN编码器模型的模型文件分布式存储在集群环境中；
步骤S303，在各起始点上调用对应的机器上的编码器模型，并将各起始点上存储的二度子图特征作为对应编码器模型的输入；
步骤S304，获得各起始点对应编码器模型输出的嵌入向量。
具体地，在本实施例的一种实现方式中，步骤S304之后还包括以下步骤：
步骤S305，将所述嵌入向量以消息的形式发送给所述二度子图中的其余所有点；
步骤S306，根据所述消息中的特征数值更新所述二度子图中其余所有点的属性信息。
在本实施例中，通过获得已经训练好的GNN编码器模型，将模型文件分布式存储在集群环境中，即每台机器均保留模型的副本文件；然后，在点src上调用src所在机器上的编码器模型，并将点src上存储的二度子图特征作为模型的输入，获得模型输出的嵌入向量embedding；最后，将嵌入向量embedding以消息的形式发送给二度子图中的所有点，收到嵌入向量embedding消息的点使用其中的特征数值完成自身点属性的更新。
如图1所示，在本发明实施例的一种实现方式中，分布式图推理计算方法还包括以下步骤：
步骤S400，根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点。
由于，数据源在不断产生新事件，框架中的构图过程也是增量的过程，因此，图结构变化的时序信息有重要价值。本实施例中通过采用邮件传递机制，使得全图中的每个点将维护一个指定容量的邮箱，每当新的事件边产生时，该事件边的起始点和目的点会向它们的邻居发送一封邮件。邮件的主要内容是点和边的特征信息等，收到邮件的点会将这些特征信息存入自身的邮箱中，待下次推理时不需要重新收集历史特征数据，直接将已存储的信息数据输入到模型，即可推理得到计算结果。
具体地，在本实施例的一种实现方式中，步骤S400包括以下步骤：
步骤S401，沿着所述二度子图中的每一条边生成对应的邮件信息；
步骤S402，将所有生成的邮件信息沿着所属边发送至其目的点；
步骤S403，在收到邮件信息的点上，对所有的邮件信息进行求均值的操作；
步骤S404，将得到的均值加入至收到邮件信息的点的自身邮箱中。
在本实施例中，通过邮件传递机制将历史事件带来的信息发送到点的邮箱中，以便后续推理计算时可以直接使用。
在发送邮件的过程，沿着二度子图中的每一条边生成一封邮件mail，其中邮件mail的计算公式如下，即起始点src、目的点dst和事件e的特征并拼接上时间嵌入和邮件mail位置嵌入。
mail＝(featsrc+featdst+feate).concat(time).concat(location)
在生成邮件后，将所有生成的邮件mail沿着所属边发送给边的目的点，收到邮件mail的目的点对所有的邮件mail进行求均值的操作；最后，目的点将邮件mail的均值加入自身的邮箱，如果邮箱中已有的邮件mail数量超过规定上限，则移除其中最老的邮件mail。
如图1所示，在本发明实施例的一种实现方式中，分布式图推理计算方法还包括以下步骤：
步骤S500，通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
在本实施例中，针对单机瓶颈问题，给出在分布式环境中可以有效进行图推理计算的解决方案。该方案可以给大型集群的工作模式提供参考，使得图推理计算可以更广泛地被应用到大型场景。
具体地，在本实施例的一种实现方式中，步骤S500包括以下步骤：
步骤S501，获取已训练的GNN解码器模型；
步骤S502，将所述已训练的GNN解码器模型的模型文件分布式存储在集群环境中；
步骤S503，通过所述已训练的GNN解码器模型对所述全图特征进行解码，动态调用对应机器上的模型副本；
步骤S504，将所述全图特征作为所述训练的GNN解码器模型的输入；
步骤S505，根据输入的解码任务，执行对应的解码过程；
步骤S506，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果；
步骤S507，将所述逻辑推理结果与图数据已有的标签进行对比，得到多任务下推理计算的准确率结果。
在本实施例中，在进行全图特征的推理计算的过程中，通过获得已经训练好的GNN解码器模型，将模型文件分布式存储在集群环境中，即每台机器均保留模型的副本文件，需要对全图特征进行解码时，动态调用机器上存储的模型副本，将图特征作为模型的输入。
进一步地，根据具体要执行的任务，包括链接预测(LP)、点分类(EC)、边分类(LC)，触发不同的解码过程，获得解码器模型输出后，将其作为逻辑推理结果，将逻辑推理结果与图数据已有的标签进行对比，可以得到多任务下推理计算的准确率结果。
本实施例通过上述技术方案达到以下技术效果：
本实施例在新的事件从数据源产生时，将事件影响范围控制在其二度子图中；并通过邮件传递机制使得全图中的每个点将维护一个指定容量的邮箱，使得收到邮件的点会将邮件发送者的点边特征信息存入邮箱中，下次推理时不需要重新收集历史特征数据，直接将已存储的信息数据输入到模型进行推理即可；本实施例通过沿边传递消息的方式来减少模型的频繁调用次数，以及在执行计算的过程中将拆解成许多小任务，分配到若干工作节点上进行并行计算，优化执行顺序以最大化利用算力，提高了图神经网络模型的适应性及实时性。
示例性设备
基于上述实施例，本发明还提供一种分布式图推理计算装置，包括：
构造模块，用于获取图数据，对所述图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息；
二度子图特征模块，用于对所述全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征；
GNN编码器模块，用于将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量；
邮箱模块，用于根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点；
GNN解码器模块，用于通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
基于上述实施例，本发明还提供一种终端，其原理框图可以如图3所示。
该终端包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，该终端的处理器用于提供计算和控制能力；该终端的存储器包括存储介质以及内存储器；该存储介质存储有操作系统和计算机程序；该内存储器为存储介质中的操作系统和计算机程序的运行提供环境；该接口用于连接外部设备，例如，移动终端以及计算机等设备；该显示屏用于显示相应的分布式图推理计算信息；该通讯模块用于与云端服务器或移动终端进行通讯。
该计算机程序被处理器执行时用以实现一种分布式图推理计算方法。
本领域技术人员可以理解的是，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的终端的限定，具体的终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种终端，其中，包括：处理器和存储器，存储器存储有分布式图推理计算程序，分布式图推理计算程序被处理器执行时用于实现如上的分布式图推理计算方法。
在一个实施例中，提供了一种存储介质，其中，存储介质存储有分布式图推理计算程序，分布式图推理计算程序被处理器执行时用于实现如上的分布式图推理计算方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种分布式图推理计算方法、装置、终端及存储介质，方法包括：对图数据进行预处理，得到图数据所构造的全图，并更新全图上的基础信息；对全图中所有点的hop值进行初始化处理，分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征；将所获取的二度子图特征输入至已训练的GNN编码器模型中，并输出得到对应的嵌入向量；根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将邮件信息发送至对应边的目的点；通过已训练的GNN解码器模型对全图特征进行解码，根据各边目的点上的邮件信息输出全图特征的逻辑推理结果。本发明解决了现有的图神经网络模型无法适应实时性要求高的场景的技术问题。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (13)

1.一种分布式图推理计算方法，其特征在于，所述分布式图推理计算方法包括：
获取图数据，对所述图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息；
对所述全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征；
将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量；
根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点；
通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
2.根据权利要求1所述的分布式图推理计算方法，其特征在于，所述基础信息包括边、点以及时间戳；
所述对图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息，包括：
从所述图数据中获得新产生的图事件e；
将所述图事件e关联的点和边分别加入对应的分布式弹性数据集中；
采用预设分区策略对所述图事件e关联的边进行分区；
根据所述分布式弹性数据集构建得到所述全图；
确定所述全图中的重复边，对所述重复边进行合并，并更新合并后边所对应的端点的时间戳。
3.根据权利要求2所述的分布式图推理计算方法，其特征在于，所述采用预设分区策略对所述图事件e关联的边进行分区，包括：
判断所述图事件e关联的边中两条边的起始点和目的点是否均相同；
若所述两条边的起始点和目的点均相同，则将所述两条边放入同一分区中。
4.根据权利要求2所述的分布式图推理计算方法，其特征在于，所述确定全图中的重复边，对所述重复边进行合并，并更新合并后边所对应的端点的时间戳，包括：
确定所述全图中重复边；其中，所述重复边为起始点与目的点均相同的边；
根据时间戳的大小对所述重复边进行合并，保留时间戳最大的边；
更新合并边涉及的两个端点的时间戳，以将所述两个端点的时间戳更新为时间戳最大边所对应的时间戳。
5.根据权利要求1所述的分布式图推理计算方法，其特征在于，所述对全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征，包括：
将所述全图中所有点的hop值初始化为2；
分别将起始点和目的点的hop值减1后发送至对应的一度邻居，并更新对应一度邻居的hop值；其中，所述一度邻居更新后的hop值为1；
将各一度邻居的hop值减1后发送至对应的二度邻居，并更新对应二度邻居的hop值；其中，所述二度邻居更新后的hop值为0；
将二度邻居、一度邻居以及目标点对应的特征进行合并，发送至起始点；
通过所述起始点将所有收到的特征进行整合，作为图事件e的二度子图特征。
6.根据权利要求1所述的分布式图推理计算方法，其特征在于，所述将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量，包括：
获取所述已训练的GNN编码器模型；
将所述已训练的GNN编码器模型的模型文件分布式存储在集群环境中；
在各起始点上调用对应的机器上的编码器模型，并将各起始点上存储的二度子图特征作为对应编码器模型的输入；
获得各起始点对应编码器模型输出的嵌入向量。
7.根据权利要求6所述的分布式图推理计算方法，其特征在于，所述获得各起始点对应编码器模型输出的嵌入向量，之后包括：
将所述嵌入向量以消息的形式发送给所述二度子图中的其余所有点；
根据所述消息中的特征数值更新所述二度子图中其余所有点的属性信息。
8.根据权利要求1所述的分布式图推理计算方法，其特征在于，所述根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点，包括：
沿着所述二度子图中的每一条边生成对应的邮件信息；
将所有生成的邮件信息沿着所属边发送至其目的点；
在收到邮件信息的点上，对所有的邮件信息进行求均值的操作；
将得到的均值加入至收到邮件信息的点的自身邮箱中。
9.根据权利要求1所述的分布式图推理计算方法，其特征在于，所述通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果，包括：
获取已训练的GNN解码器模型；
将所述已训练的GNN解码器模型的模型文件分布式存储在集群环境中；
通过所述已训练的GNN解码器模型对所述全图特征进行解码，动态调用对应机器上的模型副本；
将所述全图特征作为所述训练的GNN解码器模型的输入；
根据输入的解码任务，执行对应的解码过程；
根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
10.根据权利要求9所述的分布式图推理计算方法，其特征在于，所述根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果，之后包括：
将所述逻辑推理结果与图数据已有的标签进行对比，得到多任务下推理计算的准确率结果。
11.一种分布式图推理计算装置，其特征在于，包括：
构造模块，用于获取图数据，对所述图数据进行预处理，得到所述图数据所构造的全图，并更新所述全图上的基础信息；
二度子图特征模块，用于对所述全图中所有点的hop值进行初始化处理，并根据初始化后的hop值分别获取预设点、一度邻居以及二度邻居所对应的特征，得到二度子图特征；
GNN编码器模块，用于将所获取的二度子图特征输入至已训练的GNN编码器模型中，并通过所述已训练的GNN编码器模型输出得到对应的嵌入向量；
邮箱模块，用于根据输出的嵌入向量生成对应边的邮件信息，并通过邮件传递机制将所述邮件信息发送至对应边的目的点；
GNN解码器模块，用于通过已训练的GNN解码器模型对所述全图特征进行解码，根据各边目的点上的邮件信息输出所述全图特征的逻辑推理结果。
12.一种终端，其特征在于，包括：处理器以及存储器，所述存储器存储有分布式图推理计算程序，所述分布式图推理计算程序被所述处理器执行时用于实现如权利要求1-10中任意一项所述的分布式图推理计算方法。
13.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有分布式图推理计算程序，所述分布式图推理计算程序被处理器执行时用于实现如权利要求1-10中任意一项所述的分布式图推理计算方法。
CN202210921276.8A 2022-08-02 2022-08-02 一种分布式图推理计算方法、装置、终端及存储介质 Pending CN115409180A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210921276.8A CN115409180A (zh) 2022-08-02 2022-08-02 一种分布式图推理计算方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210921276.8A CN115409180A (zh) 2022-08-02 2022-08-02 一种分布式图推理计算方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
CN115409180A true CN115409180A (zh) 2022-11-29

Family

ID=84158668

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210921276.8A Pending CN115409180A (zh) 2022-08-02 2022-08-02 一种分布式图推理计算方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN115409180A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827935A (zh) * 2023-02-09 2023-03-21 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115827935A (zh) * 2023-02-09 2023-03-21 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备
CN115827935B (zh) * 2023-02-09 2023-05-23 支付宝(杭州)信息技术有限公司 一种数据处理方法、装置及设备

Similar Documents

Publication Publication Date Title
US10171284B2 (en) Reachability-based coordination for cyclic dataflow
CN115248728B (zh) 面向智能计算的分布式训练任务调度方法、系统和装置
CN110908788B (zh) 基于Spark Streaming的数据处理方法、装置、计算机设备及存储介质
KR20200139780A (ko) 그래프 데이터 처리 방법, 그래프 데이터 계산 태스크들을 공개하는 방법 및 디바이스, 저장 매체 및 컴퓨터 장치
WO2016057887A1 (en) System, apparatus and methods for adaptive data transport and optimization of application execution
CN108280522A (zh) 一种插件式分布式机器学习计算框架及其数据处理方法
Zhang et al. Accelerate large-scale iterative computation through asynchronous accumulative updates
CN107729138B (zh) 一种高性能分布式矢量空间数据的分析方法和装置
CN111708641B (zh) 一种内存管理方法、装置、设备及计算机可读存储介质
CN115409180A (zh) 一种分布式图推理计算方法、装置、终端及存储介质
CN104980518A (zh) 多学习主体并行训练模型的方法、装置和系统
CN112817856A (zh) Ab实验集成方法及系统
Lv et al. Big data processing on volunteer computing
CN116684420A (zh) 集群资源调度方法、装置、集群系统和可读存储介质
CN113014649B (zh) 一种基于深度学习的云物联负载均衡方法、装置及设备
Perrot et al. HeatPipe: High throughput, low latency big data heatmap with spark streaming
CN112364290B (zh) 一种基于流式计算的可视化计算模型构建方法和系统
CN111126613A (zh) 用于深度学习的方法、设备和计算机程序产品
CN115879543A (zh) 一种模型训练方法、装置、设备、介质及系统
CN109522294A (zh) 一种分布式数据缓存系统和数据缓存方法
CN115001692A (zh) 模型更新方法及装置、计算机可读存储介质和电子设备
CN109076110B (zh) 图像发送方法、装置及存储介质
CN105704004B (zh) 业务数据处理方法和装置
CN114866461A (zh) Rtc流媒体自适应传输方法、装置、设备及存储介质
Breed Scalability of Customizable Route Planning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination