CN117114157A - 链接的预测方法、链接预测模型的训练方法和装置 - Google Patents

链接的预测方法、链接预测模型的训练方法和装置 Download PDF

Info

Publication number
CN117114157A
CN117114157A CN202210531827.XA CN202210531827A CN117114157A CN 117114157 A CN117114157 A CN 117114157A CN 202210531827 A CN202210531827 A CN 202210531827A CN 117114157 A CN117114157 A CN 117114157A
Authority
CN
China
Prior art keywords
information
link
graph
determining
implicit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210531827.XA
Other languages
English (en)
Inventor
路新江
周强
顾晶晶
窦德景
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202210531827.XA priority Critical patent/CN117114157A/zh
Publication of CN117114157A publication Critical patent/CN117114157A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Marketing (AREA)
  • Computational Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Primary Health Care (AREA)
  • Pure & Applied Mathematics (AREA)
  • Development Economics (AREA)
  • Molecular Biology (AREA)
  • Operations Research (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Algebra (AREA)

Abstract

本公开提供了一种链接的预测方法、链接预测模型的训练方法和装置，涉及人工智能领域，具体涉及图神经网络和深度学习技术领域，可应用于智慧城市和智能交通等场景下。链接的预测方法的具体实现方案为：根据历史时刻下针对目标对象的完整图的第一图信息，确定针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息；根据隐式信息和当前时刻下针对目标对象的参考图的第二图信息，确定当前时刻下属于目标对象的多个第一对象的第一嵌入信息的后验分布信息；以及根据后验分布信息和第二图信息，确定多个第一对象彼此之间的第一完整链接信息。

Description

链接的预测方法、链接预测模型的训练方法和装置
技术领域
本公开涉及人工智能领域，具体涉及图神经网络和深度学习技术领域，可应用于智慧城市和智能交通等场景下。
背景技术
随着计算机技术和网络技术的发展，深度学习技术在众多领域得到了广泛应用。例如，可以采用图结构来对多个对象及其彼此之间的关联关系进行表示，并采用深度学习技术来基于该图结构对关联关系进行预测。
发明内容
本公开提供了一种链接的预测方法、链接预测模型的训练方法、装置、电子设备、存储介质，旨在实现动态图中顶点之间链接关系的预测，并因此实现动态图的重构。
根据本公开的一个方面，提供了一种链接的预测方法，包括：根据历史时刻下针对目标对象的完整图的第一图信息，确定针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息；根据隐式信息和当前时刻下针对目标对象的参考图的第二图信息，确定当前时刻下属于目标对象的多个第一对象的第一嵌入信息的后验分布信息；以及根据后验分布信息和第二图信息，确定多个第一对象彼此之间的第一完整链接信息。
根据本公开的另一个方面，提供了一种链接预测模型的训练方法，其中，链接预测模型包括编码器和解码器；编码器包括门控循环单元和第一生成网络；训练方法包括：采用门控循环单元对历史时刻下针对目标对象的完整图的第一图信息进行处理，得到针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息；采用第一生成网络对隐式信息和当前时刻下针对目标对象的参考图的第二图信息进行处理，生成当前时刻下属于目标对象的多个对象的嵌入信息的后验分布信息；采用解码器对后验分布信息和第二图信息进行处理，得到多个对象彼此之间的链接概率信息；根据链接概率信息确定链接预测模型的第一损失；以及根据第一损失对链接预测模型进行训练。
根据本公开的另一个方面，提供了一种链接的预测装置，包括：隐式信息确定模块，用于根据历史时刻下针对目标对象的完整图的第一图信息，确定针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息；后验分布确定模块，用于根据隐式信息和当前时刻下针对目标对象的参考图的第二图信息，确定当前时刻下属于目标对象的多个第一对象的第一嵌入信息的后验分布信息；以及链接信息确定模块，用于根据后验分布信息和第二图信息，确定多个第一对象彼此之间的第一完整链接信息。
根据本公开的另一个方面，提供了一种链接预测模型的训练装置，其中，链接预测模型包括编码器和解码器；编码器包括门控循环单元和第一生成网络；训练装置包括：隐式信息确定模块，用于采用门控循环单元对历史时刻下针对目标对象的完整图的第一图信息进行处理，得到针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息；后验分布确定模块，用于采用第一生成网络对隐式信息和当前时刻下针对目标对象的参考图的第二图信息进行处理，生成当前时刻下属于目标对象的多个对象的嵌入信息的后验分布信息；链接概率确定模块，用于采用解码器对后验分布信息和第二图信息进行处理，得到多个对象彼此之间的链接概率信息；第一损失确定模块，用于根据链接概率信息确定链接预测模型的第一损失；以及模型训练模块，用于根据第一损失对链接预测模型进行训练。
根据本公开的另一个方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开提供的链接的预测方法或链接预测模型的训练方法。
根据本公开的另一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开提供的链接的预测方法或链接预测模型的训练方法。
根据本公开的另一个方面，提供了一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现本公开提供的链接的预测方法或链接预测模型的训练方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的链接的预测方法和链接预测模型的训练方法、装置的应用场景示意图；
图2是根据本公开实施例的链接的预测方法的流程示意图；
图3是根据本公开实施例的链接的预测方法的原理示意图；
图4是根据本公开实施例的用于确定后验分布信息的编码器的结构示意图；
图5是根据本公开实施例的采用解码器确定链接概率信息的原理示意图；
图6是根据本公开实施例的链接预测模型的训练方法的流程示意图；
图7是根据本公开实施例的训练阶段中链接预测模型包括的编码器的结构示意图；
图8是根据本公开实施例的链接的预测装置的结构框图；
图9是根据本公开实施例的链接预测模型的训练装置的结构框图；以及
图10是用来实施本公开实施例的链接的预测方法或链接预测模型的训练方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种链接的预测方法，该方法包括隐式信息确定阶段、后验分布确定阶段和链接确定阶段。在隐式信息确定阶段中，根据历史时刻下针对目标对象的完整图的第一图信息，确定针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息。在后验分布确定阶段中，根据隐式信息和当前时刻下针对目标对象的参考图的第二图信息，确定当前时刻下属于目标对象的多个第一对象的第一嵌入信息的后验分布信息。在链接确定阶段中，根据后验分布信息和第二图信息，得到多个第一对象彼此之间的第一完整链接信息。
为了便于理解本公开，以下先对本公开提及的专业术语解释如下：
变分推断，一类用于逼近贝叶斯推理和机器学习中出现的难处理积分的技术。
图，用G＝(V，E)表示，V中元素为顶点(vertex)，一个顶点表示一个对象，E中元素为连接两个顶点的边(edge)，该边表示其连接的两个顶点所表示的两个对象之间的链接关系。
动态图，普遍存在的一种图结构，图的结构(顶点和边)会随着时间而演变。
无向图，指连接两个顶点的边为不具有指向性的无向边的图。
有向图，指连接两个顶点的边为具有指向性的有向边的图。
度矩阵，度矩阵为对角矩阵，对角上的元素为图中各个顶点的度，每个顶点的度表示与该每个顶点连接的边的数量。对于有向图，顶点的度分为顶点的出度和入度，分别表示从顶点引出的有向边的数量和指向顶点的有向边的数量，度矩阵分为入度对角矩阵和出度对角矩阵。
邻接矩阵，表示顶点间的关系，设定图中顶点个数为N个，则该邻接矩阵的尺寸为N*N。对于无向图，邻接矩阵是对称矩阵，邻接矩阵中第i行第j列的元素的取值能够指示N个顶点中第i个顶点与第j个顶点之间是否有连接的边，若有，则取值为1，否则取值为0。对于有向图，邻接矩阵中第i行第j列的元素的取值能够指示是否有从N个顶点中的第i个顶点指向第j个顶点的有向边，若有，则取值为1，否则取值为0。
图重构技术，指对图结构进行推断或预测的技术，可以对图中的顶点进行推断或预测，也可以对图中的边进行推断或预测。
门控循环单元，Gated Recurrent Unit，GRU，循环神经网络的一种，是为了解决长期记忆和反向传播中的梯度等问题而提出来的，输入包括t时刻的数据Xt和t-1时刻的隐藏层状态ht-1，隐藏层状态包含了之前顶点的相关信息。
扩散卷积门控循环单元，Diffusion Convolutional Gated Recurrent Unit，DCGRU，该DCGRU的运行原理与GRU类似，区别包括DCGRU采用扩散卷积算子代替了GRU中的矩阵乘法。
以下将结合图1对本公开提供的方法和装置的应用场景进行描述。
图1是根据本公开实施例的链接的预测方法和链接预测模型的训练方法、装置的应用场景示意图。
如图1所示，该实施例的应用场景100可以包括电子设备110，该电子设备110可以为具有处理功能的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机、台式计算机和服务器等等。
在该应用场景中，道路网络101可以表示成图102，图中的顶点集合表示道路网络中N个道路检测点的集合，图中的边集合表示道路网络中的链路集合。可以理解的是，图102例如还可以用于表示社交网络、学术论文引用网络等。对于社交网络，图中的顶点集合表示社交网络中社交账户的集合，图中的边集合表示社交网络中社交账户之间的关注链路集合。对于学术论文引用网络，图中的顶点集合表示学术论文引用网络中论文的集合，图中的边集合表示学术论文引用网络中论文之间的引用链路集合。可以理解的是，该应用场景中的图102例如可以为有向图或者无向图，可以为动态图或者静态图。
电子设备110例如可以对图102进行重构，从而得到重构后的图103。可以理解的是，图103相较于图102更为完整。例如，图103相较于图102，增加了边集合中的边，或者增加了顶点集合中的顶点。该电子设备110例如可以根据图102的图信息来预测图中所有顶点彼此之间的链接关系，根据该链接关系对图102进行重构。
根据本公开的实施例，在图102表示的拓扑网络随着时间的迁移会发生变化时，图102的结构也会随着时间进行演变。在电子设备110对图102进行重构时，例如可以参考表示历史时刻的拓扑网络的图，以对图的动态变化信息进行建模，提高重构得到的图103的精度。
如图1所示，该应用场景100例如还可以包括服务器120，电子设备110可以经由通信网络与服务器120通信连接。网络可以包括有线或无线通信链路。服务器120例如可以为支持电子设备110中安装的客户端应用运行的后台管理服务器，或者可以为任意的服务器。服务器120例如可以维护有链接预测模型104，还可以响应于电子设备110的请求，将该链接预测模型104发送给电子设备110。相应地，电子设备110例如可以采用链接预测模型104对图102进行重构。或者，电子设备110也可以将图102的图信息发送给服务器120，服务器120可以利用链接预测模型104来对图102进行重构。
根据本公开的实施例，链接预测模型104可以包括变分图自编码器(VariationalGraph Auto-Encoders，VGAE)模型、图自编码器(Graph Auto-Encoders，GAE)模型等，本公开对此不做限定。
需要说明的是，本公开提供的链接的预测方法可以由电子设备110执行，也可以由服务器120执行。相应地，本公开提供的链接的预测装置可以设置在电子设备110中，也可以设置在服务器120中。本公开提供的链接预测模型的训练方法可以由服务器120执行。相应地，本公开提供的链接预测模型的训练装置可以设置在服务器120中。
应该理解，图1中的电子设备110和服务器120的数目和类型仅仅是示意性的。根据实现需要，可以具有任意数目和类型的电子设备110和服务器120。
以下将结合图1，通过图2～图5对本公开提供的链接的预测方法进行详细描述。
图2是根据本公开实施例的链接的预测方法的流程示意图。
如图2所示，该实施例的链接的预测方法200可以包括操作S210～操作S230。
在操作S210，根据历史时刻下针对目标对象的完整图的第一图信息，确定针对历史时刻的隐式信息。
在操作S220，根据隐式信息和当前时刻下针对目标对象的参考图的第二图信息，确定当前时刻下属于目标对象的多个第一对象的第一嵌入信息的后验分布信息。
在操作S230，根据后验分布信息和第二图信息，确定多个第一对象彼此之间的第一完整链接信息。
根据本公开的实施例，历史时刻例如可以包括至少一个时刻。对于至少一个时刻中的每个时刻，可以获取该每个时刻下针对目标对象的完整图。该完整图描述属于目标对象的多个对象彼此之间的完整的链接关系。例如，若目标对象为道路网络，则属于目标对象的对象为道路检测点，完整图能够描述道路网络中的链路集合。
根据本公开的实施例，完整图的图信息可以包括多个顶点各自表示的对象的属性信息和多个顶点表示的多个对象之间的完整链接信息。其中，对象的属性信息根据该对象的类型来确定。例如，若对象为道路检测点，则对象的属性信息可以包括交通流的特征信息，例如可以包括速度、流量等。若对象为社交账户，则对象的属性信息可以包括社交账户的等级、注册时间、社交账户对应用户的年龄和性别等。若对象为论文，则对象的属性信息可以包括论文的见刊时间、论文的作者、论文的简介信息等。完整链接信息例如可以由完整图的邻接矩阵来表示。
在一实施例中，完整图的图信息例如还可以包括顶点表示的对象的嵌入信息，该嵌入信息例如可以通过对对象的属性信息和完整链接信息进行卷积运算而得到。或者，例如可以依据对象的属性信息和完整链接信息对嵌入信息的分布进行采样，从而得到对象的嵌入信息。嵌入信息可以借由VGAE中的编码器或者GAE中的编码器得到。
根据本公开的实施例，可以采用循环神经网络来对第一图信息进行处理，将循环神经网络最终输出的隐藏层状态作为隐式信息，该隐式信息表征了针对目标对象的完整图的时间依赖信息。在图的处理场景中，该循环神经网络例如可以为GRU、扩散卷积循环神经网络(Diffusion Convolutional Recurrent Neural Network，DCRNN)或DCGRU等。
在得到隐式信息后，例如可以采用编码器对隐式信息和当前时刻下针对目标对象的参考图的第二图信息进行编码，从而得到后验分布信息。可以理解的是，该后验分布信息表示在第二图信息的条件下嵌入信息的后验分布。其中，目标对象的参考图例如可以用于表示观察得到的拓扑网络。考虑到观察精度等的影响，该目标对象的参考图所表示的多个第一对象彼此之间的链接信息可能不完整。该实施例可以根据确定的后验分布信息来对多个第一对象彼此之间的链接信息进行预测，以对观察得到的链接信息进行补全。第二图信息可以包括当前时刻下属于目标对象的多个对象各自的属性信息和观察得到的多个对象彼此之间的参考链接信息。该观察到的参考链接信息可以由参考图的邻接矩阵来表示。
例如，设定当前时刻为t时刻，假定后验分布信息服从高斯分布，该实施例可以将隐式信息与第二图信息中多个对象的属性信息进行融合，将融合得到的信息作为t时刻的数据Xt。随后将该数据Xt和参考图的邻接矩阵输入上文描述的VAGE或GAE的编码器，由编码器输出后验分布信息的数学期望和标准差，从而得到表示嵌入信息的分布的高斯分布，作为后验分布信息。
根据本公开的实施例，在得到后验分布信息后，该实施例可以将后验分布信息和第二图信息输入VAGE或GAE的解码器，由解码器先根据第二图信息对后验分布信息进行采样，从而得到多个第一对象各自的嵌入向量表示。随后根据采样得到的嵌入向量来计算两个顶点之间存在边的概率大小。基于该概率大小即可得到多个第一对象彼此之间的第一完整链接信息。例如，若两个顶点之间存在边的概率大于等于概率阈值，则可以确定该两个顶点表示的两个第一对象之间具有链接关系，否则确定该两个顶点表示的两个第一对象之间不具有链接关系。其中，概率阈值可以根据实际需求进行设定，例如可以为0.6、0.7等任意值，本公开对此不做限定。
基于本公开的实施例，由于在确定后验分布信息时还考虑了表征时间依赖信息的隐式信息，因此可以在预测多个第一对象彼此之间的链接信息时考虑到图结构随时间的变化，使得该实施例提供的链接的预测方法可以用于对动态图中顶点之间的边进行预测，用于对动态图进行重构。
可以理解的是，在得到多个第一对象彼此之间的第一完整链接信息后，可以对当前时刻下针对目标对象的图进行重构，从而得到当前时刻下针对目标对象的完整图，还可以得到该当前时刻下针对目标对象的完整图的图信息，该图信息与上文描述的第一图信息类似。
图3是根据本公开实施例的链接的预测方法的原理示意图。
根据本公开的实施例，可以将确定隐式信息的循环神经网络集成于编码器中，从而实现对链接的端到端预测。
如图3所示，在实现链接的预测方法时，该实施例300可以先将在多个时刻下采集得到的按时间顺序排列的多个道路网络图301均转换为图结构，从而得到图G(1)、G(2)、...、G(t)302。其中，t为当前时刻。在采集得到t当前时刻的道路网络图之前，可以将图G(1)作为历史时刻的完整图，采用链接的预测方法得到图G(2)中顶点的嵌入信息，将图G(1)、图G(2)作为历史时刻的完整图，采用链接的预测方法得到图G(3)中顶点的嵌入信息，以此类推，得到图G(2)、图G(3)、...、图G(t-1)中每个图的顶点的嵌入信息。从而针对图G(t)，得到第一图信息。
随后，该实施例可以将图G(1)、G(2)、...、G(t)302的图信息输入基于深度神经网络构建的编码器310中，由编码器310的输出得到后验分布信息303。在得到后验分布信息303后，将该后验分布信息和图G(t)的图信息输入基于深度神经网络构建的解码器320中，由解码器320输出链接概率矩阵，根据该链接概率矩阵可以得到表示第一完整链接信息的邻接矩阵A(t)304。该链接概率矩阵中第i行第j列的元素表示图G(t)中第i个顶点与第j个顶点之间具有链接关系的概率值。基于该链接概率矩阵，即可得到当前时刻的图G(t)中多个顶点表示的多个第一对象彼此之间的第一完整链接信息。例如，若链接概率矩阵中第i行第j列的元素的取值大于等于概率阈值，则表示第一完整链接信息的邻接矩阵A(t)304中第i行第j列元素的取值为1，否则为0。根据该第一完整链接信息，可以对当前时刻的图G(t)进行重构，得到图305。
根据本公开的实施例，例如可以采用DCGRU来对第一图信息进行处理，从而得到针对历史时刻中最后时刻的隐式信息。设定对于DCGRU而言，隐藏层状态的初始状态为h(0)，该设定为全零矩阵，其中，N为图中顶点的个数，d可以与顶点表示的对象的属性信息的维度相等，以便于进行计算。可以理解的是，d也可以与属性信息的维度不同，在计算过程中，可以经由映射将属性信息与隐式信息对齐。DCGRU例如可以以迭代的方式计算得到针对最后时刻的隐式信息，例如，对于当前时刻t，最后时刻为(t-1)时刻。迭代计算的公式可以如以下公式(1)所示：
h(t-1)＝DCGRU(A(t-1)，[X(t-1)，Z(t-1)]，h(t-2))。公式(1)
其中，X(t-1)为图G(t-1)中顶点表示的对象的属性信息。Z(t-1)为图G(t-1)中顶点表示的对象的嵌入信息，h(t-2)、h(t-1)分别为针对(t-2)时刻、(t-1)时刻的隐式信息。[x(t-1)，Z(t -1)]表示对x(t-1)和Z(t-1)的拼接计算。
该实施例通过采用DCGRU来对第一图信息进行处理，由于与GRU相比在更新门、重置门和记忆单元时使用了扩散卷积算子，因此可以使得空间依赖性能被直观地解释和有效地计算，利于提高得到的隐式信息的表达能力。
在一实施例中，在采用DCGRU对第一图信息进行处理时，例如可以先采用映射函数对第一图信息中的第二属性信息和第二嵌入信息进行处理，得到处理后属性信息和处理后嵌入信息。随后再拼接处理后属性信息和处理后嵌入信息，得到第一拼接信息。将该第一拼接信息、第二完整链接信息和隐式信息的预定初始值(即前述隐藏层状态的初始状态为h(0))输入DCGRU，由DCGRU输出最后时刻的隐式信息。该实施例中，DCGRU以迭代的方式计算得到针对最后时刻的隐式信息时，迭代计算的公式表示为如下公式(2)：
h(t-1)＝DCGRU(A(t-1)，[fX(X(t-1))，fZ(Z(t-1))]，h(t-2))。公式(2)
其中，fX和fZ表示任意的映射函数，例如可以为全连接网络(Fully ConnectedNetwork，FCN)中所采用的映射函数。该实施例可以采用全连接网络来对第二属性信息和第二嵌入信息进行处理。
该实施例在计算隐式信息之前，通过先采用映射函数来对属性信息和嵌入信息进行处理，可以对属性信息和嵌入信息进行对齐，再者，可以提高学习得到的隐式信息的表达能力。使得本公开实施例的链接的预测方法更为鲁棒。
以下将结合图4～图5分别对实现链接的预测方法时所采用的编码器和解码器进行详细描述。
图4是根据本公开实施例的用于确定后验分布信息的编码器的结构示意图。
如图4所示，该实施例中用于确定后验分布信息的编码器410至少包括生成网络411和DCGRU 412。其中，DCGRU 412用于采用上文描述的方法，来根据图G(1)、G(2)、...、G(t)401中作为完整图的图G(1)、G(2)、...、G(t-1)的第一图信息迭代地计算得到针对(t-1)时刻的隐式信息h(t-1)。
在得到隐式信息h(t-1)后，可以将隐式信息h(t-1)和作为参考图的图G(t)的第二图信息输入生成网络411，生成网络411可以先用于对第二图信息中的第一属性信息X(t)和隐式信息h(t-1)进行拼接，得到第二拼接信息。随后，根据第二拼接信息和第二图信息中的参考链接信息A‘(t)生成后验分布信息的数学期望402和标准差/>403。根据该数学期望/>402知标准差/>403，即可得后验分布404。
在一实施例中，如图4所示，生成网络411可以包括第一生成子网络4111和第二生成子网络4112。该第一生成子网络4111和第二生成子网络4112可以均采用扩散卷积神经网络(Diffusion Convolutional Neural Network，DCNN)。可以理解的是，两个生成子网络例如还可以均采用前向传播神经网络(Feedforward Neural Network，FNN)等较为简单的网络，以提高处理效率。但可以理解的是，采用DCNN等较为复杂的网络作为生成子网络，可以提高生成的后验分布的精度，避免网络过拟合。
可以理解的是，该生成网络411例如还可以包括拼接子网络，用于对第一属性信息和隐式信息h(t-1)进行拼接，从而得到第二拼接信息。例如，该实施例可以将第二拼接信息和参考链接信息输入第一生成子网络4111，由第一生成子网络生成后验分布信息的数学期望402。同时，可以将第二拼接信息和参考链接信息输入第二生成子网络4112，由第二生成子网络生成后验分布信息的标准差/>403。具体地，第一生成子网络4111可以采用以下公式(3)生成数学期望/>402，第二生成子网络4112可以采用以下公式(4)生成标准差/>403：
根据本公开的实施例，在确定后验分布信息时，可以针对每个对象在历史时刻下的属性信息、嵌入信息和在历史时刻下的完整链接信息，来确定针对该每个对象的隐式信息。随后，根据该每个对象在当前时刻的属性信息、针对该每个对象的隐式信息和当前时刻的参考链接信息，来确定针对该每个对象的嵌入信息的后验分布信息。可以理解的是，确定每个对象的隐式信息的方法和确定每个对象的嵌入信息的后验分布信息的方法与上文描述的各方法类似。例如，对于N个对象中的第i个对象，该第i个对象的后验分布信息可以采用以下公式(5)来表示：
其中，表示该第i个对象的嵌入信息，/>表示针对该i个对象的数学期望，表示针对该第i个对象的标准差。/>表示各数值距均值的偏离程度；diag()表示协方差矩阵，主对角线元素的取值为各个数值的方差，其余的第m行第n列的元素的取值对应第m个数值和第n个数值的协方差。
在此基础上，多个第一对象的第一嵌入信息的后验分布信息可以采用以下公式(6)来表示：
可以理解的是，该实施例实质上是将图G(t)和隐式信息h(t-1)作为观测结果来确定后验分布信息的。
根据本公开的实施例，在图G(t)为有向图的情况下，在确定后验分布信息时，可以先根据图G(t)的第二图信息中的参考链接信息，确定针对多个第一对象的入度信息和出度信息。例如，入度信息可以采用上文描述的入度对角矩阵表示，出度信息可以采用上文描述的出度对角矩阵表示。在得到出度信息和入度信息后，可以将第二拼接信息、参考链接信息、入度信息和出度信息输入第一生成子网络4111，生成后验分布信息的数学期望。将第二拼接信息、参考链接信息、入度信息和出度信息输入第二生成子网络4112，生成后验分布信息的标准差。通过该实施例，可以实现对动态有向图的重构，对动态变化信息进行有效建模。
例如，对于N个对象中的第i个对象，生成子网络的计算公式可以采用以下公式(7)来表示：
其中，Wl，out和Wl，in是可学习的参数，Din、Dout分别为入度对角矩阵和出度对角矩阵，φ表示激活函数，例如可以为sigmoid激活函数，L代表传递的步数。该传递的步数的取值例如可以为2等任意大于1的值，本公开对此不做限定。
图5是根据本公开实施例的采用解码器确定链接概率信息的原理示意图。
如图5所示，该实施例500在确定链接概率信息时，可以先根据后验分布信息，确定多个第一对象各自的嵌入信息，从而得到多个第一嵌入信息。例如，可以根据参考链接信息和每个第一对象的第一属性信息对后验分布信息进行采样，从而得到该每个第一对象的嵌入信息。N个第一对象的N个第一嵌入信息例如可以表示为嵌入矩阵Z(t)510来表示，该嵌入矩阵Z(t)中每行元素构成的向量表示一个第一对象的嵌入信息。
随后，该实施例500可以根据多个第一嵌入信息，确定多个第一对象彼此之间的第一完整链接信息。例如，该实施例500可以取嵌入矩阵Z(t)510中第i行元素构成的向量，得到N个第一对象中第i个对象的嵌入信息511，同时可以取嵌入矩阵Z(t)510中第j行元素构成的向量，得到N个第一对象中第j个对象的嵌入信息512。随后，采用嵌入信息511和嵌入信息512之间的相似度表示第i个对象和第j个对象具有链接关系的概率。例如可以采用两个嵌入信息的内积来表示相似度。若该概率大于等于概率阈值，则确定第i个对象和第j个对象具有链接关系。该实施例可以对N个第一对象两两配对，得到多个对象对。并采用上述方法确定每个对象对中两个第一对象是否具有链接关系，确定的所有链接关系及链接关系所链接的两个对象的信息可以构成第一完整链接信息。
示例性地，针对所有对象对确定的具有链接关系的概率，可以构成链接概率矩阵，该链接概率矩阵的尺寸为N*N，前述第i个对象和第j个对象具有链接关系的概率为链接概率矩阵中第i行第j列元素的取值。根据该邻接概率矩阵，可以得到表示第一完整链接信息的邻接矩阵A(t)520。该邻接矩阵A(t)520的尺寸也为N*N。在链接概率矩阵中第i行第j列元素的取值大于等于概率阈值时，邻接矩阵A(t)520中第i行第j列元素的取值为1。
在一实施例中，在确定第一完整链接信息时，例如还可以先采用全连接层对多个第一嵌入信息分别进行处理，得到多个处理后嵌入信息。随后，根据多个处理后嵌入信息彼此之间的相似关系，确定多个第一对象彼此之间的第一完整链接信息。其中，两个处理后嵌入信息之间的相似关系可以采用两个处理后嵌入信息的内积来表示，也可以采用杰卡德相似度等来表示，本公开对此不做限定。该实施例通过先采用全连接层对嵌入信息进行处理，可以将嵌入信息进行归一化和对齐，同时还可以提高得到的相似关系的精度。
为了便于本公开提供的链接的预测方法的实施，本公开还提供了一种链接预测模型的训练方法，以下将结合图6～图7对该训练方法进行详细描述。
图6是根据本公开实施例的链接预测模型的训练方法的流程示意图。
如图6所示，该实施例的链接预测模型的训练方法600可以包括操作S610～操作S650。其中，链接预测模型例如可以包括编码器和解码器。其中，编码器可以包括GRU和第一生成网络。
在操作S610，采用门控循环单元对历史时刻下针对目标对象的完整图的第一图信息进行处理，得到针对历史时刻的隐式信息。其中，隐式信息表征针对目标对象的完整图的时间依赖信息。
该操作S610的实现方式与上文描述的操作S210的实现方式类似。该实施例例如可以获取多个时刻的完整图和参考图。将多个时刻中除最早时刻外的任意一个时刻作为当前时刻，将该任意一个时刻的在前时刻作为历史时刻。
或者，该实施例还可以将每个时刻作为当前时刻，将该每个时刻的在前时刻作为历史时刻。如此，该实施例可以将当前时刻的参考图和历史时刻的完整图构成一个训练样本，针对T个时刻，可以总计得到T个训练样本。对于T个时刻中按时间顺序排列的第k个时刻，可以将该第k个时刻的参考图和在前的(k-1)个时刻的完整图构成一个训练样本。可以理解的是，对于T个时刻中的最前时刻，该最前时刻的参考图构成一个训练样本。在确定该最前时刻的后验分布信息时，所考虑的隐式信息可以为上文描述的隐式信息的预定初始值h(0)。
在操作S620，采用第一生成网络对隐式信息和当前时刻下针对目标对象的参考图的第二图信息进行处理，生成当前时刻下属于目标对象的多个对象的嵌入信息的后验分布信息。该操作S620的实现方式与上文描述的操作S220的实现方式类似，第一生成网络可以包括上文描述的第一生成子网络、第二生成子网络和拼接子网络，根据第一生成子网络生成的数学期望和第二生成子网络生成的标准差来表示后验分布信息。
在操作S630，采用解码器对后验分布信息和第二图信息进行处理，得到多个对象彼此之间的链接概率信息。
根据本公开的实施例，该操作S630的实现方式与上文描述的操作S230的实现方式中得到链接概率矩阵的方式类似，可以采用链接概率矩阵来表示链接概率信息，本公开对此不做限定。在一实施例中，还可以采用在多个对象的嵌入信息条件下，表示第一完整链接信息的邻接矩阵A(t)的分布概率来表示链接概率信息。该分布概率例如可以采用p(A(t)|Z(t))来表示。通过根据Z(t)对该分布概率采样，即可得到链接概率矩阵。
在操作S640，根据链接概率信息确定链接预测模型的第一损失。
在操作S650，根据第一损失对链接预测模型进行训练。
根据本公开的实施例，可以采用交叉熵损失函数来计算第一损失。例如，可以采用分布概率的对数的负数来表示第一损失。在一实施例中，还可以采用该分布概率的对数的数学期望来表示第一损失。
在一实施例中，如上文描述，在得到多个训练样本时，可以针对每个训练样本得到一个链接概率信息。在确定第一损失时，可以先计算针对多个训练样本的多个链接概率信息的和，随后，根据该多个链接概率信息的和来确定第一损失。例如，在该实施例中，第一损失可以采用以下公式(8)计算得到：
本公开实施例可以以最小化第一损失为目标训练链接预测模型。例如可以采用最小梯度算法来对链接预测模型进行训练。可以理解的是，公式(8)中的L1可以理解为重构误差，可以直观地理解成，用参考图G(t)和隐式信息h(t-1)得到嵌入信息Z(t)，再用Z(t)重构图，让重构后的图与参考图尽可能接近。由于q(Z(t)|A‘(t)，X(t)，h(t-1))为概率行驶，可以理解为，给定参考图G(t)，可以从q(Z(t)|A‘(t)，X(t)，h(t-1))中采样出Z(t)，再用Z(t)来计算log p(A(t)|Z(t))，如果log p(A(t)|Z(t))足够大，则说明给定Z(t)后重建出来的条件概率里得到参考图G(t)的概率较大，也就说明图可以被重建的比较好。
在一实施例中，还可以采用变分推断原理来得到观测下界(Evidence LowerBound，ELBO)，设定嵌入信息的先验分布信息为预定的高斯分布则该观测下界例如可以采用以下公式(9)来表示：
相应地，链接预测模型的损失可以采用公式(9)中的负数来表示。该实施例可以以最大化公式(9)中的/>为目标，即以最小化/>的负数为目标，对链接预测模型进行训练。
图7是根据本公开实施例的训练阶段中链接预测模型包括的编码器的结构示意图。
在一实施例中，在采用观测下界来表示链接预测模型的损失时，例如还可以根据历史时刻的完整图的第一图信息来确定先验分布，而非采用预定的先验分布。如此，利于提高模型的泛化能力和预测能力。
如图7所示，在该实施例中，在训练链接预测模型时，可以在链接预测模型的编码器中添加第二生成网络，由该第二生成网络生成先验分布信息。具体地，在该实施例中，编码器710包括第一生成网络711、DCGRU 712和第二生成网络713。与上文描述的内容类似，DCGRU 712用于采用上文描述的方法，来根据图G(1)、G(2)、...、G(t)701中作为完整图的图G(1)、G(2)、...、G(t-1)的第一图信息迭代地计算得到针对(t-1)时刻的隐式信息h(t-1)。第一生成网络711用于生成后验分布信息的数学期望702和标准差/>703。根据该数学期望702和标准差/>703，即可得后验分布704。
在得到针对(t-1)时刻的隐式信息h(t-1)后，该实施例可以采用第二生成网络713来对隐式信息h(t-1)进行处理，从而得到当前时刻下嵌入信息的先验分布信息707。由于隐式信息h(t-1)是根据历史时刻的完整图迭代地计算得到的，则该先验分布信息实质上为嵌入信息在第一图信息的条件下的分布信息，该先验分布信息例如可以采用p(Z(t)|A(<t)，X(<t))来表示。其中，第二生成网络例如可以采用前向传播网络可以理解的是，在该实施例中，与后验分布的数学期望和标准差类似，可以针对每个对象的嵌入信息生成一个数学期望和一个标准差。例如，针对N个对象中的第i个对象，嵌入信息的先验分布的数学期望705和标准差706例如可以分别采用以下公式(10)和(11)来生成：
在得到先验分布的数学期望705和标准差706后，针对第i个对象的嵌入信息的先验分布信息可以采用以下公式(12)来表示：
相应地，针对N个对象的嵌入信息的先验分布信息可以采用以下公式(13)计算得到：
在一实施例中，如图7所示，第二生成网络713可以第一生成网络711可以均包括两个生成子网络，以分别用于生成分布信息的数学期望和标准差，在此不再赘述。
在得到多个对象的嵌入信息的先验分布信息和后验分布信息后，可以根据先验分布信息和后验分布信息之间的差异，来确定链接预测模型的第二损失。例如，该实施例中第二损失可以与先验分布信息和后验分布信息之间的差异正相关，差异越大，第二损失越大。随后，根据该第二损失对链接预测模型进行训练。例如可以以最小化先验分布信息和后验分布信息之间的差异为目标，训练链接预测模型。
可以理解的是，在得到上文描述的多个训练样本时，根据每个训练样本可以得到一个时刻下的先验分布信息和后验分布信息。针对T个时刻，总计可以得到T个先验分布信息和T个后验分布信息。该实施例可以确定每个时刻下嵌入信息的先验分布信息与后验分布信息之间的差异，将该差异作为针对该每个时刻的差异。最后，根据针对T个时刻的T的差异的和，来确定第二损失。可以理解的是，两个分布信息之间的差异可以采用KL散度来表示。采用该实施例的第二损失替代上文描述的公式(9)中等式右边的第二项，可以得到链接预测模型的整体损失，该整体损失例如可以采用以下公式(14)计算得到：
基于本公开提供的链接的预测方法，本公开还提供了一种链接的预测装置。以下将结合图8对该装置进行详细描述。
图8是根据本公开实施例的链接的预测装置的结构框图。
如图8所示，该实施例的链接的预测装置800可以包括隐式信息确定模块810、后验分布确定模块820和链接信息确定模块830。
隐式信息确定模块810用于根据历史时刻下针对目标对象的完整图的第一图信息，确定针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息。在一实施例中，隐式信息确定模块810可以用于执行上文描述的操作S210，在此不再赘述。
后验分布确定模块820用于根据隐式信息和当前时刻下针对目标对象的参考图的第二图信息，确定当前时刻下属于目标对象的多个第一对象的第一嵌入信息的后验分布信息。在一实施例中，后验分布确定模块820可以用于执行上文描述的操作S220，在此不再赘述。
链接信息确定模块830用于根据后验分布信息和第二图信息，确定多个第一对象彼此之间的第一完整链接信息。在一实施例中，链接信息确定模块830可以用于执行上文描述的操作S230，在此不再赘述。
根据本公开的实施例，第二图信息包括当前时刻下：多个第一对象各自的第一属性信息及多个第一对象彼此之间的参考链接信息。第一图信息包括至少一个历史时刻中的每个历史时刻下：属于目标对象的多个第二对象各自的第二属性信息、多个第二对象彼此之间的第二完整链接信息和多个第二对象各自的第二嵌入信息。
根据本公开的实施例，隐式信息确定模块810用于采用扩散卷积门控循环单元对第一图信息进行处理，得到针对历史时刻中最后时刻的隐式信息。
根据本公开的实施例，隐式信息确定模块810包括：映射处理子模块，用于采用映射函数分别对第二属性信息和第二嵌入信息进行处理，得到处理后属性信息和处理后嵌入信息；第一拼接子模块，用于拼接处理后属性信息和处理后嵌入信息，得到第一拼接信息；以及隐式信息确定子模块，用于将第一拼接信息、第二完整链接信息和隐式信息的预定初始值输入扩散卷积门控循环单元，得到针对历史时刻中最后时刻的隐式信息。
根据本公开的实施例，后验分布确定模块820包括：第二拼接子模块，用于拼接第一属性信息和隐式信息，得到第二拼接信息；以及数值生成子模块，用于根据第二拼接信息和参考链接信息，采用生成网络生成后验分布信息的数学期望和标准差。
根据本公开的实施例，数值生成子模块包括：度信息确定单元，用于根据参考链接信息，确定针对多个第一对象的入度信息和出度信息；期望生成单元，用于将第二拼接信息、参考链接信息、入度信息和出度信息输入生成网络包括的第一生成子网络，生成后验分布信息的数学期望；以及标准差生成单元，用于将第二拼接信息、参考链接信息、入度信息和出度信息输入生成网络包括的第二生成子网络，生成后验分布信息的标准差。
根据本公开的实施例，链接信息确定模块830包括：嵌入信息获得子模块，用于根据后验分布信息，确定多个第一对象各自的嵌入信息，得到多个第一嵌入信息；以及链接信息确定子模块，用于根据多个第一嵌入信息，确定多个第一对象彼此之间的第一完整链接信息。
根据本公开的实施例，链接信息确定子模块包括：嵌入信息处理单元，用于采用全连接层对多个第一嵌入信息分别进行处理，得到多个处理后嵌入信息；以及链接信息确定单元，用于据多个处理后嵌入信息彼此之间的相似关系，确定多个第一对象彼此之间的第一完整链接信息。
基于本公开提供的链接预测模型的训练方法，本公开还提供了一种链接预测模型的训练装置，以下将结合图9对该装置进行详细描述。
图9是根据本公开实施例的链接预测模型的训练装置的结构框图。
如图9所示，该实施例的链接预测模型的训练装置900可以包括隐式信息确定模块910、后验分布确定模块920、链接概率确定模块930、第一损失确定模块940和模型训练模块950。其中，链接预测模型包括编码器和解码器；编码器包括门控循环单元和第一生成网络。
隐式信息确定模块910用于采用门控循环单元对历史时刻下针对目标对象的完整图的第一图信息进行处理，得到针对历史时刻的隐式信息；隐式信息表征针对目标对象的完整图的时间依赖信息。在一实施例中，隐式信息确定模块910可以用于执行上文描述的操作S610，在此不再赘述。
后验分布确定模块920用于采用第一生成网络对隐式信息和当前时刻下针对目标对象的参考图的第二图信息进行处理，生成当前时刻下属于目标对象的多个对象的嵌入信息的后验分布信息。在一实施例中，后验分布确定模块920可以用于执行上文描述的操作S620，在此不再赘述。
链接概率确定模块930用于采用解码器对后验分布信息和第二图信息进行处理，得到多个对象彼此之间的链接概率信息。在一实施例中，链接概率确定模块930可以用于执行上文描述的操作S630，在此不再赘述。
第一损失确定模块940用于根据链接概率信息确定链接预测模型的第一损失。在一实施例中，第一损失确定模块940可以用于执行上文描述的操作S640，在此不再赘述。
模型训练模块950用于根据第一损失对链接预测模型进行训练。在一实施例中，模型训练模块950可以用于执行上文描述的操作S650，在此不再赘述。
根据本公开的实施例，上述装置900还可以包括时刻确定模块，用于针对多个时刻，确定多个时刻中每个时刻为当前时刻，每个时刻的在前时刻为历史时刻。上述链接概率信息为针对当前时刻的概率信息。上述第一损失确定模块940可以用于：根据针对多个时刻的多个链接概率信息的和，确定第一损失。
根据本公开的实施例，编码器还包括第二生成网络编码器。上述装置900还可以包括：先验分布获得模块，用于采用第二生成网络对隐式信息进行处理，得到当前时刻下嵌入信息的先验分布信息；以及第二损失确定模块，用于根据先验分布信息和后验分布信息之间的差异，确定链接预测模型的第二损失。其中，模型训练模块还用于根据第二损失对链接预测模型进行训练。
根据本公开的实施例，上述装置900还可以包括时刻确定模块，用于针对多个时刻，确定多个时刻中每个时刻为当前时刻，每个时刻的在前时刻为历史时刻。第二损失确定模块可以包括：差异确定子模块，用于针对多个时刻中的每个时刻，确定每个时刻下嵌入信息的先验分布信息与后验分布信息之间的差异，作为针对每个时刻的差异；以及损失确定子模块，用于根据针对多个时刻的多个差异的和，确定链接预测模型的第二损失。
需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图10示出了可以用来实施本公开实施例的链接的预测方法或链接预测模型的训练方法的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(ROM)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(RAM)1003中的计算机程序，来执行各种适当的动作和处理。在RAM 1003中，还可存储设备1000操作所需的各种程序和数据。计算单元1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
设备1000中的多个部件连接至I/O接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如链接的预测方法或链接预测模型的训练方法。例如，在一些实施例中，链接的预测方法或链接预测模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由ROM1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到RAM 1003并由计算单元1001执行时，可以执行上文描述的链接的预测方法或链接预测模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行链接的预测方法或链接预测模型的训练方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。其中，服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务(″Virtual Private Server″，或简称″VPS″)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (27)

1.一种链接的预测方法，包括：
根据历史时刻下针对目标对象的完整图的第一图信息，确定针对所述历史时刻的隐式信息；所述隐式信息表征针对所述目标对象的完整图的时间依赖信息；
根据所述隐式信息和当前时刻下针对所述目标对象的参考图的第二图信息，确定所述当前时刻下属于所述目标对象的多个第一对象的第一嵌入信息的后验分布信息；以及
根据所述后验分布信息和所述第二图信息，确定所述多个第一对象彼此之间的第一完整链接信息。
2.根据权利要求1所述的方法，其中：
所述第二图信息包括所述当前时刻下：所述多个第一对象各自的第一属性信息及所述多个第一对象彼此之间的参考链接信息；
所述第一图信息包括至少一个历史时刻中的每个历史时刻下：属于所述目标对象的多个第二对象各自的第二属性信息、所述多个第二对象彼此之间的第二完整链接信息和所述多个第二对象各自的第二嵌入信息。
3.根据权利要求2所述的方法，其中，所述根据历史时刻下针对目标对象的完整图的第一图信息，确定针对所述历史时刻的隐式信息包括：
采用扩散卷积门控循环单元对所述第一图信息进行处理，得到针对所述历史时刻中最后时刻的隐式信息。
4.根据权利要求3所述的方法，其中，所述采用扩散卷积门控循环单元对所述第一图信息进行处理，得到针对所述历史时刻中最后时刻的隐式信息包括：
采用映射函数分别对所述第二属性信息和所述第二嵌入信息进行处理，得到处理后属性信息和处理后嵌入信息；
拼接所述处理后属性信息和所述处理后嵌入信息，得到第一拼接信息；以及
将所述第一拼接信息、所述第二完整链接信息和隐式信息的预定初始值输入所述扩散卷积门控循环单元，得到针对所述历史时刻中最后时刻的隐式信息。
5.根据权利要求2所述的方法，其中，所述根据所述隐式信息和当前时刻下针对所述目标对象的参考图的第二图信息，确定所述当前时刻下属于所述目标对象的多个第一对象的第一嵌入信息的后验分布信息包括：
拼接所述第一属性信息和所述隐式信息，得到第二拼接信息；以及
根据所述第二拼接信息和所述参考链接信息，采用生成网络生成所述后验分布信息的数学期望和标准差。
6.根据权利要求5所述的方法，其中，所述根据所述第二拼接信息和所述参考链接信息，采用生成网络生成所述后验分布信息的数学期望和标准差包括：
根据所述参考链接信息，确定针对所述多个第一对象的入度信息和出度信息；
将所述第二拼接信息、所述参考链接信息、所述入度信息和所述出度信息输入所述生成网络包括的第一生成子网络，生成所述后验分布信息的数学期望；以及
将所述第二拼接信息、所述参考链接信息、所述入度信息和所述出度信息输入所述生成网络包括的第二生成子网络，生成所述后验分布信息的标准差。
7.根据权利要求2所述的方法，其中，所述根据所述后验分布信息和所述第二图信息，确定所述多个第一对象彼此之间的第一完整链接信息包括：
根据所述后验分布信息，确定所述多个第一对象各自的嵌入信息，得到多个第一嵌入信息；以及
根据多个所述第一嵌入信息，确定所述多个第一对象彼此之间的第一完整链接信息。
8.根据权利要求7所述的方法，其中，所述根据多个所述第一嵌入信息，确定所述多个第一对象彼此之间的第一完整链接信息包括：
采用全连接层对多个所述第一嵌入信息分别进行处理，得到多个处理后嵌入信息；以及
根据所述多个处理后嵌入信息彼此之间的相似关系，确定所述多个第一对象彼此之间的第一完整链接信息。
9.一种链接预测模型的训练方法，其中，所述链接预测模型包括编码器和解码器；所述编码器包括门控循环单元和第一生成网络；所述方法包括：
采用所述门控循环单元对历史时刻下针对目标对象的完整图的第一图信息进行处理，得到针对所述历史时刻的隐式信息；所述隐式信息表征针对所述目标对象的完整图的时间依赖信息；
采用所述第一生成网络对所述隐式信息和当前时刻下针对所述目标对象的参考图的第二图信息进行处理，生成所述当前时刻下属于所述目标对象的多个对象的嵌入信息的后验分布信息；
采用所述解码器对所述后验分布信息和所述第二图信息进行处理，得到所述多个对象彼此之间的链接概率信息；
根据所述链接概率信息确定所述链接预测模型的第一损失；以及
根据所述第一损失对所述链接预测模型进行训练。
10.根据权利要求9所述的方法，还包括：
针对多个时刻，确定所述多个时刻中每个时刻为所述当前时刻，所述每个时刻的在前时刻为所述历史时刻；
其中，所述链接概率信息为针对所述当前时刻的概率信息；所述根据所述链接概率信息确定所述链接预测模型的第一损失包括：
根据针对所述多个时刻的多个链接概率信息的和，确定所述第一损失。
11.根据权利要求9所述的方法，其中，所述编码器还包括第二生成网络；所述方法还包括：
采用所述第二生成网络对所述隐式信息进行处理，得到所述当前时刻下所述嵌入信息的先验分布信息；
根据所述先验分布信息和所述后验分布信息之间的差异，确定所述链接预测模型的第二损失；以及
根据所述第二损失对所述链接预测模型进行训练。
12.根据权利要求11所述的方法，还包括：
针对多个时刻，确定所述多个时刻中的每个时刻为所述当前时刻，所述每个时刻的在前时刻为所述历史时刻；
其中，所述根据所述先验分布信息和所述后验分布信息之间的差异，确定所述链接预测模型的第二损失包括：
针对所述多个时刻中的每个时刻，确定所述每个时刻下所述嵌入信息的所述先验分布信息与所述后验分布信息之间的差异，作为针对所述每个时刻的差异；以及
根据针对所述多个时刻的多个差异的和，确定所述链接预测模型的第二损失。
13.一种链接的预测装置，包括：
隐式信息确定模块，用于根据历史时刻下针对目标对象的完整图的第一图信息，确定针对所述历史时刻的隐式信息；所述隐式信息表征针对所述目标对象的完整图的时间依赖信息；
后验分布确定模块，用于根据所述隐式信息和当前时刻下针对所述目标对象的参考图的第二图信息，确定所述当前时刻下属于所述目标对象的多个第一对象的第一嵌入信息的后验分布信息；以及
链接信息确定模块，用于根据所述后验分布信息和所述第二图信息，确定所述多个第一对象彼此之间的第一完整链接信息。
14.根据权利要求13所述的装置，其中：
所述第二图信息包括所述当前时刻下：所述多个第一对象各自的第一属性信息及所述多个第一对象彼此之间的参考链接信息；
所述第一图信息包括至少一个历史时刻中的每个历史时刻下：属于所述目标对象的多个第二对象各自的第二属性信息、所述多个第二对象彼此之间的第二完整链接信息和所述多个第二对象各自的第二嵌入信息。
15.根据权利要求14所述的装置，其中，所述隐式信息确定模块用于：
采用扩散卷积门控循环单元对所述第一图信息进行处理，得到针对所述历史时刻中最后时刻的隐式信息。
16.根据权利要求15所述的装置，其中，所述隐式信息确定模块包括：
映射处理子模块，用于采用映射函数分别对所述第二属性信息和所述第二嵌入信息进行处理，得到处理后属性信息和处理后嵌入信息；
第一拼接子模块，用于拼接所述处理后属性信息和所述处理后嵌入信息，得到第一拼接信息；以及
隐式信息确定子模块，用于将所述第一拼接信息、所述第二完整链接信息和隐式信息的预定初始值输入所述扩散卷积门控循环单元，得到针对所述历史时刻中最后时刻的隐式信息。
17.根据权利要求14所述的装置，其中，所述后验分布确定模块包括：
第二拼接子模块，用于拼接所述第一属性信息和所述隐式信息，得到第二拼接信息；以及
数值生成子模块，用于根据所述第二拼接信息和所述参考链接信息，采用生成网络生成所述后验分布信息的数学期望和标准差。
18.根据权利要求17所述的装置，其中，所述数值生成子模块包括：
度信息确定单元，用于根据所述参考链接信息，确定针对所述多个第一对象的入度信息和出度信息；
期望生成单元，用于将所述第二拼接信息、所述参考链接信息、所述入度信息和所述出度信息输入所述生成网络包括的第一生成子网络，生成所述后验分布信息的数学期望；以及
标准差生成单元，用于将所述第二拼接信息、所述参考链接信息、所述入度信息和所述出度信息输入所述生成网络包括的第二生成子网络，生成所述后验分布信息的标准差。
19.根据权利要求14所述的装置，其中，所述链接信息确定模块包括：
嵌入信息获得子模块，用于根据所述后验分布信息，确定所述多个第一对象各自的嵌入信息，得到多个第一嵌入信息；以及
链接信息确定子模块，用于根据多个所述第一嵌入信息，确定所述多个第一对象彼此之间的第一完整链接信息。
20.根据权利要求19所述的装置，其中，所述链接信息确定子模块包括：
嵌入信息处理单元，用于采用全连接层对多个所述第一嵌入信息分别进行处理，得到多个处理后嵌入信息；以及
链接信息确定单元，用于据所述多个处理后嵌入信息彼此之间的相似关系，确定所述多个第一对象彼此之间的第一完整链接信息。
21.一种链接预测模型的训练装置，其中，所述链接预测模型包括编码器和解码器；所述编码器包括门控循环单元和第一生成网络；所述装置包括：
隐式信息确定模块，用于采用所述门控循环单元对历史时刻下针对目标对象的完整图的第一图信息进行处理，得到针对所述历史时刻的隐式信息；所述隐式信息表征针对所述目标对象的完整图的时间依赖信息；
后验分布确定模块，用于采用所述第一生成网络对所述隐式信息和当前时刻下针对所述目标对象的参考图的第二图信息进行处理，生成所述当前时刻下属于所述目标对象的多个对象的嵌入信息的后验分布信息；
链接概率确定模块，用于采用所述解码器对所述后验分布信息和所述第二图信息进行处理，得到所述多个对象彼此之间的链接概率信息；
第一损失确定模块，用于根据所述链接概率信息确定所述链接预测模型的第一损失；以及
模型训练模块，用于根据所述第一损失对所述链接预测模型进行训练。
22.根据权利要求21所述的装置，还包括：
时刻确定模块，用于针对多个时刻，确定所述多个时刻中每个时刻为所述当前时刻，所述每个时刻的在前时刻为所述历史时刻；
其中，所述链接概率信息为针对所述当前时刻的概率信息；所述第一损失确定模块用于：根据针对所述多个时刻的多个链接概率信息的和，确定所述第一损失。
23.根据权利要求21所述的装置，其中，所述编码器还包括第二生成网络；所述装置还包括：
先验分布获得模块，用于采用所述第二生成网络对所述隐式信息进行处理，得到所述当前时刻下所述嵌入信息的先验分布信息；以及
第二损失确定模块，用于根据所述先验分布信息和所述后验分布信息之间的差异，确定所述链接预测模型的第二损失，
其中，所述模型训练模块还用于根据所述第二损失对所述链接预测模型进行训练。
24.根据权利要求23所述的装置，还包括：
时刻确定模块，用于针对多个时刻，确定所述多个时刻中每个时刻为所述当前时刻，所述每个时刻的在前时刻为所述历史时刻；
其中，所述第二损失确定模块包括：
差异确定子模块，用于针对所述多个时刻中的每个时刻，确定所述每个时刻下所述嵌入信息的所述先验分布信息与所述后验分布信息之间的差异，作为针对所述每个时刻的差异；以及
损失确定子模块，用于根据针对所述多个时刻的多个差异的和，确定所述链接预测模型的第二损失。
25.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1～12中任一项所述的方法。
26.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1～12中任一项所述的方法。
27.一种计算机程序产品，包括计算机程序/指令，所述计算机程序/指令在被处理器执行时实现根据权利要求1～12中任一项所述方法的步骤。
CN202210531827.XA 2022-05-13 2022-05-13 链接的预测方法、链接预测模型的训练方法和装置 Pending CN117114157A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210531827.XA CN117114157A (zh) 2022-05-13 2022-05-13 链接的预测方法、链接预测模型的训练方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210531827.XA CN117114157A (zh) 2022-05-13 2022-05-13 链接的预测方法、链接预测模型的训练方法和装置

Publications (1)

Publication Number Publication Date
CN117114157A true CN117114157A (zh) 2023-11-24

Family

ID=88798921

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210531827.XA Pending CN117114157A (zh) 2022-05-13 2022-05-13 链接的预测方法、链接预测模型的训练方法和装置

Country Status (1)

Country Link
CN (1) CN117114157A (zh)

Similar Documents

Publication Publication Date Title
WO2019034129A1 (zh) 神经网络结构的生成方法和装置、电子设备、存储介质
CN107330731B (zh) 一种识别广告位点击异常的方法和装置
US9652504B2 (en) Supervised change detection in graph streams
CN114357105B (zh) 地理预训练模型的预训练方法及模型微调方法
CN113379813A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
CN112214775A (zh) 对图数据的注入式攻击方法、装置、介质及电子设备
WO2021012263A1 (en) Systems and methods for end-to-end deep reinforcement learning based coreference resolution
WO2020173270A1 (zh) 用于分析数据的方法、设备和计算机存储介质
CN113627536A (zh) 模型训练、视频分类方法，装置，设备以及存储介质
CN115631381A (zh) 分类模型训练方法、图像分类方法、装置及电子设备
US20220207861A1 (en) Methods, devices, and computer readable storage media for image processing
CN115829058A (zh) 训练样本处理方法、跨模态匹配方法、装置、设备和介质
CN112966193B (zh) 出行意图推断方法、模型训练方法、相关装置及电子设备
US11487650B2 (en) Diagnosing anomalies detected by black-box machine learning models
CN113641829A (zh) 图神经网络的训练与知识图谱的补全方法、装置
CN114792097B (zh) 预训练模型提示向量的确定方法、装置及电子设备
CN116451700A (zh) 目标语句生成方法、装置、设备及存储介质
CN117114157A (zh) 链接的预测方法、链接预测模型的训练方法和装置
CN116152595A (zh) 模型训练方法、图像处理方法、装置、设备与介质
CN115271207A (zh) 一种基于门控图神经网络的序列关系预测方法以及装置
US9519864B1 (en) Method and system for identifying dependent components
CN113313049A (zh) 超参数的确定方法、装置、设备、存储介质以及计算机程序产品
US11012463B2 (en) Predicting condition of a host for cybersecurity applications
CN113361719A (zh) 基于图像处理模型的增量学习方法和图像处理方法
CN112990046A (zh) 差异信息获取方法、相关装置及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination