CN113139654A - 图神经网络模型的训练方法及装置 - Google Patents
图神经网络模型的训练方法及装置 Download PDFInfo
- Publication number
- CN113139654A CN113139654A CN202110291393.6A CN202110291393A CN113139654A CN 113139654 A CN113139654 A CN 113139654A CN 202110291393 A CN202110291393 A CN 202110291393A CN 113139654 A CN113139654 A CN 113139654A
- Authority
- CN
- China
- Prior art keywords
- node
- graph
- nodes
- sample
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种图神经网络模型的训练方法及装置。所述方法包括:根据网络节点和网络节点的历史交互数据,构建节点交互图;根据图节点之间的连接边权重,计算任意两个网络节点的节点相似度;根据节点相似度和网络节点构建训练样本图;对训练样本图进行采样处理得到多个样本子图;获取样本子图的负样本节点和多阶邻居节点;根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到损失值;在损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型。本公开可以在保证生成节点向量的可解释性的同时,提高生成的节点向量的质量。
Description
技术领域
本公开的实施例涉及模型训练技术领域,尤其涉及一种图神经网络模型的训练方法及装置。
背景技术
Embedding(嵌入)技术的主要目的是使机器学习到词语的分布式表示,从而达到将词语空间降维的目的。embedding的概念逐渐被扩展到其他领域,已经成为许多应用和业务(如搜索推荐等)的基础组成部分。
随着高效向量检索技术的成熟,embedding在搜索推荐等应用中扮演着越来越重要的角色。现有的embedding生成技术主要分为以下几类:
1、基于序列模型,将原始数据构造成多个item(如商家、商品等)的序列,上下文越相似的item,生成的embedding越相似;
2、基于协同过滤,将user(用户)和item按照点击关系建立二部图矩阵,矩阵分解后,得到user和item的embedding,在二部图中邻居越相似的节点的embedding越相似;
3、基于双塔模型,将user侧和item侧所有特征分别作为两个输入,分别经过多个非线性层进行特征抽取后,得到user和item的向量vu和vi。训练过程中将vu和vi的余弦距离和正例负例标签之间的差值作为损失函数。
在上述生成embedding的方法中,协同过滤和序列模型的方式,由于交互行为分布十分不均衡,热门item的学习到的embedding较好,冷门item学习到的embedding效果则较差,而往往冷门item的数量占比较大,从而限制了线上效果。而双塔模型则无法清晰的解释这两个item(如A和B)相似度的相比于另外两个item(如A和C)的相似度更大,可解释性较差。
发明内容
本公开的实施例提供一种图神经网络模型的训练方法及装置,用以在保证生成节点向量的可解释性的同时,提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
根据本公开的实施例的第一方面,提供了一种图神经网络模型的训练方法,包括:
根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点;
根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度;
根据所述节点相似度和所述网络节点,构建得到训练样本图;
对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图;
获取所述样本子图对应的负样本节点和多阶邻居节点;
根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值;
在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型;
在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行所述获取所述样本子图对应的负样本节点和多阶邻居节点,至所述根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值的步骤,直至得到目标图神经网络模型。
可选地,所述根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度,包括:
以所述用户和所述网络节点之间的交互频次作为所述用户和所述网络节点之间的连接边权重;
根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度。
可选地,所述任意两个网络节点包括第一网络节点和第二网络节点,
所述根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度,包括:
根据所述第一网络节点与所述用户之间的连接边权重,确定所述第一网络节点和所述用户对应的第一节点权重;
根据所述用户与所述第二网络节点之间的连接边权重,确定所述用户和所述第二网络节点对应的第二节点权重;
根据所述第一节点权重和所述第二节点权重,确定所述第一网络节点和所述第二网络节点的节点相似度。
可选地,所述根据所述节点相似度和所述网络节点,构建得到训练样本图,包括:
将任意两个网络节点相连接,并以所述任意两个网络节点的节点相似度作为连接权重,构建得到所述训练样本图。
可选地,所述对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图,包括:
以所述网络节点为主节点,获取所述训练样本图上与所述网络节点构成邻居节点的邻居网络节点;
根据所述网络节点和所述邻居网络节点,确定所述网络节点对应的样本子图。
可选地,所述获取所述样本子图对应的负样本节点和多阶邻居节点,包括:
根据所述样本子图中的每个图节点,从所述训练样本图上获取所述样本子图外的设定数量的第一图节点,并将所述第一图节点作为所述样本子图的负样本节点;
根据所述样本子图,确定所述样本子图中的每个图节点对应的多阶邻居节点。
可选地,所述根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值,包括:
根据所述样本子图上每个图节点对应的邻居节点之间的连接权重,确定所述每个图节点对应的第一余弦相似度;
根据所述第一余弦相似度、所述每个图节点与所述邻居节点的连接权重,确定所述每个图节点对应的第一损失值;
获取所述样本子图上每个图节点和所述负样本节点对应的第二余弦相似度;
根据所述第二余弦相似度和所述第一余弦相似度,确定所述每个图节点对应的第二损失值;
根据所述第一损失值和所述第二损失值,计算得到所述初始图神经网络模型的损失值。
可选地,在得到目标图神经网络模型之后,还包括:
获取目标网络节点和初始网络节点对应的交互数据;
根据所述交互数据,确定所述目标网络节点和所述初始网络节点对应的目标节点相似度;
根据所述目标网络节点、所述初始网络节点和所述目标节点相似度,构建得到目标网络图;
将所述目标网络图输入至所述目标图神经网络模型,以获取由所述目标图神经网络模型输出的所述目标网络节点对应的第一节点向量,及所述初始网络节点对应的第二节点向量;
获取所述第一节点向量和所述第二节点向量之间的余弦相似度;
根据所述余弦相似度,从所述初始网络节点中筛选出所述目标网络节点中的推荐网络节点。
根据本公开的实施例的第二方面,提供了一种图神经网络模型的训练装置,包括:
节点交互图构建模块,用于根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点;
节点相似度计算模块,用于根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度;
训练样本图构建模块,用于根据所述节点相似度和所述网络节点,构建得到训练样本图;
样本子图获取模块,用于对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图;
负样本节点获取模块,用于获取所述样本子图对应的负样本节点和多阶邻居节点;
损失值获取模块,用于根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值;
第一模型获取模块,用于在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型;
第二模型获取模块,用于在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行所述负样本节点获取模块和所述损失值获取模块,直至得到目标图神经网络模型。
可选地,所述节点相似度计算模块包括:
连接边权重获取单元,用于以所述用户和所述网络节点之间的交互频次作为所述用户和所述网络节点之间的连接边权重;
节点相似度计算单元,用于根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度。
可选地,所述任意两个网络节点包括第一网络节点和第二网络节点,
所述节点相似度计算单元包括:
第一节点权重确定子单元,用于根据所述第一网络节点与所述用户之间的连接边权重,确定所述第一网络节点和所述用户对应的第一节点权重;
第二节点权重确定子单元,用于根据所述用户与所述第二网络节点之间的连接边权重,确定所述用户和所述第二网络节点对应的第二节点权重;
节点相似度确定子单元,用于根据所述第一节点权重和所述第二节点权重,确定所述第一网络节点和所述第二网络节点的节点相似度。
可选地,所述训练样本图构建模块包括:
训练样本图构建单元,用于将任意两个网络节点相连接,并以所述任意两个网络节点的节点相似度作为连接权重,构建得到所述训练样本图。
可选地,所述样本子图获取模块包括:
邻居节点获取单元,用于以所述网络节点为主节点,获取所述训练样本图上与所述网络节点构成邻居节点的邻居网络节点;
样本子图确定单元,用于根据所述网络节点和所述邻居网络节点,确定所述网络节点对应的样本子图。
可选地,所述负样本节点获取模块包括:
负样本节点获取单元,用于根据所述样本子图中的每个图节点,从所述训练样本图上获取所述样本子图外的设定数量的第一图节点,并将所述第一图节点作为所述样本子图的负样本节点;
多阶邻居节点确定单元,用于根据所述样本子图,确定所述样本子图中的每个图节点对应的多阶邻居节点。
可选地,所述损失值获取模块包括:
第一相似度确定单元,用于根据所述样本子图上每个图节点对应的邻居节点之间的连接权重,确定所述每个图节点对应的第一余弦相似度;
第一损失值确定单元,用于根据所述第一余弦相似度、所述每个图节点与所述邻居节点的连接权重,确定所述每个图节点对应的第一损失值;
第二相似度获取单元,用于获取所述样本子图上每个图节点和所述负样本节点对应的第二余弦相似度;
第二损失值确定单元,用于根据所述第二余弦相似度和所述第一余弦相似度,确定所述每个图节点对应的第二损失值;
损失值计算单元,用于根据所述第一损失值和所述第二损失值,计算得到所述初始图神经网络模型的损失值。
可选地,所述装置还包括:
交互数据获取模块,用于获取目标网络节点和初始网络节点对应的交互数据;
目标相似度确定模块,用于根据所述交互数据,确定所述目标网络节点和所述初始网络节点对应的目标节点相似度;
目标网络图构建模块,用于根据所述目标网络节点、所述初始网络节点和所述目标节点相似度,构建得到目标网络图;
节点向量获取模块,用于将所述目标网络图输入至所述目标图神经网络模型,以获取由所述目标图神经网络模型输出的所述目标网络节点对应的第一节点向量,及所述初始网络节点对应的第二节点向量;
余弦相似度获取模块,用于获取所述第一节点向量和所述第二节点向量之间的余弦相似度;
推荐网络节点筛选模块,用于根据所述余弦相似度,从所述初始网络节点中筛选出所述目标网络节点中的推荐网络节点。
根据本公开的实施例的第三方面,提供了一种电子设备,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现上述任一项所述的图神经网络模型的训练方法。
根据本公开的实施例的第四方面,提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行方法上述任一项所述的图神经网络模型的训练方法。
本公开的实施例提供了一种图神经网络模型的训练方法及装置。通过根据网络节点和网络节点对应的历史交互数据,构建节点交互图,节点交互图中以网络节点和网络节点对应的用户作为图节点,根据图节点之间的连接边权重,计算节点交互图中任意两个网络节点之间的节点相似度,根据节点相似度和网络节点,构建得到训练样本图,对训练样本图进行采样处理,得到多个以网络节点为主节点的样本子图,获取样本子图对应的负样本节点和多阶邻居节点,根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到所始图神经网络模型的损失值,在损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型,在损失值不处于预设范围内的情况下,根据损失值调整初始图神经网络模型的模型参数,并迭代执行获取所述样本子图对应的负样本节点和多阶邻居节点,至根据所述样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到初始图神经网络模型的损失值的步骤,直至得到目标图神经网络模型。本公开的实施例最终生成的节点向量是以相似度为指导,相似度又以交互行为为指导,因此可以清楚的解释两个节点的相似度大小关系,且可以提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
附图说明
为了更清楚地说明本公开的实施例的技术方案,下面将对本公开的实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本公开的实施例提供的一种图神经网络模型的训练方法的步骤流程图;
图2为本公开的实施例提供的另一种图神经网络模型的训练方法的步骤流程图;
图3为本公开的实施例提供的一种网络节点和用户的交互数据的示意图;
图4为本公开的实施例提供的一种构建的训练样本图的示意图;
图5为本公开的实施例提供的一种图神经网络模型的训练装置的结构示意图;
图6为本公开的实施例提供的另一种图神经网络模型的训练装置的结构示意图。
具体实施方式
下面将结合本公开的实施例中的附图,对本公开的实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开的实施例一部分实施例,而不是全部的实施例。基于本公开的实施例中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开的实施例保护的范围。
实施例一
参照图1,示出了本公开的实施例提供的一种图神经网络模型的训练方法的步骤流程图,如图1所示,该训练方法具体可以包括如下步骤:
步骤101:根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点。
本公开的实施例可以应用于结合相似度对图神经网络模型进行训练的场景中。
在本实施例中,网络节点可以为商品、商家等,具体地,可以根据业务需求而定,本实施例对此不加以限制。
当然,在进行模型训练时,后续构建的训练杨本图应当是以同一类型的网络节点构建得到的,例如,同为商品,或同为商家等。
历史交互数据是指网络节点对应的交互数据,例如,用户点击网络节点形成的数据,或用户购买网络节点形成的数据等。
节点交互图是指结合用户与网络节点之间的关联关系,建立的图谱,例如,如图3所示,用户包括:u1、u2、...、u5,网络节点为商品,分别为“德克士”、“麦当劳”、“肯德基”等,在用户购买或点击过相应商品时,可以将用户与购买或点击过的商品相连接,从而可以构建得到初始节点交互图。在节点交互图中用户和网络节点均为图节点,并以用户点击网络节点的频次作为连接边权重,在初始节点图中显示连接边权重,从而可以得到节点交互图。
在根据网络节点和网络节点对应的历史交互数据构建得到节点交互图之后,执行步骤102。
步骤102:根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度。
节点相似度是指结合连接边权重计算得到的节点交互图上的任意两个网络节点之间的相似度。
在根据网络节点和网络节点对应的历史交互数据构建得到节点交互图之后,可以根据图节点之间的连接边权重计算得到节点交互图中任意两个网络节点之间的节点相似度。
对于计算节点相似度的过程可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现方式中,上述步骤102可以包括:
子步骤A1:以所述用户和所述网络节点之间的交互频次作为所述用户和所述网络节点之间的连接边权重。
在本实施例中,可以以用户和网络节点之间的交互频率作为用户和网络节点之间的连接边权重。
子步骤A2:根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度。
在得到网络节点和用户之间的连接边权重之后,可以根据连接边权重、用户和网络节点计算得到节点相似度,具体地,可以结合图3进行如下描述。
具体地,可以结合下述具体实现方式进行详细描述。
在本公开的另一种具体实现方式中,所述任意两个网络节点包括第一网络节点和第二网络节点,上述子步骤A2可以包括:
子步骤B1:根据所述第一网络节点与所述用户之间的连接边权重,确定所述第一网络节点和所述用户对应的第一节点权重。
在本实施例中,第一节点权重是指计算得到的第一网络节点和用户之间的节点权重,在获取到第一网络节点与用户之间的连接边权重之后,可以根据该连接边权重计算得到第一网络节点和用户对应的第一节点权重,具体地计算方式可以如下述示例的描述。
子步骤B2:根据所述用户与所述第二网络节点之间的连接边权重,确定所述用户和所述第二网络节点对应的第二节点权重。
第二节点权重是指计算得到的第二网络节点和用户之间的节点权重,在获取到第二网络节点与用户之间的连接边权重之后,可以根据该连接边权重计算得到第二网络节点和用户对应的第二节点权重,具体地计算方式可以如下述示例的描述。
子步骤B3:根据所述第一节点权重和所述第二节点权重,确定所述第一网络节点和所述第二网络节点的节点相似度。
在得到第一节点权重和第二节点权重之后,可以结合第一节点权重和第二节点权重确定出第一网络节点和第二网络节点的节点相似度,如图3所示,以item1(德克士)-item2(麦当劳)为例,可以分如下三个步骤计算item1和item2之间的节点相似度:1、对item1和item2进行分数归一化处理,item1-u1(即item)的权重=item1-u1的权重/item1的权重和;u1-item2的权重=u1-item2的权重/item2的权重和;2、计算单条路径的分数,Item1-u1-item2的权重=Item1-u1的权重*u1-item2的权重;3、计算总分数,加和所有单条路径(item1-u1-item2/item1-u2-item2/item1-u3-item2)的和,即为item1-item2的节点相似度。
在根据图节点之间的连接边权重计算得到节点交互图中任意两个网络节点之间的节点相似度之后,执行步骤103。
步骤103:根据所述节点相似度和所述网络节点,构建得到训练样本图。
训练样本图是指以网络节点作为图节点,并以节点相似度作为连接边的权重,构建得到的图。
在根据图节点之间的连接边权重计算得到节点交互图中任意两个网络节点之间的节点相似度之后,则可以根据节点相似度和网络节点构建得到训练样本图,具体地,可以将任意两个网络节点相连接,并以任意两个网路节点的节点相似度作为连接权重,以构建得到训练样本图,例如,如图4所示,POI1、POI2、...、POI12均为网络节点,可以将这12个网络节点任意两个相连接,并以上述步骤计算得到的节点相似度作为连接边的连接权重,从而可以得到训练样本图。
在根据节点相似度和网络节点构建得到训练样本图之后,执行步骤104。
步骤104:对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图。
样本子图是指根据训练样本图中的任意一个图节点作为中心节点,然后采集与该中心节点关联的设定数量的图节点得到的子图。
在根据节点相似度和网络节点构建得到训练样本图之后,可以对训练样本图进行采样处理,以得到多个以网络节点为主节点的样本子图,具体地,在进行采样时,可以以单个网络节点作为主节点,并从训练样本图上获取与该网络节点构成邻居节点的邻居网络节点,并根据该网络节点和该网络节点对应的邻居网络节点得到该网络节点对应的样本子图。
在具体实现中,可以预先设置一个固定数目,在以某个网络节点为主节点进行采样时,首先,判断该节点网络图上与该网络节点形成邻居网络节点的数量,在邻居网络节点的数目小于或者等于该固定数目时,则对该网络节点的邻居网络节点进行全部采样,以得到该网络节点对应的样本子图。而在邻居网络节点的数目大于该固定数目时,则从该网络节点对应的邻居网络节点中随机采取固定数目的邻居网络节点,以得到该网络节点对应的样本子图。
在对训练样本图进行采样处理得到多个以网络节点为主节点的样本子图之后,执行步骤105。
步骤105:获取所述样本子图对应的负样本节点和多阶邻居节点。
负样本节点是指从训练样本图中筛选的除样本子图上的图节点之外的其它节点。
多阶邻居节点是指样本子图上的与每个图节点形成邻居关系的节点,例如,A与B连接,B与C连接,且A与C不连接,此时,B为A的一阶邻居节点,而C为A的二阶邻居节点。
在得到多个样本子图之后,可以获取样本子图对应的负样本节点和多阶邻居节点,具体地,可以结合下述具体实现方式进行详细描述。
在本公开的另一种具体实现方式中,上述步骤105可以包括:
子步骤C1:根据所述样本子图中的每个图节点,从所述训练样本图上获取所述样本子图外的设定数量的第一图节点,并将所述第一图节点作为所述样本子图的负样本节点。
在本公开的实施例中,第一图节点是指训练样本图上除样本子图上的图节点外的随机选择的设定数量的图节点。
在获取到样本子图之后,可以从训练样本图上获取样本子图外的设定数量的第一图节点,并将第一图节点作为样本子图的负样本节点。对于设定数量的具体数值可以根据业务需求而定,本实施例对此不加以限制。
子步骤C2:根据所述样本子图,确定所述样本子图中的每个图节点对应的多阶邻居节点。
在获取到样本子图之后,可以根据样本子图确定出样本子图中的每个图节点对应的多阶邻居节点。
在获取样本子图对应的负样本节点和多阶邻居节点之后,执行步骤106。
步骤106:根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值。
在获取样本子图对应的负样本节点和多阶邻居节点之后,可以根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,以得到初始图神经网络模型的损失值,具体地,可以结合下述具体实现方式进行详细描述。
在本公开的另一种具体实现方式中,上述步骤106之后,还可以包括:
子步骤D1:根据所述样本子图上每个图节点对应的邻居节点之间的连接权重,确定所述每个图节点对应的第一余弦相似度。
在本实施例中,第一余弦相似度是指样本子图上每个图节点与其对应的邻居节点之间的相似度。
在获取到样本子图之后,可以根据样本子图上每个图节点对应的邻居节点之间的连接权重,确定每个图节点对应的第一余弦相似度,具体地,可以将样本子图中的每个图节点作为中心节点,采样其一阶和/或多阶邻居节点和边的权重(item-item相似度),即连接权重。然后,根据连接权重计算图节点与每个邻居节点对应的相似度,即第一余弦相似度。
在获取到第一余弦相似度之后,执行子步骤D2。
子步骤D2:根据所述第一余弦相似度、所述每个图节点与所述邻居节点的连接权重,确定所述每个图节点对应的第一损失值。
在获取第一余弦相似度之后,可以根据第一余弦相似度、每个图节点与邻居节点的连接权重,确定每个图节点对应的第一损失值,具体地,计算每个中心节点和它所有邻居节点的emb的余弦相似度(正相似度),计算相似度和边权重的ListNet loss,多个中心节点的ListNet loss取平均,即可得到第一损失值。
子步骤D3:获取所述样本子图上每个图节点和所述负样本节点对应的第二余弦相似度。
第二余弦相似度是指样本子图上每个图节点和负样本节点之间的余弦相似度、
在获取样本子图对应的负样本节点之后,可以计算得到样本子图上每个图节点与负样本节点之间的余弦相似度,即第二余弦相似度。
子步骤D4:根据所述第二余弦相似度和所述第一余弦相似度,确定所述每个图节点对应的第二损失值。
第二损失值是指结合第一余弦相似度和第二余弦相似度计算得到的损失值。
在上述子步骤中,计算得到第一余弦相似度和第二余弦相似度之后,可以根据第一余弦相似度和第二余弦相似度计算得到第二损失值,具体地,计算每个中心节点和所有共享负样本节点的emb的余弦相似度(负相似度),计算负相似度(即第二余弦相似度)和正相似度(即第一余弦相似度)的max-margin loss,多个中心节点的max-margin loss取平均,即可得到第二损失值。
在计算得到第一损失值和第二损失值之后,执行子步骤D5。
子步骤D5:根据所述第一损失值和所述第二损失值,计算得到所述初始图神经网络模型的损失值。
在计算得到第一损失值和第二损失值之后,可以根据第一损失值和第二损失值计算得到初始图神经网络模型的损失值,具体地,可以对第一损失值和第二损失值进行加权求和,以得到最终的损失值。
在得到初始图神经网络模型的损失值之后,可以执行步骤107,或者,执行步骤108。
步骤107:在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型。
步骤108:在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行步骤105和步骤106,直至得到目标图神经网络模型。
预设范围是指由业务人员预先设定的用于判定训练的图神经网络模型是否满足业务需求的数值范围,对于预设范围的具体数值可以根据业务需求而定,本实施例对此不加以限制。
在得到初始图神经网络模型的损失值之后,可以判断该损失值是否该损失值是否处于预设范围内。
若该损失值处于预设范围内,则将训练后的初始图神经网络模型作为目标图神经网络模型,该目标图神经网络模型可以用于后续的节点相似度的预测过程。
若该损失值不处于预设范围内,则根据损失值调整初始图神经网络模型的模型参数,并迭代执行步骤105至步骤106,直至损失值处于预设范围内,进而可以得到目标图神经网络模型。
本公开的实施例最终生成的节点向量是以相似度为指导,相似度又以交互行为为指导,因此可以清楚的解释两个节点的相似度大小关系,且可以提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
本公开的实施例提供的图神经网络模型的训练方法,通过根据网络节点和网络节点对应的历史交互数据,构建节点交互图,节点交互图中以网络节点和网络节点对应的用户作为图节点,根据图节点之间的连接边权重,计算节点交互图中任意两个网络节点之间的节点相似度,根据节点相似度和网络节点,构建得到训练样本图,对训练样本图进行采样处理,得到多个以网络节点为主节点的样本子图,获取样本子图对应的负样本节点和多阶邻居节点,根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到所始图神经网络模型的损失值,在损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型,在损失值不处于预设范围内的情况下,根据损失值调整初始图神经网络模型的模型参数,并迭代执行获取所述样本子图对应的负样本节点和多阶邻居节点,至根据所述样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到初始图神经网络模型的损失值的步骤,直至得到目标图神经网络模型。本公开的实施例最终生成的节点向量是以相似度为指导,相似度又以交互行为为指导,因此可以清楚的解释两个节点的相似度大小关系,且可以提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
实施例二
参照图2,示出了本公开的实施例提供的另一种图神经网络模型的训练方法的步骤流程图,如图2所示,该训练方法具体可以包括如下步骤:
步骤201:根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点。
本公开的实施例可以应用于结合相似度对图神经网络模型进行训练的场景中。
在本实施例中,网络节点可以为商品、商家等,具体地,可以根据业务需求而定,本实施例对此不加以限制。
当然,在进行模型训练时,后续构建的训练杨本图应当是以同一类型的网络节点构建得到的,例如,同为商品,或同为商家等。
历史交互数据是指网络节点对应的交互数据,例如,用户点击网络节点形成的数据,或用户购买网络节点形成的数据等。
节点交互图是指结合用户与网络节点之间的关联关系,建立的图谱,例如,如图3所示,用户包括:u1、u2、...、u5,网络节点为商品,分别为“德克士”、“麦当劳”、“肯德基”等,在用户购买或点击过相应商品时,可以将用户与购买或点击过的商品相连接,从而可以构建得到初始节点交互图。在节点交互图中用户和网络节点均为图节点,并以用户点击网络节点的频次作为连接边权重,在初始节点图中显示连接边权重,从而可以得到节点交互图。
在根据网络节点和网络节点对应的历史交互数据构建得到节点交互图之后,执行步骤202。
步骤202:根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度。
节点相似度是指结合连接边权重计算得到的节点交互图上的任意两个网络节点之间的相似度。
在根据网络节点和网络节点对应的历史交互数据构建得到节点交互图之后,可以根据图节点之间的连接边权重计算得到节点交互图中任意两个网络节点之间的节点相似度。
对于计算节点相似度的过程可以结合下述具体实现方式进行详细描述。
在本公开的一种具体实现方式中,上述步骤202可以包括:
子步骤E1:以所述用户和所述网络节点之间的交互频次作为所述用户和所述网络节点之间的连接边权重。
在本实施例中,可以以用户和网络节点之间的交互频率作为用户和网络节点之间的连接边权重。
子步骤E2:根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度。
在得到网络节点和用户之间的连接边权重之后,可以根据连接边权重、用户和网络节点计算得到节点相似度,具体地,可以结合图3进行如下描述。
具体地,可以结合下述具体实现方式进行详细描述。
在本公开的另一种具体实现方式中,所述任意两个网络节点包括第一网络节点和第二网络节点,上述子步骤E2可以包括:
子步骤F1:根据所述第一网络节点与所述用户之间的连接边权重,确定所述第一网络节点和所述用户对应的第一节点权重。
在本实施例中,第一节点权重是指计算得到的第一网络节点和用户之间的节点权重,在获取到第一网络节点与用户之间的连接边权重之后,可以根据该连接边权重计算得到第一网络节点和用户对应的第一节点权重,具体地计算方式可以如下述示例的描述。
子步骤F2:根据所述用户与所述第二网络节点之间的连接边权重,确定所述用户和所述第二网络节点对应的第二节点权重。
第二节点权重是指计算得到的第二网络节点和用户之间的节点权重,在获取到第二网络节点与用户之间的连接边权重之后,可以根据该连接边权重计算得到第二网络节点和用户对应的第二节点权重,具体地计算方式可以如下述示例的描述。
子步骤F3:根据所述第一节点权重和所述第二节点权重,确定所述第一网络节点和所述第二网络节点的节点相似度。
在得到第一节点权重和第二节点权重之后,可以结合第一节点权重和第二节点权重确定出第一网络节点和第二网络节点的节点相似度,如图3所示,以item1(德克士)-item2(麦当劳)为例,可以分如下三个步骤计算item1和item2之间的节点相似度:1、对item1和item2进行分数归一化处理,item1-u1(即item)的权重=item1-u1的权重/item1的权重和;u1-item2的权重=u1-item2的权重/item2的权重和;2、计算单条路径的分数,Item1-u1-item2的权重=Item1-u1的权重*u1-item2的权重;3、计算总分数,加和所有单条路径(item1-u1-item2/item1-u2-item2/item1-u3-item2)的和,即为item1-item2的节点相似度。
在根据图节点之间的连接边权重计算得到节点交互图中任意两个网络节点之间的节点相似度之后,执行步骤203。
步骤203:根据所述节点相似度和所述网络节点,构建得到训练样本图。
训练样本图是指以网络节点作为图节点,并以节点相似度作为连接边的权重,构建得到的图。
在根据图节点之间的连接边权重计算得到节点交互图中任意两个网络节点之间的节点相似度之后,则可以根据节点相似度和网络节点构建得到训练样本图,具体地,可以将任意两个网络节点相连接,并以任意两个网路节点的节点相似度作为连接权重,以构建得到训练样本图,例如,如图4所示,POI1、POI2、...、POI12均为网络节点,可以将这12个网络节点任意两个相连接,并以上述步骤计算得到的节点相似度作为连接边的连接权重,从而可以得到训练样本图。
步骤204:对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图。
样本子图是指根据训练样本图中的任意一个图节点作为中心节点,然后采集与该中心节点关联的设定数量的图节点得到的子图。
在根据节点相似度和网络节点构建得到训练样本图之后,可以对训练样本图进行采样处理,以得到多个以网络节点为主节点的样本子图,具体地,在进行采样时,可以以单个网络节点作为主节点,并从训练样本图上获取与该网络节点构成邻居节点的邻居网络节点,并根据该网络节点和该网络节点对应的邻居网络节点得到该网络节点对应的样本子图。
在具体实现中,可以预先设置一个固定数目,在以某个网络节点为主节点进行采样时,首先,判断该节点网络图上与该网络节点形成邻居网络节点的数量,在邻居网络节点的数目小于或者等于该固定数目时,则对该网络节点的邻居网络节点进行全部采样,以得到该网络节点对应的样本子图。而在邻居网络节点的数目大于该固定数目时,则从该网络节点对应的邻居网络节点中随机采取固定数目的邻居网络节点,以得到该网络节点对应的样本子图。
在对训练样本图进行采样处理得到多个以网络节点为主节点的样本子图之后,执行步骤205。
步骤205:获取所述样本子图对应的负样本节点和多阶邻居节点。
负样本节点是指从训练样本图中筛选的除样本子图上的图节点之外的其它节点。
多阶邻居节点是指样本子图上的与每个图节点形成邻居关系的节点,例如,A与B连接,B与C连接,且A与C不连接,此时,B为A的一阶邻居节点,而C为A的二阶邻居节点。
在得到多个样本子图之后,可以获取样本子图对应的负样本节点和多阶邻居节点,具体地,可以结合下述具体实现方式进行详细描述。
在本公开的另一种具体实现方式中,上述步骤205可以包括:
子步骤G1:根据所述样本子图中的每个图节点,从所述训练样本图上获取所述样本子图外的设定数量的第一图节点,并将所述第一图节点作为所述样本子图的负样本节点。
在本公开的实施例中,第一图节点是指训练样本图上除样本子图上的图节点外的随机选择的设定数量的图节点。
在获取到样本子图之后,可以从训练样本图上获取样本子图外的设定数量的第一图节点,并将第一图节点作为样本子图的负样本节点。对于设定数量的具体数值可以根据业务需求而定,本实施例对此不加以限制。
子步骤G2:根据所述样本子图,确定所述样本子图中的每个图节点对应的多阶邻居节点。
在获取到样本子图之后,可以根据样本子图确定出样本子图中的每个图节点对应的多阶邻居节点。
在获取样本子图对应的负样本节点和多阶邻居节点之后,执行步骤206。
步骤206:根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值。
在获取样本子图对应的负样本节点和多阶邻居节点之后,可以根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,以得到初始图神经网络模型的损失值,具体地,可以结合下述具体实现方式进行详细描述。
在本公开的另一种具体实现方式中,上述步骤206之后,还可以包括:
子步骤H1:根据所述样本子图上每个图节点对应的邻居节点之间的连接权重,确定所述每个图节点对应的第一余弦相似度。
在本实施例中,第一余弦相似度是指样本子图上每个图节点与其对应的邻居节点之间的相似度。
在获取到样本子图之后,可以根据样本子图上每个图节点对应的邻居节点之间的连接权重,确定每个图节点对应的第一余弦相似度,具体地,可以将样本子图中的每个图节点作为中心节点,采样其一阶和/或多阶邻居节点和边的权重(item-item相似度),即连接权重。然后,根据连接权重计算图节点与每个邻居节点对应的相似度,即第一余弦相似度。
在获取到第一余弦相似度之后,执行子步骤H2。
子步骤H2:根据所述第一余弦相似度、所述每个图节点与所述邻居节点的连接权重,确定所述每个图节点对应的第一损失值。
在获取第一余弦相似度之后,可以根据第一余弦相似度、每个图节点与邻居节点的连接权重,确定每个图节点对应的第一损失值,具体地,计算每个中心节点和它所有邻居节点的emb的余弦相似度(正相似度),计算相似度和边权重的ListNet loss,多个中心节点的ListNet loss取平均,即可得到第一损失值。
子步骤H3:获取所述样本子图上每个图节点和所述负样本节点对应的第二余弦相似度。
第二余弦相似度是指样本子图上每个图节点和负样本节点之间的余弦相似度、
在获取样本子图对应的负样本节点之后,可以计算得到样本子图上每个图节点与负样本节点之间的余弦相似度,即第二余弦相似度。
子步骤H4:根据所述第二余弦相似度和所述第一余弦相似度,确定所述每个图节点对应的第二损失值。
第二损失值是指结合第一余弦相似度和第二余弦相似度计算得到的损失值。
在上述子步骤中,计算得到第一余弦相似度和第二余弦相似度之后,可以根据第一余弦相似度和第二余弦相似度计算得到第二损失值,具体地,计算每个中心节点和所有共享负样本节点的emb的余弦相似度(负相似度),计算负相似度(即第二余弦相似度)和正相似度(即第一余弦相似度)的max-margin loss,多个中心节点的max-margin loss取平均,即可得到第二损失值。
在计算得到第一损失值和第二损失值之后,执行子步骤H5。
子步骤H5:根据所述第一损失值和所述第二损失值,计算得到所述初始图神经网络模型的损失值。
在计算得到第一损失值和第二损失值之后,可以根据第一损失值和第二损失值计算得到初始图神经网络模型的损失值,具体地,可以对第一损失值和第二损失值进行加权求和,以得到最终的损失值。
在得到初始图神经网络模型的损失值之后,可以执行步骤207,或者,执行步骤208。
步骤207:在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型。
步骤208:在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行步骤205和步骤206,直至得到目标图神经网络模型。
预设范围是指由业务人员预先设定的用于判定训练的图神经网络模型是否满足业务需求的数值范围,对于预设范围的具体数值可以根据业务需求而定,本实施例对此不加以限制。
在得到初始图神经网络模型的损失值之后,可以判断该损失值是否该损失值是否处于预设范围内。
若该损失值处于预设范围内,则将训练后的初始图神经网络模型作为目标图神经网络模型,该目标图神经网络模型可以用于后续的节点相似度的预测过程。
若该损失值不处于预设范围内,则根据损失值调整初始图神经网络模型的模型参数,并迭代执行步骤205至步骤206,直至损失值处于预设范围内,进而可以得到目标图神经网络模型。
本公开的实施例最终生成的节点向量是以相似度为指导,相似度又以交互行为为指导,因此可以清楚的解释两个节点的相似度大小关系,且可以提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
步骤209:获取目标网络节点和初始网络节点对应的交互数据。
目标网络节点是指需要进行相似网络节点推荐的网络节点。
初始网络节点是指获取的用于筛选推荐网络节点的网络节点。
在需要对目标网络节点进行相似网络节点的推荐时,可以获取与目标网络节点对应的初始网络节点,并获取目标网络节点和初始网络节点分别对应的交互数据,如用户点击、购买等目标网络节点和/或初始网络节点的行为数据等。
在获取目标网络节点和初始网络节点对应的交互数据之后,执行步骤210。
步骤210:根据所述交互数据,确定所述目标网络节点和所述初始网络节点对应的目标节点相似度。
目标节点相似度是指计算得到的目标网络节点和初始网络节点之间的节点相似度。
在获取目标网络节点和初始网络节点对应的交互数据之后,可以根据交互数据确定出目标网络节点和初始网络节点对应的目标节点相似度。具体地计算过程可以如上述步骤202的描述,本实施例在此不再加以详细描述。
在根据交互数据确定出目标网络节点和初始网络节点对应的目标节点相似度之后,执行步骤211。
步骤211:根据所述目标网络节点、所述初始网络节点和所述目标节点相似度,构建得到目标网络图。
目标网络图是指以目标网络节点和初始网络节点作为图节点,并以目标节点相似度作为连接边权重,构建的图。
在根据交互数据确定出目标网络节点和初始网络节点对应的目标节点相似度之后,可以根据目标网络节点、初始网络节点和目标节点相似度构建得到目标网络图。
在根据目标网络节点、初始网络节点和目标节点相似度构建得到目标网络图之后,执行步骤212。
步骤212:将所述目标网络图输入至所述目标图神经网络模型,以获取由所述目标图神经网络模型输出的所述目标网络节点对应的第一节点向量,及所述初始网络节点对应的第二节点向量。
第一节点向量是指由目标图神经网络模型输出的目标网络节点的节点向量。
第二节点向量是指由目标图神经网络模型输出的初始网络节点的节点向量。
在构建得到目标网络图之后,可以将目标网络图输入至目标图神经网络模型,以获取由目标图神经网络模型输出的目标网络节点对应的第一节点向量和初始网络节点对应的第二节点向量。具体地,可以对目标网络图进行采样,以得到多个子图,结合子图去计算目标网络节点的节点向量和初始网络节点的节点向量。
在获取到第一节点向量和第二节点向量之后,执行步骤213。
步骤213:获取所述第一节点向量和所述第二节点向量之间的余弦相似度。
在获取到第一节点向量和第二节点向量之后,可以计算第一节点向量和第二节点向量之间的余弦相似度,进而,执行步骤214。
步骤214:根据所述余弦相似度,从所述初始网络节点中筛选出所述目标网络节点中的推荐网络节点。
在获取到第一节点向量和第二节点向量之间的余弦相似度之后,可以根据余弦相似度从初始网络节点中筛选出目标网络节点中的推荐网络节点,具体地,可以按照余弦相似度由大到小的顺序对初始网络节点进行排序,并筛选出排序在前N(N为大于等于1的正整数)位的初始网络节点作为推荐网络节点。
本公开的实施例提供的图神经网络模型的训练方法,通过根据网络节点和网络节点对应的历史交互数据,构建节点交互图,节点交互图中以网络节点和网络节点对应的用户作为图节点,根据图节点之间的连接边权重,计算节点交互图中任意两个网络节点之间的节点相似度,根据节点相似度和网络节点,构建得到训练样本图,对训练样本图进行采样处理,得到多个以网络节点为主节点的样本子图,获取样本子图对应的负样本节点和多阶邻居节点,根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到所始图神经网络模型的损失值,在损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型,在损失值不处于预设范围内的情况下,根据损失值调整初始图神经网络模型的模型参数,并迭代执行获取所述样本子图对应的负样本节点和多阶邻居节点,至根据所述样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到初始图神经网络模型的损失值的步骤,直至得到目标图神经网络模型。本公开的实施例最终生成的节点向量是以相似度为指导,相似度又以交互行为为指导,因此可以清楚的解释两个节点的相似度大小关系,且可以提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
实施例三
参照图5,示出了本公开的实施例提供的一种图神经网络模型的训练装置的结构示意图,如图5所示,该训练装置具体可以包括如下模块:
节点交互图构建模块310,用于根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点;
节点相似度计算模块320,用于根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度;
训练样本图构建模块330,用于根据所述节点相似度和所述网络节点,构建得到训练样本图;
样本子图获取模块340,用于对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图;
负样本节点获取模块350,用于获取所述样本子图对应的负样本节点和多阶邻居节点;
损失值获取模块360,用于根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值;
第一模型获取模块370,用于在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型;
第二模型获取模块380,用于在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行所述负样本节点获取模块和所述损失值获取模块,直至得到目标图神经网络模型。
本公开的实施例提供的图神经网络模型的训练装置,通过根据网络节点和网络节点对应的历史交互数据,构建节点交互图,节点交互图中以网络节点和网络节点对应的用户作为图节点,根据图节点之间的连接边权重,计算节点交互图中任意两个网络节点之间的节点相似度,根据节点相似度和网络节点,构建得到训练样本图,对训练样本图进行采样处理,得到多个以网络节点为主节点的样本子图,获取样本子图对应的负样本节点和多阶邻居节点,根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到所始图神经网络模型的损失值,在损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型,在损失值不处于预设范围内的情况下,根据损失值调整初始图神经网络模型的模型参数,并迭代执行获取所述样本子图对应的负样本节点和多阶邻居节点,至根据所述样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到初始图神经网络模型的损失值的步骤,直至得到目标图神经网络模型。本公开的实施例最终生成的节点向量是以相似度为指导,相似度又以交互行为为指导,因此可以清楚的解释两个节点的相似度大小关系,且可以提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
实施例四
参照图6,示出了本公开的实施例提供的另一种图神经网络模型的训练装置的结构示意图,如图6所示,该训练装置具体可以包括如下模块:
节点交互图构建模块410,用于根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点;
节点相似度计算模块420,用于根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度;
训练样本图构建模块430,用于根据所述节点相似度和所述网络节点,构建得到训练样本图;
样本子图获取模块440,用于对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图;
负样本节点获取模块450,用于获取所述样本子图对应的负样本节点和多阶邻居节点;
损失值获取模块460,用于根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值;
第一模型获取模块470,用于在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型;
第二模型获取模块480,用于在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行所述负样本节点获取模块和所述损失值获取模块,直至得到目标图神经网络模型;
交互数据获取模块490,用于获取目标网络节点和初始网络节点对应的交互数据;
目标相似度确定模块4100,用于根据所述交互数据,确定所述目标网络节点和所述初始网络节点对应的目标节点相似度;
目标网络图构建模块4110,用于根据所述目标网络节点、所述初始网络节点和所述目标节点相似度,构建得到目标网络图;
节点向量获取模块4120,用于将所述目标网络图输入至所述目标图神经网络模型,以获取由所述目标图神经网络模型输出的所述目标网络节点对应的第一节点向量,及所述初始网络节点对应的第二节点向量;
余弦相似度获取模块4130,用于获取所述第一节点向量和所述第二节点向量之间的余弦相似度;
推荐网络节点筛选模块4140,用于根据所述余弦相似度,从所述初始网络节点中筛选出所述目标网络节点中的推荐网络节点。
可选地,所述节点相似度计算模块包括:
连接边权重获取单元,用于以所述用户和所述网络节点之间的交互频次作为所述用户和所述网络节点之间的连接边权重;
节点相似度计算单元,用于根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度。
可选地,所述任意两个网络节点包括第一网络节点和第二网络节点,
所述节点相似度计算单元包括:
第一节点权重确定子单元,用于根据所述第一网络节点与所述用户之间的连接边权重,确定所述第一网络节点和所述用户对应的第一节点权重;
第二节点权重确定子单元,用于根据所述用户与所述第二网络节点之间的连接边权重,确定所述用户和所述第二网络节点对应的第二节点权重;
节点相似度确定子单元,用于根据所述第一节点权重和所述第二节点权重,确定所述第一网络节点和所述第二网络节点的节点相似度。
可选地,所述训练样本图构建模块包括:
训练样本图构建单元,用于将任意两个网络节点相连接,并以所述任意两个网络节点的节点相似度作为连接权重,构建得到所述训练样本图。
可选地,所述样本子图获取模块包括:
邻居节点获取单元,用于以所述网络节点为主节点,获取所述训练样本图上与所述网络节点构成邻居节点的邻居网络节点;
样本子图确定单元,用于根据所述网络节点和所述邻居网络节点,确定所述网络节点对应的样本子图。
可选地,所述负样本节点获取模块包括:
负样本节点获取单元,用于根据所述样本子图中的每个图节点,从所述训练样本图上获取所述样本子图外的设定数量的第一图节点,并将所述第一图节点作为所述样本子图的负样本节点;
多阶邻居节点确定单元,用于根据所述样本子图,确定所述样本子图中的每个图节点对应的多阶邻居节点。
可选地,所述损失值获取模块包括:
第一相似度确定单元,用于根据所述样本子图上每个图节点对应的邻居节点之间的连接权重,确定所述每个图节点对应的第一余弦相似度;
第一损失值确定单元,用于根据所述第一余弦相似度、所述每个图节点与所述邻居节点的连接权重,确定所述每个图节点对应的第一损失值;
第二相似度获取单元,用于获取所述样本子图上每个图节点和所述负样本节点对应的第二余弦相似度;
第二损失值确定单元,用于根据所述第二余弦相似度和所述第一余弦相似度,确定所述每个图节点对应的第二损失值;
损失值计算单元,用于根据所述第一损失值和所述第二损失值,计算得到所述初始图神经网络模型的损失值。
本公开的实施例提供的图神经网络模型的训练装置,通过根据网络节点和网络节点对应的历史交互数据,构建节点交互图,节点交互图中以网络节点和网络节点对应的用户作为图节点,根据图节点之间的连接边权重,计算节点交互图中任意两个网络节点之间的节点相似度,根据节点相似度和网络节点,构建得到训练样本图,对训练样本图进行采样处理,得到多个以网络节点为主节点的样本子图,获取样本子图对应的负样本节点和多阶邻居节点,根据样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到所始图神经网络模型的损失值,在损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型,在损失值不处于预设范围内的情况下,根据损失值调整初始图神经网络模型的模型参数,并迭代执行获取所述样本子图对应的负样本节点和多阶邻居节点,至根据所述样本子图、负样本节点和多阶邻居节点对初始图神经网络模型进行训练,得到初始图神经网络模型的损失值的步骤,直至得到目标图神经网络模型。本公开的实施例最终生成的节点向量是以相似度为指导,相似度又以交互行为为指导,因此可以清楚的解释两个节点的相似度大小关系,且可以提高生成的节点向量的质量,从而提升下游相似性等任务的效果。
本公开的实施例还提供了一种电子设备,包括:处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现前述实施例的图神经网络模型的训练方法。
本公开的实施例还提供了一种可读存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行前述实施例的图神经网络模型的训练方法。
对于装置实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本公开的实施例也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本公开的实施例的内容,并且上面对特定语言所做的描述是为了披露本公开的实施例的最佳实施方式。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本公开的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本公开的示例性实施例的描述中,本公开的实施例的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本公开的实施例要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本公开的实施例的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
本公开的实施例的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本公开的实施例的动态图片的生成设备中的一些或者全部部件的一些或者全部功能。本公开的实施例还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。这样的实现本公开的实施例的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本公开的实施例进行说明而不是对本公开的实施例进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本公开的实施例可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上所述仅为本公开的实施例的较佳实施例而已,并不用以限制本公开的实施例,凡在本公开的实施例的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本公开的实施例的保护范围之内。
以上所述,仅为本公开的实施例的具体实施方式,但本公开的实施例的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开的实施例揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的实施例的保护范围之内。因此,本公开的实施例的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种图神经网络模型的训练方法,其特征在于,包括:
根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点;
根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度;
根据所述节点相似度和所述网络节点,构建得到训练样本图;
对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图;
获取所述样本子图对应的负样本节点和多阶邻居节点;
根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值;
在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型;
在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行所述获取所述样本子图对应的负样本节点和多阶邻居节点,至所述根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值的步骤,直至得到目标图神经网络模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度,包括:
以所述用户和所述网络节点之间的交互频次作为所述用户和所述网络节点之间的连接边权重;
根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度。
3.根据权利要求2所述的方法,其特征在于,所述任意两个网络节点包括第一网络节点和第二网络节点,
所述根据所述连接边权重、所述用户和所述网络节点,计算得到所述节点相似度,包括:
根据所述第一网络节点与所述用户之间的连接边权重,确定所述第一网络节点和所述用户对应的第一节点权重;
根据所述用户与所述第二网络节点之间的连接边权重,确定所述用户和所述第二网络节点对应的第二节点权重;
根据所述第一节点权重和所述第二节点权重,确定所述第一网络节点和所述第二网络节点的节点相似度。
4.根据权利要求1所述的方法,其特征在于,所述根据所述节点相似度和所述网络节点,构建得到训练样本图,包括:
将任意两个网络节点相连接,并以所述任意两个网络节点的节点相似度作为连接权重,构建得到所述训练样本图。
5.根据权利要求1所述的方法,其特征在于,所述对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图,包括:
以所述网络节点为主节点,获取所述训练样本图上与所述网络节点构成邻居节点的邻居网络节点;
根据所述网络节点和所述邻居网络节点,确定所述网络节点对应的样本子图。
6.根据权利要求1所述的方法,其特征在于,所述获取所述样本子图对应的负样本节点和多阶邻居节点,包括:
根据所述样本子图中的每个图节点,从所述训练样本图上获取所述样本子图外的设定数量的第一图节点,并将所述第一图节点作为所述样本子图的负样本节点;
根据所述样本子图,确定所述样本子图中的每个图节点对应的多阶邻居节点。
7.根据权利要求1所述的方法,其特征在于,所述根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值,包括:
根据所述样本子图上每个图节点对应的邻居节点之间的连接权重,确定所述每个图节点对应的第一余弦相似度;
根据所述第一余弦相似度、所述每个图节点与所述邻居节点的连接权重,确定所述每个图节点对应的第一损失值;
获取所述样本子图上每个图节点和所述负样本节点对应的第二余弦相似度;
根据所述第二余弦相似度和所述第一余弦相似度,确定所述每个图节点对应的第二损失值;
根据所述第一损失值和所述第二损失值,计算得到所述初始图神经网络模型的损失值。
8.一种图神经网络模型的训练装置,其特征在于,包括:
节点交互图构建模块,用于根据网络节点和所述网络节点对应的历史交互数据,构建节点交互图;所述节点交互图中以所述网络节点和所述网络节点对应的用户作为图节点;
节点相似度计算模块,用于根据所述图节点之间的连接边权重,计算所述节点交互图中任意两个所述网络节点之间的节点相似度;
训练样本图构建模块,用于根据所述节点相似度和所述网络节点,构建得到训练样本图;
样本子图获取模块,用于对所述训练样本图进行采样处理,得到多个以所述网络节点为主节点的样本子图;
负样本节点获取模块,用于获取所述样本子图对应的负样本节点和多阶邻居节点;
损失值获取模块,用于根据所述样本子图、所述负样本节点和所述多阶邻居节点对初始图神经网络模型进行训练,得到所述初始图神经网络模型的损失值;
第一模型获取模块,用于在所述损失值处于预设范围内的情况下,将训练后的初始图神经网络模型作为目标图神经网络模型;
第二模型获取模块,用于在所述损失值不处于预设范围内的情况下,根据所述损失值调整所述初始图神经网络模型的模型参数,并迭代执行所述负样本节点获取模块和所述损失值获取模块,直至得到目标图神经网络模型。
9.一种电子设备,其特征在于,包括:
处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7中任一项所述的图神经网络模型的训练方法。
10.一种可读存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行方法权利要求1至7中任一项所述的图神经网络模型的训练方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110291393.6A CN113139654B (zh) | 2021-03-18 | 2021-03-18 | 图神经网络模型的训练方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110291393.6A CN113139654B (zh) | 2021-03-18 | 2021-03-18 | 图神经网络模型的训练方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113139654A true CN113139654A (zh) | 2021-07-20 |
CN113139654B CN113139654B (zh) | 2023-06-09 |
Family
ID=76811503
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110291393.6A Active CN113139654B (zh) | 2021-03-18 | 2021-03-18 | 图神经网络模型的训练方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113139654B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709120A (zh) * | 2021-08-12 | 2021-11-26 | 李蓉 | 一种用于智慧金融的网络节点安全系统 |
CN113850381A (zh) * | 2021-09-15 | 2021-12-28 | 支付宝(杭州)信息技术有限公司 | 一种图神经网络训练方法及装置 |
CN115759183A (zh) * | 2023-01-06 | 2023-03-07 | 浪潮电子信息产业股份有限公司 | 一种多结构文本图神经网络的相关方法和相关装置 |
CN116737745A (zh) * | 2023-08-16 | 2023-09-12 | 杭州州力数据科技有限公司 | 一种更新供应链网络图中实体向量表示的方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110472087A (zh) * | 2019-08-07 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种表情图像推荐方法、装置、设备及介质 |
CN111461812A (zh) * | 2020-02-28 | 2020-07-28 | 北京三快在线科技有限公司 | 对象推荐方法、装置、电子设备及可读存储介质 |
CN112069398A (zh) * | 2020-08-24 | 2020-12-11 | 腾讯科技(深圳)有限公司 | 一种基于图网络的信息推送方法及装置 |
CN112148998A (zh) * | 2020-09-08 | 2020-12-29 | 浙江工业大学 | 一种基于多核图卷积网络的在线社交平台用户好友推荐方法 |
US20210049225A1 (en) * | 2019-08-15 | 2021-02-18 | Advanced New Technologies Co., Ltd. | Method and apparatus for processing user interaction sequence data |
JP2021026779A (ja) * | 2019-08-08 | 2021-02-22 | ネイバー コーポレーションNAVER Corporation | 個人化コンテンツ推薦のためのリアルタイムグラフに基づく埋め込み構築方法およびシステム |
-
2021
- 2021-03-18 CN CN202110291393.6A patent/CN113139654B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110472087A (zh) * | 2019-08-07 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种表情图像推荐方法、装置、设备及介质 |
JP2021026779A (ja) * | 2019-08-08 | 2021-02-22 | ネイバー コーポレーションNAVER Corporation | 個人化コンテンツ推薦のためのリアルタイムグラフに基づく埋め込み構築方法およびシステム |
US20210049225A1 (en) * | 2019-08-15 | 2021-02-18 | Advanced New Technologies Co., Ltd. | Method and apparatus for processing user interaction sequence data |
CN111461812A (zh) * | 2020-02-28 | 2020-07-28 | 北京三快在线科技有限公司 | 对象推荐方法、装置、电子设备及可读存储介质 |
CN112069398A (zh) * | 2020-08-24 | 2020-12-11 | 腾讯科技(深圳)有限公司 | 一种基于图网络的信息推送方法及装置 |
CN112148998A (zh) * | 2020-09-08 | 2020-12-29 | 浙江工业大学 | 一种基于多核图卷积网络的在线社交平台用户好友推荐方法 |
Non-Patent Citations (3)
Title |
---|
AGHNY ARISYA PUTRA ET AL: ""Two-steps graph-based collaborative filtering using user and item similarities:Case study of E-commerce recommender systems"" * |
VINTI AGARWAL ET AL: ""A collaborative filtering framework for friends recommendation in social networks based on interaction intensity and adaptive user similarity"" * |
魏晓辉等: ""基于图神经网络的兴趣活动推荐算法"" * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113709120A (zh) * | 2021-08-12 | 2021-11-26 | 李蓉 | 一种用于智慧金融的网络节点安全系统 |
CN113709120B (zh) * | 2021-08-12 | 2023-06-23 | 重庆步客科技有限公司 | 一种用于智慧金融的网络节点安全系统 |
CN113850381A (zh) * | 2021-09-15 | 2021-12-28 | 支付宝(杭州)信息技术有限公司 | 一种图神经网络训练方法及装置 |
CN115759183A (zh) * | 2023-01-06 | 2023-03-07 | 浪潮电子信息产业股份有限公司 | 一种多结构文本图神经网络的相关方法和相关装置 |
CN115759183B (zh) * | 2023-01-06 | 2023-05-16 | 浪潮电子信息产业股份有限公司 | 一种多结构文本图神经网络的相关方法和相关装置 |
CN116737745A (zh) * | 2023-08-16 | 2023-09-12 | 杭州州力数据科技有限公司 | 一种更新供应链网络图中实体向量表示的方法及装置 |
CN116737745B (zh) * | 2023-08-16 | 2023-10-31 | 杭州州力数据科技有限公司 | 一种更新供应链网络图中实体向量表示的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113139654B (zh) | 2023-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113139654B (zh) | 图神经网络模型的训练方法及装置 | |
CN106651542B (zh) | 一种物品推荐的方法及装置 | |
CN112000819B (zh) | 多媒体资源推荐方法、装置、电子设备及存储介质 | |
CN112085172B (zh) | 图神经网络的训练方法及装置 | |
WO2019114423A1 (zh) | 对模型预测值进行融合的方法、装置和设备 | |
CN110647696B (zh) | 一种业务对象的排序方法及装置 | |
CN105893253A (zh) | 应用软件测试方法、测试装置及测试设备 | |
CN111383030B (zh) | 一种交易风险的检测方法、装置及设备 | |
CN111626767B (zh) | 资源数据的发放方法、装置及设备 | |
CN114417174B (zh) | 内容推荐方法、装置、设备及计算机存储介质 | |
CN103678548B (zh) | 基于组合模式的失效服务替代推荐方法 | |
Chittenden et al. | Modelling the galaxy–halo connection with semi-recurrent neural networks | |
CN114861783A (zh) | 推荐模型训练方法、装置、电子设备及存储介质 | |
Deng et al. | Coalescing data and decision sciences for analytics | |
CN111340566B (zh) | 一种商品分类方法、装置、电子设备及存储介质 | |
JP5186959B2 (ja) | 社会ネットワーク構造モデルを導出する電子計算機及びプログラム | |
CN111026973B (zh) | 一种商品兴趣度预测方法、装置及电子设备 | |
CN112085554A (zh) | 推荐理由生成方法、装置、电子设备及可读存储介质 | |
CN114897607A (zh) | 产品资源的数据处理方法及装置、电子设备、存储介质 | |
CN110969491B (zh) | 一种基于网络路径的商品推送方法、系统及设备 | |
Daimi et al. | Using apple store dataset to predict user rating of mobile applications | |
CN110457572B (zh) | 基于图网络的商品信息推荐方法及电子设备 | |
CN117670444A (zh) | 一种广告推荐方法及装置 | |
Chandrashekhara et al. | Recommendation Engine for Retail Domain Using Machine Learning Techniques | |
Deng | Learning Enabled Optimization for Data and Decision Sciences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |