CN114707641A - 双视角图神经网络模型的训练方法、装置、设备及介质 - Google Patents

双视角图神经网络模型的训练方法、装置、设备及介质 Download PDF

Info

Publication number
CN114707641A
CN114707641A CN202210290121.9A CN202210290121A CN114707641A CN 114707641 A CN114707641 A CN 114707641A CN 202210290121 A CN202210290121 A CN 202210290121A CN 114707641 A CN114707641 A CN 114707641A
Authority
CN
China
Prior art keywords
node
graph data
view
matrix
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210290121.9A
Other languages
English (en)
Inventor
王俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN202210290121.9A priority Critical patent/CN114707641A/zh
Priority to PCT/CN2022/090086 priority patent/WO2023178793A1/zh
Publication of CN114707641A publication Critical patent/CN114707641A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

本发明涉及人工智能技术领域，提供一种双视角图神经网络模型的训练方法、装置、设备及介质。包括：获得多个具有标签的图数据，图数据中包括节点、边和属性信息；互换图数据中节点和边的位置，获得互换后图数据；将节点特征矩阵和节点邻接矩阵输入至节点视角网络，得到图数据的第一判断结果；将边特征矩阵和边邻接矩阵输入边视角网络，得到图数据的第二判断结果；将图数据的第一判断结果和图数据的第二判断结果加权处理，得到图数据的判断结果，基于图数据的判断结果和图数据的标签，得到训练好的双视角图神经网络模型。本发明将图数据中节点和边的位置互换，通过同时获取节点特征和边特征，使得训练的模型具有较好的泛化和可迁移性。

Description

双视角图神经网络模型的训练方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，特别涉及一种双视角图神经网络模型的训练方法、装置、设备及介质。
背景技术
图数据是一种数据结构，图神经网络是深度学习在图结构上的一个分支。常见的图数据包含节点和边，其中，节点包含了实体信息，边包含实体间的关系信息。现在许多学习任务都需要处理图数据，比如物理系统建模、社交网络分析、交通网络分析、蛋白质结构预测以及分子性质预测等，这些都需要模型能够从图数据的输入中学习相关的知识，于是图神经网络模型随之诞生。
尽管图神经网络在过去几年取得了巨大的成功，但在有监督或半监督机器学习模型中，大部分模型基于“聚合邻居信息，更新节点自身状态”进行构建，在此范式中，节点特征得到充分的学习。而现实的许多图数据中，边上存在丰富的信息，它们在当前大多模型中未被充分利用。
发明人意识到，上述对比学习的方法中，对于需要模型学习到迁移性较强的、可重用的、有共性的知识，这种只关注节点信息的做法会导致图数据在模型中使用时通常主要利用了节点特征，忽略了边上信息，从而使得模型的迁移性和泛化能力不足的问题。
发明内容
本发明的目的在于提供一种双视角图神经网络模型的训练方法、装置、设备及介质，以解决图数据在模型中使用时通常主要利用了节点特征，忽略了边上信息，从而使得模型的迁移性和泛化能力不足的技术问题。
第一方面，提供了一种双视角图神经网络模型的训练方法，包括：
获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵；
互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络；
将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络；
将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型。
第二方面，提供了一种双视角图神经网络模型的训练装置，包括：
图数据获取模块，用于获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵；
互换后图数据获取模块，用于互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
第一判断结果获取模块，用于将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络；
第二判断结果获取模块，用于将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络；
模型训练模块，用于将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型。
第三方面，提供了一种计算机设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述智能问答处理方法的步骤。
第四方面，提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述智能问答处理方法的步骤。
本发明的双视角图神经网络模型的训练方法、系统、设备及介质，设计节点和边互补视角的对比学习来训练图神经网络，通过将节点特征矩阵和节点邻接矩阵输入至节点视角网络，将边特征矩阵和边邻接矩阵输入至边视角网络，同时训练两个网络，使得两个网络中权重的更新与节点和边的特征都相关，最终获得训练好的双视角图神经网络模型。采用对比学习的思想，从输入数据中构造出正负样本，让模型在隐式表示空间对正负样本进行判别，充分利用节点和边的特征信息，使模型具有较好的迁移性。得到的模型具有较好的泛化性，当需要解决具体的下游任务时，可以直接使用训练好的双视角图神经网络模型来进行微调，从而避免为每一个下游任务从零开始训练全新的模型。此外，提出的双视角的图神经网络自监督训练策略，可以更有效地学到丰富的关键的图表示信息，捕捉到节点和边数据中的通用结构规律，进而赋予其在不限定种类的下游图挖掘任务上的拟合能力。另一方面，本发明的方法，使原来的手工调参、依靠机器学习工程师和专家的方式，转变到可适用于大规模、可复制的工业施展的方式。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1显示为本发明一实施例中双视角图神经网络模型的训练方法的一应用环境示意图；
图2显示为本发明一实施例中双视角图神经网络模型的训练方法的流程示意图；
图3显示为本发明一实施例中步骤S30的流程示意图；
图4显示为本发明一实施例中步骤S31的流程示意图；
图5显示为本发明一实施例中步骤S40的流程示意图；
图6显示为本发明一实施例中双视角图神经网络模型的训练装置的结构框图；
图7是本发明一实施例中计算机设备的一结构示意图；
图8是本发明一实施例中计算机设备的另一结构示意图。
具体实施方式
本发明实施例提供的双视角图神经网络模型的训练方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。服务端可以通过客户端设计节点和边互补视角的对比学习来训练图神经网络，通过将节点特征矩阵和节点邻接矩阵输入至节点视角网络，将边特征矩阵和边邻接矩阵输入至边视角网络，同时训练两个网络，使得两个网络中权重的更新与节点和边的特征都相关，最终获得训练好的双视角图神经网络模型。采用对比学习的思想，从输入数据中构造出正负样本，让模型在隐式表示空间对正负样本进行判别，充分利用节点和边的特征信息，使模型具有较好的迁移性。得到的模型具有较好的泛化性，当需要解决具体的下游任务时，可以直接使用训练好的双视角图神经网络模型来进行微调，从而避免为每一个下游任务从零开始训练全新的模型。此外，提出的双视角的图网络自监督训练策略，可以更有效地学到丰富的关键的图表示信息，捕捉到节点和边数据中的通用结构规律，进而赋予其在不限定种类的下游图挖掘任务上的拟合能力。另一方面，本发明的方法，使原来的手工调参、依靠机器学习工程师和专家的方式，转变到可适用于大规模、可复制的工业施展的方式。其中，客户端可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。
请参阅图2所示，图2为本发明实施例提供的双视角图神经网络模型的训练方法的一个流程示意图，包括如下步骤：
S10、获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵。
本实施例中，图数据是从开源的图数据库或自己制作的数据集中获得，具体获取方式不做限定。其中，图数据是以“图”这种数据结构存储和查询数据，它的数据模型主要是以属性信息、节点和边来体现。图数据的属性信息是指节点和边中含有的表征图数据自身性质的信息。例如，对于化合物的图数据，其属性信息可以是化合物中各原子的性质、具体原子结构等。图数据通过节点和边的组合，能够快速解决复杂的关系问题。例如，对于化合物结构，节点表示化合物中的各原子，边表示连接原子之间化学键的信息。图数据中每个节点和相邻的节点之间通过边相连接，并由此构成节点邻接矩阵。对于节点数为N的图数据来说，节点邻接矩阵是一个N行N列的矩阵，节点邻接矩阵中第i行第j列的元素表示“节点i、j之间是否有边”。其中一种表示方法为：若节点i、j之间有边，则这个元素是1，否则是0。当然，还可将其表示为：若节点i、j之间有边，则这个元素是0，否则是1。节点特征矩阵表示该图数据中含有的各节点的特征，节点特征矩阵中的每一行表示图数据中一个节点的特征。例如对于化合物来说，节点的特征可以是各原子的大小、原子的重量等。
S20、互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
本实施例中，考虑到自监督学习中，对比学习是目前最有效的技术手段之一。所谓自监督对比学习，其实就是对于任意两个数据点，若越相似(属于同一类)其图表示就会越接近。基于对比学习的自监督学习模型，在图像和基于序列的语言数据结构上取得了很大的成功。该思路主要是从输入数据中构造出不同的样本，通过引导预训练模型在隐式表示空间对正负样本进行判别来学习输入数据中的特征。基于上述考量，考虑到边中具有一系列特征，通过将节点和边进行互换，把原来图的节点变成新图的边，原来图的边变成新图的节点，构建双视角的图数据。此时两个视角信息互补，可以获得更加充分丰富对比学习的效果。边特征矩阵和边邻接矩阵的构建方法与上述节点特征矩阵和节点邻接矩阵相似，在此不再赘述。通过随机改变边特征矩阵的任意两行或多行之间的顺序，得到负样本边特征矩阵。例如对于边特征矩阵中行序号为1、2、3的3个节点，改变第1节点和第2节点的位置得到负样本边特征矩阵为2、1、3。
S30、将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络。
在步骤S30中，所述将所述节点特征矩阵和所述节点邻接矩阵输入所述节点视角网络，得到图数据的第一判断结果，包括：
S31、将节点特征矩阵和节点邻接矩阵输入至所述节点视角网络，提取节点的局部特征；
S32、将所述节点的局部特征和预设的节点的平均特征进行比较，得到图数据的第一判断结果。
具体地，步骤S31包括以下过程：
S311、将节点特征矩阵进行特征扰动处理，得到节点的负样本特征矩阵；
S312、将节点邻接矩阵、节点特征矩阵和节点的负样本特征矩阵输入所述节点视角网络，提取节点的正样本局部特征和节点的负样本局部特征，获得节点的局部特征。
S40、将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络。
本实施例中，将节点特征矩阵进行特征扰动处理，得到节点负样本特征矩阵，其中，特征扰动是指将节点特征矩阵的多行进行随机互换。例如，图数据中有4个节点，每个节点有32维特征，节点特征矩阵的行序号为1、2、3、4，将其进行特征扰动后，使得第2个节点和第3个节点的位置进行互换，此时虽然网络的拓扑结构没有改变，但每个位置上节点的特征已经发生改变，并由此得到节点的负样本特征矩阵，行序号为1、3、2、4。将节点特征矩阵和节点的负样本特征矩阵、节点邻接矩阵输入至预设的节点视角网络。提取节点的正样本局部特征时，每一层卷积层通过学习邻接矩阵和该层卷积层中节点特征矩阵从而获得下一层卷积层中正样本数据的相关特征。提取节点的负样本局部特征时，每一层卷积层通过学习邻接矩阵和该层卷积层中节点的负样本特征矩阵从而获得下一层卷积层中负样本数据的相关特征。通过这种多个卷积层的堆叠，实现图数据中节点信息的聚合和更新。节点的正样本局部特征和节点的负样本局部特征共同形成节点的局部特征。将节点的局部特征和节点的平均特征进行两者相似性比较，得到图数据的第一判断结果。将边的局部特征和边的平均特征进行两者相似性比较，得到图数据的第二判断结果。其中，所述提取节点的负样本局部特征方法为：
Figure BDA0003559639220000071
其中，e为节点的负样本局部特征，σ为sigmord函数，
Figure BDA0003559639220000072
为节点特征矩阵与单位矩阵相加后的度矩阵，A为节点特征矩阵，I为单位矩阵，X为节点邻接矩阵，θ为预设的参数矩阵。可以理解的是，边视角网络的处理过程与节点视角网络的处理过程类似，在此不做赘述。
S40、将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型
本实施例中，考虑到个体自身的特征已经无法完全代表个体的所有信息，这有可能是在数据采集过程中丢失错误或者一些个体的伪装，造成了一些特征的偏差。需要它邻居节点的信息作为当前节点的信息补充。进而得到比单一个体特征，更完整的信息。因此使用GCN网络作为节点视角网络和边视角网络提取节点和边的特征。图神经网络模型学习的主要过程，是通过迭代对图数据中节点的邻居信息进行聚合和更新。在一次迭代中，每一个节点通过聚合邻居节点的特征及自己在上一层的特征来更新自己的信息，通常也会对聚合后的信息进行非线性变换。通过堆叠多层网络，每个节点可以获取到相应跳数内的邻居节点信息。将节点特征矩阵和节点邻接矩阵输入至预设的节点视角网络后，通过GCN网络读取其中的节点的信息，提取节点的局部特征。同样的方法提取边的局部特征，并通过损失函数计算损失值，并根据损失值更新节点视角网络的权重以及边视角网络的权重。此时，由于损失值中含有节点和边的信息，在更新节点视角网络的权重时，会同时考虑到边的信息，同理，在更新边视角网络的参数时，会同时考虑到节点的信息，从而使得边视角网络中含有节点信息，节点视角网络中含有边信息，训练时实现了两者的联合训练，实现了双视角的网络学习。具体地，可根据图数据的第一判断结果和图数据的第二判断结果的重要性，对两者进行加权处理，得到图数据的判断结果。所述图数据的判断结果J的计算方法为J＝αJ1+βJ2，其中，J1为图数据的第一判断结果，J2为图数据的第二判断结果，α为图数据的第一判断结果的权重，β为图数据的第二判断结果的权重。α、β均为取值范围为[0,1]范围内的任一数。对于社交网络型图数据来说，节点中包含的信息更多，因此α取值大于β；对于文本序列类图数据来说，边包含的信息更多，因此α取值小于β。可以理解的是，α、β取值本领域技术人员可根据实际图数据的类型适应性选择。
本实施例中，所述将节点特征矩阵和节点邻接矩阵输入预设的节点视角网络之前，还包括：对节点特征矩阵进行均值化处理，获得节点的平均特征。其中，节点的平均特征获得方法为：
Figure BDA0003559639220000081
其中，σ为sigmord函数，M为节点的数量，hi为第i个节点的特征。
步骤S40中，所述基于所述图数据的判断结果和图数据的标签联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数包括以下过程：
S41、获取节点视角网络和边视角网络的当前权重值；
S42、根据预设的权重更新规则，利用损失值和当前权重值得到新的权重值；
S43、使用新的权重值作为节点视角网络和边视角网络的权重。
本实施例中双视角图神经网络模型是基于两个GCN网络与Softmax层进行构建，具体地，以链接预测为例，将图数据送入两个GCN网络后，通过图卷积运算得到图数据中所求信息(链接)的特征向量，将所求信息的特征向量送入至Softmax层进行映射，得到图数据中是否含有所求信息的概率值。将此概率值通过损失函数进行损失计算，根据计算的结果，更新双视角图神经网络模型中的各参数和权重，得到更新后的双视角图神经网络模型。再次进行训练，直至损失函数收敛。训练结束，得到训练好的双视角图神经网络模型，封装使用。在本实施例中，权重更新规则为：按照链式求导法则进行求导。具体地，误差反向传播梯度计算公式为：Gradp＝((wp-1)TGradp-1)δ，其中，δ为当前的损失值，Gradp为第p层的误差反向传播梯度，wp-1为第p-1次迭代训练时图神经元的权重，根据反向传播梯度，使用下式计算权重更新值：wp＝wp-1-ε·Gradp，其中，ε为学习率，wp表示当前图神经元的权重。需要说明的是，节点视角网络与边视角网络的训练过程类似，因此边视角网络的训练过程在此不再赘述。
本实施例中，损失值的计算方法为Loss＝αL1+βL2，其中，α为节点视角网络的损失函数L1的因子参数，β为边视角网络的损失函数L2的因子参数。也即损失函数是节点视角网络的损失函数与边视角网络的损失函数加和，同时考虑到两个网络的侧重点不同，设置不同的因子参数，通过调整对应的因子参数，实现双视角图神经网络损失函数的构造。训练时，通过梯度下降法，不断调整两个视角网络的参数，实现网络的构建。进一步地，所述将节点的负样本特征矩阵输入节点视角网络，提取节点的负样本局部特征方法为：
Figure BDA0003559639220000101
其中，e为节点的负样本特征，σ为sigmord函数，
Figure BDA0003559639220000102
为节点特征矩阵与单位矩阵相加后的度矩阵，A为节点特征矩阵，I为单位矩阵，X为节点邻接矩阵，θ为预设的参数矩阵。本实施例中，节点视角网络的损失函数L1的公式为：
Figure BDA0003559639220000103
其中，N为正样本节点数，M为负样本节点数，
Figure BDA0003559639220000104
为第k个正样本提取局部特征后节点的表示向量，
Figure BDA0003559639220000105
为第a个负样本提取局部特征后节点的表示向量，
Figure BDA0003559639220000106
为正样本全局特征，D为判别器，若趋近1表示正样本全局特征与局部特征相似，若趋近0表示两者不相似。根据损失值更新节点视角网络的权重值。
可以理解的是，本实施例中的双视角图神经网络模型能够应用于多种不同的领域中，如：语音识别、医疗诊断、应用程序的测试等。
可见，在上述方案中，设计节点和边互补视角的对比学习来训练图神经网络，通过将节点特征矩阵和节点邻接矩阵输入至节点视角网络，将边特征矩阵和边邻接矩阵输入至边视角网络，同时训练两个网络，使得两个网络中权重的更新与节点和边的特征都相关，最终获得训练好的双视角图神经网络模型。采用对比学习的思想，从输入数据中构造出正负样本，让模型在隐式表示空间对正负样本进行判别，充分利用节点和边的特征信息，使模型具有较好的迁移性。得到的模型具有较好的泛化性，当需要解决具体的下游任务时，可以直接使用训练好的双视角图神经网络模型来进行微调，从而避免为每一个下游任务从零开始训练全新的模型。此外，提出的双视角的图网络自监督训练策略，可以更有效地学到丰富的关键的图表示信息，捕捉到节点和边数据中的通用结构规律，进而赋予其在不限定种类的下游图挖掘任务上的拟合能力。另一方面，本发明的方法，使原来的手工调参、依靠机器学习工程师和专家的方式，转变到可适用于大规模、可复制的工业施展的方式。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种双视角图神经网络模型的训练装置，该双视角图神经网络模型的训练装置与上述实施例中双视角图神经网络模型的训练方法一一对应。如图6所示，该双视角图神经网络模型的训练装置包括图数据获取模块111、互换后图数据获取模块112、第一判断结果获取模块113、第二判断结果获取模块114和模型训练模块115。各功能模块详细说明如下：
图数据获取模块111，用于获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵。
互换后图数据获取模块112，用于互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
第一判断结果获取模块113，用于将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络；
第二判断结果获取模块114，用于将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络；
模型训练模块115，用于将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型.
在一实施例中，第一判断结果获取模块113，具体用于：
将节点特征矩阵和节点邻接矩阵输入至所述节点视角网络，提取节点的局部特征；
将所述节点的局部特征和预设的节点的平均特征进行比较，得到图数据的第一判断结果。
在一实施例中，第一判断结果获取模块113，具体用于：
将节点特征矩阵进行特征扰动处理，得到节点的负样本特征矩阵；
将节点特征矩阵和节点的负样本特征矩阵输入所述节点视角网络，提取节点的正样本局部特征和节点的负样本局部特征，获得节点的局部特征。
在一实施例中，第一判断结果获取模块113，具体用于：
对节点特征矩阵进行均值化处理，获得节点的平均特征。
在一实施例中，第一判断结果获取模块113，还用于：
所述提取节点的负样本局部特征方法为：
Figure BDA0003559639220000121
其中，e为节点的负样本局部特征，σ为sigmord函数，
Figure BDA0003559639220000122
为节点特征矩阵与单位矩阵相加后的度矩阵，A为节点特征矩阵，I为单位矩阵，X为节点邻接矩阵，θ为预设的参数矩阵。
在一实施例中，模型训练模块115，具体用于：
获取所述节点视角网络和所述边视角网络的当前参数值；
根据预设的参数更新规则，获得所述图数据判断结果的损失值，根据所述损失值和当前参数值得到新的参数值；
使用新的参数值作为所述待训练双视角图神经网络模型的参数。
在一实施例中，模型训练模块115，还用于：
所述图数据的判断结果J的计算方法为J＝αJ1+βJ2，其中，J1为图数据的第一判断结果，J2为图数据的第二判断结果，α为图数据的第一判断结果的权重，β为图数据的第二判断结果的权重。
本发明提供了一种双视角图神经网络模型的训练装置，设计节点和边互补视角的对比学习来训练图神经网络，通过将节点特征矩阵和节点邻接矩阵输入至节点视角网络，将边特征矩阵和边邻接矩阵输入至边视角网络，同时训练两个网络，使得两个网络中权重的更新与节点和边的特征都相关，最终获得训练好的双视角图神经网络模型。采用对比学习的思想，从输入数据中构造出正负样本，让模型在隐式表示空间对正负样本进行判别，充分利用节点和边的特征信息，使模型具有较好的迁移性。得到的模型具有较好的泛化性，当需要解决具体的下游任务时，可以直接使用训练好的双视角图神经网络模型来进行微调，从而避免为每一个下游任务从零开始训练全新的模型。此外，提出的双视角图网络训练策略，可以更有效地学到丰富的关键的图表示信息，捕捉到节点和边数据中的通用结构规律，进而赋予其在不限定种类的下游图挖掘任务上的拟合能力。另一方面，本发明的方法，使原来的手工调参、依靠机器学习工程师和专家的方式，转变到可适用于大规模、可复制的工业施展的方式。
关于双视角图神经网络模型的训练装置的具体限定可以参见上文中对于双视角图神经网络模型的训练方法的限定，在此不再赘述。上述双视角图神经网络模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性和/或易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的客户端通过网络连接通信。该计算机程序被处理器执行时以实现一种双视角图神经网络模型的训练方法服务端侧的功能或步骤。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是客户端，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种双视角图神经网络模型的训练方法客户端侧的功能或步骤
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵；
互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络；
将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络；
将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵；
互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络；
将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络；
将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型。
需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例中，服务端侧以及客户端侧的相关描述，为避免重复，这里不再一一描述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种双视角图神经网络模型的训练方法，其特征在于，包括：
获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵；
互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络；
将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络；
将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型。
2.根据权利要求1所述的双视角图神经网络模型的训练方法，其特征在于，所述将所述节点特征矩阵和所述节点邻接矩阵输入所述节点视角网络，得到图数据的第一判断结果，包括：
将节点特征矩阵和节点邻接矩阵输入至所述节点视角网络，提取节点的局部特征；
将所述节点的局部特征和预设的节点的平均特征进行比较，得到图数据的第一判断结果。
3.根据权利要求2所述的双视角图神经网络模型的训练方法，其特征在于，所述将节点特征矩阵和节点邻接矩阵输入至所述节点视角网络，提取节点的局部特征包括以下过程：
将节点特征矩阵进行特征扰动处理，得到节点的负样本特征矩阵；
将节点特征矩阵和节点的负样本特征矩阵输入所述节点视角网络，提取节点的正样本局部特征和节点的负样本局部特征，获得节点的局部特征。
4.根据权利要求3所述的双视角图神经网络模型的训练方法，其特征在于，所述提取节点的负样本局部特征方法为：
Figure FDA0003559639210000021
其中，e为节点的负样本局部特征，σ为sigmord函数，
Figure FDA0003559639210000022
为节点特征矩阵与单位矩阵相加后的度矩阵，A为节点特征矩阵，I为单位矩阵，X为节点邻接矩阵，θ为预设的参数矩阵。
5.根据权利要求1所述的双视角图神经网络模型的训练方法，其特征在于，所述基于所述图数据的判断结果和图数据的标签联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，包括以下过程：
获取所述节点视角网络和所述边视角网络的当前参数值；
根据预设的参数更新规则，获得所述图数据判断结果的损失值，根据所述损失值和当前参数值得到新的参数值；
使用新的参数值作为所述待训练双视角图神经网络模型的参数。
6.根据权利要求1所述的双视角图神经网络模型的训练方法，其特征在于，所述将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络之前，还包括：对节点特征矩阵进行均值化处理，获得节点的平均特征。
7.根据权利要求1所述的双视角图神经网络模型的训练方法，其特征在于，所述图数据的判断结果J的计算方法为J＝αJ1+βJ2，其中，J1为图数据的第一判断结果，J2为图数据的第二判断结果，α为图数据的第一判断结果的权重，β为图数据的第二判断结果的权重。
8.一种双视角图神经网络模型的训练装置，其特征在于，包括：
图数据获取模块，用于获得多个具有标签的图数据，所述图数据中包括节点、边和属性信息，并基于属性信息构建节点特征矩阵和节点邻接矩阵；
互换后图数据获取模块，用于互换图数据中节点和边的位置，获得互换后图数据，并基于所述互换后图数据的属性信息构建边特征矩阵和边邻接矩阵；
第一判断结果获取模块，用于将所述节点特征矩阵和所述节点邻接矩阵输入至待训练双视角图神经网络模型的节点视角网络，得到图数据的第一判断结果，所述节点视角网络为GNN网络；
第二判断结果获取模块，用于将所述边特征矩阵和所述边邻接矩阵输入至待训练双视角图神经网络模型的边视角网络，得到图数据的第二判断结果，所述边视角网络为GNN网络；
模型训练模块，用于将所述图数据的第一判断结果和所述图数据的第二判断结果加权处理，得到图数据的判断结果，并基于所述图数据的判断结果和图数据的标签，联合训练所述节点视角网络和所述边视角网络，更新所述待训练双视角图神经网络模型的参数，得到训练好的双视角图神经网络模型。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202210290121.9A 2022-03-23 2022-03-23 双视角图神经网络模型的训练方法、装置、设备及介质 Pending CN114707641A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210290121.9A CN114707641A (zh) 2022-03-23 2022-03-23 双视角图神经网络模型的训练方法、装置、设备及介质
PCT/CN2022/090086 WO2023178793A1 (zh) 2022-03-23 2022-04-28 双视角图神经网络模型的训练方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210290121.9A CN114707641A (zh) 2022-03-23 2022-03-23 双视角图神经网络模型的训练方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN114707641A true CN114707641A (zh) 2022-07-05

Family

ID=82168069

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210290121.9A Pending CN114707641A (zh) 2022-03-23 2022-03-23 双视角图神经网络模型的训练方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN114707641A (zh)
WO (1) WO2023178793A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187610A (zh) * 2022-09-08 2022-10-14 中国科学技术大学 基于图神经网络的神经元形态分析方法、设备及存储介质
WO2024065476A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种无线策略的优化方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110378372A (zh) * 2019-06-11 2019-10-25 中国科学院自动化研究所南京人工智能芯片创新研究院 图数据识别方法、装置、计算机设备和存储介质
US20210232918A1 (en) * 2020-01-29 2021-07-29 Nec Laboratories America, Inc. Node aggregation with graph neural networks
US20210374499A1 (en) * 2020-05-26 2021-12-02 International Business Machines Corporation Iterative deep graph learning for graph neural networks
CN112734034A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 模型训练方法、调用方法、装置、计算机设备和存储介质
CN113705772A (zh) * 2021-07-21 2021-11-26 浪潮(北京)电子信息产业有限公司 一种模型训练方法、装置、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115187610A (zh) * 2022-09-08 2022-10-14 中国科学技术大学 基于图神经网络的神经元形态分析方法、设备及存储介质
WO2024065476A1 (zh) * 2022-09-29 2024-04-04 华为技术有限公司 一种无线策略的优化方法及装置

Also Published As

Publication number Publication date
WO2023178793A1 (zh) 2023-09-28

Similar Documents

Publication Publication Date Title
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN109635917B (zh) 一种多智能体合作决策及训练方法
CN111582694B (zh) 一种学习评估方法及装置
CN110674869B (zh) 分类处理、图卷积神经网络模型的训练方法和装置
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
Stach et al. Expert-based and computational methods for developing fuzzy cognitive maps
CN114707641A (zh) 双视角图神经网络模型的训练方法、装置、设备及介质
CN113190688B (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN111598213B (zh) 网络训练方法、数据识别方法、装置、设备和介质
Wei et al. Self-filtering: A noise-aware sample selection for label noise with confidence penalization
CN112434171A (zh) 一种基于强化学习的知识图谱推理补全方法及系统
CN113268612B (zh) 基于均值融合的异构信息网知识图谱补全方法和装置
CN112949929B (zh) 一种基于协同嵌入增强题目表示的知识追踪方法及系统
Kordos et al. Reducing noise impact on MLP training: Techniques and algorithms to provide noise-robustness in MLP network training
CN113010683B (zh) 基于改进图注意力网络的实体关系识别方法及系统
CN112699941A (zh) 植物病害严重程度图像分类方法、装置、计算机设备和存储介质
CN112508063A (zh) 基于增量学习的医学图像分类方法
CN111597352B (zh) 结合本体概念和实例的网络空间知识图谱推理方法和装置
CN113469891A (zh) 一种神经网络架构搜索方法、训练方法、图像补全方法
Wei et al. Time interval aware self-attention approach for knowledge tracing
CN114997036A (zh) 基于深度学习的网络拓扑重构方法、装置和设备
JP7207128B2 (ja) 予測システム、予測方法、および予測プログラム
CN113408652A (zh) 基于群表示特征的半监督学习图像分类方法
JP6993250B2 (ja) コンテンツ特徴量抽出装置、方法、及びプログラム
Guo et al. Dynamic Neural Network Structure: A Review for Its Theories and Applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination