CN113780584A - 标签预测方法、设备、存储介质及程序产品 - Google Patents

标签预测方法、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN113780584A
CN113780584A CN202111144803.0A CN202111144803A CN113780584A CN 113780584 A CN113780584 A CN 113780584A CN 202111144803 A CN202111144803 A CN 202111144803A CN 113780584 A CN113780584 A CN 113780584A
Authority
CN
China
Prior art keywords
network model
poisson
graph
node
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111144803.0A
Other languages
English (en)
Other versions
CN113780584B (zh
Inventor
詹忆冰
万升
宫辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202111144803.0A priority Critical patent/CN113780584B/zh
Publication of CN113780584A publication Critical patent/CN113780584A/zh
Application granted granted Critical
Publication of CN113780584B publication Critical patent/CN113780584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请实施例提供一种标签预测方法、设备、存储介质及程序产品,通过获取图结构的节点信息,图结构包括有标签节点和无标签节点,节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;根据节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;根据总体损失函数对泊松图网络模型和图神经网络模型的模型参数进行优化;根据节点信息以及优化后的泊松图网络模型确定无标签节点的预测标签。通过泊松图网络有效解决标签节点数量极少的半监督学习问题,且基于泊松图网络模型和图神经网络模型通过变分推断来对原本以求解的后验概率分布进行估计,共同提高模型学习能力,提高鲁棒性和置信度,进而更准确的预测无标签节点的标签。

Description

标签预测方法、设备、存储介质及程序产品
技术领域
本申请实施例涉及计算机及人工智能技术领域,尤其涉及一种标签预测方法、设备、存储介质及程序产品。
背景技术
人工智能大部分算法的训练离不开标注数据,然而高精度的人工标注很难获取,因此仅利用少部分标注的半监督学习受到了越来越广泛地应用。比如对于商品分类模型,虽然商品种类众多,仅需要标注少部分商品,利用这部分有标注的商品和更多的无标注的商品对模型训练,可获取较为可靠的商品分类模型。
其中,基于图的半监督学习算法是图结构的数据结构的半监督学习算法,凭借其坚实的数学基础和优越的算法性能引起了国内外研究者极大的关注,基于图的半监督学习算法任务目标和半监督学习算法一致。但是基于图的半监督学习算法存在固有的缺陷,需要足够的有标签样本才能对网络进行有效训练,获得较为鲁棒的结果。而实际应用中,数据标记的成本非常高昂,因此即使是半监督学习情况下,有标签数据的规模通常很有限,在这种情况下,图神经网络的学习能力大幅受限,尤其是有标记数据及其稀少时,图神经网络算法的准确率会迅速下降。
发明内容
本申请实施例提供一种标签预测方法、设备、存储介质及程序产品,用以在图结构中有标签节点极其稀少的情况下较准确的预测无标签节点的标签。
第一方面,本申请实施例提供一种标签预测方法,包括:
获取图结构的节点信息,所述图结构包括有标签节点和无标签节点,所述节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;
根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,所述泊松图网络模型和所述图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;
根据所述总体损失函数对所述泊松图网络模型和所述图神经网络模型的模型参数进行优化;
根据所述节点信息以及优化后的泊松图网络模型,确定所述无标签节点的预测标签。
第二方面,本申请实施例提供一种标签预测设备,包括:
获取模块,用于获取图结构的节点信息,所述图结构包括有标签节点和无标签节点,所述节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;
模型优化模块,用于根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,所述泊松图网络模型和所述图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;根据所述总体损失函数对所述泊松图网络模型和所述图神经网络模型的模型参数进行优化;
预测模块,用于根据所述节点信息以及优化后的泊松图网络模型,确定所述无标签节点的预测标签。
第三方面,本申请实施例提供一种电子设备,包括:至少一个处理器;以及存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如第一方面所述的方法。
第五方面,本申请实施例提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如第一方面所述的方法。
本申请实施例提供的标签预测方法、设备、存储介质及程序产品,通过获取图结构的节点信息,图结构包括有标签节点和无标签节点,节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;根据节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,泊松图网络模型和图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;根据总体损失函数对泊松图网络模型和图神经网络模型的模型参数进行优化;根据节点信息以及优化后的泊松图网络模型确定无标签节点的预测标签。通过泊松图网络有效解决标签节点数量极少的半监督学习问题,并且基于泊松图网络模型和图神经网络模型通过变分推断来对原本以求解的后验概率分布进行估计,共同提高模型学习能力,使得模型具有更高的鲁棒性和置信度,进而可更准确的预测无标签节点的标签。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请一实施例标签预测方法的应用场景示意图;
图2为本申请一实施例标签预测方法的流程图;
图3为本申请一实施例标签预测方法的模型架构图;
图4为本申请另一实施例标签预测方法的流程图;
图5为本申请另一实施例标签预测方法的流程图;
图6为本申请一实施例标签预测设备的结构图;
图7为本申请一实施例电子设备的结构图。
通过上述附图,已示出本公开明确的实施例,后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围,而是通过参考特定实施例为本领域技术人员说明本公开的概念。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
人工智能大部分算法的训练离不开标注数据,然而高精度的人工标注很难获取,因此仅利用少部分标注的半监督学习受到了越来越广泛地应用。比如对于商品分类模型,虽然商品种类众多,仅需要标注少部分商品,利用这部分有标注的商品和更多的无标注的商品对模型训练,可获取较为可靠的商品分类模型。其中,图结构是目前一种较为先进的数据结构描述模型,所有数据都被表示为图的结点,它们之间的关系被描述为图的边,基于图的半监督学习算法凭借其坚实的数学基础和优越的算法性能引起了国内外研究者极大的关注。
早期的基于图的半监督学习算法主要依赖“临近结点大概率属于同一类别”这一假设,借助拉普拉斯特征图的低维嵌入算法、谱核算法、马尔可夫随机游走等算法;为了进一步改善半监督学习的表现,很多方法考虑对数据特征和图结构进行联合建模,比如深度半监督嵌入和Planetoid算法;近年来,受卷积神经网络启发,研究者提出了各种图神经网络算法来处理基于图的半监督学习问题,并获得了很大成功,此类方法大致可以分为两类:基于空间域的图神经网络算法、基于谱域的图神经网络算法。
1)基于空间域的图神经网络算法。在基于空间域的方法中,图卷积操作被定为一个带权重的均值方程,其输入是每个结点的邻居,输出为每个邻居对中心对目标结点的影响。
2)基于谱域的图神经网络算法。与空间域的方法不同,基于谱域的方法通常以特征分解为基础,从谱分析的角度来考虑图卷积的局部特性。
虽然图神经网络在基于图的半监督学习中取得了较大成功,但是当前的图神经网络算法(如图卷积神经网络和图注意力网络)存在固有的缺陷,都需要足够的有标签样本,才能对网络进行有效训练,获得较为鲁棒的结果。而实际应用中,数据标记的成本非常高昂,因此即使是半监督学习情况下,有标签数据的规模通常很有限。在这种情况下,图神经网络的学习能力大幅受限,尤其是有标记数据及其稀少时,图神经网络算法的准确率会迅速下降。
为了解决上述技术问题,本申请实施例提供了一种图神经网络框架,即对比泊松图网络,来针对性地解决标签数量极其稀少时的半监督学习问题,且基于变分推断理论,借助泊松图网络模型和图神经网络模型两种图神经网络来近似地估计难以处理的无标签节点标签的后验概率分布。
具体的,为了使得有限的标签信息能够传播到整个图中,设计了一种泊松图网络模型。借助泊松学习,可采用带注意力机制的泊松图网络对标签传播过程进行灵活地建模,并利用图结构信息来指导标签传播过程,同时使用另一种图神经网络来共同对变分推断框架进行实例化操作,进而基于上述框架,可以从两种视角得到标签预测结果,从而能够自然地使用一个对比目标来同时优化泊松图网络和图神经网络模型,可以从大量的无标签节点样本中挖掘监督信号辅助模型训练,以弥补标签信息稀少的缺陷,从而获取更加鲁棒的、更高置信度的结果。
本申请实施例具体的应用场景如图1所示,包括数据库101和服务端102,其中数据库101可提供图结构数据,包括图结构的节点信息,节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签,服务端102在获取到图结构的节点信息后,可根据节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,泊松图网络模型和图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;根据总体损失函数对泊松图网络模型和图神经网络模型的模型参数进行优化;根据节点信息以及优化后的泊松图网络模型确定无标签节点的预测标签,并输出无标签节点的预测标签。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
图2为本申请实施例提供的标签预测方法流程图。本实施例提供了一种标签预测方法,其执行主体为电子设备,该标签预测方法具体步骤如下:
S201、获取图结构的节点信息,所述图结构包括有标签节点和无标签节点,所述节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签。
在本实施例中,图结构是目前一种较为先进的数据结构描述模型,所有数据都被表示为图的结点,节点之间的关系被描述为图的边,其中包括有标签节点和无标签节点,有节点标签具有观测标签,观测标签可以是人工标注的或者通过其特途径确定,而无标签节点则不具有观测标签,需要根据本实施例的方法进行预测;此外,通过邻接矩阵表示节点相邻关系的矩阵,此外还可获取节点特征,包括有标签节点和无标签节点的节点特征。
S202、根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,所述泊松图网络模型和所述图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布。
在本实施例中,由于图结构中有标签节点数量极其稀少,无标签节点标签的后验概率分布难以直接通过半监督学习准确确定,因此本实施例中基于变分判断理论,借助泊松图网络模型和图神经网络模型两种神经网络来近似估计难以处理的后验概率分布,其中变分推断是对于难以表达或求解的目标后验概率分布寻找一种容易表达或求解的后验概率分布,使其与目标后验概率分布距离足够小,从而作为目标后验概率分布的近似后验概率分布。
本实施例中,构建了泊松图网络模型和图神经网络模型,根据变分推断估计无标签节点标签的后验概率分布。
其中,泊松图网络模型是近期研究者提出的泊松学习算法模型(参考文献:JeffCalder,Brendan Cook,Matthew Thorpe,Dejan Slepcev.Poisson Learning:Graph Basedsemi-supervised learning at very low label rates.Proceedings of the37thInternational Conference on Machine Learning,PMLR 119:1306-1316,2020.),用于应对标签数量极其稀少的半监督学习情境,并且证明了其相较于传统拉普拉斯方法的优越性。而图神经网络模型可以使用大部分图神经网络模型,例如图卷积神经网络模型、图注意力网络模型等,仅需保证其输入是邻接矩阵和结点特征,输出是结点的预测标签即可。
本实施例中从两个视角预测节点的预测标签,以进行变分推断,能够一个对比目标也即总体损失函数,来同时优化泊松图网络模型和图神经网络模型,其中总体损失函数可联合泊松图网络模型和图神经网络模型的输出结果进行创建,可选的,总体损失函数可包括一个或多个组成部门,例如可包括证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项,通过一项或多项损失函数,可从不同的角度对泊松图网络模型和图神经网络模型进行约束,弥补有标签节点数量稀少的缺陷,使泊松图网络模型和图神经网络模型鲁棒性更高、置信度更高。
S203、根据所述总体损失函数对所述泊松图网络模型和所述图神经网络模型的模型参数进行优化。
在本实施例中,基于总体损失函数来同时优化泊松图网络模型和图神经网络模型的模型参数,经过不断的迭代对泊松图网络模型和图神经网络模型的模型参数不断的优化,使得泊松图网络模型和图神经网络模型收敛,例如模型达到目标准确度、或迭代次数达到目标次数等等。
S204、根据所述节点信息以及优化后的泊松图网络模型,确定所述无标签节点的预测标签。
在本实施例中,在对泊松图网络模型和图神经网络模型的模型参数完成优化后,考虑到泊松图网络模型可以更好的进行标签传播,预测结果置信度更高,因此本实施例中最后根据节点信息以及优化后的泊松图网络模型,确定无标签节点的预测标签。
本实施例提供的标签预测方法,通过获取图结构的节点信息,图结构包括有标签节点和无标签节点,节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;根据节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,泊松图网络模型和图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;根据总体损失函数对泊松图网络模型和图神经网络模型的模型参数进行优化;根据节点信息以及优化后的泊松图网络模型确定无标签节点的预测标签。通过泊松图网络有效解决标签节点数量极少的半监督学习问题,并且基于泊松图网络模型和图神经网络模型通过变分推断来对原本以求解的后验概率分布进行估计,共同提高模型学习能力,使得模型具有更高的鲁棒性和置信度,进而可更准确的预测无标签节点的标签。
在上述实施例的基础上,网络模型架构如图3所示,S202所述的根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数,如图4所示,具体可包括:
S301、将所述节点特征、邻接矩阵以及有标签节点的观测标签输入预设的泊松图网络模型,获取节点标签的第一后验概率分布;
S302、将所述节点特征、以及邻接矩阵输入预设的图神经网络模型,获取节点标签的第二后验概率分布;
S303、基于所述第一后验概率分布和所述第二后验概率分布,构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数。
在本实施例中,泊松图网络模型的输入为节点特征X、邻接矩阵A以及有标签节点的观测标签YL,输出为节点标签的第一后验概率分布,也即在节点特征X、邻接矩阵A以及有标签节点的观测标签YL的基础上的预测标签的条件概率分布;而图神经网络模型的输入为节点特征X、邻接矩阵A,输出为无标签节点标签的第二后验概率,也即在节点特征X、以及邻接矩阵A的基础上的预测标签的条件概率分布;进一步基于第一后验概率分布和第二后验概率分布构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数,以用于对预设的泊松图网络模型与预设的图神经网络模型的模型参数同时进行优化。
其中,如图5所示,所述将所述节点特征、邻接矩阵以及有标签节点的观测标签输入预设的泊松图网络模型,获取节点标签的第一后验概率分布,具体可包括:
S401、基于所述节点特征,根据注意力机制获取各节点间的注意力系数,并根据对邻接矩阵中的边权重进行替换处理,得到注意力图;
S402、根据有标签节点的观测标签构建所有节点的标签矩阵,其中无标签节点对应的值为0;
S403、将所述节点特征、所述注意力图、以及所述标签矩阵输入泊松图网络模型,经过泊松图网络模型的多层泊松卷积,获取节点标签的第一后验概率分布。
在本实施例中,应用泊松学习算法来应对有标签节点数量极其稀少的半监督学习场景,但泊松学习仍存在缺陷,其无法有效利用图结构来指导标签传播过程。具体来讲,首先,它依赖于固定的输入图,而在实际应用中,这样的图可能包含噪声,无法刻画样本间的真实关系;其次,泊松学习没有考虑由邻域特征构建的结构信息,因为其主要关注标签信息的传播,基于这些缺陷,泊松学习的预测结果可能并不准确。因此,本实施例中提出了一个灵活的图神经网络模型,即泊松图网络。
为了避免图中干扰信息的影响,本实施例中首先利用注意力机制自适应地捕捉近邻结点间的关联信息,也即按照邻居节点间的不同重要程度分配不同权重,具体地,结点xi和xj注意力系数eij可以通过如下计算得到:
Figure BDA0003285039440000081
公式(1)中,
Figure BDA0003285039440000082
是一个可训练的权重向量,W是一个可训练的权重矩阵,是可以将输入特征映射到更高维的输出特征空间中的参数化的线性转化矩阵,||代表拼接操作。注意力系数eij通常会再经过归一化操作以便后续计算:
Figure BDA0003285039440000091
公式(2)中,Ni表示节点xi邻居的索引集合,eik表示结点xi与xi邻居的索引集合中邻居k之间的注意力系数。本实施例中使用得到的注意力系数αij来替代邻接矩阵中原本固定的边权重Aij,这样,随着网络训练,边权重就可以不断被改善,从而更加真确地刻画结点间的关联信息。
此外,本实施例中还可根据有标签节点的观测标签构建所有节点的标签矩阵,其中无标签节点对应的值为0;具体的,BT表示所有节点的标签矩阵,包括N行数据,N为节点总数量,其中L行数据为L个有标签节点的观测标签,N-L行数据为N-L个无标签节点的标签,该N-L行数据设置为0。其中不限制S401与S402的先后顺序。
进一步的,将所述节点特征、所述注意力图、以及所述标签矩阵输入泊松图网络模型,泊松图网络模型可包括多层泊松卷积层,经过泊松图网络模型的多层泊松卷积层的迭代,可获取节点标签的第一后验概率分布。
其中,对于任一层泊松卷积层,基于上一层泊松卷积层的输出结果、所述标签矩阵以及注意力图的对角矩阵和拉普拉斯矩阵,获取本层泊松卷积层的输出结果。
具体的,本层泊松卷积层的泊松卷积可通过如下公式进行,从而获取本层泊松卷积层的输出结果:
Figure BDA0003285039440000092
其中,
Figure BDA0003285039440000093
表示第t层泊松卷积层的输出结果;
Figure BDA0003285039440000094
Figure BDA0003285039440000095
分别表示注意力图的对角矩阵和拉普拉斯矩阵;BT表示所有节点的标签矩阵,其中无标签节点对应的值为0。
在上述实施例的基础上,为了探索由结点特征构成的结构信息,本实施例还可引入一个特征转换模块fFT。fFT基于结点特征进行标签预测,获取节点相应的标签预测结果,其中fFT可以看作一个单层感知机。进一步的,将fFT得到的标签预测结果输入到至少一层泊松卷积层,与该层泊松卷积层的输出结果进行叠加,作为该层泊松卷积层最终的输出结果,从而通过在标签传播的迭代过程中将邻域中的节点特征信息被有效的利用,以进一步改善标签预测结果。
优选的,可在多层泊松卷积层的中间某层泊松卷积层的输出结果叠加fFT得到的标签预测结果,若该层泊松卷积层为较靠前的泊松卷积层,容易导致预测结果过于平滑,而若该层泊松卷积层为较靠前的泊松卷积层,容易导致不能捕捉到更多的节点特征信息,因此优选的,可以选择倒数第三或第四层泊松卷积层,例如对于10层泊松卷积层,可以选择第7层或第8层泊松卷积层。以倒数第三层泊松卷积层为例,该层泊松卷积层最终的输出结果可以表示如下:
Figure BDA0003285039440000101
其中,t表示多层泊松卷积层的总层数,也即泊松卷积的迭代次数。借助公式(4),结点特征信息可以沿着邻域继续传播,和标签信息共同产生更有意义的标签预测。此外,特征转换模块的引入,在泊松卷积的基础上叠加fFT(X)可以加速迭代过程的收敛。
在上述任意实施例的基础上,本实施例的图神经网络模型可以采用任意的图神经网络,可选的,可以采用图卷积神经网络模型或图注意力网络模型,其中,若所述图神经网络模型选用图注意力网络,泊松图网络的各节点间的注意力系数可以与图注意力网络模型共享,也即图注意力网络模型中的注意力系数与可采用上述实施例中所述的各节点间的注意力系数,不需要再重复获取各节点间的注意力系数,减少参数数量,加速网络训练。
在上述任意实施例的基础上,所述基于所述第一后验概率分布和所述第二后验概率分布,构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数,包括:
基于所述第一后验概率分布和所述第二后验概率分布,获取证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项,以根据证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数。
本实施例中可基于总体损失函数来同时优化泊松图网络模型和图神经网络模型的模型参数,而总体损失函数中包括据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项,可以更好的约束泊松图网络模型和图神经网络模型,增加模型鲁棒性和准确性。
上述实施例中,证据下界损失函数具体确定过程如下:根据所述第一后验概率分布和所述第二后验概率分布,确定所述第一后验概率分布和所述第二后验概率分布之间的KL散度,根据KL散度确定所述证据下界损失函数,具体的,可包括:
通过如下公式确定所述证据下界损失函数
Figure BDA0003285039440000111
Figure BDA0003285039440000112
其中,
Figure BDA0003285039440000113
为无标签节点标签的第一后验概率,pθ(YU|X,A)为无标签节点标签的第二后验概率,pθ(YL|A,X)为有标签节点标签的第二后验概率,X为结点特征,YL为有标签节点的观测标签,YU为有标签节点的观测标签,A为邻接矩阵,θ、
Figure BDA0003285039440000114
为模型参数,DKL(·||·)代表两个概率分布的KL散度。
在本实施例中,在变分推断中采用KL散度(Kullback–Leibler散度)作为两个概率分布差别的非对称性度量,变分推断等价于最小化KL散度,进而基于KL散度构建如公式(5)所示的证据下界损失函数(Evidence Lower Bound,ELBO),其中最小化KL散度等价于最大化证据下界损失函数。
上述实施例中,对比损失函数具体确定过程如下:根据第一后验概率分布和第二后验概率分布,基于对比学习确定泊松图网络模型和图神经网络模型之间的对比损失函数。
具体的,除了上述实施例中的利用有限的标签信息指导网络训练,本实施例中还想要挖掘无标签数据中蕴藏的监督信号,具体的,本实施例中使用对比学习来探索大量无标签数据中的监督信号,来进一步优化预测结果。本实施例中可最大化相同结点在
Figure BDA0003285039440000115
和pθ(Y|X,A)中输出的相似度,并最小化不同结点输出的相似度,由此,成对的对比损失函数
Figure BDA0003285039440000116
可以表示如下:
Figure BDA0003285039440000117
根据成对的对比损失函数
Figure BDA0003285039440000118
获取总体的对比损失函数LCont如下:
Figure BDA0003285039440000119
其中,zi
Figure BDA0003285039440000121
分别为结点xi
Figure BDA0003285039440000122
和pθ(Y|X,A)中的输出,zk
Figure BDA0003285039440000123
分别为结点xk
Figure BDA0003285039440000124
和pθ(Y|X,A)中的输出,结点xk是不为结点xi的任意节点,〈·,·〉表示内积,τ为温度参数,n为节点数量。
上述实施例中,交叉熵损失函数可表示为:LCE(ZL,YL),其中,ZL
Figure BDA0003285039440000125
产生的有标签样本XL的预测标签。
在上述实施例的基础上,在一种可选实施例中,总体损失函数包括所述根据证据下界损失函数、对比损失函数以及交叉熵损失函数,因此可根据如下公式确定所述总体损失函数
Figure BDA0003285039440000126
Figure BDA0003285039440000127
其中,
Figure BDA0003285039440000128
为证据下界损失函数,LCE(ZL,YL)为交叉熵损失函数,ZL
Figure BDA0003285039440000129
产生的有标签样本XL的预测标签,LCont为对比损失函数,λ1、λ2为系数。基于总体损失函数可对泊松图网络模型和图神经网络模型的模型参数进行优化,通过优化泊松图网络和图神经网络之间的对比目标,可以促进互信息的利用,并改善标签预测的能力。
图6为本申请实施例标签预测设备的结构图。本实施例提供的标签预测设备可以执行方法实施例提供的处理流程,如图6所示,所述标签预测设备600包括:获取模块601、模型优化模块602、预测模块603。
获取模块601,用于获取图结构的节点信息,所述图结构包括有标签节点和无标签节点,所述节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;
模型优化模块602,用于根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,所述泊松图网络模型和所述图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;根据所述总体损失函数对所述泊松图网络模型和所述图神经网络模型的模型参数进行优化;
预测模块603,用于根据所述节点信息以及优化后的泊松图网络模型,确定所述无标签节点的预测标签。
在上述任一实施例的基础上,所述模型优化模块602在根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数时,用于:
将所述节点特征、邻接矩阵以及有标签节点的观测标签输入预设的泊松图网络模型,获取节点标签的第一后验概率分布;
将所述节点特征、以及邻接矩阵输入预设的图神经网络模型,获取节点标签的第二后验概率分布;
基于所述第一后验概率分布和所述第二后验概率分布,构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数。
在上述任一实施例的基础上,所述模型优化模块602在将所述节点特征、邻接矩阵以及有标签节点的观测标签输入预设的泊松图网络模型,获取节点标签的第一后验概率分布时,用于:
基于所述节点特征,根据注意力机制获取各节点间的注意力系数,并根据对邻接矩阵中的边权重进行替换处理,得到注意力图;
根据有标签节点的观测标签构建所有节点的标签矩阵,其中无标签节点对应的值为0;
将所述节点特征、所述注意力图、以及所述标签矩阵输入泊松图网络模型,经过泊松图网络模型的多层泊松卷积,获取节点标签的第一后验概率分布。
在上述任一实施例的基础上,所述模型优化模块602在将所述节点特征、所述注意力图、以及所述标签矩阵输入泊松图网络模型,经过泊松图网络模型的多层泊松卷积层,获取节点标签的第一后验概率分布时,用于:
对于任一层泊松卷积层,基于上一层泊松卷积层的输出结果、所述标签矩阵以及注意力图的对角矩阵和拉普拉斯矩阵,获取本层泊松卷积层的输出结果。
在上述任一实施例的基础上,所述模型优化模块602在对于任一层泊松卷积层,基于上一层泊松卷积层的输出结果、所述标签矩阵以及注意力图的对角矩阵和拉普拉斯矩阵,获取本层泊松卷积层的输出结果时,用于:
通过如下公式获取本层泊松卷积层的输出结果:
Figure BDA0003285039440000131
其中,
Figure BDA0003285039440000132
表示第t层泊松卷积层的输出结果;
Figure BDA0003285039440000133
Figure BDA0003285039440000134
分别表示注意力图的对角矩阵和拉普拉斯矩阵;BT表示所有节点的标签矩阵,其中无标签节点对应的值为0。
在上述任一实施例的基础上,所述模型优化模块602还用于:
根据所述节点特征进行标签预测,获取标签预测结果;
将所述标签预测结果输入到至少一层泊松卷积层,与该层泊松卷积层的输出结果进行叠加,作为该层泊松卷积层最终的输出结果。
在上述任一实施例的基础上,所述图神经网络模型为图注意力网络,图神经网络模型中的注意力系数采用所述各节点间的注意力系数。
在上述任一实施例的基础上,所述模型优化模块602在基于所述第一后验概率分布和所述第二后验概率分布,构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数时,用于:
基于所述第一后验概率分布和所述第二后验概率分布,获取证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项,以根据证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数。
在上述任一实施例的基础上,所述模型优化模块602在基于所述第一后验概率分布和所述第二后验概率分布,获取证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项时,用于:
根据所述第一后验概率分布和所述第二后验概率分布,确定所述第一后验概率分布和所述第二后验概率分布之间的KL散度,根据KL散度确定所述证据下界损失函数;和/或
根据第一后验概率分布和第二后验概率分布,基于对比学习确定泊松图网络模型和图神经网络模型之间的对比损失函数;和/或
根据有标签节点的第一后验概率分布以及所述观测标签数据,确定交叉熵损失函数。
在上述任一实施例的基础上,所述模型优化模块602在根据所述第一后验概率分布和所述第二后验概率分布,确定所述第一后验概率分布和所述第二后验概率分布之间的KL散度,根据KL散度确定所述证据下界损失函数时,用于:
通过如下公式确定所述证据下界损失函数
Figure BDA0003285039440000141
Figure BDA0003285039440000142
其中,
Figure BDA0003285039440000143
为无标签节点标签的第一后验概率,pθ(YU|X,A)为无标签节点标签的第二后验概率,pθ(YL|A,X)为有标签节点标签的第二后验概率,X为结点特征,YL为有标签节点的观测标签,YU为有标签节点的观测标签,A为邻接矩阵,θ、
Figure BDA0003285039440000151
为模型参数,DKL(·||·)代表两个分布的KL散度。
在上述任一实施例的基础上,所述模型优化模块602在根据第一后验概率分布和第二后验概率分布,基于对比学习确定泊松图网络模型和图神经网络模型之间的对比损失函数时,用于:
根据如下公式获取成对的对比损失函数
Figure BDA0003285039440000152
Figure BDA0003285039440000153
根据成对的对比损失函数
Figure BDA0003285039440000154
获取所述对比损失函数LCont如下:
Figure BDA0003285039440000155
其中,zi
Figure BDA0003285039440000156
分别为结点xi
Figure BDA0003285039440000157
和pθ(Y|X,A)中的输出,zk
Figure BDA0003285039440000158
分别为结点xk
Figure BDA0003285039440000159
和pθ(Y|X,A)中的输出,结点xk是不为结点xi的任意节点,<·,·>表示内积,τ为温度参数,n为节点数量。
在上述任一实施例的基础上,所述模型优化模块602在根据证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数时,用于:
根据如下公式确定所述总体损失函数
Figure BDA00032850394400001510
Figure BDA00032850394400001511
其中,
Figure BDA00032850394400001512
为证据下界损失函数,LCE(ZL,YL)为交叉熵损失函数,ZL
Figure BDA00032850394400001513
产生的有标签样本XL的预测标签,LCont为对比损失函数,λ1、λ2为系数。
本申请实施例提供的标签预测设备可以具体用于执行上述图2-5所提供的方法实施例,具体功能此处不再赘述。
本申请实施例提供的标签预测设备,通过获取图结构的节点信息,图结构包括有标签节点和无标签节点,节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;根据节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,泊松图网络模型和图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;根据总体损失函数对泊松图网络模型和图神经网络模型的模型参数进行优化;根据节点信息以及优化后的泊松图网络模型确定无标签节点的预测标签。通过泊松图网络有效解决标签节点数量极少的半监督学习问题,并且基于泊松图网络模型和图神经网络模型通过变分推断来对原本以求解的后验概率分布进行估计,共同提高模型学习能力,使得模型具有更高的鲁棒性和置信度,进而可更准确的预测无标签节点的标签。
图7为本申请实施例提供的电子设备的结构示意图。本申请实施例提供的电子设备可以执行标签预测方法实施例提供的处理流程,如图7所示,电子设备70包括存储器71、处理器72、计算机程序;其中,计算机程序存储在存储器71中,并被配置为由处理器72执行以上实施例所述的标签预测方法。此外,电子设备70还可具有通讯接口73,用于传输控制指令和/或数据。
图7所示实施例的电子设备可用于执行上述标签预测方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
另外,本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的方法。
另外,本实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行以实现上述实施例所述的方法。
在本申请实施例所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元,可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请实施例各个实施例所述方法的部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上各实施例仅用以说明本申请实施例的技术方案,而非对其限制;尽管参照前述各实施例对本申请实施例进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请实施例各实施例技术方案的范围。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求书指出。应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求书来限制。

Claims (16)

1.一种标签预测方法,其特征在于,包括:
获取图结构的节点信息,所述图结构包括有标签节点和无标签节点,所述节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;
根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,所述泊松图网络模型和所述图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;
根据所述总体损失函数对所述泊松图网络模型和所述图神经网络模型的模型参数进行优化;
根据所述节点信息以及优化后的泊松图网络模型,确定所述无标签节点的预测标签。
2.根据权利要求1所述的方法,其特征在于,所述根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数,包括:
将所述节点特征、邻接矩阵以及有标签节点的观测标签输入预设的泊松图网络模型,获取节点标签的第一后验概率分布;
将所述节点特征、以及邻接矩阵输入预设的图神经网络模型,获取节点标签的第二后验概率分布;
基于所述第一后验概率分布和所述第二后验概率分布,构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数。
3.根据权利要求2所述的方法,其特征在于,所述将所述节点特征、邻接矩阵以及有标签节点的观测标签输入预设的泊松图网络模型,获取节点标签的第一后验概率分布,包括:
基于所述节点特征,根据注意力机制获取各节点间的注意力系数,并根据对邻接矩阵中的边权重进行替换处理,得到注意力图;
根据有标签节点的观测标签构建所有节点的标签矩阵,其中无标签节点对应的值为0;
将所述节点特征、所述注意力图、以及所述标签矩阵输入泊松图网络模型,经过泊松图网络模型的多层泊松卷积,获取节点标签的第一后验概率分布。
4.根据权利要求3所述的方法,其特征在于,所述将所述节点特征、所述注意力图、以及所述标签矩阵输入泊松图网络模型,经过泊松图网络模型的多层泊松卷积层,获取节点标签的第一后验概率分布,包括:
对于任一层泊松卷积层,基于上一层泊松卷积层的输出结果、所述标签矩阵以及注意力图的对角矩阵和拉普拉斯矩阵,获取本层泊松卷积层的输出结果。
5.根据权利要求4所述的方法,其特征在于,所述对于任一层泊松卷积层,基于上一层泊松卷积层的输出结果、所述标签矩阵以及注意力图的对角矩阵和拉普拉斯矩阵,获取本层泊松卷积层的输出结果,包括:
通过如下公式获取本层泊松卷积层的输出结果:
Figure FDA0003285039430000021
其中,
Figure FDA0003285039430000022
表示第t层泊松卷积层的输出结果;
Figure FDA0003285039430000023
Figure FDA0003285039430000024
分别表示注意力图的对角矩阵和拉普拉斯矩阵;BT表示所有节点的标签矩阵,其中无标签节点对应的值为0。
6.根据权利要求4或5所述的方法,其特征在于,还包括:
根据所述节点特征进行标签预测,获取标签预测结果;
将所述标签预测结果输入到至少一层泊松卷积层,与该层泊松卷积层的输出结果进行叠加,作为该层泊松卷积层最终的输出结果。
7.根据权利要求3所述的方法,其特征在于,所述图神经网络模型为图注意力网络,图神经网络模型中的注意力系数采用所述各节点间的注意力系数。
8.根据权利要求2所述的方法,其特征在于,所述基于所述第一后验概率分布和所述第二后验概率分布,构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数,包括:
基于所述第一后验概率分布和所述第二后验概率分布,获取证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项,以根据证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数。
9.根据权利要求8所述的方法,其特征在于,所述基于所述第一后验概率分布和所述第二后验概率分布,获取证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项,包括:
根据所述第一后验概率分布和所述第二后验概率分布,确定所述第一后验概率分布和所述第二后验概率分布之间的KL散度,根据KL散度确定所述证据下界损失函数;和/或
根据第一后验概率分布和第二后验概率分布,基于对比学习确定泊松图网络模型和图神经网络模型之间的对比损失函数;和/或
根据有标签节点的第一后验概率分布以及所述观测标签数据,确定交叉熵损失函数。
10.根据权利要求8所述的方法,其特征在于,所述根据所述第一后验概率分布和所述第二后验概率分布,确定所述第一后验概率分布和所述第二后验概率分布之间的KL散度,根据KL散度确定所述证据下界损失函数,包括:
通过如下公式确定所述证据下界损失函数
Figure FDA0003285039430000031
Figure FDA0003285039430000032
其中,
Figure FDA0003285039430000033
为无标签节点标签的第一后验概率,pθ(YU|X,A)为无标签节点标签的第二后验概率,pθ(YL|A,X)为有标签节点标签的第二后验概率,X为结点特征,YL为有标签节点的观测标签,YU为有标签节点的观测标签,A为邻接矩阵,θ、
Figure FDA0003285039430000034
为模型参数,DKL(·||·)代表两个分布的KL散度。
11.根据权利要求8所述的方法,其特征在于,所述根据第一后验概率分布和第二后验概率分布,基于对比学习确定泊松图网络模型和图神经网络模型之间的对比损失函数,包括:
根据如下公式获取成对的对比损失函数
Figure FDA0003285039430000035
Figure FDA0003285039430000036
根据成对的对比损失函数
Figure FDA0003285039430000037
获取所述对比损失函数LCont如下:
Figure FDA0003285039430000038
其中,zi
Figure FDA0003285039430000039
分别为结点xi
Figure FDA00032850394300000310
和pθ(Y|X,A)中的输出,zk
Figure FDA00032850394300000311
分别为结点xk
Figure FDA00032850394300000312
和pθ(Y|X,A)中的输出,结点xk是不为结点xi的任意节点,〈·,·〉表示内积,τ为温度参数,n为节点数量。
12.根据权利要求8-11任一项所述的方法,其特征在于,所述根据证据下界损失函数、对比损失函数以及交叉熵损失函数中的一项或多项构建预设的泊松图网络模型与预设的图神经网络模型的总体损失函数,包括:
根据如下公式确定所述总体损失函数
Figure FDA0003285039430000041
Figure FDA0003285039430000042
其中,
Figure FDA0003285039430000043
为证据下界损失函数,LCE(ZL,YL)为交叉熵损失函数,ZL
Figure FDA0003285039430000044
产生的有标签样本XL的预测标签,LCont为对比损失函数,λ1、λ2为系数。
13.一种标签预测设备,其特征在于,包括:
获取模块,用于获取图结构的节点信息,所述图结构包括有标签节点和无标签节点,所述节点信息包括节点特征、邻接矩阵以及有标签节点的观测标签;
模型优化模块,用于根据所述节点信息获取预设的泊松图网络模型与预设的图神经网络模型的总体损失函数;其中,所述泊松图网络模型和所述图神经网络模型用于根据变分推断估计无标签节点标签的后验概率分布;根据所述总体损失函数对所述泊松图网络模型和所述图神经网络模型的模型参数进行优化;
预测模块,用于根据所述节点信息以及优化后的泊松图网络模型,确定所述无标签节点的预测标签。
14.一种电子设备,其特征在于,包括:至少一个处理器;以及存储器;
所述存储器存储计算机执行指令;
所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如权利要求1-12任一项所述的方法。
15.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-12任一项所述的方法。
16.一种计算机程序产品,包括计算机指令,其特征在于,该计算机指令被处理器执行时实现如权利要求1-12任一项所述的方法。
CN202111144803.0A 2021-09-28 2021-09-28 标签预测方法、设备、存储介质 Active CN113780584B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111144803.0A CN113780584B (zh) 2021-09-28 2021-09-28 标签预测方法、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111144803.0A CN113780584B (zh) 2021-09-28 2021-09-28 标签预测方法、设备、存储介质

Publications (2)

Publication Number Publication Date
CN113780584A true CN113780584A (zh) 2021-12-10
CN113780584B CN113780584B (zh) 2024-03-05

Family

ID=78854248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111144803.0A Active CN113780584B (zh) 2021-09-28 2021-09-28 标签预测方法、设备、存储介质

Country Status (1)

Country Link
CN (1) CN113780584B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114371937A (zh) * 2022-01-10 2022-04-19 北京达佳互联信息技术有限公司 模型训练方法、多任务联合预测方法、装置、设备及介质
CN114819328A (zh) * 2022-04-21 2022-07-29 平安科技(深圳)有限公司 标签预测方法、装置、设备及存储介质
CN114996213A (zh) * 2022-07-01 2022-09-02 上海彬黎科技有限公司 一种文件系统图结构的构造方法
CN116032665A (zh) * 2023-03-28 2023-04-28 北京芯盾时代科技有限公司 一种网络群体的发现方法、装置、设备及存储介质
CN117150931A (zh) * 2023-10-30 2023-12-01 中国石油大学(华东) 基于混合单隐层神经网络的混油长度在线估计方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150058277A1 (en) * 2013-08-23 2015-02-26 Thomson Licensing Network inference using graph priors
US20170351819A1 (en) * 2016-06-01 2017-12-07 Grand Rounds, Inc. Data driven analysis, modeling, and semi-supervised machine learning for qualitative and quantitative determinations
CN110349103A (zh) * 2019-07-01 2019-10-18 昆明理工大学 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN110929866A (zh) * 2018-09-20 2020-03-27 阿里巴巴集团控股有限公司 神经网络模型的训练方法、装置和系统
WO2020191001A1 (en) * 2019-03-18 2020-09-24 Triad National Security, Llc Real-world network link analysis and prediction using extended probailistic maxtrix factorization models with labeled nodes
CN112990031A (zh) * 2021-03-23 2021-06-18 大连理工大学 一种基于改进孪生网络用于检测篡改人脸视频和图像的方法
CN113096234A (zh) * 2019-12-23 2021-07-09 复旦大学 利用多张彩色图片生成三维网格模型的方法及装置
CN113361627A (zh) * 2021-06-23 2021-09-07 中国科学技术大学 一种面向图神经网络的标签感知协同训练方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150058277A1 (en) * 2013-08-23 2015-02-26 Thomson Licensing Network inference using graph priors
US20170351819A1 (en) * 2016-06-01 2017-12-07 Grand Rounds, Inc. Data driven analysis, modeling, and semi-supervised machine learning for qualitative and quantitative determinations
CN110929866A (zh) * 2018-09-20 2020-03-27 阿里巴巴集团控股有限公司 神经网络模型的训练方法、装置和系统
WO2020191001A1 (en) * 2019-03-18 2020-09-24 Triad National Security, Llc Real-world network link analysis and prediction using extended probailistic maxtrix factorization models with labeled nodes
CN110349103A (zh) * 2019-07-01 2019-10-18 昆明理工大学 一种基于深度神经网络和跳跃连接的无干净标签图像去噪方法
CN113096234A (zh) * 2019-12-23 2021-07-09 复旦大学 利用多张彩色图片生成三维网格模型的方法及装置
CN112990031A (zh) * 2021-03-23 2021-06-18 大连理工大学 一种基于改进孪生网络用于检测篡改人脸视频和图像的方法
CN113361627A (zh) * 2021-06-23 2021-09-07 中国科学技术大学 一种面向图神经网络的标签感知协同训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周志敏;: "基于深度学习的合金设计与预报方法", 特种铸造及有色合金, no. 05 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114371937A (zh) * 2022-01-10 2022-04-19 北京达佳互联信息技术有限公司 模型训练方法、多任务联合预测方法、装置、设备及介质
CN114819328A (zh) * 2022-04-21 2022-07-29 平安科技(深圳)有限公司 标签预测方法、装置、设备及存储介质
CN114996213A (zh) * 2022-07-01 2022-09-02 上海彬黎科技有限公司 一种文件系统图结构的构造方法
CN116032665A (zh) * 2023-03-28 2023-04-28 北京芯盾时代科技有限公司 一种网络群体的发现方法、装置、设备及存储介质
CN116032665B (zh) * 2023-03-28 2023-06-30 北京芯盾时代科技有限公司 一种网络群体的发现方法、装置、设备及存储介质
CN117150931A (zh) * 2023-10-30 2023-12-01 中国石油大学(华东) 基于混合单隐层神经网络的混油长度在线估计方法及系统
CN117150931B (zh) * 2023-10-30 2024-01-30 中国石油大学(华东) 基于混合单隐层神经网络的混油长度在线估计方法及系统

Also Published As

Publication number Publication date
CN113780584B (zh) 2024-03-05

Similar Documents

Publication Publication Date Title
CN113780584B (zh) 标签预测方法、设备、存储介质
JP6725547B2 (ja) 人工ニューラルネットワークの関連性スコア割当て
CA3066029A1 (en) Image feature acquisition
CN113255895B (zh) 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法
CN111339818B (zh) 一种人脸多属性识别系统
CN114519469A (zh) 一种基于Transformer框架的多变量长序列时间序列预测模型的构建方法
CN113297972B (zh) 一种基于数据融合深度学习的变电站设备缺陷智能分析方法
Zhang et al. Semi-supervised deep learning via transformation consistency regularization for remote sensing image semantic segmentation
Dai et al. Hybrid deep model for human behavior understanding on industrial internet of video things
CN115718826A (zh) 图结构数据中的目标节点分类方法、系统、设备及介质
Lin et al. DA-Net: density-adaptive downsampling network for point cloud classification via end-to-end learning
He et al. CECAV-DNN: Collective ensemble comparison and visualization using deep neural networks
CN114154557A (zh) 癌症组织分类方法、装置、电子设备及存储介质
CN113326862A (zh) 审计大数据融合聚类与风险数据检测方法、介质、设备
Hu et al. Attentional weighting strategy-based dynamic GCN for skeleton-based action recognition
Wistuba et al. Inductive transfer for neural architecture optimization
CN116206158A (zh) 基于双超图神经网络的场景图像分类方法及系统
Saranya et al. FBCNN-TSA: An optimal deep learning model for banana ripening stages classification
Wu et al. Training-free neural architecture search: a review
CN117154256A (zh) 锂电池的电化学修复方法
Qin et al. A hybrid deep learning model for short‐term load forecasting of distribution networks integrating the channel attention mechanism
CN116958709A (zh) 一种轻量级张量卷积长短时记忆网络的高光谱分类方法
CN116467466A (zh) 基于知识图谱的编码推荐方法、装置、设备及介质
CN115730248A (zh) 一种机器账号检测方法、系统、设备及存储介质
CN113343041B (zh) 基于图模型表示学习的消息回复关系判断系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant