CN116151354B

CN116151354B - 网络节点的学习方法、装置、电子装置和存储介质

Info

Publication number: CN116151354B
Application number: CN202310411396.8A
Authority: CN
Inventors: 王一张; 郏维强; 陆陈昊; 崔鑫; 王智明
Original assignee: Zhejiang Lab
Current assignee: Zhejiang Lab
Priority date: 2023-04-10
Filing date: 2023-04-10
Publication date: 2023-07-18
Anticipated expiration: 2043-04-10
Also published as: CN116151354A

Abstract

本申请涉及一种网络节点的学习方法、装置、电子装置和存储介质，所述方法包括：基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，所述层次标签树包含多个网络节点的标签信息之间的隶属关系；基于所述目标注意力向量，对多个所述网络节点进行采样，并基于采样结果获取所述目标网络节点的相邻网络节点以及对应的相邻注意力向量；对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量。通过本申请，解决了相关技术中网络节点的表示学习不够准确的技术问题，提高了网络节点表示学习时表示向量的全面性，更有利于挖掘网络节点之间的相似性和关联性，进而提高了网络节点学习的准确性。

Description

网络节点的学习方法、装置、电子装置和存储介质

技术领域

本申请涉及图数据领域，特别是涉及网络节点的学习方法、装置、电子装置和存储介质。

背景技术

图数据在日常生活中的应用非常广泛，例如交通网、社交网等数据往往都会表示成图的形式并存储于图数据库中。与图片、语音等欧式数据不同的是，图数据无法直接应用卷积运算等操作，需要探索新的分析方式。随着深度学习的发展，如何将深度学习技术应用于图数据处理具有重要的研究价值。

在相关技术中，为了对图数据进行表示学习，一般都是基于图的结构信息对图中的节点进行表示学习，从而得到节点对应的描述数据，例如DeepWalk、GCN等算法。但是，对于文本等存在多维度信息的数据，仅仅考虑网络结构往往会导致节点的描述数据不够全面，没有考虑到不同节点关注的对象相似的情形，使得相似节点的描述数据相互孤立，进而导致网络节点的表示学习不够准确。

针对相关技术中存在的网络节点的表示学习不够准确的技术问题，目前还没有提出有效的解决方案。

发明内容

在本实施例中提供了一种网络节点的学习方法、装置、电子装置和存储介质，以解决相关技术中网络节点的表示学习不够准确的问题。

第一个方面，在本实施例中提供了一种网络节点的学习方法，应用于图数据领域，包括：

基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，所述层次标签树包含多个网络节点的标签信息之间的隶属关系；

基于所述目标注意力向量，对多个所述网络节点进行采样，并基于采样结果获取所述目标网络节点的相邻网络节点以及对应的相邻注意力向量；

对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量。

在其中的一些实施例中，所述基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量之前还包括：

基于多个所述网络节点对应的所述标签信息之间的隶属关系，建立所述层次标签树。

在其中的一些实施例中，所述基于多个所述网络节点对应的所述标签信息之间的隶属关系，建立所述层次标签树之前还包括：

获取所述网络节点对应的文本信息；

对所述文本信息进行清洗，得到所述文本信息中的文字信息；

基于所述文字信息，获取所述网络节点对应的所述标签信息以及所述标签信息之间的隶属关系。

在其中的一些实施例中，所述基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量包括：

基于所述层次标签树确定目标层；

获取所述目标标签信息的初始注意力概率；

依次将所述层次标签树中每层的子目标标签信息的中间注意力概率传递至上一层的父目标标签信息，所述中间注意力概率基于所述子目标标签信息的初始注意力概率以及上一次的传递结果确定；

判断所述父目标标签信息是否位于所述目标层，若是，则停止传递所述中间注意力概率，并基于所述目标层对应的所述初始注意力概率以及传递结果，确定所述目标注意力向量。

在其中的一些实施例中，所述基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量之后还包括：

获取所述目标网络节点的状态标识，并将所述状态标识添加至所述目标注意力向量。

在其中的一些实施例中，所述基于所述目标注意力向量，对多个所述网络节点进行采样，并基于采样结果获取所述目标网络节点的相邻网络节点以及对应的相邻注意力向量包括：

基于所述目标网络节点与采样网络节点之间的路径，确定第一参数；

基于所述目标网络节点与所述采样网络节点之间的权重，确定第二参数；

基于所述目标注意力向量与所述采样网络节点对应的采样注意力向量之间的相似度，确定第三参数；

基于所述第一参数、所述第二参数以及所述第三参数，确定所述目标网络节点与所述采样网络节点的转移概率，并在所述转移概率符合预设条件时将所述采样网络节点确定为所述相邻网络节点。

在其中的一些实施例中，所述方法还包括对所述目标网络节点的所述目标表示向量进行迭代训练，所述对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量包括：

获取前一次迭代过程中的所述相邻注意力向量并进行聚合，得到第一聚合向量；

在当前的迭代过程中，对所述第一聚合向量以及所述目标注意力向量进行聚合，得到所述目标表示向量。

在其中的一些实施例中，所述对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量之后还包括：

获取所述目标网络节点的非相邻网络节点；

基于所述目标表示向量、所述相邻网络节点的相邻表示向量以及所述非相邻网络节点的非相邻表示向量，确定目标损失函数；

基于所述目标损失函数对所述目标表示向量进行训练。

第二个方面，在本实施例中提供了一种网络节点的学习装置，应用于图数据领域，包括：

确定模块，用于基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，所述层次标签树包含多个网络节点的标签信息之间的隶属关系；

采样模块，用于基于所述目标注意力向量，对多个所述网络节点进行采样，并基于采样结果获取所述目标网络节点的相邻网络节点以及对应的相邻注意力向量；

聚合模块，用于对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量。

第三个方面，在本实施例中提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一个方面所述的网络节点的学习方法。

第四个方面，在本实施例中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一个方面所述的网络节点的学习方法。

与相关技术相比，本申请提供了一种网络节点的学习方法、装置、电子装置和存储介质，所述方法包括：基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，所述层次标签树包含多个网络节点的标签信息之间的隶属关系；基于所述目标注意力向量，对多个所述网络节点进行采样，并基于采样结果获取所述目标网络节点的相邻网络节点以及对应的相邻注意力向量；对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量。通过目标网络节点的标签信息确定目标注意力向量，并基于目标注意力向量对其他网络节点进行采样，以获取注意力向量相似的相邻网络节点，并将相邻网络节点的相邻注意力向量与目标注意力向量进行聚合，使得目标网络节点的目标表示向量融合了相似度高的相邻网络节点，避免了目标网络节点与相邻网络节点的表示向量相互孤立，解决了相关技术中网络节点的表示学习不够准确的技术问题，提高了网络节点表示学习时表示向量的全面性，更有利于挖掘网络节点之间的相似性和关联性，进而提高了网络节点学习的准确性。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请一实施例的网络节点的学习方法的终端的硬件结构框图；

图2是本申请一实施例的网络节点的学习方法的流程示意图；

图3是本申请一实施例的层次标签树的结构示意图；

图4是本申请另一实施例的网络节点的转移关系示意图；

图5是本申请另一实施例的网络节点的学习方法的流程示意图；

图6是本申请一实施例的网络节点的学习装置的结构框图。

具体实施方式

为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。

除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。

在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是本实施例的网络节点的学习方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本实施例中的网络节点的学习方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

对于相关技术中的图表示学习算法如DeepWalk、GCN等，多是基于图的结构信息进行图中节点的表示学习，然而现实中还存在文本等多维度的信息。所以在对节点进行标识学习时不仅要考虑网络结构，还可以融合节点的标签等多维度的信息，以获得更准确的嵌入表示。如若两个节点关注相似的对象，那么它们的表示向量在表示空间中也应具有更近的距离。基于此，可以从文本中提取标签信息用于学习。目前利用节点标签的方法多是将标签作为节点的属性，然而不同标签往往具有不同的粒度，将不同粒度的标签合并在一个向量中进行训练要求学习器具有很强的学习能力，容易导致过拟合。虽然部分研究中考虑到了标签的粒度，将同一粒度的标签表示成一个向量，然后将不同粒度的标签向量连接起来，但是这种方法无法适用于节点标签数量很多的情况，会导致计算量过大。

此外，GCN所采用的直推式的学习方式在训练时需要用到全图的信息，导致其无法对新节点进行推理。GraphSAGE中虽然采用归纳式的学习方式，可以适用于新节点的推理，但是在节点采样时采用随机采样的方法，在聚合时基于图结构逐步聚合，均没有利用节点的标签信息，同时GraphSAGE通常只采样到二阶相邻节点，无法挖掘到高阶的结构信息。Node2Vec中对节点游走函数进行了改进，便于提取高阶结构信息，但是仍旧没有考虑节点的标签信息。因此，已有的图表示学习算法均无法同时满足结合层次标签信息进行节点采样与聚合、挖掘高阶子图结构信息、在新节点上进行推理等需求。

请参阅图2，图2是本申请一实施例的网络节点的学习方法的流程示意图。

在一个实施例中，本实施例的网络节点的学习方法应用于图数据领域，包括：

S202：基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，层次标签树包含多个网络节点的标签信息之间的隶属关系。

示例性地，获取需要进行表示学习的网络节点，作为目标网络节点。目标网络节点包含了表示对象的至少一个标签信息，例如表示对象可以为具体的用户，标签信息包括用户在互联网平台发表的内容所包含的主题，例如财经、体育等。

示例性地，根据目标网络节点的目标标签信息，结合层次标签树，确定目标注意力向量。其中，层次标签树为根据所有网络节点的所有标签信息预先建立的、用于表示所有标签信息之间隶属关系的树状逻辑结构。

具体的，为方便描述，本实施例中以目标网络节点作为所有网络节点中的一个示例。在实际应用中，需要通过本实施例中的网络节点学习方法对网络中的所有网络节点进行学习，以获取每个网络节点对应的表示向量。

请参阅图3，图3是本申请一实施例的层次标签树的结构示意图。

具体的，在图3所示的层次标签树中，目标网络节点对应的目标标签信息分别为标签0、标签1、标签2……标签k，其分布状况如图3所示。对于层次标签树的最高层，定义为L0，其后依次为L1、L2……Ln。

具体的，在确定目标注意力向量的过程中，可结合目标标签信息在层次标签树中的位置分布，确定每个目标标签信息对应的注意力参数。例如，对于位置处于层次标签树低层的目标标签信息（如图3中所示的标签2、标签3），则应当具有较小的注意力参数，以降低其在目标注意力向量中的注意力占比；对于位置处于层次标签树高层的目标标签信息（如图3中所示的标签0），则应当具有较大的注意力参数，以提高其在目标注意力向量中的注意力占比。在得到所有的注意力参数后进行汇总，并确定目标注意力向量。

S204：基于目标注意力向量，对多个网络节点进行采样，并基于采样结果获取目标网络节点的相邻网络节点以及对应的相邻注意力向量。

示例性地，本实施例中所有的网络节点均存在对应的注意力向量，其建立过程与目标注意力向量相同。建立目标网络节点的目标注意力向量后，结合目标注意力向量对其他网络节点进行采样，并根据采样结果确定相邻网络节点。优选的，本实施例中对所有的网络节点进行采样，以提高采样结果的准确性。

具体的，获取目标注意力向量与被采样的网络节点的注意力向量，并确定二者之间的相关性，例如相似度特征；若二者的相关性高，则将该被采样的网络节点作为相邻网络节点并记录其相邻注意力向量。

优选的，本实施例对目标网络节点的周边网络节点进行采样，并基于采样结果获取相邻网络节点。其中，周边网络节点是指距离目标网络节点的最短路径较短的点，例如和目标网络节点直接相连（即只存在一条边）的网络节点。

可以理解的，若目标网络节点与被采样的网络节点的注意力向量之间的相关性高，则表明目标网络节点与被采样的网络节点的标签信息的相关度高，进一步，目标网络节点与被采样的网络节点的表示对象之间具有很高的相似性。

具体的，本实施例还可以进一步结合其他因素确定相邻网络节点，例如目标网络节点与被采样的网络节点之间的路径，路径越短，则表明是相邻网络节点的可能性越高。

S206：对目标注意力向量以及相邻注意力向量进行聚合，得到目标网络节点的目标表示向量。

示例性地，获取相邻网络节点及其对应的相邻注意力向量后，对目标注意力向量以及相邻注意力向量进行聚合处理，从而确定目标网络节点的表示向量。其中，由于该目标表示向量融合了相邻网络节点的相邻注意力向量，使得对目标网络节点的学习表示充分考虑了相似的网络节点，避免了目标网络节点的表示数据过于孤立和片面。

具体的，根据本实施例中的网络节点的学习方法，获取每个网络节点对应的表示向量，并基于表示向量的相似度对网络节点之间的关系进行分析，表示向量的相似度越高，对应的网络节点之间的关系越紧密。更具体的，结合多个网络节点之间的关系，可以确定网络节点的表示对象对应的数据链路，例如确定数据在社交网络中的传播过程等。

本实施例通过目标网络节点的标签信息确定目标注意力向量，并基于目标注意力向量对其他网络节点进行采样，以获取注意力向量相似的相邻网络节点，并将相邻网络节点的相邻注意力向量与目标注意力向量进行聚合，使得目标网络节点的目标表示向量融合了相似度高的相邻网络节点，避免了目标网络节点与相邻网络节点的表示向量相互孤立，解决了相关技术中网络节点的表示学习不够准确的技术问题，提高了网络节点表示学习时表示向量的全面性，更有利于挖掘网络节点之间的相似性和关联性，进而提高了网络节点学习的准确性。进一步，本实施例中引入了标签的语义信息以及网络节点的结构信息，可以更好地对多层次的标签信息以及网络结构信息进行结合，并降低计算规模。

在另一个实施例中，基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量之前还包括：

基于多个网络节点对应的标签信息之间的隶属关系，建立层次标签树。

示例性地，在建立目标网络节点对应的目标注意力向量之前，首先需要建立层次标签树。具体的，获取所有的网络节点对应的所有标签信息，并确定标签信息之间的隶属关系，例如对于标签信息“股票”，可以确定其隶属于标签信息“财经”，标签信息“足球”，可以确定其隶属于标签信息“体育”；确定所有标签信息的隶属关系后，根据隶属关系建立图3中所示的层次标签树。

本实施例首先建立层次标签树，并结合层次标签树的逻辑结构确定目标注意力向量。基于层次标签树，可以快速确定每个目标标签信息的隶属关系以及其注意力程度，从而更快速的确定目标注意力向量，进而提高了网络节点的学习效率。

在另一个实施例中，基于多个网络节点对应的标签信息之间的隶属关系，建立层次标签树之前还包括：

步骤1：获取网络节点对应的文本信息；

步骤2：对文本信息进行清洗，得到文本信息中的文字信息；

步骤3：基于文字信息，获取网络节点对应的标签信息以及标签信息之间的隶属关系。

示例性地，本实施例中网络节点的描述对象为文本信息，文本信息包括但不限于文章、评论、新闻报道、报表、学术论文等。获取所有的文本信息，并对文本信息进行数据清洗，以提取文本信息中的文字信息；最后对文字信息进行分析，以提取文字信息中的关键字词作为标签信息，并确定标签信息之间的隶属关系，可选的还可以确定每个标签信息对应的置信度。

具体的，收集互联网等平台中传播的文本信息，对文本信息进行清洗以去除标点、停用词以及注释等内容，得到其中的文字信息；利用分词工具如jieba对文字信息进行分词，利用自然语言处理库如gensim提取文字信息中的主题和对应的概率，作为该文本信息的对应的标签和置信度。

在其中一个具体实施例中，标签的数量设置为5，记V是所有网络节点的集合，则对任一目标网络节点v∈V，均存在一个字典用于存储目标网络节点v的标签—置信度对{t_vi:p_vi,i=1,2,…,4}，字典大小为5。

本实施例对文本信息进行清洗，并根据清洗后的文字信息获取网络节点的标签信息以及对应的隶属关系，标签信息的获取过程简单且准确度高，从而提高了网络节点的学习效率和准确性。

在另一个实施例中，基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量包括：

步骤1：基于层次标签树确定目标层；

步骤2：获取目标标签信息的初始注意力概率；

步骤3：依次将层次标签树中每层的子目标标签信息的中间注意力概率传递至上一层的父目标标签信息，中间注意力概率基于子目标标签信息的初始注意力概率以及上一次的传递结果确定；

步骤4：判断父目标标签信息是否位于目标层，若是，则停止传递中间注意力概率，并基于目标层对应的初始注意力概率以及传递结果，确定目标注意力向量。

示例性地，本实施例在建立目标网络节点的目标注意力向量的过程中，首先需要在层次标签树中确定目标层，在对注意力概率进行传递的过程中，将目标层以下的所有注意力概率按照一定的规则回溯至目标层。

示例性地，确定每个目标标签信息对应的初始注意力概率，优选的该初始注意力概率设置为目标标签信息对应的置信度。定义层次标签树的最高层为L0，最底层为Ln，在第一次传递过程中将Ln层的子目标标签信息对应的初始注意力概率传递至Ln-1层的父目标标签信息，得到第一次传递的传递结果，此时基于第一次传递的传递结果以及Ln-1层的父目标标签信息自身的初始注意力概率，确定该父目标标签信息对应的新的注意力概率即中间注意力概率，优选的中间注意力概率设置为二者的和。完成第一次概率传递后，继续执行第二次概率传递，将Ln-1层的子目标标签信息（即上次一传递时的父目标标签信息）的中间注意力概率传递至Ln-2层的父目标标签信息，得到第二次传递的传递结果，此时基于第二次传递的传递结果以及Ln-2层的父目标标签信息自身的初始注意力概率，确定对应的中间注意力概率。重复执行上述过程，直至中间注意力概率传递至目标层。

具体的，在中间注意力概率的传递过程中，若上一层的父标签信息不是目标网络节点的目标标签信息，而是其他网络节点对应的标签信息，则可以将该父标签信息的初始注意力概率设置为0，并基于本实施例的方法继续执行上述中间注意力概率的传递步骤。

示例性地，当中间注意力概率传递至目标层的父目标标签信息时，终止传递过程，并基于目标层的父目标标签信息的初始注意力概率以及下一层传递至目标层的传递结果，确定目标注意力向量。

具体的，若目标层中存在非目标标签信息且没有接收到下一层传递结果的标签信息，则在目标注意力向量中将该标签信息对应位置的元素设置为0。

具体的，定义层次标签树的目标层为L1层，L1层设置有50个标签信息。对于针对当前的目标网络节点设置的所有注意力概率，按照以下公式进行回溯，得到传递结果：

其中，k为层次标签树的层数，第k-1层的标签信息是第k层的标签信息/>的父标签信息，则/>的注意力概率以系数(k-1)/k向上一层传递，直至将分布在不同层的注意力概率转移到目标层即L1层，最终对于目标网络节点v获得一个50维的目标注意力向量a_v。

本实施例将不同层的标签信息的初始注意力概率逐层回溯至目标层，进而根据目标层的注意力概率传递结果确定目标注意力向量，从而降低低层的目标标签信息在目标注意力向量中的注意力占比，并提高高层的目标标签信息在目标注意力向量中的注意力占比，进而提高了目标注意力向量的准确性以及网络节点表示学习的准确性。

在另一个实施例中，基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量之后还包括：

获取目标网络节点的状态标识，并将状态标识添加至目标注意力向量。

示例性地，根据目标网络节点确定其状态信息，状态信息包括网络节点正常、网络节点异常、网络节点关键等，并设置状态信息对应的状态标识。例如，针对网络节点正常、网络节点异常、网络节点关键，分别设置状态标识0、1、2。

示例性的，设置状态标识后，将状态标识作为目标注意力向量中的其中一维，添加至目标注意力向量中。

本实施例中还设置目标网络节点的状态标识并添加至目标注意力向量中，从而提高了目标注意力向量的描述数据的全面性，基于目标注意力向量即可以直接确定目标网络节点的状态，进而提高了网络节点学习的效率。

在另一个实施例中，基于目标注意力向量，对多个网络节点进行采样，并基于采样结果获取目标网络节点的相邻网络节点以及对应的相邻注意力向量包括：

步骤1：基于目标网络节点与采样网络节点之间的路径，确定第一参数；

步骤2：基于目标网络节点与采样网络节点之间的权重，确定第二参数；

步骤3：基于目标注意力向量与采样网络节点对应的采样注意力向量之间的相似度，确定第三参数；

步骤4：基于第一参数、第二参数以及第三参数，确定目标网络节点与采样网络节点的转移概率，并在转移概率符合预设条件时将采样网络节点确定为相邻网络节点。

示例性地，在基于目标网络节点对其他网络节点进行采样以获取相邻网络节点的过程中，可结合第一参数、第二参数以及第三参数确定网络节点之间的转移概率并作为采样结果，确定被采样的网络节点是否能作为相邻网络节点。当目标网络节点与采样网络节点的转移概率符合条件时，例如转移概率达到0.7，则将当前的采样网络节点确定为相邻网络节点。

示例性地，获取目标网络节点与采样网络节点之间的路径并根据路径的长度确定第一参数，例如目标网络节点与采样网络节点之间为直接隶属关系（即二者存在直接隶属的标签信息），则确定第一参数为1，若目标网络节点与采样网络节点之间间隔一个网络节点，则确定第一参数为2。

示例性地，获取目标网络节点与采样网络节点之间的权重，并确定第二参数，其中该第二参数可以人为进行设置。其中，该第二参数用于控制目标网络节点与采样网络节点之间的转移概率，例如，若目标网络节点与采样网络节点之间的关系紧密，则提高第二参数的数值，反之则降低第二参数的数值。通常状况下，第二参数设置为缺省值1，以提高第二参数对不同采样场景的适用性。

示例性地，根据目标注意力向量以及采样网络节点的采样注意力向量二者的相似度，确定第三参数。相似度越高，第三参数的取值越大。

可以理解的，第一参数以及第二参数，用于描述目标网络节点与相邻网络的节点的图结构信息，第三参数用于描述目标网络节点与相邻网络节点的相似度信息。

具体的，设置目标网络节点与相邻网络节点的概率转移函数：

，

其中，其中γ_vx为目标网络节点v到采样网络节点x的转移概率；d_tx表示t到x的最短路径，只能在{0,1,2}中取值，t为预先设置的一个相邻网络节点，p、q为人工设置的值，p越小且q越大，越容易采样到距离近的网络节点，p越大且q越小，越容易采样到距离远的网络节点，α_pq(t,x)为第一参数；w_vx为v和x之间的权重即第二参数，其缺省值为1；a_v、a_x分别为目标网络节点v、采样网络x的注意力向量，对二者求取余弦值作为第三参数。

可以理解的，目标网络节点v、采样网络节点x的关联越强，a_v、a_x的相似度越高，则目标网络节点v转移到采样网络节点x的概率越大。同时α_pq(t,x)结合了广度和深度，即能提取到局部结构信息，又能兼顾全局信息，便于后续提取高阶特征。

请参阅图4，图4是本申请另一实施例的网络节点的转移关系示意图。

具体的，如图4所示，目标网络节点v与采样网络节点x1之间的第一参数α_pq(t,x1)为1/q，第二参数w_vx1设置为1，第三参数为cos(a_v,a_x1)，采样网络节点x2以及采样网络节点x3的参数确定方式与采样网络节点x1相同，本实施例不再赘述。

本实施例结合目标网络节点与采样网络节点之间的路径、权重以及目标注意力向量与采样网络节点对应的采样注意力向量之间的相似度，确定目标网络节点与采样网络节点之间的转移概率，进而确定相邻网络节点，在确定相邻网络节点的过程中充分结合了网络节点之间的结构信息以及相似度信息，从而提高了相邻网络节点确定的准确性。

在另一个实施例中，方法还包括对目标网络节点的目标表示向量进行迭代训练，对目标注意力向量以及相邻注意力向量进行聚合，得到目标网络节点的目标表示向量包括：

步骤1：获取前一次迭代过程中的相邻注意力向量并进行聚合，得到第一聚合向量；

步骤2：在当前的迭代过程中，对第一聚合向量以及目标注意力向量进行聚合，得到目标表示向量。

示例性地，本实施例中目标网络节点的目标表示向量是在多次迭代训练的过程中得到的。在每一个迭代训练的过程中，对前一次迭代得到的所有相邻网络节点的相邻注意力向量进行聚合，得到第一聚合向量。可以理解的，第一聚合向量中包含了与目标网络节点关联程度高的网络节点的描述数据。

示例性地，获取第一聚合向量后，基于当前的迭代中得到的目标注意力向量以及第一聚合向量进行向量聚合，得到本次迭代中目标网络节点对应的目标注意力向量。若迭代进程尚未结束，则重复执行本实施例中对目标注意力向量进行迭代的过程，直至迭代结束。可以理解的，聚合后的目标注意力向量同时包含了目标标签信息的描述数据以及与目标网络节点关联程度高的网络节点的描述数据。

具体的，初始时设置目标网络节点v的表示向量，假设其维度为300维，则对于/>，/>是形状为(300,1)的向量。聚合函数采用求均值函数，定义当前的迭代次数为d，聚合过程如下所示：

首先，聚合第d-1次迭代时的相邻注意力向量，得到第一聚合向量，它是形状为(351,1)的向量。计算方式如下：

其中，N(v)为相邻网络节点集合，a_u为相邻注意力向量，为迭代至d-1次时相邻网络节点u的相邻表示向量。然后，聚合第一聚合向量以及第n次迭代即当前迭代过程中的目标注意力向量，得到目标网络节点的目标表示向量/>，计算方式如下：

其中，wⁿ是形状为(351,702)的权重矩阵，其初始值为服从N(0,1)的随机数是第n-1次迭代中的目标表示向量，a_v为目标注意力向量。

最后，对目标网络节点的目标表示向量进行归一化：

本实施例获取前一次迭代过程中的相邻注意力向量并进行聚合，得到第一聚合向量，并在当前的迭代过程中对第一聚合向量以及目标注意力向量进行聚合，得到目标表示向量，从而结合不同迭代过程中的数据对目标网络节点的目标表示向量进行迭代更新，提高了目标表示向量的准确性。

在另一个实施例中，对目标注意力向量以及相邻注意力向量进行聚合，得到目标网络节点的目标表示向量之后还包括：

步骤1：获取目标网络节点的非相邻网络节点；

步骤2：基于目标表示向量、相邻网络节点的相邻表示向量以及非相邻网络节点的非相邻表示向量，确定目标损失函数；

步骤3：基于目标损失函数对目标表示向量进行训练。

示例性地，本实施例中所有的网络节点均存在对应的表示向量，表示向量的获取过程与目标表示向量相同。获取目标网络节点对应的目标表示向量后，结合目标表示向量、相邻网络节点的相邻表示向量以及非相邻网络节点的非相邻表示向量，确定目标损失函数，并基于目标损失函数对目标表示向量进行反向传播调节，以提高目标表示向量的准确性。

具体的，对于目标网络节点，在其非相邻网络节点中随机采样得到m个负样本，m取7。定义无监督的目标损失函数如下：

其中，z_v为目标网络节点v学习到的目标表示向量，z_u为相邻网络节点的相邻表示向量，z_q为非相邻网络节点的非相邻表示向量，F是负样本分布，|N(v)|为邻居的数量，m是负样本的数量。

具体的，确定目标损失函数后，利用随机梯度下降对目标表示向量进行学习。

本实施例基于目标表示向量、相邻网络节点的相邻表示向量以及非相邻网络节点的非相邻表示向量，确定目标损失函数；基于目标损失函数对目标表示向量进行训练，从而在损失调节的过程中提高目标表示向量的准确性，进而提高了网络节点学习的准确性。

请参阅图5，图5是本申请另一实施例的网络节点的学习方法的流程示意图。如图5所示，网络节点的学习方法包括：

S502：建立层次标签树。

具体的，获取多个网络节点的标签信息，基于多个网络节点对应的标签信息之间的隶属关系，建立层次标签树。

S504：确定目标注意力向量。

具体的，基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，从而实现对层次标签树的降维。

S506：获取相邻网络节点。

具体的，基于目标注意力向量，对多个网络节点进行采样，并基于采样结果获取与目标网络节点相似度高的相邻网络节点以及对应的相邻注意力向量。

S508：聚合相邻网络节点。

具体的，对目标注意力向量以及相邻注意力向量进行聚合，得到目标网络节点的目标表示向量。

S510：训练目标表示向量。

具体的，建立目标损失函数，基于目标损失函数对目标表示向量进行训练。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中还提供了一种网络节点的学习装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是本实施例的网络节点的学习装置的结构框图，如图6所示，该装置包括：

确定模块10，用于基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，层次标签树包含多个网络节点的标签信息之间的隶属关系；

确定模块10，还用于基于层次标签树确定目标层；

获取目标标签信息的初始注意力概率；

依次将层次标签树中每层的子目标标签信息的中间注意力概率传递至上一层的父目标标签信息，中间注意力概率基于子目标标签信息的初始注意力概率以及上一次的传递结果确定；

判断父目标标签信息是否位于目标层，若是，则停止传递中间注意力概率，并基于目标层对应的初始注意力概率以及传递结果，确定目标注意力向量；

采样模块20，用于基于目标注意力向量，对多个网络节点进行采样，并基于采样结果获取目标网络节点的相邻网络节点以及对应的相邻注意力向量；

采样模块20，还用于基于目标网络节点与采样网络节点之间的路径，确定第一参数；

基于目标网络节点与采样网络节点之间的权重，确定第二参数；

基于目标注意力向量与采样网络节点对应的采样注意力向量之间的相似度，确定第三参数；

基于第一参数、第二参数以及第三参数，确定目标网络节点与采样网络节点的转移概率，并在转移概率符合预设条件时将采样网络节点确定为相邻网络节点；

聚合模块30，用于对目标注意力向量以及相邻注意力向量进行聚合，得到目标网络节点的目标表示向量；

聚合模块30，还用于获取前一次迭代过程中的相邻注意力向量并进行聚合，得到第一聚合向量；

在当前的迭代过程中，对第一聚合向量以及目标注意力向量进行聚合，得到目标表示向量；

网络节点的学习装置，还包括层次标签树建立模块；

层次标签树建立模块，用于基于多个网络节点对应的标签信息之间的隶属关系，建立层次标签树；

层次标签树建立模块，还用于获取网络节点对应的文本信息；

对文本信息进行清洗，得到文本信息中的文字信息；

基于文字信息，获取网络节点对应的标签信息以及每个标签信息对应的置信度；

网络节点的学习装置，还包括标识模块；

标识模块，用于获取目标网络节点的状态标识，并将状态标识添加至目标注意力向量；

网络节点的学习装置，还包括损失调节模块；

损失调节模块，用于获取目标网络节点的非相邻网络节点；

基于目标表示向量、相邻网络节点的相邻表示向量以及非相邻网络节点的非相邻表示向量，确定目标损失函数；

基于目标损失函数对目标表示向量进行训练。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量，层次标签树包含多个网络节点的标签信息之间的隶属关系；

S2，基于目标注意力向量，对多个网络节点进行采样，并基于采样结果获取目标网络节点的相邻网络节点以及对应的相邻注意力向量；

S3，对目标注意力向量以及相邻注意力向量进行聚合，得到目标网络节点的目标表示向量。

需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。

此外，结合上述实施例中提供的网络节点的学习方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种网络节点的学习方法。

应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。

显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。

“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims

1.一种网络节点的学习方法，应用于图数据领域，其特征在于，包括：

对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量；

所述基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量之前还包括：

基于多个所述网络节点对应的所述标签信息之间的隶属关系，建立所述层次标签树；

所述基于多个所述网络节点对应的所述标签信息之间的隶属关系，建立所述层次标签树之前还包括：

获取所述网络节点对应的文本信息；

基于所述文字信息，获取所述网络节点对应的所述标签信息以及所述标签信息之间的隶属关系；

所述标签信息包括所述文字信息的关键字词；

所述基于所述目标注意力向量，对多个所述网络节点进行采样，并基于采样结果获取所述目标网络节点的相邻网络节点以及对应的相邻注意力向量包括：

基于所述第一参数、所述第二参数以及所述第三参数，确定所述目标网络节点与所述采样网络节点的转移概率，并在所述转移概率符合预设条件时将所述采样网络节点确定为所述相邻网络节点；

所述第一参数包括所述目标网络节点与所述采样网络节点之间的路径长度；

所述转移概率包括所述第一参数、所述第二参数和所述第三参数的乘积。

2.根据权利要求1所述的网络节点的学习方法，其特征在于，所述基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量包括：

基于所述层次标签树确定目标层；

获取所述目标标签信息的初始注意力概率；

3.根据权利要求1所述的网络节点的学习方法，其特征在于，所述基于层次标签树中目标网络节点对应的目标标签信息，确定目标注意力向量之后还包括：

4.根据权利要求1所述的网络节点的学习方法，其特征在于，所述方法还包括对所述目标网络节点的所述目标表示向量进行迭代训练，所述对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量包括：

5.根据权利要求1所述的网络节点的学习方法，其特征在于，所述对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量之后还包括：

获取所述目标网络节点的非相邻网络节点；

基于所述目标损失函数对所述目标表示向量进行训练。

6.一种网络节点的学习装置，应用于图数据领域，其特征在于，包括：

聚合模块，用于对所述目标注意力向量以及所述相邻注意力向量进行聚合，得到所述目标网络节点的目标表示向量；

所述网络节点的学习装置还用于，

获取所述网络节点对应的文本信息；

所述标签信息包括所述文字信息的关键字词；

所述采样模块还用于，

7.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至权利要求5中任一项所述的网络节点的学习方法。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至权利要求5中任一项所述的网络节点的学习方法的步骤。