CN111611498A - 一种基于领域内部语义的网络表示学习方法及系统 - Google Patents

一种基于领域内部语义的网络表示学习方法及系统 Download PDF

Info

Publication number
CN111611498A
CN111611498A CN202010338851.2A CN202010338851A CN111611498A CN 111611498 A CN111611498 A CN 111611498A CN 202010338851 A CN202010338851 A CN 202010338851A CN 111611498 A CN111611498 A CN 111611498A
Authority
CN
China
Prior art keywords
graph
result
loss
information
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010338851.2A
Other languages
English (en)
Other versions
CN111611498B (zh
Inventor
王铮
叶晓俊
王朝坤
李云彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Priority to CN202010338851.2A priority Critical patent/CN111611498B/zh
Publication of CN111611498A publication Critical patent/CN111611498A/zh
Application granted granted Critical
Publication of CN111611498B publication Critical patent/CN111611498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种基于领域内部语义的网络表示学习方法及系统，该方法包括获取图信息和标签信息；基于所获取的图信息和标签信息，通过读出函数，概括出每一个可见类对应的类语义描述向量；通过预设的网络模型探索图结构信息，并将网络模型的输出投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，对输出结果进行优化；基于优化后的结果，输出学习到的网络表示学习结果。本发明可以利用节点特征并处理多标签情况。为了利用完全不平衡的标签，本发明采用了一种新的目标函数来探索类语义知识。本发明中使用的类语义描述不依赖于人工注释或任何第三方资源，非常适合于实际应用程序。

Description

一种基于领域内部语义的网络表示学习方法及系统
技术领域
本发明涉及网络表示学习技术领域，特别是指一种基于领域内部语义的网络表示学习方法及系统。
背景技术
在面向信息传播的社交网络分析的问题中，网络表示学习是一非常重要的问题。其目标是为网络中每个节点学习一个稠密、连续和低维的向量作为其特征表示。现有工作已证明，学习到的特征对于各种重要的社交网络数据挖掘任务都有所帮助，如信息传播、节点分类、链路预测和网络可视化等。
网络表示学习的一个最基本要求是在所学习特征空间中体现原有的网络结构。早期的一些研究工作，主要保持原来存在链接关系的节点在特征空间中的相似性。现在，更多的研究工作集中于：在特征空间内，保证原有网络结构中未观测到，但存在合理近邻关系的节点之间的相似性。为了利用网络结构中的标注信息，近些年来半监督网络学习引起了研究者的广泛关注，基本思想是同时优化一个利用网络结构信息的网络结构嵌入模型和一个利用标注信息的分类模型。由于同时考虑到了网络的结构信息和标注信息，学到的特征一般具有很强的辨别能力，也往往能达到当下最好的效果。
现有的半监督网络表示学习的工作大多数都假设标注数据是平衡的，即网络中的每一种类别都至少提供一个已标注的节点。对于完全非平衡的场景，即部分类别完全没有任何已标注的节点，已有的半监督学习方法通常表现不好，分类精度会出现明显的下降。而这一场景在实际应用中常常出现，例如，著名的文本网络站点维基百科包含非常多种类的词条页面，比如电影、文学、历史等等，我们很难对该站点上所有主题都提供一些标注样本。因此需要提出一种新的方法,对部分类别未提供任何标注信息的场景进行网络表示学习。
发明内容
本发明要解决的技术问题是提供一种基于领域内部语义的网络表示学习方法及系统，以解决现有网络表示学习方法存在的上述问题。
为解决上述技术问题，本发明提供如下技术方案：
一种基于领域内部语义的网络表示学习方法，所述方法包括：
获取图信息和标签信息；其中，所述图信息包括图的邻接矩阵和特征矩阵；
基于所获取的图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，并构建语义向量空间；
通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，对输出结果进行优化；
基于优化后的结果，输出学习到的网络表示学习结果。
其中，所述基于所获取的图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，包括：
通过预设的读出函数，从标记的节点概括出可见类c对应的类语义描述向量
Figure BDA0002467795370000021
其中，
Figure BDA0002467795370000022
的表达式如下：
Figure BDA0002467795370000023
其中，
Figure BDA0002467795370000024
表示预设的读出函数，xi为原始图特征矩阵的第i行，其表示相应的节点vi的原始特征向量，
Figure BDA0002467795370000025
表示节点i的标签信息；
对于没有节点特征的图，将其邻接矩阵的行作为节点特征。
其中，所述通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，包括：
采用图卷积神经网络层来探索图结构信息，在遍历所有的图卷积神经网络层之后，使用全连接层将图卷积神经网络层的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失。
其中，所述通过预设的损失函数计算损失，对输出结果进行优化，包括：
通过下式，计算语义空间的预测损失，对输出结果进行第一次优化：
Figure BDA0002467795370000031
其中，
Figure BDA0002467795370000032
和
Figure BDA0002467795370000033
分别表示预测的类标签节点vi的语义向量和实际的类标签节点vi的语义向量，loss表示样本损失函数，
Figure BDA0002467795370000034
表示标签信息；
通过下式，计算图结构损失，对输出结果进行第二次优化：
Figure BDA0002467795370000035
其中，loss表示样本损失函数，M表示DeepWalk算法的矩阵形式，U表示网络表示学习所得到的特征矩阵，U′表示U的转置矩阵。
其中，所述基于优化后的结果，输出学习到的网络表示学习结果，包括：
对第一次优化后所得的第一结果和第二次优化后所得的第二结果进行归一化，并将归一化后的第一结果和第二结果拼接，得到最终的网络表示学习结果。
相应地，为解决上述技术问题，本发明还提供如下技术方案：
一种基于领域内部语义的网络表示学习系统，所述系统包括：
输入模块，用于获取图信息和标签信息；其中，所述图信息包括图的邻接矩阵和特征矩阵；
类语义描述获取模块，用于基于所述图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，并构建语义向量空间；
优化模块，用于通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，对输出结果进行优化；
输出模块，用于基于优化后的结果，输出学习到的网络表示学习结果。
其中，所述类语义描述获取模块具体用于：
通过预设的读出函数，从标记的节点概括出可见类c对应的类语义描述向量
Figure BDA0002467795370000036
其中，
Figure BDA0002467795370000037
的表达式如下：
Figure BDA0002467795370000038
其中，
Figure BDA0002467795370000039
表示预设的读出函数，xi为原始图特征矩阵的第i行，其表示相应的节点vi的原始特征向量，
Figure BDA00024677953700000310
表示节点i的标签信息；
对于没有节点特征的图，将其邻接矩阵的行作为节点特征。
其中，所述优化模块具体用于：
采用图卷积神经网络层来探索图结构信息，在遍历所有的图卷积神经网络层之后，使用全连接层将图卷积神经网络层的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失。
其中，所述优化模块具体还用于：
通过下式，计算语义空间的预测损失，对输出结果进行第一次优化：
Figure BDA0002467795370000041
其中，
Figure BDA0002467795370000042
和
Figure BDA0002467795370000043
分别表示预测的类标签节点vi的语义向量和实际的类标签节点vi的语义向量，loss表示样本损失函数，
Figure BDA0002467795370000044
表示标签信息；
通过下式，计算图结构损失，对输出结果进行第二次优化：
Figure BDA0002467795370000045
其中，loss表示样本损失函数，M表示DeepWalk算法的矩阵形式，U表示网络表示学习所得到的特征矩阵，U′表示U的转置矩阵。
其中，所述输出模块具体用于：
对第一次优化后所得的第一结果和第二次优化后所得的第二结果进行归一化，并将归一化后的第一结果和第二结果拼接，得到最终的网络表示学习结果。
本发明的上述技术方案的有益效果如下：
本发明通过预设的读出函数，概括出每一个可见类对应的类语义描述向量；通过GCN层探索图结构信息，在遍历所有的GCN层之后，使用全连接(FC)层将GCN层的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，以对输出结果进行优化；基于优化后的结果，输出最终学习到的网络表示学习结果。本发明可以利用节点特征并处理多标签情况。为了利用完全不平衡的标签，本发明采用了一种新的目标函数来探索类语义知识。本发明中使用的类语义描述不依赖于人工注释或任何第三方资源，非常适合于实际应用程序。
附图说明
图1为本发明的第一实施例提供的基于领域内部语义的网络表示学习方法的流程示意图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
第一实施例
请参阅图1，本实施例提供一种基于领域内部语义的网络表示学习方法，该基于领域内部语义的网络表示学习方法包括：
S101，获取图信息和标签信息；
需要说明的是，本实施例获取的图信息包括图的邻接矩阵A和特征矩阵X；
S102，基于所获取的图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，并构建语义向量空间；
需要说明的是，GNN是一种面向图结构的神经网络模型。通常，GNN模型是动态模型，其中所有节点的隐藏表示都在层上演化。对于相邻矩阵Α的图，在第t个隐层，节点vi表示
Figure BDA0002467795370000051
通常更新如下:
Figure BDA0002467795370000052
Figure BDA0002467795370000053
其中，
Figure BDA0002467795370000054
是一个向量，表示节点vi从其邻节点
Figure BDA0002467795370000055
接收到的消息的聚合。函数
Figure BDA0002467795370000056
是消息计算函数，
Figure BDA0002467795370000057
是隐藏状态更新函数。与一般的神经网络相似，
Figure BDA0002467795370000058
和
Figure BDA0002467795370000059
是前馈神经层。通过指定这两个功能层，可以得到各种不同的GNN变体，如图卷积网络和图谱注意力网络。
为了引入标签信息，GNN方法通常以一个柔性最大值传输函数层结束，以训练分类模型。一旦完成了GNN模型的训练，任何中间层的输出都可以作为最终的网络表示学习结果。但是，这种方法在标签设置完全不平衡的情况下，会产生不准确的结果。其根本原因是已知的监督信息只反映了可见类的知识，而忽略了不可见类的知识。因此，在完全不平衡的情况下，关键问题是:如何从有限的标记节点中推导出既包含可见类知识又包含未知类知识的监督信息。
接下来是推导出不可见类的信息
让矩阵
Figure BDA0002467795370000061
表示原始图特征矩阵，
Figure BDA0002467795370000062
(X矩阵的第i行)是相应的节点vi的m维特征向量。为了获得可见类c的语义描述，本实施例可以利用一个读出函数
Figure BDA0002467795370000063
并使用它从标记的节点总结一个类语义描述向量(记为
Figure BDA0002467795370000064
)，即
Figure BDA0002467795370000065
其中，
Figure BDA0002467795370000066
表示节点i的标签信息；
对于没有节点特征的图，可以将邻接矩阵的行作为节点特征。
S103，通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设损失函数计算损失，对输出结果进行优化；
需要说明的是，上述为拟建模型过程，其具体为：
首先采用图卷积神经网络GCN层来探索图结构信息，在遍历所有的图卷积神经网络GCN层之后，使用全连接FC层将图卷积神经网络GCN层的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失。
此处，本实施例使用FC层而不是GCN层，是因为本实施例希望最后一层不直接使用图结构信息来满足目标函数，进而提高所学习的网络表示的鲁棒性。
本实施例的损失函数由两部分组成，其中：
第一部分是语义空间的预测损失，即预测类和实际类语义描述向量之间的损失，实现第一次优化，其表达式如下:
Figure BDA0002467795370000067
其中，
Figure BDA0002467795370000068
和
Figure BDA0002467795370000069
分别表示预测的类标签节点vi的语义向量和实际的类标签节点vi的语义向量，loss表示样本损失函数，
Figure BDA00024677953700000610
表示标签信息；利用这一损失，本实施例的方法可以捕获类语义知识，使学习的表示学习结果反映可见类和不可见类的监督信息。
第二部分是保留损失的图结构，实现第二次优化。与GCN或其他半监督GNN方法不同，本实施例仍然建议明确地保留图结构知识。这是因为上述损失实际上间接保留了标签判别信息。为了简单起见，这里，本实施例要求学习所得节点表示学习结果U应该最小化:
Figure BDA0002467795370000071
其中，loss表示样本损失函数，M表示DeepWalk算法的矩阵形式，U表示网络表示学习所得到的特征矩阵，U′表示U的转置矩阵。
S104，基于优化后的结果，输出学习到的网络表示学习结果。
需要说明的是，通过考虑上述两个部分的损失来学习高效的表示学习结果，本实施例在实践中发现一种简单而有效的方法:分别训练考虑这两个部分的模型，然后将这两个部分为每个节点训练的表示学习结果结合起来，即对第一次优化后所得的第一结果和第二次优化后所得的第二结果进行归一化，并将归一化后的第一结果和第二结果拼接，得到最终的网络表示学习结果。
本实施例的算法如下：
Figure BDA0002467795370000072
下面，对本实施例算法的时间复杂度进行分析说明：
首先，GCN层的时间开销与图的边缘的数量成线性关系。其中，时间复杂度为O(m|ε||dh||Cstc|)，其中|ε|为边数，|dh|为隐藏层维数，|Cstc|为类语义描述维数。计算式(2)的复杂度为O(n|Cstc|)。计算式(3)的复杂度为O(dn2)。因此，RECT的总复杂度为O(m|ε||dh||Cstc|+n|Cstc|+dn2)。请注意，本实施例可以通过采用其他保持图结构的目标来直接降低这种复杂性。此时，总复杂度降低为O(m|ε||dh||Cstc|+n|Cstc|+dnlogn)。
本发明通过预设的读出函数，概括出每一个可见类对应的类语义描述向量；通过GCN层探索图结构信息，在遍历所有的GCN层之后，使用全连接(FC)层将GCN层的输出投影到语义向量空间中，并在其中通过预设的损失函数计算损失，以对输出结果进行优化；基于优化后的结果，输出最终学习到的网络表示学习结果。本发明可以利用节点特征并处理多标签情况。为了利用完全不平衡的标签，本发明采用了一种新的目标函数来探索类语义知识。本发明中使用的类语义描述不依赖于人工注释或任何第三方资源，非常适合于实际应用程序。
第二实施例
本实施例提供一种基于领域内部语义的网络表示学习系统，所述系统包括：
输入模块，用于获取图信息和标签信息；其中，所述图信息包括图的邻接矩阵和特征矩阵；
类语义描述获取模块，用于基于所述图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，并构建语义向量空间；
优化模块，用于通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，对输出结果进行优化；
输出模块，用于基于优化后的结果，输出学习到的网络表示学习结果。
本实施例的基于领域内部语义的网络表示学习系统与上述实施例的基于领域内部语义的网络表示学习方法相对应；其中，本实施例的基于领域内部语义的网络表示学习系统中的各功能模块所实现的功能与上述实施例的基于领域内部语义的网络表示学习方法中的各流程步骤相对应；故，在此，不再赘述。
此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需说明的是，以上所述是本发明的优选实施方式，应当指出，尽管已描述了本发明的优选实施例，但对于本领域普通技术人员来说，一旦得知了本发明的基本创造性概念，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

Claims (10)

1.一种基于领域内部语义的网络表示学习方法，其特征在于，包括：
获取图信息和标签信息；其中，所述图信息包括图的邻接矩阵和特征矩阵；
基于所获取的图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，并构建语义向量空间；
通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，对输出结果进行优化；
基于优化后的结果，输出学习到的网络表示学习结果。
2.如权利要求1所述的基于领域内部语义的网络表示学习方法，其特征在于，所述基于所获取的图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，包括：
通过预设的读出函数，从标记的节点概括出可见类c对应的类语义描述向量
Figure FDA0002467795360000011
其中，
Figure FDA0002467795360000012
的表达式如下：
Figure FDA0002467795360000013
其中，
Figure FDA0002467795360000014
表示预设的读出函数，xi为原始图特征矩阵的第i行，其表示相应的节点vi的原始特征向量，
Figure FDA0002467795360000015
表示节点i的标签信息；
对于没有节点特征的图，将其邻接矩阵的行作为节点特征。
3.如权利要求1所述的基于领域内部语义的网络表示学习方法，其特征在于，所述通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，包括：
采用图卷积神经网络层来探索图结构信息，在遍历所有的图卷积神经网络层之后，使用全连接层将图卷积神经网络层的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失。
4.如权利要求1所述的基于领域内部语义的网络表示学习方法，其特征在于，所述通过预设的损失函数计算损失，对输出结果进行优化，包括：
通过下式，计算语义空间的预测损失，对输出结果进行第一次优化：
Figure FDA0002467795360000021
其中，
Figure FDA0002467795360000022
和
Figure FDA0002467795360000023
分别表示预测的类标签节点vi的语义向量和实际的类标签节点vi的语义向量，loss表示样本损失函数，
Figure FDA0002467795360000024
表示标签信息；
通过下式，计算图结构损失，对输出结果进行第二次优化：
Figure FDA0002467795360000025
其中，loss表示样本损失函数，M表示DeepWalk算法的矩阵形式，U表示网络表示学习所得到的特征矩阵，U′表示U的转置矩阵。
5.如权利要求4所述的基于领域内部语义的网络表示学习方法，其特征在于，所述基于优化后的结果，输出学习到的网络表示学习结果，包括：
对第一次优化后所得的第一结果和第二次优化后所得的第二结果进行归一化，并将归一化后的第一结果和第二结果拼接，得到最终的网络表示学习结果。
6.一种基于领域内部语义的网络表示学习系统，其特征在于，包括：
输入模块，用于获取图信息和标签信息；其中，所述图信息包括图的邻接矩阵和特征矩阵；
类语义描述获取模块，用于基于所述图信息和标签信息，通过预设的读出函数，概括出每一个可见类对应的类语义描述向量，并构建语义向量空间；
优化模块，用于通过预设的网络模型探索图结构信息，并将所述网络模型的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失，对输出结果进行优化；
输出模块，用于基于优化后的结果，输出学习到的网络表示学习结果。
7.如权利要求6所述的基于领域内部语义的网络表示学习系统，其特征在于，所述类语义描述获取模块具体用于：
通过预设的读出函数，从标记的节点概括出可见类c对应的类语义描述向量
Figure FDA0002467795360000026
其中，
Figure FDA0002467795360000027
的表达式如下：
Figure FDA0002467795360000028
其中，
Figure FDA0002467795360000029
表示预设的读出函数，xi为原始图特征矩阵的第i行，其表示相应的节点vi的原始特征向量，
Figure FDA00024677953600000210
表示节点i的标签信息；
对于没有节点特征的图，将其邻接矩阵的行作为节点特征。
8.如权利要求6所述的基于领域内部语义的网络表示学习系统，其特征在于，所述优化模块具体用于：
采用图卷积神经网络层来探索图结构信息，在遍历所有的图卷积神经网络层之后，使用全连接层将图卷积神经网络层的输出分别投影到语义向量空间和图结构空间中，并在其中通过预设的损失函数计算损失。
9.如权利要求6所述的基于领域内部语义的网络表示学习系统，其特征在于，所述优化模块具体还用于：
通过下式，计算语义空间的预测损失，对输出结果进行第一次优化：
Figure FDA0002467795360000031
其中，
Figure FDA0002467795360000032
和
Figure FDA0002467795360000033
分别表示预测的类标签节点vi的语义向量和实际的类标签节点vi的语义向量，loss表示样本损失函数，
Figure FDA0002467795360000034
表示标签信息；
通过下式，计算图结构损失，对输出结果进行第二次优化：
Figure FDA0002467795360000035
其中，loss表示样本损失函数，M表示DeepWalk算法的矩阵形式，U表示网络表示学习所得到的特征矩阵，U′表示U的转置矩阵。
10.如权利要求9所述的基于领域内部语义的网络表示学习系统，其特征在于，所述输出模块具体用于：
对第一次优化后所得的第一结果和第二次优化后所得的第二结果进行归一化，并将归一化后的第一结果和第二结果拼接，得到最终的网络表示学习结果。
CN202010338851.2A 2020-04-26 2020-04-26 一种基于领域内部语义的网络表示学习方法及系统 Active CN111611498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010338851.2A CN111611498B (zh) 2020-04-26 2020-04-26 一种基于领域内部语义的网络表示学习方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010338851.2A CN111611498B (zh) 2020-04-26 2020-04-26 一种基于领域内部语义的网络表示学习方法及系统

Publications (2)

Publication Number Publication Date
CN111611498A true CN111611498A (zh) 2020-09-01
CN111611498B CN111611498B (zh) 2024-01-02

Family

ID=72196040

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010338851.2A Active CN111611498B (zh) 2020-04-26 2020-04-26 一种基于领域内部语义的网络表示学习方法及系统

Country Status (1)

Country Link
CN (1) CN111611498B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040068A1 (zh) * 2016-09-02 2018-03-08 浙江核新同花顺网络信息股份有限公司 基于知识图谱的语意分析系统及方法
CN108053035A (zh) * 2018-01-03 2018-05-18 清华大学 基于近似类内与类间约束的完全非平衡标签下的网络表示学习方法
CN109189936A (zh) * 2018-08-13 2019-01-11 天津科技大学 一种基于网络结构和语义相关性度量的标签语义学习方法
CN110781271A (zh) * 2019-09-02 2020-02-11 国网天津市电力公司电力科学研究院 一种基于层次注意力机制的半监督网络表示学习模型

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040068A1 (zh) * 2016-09-02 2018-03-08 浙江核新同花顺网络信息股份有限公司 基于知识图谱的语意分析系统及方法
CN108053035A (zh) * 2018-01-03 2018-05-18 清华大学 基于近似类内与类间约束的完全非平衡标签下的网络表示学习方法
CN109189936A (zh) * 2018-08-13 2019-01-11 天津科技大学 一种基于网络结构和语义相关性度量的标签语义学习方法
CN110781271A (zh) * 2019-09-02 2020-02-11 国网天津市电力公司电力科学研究院 一种基于层次注意力机制的半监督网络表示学习模型

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239924A (zh) * 2021-05-21 2021-08-10 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统
CN113239924B (zh) * 2021-05-21 2022-04-26 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统

Also Published As

Publication number Publication date
CN111611498B (zh) 2024-01-02

Similar Documents

Publication Publication Date Title
CN112241481B (zh) 基于图神经网络的跨模态新闻事件分类方法及系统
CN111078836B (zh) 基于外部知识增强的机器阅读理解方法、系统、装置
CN111914156A (zh) 自适应标签感知的图卷积网络跨模态检索方法、系统
CN109816032A (zh) 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN113254649B (zh) 敏感内容识别模型的训练方法、文本识别方法及相关装置
CN112165639B (zh) 内容分发方法、装置、电子设备以及存储介质
CN111709225B (zh) 一种事件因果关系判别方法、装置和计算机可读存储介质
CN117272195A (zh) 基于图卷积注意力网络的区块链异常节点检测方法及系统
CN117851605B (zh) 一种行业知识图谱构建方法、计算机设备及存储介质
CN113283243B (zh) 一种实体与关系联合抽取的方法
CN114329051A (zh) 数据信息识别方法、装置、设备、存储介质及程序产品
CN108647295B (zh) 一种基于深度协同哈希的图片标注方法
CN116702784B (zh) 实体链接方法、装置、计算机设备和存储介质
CN111611498A (zh) 一种基于领域内部语义的网络表示学习方法及系统
CN114648005B (zh) 一种多任务联合学习的多片段机器阅读理解方法及装置
CN111091198A (zh) 一种数据处理方法及装置
CN114817516B (zh) 零样本条件下基于逆向匹配的画像映射方法、装置和介质
CN113886602B (zh) 一种基于多粒度认知的领域知识库实体识别方法
CN113159976B (zh) 一种微博网络重要用户的识别方法
CN114297408A (zh) 一种基于级联二进制标注框架的关系三元组抽取方法
CN114580533A (zh) 特征提取模型的训练方法、装置、设备、介质及程序产品
CN110543549B (zh) 语义等价性判断方法和装置
CN113392294A (zh) 样本标注方法及装置
CN117874277B (zh) 一种基于无监督域自适应哈希的图像检索方法
CN117520551B (zh) 一种小样本文本自动分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant