CN113269239B - 一种基于多通道卷积神经网络的关系网络节点分类方法 - Google Patents

一种基于多通道卷积神经网络的关系网络节点分类方法 Download PDF

Info

Publication number
CN113269239B
CN113269239B CN202110524395.5A CN202110524395A CN113269239B CN 113269239 B CN113269239 B CN 113269239B CN 202110524395 A CN202110524395 A CN 202110524395A CN 113269239 B CN113269239 B CN 113269239B
Authority
CN
China
Prior art keywords
node
network
initial graph
initial
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110524395.5A
Other languages
English (en)
Other versions
CN113269239A (zh
Inventor
左方
李承宗
张玉涛
翟锐
于俊洋
宋亚林
王瑛琦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan University
Original Assignee
Henan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan University filed Critical Henan University
Priority to CN202110524395.5A priority Critical patent/CN113269239B/zh
Publication of CN113269239A publication Critical patent/CN113269239A/zh
Application granted granted Critical
Publication of CN113269239B publication Critical patent/CN113269239B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多通道卷积神经网络的关系网络节点分类方法，包括获取包含待分类节点的初始图网络信息，所述初始图网络信息包括初始图网络结构信息和初始图网络中每个节点的节点特征信息；根据初始图网络中节点之间的特征相似度构建特征图，并获取所述特征图的结构信息；建立节点分类模型，并进行节点分类模型的预先训练，将所述初始图网络的结构信息、所述初始图网络中每个节点的特征信息、以及所述特征图的结构信息输入预先训练的节点分类模型，以确定每个节点的类型；基于初始图网络中的标签类型确定每个节点所属于的标签类型，提升模型在分类领域的精度。

Description

一种基于多通道卷积神经网络的关系网络节点分类方法
技术领域
本发明属于图神经网络技术领域，具有涉及一种基于多通道卷积神经网络的关系网络节点分类方法。
背景技术
图是一种数据结构，它模拟一组对象(节点)及其关系(边)。现实生活中的许多场景，如交通网络、社交网络、引文网络等，都是以图数据的形式存在，其中包含了大量丰富的数据。例如，在引文网络中，每个节点表示一个论文，他们的特征信息可以预先存储起来，包括：文献作者、涉及的技术领域、文献的发表日期等。节点之间的边表示文献之间引用/被引用关系，这些论文被分为若干类。而在博客社交网络中，每个节点表示一个博客作者，边表示之间的关注关系，这些博客作者的博客主题类型被分为若干类。
然而，这些图数据一直以来无法被人们所使用。传统的神经网络只能处理欧氏空间数据，不能处理图数据这种非顺序排序的特征表示。许多学习任务需要处理这种图形数据，而对图形数据进行分类需要一个模型来从图形中学习信息。
随着深度学习的发展，新的技术层出不穷。图神经网络(GNNs)是基于卷积神经网络和图嵌入方法而提出的。图神经网络通过对邻域状态的加权求和来更新节点的隐藏状态，它可以聚集来自图结构的丰富信息，来用于下游任务，常被应用到节点分类、链路预测和聚类等方向。
最新的研究发现，图神经网络在融合节点特征和其拓扑结构方面仍有很多不足，这种缺点会严重阻碍在某些分类任务中的性能。由于结构信息只能表示对应的两点之间的关系，特征信息只能表示对应的一个节点的特性，所以需要两者结合。而有实验得出图神经网络的拓扑信息在通过图卷积层后会破坏节点之间的相似性，从而影响实验结果。
发明内容
鉴于此，本发明提供一种基于多通道卷积神经网络的关系网络节点分类方法，所述方法种增加了一个混合层，在图卷积操作前将信息进行融合，来获取保留节点相似性的结果，并且获取结构信息与特征信息之外的混合信息来提升实验效果。
具体方案如下：
一种基于多通道卷积神经网络的关系网络节点分类方法，包括以下步骤：
S1)：获取包含待分类节点的初始图网络信息，所述初始图网络信息包括初始图网络结构信息、初始图网络中每个节点的节点特征信息和节点所属的标签类型；
S2)：根据初始图网络中节点之间的特征相似度构建特征图，并获取所述特征图的结构信息；
S3)：建立节点分类模型，所述节点分类模型包括初始图卷积模块、特征图卷积模块和混合图卷积模块，先进行节点分类模型的预先训练，再从初始图网络中选取节点作为测试样本，将所述样本在初始图网络中的结构信息、所述在初始图网络中每个样本节点的特征信息、以及所述样本在特征图中的结构信息输入预先训练的节点分类模型，预测出每个样本节点的标签类型；
S4)：基于预测出的每个样本节点的标签类型，确定每个样本节点所属于的类型；
所述确定每个样本节点的类型包括如下步骤：
N1)：从初始图网络中选取不少于500个测试节点作为样本，将所述样本在初始图网络中的结构信息及所述在初始图网络中每个样本节点的特征信息输入所述初始图卷积模块，基于所述初始图网络的结构信息、所述初始图网络中每个节点的特征信息及初始图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第一概率ZI；
N2)：将所述样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入所述特征图卷积模块，基于所述特征图的结构信息、所述初始图网络中每个节点的特征信息及特征图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第二概率ZF；
N3)：将样本在初始图网络的结构信息、样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入混合图卷积模块，基于所述初始图网络的结构信息、所述特征图的结构信息、所述初始图网络中每个节点的特征信息及所述混合图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第三概率ZM；
N4)：根据注意力机制分别计算出第一概率ZI对应的第一权重参数αI、第二概率ZF对应的第二权重参数αF以及第三概率ZM对应的第三权重参数αM；并最终预测样本节点的标签类型的最终概率Z＝(αI·ZI+αF·ZF+αM·ZM)；
N5)：根据所述最终概率Z得到目标概率其中，W为转换矩阵，b为偏差矩阵，所述目标概率包含样本节点属于各个标签类型的概率，概率最大的标签类型即为预测类型。
特征图的构建包括如下步骤，
P1)：计算初始图网络中每两个节点特征信息之间的余弦相似度；
P2)：从初始图网络中任选一节点，将初始图网络中的其他节点与任选节点之间的余弦相似度由大到小进行排序，排序后选取前k个节点作为任选节点的相似节点；重复步骤P2)，直至得到初始图网络中每个节点所对应的相似节点；
P3)：根据初始图网络中的每个节点与每个节点所对应的相似节点构建的新结构图，即为特征图。
节点分类模型的预先训练包括如下步骤：
M1)：将初始图网络中的每个节点进行标签类型的预先标记，从所述初始图网络中选取每种标签类型的多个节点作为训练节点；
M2)：将每个训练节点在初始图网络的结构信息、每个训练节点在初始图网络的特征信息以及每个训练节点在特征图的结构信息输入节点分类模型，以得到每个训练节点的预测标签类型；
M3)：根据训练节点的预测标签类型与训练节点预先标记的标签类型之间的差异，进行节点分类模型的参数调整，直至所述节点分类模型收敛，停止训练，得到预先训练的节点分类模型，所述节点分类模型的参数包括权重矩阵W和偏差矩阵b。
所述第一概率ZI计算方法为：
根据公式计算初始图卷积模块各层的输出并将最后一个卷积层的输出值作为第一概率ZI；其中/>所述Ai为样本数据在初始图中的邻接矩阵，Ii为初始图网络的单位矩阵，/>为初始图中的添加了自环的邻接矩阵，/>X为初始图中所有节点的特征信息，/>为/>对应的度矩阵，/>为初始图卷积模块各层对应的参数；
所述第二概率ZF的计算方法为：
根据公式计算特征图卷积模块各层的输出值/>并将最后一个卷积层的输出作为第二概率ZF；其中/>Af为样本数据在特征图中的邻接矩阵，If为特征图的单位矩阵，/>为特征图中的添加了自环的邻接矩阵，X为初始图中所有节点的特征信息，/>为Af对应的度矩阵，/>为特征图卷积模块各层对应的参数；
所述第三概率的计算方法为ZM：
根据公式计算混合图卷积模块各层的输出值/>并将最后一个卷积层的输出值作为第三概率ZM；其中/>X为初始图中所有节点的特征信息，为混合图卷积模块各层对应的参数；
其中将样本在初始图中的邻接矩阵和样本在特征图中的邻接矩阵根据目标得分向量g(l)按比例结合得到混合邻接矩阵P(l)；
其中，g(l)为各层的目标得分，用于自适应混合样本的初始图邻接矩阵与特征图邻接矩阵所占比例，其中/> 与/>为混合层对应的转换矩阵与偏差矩阵。
本发明公开了一种基于多通道卷积神经网络的关系网络节点分类方法，本发明在以往方法基础上，使用多通道图卷积神经网络让特征传播在初始图和特征图进行，目的为提取初始图中所忽略的隐藏信息，引入得分数向量来自适应聚合初始图和特征图信息，同时减少参数量，提升了关系网络中节点分类的效果，在数据集关系复杂的条件下预测效果更好，该方法已经实验于论文引用网络、社交网络等数据集上，与传统的方法相比，该方法着重于考虑保留节点相似性来获取特征信息和结构信息中未获取的信息，从而使模型从图数据中提取更多相关信息来提升模型在分类领域的精度。
附图说明
图1是本发明所提供的文献引用关系网络的示意图。
图2是本发明所提供的社交网络用户关系网络的示意图。
图3是本发明所提供的节点分类模型的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施，而不是全部的实施，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
本发明是基于半监督图神经网络节点的分类方法，具体为提供了保留节点相似性的多通道节点分类方法，在原有的多通道节点分类方法上进行了改进，具体技术方法如下：
一种基于多通道卷积神经网络的关系网络节点分类方法，包括以下步骤：
S1)：获取包含待分类节点的初始图网络信息，所述初始图网络信息包括初始图网络结构信息、初始图网络中每个节点的节点特征信息和节点所属的标签类型；其中，每个节点代表一个对象，每条边代表两个对象之间存在关系，图1为文献之间引用关系网络的示意图，标签为论文的种类，此类数据集多数用于学术研究；图2为博客作者关系或用户关系网络的示意图，标签为主题类别或兴趣类别，此类数据集关系复杂，更加贴近真实数据，实验更有说服力。
S2)：根据初始图网络中节点之间的特征相似度构建特征图，并获取所述特征图的结构信息；
S3)：建立节点分类模型，所述节点分类模型包括初始图卷积模块、特征图卷积模块和混合图卷积模块，进行节点分类模型的预先训练，从初始图网络中选取节点作为测试样本，将所述样本在初始图网络中的结构信息、所述在初始图网络中每个样本节点的特征信息、以及所述样本在特征图中的结构信息输入预先训练的节点分类模型，预测出初始图网络中每个节点的标签类型；
S4)：基于预测出的每个样本节点的标签类型，确定每个样本节点所属于的类型。
所述特征图的构建包括如下步骤，
P1)：计算初始图网络中每两个节点特征信息之间的余弦相似度；所述余弦相似度的计算公式为其中，Sjk表示节点j与节点k的余弦相似度，xj与表示节点j的特征向量，xk表示节点k的特征向量；
P2)：从初始图网络中任选一节点，将初始图网络中的其他节点与任选节点之间的余弦相似度由大到小进行排序，排序后选取前n个节点作为任选节点的相似节点；重复步骤P2)，直至得到初始图网络中每个节点所对应的相似节点；
P3)：根据初始图网络中的每个节点与每个节点所对应的相似节点构建的新结构图，即为特征图。
所述节点分类模型的预先训练包括如下步骤：
M1)：将初始图网络中的每个节点进行标签类型的预先标记，从所述初始图网络中选取每种标签类型的多个节点作为训练节点；
M2)：将每个训练节点在初始图网络的结构信息、每个训练节点在初始图网络的特征信息以及每个训练节点在特征图的结构信息输入节点分类模型，以得到每个训练节点的预测标签类型；
M3)：根据训练节点的预测标签类型与训练节点预先标记的标签类型之间的差异，进行节点分类模型的参数调整，直至所述节点分类模型收敛，停止训练，得到预先训练的节点分类模型，所述节点分类模型的参数包括权重矩阵W和偏差矩阵b。
如图3所示，所述节点分类模型包括初始图卷积模块、特征图卷积模块和混合图卷积模块，步骤S3中所述确定每个样本节点的类型包括如下步骤：
N1)：从初始图网络中选取不少于500个测试节点作为样本，将所述样本在初始图网络中的结构信息及所述在初始图网络中每个样本节点的特征信息输入所述初始图卷积模块，基于所述初始图网络的结构信息、所述初始图网络中每个节点的特征信息及初始图卷积模块各层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第一概率ZI；
N2)：将所述样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入所述特征图卷积模块，基于所述特征图的结构信息、所述初始图网络中每个节点的特征信息及特征图卷积模块各层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第二概率ZF；
N3)：将样本在初始图网络的结构信息、样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入混合图卷积模块，基于所述初始图网络的结构信息、所述特征图的结构信息、所述初始图网络中每个节点的特征信息及所述混合图卷积模块各层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第三概率ZM；
N4)：根据注意力机制分别计算出第一概率ZI对应的第一权重参数αI、第二概率ZF对应的第二权重参数αF以及第三概率ZM对应的第三权重参数αM；并最终预测样本节点的标签类型的最终概率Z＝(αI·ZI+αF·ZF+αM·ZM)；
所述注意力机制Attention Mechanism是机器学习模型中嵌入的一种特殊结构，用来自动学习和计算输入数据对输出数据的贡献大小。
N5)：根据所述最终概率Z得到目标概率其中，W为转换矩阵，b为偏差矩阵，所述目标概率包含样本节点属于各个标签类型的概率，概率最大的标签类型即为预测类型。
作为本实施例中的一种优选方式，在得到所述目标概率后，可以根据根据公式计算目标损失函数/>其中，L为所述第一节点的数量，Yli为第1个第一节点的标记标签，/>为第1个第一节点的预测标签，C为所述类型的数量，损失函数主要目的是最大程度地减少错误分类的次数。
所述第一概率ZI计算方法为：
根据公式计算初始图卷积模块各层的输出并将最后一个卷积层的输出值作为第一概率ZI；其中/>所述Ai为样本数据在初始图中的邻接矩阵，Ii为初始图网络的单位矩阵，/>为初始图中的添加了自环的邻接矩阵，/>X为初始图中所有节点的特征信息，/>为/>对应的度矩阵，/>为初始图卷积模块各层对应的参数；
所述第二概率ZF的计算方法为：
根据公式计算特征图卷积模块各层的输出值/>并将最后一个卷积层的输出作为第二概率ZF；其中/>Af为样本数据在特征图中的邻接矩阵，If为特征图的单位矩阵，/>为特征图中的添加了自环的邻接矩阵，X为初始图中所有节点的特征信息，/>为Af对应的度矩阵，/>为特征图卷积模块各层对应的参数；
所述第三概率的计算方法为ZM：
根据公式计算混合图卷积模块各层的输出值/>并将最后一个卷积层的输出值作为第三概率ZM；其中/>X为初始图中所有节点的特征信息，为混合图卷积模块各层对应的参数；
其中将样本在初始图中的邻接矩阵和样本在特征图中的邻接矩阵根据目标得分向量g(l)按比例结合得到混合邻接矩阵P(l)；
其中，g(l)为各层的目标得分，用于自适应混合样本的初始图邻接矩阵与特征图邻接矩阵所占比例，其中/> 与/>为混合层对应的转换矩阵与偏差矩阵。
在本实施例中我们展示了整个模型的具体实施过程。首先我们基于余弦相似度构建特征图。然后我们将初始图网络数据分为训练集和测试集，训练集用于训练我们的节点分类模型，测试集为测试样本，用于测试我们模型分类的可用性。模型训练完成后，可以进行测试样本的测试，得到最终的预测结果。
我们这里给出具体实例，在训练集中，将用于训练的节点设置为六种标签类型，所述六种标签类型分别用阿拉伯数字“0”，“1”，“2”，“3”，“4”，“5”来表示，所述标签类型与类型之间存在一一对应关系。
作为本实施例的一种优选方式，
标签类型“0”对应“Agents(代理)”类型，
标签类型“1”对应“AI(人工智能)”类型，
标签类型“2”对应“DB(数据库)”类型，
标签类型“3”对应“IR(信息检索)”类型，
标签类型“4”对应“ML(机器语言)”类型，
标签类型“5”对应“HCI(人机交互)”类型，
而在测试样本中，如图1所示，我们聚焦于“文献1”、“文献2”“文献3”“文献4”和“文献5”五个节点，我们的目的是预测所述五个节点所属的类型。测试样本中的五个节点会归属于六种标签类型中的其中一类。
其中，五个节点在初始图中的关系如下：
源节点 邻居节点
0 628
1 158
1 2919
1 2933
1 1097
1 486
2 3285
3 3219
3 1431
4 467
根据步骤P1)至P3)，构建特征图，计算出初始图中每个节点对的余弦相似度，根据从大到小顺序排列，排序后选取前n个节点作为任选节点的相似节点，重复此步骤。这里我们设置n＝2，即选择每个节点的余弦相似度大小的前2个节点，构建特征图。在特征图中五个节点的相似节点如下：
根据步骤M1)至M3)，进行节点分类模型训练：将初始图网络中的每个节点进行标签类型的预先标记，从所述初始图网络中选取每种标签类型的多个节点作为训练节点，将每个训练节点在初始图网络的结构信息、每个训练节点在初始图网络的特征信息以及每个训练节点在特征图的结构信息输入节点分类模型，以得到每个训练节点的预测标签类型，根据训练节点的预测标签类型与训练节点预先标记的标签类型之间的差异，进行节点分类模型的参数调整，直至所述节点分类模型收敛，停止训练，得到预先训练的节点分类模型，所述节点分类模型的参数包括权重矩阵W和偏差矩阵b。
根据步骤N1)至N5)，进行测试样本的节点分类。首先，将所述样本在初始图网络中的结构信息及所述在初始图网络中每个样本节点的特征信息输入所述初始图卷积模块，将初始图卷积模块最后得到的节点表示作为第一概率ZI。将所述样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入所述特征图卷积模块，将特征图卷积模块最后得到的节点表示作为第二概率ZF。将样本在初始图网络的结构信息、样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入混合图卷积模块，将混合图卷积模块最后得到的节点表示作为第三概率ZM。我们结合注意力机制得到最终概率Z，公式为Z＝(αI·ZI+αF·ZF+αM·ZM)。
“文献1”至“文献5”的最终概率Z的计算方法相同，作为示例，这里我们以“文献1”进行实例显示，其中，根据注意力机制得到“文献1”所对应的第一权重参数αI、第二权重参数αF和第三权重参数αM，
即(αI，αF，αM)＝[[0.5503],[0.1801],[0.2696]]
这里显示了各个概率融合到最终概率中的占比率，由此看出“文献1”的最终概率Z倾向于来自初始图卷积中的节点表示，而“文献1”的最终概率Z如下：
[[-1.8964e-01,-2.4484e-02,6.5703e-02,2.0857e-03,-3.5278e-03,1.5469e-01,-3.4055e-02,-9.8278e-02,-5.3509e-03,1.7797e-01,-1.2398e-01,1.1020e-02,-5.3788e-02,-2.0729e-01,-5.3806e-04,-8.7711e-02,5.2738e-02,1.6781e-01,2.5999e-02,8.8113e-02,-1.7256e-01,-1.3000e-01,2.3501e-02,-2.0691e-02,-1.9046e-01,5.8077e-02,1.8248e-01,1.0480e-01,-1.6763e-01,-1.5392e-01,-7.7066e-02,-1.1152e-01,1.4170e-01,-9.5199e-02,-2.0716e-01,-2.1608e-01,-1.2826e-01,1.1516e-01,1.9336e-01,-1.3856e-01,-1.8292e-02,1.4396e-01,7.7085e-02,3.3581e-02,-2.2920e-01,-1.5900e-01,-1.1940e-01,8.8034e-03,2.0687e-01,9.3206e-02,-6.0243e-02,2.7485e-02,2.3375e-01,-1.5980e-02,-1.2352e-01,3.0626e-01,-7.0809e-02,6.0845e-02,-2.4846e-01,4.7077e-02,6.8978e-02,-1.2602e-01,8.6309e-02,-2.3466e-02,-3.2573e-02,8.6598e-02,-2.1361e-01,-1.1599e-01,2.1240e-01,2.3468e-01,-2.7844e-01,2.6340e-02,1.1766e-01,-1.8952e-01,-1.5654e-01,-2.4385e-01,-1.2573e-01,1.4843e-01,2.7125e-01,-6.0084e-02,-1.0187e-01,2.1517e-01,1.8515e-01,-8.3308e-02,-4.6942e-02,-1.8877e-02,6.0850e-02,1.6874e-01,6.2441e-02,-7.8594e-02,1.8620e-01,-9.5290e-02,-9.7457e-02,7.5883e-02,6.5954e-02,-1.4156e-01,-2.9236e-02,7.4986e-02,1.2724e-01,5.6254e-02,-1.3283e-01,-1.4993e-01,1.8041e-01,-7.1334e-02,-1.4311e-01,2.2192e-01,-1.4695e-01,-1.4756e-01,-1.1377e-02,2.5690e-02,-2.3039e-02,8.4972e-02,-5.3974e-02,4.3540e-02,8.4904e-03,-4.6789e-02,2.6635e-01,-1.6776e-01,-6.7283e-02,1.4999e-01,8.4060e-02,1.6044e-02,7.0786e-02,-9.6623e-02,2.1166e-02,-7.6110e-02,1.3925e-01,1.7861e-01,5.1771e-02,1.7041e-01,-7.9937e-02,1.5362e-01,7.8227e-02,-1.7823e-01,-1.4875e-01,-4.9986e-02,2.7919e-01,-1.5044e-01,-1.5586e-01,1.0047e-01,7.9183e-02,6.4600e-02,-1.1892e-01,-1.0509e-01,-7.6071e-02,-1.3697e-01,-8.9507e-02,9.0122e-02,6.7373e-02,-1.1458e-01,1.8763e-02,-1.9579e-01,-5.6613e-02,2.2077e-01,-1.1296e-01,5.2767e-02,-1.9791e-01,2.3244e-02,1.8295e-01,-8.5419e-02,-1.9708e-01,-3.5857e-02,-1.8908e-01,-9.2022e-02,9.1542e-02,3.2047e-02,2.1223e-01,-1.9877e-01,-2.2631e-01,-1.7922e-02,-7.3849e-02,1.7110e-01,4.3544e-02,1.6024e-01,-1.7608e-02,1.1709e-01,2.0741e-01,1.4893e-01,2.3257e-01,-1.0924e-01,-1.2018e-02,-1.8619e-01,1.6754e-02,-1.1192e-01,2.9620e-02,4.9379e-02,9.8340e-02,2.4019e-02,-2.3560e-02,-1.8312e-01,-1.3338e-01,-2.2548e-01,8.1071e-02,-4.4915e-02,6.9543e-02,9.5034e-02,-5.7639e-02,-2.5595e-02,-1.8686e-01,1.4784e-01,-2.2012e-01,-2.5487e-02,8.6846e-03,-5.7999e-02,-7.3414e-02,-4.1770e-02,-2.5203e-02,8.9795e-02,3.5875e-02,-3.9365e-04,-1.3752e-01,-1.2965e-02,9.0721e-02,-1.5662e-01,-1.7900e-01,7.1016e-02,2.1460e-01,2.8029e-01,1.3025e-01,1.0482e-01,2.9128e-01,-7.9594e-02,2.7000e-01,-3.2800e-02,-2.5550e-02,-7.5329e-02,7.1395e-03,-1.3707e-01,3.6348e-02,2.1114e-03,-4.7330e-02,-6.2565e-02,1.6399e-01,-6.9421e-02,-2.3858e-01,1.4163e-02,-2.7458e-01,3.8189e-02,3.2984e-02,6.0864e-02,3.8421e-02,1.5838e-01,-3.4511e-02,-3.6576e-02,1.4623e-01,3.4781e-02,-3.6012e-02,1.5228e-01,-1.6335e-01,1.0979e-01,2.3959e-01,-9.5132e-03,-5.6379e-02,-3.4913e-02,-3.7966e-02,-1.8586e-01]]
最后，根据最终概率Z得到目标概率所述目标概率包含样本节点属于各个标签类型的概率，概率最大的标签类型即为预测类型。
根据步骤N1)至N5)得到样本节点对应各个标签类型的概率表如下：
由上表可知，在“标签类型0”至“标签类型5”中，
“文献1”所对应的概率最大的标签类型为“标签类型3”，所以“文献1”最终预测的标签类型为“3”；即为IR(信息检索)类型；
“文献2”所对应的概率最大的标签类型为“标签类型1”，所以“文献2”最终预测的标签类型为“1”；即为“Agents(代理)”类型；
“文献3”所对应的概率最大的标签类型为“标签类型5”，所以“文献3”最终预测的标签类型为“5”；即为“HCI(人机交互)”类型；
“文献4”所对应的概率最大的标签类型为“标签类型5”，所以“文献4”最终预测的标签类型为“5”；即为“HCI(人机交互)”类型；
“文献5”所对应的概率最大的标签类型为“标签类型3”，所以“文献5”最终预测的标签类型为“3”，即为“IR(信息检索)类型”。
所以，根据标签类型与类型之间的相对应的关系，可以确定初始网络中每个节点所属于的类型。
所述方法，使用多通道图卷积神经网络让特征传播在初始图和特征图进行，目的为提取初始图中所忽略的隐藏信息，引入得分数向量来自适应聚合初始图和特征图信息，同时减少参数量，提升了关系网络中节点分类的效果，在数据集关系复杂的条件下预测效果更好，该方法已经实验于论文引用网络、社交网络等数据集上。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种基于多通道卷积神经网络的关系网络节点分类方法，其特征在于,每个节点代表一篇文献，节点之间的边表示文献之间引用和被引用之间的关系，标签是文献的种类，特征信息包括文献作者，技术领域和文献发表日期；
包括以下步骤：
S1)：获取包含待分类节点的初始图网络信息，所述初始图网络信息包括初始图网络结构信息、初始图网络中每个节点的节点特征信息和节点所属的标签类型；
S2)：根据初始图网络中节点之间的特征相似度构建特征图，并获取所述特征图的结构信息；
S3)：建立节点分类模型，所述节点分类模型包括初始图卷积模块、特征图卷积模块和混合图卷积模块，先进行节点分类模型的预先训练，再从初始图网络中选取节点作为测试样本，将所述样本在初始图网络中的结构信息、所述在初始图网络中每个样本节点的特征信息、以及所述样本在特征图中的结构信息输入预先训练的节点分类模型，预测出每个样本节点的标签类型；
S4)：基于预测出的每个样本节点的标签类型，确定每个样本节点所属于的类型；
所述确定每个样本节点的类型包括如下步骤：
N1)：从初始图网络中选取不少于500个测试节点作为样本，将所述样本在初始图网络中的结构信息及所述在初始图网络中每个样本节点的特征信息输入所述初始图卷积模块，基于所述初始图网络的结构信息、所述初始图网络中每个节点的特征信息及初始图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第一概率ZI；
N2)：将所述样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入所述特征图卷积模块，基于所述特征图的结构信息、所述初始图网络中每个节点的特征信息及特征图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第二概率ZF；
N3)：将样本在初始图网络的结构信息、样本在特征图的结构信息及在初始图网络中每个样本节点的特征信息输入混合图卷积模块，基于所述初始图网络的结构信息、所述特征图的结构信息、所述初始图网络中每个节点的特征信息及所述混合图卷积层对应的参数，确定每个样本节点属于每种标签类型的概率，作为第三概率ZM；
N4)：根据注意力机制分别计算出第一概率ZI对应的第一权重参数αI、第二概率ZF对应的第二权重参数αF以及第三概率ZM对应的第三权重参数αM；并最终预测样本节点的标签类型的最终概率Z=(αI·ZI+αF·ZF+αM·ZM)；
N5)：根据所述最终概率Z得到目标概率其中，W为转换矩阵，b为偏差矩阵，所述目标概率包含样本节点属于各个标签类型的概率，概率最大的标签类型即为预测类型。
2.根据权利要求1所述的基于多通道卷积神经网络的关系网络节点分类方法，其特征在于：特征图的构建包括如下步骤，
P1)：计算初始图网络中每两个节点特征信息之间的余弦相似度；
P2)：从初始图网络中任选一节点，将初始图网络中的其他节点与任选节点之间的余弦相似度由大到小进行排序，排序后选取前k个节点作为任选节点的相似节点；重复步骤P2)，直至得到初始图网络中每个节点所对应的相似节点；
P3)：根据初始图网络中的每个节点与每个节点所对应的相似节点构建的新结构图，即为特征图。
3.根据权利要求1所述的基于多通道卷积神经网络的关系网络节点分类方法，其特征在于：节点分类模型的预先训练包括如下步骤：
M1)：将初始图网络中的每个节点进行标签类型的预先标记，从所述初始图网络中选取每种标签类型的多个节点作为训练节点；
M2)：将每个训练节点在初始图网络的结构信息、每个训练节点在初始图网络的特征信息以及每个训练节点在特征图的结构信息输入节点分类模型，以得到每个训练节点的预测标签类型；
M3)：根据训练节点的预测标签类型与训练节点预先标记的标签类型之间的差异，进行节点分类模型的参数调整，直至所述节点分类模型收敛，停止训练，得到预先训练的节点分类模型，所述节点分类模型的参数包括权重矩阵W和偏差矩阵b。
4.根据权利要求1所述的基于多通道卷积神经网络的关系网络节点分类方法，其特征在于：所述第一概率ZI计算方法为：
根据公式计算初始图卷积模块各层的输出/>并将最后一个卷积层的输出值作为第一概率ZI；其中/>所述Ai为样本数据在初始图中的邻接矩阵，Ii为初始图网络的单位矩阵，/>为初始图中的添加了自环的邻接矩阵，X为初始图中所有节点的特征信息，/>为/>对应的度矩阵，/>为初始图卷积模块各层对应的参数；
所述第二概率ZF的计算方法为：
根据公式计算特征图卷积模块各层的输出值并将最后一个卷积层的输出作为第二概率ZF；其中/>Af为样本数据在特征图中的邻接矩阵，If为特征图的单位矩阵，/>为特征图中的添加了自环的邻接矩阵，X为初始图中所有节点的特征信息，/>为Af对应的度矩阵，/>为特征图卷积模块各层对应的参数；
所述第三概率的计算方法为ZM：
根据公式计算混合图卷积模块各层的输出值/>并将最后一个卷积层的输出值作为第三概率ZM；其中/>X为初始图中所有节点的特征信息，/>为混合图卷积模块各层对应的参数；
其中将样本在初始图中的邻接矩阵和样本在特征图中的邻接矩阵根据目标得分向量g(l)按比例结合得到混合邻接矩阵P(l)；
其中，g(l)为各层的目标得分，用于自适应混合样本的初始图邻接矩阵与特征图邻接矩阵所占比例，其中/> 与/>为混合层对应的转换矩阵与偏差矩阵。
CN202110524395.5A 2021-05-13 2021-05-13 一种基于多通道卷积神经网络的关系网络节点分类方法 Active CN113269239B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110524395.5A CN113269239B (zh) 2021-05-13 2021-05-13 一种基于多通道卷积神经网络的关系网络节点分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110524395.5A CN113269239B (zh) 2021-05-13 2021-05-13 一种基于多通道卷积神经网络的关系网络节点分类方法

Publications (2)

Publication Number Publication Date
CN113269239A CN113269239A (zh) 2021-08-17
CN113269239B true CN113269239B (zh) 2024-04-19

Family

ID=77230735

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110524395.5A Active CN113269239B (zh) 2021-05-13 2021-05-13 一种基于多通道卷积神经网络的关系网络节点分类方法

Country Status (1)

Country Link
CN (1) CN113269239B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850381A (zh) * 2021-09-15 2021-12-28 支付宝(杭州)信息技术有限公司 一种图神经网络训练方法及装置
CN114861893B (zh) * 2022-07-07 2022-09-23 西南石油大学 一种多通路聚合的对抗样本生成方法、系统及终端
CN115545098B (zh) * 2022-09-23 2023-09-08 青海师范大学 一种基于注意力机制的三通道图神经网络的节点分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110674869A (zh) * 2019-09-23 2020-01-10 腾讯科技（深圳）有限公司 分类处理、图卷积神经网络模型的训练方法和装置
CN111814842A (zh) * 2020-06-17 2020-10-23 北京邮电大学 基于多通路图卷积神经网络的对象分类方法及装置
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN112598080A (zh) * 2020-12-30 2021-04-02 广州大学华软软件学院 一种基于注意力的宽度图卷积神经网络模型及其训练方法
CN112765415A (zh) * 2021-01-22 2021-05-07 西安电子科技大学 基于关系内容联合嵌入卷积神经网络的链路预测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020248581A1 (zh) * 2019-06-11 2020-12-17 中国科学院自动化研究所 图数据识别方法、装置、计算机设备和存储介质
CN110674869A (zh) * 2019-09-23 2020-01-10 腾讯科技（深圳）有限公司 分类处理、图卷积神经网络模型的训练方法和装置
CN111814842A (zh) * 2020-06-17 2020-10-23 北京邮电大学 基于多通路图卷积神经网络的对象分类方法及装置
CN112598080A (zh) * 2020-12-30 2021-04-02 广州大学华软软件学院 一种基于注意力的宽度图卷积神经网络模型及其训练方法
CN112765415A (zh) * 2021-01-22 2021-05-07 西安电子科技大学 基于关系内容联合嵌入卷积神经网络的链路预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于图卷积网络和自编码器的半监督网络表示学习模型;王杰;张曦煌;;模式识别与人工智能;20190415(第04期);全文 *

Also Published As

Publication number Publication date
CN113269239A (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN113269239B (zh) 一种基于多通道卷积神经网络的关系网络节点分类方法
CN113239186B (zh) 一种基于多依存关系表示机制的图卷积网络关系抽取方法
CN114743020B (zh) 一种结合标签语义嵌入和注意力融合的食物识别方法
CN108038492A (zh) 一种基于深度学习的感性词向量及情感分类方法
CN112528676A (zh) 文档级别的事件论元抽取方法
CN112733866A (zh) 一种提高可控图像文本描述正确性的网络构建方法
CN110263325A (zh) 中文分词系统
CN110347791B (zh) 一种基于多标签分类卷积神经网络的题目推荐方法
CN110704624A (zh) 一种地理信息服务元数据文本多层级多标签分类方法
CN113326377A (zh) 一种基于企业关联关系的人名消歧方法及系统
Athani et al. Student academic performance and social behavior predictor using data mining techniques
CN113516379B (zh) 一种智能质检的工单评分方法
Sampathkumar et al. Majority voting based hybrid ensemble classification approach for predicting parking availability in smart city based on IoT
CN115952292B (zh) 多标签分类方法、装置及计算机可读介质
CN117237559B (zh) 面向数字孪生城市的三维模型数据智能分析方法及系统
CN112364178A (zh) 一种基于企业关联知识图谱的企业隐形实控人识别的方法
CN112215629B (zh) 基于构造对抗样本的多目标广告生成系统及其方法
CN113657473A (zh) 一种基于迁移学习的Web服务分类方法
CN116757262B (zh) 图神经网络的训练方法、分类方法、装置、设备及介质
CN117494760A (zh) 一种基于超大规模语言模型的富语义标签数据增广方法
CN117473034A (zh) 交互文本处理方法、装置、电子设备及存储介质
CN111597580A (zh) 机器人听觉隐私信息监听处理方法
Lenin et al. Learning from Imbalanced Educational Data Using Ensemble Machine Learning Algorithms.
CN113159976B (zh) 一种微博网络重要用户的识别方法
Keskin et al. Cohort fertility heterogeneity during the fertility decline period in Turkey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant