CN114757271A - 基于多通道图卷积网络的社交网络节点分类方法与系统 - Google Patents

基于多通道图卷积网络的社交网络节点分类方法与系统 Download PDF

Info

Publication number
CN114757271A
CN114757271A CN202210353954.5A CN202210353954A CN114757271A CN 114757271 A CN114757271 A CN 114757271A CN 202210353954 A CN202210353954 A CN 202210353954A CN 114757271 A CN114757271 A CN 114757271A
Authority
CN
China
Prior art keywords
node
graph
network
matrix
embedding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210353954.5A
Other languages
English (en)
Other versions
CN114757271B (zh
Inventor
徐晓华
韩玉
何萍
夏应玺
叶进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN202210353954.5A priority Critical patent/CN114757271B/zh
Publication of CN114757271A publication Critical patent/CN114757271A/zh
Application granted granted Critical
Publication of CN114757271B publication Critical patent/CN114757271B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于多通道图卷积网络的社交网络节点分类方法与系统。本发明首先根据社交网络数据集中的节点属性构造属性矩阵和邻接矩阵分别输入到两个图卷积网络通道，得到拓扑空间和特征空间对应的节点嵌入，同时通过参数共享的图卷积网络提取拓扑空间和特征空间的公共信息，并使用注意力机制来学习节点嵌入相对应的权重。为了能够增强不同输入在相同网络间得到的节点嵌入的共性，使用一致性对其进行约束，相对应地，为了确保能够从不同的网络中获取不同的节点信息，使用HSIC准则对相同输入在不同的网络得到的节点嵌入进行差异化约束。最后将约束和节点分类损失结合来构造目标函数并进行优化。本发明能够提高社交网络节点分类的准确性。

Description

基于多通道图卷积网络的社交网络节点分类方法与系统
技术领域
本发明属于社交网络信息分析领域，涉及一种基于多通道图卷积网络的社交网络节点分类方法与系统。
背景技术
社交网络的迅猛发展促进信息系统、医疗健康等领域的相关研究。分类问题是社交网络数据挖掘的基本问题，社交网络中节点分类一直是研究的热点方向。在众多分类技术中，图神经网络凭借其出色的表现力获取了极大的关注。图神经网络的核心思想主要是是聚集自身及其邻居节点的特征向量迭代更新每个节点的嵌入。图卷积网络作为图神经网络的一种有效变体，同样也遵循领域聚合方式。图卷积网络的特征聚合体现在每一个节点在每一卷积层中聚合来自其拓扑邻居的特征信息，也就是说特征信息通过图的拓扑结构得到节点嵌入用于分类任务。图卷积网络在图数据处理上表现的十分出色，图卷积网络是在神经网络的基础上提出的，不同于我们熟知的卷积神经网络，图卷积网络随着网络层数的不断加深，整个网络模型的表达能力在不断的变弱，出现过拟合问题。
随着社会的快速发展，社交网络图数据中节点间的关系越来越复杂。在本发明作出之前，对社交网络图数据的处理方式大都是使用传统的数据降维方法，对社交网络图数据的学习不够完全。利用图卷积网络对社交网络图数据进行处理时，如何能够把周围节点的信息聚合到当前节点中，更有效地提取节点的特征信息，进而提高社交网络节点分类的准确性是本发明所要研究的问题。
发明内容
发明目的：本发明的目的在于提供一种社交网络节点分类方法与系统，采用图卷积网络分别对图的拓扑结构、节点特征以及两者组合进行特征提取，充分提取社交网络节点信息，提高节点分类的准确性。
技术方案：为实现上述发明目的，本发明采用如下技术方案：
一种基于多通道图卷积网络的社交网络节点分类方法，包括如下步骤：
(1)获取社交网络图数据集，社交网络图为无向图，节点表示用户，用户具有不同属性，经处理后数据集中包含有标签数据以及无标签数据；
(2)根据社交网络图数据集中的节点属性构造属性矩阵和邻接矩阵，将社交网络图的属性矩阵X以及邻接矩阵A作为图卷积网络的输入来提取社交网络图本身的结构信息，通过图卷积网络N1得到对应的节点嵌入表示Zt；使用KNN算法构造社交网络图的K-近邻图，利用构造的K-近邻图的邻接矩阵Ak和属性矩阵X来获取节点的特征关系，通过图卷积网络N2得到对应的节点嵌入表示Zk；
(3)使用参数共享的图卷积网络C来提取不同属性矩阵和邻接矩阵作为输入的公共信息，并且使用度量函数来衡量不同节点嵌入表示之间的差异获取公共节点嵌入Zc；
(4)使用个性化注意力机制来自动化学习节点嵌入的权重，获取相对应的权重之后，利用权重对之前操作得到的节点嵌入Zt，Zk，Zc进行结合得到最终的节点嵌入Z；
(5)对节点嵌入分别进行一致性约束和差异性约束，并使用交叉熵损失函数作为损失函数；将前期的约束条件和节点分类的损失函数相结合，得到最终的目标函数进行优化；将最终节点嵌入Z输入softmax分类器中，输出节点的类别预测。
进一步地，所述社交网络图的属性矩阵表示为X＝[x1，x2，...，xn]，其中xi表示节点属性向量，n表示社交网络图包含的节点数量。
进一步地，所述步骤(2)中使用社交网络原始图作为图卷积网络N1的输入来获取原始社交网络图结构方面的特征信息；图卷积网络N1采用去除非线性激活函数后的简化图卷积网络SGC，经过l层图神经网络N1后得到节点嵌入表示为
Figure BDA0003582017070000021
Figure BDA0003582017070000022
其中，邻接矩阵At＝A，对At进行归一化处理
Figure BDA0003582017070000023
Figure BDA0003582017070000024
为自连接矩阵At+I的度矩阵，I为单位矩阵，Wt为可训练的参数矩阵，将最终的所有节点嵌入表示为Zt。
进一步地，所述步骤(2)中使用构造的K-近邻图的邻接矩阵Ak以及属性矩阵X作为图卷积网络N2的输入，图卷积网络N2采用去除非线性激活函数后的简化图卷积网络SGC，经过l层图卷积网络N2后得到的节点嵌入表示为
Figure BDA0003582017070000025
Figure BDA0003582017070000026
将邻接矩阵Ak进行归一化处理后记为
Figure BDA0003582017070000027
Figure BDA0003582017070000028
为自连接矩阵Ak+I的度矩阵，Wk为可训练的参数矩阵，将最终的所有节点嵌入表示为Zk。
进一步地，所述步骤(3)中使用参数共享的图卷积网络C提取社交网络原始图以及K-近邻图的公共信息，经过l层图卷积网络C后，得到第l层的节点嵌入分别表示为：
Figure BDA0003582017070000029
Figure BDA00035820170700000210
其中，
Figure BDA0003582017070000031
Wc是可训练的参数矩阵，层间共享，用来从不同的输入中过滤出可共享的信息；根据不同的输入图，得到两个最终的节点嵌入输出为Zct和Zck，对获取的节点嵌入进行平均操作，得到两个空间的共同嵌入Zc。
进一步地，所述步骤(4)中具体为：使用个性化注意力机制att(Zt，Zc，Zk)学习相应的权重αt，αc，αk：
(αt，αc，αk)＝att(Zt，Zc，Zk)
其中
Figure BDA0003582017070000032
分别代表节点嵌入Zt，Zc，Zk中n个节点的权重值；
首先，根据节点嵌入Zt，Zc，Zk，获得任意节点i的节点特征向量
Figure BDA0003582017070000033
h表示经图卷积之后的节点特征维度，然后获取注意力值
Figure BDA0003582017070000034
Figure BDA0003582017070000035
Figure BDA0003582017070000036
Figure BDA0003582017070000037
Figure BDA0003582017070000038
为共享注意力向量，用于获取注意力值，h′表示向量维度，
Figure BDA0003582017070000039
是可训练的权重矩阵，
Figure BDA00035820170700000310
是偏置向量；
对得到的注意力值
Figure BDA00035820170700000311
使用softmax函数进行归一化得到最终的权重
Figure BDA00035820170700000312
对应所有的n个节点，得到学习的权重
Figure BDA00035820170700000313
将学习到的权重进行对角化处理
Figure BDA00035820170700000314
Figure BDA00035820170700000315
利用学习到的权重将这三种嵌入结合起来，得到最终的节点嵌入Z：
Z＝αT·Zt+αC·Zc+αK·Zk。
进一步地，所述步骤(5)中目标函数的构造具体为：
使用L2正则化对原始图以及构造的K-近邻图输入参数共享的图卷积网络分别得到的节点嵌入Zct和Zck进行归一化，得到的归一化矩阵用来获取节点间的相似度；
Figure BDA00035820170700000316
Figure BDA00035820170700000317
其中，
Figure BDA0003582017070000041
并且使用F范数||·||F进行一致性约束：
Figure BDA0003582017070000042
使用HSIC准则得到差异性约束
Figure BDA0003582017070000043
Figure BDA0003582017070000044
将前期的约束条件和节点分类的损失函数
Figure BDA0003582017070000045
相结合，γ、β分别为一致性约束和差异性约束的参数，得到最终的目标函数：
Figure BDA0003582017070000046
进一步地，所述步骤(5)中在得到最终节点嵌入Z之后，运用线性变换和softmax分类器获取节点的类别预测。
基于相同的发明构思，本发明提供一种基于多通道图卷积网络的社交网络节点分类系统，包括：
数据处理模块，用于获取社交网络图数据集，社交网络图为无向图，节点表示用户，用户具有不同属性，经处理后数据集中包含有标签数据以及无标签数据；
拓扑与特征空间节点嵌入模块，用于根据社交网络图数据集中的节点属性构造属性矩阵和邻接矩阵，将社交网络图的属性矩阵X以及邻接矩阵A作为图卷积网络的输入来提取社交网络图本身的结构信息，通过图卷积网络N1得到对应的节点嵌入表示Zt；使用KNN算法构造社交网络图的K-近邻图，利用构造的K-近邻图的邻接矩阵Ak和属性矩阵X来获取节点的特征关系，通过图卷积网络N2得到对应的节点嵌入表示Zk；
公共节点嵌入模块，用于使用参数共享的图卷积网络C来提取不同属性矩阵和邻接矩阵作为输入的公共信息，并且使用度量函数来衡量不同节点嵌入表示之间的差异获取公共节点嵌入Zc；
节点嵌入融合模块，用于使用个性化注意力机制来自动化学习节点嵌入的权重，获取相对应的权重之后，利用权重对之前操作得到的节点嵌入Zt，Zk，Zc进行结合得到最终的节点嵌入Z；
以及预测模块，用于对节点嵌入分别进行一致性约束和差异性约束，并使用交叉熵损失函数作为损失函数；将前期的约束条件和节点分类的损失函数相结合，得到最终的目标函数进行优化；将最终节点嵌入Z输入softmax分类器中，输出节点的类别预测。
基于相同的发明构思，本发明提供一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的基于多通道图卷积网络的社交网络节点分类方法。
有益效果：与现有技术相比，本发明的优点和效果在于克服图卷积网络不能很好融合拓扑结构和节点特征的缺陷，体现在基于两个独立的图卷积网络通道和参数共享的图卷积网络通道，获取拓扑结构和节点特征信息的同时，也能够同时提取两者间的公共信息。具体表现为：
(1)将原始社交网络图的邻接矩阵以及特征矩阵作为拓扑空间的输入来提取图本身的结构信息，通过图卷积网络的特征传播之后得到最终的节点嵌入表示。使用KNN算法构造K-近邻图，将K-近邻图对应的邻接矩阵和特征矩阵作为特征空间的输入来获取节点的特征关系。
(2)使用参数共享的简化图卷积网络来提取两个空间的公共信息，并将得到的两个节点嵌入使用度量函数来得到公共嵌入。
本发明在使用图卷积网络模型之后，同时使用个性化注意力机制来获取节点嵌入的权重，并且利用权重对之前操作得到的三个节点嵌入进行结合得到最终的节点嵌入表示。将一致性约束、差异性约束和交叉熵损失函数结合作为目标函数，不断对整个模型进行优化，增强了节点分类的准确性。
附图说明
图1为本发明的方法总体流程示意图。
图2为本发明的算法详细结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步说明。
本发明的主要技术思路是：本发明采用基于多通道图卷积网络进行社交网络节点分类，采用多个图卷积网络分别对图的拓扑结构、节点特征以及两者组合进行特征提取，充分提取节点标签的相关信息，提高节点分类的准确性。本发明中间过程采用注意力机制去学习节点嵌入的权重，有助于保留重要信息。同时本发明的参数优化过程充分考虑到不同模块间节点嵌入的关联以及相同输入产生的节点嵌入的差异性，有助于探究数据之间的深层联系，进一步提高分类准确率。
本发明实施例提供的基于多通道图卷积网络的社交网络节点分类方法，主要步骤如下：
一、独立的图神经网络通道获取节点嵌入，这个步骤包括两个部分：
1、将社交网络原始图的邻接矩阵以及特征矩阵作为拓扑空间的输入来提取图本身的结构信息，通过图神经网络得到最终的节点嵌入表示。
2、使用KNN算法构造K-近邻图，将K-近邻图对应的邻接矩阵和特征矩阵作为特征空间的输入来获取节点的特征关系。同样地，利用图神经网络得到对应的节点嵌入。
二、通用图神经网络通道获取节点嵌入
使用参数共享的图卷积网络来提取两个空间的公共信息，并将得到的两个节点嵌入利用度量函数得到公共嵌入。经典的图卷积网络模型在获取节点嵌入的过程中，不能很好的融合节点特征和拓扑信息。为了更好的获取节点信息，我们使用参数共享的简化图卷积来对节点特征和拓扑信息进行提取融合。
三、使用个性化注意力机制来获取节点嵌入权重
在获取相应的节点嵌入之后，因为不同节点嵌入对节点的标签信息的重要程度并不相同，使用注意力机制来自动化学习节点嵌入的权重，获取相对应的权重之后，利用权重对之前操作得到的三个节点嵌入进行结合得到最终的节点嵌入。
四、构造目标函数优化模型
对节点嵌入进行差异化约束和共性约束，并使用交叉熵损失函数作为损失函数。将前期的约束条件和节点分类的损失函数相结合，得到最终的目标函数。通过不断地调整参数设置，使目标函数最小化来获取模型的最优状态。
五、应用训练好的网络模型对测试数据进行分类
最后阶段，我们使用训练好的网络模型验证测试数据集，利用在最后一层的Softmax函数作为分类器。
下面结合图1和图2，对本发明实施例公开的基于多通道图神经网络的社交网络节点分类方法的步骤进行详细说明。具体步骤如下：
(1)获取社交网络图数据集，社交网络图为无向图，节点表示用户，且用户具有年龄、职业、爱好等不同属性，经处理后数据集中包含有标签数据以及无标签数据；
(2)根据社交网络数据集中的节点属性构造属性矩阵和邻接矩阵分别输入到图卷积网络N1，N2中：
(2-1)将社交网络图的属性矩阵X以及邻接矩阵A作为图卷积网络的输入来提取社交网络图本身的结构信息，通过图神经网络N1之后得到对应的节点嵌入表示Zt；
(2-2)通过节点属性向量计算节点间余弦相似度，为每个节点选择前k个相似节点来构造社交网络图的K-近邻图，将构造的K-近邻图的邻接矩阵Ak和属性矩阵Xk来获取节点的特征关系。同样地，通过图卷积网络N2得到对应的节点嵌入表示Zk；
(3)使用参数共享的图卷积网络C来提取不同属性矩阵和邻接矩阵作为输入的公共信息，并且使用度量函数来衡量不同节点嵌入表示之间的差异获取公共节点嵌入Zc；
(4)使用个性化注意力机制来自动化学习节点嵌入的权重，获取相对应的权重之后，利用权重对之前操作得到的节点嵌入Zt，Zk，Zc进行结合得到最终的节点嵌入Z；
(5)对节点嵌入分别进行一致性约束和差异性约束，并使用交叉熵损失函数作为损失函数；将前期的约束条件和节点分类的损失函数相结合，得到最终的目标函数进行优化；将最终节点嵌入Z输入softmax分类器中，输出节点的类别预测。
步骤(1)中利用社交网络平台收集用户的原始数据，所述社交网络数据集中节点代表不同用户，属性矩阵表示为X＝[x1，x2，...，xn]，其中xi表示节点属性向量，n表示社交网络图包含的节点数量。原始邻接矩阵A中，存在关联的节点具有连接性即Aij＝1，反之Aij＝0，Ak为K-近邻图对应的邻接矩阵，KNN算法为每个节点选择k个相似节点，目标节点与k个相似节点之间的Aij＝1，与其他节点默认不连接即Aij＝0。
步骤(2-1)中我们使用社交网络原始图G＝(A，X)作为图卷积网络N1的输入来获取原始社交网络图结构方面的特征信息。这里图卷积网络N1采用去除非线性激活函数后的简化图卷积网络SGC。为了对不同的节点嵌入进行区分，经过l层图神经网络N1后得到的节点嵌入表示为
Figure BDA0003582017070000071
Figure BDA0003582017070000072
其中，将邻接矩阵At＝A进行归一化处理
Figure BDA0003582017070000073
Figure BDA0003582017070000074
为自连接矩阵At+I的度矩阵，I为单位矩阵，Wt为可训练的参数矩阵，将最终的所有节点嵌入表示为Zt。
步骤(2-2)中首先构造社交网络图的K-近邻图Gk＝(Ak，X)，其中Ak是构造的K-近邻图对应的邻接矩阵。使用构造的K-近邻图的邻接矩阵Ak以及属性矩阵X作为图卷积网络N2的输入，图卷积网络N2采用去除非线性激活函数后的简化图卷积网络SGC，经过l层图神经网络N2后得到第l层的节点嵌入表示为
Figure BDA0003582017070000075
Figure BDA0003582017070000076
将邻接矩阵Ak进行归一化处理后记为
Figure BDA0003582017070000081
Figure BDA0003582017070000082
为自连接矩阵Ak+I的度矩阵，Wk为可训练的参数矩阵，将最后一层所有节点嵌入记为Zk。
步骤(3)中使用参数共享的图卷积网络C提取社交网络原始图以及K-近邻图的公共信息，具体为：对于参数共享的图卷积网络C，同样的，我们将社交网络原始图G＝(A，X)以及构造的K-近邻图Gk＝(Ak，X)分别输入到图卷积网络C中，经过l层图神经网络C后，得到第l层的节点嵌入分别表示为：
Figure BDA0003582017070000083
Figure BDA0003582017070000084
其中
Figure BDA0003582017070000085
Wc是层间共享的权重矩阵，用来从不同的输入中过滤出可共享的信息。根据不同的输入图，我们得到两个最终的节点嵌入输出为Zct和Zck，我们对获取的节点嵌入进行平均操作，得到两个空间的共同嵌入Zc：
Figure BDA0003582017070000086
其中，d(·)表示度量函数，当使用欧氏距离作为度量函数时，Zc则可以表示为：
Figure BDA0003582017070000087
即
Zc＝(Zct+Zck)/2#(7)
步骤(4)中使用个性化注意力机制自动化的去学习嵌入的相对应的权重。具体为：使用个性化注意力机制att(Zt，Zc，Zk)去学习相应的权重αt，αc，αk：
(αt，αc，αk)＝att(Zt，Zc，Zk)#(8)
其中
Figure BDA0003582017070000088
分别代表节点嵌入Zt，Zc，Zk中n个节点的权重值。首先，根据节点嵌入Zt，我们可以获得任意节点i的节点特征向量
Figure BDA0003582017070000089
然后获取注意力值
Figure BDA00035820170700000810
Figure BDA00035820170700000811
Figure BDA00035820170700000812
为共享注意力向量，用于获取注意力值，h′表示向量维度，
Figure BDA00035820170700000813
是可训练的权重矩阵，
Figure BDA00035820170700000814
是偏置向量。按照相同的方式，根据节点嵌入Zc，Zk我们可以得到注意力值
Figure BDA00035820170700000815
Figure BDA00035820170700000816
Figure BDA0003582017070000091
最后对得到的注意力值
Figure BDA00035820170700000912
使用soktmax函数进行归一化得到最终的权重
Figure BDA00035820170700000913
Figure BDA0003582017070000092
Figure BDA0003582017070000093
表示拓扑空间节点i的权重值，经过softmax归一化后得到最终权重
Figure BDA0003582017070000094
对应所有的n个节点，我们可以得到学习的权重
Figure BDA0003582017070000095
将学习到的权重进行对角化处理
Figure BDA0003582017070000096
Figure BDA0003582017070000097
利用学习到的权重将这三种嵌入结合起来，得到最终的节点嵌入Z：
Z＝αT·Zt+αC·Zc+αK·Zk#(13)
步骤(5)中目标函数的构造，具体为：我们将原始图G＝(A，X)以及构造的K-近邻图Gk＝(Ak，X)输入参数共享的图卷积模块分别得到节点嵌入Zct和Zck，为了增加两者之间的共同性，首先使用L2正则化对节点嵌入Zct和Zck进行归一化，得到的归一化矩阵用来获取节点间的相似度。
Figure BDA0003582017070000098
Figure BDA0003582017070000099
其中，
Figure BDA00035820170700000910
并且使用F范数||·||F进行一致性约束：
Figure BDA00035820170700000911
对于节点嵌入Zt和Zct是由相同的原始图在不同简化图卷积模块得到的，同样的，Zk和Zck是相同特征图在不同模块得到的不同的节点嵌入。为了确保能够从不同的模块中获取的节点信息具有一定的差异性，我们使用HSIC准则增强两者之间的差异。
节点嵌入Zt和Zct的HSIC约束定义为：
HSIC(Zt，Zct)＝(n-1)-2tr(RKtRKct)#(17)
其中，Kt和Kct是格拉姆矩阵，
Figure BDA00035820170700000914
Figure BDA00035820170700000915
为中心化矩阵，In为n×n单位矩阵，e为全1n维列向量。
同样的，节点嵌入Zk和Zck的HSIC约束定义为：
HSIC(Zk，Zck)＝(n-1)-2tr(RKkRKct)#(18)
由此可以得到差异性约束
Figure BDA00035820170700000916
Figure BDA0003582017070000101
假设对于训练集是L，类别数为c，对于每一个i∈L，Yij指代节点i属于类别j的标签概率真实值，节点i属于类别j的标签预测值是
Figure BDA0003582017070000102
那么所有训练节点的节点分类的交叉熵损失表示为
Figure BDA0003582017070000103
Figure BDA0003582017070000104
将前期的约束条件和节点分类的损失函数相结合，γ、β分别为一致性约束和差异性约束的参数，由此得到最终的目标函数：
Figure BDA0003582017070000106
步骤(5)中将最终的节点嵌入表示输入softmax分类器中，获取节点分类预测，最终得到社交网络数据集节点类别结果。对于节点分类任务，在得到最终节点嵌入Z之后，运用线性变换和softmax分类器获取节点的类别预测。
为证明本发明的效果，将本发明在BlogCatalog社交网络数据集上的表现分别与现有方法进行了对比。
如表1所示，表中展示了本发明(英文缩写为MS-GCN)在BlogCatalog社交网络数据集上的分类结果，BlogCatalog社交网络数据集总共5196个节点，所有节点分为六个类别，测试集使用了1000个节点，训练集按照不同标记率的数量也不相同，表中标签率是指每个类别中有标签的节点数量，20、40、60代表在节点分类中的每个类别有标签的节点数量分别为120、240、360。对于参数设置，初始学习率为0.05，dropout率为0.5，k值为7，γ设置为1e-3，β设置为1e-8。表格上面对比算法数据来自于相关作者文章，在BlogCatalog社交网络数据集上的实验结果，所有实验结果均为运行10次取平均所得。表格中的对比算法都是比较经典的网络模型。从表格数据可以看出无论标签率怎么变化，本发明的节点分类效果都是最好的，由此可以看出本发明对节点分类任务的有效性。
表1 6种算法在BlogCatalog社交网络数据集上的分类效果
Figure BDA0003582017070000105
基于相同的发明构思，本发明实施例提供的一种基于多通道图卷积网络的社交网络节点分类系统，包括：数据处理模块，用于获取社交网络图数据集，社交网络图为无向图，节点表示用户，用户具有不同属性，经处理后数据集中包含有标签数据以及无标签数据；拓扑与特征空间节点嵌入模块，用于根据社交网络图数据集中的节点属性构造属性矩阵和邻接矩阵，将社交网络图的属性矩阵X以及邻接矩阵A作为图卷积网络的输入来提取社交网络图本身的结构信息，通过图卷积网络N1得到对应的节点嵌入表示Zt；使用KNN算法构造社交网络图的K-近邻图，利用构造的K-近邻图的邻接矩阵Ak和属性矩阵X来获取节点的特征关系，通过图卷积网络N2得到对应的节点嵌入表示Zk；公共节点嵌入模块，用于使用参数共享的图卷积网络C来提取不同属性矩阵和邻接矩阵作为输入的公共信息，并且使用度量函数来衡量不同节点嵌入表示之间的差异获取公共节点嵌入Zc；节点嵌入融合模块，用于使用个性化注意力机制来自动化学习节点嵌入的权重，获取相对应的权重之后，利用权重对之前操作得到的节点嵌入Zt，Zk，Zc进行结合得到最终的节点嵌入Z；以及预测模块，用于对节点嵌入分别进行一致性约束和差异性约束，并使用交叉熵损失函数作为损失函数；将前期的约束条件和节点分类的损失函数相结合，得到最终的目标函数进行优化；将最终节点嵌入Z输入softmax分类器中，输出节点的类别预测。各模块具体实现细节参考上述方法实施例，此处不再赘述。
基于相同的发明构思，本发明实施例提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该计算机程序被加载至处理器时实现所述的基于多通道图卷积网络的社交网络节点分类方法。

Claims (10)

1.一种基于多通道图卷积网络的社交网络节点分类方法，其特征在于，包括如下步骤：
(1)获取社交网络图数据集，社交网络图为无向图，节点表示用户，用户具有不同属性，经处理后数据集中包含有标签数据以及无标签数据；
(2)根据社交网络图数据集中的节点属性构造属性矩阵和邻接矩阵，将社交网络图的属性矩阵X以及邻接矩阵A作为图卷积网络的输入来提取社交网络图本身的结构信息，通过图卷积网络N1得到对应的节点嵌入表示Zt；使用KNN算法构造社交网络图的K-近邻图，利用构造的K-近邻图的邻接矩阵Ak和属性矩阵X来获取节点的特征关系，通过图卷积网络N2得到对应的节点嵌入表示Zk；
(3)使用参数共享的图卷积网络C来提取不同属性矩阵和邻接矩阵作为输入的公共信息，并且使用度量函数来衡量不同节点嵌入表示之间的差异获取公共节点嵌入Zc；
(4)使用个性化注意力机制来自动化学习节点嵌入的权重，获取相对应的权重之后，利用权重对之前操作得到的节点嵌入Zt,Zk,Zc进行结合得到最终的节点嵌入Z；
(5)对节点嵌入分别进行一致性约束和差异性约束，并使用交叉熵损失函数作为损失函数；将前期的约束条件和节点分类的损失函数相结合，得到最终的目标函数进行优化；将最终节点嵌入Z输入softmax分类器中，输出节点的类别预测。
2.根据权利要求1所述的基于多通道图卷积网络的社交网络节点分类方法，其特征在于，所述社交网络图的属性矩阵表示为X＝[x1，x2，...，xn],其中xi表示节点属性向量，n表示社交网络图包含的节点数量。
3.根据权利要求1所述的基于多通道图卷积网络的社交网络节点分类方法，其特征在于，所述步骤(2)中使用社交网络原始图作为图卷积网络N1的输入来获取原始社交网络图结构方面的特征信息；图卷积网络N1采用去除非线性激活函数后的简化图卷积网络SGC，经过l层图神经网络N1后得到的节点嵌入表示为
Figure FDA0003582017060000011
Figure FDA0003582017060000012
其中，邻接矩阵At＝A,对At进行归一化处理
Figure FDA0003582017060000013
Figure FDA0003582017060000014
为自连接矩阵At+I的度矩阵，I为单位矩阵，Wt为可训练的参数矩阵，将最终的所有节点嵌入表示为Zt。
4.根据权利要求1所述的基于多通道图卷积网络的社交网络节点分类方法，其特征在于，所述步骤(2)中使用构造的K-近邻图的邻接矩阵Ak以及属性矩阵X作为图卷积网络N2的输入，图卷积网络N2采用去除非线性激活函数后的简化图卷积网络SGC，经过l层图卷积网络N2后得到的节点嵌入表示为
Figure FDA0003582017060000021
Figure FDA0003582017060000022
将邻接矩阵Ak进行归一化处理后记为
Figure FDA0003582017060000023
Figure FDA0003582017060000024
为自连接矩阵Ak+I的度矩阵，I为单位矩阵，Wk为可训练的参数矩阵，将最终的所有节点嵌入表示为Zt。
5.根据权利要求1所述的基于多通道图卷积网络的社交网络节点分类方法，其特征在于，所述步骤(3)中使用参数共享的图卷积网络C提取社交网络原始图以及K-近邻图的公共信息，通过l层图卷积网络C后，得到第L层的节点嵌入分别表示为：
Figure FDA0003582017060000025
Figure FDA0003582017060000026
其中，邻接矩阵Ak＝A，对At、Ak分别进行归一化处理
Figure FDA0003582017060000027
Figure FDA0003582017060000028
Wc是可训练的参数矩阵且层间共享，用来从不同的输入中过滤出可共享的信息；根据不同的输入图，得到两个最终的节点嵌入输出为Zct和Zck，对获取的节点嵌入进行平均操作，得到两个空间的共同嵌入Zc。
6.根据权利要求1所述的基于多通道图卷积网络的社交网络节点分类方法，其特征在于，所述步骤(4)中具体为：使用个性化注意力机制att(Zt，Zc，Zk)学习相应的权重αt，αc，αk：
(αt，αc，αk)＝att(Zt，Zc，Zk)
其中
Figure FDA0003582017060000029
分别代表节点嵌入Zt，Zc，Zk中n个节点的权重值；
首先，根据节点嵌入Zt，Zc，Zk，获得任意节点i的节点特征向量
Figure FDA00035820170600000210
h表示经图卷积之后的节点特征维度，然后获取注意力值
Figure FDA00035820170600000211
Figure FDA00035820170600000212
Figure FDA00035820170600000213
Figure FDA00035820170600000214
Figure FDA0003582017060000031
为共享注意力向量，用于获取注意力值，h′表示向量维度，
Figure FDA0003582017060000032
是可训练的权重矩阵，
Figure FDA0003582017060000033
是偏置向量；
对得到的注意力值
Figure FDA0003582017060000034
使用softmax函数进行归一化得到最终的权重
Figure FDA0003582017060000035
对应所有的n个节点,得到学习的权重
Figure FDA0003582017060000036
将学习到的权重进行对角化处理
Figure FDA0003582017060000037
Figure FDA0003582017060000038
利用学习到的权重将这三种嵌入结合起来，得到最终的节点嵌入Z：
Z＝αT·Zt+αC·Zc+αK·Zk。
7.根据权利要求1所述的基于多通道图卷积网络的社交网络节点分类方法，其特征在于，所述步骤(5)中目标函数的构造具体为：
使用L2正则化对原始图以及构造的K-近邻图输入参数共享的图卷积网络分别得到的节点嵌入Zct和Zck进行归一化，得到的归一化矩阵用来获取节点间的相似度；
Figure FDA0003582017060000039
Figure FDA00035820170600000310
其中，
Figure FDA00035820170600000311
并且使用F范数||·||F进行一致性约束：
Figure FDA00035820170600000312
使用HSIC准则得到差异性约束
Figure FDA00035820170600000313
Figure FDA00035820170600000314
将前期的约束条件和节点分类的损失函数
Figure FDA00035820170600000315
相结合，γ、β分别为一致性约束和差异性约束的参数，得到最终的目标函数：
Figure FDA00035820170600000316
8.根据权利要求1所述的基于多通道图卷积网络的社交网络节点分类方法，其特征在于，所述步骤(5)中在得到最终节点嵌入Z之后，运用线性变换和softmax分类器获取节点的类别预测。
9.一种基于多通道图卷积网络的社交网络节点分类系统，其特征在于，包括：
数据处理模块，用于获取社交网络图数据集，社交网络图为无向图，节点表示用户，用户具有不同属性，经处理后数据集中包含有标签数据以及无标签数据；
拓扑与特征空间节点嵌入模块，用于根据社交网络图数据集中的节点属性构造属性矩阵和邻接矩阵，将社交网络图的属性矩阵X以及邻接矩阵A作为图卷积网络的输入来提取社交网络图本身的结构信息，通过图卷积网络N1得到对应的节点嵌入表示Zt；使用KNN算法构造社交网络图的K-近邻图，利用构造的K-近邻图的邻接矩阵Ak和属性矩阵X来获取节点的特征关系，通过图卷积网络N2得到对应的节点嵌入表示Zk；
公共节点嵌入模块，用于使用参数共享的图卷积网络C来提取不同属性矩阵和邻接矩阵作为输入的公共信息，并且使用度量函数来衡量不同节点嵌入表示之间的差异获取公共节点嵌入Zc；
节点嵌入融合模块，用于使用个性化注意力机制来自动化学习节点嵌入的权重，获取相对应的权重之后，利用权重对之前操作得到的节点嵌入Zt,Zk,Zc进行结合得到最终的节点嵌入Z；
以及预测模块，用于对节点嵌入分别进行一致性约束和差异性约束，并使用交叉熵损失函数作为损失函数；将前期的约束条件和节点分类的损失函数相结合，得到最终的目标函数进行优化；将最终节点嵌入Z输入softmax分类器中，输出节点的类别预测。
10.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被加载至处理器时实现根据权利要求1-8任一项所述的基于多通道图卷积网络的社交网络节点分类方法。
CN202210353954.5A 2022-04-06 2022-04-06 基于多通道图卷积网络的社交网络节点分类方法与系统 Active CN114757271B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210353954.5A CN114757271B (zh) 2022-04-06 2022-04-06 基于多通道图卷积网络的社交网络节点分类方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210353954.5A CN114757271B (zh) 2022-04-06 2022-04-06 基于多通道图卷积网络的社交网络节点分类方法与系统

Publications (2)

Publication Number Publication Date
CN114757271A true CN114757271A (zh) 2022-07-15
CN114757271B CN114757271B (zh) 2024-04-23

Family

ID=82329607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210353954.5A Active CN114757271B (zh) 2022-04-06 2022-04-06 基于多通道图卷积网络的社交网络节点分类方法与系统

Country Status (1)

Country Link
CN (1) CN114757271B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906946A (zh) * 2022-12-11 2023-04-04 山西大学 一种多视图双曲-双曲图表示学习方法
CN115982654A (zh) * 2023-03-21 2023-04-18 北京芯盾时代科技有限公司 一种基于自监督图神经网络的节点分类方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103682A1 (en) * 2009-10-29 2011-05-05 Xerox Corporation Multi-modality classification for one-class classification in social networks
CN110263236A (zh) * 2019-06-06 2019-09-20 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
CN113780470A (zh) * 2021-09-28 2021-12-10 广西师范大学 一种基于自适应多通道交叉图卷积网络的图分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110103682A1 (en) * 2009-10-29 2011-05-05 Xerox Corporation Multi-modality classification for one-class classification in social networks
CN110263236A (zh) * 2019-06-06 2019-09-20 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
CN113780470A (zh) * 2021-09-28 2021-12-10 广西师范大学 一种基于自适应多通道交叉图卷积网络的图分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XU, XIAOHUA等: "Improving clustering with constrained communities", NEUROCOMPUTING, 5 May 2016 (2016-05-05) *
郝志峰;柯妍蓉;李烁;蔡瑞初;温雯;王丽娟;: "基于图编码网络的社交网络节点分类方法", 计算机应用, no. 01, 9 October 2019 (2019-10-09) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115906946A (zh) * 2022-12-11 2023-04-04 山西大学 一种多视图双曲-双曲图表示学习方法
CN115906946B (zh) * 2022-12-11 2024-04-12 山西大学 一种多视图双曲-双曲图表示学习方法
CN115982654A (zh) * 2023-03-21 2023-04-18 北京芯盾时代科技有限公司 一种基于自监督图神经网络的节点分类方法及装置
CN115982654B (zh) * 2023-03-21 2023-08-04 北京芯盾时代科技有限公司 一种基于自监督图神经网络的节点分类方法及装置

Also Published As

Publication number Publication date
CN114757271B (zh) 2024-04-23

Similar Documents

Publication Publication Date Title
Wang et al. RSNet: The search for remote sensing deep neural networks in recognition tasks
Liang et al. Symbolic graph reasoning meets convolutions
Yang et al. A survey of DNN methods for blind image quality assessment
Zhao et al. Heterogeneous feature selection with multi-modal deep neural networks and sparse group lasso
Zhang et al. Unsupervised and semi-supervised image classification with weak semantic consistency
CN114757271A (zh) 基于多通道图卷积网络的社交网络节点分类方法与系统
CN106991373A (zh) 一种基于深度学习和图论的拷贝视频检测方法
CN111080551B (zh) 基于深度卷积特征和语义近邻的多标签图像补全方法
CN110598022B (zh) 一种基于鲁棒深度哈希网络的图像检索系统与方法
Jin et al. Cold-start active learning for image classification
Cao et al. Adaptive graph convolutional networks for weakly supervised anomaly detection in videos
Weng et al. Label specific features-based classifier chains for multi-label classification
CN112508181A (zh) 一种基于多通道机制的图池化方法
Lin et al. Scene recognition using multiple representation network
CN115731498A (zh) 一种联合强化学习和对比学习的视频摘要生成方法
Du et al. Multi-feature based network for multivariate time series classification
Wang et al. Spectral-spatial global graph reasoning for hyperspectral image classification
Zheng et al. Detach and unite: A simple meta-transfer for few-shot learning
Jia et al. Semi-supervised node classification with discriminable squeeze excitation graph convolutional networks
Zhang et al. DHNet: Salient object detection with dynamic scale-aware learning and hard-sample refinement
Ge et al. GSNNet: Group semantic-guided neighbor interaction network for co-salient object detection
Bayoudh A survey of multimodal hybrid deep learning for computer vision: Architectures, applications, trends, and challenges
CN114154070A (zh) 一种基于图卷积神经网络的mooc推荐方法
Jing et al. Self-training based semi-supervised and semi-paired hashing cross-modal retrieval
CN112861882B (zh) 一种基于频率自适应的图像-文本匹配方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant