CN117763400A - 一种基于双注意力的社交网络图节点分类方法 - Google Patents
一种基于双注意力的社交网络图节点分类方法 Download PDFInfo
- Publication number
- CN117763400A CN117763400A CN202410194807.7A CN202410194807A CN117763400A CN 117763400 A CN117763400 A CN 117763400A CN 202410194807 A CN202410194807 A CN 202410194807A CN 117763400 A CN117763400 A CN 117763400A
- Authority
- CN
- China
- Prior art keywords
- node
- attention
- representing
- function
- embedded representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013145 classification model Methods 0.000 claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 37
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000002372 labelling Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 74
- 239000011159 matrix material Substances 0.000 claims description 54
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 12
- 230000006386 memory function Effects 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 8
- 238000012886 linear function Methods 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 6
- 238000012163 sequencing technique Methods 0.000 claims description 6
- 230000006403 short-term memory Effects 0.000 claims description 6
- 238000012795 verification Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000002779 inactivation Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 230000015654 memory Effects 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000003012 network analysis Methods 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 4
- 108090000623 proteins and genes Proteins 0.000 description 4
- 102000004169 proteins and genes Human genes 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 3
- 238000007418 data mining Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000006916 protein interaction Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 102100029212 Putative tetratricopeptide repeat protein 41 Human genes 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了社交网络分析技术领域的一种基于双注意力的社交网络图节点分类方法,包括如下步骤:步骤S1、获取大量的社交网络图,对各所述社交网络图进行标准化的预处理以及标注后构建数据集;步骤S2、基于信息编码器模块、边特征注意力模块、节点排序注意力模块以及输出模块创建一节点分类模型;步骤S3、基于所述数据集对节点分类模型进行训练,训练过程中不断优化所述节点分类模型的损失函数、优化器函数以及超参数;步骤S4、利用训练后的所述节点分类模型进行社交网络图节点分类。本发明的优点在于:极大的提升了社交网络图节点分类的准确率。
Description
技术领域
本发明涉及社交网络分析技术领域,特别指一种基于双注意力的社交网络图节点分类方法。
背景技术
图神经网络(Graph Neural Networks,简称GNNs)是一类用于图数据挖掘的深度学习方法,近年来被广泛应用于众多领域。随着互联网和社交媒体的迅猛发展,产生了大量的异质图,其中包括社交网络、金融交易网络、电商网络等的异质图,而传统的图神经网络无法有效处理这些异质图。为解决这一问题,异质图神经网络应运而生。
异质图是一种具有多种节点和边类型的图结构,例如在社交网络中,节点可以表示不同类型的实体,如用户、商店和机构等,而边可以表示不同类型的关系,如同事、好友和上下级等关系。在异质图网络上进行节点分类是对异质图进行数据挖掘的一项重要任务,异质图的挖掘和分析对于理解复杂关系网络、推荐系统、社交网络分析等任务非常重要。
异质图节点分类在实际生活中有着广泛的应用,例如社交网络分析、生物信息学、推荐系统、文本分类和金融风控等。在生物信息学中,异质图可以用于表示蛋白质相互作用网络;节点可以表示不同类型的蛋白质,边可以表示蛋白质之间的相互作用类型;通过对蛋白质节点进行分类,可以对蛋白质进行功能预测,有助于理解蛋白质相互作用网络的结构和功能。在文本分类任务中,可以将文本数据转化为异质图,其中节点可以表示单词或短语,边可以表示它们之间的语义关系;通过对文本节点进行分类,可以实现文本情感分析、主题分类等任务,有助于理解文本数据的内容和情感倾向。在金融领域中,异质图可以用于表示用户、交易和风险等信息之间的关系;通过对用户节点进行分类,可以实现风险评估和欺诈检测等任务,有助于提升金融风控的准确性和效率。
传统的异质图神经网络基于元路径对异质图的结构、特征进行建模,进而对异质图进行节点分类,而元路径需要手动选择,然而社交网络图(社交网络的异质图)中节点和边具有不同的类型和属性,手动选择元路径存在信息丢失的问题,不能充分挖掘社交网络图的丰富信息,进而影响社交网络图节点分类的准确率。
因此,如何提供一种基于双注意力的社交网络图节点分类方法,实现提升社交网络图节点分类的准确率,成为一个亟待解决的技术问题。
发明内容
本发明要解决的技术问题,在于提供一种基于双注意力的社交网络图节点分类方法,实现提升社交网络图节点分类的准确率。
本发明是这样实现的:一种基于双注意力的社交网络图节点分类方法,包括如下步骤:
步骤S1、获取大量的社交网络图,对各所述社交网络图进行标准化的预处理以及标注后构建数据集;
步骤S2、基于信息编码器模块、边特征注意力模块、节点排序注意力模块以及输出模块创建一节点分类模型;
所述信息编码器模块用于从社交网络图中提取节点特征以及初始邻接矩阵集合,通过归一化函数对所述节点特征进行节点特征编码得到归一化特征,通过平均池化函数对所述初始邻接矩阵集合进行边特征编码得到新邻接矩阵;
所述边特征注意力模块用于对归一化特征进行特征嵌入,得到嵌入表示、嵌入表示/>、嵌入表示/>,对所述新邻接矩阵进行特征嵌入,得到嵌入表示/>;将所述嵌入表示/>融合到嵌入表示/>、嵌入表示/>、嵌入表示/>中,得到嵌入表示/>、嵌入表示、嵌入表示/>;对所述嵌入表示/>、嵌入表示/>、嵌入表示/>,采用多头注意力机制以及归一化点乘注意力机制依次计算各节点的全局注意力矩阵,对各所述全局注意力矩阵取平均得到节点嵌入/>,通过归一化函数以及激活函数将所述节点嵌入/>输出为边特征/>;所述嵌入表示/>、嵌入表示/>、嵌入表示/>分别使用三个不同的线性参数矩阵Wn1、Wn2、Wn3进行特征嵌入得到;n1、n2和n3表示嵌入表示的下标,用于区分嵌入表示;所述嵌入表示/>、嵌入表示/>、嵌入表示/>,为分别用嵌入表示/>、嵌入表示/>、嵌入表示/>与嵌入表示/>融合得到的嵌入表示;E1、E2和E3表示嵌入表示的下标,用于区分嵌入表示;
所述节点排序注意力模块用于从边特征中提取各节点的特征矢量,基于所述特征矢量计算各节点与一阶邻居节点的注意力系数/>,进而得到各节点的第一注意力系数序列;按照数值递减的顺序对所述第一注意力系数序列的各注意力系数/>进行排序,得到第二注意力系数序列,对所述第二注意力系数序列进行归一化得到特征/>,通过双向长短期记忆函数将所述特征/>输出为特征/>;基于多头注意力机制计算各节点与一阶邻居节点的注意力系数/>,对各所述注意力系数/>进行排序得到第三注意力系数序列;通过双向长短期记忆函数将所述第三注意力系数序列输出为特征/>;基于所述特征/>以及特征/>输出节点排序特征Z;所述注意力系数/>中,i表示第i个节点,j表示节点i的一个一阶邻居节点,k表示第k次独立计算的注意力系数,即/>表示节点i与一阶邻居节点j在第k次计算注意力系数得到的值;
所述输出模块用于通过线性函数以及归一化指数函数将节点排序特征Z输出为节点分类结果;
步骤S3、基于所述数据集对节点分类模型进行训练,训练过程中不断优化所述节点分类模型的损失函数、优化器函数以及超参数;
步骤S4、利用训练后的所述节点分类模型进行社交网络图节点分类。
进一步的,所述步骤S2中,所述信息编码器模块对节点特征进行节点特征编码得到归一化特征的公式为:;
其中,表示节点特征,/>,R表示实数,N表示节点数量,d表示节点特征维度;/>表示归一化函数;/>表示归一化特征;
所述通过平均池化函数对初始邻接矩阵集合进行边特征编码得到新邻接矩阵的公式为:;
其中,表示新邻接矩阵,/>;/>表示平均池化函数;表示初始邻接矩阵集合,/>,/>表示社交网络图的边的类型数。
进一步的,所述步骤S2中,所述边特征注意力模块对归一化特征进行特征嵌入的公式为:;/>;/>;
其中,、/>、/>均表示线性矩阵,/>、/>、/>,d表示节点特征维度,/>,/>表示输出嵌入维度;/>表示归一化特征;
所述对新邻接矩阵进行特征嵌入的公式为:;
其中,表示新邻接矩阵;/>均表示线性矩阵,/>,/>;
所述将嵌入表示融合到嵌入表示/>、嵌入表示/>、嵌入表示/>中,得到嵌入表示/>、嵌入表示/>、嵌入表示/>的公式为:
;/>;/>;
其中,||表示矩阵拼接操作;
所述采用多头注意力机制以及归一化点乘注意力机制依次计算各节点的全局注意力矩阵,对各所述全局注意力矩阵取平均得到节点嵌入的公式为:;/>;
其中,表示全局注意力矩阵;/>表示归一化指数函数;/>表示/>的转置;head表示多头注意力机制的头数;/>表示第i次计算得到的全局注意力矩阵;/>表示可学习的参数矩阵,/>;;
所述通过归一化函数以及激活函数将节点嵌入输出为边特征/>的公式为:/>;
其中,表示归一化函数;/>表示激活函数。
进一步的,所述步骤S2中,所述节点排序注意力模块计算各节点与一阶邻居节点的注意力系数的公式为:/>;
其中,表示非线性激活函数LeakyReLU;/>表示可学习的注意力权重向量,,R表示实数,/>表示节点特征的输出维度;/>表示/>的转置;/>表示线性变换中节点共享的可学习权重矩阵,/>,d表示节点特征维度;/>表示第i个节点的特征矢量,即边特征/>的第i行;/>表示第j个节点的特征矢量,即边特征/>的第j行,为/>的一阶邻居节点;||表示矩阵拼接操作;
所述按照数值递减的顺序对第一注意力系数序列的各注意力系数进行排序,得到第二注意力系数序列的公式为:/>;
其中,表示第二注意力系数序列;/>表示第一注意力系数序列;/>表示数值递减排序函数;/>表示排序后的下标;/>表示一阶邻居节点的数量;
所述对第二注意力系数序列进行归一化得到特征的公式为:;
其中,表示指数函数;/>表示第/>个特征矢量;
所述通过双向长短期记忆函数将特征输出为特征/>的公式为:;
其中,表示双向长短期记忆函数;
所述基于多头注意力机制计算各节点与一阶邻居节点的注意力系数的公式为:/>;
其中,表示第k次计算注意力系数/>对应的函数;/>表示第k次计算注意力系数/>对应的/>;
所述通过双向长短期记忆函数将第三注意力系数序列输出为特征的公式为:;
其中,表示第k个双向长短期记忆函数;/>表示多头注意力的头数。
进一步的,所述步骤S2中,所述输出模块输出节点分类结果的公式为:;
其中,P表示节点分类结果;表示归一化指数函数;/>表示线性函数。
进一步的,所述步骤S3中,所述损失函数为交叉熵损失函数,公式为:;
其中,表示损失值;/>表示交叉熵损失函数;Y表示图数据的节点标注的标签,/>,/>表示第n个节点的标签;P表示节点分类结果,,/>表示第n个节点的节点分类结果。
进一步的,所述步骤S3中,所述超参数至少包括随机失活率、权值衰减率以及学习率。
进一步的,所述步骤S3中,所述基于数据集对节点分类模型进行训练具体为:
基于预设比例将所述数据集划分为训练集、验证集以及测试集,利用所述训练集对节点分类模型进行训练,训练过程中不断优化所述节点分类模型的损失函数、优化器函数以及超参数,直至满足预设的收敛条件;
利用所述验证集对训练后的节点分类模型进行验证后,再利用所述测试集对验证后的节点分类模型进行测试,若测试通过,则结束所述节点分类模型的训练;若测试不通过,则扩充所述训练集继续对节点分类模型进行训练。
本发明的优点在于:
通过获取大量的社交网络图进行标准化的预处理以及标注后构建数据集,基于信息编码器模块、边特征注意力模块、节点排序注意力模块以及输出模块创建一节点分类模型,基于数据集对节点分类模型进行训练,训练过程中不断优化节点分类模型的损失函数、优化器函数以及超参数,最后利用训练后的节点分类模型进行社交网络图节点分类;节点分类模型的信息编码器模块用于对社交网络图的特征和结构信息进行编码,边特征注意力模块用于结合自注意力机制并引入边的特征,以学习社交网络图的全局结构和特征表示,节点排序注意力模块用于通过节点排序注意力学习社交网络图的局部结构和特征表示,输出模块用于特征解码并输出节点分类结果,在整个学习过程中不需要使用元路径,并能够更好学习社交网络图丰富的特征信息,最终极大的提升了社交网络图节点分类的准确率。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种基于双注意力的社交网络图节点分类方法的流程图。
图2是本发明节点分类模型的结构示意图。
具体实施方式
本申请实施例中的技术方案,总体思路如下:创建包括信息编码器模块、边特征注意力模块、节点排序注意力模块以及输出模块的节点分类模型用于社交网络图节点分类,信息编码器模块用于对社交网络图的特征和结构信息进行编码,边特征注意力模块用于结合自注意力机制并引入边的特征,以学习社交网络图的全局结构和特征表示,节点排序注意力模块用于通过节点排序注意力学习社交网络图的局部结构和特征表示,输出模块用于特征解码并输出节点分类结果,在整个学习过程中不需要使用元路径,并能够更好学习社交网络图丰富的特征信息,以提升社交网络图节点分类的准确率。
请参照图1至图2所示,本发明一种基于双注意力的社交网络图节点分类方法的较佳实施例,包括如下步骤:
步骤S1、获取大量的社交网络图,对各所述社交网络图进行标准化的预处理以及标注后构建数据集;
步骤S2、基于信息编码器模块、边特征注意力模块、节点排序注意力模块以及输出模块创建一节点分类模型;
所述信息编码器模块用于从社交网络图中提取节点特征以及初始邻接矩阵集合,通过归一化函数对所述节点特征进行节点特征编码得到归一化特征,通过平均池化函数对所述初始邻接矩阵集合进行边特征编码得到新邻接矩阵,即沿着所述初始邻接矩阵集合的第三个维度进行相加后取平均;
所述边特征注意力模块用于对归一化特征进行特征嵌入,得到嵌入表示、嵌入表示/>、嵌入表示/>,对所述新邻接矩阵进行特征嵌入,得到嵌入表示/>;将所述嵌入表示/>融合到嵌入表示/>、嵌入表示/>、嵌入表示/>中,嵌入表示/>、嵌入表示、嵌入表示/>;对所述嵌入表示/>、嵌入表示/>、嵌入表示/>、嵌入表示/>,采用多头注意力机制以及归一化点乘注意力机制依次计算各节点的全局注意力矩阵,对各所述全局注意力矩阵取平均得到节点嵌入/>,通过归一化函数以及激活函数将所述节点嵌入/>输出为边特征/>;即所述边特征注意力模块为了能够学习到社交网络图全局的结构和特征信息,结合多头自注意力机制,在计算过程中引入边的特征信息;
所述节点排序注意力模块用于从边特征中提取各节点的特征矢量,基于所述特征矢量计算各节点与一阶邻居节点的注意力系数/>,进而得到各节点的第一注意力系数序列;按照数值递减的顺序对所述第一注意力系数序列的各注意力系数/>进行排序,得到第二注意力系数序列,对所述第二注意力系数序列进行归一化得到特征/>,通过双向长短期记忆函数将所述特征/>输出为特征/>;基于多头注意力机制计算各节点与一阶邻居节点的注意力系数/>,对各所述注意力系数/>进行排序得到第三注意力系数序列;通过双向长短期记忆函数将所述第三注意力系数序列输出为特征/>;基于所述特征/>以及特征/>输出节点排序特征Z;即所述节点排序注意力模块用于更好的学习到社交网络图的节点的局部结构和特征信息;
所述输出模块用于通过线性函数以及归一化指数函数将节点排序特征Z输出为节点分类结果;
步骤S3、基于所述数据集对节点分类模型进行训练,训练过程中不断优化所述节点分类模型的损失函数、优化器函数以及超参数;
步骤S4、利用训练后的所述节点分类模型进行社交网络图节点分类。
所述步骤S2中,所述信息编码器模块对节点特征进行节点特征编码得到归一化特征的公式为:;
其中,表示节点特征,/>,R表示实数,N表示节点数量,d表示节点特征维度;/>表示归一化函数;/>表示归一化特征;
所述通过平均池化函数对初始邻接矩阵集合进行边特征编码得到新邻接矩阵的公式为:;
其中,表示新邻接矩阵,/>;/>表示平均池化函数;/>表示初始邻接矩阵集合,/>,/>表示社交网络图的边的类型数。
所述步骤S2中,所述边特征注意力模块对归一化特征进行特征嵌入的公式为:;/>;/>;
其中,、/>、/>均表示线性矩阵(线性层),/>、/>、,d表示节点特征维度,/>,/>表示输出嵌入维度;/>表示归一化特征;
所述对新邻接矩阵进行特征嵌入的公式为:;
其中,表示新邻接矩阵;/>均表示线性矩阵,/>,/>;
所述将嵌入表示融合到嵌入表示/>、嵌入表示/>、嵌入表示/>中,得到嵌入表示/>、嵌入表示/>、嵌入表示/>的公式为:
;/>;/>;
其中,||表示矩阵拼接操作;即为了在注意力计算中引入社交网络图的边的特征信息;
所述采用多头注意力机制以及归一化点乘注意力机制依次计算各节点的全局注意力矩阵,对各所述全局注意力矩阵取平均得到节点嵌入的公式为:;/>;
其中,表示全局注意力矩阵;/>表示归一化指数函数;/>表示/>的转置;head表示多头注意力机制的头数;/>表示第i次计算得到的全局注意力矩阵;/>表示可学习的参数矩阵,/>;;即采用多头注意力机制独立执行多次归一化点乘注意力机制,把计算得到的所述全局注意力矩阵加起来取平均;
所述通过归一化函数以及激活函数将节点嵌入输出为边特征/>的公式为:/>;
其中,表示归一化函数;/>表示激活函数,用于增加模型的非线性。
所述步骤S2中,所述节点排序注意力模块计算各节点与一阶邻居节点的注意力系数的公式为:/>;
其中,表示非线性激活函数LeakyReLU;/>表示可学习的注意力权重向量,,R表示实数,/>表示节点特征的输出维度;/>表示/>的转置;/>表示线性变换中节点共享的可学习权重矩阵,/>,d表示节点特征维度;/>表示第i个节点的特征矢量,即边特征/>的第i行;/>表示第j个节点的特征矢量,即边特征/>的第j行,为/>的一阶邻居节点;||表示矩阵拼接操作;
所述按照数值递减的顺序对第一注意力系数序列的各注意力系数进行排序,得到第二注意力系数序列的公式为:/>;
其中,表示第二注意力系数序列;/>表示第一注意力系数序列;/>表示数值递减排序函数;/>表示排序后的下标;/>表示一阶邻居节点的数量;
所述对第二注意力系数序列进行归一化得到特征的公式为:;
其中,表示指数函数;/>表示第/>个特征矢量;
所述通过双向长短期记忆函数将特征输出为特征/>的公式为:;
其中,表示双向长短期记忆函数,用于确保在计算节点j的贡献时,能够考虑到节点j之前和之后的节点;
所述基于多头注意力机制计算各节点与一阶邻居节点的注意力系数的公式为:/>;
其中,表示第k次计算注意力系数/>对应的函数;/>表示第k次计算注意力系数/>对应的/>;用于让模型更稳健和更全面地进行注意力排序;
所述通过双向长短期记忆函数将第三注意力系数序列输出为特征的公式为:;
其中,表示第k个双向长短期记忆函数;/>表示多头注意力的头数。
所述步骤S2中,所述输出模块输出节点分类结果的公式为:;
其中,P表示节点分类结果,,n为正整数;/>表示归一化指数函数;/>表示线性函数。
所述步骤S3中,所述损失函数为交叉熵损失函数,公式为:;
其中,表示损失值;/>表示交叉熵损失函数;Y表示图数据的节点标注的标签,/>,/>表示第n个节点的标签;P表示节点分类结果,,/>表示第n个节点的节点分类结果。
所述步骤S3中,所述超参数至少包括随机失活率(dropout)、权值衰减率(weight-decay)以及学习率。具体实施时,所述随机失活率的取值可选为0.3,所述权值衰减率的取值可选为0.0001,所述学习率的取值可选为0.005;所述节点分类模型的训练次数可选为70次,优化器使用Adam,注意力头数设置为4。
所述步骤S3中,所述基于数据集对节点分类模型进行训练具体为:
基于预设比例将所述数据集划分为训练集、验证集以及测试集,利用所述训练集对节点分类模型进行训练,训练过程中不断优化所述节点分类模型的损失函数、优化器函数以及超参数,直至满足预设的收敛条件;所述预设比例可选为2:1:7;
利用所述验证集对训练后的节点分类模型进行验证后,再利用所述测试集对验证后的节点分类模型进行测试,若测试通过,则结束所述节点分类模型的训练;若测试不通过,则扩充所述训练集继续对节点分类模型进行训练。
在异质图社交分析领域的公共数据集ACM上,使用图节点分类任务指标F1-macro和F1-micro对所述节点分类模型的特征学习能力进行评测,结果表明所述节点分类模型能够对异质图网络的节点特征进行有效的学习,并且实验结果超过了传统方法。
综上所述,本发明的优点在于:
通过获取大量的社交网络图进行标准化的预处理以及标注后构建数据集,基于信息编码器模块、边特征注意力模块、节点排序注意力模块以及输出模块创建一节点分类模型,基于数据集对节点分类模型进行训练,训练过程中不断优化节点分类模型的损失函数、优化器函数以及超参数,最后利用训练后的节点分类模型进行社交网络图节点分类;节点分类模型的信息编码器模块用于对社交网络图的特征和结构信息进行编码,边特征注意力模块用于结合自注意力机制并引入边的特征,以学习社交网络图的全局结构和特征表示,节点排序注意力模块用于通过节点排序注意力学习社交网络图的局部结构和特征表示,输出模块用于特征解码并输出节点分类结果,在整个学习过程中不需要使用元路径,并能够更好学习社交网络图丰富的特征信息,最终极大的提升了社交网络图节点分类的准确率。
虽然以上描述了本发明的具体实施方式,但是熟悉本技术领域的技术人员应当理解,我们所描述的具体的实施例只是说明性的,而不是用于对本发明的范围的限定,熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化,都应当涵盖在本发明的权利要求所保护的范围内。
Claims (8)
1.一种基于双注意力的社交网络图节点分类方法,其特征在于:包括如下步骤:
步骤S1、获取大量的社交网络图,对各所述社交网络图进行标准化的预处理以及标注后构建数据集;
步骤S2、基于信息编码器模块、边特征注意力模块、节点排序注意力模块以及输出模块创建一节点分类模型;
所述信息编码器模块用于从社交网络图中提取节点特征以及初始邻接矩阵集合,通过归一化函数对所述节点特征进行节点特征编码得到归一化特征,通过平均池化函数对所述初始邻接矩阵集合进行边特征编码得到新邻接矩阵;
所述边特征注意力模块用于对归一化特征进行特征嵌入,得到嵌入表示、嵌入表示、嵌入表示/>,对所述新邻接矩阵进行特征嵌入,得到嵌入表示/>;将所述嵌入表示融合到嵌入表示/>、嵌入表示/>、嵌入表示/>中,得到嵌入表示/>、嵌入表示、嵌入表示/>;对所述嵌入表示/>、嵌入表示/>、嵌入表示/>,采用多头注意力机制以及归一化点乘注意力机制依次计算各节点的全局注意力矩阵,对各所述全局注意力矩阵取平均得到节点嵌入/>,通过归一化函数以及激活函数将所述节点嵌入/>输出为边特征/>;所述嵌入表示/>、嵌入表示/>、嵌入表示/>分别使用三个不同的线性参数矩阵Wn1、Wn2、Wn3进行特征嵌入得到;n1、n2和n3表示嵌入表示的下标,用于区分嵌入表示;所述嵌入表示/>、嵌入表示/>、嵌入表示/>,为分别用嵌入表示/>、嵌入表示/>、嵌入表示/>与嵌入表示/>融合得到的嵌入表示;E1、E2和E3表示嵌入表示的下标,用于区分嵌入表示;
所述节点排序注意力模块用于从边特征中提取各节点的特征矢量,基于所述特征矢量计算各节点与一阶邻居节点的注意力系数/>,进而得到各节点的第一注意力系数序列;按照数值递减的顺序对所述第一注意力系数序列的各注意力系数/>进行排序,得到第二注意力系数序列,对所述第二注意力系数序列进行归一化得到特征/>,通过双向长短期记忆函数将所述特征/>输出为特征/>;基于多头注意力机制计算各节点与一阶邻居节点的注意力系数/>,对各所述注意力系数/>进行排序得到第三注意力系数序列;通过双向长短期记忆函数将所述第三注意力系数序列输出为特征/>;基于所述特征以及特征/>输出节点排序特征Z;所述注意力系数/>中,i表示第i个节点,j表示节点i的一个一阶邻居节点,k表示第k次独立计算的注意力系数,即/>表示节点i与一阶邻居节点j在第k次计算注意力系数得到的值;
所述输出模块用于通过线性函数以及归一化指数函数将节点排序特征Z输出为节点分类结果;
步骤S3、基于所述数据集对节点分类模型进行训练,训练过程中不断优化所述节点分类模型的损失函数、优化器函数以及超参数;
步骤S4、利用训练后的所述节点分类模型进行社交网络图节点分类。
2.如权利要求1所述的一种基于双注意力的社交网络图节点分类方法,其特征在于:所述步骤S2中,所述信息编码器模块对节点特征进行节点特征编码得到归一化特征的公式为:;
其中,表示节点特征,/>,R表示实数,N表示节点数量,d表示节点特征维度;/>表示归一化函数;/>表示归一化特征;
所述通过平均池化函数对初始邻接矩阵集合进行边特征编码得到新邻接矩阵的公式为:;
其中,表示新邻接矩阵,/>;/>表示平均池化函数;表示初始邻接矩阵集合,/>,/>表示社交网络图的边的类型数。
3.如权利要求1所述的一种基于双注意力的社交网络图节点分类方法,其特征在于:所述步骤S2中,所述边特征注意力模块对归一化特征进行特征嵌入的公式为:;;/>;
其中,、/>、/>均表示线性矩阵,/>、/>、/>,d表示节点特征维度,/>,/>表示输出嵌入维度;/>表示归一化特征;
所述对新邻接矩阵进行特征嵌入的公式为:;
其中,表示新邻接矩阵;/>均表示线性矩阵,/>,/>;
所述将嵌入表示融合到嵌入表示/>、嵌入表示/>、嵌入表示/>中,得到嵌入表示/>、嵌入表示/>、嵌入表示/>的公式为:
;/>;/>;
其中,||表示矩阵拼接操作;
所述采用多头注意力机制以及归一化点乘注意力机制依次计算各节点的全局注意力矩阵,对各所述全局注意力矩阵取平均得到节点嵌入的公式为:
;;
其中,表示全局注意力矩阵;/>表示归一化指数函数;/>表示/>的转置;head表示多头注意力机制的头数;/>表示第i次计算得到的全局注意力矩阵;/>表示可学习的参数矩阵,/>;;
所述通过归一化函数以及激活函数将节点嵌入输出为边特征/>的公式为:;
其中,表示归一化函数;/>表示激活函数。
4.如权利要求1所述的一种基于双注意力的社交网络图节点分类方法,其特征在于:所述步骤S2中,所述节点排序注意力模块计算各节点与一阶邻居节点的注意力系数的公式为:/>;
其中,表示非线性激活函数LeakyReLU;/>表示可学习的注意力权重向量,,R表示实数,/>表示节点特征的输出维度;/>表示/>的转置;/>表示线性变换中节点共享的可学习权重矩阵,/>,d表示节点特征维度;/>表示第i个节点的特征矢量,即边特征/>的第i行;/>表示第j个节点的特征矢量,即边特征/>的第j行,为/>的一阶邻居节点;||表示矩阵拼接操作;
所述按照数值递减的顺序对第一注意力系数序列的各注意力系数进行排序,得到第二注意力系数序列的公式为:/>;
其中,表示第二注意力系数序列;/>表示第一注意力系数序列;/>表示数值递减排序函数;/>表示排序后的下标;/>表示一阶邻居节点的数量;
所述对第二注意力系数序列进行归一化得到特征的公式为:;
其中,表示指数函数;/>表示第/>个特征矢量;
所述通过双向长短期记忆函数将特征输出为特征/>的公式为:;
其中,表示双向长短期记忆函数;
所述基于多头注意力机制计算各节点与一阶邻居节点的注意力系数的公式为:;
其中,表示第k次计算注意力系数/>对应的函数;/>表示第k次计算注意力系数对应的/>;
所述通过双向长短期记忆函数将第三注意力系数序列输出为特征的公式为:;
其中,表示第k个双向长短期记忆函数;/>表示多头注意力的头数。
5.如权利要求1所述的一种基于双注意力的社交网络图节点分类方法,其特征在于:所述步骤S2中,所述输出模块输出节点分类结果的公式为:;
其中,P表示节点分类结果;表示归一化指数函数;/>表示线性函数。
6.如权利要求1所述的一种基于双注意力的社交网络图节点分类方法,其特征在于:所述步骤S3中,所述损失函数为交叉熵损失函数,公式为:;
其中,表示损失值;/>表示交叉熵损失函数;Y表示图数据的节点标注的标签,/>,/>表示第n个节点的标签;P表示节点分类结果,,/>表示第n个节点的节点分类结果。
7.如权利要求1所述的一种基于双注意力的社交网络图节点分类方法,其特征在于:所述步骤S3中,所述超参数至少包括随机失活率、权值衰减率以及学习率。
8.如权利要求1所述的一种基于双注意力的社交网络图节点分类方法,其特征在于:所述步骤S3中,所述基于数据集对节点分类模型进行训练具体为:
基于预设比例将所述数据集划分为训练集、验证集以及测试集,利用所述训练集对节点分类模型进行训练,训练过程中不断优化所述节点分类模型的损失函数、优化器函数以及超参数,直至满足预设的收敛条件;
利用所述验证集对训练后的节点分类模型进行验证后,再利用所述测试集对验证后的节点分类模型进行测试,若测试通过,则结束所述节点分类模型的训练;若测试不通过,则扩充所述训练集继续对节点分类模型进行训练。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410194807.7A CN117763400A (zh) | 2024-02-22 | 2024-02-22 | 一种基于双注意力的社交网络图节点分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410194807.7A CN117763400A (zh) | 2024-02-22 | 2024-02-22 | 一种基于双注意力的社交网络图节点分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117763400A true CN117763400A (zh) | 2024-03-26 |
Family
ID=90326063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410194807.7A Pending CN117763400A (zh) | 2024-02-22 | 2024-02-22 | 一种基于双注意力的社交网络图节点分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117763400A (zh) |
-
2024
- 2024-02-22 CN CN202410194807.7A patent/CN117763400A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111061856B (zh) | 一种基于知识感知的新闻推荐方法 | |
CN111797321B (zh) | 一种面向不同场景的个性化知识推荐方法及系统 | |
CN111783474A (zh) | 一种评论文本观点信息处理方法、装置及存储介质 | |
CN109767312B (zh) | 一种信用评估模型训练、评估方法与装置 | |
CN108549658A (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
CN112819604A (zh) | 基于融合神经网络特征挖掘的个人信用评估方法与系统 | |
CN113033090B (zh) | 推送模型训练方法、数据推送方法、装置及存储介质 | |
CN112215604A (zh) | 交易双方关系信息识别方法及装置 | |
CN112417063B (zh) | 一种基于异构关系网络的相容功能项推荐方法 | |
CN112256866A (zh) | 一种基于深度学习的文本细粒度情感分析方法 | |
CN113628059A (zh) | 一种基于多层图注意力网络的关联用户识别方法及装置 | |
CN110704510A (zh) | 一种结合用户画像的题目推荐方法及系统 | |
CN112819024B (zh) | 模型处理方法、用户数据处理方法及装置、计算机设备 | |
CN115526236A (zh) | 一种基于多模态对比学习的文本网络图分类方法 | |
CN113689234A (zh) | 一种基于深度学习的平台相关的广告点击率预测方法 | |
CN112529638A (zh) | 基于用户分类和深度学习的服务需求动态预测方法及系统 | |
CN116304518A (zh) | 用于信息推荐的异质图卷积神经网络模型构建方法及系统 | |
CN110910235A (zh) | 一种基于用户关系网络的贷中异常行为检测方法 | |
CN114036298B (zh) | 一种基于图卷积神经网络与词向量的节点分类方法 | |
CN111709225A (zh) | 一种事件因果关系判别方法、装置和计算机可读存储介质 | |
CN115221387A (zh) | 一种基于深度神经网络的企业信息整合方法 | |
CN113283243B (zh) | 一种实体与关系联合抽取的方法 | |
CN113591971B (zh) | 基于dpi时间序列词嵌入向量的用户个性行为预测方法 | |
CN114387005A (zh) | 一种基于图分类的套利团伙识别方法 | |
CN114119191A (zh) | 风控方法、逾期预测方法、模型训练方法及相关设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |