CN116628597B - 一种基于关系路径注意力的异质图节点分类方法 - Google Patents

一种基于关系路径注意力的异质图节点分类方法 Download PDF

Info

Publication number
CN116628597B
CN116628597B CN202310896610.3A CN202310896610A CN116628597B CN 116628597 B CN116628597 B CN 116628597B CN 202310896610 A CN202310896610 A CN 202310896610A CN 116628597 B CN116628597 B CN 116628597B
Authority
CN
China
Prior art keywords
node
attention
representing
matrix
heterogeneous graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310896610.3A
Other languages
English (en)
Other versions
CN116628597A (zh
Inventor
王翔
邓维康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian University Of Science And Technology
Original Assignee
Fujian University Of Science And Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian University Of Science And Technology filed Critical Fujian University Of Science And Technology
Priority to CN202310896610.3A priority Critical patent/CN116628597B/zh
Publication of CN116628597A publication Critical patent/CN116628597A/zh
Application granted granted Critical
Publication of CN116628597B publication Critical patent/CN116628597B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了金融风险预测技术领域的一种基于关系路径注意力的异质图节点分类方法，包括如下步骤：步骤S1、获取异质图的数据集，将所述数据集划分为训练集、验证集和测试集，分别提取所述训练集、验证集以及测试集的节点特征矩阵和邻接矩阵集合；步骤S2、基于关系路径注意力模块、节点路径注意力模块以及输出模块构建一节点分类模型；步骤S3、利用所述训练集对节点分类模型进行训练，利用所述验证集对训练后的节点分类模型进行验证；步骤S4、利用所述测试集对验证后的节点分类模型进行测试，并不断优化所述节点分类模型的超参数；步骤S5、利用测试后的所述节点分类模型进行异质图节点分类。本发明的优点在于：极大的提升了金融风险预测精度。

Description

一种基于关系路径注意力的异质图节点分类方法
技术领域
本发明涉及金融风险预测技术领域，特别指一种基于关系路径注意力的异质图节点分类方法。
背景技术
图神经网络(Graph Neural Networks，简称GNN)是一种用于处理图数据的深度学习方法，已经在许多领域取得了成功，如节点分类、链接预测、社区发现等。图数据可以分为同质图和异质图，其中的异质图指由不同类型的节点和边组成的图，在许多现实世界的场景中广泛存在，如社交网络中的用户和用户间的联系，生物学中的分子结构等。异质图的节点分类是GNN的一项重要任务，其目标是将每个节点分类到相应的类别中，以便更好地理解和分析异质图的结构和特征。
异质图的节点分类在各个领域都具有较为广泛的应用，如推荐系统、金融风险评估、医疗诊断等。在推荐系统中，可以使用异质图来表示用户、商品和交互等信息，并通过节点分类来预测用户的兴趣和行为；在金融风险评估中，可以使用异质图来表示客户、资产和交易等信息，并通过节点分类来预测客户的信用等级和风险水平；在医疗诊断中，可以使用异质图来表示疾病、症状、药物等信息，并通过节点分类来预测疾病的类型和严重程度。总之，异质图的节点分类在实际生活中具有重要应用，可以帮助我们更好地理解和分析复杂的图数据，并在多个领域中实现更准确的预测和决策。
由于异质图具有多种类型的节点和边，相比于同质图具有更加复杂的结构，同时蕴含着更加丰富的结构信息和高阶的语义信息。在异质图上进行节点分类通常采用元路径法，即使用异质图上的元路径来定义不同类型节点之间的关系，并利用元路径推导出节点之间的相似性，然后使用GNN对节点进行编码和分类。然而，元路径法无法捕捉到异质图中节点的高阶语义信息，同时也无法学习到元路径以外的一些特征表示信息，导致异质图节点分类应用于金融风险预测的精度欠佳。
因此，如何提供一种基于关系路径注意力的异质图节点分类方法，实现提升金融风险预测精度，成为一个亟待解决的技术问题。
发明内容
本发明要解决的技术问题，在于提供一种基于关系路径注意力的异质图节点分类方法，实现提升金融风险预测精度。
本发明是这样实现的：一种基于关系路径注意力的异质图节点分类方法，包括如下步骤：
步骤S1、获取基于金融数据构建的异质图的数据集，将所述数据集划分为训练集、验证集和测试集，分别提取所述训练集、验证集以及测试集的节点特征矩阵和邻接矩阵集合；
步骤S2、基于关系路径注意力模块、节点路径注意力模块以及输出模块构建一节点分类模型；
步骤S3、利用所述训练集对节点分类模型进行训练，利用所述验证集对训练后的节点分类模型进行验证；
步骤S4、利用所述测试集对验证后的节点分类模型进行测试，并不断优化所述节点分类模型的超参数；
步骤S5、利用测试后的所述节点分类模型进行异质图节点分类，以进行金融风险预测。
进一步的，所述步骤S1具体为：
获取基于金融数据构建的异质图包括ACM、DBLP以及IMDB的数据集，将所述数据集按设定比例划分为训练集、验证集和测试集，分别提取所述训练集、验证集以及测试集的异质图的节点特征矩阵和不同类型边的邻接矩阵集合；
所述节点特征矩阵的公式为：
所述邻接矩阵集合的公式为：
其中，X表示节点特征；表示实数；N表示节点数量；d表示节点特征的输入维度；A表示邻接矩阵；K表示异质图的边的类型数；k表示邻接矩阵编号。
进一步的，所述设定比例为2：1：7。
进一步的，所述步骤S2中，所述关系路径注意力模块由大小为1×1的一层卷积层和两层余弦注意力层组成；
所述卷积层用于学习异质图中不同类型边的重要性，并把不同类型边所构成的邻接矩阵集合聚合到一起，形成一个新的邻接矩阵A'；所述余弦注意力层用于在邻接矩阵A'的基础上，使用余弦注意力学习异质图节点的特征相似性。
进一步的，所述邻接矩阵A'的公式为：
其中，A'和A均表示邻接矩阵，表示实数,N表示节点数量；/>表示可学习的参数矩阵，并使用softmax函数进行归一化，且/>K表示异质图的边的类型数；Conv()表示向量卷积运算函数；
所述特征相似性的计算过程为：
A1：计算节点xj到节点xi的注意力系数：
eij＝βcos(xi,xj)；
其中，eij表示注意力系数；β表示每一层传播层可学习的注意力参数，为标量；为节点xj的输入表示；/>为节点xi的输入表示；/>||xi||表示对xi进行L2正则化，||xj||表示对xj进行L2正则化；
B1：使用softmax函数对所述注意力系数eij进行归一化，得到归一化注意力系数αij；
C1：基于所述归一化注意力系数αij计算邻居节点特征的线性组合，从而得到每个节点的输出特征嵌入，即特征相似性表示：
其中，ri表示节点的特征相似性表示；σ1表示Relu激活函数；Ni表示节点xi基于邻接矩阵A'的一阶邻居节点集合；Ai'j表示节点xi和节点xj的邻接矩阵。
进一步的，所述步骤S2中，所述节点路径注意力模块由一层变换层和两层节点注意力层组成；
所述变换层用于把不同类型边所组成的邻接矩阵变换到同一维度，把异质图的网络结构转换为同质图的网络结构，以形成一个新的邻接矩阵；所述节点注意力层用于在变换层输出的邻接矩阵的基础上，学习异质图节点的特征表示。
进一步的，所述把异质图的网络结构转换为同质图的网络结构的转换过程为：
H'＝AMI+I；
其中，H'表示转换后的邻接矩阵，且I表示单位矩阵；MI表示元素都为1的矩阵，且/>
所述节点注意力层的学习过程为：
A2：计算节点xj到节点xi的注意力系数：
其中，表示注意力系数，且/>attnode()表示节点注意力学习函数，attnode：/>||表示拼接操作，d'表示节点特征的输出维度，/>和/>分别代表节点xi和节点xj的特征表示；W表示可学习的权重矩阵，/>W对于所有节点都是共享的；
B2：使用softmax函数对所述注意力系数进行归一化，得到归一化注意力系数
C2：基于所述归一化注意力系数与邻居节点的特征线性组合计算节点xi的嵌入值：
其中，表示嵌入值；σ2表示非线性激活函数；Ni表示节点xi基于邻接矩阵H'的一阶邻居节点集合；
D2：引入多头注意力，基于所述嵌入值训练Q个独立的注意力层，将各注意力层的输出相加取平均值，得到节点最终的特征表示：
其中，zi表示多头注意力的节点特征嵌入；Q表示多头注意力的机制头的数量；q表示计算第q个注意力；表示由第q个注意力机制计算得到的归一化注意力系数；Wq表示相应的输入线性变换的可学习权重矩阵。
进一步的，所述步骤S2中，所述输出模块由两层全连接层以及softmax函数组成，用于对所述关系路径注意力模块以及节点路径注意力模块的输出特征进行融合以得到融合特征。
进一步的，所述步骤S2中，所述输出模块的公式为：
Z＝ri||zi；
P＝softmax(Linear(Linear(Z)))；
其中，P表示节点预测类别；Z表示融合特征；ri表示节点的相似性特征嵌入，即关系路径注意力模块学习得到的节点特征表示；zi表示节点的重要性特征嵌入，即节点路径注意力模块学习得到的节点特征表示；softmax()表示归一化指数函数；Linear()表示线性函数。
进一步的，所述步骤S4中，所述超参数至少包括随机失活率、权值衰减率以及学习率。
本发明的优点在于：
通过将获取的数据集划分为训练集、验证集和测试集，分别提取训练集、验证集以及测试集的节点特征矩阵和邻接矩阵集合，基于关系路径注意力模块、节点路径注意力模块以及输出模块构建一节点分类模型，利用训练集、验证集以及测试集分别对节点分类模型进行训练、验证和测试，并不断优化节点分类模型的超参数，最后利用测试后的节点分类模型进行金融风险预测；由于节点分类模型的关系路径注意力模块用于学习异质图中蕴含的丰富的语义信息，节点路径注意力模块用于学习节点间特征的重要性，相对于传统的元路径法，能更好的学习到异质图中节点的特征，可以捕捉到异质图中节点的高阶语义信息，最终极大的提升了金融风险预测精度。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1是本发明一种基于关系路径注意力的异质图节点分类方法的流程图。
图2是本发明节点分类模型的示意图。
图3是本发明卷积层的示意图。
图4是本发明余弦注意力层的示意图。
图5是本发明变换层的示意图。
图6是本发明节点注意力层的示意图。
具体实施方式
本申请实施例中的技术方案，总体思路如下：设置异质图的节点分类模型由关系路径注意力模块、节点路径注意力模块以及输出模块构建，关系路径注意力模块用于学习异质图中蕴含的丰富的语义信息，节点路径注意力模块用于学习节点间特征的重要性，能更好的学习到异质图中节点的特征，可以捕捉到异质图中节点的高阶语义信息，进而提升异质图节点分类精度，即本发明能够学习到异质图网络的复杂的语义信息，更好地生成节点的特征表示，进而提升金融风险预测精度。
请参照图1至图6所示，本发明一种基于关系路径注意力的异质图节点分类方法的较佳实施例，包括如下步骤：
步骤S1、获取基于金融数据构建的异质图的数据集，将所述数据集划分为训练集、验证集和测试集，分别提取所述训练集、验证集以及测试集的节点特征矩阵和邻接矩阵集合；
步骤S2、基于关系路径注意力模块、节点路径注意力模块以及输出模块构建一节点分类模型；所述关系路径注意力模块用于学习异质图中蕴含的丰富的语义信息；所述节点路径注意力模块用于学习节点间特征的重要性；所述输出模块用于预测输出结果；
步骤S3、利用所述训练集对节点分类模型进行训练，利用所述验证集对训练后的节点分类模型进行验证；
在训练过程中，使用交叉熵损失作为损失函数来衡量所述节点分类模型的性能。
步骤S4、利用所述测试集对验证后的节点分类模型进行测试，并不断优化所述节点分类模型的超参数，以得到表现性能最佳的所述超参数的组合；
步骤S5、利用测试后的所述节点分类模型进行异质图节点分类，，以进行金融风险预测，即对异质图数据G＝{V,E}提取所述节点特征矩阵和邻接矩阵集合输入节点分类模型，得到节点预测类别P，P∈R1×n。
具体实施时，可使用图节点分类任务指标F1-macro和F1-micro，对所述节点分类模型的特征学习能力进行评测。
所述步骤S1具体为：
获取基于金融数据构建的异质图包括ACM、DBLP以及IMDB的数据集，将所述数据集按设定比例划分为训练集、验证集和测试集，分别提取所述训练集、验证集以及测试集的异质图的节点特征矩阵和不同类型边的邻接矩阵集合；
所述节点特征矩阵的公式为：
所述邻接矩阵集合的公式为：可以简写为张量/>
其中，X表示节点特征；表示实数；N表示节点数量；d表示节点特征的输入维度；A表示邻接矩阵；K表示异质图的边的类型数；k表示邻接矩阵编号。
所述设定比例为2：1：7。
所述ACM、DBLP以及IMDB均为异构图的公共基准数据集。
所述步骤S2中，所述关系路径注意力模块由大小为1×1的一层卷积层和两层余弦注意力层组成；
所述卷积层用于学习异质图中不同类型边的重要性，并把不同类型边所构成的邻接矩阵集合聚合到一起，形成一个新的邻接矩阵A'；所述余弦注意力层用于在邻接矩阵A'的基础上，使用余弦注意力学习异质图节点的特征相似性。
所述邻接矩阵A'的公式为：
其中，A'和A均表示邻接矩阵，表示实数,N表示节点数量；/>表示可学习的参数矩阵，并使用softmax函数进行归一化，且/>K表示异质图的边的类型数；为了学习到节点自身的特征，在每种类型边的邻接矩阵上添加自连接的边，即每一个不同类型边的邻接矩阵Ak加上单位矩阵；Conv()表示向量卷积运算函数；
所述特征相似性的计算过程为：
A1：计算节点xj到节点xi的注意力系数：
eij＝βcos(xi,xj)；
其中，eij表示注意力系数；β表示每一层传播层可学习的注意力参数，为标量；为节点xj的输入表示；/>为节点xi的输入表示；/>||xi||表示对xi进行L2正则化，||xj||表示对xj进行L2正则化；本发明只计算与节点xi存在一阶连接的节点xj之间的注意力系数，即只计算j∈Ni的eij；
B1：使用softmax函数对所述注意力系数eij进行归一化，得到归一化注意力系数αij：
C1：基于所述归一化注意力系数αij计算邻居节点特征的线性组合，从而得到每个节点的输出特征嵌入，即特征相似性表示：
其中，ri表示节点的特征相似性表示；σ1表示Relu激活函数；Ni表示节点xi基于邻接矩阵A'的一阶邻居节点集合，包括自身；Ai'j表示节点xi和节点xj的邻接矩阵。
所述步骤S2中，所述节点路径注意力模块由一层变换层和两层节点注意力层组成；
所述变换层用于把不同类型边所组成的邻接矩阵变换到同一维度，把异质图的网络结构转换为同质图的网络结构，以形成一个新的邻接矩阵；所述节点注意力层用于在变换层输出的邻接矩阵的基础上，学习异质图节点的特征表示。
所述把异质图的网络结构转换为同质图的网络结构的转换过程为：
H'＝AMI+I；
其中，H'表示转换后的邻接矩阵，且I表示单位矩阵；MI表示元素都为1的矩阵，且/>
所述节点注意力层的学习过程为：
A2：计算节点xj到节点xi的注意力系数：
其中，表示注意力系数；attnode()表示节点注意力学习函数，attnode：||表示拼接操作，d'表示节点特征的输出维度，/>和/>分别代表节点xi和节点xj的特征表示；W表示可学习的权重矩阵，/>W对于所有节点都是共享的；给定邻接矩阵H'，节点对(i,j)的注意力系数取决于它们的特征；
注意力系数是不对称的，即节点xi对节点xj的重要性和节点xj对节点xi的重要性是不一定相同的，本发明只计算与节点xi存在一阶连接的节点xj之间的注意力系数，这表示只计算j∈Ni的/>
B2：使用softmax函数对所述注意力系数进行归一化，得到归一化注意力系数
其中，a表示可学习的权重向量，且T表示转置；
C2：基于所述归一化注意力系数与邻居节点的特征线性组合计算节点xi的嵌入值：
其中，表示嵌入值；σ2表示非线性激活函数；Ni表示节点xi基于邻接矩阵H'的一阶邻居节点集合；
D2：为了稳定注意力机制学习的过程，引入多头注意力，基于所述嵌入值训练Q个独立的注意力层，将各注意力层的输出相加取平均值，得到节点最终的特征表示：
其中，zi表示多头注意力的节点特征嵌入；Q表示多头注意力的机制头的数量；q表示计算第q个注意力；表示由第q个注意力机制计算得到的归一化注意力系数；Wq表示相应的输入线性变换的可学习权重矩阵。
所述步骤S2中，所述输出模块由两层全连接层以及softmax函数组成，用于对所述关系路径注意力模块以及节点路径注意力模块的输出特征进行融合以得到融合特征。
所述步骤S2中，所述输出模块的公式为：
Z＝ri||zi；
P＝softmax(Linear(Linear(Z)))；
其中，P表示节点预测类别；Z表示融合特征；ri表示节点的相似性特征嵌入，即关系路径注意力模块学习得到的节点特征表示；zi表示节点的重要性特征嵌入，即节点路径注意力模块学习得到的节点特征表示；||表示拼接操作；softmax()表示归一化指数函数；Linear()表示线性函数。
所述步骤S4中，所述超参数至少包括随机失活率(droput)、权值衰减率(weight-decay)以及学习率；具体实施时，训练总迭代次数为40次，优化器使用Adam，余弦注意力学习率设置为0.02，节点注意力学习率设置为0.05，dropout设置为0.3。
节点分类任务中不同方法在Macro-F1和Micro-F1值上的实验结果对比如下表所示：
综上所述，本发明的优点在于：
通过将获取的数据集划分为训练集、验证集和测试集，分别提取训练集、验证集以及测试集的节点特征矩阵和邻接矩阵集合，基于关系路径注意力模块、节点路径注意力模块以及输出模块构建一节点分类模型，利用训练集、验证集以及测试集分别对节点分类模型进行训练、验证和测试，并不断优化节点分类模型的超参数，最后利用测试后的节点分类模型进行金融风险预测；由于节点分类模型的关系路径注意力模块用于学习异质图中蕴含的丰富的语义信息，节点路径注意力模块用于学习节点间特征的重要性，相对于传统的元路径法，能更好的学习到异质图中节点的特征，可以捕捉到异质图中节点的高阶语义信息，最终极大的提升了金融风险预测精度。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (4)

1.一种基于关系路径注意力的异质图节点分类方法，其特征在于：包括如下步骤：
步骤S1、获取基于金融数据构建的异质图的数据集，将所述数据集划分为训练集、验证集和测试集，分别提取所述训练集、验证集以及测试集的节点特征矩阵和邻接矩阵集合；
步骤S2、基于关系路径注意力模块、节点路径注意力模块以及输出模块构建一节点分类模型；
步骤S3、利用所述训练集对节点分类模型进行训练，利用所述验证集对训练后的节点分类模型进行验证；
步骤S4、利用所述测试集对验证后的节点分类模型进行测试，并不断优化所述节点分类模型的超参数；
步骤S5、利用测试后的所述节点分类模型进行异质图节点分类，以进行金融风险预测；
所述步骤S2中，所述关系路径注意力模块由大小为1×1的一层卷积层和两层余弦注意力层组成；
所述卷积层用于学习异质图中不同类型边的重要性，并把不同类型边所构成的邻接矩阵集合聚合到一起，形成一个新的邻接矩阵A′；所述余弦注意力层用于在邻接矩阵A'的基础上，使用余弦注意力学习异质图节点的特征相似性；
所述节点路径注意力模块由一层变换层和两层节点注意力层组成；
所述变换层用于把不同类型边所组成的邻接矩阵变换到同一维度，把异质图的网络结构转换为同质图的网络结构，以形成一个新的邻接矩阵H'；所述节点注意力层用于在变换层输出的邻接矩阵H'的基础上，学习异质图节点的特征表示；
所述输出模块由两层全连接层以及softmax函数组成，用于对所述关系路径注意力模块以及节点路径注意力模块的输出特征进行融合以得到融合特征；
所述邻接矩阵A'的公式为：
其中，A'和A均表示邻接矩阵， 表示实数,N表示节点数量；/>表示可学习的参数矩阵，并使用softmax函数进行归一化，且/>K表示异质图的边的类型数；Conv()表示向量卷积运算函数；
所述特征相似性的计算过程为：
A1：计算节点xj到节点xi的注意力系数：
eij＝βcos(xi,xj)；
其中，eij表示注意力系数；β表示每一层传播层可学习的注意力参数，为标量；为节点xj的输入表示；/>为节点xi的输入表示；/>||xi||表示对xi进行L2正则化，||xj||表示对xj进行L2正则化；
B1：使用softmax函数对所述注意力系数eij进行归一化，得到归一化注意力系数αij；
C1：基于所述归一化注意力系数αij计算邻居节点特征的线性组合，从而得到每个节点的输出特征嵌入，即特征相似性表示：
其中，ri表示节点的特征相似性表示；σ1表示Relu激活函数；Ni表示节点xi基于邻接矩阵A'的一阶邻居节点集合；A′ij表示节点xi和节点xj的邻接矩阵；
所述把异质图的网络结构转换为同质图的网络结构的转换过程为：
H'＝AMI+I；
其中，H'表示转换后的邻接矩阵，且I表示单位矩阵；MI表示元素都为1的矩阵，且/>A表示邻接矩阵；/>表示实数；
所述节点注意力层的学习过程为：
A2：计算节点xj到节点xi的注意力系数：
其中，表示注意力系数，且/>attnode()表示节点注意力学习函数，attnode：表示拼接操作，d'表示节点特征的输出维度，/>和/>分别代表节点xi和节点xj的特征表示；W表示可学习的权重矩阵，/>W对于所有节点都是共享的；d表示节点特征的输入维度；
B2：使用softmax函数对所述注意力系数进行归一化，得到归一化注意力系数/>
C2：基于所述归一化注意力系数与邻居节点的特征线性组合计算节点xi的嵌入值：
其中，表示嵌入值；σ2表示非线性激活函数；Ni表示节点xi基于邻接矩阵H'的一阶邻居节点集合；
D2：引入多头注意力，基于所述嵌入值训练Q个独立的注意力层，将各注意力层的输出相加取平均值，得到节点最终的特征表示：
其中，zi表示多头注意力的节点特征嵌入；Q表示多头注意力的机制头的数量；q表示计算第q个注意力；表示由第q个注意力机制计算得到的归一化注意力系数；Wq表示相应的输入线性变换的可学习权重矩阵；
所述步骤S2中，所述输出模块的公式为：
Z＝ri||zi；
P＝softmax(Linear(Linear(Z)))；
其中，P表示节点预测类别；Z表示融合特征；ri表示节点的相似性特征嵌入，即关系路径注意力模块学习得到的节点特征表示；zi表示节点的重要性特征嵌入，即节点路径注意力模块学习得到的节点特征表示；softmax()表示归一化指数函数；Linear()表示线性函数。
2.如权利要求1所述的一种基于关系路径注意力的异质图节点分类方法，其特征在于：所述步骤S1具体为：
获取基于金融数据构建的异质图包括ACM、DBLP以及IMDB的数据集，将所述数据集按设定比例划分为训练集、验证集和测试集，分别提取所述训练集、验证集以及测试集的异质图的节点特征矩阵和不同类型边的邻接矩阵集合；
所述节点特征矩阵的公式为：
所述邻接矩阵集合的公式为：
其中，X表示节点特征；表示实数；N表示节点数量；d表示节点特征的输入维度；A表示邻接矩阵；K表示异质图的边的类型数；k表示邻接矩阵编号。
3.如权利要求2所述的一种基于关系路径注意力的异质图节点分类方法，其特征在于：所述设定比例为2：1：7。
4.如权利要求1所述的一种基于关系路径注意力的异质图节点分类方法，其特征在于：所述步骤S4中，所述超参数至少包括随机失活率、权值衰减率以及学习率。
CN202310896610.3A 2023-07-21 2023-07-21 一种基于关系路径注意力的异质图节点分类方法 Active CN116628597B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310896610.3A CN116628597B (zh) 2023-07-21 2023-07-21 一种基于关系路径注意力的异质图节点分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310896610.3A CN116628597B (zh) 2023-07-21 2023-07-21 一种基于关系路径注意力的异质图节点分类方法

Publications (2)

Publication Number Publication Date
CN116628597A CN116628597A (zh) 2023-08-22
CN116628597B true CN116628597B (zh) 2023-10-20

Family

ID=87597554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310896610.3A Active CN116628597B (zh) 2023-07-21 2023-07-21 一种基于关系路径注意力的异质图节点分类方法

Country Status (1)

Country Link
CN (1) CN116628597B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116821776B (zh) * 2023-08-30 2023-11-28 福建理工大学 一种基于图自注意力机制的异质图网络节点分类方法
CN117390521B (zh) * 2023-12-11 2024-03-19 福建理工大学 一种融合深层语义图卷积的社交异质图节点分类方法
CN117435995B (zh) * 2023-12-20 2024-03-19 福建理工大学 一种基于残差图网络的生物医药分类方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540646A (zh) * 2018-03-12 2018-09-14 广东欧珀移动通信有限公司 消息提醒方法、装置、设备及存储介质
CN113805980A (zh) * 2020-06-16 2021-12-17 华为技术有限公司 一种显示通知的方法和终端
CN115659239A (zh) * 2022-10-25 2023-01-31 杭州电子科技大学 基于特征提取强化的高鲁棒性异质图节点分类方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3678008A4 (en) * 2017-09-08 2020-09-16 Guangdong Oppo Mobile Telecommunications Corp., Ltd. METHOD AND DEVICE FOR DISPLAYING MESSAGES AND TERMINAL DEVICE

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540646A (zh) * 2018-03-12 2018-09-14 广东欧珀移动通信有限公司 消息提醒方法、装置、设备及存储介质
CN113805980A (zh) * 2020-06-16 2021-12-17 华为技术有限公司 一种显示通知的方法和终端
CN115659239A (zh) * 2022-10-25 2023-01-31 杭州电子科技大学 基于特征提取强化的高鲁棒性异质图节点分类方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李超 ; 孙国义 ; 闫页宇 ; 段华 ; 曾庆田.《基于拓扑信息和属性信息协同对比的自监督异质图神经网络模型》.《模式识别与人工智能》.2023,第1-13页. *

Also Published As

Publication number Publication date
CN116628597A (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN116628597B (zh) 一种基于关系路径注意力的异质图节点分类方法
CN112508085B (zh) 基于感知神经网络的社交网络链路预测方法
Li et al. Interpretable click-through rate prediction through hierarchical attention
Liu et al. A two-stage hybrid credit risk prediction model based on XGBoost and graph-based deep neural network
CN112966114B (zh) 基于对称图卷积神经网络的文献分类方法和装置
CN112199536A (zh) 一种基于跨模态的快速多标签图像分类方法和系统
CN113961759B (zh) 基于属性图表示学习的异常检测方法
CN116416478B (zh) 一种基于图结构数据特征的生物信息学分类模型
CN116821776B (zh) 一种基于图自注意力机制的异质图网络节点分类方法
CN112861006A (zh) 融合元路径语义的推荐方法及系统
Li et al. Explain graph neural networks to understand weighted graph features in node classification
CN116759100B (zh) 基于联邦学习构建慢性心血管疾病大模型方法
CN114611384A (zh) 基于图神经网络的医学知识图谱节点重要性评估方法
CN114883003A (zh) 基于卷积神经网络的icu住院时长和死亡风险预测方法
CN108446841A (zh) 一种利用灰色关联确定事故因素层次结构的系统方法
Kuo et al. Embeddings and attention in predictive modeling
Chen et al. Integrating dual user network embedding with matrix factorization for social recommender systems
Allaart et al. Vertical Split Learning-an exploration of predictive performance in medical and other use cases
Renström et al. Fraud Detection on Unlabeled Data with Unsupervised Machine Learning
CN115130663B (zh) 基于图神经网络和注意力机制的异质网络属性补全方法
Yang et al. Evolutionary Neural Architecture Search for Transformer in Knowledge Tracing
CN113159976B (zh) 一种微博网络重要用户的识别方法
CN115310837A (zh) 基于因果图注意力神经网络的复杂机电系统故障检测方法
CN115408605A (zh) 基于边信息和注意力机制的神经网络推荐方法及系统
CN114580388A (zh) 数据处理方法、对象预测方法、相关设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant