CN117807237B - 基于多元数据融合的论文分类方法、装置、设备及介质 - Google Patents
基于多元数据融合的论文分类方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN117807237B CN117807237B CN202410219059.3A CN202410219059A CN117807237B CN 117807237 B CN117807237 B CN 117807237B CN 202410219059 A CN202410219059 A CN 202410219059A CN 117807237 B CN117807237 B CN 117807237B
- Authority
- CN
- China
- Prior art keywords
- matrix
- node
- paper
- fusion
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 96
- 239000011159 matrix material Substances 0.000 claims abstract description 510
- 238000000547 structure data Methods 0.000 claims abstract description 57
- 238000004364 calculation method Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 8
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 238000013145 classification model Methods 0.000 claims description 43
- 230000004931 aggregating effect Effects 0.000 claims description 34
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 15
- 230000009466 transformation Effects 0.000 claims description 13
- 238000002372 labelling Methods 0.000 claims description 12
- 230000002776 aggregation Effects 0.000 claims description 11
- 238000004220 aggregation Methods 0.000 claims description 11
- 229940050561 matrix product Drugs 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000005457 optimization Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 abstract description 10
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004001 molecular interaction Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种基于多元数据融合的论文分类方法、装置、终端设备及存储介质，涉及人工智能技术领域，通过终端设备获取待分类论文图结构数据集；解析图结构数据集获取多元数据；将查询矩阵、键矩阵与论文节点边信息进行融合，得到第一融合矩阵，根据第一融合矩阵生成节点相似性特征稀疏矩阵；将论文节点度数信息与论文节点边信息进行融合，得到第二融合矩阵，根据第二融合矩阵生成节点重要性特征稀疏矩阵；获取节点分类特征矩阵，对论文节点进行分类，得到论文分类结果，减少了处理数据量，使论文分类可以在算力有限的移动终端设备或小型终端设备上应用，并且消除了单一元路径上的异常节点的扰动，提高论文分类结果准确性和分类效率。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于多元数据融合的论文分类方法、装置、终端设备及存储介质。
背景技术
图神经网络（Graph Neural Network, GNN）因其能够对不规则结构数据进行建模而受到大量关注。GNN被广泛用于基于图的顶点分类、分子相互作用、社交网络、推荐系统或程序理解等各个领域。尽管GNN模型通常参数很少，但由于每个应用程序存储和计算需求与输入图数据的大小紧密相关，导致GNN具有高内存占用和高计算量（表现为训练或者推理时间长）的特点。由于论文分类场景中，涉及海量论文数据，且论文之间存在错综复杂的引用关系，当论文图规模变大时，很容易导致其存储数据急剧增加，使得小型设备面临巨大压力。相关技术中，使用基于transformer模型的图神经网络对论文进行分类，在计算全局注意力时，当存在噪声或异配邻居时，软注意机制可能会损害图神经网络的性能，最终误导分类结果，导致论文分类结果不准确，影响知识体系建设。
发明内容
本发明提供一种基于多元数据融合的论文分类方法、装置、终端设备及存储介质，用以解决传统基于transformer模型的图神经网络中存在噪声或异配邻居时，软注意机制可能会损害图神经网络的性能，最终误导分类结果，导致论文分类结果不准确，影响知识体系建设的缺陷。
本发明提供一种基于多元数据融合的论文分类方法，包括：
终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；
对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述将所述查询矩阵、键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，包括：
根据每个论文节点度数信息对论文图结构数据集中每个论文节点进行排序；
根据排序结果和所述论文节点边信息组建节点边邻接表；
基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵，包括：
在所述节点边邻接表结构上设置数据块，从所述数据块中筛选出有效数据块；
使用所述有效数据块对所述查询矩阵、所述键矩阵进行拆分，得到多个维度的查询矩阵和键矩阵，所述多个维度包括有效数据块数量维度、线性层通道数维度和数据块包含节点个数维度；
根据所述线性层通道数维度和数据块包含节点个数维度对多个维度的查询矩阵和键矩阵进行融合，得到第一融合矩阵。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述从所述数据块中筛选出有效数据块，包括：
若所述数据块中存在邻接节点，则将所述数据块判定为有效数据块。
根据本发明提供的一种基于多元数据融合的论文分类方法，在得到第一融合矩阵后，还包括：
对所述第一融合矩阵进行缩放；
计算缩放后第一融合矩阵的注意力得分，得到节点特征相似的注意力稀疏邻接矩阵；
根据所述节点特征相似的注意力稀疏邻接矩阵，生成节点相似性特征稀疏矩阵。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述根据所述节点特征相似的注意力稀疏邻接矩阵，生成节点相似性特征稀疏矩阵，包括：
对所述特征值矩阵进行线性变换，经线性变换后特征值矩阵与所述节点特征相似的注意力稀疏邻接矩阵进行节点聚合，生成节点相似性特征稀疏矩阵。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，包括：
根据所述论文节点度数信息和所述排序结果生成节点度数邻接表；
将所述节点边邻接表和所述节点度数邻接表拼接得到多元路径邻接表；
将所述多元路径邻接表分别输入权重不同的卷积核，得到存在特征差异的第一特征矩阵和第二特征矩阵；
计算所述第一特征矩阵和所述第二特征矩阵的矩阵乘积，得到第二融合矩阵。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述权重不同的卷积核的权重根据图神经网络节点分类模型训练获取，在终端设备获取待分类论文图结构数据集后，还包括：
将所述终端设备获取待分类论文图结构数据集输入图神经网络节点分类模型，根据所述图神经网络节点分类模型得到论文分类结果；
所述图神经网络节点分类模型包括第一路径和第二路径和分类模块；
所述第一路径用于对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
所述第二路径用于将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
所述分类模块，用于将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述图神经网络节点分类模型训练方法，包括：
获取论文图结构训练数据集，所述论文图结构数据集包括多个论文节点、论文的特征数据、论文之间的引用关系及每个论文对应的分类标注结果；
根据所述论文节点及论文之间的引用关系获取论文节点度数信息和论文节点边信息；
对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
根据所述节点分类特征矩阵对训练数据集中论文节点进行分类，得到每个论文节点的分类预测结果；
根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数，所述图神经网络节点分类模型参数包括不同权重卷积核的权重；
在优化后的图神经网络节点分类模型输出的分类预测结果满足预设条件时，所述图神经网络节点分类模型训练结束。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数包括：
根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数构建交叉熵损失函数；
根据所述交叉熵损失函数计算损失信息；
根据所述损失信息使用优化器计算梯度数据；
根据所述梯度数据传调整所述图神经网络节点分类模型参数。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述图神经网络节点分类模型训练方法，还包括：
在优化迭代过程中，随机将部分节点特征数据置为0。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述图神经网络节点分类模型参数还包括用于生成节点相似性特征稀疏矩阵的有效数据块数量、线性层通道数和数据块包含节点个数。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵，包括：
对所述特征值矩阵进行线性变换，经线性变换后特征值矩阵在所述第二融合矩阵进行节点特征聚合，生成节点重要性特征稀疏矩阵。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵，包括：
将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行矩阵乘积运算，得到与中间隐藏层通道数相关的拼接矩阵；
将所述与中间隐藏层通道数相关的拼接矩阵进行维数转换，得到与节点类别数相关的节点分类特征矩阵。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述将所述与中间隐藏层通道数相关的拼接矩阵进行维数转换，包括：
将所述与中间隐藏层通道数相关的拼接特征矩阵输入至少两个线性层进行线性处理。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述根据排序结果和所述论文节点边信息组建节点边邻接表，包括：
将度数最大的论文节点设置为节点边邻接表的第一个节点，在与所述度数最大的论文节点存在连接关系的论文节点中选取度数最大的论文节点作为所述节点边邻接表中的相邻节点，直到所述节点边邻接表中包括所述论文图结构数据集中的所有节点。
根据本发明提供的一种基于多元数据融合的论文分类方法，所述根据所述论文节点度数信息和所述排序结果生成节点度数邻接表，包括：
根据所述论文节点度数信息生成度数矩阵；
根据所述节点边邻接表中的节点顺序对所述度数矩阵中的元素进行排序，根据所述排序结果生成节点度数邻接表。
本发明还提供一种基于多元数据融合的论文分类装置，包括：
获取模块，用于终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；
计算模块，用于对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
第一融合模块，用于将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
第二融合模块，用于将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
拼接模块，用于将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
分类模块，用于根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
本发明还提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述的基于多元数据融合的论文分类方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于多元数据融合的论文分类方法。
本发明提供的基于多元数据融合的论文分类方法、装置、终端设备及存储介质，通过终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果，通过节点间邻接关系将完全自注意力转换为稀疏自注意力，减少处理数据量，使论文分类可以在算力有限的移动终端设备或小型终端设备上应用，通过对论文节点邻接信息、度数信息、特征相似性信息进行融合，消除了单一元路径上的异常节点的扰动，提高了网络的图分类性能，提高论文分类结果准确性和分类效率。
附图说明
为了更清楚地说明本发明或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的基于多元数据融合的论文分类方法的流程示意图之一；
图2是本发明实施例提供的图结构节点关系示意图；
图3是本发明实施例提供的有效数据块划分示意图；
图4是本发明实施例提供的多元路径融合模型结构示意图；
图5是本发明实施例提供的图神经网络节点分类模型结构示意图；
图6是本发明实施例提供的基于多元数据融合的论文分类方法的流程示意图之二；
图7是本发明实施例提供的基于多元数据融合的论文分类装置的功能结构示意图；
图8是本发明实施例提供的终端设备的功能结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明实施例提供的基于多元数据融合的论文分类方法的流程图，如图1所示，本发明实施例提供的基于多元数据融合的论文分类方法包括：
步骤101、终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；
在本发明实施例中，从ogbn-papers100M数据集中选择训练数据集和待分类数据集，ogbn-papers100M数据集是论文引用网络，包括1.11亿篇论文，表示arxiv上计算机科学论文之间的引用关系。论文引用网络中节点表示论文，边表示论文的引用关系，每篇论文都有一个根据标题和摘要中的嵌入量平均得到128维特征向量，涉及预测172个学科领域。
步骤102、对待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
步骤103、将查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
步骤104、将论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
步骤105、将节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
步骤106、根据节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
本发明实施例通过节点间邻接关系计算稀疏自注意力得到节点特征相似性的邻接矩阵，通过邻接表和节点的度数信息的融合得到节点间重要性邻接矩阵，融合在两个邻接矩阵上进行消息传播后的数据来提高图节点分类性能，来消除单一元路径上的异常节点的扰动，提高网络的图分类性能。本发明实施例将图节点的特征数据融合到邻接矩阵中，消除单一元路径中异常邻居节点在聚合过程中带来的扰动。
传统基于多元数据融合的论文分类方法是基于transformer模型的图神经网络对论文进行分类，在计算全局注意力时，当存在噪声或异配邻居时，软注意机制可能会损害图神经网络的性能，最终误导分类结果，导致论文分类结果不准确，影响知识体系建设。
本发明实施例提供的基于多元数据融合的论文分类方法，通过终端设备获取待分类论文图结构数据集，解析待分类论文图结构数据集获取多元数据，多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；对待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；将论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将第二融合矩阵与特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；将节点重要性特征稀疏矩阵和节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据节点分类特征矩阵对论文节点进行分类，得到论文分类结果，通过节点间邻接关系将完全自注意力转换为稀疏自注意力，减少处理数据量，使论文分类可以在算力有限的移动终端设备或小型终端设备上应用，通过对论文节点邻接信息、度数信息、特征相似性信息进行融合，消除了单一元路径上的异常节点的扰动，提高了网络的图分类性能，提高论文分类结果准确性和分类效率。
图数据集中节点只与其中部分节点存在连接关系，节点间的邻接关系表就是一个稀疏的图结构，如图2所示，每个节点都有两个邻居节点，体现在左侧矩阵中每行只有3个数值，其余皆为空值，右侧即是一个稀疏的图结构，两者是等价的。本发明实施例提出一种基于transformer稀疏自注意力的多元路径融合的图节点分类方法，通过节点间邻接关系将完全自注意力转换为稀疏自注意力，和对节点邻接信息、度数信息、特征相似性信息进行融合，来减少计算和内存需求，实现稀疏注意力高效计算，提高网络的节点分类性能。
基于上述任一实施例，将所述查询矩阵、键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，包括：
步骤201、根据每个论文节点度数信息对论文图结构数据集中每个论文节点进行排序；
在本发明实施例中，根据排序结果和所述论文节点边信息组建节点边邻接表，包括：
将度数最大的论文节点设置为节点边邻接表的第一个节点，在与所述度数最大的论文节点存在连接关系的论文节点中选取度数最大的论文节点作为所述节点边邻接表中的相邻节点，直到所述节点边邻接表中包括所述论文图结构数据集中的所有节点。
在本发明实施例中，使用图节点的邻接表计算节点度数，以节点度数最大值节点及其邻接关系对图结构重新排序，使其邻居节点在邻接关系表上序号临近，方便稀疏自注意力的数据分块。
步骤202、根据排序结果和所述论文节点边信息组建节点边邻接表；
步骤203、基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵。
在本发明实施例中，基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵，包括：
步骤2031、在所述节点边邻接表结构上设置数据块，从所述数据块中筛选出有效数据块；
步骤2032、使用所述有效数据块对所述查询矩阵、所述键矩阵进行拆分，得到多个维度的查询矩阵和键矩阵，所述多个维度包括有效数据块数量维度、线性层通道数维度和数据块包含节点个数维度；
步骤2033、根据所述线性层通道数维度和数据块包含节点个数维度对多个维度的查询矩阵和键矩阵进行融合，得到第一融合矩阵。
在本发明实施例中，从所述数据块中筛选出有效数据块，包括：
若所述数据块中存在邻接节点，则将所述数据块判定为有效数据块。
在本发明一些实施例中，在得到第一融合矩阵后，还包括：
对所述第一融合矩阵进行缩放；
在本发明实施例中，通过对第一融合矩阵进行缩放可以减少计算注意力得分时的数据量级，提升注意力计算精度和效率。
计算缩放后第一融合矩阵的注意力得分，得到节点特征相似的注意力稀疏邻接矩阵；
根据所述节点特征相似的注意力稀疏邻接矩阵，生成节点相似性特征稀疏矩阵。
本发明实施例通过节点间邻接关系将完全自注意力转换为稀疏自注意力，在计算自注意力时使用拆分出的有效数据块进行计算，减少transformer计算注意力时的计算和存储资源需求，实现稀疏注意力的高效计算，提高网络的图分类性能。
如图3所示左侧所示，稀疏自注意力计算的过程中，设置数据块大小为KK，按照行划分数据块，若块内有节点连接（显示为黑色实心框），则该区域有效，筛选中存在至少两个相邻实心框的数据块作为有效数据块，多个有效数据块组成多维数据计算矩阵Q=[P,K,C],K=[P,K,C],C为线性层通道数，P为有效数据块数，如图3右侧所示，对后两个维度计算矩阵乘积，得到[P,K,K]特征相似性矩阵，映射回邻接矩阵，得到稀疏的自注意力矩阵。
本发明实施例使用少量的有效数据块参与计算，实现稀疏自注意力高效计算。
在本发明实施例中根据所述节点特征相似的注意力稀疏邻接矩阵，生成节点相似性特征稀疏矩阵，包括：
对所述特征值矩阵进行线性变换，经线性变换后特征值矩阵与所述节点特征相似的注意力稀疏邻接矩阵进行节点聚合，生成节点相似性特征稀疏矩阵。
基于上述任一实施例，将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，包括：
步骤301、根据所述论文节点度数信息和所述排序结果生成节点度数邻接表；
在本发明实施例中，根据所述论文节点度数信息和所述排序结果生成节点度数邻接表，包括：
根据所述论文节点度数信息生成度数矩阵；
根据所述节点边邻接表中的节点顺序对所述度数矩阵中的元素进行排序，根据所述排序结果生成节点度数邻接表。
步骤302、将所述节点边邻接表和所述节点度数邻接表拼接得到多元路径邻接表；
步骤303、将所述多元路径邻接表分别输入权重不同的卷积核，得到存在特征差异的第一特征矩阵和第二特征矩阵；
本发明实施例将图节点的边数据和度数数据进行拼接得到多元路径邻接表，再经过softmax归一化后的1x1卷积核处理，得到第二融合矩阵，可以体现出节点在图结构中的重要程度。
步骤304、计算所述第一特征矩阵和所述第二特征矩阵的矩阵乘积，得到第二融合矩阵。
在本发明实施例中，使用节点的度数值构建节点重要性邻接矩阵A，使用节点的连接关系构建邻接矩阵B，将矩阵A和B拼接后经过节点元路径融合模块，得到节点间重要性邻接矩阵，融合两者消息传播后的数据来提高图节点分类性能。节点元路径融合模块工作原理如图4所示，依据论文的引用关系生成节点边信息对应的节点边邻接表a1，依据节点邻接节点个数生成节点度数邻接表a2，a1与a2拼接后得多元路径邻接表A，其尺寸是[2,N,N]，格式是稀疏的，N代表节点个数。多元路径融合模块（Adj-block）处理多元路径邻接表A，使用两个经过softmax归一化后的1x1卷积核乘积后，分别得到两个特征矩阵Q1、Q2（其尺寸都是[2,N,N]），将Q1、Q2相乘得到融合节点边结构和度数信息的第二融合矩阵A1。
在本发明实施例中，使用两个节点重要性的特征矩阵做乘积运算，使多元路径邻接表中每行节点的一阶信息扩大为二阶信息，从而扩大节点的邻接关系。
在本发明实施例中，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵，包括：
对所述特征值矩阵进行线性变换，经线性变换后特征值矩阵在所述第二融合矩阵进行节点特征聚合，生成节点重要性特征稀疏矩阵。
传统方法中，通过特征的点积相似性估计了下邻居节点对目标节点的重要性：
其中，为邻接矩阵，/>分别为自注意力机制中的查询向量和被查向量，i，j邻接矩阵中的坐标位置。
在传统的节点级注意机制中，基于特征的重要性将通过softmax函数直接归一化，得到最终的软注意值。但如果只考虑节点的特征信息，而从拓扑的角度同等对待多跳邻居，会导致对邻居的恶意影响被扩大，无法对明显的恶意邻居赋零值。
为了解决上述问题，本发明实施例利用图结构数据集本身具有稀疏的节点邻接关系作为稀疏自注意力的结构图，在计算注意力时只需计算相邻节点间的注意力值，得到节点特征相似性的邻接矩阵,再通过聚合将邻居节点特征信息与自身节点特征信息按照一定的权重分数进行加和，形成新的节点表示特征，从而简化transformer计算注意力时的计算和存储资源。
其中， 为稀疏邻接矩阵，/>分别为自注意力机制中的查询向量和被查向量，i，j稀疏邻接矩阵中的坐标位置。
将论文节点度数和引用关系表进行融合得到节点重要性特征稀疏矩阵，再通过聚合将邻居节点特征信息与自身节点特征信息按照一定的权重分数进行加和，形成新的节点特征表示。融合两个方向上的节点特征，使用节点度数上的重要性，来弥补transformer计算自注意力的节点间相似性值时无法顾及整个图结构中节点的贡献，消除单一路径上邻居节点带来的扰动，提高网络的节点分类性能。
基于上述任一实施例，权重不同的卷积核的权重根据图神经网络节点分类模型训练获取，如图5所示，在终端设备获取待分类论文图结构数据集后，还包括：
将所述终端设备获取待分类论文图结构数据集输入图神经网络节点分类模型，根据所述图神经网络节点分类模型得到论文分类结果；
该图神经网络节点分类模型包括第一路径和第二路径和分类模块；
第一路径用于对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
第二路径用于将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
分类模块，用于将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
在本发明实施例中，图神经网络节点分类模型训练方法，包括：
步骤401、获取论文图结构训练数据集，所述论文图结构数据集包括多个论文节点、论文的特征数据、论文之间的引用关系及每个论文对应的分类标注结果；
步骤402、根据论文节点及论文之间的引用关系获取论文节点度数信息和论文节点边信息；
步骤403、对待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
步骤404、将查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
步骤405、将论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
步骤406、将节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
步骤407、根据节点分类特征矩阵对训练数据集中论文节点进行分类，得到每个论文节点的分类预测结果；
步骤408、根据每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数，所述图神经网络节点分类模型参数包括不同权重卷积核的权重；
步骤409、在优化后的图神经网络节点分类模型输出的分类预测结果满足预设条件时，所述图神经网络节点分类模型训练结束。
在本发明实施例中，图神经网络节点分类模型训练方法，还包括：
在优化迭代过程中，随机将部分节点特征数据置为0。
在本发明实施例中，使用dropout操作将每次输入到网络中的数据进行丢弃，防止图数据过拟合现象，提高图节点分类性能。
在本发明实施例中，根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数包括：
根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数构建交叉熵损失函数；
根据所述交叉熵损失函数计算损失信息；
根据所述损失信息使用优化器计算梯度数据；
根据所述梯度数据传调整所述图神经网络节点分类模型参数。
在本发明实施例中，所述图神经网络节点分类模型参数还包括用于生成节点相似性特征稀疏矩阵的有效数据块数量、线性层通道数和数据块包含节点个数。
基于上述任一实施例，将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵，包括：
步骤501、将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行矩阵乘积运算，得到与中间隐藏层通道数相关的拼接矩阵；
步骤502、将所述与中间隐藏层通道数相关的拼接矩阵进行维数转换，得到与节点类别数相关的节点分类特征矩阵。
在本发明实施例中，将所述与中间隐藏层通道数相关的拼接矩阵进行维数转换，包括：
将所述与中间隐藏层通道数相关的拼接特征矩阵输入至少两个线性层进行线性处理。
本发明实施例在戴尔工作站上实现，其配置是6254CPU@3.1GHZ x 72,512G内存,GPU是40G的A100。具体流程如图6所示, 其中，N代表节点个数，h代表中间隐藏层通道，c代表节点类别数：
（1）从图结构数据集取出论文节点特征数据、表征论文引用关系的节点边邻接表；
（2）使用节点边邻接表计算节点的度数；
（3）对图结构上的节点进行重排序，以节点度数最大的节点为开始，对其邻居节点进行排序，使其邻居节点在序号上临近；
（4）排序后重新调整节点特征数据、节点边邻接表a1、节点度数邻接表a2的顺序；
（5）将节点边邻接表a1、节点度数邻接表a2拼接成多元路径邻接表A，[2,N,N]；
（6）邻接表A经过使用两个经过softmax归一化后的1x1卷积核乘积后，分别得到两个特征矩阵Q1、Q2（其尺寸都是[2,N,N]，格式是稀疏的）；
（7）将Q1、Q2相乘得到融合节点边结构和度数信息的融合矩阵A1，尺寸是[2,N,N]，格式是稀疏的；
（8）对节点特征信息进行线性变换，在空间结构邻接矩阵A1上进行节点特征聚合，生成节点重要性特征稀疏矩阵F1，尺寸是[2,N,h]；
（9）图数据中的节点特征数据经过transformer的自注意力计算，生成注意力机制的Q、K、V；
（10）在节点边邻接表a1结构上设置数据块KxK，块内有节点相连的为有效数据块，使用有效数据块对矩阵Q、K进行拆分，得到数据块矩阵[P,K,C]，P块数；根据数据块矩阵[P,K,C]计算相似性矩阵[P,K,K]，映射回节点边邻接表a1得到节点特征相似的融合矩阵A2,尺寸是[N,N]；
（11）在节点特征数据V上进行节点聚合，生成节点相似性性特征稀疏矩阵F2,尺寸是[N,h]；
（12）对F1与F2进行拼接，得到节点的特征F,尺寸是[N,3h]；
（13）经过两层线性层，得到最终节点分类的特征F’,尺寸是[N,c]；
（14）经过softmax进行分类，得到论文所属学科，如生物学科、化学学科或计算机学科。
由于图数据结构中节点的邻居数量不一，也显示出各个节点的重要程度，传统只基于transformer的节点间特征相似性计算，只突显节点间局部的特性，对整个图结构中节点的重要程度无法得到明确的表示。本发明实施例通过对节点邻接信息、度数信息、特征相似性信息进行融合，来消除单一元路径上的异常节点的扰动，提高网络的图分类性能。
本发明实施例提供的基于多元数据融合的论文分类方法，利用图数据集本身具有的节点邻接关系作为稀疏自注意力的结构图，因节点间的邻接关系是一个稀疏的图结构，在计算注意力时对排序后的邻接表进行分块操作，拆分出有效的数据块进行相邻节点间的注意力值计算，得到稀疏的节点特征相似性的邻接矩阵，图结构数据计算节点的重要性和邻接关系。通过节点间邻接关系将完全自注意力转换为稀疏自注意力，并在计算时使用有效数据块计算的方式，大大减少计算和内存需求及稀疏注意力的高效计算，通过对节点邻接信息、度数信息、特征相似性信息进行融合，来消除单一元路径上的异常节点的扰动，提高网络的图分类性能。
下面对本发明提供的基于多元数据融合的论文分类装置进行描述，下文描述的基于多元数据融合的论文分类装置与上文描述的基于多元数据融合的论文分类方法可相互对应参照。
图7为本发明实施例提供的基于多元数据融合的论文分类装置的功能结构示意图，如图7所示，本发明实施例提供的基于多元数据融合的论文分类装置包括：
获取模块701，用于终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；
计算模块702，用于对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
第一融合模块703，用于将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
第二融合模块704，用于将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
拼接模块705，用于将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
分类模块706，用于根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
本发明实施例提供的基于多元数据融合的论文分类装置，通过终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果，通过节点间邻接关系将完全自注意力转换为稀疏自注意力，减少处理数据量，使论文分类可以在算力有限的移动终端设备或小型终端设备上应用，通过对论文节点邻接信息、度数信息、特征相似性信息进行融合，消除了单一元路径上的异常节点的扰动，提高了网络的图分类性能，提高论文分类结果准确性和分类效率。
在本发明实施例中，第一融合模块703被配置为：
根据每个论文节点度数信息对论文图结构数据集中每个论文节点进行排序；根据排序结果和所述论文节点边信息组建节点边邻接表；基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵。
在本发明实施例中，基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵，包括：在所述节点边邻接表结构上设置数据块，从所述数据块中筛选出有效数据块；使用所述有效数据块对所述查询矩阵、所述键矩阵进行拆分，得到多个维度的查询矩阵和键矩阵，所述多个维度包括有效数据块数量维度、线性层通道数维度和数据块包含节点个数维度；根据所述线性层通道数维度和数据块包含节点个数维度对多个维度的查询矩阵和键矩阵进行融合，得到第一融合矩阵。
在本发明实施例中，第二融合模块704被配置为：
根据所述论文节点度数信息和所述排序结果生成节点度数邻接表；将所述节点边邻接表和所述节点度数邻接表拼接得到多元路径邻接表；将所述多元路径邻接表分别输入权重不同的卷积核，得到存在特征差异的第一特征矩阵和第二特征矩阵；计算所述第一特征矩阵和所述第二特征矩阵的矩阵乘积，得到第二融合矩阵。
本发明实施例提供的基于多元数据融合的论文分类装置，利用图数据集本身具有的节点邻接关系作为稀疏自注意力的结构图，通过节点间邻接关系将完全自注意力转换为稀疏自注意力，并在计算时使用有效数据块计算的方式，大大减少计算和内存需求及稀疏注意力的高效计算，通过对节点邻接信息、度数信息、特征相似性信息进行融合，来消除单一元路径上的异常节点的扰动，提高网络的图分类性能。
图8示例了一种终端设备的实体结构示意图，如图8所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。存储器830中包括计算机程序、操作系统以及获取到的图结构数据，处理器810可以调用存储器830中的逻辑指令，以执行基于多元数据融合的论文分类方法，该方法包括：终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对相关技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于多元数据融合的论文分类方法，该方法包括：终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (20)
1.一种基于多元数据融合的论文分类方法，其特征在于，包括：
终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；
对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
2.根据权利要求1所述的基于多元数据融合的论文分类方法，其特征在于，所述将所述查询矩阵、键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，包括：
根据每个论文节点度数信息对论文图结构数据集中每个论文节点进行排序；
根据排序结果和所述论文节点边信息组建节点边邻接表；
基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵。
3.根据权利要求2所述的基于多元数据融合的论文分类方法，其特征在于，所述基于所述节点边邻接表对所述查询矩阵、所述键矩阵进行融合，得到第一融合矩阵，包括：
在所述节点边邻接表结构上设置数据块，从所述数据块中筛选出有效数据块；
使用所述有效数据块对所述查询矩阵、所述键矩阵进行拆分，得到多个维度的查询矩阵和键矩阵，所述多个维度包括有效数据块数量维度、线性层通道数维度和数据块包含节点个数维度；
根据所述线性层通道数维度和数据块包含节点个数维度对多个维度的查询矩阵和键矩阵进行融合，得到第一融合矩阵。
4.根据权利要求3所述的基于多元数据融合的论文分类方法，其特征在于，所述从所述数据块中筛选出有效数据块，包括：
若所述数据块中存在邻接节点，则将所述数据块判定为有效数据块。
5.根据权利要求2或3所述的基于多元数据融合的论文分类方法，其特征在于，在得到第一融合矩阵后，还包括：
对所述第一融合矩阵进行缩放；
计算缩放后第一融合矩阵的注意力得分，得到节点特征相似的注意力稀疏邻接矩阵；
根据所述节点特征相似的注意力稀疏邻接矩阵，生成节点相似性特征稀疏矩阵。
6.根据权利要求5所述的基于多元数据融合的论文分类方法，其特征在于，所述根据所述节点特征相似的注意力稀疏邻接矩阵，生成节点相似性特征稀疏矩阵，包括：
对所述特征值矩阵进行线性变换，经线性变换后特征值矩阵与所述节点特征相似的注意力稀疏邻接矩阵进行节点聚合，生成节点相似性特征稀疏矩阵。
7.根据权利要求2所述的基于多元数据融合的论文分类方法，其特征在于，所述将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，包括：
根据所述论文节点度数信息和所述排序结果生成节点度数邻接表；
将所述节点边邻接表和所述节点度数邻接表拼接得到多元路径邻接表；
将所述多元路径邻接表分别输入权重不同的卷积核，得到存在特征差异的第一特征矩阵和第二特征矩阵；
计算所述第一特征矩阵和所述第二特征矩阵的矩阵乘积，得到第二融合矩阵。
8.根据权利要求7所述的基于多元数据融合的论文分类方法，其特征在于，所述权重不同的卷积核的权重根据图神经网络节点分类模型训练获取，在终端设备获取待分类论文图结构数据集后，还包括：
将所述终端设备获取待分类论文图结构数据集输入图神经网络节点分类模型，根据所述图神经网络节点分类模型得到论文分类结果；
所述图神经网络节点分类模型包括第一路径和第二路径和分类模块；
所述第一路径用于对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
所述第二路径用于将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
所述分类模块，用于将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
9.根据权利要求8所述的基于多元数据融合的论文分类方法，其特征在于，所述图神经网络节点分类模型训练方法，包括：
获取论文图结构训练数据集，所述论文图结构数据集包括多个论文节点、论文的特征数据、论文之间的引用关系及每个论文对应的分类标注结果；
根据所述论文节点及论文之间的引用关系获取论文节点度数信息和论文节点边信息；
对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
根据所述节点分类特征矩阵对训练数据集中论文节点进行分类，得到每个论文节点的分类预测结果；
根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数，所述图神经网络节点分类模型参数包括不同权重卷积核的权重；
在优化后的图神经网络节点分类模型输出的分类预测结果满足预设条件时，所述图神经网络节点分类模型训练结束。
10.根据权利要求9所述的基于多元数据融合的论文分类方法，其特征在于，所述根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数包括：
根据所述每个论文节点的分类预测结果与每个论文节点对应的分类标注结果优化所述图神经网络节点分类模型参数构建交叉熵损失函数；
根据所述交叉熵损失函数计算损失信息；
根据所述损失信息使用优化器计算梯度数据；
根据所述梯度数据传调整所述图神经网络节点分类模型参数。
11.根据权利要求9所述的基于多元数据融合的论文分类方法，其特征在于，所述图神经网络节点分类模型训练方法，还包括：
在优化迭代过程中，随机将部分节点特征数据置为0。
12.根据权利要求8~11任一项所述的基于多元数据融合的论文分类方法，其特征在于，所述图神经网络节点分类模型参数还包括用于生成节点相似性特征稀疏矩阵的有效数据块数量、线性层通道数和数据块包含节点个数。
13.根据权利要求7所述的基于多元数据融合的论文分类方法，其特征在于，所述将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵，包括：
对所述特征值矩阵进行线性变换，经线性变换后特征值矩阵在所述第二融合矩阵进行节点特征聚合，生成节点重要性特征稀疏矩阵。
14.根据权利要求1所述的基于多元数据融合的论文分类方法，其特征在于，所述将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵，包括：
将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行矩阵乘积运算，得到与中间隐藏层通道数相关的拼接矩阵；
将所述与中间隐藏层通道数相关的拼接矩阵进行维数转换，得到与节点类别数相关的节点分类特征矩阵。
15.根据权利要求14所述的基于多元数据融合的论文分类方法，其特征在于，所述将所述与中间隐藏层通道数相关的拼接矩阵进行维数转换，包括：
将所述与中间隐藏层通道数相关的拼接特征矩阵输入至少两个线性层进行线性处理。
16.根据权利要求2所述的基于多元数据融合的论文分类方法，其特征在于，所述根据排序结果和所述论文节点边信息组建节点边邻接表，包括：
将度数最大的论文节点设置为节点边邻接表的第一个节点，在与所述度数最大的论文节点存在连接关系的论文节点中选取度数最大的论文节点作为所述节点边邻接表中的相邻节点，直到所述节点边邻接表中包括所述论文图结构数据集中的所有节点。
17.根据权利要求16所述的基于多元数据融合的论文分类方法，其特征在于，所述根据所述论文节点度数信息和所述排序结果生成节点度数邻接表，包括：
根据所述论文节点度数信息生成度数矩阵；
根据所述节点边邻接表中的节点顺序对所述度数矩阵中的元素进行排序，根据所述排序结果生成节点度数邻接表。
18.一种基于多元数据融合的论文分类装置，其特征在于，包括：
获取模块，用于终端设备获取待分类论文图结构数据集，解析所述待分类论文图结构数据集获取多元数据，所述多元数据包括论文节点度数信息、论文节点的特征数据以及论文节点边信息；
计算模块，用于对所述待分类论文图结构数据集中的论文节点的特征数据进行注意力机制计算，获取查询矩阵、键矩阵和特征值矩阵；
第一融合模块，用于将所述查询矩阵、所述键矩阵与所述论文节点边信息进行融合，得到第一融合矩阵，将所述第一融合矩阵与所述特征值矩阵进行聚合，生成节点相似性特征稀疏矩阵；
第二融合模块，用于将所述论文节点度数信息与所述论文节点边信息进行融合，得到第二融合矩阵，将所述第二融合矩阵与所述特征值矩阵进行聚合，生成节点重要性特征稀疏矩阵；
拼接模块，用于将所述节点重要性特征稀疏矩阵和所述节点相似性特征稀疏矩阵进行拼接，获取节点分类特征矩阵；
分类模块，用于根据所述节点分类特征矩阵对论文节点进行分类，得到论文分类结果。
19.一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至17任一项所述的基于多元数据融合的论文分类方法。
20.一种非暂态可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至17任一项所述的基于多元数据融合的论文分类方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410219059.3A CN117807237B (zh) | 2024-02-28 | 2024-02-28 | 基于多元数据融合的论文分类方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410219059.3A CN117807237B (zh) | 2024-02-28 | 2024-02-28 | 基于多元数据融合的论文分类方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117807237A CN117807237A (zh) | 2024-04-02 |
| CN117807237B true CN117807237B (zh) | 2024-05-03 |
Family
ID=90425869
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410219059.3A Active CN117807237B (zh) | 2024-02-28 | 2024-02-28 | 基于多元数据融合的论文分类方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117807237B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977223A (zh) * | 2019-03-06 | 2019-07-05 | 中南大学 | 一种融合胶囊机制的图卷积网络对论文进行分类的方法 |
| CN114741519A (zh) * | 2022-02-18 | 2022-07-12 | 北京邮电大学 | 一种基于图卷积神经网络和知识库的论文相关性分析方法 |
| CN115309931A (zh) * | 2022-08-10 | 2022-11-08 | 齐鲁工业大学 | 一种基于图神经网络的论文文本分类方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10678821B2 (en) * | 2017-06-06 | 2020-06-09 | International Business Machines Corporation | Evaluating theses using tree structures |
-
2024
- 2024-02-28 CN CN202410219059.3A patent/CN117807237B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109977223A (zh) * | 2019-03-06 | 2019-07-05 | 中南大学 | 一种融合胶囊机制的图卷积网络对论文进行分类的方法 |
| CN114741519A (zh) * | 2022-02-18 | 2022-07-12 | 北京邮电大学 | 一种基于图卷积神经网络和知识库的论文相关性分析方法 |
| CN115309931A (zh) * | 2022-08-10 | 2022-11-08 | 齐鲁工业大学 | 一种基于图神经网络的论文文本分类方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117807237A (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11373233B2 (en) | Item recommendations using convolutions on weighted graphs | |
| US20220092413A1 (en) | Method and system for relation learning by multi-hop attention graph neural network | |
| US11042802B2 (en) | System and method for hierarchically building predictive analytic models on a dataset | |
| CN112633426B (zh) | 处理数据类别不均衡的方法、装置、电子设备及存储介质 | |
| CN111507521A (zh) | 台区电力负荷预测方法及预测装置 | |
| CN111339818A (zh) | 一种人脸多属性识别系统 | |
| CN116109121B (zh) | 基于大数据分析的用户需求挖掘方法及系统 | |
| Mohammadi et al. | Improving linear discriminant analysis with artificial immune system-based evolutionary algorithms | |
| CN113822315A (zh) | 属性图的处理方法、装置、电子设备及可读存储介质 | |
| CN113065974A (zh) | 一种基于动态网络表示学习的链路预测方法 | |
| CN113554100B (zh) | 异构图注意力网络增强的Web服务分类方法 | |
| CN111639230B (zh) | 一种相似视频的筛选方法、装置、设备和存储介质 | |
| CN114154557A (zh) | 癌症组织分类方法、装置、电子设备及存储介质 | |
| CN113516019B (zh) | 高光谱图像解混方法、装置及电子设备 | |
| Opolka et al. | Bayesian link prediction with deep graph convolutional gaussian processes | |
| CN113515519A (zh) | 图结构估计模型的训练方法、装置、设备及存储介质 | |
| CN117435982A (zh) | 一种多维度快速识别网络水军的方法 | |
| CN117807237B (zh) | 基于多元数据融合的论文分类方法、装置、设备及介质 | |
| CN114842247B (zh) | 基于特征累加的图卷积网络半监督节点分类方法 | |
| US11875263B2 (en) | Method and apparatus for energy-aware deep neural network compression | |
| Ding et al. | Efficient model-based collaborative filtering with fast adaptive PCA | |
| Maheswari et al. | Kernelized Spectral Clustering based Conditional MapReduce function with big data | |
| CN114186168A (zh) | 面向智能城市网络资源的相关性分析方法及装置 | |
| CN111428741B (zh) | 网络社区的发现方法、装置、电子设备及可读存储介质 | |
| Shen | Encoder Embedding for General Graph and Node Classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |