CN115292509A - 基于多粒度注意力网络的图立方链接预测方法 - Google Patents

基于多粒度注意力网络的图立方链接预测方法 Download PDF

Info

Publication number
CN115292509A
CN115292509A CN202210757940.XA CN202210757940A CN115292509A CN 115292509 A CN115292509 A CN 115292509A CN 202210757940 A CN202210757940 A CN 202210757940A CN 115292509 A CN115292509 A CN 115292509A
Authority
CN
China
Prior art keywords
relation
attention
multivariate
cube
graph
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210757940.XA
Other languages
English (en)
Inventor
庞俊
刘小琪
任亮
林晓丽
张鸿
张晓龙
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Science and Engineering WUSE
Original Assignee
Wuhan University of Science and Engineering WUSE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Science and Engineering WUSE filed Critical Wuhan University of Science and Engineering WUSE
Priority to CN202210757940.XA priority Critical patent/CN115292509A/zh
Publication of CN115292509A publication Critical patent/CN115292509A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于多粒度注意力网络的图立方链接预测方法，包括：对待补全的图立方进行加载，获得图立方中的实体和关系；对加载的实体和关系进行初始化，得到初始实体嵌入向量和初始关系嵌入向量；将初始实体嵌入向量和初始关系嵌入向量输入多头自注意力神经网络中，更新各多元关系的实体嵌入向量和关系嵌入向量；将更新后的实体嵌入向量和关系嵌入向量输入到HPMG模型中进行训练；通过评分模块对每个多元关系评分，根据评分指标来判断多元关系的评分结果是否正确：若正确，则将正确的多元关系添加到图立方中，补全图立方，若错误，则将错误的多元关系舍弃。本发明从多粒度的角度对多元关系进行评分，提升了链接预测的准确率。

Description

基于多粒度注意力网络的图立方链接预测方法
技术领域
本发明涉及图立方技术领域，具体涉及一种基于多粒度注意力网络的图立方链接预测方法。
背景技术
知识图谱补全是改善知识图谱质量的核心问题，而在知识图谱中进行链接预测是图谱补全的有效方法。现有的知识图谱链接预测大多数仅仅考虑预测二元关系，然而现实生活中的关系往往是多元的。包含多元关系的图可以称为知识超图，为突出知识超图的立体性，本发明称知识超图为图立方。其中每一个多元关系可以由超边建模，图立方链接预测旨在预测超图中缺失的多元关系，以实现图立方补全、改善图谱质量。
现有图立方链接预测大量使用了基于嵌入表示模型的方法，这类方法的优点是可以将复杂的数据结构映射到欧式空间，转化为向量化表示，更容易发现关联关系，完成推理。现有方法的一种思路是将多元关系转化为多个二元关系建模，但是这样建模多元关系中的实体建模存在先后、主次之分；还有一种思路是直接建模多元关系，这种模型中虽然关系已经是多维度建模，但是没有考虑2到m-1维度的多元关系表达，因此在预测中会缺失大量少于m维的关系。
发明内容
本发明为了克服以上技术的不足，提供了一种基于多粒度注意力网络的图立方链接预测方法。
术语解释:
1、HPMG：Knowledge Hypergraph Link Prediction based on Multi-GranularAttention Network，基于多粒度神经网络的图立方预测。
2、ATT：Attention module，注意力模块。
3、MFF：Multi-feature fusion，多特征融合。
4、MRR：Mean Reciprocal Rank，平均倒数排名。
本发明首先通过二维卷积分别学习每个关系粗粒度的超边特征和δ-细粒度的实体特征，然后基于上一步获取的粗粒度特征、δ-细粒度特征分别进行粗粒度评分和δ-细粒度评分，最后对得到的粗粒度评分和δ-细粒度评分结果进行加权求和操作，计算出每个关系的最终评分，完成链接预测。进一步引入了一种基于注意力机制的多特征融合方法MFF，完成HPMG模型中m个实体的细粒度特征融合任务，进一步提升链接预测准确率。
本发明克服其技术问题所采用的技术方案是：
一种基于多粒度注意力网络的图立方链接预测方法，其特征在于，用于对图立方中的未知多元关系进行推理预测，至少包括步骤：
S1、对待补全的图立方进行加载，获得图立方中的实体和关系；
S2、对步骤S1加载获得的实体和关系进行初始化，得到初始实体嵌入向量和初始关系嵌入向量；
S3、将步骤S2得到的初始实体嵌入向量和初始关系嵌入向量输入多头自注意力神经网络中，更新各多元关系的实体嵌入向量和各多元关系的关系嵌入向量；
S4、将步骤S3更新后的实体嵌入向量和关系嵌入向量输入到HPMG模型中进行训练，所述HPMG模型至少包括粗粒度评分模块、δ-细粒度评分模块和评分模块，通过所述粗粒度评分模块学习每个关系粗粒度的超边特征并进行粗粒度评分，通过所述δ-细粒度评分模块学习每个关系δ-细粒度的实体特征并进行细粒度评分，将粗粒度评分与细粒度评分进行加权求和得到各多元关系成立的评分；
S5、通过评分模块对每个多元关系进行评分，得出预测结果，根据评分指标来判断多元关系的评分结果是否正确：若正确，则将正确的多元关系添加到图立方中，补全图立方，若错误，则将错误的多元关系舍弃。
进一步地，设图立方是由节点和超边组成的图，其中，节点也叫做实体，超边也叫做多元关系，图立方记作：
KHG＝{H，F}
上式中，H＝{h1，h2，...，h|H|}，表示KHG中实体的集合，|H|表示KHG所含实体的数量；F＝{f1，f2，...，f|F|}，表示多元关系的集合，即超边的集合，|F|表示KHG所含超边的数量；任意一条多元关系f都对应一个元组f＝(h1，h2，...，hm，r)，其中，m表示多元关系f所含实体的数量，即m是多元关系的元数，m为正整数，r表示关系。
进一步地，步骤S3具体包括：
首先对多元关系包含的所有初始实体嵌入向量和初始关系嵌入向量进行串联操作，得到f＝(h1，h2，...，hm，r)，以获取含多元关系内部语义信息的关系和实体的嵌入表示；
然后通过多头自注意力神经网络学习f内部语义差别并更新f，得到更新后的多元关系中实体嵌入向量和关系嵌入向量Fall，计算过程如等式(1)和等式(2)所示：
Fall＝Mself-att(fWn) (1)
上式中，
Figure BDA0003720163000000031
Figure BDA0003720163000000032
均表示权重矩阵，n∈(1，...，5)，矩阵Fall分别与权重矩阵相乘得到Kn，Qn，Vn；
Figure BDA0003720163000000033
上式中，Mself-att表示自注意力神经网络计算函数，W0为参数矩阵，dk表示K的维数，Concat为向量拼接操作。
进一步地，步骤S4中，粗粒度评分模块用于学习多元关系包含的所有实体(h1，h2，...，hm)与关系r之间的联系，以获取更丰富的超边语义特征；通过粗粒度评分模块进行粗粒度评分具体包括：
将经过多头自注意力神经网络更新后的Fall输入到二维卷积神经网络，进行标准化处理后使用ReLU非线性激活函数进行处理，从而得到一组超关系特征矩阵FeaCoa，计算过程如等式(3)：
FeaCoa＝σ(BN(conv2(Fall)) (3)
上式中，BN(·)为BatchNorm2d函数，σ(·)为非线性激活函数ReLU，conv2(·)表示卷积核大小为(m+1)*3的二维卷积操作；
然后，计算多元关系f的粗粒度评分：将超关系特征矩阵FeaCoa按列展开后输入到全连接神经网络，计算出粗粒度评分mScore，计算过程如等式(4)所示：
mScore＝FCN1(Flatten(FeaCoa)) (4)
上式中，Flatten表示将张量按列展开，FCN1表示全连接操作。
进一步地，步骤S4中，δ-细粒度评分模块用于对具有m个实体的多元关系从1细粒度到δ细粒度的学习，δ＝m-1；通过δ-细粒度评分模块对i细粒度进行细粒度评分具体包括如下，i＝1，2，...，δ：
首先，分别串联经过多头自注意力神经网络更新后的多元关系嵌入向量，包括实体的不同粒度组合Com(hj)i和关系r，记作
Figure BDA0003720163000000041
其中，
Figure BDA0003720163000000042
Com(hj)i表示m元关系的i粒度实体组合；
然后，为了获取多元关系f实体的i维特征，将
Figure BDA0003720163000000043
输入一个二维卷积神经网络，经过标准化并使用ReLU非线性激活函数进行处理，从而得到实体的不同粒度组合Com(hj)i基于关系r的特征
Figure BDA0003720163000000044
计算过程如等式(5)所示：
Figure BDA0003720163000000045
上式中，conv2′为卷积核大小为(i+1)*3的二维卷积操作；
接着，完成
Figure BDA0003720163000000046
的特征融合，使用最小值特征融合方法对上一步得到的
Figure BDA0003720163000000047
组特征分别进行特征融合，计算过程如等式(6)所示：
Figure BDA0003720163000000048
上式中min()表示取所有
Figure BDA0003720163000000049
每个维度的最小值作为该维度的结果
Figure BDA00037201630000000410
最后，计算f的i-细粒度评分，将每个
Figure BDA00037201630000000411
按列展开后输入到全连接神经网络计算出i-细粒度评分Scorei，计算过程如等式(7)所示：
Figure BDA0003720163000000051
上式中，FCN2为全连接操作。
进一步地，所述HPMG模型还包括用于对δ-细粒度评分模块进行优化的优化模块。
进一步地，在步骤S4之后、步骤S5之前，还包括步骤S4′：
所述优化模块采用基于注意力模块ATT的多特征融合方法，即MFF，将步骤S4中的δ-细粒度评分模块卷积后得到的多个实体特征输入MFF中进行特征融合，融合后的特征输入全连接神经网络得到各细粒度评分。
进一步地，步骤S4′中，通过注意力模块ATT得到总体注意力特征图谱具体包括如下：
通过全局注意力分支提取输入特征的全局特征注意力，全局特征注意力提取过程如等式(8)所示，通过全局平均池化和全连接操作获得特征的全局注意力；首先使用全局平均池化操作将原始输入特征压缩成一维参数，该一维参数获得了原始特征的全局视野，然后采用第一个全连接层FCN3对重要性进行预测，得到重要性参数，最后用ReLU激活，并输入全连接层FCN4以恢复原始特征的维度，最终得到的Xg包含了原始特征全局的重要性；
Xg＝B(FCN4(σ(FCN3(GAP(X))))) (8)
上式中，GAP为全局平均池化操作，FCN3和FCN4均为全连接操作；
通过局部注意力分支提取输入特征的局部特征注意力，局部特征注意力提取是通过点卷积PWConv来获取特征的局部注意力，其计算过程如等式(9)所示，将原始输入特征X输入两层卷积神经网络，两层中间使用ReLU函数进行激活；首先采用核大小为C/r×C×1×1的点卷积PWConv1减少通道数，然后再通过核大小为C×C/r×1×1的点卷积PWConv2卷积恢复通道数，最终得到的Xl可以保留、突出显示特征的细微细节；
Xl＝B(PWConv2(σ(B(PWConv1(X))))) (9)
上式中，B(.)为批标准化函数；
最后，将上述的全局注意力和局部注意力通过广播求和后经过Sigmoid函数激活得到权重值，利用该权重值对原始输入特征X做注意力操作后将各通道特征通过求平均的操作得到仅有一通道的输出X′，如式(10)所示；
Figure BDA0003720163000000061
上式中，Fatt(.)为全局注意力计算函数，λ为Sigmoid函数，
Figure BDA0003720163000000062
为广播求和操作，
Figure BDA0003720163000000063
为对应元素相乘，avg为求各个通道的平均。
进一步地，步骤S4′中，通过多特征融合方法MFF进行特征融合具体包括：
设有α＝Cm i个特征需要融合，先将任意两个特征进行融合，然后将上一步的融合结果与第三个特征进行融合，如此循环操作，直至融合完第α个特征为止，其计算过程如等式(11)所示；
Figure BDA0003720163000000064
上式中，MFF(.)为多特征融合函数，Ff表示两特征融合函数，其具体计算过程如式(12)所示；
Figure BDA0003720163000000065
上式中，
Figure BDA0003720163000000066
种
Figure BDA0003720163000000067
表示i细粒度下基于实体的第b个特征和第c个特征，Fatt(.)为注意力函数，用于求得注意力矩阵，其具体计算过程如式(13)所示；
Figure BDA0003720163000000068
上式中，FCN3和FCN4为全连接操作。
进一步地，步骤S5中，判断多元关系的评分结果是否正确，具体包括如下：
在进行预测时，已知一个多元关系的集合F，设f为测试集Ftest中任意一个正例，对于f中任意位置上的一个实体，用其他的所有非此元素的实体替代，得到该关系的一组负例，然后从这些负例中删除已被F包含的正例，得到候选样本；接着，将上一步得到的候选样本和原始正例f输入HPMG模型获取评分，评分函数如式(14)所示；根据评分进行排名，从而获取正例f的名次rank；根据rank计算的方法不同，采用Hit@n或MRR两者中的任意一种评分方法；
Figure BDA0003720163000000071
上式中，wk为权重参数，通过神经网络训练得到，Hit@k表示排名前k的所有正例样本的比率，即测试集中排名进入前k的正例关系的数目除以测试集所有关系的数目，其计算公式如等式(15)所示，Hit@k取值范围为[0，1]，值越大，表明推理算法效果越好；
Figure BDA0003720163000000072
上式中，rank(f)≤n？1：0为判别排名是否进入前n的条件表达式，若成立则结果为1，否则为0；count(Ftest)表示测试集包含的关系的总数；
MRR表示平均导数排名，计算每个正例名次的倒数的平均值，其计算公式如等式(16)所示，MRR取值范围为[0，1]，值越大，效果越好；
Figure BDA0003720163000000073
其中，n取1和10。
本发明的有益效果是：
本发明提出了图立方多元关系表示模型，得到一个包含多个实体的多元组来表示多元关系。在建模时考虑了图立方中多元关系的平等性；提出了基于多粒度神经网络的超边预测模型HPMG，从不同粒度联合完成图立方的学习和预测。充分考虑了图立方中不同维度多元关系的整体性；提出了基于多粒度注意力网络的图立方链接预测模型，引入一种基于注意力机制的多特征融合方法MFF对HPMG进行优化，结合全局注意力和局部注意力实现了不同特征的有区分融合，提升了模型预测性能。
附图说明
图1是本发明所述的基于多粒度注意力网络的图立方链接预测方法的流程图。
图2是本发明所述的基于多粒度注意力网络的图立方链接预测方法使用的模块的结构框图。
图3是本发明的HPMG模型原理示意图。
图4是本发明的多特征融合方法MFF中注意力模块ATT原理示意图。
图5是本发明的多特征融合方法MFF原理图。
具体实施方式
为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。
本发明提供了一种基于多粒度注意力网络的图立方链接预测方法，用于对图立方中的未知多元关系进行推理预测，如图1～图5所示。
其中，图1为本发明所述的基于多粒度注意力网络的图立方链接预测方法的流程图。图2为本发明所述的基于多粒度注意力网络的图立方链接预测方法使用的模块的结构框图。图3为HPMG模型原理示意图，首先通过二维卷积分别学习每个关系粗粒度的超边特征和δ-细粒度的实体特征，然后基于上一步获取的粗、δ-细粒度特征分别进行粗粒度评估和δ-细粒度评分，最后对得到的粗、δ-细粒度评分结果进行加权求和操作，计算出每个关系的最终评分，完成链接预测。图4描述了本发明的多特征融合方法MFF中注意力模块ATT原理，ATT模型主要包括三步：获取局部特征注意力、获取全局特征注意力以及得到总体注意力特征图谱。图5为本发明的多特征融合方法MFF原理示意图，MFF模型使用ATT模块得到两特征和的特征图，然后分别加权得到融合后的特征。
本实施例所述的基于多粒度注意力网络的图立方链接预测方法，具体包括如下步骤：
步骤S1、对待补全的图立方进行加载，获得图立方中的实体和关系。
具体地，本实施例所使用的图立方以文本的形式存储，并通过数据加载函数将图立方以多元关系的形式加载到HPMG模型中进行处理，多元关系之间可能存在相同的超边或实体，通过这些相同的超边与实体，多元关系与多元关系之间就构成了联系，从而组成了一整个图立方，其中包含了丰富的语义信息，能够反应现实中包含的事实。
设图立方是由节点和超边组成的图，其中，节点也叫做实体，超边也叫做多元关系，图立方记作：
KHG＝{H，F}
上式中，H＝{h1，h2，...，h|H|}，表示KHG中实体的集合，|H|表示KHG所含实体的数量；F＝{f1，f2，...，f|F|}，表示多元关系的集合，即超边的集合，|F|表示KHG所含超边的数量；任意一条多元关系f都对应一个元组f＝(h1，h2，...，hm，r)，其中，m表示多元关系f所含实体的数量，即m是多元关系的元数，m为正整数，r表示关系。
步骤S2、对步骤S1加载获得的实体和关系进行初始化，得到初始实体嵌入向量和初始关系嵌入向量。
在加载图立方之后，需要对其中的实体和关系进行初始化，将它们转化为嵌入向量。具体的初始化方式类似于词嵌入的处理方法，根据词的数量和定义的维度来得到一个词矩阵，将词矩阵与随机初始化的嵌入矩阵相乘得到词嵌入向量。本发明根据实体信息和关系信息初始化出类似于词矩阵的实体矩阵和关系矩阵，然后将它们与随机初始化的矩阵相乘得到它们的初始实体嵌入向量和初始关系嵌入向量。这样就将图立方中的实体和关系嵌入到连续向量空间，从而在方便计算的同时保留图立方中的结构信息，通过嵌入表示将复杂的数据结构转化为向量化的表示，可以为后续工作的开展提供便利。在进行图立方推理时，实体和关系的嵌入表示可以通过将图结构中隐含的关联信息映射到欧氏空间，使得原本难以发现的关联关系变得显而易见，使用实体嵌入向量和关系嵌入向量进行推理的图立方链接预测，就能够更好的完成推理的任务并预测出位置的实体和关系。
步骤S3、将步骤S2得到的初始实体嵌入向量和初始关系嵌入向量输入多头自注意力神经网络中，更新各多元关系的实体嵌入向量和各多元关系的关系嵌入向量。
具体地，首先对多元关系包含的所有初始实体嵌入向量和初始关系嵌入向量进行串联操作，得到f＝(h1，h2，...，hm，r)，以获取含多元关系内部语义信息的关系和实体的嵌入表示；
然后通过多头自注意力神经网络学习f内部语义差别并更新f，得到更新后的多元关系中实体嵌入向量和关系嵌入向量Fall，计算过程如等式(1)和等式(2)所示：
Fall＝Mself-att(fWn)(1)
上式中，
Figure BDA0003720163000000101
Figure BDA0003720163000000102
均表示权重矩阵，n∈(1，...，5)，矩阵Fall分别与权重矩阵相乘得到Kn，Qn，Vn；
Figure BDA0003720163000000103
上式中，Mself-att表示自注意力神经网络计算函数，W0为参数矩阵，dk表示K的维数，Concat为向量拼接操作。
步骤S4、将步骤S3更新后的实体嵌入向量和关系嵌入向量输入到HPMG模型中进行训练，所述HPMG模型至少包括粗粒度评分模块、δ-细粒度评分模块和评分模块，通过所述粗粒度评分模块学习每个关系粗粒度的超边特征并进行粗粒度评分，通过所述δ-细粒度评分模块学习每个关系δ-细粒度的实体特征并进行细粒度评分，将粗粒度评分与细粒度评分进行加权求和得到各多元关系成立的评分。
(1)对于多元关系的粗粒度评分。
粗粒度评分模块用于学习多元关系包含的所有实体(h1，h2，...，hm)与关系r之间的联系，以获取更丰富的超边语义特征。关系包含的所有实体、关系之间一般存在着联系，将它们进行整体学习，不仅可以实现所有实体之间信息的互补，还可以使用所有实体的特征对关系信息进行更新。
通过粗粒度评分模块进行粗粒度评分具体包括：
将经过多头自注意力神经网络更新后的Fall输入到二维卷积神经网络，进行标准化处理后使用ReLU非线性激活函数进行处理，从而得到一组超关系特征矩阵FeaCoa，计算过程如等式(3)：
FeaCoa＝σ(BN(conv2(Fall)) (3)
上式中，BN(·)为BatchNorm2d函数，σ(·)为非线性激活函数ReLU，conv2(·)表示卷积核大小为(m+1)*3的二维卷积操作；
然后，计算多元关系f的粗粒度评分：将超关系特征矩阵FeaCoa按列展开后输入到全连接神经网络，计算出粗粒度评分mScore，计算过程如等式(4)所示：
mScore＝FCN1(Flatten(FeaCoa)) (4)
上式中，Flatten表示将张量按列展开，FCN1表示全连接操作。
(2)对于多元关系的细粒度评分。
δ-细粒度评分模块用于对具有m个实体的多元关系从1细粒度到δ细粒度的学习，δ＝m-1；获取更丰富的实体语义特征。多元关系包含的不同粒度的实体一般也与关系分别存在着联系，分别对它们进行学习，可以根据实体的特性进一步更新实体的表示。
通过δ-细粒度评分模块对i细粒度进行细粒度评分具体包括如下，i＝1，2，...，δ：
首先，分别串联经过多头自注意力神经网络更新后的多元关系嵌入向量，包括实体的不同粒度组合Com(hj)i和关系r，记作
Figure BDA0003720163000000111
其中，
Figure BDA0003720163000000112
Com(hj)i表示m元关系的i粒度实体组合；
然后，为了获取多元关系f实体的i维特征，将
Figure BDA0003720163000000113
输入一个二维卷积神经网络，经过标准化并使用ReLU非线性激活函数进行处理，从而得到实体的不同粒度组合Com(hj)i基于关系r的特征
Figure BDA0003720163000000114
计算过程如等式(5)所示：
Figure BDA0003720163000000115
上式中，conv2′为卷积核大小为(i+1)*3的二维卷积操作；
接着，完成
Figure BDA0003720163000000121
的特征融合，使用最小值特征融合方法对上一步得到的
Figure BDA0003720163000000122
组特征分别进行特征融合，计算过程如等式(6)所示：
Figure BDA0003720163000000123
上式中min()表示取所有
Figure BDA0003720163000000124
每个维度的最小值作为该维度的结果
Figure BDA0003720163000000125
最后，计算f的i-细粒度评分，将每个
Figure BDA0003720163000000126
按列展开后输入到全连接神经网络计算出i-细粒度评分Scorei，计算过程如等式(7)所示：
Figure BDA0003720163000000127
上式中，FCN2为全连接操作。
步骤S4′、所述HPMG模型还包括用于对δ-细粒度评分模块进行优化的优化模块，所述优化模块采用基于注意力模块ATT的多特征融合方法，即MFF，将步骤S4中的δ-细粒度评分模块卷积后得到的多个实体特征输入MFF中进行特征融合，融合后的特征输入全连接神经网络得到各细粒度评分。
(1)通过注意力模块ATT得到总体注意力特征图谱的过程概括为：首先将输入特征通过复制扩充为通道数为C的特征表示；然后通过全局注意力分支和局部注意力分支分别提取输入特征的全局特征注意力和局部注意力；将上一步得到的全局注意力和局部注意力进行相加操作，并输入Sigmoid函数计算出注意力权重；接着将上一步计算出的注意力权重和原始输入特征X相乘通过对通道求平均的操作得到特征图X′。
通过注意力模块ATT得到总体注意力特征图谱具体包括如下：
通过全局注意力分支提取输入特征的全局特征注意力，全局特征注意力提取过程如等式(8)所示，通过全局平均池化和全连接操作获得特征的全局注意力；首先使用全局平均池化操作将原始输入特征压缩成一维参数，该一维参数获得了原始特征的全局视野，感受区域更广，然后采用第一个全连接层FCN3对重要性进行预测，得到重要性参数，最后用ReLU激活，并输入全连接层FCN4以恢复原始特征的维度，最终得到的Xg包含了原始特征全局的重要性；
Xg＝B(FCN4(σ(FCN3(GAP(X))))) (8)
上式中，GAP为全局平均池化操作，FCN3和FCN4均为全连接操作；
通过局部注意力分支提取输入特征的局部特征注意力，局部特征注意力提取是通过点卷积PWConv来获取特征的局部注意力，其计算过程如等式(9)所示，将原始输入特征X输入两层卷积神经网络，两层中间使用ReLU函数进行激活；首先采用核大小为C/r×C×1×1的点卷积PWConv1减少通道数，然后再通过核大小为C×C/r×1×1的点卷积PWConv2卷积恢复通道数，最终得到的Xl可以保留、突出显示特征的细微细节；
Xl＝B(PWConv2(σ(B(PWConv1(X))))) (9)
上式中，B(.)为批标准化函数；
最后，将上述的全局注意力和局部注意力通过广播求和后经过Sigmoid函数激活得到权重值，利用该权重值对原始输入特征X做注意力操作后将各通道特征通过求平均的操作得到仅有一通道的输出X′，如式(10)所示；
Figure BDA0003720163000000131
上式中，Fatt(.)为全局注意力计算函数，λ为Sigmoid函数，
Figure BDA0003720163000000132
为广播求和操作，
Figure BDA0003720163000000133
为对应元素相乘，avg为求各个通道的平均。
(2)通过多特征融合方法MFF进行特征融合具体包括：
设有α＝Cm i个特征需要融合，先将任意两个特征进行融合，然后将上一步的融合结果与第三个特征进行融合，如此循环操作，直至融合完第α个特征为止，其计算过程如等式(11)所示；
Figure BDA0003720163000000134
上式中，MFF(.)为多特征融合函数，Ff表示两特征融合函数，其具体计算过程如式(12)所示；
Figure BDA0003720163000000141
上式中，
Figure BDA0003720163000000142
和
Figure BDA0003720163000000143
表示i细粒度下基于实体的第b个特征和第c个特征，Fatt(.)为注意力函数，用于求得注意力矩阵，其具体计算过程如式(13)所示；
Figure BDA0003720163000000144
上式中，FCN3和FCN4为全连接操作。
下面以2-细粒度为例先介绍两个特征融合的方法，Feai-2表示特征
Figure BDA0003720163000000145
Figure BDA0003720163000000146
Figure BDA0003720163000000147
表示
Figure BDA0003720163000000148
和
Figure BDA0003720163000000149
的融合特征。
不失一般性，设已知两个特征
Figure BDA00037201630000001410
和
Figure BDA00037201630000001411
首先将这两个特征求和得到初始特征集。然后，将上一步集成的结果输入注意力模块ATT，得到融合
Figure BDA00037201630000001412
和
Figure BDA00037201630000001413
的特征图。接着利用该特征图对
Figure BDA00037201630000001414
和
Figure BDA00037201630000001415
分别加权融合，最终得到融合
Figure BDA00037201630000001416
和
Figure BDA00037201630000001417
的特征表示
Figure BDA00037201630000001418
其计算过程如下式所示。
Figure BDA00037201630000001419
步骤S5、通过评分模块对每个多元关系进行评分，得出预测结果，根据评分指标来判断多元关系的评分结果是否正确：若正确，则将正确的多元关系添加到图立方中，补全图立方，若错误，则将错误的多元关系舍弃。
本实施例中，判断多元关系的评分结果是否正确，具体包括如下：
在进行预测时，已知一个多元关系的集合F，设f为测试集Ftest中任意一个正例，对于f中任意位置上的一个实体，用其他的所有非此元素的实体替代，得到该关系的一组负例，然后从这些负例中删除已被F包含的正例，得到候选样本；接着，将上一步得到的候选样本和原始正例f输入HPMG模型获取评分，评分函数如式(14)所示；根据评分进行排名，从而获取正例f的名次rank；根据rank计算的方法不同，采用Hit@n或MRR两者中的任意一种评分方法；
Figure BDA0003720163000000151
上式中，wk为权重参数，通过神经网络训练得到，Hit@k表示排名前k的所有正例样本的比率，即测试集中排名进入前k的正例关系的数目除以测试集所有关系的数目，其计算公式如等式(15)所示，Hit@k取值范围为[0，1]，值越大，表明推理算法效果越好；
Figure BDA0003720163000000152
上式中，rank(f)≤n？1：0为判别排名是否进入前n的条件表达式，若成立则结果为1，否则为0；count(Ftest)表示测试集包含的关系的总数；
MRR表示平均导数排名，计算每个正例名次的倒数的平均值，其计算公式如等式(16)所示，MRR取值范围为[0，1]，值越大，效果越好；
Figure BDA0003720163000000153
其中，n取1和10。
以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (10)

1.一种基于多粒度注意力网络的图立方链接预测方法，其特征在于，用于对图立方中的未知多元关系进行推理预测，至少包括步骤：
S1、对待补全的图立方进行加载，获得图立方中的实体和关系；
S2、对步骤S1加载获得的实体和关系进行初始化，得到初始实体嵌入向量和初始关系嵌入向量；
S3、将步骤S2得到的初始实体嵌入向量和初始关系嵌入向量输入多头自注意力神经网络中，更新各多元关系的实体嵌入向量和各多元关系的关系嵌入向量；
S4、将步骤S3更新后的实体嵌入向量和关系嵌入向量输入到HPMG模型中进行训练，所述HPMG模型至少包括粗粒度评分模块、δ-细粒度评分模块和评分模块，通过所述粗粒度评分模块学习每个关系粗粒度的超边特征并进行粗粒度评分，通过所述δ-细粒度评分模块学习每个关系δ-细粒度的实体特征并进行细粒度评分，将粗粒度评分与细粒度评分进行加权求和得到各多元关系成立的评分；
S5、通过评分模块对每个多元关系进行评分，得出预测结果，根据评分指标来判断多元关系的评分结果是否正确：若正确，则将正确的多元关系添加到图立方中，补全图立方，若错误，则将错误的多元关系舍弃。
2.根据权利要求1所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，设图立方是由节点和超边组成的图，其中，节点也叫做实体，超边也叫做多元关系，图立方记作：
KHG＝{H，F}
上式中，H＝{h1，h2，...，h|H|}，表示KHG中实体的集合，|H|表示KHG所含实体的数量；F＝{f1，f2，...，f|F|}，表示多元关系的集合，即超边的集合，|F|表示KHG所含超边的数量；任意一条多元关系f都对应一个元组f＝(h1，h2，...，hm，r)，其中，m表示多元关系f所含实体的数量，即m是多元关系的元数，m为正整数，r表示关系。
3.根据权利要求2所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，步骤S3具体包括：
首先对多元关系包含的所有初始实体嵌入向量和初始关系嵌入向量进行串联操作，得到f＝(h1，h2，...，hm，r)，以获取含多元关系内部语义信息的关系和实体的嵌入表示；
然后通过多头自注意力神经网络学习f内部语义差别并更新f，得到更新后的多元关系中实体嵌入向量和关系嵌入向量Fall，计算过程如等式(1)和等式(2)所示：
Fall＝Mself-att(fWn) (1)
上式中，
Figure FDA0003720162990000021
Figure FDA0003720162990000022
均表示权重矩阵，n∈(1，...，5)，矩阵Fall分别与权重矩阵相乘得到Kn，Qn，Vn；
Figure FDA0003720162990000023
上式中，Mself-att表示自注意力神经网络计算函数，W0为参数矩阵，dk表示K的维数，Concat为向量拼接操作。
4.根据权利要求3所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，步骤S4中，粗粒度评分模块用于学习多元关系包含的所有实体(h1，h2，...，hm)与关系r之间的联系，以获取更丰富的超边语义特征；通过粗粒度评分模块进行粗粒度评分具体包括：
将经过多头自注意力神经网络更新后的Fall输入到二维卷积神经网络，进行标准化处理后使用ReLU非线性激活函数进行处理，从而得到一组超关系特征矩阵FeaCoa，计算过程如等式(3)：
FeaCoa＝σ(BN(conv2(Fall)) (3)
上式中，BN(·)为BatchNorm2d函数，σ(·)为非线性激活函数ReLU，conv2(·)表示卷积核大小为(m+1)*3的二维卷积操作；
然后，计算多元关系f的粗粒度评分：将超关系特征矩阵FeaCoa按列展开后输入到全连接神经网络，计算出粗粒度评分mScore，计算过程如等式(4)所示：
mScore＝FCN1(Flatten(FeaCoa)) (4)
上式中，Flatten表示将张量按列展开，FCN1表示全连接操作。
5.根据权利要求3所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，步骤S4中，δ-细粒度评分模块用于对具有m个实体的多元关系从1细粒度到δ细粒度的学习，δ＝m-1；通过δ-细粒度评分模块对i细粒度进行细粒度评分具体包括如下，i＝1，2，...，δ：
首先，分别串联经过多头自注意力神经网络更新后的多元关系嵌入向量，包括实体的不同粒度组合Com(hj)i和关系r，记作
Figure FDA0003720162990000031
其中，
Figure FDA0003720162990000032
Com(hj)i表示m元关系的i粒度实体组合；
然后，为了获取多元关系f实体的i维特征，将
Figure FDA0003720162990000033
输入一个二维卷积神经网络，经过标准化并使用ReLU非线性激活函数进行处理，从而得到实体的不同粒度组合Com(hj)i基于关系r的特征
Figure FDA0003720162990000034
计算过程如等式(5)所示：
Figure FDA0003720162990000035
上式中，conv2′为卷积核大小为(i+1)*3的二维卷积操作；
接着，完成
Figure FDA0003720162990000036
的特征融合，使用最小值特征融合方法对上一步得到的
Figure FDA0003720162990000037
组特征分别进行特征融合，计算过程如等式(6)所示：
Figure FDA0003720162990000038
上式中min()表示取所有
Figure FDA0003720162990000039
每个维度的最小值作为该维度的结果j＝1，2...，α，
Figure FDA00037201629900000310
最后，计算f的i-细粒度评分，将每个
Figure FDA00037201629900000311
按列展开后输入到全连接神经网络计算出i-细粒度评分Scorei，计算过程如等式(7)所示：
Figure FDA00037201629900000312
上式中，FCN2为全连接操作。
6.根据权利要求4所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，所述HPMG模型还包括用于对δ-细粒度评分模块进行优化的优化模块。
7.根据权利要求6所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，在步骤S4之后、步骤S5之前，还包括步骤S4′：
所述优化模块采用基于注意力模块ATT的多特征融合方法，即MFF，将步骤S4中的δ-细粒度评分模块卷积后得到的多个实体特征输入MFF中进行特征融合，融合后的特征输入全连接神经网络得到各细粒度评分。
8.根据权利要求7所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，步骤S4′中，通过注意力模块ATT得到总体注意力特征图谱具体包括如下：
通过全局注意力分支提取输入特征的全局特征注意力，全局特征注意力提取过程如等式(8)所示，通过全局平均池化和全连接操作获得特征的全局注意力；首先使用全局平均池化操作将原始输入特征压缩成一维参数，该一维参数获得了原始特征的全局视野，然后采用第一个全连接层FCN3对重要性进行预测，得到重要性参数，最后用ReLU激活，并输入全连接层FCN4以恢复原始特征的维度，最终得到的Xg包含了原始特征全局的重要性；
Xg＝B(FCN4(σ(FCN3(GAP(X))))) (8)
上式中，GAP为全局平均池化操作，FCN3和FCN4均为全连接操作；
通过局部注意力分支提取输入特征的局部特征注意力，局部特征注意力提取是通过点卷积PWConv来获取特征的局部注意力，其计算过程如等式(9)所示，将原始输入特征X输入两层卷积神经网络，两层中间使用ReLU函数进行激活；首先采用核大小为C/r×C×1×1的点卷积PWConv1减少通道数，然后再通过核大小为C×C/r×1×1的点卷积PWConv2卷积恢复通道数，最终得到的Xl可以保留、突出显示特征的细微细节；
xl＝B(PWConv2(σ(B(PWConv1(X))))) (9)
上式中，B(.)为批标准化函数；
最后，将上述的全局注意力和局部注意力通过广播求和后经过Sigmoid函数激活得到权重值，利用该权重值对原始输入特征X做注意力操作后将各通道特征通过求平均的操作得到仅有一通道的输出X′，如式(10)所示；
Figure FDA0003720162990000051
上式中，Fatt(.)为全局注意力计算函数，λ为Sigmoid函数，
Figure FDA0003720162990000052
为广播求和操作，
Figure FDA0003720162990000053
为对应元素相乘，avg为求各个通道的平均。
9.根据权利要求7或8所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，步骤S4′中，通过多特征融合方法MFF进行特征融合具体包括：
设有α＝Cm i个特征需要融合，先将任意两个特征进行融合，然后将上一步的融合结果与第三个特征进行融合，如此循环操作，直至融合完第α个特征为止，其计算过程如等式(11)所示；
Figure FDA0003720162990000054
上式中，MFF(.)为多特征融合函数，Ff表示两特征融合函数，其具体计算过程如式(12)所示；
Figure FDA0003720162990000055
上式中，
Figure FDA0003720162990000056
和
Figure FDA0003720162990000057
表示i细粒度下基于实体的第b个特征和第c个特征，Fatt(.)为注意力函数，用于求得注意力矩阵，其具体计算过程如式(13)所示；
Figure FDA0003720162990000058
上式中，FCN3和FCN4为全连接操作。
10.根据权利要求5或6或7或8所述的基于多粒度注意力网络的图立方链接预测方法，其特征在于，步骤S5中，判断多元关系的评分结果是否正确，具体包括如下：
在进行预测时，已知一个多元关系的集合F，设f为测试集Ftest中任意一个正例，对于f中任意位置上的一个实体，用其他的所有非此元素的实体替代，得到该关系的一组负例，然后从这些负例中删除已被F包含的正例，得到候选样本；接着，将上一步得到的候选样本和原始正例f输入HPMG模型获取评分，评分函数如式(14)所示；根据评分进行排名，从而获取正例f的名次rank；根据rank计算的方法不同，采用Hit@n或MRR两者中的任意一种评分方法；
Figure FDA0003720162990000061
上式中，wk为权重参数，通过神经网络训练得到，Hit@k表示排名前k的所有正例样本的比率，即测试集中排名进入前k的正例关系的数目除以测试集所有关系的数目，其计算公式如等式(15)所示，Hit@k取值范围为[0，1]，值越大，表明推理算法效果越好；
Figure FDA0003720162990000062
上式中，rank(f)≤n？1：0为判别排名是否进入前n的条件表达式，若成立则结果为1，否则为0；count(Ftest)表示测试集包含的关系的总数；
MRR表示平均导数排名，计算每个正例名次的倒数的平均值，其计算公式如等式(16)所示，MRR取值范围为[0，1]，值越大，效果越好；
Figure FDA0003720162990000063
其中，n取1和10。
CN202210757940.XA 2022-06-29 2022-06-29 基于多粒度注意力网络的图立方链接预测方法 Pending CN115292509A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210757940.XA CN115292509A (zh) 2022-06-29 2022-06-29 基于多粒度注意力网络的图立方链接预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210757940.XA CN115292509A (zh) 2022-06-29 2022-06-29 基于多粒度注意力网络的图立方链接预测方法

Publications (1)

Publication Number Publication Date
CN115292509A true CN115292509A (zh) 2022-11-04

Family

ID=83822722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210757940.XA Pending CN115292509A (zh) 2022-06-29 2022-06-29 基于多粒度注意力网络的图立方链接预测方法

Country Status (1)

Country Link
CN (1) CN115292509A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579425A (zh) * 2023-07-13 2023-08-11 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116579425A (zh) * 2023-07-13 2023-08-11 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法
CN116579425B (zh) * 2023-07-13 2024-02-06 北京邮电大学 基于全局和局部层级注意力的超关系知识图谱补全方法

Similar Documents

Publication Publication Date Title
CN109829057B (zh) 一种基于图二阶相似性的知识图谱实体语义空间嵌入方法
CN107480261B (zh) 一种基于深度学习细粒度人脸图像快速检索方法
CN114037844B (zh) 基于滤波器特征图的全局秩感知神经网络模型压缩方法
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN110674850A (zh) 一种基于注意力机制的图像描述生成方法
CN112347970B (zh) 一种基于图卷积神经网络的遥感影像地物识别方法
CN113190688A (zh) 基于逻辑推理和图卷积的复杂网络链接预测方法及系统
CN110991621A (zh) 一种基于通道数搜索卷积神经网络的方法
CN115422369B (zh) 基于改进TextRank的知识图谱补全方法和装置
CN114549913A (zh) 一种语义分割方法、装置、计算机设备和存储介质
CN116363423A (zh) 面向小样本学习的知识蒸馏方法、装置及存储介质
CN115292509A (zh) 基于多粒度注意力网络的图立方链接预测方法
CN117649526A (zh) 一种面向自动驾驶道路场景的高精度语义分割方法
CN116823782A (zh) 一种基于图卷积和多尺度特征的无参考图像质量评价方法
CN116091776A (zh) 一种基于领域增量学习的语义分割方法
CN116756391A (zh) 一种基于图数据增强的不平衡图节点神经网络分类方法
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115905546A (zh) 基于阻变存储器的图卷积网络文献识别装置与方法
CN117688390A (zh) 内容匹配方法、装置、计算机设备、存储介质和程序产品
CN111814462B (zh) 基于动态正则化的高效终身关系提取方法及系统
Hu et al. Dynamic connection pruning for densely connected convolutional neural networks
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法
CN113239219A (zh) 一种基于多模态查询的图像检索方法、系统、介质及设备
Wang et al. PSE-Net: Channel pruning for Convolutional Neural Networks with parallel-subnets estimator

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination