CN116415661A - 一种融合子图增强和关系语义的归纳关系预测方法及应用 - Google Patents
一种融合子图增强和关系语义的归纳关系预测方法及应用 Download PDFInfo
- Publication number
- CN116415661A CN116415661A CN202310270564.6A CN202310270564A CN116415661A CN 116415661 A CN116415661 A CN 116415661A CN 202310270564 A CN202310270564 A CN 202310270564A CN 116415661 A CN116415661 A CN 116415661A
- Authority
- CN
- China
- Prior art keywords
- relation
- graph
- edge
- knowledge
- entity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 230000006698 induction Effects 0.000 claims abstract description 20
- 239000011159 matrix material Substances 0.000 claims description 58
- 238000012549 training Methods 0.000 claims description 44
- 238000012512 characterization method Methods 0.000 claims description 31
- 230000006870 function Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 15
- 238000010276 construction Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000005096 rolling process Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000004931 aggregating effect Effects 0.000 claims description 4
- 230000001939 inductive effect Effects 0.000 claims description 4
- 230000000295 complement effect Effects 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 2
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 101100153586 Caenorhabditis elegans top-1 gene Proteins 0.000 description 1
- 101100370075 Mus musculus Top1 gene Proteins 0.000 description 1
- VREFGVBLTWBCJP-UHFFFAOYSA-N alprazolam Chemical compound C12=CC(Cl)=CC=C2N2C(C)=NN=C2CN=C1C1=CC=CC=C1 VREFGVBLTWBCJP-UHFFFAOYSA-N 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000012458 free base Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
- G06F16/367—Ontology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/027—Frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种融合子图增强和关系语义的归纳关系预测方法及应用，该方法通过计算相邻关系与目标三元之间的语义相关性，通过选择高相关的信息来构造子图，再初始化子图中的节点表征，并且在关系表征初始化中加入了语义信息，将处理后的子图送入图神经网络更新节点和边，最终将更新结果送入打分网络获得目标三元组的分数，完成预测。与现有技术相比，本发明有效捕获了对目标推理有价值的邻居信息，减少了不相干邻居信息的影响，提高了归纳关系预测的准确性。
Description
技术领域
本发明涉及事实推理和深度学习技术领域，尤其是涉及一种融合子图增强和关系语义的归纳关系预测方法及应用。
背景技术
知识图谱旨在以结构化的形式存储大规模事实知识。由于其强大的复杂数据管理能力和语义处理能力，知识图谱在对话生成、知识问答和推荐系统等下游应用中都发挥了巨大的作用。尽管现实世界的知识图谱如DBpedia、Freebase和Wikidata等已经存储了大量事实三元组，却仍然面临着知识缺失的问题，从而影响基于知识图谱的各种下游应用的性能。针对上述问题，关系预测(也称为知识图谱补全)从现有知识出发，推理未知事实三元组，将推理结果加入原始图谱完成知识补全。
根据数据集测试集和训练集之间的实体是否存在交叉，可以关系预测下的数据集设置分为非归纳和归纳设置。非归纳设置是指同一数据集中，测试集里出现的实体必须都在训练集中出现过。在此条件下的关系预测一般是将训练集中所有关系和实体通过最小化平移转化误差，嵌入到一个低维向量空间，据此来完成预测。此方法的问题在于，默认不会出现新实体，所以新实体的低维向量表示是无法获取到的。而现实生活中，新实体会随着时间不断出现，因此在此条件下的关系预测方法实用性较差。
归纳设置中，同一数据集的训练集和测试集之间的实体完全不重合，即训练集和测试集完全是两个不相交的知识图谱。在此条件下，关系预测通常是实体独立的，在不用到具体实体信息的情况下完成推理，所以有能力处理新出现的实体。现有的归纳关系预测方法总体上分为基于规则和基于图神经网络(Graph Neural Networks，GNN)的方法两种：基于规则的方法通过学习预定义或从原始知识图谱中挖掘出来的逻辑关系进行推理，典型的模型有Neural-LP、DRUM和RuleN等；基于图神经网络的方法通过建模与目标三元组中头和尾实体相关的子图来对目标三元组评分，典型的模型有GraIL、TACT和CoMPILE等。
综上，当前归纳关系预测方法，主要解决在不重训练的情况下新知识图谱的关系预测问题。其中，基于规则的方法缺陷在于无法将知识图谱中丰富的结构信息运用到预测中，基于图神经网络的方法很好地解决了这个问题，但它仍存在两个缺陷：
(1)现有的子图抽取方法会保留大量的无用甚至阻碍目标预测的信息；
(2)通常对关系进行随机初始化，忽略了关系语义在描述关系和实体上的作用。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种融合子图增强和关系语义的归纳关系预测方法及应用。
本发明的目的可以通过以下技术方案来实现：
根据本发明的第一方面，提供了一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，该方法包括：计算相邻关系与目标三元之间的语义相关性，选择高相关的信息构造子图；初始化子图中的节点表征，并在关系表征初始化中加入语义信息；将处理后的子图送入图神经网络更新节点和边，并将更新结果送入打分网络获得目标三元组的分数，完成归纳关系预测。
优选地，所述方法包括以下步骤：
步骤S1、获取归纳推理数据集并进行三元组数据的预处理，构建数据集中包含的知识图；
步骤S2、将目标三元组转换为问句，采用预训练的RoBERTa模型编码问句及关系，根据编码结果计算关联概率筛选关系，结合束搜索，从三元组中目标头实体和尾实体出发，分别构建头和尾实体路径树；
步骤S3、合并目标头尾实体路径树构建有向子图，计算节点到目标节点相对最短距离的独热编码；
步骤S4、由预训练BERT模型编码关系描述文本初始化关系，并结合步骤S3得到的节点表征初始化边表征；
步骤S5、将经过步骤S3和S4初始化后的子图送入图卷积网络，由关系主导迭代更新子图中节点和边表征；
步骤S6、根据实体关系的最终的更新结果对三元组进行打分，根据分数完成关系预测，并计算损失函数；
步骤S7、根据损失函数计算出的损失值更新网络参数，若达到设定的训练上限则结束训练，否则重复步骤S5和S6继续训练。
优选地，所述步骤S1包括以下子步骤：
步骤S11、数据预处理：对于获取的归纳推理数据集，将数据集中的一个随机实体替代三元组中的头或尾实体得到一个负样本，每个三元组对应生成一个负样本；
步骤S12、构建知识图：将预处理后的数据集整体作为一个知识图谱，并转换为dgl图。
优选地，所述步骤S2包括以下子步骤：
步骤S21、将目标三元组(hT，rT，tT)转换为问句；
步骤S22、RoBERTa编码问句及关系：分别将目标实体hT和tT作为起点，采用广度优先搜索BFS算法进行路径扩展，当没有到达设定的最大跳数并需要往下走一步时，由预训练的RoBERTa模型编码问句和关系；
步骤S23、根据编码结果计算候选邻居关系和问句之间的关联度，选择关联度大于设定值且最大的邻居关系作为下一步，若没有满足条件的关系则路径扩展停止；
步骤S24、结合束搜索，构建头和尾实体对应的路径树。
优选地，所述步骤S3包括以下子步骤：
步骤S31、合并目标头尾实体路径树构建有向子图：取头实体和尾实体路径树的并集，合并相同实体形成目标三元组对应的有向子图；
步骤S32、计算其中节点到目标节点相对最短距离的独热编码：使用广度优先搜索BFS算法求解子图中节点到两个目标节点的相对最短距离，然后将该距离用独热向量编码作为节点的表征。
优选地，所述步骤S4包括以下子步骤：
步骤S41、关系初始化：输入关系描述文本，由预训练的BERT模型进行关系编码，表达式为：
Rk＝BERT[T[CLS]，T1，...，Tn，T[SEP]] (1)
式中，T[CLS]和T[SEP]分别为句子开始和结束的提示令牌，T1，...，Tn为关系k描述句子中的n个令牌；
步骤S42、边初始化：根据关系表征以及实体表征，通过拼接对应三元组中实体和关系的相关信息构建边的初始表征，表达式为：
式中，(hi，ri，ti)为边i对应的三元组，
分别为头实体编码、关系编码和尾实体编码，/>
为向量拼接操作。
优选地，所述步骤S5包括以下子步骤：
步骤S51、获取初始化后的子图：采用映射函数对初始子图节点表征和边表征统一维度；
步骤S52、辅助矩阵构建：更新节点和边特征，并构建辅助矩阵，包括尾-边指示矩阵Ate、头-边指示矩阵Ahe和关系-边指示矩阵Are；其中，对于尾-边指示矩阵Ate，若第i个实体元素是第j个边所指向的尾实体，则
否则为0，矩阵Ahe、Are的构建过程同理；
步骤S53、节点特征更新：
1)计算边相对于目标三元组(hT，rT，tT)的注意力，表达式为：
式中，
为关系ri的编码，/>
为关系rT的编码，/>
为向量拼接操作，k为网络层数，sigmoid(·)为激活函数，/>
是边i对应的三元组(hi，ri，ti)相对于目标三元组(hT，rT，tT)的注意力得分，/>
和/>
均为可学习的参数矩阵；
2)根据注意力得分计算边的中间表征，表达式为：
其中，
为第k-1层更新后边i的表征；
3)计算完所有边的中间表征后，根据尾-边指示矩阵Ate以及边中间表征更新节点特征，表达式为：
式中，Nk-1为第k-1层更新后的节点特征矩阵，
为可学习的参数矩阵；
步骤S54、关系特征更新：结合尾-边指示矩阵Ate、头-边指示矩阵Ahe和关系-边指示矩阵Are聚合边对应的实体和关系信息，计算公式为：
式中，R为关系矩阵，Nk为第k层更新后的节点特征矩阵；
然后融合上层更新后的边表征，计算公式为：
其中，ReLU(·)为线性整流函数，tanh(·)为激活函数，Ek-1是第k-1层更新后的边特征矩阵；
加入初始边表征矩阵进行残差学习，计算公式为：
其中，E0是初始的边表征矩阵，
是一个可学习的参数矩阵；
步骤S55、最后一层的节点和边表征更新：最后一层的信息更新使用多层感知机和门控循环单元聚合节点信息，计算公式为：
式中，GRU(·)为门控循环单元的处理过程，MLP(·)为多层感知机的处理过程，
是边i在当前层的中间表征，N2是上一层更新过的节点表征矩阵，N0是初始节点表征矩阵。
优选地，所述步骤S6包括以下子步骤：
步骤S61、目标三元组打分：使用TransE的思想，根据图卷积网络最后一层输出的实体和关系表征计算目标三元组的分数，计算公式为：
式中，(hT，rT，tT)为目标三元组，
和/>
是图卷积网络输出的节点hT和tT的最终表征；
步骤S62、将正样本与负样本之间的差值作为损失函数，表达式为：
式中，T是训练集中所有三元组的集合，|T|指集合T中三元组的个数，
和/>
分别为T中第i个三元组对应的负样本和正样本，γ是一个大于0的超参数。
优选地，所述步骤S7包括以下子步骤：
步骤S71、规定正样本的分数应大于负样本，根据损失函数计算损失值；
步骤S72、当训练次数到达设置的训练次数上限η时，结束训练，否则更新步骤S6中图卷积网络的所有可训练参数并在图卷积网络中输入训练集继续训练。
根据本发明的第二方面，提供了一种采用所述的融合子图增强和关系语义的归纳关系预测方法的应用，将融合子图增强和关系语义的归纳关系预测方法应用于历史知识补全中，其中知识来源包括百度百科、维基百科以及网络新闻，将该方法所训练出的知识预测模型应用到历史数据中，以所述知识预测模型去补全原始数据中的缺失部分，进行下游应用，具体应用过程如下：
步骤1、使用已标注的历史数据训练融合子图增强和关系语义的归纳关系预测方法，包括：
首先，爬取历史人物和组织相关的百度百科、维基百科以及网络新闻，对非结构化数据进行预处理，对句子进行三元组的提取和标注以构建历史归纳推理数据集；
其次，在所构建的历史归纳推理数据集上，运用融合子图增强和关系语义的归纳关系预测方法去迭代训练其中的参数以产生具有归纳能力的知识预测模型；
最后，将训练完毕的知识预测模型嵌入到历史知识补全系统中；
步骤2、执行知识预测，显示推理结果；
首先，用户在输入框中输入要补全的知识图谱以及要判定的知识三元组，点击预测按钮；
其次，历史知识补全系统调用知识预测模型聚合知识三元组在知识图谱中的邻居信息，从中判定该知识三元组是否正确，返回该三元组的得分；
最后，根据输入的多个知识三元组的得分进行排序，按照设定方式选择评分高的作为补全结果返回给用户。
与现有技术相比，本发明具有以下优点：
1)本发明方法通过发现邻居与目标之间的相似度，利用束搜索算法构建路径树进一步合并形成子图，有效捕获了对目标推理有价值的邻居信息，减少了不相干邻居信息的影响；
2)本发明方法在关系表征当中融入了丰富的关系语义信息，提升了关系表征的表达能力，提高了整体推理效果；
3)本发明将归纳关系推理方法应用于历史知识补全系统中，提高了历史知识推理结果的准确性。
附图说明
图1为本发明的方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例
本实施例给出了一种融合子图增强和关系语义的归纳关系预测方法该方法包括：计算相邻关系与目标三元之间的语义相关性，选择高相关的信息构造子图；初始化子图中的节点表征，并在关系表征初始化中加入语义信息；将处理后的子图送入图神经网络更新节点和边，并将更新结果送入打分网络获得目标三元组的分数，完成归纳关系预测。
本发明的重点在于：一是在提取子图过程中充分考虑到了邻居信息对目标预测的相关程度；二使用预训练模型编码关系文本来初始化关系。
请参阅图1的关系抽取流程图，该过程的具体实施步骤包括：
步骤S1：输入归纳推理数据集，进行三元组数据的预处理，生成负样本，将这些知识转换为dgl知识图，具体包括以下子步骤：
步骤S11、预处理过程：下载归纳推理数据集WN18RR，其中它有四个版本(v1、v2、v3和v4)，每个版本的中的实体和关系数量均不相同。针对训练集中的每个三元组，将其头实体或者尾实体用一个随机实体替代，即可得到一个负样本，而原始的三元组称为正样本。
步骤S12、构建dgl知识图：为便于子图抽取以及节点间最短路径的计算，将训练集中数据整体转换为一个dgl知识图。
步骤S2、将目标三元组通过预设模板转换为问句，分别从三元组中目标头实体和尾实体出发进行路径扩展，每次扩展由RoBERTa(Robustly optimized BERT approach，鲁棒优化的BERT)编码问句及每步的邻居关系，并计算它们之间关联概率筛选top-1关系作为下一步动作，结合TopK束搜索，获得每个目标实体关联的K条路径，分别构建头和尾实体路径树。具体包括以下子步骤：
步骤S21、将目标三元组转换为问句：
例如，对于三元组(zizz.n.02，_hypernym，nap.n.04)，通过模板可转换为问句：
zizz.n.02_hypernym what？Is the correct answer nap.n.04？ (1)
步骤S22、RoBERTa编码问句及关系：对于目标实体hT和tT，分别将其作为起点，以BFS的思想进行路径扩展，当没有到达设定的最大跳数3并需要往下走一步时，由预训练的RoBERTa模型编码问句和关系，第t+1时刻的计算公式为：
f(q(t))＝RoBERTa([q；r1；…；rt])，h(r)＝RoBERTa(r) (2)
其中，r1，...，rt是历史搜索路径，r是当前节点的一个邻居关系。
步骤S23、计算候选邻居关系和问句之间的关联概率：根据问句和邻居关系的编码结果，计算它们之间的关联概率，具体公式为：
其中，END是一个虚拟关系，它对应的具体文本为END OF HOP，用于及早停止路径扩展。选择概率大于0.5且最大的邻居关系作为下一步，若没有满足条件的关系则路径扩展停止。
步骤S24、结合束搜索，构建头和尾实体路径树：按上述方法一个目标实体只能获得一条关联路径，但是一条关联路径对预测来说无法保证完全正确，因此用到TopK束搜索，设置K为20，则对于一个目标实体，能够获取以其为起点的20条关联路径，合并即可得到一棵路径树。于是对于目标三元组中的头和尾实体，结合束搜索能够分别得到其对应的头和尾实体路径树。
步骤S3、合并目标头尾实体路径树构建目标三元组对应的有向子图，计算其中节点到目标节点相对最短距离的独热编码。具体过程如下：
步骤S31、合并目标头尾实体路径树构建有向子图：取头实体和尾实体路径树中的实体并集，注意在合并过程中，从每个合并实体向后跟踪到目标实体，再向前跟踪到叶实体，保留跟踪路径中的实体和关系来构造目标三元组对应的有向子图。
步骤S32、节点到两个目标节点的相对最短距离的独热向量拼接表示，默认目标三元组的头实体和尾实体它们的相对最短距离为为(0，1)和(1，0)，那么目标三元组(zizz.n.02，_hypernym，nap.n.04)中，实体zizz.n.02对应的相对最短距离为(0，1)，将其转换为独热向量，设置单个距离转换的独热向量维度为9，则该实体最终的向量表示为
步骤S4、由预训练的BERT模型编码关系描述文本初始化关系表征，并结合步骤3得到的节点表征初始化边表征。具体包括以下子步骤：
步骤S41、关系初始化：输入关系描述文本，由预训练的BERT(BidirectionalEncoder Representation from Transformers，基于transformer的双向编码器表示)模型编码完成关系初始化，公式为：
Rk＝BERT[T[CLS]，T1，...，Tn，T[SEP]] (4)
其中，T[CLS]和T[SEP]分别为句子开始和结束的提示token，而T1，...，Tn是关系k描述句子中的n个token，BERT的输出维度为32。
以关系_hypernym为例，它在经过预训练的BERT编码后得到的结果为[0.26245149970054626,0.08855410665273666，...，0.3307046890258789]。
步骤S42、边初始化：根据初始化的关系和实体表征，边表征可通过该边上的实体和关系表征拼接获得，公式为：
其中，边i对应的三元组为(hi，ri，ti)，
为向量拼接操作，边表征的维度为18×2+32＝71。
步骤S5、将经过节点、关系和边初始化后的子图送入3层图卷积网络(GraphConvolutional Networks，GCN)，由关系主导，结合注意力机制迭代地更新子图中节点和边表征。具体包括以下子步骤：
步骤S51、输入：对于输入的初始子图节点表征和边表征，节点表征为18维，而边表征为71维，它们之间维度不同使得后续难以运算，因此需要通过映射函数统一它们之间的维度，计算公式为：
其中，N是子图中所有节点的初始表征矩阵，E是子图中所有边的初始表征矩阵，ReLU(·)是一个激活函数，
和We 0是可学习的参数矩阵，它们的维度分别是18×32和71×32维，于是节点和边的表征维度统一为32。
步骤S52、辅助矩阵构建：在更新节点和边特征的过程中，需要用到Ate、Ahe和Are三个辅助矩阵，它们分别代表尾-边、头-边和关系-边指示矩阵，因此要对其进行构建。以Ate的构建为例，若第i个实体元素是第j个edge所指向的尾实体，则
否则为0，其他矩阵的构建同理。
步骤S53、节点特征更新：先计算边相对于目标三元组的注意力，为保留三元组的方向信息使用向量减法聚合边上的实体和关系信息，计算公式为：
式中，
为关系ri的编码，/>
为关系rT的编码，/>
为向量拼接操作，k(1≤k＜3)为网络层数，sigmoid(·)为激活函数，/>
是边i对应的三元组(hi，ri，ti)相对于目标三元组(hT，rT，tT)的注意力得分，/>
和/>
均为可学习的参数矩阵).
然后根据注意力得分计算计算边的中间表征，具体公式为：
其中，
是是第k-1层更新后的边i的表征。
在所有边的中间表征计算完毕后，根据辅助矩阵Ate以及边中间表征更新节点特征，计算公式为：
其中，Nk-1是第k-1层更新后的的节点特征矩阵，
是可学习的参数矩阵。
步骤S54、关系特征更新：结合指示矩阵Ahe、Are和Ate聚合边对应的实体和关系信息，计算公式为：
然后融合上层更新后的边表征，计算公式为：
其中，tanh(·)是一个激活函数，Ek-1是第k-1层更新后的边特征矩阵。
加入初始边表征矩阵进行残差学习，计算公式为：
其中，E0是初始的边表征矩阵，
是一个可学习的参数矩阵。
步骤S55、最后一层的节点和边表征更新：为增加网络的表达能力，最后一层的信息更新不同于前两层，不再使用式(11)更新节点表征，而是使用多层感知机和门控循环单元(Gated Recurrent Unit，GRU)聚合节点信息，计算公式为：
其中，
是边i在当前层的中间表征，N2是上一层更新过的节点表征矩阵，N0是初始节点表征矩阵，用以残差学习。
步骤S6、根据实体关系的最终的更新结果用打分网络对三元组进行打分，根据分数完成关系预测，计算损失函数。具体过程如下：
根据实体关系的最终的更新结果用打分网络对三元组进行打分，根据分数完成关系预测，计算损失函数。具体包括以下子步骤：
步骤S61、目标三元组打分：为保留三元组的有向本质，使用TransE(TranslatingEmbedding，翻译嵌入)的思想，根据图卷积网络最后一层输出的实体和关系表征计算三元组的分数，计算公式为：
其中，
和/>
是图卷积网络输出的节点hT和tT的最终表征。
步骤S62、使用损失函数计算正样本与负样本之间的差值作为损失，具体计算公式为：
其中，T是训练集中所有三元组的集合，|T|指集合T中三元组的个数，
和/>
分别指T中第i个三元组对应的负样本和正样本，而γ是一个大于0的超参数。
步骤S7、根据损失函数计算出的损失值使用Adam优化器更新网络参数，若达到训练上限则方法训练完毕，否则重复步骤5和6继续训练方法参数。具体过程如下：
步骤S71、规定正样本的分数应大于负样本，根据损失函数计算损失值。
步骤S72、训练次数上限设置为η，当训练次数到达上限η时，该归纳关系预测方法训练结束。否则，更新步骤6图卷积网络图卷积网络中的参数θ并在图卷积网络中输入训练集继续训练。
实验说明及结果：采用的数据集为归纳设置下的WN18RR数据集，分为四个子版本v1、v2、v3和v4，具体三元组、实体和关系数量统计结果如表1所示。实验指标采用AUC-PR和Hits@10，表2和3分别显示不同的训练方法在测试集上的对比结果。其中，AUC-PR是指二分类下(即一个正样本只有一个负样本)精确率和召回率曲线下的面积；Hits@10这里是指在按分数从大到小的排序下(此时一个正样本有50个负样本)正样本分数排名前10的概率；Neural LP、DRUM、RuleN、GralL、CoMPILE和TACT均为先前的归纳关系预测方法。从表2中可以看出，除WN18RR的v4版本外，本发明方法均取得了最高的AUC-PR，而在v4版本上，本发明方法取得了第二高的AUC-PR结果；从表3中可以看出，除WN18RR的v3版本外，本发明方法均取得了最高的Hits@10。
表1 WN18RR归纳数据集数据统计结果
表2AUC-PR指标测试结果
表3Hits@10指标测试结果
本实施例还给出了一种采用上述融合子图增强和关系语义的归纳关系预测方法的应用，将融合子图增强和关系语义的归纳关系预测方法应用于历史知识补全中，其中知识来源包括百度百科、维基百科以及网络新闻，将该方法所训练出的知识预测模型应用到历史数据中，以知识预测模型去补全原始数据中的缺失部分，进行下游应用，具体应用过程如下：
步骤1、使用已标注的历史数据训练融合子图增强和关系语义的归纳关系预测方法，包括：
首先，爬取历史人物和组织相关的百度百科、维基百科以及网络新闻，对非结构化数据进行预处理，对句子进行三元组的提取和标注以构建历史归纳推理数据集；
其次，在所构建的历史归纳推理数据集上，运用融合子图增强和关系语义的归纳关系预测方法去迭代训练其中的参数以产生具有归纳能力的知识预测模型；
最后，将训练完毕的知识预测模型嵌入到历史知识补全系统中；
步骤2、执行知识预测，显示推理结果；
首先，用户在输入框中输入要补全的知识图谱以及要判定的知识三元组，点击预测按钮；
其次，历史知识补全系统调用知识预测模型聚合知识三元组在知识图谱中的邻居信息，从中判定该知识三元组是否正确，返回该三元组的得分；
最后，根据输入的多个知识三元组的得分进行排序，按照设定方式选择评分高的作为补全结果返回给用户
本发明方法的具体应用包括不限于知识图谱补全、智能问答系统，以及知识推荐系统。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，该方法包括：计算相邻关系与目标三元之间的语义相关性，选择高相关的信息构造子图；初始化子图中的节点表征，并在关系表征初始化中加入语义信息；将处理后的子图送入图神经网络更新节点和边，并将更新结果送入打分网络获得目标三元组的分数，完成归纳关系预测。
2.根据权利要求1所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述方法包括以下步骤：
步骤S1、获取归纳推理数据集并进行三元组数据的预处理，构建数据集中包含的知识图；
步骤S2、将目标三元组转换为问句，采用预训练的RoBERTa模型编码问句及关系，根据编码结果计算关联概率筛选关系，结合束搜索，从三元组中目标头实体和尾实体出发，分别构建头和尾实体路径树；
步骤S3、合并目标头尾实体路径树构建有向子图，计算节点到目标节点相对最短距离的独热编码；
步骤S4、由预训练BERT模型编码关系描述文本初始化关系，并结合步骤S3得到的节点表征初始化边表征；
步骤S5、将经过步骤S3和S4初始化后的子图送入图卷积网络，由关系主导迭代更新子图中节点和边表征；
步骤S6、根据实体关系的最终的更新结果对三元组进行打分，根据分数完成关系预测，并计算损失函数；
步骤S7、根据损失函数计算出的损失值更新网络参数，若达到设定的训练上限则结束训练，否则重复步骤S5和S6继续训练。
3.根据权利要求2所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述步骤S1包括以下子步骤：
步骤S11、数据预处理：对于获取的归纳推理数据集，将数据集中的一个随机实体替代三元组中的头或尾实体得到一个负样本，每个三元组对应生成一个负样本；
步骤S12、构建知识图：将预处理后的数据集整体作为一个知识图谱，并转换为dg1图。
4.根据权利要求2所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述步骤S2包括以下子步骤：
步骤S21、将目标三元组(hT，rT，tT)转换为问句；
步骤S22、RoBERTa编码问句及关系：分别将目标实体hT和tT作为起点，采用广度优先搜索BFS算法进行路径扩展，当没有到达设定的最大跳数并需要往下走一步时，由预训练的RoBERTa模型编码问句和关系；
步骤S23、根据编码结果计算候选邻居关系和问句之间的关联度，选择关联度大于设定值且最大的邻居关系作为下一步，若没有满足条件的关系则路径扩展停止；
步骤S24、结合束搜索，构建头和尾实体对应的路径树。
5.根据权利要求2所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述步骤S3包括以下子步骤：
步骤S31、合并目标头尾实体路径树构建有向子图：取头实体和尾实体路径树的并集，合并相同实体形成目标三元组对应的有向子图；
步骤S32、计算其中节点到目标节点相对最短距离的独热编码：使用广度优先搜索BFS算法求解子图中节点到两个目标节点的相对最短距离，然后将该距离用独热向量编码作为节点的表征。
6.根据权利要求2所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述步骤S4包括以下子步骤：
步骤S41、关系初始化：输入关系描述文本，由预训练的BERT模型进行关系编码，表达式为：
Rk＝BERT[T[CLS]，T1，...，Tn，T[SEP]] (1)
式中，T[CLS]和T[SEP]分别为句子开始和结束的提示令牌，T1，...，Tn为关系k描述句子中的n个令牌；
步骤S42、边初始化：根据关系表征以及实体表征，通过拼接对应三元组中实体和关系的相关信息构建边的初始表征，表达式为：
式中，(hi，ri，ti)为边i对应的三元组，
分别为头实体编码、关系编码和尾实体编码，/>
为向量拼接操作。
7.根据权利要求2所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述步骤S5包括以下子步骤：
步骤S51、获取初始化后的子图：采用映射函数对初始子图节点表征和边表征统一维度；
步骤S52、辅助矩阵构建：更新节点和边特征，并构建辅助矩阵，包括尾-边指示矩阵Ate、头-边指示矩阵Ahe和关系-边指示矩阵Are；其中，对于尾-边指示矩阵Ate，若第i个实体元素是第j个边所指向的尾实体，则
否则为0，矩阵Ahe、Are的构建过程同理；
步骤S53、节点特征更新：
1)计算边相对于目标三元组(hT，rT，tT)的注意力，表达式为：
式中，
为关系ri的编码，/>
为关系rT的编码，/>
为向量拼接操作，k为网络层数，sigmoid(·)为激活函数，/>
是边i对应的三元组(hi，ri，ti)相对于目标三元组(hT，rT，tT)的注意力得分，/>
和/>
均为可学习的参数矩阵；
2)根据注意力得分计算边的中间表征，表达式为：
其中，
为第k-1层更新后边i的表征；
3)计算完所有边的中间表征后，根据尾-边指示矩阵Ate以及边中间表征更新节点特征，表达式为：
式中，Nk-1为第k-1层更新后的节点特征矩阵，
为可学习的参数矩阵；
步骤S54、关系特征更新：结合尾-边指示矩阵Ate、头-边指示矩阵Ahe和关系-边指示矩阵Are聚合边对应的实体和关系信息，计算公式为：
式中，R为关系矩阵，Nk为第k层更新后的节点特征矩阵；
然后融合上层更新后的边表征，计算公式为：
其中，ReLU(·)为线性整流函数，tanh(·)为激活函数，Ek-1是第k-1层更新后的边特征矩阵；
加入初始边表征矩阵进行残差学习，计算公式为：
其中，E0是初始的边表征矩阵，
是一个可学习的参数矩阵；
步骤S55、最后一层的节点和边表征更新：最后一层的信息更新使用多层感知机和门控循环单元聚合节点信息，计算公式为：
式中，GRU(·)为门控循环单元的处理过程，MLP(·)为多层感知机的处理过程，
是边i在当前层的中间表征，N2是上一层更新过的节点表征矩阵，N0是初始节点表征矩阵。
8.根据权利要求2所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述步骤S6包括以下子步骤：
步骤S61、目标三元组打分：使用TransE的思想，根据图卷积网络最后一层输出的实体和关系表征计算目标三元组的分数，计算公式为：
式中，(hT，rT，tT)为目标三元组，
和/>
是图卷积网络输出的节点hT和tT的最终表征；
步骤S62、将正样本与负样本之间的差值作为损失函数，表达式为：
式中，T是训练集中所有三元组的集合，|T|指集合T中三元组的个数，
和/>
分别为T中第i个三元组对应的负样本和正样本，γ是一个大于0的超参数。
9.根据权利要求2所述的一种融合子图增强和关系语义的归纳关系预测方法，其特征在于，所述步骤S7包括以下子步骤：
步骤S71、规定正样本的分数应大于负样本，根据损失函数计算损失值；
步骤S72、当训练次数到达设置的训练次数上限η时，结束训练，否则更新步骤S6中图卷积网络的所有可训练参数并在图卷积网络中输入训练集继续训练。
10.一种采用权利要求1所述的融合子图增强和关系语义的归纳关系预测方法的应用，其特征在于，将融合子图增强和关系语义的归纳关系预测方法应用于历史知识补全中，其中知识来源包括百度百科、维基百科以及网络新闻，将该方法所训练出的知识预测模型应用到历史数据中，以所述知识预测模型去补全原始数据中的缺失部分，进行下游应用，具体应用过程如下：
步骤1、使用已标注的历史数据训练融合子图增强和关系语义的归纳关系预测方法，包括：
首先，爬取历史人物和组织相关的百度百科、维基百科以及网络新闻，对非结构化数据进行预处理，对句子进行三元组的提取和标注以构建历史归纳推理数据集；
其次，在所构建的历史归纳推理数据集上，运用融合子图增强和关系语义的归纳关系预测方法去迭代训练其中的参数以产生具有归纳能力的知识预测模型；
最后，将训练完毕的知识预测模型嵌入到历史知识补全系统中；
步骤2、执行知识预测，显示推理结果；
首先，用户在输入框中输入要补全的知识图谱以及要判定的知识三元组，点击预测按钮；
其次，历史知识补全系统调用知识预测模型聚合知识三元组在知识图谱中的邻居信息，从中判定该知识三元组是否正确，返回该三元组的得分；
最后，根据输入的多个知识三元组的得分进行排序，按照设定方式选择评分高的作为补全结果返回给用户。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310270564.6A CN116415661A (zh) | 2023-03-20 | 2023-03-20 | 一种融合子图增强和关系语义的归纳关系预测方法及应用 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310270564.6A CN116415661A (zh) | 2023-03-20 | 2023-03-20 | 一种融合子图增强和关系语义的归纳关系预测方法及应用 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116415661A true CN116415661A (zh) | 2023-07-11 |
Family
ID=87052515
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310270564.6A Pending CN116415661A (zh) | 2023-03-20 | 2023-03-20 | 一种融合子图增强和关系语义的归纳关系预测方法及应用 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116415661A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117251583A (zh) * | 2023-11-20 | 2023-12-19 | 湖北大学 | 基于局部图结构的文本增强知识图谱表示学习方法及系统 |
-
2023
- 2023-03-20 CN CN202310270564.6A patent/CN116415661A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117251583A (zh) * | 2023-11-20 | 2023-12-19 | 湖北大学 | 基于局部图结构的文本增强知识图谱表示学习方法及系统 |
| CN117251583B (zh) * | 2023-11-20 | 2024-01-26 | 湖北大学 | 基于局部图结构的文本增强知识图谱表示学习方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114169330B (zh) | 融合时序卷积与Transformer编码器的中文命名实体识别方法 | |
| US20220210023A1 (en) | Cybersecurity incident response and security operation system employing playbook generation through custom machine learning | |
| CN110837602B (zh) | 基于表示学习和多模态卷积神经网络的用户推荐方法 | |
| CN110413785A (zh) | 一种基于bert和特征融合的文本自动分类方法 | |
| CN107748757A (zh) | 一种基于知识图谱的问答方法 | |
| CN112633010A (zh) | 基于多头注意力和图卷积网络的方面级情感分析方法及系统 | |
| CN109446414B (zh) | 一种基于神经网络分类的软件信息站点快速标签推荐方法 | |
| US20220383127A1 (en) | Methods and systems for training a graph neural network using supervised contrastive learning | |
| CN115240786A (zh) | 反应物分子的预测方法、训练方法、装置以及电子设备 | |
| CN110909174B (zh) | 一种基于知识图谱的简单问答中实体链接的改进方法 | |
| CN117235216A (zh) | 一种基于异构知识融合的知识推理方法 | |
| CN116415661A (zh) | 一种融合子图增强和关系语义的归纳关系预测方法及应用 | |
| CN114821271A (zh) | 模型训练方法、图像描述生成方法、装置及存储介质 | |
| CN118312167B (zh) | 基于低代码平台的套件机制实现方法及系统 | |
| CN116821294A (zh) | 一种基于隐式知识反刍的问答推理方法和装置 | |
| Yang et al. | HackRL: Reinforcement learning with hierarchical attention for cross-graph knowledge fusion and collaborative reasoning | |
| Jiang et al. | An intelligent recommendation approach for online advertising based on hybrid deep neural network and parallel computing | |
| CN111488460B (zh) | 数据处理方法、装置和计算机可读存储介质 | |
| CN117542509A (zh) | 一种基于诊疗指导树和诊疗推理引擎的多轮问诊方法 | |
| CN117473071B (zh) | 数据检索方法、装置、设备及计算机可读介质 | |
| CN117494760A (zh) | 一种基于超大规模语言模型的富语义标签数据增广方法 | |
| CN111340637A (zh) | 一种基于机器学习反馈规则增强的医疗保险智能审核系统 | |
| Loyola et al. | Learning feature representations from change dependency graphs for defect prediction | |
| CN115470333A (zh) | 一种融合语义信息的知识推理问答方法 | |
| CN114969279A (zh) | 一种基于层次图神经网络的表格文本问答方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |